Dikkat dediğimiz şey ne?
Bir model bir sonraki kelimeyi üretirken, elindeki bağlamdaki her bir token'a ne kadar "dikkat" edeceğine karar veriyor. Buna dikkat mekanizması (attention) deniyor. Bir cümledeki "o" kelimesinin kime gönderme yaptığını anlamak için model, cümledeki diğer kelimelere geri dönüp bakıyor, bir kısmına çok, bir kısmına az dikkat veriyor.
Bir modelin bağlamındaki her token, bağlamdaki diğer her token'la ayrı bir ilişki kuruyor, bu da n token için n² (n çarpı n) ilişki demek. Token sayısı 100 kat artınca, hesaplanması gereken ilişki sayısı 10.000 kat artıyor, doğrusal değil, karesel bir büyüme.
Sayılar nasıl büyüyor?
Anthropic'in kendi mühendislik ekibi bunu böyle özetliyor1. Somutlaştıralım:
100 token'lık kısa bir bağlamda: 100 × 100 = 10.000 ilişki
10.000 token'lık orta uzunlukta bir bağlamda: 10.000 × 10.000 = 100.000.000 (100 milyon) ilişki
Bu, "doğrusal büyüme" değil, "karesel büyüme" (quadratic). Bağlamı iki katına çıkarmak, işi iki kat değil, dört kat zorlaştırıyor.
Tek neden bu değil
Anthropic'in aynı yazısı, performans düşüşüne katkıda bulunan iki neden daha sayıyor1:
Eğitim verisi dağılımı: Modeller eğitim sırasında kısa metinlere çok daha fazla maruz kalıyor. Uzun bağlamlarda "daha az pratik yapmış" oluyorlar, kısa bağlamdaki kadar usta değiller.
Pozisyonel kodlama sınırları: Model, her token'ın bağlam içindeki konumunu bir sayı dizisiyle takip ediyor. Bu sistem, dizinin başına doğru daha güvenilir çalışıyor, dizi uzadıkça bir miktar performans kaybı yaşanıyor, uzun dizilere özel olarak uyarlanmış modellerde bile.
Bağımsız kanıt: 18 model, aynı sonuç
Bu üç neden, teorik bir açıklama olarak kalabilirdi, ama Chroma adlı bir araştırma şirketi bunu doğrudan test etti. 18 farklı öncü modeli (GPT-4.1, Claude 4 ailesi, Gemini 2.5, Qwen3 dahil) bilgi bulma, uzun konuşma geçmişi ve tekrar testleriyle denediler2.
Sonuç olarak test edilen her tek model, girdi uzunluğu arttıkça performans kaybetti. Düşüş düzenli değildi, bazen beklenmedik biçimlerde oluyordu ama yön hep aynıydı, bağlam uzadıkça doğruluk düşüyordu. İlginç bir model farkı da buldular, Claude modelleri dikkat dağıtıcı bilgilere karşı daha temkinliydi, GPT modelleri daha sık halüsinasyon üretti2. Bu farka ilerideki bir yazıda tekrar döneceğiz.
Şimdiye kadarki resim
Bağlam penceresi büyüdükçe hesaplanması gereken ilişki sayısı karesel biçimde artıyor, model bu uzunlukta eğitimde daha az pratik yapmış oluyor, konum takibi zayıflıyor. Bunun sonucu, reklamı yapılan pencerenin tamamının aynı kalitede kullanılamaması, bağımsız testlerde de bunun her modelde gözlenmesi.
Sıradaki yazı, bu düşüşün nerede gerçekleştiğiyle ilgili ayrı bir bulguya bakıyor: bilginin bağlamın neresinde olduğu, uzunluktan bağımsız olarak da fark yaratıyor.
Bu yazı 12 bölümlük bir serinin üçüncüsü. Önceki yazı: Reklamı yapılan bağlam penceresiyle gerçekte kullanabildiğimiz aynı şey değil · Sonraki yazı: Bağlamın ortasına koyduğumuz bilgiyi model neden unutuyor?
Kaynaklar
1: Anthropic, "Effective context engineering for AI agents", 29 Eylül 2025
2: Chroma, "Context Rot: How Increasing Input Tokens Impacts LLM Performance", Kelly Hong, Anton Troynikov, Jeff Huber, 14 Temmuz 2025