Bir öğrenci düşünelim, 500 sayfalık bir ders kitabını elinde tutabiliyor olması, kitaptaki her bilgiyi sınavda doğru hatırlayabileceği anlamına gelmiyor.
Bir model "1 milyon token bağlam penceresi" diye pazarlanıyorsa, bu rakam o modelin en fazla ne kadar metin kabul edebildiğini söylüyor, o metnin ne kadarını doğru ve güvenilir biçimde kullanabildiğini söylemiyor. Birden fazla bağımsız çalışma, aradaki farkın küçük olmadığını gösteriyor.
Bir dil modeli için de durum benzer. Model 1 milyon token'lık bir metni "kabul edebiliyor" (hata vermeden işleyebiliyor) ama bu metnin ortasındaki bir bilgiyi doğru hatırlayıp kullanabilmesi ayrı bir mesele.
Güncel ölçüm: LOCA-bench (Şubat 2026)
Bu farkı en güncel biçimde ölçen çalışma, Şubat 2026'da yayımlanan LOCA-bench. Yedi model test ediyor, Claude-4.5-Opus, GPT-5.2-Medium, Gemini-3-Flash, DeepSeek-V3.2-Thinking, MiniMax-M2.1, GLM-4.7 ve Kimi-K2-Thinking1.
Bulgu çarpıcı. Claude-4.5-Opus 8.000 token'lık bağlamda %96 doğru çalışıyor, aynı model 256.000 token'da %14,7'ye düşüyor. GPT-5.2-Medium'da benzer bir tablo var, 8.000 token'da %72, 256.000 token'da %21,3, yaklaşık 51 puanlık bir kayıp1. Model "200.000 token destekliyorum" dese bile, bu o uzunlukta güvenilir çalıştığı anlamına gelmiyor.
Bu farkı ilk gösteren çalışma: RULER
LOCA-bench'ten önce, bu farkı ilk sistematik gösteren çalışmalardan biri NVIDIA'nın RULER testiydi (2024)2. RULER, modellere iddia ettikleri pencere boyutunda gerçek görevler (bilgi bulma, birden fazla adımı takip etme, bilgi toplama) verip modelin bunları hala ne kadar doğru yapabildiğini ölçen ilk testlerdendi. RULER'in açtığı bu yöntemi izleyen sonraki sektör derlemeleri, tekrar eden bir rakama işaret ediyor (kesin bir ölçüm değil, tekrarlayan bir gözlem): modellerin iddia ettikleri pencere boyutunun kabaca yarısını, üçte ikisini güvenilir biçimde kullanabildiği tahmin ediliyor. LOCA-bench, iki yıl sonra, çok daha geniş bir model setiyle aynı temel sorunun hala sürdüğünü gösteriyor.
Bağımsız bir kanıt daha: AA-LCR
Artificial Analysis'in AA-LCR testi, ~100.000 token'lık çoklu doküman girdisi üzerinde akıl yürütme ölçüyor, "needle in haystack" gibi yapay bir arama değil, finansal rapor ve hukuki metin gibi gerçekçi belgeler kullanıyor3. Test ilk yayımlandığında (Ağustos 2025) en iyi modeller bile yalnızca yaklaşık %70 doğruluk elde etti. Bir yıl sonra, bugün canlı sıralamaya bakınca durum iyileşmiş, en üstteki modeller %80'lerin üzerine çıkmış, hatta %83,3'e kadar ulaşmış4.
Asıl nokta şu ki 100.000 token, ileride göreceğimiz "güvenli" sayılan aralığın içinde kabul edilse bile, bir yıllık iyileşmeden sonra bile en iyi model beşte birine yakın soruda hata yapıyor, mükemmel performans yok.
Neden önemli?
Birkaç yazı sonra bağlam penceresini ikiye ayıran bir sınırdan (performansın güvenilir olduğu bölge ile belirgin biçimde düştüğü bölge) bahsedeceğiz, ama o sınırın altında kalmak bile bizi otomatik olarak kusursuz sonuca götürmüyor. Bu düşüş "işler tamamen bozuluyor" değil, "işler kademeli olarak kötüleşiyor" anlamına geliyor. Sınırın her iki tarafında da bir miktar hata payı var, sadece oranı değişiyor.
Bu yazı 12 bölümlük bir serinin ikincisi. Önceki yazı: Token nedir, bağlam penceresi nedir? · Sonraki yazı: Bağlam büyüdükçe Claude neden kötüleşiyor?
Kaynaklar
1: HKUST-NLP, "LOCA-bench: Benchmarking Language Agents Under Controllable and Extreme Context Growth", 10 Şubat 2026
2: NVIDIA, RULER Benchmark, Nisan 2024
3: Artificial Analysis, "Announcing AA-LCR" (yöntem duyurusu), 5 Ağustos 2025
4: Artificial Analysis, AA-LCR canlı leaderboard, erişim 19 Ağustos 2026