30 sayfalık bir sözleşmeyi bir modele verdiğimizi, önemli bir maddenin sayfa 15'te olduğunu düşünelim. Model, aynı maddenin sayfa 1'de ya da sayfa 30'da olduğu duruma göre bu maddeyi bulmakta daha çok zorlanıyor. Toplam sayfa sayısı aynı, madde aynı, tek fark konumu.
Bir model, bağlamın başında ya da sonunda yer alan bilgiyi, ortasında yer alan aynı bilgiden daha doğru hatırlıyor. Bu "ortada kaybolma" etkisi, bağlamın sadece uzunluğuyla açıklanamayan ayrı bir mekanizma, ilk kez 2023'te gösterildi ve 2025'te daha büyük modellerde de doğrulandı.
Keşfeden çalışma: "Lost in the Middle"
Bunu ilk sistematik gösteren çalışma, 2023'te paylaşılan ve o zamandan beri uzun bağlam araştırmalarının başvuru noktalarından biri olan "Lost in the Middle" makalesiydi (Liu ve arkadaşları, Stanford)1. Modellere birden fazla belge içinde bir soruya cevap aratmışlar, cevabın belgeler arasındaki konumunu değiştirmişler.
Bulgu, bir U şeklinde bir eğri. Model, cevap bağlamın başında ya da sonunda olduğunda en doğru sonucu veriyor, cevap ortalarda bir yerde olduğunda doğruluk belirgin biçimde düşüyor, bu düşüş uzun bağlam için özel olarak eğitilmiş modellerde bile devam ediyor1.
Hala geçerli mi: 2025'in kanıtı
Bu 2023 tarihli bir bulgu, akla "belki yeni modellerde düzelmiştir" sorusu gelebilir. Chroma'nın 2025'teki 18 model testi bunu doğrudan kontrol etti. Doğruluk, ilgili bilgi bağlamın başında ya da sonunda olduğunda en yüksek, ortada olduğunda %30'dan fazla düşüyor2. Yani iki yıl sonra, çok daha büyük pencereli modellerde bile aynı etki sürüyor.
Aynı araştırma ilginç bir ek nüans buldu: bağlam penceresinin yarısından azı doluyken klasik U şekli geçerli (başta ve sonda iyi, ortada kötü). Ama pencere yarısından fazla doluyken desen değişiyor, model artık sona daha yakın olan bilgiyi, ortadakinden daha iyi hatırlıyor, "yakınlık" giderek "sona yakınlık" anlamına geliyor2.
Bu neden oluyor: MIT'nin açıklaması
2025'te MIT'den bir araştırma ekibi, bu etkinin neden olduğunu matematiksel olarak gösterdi3. Bulguları çarpıcı. Bu önyargı modelin öğrendiği bir şey değil, modellerin çoğunun kullandığı "nedensel maskeleme" (causal masking) denen tasarımın doğrudan bir sonucu. Nedensel maskeleme, bir modelin bir kelimeyi üretirken sadece kendinden önceki kelimelere bakabilmesi anlamına geliyor (sondaki kelimeleri henüz "görmüyor"). Bu tasarım, modelin derin katmanlarında bağlamın başındaki bilgiye yapısal olarak daha fazla ağırlık vermesine yol açıyor, bağlamın başındaki bilgi konu için önemsiz olsa bile.
Yani bu bir eğitim eksikliği değil, mimarinin kendisinden kaynaklanan bir eğilim. Modeli daha çok veriyle eğitmek bunu tek başına çözmüyor.
Neden önemli?
Bağlam büyüklüğüyle ilgili "uzunluk sorunu", bu yazıdaki "konum sorunu"ndan farklı bir şey, ikisini birlikte yönetmek gerekiyor. Kritik bilgi ortalarda bir yere gömülüyse bağlamı kısa tutmak bile yetmiyor. Bunun pratik sonucu ileride, bağlam tasarımı yazılarında somut önerilere dönüşecek: en kritik talimatları bağlamın başına ya da sonuna koymak gibi.
Bu yazı 12 bölümlük bir serinin dördüncüsü. Önceki yazı: Bağlam büyüdükçe Claude neden kötüleşiyor? · Sonraki yazı: Akıllı bölge ve aptal bölge nedir, sınır nerede başlıyor?
Kaynaklar
1: Liu, Lin, Hewitt, Paranjape, Bevilacqua, Petroni, Liang, "Lost in the Middle: How Language Models Use Long Contexts", Stanford, TACL 2024 (arXiv Temmuz 2023)
2: Chroma, "Context Rot", 14 Temmuz 2025
3: Wu, Wang, Jegelka, Jadbabaie, "On the Emergence of Position Bias in Transformers", MIT, ICML 2025 (arXiv Şubat 2025)