Chroma'nın bulduğu fark
Farklı model aileleri, uzun bağlamda aynı şekilde başarısız olmuyor. Chroma'nın 18 model testi, Claude modellerinin bağlamdaki dikkat dağıtıcı bilgilere karşı daha temkinli davrandığını, GPT modellerinin ise daha sık halüsinasyon ürettiğini buldu. Ama bu, hiçbir modelin uzun bağlamda performans kaybına bağışık olduğu anlamına gelmiyor.
Önceki yazılarda tanıttığımız Chroma'nın 18 model testi (GPT-4.1, Claude 4 ailesi, Gemini 2.5, Qwen3 dahil), sadece "hepsi düşüyor" demekle kalmadı, düşüşün biçiminde bir fark da buldu1:
Claude modelleri, bağlamdaki dikkat dağıtıcı bilgilere karşı daha temkinli davranıyor. İlgisiz ya da yanıltıcı bir bilgi bağlama karıştığında, Claude bunu görmezden gelmede biraz daha başarılı.
GPT modelleri ise daha sık halüsinasyon üretiyor. Dikkat dağıtıcı bilgi ya da bağlamın uzunluğu arttığında, uydurma cevap verme eğilimi daha belirgin.
Bu bulguyu nasıl okumalı?
Bu bulguyu abartmamak lazım. Üç şeyi akılda tutmak gerekiyor:
Bu, bir anlık fotoğraf. Test, belirli model versiyonlarıyla (GPT-4.1, Claude 4 ailesi gibi) yapıldı. Model şirketleri sık sık yeni versiyon çıkarıyor, bu fark bir sonraki versiyonda küçülebilir, büyüyebilir, hatta tersine dönebilir.
"Daha temkinli" ile "daha iyi" aynı şey değil. Dikkat dağıtıcıyı görmezden gelmek iyi bir şey ama bu Claude'un aptal bölgeye hiç girmediği anlamına gelmiyor, çünkü test edilen her model uzunluk arttıkça performans kaybetti1. Fark, düşüşün hızında ve biçiminde, düşüşün var olup olmadığında değil.
Bu fark, hangi aracı seçmemiz gerektiğine dair bir tavsiye değil. Bu yazının amacı "şu modeli kullanın" demek değil, hangi modeli kullanırsak kullanalım, aynı temel dinamiklerin geçerli olduğunu ama belirtilerin modelden modele biraz farklı görünebileceğini bilmek.
Daha yeni bir çalışma, resmi biraz karıştırıyor
Daha önce tanıttığımız LOCA-bench (Şubat 2026), Chroma’dan yedi ay sonra, daha güncel model versiyonlarıyla ölçüm yapıyor ve resmi basitleştirmiyor2. 8.000 token’lık kısa bir bağlamda Claude-4.5-Opus %96 doğru çalışırken, GPT-5.2-Medium %72’de kalıyor, Claude açık ara önde. Ama 256.000 token’a çıkınca tablo tersine dönüyor: Claude-4.5-Opus %14,7’ye düşerken, GPT-5.2-Medium %21,3’te kalıyor.
Bu, Chroma’nın bulgusunu çürütmüyor, çünkü iki çalışma farklı şeyi ölçüyor: Chroma dikkat dağıtıcı bilgiyi görmezden gelme becerisine bakıyor, LOCA-bench ham doğruluğa. Ama sonuç şu ki “Claude her zaman daha iyi” gibi tek cümlelik bir özet yanlış olur, hangi ölçüme baktığımıza göre resim değişiyor.
Neden önemli?
Günlük işimizde birden fazla model kullanıyorsak (biri kodlama için, biri yazı için), her birinin aynı bağlam uzunluğunda aynı şekilde davranmayacağını bilmek işimize yarar. Ama pratik strateji (bağlamı yönetmek, temizlemek, bölmek) hepsi için aynı kalıyor, sıradaki yazılarda tam olarak bunlara bakacağız.
Bu yazı 12 bölümlük bir serinin yedincisi. Önceki yazı: Modelin aptal bölgeye girdiğinin belirtileri · Sonraki yazı: Büyük bir görevi küçük parçalara bölmek neden işe yarıyor?
Kaynaklar
1: Chroma, "Context Rot: How Increasing Input Tokens Impacts LLM Performance", Kelly Hong, Anton Troynikov, Jeff Huber, 14 Temmuz 2025
2: HKUST-NLP, "LOCA-bench: Benchmarking Language Agents Under Controllable and Extreme Context Growth", 10 Şubat 2026