Model emin görünüyor ama yanılıyor
Bir modele elimizdeki bir belgeye dayanarak soru sorduğumuzu düşünelim. Belgede olmayan bir rakamı, sanki belgede yazıyormuş gibi, tereddütsüz bir dille söylüyor. Bu, modelin "yalan söylemesi" değil, çünkü kasıt yok. Buna halüsinasyon deniyor, iki farklı türü var.
Sadakat halüsinasyonu, modelin kendisine verilen bağlamla tutarsız bir şey söylemesi, bağlamdaki bilgiyi görmezden gelmesi ya da çarpıtmasıdır. Bu, modelin bağlamdaki bilgiyi "kaybettiğinin" doğrudan göstergesi. Bağlam uzadıkça oranı belirgin biçimde artıyor, 128.000 token'da ortanca model yaklaşık %25 oranında uyduruyor.
İki tür halüsinasyon
Akademik literatür halüsinasyonu ikiye ayırıyor1:
Gerçeklik halüsinasyonu: Model, kendi eğitim sırasında öğrendiği bilgiye dayanıp gerçek dünyayla çelişen bir şey söylüyor. Bağlamla ilgisi yok, modelin "hafızasından" kaynaklanan bir hata.
Sadakat halüsinasyonu: Model, verilen bağlamla tutarsız bir şey söylüyor. Bağlamdaki bilgiyi görmezden geliyor, çarpıtıyor, ya da bağlamdaki bir talimatla çelişen bir cevap veriyor. Üç alt türü var: talimatla çelişme, bağlamla çelişme, kendi içinde mantıksal tutarsızlık.
Bu yazı için önemli olan ikincisi.
Somut rakamlar: uydurma oranı bağlam uzadıkça ne kadar artıyor
Mart 2026'da yayımlanan 172 milyar token'lık devasa bir çalışma (35 açık kaynaklı model, yedi model ailesi, 1 milyar ile 480 milyar parametre arasında) bunu doğrudan ölçtü2. Modellere belgelere dayalı sorular sordular, bağlam uzunluğunu değiştirdiler.
Sonuç çarpıcı:
32.000 token'da en iyi model yalnızca %1,19 oranında uyduruyordu
128.000 token'da ortanca model oranı ~%25'e çıktı
200.000 token'da hiçbir model %10'un altına inemedi, en iyi performans gösteren model bile %10,25'te kaldı
Not: Bu çalışma açık kaynaklı modelleri test etti, kapalı, öncü modeller (Claude, GPT, Gemini gibi) ayrı ölçülmedi, ama eğilim aynı yönde: bağlam uzadıkça uydurma oranı artıyor, bazen çarpıcı biçimde.
Diğer belirtiler
Sadakat halüsinasyonu tek belirti değil. Önceki yazılardan hatırlarsak:
Zayıf geri çağırma: Bağlamın başında verilen bir bilginin, sona doğru "unutulmuş" gibi davranılması, ortada kaybolma etkisiyle bağlantılı.
Kötü kod / hatalı çok adımlı işler: LOCA-bench'in gösterdiği gibi, bağlam büyüdükçe akıl yürütme ve çok adımlı görev takibi bozuluyor, bu kodlama görevlerinde somut hatalara dönüşüyor.
Neden önemli?
Bu belirtiler, "kaç token kullandık" diye bir sayaca bakmadan, sonucun kendisinden aptal bölgeye girdiğimizi anlamamızı sağlıyor. Bir model aniden emin ama yanlış konuşmaya başladıysa, önceki bir talimatı unuttuysa, basit bir görevde hataya düşmeye başladıysa, bu bir sinyal. İlerideki yazılarda bu sinyali aldığımızda ne yapmamız gerektiğine bakacağız.
Bu yazı 12 bölümlük bir serinin altıncısı. Önceki yazı: Akıllı bölge ve aptal bölge nedir, sınır nerede başlıyor? · Sonraki yazı: Claude, GPT, Gemini: uzun bağlamda hangisi nasıl bozuluyor?
Kaynaklar
1: "A review of faithfulness metrics for hallucination assessment in Large Language Models"