Claude Code'da saatlerce süren bir kodlama oturumunun ortasındayız. Az önce bir dosyayı sildiğimizi söylemiştik, model onu hala varmış gibi kullanmaya çalışıyor. Ya da beş mesaj önce verdiğimiz bir talimatı unutmuş görünüyor. Model "bozulmadı", teknik bir hata yok, cevap veriyor. Ama bir şey değişti.
Token, bir dil modelinin metni işlerken kullandığı en küçük birim, bazen tam bir kelime, bazen bir kelimenin parçası. Bağlam penceresi ise modelin bir cevap üretirken aynı anda "görebildiği" toplam token miktarı, sistem talimatlarından konuşma geçmişine, araç çıktılarına kadar her şeyi içeriyor. Bu iki terimi netleştirmeden, yukarıdaki "bir şey değişti" hissinin nereden geldiğini anlayamıyoruz.
Token nedir?
Bir dil modeli metni bizim okuduğumuz gibi harf harf ya da kelime kelime okumuyor. Metni önce token denen küçük parçalara bölüyor, sonra bu parçalarla çalışıyor.
OpenAI'ın kendi belgelediği kaba kural şu: İngilizce metinde 1 token yaklaşık 4 karaktere, yaklaşık ¾ kelimeye denk geliyor1. Yani 100 token, kabaca 75 kelime demek.
Türkçe için durum farklı
Bu oran İngilizce için, Türkçe gibi eklemeli bir dilde (kelimeye ek üstüne ek eklenen bir dil) durum değişiyor. Akademik bir çalışmaya göre "veremedim" kelimesi bir modelin tokenizer'ında beş parçaya bölünebiliyor ("ver-e-me-di-m"), çünkü model çoğunlukla İngilizce ağırlıklı veriyle eğitilmiş, Türkçe'nin ek yapısını tek parça olarak tanımıyor2.
Aynı araştırma, Türkçe gibi diller için özel eğitilmiş bir tokenizer ile genel amaçlı, çoklu dilli bir tokenizer arasındaki farkın 2-3 kata, bazı durumlarda 10-15 kata kadar çıkabildiğini gösteriyor2.
Bunun pratik anlamı, aynı uzunluktaki bir Türkçe metnin bağlam penceresinden İngilizce'den daha büyük bir pay alması. "1 milyon token'lık bağlam penceresi" dediğimizde, bu pencereye sığan Türkçe metin miktarı İngilizce'den daha az.
Bağlam penceresi nedir?
Bağlam penceresi, bir modelin bir cevap üretirken aynı anda görebildiği toplam token miktarı. Bu pencereye sadece bizim yazdığımız mesajlar girmiyor. Sistem talimatları, önceki tüm konuşma geçmişi, kullanılan araçların çıktıları (bir dosya okuma, bir arama sonucu) hepsi aynı pencerenin içinde, aynı sınırlı alanı paylaşıyor3.
Yani bağlam penceresi sabit boyutlu bir kap gibi düşünülebilir. Sohbet uzadıkça, dosya okudukça, araç kullandıkça bu kap doluyor.
"1 milyon token" ne demek?
Bazı modeller artık 1 milyon token'lık pencere sunuyor. Somutlaştırırsak, OpenAI'ın kabaca 0,75 kelime/token oranıyla, 1 milyon token İngilizce'de yaklaşık 750.000 kelime demek1. Ortalama bir roman 90.000-100.000 kelime civarında, yani 1 milyon token kabaca 7-8 roman eder.
Türkçe'de aynı pencereye, tokenizer farkı yüzünden daha az kelime sığıyor. "1 milyon token" rakamı, hangi dilde yazdığımıza göre gerçekte farklı miktarda metne karşılık geliyor.
Bunun can alıcı noktası, bu kadar büyük bir pencereye sahip olmanın o penceredeki her token'ı aynı kalitede kullanabildiğimiz anlamına gelmemesi. Reklamı yapılan pencere büyüklüğüyle, modelin gerçekte güvenilir biçimde kullanabildiği kısım arasında bir fark var, bir sonraki yazının konusu tam olarak bu.
Serinin tamamı
Bu, "Bağlam Yönetimi" serisinin ilk yazısı. Serinin diğer on bir yazısı:
Token nedir, bağlam penceresi nedir: Claude'un hafızasının sınırı (bu yazı)
Reklamı yapılan bağlam penceresiyle gerçekte kullanabildiğimiz aynı şey değil
Modelin aptal bölgeye girdiğinin belirtileri: sadakat halüsinasyonu ve diğerleri
Bilgiyi bağlamda değil, bir dosyada tutmak neden daha güvenli?
İşi baştan, geniş bağlam gerektirmeyecek şekilde nasıl kurarız?
Kaynaklar
1: OpenAI Help Center, "What are tokens and how to count them?"
2: "Impact of Tokenization on Language Models: An Analysis for Turkish", ACM Transactions on Asian and Low-Resource Language Information Processing
3: Anthropic, "Effective context engineering for AI agents", 29 Eylül 2025