ChatGPT Prompt Token Sayacı: Token Hesaplama Aracı

Örnek Prompt

Araca yüklenen prompt, LLM destekli bir kod incelemecisi için bir sistem prompt’udur. Tokenizer’a bağlı olarak 110 ila 120 token arasındadır. Bu çok fazla görünmeyebilir, ancak bu prompt her API çağrısıyla gönderilir. Günde 10.000 çağrı yaparsanız, sistem prompt’u tek başına günde 1 milyon token üzerinde girdiye neden olur.

Token sayısını prompt tasarımı aşamasında anlamak, üretimde maliyet sürprizlerini önler.

Token Nedir?

Tokenizasyon, metni modelin işlediği ayrık birimlere ayırma sürecidir. LLM’ler karakterler veya kelimeler üzerinde çalışmaz. Token’lar üzerinde çalışırlar. Metinden token’lara eşleme, modelin eğitim süreci sırasında oluşturulan bir kelime dağarcığı tablosu ile tanımlanır.

Çoğu modern LLM, Byte Pair Encoding (BPE) kullanır. BPE, her baytı kendi token’ı olarak ele alarak başlar, ardından en sık bitişik çiftleri yinelemeli olarak birleştirir. Yeterli birleştirmeden sonra, yaygın İngilizce kelimeler tek token haline gelirken, nadir kelimeler alt kelime birimlerine bölünür.

Örneğin, GPT-4’ün cl100k_base tokenizer’ı ile:

"PostgreSQL" → ["Post", "gre", "SQL"]  (3 token)
"React"      → ["React"]               (1 token)
"TypeScript" → ["Type", "Script"]      (2 token)
"the"        → ["the"]                 (1 token)

Kod, düz metinden daha az verimli tokenize olma eğilimindedir çünkü eğitim verilerinde daha az sıklıkta görünen tanımlayıcılar, semboller ve sözdizimi içerir. 100 satırlık bir kod parçası, karakter sayısından beklediğinizden daha fazla token kullanabilir.

Token Sayısı Neden Önemlidir

API maliyeti

LLM fiyatlandırması token başına yapılır. 2026 itibarıyla temsili fiyatlar:

200 token’lık bir sistem prompt’u, GPT-4o ile çağrı başına $0,0005’e mal olur. Günde 10.000 çağrıda, bu günde $5 veya ayda $150’dir, yalnızca sistem prompt’undan. 100 token’a düşürürseniz, işlevsellikte hiçbir değişiklik olmadan ayda $75 tasarruf edersiniz.

Bağlam penceresi sınırları

Bağlam penceresi, istek başına toplam token’ları (girdi + çıktı) sınırlar. Prompt şablonunuz, konuşma geçmişiniz ve eklenen belgeleriniz birlikte sınıra yaklaşırsa, model geçmişi kısaltabilir veya bir hatayla başarısız olabilir. Bireysel bileşenleri ölçmek, çıktı için boşluk bırakan prompt’lar tasarlamanıza olanak tanır.

Yanıt kalitesi

Çok uzun prompt’lar her zaman daha iyi sonuçlar üretmez. “Lost in the middle” etkileri üzerine yapılan çalışmalar, modellerin genellikle uzun bir bağlamın ortasına gömülü bilgilere daha az dikkat ettiğini göstermektedir. Kısa, iyi yapılandırılmış prompt’lar, ayrıntılı olanlardan daha güvenilir yanıtlar üretme eğilimindedir.

Farklı Tokenizer’lar Aynı Metni Nasıl İşler?

Aynı prompt’u birden çok tokenizer’dan geçirin ve farklı sayılar alırsınız. Bu, sağlayıcılar arasında geçiş yaparken veya maliyetleri karşılaştırırken önemlidir:

# OpenAI: tiktoken kütüphanesi
import tiktoken

# GPT-4, GPT-4-turbo, GPT-3.5-turbo
enc_cl100k = tiktoken.get_encoding("cl100k_base")

# GPT-4o, GPT-4o-mini
enc_o200k = tiktoken.get_encoding("o200k_base")

text = "You are a senior software engineer reviewing code..."
print(len(enc_cl100k.encode(text)))  # örn. 117
print(len(enc_o200k.encode(text)))   # örn. 108  (o200k daha verimli olma eğilimindedir)

# Anthropic: anthropic kütüphanesi (SDK 0.21+ itibarıyla)
import anthropic
client = anthropic.Anthropic()
response = client.messages.count_tokens(
    model="claude-3-5-sonnet-20241022",
    messages=[{"role": "user", "content": text}]
)
print(response.input_tokens)

Claude’un tokenizer’ı bağımsız bir kütüphane olarak kamuya açık olarak belgelenmemiştir. Doğrudan count_tokens API uç noktasını kullanın.

Token Sayısını Azaltmak İçin Pratik Teknikler

Boşluk ve fazlalığı kırpın

Tekrarlanan talimatlar, ayrıntılı rol açıklamaları ve aynı desenin birden çok örneğinin tümü token tüketir. Doğrudan olun.

Önce:

Sen, yılların deneyimine sahip, üretim kodunu inceleyen uzman, deneyimli bir kıdemli yazılım mühendisisin. En iyi uygulamalar, güvenlik ve performans konularında derin uzmanlığa sahipsin. Lütfen aşağıdaki kodu dikkatlice incele ve ayrıntılı geri bildirim sağla.

Sonra:

Aşağıdaki kodu kalite, güvenlik ve performans sorunları için incele.

İkinci sürüm, token’ların yaklaşık yüzde 40’ında aynı talimatı taşır.

Veriler için yapılandırılmış formatlar kullanın

Tablo verileri ekliyorsanız, JSON genellikle düz metin açıklamalarından daha token verimlidir:

# Düz metin (daha fazla token):
"Kullanıcının adı Ali, 30 yaşında ve hesap durumu aktif."

# JSON (daha az token):
{"name":"Ali","age":30,"status":"active"}

Statik talimatlar için sistem prompt’larını tercih edin

Bazı API’ler (ve bazı önbelleğe alma uygulamaları) sistem prompt’unu kullanıcı turundan farklı şekilde ele alır. Statik talimatları, önbelleğe alınabilecekleri sistem prompt’unda tutun.

Tekrarlanan bağlamı önbelleğe alın

OpenAI’nin prompt önbelleğe alması (GPT-4o için) ve Anthropic’in prompt önbelleğe alması (Claude için) yinelenen ön eklerin maliyetini azaltır. Sistem prompt’unuz ve eklenen belgeleriniz her zaman aynıysa, tam maliyetin bir kısmı ile önbellekten sunulabilirler. Prompt önbelleğe alma tipik olarak önbelleğe alınan ön ekin ≥1024 token olmasını gerektirir.

Bütçe Olarak Bağlam Penceresi

Bağlam penceresini, tüm token’ların çekildiği sabit bir bütçe olarak düşünün:

[sistem prompt'u] + [konuşma geçmişi] + [eklenen belgeler] + [çıktı] ≤ bağlam penceresi

128.000 token bağlam penceresi için:

Bağlam neredeyse dolduğunda, neyi bırakacağınızı seçmelisiniz. Yaygın stratejiler:

• Kayan pencere: Önce en eski konuşma turlarını bırakın.
• Özetleme: Eski turları periyodik olarak bir özete sıkıştırın.
• RAG kırpma: Alınan belgeleri alaka düzeyine göre sıralayın ve bütçeyi aşarsa en düşük puanlıları bırakın.

Her bileşen için token sayılarınızı bilmek, bu takasları yaklaşık olmak yerine somut hale getiren şeydir.