ChatGPT Prompt Token Zähler: Token Berechnungstool

Der Beispiel Prompt

Der in das obige Werkzeug geladene Prompt ist ein System Prompt für einen LLM-gestützten Code Reviewer. Er hat 110 bis 120 Tokens, je nach Tokenizer. Das mag nicht viel erscheinen, aber dieser Prompt wird mit jedem API Aufruf gesendet. Wenn du 10.000 Aufrufe pro Tag tätigst, macht allein der System Prompt über 1 Million Eingabetokens pro Tag aus.

Das Verständnis der Tokenanzahl in der Prompt-Entwurfsphase verhindert Kostenüberraschungen in der Produktion.

Was ist ein Token?

Tokenisierung ist der Prozess der Aufteilung von Text in diskrete Einheiten, die das Modell verarbeitet. LLMs arbeiten nicht mit Zeichen oder Wörtern. Sie arbeiten mit Tokens. Die Abbildung von Text auf Tokens wird durch eine Vokabeltabelle definiert, die während des Modelltrainingsprozesses erstellt wird.

Die meisten modernen LLMs verwenden Byte Pair Encoding (BPE). BPE beginnt damit, jedes Byte als eigenes Token zu behandeln und führt dann iterativ die häufigsten benachbarten Paare zusammen. Nach genügend Zusammenführungen werden gebräuchliche englische Wörter zu einzelnen Tokens, während seltene Wörter in Unterworteinheiten aufgeteilt werden.

Zum Beispiel mit dem cl100k_base Tokenizer von GPT-4:

"PostgreSQL" -> ["Post", "gre", "SQL"]  (3 Tokens)
"React"      -> ["React"]               (1 Token)
"TypeScript" -> ["Type", "Script"]      (2 Tokens)
"the"        -> ["the"]                 (1 Token)

Code tendiert dazu, weniger effizient zu tokenisieren als Prosa, weil er Bezeichner, Symbole und Syntax enthält, die in den Trainingsdaten seltener vorkommen. Ein 100-zeiliges Code Snippet kann mehr Tokens verbrauchen, als du aufgrund der Zeichenanzahl erwarten würdest.

Warum die Tokenanzahl Wichtig Ist

API Kosten

LLMs werden pro Token abgerechnet. Repräsentative Preise Mitte 2026:

Kontextfenster Budgetierung

Dein Prompt System + Gesprächsverlauf + Tool Ergebnisse + Ausgabe müssen in das Kontextfenster passen. Ein System Prompt von 500 Tokens auf einem 128K Fenster lässt 127.500 Tokens für alles andere. Ein System Prompt von 20.000 Tokens auf demselben Fenster lässt 108.000 Tokens übrig, was bei langen Gesprächen oder vielen eingefügten Dokumenten knapp werden kann.

Berechne Tokens für deine eigenen Prompts mit dem Token Zähler. Formatiere JSON vor dem Einfügen mit dem JSON Formatierer, um Leerzeichen zu minimieren.