Contador de Tokens de Prompt de Amostra

O Prompt de Exemplo

O prompt carregado na ferramenta acima é um prompt de sistema para um revisor de código assistido por LLM. Ele tem 110 a 120 tokens, dependendo do tokenizador. Pode não parecer muito, mas este prompt e enviado com toda chamada de API. Se você fizer 10.000 chamadas por dia, apenas o prompt de sistema representa mais de 1 milhão de tokens de entrada por dia.

Entender o número de tokens na fase de projeto do prompt evita surpresas de custo em produção.

O Que é um Token?

Tokenização é o processador de dividir texto em unidades discretas que o modelo processa. LLMs não operam em caracteres ou palavras. Eles operam em tokens. O mapeamento de texto para tokens é definido por uma tabela de vocabulario construída durante o processador de treinamento do modelo.

A maioria dos LLMs modernos usa Byte Pair Encoding (BPE). BPE comeca tratando cada byte como seu proprio token, depois mêscla iterativamente os pares adjacentes mais frequentes. Apos mêsclagens suficientes, palavras comuns em inglês se tornam tokens únicos, enquanto palavras raras são divididas em unidades de subpalavras.

Por exemplo, com o tokenizador cl100k_base do GPT-4:

"PostgreSQL" → ["Post", "gre", "SQL"]  (3 tokens)
"React"      → ["React"]               (1 token)
"TypeScript" → ["Type", "Script"]      (2 tokens)
"the"        → ["the"]                 (1 token)

Codigo tende a tokenizar de forma menos eficiente que prosa porque contem identificadores, símbolos e sintaxe que aparecem com menos frequência nos dados de treinamento. Um trecho de código de 100 linhas pode usar mais tokens do que você esperaria pela contagem de caracteres.

Por que o Número de Tokens Importa

Custo de API

O preco dos LLMs é por token. Precos representativos em meados de 2026:

Um prompt de sistema de 200 tokens custa $0,0005 por chamada com GPT-4o. A 10.000 chamadas/dia, isso e $5/dia ou $150/mês, apenas do prompt de sistema. Se você reduzir para 100 tokens, economiza $75/mês sem mudanca na funcionalidade.

Limites da janela de contexto

A janela de contexto limita o total de tokens (entrada + saída) por requisição. Se seu modelo de prompt, historico de conversa e documentos injetados juntos se aproximarem do limite, o modelo pode truncar o historico ou falhar com um erro. Medir componentes individuais permite projetar prompts que deixem margem para a saída.

Qualidade da resposta

Prompts muito longos nem sempre produzem melhores resultados. Estudos sobre efeitos “perdido no meio” mostram que modelos muitas vezes prestam menos atenção a informações enterradas no meio de um contexto longo. Prompts concisos e bem estruturados tendem a produzir respostas mais confiaveis que os prolixos.

Como Diferentes Tokenizadores Lidam com o Mesmo Texto

Execute o mesmo prompt por varios tokenizadores e você obtera contagens diferentes. Isso importa ao migrar entre provedores ou comparar custos:

# OpenAI: biblioteca tiktoken
import tiktoken

# GPT-4, GPT-4-turbo, GPT-3.5-turbo
enc_cl100k = tiktoken.get_encoding("cl100k_base")

# GPT-4o, GPT-4o-mini
enc_o200k = tiktoken.get_encoding("o200k_base")

texto = "Você é um engenheiro de software senior revisando código..."
print(len(enc_cl100k.encode(texto)))  # ex. 117
print(len(enc_o200k.encode(texto)))   # ex. 108 (o200k tende a ser mais eficiente)

# Anthropic: biblioteca anthropic (a partir do SDK 0.21+)
import anthropic
cliente = anthropic.Anthropic()
resposta = cliente.mensagems.count_tokens(
    model="claude-3-5-sonnet-20241022",
    mensagems=[{"role": "user", "content": texto}]
)
print(resposta.input_tokens)

O tokenizador do Claude não esta documentado publicamente como biblioteca autonoma. Use o endpoint da API count_tokens diretamente.

Tecnicas Práticas para Reduzir o Número de Tokens

Aparar espaços e redundancia

Instruções repetidas, descrições de papeis verbosas e varios exemplos do mesmo padrão custam tokens. Seja direto.

Antes:

Você é um engenheiro de software senior experiente com muitos anos de experiência
revisando código de produção. Você tem profunda experiência em melhores práticas,
seguranca e desempenho. Por favor, revise cuidadosamente o código a seguir e forneca
feedback detalhado.

Depois:

Revise o código a seguir quanto a problemas de qualidade, seguranca e desempenho.

A segunda versão transmite a mesma instrução em aproximadamente 40% dos tokens.

Use formatos estruturados para dados

Se você esta injetando dados tabulares, JSON geralmente é mais eficiente em tokens que descrições em prosa:

# Prosa (mais tokens):
"O nome do usuário e Alice, ela tem 30 anos é o status da conta e ativo."

# JSON (menos tokens):
{"nome":"Alice","idade":30,"status":"ativo"}

Prefira prompts de sistema para instruções estaticas

Algumas APIs (e algumas implementações de cache) tratam o prompt de sistema de forma diferente da vez do usuário. Mantenha instruções estaticas no prompt de sistema, onde podem ser armazenadas em cache.

Armazene em cache contexto repetido

O cache de prompt da OpenAI (para GPT-4o) é o cache de prompt da Anthropic (para Claude) reduzem o custo de prefixos repetidos. Se seu prompt de sistema e quaisquer documentos injetados são sempre os mesmos, eles podem ser servidos do cache a uma fração do custo total. O cache de prompt tipicamente exige que o prefixo em cache tenha >=1024 tokens.

A Janela de Contexto como um Orçamento

Pense na janela de contexto como um orçamento fixo do qual todos os tokens se utilizam:

[prompt de sistema] + [historico da conversa] + [documentos injetados] + [saída] <= janela de contexto

Para uma janela de contexto de 128.000 tokens:

Quando o contexto esta quase cheio, você deve escolher o que descartar. Estrategias comuns:

• Janela deslizante: Descarte os turnos de conversa mais antigos primeiro.
• Sumarização: Comprima periodicamente turnos mais antigos em um resumo.
• Truncagem RAG: Classifique documentos recuperados por relevancia e descarte os de classificação mais baixa se estourar o orçamento.

Conhecer suas contagens de tokens para cada componente é o que torna essas escolhas concretas em vez de aproximadas.