Tokens

Escopo: transversal. Aplica-se a qualquer linguagem ou stack do projeto.

Token é o menor pedaço de texto que um modelo de linguagem processa. Ele é a unidade que importa em três decisões práticas: quanto a chamada vai custar, quanto texto cabe em uma requisição e o que compensa cortar de um prompt. As APIs (Application Programming Interface · Interface de Programação de Aplicações) de modelo cobram por token, então a conta sobe com a quantidade de pedaços, e a mesma frase em línguas diferentes rende quantidades diferentes.

O tokenizador quebra o texto em pedaços seguindo os padrões de frequência que aprendeu no treinamento: o que aparece muito vira um token só, o que é raro vira vários. Daí a regra prática abaixo, que varia por língua e por tipo de conteúdo:

Palavra comum em inglês costuma ocupar 1 token. Palavra longa ou rara se parte em vários. Espaço em branco e pontuação contam como tokens próprios.

"Hello, world!"  →  ["Hello", ",", " world", "!"]  → 4 tokens
"Olá, mundo!"   →  ["Ol", "á", ",", " mundo", "!"] → 5 tokens

Os dois exemplos mostram o efeito da língua: a frase em português é mais curta e mesmo assim gasta mais tokens, porque o acento partiu a palavra em dois pedaços. Para estimar com precisão, use o tokenizador do provedor: tiktoken (OpenAI), anthropic-tokenizer (Anthropic).

A context window (janela de contexto) limita o total de tokens de entrada em uma chamada. A saída tem um teto próprio, definido pelo modelo, e os dois limites convivem. Em um modelo com janela de 1.000.000, uma entrada de 900.000 tokens deixa 100.000 disponíveis para a resposta, mesmo que o teto de saída do modelo seja maior.

Encher a janela tem preço: cada token de entrada é cobrado, e em alguns modelos o tempo de resposta cresce junto com o tamanho do contexto.

As APIs cobram entrada e saída em linhas separadas, e o token de saída sai de 3 a 5 vezes mais caro que o de entrada. Por isso uma resposta prolixa pesa mais na fatura que um prompt longo.

Os valores abaixo são aproximados e podem mudar a qualquer momento. Sempre confira a tabela oficial do provedor antes de estimar custos em produção.

Preços de referência: Anthropic · OpenAI · Google

Para estimar o custo de uma chamada: (input_tokens × preço_input + output_tokens × preço_output) / 1_000_000.

O prompt caching (cache de prompt) guarda o começo do prompt já processado do lado do provedor. O system prompt, os documentos de contexto e os exemplos costumam ser idênticos em toda chamada, e o cache evita pagar por eles de novo a cada requisição.

Primeira chamada:  processa 10.000 tokens → cobra preço normal
Chamadas seguintes: apenas os tokens novos (ex: mensagem do usuário) são processados → 90% de desconto

Anthropic: cache explícito via cache_control. Mínimo de 1.024 tokens para ser elegível ao cache.

{
  "system": [
    {
      "type": "text",
      "text": "Você é um assistente especializado em...",
      "cache_control": { "type": "ephemeral" }
    }
  ]
}

O cache_control marca até onde vai o trecho a guardar. Tudo o que vier antes dessa marca entra no cache; o que vier depois é processado a cada chamada.

OpenAI: cache automático, sem marcação explícita no payload (corpo da mensagem).

O trecho guardado tem TTL (Time To Live · tempo de vida) de aproximadamente 5 minutos, contado a partir do último uso.

Coloque o conteúdo estável no início do prompt. O cache funciona por prefixo: ele casa a partir do primeiro token e para no primeiro caractere diferente. Mudar uma vírgula no system prompt invalida tudo o que vinha depois, então o que muda a cada chamada fica no fim.

Use o modelo certo para cada tarefa. Haiku 4.5 custa 5 vezes menos que Sonnet 4.6 por token de saída. Classificação, extração e resumo curto entregam o mesmo resultado no modelo pequeno.

Combine prompt caching com Batch API. Os descontos se somam: 90% do cache sobre a entrada, 50% do Batch sobre a chamada. Em processamento de documento em volume, a redução chega perto de 95%.

Peça respostas concisas. O token de saída é o mais caro da conta, e uma instrução de tamanho no prompt corta o custo da resposta inteira.

DoDocs v3.7.0 · Desenvolvido por @thiagocajadev · Baseado no trabalho de pmndrs/docs · Poimandres.