Advanced

Escopo: transversal. Aplica-se a qualquer linguagem ou stack do projeto.

Este guia cobre conceitos que aparecem em sistemas de IA em produção: ajuste fino de modelos, alucinações, saídas estruturadas, raciocínio estendido, engines de inferência e AI (Artificial Intelligence, Inteligência Artificial) Gateway. Cada conceito impacta diretamente decisões de arquitetura e custo.

Fine-tuning parte de um modelo pré-treinado e continua o treinamento com um dataset menor e específico. O resultado é um modelo que performa melhor no domínio-alvo sem perder o conhecimento geral.

Modelo base (treinado em internet) → Fine-tuning com dados do domínio → Modelo especializado

Quando usar:

Fine-tuning não é a primeira escolha. Prompt engineering e RAG (Retrieval-Augmented Generation, Geração Aumentada por Recuperação) resolvem a maioria dos casos com menos custo e sem a complexidade de um pipeline de treinamento.

Variantes:

Alucinação é o modelo gerar afirmações falsas com tom confiante. Ocorre porque o modelo aprende padrões estatísticos de texto, não fatos verificados. A frequência aumenta com: prompts ambíguos, domínios raros no treinamento e outputs longos sem ancoragem.

Tipos:

Mitigação:

Grounding → Fornecer os fatos no prompt em vez de deixar o modelo lembrar
RAG      → Recuperar informação atualizada e injetá-la no contexto
Verificação → Pedir ao modelo que cite a fonte no próprio output
Temperature → Usar temperature baixa (0-0.3) para tarefas factuais

A mitigação mais eficaz para domínios críticos é RAG com grounding: o modelo responde apenas com base nos documentos fornecidos e cita a origem de cada afirmação.

Quais foram os resultados financeiros da Acme Corp no Q3 2024?

Com base no relatório abaixo, quais foram os resultados financeiros da Acme Corp no Q3 2024?
Se a informação não estiver no relatório, responda "não encontrado".

[conteúdo do relatório]

Liste 3 artigos acadêmicos sobre RAG publicados em 2024.

Liste apenas artigos que estejam na lista abaixo.
Se não houver artigos sobre RAG, diga que não encontrou.

[lista de referências verificadas]

Qual a versão atual do framework X?

Qual a versão atual do framework X?
Se não tiver certeza, diga que não sabe e recomende verificar a documentação oficial.

Structured outputs forçam o modelo a gerar um JSON (JavaScript Object Notation, Notação de Objetos JavaScript) que segue um schema definido. O output é parseável sem regex, sem pós-processamento frágil.

const response = await client.messages.create({
  messages: [{ role: "user", content: `Extraia nome e email de: ${text}` }],
});

const rawText = response.content[0].text;

const response = await client.messages.create({
  tools: [extractContactTool],
  tool_choice: { type: "tool", name: "extract_contact" },
  messages: [{ role: "user", content: `Extraia nome e email de: ${text}` }],
});

const contact = response.content[0].input;

Suporte por provedor:

Structured outputs são obrigatórios quando o output alimenta outro sistema de forma programática. Nunca parsear texto livre em produção.

O modelo não pensa de fato, mas pode gerar tokens intermediários antes da resposta final, funcionando como um rascunho interno. Estatisticamente, produzir mais tokens de "rascunho" antes do output aumenta a precisão em tarefas complexas, pelo mesmo motivo que humanos erram menos quando escrevem os passos antes de concluir.

Extended thinking é um modo em que o modelo gera esse rascunho interno (thinking tokens) antes de produzir a resposta final. O bloco de raciocínio é separado da resposta e pode ou não ser exposto ao usuário.

Prompt → [Thinking: raciocínio interno] → Resposta final

O raciocínio interno permite ao modelo explorar hipóteses, verificar contradições e corrigir erros antes de comprometer com uma resposta. O resultado é ganho expressivo de precisão em tarefas de:

Thinking tokens têm custo: são cobrados como output tokens. Para tarefas simples, extended thinking adiciona latência e custo sem ganho proporcional. Use quando a precisão supera o custo.

Um inference engine é o software que carrega os pesos do modelo e executa a geração de tokens. Para modelos cloud, o provedor gerencia isso de forma transparente. Para modelos locais, a escolha do engine impacta velocidade, compatibilidade e recursos suportados.

Para uso em produção com múltiplos usuários, vLLM é a escolha padrão: batching contínuo maximiza throughput (vazão) e PagedAttention (atenção paginada) gerencia a KV cache (armazenamento rápido e temporário das matrizes de atenção chave-valor de tokens já processados) de forma eficiente.

Um AI Gateway (portão de IA) é uma camada intermediária entre a aplicação e as APIs de LLM (Large Language Model, Modelo de Linguagem Grande). Centraliza responsabilidades que não devem viver na lógica de negócio.

Aplicação → AI Gateway → [Claude | GPT | Gemini | modelo local]

Responsabilidades típicas:

O AI Gateway é indicado quando a aplicação usa múltiplos provedores, precisa de controle de custo por tenant (inquilino) ou opera em ambiente regulado (PII, compliance). Para um único provedor em projeto simples, a abstração é overhead desnecessário.

Desenvolvido por @thiagocajadev · Fork baseado no repositório pmndrs/docs · Poimandres.