- Teste A/B em IA só funciona com entradas idênticas e critérios de avaliação definidos antes
- Avalie qualidade e custo/tempo (não apenas “qual ficou melhor”)
- Use amostra pequena primeiro (10–30 casos), depois amplie se a decisão ficar apertada
- Padronize temperatura, instruções e formato de saída para evitar comparações injustas
- Documente o prompt vencedor e a regra de uso (quando aplicar e quando não aplicar)
1) Defina o que você está tentando melhorar (uma métrica por vez)
Escolha um objetivo prático e mensurável. Exemplos: reduzir tempo de escrita de e-mail, diminuir retrabalho na revisão de contratos, aumentar taxa de resposta útil no suporte. Evite metas vagas tipo “deixar melhor”. Uma métrica principal + 1 ou 2 secundárias costuma ser suficiente.
2) Crie um conjunto fixo de casos (seu “kit de teste”)
Monte uma lista de entradas representativas (casos fáceis, médios e difíceis). Ex.: 20 tickets reais anonimizados, 15 e-mails típicos, 10 trechos de contrato recorrentes. Congele esse conjunto: no teste A e no teste B as entradas precisam ser as mesmas, na mesma ordem, para comparar direito.
3) Trave as condições: mesma instrução, mesmo contexto, mesma formatação
Se o teste é de prompt, mantenha o modelo igual. Se o teste é de modelo, mantenha o prompt igual. Padronize também: idioma, tamanho máximo, formato de saída (tópicos, tabela, JSON), e parâmetros como temperatura (quando houver). Caso contrário, você está testando várias coisas ao mesmo tempo.
4) Rode A e B e registre tudo em uma planilha simples
Para cada caso, cole a entrada e a saída A e B. Registre: tempo para ajustar/editar, se precisou pedir “segunda tentativa”, e qualquer falha crítica (alucinação, dado inventado, tom inadequado). Se possível, avalie “às cegas”: quem dá a nota não deveria saber qual é A ou B.
5) Avalie com uma rubrica (critérios com nota) e defina regra de decisão
Use notas de 1 a 5 por critério (precisão, completude, tom/brand voice, conformidade, clareza). Antes de ver os resultados, defina a regra: por exemplo, B só vence se for ≥0,5 ponto melhor na média e não aumentar falhas críticas. Isso evita manipular o resultado depois.
6) Faça o “teste de realidade”: custo, risco e manutenção
Mesmo que a versão ganhe em qualidade, confira se piora custo, latência, privacidade ou governança. E verifique manutenção: prompts longos demais ou frágeis (dependem de mil detalhes) costumam quebrar com mudanças de contexto e equipe.
7) Documente e publique o padrão (com exemplos de uso e não-uso)
Salve: prompt vencedor, exemplos de entrada/saída, checklist de verificação, e quando escalar para humano. Sem isso, o time volta a improvisar e o ganho evapora em duas semanas.
O que é teste A/B de prompt (e o erro comum que estraga tudo)
Teste A/B é comparar duas versões (A e B) para a mesma tarefa, usando as mesmas entradas, e escolher com base em critérios definidos antes. Em IA, o erro clássico é “mudar tudo”: troca o prompt, o modelo, o contexto e ainda altera o tipo de exemplo — aí qualquer resultado vira narrativa.
Se você quer descobrir se um prompt é melhor, teste só o prompt. Se quer descobrir se um modelo responde melhor, congele o prompt e o conjunto de casos.
Checklist de critérios (use os que importam para o seu trabalho)
Nem todo time precisa dos mesmos critérios. Atendimento pode priorizar tom e resolução. Jurídico costuma priorizar precisão, rastreabilidade e risco. Marketing liga mais para aderência à voz e variações criativas.
- Precisão factual: inventou algo? confundiu datas/valores/condições?
- Completude: respondeu tudo o que foi pedido? deixou lacunas?
- Clareza e estrutura: dá para usar sem reescrever do zero?
- Tom e adequação: está profissional, sem agressividade ou informalidade fora de hora?
- Conformidade/risco: expôs dados, sugeriu ações indevidas, fez afirmações sem base?
- Esforço de edição: quanto tempo você gastou para “ficar aceitável”?
Modelo de planilha/rubrica para pontuar A vs B
Você não precisa de ferramenta sofisticada para começar. Uma planilha já cria disciplina e histórico. O importante é registrar também falhas críticas (quando a resposta não pode ser usada).
| Caso | Nota A (1–5) | Nota B (1–5) | Falha crítica? (A/B) | Tempo de edição (A/B) | Observações |
|---|---|---|---|---|---|
| Ticket: cobrança duplicada | 4 | 5 | Não/Não | 3 min / 1 min | B foi mais direto; A ficou prolixo |
| E-mail: reagendar reunião | 3 | 4 | Não/Não | 4 min / 2 min | B acertou o tom; A soou seco |
| Contrato: cláusula de multa | 2 | 2 | Sim/Sim | — | Ambos chutaram; precisa de regra de “não responder sem fonte” |
Como reduzir aleatoriedade (e não confundir criatividade com qualidade)
Modelos podem variar a resposta mesmo com o mesmo prompt. Para tarefas críticas, reduza a variabilidade: peça saída estruturada, limite tamanho, e use linguagem objetiva. Em tarefas criativas (ideias de campanha, títulos), você pode aceitar variância — mas avalie por critérios (aderência ao briefing, originalidade útil, risco de promessa enganosa), não por “gostei mais”.
Se seu fluxo depende de fontes, inclua no prompt a obrigação de citar trechos do material fornecido. Quando não houver fonte, a resposta deve dizer que não encontrou base.
Regra prática de decisão (para não ficar preso no ‘empate eterno’)
Quando A e B ficam muito próximos, a decisão vira governança: escolha o que dá menos trabalho de manutenção e menor risco. Um prompt “ok” e simples às vezes vence um prompt “brilhante” e frágil.
Se o teste der empate, experimente uma terceira rodada mudando só uma coisa (por exemplo, formato de saída) — e mantenha o resto congelado.
Perguntas frequentes
Quantos casos eu preciso para um teste A/B de prompt funcionar?
Dá para fazer teste A/B comparando modelos diferentes (ex.: um mais barato vs um melhor)?
Como evitar viés de quem avalia (a pessoa querer que o ‘novo’ vença)?
O que é uma “falha crítica” em resposta de IA, na prática?
Leia também
Como criar prompts melhores para IA: 7 técnicas que funcionam
7 técnicas práticas de prompt engineering para tirar respostas muito melhores do ChatGPT, Claude e outras IAs. Com exemplos prontos em português.
Ler →
Como fazer a IA não alucinar: 6 técnicas de prompt que funcionam
Aprenda a estruturar prompts para a IA parar de inventar respostas. Seis técnicas testadas para reduzir alucinação — com exemplos prontos em português.
Ler →
Zero-shot vs few-shot prompting: a diferença e quando usar cada um
Zero-shot é pedir sem exemplo; few-shot é pedir mostrando exemplos. Veja a diferença, uma tabela lado a lado, exemplos prontos em pt-BR e quando cada um compensa.
Ler →
Como criar prompt com fontes e citações (de verdade) para reduzir alucinação na IA
Guia prático para pedir respostas com fontes verificáveis, citações rastreáveis e limitações claras. Inclui modelo de prompt, passos e checklist para evitar alucinação em ChatGPT e outras IAs.
Ler →