Alucinação

Faltando base, ela preenche, e preenche com o mesmo tom

Lembra do formulário em que todo campo é obrigatório? Quem não sabe a resposta preenche com o que parece razoável, porque o sistema não aceita em branco. A base, o material que ela tem à vista para responder, era uma planilha com as vendas por loja. Não tinha nada sobre o setor. A frase já está escrita até a vírgula. Escolha o próximo pedaço, ou deixe o sorteio escolher, do jeito que ela faz.

É como o colega que nunca diz "não sei": ele te dá o ramal errado no mesmo tom firme com que te deu o certo na semana passada.

O jogo completo da próxima palavra está na página Prompt. E o número inventado que aparece quando o combinado sai da mesa está em Janela de contexto.

Por que ela não diz "não sei"

Pense numa prova de concurso, de múltipla escolha, com quatro alternativas. Se só o acerto conta, chutar rende em média um quarto do ponto, e deixar em branco rende zero. Quem é treinado nessa prova aprende a chutar com confiança. Troque a regra da prova.

A conta é aritmética: um quarto de chance de acerto; na segunda regra, cada erro tira um terço de ponto. A forma de treino dos modelos é mais complicada que uma prova; o desenho mostra só a direção do incentivo.

Tudo o que aparece no que voltou precisa ter origem no que você deu

É a conferência do almoxarifado: tudo o que aparece na nota de saída precisa ter entrado antes por uma nota de entrada. Com a IA, o que aparece a mais nasce no ponto em que o texto passa de relatar para explicar, e cai quase sempre em três lugares. A caça linha por linha, numa planilha, está em Caça ao erro.

A norma que tinha o formato certo. Num recurso contra uma cobrança recusada, a resposta citou uma resolução de agência reguladora, com número e ano. Parecia exata, e não existia. A IA tinha visto muitas resoluções escritas como "número/ano" e muitos recursos desse tipo citando uma; juntou as duas coisas e escreveu uma que fazia sentido no contexto. O formato certo é justamente o que torna o nome inventado convincente. Norma citada se confere na publicação oficial, nunca na própria resposta.

Um pedido fabrica os três de uma vez: “adapte ao alvo”. Ajustar o currículo a uma vaga, ou a proposta a um cliente, é pedir que ela feche a distância entre o que você tem e o que o alvo pede. Onde o seu material não alcança, ela preenche. Às vezes avisa numa nota, mas a nota é comentário, não texto: quando o texto é reaproveitado na etapa seguinte, ela fica para trás. O que sai de uma etapa é o que entra na próxima, inclusive o que não devia.

A nota da primeira etapa era o único sinal de que os 18% foram inventados. Na segunda, o número ficou e o aviso sumiu; “coordenei” virou “liderei”; e o espanhol entrou porque a vaga pedia. Ninguém mentiu: cada etapa só deixou o texto mais parecido com o alvo.

Ajuste este texto ao alvo abaixo usando só o que está no material que eu dei.
Onde o alvo pede algo que o material não traz, não complete: escreva [falta: o que o alvo pede] no lugar.
Se você reformular uma frase a ponto de mudar o que ela afirma (cargo, número, resultado, idioma), marque [reescrito: confira].
Mantenha todas as marcas em todas as versões seguintes, inclusive na final. Quem apaga uma marca sou eu, depois de conferir.
No fim, liste as marcas que ficaram no texto.

Conferir contra um trabalho fechado, linha por linha

No fechamento do caixa, ninguém confere lendo o relatório com atenção: põe o extrato do banco ao lado e bate linha por linha. Ler procurando erro só pega o erro que se denuncia sozinho. O que funciona é ter do lado uma versão que você já sabe que está certa. Classifique cada linha da resposta contra a planilha.

Conferir tem ordem, da camada mais barata para a mais cara

Numa nota fiscal, primeiro se olha se tem data e assinatura; só depois se pergunta se aquela compra devia ter sido feita. A conferência que a maioria faz para na primeira camada, porque é a que se enxerga rápido. É também a única que a ferramenta já faria sozinha. Clique em cada uma.

Nenhum é erro de conta, e todos saem plausíveis na tela

Erro de digitação se pega relendo; erro de quem leu errado o pedido de compra chega com a nota bonita e o produto trocado. São erros de leitura do material. Por isso reler a resposta procurando coisa estranha não pega nenhum deles. Clique em cada um para ver o sintoma, a causa e o conserto.

Quando o pedido é pesquisa, aparece um parente destes quatro: a fonte que não existe, ou que não diz o que a resposta afirma. É o mesmo mecanismo da norma com o formato certo. Abra cada link antes de usar, e peça que o que não abrir saia da resposta, com aviso.

A mesma pergunta, antes e depois de um parágrafo no fim do pedido

É a diferença entre o fornecedor que completa o pedido por conta própria quando falta um item e o que liga avisando: “esse não tinha”. Mesma planilha, mesma pergunta: "Qual loja vendeu mais no trimestre, e quanto isso representa do total?" A única diferença é o parágrafo que manda declarar o que não foi encontrado.

No trecho, cada lacuna leva um rótulo que diz o que você faz com ela:

• [estimativa a validar] ela calculou com uma premissa: confira a premissa antes de usar o número.
• [buscar internamente] dado que só a sua empresa tem: você busca, ela não chuta.
• [verificar antes da reunião] está no material, mas ambíguo: vira item da sua conferência.
• não informado o documento não traz: vira pergunta para quem mandou.

E quando ela precisar estimar, a faixa mostra o tamanho da dúvida: "entre 2.800 e 3.400 cupons", no lugar de "3.100".

Antes de me dar a resposta final, faça a conferência abaixo e me mostre o resultado dela.
O que eu preciso: para cada número que aparecer, de onde ele saiu, com a aba, a coluna e quantas linhas foram somadas. E a lista do que você procurou e não encontrou no material, cada item marcado pelo que eu devo fazer com ele:
[estimativa a validar] quando você calculou com uma premissa, e diga qual premissa.
[buscar internamente] quando o dado só existe dentro da empresa. Não estime.
[verificar antes da reunião] quando o dado está no material, mas ambíguo.
"não informado" quando o documento não traz o campo.
Restrições: não complete dado que estiver faltando, e não arredonde diferença. Quando precisar estimar, dê uma faixa (de … a …), nunca um número só. Se dois registros parecem a mesma coisa escrita de jeitos diferentes, mostre os dois como estão e não junte.
Na dúvida: pergunte antes de decidir por mim. Deixar um item em aberto é o resultado certo quando a informação não está no material.

A instrução não deixa a resposta perfeita, e nenhuma frase garante que a base seja respeitada. Ela transforma erro invisível em pendência visível, e pendência visível se resolve em um minuto.

Fonte, número, consistência, e o peso do erro

Rascunho de e-mail interno a gente relê uma vez; contrato que vai para outra empresa passa por mais olhos e mais tempo. Antes de colar, enviar ou assinar, três perguntas. O rigor é proporcional ao risco: quanto mais irreversível a decisão, mais devagar você lê. Pense numa resposta que você recebeu hoje.

Não é hipótese. Advogados já entregaram à Justiça decisões que não existiam, e uma companhia aérea foi condenada a honrar uma tarifa que o próprio atendente automático inventou. Nos dois casos, quem respondeu foi quem assinou.

Não estreie o pedido num caso novo

Ninguém testa a planilha nova da folha de pagamento direto no mês corrente: roda primeiro com o mês passado, que já se sabe quanto deu. Num trabalho novo você não tem contra o que comparar: se a resposta vier errada, ela vai parecer certa. Estreie num trabalho que você já entregou. Os dois passos marcados são os que quase todo mundo pula.

E se, depois de ajustar o pedido algumas vezes, a diferença não some? Então o teste respondeu outra pergunta: esta tarefa não é para delegar, pelo menos não do jeito que está. É um resultado tão útil quanto o outro, e saiu barato: no caso fechado, nenhum documento errado chegou a ninguém.

De onde saiu esta linha?
Se a origem não está no material que eu dei, foi preenchimento, mesmo que seja verdade no mundo.

Três ideias

Alucinação

Texto afirmado com segurança que não tem apoio no material nem no mundo. Nasce do mesmo mecanismo que escreve o texto certo.

Base

O que a IA tem à vista para responder: o pedido, os anexos, a conversa. O que não está ali é preenchido.

Caso fechado

Um trabalho que você já entregou e cujo resultado você conhece. É o gabarito para testar um pedido.

Pendência declarada

O item que a resposta diz não ter encontrado, em vez de completar por estimativa.

Simplificação didática. As porcentagens do sorteio, os números da planilha e as respostas dos exemplos são ilustrativos; a planilha e as lojas são fictícias. A prova de múltipla escolha é uma analogia para a direção do incentivo, não a descrição de como os modelos são treinados. A faixa de cupons da loja Leste e a escala de plantão são inventadas para o exemplo; o caso da norma aconteceu, e aparece aqui sem número, órgão nem ano. O currículo ajustado à vaga, com o percentual de frete, é inventado para o exemplo. Veja também O que pode subir para a IA, a outra ponta da mesma conferência.