Pesquisa com hipótese

Sem hipótese, a pesquisa sai equilibrada e rasa

Peça ao estagiário “um levantamento sobre cancelamento de clientes” e volta uma pasta grossa, bem organizada, que fala de tudo um pouco e não responde a pergunta da reunião. Com a IA é igual, só que mais rápido. No exemplo, a XPTO, uma empresa inventada que vende sistema de gestão para pequenos negócios: a análise da planilha mostrou que os cancelamentos subiram no trimestre. Abaixo, dois pedidos para descobrir por quê. Repare para onde vai a profundidade em cada um.

Para resumir, redigir ou formatar o que você já tem, o pedido simples basta. A hipótese vale quando o resultado vai orientar uma decisão, ou vai ser apresentado a outras pessoas, e o custo de um ponto cego é maior que os minutos de preparo.

Três tipos de hipótese: confirmar, derrubar ou mapear

Quem entra numa entrevista de emprego já com uma impressão do candidato faz perguntas diferentes de quem não leu o currículo: um quer confirmar, outro quer achar o ponto fraco, o terceiro quer ouvir tudo antes de opinar. Na pesquisa, o tipo de hipótese diz à IA qual dos três trabalhos fazer. Escolha pelo quanto você já sabe e pelo quanto custa errar.

Qual tipo cabe em cada pedido?

A refutação é o antídoto da IA que concorda com você: ela tende a achar razão para o que você já pensa, e pedir o contrário é o que quebra isso. O mecanismo, com exemplos, está em a IA concorda com você.

Diga que fontes valem e que ruído ignorar, antes de ela buscar

Quando o jurídico dá um parecer, ninguém aceita “li num grupo de mensagens” como fundamento: que tipo de fonte vale já está combinado antes. Na pesquisa, sem esse combinado, a IA põe o relatório do setor e o comentário anônimo de fórum no mesmo parágrafo, com o mesmo tom. Abaixo, oito coisas que uma busca sobre os cancelamentos da XPTO poderia trazer. Ligue os filtros e veja o que sobra, e o parágrafo que vai no pedido.

Os dados da própria empresa (os chamados de suporte, a planilha de cancelamentos) não estão na internet: só entram na pesquisa se você anexar. Muitas vezes são a fonte mais forte que existe.

Separe o que ela sabe de memória do que precisa ser buscado

O colega veterano responde muita coisa de cabeça, e o bom veterano avisa: “isso eu lembro, mas confere na norma, que pode ter mudado”. A IA também responde de memória: é o que ela leu durante o treino, a fase em que aprendeu com uma montanha de textos, até uma certa data. Ela não sabe o que veio depois e não guarda de qual texto saiu cada coisa. Quando o chat tem a busca na internet ligada, ela pode ir atrás da fonte; quando não tem, ainda assim responde, no mesmo tom. A mesma pergunta, em três situações:

“Em sistemas por assinatura, quanto do cancelamento acontece nos primeiros meses de contrato?”

Marque cada afirmação da resposta com uma etiqueta:
[DE MEMÓRIA] o que você sabe do que leu antes, sem fonte para mostrar agora;
[BUSCADO] o que você encontrou nesta pesquisa, com o link e o trecho que diz isso;
[PRECISA VERIFICAR] número, data, regra ou nome que eu devo conferir antes de usar.
Não dê porcentagem nem valor sem fonte. Se não tiver a fonte, diga onde eu poderia procurar.

Número específico sem fonte não se usa, venha de onde vier. Por que ela preenche o que falta em vez de dizer “não sei”, e o parágrafo que manda avisar o que não encontrou, em alucinação.

Escolha no máximo três fontes, e abra cada uma antes de usar

Na compra, três orçamentos lidos com calma valem mais que vinte empilhados na mesa sem abrir. A busca devolve títulos, e o título promete o que o texto às vezes não cumpre. Abaixo, seis resultados de uma busca sobre os cancelamentos. Só dá para usar depois de abrir, e cabem três.

Antes de analisar, pergunte onde as fontes brigam, o que falta e quem não foi ouvido

Antes de fechar um acordo a partir de três e-mails sobre o mesmo assunto, você confere onde eles se contradizem e qual é o mais recente. Com as fontes escolhidas, três perguntas vêm antes da análise, uma de cada vez. Elas não respondem a pesquisa: dizem quanto dá para confiar no material com que ela vai ser feita.

1. Olhando só as fontes que eu escolhi, mostre onde elas discordam entre si: afirmações conflitantes e dados que não batem. Para cada ponto, cite a fonte e o trecho. Se elas forem consistentes, diga isso claramente.

2. Com base nessas fontes, que pontos importantes sobre [o tema] ficaram de fora ou foram tratados por cima? Não invente detalhes: só descreva o que falta.

3. Há pontos de vista contrários, ou menos conhecidos, sobre [o tema] que provavelmente não estão nessas fontes? Descreva em linhas gerais e diga que tipo de fonte eu precisaria buscar para encontrá-los.

A etiqueta que ela põe na própria resposta é uma afirmação dela, não uma conferência. Isso aparece quando a mesma pesquisa se repete, numa rotina (o mesmo pedido programado para rodar sozinho toda semana) ou colada por você toda segunda: o mesmo fato sai “hipótese” num dia e “confirmado” no seguinte, sem fonte nova, e duas rodadas marcam como confirmadas coisas que se desmentem. No máximo, “confirmado” quer dizer “alguém publicou”, não “é verdade”. Pesquisa que se repete se lê contra a rodada anterior.

Abaixo está a rodada anterior desta mesma pesquisa. Antes do resumo novo, faça uma lista só com:
1. o que mudou de etiqueta desde a rodada anterior (de hipótese para confirmado, ou o contrário), e qual fonte nova justificou a mudança;
2. o que nesta rodada contradiz a anterior, citando as duas fontes;
3. o que estava marcado como confirmado e não aparece mais.
Se nenhuma fonte nova justificou uma mudança de etiqueta, diga isso com todas as letras.

[cole aqui a rodada anterior]

Ponha só a versão que vale de cada documento: a edição antiga e a nova juntas criam uma contradição que não existe. Como escolher o que entra quando o material é seu, em resposta ancorada.

Monte o seu pedido de pesquisa

É o briefing que você daria a um analista contratado por uma semana: de que cadeira você pergunta, para que decisão, o que você acha, o que conta como prova e como quer receber. Tudo o que esta página mostrou cabe num pedido só. Troque os campos pelo seu caso; a conferência abaixo do pedido reage enquanto você escreve.

Em sala de aula, este pedido aparece com o nome PHFE: persona (a cadeira de onde você pesquisa), hipótese, fontes e estrutura da entrega. O nome é o de menos; a ordem é a de pensar. A linha “antes de escrever, liste as incertezas” faz a IA olhar o que contradiz a hipótese antes de começar a defender uma resposta. Para os campos de um pedido comum, veja prompt.

Três ideias

Hipótese

O que você acha que explica o problema, escrito como afirmação antes de pesquisar, de um jeito que dê para confirmar ou derrubar.

Confirmação

Pesquisa para reunir evidência de algo de que você já está convencido. Pede junto a metade contra.

Refutação

Pesquisa para achar o que derruba a sua hipótese antes de uma decisão cara.

Mapeamento

Pesquisa para conhecer as explicações que existem quando você ainda não tem palpite. Termina quando você escolhe uma.

De memória

O que a IA sabe do treino, sem fonte para mostrar e sem nada do que veio depois da data em que ela parou de aprender.

Ruído

O que a busca traz e não vale como prova: opinião sem autor, texto de quem vende, material velho apresentado como atual.

Simplificação didática. Se o seu chat busca na internet, e se tem um modo de pesquisa mais demorado, depende do aplicativo, do plano e da versão; o nome muda de um para outro. A XPTO, os cancelamentos, os resultados de busca, as fontes, a porcentagem da resposta sem marcação, as conferências e as três rodadas do fornecedor são inventados para o exemplo. Família Trabalhar com dados; irmãs: analisar planilha, comunicar o resultado.