Alucinação de número no vibe coding: como pegar o chute da IA

Quando o assistente devolve uma contagem, pergunte de onde ela saiu antes de usar o número. Na quinta live de Martin, o assistente confirmou o pedido descrevendo o entregável como uma tabela "contendo todos os 85 produtos que você colocou". O 85 apareceu com cara de dado apurado, dentro de uma frase que servia só para confirmar o combinado antes de gerar o arquivo.

Martin segurou a aprovação e cobrou a origem do número. O assistente respondeu: "Deixa eu recontar direito, porque 85 foi um número que eu joguei sem contar de fato." A recontagem veio, e ela também não fecha a conta. O passo que mais ensina aconteceu antes disso: Martin desconfiou sem ter conferido nada.

O gatilho foi a noção de escala dele

Ele passou a live montando aquela lista. Pegou 170 links de vídeo de um canal gringo que entrevista fundadores de SaaS, pediu uma tabela com nome, MRR, resumo e dificuldade de replicação, e colou o resultado inteiro na conversa com o assistente para virar um HTML. Quem faz esse percurso guarda uma noção grosseira de quanta coisa saiu dali. Foi essa noção que travou a aprovação:

E tu tem certeza, você tem certeza que foram só 85 produtos? Só 85. Porque a gente colocou tantos aqui, né?

Martin não abriu a lista para contar. O que ele tinha era a lembrança do volume que empurrou para dentro da pesquisa, e isso bastou para 85 soar pouco. Um número chutado que bata com o que você já imaginava não gera atrito nenhum, e por isso passa direto. A defesa possível é chegar na pergunta com alguma expectativa própria. Se você não faz ideia da ordem de grandeza, qualquer resposta serve e você aceita a primeira.

A pergunta que expõe o chute é sobre a origem

Martin podia ter parado no "tem certeza?", que costuma render só um sim. Ele foi adiante e pediu a contagem outra vez, direto: "Só me responde uma coisa. Quantos produtos que tem nessa lista que você trouxe para mim?" Enquanto o assistente refazia a conta, ele reparou no custo daquilo na tela: "gastando 3.000 token".

Depois ele narrou a cena em voz alta para a audiência:

Eu pergunto pro cara quantos produtos tem. Ele é 85. (...) mas da onde que você tirou isso? (...) Eu só falei e joguei sem contar de fato. Aí é complicado.

Pedir o número de novo abre espaço para o mesmo chute voltar, agora com mais convicção. Pedir a origem obriga a mostrar o caminho, e foi o que produziu a admissão. É um hábito barato de adotar no vibe coding: quando a resposta é um número, a pergunta seguinte pede o caminho até ele, em vez de pedir uma confirmação. Vale ver como isso terminou em numero duns.

No vibe coding o estrago é o número virar linha de artefato

O 85 não ia ficar na conversa. Ele ia virar uma tabela em HTML salva na pasta do projeto, com filtro por dificuldade e ordenação por MRR, o material que Martin pretende usar para escolher qual SaaS vai construir. Depois que o arquivo existe, o número perde o rastro: quem abrir aquele HTML daqui a duas semanas não tem como saber que ele nasceu de um chute numa frase de confirmação.

Um número errado some junto com a conversa; dentro de um artefato, ele fica lá para ser consultado e virar base de decisão. Por isso a hora de perguntar é antes de mandar gerar, não depois de abrir o arquivo.

A recontagem devolveu 109, o que não é a mesma coisa que 109 estar certo

O assistente refez a conta e disse: "eu listei exatamente 109 produtos, né? Vale notar que algumas agrupam mais de um aplicativo." Anotar 109 no lugar de 85 seria cair na armadilha que a cena acabou de expor. O 109 saiu da mesma fonte que confessou ter chutado o 85, e ninguém contou a lista à mão durante a live.

Martin complicou o número ainda mais, por conta própria, sem que o assistente pedisse: "tem algumas linhas que é que tem tipo era um vídeo de um cara que fez dois ou três sas ao mesmo tempo". Uma linha da tabela pode conter mais de um produto. Mesmo que 109 seja a contagem correta de linhas, ela não é a contagem de produtos. Martin saiu da troca sabendo que não tem esse número, e que ninguém naquela conversa tinha.

O que fazer quando o número importa

Se o número vai entrar numa decisão ou dentro de um arquivo, conte você. Uma lista que cabe na tela se conta à mão em pouco tempo, e o assunto encerra ali. Quando contar à mão não for viável, peça o método antes do resultado: peça para o assistente descrever como vai contar, e só depois peça o número.

Separe também dois tipos de número. Existe o que você mandou calcular, com um caminho que dá para conferir, e existe o que apareceu no meio de uma frase de confirmação ou de resumo. O segundo tipo é o que Martin pegou. Ele nunca foi calculado, entrou na conversa como enfeite de linguagem e sai de lá promovido a dado se ninguém perguntar. O mesmo vale quando o número é um resultado de uma extração ou cálculo: 171 extraído não é 171 confirmado no destino. O mesmo cuidado vai para texto: o que o assistente diz que vai fazer nem sempre é o que aparece no resultado. Vale também olhar como esse critério aparece em resposta ruim da IA no vibe coding.

Vale assistir à live pela sequência inteira, porque ela mostra o timing da desconfiança. Conferir número devolvido pelo assistente faz parte do serviço de quem trabalha com vibe coding, e nesse caso o serviço custou 3.000 token e uma pergunta.