Resposta ruim da IA no vibe coding: o problema pode ser a fonte

Depois de refinar um pedido uma vez e receber outra resposta fraca, o problema provavelmente não está no jeito de pedir, e sim no material que entrou. Martin Blume chegou nessa conclusão ao vivo, de madrugada, olhando a segunda lista de ideias de produto que o assistente tinha montado a partir de uma pesquisa que ele mesmo tinha coletado horas antes.

O prompt seguinte já estava escrito e pronto para ir. Ele não mandou:

eu nem vou passar esse prompt aqui para ele, porque na real essa essa pesquisa aqui que a gente fez não ficou das melhores

Rejeitar e refinar são 2 movimentos, e ele fez os 2

Quando o primeiro lote apareceu na tela, ele leu os produtos em voz alta, um por um, e recusou o conjunto:

Não, eu não gostei muito dessas alternativas que você trouxe

Junto veio um diagnóstico. Ele conhecia a fonte que tinha sido consultada e achou o retorno pequeno demais para ela:

só isso que você conseguiu trazer? Alguma coisa tá errada aí, pô

Reclamar teria parado aí. Ele foi adiante: em vez de mandar tentar de novo, disse o que queria no lugar daquilo e apertou o alvo.

Não, eu queria focar mais na parte de SAS e até aplicativos, né?

E, na mesma fala, cortou o público:

mais focado pro público final consumidor, né, B2C

O pedido novo exclui categorias inteiras que estavam no primeiro resultado. Vale dar essa segunda chance antes de culpar o resto do sistema, porque na maior parte das vezes uma resposta ruim da IA vem mesmo de um alvo aberto demais.

O sinal de que o problema está na fonte

O segundo lote chegou com o recorte novo aplicado. Ele leu de novo, e recusou de novo:

Não, eu não achei muito bom aí essas opções que você trouxe

Entre um lote e outro, o que mudou foi o pedido: mais estreito, com categoria definida e público definido. A qualidade não acompanhou. Quando você mexe no pedido e o resultado fica no mesmo nível, o que permaneceu constante foi o material, e o material era a pesquisa que ele tinha coletado antes.

Ele nunca diz o que estava errado nela, e a live não vira auditoria da coleta. A coleta tinha travado no meio e sido retomada por outro caminho, então a pesquisa que alimentou esses 2 lotes não era a que ele tinha planejado fazer.

No vibe coding, o custo afundado está na coleta

A pesquisa tinha dado trabalho, e é justamente por isso que dá vontade de seguir. Você pensa que a coleta custou caro, então alguma coisa tem que sair dela. Passar o prompt seguinte seria exatamente isso: transformar horas ruins em mais horas ruins, com o agravante de que o produto dessas horas novas já nasceria contaminado.

O artefato seguinte pareceria progresso. Você teria um documento novo no disco, mais organizado que a lista, carregando para dentro as fraquezas do que veio antes, agora escondidas atrás de uma camada de formatação. Um tempo depois ninguém lembra que a base era ruim, e sobra o arquivo com cara de coisa decidida. É a mesma perda de granularidade que faz Martin, em outra live, guardar o valor unitário em vez da média: resumo se calcula a partir do dado cru, mas o dado cru não se recupera a partir do resumo, e o que já veio agregado esconde de onde veio. É o mesmo risco que ele enfrentou ao precificar usando referência de hábito — construir sobre uma base fraca. Foi o mesmo caminho de alucinação de número no vibe coding. Isso aparece também em seo para ia.

Quem faz vibe coding produz artefato rápido demais para bancar esse empilhamento. A mesma velocidade que deixa você gerar a lista e depois a tabela deixa você subir uma camada em cima da outra sem voltar a olhar para o que estava embaixo.

Parar com material ruim e com o dia acabado

Havia outra coisa pesando junto naquela decisão. Ele lê a hora na tela e encerra a live logo depois:

já é 2:02, 2:2 da manhã. Lascou. Amanhã 8 horas tenho que estar de pé

A parada tem 2 causas ao mesmo tempo, o resultado fraco e o dia acabado, e as 2 juntas fortalecem a decisão. Seguir com o cansaço e com o material ruim é a pior combinação possível, porque aproveitar ou jogar fora uma pesquisa exige o julgamento que às 2 da manhã você já não tem. A escolha entre refazer a coleta e conviver com ela é cara, e ele não a tomou naquela hora.

A live termina ali, então ninguém sabe o que ele fez com a pesquisa depois. O que dá para copiar é a decisão de não produzir mais nada em cima dela naquela noite.

O que fazer quando o segundo lote também volta fraco

Antes de escrever o terceiro prompt, olhe para trás: o que alimentou esses resultados, e você confia nisso? Se a resposta for não, o próximo prompt vira uma forma de adiar o problema com aparência de trabalho.

Marque a base como suspeita, anote o que você queria ter tido em mãos e volte para refazer a coleta com a cabeça descansada. Refazer a fonte é mais barato do que refazer a fonte mais tudo que você construiu sobre ela.

Dá para assistir à live e ver o tempo curto entre o segundo lote e a decisão de parar. Julgar a fonte antes de aceitar a saída é uma das partes menos visíveis do vibe coding, e uma das que mais decidem o que você tem em mãos no fim da semana.