Benchmark IA no vibe coding: atire a chave e o sistema diz onde trocar

Thiago chegou na live com um módulo admin que tinha feito no dia anterior, fora da live, no Taurus Hub. Sempre que um modelo novo aparecer, ele faz um teste AB entre as chaves que já existem no sistema e a chave nova.

Ele descreveu o uso em uma frase. Atira a chave, o sistema lê, compara e devolve o relatório: troca aqui, aqui, aqui, aqui, o resto não mexer. O Benchmark IA, neste caso, é o módulo admin com as chaves que já existem setadas: a nova entra, o sistema lê e devolve onde trocar.

Surgiu um modelo novo e a gente não sabe se dá conta

Modelos novos saem o tempo todo. Versão nova do Claude, do DeepSeek, do Kimi, modelos mais baratos, e a dúvida fica no que o Taurus Hub já faz. Foi o mesmo caminho de comfyui workflow.

a gente não sabe se este modelo ele dá conta

Dá conta de resolver o problema que o Taurus Hub já precisa resolver. Cada pedaço do sistema que chama API tem um trabalho. Um modelo mais barato pode servir em um lugar e falhar em outro. Sem um teste contra as chaves que já estão no sistema, a conversa com a IA vira o teste. Você descreve o que o produto faz, pede opinião, gasta o contexto da sessão e ainda sai sem o relatório de onde trocar. Isso aparece também em handoff ia.

A regra de testar modelo novo em AB sem mexer na produção é o princípio. Aqui o Thiago fez o produto interno que atira a chave e lê onde trocar. Isso aparece também em imagem para video ia. Vale ver como isso terminou em vibe coding para fazer ia auditar seguranca do proprio sistema. O mesmo problema apareceu em benchmark de ia.

O módulo admin atira a chave no teste AB

O módulo é interno, de admin, para ele testar chaves API. Ele falou o recorte assim:

sempre que aparecer um modelo novo, eu poder fazer ali um teste AB entre as chaves que já existe no meu sistema e a nova chave

O sistema que ele descreveu já tem as chaves setadas:

já criei um sistema onde ele já tem ali setado todas as minhas chaves e depois simplesmente coloco a chave nova, ele vai ler a chave nova, vai fazer um teste AB com a chave nova e com as chaves que já tenho e mostrar-me se onde no meu sistema que vale a pena alterar para essa nova chave ou manter e o porquê e um relatório completo

Na frase seguinte ele reduz o uso a atirar a chave:

Simplesmente eu só atiro lá a chave, ele já me diz: Troca aqui, aqui, aqui, aqui o resto não mexer

Às vezes o relatório fecha sem troca em nenhum lugar. Você atira a chave e lê o relatório. Isso aparece também em onboarding app.

No vibe coding, as APIs vão para módulos

O Thiago isolou o que é API e deixou o recorte no sistema:

eu separei em módulos tudo o que é API no meu sistema

Com as APIs em módulos, cada pedaço que chama modelo é um lugar onde o relatório pode dizer troca ou mantém. Surgiu uma versão nova, ele pega na API, instala e joga no sistema. O sistema já faz o teste AB com tudo o que o produto faz e diz onde vale mudar a chave. Isso aparece também em teste de regressao.

No vibe coding, perguntar ao chat se o modelo serve gasta o contexto que você ia usar para construir. O Thiago fez o módulo para cortar essa conversa. Isso aparece também em tdah no trabalho.

para mim não ter todo o trabalho de utilizar todo o contexto e ficar falando com a IA

O relatório entra e o contexto fica para o build

Amanhã, no meio do vibe coding, quando sair um modelo novo, o gesto no Taurus Hub é o mesmo: pega a API, instala, atira no módulo admin e lê o relatório. Troca onde o teste AB apontou e deixa o resto. O contexto da sessão fica para o código que o relatório deixou de fora. Foi o mesmo caminho de vibe coding para nao fingir que leu os docs do agente.

Quem quiser ouvir o Thiago descrever o módulo pode assistir à live.