Busca semântica no vibe coding: o resumo só dizia improbidade

Etiqueta genérica esconde o julgado certo. Na busca semântica que o leitor monta, e na busca híbrida que ia.de.gabinete audita no banco de 10.000 julgados, o motor pode devolver o caso em 1º lugar com um resumo que só fala de improbidade e o agente pular o texto.

Ele trabalha com 10.000 julgados no banco. 1700 são decisão do Conselho Superior. 1000 e pouco vêm do Ministério Público de Goiás. No começo da live ele testou a busca híbrida:

Fiz uma busca híbrida agora que ele ficou melhor do que a versão anterior.

O motor caía em casos genéricos e pulava o julgado decisivo

Ele analisava esse banco e a pesquisa devolvia um leque largo demais.

quando eu tava analisando esse banco de dados, né, essa pesquisa nesse banco de dados, eu tava deparando com um erro que sempre que fazer uma pesquisa, ele caía em muitos casos genéricos

A etiqueta que voltava era improbidade administrativa.

ele apontava apenas para improbidade administrativa. Aí ficava um tema muito amplo e aí o motor de busca decidia que não deveria ler aquele aquele julgado. E às vezes era um julgado importante, era um julgado decisivo.

A decisão de pular saía da etiqueta: improbidade administrativa é tema largo demais para o agente abrir o julgado. O mesmo problema apareceu em humanizar texto ia.

Superfaturamento em 1º e o resumo ainda era improbidade

Ele pediu auditoria do comportamento real da busca, a tela que o agente vê quando o 1º lugar ainda chega com resumo genérico. Dos 9569 homologados, 96,55% já tinham tema e 95,44% já tinham subtema.

O relatório lido na live registra uma busca de superfaturamento em que o julgado veio em 1º lugar.

O julgado apareceu em primeiro lugar, mas a busca mostrou apenas arquivamento de inquérito civil improbidade administrativa.

Ao abrir o texto, o conteúdo decisivo estava lá: técnica compatível, inexistência de superfaturamento e dano, ausência de dolo.

o motor controlo o caso certo, mas o resumo genérico ainda poderia levar o agente não lê-lo

O mesmo relatório aponta falso negativo por classificação. Medicamento aparece na busca livre e some na área saúde porque foi classificado como ambiental. Energia elétrica some da área do consumidor:

um caso consumirista sobre energia elétrica some com área do consumidor, pois foi marcado como educação

A busca livre ainda encontra esses julgados, e a área filtrada pela etiqueta deixa o caso de fora.

Vibe coding que audita o comportamento real da busca

Esse é o jeito do vibe coding neste acervo: medir o que a busca devolve na tela.

A busca livre agora prioriza o texto integral sobre a classificação na proporção 4x1.

A busca textual livre melhorou com esse peso de 4x1. Etiqueta incompleta tem menos chance de esconder um julgado importante. Tema e subtema melhoraram, e ainda têm omissões. O campo "o que foi decidido" continua raso em mais da metade dos homologados, e o problema central ainda não foi completamente resolvido. Em consultas de cargos comissionados, app, desmatamento, nepotismo e combustível, os 5 primeiros resultados saíram pertinentes, e ele mesmo marca que ainda está ruim. Resultado importante ainda pode ficar fora dos primeiros 20, no desempate pelo caminho do arquivo.

O mesmo acervo já apareceu quando ele escolheu o que entra no modelo, em como tratar cada julgado antes de mandar para o modelo. O motor acha o julgado e a ficha manda o agente pular. Vale ver como isso terminou em vibe coding para o modelo barato executar e o caro auditar.

A mesma consulta na busca livre e na área filtrada

Amanhã, no vibe coding do seu acervo, o peso vai para o texto integral na linha do 4x1, e o tema precisa ser específico o bastante para o agente abrir o julgado. A mesma consulta na busca livre e na área filtrada mostra o que a etiqueta ainda esconde. Se o 1º resultado chega com resumo largo, o próximo passo é abrir o texto antes de pular.

Dá para assistir à live e ouvir o 1º lugar do superfaturamento e o 4x1 que ainda não fecha o problema.