Canary release no vibe coding: 30 em 10.769 antes do batidão

Nos primeiros 300 documentos da reclassificação das 10.769 decisões do Conselho Superior do Ministério Público de Goiás, ia.de.gabinete roda o canary release com auditoria pesada. Opus leu as 30 primeiras e os freios pararam 2 alarmes: ligadura [fi] no conferidor de citações, régua de moeda, dólar de API versus 2 janelas de assinatura. A qualidade das 30 veio com zero erro, e o que parou foi bug nosso.

No vibe coding deste classificador, ele coloca as 30 com auditoria pesada antes do batidão das 10.769, e esse batidão ainda não rodou.

Os 300 do canário e a leva de 30

A reclassificação real começou em regime de produção com cinto de segurança. Os primeiros 300 documentos ficam no canário. O Cloud já tinha escrito o classificador em Python. A auditoria pesada não espera o fim dos 300: ele mandou o Opus ler as 30 primeiras para ver se estava indo certo, se não estava perdendo tempo à toa. A primeira rodada precisa dessa certeza porque o destino são 10.769.

Os primeiros 300 documentos, o canário roda com auditoria pesada. [...] Pararam dois alarmes na primeira leva de 30 [...] Um erro, um era bug nosso. O conferidor de citações não entendia a ligadura tipográfica [...] O outro era a regra eh a régua de moeda errada. Dólar de API versus duas janelas de assinatura.

No começo da live ele já tinha o recorte das 30:

Teve zero erros em 30

Na auditoria, a qualidade veio impecável:

zero o erro diário nos tres auditados

Os 3 auditados passaram e o que falta é o conserto da ligadura, que o worker consertava naquele minuto. O batidão das 10.769, que é a classificação, ainda é o que ele diz que vai fazer.

Ligadura [fi] e régua de moeda na primeira leva

O conferidor de citações foi o primeiro alarme. Os PDFs do conselho não usam [fi] como caractere único. O Mimo copia a citação como texto normal. O validador não normaliza a ligadura e marca citações certas como falso negativo. A fala que ele lê em voz alta é esta:

Eu tenho certeza que que essa frase não tá na Bíblia. Os PDFs do conselho não usam como caractere único. O mimo copia a citação como normal. Validador não normaliza a ligadura.

O culpado no diagnóstico é a ligadura tipográfica, bug nosso: o conferidor não entendia o [fi] e invalidava citações corretas. Ele registra ligadura consertada e onda 1 revalidando.

O segundo alarme é a régua de moeda, dólar de API versus 2 janelas de assinatura. Ele trata como precificação que estava fazendo. O trabalho bruto nas 30 passou na auditoria.

Canary release no vibe coding antes do batidão

São 10.769 execuções no dia a dia do MP. Ele colocou tanta trava, tanto freio na execução para, quando for rodar o restante, não fazer besteira:

Pensa, eu rodo em 10.000 1000 e aí dá, vai bugando tudo até lá e pensa para fazer isso tudo de novo.

10.000 1000 é o lote das 10.769. Se o lote sai errado, ele faz tudo de novo. Já gastou dos planos e precisa estar fechadinho antes de soltar o restante. O mesmo problema apareceu em vibe coding para taxonomia lida em 500 decisoes e nao chutada. Isso aparece também em manual de procedimentos.

A segunda onda já disparou: 90 documentos agora, Opus corrige 15. No primeiro recorte ele leu 30 e nesta onda lê 15. No próximo, calcula cento e tantos com 15 lidos, aleatórios ou os que o próprio modelo aponta como prováveis de erro, o dado probabilístico que ele descreveu.

O recorte do modelo barato executar e o caro auditar é o concurso do motor. O RAG IA desta live é outro recorte. Aqui a trava é o canário das 30. Foi o mesmo caminho de vibe coding para comparar dois acordaos lado a lado.

Amanhã, no vibe coding de um lote grande, rode 30 com auditoria pesada ainda dentro do primeiro lote. Se o conferidor de citações e a régua de moeda alarmarem, conserte o bug seu. A onda seguinte dele já é 90 com 15 lidos.

Dá para assistir à live e ouvir os 2 alarmes nas 30 e o "vai bugando tudo até lá" das 10.000.