← Voltar ao lab
Quando o agente falha, raramente é culpa do modelo
Testei o que muda quando o modelo ganha regras, ferramentas e verificação em volta. O mesmo pedido caiu de 17,3 para 8,4 minutos, com o mesmo modelo.
17,3 → 8,4 minmesmo pedido, depois do harness
Como eu fiz, passo a passoEngenharia de harness: o agente duas vezes mais rápido sem trocar de modelo →Hipótese
Um modelo menor dentro de um bom harness supera um modelo de ponta dentro de um harness ruim. O que quebra em produção é o que envolve o modelo: contexto, ferramentas, ciclo e governança.
O que construí
- 4 pilares: contexto, ferramentas, ciclo, governança
- 21 interceptadores em volta de cada execução
- 4 tetos de execução e uma guarda de promessa (o agente não pode dizer que fez o que não fez)
- Diário append-only de cada execução
- Regras da casa vigiadas por testes no CI
Resultado
| Mesmo pedido | Antes | Depois |
|---|---|---|
| Releituras de material bruto | 26 chamadas | 0 |
| Duração | 17,3 min | 8,4 min |
| Tokens | 2,09 M | 1,26 M |
Uma tarefa longa que antes fazia 121 chamadas e não entregava nada passou a entregar em 71 chamadas e 5,8 minutos.
O modelo não mudou. O que mudou foi o que está em volta dele.
Do laboratório da OrganIA (agent-builder).
● Lab Log
Um e-mail do lab a cada duas semanas.
O que testei, os números e o que deu errado. Sem spam. Dá para sair quando quiser.