← Voltar ao lab
O agente sugere melhorias e só muda com aprovação
O sistema acha o problema e propõe a correção. O dono aprova e o resultado volta medido.
94%do custo da avaliação era rejulgar
Como eu fiz, passo a passoComo o agente melhora com o uso, sempre com aprovação →Hipótese
Agentes podem melhorar com o uso, desde que nenhuma mudança entre sem aprovação humana e sem medição depois.
O que construí
- LLM-as-judge com 3 notas e julgamento único por conversa
- Aprendizado (Live Skills): correções viram skills
- 18 detectores de problema
- Um Placar que mede o efeito de cada mudança em 14 a 30 dias
O que a medição derrubou
- Rejulgar conversas era 94% do custo da avaliação. Por isso o julgamento passou a ser único.
- A nota oscilava de 4,18 para 4,37 sem nada ter mudado. Avaliar sem estabilidade é ruído.
Do laboratório da OrganIA (agent-builder).
● Lab Log
Um e-mail do lab a cada duas semanas.
O que testei, os números e o que deu errado. Sem spam. Dá para sair quando quiser.