← Voltar ao lab
Organizar o contexto vale mais que trocar de modelo
Testei como escolher o que entra no prompt, em que ordem e onde guardar cada informação, antes de pensar em trocar de modelo.
76%dos tokens de entrada vêm do cache
Como eu fiz, passo a passoEngenharia de contexto: como decidimos o que o agente lê →Hipótese
O contexto do agente é um orçamento a ser gasto, não um depósito. Antes de gravar qualquer informação, alguém precisa decidir para onde ela vai.
O que construí
- Uma etapa que decide o destino de cada informação antes de gravar
- Uma matriz com 14 destinos possíveis
- Cache de prefixo medido e cobrado ao centavo
- “Persistir e apontar” no lugar de apagar resultados antigos
- 8 anti-padrões documentados, cada um com a medição que o derrubou
O que a medição mostrou
- 76% dos tokens de entrada do chat vêm do cache. Nas rotinas agendadas, de 40% a 58%.
- O painel de custo superestimava a entrada em cerca de 2,5 a 3 vezes, porque não descontava o cache.
Do laboratório da OrganIA (agent-builder).
● Lab Log
Um e-mail do lab a cada duas semanas.
O que testei, os números e o que deu errado. Sem spam. Dá para sair quando quiser.