Com provar un agent d'IA que utilitza eines
Els tests d'un agent no haurien de mirar només la resposta final. Cal validar tool calls, arguments, seqüència, errors i comportament davant dades canviants.
Un agent pot donar una resposta aparentment correcta després d'haver utilitzat malament una eina. Per això, provar només el text final és insuficient: també cal observar el camí que ha seguit.
Separa el que és determinista del que no ho és
Validacions, permisos, schemas i efectes de les tools es poden provar amb tests convencionals. La decisió del model sobre quina eina utilitzar necessita un altre tipus d'avaluació.
Construeix casos de prova amb objectius observables
- Ha escollit l'eina correcta?
- Els arguments són vàlids i mínims?
- Ha evitat una eina d'escriptura quan només calia llegir?
- Ha gestionat correctament un error o una dada absent?
- Ha aturat el flux quan faltava una aprovació?
Avalua traces, no només outputs
Una trace útil hauria de permetre veure quines tools s'han invocat, en quin ordre, amb quins arguments i quin resultat ha condicionat el següent pas. Això facilita detectar regressions encara que el text final continuï semblant acceptable.
Utilitza dades controlades
Per comparar versions del prompt, del model o de les eines necessites fixtures estables. Si les dades canvien a cada execució, és difícil saber si una diferència ve del sistema o del context.
Prova explícitament els errors
Inclou permisos insuficients, recursos inexistents, revisions obsoletes, timeouts, respostes parcials i eines temporalment indisponibles. Els fluxos bons no només funcionen en el happy path.
Converteix errors reals en regressions
Quan un agent falla en producció, aquell cas és especialment valuós. Normalitza'l, elimina dades sensibles i afegeix-lo al conjunt d'avaluació perquè la mateixa classe d'error no reaparegui silenciosament.
Els evals són una capa més del sistema
No substituiria els tests tradicionals per evals. Els combinaria: tests deterministes per garantir el backend i evals per mesurar el comportament de l'agent. Això permet canviar models, prompts o eines amb una mica més de criteri que simplement provar-ho a mà.