Cómo saber si tu asistente o automatización con IA funciona de verdad: armar un set de pruebas, definir qué es una buena respuesta, elegir cómo calificarla y detectar regresiones al cambiar un prompt o un modelo.
Módulo 1
El problema de las pruebas informales y la diferencia entre benchmarks públicos y tus propias evals.
Módulo 2
De dónde salen los casos y cómo definir con precisión qué es una buena respuesta.
Módulo 3
Cómo calificar cientos de respuestas sin perder rigor: reglas, código, modelo juez y personas.
Módulo 4
Usar las pruebas para decidir cambios y para mejorar de forma continua.
Elegí un asistente, prompt o automatización con IA que uses o quieras usar, y construí una evaluación completa: set de casos, rúbrica, método de calificación y una comparación entre dos versiones con una decisión justificada.
Desafío adicional: Si usaste un modelo como juez, validalo: calificá 30 casos por tu cuenta y calculá el porcentaje de acuerdo con el juez.