Hay 20 documentos que requieren revisión y 80 que no. El modelo marca 25: detecta 15 de los 20 casos y genera 10 falsas alarmas.
IA aplicada · Guía práctica
¿Cómo evaluar si un modelo de IA funciona bien?
Un porcentaje de aciertos no cuenta toda la historia. Hay que observar qué errores comete el modelo, en qué casos y qué consecuencias tendrían al usarlo.
Explorar la guíaLa idea central
El error importa tanto como el acierto.
Evaluar significa contrastar una estimación con una referencia y decidir si sirve para una tarea concreta. Esta guía usa clasificación de documentos como ejemplo; otras tareas, como predecir una cantidad o generar texto, necesitan criterios distintos.
En T2G partimos de la tarea, sus datos y las condiciones de operación. Acordamos un alcance que se pueda comprobar y explicamos las decisiones técnicas durante el trabajo.
Paso a paso
Evaluar con referencia y contexto.
Cuatro puntos para ordenar el trabajo. Cada esquema acompaña la explicación; el proceso se adapta al contexto.
- 01 / 04
Separar aprendizaje y evaluación
Reserva casos que no se usaron para entrenar ni para elegir ajustes. Si archivos del mismo documento aparecen en ambos conjuntos, el resultado puede parecer mejor de lo que será con información nueva. La separación debe respetar el origen y, cuando corresponda, el tiempo.
Aprender · Ajustar · Evaluar - 02 / 04
Mirar aciertos y tipos de error
En una tarea de alerta hay cuatro resultados: una alerta correcta, una falsa alarma, un caso omitido y un descarte correcto. La matriz de confusión permite verlos por separado. No todos tienen el mismo costo para la operación.
Referencia · Estimación · Errores - 03 / 04
Elegir métricas según la tarea
La precisión indica qué proporción de las alertas era correcta; la sensibilidad o recall, qué proporción de los casos reales se detectó. La exactitud cuenta todos los aciertos. Si casi ningún caso requiere alerta, un modelo que nunca alerta puede tener una exactitud alta y ser poco útil.
Precisión · Sensibilidad · Exactitud - 04 / 04
Revisar el uso y las excepciones
El umbral cambia qué casos reciben una alerta. Evalúa ese criterio con datos de validación, deja la prueba final aparte y observa qué sucede con tipos de documento, períodos y fuentes diferentes. Define qué necesita revisión humana y cómo seguir los errores después de integrar el modelo.
Umbral · Revisión · Seguimiento
Un ejemplo explicado
Una matriz con 100 documentos ilustrativos
Quedan 5 casos omitidos y 70 descartes correctos. Precisión: 15/25 = 60 %. Sensibilidad: 15/20 = 75 %. Exactitud: 85/100 = 85 %. Son cifras didácticas, no resultados de T2G ni un objetivo de desempeño.
Para decidir
Qué conviene dejar claro.
Referencia
Quién define la categoría correcta y cómo se resuelven desacuerdos.
Consecuencias
Qué implica una falsa alarma frente a un caso que se deja pasar.
Representatividad
Qué fuentes, períodos y situaciones cubre la evaluación.
Preguntas frecuentes
Dudas antes de empezar.
¿Una exactitud alta garantiza una buena solución?
No. Puede ocultar clases desbalanceadas, filtración de datos o errores costosos. Debe revisarse junto al contexto y los tipos de fallo.
¿Cuántos ejemplos hacen falta para evaluar?
Depende de la variación, las categorías y la precisión con que se necesite estimar el error. Un conjunto pequeño produce conclusiones más inciertas.
Lectura técnica de apoyo: Google · Accuracy, precision and recall ↗
Sigue explorando
Conecta esta guía con tu desafío.
Hablemos de tu contexto
Definamos un primer paso útil.
Revisamos contigo el problema, la información disponible y las restricciones para evaluar por dónde conviene comenzar.
Agenda una sesión de diagnóstico directo con los socios