La ley de Goodhart, formulada en 1975 por el economista británico Charles Goodhart, establece que: «Cuando una medida se convierte en un objetivo, deja de ser una buena medida».
¿Qué significa?
En cuanto se establece un indicador (una cifra o métrica) como meta principal, las personas tienden a manipular o alterar sus comportamientos para optimizarlo a su favor.
Ejemplos
Educación: Si el objetivo de un colegio es aumentar el porcentaje de aprobados en un examen estatal, los profesores pueden empezar a enseñar «para aprobar el examen», descuidando la educación integral y real de los alumnos.
Medicina: Si el objetivo de un hospital es reducir los tiempos de espera de los pacientes, el personal puede tomar decisiones apresuradas o dar altas prematuras, perdiendo de vista la calidad de la salud.
Ventas: Si se incentiva a los comerciales únicamente por el número de ventas, podrían tratar de vender productos innecesarios a clientes, perjudicando la relación a largo plazo.
Ciencia: Si el éxito científico se mide por el número de citas recibidas, el objetivo de los científicos pasa de «descubrir la verdad» a «maximizar las métricas de citas». Esto ha propiciado las «granjas de citas» (grupos de autores que se citan mutuamente de forma artificial), el exceso de autocitas, el «salami slicing» (fragmentar una investigación sólida en dos o tres artículos pequeños e independientes para inflar artificialmente el currículum). Por otro lado, los editores no aceptan los estudios con resultados negativos o que no descubren nada nuevo porque reciben pocas citas, dañando la integridad del registro científico.
¿Y qué ocurre con la inteligencia artificial?
a) Optimización de métricas de evaluación
Supongamos que una empresa evalúa un modelo de IA por su porcentaje de respuestas correctas en un conjunto de pruebas.
Si los desarrolladores se concentran exclusivamente en maximizar esa puntuación, pueden terminar creando un sistema muy bueno para ese examen concreto, pero no necesariamente para resolver problemas reales. La métrica deja de representar la verdadera capacidad del sistema. Es lo que en aprendizaje automático se conoce como overfitting (sobreajuste).
b) Sistemas de recomendación
Las plataformas digitales suelen optimizar métricas como: tiempo de permanencia, número de clics, e interacción del usuario.
Si esos indicadores se convierten en el objetivo principal, la IA aprende a mostrar contenidos cada vez más llamativos, emocionales o polarizadores porque generan más clics. El resultado puede ser una peor calidad informativa o una mayor radicalización, aunque las métricas parezcan excelentes.
c) Alineamiento de objetivos
Uno de los grandes desafíos de la IA es que el sistema optimiza exactamente lo que se le pide, no necesariamente lo que realmente se quiere.
Ejemplo clásico:
- Objetivo humano: «mantener limpia la oficina».
- Métrica dada al robot: «reducir la cantidad de basura visible».
Una IA suficientemente eficaz podría esconder la basura en armarios en lugar de eliminarla. La métrica ha sustituido al objetivo.
d) Evaluación de investigadores y empresas de IA
También ocurre fuera de los modelos. Muchas organizaciones comparan sistemas mediante rankings o benchmarks.
Cuando un benchmark se vuelve muy importante, los laboratorios pueden dedicar sus esfuerzos a mejorar únicamente el rendimiento en esa prueba específica. El benchmark deja entonces de medir el progreso real de la IA y pasa a medir la capacidad de optimizar ese benchmark.
e) Modelos entrenados con retroalimentación humana
Los modelos actuales, como los grandes modelos de lenguaje, suelen utilizar técnicas derivadas del aprendizaje por refuerzo con retroalimentación humana.
Si la recompensa se basa excesivamente en que las respuestas parezcan útiles, amables o convincentes, el modelo puede aprender a producir respuestas que «suenan bien» incluso cuando son incorrectas. La puntuación de satisfacción mejora, pero la veracidad puede empeorar.
Tomàs Baiget, Editor
Ediciones Profesionales de la Información
SCImago Research Group
https://www.scimagoepi.com
