Cuando el indicador devora el objetivo: por qué toda buena medida deja de medir en cuanto la persigues

Son las 15:47. El paciente lleva tres horas y cuarenta y siete minutos en Urgencias. Todavía no está claro qué le pasa, pero ya está clarísimo dónde tiene que estar a las cuatro en punto. Nadie en ese pasillo es mala persona y nadie está haciendo mal su trabajo. Simplemente hay dos preguntas sobre la mesa —qué le ocurre a este hombre y cómo queda el indicador— y solo una de las dos tiene consecuencias.

La frase que todo el mundo cita, y las dos que no

Charles Goodhart era asesor del Banco de Inglaterra cuando escribió, en 1975, la observación que lleva su nombre: cualquier regularidad estadística observada tiende a colapsar en cuanto se ejerce presión sobre ella con fines de control.¹

Hablaba de agregados monetarios. El banco había descubierto que cierta magnitud predecía bien la inflación; en cuanto empezó a gobernar apuntando a ella, dejó de predecirla.

La versión que se cita —«cuando una medida se convierte en objetivo, deja de ser una buena medida»— no es suya. La escribió veintidós años después Marilyn Strathern, antropóloga, en un artículo sobre las auditorías en la universidad británica.² La formulación que mejor explica el fracaso de los cuadros de mando la firmó alguien que estaba mirando lo que la evaluación le hacía a su propio oficio.

Y hay una tercera, de 1976, bastante más dura. Donald Campbell, psicólogo social dedicado a evaluar programas públicos, escribió que cuanto más se use un indicador social cuantitativo para tomar decisiones, más sujeto estará a presiones corruptoras y más probable será que distorsione y corrompa los procesos que pretendía vigilar.³

Las tres dicen cosas distintas y conviene no mezclarlas. Goodhart dice que se rompe la correlación. Strathern, que la medida deja de informar. Campbell dice lo grave: que lo medido empeora. No es que hayamos dejado de ver bien. Es que lo hemos estropeado.

Por qué se rompe

Una medida funciona como sustituto de un fin por una única razón: porque es una consecuencia de perseguir ese fin. Un servicio de urgencias que atiende bien tiende a dar altas en un tiempo razonable. Una escuela que enseña bien tiende a tener alumnos que aprueban. El número es la sombra del trabajo bien hecho.

El problema es que las sombras admiten otros procedimientos. Siempre existe un camino más corto hasta el número que el que pasa por el trabajo, y ese atajo no requiere ningún cinismo: sencillamente sale más barato, y todo el mundo está cansado.

Esa es la parte peor entendida de la ley de Goodhart. No hace falta que nadie haga trampas. Basta con gente razonable, con prisa, que sabe perfectamente qué le van a preguntar el lunes.

Qué es exactamente un indicador

Aquí es donde la axiología formal aporta algo que la literatura de gestión no suele decir. Un indicador no es una versión reducida del objetivo. Es un objeto de otro orden.

Robert S. Hartman formalizó las tres maneras de valorar que usamos —la sistémica, la de las reglas y las definiciones; la extrínseca, la de lo que se hace y se compara; y la intrínseca, la de alguien irrepetible— y, esto es lo que casi siempre se salta, le asignó a cada una un tamaño exacto.

Lo sistémico —una definición, una regla, un indicador— tiene un número finito de propiedades: las que se le dieron y ni una más. Lo extrínseco —una práctica, un servicio, un tratamiento— tiene una infinidad enumerable: puedes seguir listando propiedades indefinidamente y nunca terminas. Y lo intrínseco, una persona concreta, tiene una infinidad no enumerable: un continuo que no se deja contar.⁴

De modo que la distancia entre un indicador y aquello que mide no es una cuestión de precisión. Es de cardinalidad. Por muchas columnas que añadas al cuadro de mando, seguirás teniendo un número finito frente a uno infinito.

Y hay una segunda propiedad, más práctica. Lo sistémico no admite grados. Hartman lo explicó con un ejemplo de Aristóteles: un número no puede ser mutilado, porque quitarle una unidad lo convierte en otro número; una taza sí, porque perder el asa no la hace dejar de ser taza.⁵ El valor sistémico es el valor de la perfección: se cumple o no se cumple, y no hay escalón intermedio.

Por eso un umbral hace algo que el trabajo no hace: borra las gradaciones. Tres horas cincuenta y nueve y cuatro horas y un minuto son, para el sistema, dos mundos distintos; para el paciente, el mismo minuto. Y donde el sistema ve un acantilado, la conducta se amontona.

Eso último no es una metáfora. Está medido.

Las cuatro horas

Inglaterra fijó a partir del 2004 que el 98 % de los pacientes debía salir de urgencias —ingresado, trasladado o dado de alta— en menos de cuatro horas. Venía de un problema real: las esperas eran interminables.

Un estudio publicado en Annals of Emergency Medicine en 2012 miró qué le había pasado a la hora de salida. La proporción de pacientes que abandonaban el servicio en los últimos veinte minutos antes de las cuatro horas pasó del 4,7 % en 2003 al 8,4 % en 2006. Entre los pacientes mayores, del 7,4 % al 17,3 %.⁶

Lee esa segunda cifra despacio. Las personas que más necesitaban tiempo sin prisa fueron a las que más movió el reloj.

Nadie falsificó nada. Alguien decidió antes, alguien movió una camilla primero, alguien dejó de esperar un resultado que ya podía llegar en planta. Cada una de esas decisiones es defendible por separado. Todas juntas son la forma que tiene un umbral.

Un umbral no resume el trabajo: lo parte en dos mitades que no se parecen en nada. Y en el borde se acumula todo.

El examen

La ley de Campbell nació mirando la educación y es donde se ve mejor. Si la escuela se evalúa por el resultado del examen, lo racional es entrenar el examen. Nadie tiene que decidirlo en una reunión: el curso se reorganiza solo.

En 2015, tras un juicio de seis meses, once antiguos docentes y responsables de las escuelas públicas de Atlanta fueron condenados por asociación ilícita en una trama de alteración de respuestas en las pruebas estandarizadas.⁷

Un juicio deja constancia. Lo que hace la ley de Campbell durante el resto del tiempo no deja ninguna, porque es enteramente legal.

No hay escándalo en dedicar abril a hacer simulacros. No hay parte que redactar cuando el debate en clase desaparece del calendario porque no puntúa, ni acta que levantar cuando el alumno que iba a tardar más se queda con una fotocopia. Lo que el indicador se lleva no se lo lleva robando: se lo lleva reasignando horas. Y las horas salen siempre del mismo sitio.

Dos millones de cuentas que nadie pidió

Wells Fargo medía productos por cliente. Es una buena métrica: relaciones más profundas, más servicio, más permanencia. Es exactamente lo que elegiría un analista serio.

En septiembre de 2016 los reguladores estadounidenses multaron al banco con 185 millones de dólares en total: sus empleados habían abierto más de dos millones de cuentas y tarjetas que los clientes no habían autorizado.⁸

Aquí está la lección menos intuitiva de todo esto. Las métricas malas no producen nada parecido: nadie se molesta en optimizar un número que nadie mira. Una medida solo puede corromperse si antes fue buena, porque ser buena es justo el requisito para que la asciendan a objetivo.

Ningún cuadro de mando registra lo que dejó de hacerse para que él saliera bien.

La degradación que no sale en el cuadro de mando

Hasta aquí el daño es a la práctica: un servicio que empeora, una clase que encoge. En términos axiológicos, una manera de hacer las cosas que admitía infinitos grados acaba gobernada por un objeto que no admite ninguno. Lo extrínseco queda sometido a lo sistémico.

Pero hay una segunda degradación, y esa no aparece en ningún informe.

Cuando el indicador ocupa el lugar del fin, la persona que está al otro lado deja de ser el fin también. El paciente se convierte en un reloj. El alumno, en una puntuación. El cliente, en un recuento de cuentas. No en las intenciones declaradas de nadie: en el orden operativo del día.

El orden que la axiología considera sano va de lo intrínseco a lo extrínseco a lo sistémico: primero la persona, después lo que hace, al final las reglas y los números. La ley de Goodhart es ese orden invirtiéndose despacio dentro de una institución, sin que nadie lo haya propuesto y con las mejores intenciones de todos.

Hartman tenía un nombre para este error, y lo escribió a propósito de otra cosa completamente distinta. Reseñando un libro de filosofía en 1959, dijo que su título expresaba «una transposición de niveles lógicos: del método para comprender una cosa con la cosa comprendida».⁹

Eso es exactamente. Una métrica es un método para comprender algo. Cuando se convierte en el fin, el método ocupa el lugar del contenido. Y el contenido, en un box de urgencias, en un aula o en un mostrador, es una persona. Conviene decir qué estatuto tiene esta última lectura: describe la forma del error, no su frecuencia. Es análisis axiológico, no un hallazgo medido.¹⁰

Lo que no se sigue de esto

La conclusión no es dejar de medir. Sería cómoda y sería falsa.

Hartman dedicó su vida a hacer el valor medible, y construyó un instrumento para conseguirlo. Quien renuncia a medir no obtiene una institución más humana: obtiene una donde las decisiones dependen de quién habla mejor en las reuniones. El problema nunca fue la medición. Fue el ascenso.

Y como esto se aplica también aquí, conviene decirlo con todas las letras. El Mapa de Valores es un instrumento de medida. Si alguien memorizara el orden «correcto» de los elementos y se entrenara para mejorar su resultado, ese resultado dejaría de significar nada. Funciona porque no hay nada que ganar en él.¹¹

Eso no es una virtud del instrumento. Es la condición en la que cualquier instrumento sigue midiendo.

Las dos preguntas que se hacen antes

No hay técnica que inmunice un indicador, y desconfiaría de quien la venda: convertir esto en una metodología sería repetir el error con otro nombre. Hay dos preguntas, y las dos se hacen antes, en la misma reunión donde se decide la métrica y antes de que nadie cobre por ella.

La primera cuesta diez segundos: ¿qué haría alguien que quisiera subir este número sin hacer el trabajo?

Casi siempre hay respuesta. Casi siempre alguien en la sala la sabe, y la sabe rápido. Eso no es un motivo para no medir: es el mapa de dónde vas a tener que mirar después.

La segunda es más incómoda porque no se contesta con una cifra: ¿quién tiene aquí la autoridad para decir «el indicador está bien y esto está mal» y que se le haga caso?

Si no la tiene nadie, el indicador ha dejado de medir el trabajo. Ya es el trabajo.

Referencias

Obras de referencia

• Robert S. Hartman, La estructura del valor: fundamentos de la axiología científica (1959) — la jerarquía de las tres dimensiones y sus cardinalidades, el valor sistémico como valor de la perfección y la transposición de niveles lógicos entre método y contenido.
• Robert S. Hartman, «The Nature of Valuation», en John William Davis (ed.), Value and Valuation: Axiological Studies in Honor of Robert S. Hartman (University of Tennessee Press, 1972) — formulación en inglés de los tres tipos de concepto y de sus conjuntos de atributos.
• Robert S. Hartman y Mario Cárdenas Trigo, Manual del Perfil de Valores de Hartman (1967) — especificaciones originales del instrumento.
• Everett W. Hall, Modern Science and Human Values: A Study in the History of Ideas (1956) — el libro cuya tesis analiza Hartman en el pasaje citado.

Fuentes

1. ↩ La formulación original de Goodhart es: «Any observed statistical regularity will tend to collapse once pressure is placed upon it for control purposes». Apareció en C. A. E. Goodhart, «Monetary Relationships: A View from Threadneedle Street», en Papers in Monetary Economics, vol. I, Reserve Bank of Australia, 1975, volumen de la conferencia sobre economía monetaria celebrada en Sídney en julio de aquel año. Traducción propia. Fuente: Reserve Bank of Australia, catálogo de volúmenes de conferencia.
2. ↩ Marilyn Strathern, «"Improving ratings": audit in the British University system», European Review, 5(3), 1997, pp. 305-321. Es ahí donde aparece la paráfrasis popular de la ley de Goodhart, dentro de un análisis antropológico de la llamada «explosión auditora». La atribución de la frase corta a Goodhart es un error de cita muy extendido.
3. ↩ Donald T. Campbell, «Assessing the Impact of Planned Social Change», Occasional Paper Series n.º 8, Public Affairs Center, Dartmouth College, 1976; reeditado en Evaluation and Program Planning, 2(1), 1979, pp. 67-90. Campbell no escribía sobre exámenes escolares en particular, sino sobre indicadores sociales en general —criminalidad, pobreza, calidad del aire—. Traducción propia. Fuente: Campbell's law.
4. ↩ En La estructura del valor, al tratar la jerarquía de los valores, Hartman escribe que la comprehensión sintética no contiene predicados sino solo relaciones formales, la analítica contiene un número finito o potencialmente infinito de predicados, y la singular contiene una infinidad real de predicados. La formulación equivalente en inglés, en el volumen de homenaje de 1972, es más directa: el valor sistémico es el cumplimiento de un concepto sintético cuya intensión es un conjunto finito de atributos; el extrínseco, el de un concepto analítico cuya intensión es un conjunto infinito enumerable; el intrínseco, el de un concepto singular cuya intensión es un conjunto infinito no enumerable. Conviene precisar la atribución: Hartman no descubrió las tres maneras de valorar —venían de la tradición filosófica—, sino que las formalizó, las ordenó y construyó un instrumento para medirlas. Fuentes: Hartman, La estructura del valor (1959); Davis (ed.), Value and Valuation (1972).
5. ↩ El pasaje completo: las cosas sistémicas —círculos, triángulos, números— no pueden ser buenas ni malas, solo pueden ser o no ser tales cosas, de modo que su valor es cumplimiento completo o incumplimiento completo, perfección o no perfección. Y a continuación, el ejemplo aristotélico: un número no puede ser mutilado, pues la pérdida de una unidad lo convierte en otro número; una taza sí puede serlo, pues la pérdida del asa no la hace dejar de ser taza. Fuente: Hartman, La estructura del valor (1959), capítulo sobre la jerarquía de los valores.
6. ↩ S. Mason, E. J. Weber, J. Coster, J. Freeman y T. Locker, «Time patients spend in the emergency department: England's 4-hour rule — a case of hitting the target but missing the point?», Annals of Emergency Medicine, 59(5), 2012, pp. 341-349. Los autores interpretan el pico como indicio de que la gestión del riesgo se desplazó al plano organizativo —las penalizaciones económicas— en lugar del clínico. Este artículo no sostiene que el objetivo de las cuatro horas fuera un fracaso neto: nació de un problema real y su balance global se sigue discutiendo. Lo que sostiene es que produjo una distorsión concentrada en el umbral, que es exactamente lo que la ley de Goodhart predice.
7. ↩ Once de los doce acusados que llegaron a juicio fueron condenados el 10 de abril de 2015 por cargos que incluían asociación ilícita (racketeering). La investigación había señalado irregularidades en decenas de centros de Atlanta Public Schools. Fuente: PBS NewsHour, «Eleven former educators convicted on racketeering charges in Atlanta».
8. ↩ El 8 de septiembre de 2016 la Consumer Financial Protection Bureau impuso 100 millones de dólares de multa, la Office of the Comptroller of the Currency otros 35 y la ciudad y el condado de Los Ángeles 50 más. Según el propio análisis del banco, se habían abierto más de dos millones de cuentas de depósito y tarjetas de crédito posiblemente no autorizadas por los clientes; estimaciones posteriores elevaron la cifra. Fuente: CFPB, «Wells Fargo Bank, N.A.».
9. ↩ Hartman analiza Modern Science and Human Values, de Everett W. Hall (1956), y objeta que el título confunde la ciencia —que es un método— con los valores humanos —que son un conjunto de fenómenos—. De ahí la frase citada. El contexto original es una discusión epistemológica sobre la relación entre método y contenido, no una crítica de indicadores de gestión: la forma lógica del error es la misma, el campo de aplicación es mío. Fuente: Hartman, La estructura del valor (1959), capítulo «Ciencia natural y ciencia moral».
10. ↩ La distinción importa para no prometer de más. Que un umbral concentre conducta en su borde es un hecho observado y publicado. Que la persona atendida quede desplazada del lugar de fin es una lectura axiológica: describe qué dimensión gobierna la decisión, no cuánta gente lo experimenta ni con qué intensidad. No conozco ninguna medición de esto segundo, y sospecho que es difícil de diseñar sin caer en el mismo problema que describe el artículo.
11. ↩ El Perfil de Valores de Hartman no pregunta por opiniones: pide ordenar dos conjuntos de dieciocho elementos, y la puntuación surge de comparar ese orden con un orden normativo derivado de la teoría. Es una propiedad estructural del instrumento, no una precaución añadida: quien conociera de antemano el orden normativo y lo reprodujera obtendría un resultado impecable y vacío. Por eso no es una prueba para la que estudiar, y por eso el resultado solo sirve dentro de una conversación donde no hay nada que aprobar. Fuente: Hartman y Cárdenas Trigo, Manual del Perfil de Valores de Hartman (1967).