¿Es fiable el test de Hartman? La validez de una prueba que no pregunta opiniones

Si has llegado hasta aquí desconfiando, empiezas bien. Un instrumento que dice medir cómo valoras debería aguantar exactamente el tipo de escrutinio que propone. Esto es lo que se ha probado de la Prueba de Valores de Hartman, con qué cifras y en qué muestras — y también lo que no se ha probado, que conviene saber antes y no después.

Tres maneras de dudar de un test

Cuando alguien pregunta si un test «es serio», casi siempre pregunta tres cosas a la vez. Conviene separarlas, porque tienen respuestas distintas y de fuentes distintas.

La primera valora el test en el registro sistémico: ¿hay un modelo detrás o es una ocurrencia bien presentada? Es la pregunta de las reglas y los conceptos, la que quiere saber si algo se sostiene por dentro.

La segunda lo valora en el registro extrínseco: ¿funciona? ¿Mide dos veces lo mismo, coincide con instrumentos que ya sabemos que miden, distingue a unas personas de otras? Es la pregunta de la utilidad y la comparación.

La tercera cambia de objeto y ya no habla del test, sino de ti: ¿voy a acabar reducido a un número? Ahí lo que está en juego es tu dimensión intrínseca, la del valor de lo único e irrepetible, y esa no la contestan los datos. Volveremos a ella al final.

Las dos primeras sí tienen respuesta publicada. Y la respuesta corta, antes de entrar en materia, es esta: sí en el sentido técnico —mide de forma estable y mide dos cosas distintas que dice medir—, con un corpus de evidencia sólido en su estructura y estrecho en su volumen.

La respuesta larga ocupa el resto del artículo, incluida la parte incómoda. Empieza por el diseño, porque de él depende que se pueda validar algo.

Por qué no te pregunta tu opinión

Casi todos los cuestionarios que has hecho te preguntan por ti: cómo eres, qué prefieres, cuánto te identificas con una frase. Esta prueba no. Te da dieciocho frases y te pide que las ordenes de mejor a peor.

La razón está escrita en el propio manual y usa una analogía óptica que zanja la cuestión. Antes de preguntarle a alguien si prefiere el verde o el rojo, conviene comprobar si distingue los colores: una persona daltónica no puede tener un juicio válido sobre esa preferencia.¹

Con los valores ocurre igual. Preguntarte qué valoras devuelve una lista de preferencias. Medir cómo valoras devuelve la capacidad de la que esas preferencias dependen.

Y de ahí se sigue algo metodológico que suele pasar desapercibido: una opinión no puede estar equivocada, así que tampoco puede acertar. Un ordenamiento sí. Por eso a este instrumento se le puede preguntar si es válido, y a un cuestionario de opiniones, en rigor, no.

A un test de opiniones nunca puedes llevarle la contraria; por eso tampoco puedes pedirle que acierte.

Fiabilidad y validez no son lo mismo

Dos palabras que se usan como sinónimas y que preguntan cosas distintas.

La fiabilidad es la constancia: si repites la medida en condiciones parecidas, ¿sale lo mismo? Una báscula que da tres pesos distintos en un minuto es poco fiable, aunque el kilo esté perfectamente definido.

La validez es la puntería: ¿mide lo que dice medir? Una báscula muy constante que siempre marca cinco kilos de más es fiable e inválida a la vez.

Se pueden tener por separado y hay que probarlas por separado. La prueba de Hartman se apoya en dos patas para eso, y la primera no se parece a nada de lo que hace la psicometría.

Primera pata: una norma que no salió de una encuesta

Cuando terminas de ordenar, tu secuencia no se compara con la media de quienes respondieron antes que tú. Se compara con un orden teórico deducido del cálculo de valor de la axiología formal.

El manual lo dice sin rodeos: la prueba mide la desviación de tu puntuación respecto de una puntuación teórica basada en la axiología formal, la ciencia de la lógica del valor; esa lógica determina la corrección o incorrección de los juicios de valor.²

Eso significa que la norma sería idéntica aunque nadie más hubiera hecho la prueba jamás. No hay muestra de referencia que envejezca, ni sesgo de quién participó en la baremación, ni deriva según el país.

Y significa que la comparación es exigente. Dieciocho frases admiten más de seis mil billones de ordenaciones posibles, y el manual califica de prácticamente imposible reproducir la secuencia teórica exacta por azar.³

La medida concreta es una correlación de rangos entre tu orden y el orden deducido: vale 1 si coinciden del todo y ronda el cero si tu ordenación es indiferente a la teórica.³

Conviene decir qué prueba esta pata y qué no. Prueba que hay un criterio y que el criterio es independiente de la muestra. No prueba que ese criterio describa nada real de las personas. Para eso hace falta la segunda.

Segunda pata: qué encontró Pomeroy, con números

Leon Pomeroy, psicólogo clínico, dedicó más de dos décadas a someter el instrumento a las pruebas habituales de la evaluación psicológica y publicó el conjunto en 2005.⁴ Estos son los resultados que sostienen la frase «está validado», con sus tamaños de muestra al lado.

Fiabilidad: repetir y comparar

Ochenta estudiantes hicieron la prueba y la repitieron alrededor de un mes después. Se compararon las treinta y dos escalas una a una y ninguna cambió de forma estadísticamente significativa: las probabilidades asociadas fueron de 0,08 a 0,89, muy por encima del umbral convencional de 0,05.⁵

Dicho en corto: lo que la prueba mide se quedó donde estaba. Es lo que se espera de una capacidad y no de un estado de ánimo.

Validez de constructo: ¿mide dos cosas o una?

El instrumento afirma medir dos capacidades distintas —valorar el mundo y valorarte a ti— y eso es comprobable: si en realidad fueran una sola, el análisis factorial lo delataría.

Pomeroy analizó las intercorrelaciones de las escalas en cinco muestras diferentes, la mayor de 361 personas entre estudiantes, médicos y pacientes. En las cinco aparecieron los mismos dos factores dominantes, y la separación fue limpia: las escalas de la primera parte cargaron en uno y las de la segunda en el otro, sin cruces.⁶

Validez discriminante: ¿distingue a quien hay que distinguir?

Con los perfiles de 97 pacientes psiquiátricos ambulatorios, 119 estudiantes y 156 médicos, el modelo clasificó correctamente al 92,4 % de los estudiantes, al 67,3 % de los médicos y al 63,9 % de los pacientes. Con tres grupos, acertar por azar rondaría el 33 %.⁷

El error más grande es elocuente y el propio Pomeroy se detiene en él: cerca de un tercio de los médicos fueron clasificados como estudiantes. Y los pacientes eran ambulatorios, no ingresados — es decir, la muestra estaba elegida en contra del instrumento y no a su favor.

Validez concurrente: ¿coincide con lo que ya sabemos medir?

Aquí se compara escala por escala con instrumentos consolidados. En una muestra de 97 pacientes, la escala del perfil que la clínica asocia a la depresión correlacionó significativamente con la escala de depresión del MMPI, y las escalas que la clínica asocia a la ansiedad con las escalas del MMPI de fuerte componente ansioso.⁸

Y un detalle que dice más de la honestidad del libro que cualquier resultado positivo: una de las escalas del perfil —la que compara el peso relativo de las tres dimensiones— no correlacionó significativamente con ninguna medida del MMPI. Pomeroy la llama «huérfana» y la deja escrita como tal, sin maquillarla.⁸

Transcultural: la misma prueba en cinco sitios

Se aplicó en Japón (450 personas), Indonesia (275), México (229), Canarias (199) y Rusia (44). La correlación media entre la ordenación del mundo y la secuencia teórica se movió entre 0,74 y 0,84 en los cinco.⁹

Es el resultado que más pesa, porque el orden teórico se dedujo en un despacho antes de que existiera ninguna de esas muestras. Que gente de cinco culturas converja en él por encima del 0,7 no estaba garantizado por nada.

Y en las cinco aparece la misma asimetría: la correlación de la segunda parte —valorarte a ti— quedó sistemáticamente por debajo, entre 0,55 y 0,74. La lectura habitual, y es una lectura y no un dato aparte, es que la mirada que dirigimos hacia dentro llega peor afinada que la que dirigimos hacia fuera.⁹

Lo que no está probado, y lo dice el propio libro

Aquí es donde casi todas las páginas que responden a esta pregunta se detienen. Conviene no detenerse.

El corpus depende mucho de una sola mano. La validación empírica sistemática es, en lo esencial, el programa de un investigador a lo largo de dos décadas, apoyado en trabajos anteriores del propio Hartman y en una tradición clínica. Réplicas independientes con muestras nuevas hay pocas. Es una observación sobre el estado de la literatura, no un reproche al trabajo: media una diferencia real entre «validado» y «validado y replicado por terceros».

Las muestras son medianas y no aleatorias. El propio Pomeroy describe la parte transcultural como un estudio piloto que examina la validez probable del instrumento, y advierte de que un análisis clínico exigiría muestreo aleatorio con un número mayor de sujetos.¹⁰

Solo la versión estándar está validada. El libro es explícito: los datos empíricos que contiene se aplican únicamente a la versión estándar de la prueba, y las formas paralelas o las versiones comerciales derivadas necesitan su propia validación.¹¹ Es un aviso que conviene tener a mano cuando alguien ofrece «el test de Hartman» dentro de un producto propio.

Un perfil se puede tomar en mal momento. La segunda parte gira sobre el mundo del trabajo, y Pomeroy advierte de que una alteración fuerte en ese terreno puede inflar y distorsionar esas puntuaciones hasta invalidar el resultado: lo que se recoge entonces no es la estructura de base, sino la reacción.¹² La consecuencia práctica es sencilla — si acabas de pasar por un despido o un conflicto laboral agudo, el momento importa.

Las correlaciones son reales y modestas. Conviene mirar las magnitudes y no solo los asteriscos. En el capítulo biomédico, la asociación entre la escala de ansiedad y el colesterol, en una muestra de 89 personas, es de +0,30: un resultado estadísticamente claro y una asociación moderada, descrita en el libro con más entusiasmo del que la cifra pide.¹³

Y hay una literatura crítica. La axiología formal ha recibido objeciones académicas, reunidas en un volumen dedicado precisamente a ellas.¹⁴ Que ese libro exista es, en sí, buena señal: las teorías que nadie discute suelen ser las que nadie usa.

Un instrumento serio no es el que no tiene límites, sino el que sabe enumerarlos antes de que se los saquen.

Y los límites que trae de fábrica

Hay además cosas que la prueba no puede darte, y que no dependen de la evidencia sino del diseño. El manual las declara desde sus primeras páginas.

No mide tu energía ni tu empuje: dos personas con idéntica dotación axiológica pueden tener rangos de acción muy distintos. Y mide capacidad de juicio de valor, no de acción de valor — ver claro no garantiza actuar bien, aunque lo facilite.¹⁵

La lista completa de lo que no es —ni tipología, ni inventario de tus valores, ni diagnóstico clínico, ni predicción de conducta— está en la guía de este blog sobre qué es el Perfil de Valores Hartman. Leerla antes ahorra la mitad de las decepciones.

Entonces, ¿es fiable?

Con lo publicado, sí en el sentido técnico: mide de forma estable al repetirla, y mide dos cosas distintas que dice medir, con un patrón que se ha repetido en varias muestras y en cinco países.

Y es válido en el sentido de que sus escalas se relacionan de forma coherente con constructos que la psicología ya mide bien, con correlaciones moderadas — que es lo normal cuando se comparan instrumentos que miran cosas distintas.

Su rasgo más singular, sin embargo, no es estadístico. Es que el criterio contra el que te compara se dedujo en lugar de encuestarse. Eso lo coloca en una posición rara, fuera de la psicometría estándar, y esa posición es a la vez su mayor fortaleza y la razón de que cueste encontrarlo en los manuales al uso.

Lo que no es: un instrumento con la montaña de réplicas independientes que acumulan el MMPI o el 16PF. Presentarlo como si lo fuera es vender otra cosa.

Queda la tercera duda, la intrínseca — la de si vas a acabar reducido a un número. Esa no la resuelve ninguna tabla. La resuelve el uso: un perfil leído a solas es un papel con cifras, y leído dentro de una conversación es un punto de partida. La fiabilidad la aporta el instrumento; el cuidado, no.

Referencias

Obras de referencia

• Robert S. Hartman, The Hartman Value Profile: Manual of Interpretation (Robert S. Hartman Institute, 2.ª ed., 2006) — manual original del instrumento: definición de lo que mide, norma teórica, analogía del color y límites declarados.
• Leon Pomeroy, The New Science of Axiological Psychology, ed. Rem B. Edwards (Rodopi / Brill, Ámsterdam – Nueva York, 2005) — el programa de validación empírica al completo: fiabilidad, análisis factorial, validez discriminante, concurrente, biomédica y transcultural. Todas las cifras de este artículo proceden de esta obra o del manual.
• Robert S. Hartman, La estructura del valor: fundamentos de la axiología científica (Fondo de Cultura Económica, 1959) — la ciencia de la que se deduce la norma del test.
• Rem B. Edwards (ed.), Formal Axiology and Its Critics (Editions Rodopi, Ámsterdam – Atlanta, 1995) — volumen dedicado a las objeciones académicas a la axiología formal.

Fuentes

1. ↩ Manual of Interpretation, §2.1.1: «Antes de examinar a una persona sobre su preferencia por, digamos, el verde o el rojo, debería examinársela primero sobre su capacidad de ver el color. Una persona daltónica, obviamente, no puede tener un juicio válido sobre su preferencia entre el rojo y el verde». El mismo apartado establece la distinción entre el valor en general y los valores específicos —intereses, preferencias— y añade que la validez de una preferencia depende del grado de sensibilidad al valor en general. Traducción propia.
2. ↩ Manual of Interpretation, §0.3: «El HVI mide la desviación de la puntuación del propio sujeto respecto de una puntuación teórica basada en la axiología formal, la ciencia de la lógica del valor. Esta lógica determina la corrección o incorrección de los juicios de valor. La prueba mide, por tanto, la capacidad de emitir juicios de valor». Y §2: «La objetividad de la prueba se debe a que está basada en la lógica de los juicios de valor (axiología formal)». Traducción propia.
3. ↩ Manual of Interpretation, §3.2.3.2: las puntuaciones aparecen como desviaciones respecto del orden teórico de los ítems 1-18, orden basado en el cálculo de valor de la axiología formal; la puntuación máxima posible sería 0 en todas las escalas —desviación nula— y el manual la califica de «prácticamente imposible». El mismo apartado da la fórmula de correlación de secuencias, la ρ de rangos, con n = 18, y sitúa en 1,0 la correlación con la secuencia teórica en el caso perfecto. La cifra de ordenaciones posibles es aritmética simple: 18! ≈ 6,4 × 10¹⁵, más de seis mil billones. Aquí no se reproducen ítems, umbrales ni mecánica de corrección: publicarlos comprometería la prueba para quien fuera a hacerla.
4. ↩ Leon Pomeroy, The New Science of Axiological Psychology (Rodopi / Brill, 2005). El propio autor ordena su trabajo en seis frentes: validez de constructo, concurrente, transcultural, clínica, normativa y biomédica. Su primera publicación sobre el tema, con John W. Davis, es de 1982: «Introduction to Behavioral Axiology, Part I: A Validity Study of Hartman's Valuemetrics and Value Science Assumptions», Proceedings of the 2nd International Conference of the Cattell 16PF, pp. 117-121.
5. ↩ Pomeroy (2005), tabla 9, «HVP Reliability Test (N = 80 College Sophomores), 1981»: prueba y repetición al cabo de aproximadamente un mes, contraste bilateral sobre las diferencias entre ambas administraciones. Ninguna de las escalas alcanzó significación estadística; las probabilidades asociadas van de p = 0,08 a p = 0,89, con el umbral convencional situado en p < 0,05. Los datos proceden de Pomeroy y Davis (1982).
6. ↩ Pomeroy (2005), tablas 4 a 8 y capítulo cuarto: análisis factorial sobre la matriz de intercorrelaciones de las escalas, repetido en cinco combinaciones de población —datos agrupados de estudiantes, médicos y pacientes generales (N = 361); estudiantes, pacientes generales y pacientes psiquiátricos (N = 271); estudiantes solos; médicos solos; pacientes psiquiátricos solos—. En todas emergen dos factores dominantes que recogen la mayor parte de la varianza, y el autor subraya que ninguna escala de la parte I carga en el factor de la parte II ni al revés. Dos factores adicionales, menores, recogen la varianza de la escala DIM%.
7. ↩ Pomeroy (2005), tabla 12, «Truth Table: Multivariate Discriminant Analysis»: grupo I, pacientes (N = 97); grupo II, estudiantes (N = 119); grupo III, médicos (N = 156). Aciertos en la diagonal: 63,92 % de los pacientes, 92,44 % de los estudiantes y 67,31 % de los médicos. El error mayor es la clasificación del 30,77 % de los médicos como estudiantes; solo el 1,92 % de los médicos y el 2,52 % de los estudiantes fueron clasificados como pacientes. La referencia del 33 % es aritmética: la probabilidad de acertar al azar entre tres categorías.
8. ↩ Pomeroy (2005), tabla 14, correlaciones significativas (p < 0,05) entre escalas del perfil y medidas criterio del MMPI en una muestra de N = 97 pacientes. La escala AI%-2 correlaciona positivamente con la escala D (depresión) del MMPI, y las escalas INT% —que la clínica asocia a la tensión— con escalas de fuerte componente ansioso. En la misma tabla, DIM%-1 y DIM%-2 figuran como «Not Significant»; el autor califica esa escala de «huérfana» porque no correlaciona con la mayoría de las medidas del MMPI y es difícil de interpretar clínicamente. Las siglas se dejan aquí en nota por precisión, no porque hagan falta para seguir el texto.
9. ↩ Pomeroy (2005), tabla 3, medias de las escalas del perfil para Japón (N = 450), Indonesia (N = 275), México (N = 229), Rusia (N = 44) e Islas Canarias (N = 199). Medias de RHO-1 —la correlación de rangos entre la ordenación de la primera parte y la secuencia teórica—: +0,81, +0,82, +0,74, +0,84 y +0,80. Medias de RHO-2, la misma correlación en la segunda parte: +0,56, +0,74, +0,72, +0,72 y +0,55. En el prólogo editorial del volumen, Rem B. Edwards recoge además que el propio Hartman, con muestras de Estados Unidos y México, encontró que las secuencias reales correlacionan con la teórica «entre el 89 y el 99 por ciento», remitiendo a Hartman (1967). Una advertencia sobre la asimetría entre ambas cifras: las dos partes de la prueba usan conjuntos de ítems distintos, y el manual no establece que sean igual de difíciles, así que compararlas es la lectura habitual de la tradición clínica y no un resultado independiente de los datos.
10. ↩ Pomeroy (2005), capítulo decimoquinto, «Some Minuses and Pluses of Axiometrics»: las calificaciones empleadas proceden del manual de Hartman y no son valoraciones clínicas del autor; un análisis clínico exigiría examinar todas las escalas y «muestreo aleatorio sobre un número mayor de sujetos»; y el conjunto se presenta como «un estudio piloto que examina la validez probable» del instrumento en aplicaciones transculturales. Traducción propia.
11. ↩ Pomeroy (2005), mismo capítulo: «solo el HVP estándar ha sido sometido a la validación empírica sistemática recogida en los capítulos de este libro. Este libro trata del HVP estándar»; los resultados de toda forma paralela «deben correlacionarse con los del HVP estándar» y quienes construyan instrumentos derivados con fines comerciales «deberían buscar también la validación empírica de sus instrumentos derivados». Traducción propia.
12. ↩ Pomeroy (2005), mismo capítulo: los ítems de la parte II se construyen en torno al mundo del trabajo, y «alteraciones importantes en el mundo laboral pueden sesgar, inflar y distorsionar fácilmente las puntuaciones de la parte II, invalidando los resultados de la prueba». El autor distingue entre axiología reactiva —estados transitorios movilizados ante un trauma— y axiología de base, las estructuras cristalizadas que son las que interesan, y sugiere repetir la medida a lo largo de una o dos semanas cuando aparecen picos reactivos. Traducción propia.
13. ↩ Pomeroy (2005), capítulo decimotercero, «Biomedical Validity», tablas 56 y 57: en una muestra de N = 89 personas de un programa de medicina preventiva, la escala INT%-2 correlaciona con el colesterol en sangre a +0,30, con p < 0,009. El autor califica la magnitud de «extraordinariamente alta»; en la convención habitual de las ciencias del comportamiento, un coeficiente de 0,30 describe una asociación moderada. La observación sobre el desajuste entre el dato y su descripción es mía.
14. ↩ Rem B. Edwards (ed.), Formal Axiology and Its Critics (Editions Rodopi, Ámsterdam – Atlanta, 1995), volumen de la serie Hartman Institute Axiology Studies. Aparece en la bibliografía y en las lecturas recomendadas de Pomeroy (2005).
15. ↩ Manual of Interpretation, §0.2: «La prueba no pretende medir la energía o el empuje que tiene una persona. Dos personas con idéntica dotación axiológica pueden tener rangos de acción distintos, dependiendo de su energía innata». Y §7.9.5: la prueba mide «la capacidad de juicio de valor, no de acción de valor», aunque como regla general cuanto mejores son los índices más fácil resulta la transformación del juicio en acción. Traducción propia.