El famoso efecto Dunning-Kruger es la suposición de que individuos “menos competentes” tienden a sobreestimar sus habilidades en mayor medida que los individuos más competentes. Se llama de este modo porque la publicación original de 1999 donde se describe esto es de autoría de David Dunning y Justin Kruger. Otra forma de describir este fenómeno es que hay gente tan mala en algo que no se da cuenta de lo mala que es…
Hoy te doy 5 puntos para reconsiderar tu postura respecto este tema.
Antes de otra cosa quiero aclarar que la publicación original de Dunning-Kruger muestra mediciones respecto a qué tan buena se considera la gente ANTES de llevar a cabo una tarea que es evaluada de manera externa. Este es un detalle importante porque cómo nos sentimos después de hacer una actividad puede ser diferente a cómo nos imaginamos que nos va a salir antes de intentarlo.
Efecto piso – techo
La forma clásica de gráfico que se usa para demostrar el efecto Dunning-Kruger es esta: una línea de evaluación externa, y una línea de auto-evaluación… donde típicamente el eje horizontal permite agrupar gente con poco dominio del área del lado izquierdo y buen dominio del lado derecho. Mientras que el eje vertical muestra el puntaje de evaluación o auto-evaluacíón. Estas gráficas típicamente muestran que entre más a la izquierda nos vayamos, más arriba está la línea de auto-evaluación con respecto al desempeño medido por alguien más.
Pero… hay un efecto que suele llamarse de piso y techo. Una manera de ejemplificarlo es recordando los promedios de calificaciones escolares.
Para quienes son actualmente o fuimos estudiantes de alto promedio académico, ubicarán que obtener otro 100 de calificación, no aumenta el promedio en gran medida…
Por ejemplo, supongamos que tienen un promedio de 96.5 obtenido a partir de 30 calificaciones, si agregamos otro 100 y contamos 31 calificaciones, el promedio aumenta sólo una décima.
Ejemplo 1: Cálculo original con 30 calificaciones 2895/30 = 96.5
Cálculo con 31 calificaciones (con un 100 extra) 2995/31 = 96.6
En cambio si tienen un promedio de 82, con las mismas 30 calificaciones y agregamos un 100, el promedio aumenta 6 décimas.
Ejemplo 2: Cálculo original con 30 calificaciones 2460/30 = 82
Cálculo con 31 calificaciones (con un 100 extra) 2560/31 = 82.6
Mientras que en el otro extremo, el efecto se maximiza… si tienes un promedio de 62 con 30 calificaciones y agregamos un 100, el promedio aumenta 1.2 puntos
Ejemplo 3: Cálculo original con 30 calificaciones 1860/30=62
Cálculo con 31 calificaciones (con un 100 extra) 1960/31=63.2
Entre más cerca del techo estés, es más difícil subir y más fácil bajar… y si estás más lejos de este extremo de la escala, más fácil es subir.
Esto es análogo a lo que encontramos regularmente en los gráficos clásicos referentes al efecto Dunning-Kruger:
Del extremo derecho, el de expertos, hay una tendencia a estar abajo de la evaluación objetiva de la habilidad… pero de ese lado del gráfico, igual que cuando tienes un alto promedio de calificación, lo más fácil es bajar promedio y no subir… la analogía es que es más fácil aún hablando en términos de probabilidad, estimar hacia abajo tu habilidad que hacia arriba.
Del otro lado, una estimación positiva es más probable, igual que en el caso de tener un promedio bajo que sube mucho más con una alta calificación.
De hecho, el autor de uno de los artículos que leí para preparar este tema, el dr Edward Nuhfer de la Universidad Estatal de California, hizo una comparativa con datos evaluados a partir del uso de dos instrumentos con 1154 participantes. Un instrumento de evaluación de y uno de auto-evaluación, ambos orientados a la comprensión de literatura científica.
Estos son los resultados obtenidos, graficados con el mismo estilo que la gráfica clásica de Dunning-Kruger.
Luego hizo un juego de datos aleatorios con excel para 1154 respuestas ficticias de los participantes y esta es la gráfica que obtuvo.. como ven, si usamos datos aleatorios encontramos un patrón donde los participantes aleatorios de menor dominio también sobre-estiman su resultado mientras los “expertos” se subestiman.
Si lo vemos desde el punto de vista del techo y piso… los expertos tienen mayor probabilidad de subestimarse así como los novatos tienen mayor probabilidad de sobreestimarse, aún si hablamos de datos aleatorios…
Cabe aclarar que cualquier medición tiene dos componentes: la variable en sí y cierto nivel de ruido… si estuviéramos frente a una medición con muchísimo ruido, encontraríamos un patrón semejante a esta gráfica, con una línea horizontal.
El otro detalle que podemos inferir es que los expertos serán razonablemente mejores para estimar habilidades en un área que dominen y por lo tanto es lógico esperar que la diferencia entre las rectas del lado derecho no sea tanta como la del lado izquierdo que se atribuye al citado efecto Dunning-Kruger.
No abunda la gente con este fenómeno
El tipo de gráfica clásica del fenómeno Dunning-Kruger puede dar la falsa sensación de que abunda la gente con este tema de sobreestimar sus habilidades…
La siguiente gráfica se construyó haciendo las siguientes operaciones al mismo conjunto de información de los 1154 participantes del estudio del dr Edward Nuhfer:
Primero se restó a la auto-evaluación el valor obtenido de evaluación. Esto permite que haya personas con valores negativos, ceros y valores positivos.
Por ejemplo, una persona que estima su conocimiento en 70 y obtiene en el test 70 dará 0 y este resultado significa que la persona estima con mucha precisión su conocimiento.
Quienes se subestimen, por ejemplo una persona que estima obtener 70, pero en el test evalúa 100, dará un valor negativo de -30.
Por el contrario los que se sobreestimen, como una persona que asuma obtener 80 pero en realidad obtiene 40 en el test, dará un valor positivo de 40.
Después de realizar este cálculo con todos los resultados de los participantes se agrupó los resultados de los mismos 1154 para graficarlos en modo histograma:
La principal diferencia entre ambos gráficos es que en el primero sólo se nos indica que hay gente en los extremos, novatos y expertos. El histograma nos permite agrupar cuánta gente tiene comportamientos extremos en cuanto a qué tanto se sobre estima o subestima. Podemos ver que en realidad la gran mayoría de la gente se evalúa razonablemente bien.
49% de la gente estima razonablemente su conocimiento con un error dentro del +/- 10%, 31% se sobreestima y 20% se subestima.
También podemos visualizar los datos con desviaciones estándar, lo que permite ver que las personas “extremas”, en realidad son muy pocas.
Cuando los datos obtenidos aleatoriamente se graficaron de la misma manera se obtuvo esta gráfica:
Los datos de esta gráfica indican que si fueran datos meramente aleatorios, sólo el 18% de los participantes se podrían auto-evaluar razonablemente…
De manera que el grupo real de 1154 participantes se evaluó, digamos bien. La gente que destaca por sobreestimarse es en realidad muy poca.
También encontré un artículo en el que el análisis estadístico en lugar de hacerse lineal se hace basado en una regresión no lineal y aparentemente este efecto de techo y piso desaparece y básicamente también el llamado efecto Dunning-Kruger. La mayor parte de la literatura que coincide en haber identificado este fenómeno no hace este análisis.
Y claro, seguro todos hemos sufrido algún jefe, agresor de tesis, compañero… que nos viene a la mente cuando escuchamos la descripción clásica del Dunning-Kruger: gente con tan poca habilidad que ni siquiera se dan cuenta de su propia poca habilidad… pero esa es sólo una explicación posible de la sobre estimación de la gente… y quizás quienes caen en esa categoría son realmente pocas.
Algunos, mienten…
No todos los que podemos asumir como personas que sobre estiman sus habilidades, es por “incapacidad de identificar su falta de habilidad…algunos simplemente, mienten…
Encontré un artículo un tanto peculiar que hace referencia a datos obtenidos en el famoso examen PISA del 2012 aplicados en 9 países de habla inglesa. El asunto aquí es que 2 de las 3 variantes del examen ese año incluían una pregunta en la que cuestionaban a los estudiantes su nivel de dominio de 16 conceptos matemáticos… el detalle es que 3 de esos 16 conceptos, no existen. De modo que quienes dijeron tener un muy buen dominio de esos conceptos no es que creyeran que sus habilidades fueran mayores, de lo que son… simplemente estaban mintiendo.
Los datos indican que entre los quinceañeros evaluados, los hombres mintieron más que las mujeres al igual que las personas de condición socioeconómica más alta.
Aquí podemos especular que este, quizás es un tema cultural o de crianza… como estas ideas que le dicen a la gente de actuar con seguridad aunque no sepan de lo que hablan en realidad… es posible que se le haya enseñado a la gente que es valioso sobre estimarse.
También hay rasgos de personalidad que podrían asociarse más al comportamiento que vemos en las gráficas, como el narcisismo.
Es decir, por un lado hay evidencia de que hay gente que mide deliberadamente en su estimación de habilidades, por otro hay gente con rasgos de personalidad narcisistas que… bueno, quizás así andan por la vida en general… y hay un tercer grupo, que de acuerdo a las evaluaciones descritas por Dunning-Kruger, pueden sobre estimar sus habilidades cuando se les pide hacer esta estimación ANTES de ejecutar la actividad.
No identificamos qué mejorar
En el propio artículo original de Dunning-Kruger se hace un análisis de estudios previos al suyo en los que se dan posibles explicaciones del por qué podemos ser tan malos en evaluar nuestras habilidades. Una de ellas es que no siempre recibimos una retroalimentación precisa. Para tener éxito en diversas áreas se requiere una combinación de habilidades, esfuerzo y hasta de buena suerte… Cuando las cosas no nos salen, no siempre tenemos una claridad de la causa… por lo que no siempre es posible recalibrarnos adecuadamente respecto a lo que debemos mejorar.
Qué podemos hacer
Finalmente, más allá de que seamos malos para una actividad o no tengamos desarrollada una habilidad… hay diversos estudios que correlacionan la “utilidad” de ser razonablemente efectivo en nuestra autoevaluación. Un estudio del 2006 por ejemplo, muestra que los estudiantes más exitosos en términos académicos son los más precisos para predecir sus resultados en los exámenes, en ponerse metas más realistas y ajustar su nivel de seguridad. Seleccionan, controlan y monitorean las estrategias que requieren para cumplir sus metas de aprendizaje.
Hay estudios que sugieren que la autoevaluación puede ayudar a mejorar la motivación intrínseca y el aprendizaje significativo. Ubica a los estudiantes en una posición de tomar decisiones mejores sobre su progreso y esto puede derivar en otras habilidades.
De modo que enseñarnos a ponderar en una justa dimensión dónde nos encontramos puede ser por sí misma, una habilidad muy útil.
Algunas maneras de promover esta habilidad incluyen diseñar lecciones que requieran que los estudiantes la practiquen, que estimen la calificación que pueden obtener en una tarea. Hacer evaluaciones donde haya una estimación de conocimientos o habilidades antes y después de una serie de preguntas que las requieran.
Uno de mis primeros videos de divulgación incluyó información general de Dunning-Kruger y el Síndrome del Impostor:
Referencias
Gignac, G. E., & Zajenkowski, M. (2020). The Dunning-Kruger effect is (mostly) a statistical artefact: Valid approaches to testing the hypothesis with individual differences data. Intelligence, 80, 101449. doi:10.1016/j.intell.2020.101449
Kruger, J., & Dunning, D. (1999). Unskilled and unaware of it: How difficulties in recognizing one’s own incompetence lead to inflated self-assessments. Journal of Personality and Social Psychology, 77(6), 1121–1134. doi:10.1037/0022-3514.77.6.1121
Jerrim, J., Parker, P., & Shure, N. (2019). Bullshitters. Who Are They and What Do We Know about Their Lives? IZA Institute of Labor Economics, (12282). http://ftp.iza.org/dp12282.pdf
Nuhfer, Edward, Steven Fleisher, Christopher Cogan, Karl Wirth, and Eric Gaze. «How Random Noise and a Graphical Convention Subverted Behavioral Scientists’ Explanations of Self-Assessment Data: Numeracy Underlies Better Alternatives.» Numeracy 10, Iss. 1 (2017): Article 4. DOI: http://dx.doi.org/10.5038/ 1936-4660.10.1.4
Nuhfer, Edward, Christopher Cogan, Steven Fleisher, Eric Gaze, and Karl Wirth. «Random Number Simulations Reveal How Random Noise Affects the Measurements and Graphical Portrayals of SelfAssessed Competency.» Numeracy 9, Iss. 1 (2016): Article 4. DOI: http://dx.doi.org/10.5038/ 1936-4660.9.1.4
Un comentario sobre “Dunning-Kruger no es como lo pintan”