A propósito de las pruebas PISA

En el día de ayer, 3 de diciembre, la educación estuvo en la tapa casi todos los diarios del mundo. La razón: la difusión de los resultados de las pruebas PISA 2018. Algunos ya lo llaman el PISA Day, por la magnitud de información que circula sobre esta evaluación, implementada cada tres años por la Organización para la Cooperación y el Desarrollo Económico (OCDE).

PISA es la sigla para Programme for International Student Assessment (en castellano, Programa para la Evaluación Internacional de Estudiantes), un estudio internacional tomado a los estudiantes que tengan 15 años. Se realiza desde el año 2000, siendo la de 2018 su séptima edición, en la que han participado 79 países (no sólo los miembros de la OCDE).

Como es sabido, PISA evalúa los aprendizajes en tres áreas de conocimiento (Lengua, Matemática y Ciencias) y aporta también, a través de los cuestionarios complementarios, información importante sobre los sistemas educativos de cada país evaluado. No se miden conocimientos conceptuales, sino la posibilidad de transferir saberes a diversos contextos. Cada edición, a su vez, se focaliza en un área específica, habiendo sido Lengua la elegida para 2018. 

Hasta aquí, la información general. Pero son los resultados los que dan que hablar. Cada evaluación califica con valores numéricos (el promedio de la OCDE es de 487 para Lectura y 489 para Matemática y Ciencias) y establece diferentes niveles de desempeño. En la presente edición, Lectura y Ciencias tuvieron 6 niveles de desempeño, mientras que Matemática tuvo 7. A partir del nivel 2 se considera que se han alcanzado los conocimientos básicos de cada área. 

¿Qué pasó con Argentina? Obtuvo 402 puntos promedio en Lectura, 379 puntos promedio en Matemática y 404 puntos promedio en Ciencias. Si bien esto indica que en todas las áreas nos encontramos muy por debajo del promedio de la OCDE, creo que lo importante es observar los niveles de desempeño y la comparabilidad, no con los otros países, sino con el propio país en la ediciones anteriores. 

Si nos detenemos a observar los niveles de desempeño, el panorama no es alentador para nuestro país. En Lectura, el 52,1% de los estudiantes se encuentra en el nivel 1 o ni siquiera llega a él. En Matemática, es aún más preocupante: el 69% de los estudiantes se encuentra en el nivel 1 o por debajo de éste. Y en Ciencias es el 53,5% que se encuentra en el nivel 1 o menor. Simplificando, la mitad de nuestros estudiantes no alcanza el nivel básico en ninguna de las áreas evaluadas. 

Prestando atención a quienes han alcanzado los niveles por encima de 1, encontramos el siguiente panorama. En Lectura, se encuentran en el nivel 2 el 25,7%, en el nivel 3 el 16,2%, en el 4 el 5,3% y en el 5 o superior apenas el 0,7%. En Matemática el 19,6% está en el nivel 2, el 8.8% en el 3, el 2,3% en el 4 y el 0,3% en el 5 o superior. En Ciencias, se encuentran en el nivel 2 el 27% de los estudiantes, el 15% en el nivel 3, el 4,1% en el nivel 4 y el 0,5% de los estudiantes en los niveles 5 o superior. 

Se lo mire como se lo mire, necesitamos seguir trabajando para lograr mejores aprendizajes. Digo “seguir trabajando” porque creo que todos los gobiernos hacen importantes esfuerzos, cada uno a su manera (compartamos o no), para que estos resultados se reviertan. Digo “para lograr mejores aprendizajes” porque no es para estar mejores en un ránking mundial o regional o ni siquiera para tener más puntos que en años anteriores, sino porque la educación de calidad es un derecho para todos los niños y jóvenes. Los fríos porcentajes son cientos y miles de estudiantes con rostros, historias y un futuro por delante. 

La otra cuestión, mencionada superficialmente en el párrafo anterior, tiene que ver con la comparabilidad. Por un lado, entre países. Por el otro, con el propio país en las ediciones anteriores, de las cuales Argentina ha participado en todas salvo en la de 2003 debido a la situación económica en la que nos encontrábamos (post 2001). 

Deben haber pocas cosas tan macabras en educación como los rankings. Llevan a decir estupideces como que ahora China tiene el mejor sistema educativo del mundo, o a algunas acciones inútiles pero más sutiles como importar currículums de lugares como Singapur o Finlandia. ¡Qué poco bien nos hace! 

No hay conciencia de las consecuencias que pueden tener los rankings. Pensemos en los rankings universitarios (que hay muchos) y generan que las universidades publiquen artículos académicos de dudosa rigurosidad sólo con tal de aumentar el número de papers. O en lo que podría generar un ranking de escuelas (que se discute cada tanto en nuestro país, con intentos por eliminar el artículo 97 de LEN) con estigmatización de alumnos o vaciamiento (y cierres) de escuelas. Pero volvamos a PISA.

El ranking de PISA nos hace perder de vista los contextos y los motivos de tal o cual puntaje de un país determinado. Es eso lo que no podemos ignorar. Las economías de los países son distintas y aún cuando sean similares, no lo son las coyunturas políticas, las desigualdades sociales o las diferencias culturales. 

Nos queda, por lo tanto, ver la comparabilidad de un mismo país en el tiempo. Pero aquí también hay varios inconvenientes. Los diarios argentinos hablaban de una leve mejora en Lectura, un descenso en Matemática y un estancamiento en Ciencias. Sin embargo, en un brillante hilo de Twitter, Axel Rivas (ver aquí) daba cuenta de las inconsistencias metodológicas entre cada edición de la prueba, de modo que no pueden considerarse válidas las comparaciones, al menos para los países latinoamericanos. 

Entonces, ¿para qué nos sirve PISA? ¿Es importante continuar siendo parte de los países evaluados? ¿Vale la pena el enorme gasto de dinero que implica esto en un contexto de dificultad económica como el que atravesamos? Me inclino a pensar que sí, que vale la pena, porque nos devuelve información de gran importancia sobre nuestro sistema educativo. 

En el caso de Lectura, por ejemplo, vemos que en nuestro sistema educativo hay una brecha muy grande según si el estudiante es repetidor o no, casi de 90 puntos (que es muchisimo) a favor de quienes nunca han repetido. ¿No nos dice esto algo acerca, no sólo de lo ineficaz sino además de lo contraproducente de la repitencia? 

Y por otra parte, se evidencia una relación directa entre los puntajes alcanzados en dicha área por los estudiantes y los niveles educativos de sus madres. Hay una diferencia de 85 puntos entre quienes tienen madres con nivel universitarios y quienes tienen madres sin escolarizar. ¿Entendemos por qué asegurar el acceso, la permanencia y el egreso en la educación obligatoria es tan importante? 

En Matemática y en Ciencias esas tendencias se repiten. Pero es interesante prestar atención, en dichas áreas, a las diferencias de resultados según género. Los varones obtuvieron en Matemática, unos 16 puntos por encima de lo obtenido por las mujeres. En Ciencias, unos 10 puntos. ¿Cuánto nos habla esto acerca de las expectativas volcadas en uno u otro género? ¿Cuánto hacemos para desterrar de las aulas y de las casas la idea aún instalada de que las ciencias duras son para los hombres? ¿No es esto producto del efecto Pigmalión o de la profecía autocumplida? 

Podríamos profundizar muchas otras cuestiones. Quedan pendientes los factores asociados, cuya riqueza es invaluable. No encontramos nada nuevo al observar las diferencias de resultados según nivel socioeconómico. Pero puede sorprender descubrir cómo la cantidad de libros en el hogar o contar con conexión internet pueden ser factores que proporcionen un entorno enriquecido para los aprendizajes. Por ejemplo, entre los estudiantes que no tienen computadora o acceso a internet, el 86,9% tuvo un desempeño en el nivel 1 o menor en Matemática; en cambio el 2 porcentaje es del 64,6% para quienes sí tienen. Esto, por supuesto, nos lleva directamente a pensar en las políticas socioeducativas llevadas a cabo (o no) por los distintos gobiernos. 

¿Qué hacer entonces para lograr más y mejores aprendizajes para todos nuestros estudiantes? Empecemos cumpliendo lo establecido en la Ley de Educación Nacional (Art. 9°) y aseguremos un 6% de inversión del PBI en educación. Consensuemos políticas públicas educativas entre todos los sectores y démosle continuidad en el mediano y largo plazo. Tenemos otros 3 años antes de un nuevo PISA Day que llene las tapas de los diarios hablando de educación. Seguramente no podamos ver resultados, pero al menos, una dirigencia política con un horizonte y en camino. 

Por Federico del Carpio 

Profesor y Licenciado en Ciencias de la Educación (UBA)

Miembro del equipo de Nueva Educación

Twitter || LinkedIn


Fuentes: ● Ministerio de Educación, Cultura, Ciencia y Tecnología (2019). Argentina en PISA 2018. Informe de resultados. Disponible en: https://bit.ly/2DO3fEY