Qué es el informe PISA y cómo interpretar sus resultados

• Este análisis trianual mide el estado de la educación en el mundo, identificando mejores prácticas 
• En España, PISA 2018 ha evaluado a cerca de 36.000 escolares de 1.102 colegios
• La complejidad de comparar países muy diferentes obliga a tener en cuenta los contextos sociales y económicos al analizar los resultados

En un mundo crecientemente digitalizado e interconectado, las aptitudes y capacidades digitales de la población se antojan esenciales para que los países puedan alcanzar todo su potencial. Elevarlas ha sido un objetivo clave de muchos gobiernos, lo que les ha llevado a prestar especial atención y a adaptar a sus contextos particulares las políticas y prácticas educativas más exitosas a nivel internacional.

Hasta finales de los años 90, las comparativas internacionales de los sistemas educativos se basaban fundamentalmente en medidas de los años de escolarización, que no ofrecían indicadores fiables ni sobre los conocimientos adquiridos por los alumnos, ni sobre qué podían hacer con ellos. Sin embargo, con el inicio del nuevo siglo la OCDE decidió dar una vuelta a este modelo. Así lanzó el informe PISA a través de su programa internacional para la evaluación de alumnos (Programme for International Student Assessment); un análisis trianual que, desde comienzos de siglo, sirve de referencia sobre el estado de la educación en el mundo, identificando mejores prácticas y ofreciendo el apoyo necesario para que otros países las puedan implementar.

En este sentido, PISA no es una herramienta estática, sino que ha evolucionado para tratar de adaptarse a las nuevas necesidades. No es casual, por ello, que uno de los principales focos de atención en los últimos años haya estado en el rol que la digitalización y las nuevas tecnologías han de jugar en las escuelas, así como su importancia en la vida fuera de ellas. La OCDE es perfectamente consciente de que aquellos ciudadanos sin una adecuada capacidad de navegar por el entorno digital tendrán serias dificultades para participar de forma plena en la vida social, económica y cultural, por lo que existe un gran riesgo de que los distintos niveles de acceso y uso de tecnología generen brechas entre y dentro de las distintas economías.

El informe PISA 2018

PISA 2018 es la séptima oleada del estudio desde que este se puso en marcha en el año 2000, inicialmente con 43 países. Si bien cada test de PISA evalúa los conocimientos de los alumnos en Lectura, Matemáticas y Ciencias, cada oleada presta especial atención a uno de los tres. En esta última edición, el foco ha recaído sobre la lectura en un entorno digital, definida como la capacidad de entender, usar, evaluar, reflexionar sobre e interactuar con textos para conseguir unos determinados objetivos, desarrollar conocimientos propios y participar en la sociedad. Adicionalmente, PISA 2018 ha recogido datos extensos sobre las actitudes y el bienestar de los alumnos.

Al igual que en oleadas previas, el estudio se ha centrado en las habilidades de estudiantes de entre 15 años y tres meses y 16 años y dos meses, que hayan completado al menos seis años de educación formal, independientemente del tipo de programa −académico o vocacional (FP)−, la titularidad pública o privada de sus escuelas, y de si los alumnos han repetido o no. La edad elegida, al final del período de educación obligatoria, no es casual, sino que trata de minimizar los efectos de la distinta naturaleza y extensión de la educación pre-primaria según el país, las distintas edades de inicio de la escolarización obligatoria, la estructura de los sistemas educativos y la prevalencia (o no) de la repetición de curso en los distintos países

En 2018, la OCDE ha examinado a una muestra representativa de 600.000 alumnos, cuyos resultados se extrapolan a 32 millones de estudiantes de 79 países, todos los de la OCDE y 40 estados no miembros. En España, por el interés que suscita el estudio a nivel regional y la contribución económica que aportan las distintas comunidades autónomas, se han examinado en 2018 cerca de 36.000 escolares de 1.102 colegios, frente a los 4.000-8.000 alumnos que típicamente se examinan en otros países.

Los principales mensajes de los resultados globales de la última edición del informe PISA son de estancamiento y de decepción occidental: a pesar de haber aumentado el gasto por estudiante en más de un 15% en los países de la OCDE durante la última década, la mayoría de los países occidentales no ha visto ninguna mejora sustancial en el rendimiento de sus estudiantes en ese tiempo. En Europa, los mejores resultados medios se han registrado en Estonia, Países Bajos, Polonia y Suiza

Resultado de los países de la OCDE en PISA 2018 vs. PIB per cápita

Fuente: Elaboración propia, basado en datos de la OCDE-PISA 2018.

Qué mide PISA y cómo

Como se ha comentado, PISA no es un test al uso: no pretende únicamente determinar si los estudiantes en edades cercanas a completar su educación obligatoria son capaces de reproducir lo que han aprendido, sino especialmente su capacidad de extrapolar lo que han aprendido, demostrar estrategias de aprendizaje efectivo y aplicar su conocimiento de forma creativa en contextos desconocidos. Así, el test evalúa la capacidad de los alumnos de explicar fenómenos, diseñar experimentos o identificar pruebas.

Algunos críticos del modelo aseguran que los tests de informe PISA son injustos, porque enfrentan a los estudiantes con problemas que no se han encontrado en la vida real. La OCDE, por su parte, alega que la vida es injusta, y que los problemas en la vida real no nos exigirán recordar lo aprendido en la escuela, sino que pondrán a prueba nuestra capacidad de resolver problemas que no podemos anticipar hoy.

PISA analiza tanto la dificultad de las preguntas como la capacidad de los alumnos de contestarlas en una escala continua. El objetivo es ubicar el nivel de competencia en cada materia que cada pregunta demanda, así como el nivel de cada alumno al responderla. A partir de ahí, las competencias de cada alumno se estiman en función del tipo de tareas que se espera que los alumnos sean capaces de resolver correctamente, de forma que un alumno probablemente responda adecuadamente preguntas situadas a su nivel o por debajo y no sea capaz de responder adecuadamente preguntas de una dificultad superior a su posición en la escala. Esto implica que la dificultad y la puntuación de las preguntas se establece a posteriori, una vez analizado cómo de difícil les ha resultado a los alumnos contestarlas.

Cómo se interpretan los resultados de PISA

El informe PISA no asigna notas al uso con las escalas habituales, sino que los resultados se establecen en relación a los resultados de todos los participantes. Teóricamente, no hay un resultado mínimo ni máximo, sino que los resultados se escalan siguiendo una distribución normal, con la media alrededor de los 500 puntos, y una desviación estándar de unos 100 puntos.

Aunque sintetiza los resultados en una métrica numérica, fácil de digerir, la OCDE recomienda no prestar demasiada atención a las diferencias pequeñas en puntuación (entre países, o en los resultados históricos de un determinado país) que probablemente no tengan ninguna implicación, aunque sean los datos que copen los grandes titulares (típicamente, desalentadores). Asimismo, ante la complejidad de comparar el rendimiento de los alumnos en un espectro amplio de países, la OCDE recomienda tener siempre en cuenta los contextos sociales y económicos a la hora de analizar los resultados.

Con todo, la mejor forma de entender los resultados globales de un país es a través de los resultados medios de sus estudiantes. Ningún ranking individual hace justicia a la cantidad de información que PISA ofrece, por lo que merece la pena recorrer los distintos ámbitos sobre los que el estudio ofrece información.