Estudios sobre la Economía Española - 2015/15 La maratón de PISA: La perseverancia como factor del éxito en una prueba de competencias*
Pau Balart Universidad Carlos III y UCL Economics
Antonio Cabrales Universidad Carlos III, UCL Economics y FEDEA
fedea
兴 El presente trabajo ha sido publicado como parte del volumen titulado Reflexiones sobre el sistema educativo español, coordinado por Mercedes Esteban y editado por la Fundación Ramón Areces y la Fundación Europea Sociedad y Educación y se reproduce aquí con el permiso de ambas Fundaciones. El volumen completo se puede descargar aquí: http://www.sociedadyeducacion.org/site/wp-content/uploads/Reflexiones-sobreelsistema- educativo-espanol.pdf
ÍNDICE
PRESENTACIÓN 7 RESUMEN EJECUTIVO 8 DOCUMENTO DE TRABAJO 13 SUMARIO 14 INTRODUCCIÓN 15 DATOS 21 EL DECAIMIENTO EN EL RENDIMIENTO 21 HABILIDADES COGNITIVAS Y NO COGNITIVAS 25 Habilidades no cognitivas 28 Habilidades cognitivas 33 OTROS FACTORES RELACIONADOS CON EL DECAIMIENTO DEL RENDIMIENTO 35 DIFERENCIAS ENTRE COMUNIDADES AUTÓNOMAS 38 CONCLUSIONES 44 REFERENCIAS 46
PRESENTACIÓN
Refl exiones sobre el sistema educativo español es el título de un proyecto que ha impulsado la Fundación Europea Sociedad y Educación a lo largo de más de dos años. Su objetivo es profundizar en las relaciones entre rendimiento educativo y crecimiento económico, desde dos perspectivas fundamentales: por una parte, la que vincula el desarrollo y la competitividad de una sociedad con medidas que inciden directa mente en la mejora y competencia del capital humano a través de la acción educativa; por otra, la que analiza el diseño de políticas educativas de éxito y sus efectos, a partir de evidencias procedentes de estudios comparados.
En el trabajo “La maratón de PISA: la perseverancia como factor del éxito en una prueba de competencias”, los profesores Pau Balart y Antonio Cabrales aportan un estudio más exhaustivo de los factores que infl uyen en el decaimiento del rendimiento de los estudiantes españoles. Este documento forma parte de una obra colectiva publicada en 2015 por las fundaciones Areces y Europea Sociedad y Educación, en la que un grupo de expertos, especializados en economía de la educación, aborda aspectos clave de las políticas educativas y sus efectos en el logro escolar.
Este proyecto, dirigido por la Fundación Europea Sociedad y Educación, y que ha contado con el apoyo de la Fundación Ramón Areces, pretende ofrecer algunas bases para una fundamentada refl exión sobre nuestro sistema educativo, apoyada en los resultados de la investigación y en la evidencia empírica, y dirigida tanto al lector no especialista como a los responsables de la toma de decisiones y a los profesionales de la educación.
Reconociendo y poniendo en valor los logros alcanzados, cada uno de los trabajos refl eja un compromiso por la mejora de la educación en España y procura, desde su propia perspectiva de análisis, responder a una serie de cuestiones básicas que marquen el rumbo de reformas duraderas y estables en nuestro sistema educativo: ¿qué tipo de educación y qué tipo de competencias predicen un crecimiento sostenible y una más equitativa distribución de oportunidades para el capital humano de nuestro país?, ¿qué tipo de reformas educativas resultan exitosas y responden mejor a los desafíos que plantea hoy la educación?, ¿qué factores de contexto deben ser tenidos en cuenta para implantar políticas educativas que redunden en el desarrollo y competitividad de la sociedad española?
FUNDACIÓN EUROPEA SOCIEDAD Y EDUCACIÓN EUROPEAN FOUNDATION SOCIETY AND EDUCATION
RESUMEN EJECUTIVO
Este resumen destaca las ideas principales que desarrollan los economistas Pau Balart y Antonio Cabrales en el trabajo La maratón de PISA: la perseverancia como factor del éxito en una prueba de competencias, que se integra en el proyecto Refl exiones sobre el sistema educativo español, promovido por la Fundación Europea Sociedad y Educación. Se ha publicado en 2015 como parte de una obra colectiva y cuenta con el patrocinio de la Fundación Ramón Areces.
PUNTO DE PARTIDA
La adquisición de conocimientos y habilidades cognitivas juega un papel fundamental en el desarrollo personal y profesional de los individuos. Además, tal y como muestran Hanushek y Woessmann (2011 y 2012), unos buenos resultados en pruebas estandarizadas de competencias, como el Programme for International Student Assessment (PISA), están asociados positivamente en el crecimiento económico a largo plazo de los países.
Se entienden como habilidades cognitivas aquellos conocimientos evaluados en las pruebas de competencias como la habilidad lectora o los conocimientos en ciencias y matemáticas de los estudiantes. En cambio, las habilidades no cognitivas, se refi eren a aspectos relacionados con la personalidad de los estudiantes, como su motivación intrínseca o perseverancia.
NO TODO SON CONOCIMIENTOS
Existe una creciente atención sobre la importancia de la personalidad y las habilidades no cognitivas en el futuro personal y profesional de los estudiantes, véase entre otros Levin (2012). Estudios recientes relacionan ciertos rasgos de la personalidad con unos mejores resultados académicos, laborales o de salud. Dada la no observabilidad directa de las habilidades cognitivas y no cognitivas, existe un complejo problema de identifi cación que constituye el principal obstáculo en este campo de investigación.
Existen sin embargo, algunas estrategias para intentar diferenciar las habilidades cognitivas de las no cognitivas. Como apuntan Borghans y Schils (2012), en pruebas estandarizadas como PISA, generalmente los estudiantes responden peor las últimas preguntas que las primeras. En la Figura 1 se puede apreciar este fenó- meno usando la muestra española de la prueba PISA 2009. Tal y como refl eja el grá- fi co, el porcentaje de respuestas correctas va disminuyendo a medida que avanza la prueba (la línea discontinua muestra el porcentaje de acierto en cada pregunta según la posición que ocupa medida en percentiles, mientras que la línea continua muestra la tendencia de estos datos). Borghans y Schils llaman a este fenómeno el decaimiento en el rendimiento y muestran como su correlación con el resultado de la prueba es baja. Esta baja correlación indica que el decaimiento del rendimiento no está relacionado con las habilidades en lectura, ciencias o matemáticas evalua das en el test. Intuitivamente, dado que los conocimientos adquiridos por los estu diantes no son susceptibles de variar durante el desarrollo de la prueba estos ejercen una escasa infl uencia sobre el decaimiento. En cambio, otras cualidades como la motivación intrínseca, la perseverancia o la concentración son susceptibles de manifestarse a través de un mayor decaimiento. Dada la baja correlación entre el decaimiento en el rendimiento y las habilidades puramente cognitivas, Borghans y Schils (2012) vinculan el decaimiento en el rendimiento a la infl uencia de las habi lidades no cognitivas y muestran como el decaimiento está correlacionado con al gunas medidas de la personalidad. También muestran que el decaimiento del ren dimiento tiene poder explicativo sobre indicadores futuros de desarrollo personal y profesional de los individuos. Al mismo tiempo, dado que al inicio de la prueba no existe decaimiento, los autores utilizan el resultado en las primeras preguntas del test como una medida de las competencias de los individuos menos infl uencia da por las habilidades no cognitivas.
FIGURA 1. PORCENTAJE DE RESPUESTAS CORRECTAS DE LOS ESTUDIANTES A MEDIDA QUE AVANZA LA PRUEBA PISA. ELABORACIÓN PROPIA A PARTIR DE LOS MICRODATOS DE LA MUESTRA ESPAÑOLA PISA 2009

Mediante este procedimiento, Borghans y Schils ofrecen una comparativa internacional del rendimiento en el decaimiento. Según sus resultados, España es uno de los países de la OECD donde los estudiantes experimentan un mayor decaimiento en el rendimiento. Al mismo tiempo estos autores, construyen una medida del re sultado PISA de los distintos países corregida por el impacto del decaimiento en el rendimiento. Teniendo en cuenta esta medida, España obtiene unos resultados no tablemente mejores a los habituales en esta prueba. A la vista de esta comparativa, el decaimiento en el rendimiento es un elemento importante en los malos resultados cosechados habitualmente por España en la prueba PISA. Así, el mal rendimiento medio de los estudiantes españoles en PISA podría ser consecuencia de carencias no cognitivas en lugar de unas malas competencias en lectura, ciencia o matemáticas.
APROXIMACIÓN A FACTORES EXPLICATIVOS DEL DECAIMIENTO DEL RENDIMIENTO EN ESPAÑA
El principal objetivo de este trabajo es proporcionar un estudio más exhaustivo de los factores que infl uyen en el decaimiento del rendimiento de los estudiantes españoles siguiendo una metodología similar a la empleada por Borghans y Schils (2012). Se aprecia que la diferencia en el porcentaje de respuestas correctas de los estudiantes al principio y al fi nal de la prueba PISA es de 10 puntos porcentuales, una diferencia parecida a la diferencia en el porcentaje de respuestas correctas exis tente entre España y uno de los países con mejores resultados PISA como Finlandia. Balart y Cabrales estudian el decaimiento del rendimiento de los estudiantes espa ñoles en la prueba PISA 2009 con tres objetivos: i) Determinar qué características personales y familiares afectan el decaimiento en el rendimiento y las habilidades no cognitivas. ii) Llevar a cabo una primera aproximación sobre la incidencia que pueden tener algunas decisiones en política educativa sobre las habilidades no cog nitivas y iii) estudiar si existen diferencias relevantes en el decaimiento en el ren dimiento de los estudiantes de las distintas comunidades autónomas y ver si esto contribuye a explicar las notables disparidades en los resultados PISA que se observan entre autonomías.
El presente estudio muestra que muchas de las variables que afectan al resultado en las pruebas PISA de los estudiantes no afectan necesariamente el decaimiento de su rendimiento, como por ejemplo las interrupciones en clase, el mes de nacimiento, el número de libros en casa o cursar más de un año de educación infantil. Por otro lado, el estatus socioeconómico de los estudiantes incide positivamente tanto en la puntuación de los estudiantes al inicio de la prueba como en experimentar un menor decaimiento de su rendimiento, aunque su infl uencia es mucho menor en el decaimiento que en el resultado al principio de la prueba. En cambio ser chica o hacer el test en lengua materna afecta el resultado de los estudiantes, principalmente como consecuencia de un menor decaimiento del rendimiento.
APUNTANDO LÍNEAS DE ACTUACIÓN
Haciendo una evaluación preliminar que requerirá de investigación futura se analiza el efecto de características susceptibles de ser modifi cadas a través de la política educativa. Así, el gusto por la lectura está correlacionado con un menor decaimiento en el rendimiento. Esto sugiere que el fomento de la lectura podría ser una buena medida contra el elevado decaimiento en el resultado de los estudiantes. En segun do lugar, una mayor proporción de chicas reduce el decaimiento en el rendimien to experimentado por los chicos. Este resultado sugiere que parte de los efectos de pares positivos documentados en la literatura que reciben los chicos mediante la coeducación (Lavy y Schlosser, 2011; Ciccone y García-Fontes, 2013) se transmiten a través de las habilidades no cognitivas.
Por otro lado, debido al problema de endogeneidad existente entre el tamaño del grupo y el resultado de los estudiantes, este estudio no permite extraer conclusiones claras sobre el efecto de la ratio alumnos-profesor sobre el decaimiento del rendimiento.
El uso de tecnologías de la información, parece tener un efecto negativo sobre el decaimiento en el resultado, lo cual va en la línea de algunas advertencias recientes sobre los posibles problemas de atención que podría provocar un (mal) uso de la tecnología. En este sentido, sería conveniente tener en cuenta los efectos sobre el rendimiento en el decaimiento a la hora de evaluar la efectividad de programas como “Escuela 2.0” llevado a cabo entre los años 2009 y 2011.
Finalmente se puede apreciar la existencia de diferencias en el decaimiento del rendimiento en las distintas comunidades autónomas. Sin embargo estas diferencias se explican completamente por las diferencias en la composición por características personales de sus estudiantes. De este modo, el alto nivel de decaimiento en el rendimiento es un problema generalizado en el conjunto del país que deberá ser tenido en cuenta para conseguir el objetivo de mejorar el rendimiento educativo del alumnado español.
PAU BALART
ANTONIO CABRALES
SUMARIO
Existe una creciente atención sobre la importancia de la personalidad y las habilidades no cognitivas en el futuro personal y profesional de los estudiantes. Estudios recientes relacionan ciertos rasgos de la personalidad con unos mejores resultados académicos, laborales o de salud. Dada la no observabilidad directa de las habilidades cognitivas y no cognitivas, existe un complejo problema de identifi cación que constituye el principal obstáculo en este campo de investigación.
Encontramos, sin embargo, algunas estrategias para intentar diferenciar las habilidades cognitivas de las no cognitivas. Como apuntan Borghans y Schils (2012), en pruebas estandarizadas como PISA, generalmente los estudiantes responden peor las últimas preguntas que las primeras. Este decaimiento del rendimiento, no está relacionado con las competencias evaluadas en la prueba y se usa como una medida de la perseverancia de los estudiantes o de otras habilidades no cognitivas. España es uno de los países donde los
estudiantes presentan un mayor decaimiento del rendimiento. La diferencia en el porcentaje de respuestas correctas entre la fase inicial y fi nal de la prueba es parecida a la diferencia en el porcentaje de respuestas correctas entre España y Finlandia, uno de los países con mejores resultados PISA.
En el presente capítulo se estudia el decaimiento del rendimiento de los estudiantes españoles en la prueba PISA 2009 con tres objetivos: I) Determinar qué características personales y familiares afectan el decaimiento en el rendimiento y las habilidades no cognitivas. II) Llevar a cabo una primera aproximación sobre la incidencia que pueden tener algunas decisiones en política educativa sobre las habilidades no cognitivas, y III) estudiar si existen diferencias relevantes en el decaimiento en el rendimiento de los estudiantes de las distintas comunidades autónomas y ver si esto contribuye a explicar las notables disparidades en los resultados PISA que se observan entre autonomías.
INTRODUCCIÓN
La adquisición de conocimientos juega un papel fundamental tanto en el desarrollo personal como profesional de los individuos. Además, tal y como muestran Hanushek y Woessmann (2011 y 2012), unos buenos resultados en pruebas estandarizadas de competencias, como es el Programme for International Student Assessment (PISA), infl uyen positivamente en el crecimiento económico a largo plazo de los países.
Al mismo tiempo, hay una creciente atención en entender qué miden exactamente las pruebas internacionales de competencias como PISA y los test de inteligencia. Tal y como plantean Duckworth et al. (2009), Eklöf (2007) o Segal (2011), el rendimiento de los estudiantes medido a partir de este tipo de pruebas refl eja tanto sus habilidades cognitivas como no cognitivas. Se entiende por habilidades cognitivas aquellos conocimientos evaluados en pruebas de competencias como la habilidad lectora o los conocimientos en ciencias y matemáticas de los estudiantes. En cambio, las habilidades no cognitivas, se refi eren a aspectos relacionados con la personalidad de los estudiantes, como por ejemplo su motivación intrínseca o su perseverancia. Rosen et al. (2010) ofrecen una clasifi cación de estas habilidades no cognitivas. Algunos estudios recientes señalan que las habilidades no cognitivas pueden resultar tan importantes como las cognitivas para el futuro personal y profesional de los estudiantes, véase Heckman et al. (2006) o Levin (2012) entre otros. El trabajo de Almlund et al. (2010) contiene una revisión exhaustiva de la evidencia sobre la relación entre la personalidad y las habilidades no cognitivas, así como sobre la importancia de estas en el desarrollo futuro de los individuos. Dada la no observabilidad directa de las habilidades cognitivas y no cognitivas, existe un complejo problema de identifi cación. Este problema de identifi cación constituye el principal obstáculo en este campo de investigación.
FIGURA 1 . PORCENTAJE DE RESPUESTAS CORRECTAS DE LOS ESTUDIANTES A MEDIDA QUE AVANZA LA PRUEBA PISA. ELABORACIÓN PROPIA A PARTIR DE LOS MICRODATOS DE LA MUESTRA ESPAÑOLA PISA 2009

Existen sin embargo, algunas estrategias para intentar diferenciar las habilidades cognitivas de las no cognitivas. Como apuntan Borghans y Schils (2012), en pruebas estandarizadas como PISA, generalmente los estudiantes responden peor las últimas preguntas que las primeras. En la Figura 1 se puede apreciar este fenómeno usando la muestra española de la prueba PISA 2009. Tal y como refl eja el gráfi co, el porcentaje de respuestas correctas va disminuyendo a medida que avanza la prueba (la línea discontinua muestra el porcentaje de acierto en cada pregunta según la posición que ocupa medida en percentiles, mientras que la línea continua muestra la tendencia de estos datos). Borghans y Schils llaman a este fenómeno el decaimiento en el rendimiento y muestran como su correlación con el resultado de la prueba es baja. Esta baja correlación indica que el decaimiento del rendimiento no está relacionado con las habilidades en lectura, ciencias o matemáticas evaluadas en el test. Intuitivamente, dado que los conocimientos adquiridos por los estudiantes no son susceptibles de variar durante el desarrollo de la prueba, estos ejercerán una escasa infl uencia sobre el decaimiento. En cambio, otras cualidades como la motivación, la perseverancia o la concentración, son susceptibles de manifestarse a través de un mayor decaimiento. Dada la baja correlación entre el decaimiento en el rendimiento y las habilidades puramente cognitivas, Borghans y Schils (2012) vinculan el decaimiento en el rendimiento a la infl uencia de las habilidades no cognitivas y muestran como estas medidas ejercen un efecto positivo sobre indicadores futuros del desarrollo personal y profesional de los individuos. Al mismo tiempo, dado que al inicio de la prueba no existe decaimiento, los autores utilizan el resultado al principio de la prueba como una medida de las competencias de los individuos menos infl uenciada por las habilidades no cognitivas.
Borghans y Schils (2012) calculan el decaimiento en el rendimiento que experimentan los estudiantes en las pruebas PISA 2006 y lo usan como medida de las habilidades no cognitivas. Estos autores explotan que el diseño de la prueba PISA sitúa las preguntas en distintas posiciones en cada versión del test donde aparece. En su trabajo estiman una regresión donde la variable dependiente es la puntuación de cada estudiante en cada una de las preguntas y la variable explicativa la posición relativa de la pregunta en la versión de la prueba del estudiante en cuestión. Este procedimiento, permite usar el coefi ciente de la posición relativa de la pregunta como una medida del decaimiento. En particular, informa de cuanto peor se responde una pregunta a medida que esta ocupa una posición más avanzada en el test.
Mediante este procedimiento, estos autores ofrecen una comparativa internacional del decaimiento del rendimiento. Según sus resultados, España es uno de los países de la OCDE dónde los estudiantes experimentan un mayor decaimiento del resultado. Al mismo tiempo, estos autores proporcionan una medida del resultado PISA de los distintos países corregida por el impacto del decaimiento en el rendimiento. Teniendo en cuenta esta medida, España obtiene unos resultados notablemente mejores a los habituales en esta prueba. A la vista de esta comparativa, el decaimiento en el rendimiento podría ser un elemento importante en los malos resultados cosechados habitualmente por España en la prueba PISA y una posible vía de mejora. Así, el mal rendimiento medio de los estudiantes españoles en PISA podría ser sobre todo consecuencia de una cierta carencia en habilidades no cog nitivas relacionadas con la perseverancia y la constancia. El principal objetivo de este capítulo será proporcionar un estudio más exhaustivo de los factores que infl uyen en el decaimiento del rendimiento. Esto permitirá una primera aproximación a la distinción entre el efecto que las decisiones en política educativa pueden tener bien a nivel cognitivo o bien a nivel no cognitivo. Este enfoque también permitirá estudiar si existen diferencias relevantes en las habilidades no cognitivas de los estudiantes de las distintas comunidades autónomas y en qué medida estas habilidades no cognitivas permiten explicar las notables disparidades entre los resultados PISA de las comunidades autónomas, Villar (2012).
A diferencia de Borghans y Schils (2012) el presente estudio incluirá en la estimación la interacción de la posición relativa de cada pregunta con las características personales, familiares y del centro docente de los estudiantes. Esto, permitirá ver qué características son susceptibles de afectar el rendimiento de los estudiantes y distinguir si este efecto ocurre a través de habilidades cognitivas o no cognitivas. Además, se propone un segundo método para calcular el decaimiento basado en un enfoque individualizado para cada estudiante. Esto sirve para añadir robustez a los resultados.
Este análisis aporta novedades interesantes acerca del canal de infl uencia de algunas de las características personales y familiares que afectan el resultado de los estudiantes. En primer lugar se observa que el sexo, resulta muy importante a la hora de explicar el decaimiento en el rendimiento. En particular, las chicas experimentan un menor decaimiento que los chicos. Esto les lleva a obtener mejores resultados en la prueba PISA 2009 a pesar de obtener los mismos resultados que los chicos al principio del test1. En cambio, una situación socioeconómica favorable, afecta positivamente el rendimiento de los estudiantes desde el inicio de la prueba y aunque también mitiga el decaimiento, este efecto marginal es muy inferior a su efecto inicial en el resultado. Existen también algunas variables como el mes de nacimiento, recibir más de un año de educación infantil o convivir con ambos progenitores que afectan únicamente el resultado al principio de la prueba pero no el decaimiento. Finalmente, otras variables como las interrupciones en clase, el número de libros que hay en casa o ser inmigrante podrían estar infl uenciando tanto el decaimiento como el resultado al principio de la prueba, no obstante estas infl uencias no son robustas a las distintas especifi caciones del modelo.
El menor decaimiento en el rendimiento experimentado por las chicas sugiere la existencia de diferencias no cognitivas entre ambos sexos cuya repercusión hace a las chicas más competentes a la hora de llevar a cabo una actividad intelectual continuada como la prueba PISA. Hay estudios anteriores que mediante procedimientos muy distintos apuntan a la existencia de diferencias en las habilidades no cognitivas procedentes del sexo, véase Cornwell et al. (2013) o Duckworth y Seligman (2006).
1. PISA 2009 contiene una proporción parecida de preguntas en habilidad lectora (53,4%) y matemá- tica o ciencias (46,6%). Además estas proporciones sufren pocas variaciones a lo largo de la prueba. Dado que las chicas tradicionalmente superan a los chicos en comprensión lectora y los chicos superan a las chicas en matemáticas y ciencias (Cornwell et al. 2013), estos efectos explican los resul tados en el inicio del test. En cambio, esta distribución equitativa entre preguntas en comprensión lectora y las demás no es sufi ciente para proporcionar resultados parecidos entre chicos y chicas una vez se tiene en cuenta el decaimiento en el rendimiento. Se incluyen pruebas de robustez teniendo en cuenta solo preguntas que no sean sobre comprensión lectora en la última sección de este capítulo.
El menor decaimiento en el rendimiento de las chicas puede tener implicaciones directas sobre algunas decisiones de política educativa referentes a la coeducación. Tal y como muestran Lavy y Schlosser (2011) o Ciccone y García-Fontes (2013) para el caso de España, existe un efecto de pares de género positivo y signi fi cativo de la chicas hacia los chicos, es decir la presencia de una mayor proporción de chicas infl uye positivamente sobre los resultados académicos de los chicos sin existir ningún efecto negativo en la otra dirección. Dada la diferencia entre las habilidades no cognitivas de chicos y chicas y estos efectos de pares, convendrá llevar a cabo más investigación sobre si los efectos de pares se producen como consecuencia de la transmisión de habilidades cognitivas o no cognitivas. Aunque de forma bastante preliminar, el presente estudio apunta en esta dirección al observar que una mayor proporción de chicas reduce el decaimiento en el rendimiento de los chicos. Esto añade nuevos argumentos a considerar en el debate de la coeducación de chicos y chicas.
Dado que tan solo el sexo, hacer la prueba en lengua materna y el estatus socioeconómico parecen tener un efecto importante en el decaimiento, se ampliarán los datos incluyendo otras características de los estudiantes y los datos referentes a las características de los centros educativos. Al hacer esto, se debe tener en cuenta, tal y como se explica en el trabajo que aporta a este proyecto Jorge Calero y Oriol Escardíbul2, que la composición anidada de los datos PISA requeriría el uso de un modelo multinivel para tener resultados más concluyentes sobre el efecto de las variables referentes al centro educativo. Por lo tanto, la inclusión de las variables de los centros deberá ser tomada con cierta precaución y como una primera aproximación de sus consecuencias sobre las habilidades no cognitivas de los estudiantes españoles. En esta versión ampliada de los modelos se observa que la mayoría de las variables consideradas no tienen ningún efecto sobre el decaimiento en el rendimiento. Sin embargo, se aprecia como el gusto por la lectura resulta clave a la hora de explicar el decaimiento en el resultado. Este resultado sugiere la importancia del fomento de la lectura como vía para reducir el decaimiento en el rendimiento de los estudiantes españoles. Sin embargo conviene ser cautelosos y mencionar la necesidad de un estudio más detallado de esta relación. En particular, existe un potencial problema de endogeneidad entre estas variables. Ciertas habilidades no cognitivas, responsables de que algunos estudiantes experimenten un menor decaimiento en el rendimiento, podrían ser también responsables de su mayor apego a la lectura y no al revés. Una buena relación entre alumno y profesor también está asociada a menores niveles de decaimiento.
2. CALERO J. y ESCARDÍBUL J.O. “Resultados escolares y resultados de la educación”, trabajo que forma parte del proyecto Refl exiones sobre el sistema educativo español, publicado como Documento de Trabajo y que se reunirá en una obra colectiva en 2015. Fundación Europea Sociedad y Educación. Madrid. 2014.
Este análisis no permite extraer conclusiones sobre el efecto que el número de estudiantes por profesor tiene sobre el decaimiento. Una mala interpretación de los resultados podría concluir que un mayor número de estudiantes reduce el decaimiento del rendimiento. Sin embargo, la endogeneidad entre el rendimiento del estudiante y el tamaño del grupo que se le asigna será en gran medida el causante de este efecto.
Finalmente, algunas variables ofrecen resultados un tanto sorprendentes y que requerirán de más investigación como son el hecho que la existencia de un equipo deportivo del centro o un mayor uso de tecnologías de la información repercuten en un mayor decaimiento del rendimiento.
Tal y como se explica en el trabajo coordinado por Villar (2012) existen notables disparidades en el resultado PISA de las diferentes comunidades autónomas. En el presente capítulo, se puede apreciar cómo estas diferencias también existen tanto al principio de la prueba (habilidades cognitivas) como en el decaimiento (habilidades no cognitivas). El decaimiento en el rendimiento explica las diferencias entre algunas comunidades con resultados similares al inicio de la prueba. Por ejemplo, Castilla y León tiene un resultado al principio de la prueba similar al de País Vasco, Asturias y Navarra. Sin embargo, su resultado en el global de la prueba es signifi cativamente mejor que el de estas comunidades, gracias a un menor decaimiento en el resultado. Para poder considerar si estas diferencias en el decaimiento pueden ser consecuencia de características específi cas de las distintas comunidades, se debe tener en cuenta las diferencias en el decaimiento después de controlar por las características de los estudiantes. Al hacer esto, las diferencias en el decaimiento de las distintas regiones no resultan signifi cativas y por lo tanto se explican completamente a partir de las características observables de su población de estudiantes. Por lo tanto, el problema del decaimiento en el rendimiento de los estudiantes españoles es un problema generalizado y susceptible de mejora en el conjunto del país.
DATOS3
En 2009 la prueba PISA incluía 189 preguntas distintas (ítems), de las cuales 35 evaluaban competencias en matemáticas, 101 en comprensión lectora y 53 en ciencias4. Los ítems se agrupaban en 3 grupos (clústeres) en el caso de matemáticas y ciencias y en 7 para el caso de la comprensión lectora.
El diseño de la prueba emplea un sistema de rotación de los clústeres que da lugar a 13 versiones distintas de la prueba (“booklets”). El sistema de rotación funciona de manera que cada clúster aparece en cuatro “booklets” distintos y cada par de clústeres coincide en un sólo “booklet”. En consecuencia, cada pregunta ocupa distintas posiciones en cada uno de los cuatro “booklets” en los que aparece. Véase OCDE (2012), para una explicación más detallada del sistema de rotación de las preguntas.
Los códigos PISA contienen información detallada sobre la posición de cada una de las preguntas en cada “booklet”. Al mismo tiempo, los microdatos de PISA incluyen información sobre la puntuación del estudiante en cada pregunta. Siguiendo la metodología propuesta por Borghans y Schils (2012), en este estudio se explota esta información y el orden aleatorio de las preguntas que emerge del diseño rotativo de los “booklets” para calcular el decaimiento en el rendimiento.
EL DECAIMIENTO EN EL RENDIMIENTO
Los estudios internacionales de evaluación de competencias educativas como PISA han propiciado la aparición de multitud de estudios analizando los condicionantes y las consecuencias de sus resultados. Un fenómeno menos estudiado y conocido, que se observa a partir de un estudio de los datos PISA pregunta a pregunta, es el progresivo decaimiento del resultado a medida que avanza la prueba, tal y como documentan Borghans y Schils (2012). Como se observaba en la Figura 1, el porcentaje medio de respuestas correctas de los estudiantes españoles disminuye conforme aumenta el porcentaje de test completado. La línea discontinua muestra el porcentaje de respuestas correctas en cada uno de los cuantiles de orden cinco de la prueba. Aunque con oscilaciones, se aprecia una tendencia a una disminución en el porcentaje de respuestas correctas a medida que se consideran cuantiles más avanzados. La línea continua muestra esta tendencia de forma suavizada mediante el porcentaje de respuestas correctas acumulado a medida que avanza la prueba.
3. Para el desarrollo del presente estudio se han utilizado los microdatos de la muestra española de PISA 2009. Véase el trabajo mencionado de los profesores Calero y Escardíbul para una descripción general de estos datos.
4. En este estudio no se han incluido las preguntas de actitud lectora.
Al fi jarse en la diferencia entre el porcentaje medio de respuestas correctas acumuladas al principio del test y al fi nal, se observa que este varía en casi 9 puntos porcentuales desde un 62,76% al inicio de la prueba hasta un 53,82% al fi nal de la misma. Esta diferencia es considerablemente mayor, llegando hasta los 16 puntos porcentuales si, por ejemplo, se compara el resultado al inicio del test con el resultado en el 15% fi nal del test.
A la hora de interpretar estas variaciones conviene tener en cuenta la imposibilidad de establecer una relación directa entre el porcentaje de respuestas correctas y la puntuación en las pruebas PISA por dos motivos. En primer lugar, porque los resultados PISA, a diferencia del presente estudio proporcionan resultados por disciplina, separando entre matemáticas, lectura y ciencias. En segundo lugar, para estimar los resultados PISA se usa una ponderación basada en la teoría de la respuesta cognitiva, véase OCDE (2012)5. Aun así, la comparación entre países permite tener una idea aproximada de la magnitud del decaimiento. Al comparar el porcentaje total de respuestas correctas de España con el de uno de los países “top” de PISA como es Finlandia, se aprecia como la diferencia entre el porcentaje de respuestas correctas entre ambos países es de casi 10 puntos (53,8% de España por el 63,7% de Finlandia). Esta diferencia es similar a la que se observa en España al comparar el porcentaje de respuestas correctas al inicio del test con el porcentaje de respuestas correctas con el test completo.
Como se ha mencionado en la sección anterior, el diseño de las pruebas PISA, ordena cada una de las preguntas en cuatro posiciones diferentes en las distintas versiones del test. Por lo tanto, una misma pregunta aparecerá tanto en posiciones avanzadas como en otras más retrasadas. Este hecho permite ver que una misma pregunta presenta un menor porcentaje de acierto a medida que ocupa una posición más avanzada en el test. Por lo tanto no se puede atribuir el decaimiento en el resultado a un aumento progresivo en la difi cultad de la prueba. También es importante señalar que a la hora de calcular el porcentaje de respuestas correctas, se ha diferenciado entre preguntas no alcanzadas y preguntas incorrectas o saltadas. Las preguntas no alcanzadas se han tratado como valores no observados, por lo tanto el decaimiento antes mostrado no captura las preguntas no respondidas por falta de tiempo.
5. La nota fi nal de PISA usa la teoría del ítem cognitivo para crear una serie de valores plausibles para cada una de las competencias evaluadas. No obstante la correlación entre cada uno de los valores plausibles subministrados por PISA y el porcentaje se respuestas correctas es alta (entre el 83,68% y el 88,99%).
Por lo tanto, dado el diseño de las pruebas PISA y el método empleado en el cál culo de las respuestas correctas cabrá atribuir el decaimiento a lo largo de la prueba a características del individuo que realiza la prueba.
Se pueden considerar distintas medidas del decaimiento en el rendimiento. La primera consiste en la diferencia entre el porcentaje fi nal (con todo el test completado) de respuestas correctas por estudiante y el porcentaje de respuestas correctas en el x% inicial de la prueba, con x=0, 5, 10, 20.
Esta medida infravalorará el decaimiento de aquellos estudiantes que obtienen un muy mal resultado en el test, dado que un mal resultado desde el principio impide que este decaiga. Usando una analogía se diría que cuando algo está en el suelo ya no puede caer. Por esta razón se considerará también en la tasa de decaimiento entre el porcentaje de respuestas correctas en el total de la prueba y al principio (en negativo para facilitar la explicación de los resultados).
TABLA 1. DECAIMIENTO EN EL RENDIMIENTO COMPARANDO EL X% INICIAL DEL TEST CON EL TOTAL DEL TEST COMPLETADO
DIFERENCIA
| % COMPLETADO | MEDIA | INTERVALO DE CONFIANZA | CORREL. CON $P_i$ | |
| 0% | -0,0956533 | -0,1035384 | -0,0877682 | 0,0673 |
| 5% | -0,0840773 | -0,0884325 | -0,0797221 | 0,0007 |
| 10% | -0,0519616 | -0,0550595 | -0,0488637 | 0,0817 |
| 20% | -0,0378367 | -0,0400922 | -0,0355812 | 0,0589 |
| % COMPLETADO | MEDIA | INTERVALO DE CONFIANZA | CORREL. CON $P_i$ | |
| 0% | -0,2401337 | -0,2619205 | -0,2183469 | 0,1366 |
| 5% | -0,1824903 | -0,1942387 | -0,1707419 | 0,1009 |
| 10% | -0,127982 | -0,1362 | -0,1197641 | 0,1727 |
| 20% | -0,0896271 | -0,0953788 | -0,0838753 | 0,1517 |
La Tabla 1 muestra las medidas propuestas de decaimiento y su correlación con el porcentaje de respuestas correctas en la prueba PISA denotada con P . Se observa como todas las medidas del decaimiento son signifi cativamente negativas y presentan una correlación muy baja con la puntuación en la prueba.
Aunque medir el decaimiento en tasas evita el posible problema de subestimar el decaimiento de los estudiantes con muy malos resultados, no informa del tamaño del decaimiento en el rendimiento. En cambio, la medida en diferencias sí permite esta interpretación. Una diferencia de 10 puntos en el porcentaje de respuestas correctas, como ocurre en el caso de España si se considera la diferencia entre la primera pregunta y el resto de la prueba, es parecido a la diferencia en el porcentaje de respuestas correctas existente entre España y Finlandia.
En consonancia con la Figura 1, se observa como el decaimiento en el rendimiento resulta menos importante a medida que aumenta la proporción inicial del test usada para calcular el decaimiento. De este modo, el porcentaje de respuestas correctas es casi 10 puntos porcentuales mayor cuando solo se tiene en cuenta la primera pregunta o 8,4 puntos si se considera el 5% inicial de las preguntas.
Finalmente se pueden considerar medidas más pronunciadas del decaimiento, comparando el x% inicial del test con el y% fi nal. Para evitar demasiadas combinaciones se ha tenido en cuenta: x= 5,10 e y=70, 50, 20.
TABLA 2. DECAIMIENTO EN EL RENDIMIENTO COMPARANDO EL RESULTADO EN EL X% INICIAL CON EL Y% FINAL DEL TEST
| X%-Y% | MEDIA | INTERVALO DE CONFIANZA | CORREL. CON $P_i$ | |
| 5%-70% | -0,10407 | -0,1088071 | -0,09934 | 0,0224 |
| 10%-70% | -0,07195 | -0,0756111- | -0,06829 | 0,0978 |
| 5%-50% | -0,11358 | -0,118445 | -0,10871 | 0,0257 |
| 10%-50% | -0,08139 | -0,0851631 | -0,07762 | 0,1003 |
| 5%-20% | -0,14366 | -0,1490757 | -0,13825 | 0,0166 |
| 10%-20% | -0,11081 | -0,1151632 | -0,10645 | 0,0793 |
| X%-Y% | MEDIA | INTERVALO DE CONFIANZA | CORREL. CON $P_i$ | |
| 5%-70% | -0,32017 | -0,3376335 | -0,3027133 | 0,1853 |
| 10%-70% | -0,26760 | -0,282036 | -0,2531833 | 0,2465 |
| 5%-50% | -0,39269 | -0,4138579 | -0,3715316 | 0,1907 |
| 10%-50% | -0,32614 | -0,3428191 | -0,3094684 | 0,2465 |
| 5%-20% | -0,31064 | -0,3245231 | -0,2967668 | 0,1519 |
| 10%-20% | -0,25530 | -0,2663269 | -0,244286 | 0,2139 |
La Tabla 2 proporciona medidas del decaimiento y su correlación con el porcentaje de respuestas correctas en la prueba PISA mediante una comparación de las respuestas correctas en la parte fi nal e inicial de la prueba. En este caso se obtienen mayores medidas del decaimiento que en la Tabla 1, superando en varios casos los 10 puntos de diferencia. El tamaño del decaimiento es siempre mayor al considerar un menor porcentaje tanto inicial como fi nal de la prueba. Se puede ver como la correlación con la puntuación es baja, especialmente cuando se tienen en cuenta las diferencias.
Dada la baja correlación entre la puntuación (medida como porcentaje de respuestas correctas) y el decaimiento en el rendimiento, éste último no se explica por aquellas habilidades cognitivas de los estudiantes evaluadas en el test (matemáticas, ciencias y comprensión lectora). Intuitivamente, el conocimiento de los estudiantes no cambia durante el test, por lo tanto el decaimiento en el resultado debe estar relacionado con otras habilidades como la motivación, el esfuerzo, la perseverancia o la concentración. Por lo tanto, tal y como proponen Borghans y Schils (2012) se usará el decaimiento en el rendimiento como una medida de las habilidades no cognitivas de los estudiantes. Estos autores muestran como efectivamente el decaimiento está relacionado con aspectos de la personalidad. También muestran como esta distinción entre habilidades cognitivas y no cognitivas elaborada a partir del decaimiento, supone impactos distintos sobre el futuro personal y profesional de los individuos.
HABILIDADES COGNITIVAS Y NO COGNITIVAS
Dada la importancia tanto de los factores cognitivos como no cognitivos en el futuro personal y profesional de los estudiantes, véase Heckman et al. (2006) y Heckman et al (2012), será interesante usar el decaimiento para discernir qué características personales y familiares pueden tener una mayor infl uencia en cada tipo de habilidades.
Al mismo tiempo, la comparación internacional llevada a cabo por Borghans y Schils (2012) revela España como uno de los países con mayor decaimiento del rendimiento. Este hecho, combinado con los malos resultados medios obtenidos en la prueba, invita a estudiar con más detalle que características afectan al decaimiento como posible vía de mejora del rendimiento de nuestros estudiantes.
Dado que el sexo y las diferencias socioeconómicas han sido señaladas como relevantes tanto en el desarrollo de las habilidades no cognitivas de los estudiantes (véase Duckworth y Seligman, 2006; Cornwell et al., 2013 y Heckman, 2008) como en los resultados en pruebas de evaluación como PISA (OCDE, 2011) convendrá estudiar su infl uencia en el decaimiento del rendimiento. Como en otros estudios, en este capítulo se considerará también el efecto de variables referentes tanto a la institución educativa como familiares y personales, véase Woessmann (2003) entre otros.
Además de las variables del sexo (variable chica) y características socioeconó- micas (variable ESCS6), también se tendrán en cuenta como variables explicativas las interrupciones en clase (variable interrupciones), el número de libros que hay en casa (variable libros), hacer el test en la lengua materna (variable idioma), convivir con ambos progenitores (variable fam.nuclear), haber atendido educación infantil más de un curso (variable Ed.infantil), ser inmigrante tanto de primera como de segunda generación (variable inmigrante) o el mes de nacimiento del estudiante (variable mes)7. Aunque también se dispone de información referente a la titularidad pública o privada de la escuela, está no será incluida dada su elevada colinealidad con la características socioeconómicas de los estudiantes8.
6. El índice ESCS mide el estatus socioeconómico agregando información sobre la ocupación y el
A la luz de la notable disparidad en los resultados PISA de las distintas comunidades autónomas se introducirán también variables fi cticias con información sobre la comunidad autónoma a la cual pertenece el estudiante. Esto permitirá analizar si los estudiantes de las diferentes comunidades autónomas experimentan diferentes niveles de decaimiento y si esto contribuye a explicar las diferencias que se observan entre comunidades. PISA 2009 contenía datos de las siguientes autonomías: Andalucía, Aragón, Asturias, Baleares, Islas Canarias, Cantabria, Castilla y León, Cataluña, Galicia, La Rioja, Madrid, Murcia, Navarra, País Vasco, Ceuta y Melilla. Para las restantes comunidades no se dispone de una muestra representativa y quedan agrupadas como “otras”.
Aunque la metodología del test PISA elige las preguntas que aparecen en las distintas versiones del test con el objetivo de homogeneizar la difi cultad de la prueba, esta no queda totalmente igualada. Los resultados ofi ciales de la prueba usan un factor para corregir estas diferencias. Dado que en este estudio no se utilizan los resultados facilitados por PISA sino con el porcentaje de respuestas correctas se deberá tener en cuenta los posibles efectos fi jos provenientes de las distintas versiones de la prueba. Además, el diseño del test no consigue neutralizar la variación ordinal en la difi cultad de las preguntas a lo largo de la prueba. Por esta razón, en las estimaciones de este estudio se usaran también variables fi cticias de las distintas versiones del test con el objetivo controlar estos efectos.
nivel educativo de los padres y los recursos disponibles en el hogar.
7. Las variables categóricas del mes de nacimiento, número de libros e interrupciones en clase se utilizan asumiendo efectos lineales de sus categorías. Los resultados sobre el decaimiento del rendimiento no se ven modifi cados al usar variables fi cticias para cada una de las categorías de estas variables. Como se verá en la siguiente sección, estas variables no resultan signifi cativas para e decaimiento por lo tanto esto tampoco afectará la interpretación de los resultados.
8. La titularidad de la escuela resulta signifi cativa a la hora de analizar los resultados. Sin embargo, estudios más exhaustivos revelan que esta variable es signifi cativa como consecuencia de la selec ción de los estudiantes en cada tipo de escuela (véase, Anghel y Cabrales (2010), Calero y Escardíbul (2007). Este es también el caso en nuestro estudio cuando se amplía el número de variables explicativas del centro en la sección 5.
De este modo se estimará por mínimos cuadrados la siguiente ecuación:
\[P _ {i} = \beta X _ {i} ^ {\prime} + \mu C C A A _ {i} ^ {\prime} + \delta B _ {i} ^ {\prime} + u _ {i}\]
donde es la puntuación (en porcentaje de respuestas correctas obtenido por el estudiante), es un vector que contiene las variables con las características del estudiante antes comentadas y fi nalmente son vectores que incluyen las variables fi cticias usadas para especifi car la comunidad autónoma y la versión de la prueba (“booklet”), respectivamente. Los términos δ denotan los vectores con los coefi cientes para cada una de las variables de los vectores anteriores y el término denota el error.
TABLA 3. PORCENTAJE DE RESPUESTAS CORRECTAS Y CARACTERÍSTICAS DE LOS ESTUDIANTES
| $P_i$ | E. ESTÁNDAR | |
| Chica | 0,0110*** | (0,00209) |
| ESCS | 0,0318*** | (0,00117) |
| ED. Infantil | 0,0384*** | (0,00310) |
| Mes | -0,00236*** | (0,00031) |
| Idioma | -0,0177*** | (0,00344) |
| Libros | 0,0340*** | (0,00091) |
| Interrupciones | -0,0147*** | (0,00119) |
| FAM. Nuclear | 0,00904*** | (0,00301) |
| Inmigrante | -0,0393*** | (0,00405) |
| Observaciones | 24.215 |
En la Tabla 3 se muestran los coefi cientes estimados para las características personales y familiares. En primer lugar se observa como todas las variables consideradas son signifi cativas a la hora de explicar el porcentaje fi nal de respuestas correctas de los estudiantes. Tal y como sucede en otros estudios, al comparar las variables dicotómicas se observa como ser inmigrante y recibir educación infantil resulta especialmente relevante en la puntuación fi nal, aumentando en casi cuatro puntos el porcentaje de respuestas correctas. Por otro lado, se puede apreciar también la importancia de la variable ESCS. Considerando el rango del índice y el coefi ciente estimado, los estudiantes con una peor situación socioeconómica pueden tener hasta 24 puntos porcentuales menos de respuestas correctas que los más favorecidos.
Además, como suele ocurrir en este tipo de estudios, haber nacido en los primeros meses del año (mes, bajo), hacer el test en la lengua materna (idioma=0), poseer un elevado número de libros en casa (libros alto), pertenecer a un grupo-clase que sufra pocas interrupciones (interrupciones, bajo), y convivir con ambos padres (fam.nuclear=1) son factores que afectan positivamente el porcentaje de respuestas correctas. Ser chica también supone unos mejores resultados en el global de la prueba. Es bien conocido que las chicas generalmente lo hacen mejor que los chicos en comprensión lectora, mientras que lo contrario es cierto en matemáticas y ciencias (OCDE, 2011). PISA 2009, contenía una distribución bastante equitativa, tanto al principio como a lo largo de la prueba, entre las preguntas sobre comprensión lectora (53,4%) y matemáticas o ciencia (46,6%). Sin embrago esta sutil mayor proporción en preguntas de comprensión lectora no explica el mejor resultado obtenido por las chicas en PISA 2009. Tal y como se mostrará, este se explica por su menor decaimiento en el rendimiento.
HABILIDADES NO COGNITIVAS
Como se ha explicado anteriormente, en este estudio se usará el decaimiento en el rendimiento como medida de las habilidades no cognitivas y se analizará el peso de las características personales, y familiares sobre el decaimiento en el rendimiento. Esto permite comprobar si aquellas variables que afectan a la puntuación de los estudiantes afectan también su decaimiento en el rendimiento. Se usarán dos modelos distintos:
MODELO 1
Este primer modelo usa medidas del decaimiento individual. Se estimará la siguiente regresión con las variables anteriormente mencionadas:
\[D _ {i} = \beta_ {m 1} X _ {i} ^ {\prime} + \mu_ {m 1} C C A A _ {i} ^ {\prime} + \delta_ {m 1} B _ {i} ^ {\prime} + v _ {i}\]
donde, es una medida de decaimiento, denota el término de error y las variables explicativas son las mismas que en la regresión anterior. Dado que se puede medir el decaimiento de muchas formas distintas, se considerarán distintas especifi caciones para la variable dependiente, todas medidas en tasas de decaimiento. En la Tabla 4, se presentan los coefi cientes considerando el x% inicial del test y el 100%, con x= 5, 10 y 20 (columnas 1 a 3). Se incluyen también como medida la diferencia entre la primera y la segunda mitad del test (columna 4), y las diferencias entre el 20% fi nal de la prueba y el 5% y 10% inicial (columnas 5 y 6)9.
MODELO 2
En segundo lugar, se usará la metodología empleada por Borghans y Schils (2012). En este modelo la variable dependiente es el resultado en cada una de las respuestas de cada uno de los estudiantes participantes en la prueba. Se denota con la puntuación del estudiante i en la pregunta j. tomará valores 0, ½ o 1, para respuestas incorrectas, parcialmente correctas o totalmente correctas, respectivamente10. Se tendrán en cuenta como variables explicativas, las características personales y familiares de los estudiantes anteriormente mencionadas así como la comunidad au tónoma de cada estudiante. Se incluirá además la interacción de cada una de estas variables con la posición relativa en el test de cada una de las preguntas. Se denota con la posición relativa en el test de la pregunta j para el estudiante i, donde tomará valores entre cero y uno, donde , signifi cará que la pregunta j ocupa la primera (última) posición en la versión de la prueba del estudiante i. Además se incluirán efectos fi jos para controlar por el nivel de difi cultad de cada una de las preguntas. Por lo tanto el modelo estimado será:
\[Y _ {i j} = \beta_ {m 2} Q _ {i j} X _ {i} ^ {\prime} + \mu_ {m 2} Q _ {i j} C C A A _ {i} ^ {\prime} + \rho_ {m 2} X _ {i} ^ {\prime} + \gamma_ {m 2} C C A A _ {i} ^ {\prime} + w _ {i j}\]
donde representa el error y las variables explicativas son las mismas que en las estimaciones anteriores. La interpretación de los coefi cientes será la siguiente; los coefi cientes de las variables sin interaccionar estarán midiendo el efecto de la variable en cuestión sobre el resultado en la parte inicial de la prueba, mientras que las variables interaccionadas medirán el efecto de esa variable sobre el decaimiento de resultado11.
La principal diferencia entre ambos reside en el cálculo del decaimiento. Mientras el Modelo 1 utiliza una medida individualizada del decaimiento en el rendimiento de cada estudiante, el Modelo 2 agrega los datos de los estudiantes y se basa en una medida de la correlación entre la posición de la pregunta y su puntuación para calcular el decaimiento. Combinar las características de ambos modelos permitirá dar mayor robustez a los resultados.
9. Con otras especifi caciones como considerar el 15% inicial o el 70% fi nal de la prueba, los resulta dos son similares a los aquí mostrados.
10. Varias de las preguntas de la prueba solo son puntuadas como totalmente correctas (1) o incorrectas (0). Los resultados no cambian al contabilizar las respuestas parcialmente correctas como totalmente correctas o bien como totalmente incorrectas.
11. En este modelo al inicio de la prueba signifi ca la primera pregunta. Los resultados no cambian si en su lugar se considera como parte inicial del test , las preguntas situadas en el 5% o 10% inicial de la prueba.
El Modelo 1, permite elegir la parte del test que se emplea en el cálculo del decaimiento. Esta fl exibilidad facilita, por ejemplo usar medidas menos infl uenciadas por efectos como el descanso que se les concede a los estudiantes en la mitad del test12. Además, este modelo considerará que el decaimiento es mayor en aquellas situaciones donde los estudiantes empiecen a hacerlo mal antes. Se puede pensar en un ejemplo sencillo, donde el decaimiento es un fenómeno irreversible, es decir llegados a un punto del test los estudiantes empiezan a equivocarse. Se asumirá que la prueba tiene 6 preguntas por lo tanto y que hay un solo estudiante y se compararán las situaciones siguientes: en la primera el estudiante responde correctamente las dos primeras preguntas, mientras que en la segunda responde correctamente las tres primeras preguntas. Cualquiera de las variables dependientes propuestas en el Modelo 1, dará un decaimiento (débilmente) mayor en la primera situación que en la segunda. En cambio, al usar el Modelo 2 incluyendo únicamente como variable explicativa, el decaimiento estará representado por el coefi ciente de la regresión simple entre obteniendo un mayor decaimiento en la segunda situación13.
El Modelo 2 calcula el decaimiento a partir de una agregación de las variacio nes de la puntuación en cada uno de los momentos del test. La principal ventaja de este modelo consiste en evitar que el cálculo del decaimiento se vea infl uenciado por algunos casos extremos de estudiantes que lo hacen particularmente bien o particularmente mal. Si en el Modelo 1 se usara una parte pequeña de la prueba para medir el resultado inicial es fácil estar subestimando el decaimiento de todos aquellos estudiantes que lo han hecho mal en alguna de las preguntas iniciales. Si como caso extremo se tuviera en cuenta la tasa de decaimiento entre la puntuación en la primera pregunta y la puntuación media en el total de la prueba, todos los estudiantes que tuvieran un cero en la primera pregunta pero hubiesen respondido correctamente alguna de las demás preguntas presentarían crecimiento del 100% en su resultado, independientemente del número de respuestas correctas que haya conseguido. Al no tener en cuenta el decaimiento individualizado de los estudiantes, el Modelo 2 evita este problema14. En segundo lugar, el Modelo 2 hace un uso más intensivo de los datos. Mientras con el enfoque del Modelo 1 se disponía de 25.887 observaciones correspondientes a cada uno de los estudiantes, ahora habrá esta cantidad multiplicada por el número de respuestas de cada estudiante lo cual signifi ca 1.462.622 observaciones.
12. La prueba PISA tiene una duración de dos horas. A los estudiantes se les permite un pequeño descanso después de la primera hora.
13. En este ejemplo para la primera situación se tendría en la segunda. Al estimar el coefi ciente de Q se obtiene -0,95 en el primer caso y -1,07 en el segundo. Si con el modelo 1, se usara por ejemplo la diferencia con el 20% inicial del test completado y el total; en la primera situación el decaimiento es -2, mientras en la segunda es -1.
Dadas las ventajas e inconvenientes de cada uno de los modelos valdrá la pena tener en cuenta ambos procedimientos a la hora de analizar la infl uencia en el decaimiento. La Tabla 4 muestra los coefi cientes de las características personales y familiares en cada uno de los dos modelos. A pesar de las diferencias antes comentadas, ambos modelos llegan a resultados parecidos.
TABLA 4. DECAIMIENTO EN EL RENDIMIENTO Y CARACTERÍSTICAS DE LOS ESTUDIANTES
| MODELO 1 | MODELO 1 | MODELO 1 | MODELO 1 | MODELO 1 | MODELO 1 | MODELO 2 | |
| 5%-100% | 10%-100% | 20%-100% | 50%-50% | 5%-20% | 10%-20% | $Y_{ij}$ | |
| V. Explicativa | |||||||
| Chica | 0,0557***(0,00854) | 0,0441***(0,00585) | 0,0349***(0,00406) | 0,0442***(0,00825) | 0,0736***(0,01005) | 0,0601***(0,00784) | 0,0233***(0,00260) |
| ESCS | 0,00872*(0,00479) | 0,0127***(0,00328) | 0,00586**(0,00228) | 0,0174***(0,00464) | 0,0200***(0,00564) | 0,0235***(0,00440) | 0,00400***(0,00146) |
| Ed.Infantil | 0,00807(0,01265) | 0,00503(0,00865) | 0,00473(0,00601) | 0,0361***(0,01223) | 0,0230(0,01494) | 0,0201*(0,01166) | 0,000916(0,00386) |
| Mes | -0,00107(0,00125) | -0,000467(0,00085) | -0,0000851(0,00059) | -0,000547(0,00121) | -0,00124(0,00147) | -0,000603(0,00115) | 0,0000159(0,00038) |
| Idioma | -0,0342**(0,01403) | -0,0250***(0,00960) | -0,0300***(0,00667) | -0,0284**(0,01357) | -0,0569***(0,01659) | -0,0479***(0,01295) | -0,0175***(0,00429) |
| Libros | 0,00599(0,00374) | 0,00787***(0,00256) | 0,00702***(0,00177) | 0,0243***(0,00361) | 0,0147***(0,00439) | 0,0162***(0,00343) | 0,00114(0,00114) |
| Interrupciones | -0,0116**(0,00485) | -0,00780**(0,00332) | -0,00140(0,00231) | -0,0179***(0,00469) | -0,0174***(0,00570) | -0,0134***(0,00445) | -0,00201(0,00147) |
| Fam.nuclear | -0,0121(0,01230) | -0,000667(0,00841) | 0,00569(0,00584) | 0,0248**(0,01191) | -0,00668(0,01456) | 0,00255(0,01136) | -0,00351(0,00375) |
| Inmigrante | -0,00990(0,01656) | -0,0187*(0,01133) | -0,00790(0,00787) | -0,0852***(0,01606) | -0,0390**(0,01987) | -0,0567***(0,01551) | -0,0188***(0,00512) |
| Observaciones | 24.212 | 24.212 | 24.212 | 24.036 | 23.265 | 23.265 | 1.375.207 |
Errores estándar entre paréntesis. * p<0,1 / ** p<0,05 / *** p<0,01.
14. Obviamente, con el Modelo 1 se tienen en cuenta mayores porcentajes al inicio de la prueba para mitigar este problema. Esto no descarta que el efecto ilustrado por este caso extremo pueda afectar el resultado.
Se observa como algunas variables resultan signifi cativas en todas las especifi caciones. En concreto, ser chica, tener una situación socioeconómica favorable y hacer el test en la lengua materna suponen un menor decaimiento para cualquier modelo utilizado.
También se puede ver como algunas variables que resultaban signifi cativas en la puntuación de la prueba PISA, no lo son a la hora de explicar el decaimiento de rendimiento. Exceptuando la especifi cación del Modelo 1 que usa la diferencia entre el 50% inicial de la prueba y el 50% fi nal, se observa que el mes de nacimiento y tener una familia nuclear nunca resultan signifi cativas. Además haber cursado más de un año de educación infantil, solo resulta signifi cativa en una de las especifi caciones y únicamente teniendo en cuenta un nivel de signifi cación del 10%.
Para las demás variables conviene ser cautelosos al analizarlas dado que su signifi catividad depende del modelo y la especifi cación que se use. Aun así, y dadas las características anteriormente comentadas de cada uno de los modelos, los resultados parecen indicar que ser inmigrante resultaría en un mayor decaimien to pero concentrado en la parte fi nal de la prueba (ya que no resulta signifi cativo usando las especifi caciones que comparan el resultado al principio con el total de la prueba en el Modelo 1 pero si resulta signifi cativo cuando se considera el Modelo 2 o bien las especifi caciones del Modelo 1 que dan un mayor peso al resultado en la parte fi nal). Finalmente, hay resultados poco concluyentes acerca de cómo afectan las interrupciones en clase o el número de libros en el decaimiento. Aunque algunas especifi caciones del Modelo 1 muestran que las interrupciones en clase pueden aumentar el decaimiento de los estudiantes y el número de libros en casa reducirlo, en otras especifi caciones del Modelo 1 y en el Modelo 2, estas no resul tan signifi cativas.
Para evaluar el tamaño de estos efectos se considera el Modelo 2, dado que facilita la interpretación. Usando este modelo, y tal como se verá en la Sección 6, el decaimiento medio en España es de unos 10 puntos porcentuales. Esta diferencia es parecida a la diferencia en el porcentaje de respuestas correctas entre España y Finlandia. Además, esta diferencia se reduce en más de dos puntos para las chicas y aumenta en casi dos para aquellos estudiantes que no hacen el test en su lengua materna. La diferencia en el decaimiento del rendimiento entre la mejor situación socioeconómica y la peor es de 3,2 puntos. Finalmente, el Modelo 2 encuentra signifi cativo el efecto de ser inmigrante resultando en un aumento en el decaimiento de casi 2 puntos.
HABILIDADES COGNITIVAS
Anteriormente se ha usado el decaimiento en el rendimiento como una medida de las habilidades no cognitivas. Al mismo tiempo, dado que el resultado al principio del test no se ve afectado por el decaimiento en el rendimiento, este proporcionará una medida más precisa de las habilidades cognitivas, es decir una medida menos infl uenciada por las habilidades no cognitivas que se manifi estan a través del decaimiento en el rendimiento.
El Modelo 2 permite hacer directamente esta distinción. Como se ha explicado, los coefi cientes de las interacciones entre las características personales y la posición relativa de la pregunta estarán midiendo la incidencia de la característica en cuestión sobre el decaimiento. En cambio, los coefi cientes de las variables sin interaccionar, estarán mostrando el caso , y por lo tanto medirá el efecto sobre el resultado al principio del test.
Para hacer esto mediante el Modelo 1, se debe plantear una nueva regresión usando el porcentaje de respuestas correctas al principio del test como variable dependiente. Se presentarán los resultados obtenidos al tener en cuenta el 5%, 10% y 15% inicial de la prueba.
La Tabla 5 muestra los resultados para el Modelo 1 y 2 respectivamente. En estas tablas hay un dato que resulta llamativo. El sexo no tiene ningún impacto signifi cativo en el resultado al principio de la prueba. Como se veía en la Tabla 3, las chicas obtienen una mayor puntuación que los chicos si se considera todo el test completado. Sin embargo, esto no es cierto al considerar únicamente el resultado al inicio de la prueba. Al mismo tiempo la proporción entre preguntas de comprensión lectora y las demás es parecida durante todo el test. Combinando estas observaciones se concluye que la mejor puntuación media de las chicas en PISA 2009 es consecuencia de su menor decaimiento en el rendimiento.
TABLA 5. PORCENTAJE DE RESPUESTAS CORRECTAS AL 5-10-15% INICIAL (MODELO 1) Y VARIABLES SIN INTERACTUAR (MODELO 2) Y CARACTERÍSTICAS DE LOS ESTUDIANTES
| MODELO 1 | MODELO 1 | MODELO 1 | MODELO 2 | |
| % DEL TEST COMPLETADO | 5% | 10% | 15% | $Y_{ij}$ |
| Chica | -0,00493(0,00380) | -0,00171(0,00290) | -0,00166(0,00268) | -0,000846(0,00149) |
| ESCS | 0,0316***(0,00213) | 0,0280***(0,00163) | 0,0305***(0,00150) | 0,0299***(0,00083) |
| Ed.infantil | 0,0411***(0,00563) | 0,0392***(0,00430) | 0,0404***(0,00397) | 0,0385***(0,00220) |
| Mes | -0,00198***(0,00055) | -0,00242***(0,00042) | -0,00263***(0,00039) | -0,00231***(0,00022) |
| Idioma | -0,00924(0,00624) | -0,00847*(0,00477) | -0,00876**(0,00440) | -0,00968***(0,00244) |
| Libros | 0,0358***(0,00166) | 0,0340***(0,00127) | 0,0346***(0,00117) | 0,0335***(0,00065) |
| Interrupciones | -0,0113***(0,00216) | -0,0120***(0,00165) | -0,0131***(0,00152) | -0,0136***(0,00084) |
| Fam.nuclear | 0,0154***(0,00547) | 0,0116***(0,00418) | 0,0117***(0,00386) | 0,0104***(0,00214) |
| Inmigrante | -0,0436***(0,00737) | -0,0394***(0,00562) | -0,0418***(0,00519) | -0,0329***(0,00289) |
| Observaciones: | 24.215 | 24.215 | 24.215 | 1.375.207 |
Errores estándar entre paréntesis * p<0,1 ** p<0,05 *** p<0,01.
Algo parecido podría estar sucediendo con el hecho de realizar la prueba en lengua materna, pero con resultados menos concluyentes. El Modelo 1, parece indicar que el idioma no es signifi cativo al principio del test, en cambio sí resulta signifi cativo en el Modelo 2. En cualquier caso resulta claro que la principal infl uencia del idioma ocurre como consecuencia de un mayor decaimiento. Esto encajaría si se piensa que el efecto del idioma puede implicar la necesidad de un mayor esfuerzo o tiempo en contestar cada pregunta. No obstante, en este caso no se puede hablar de habilidades no cognitivas sino más bien de la importancia de un dominio del lenguaje sobre el decaimiento en el rendimiento.
El estatus socioeconómico afecta tanto el resultado al principio del test (habilidades cognitivas) como al decaimiento en el rendimiento (habilidades no cognitivas). Sin embargo, a partir de una comparación entre los coefi cientes estimados del estatus socioeconómico en las Tablas 4 y 5, se observa como la mayor parte del efecto tiene lugar al principio del test mientras que el efecto sobre el decaimiento es relativamente bajo. En cambio, ocurre lo contrario para las variables idioma y sexo, cuyo principal efecto tiene lugar a partir del decaimiento en el resultado.
Finalmente, se aprecia cómo las demás variables no siempre resultan signifi cativas para explicar el decaimiento en el rendimiento y en cambio siempre lo son a principio de la prueba, lo cual indica que su infl uencia en el resultado fi nal ocurre vía conocimientos. Este hecho se refl eja también mediante el Modelo 1 al constatar que los coefi cientes de estas variables son parecidos en tamaño en el 5, 10 o 15% inicial del test (Tabla 5) y el total de la prueba completado (Tabla 3).
OTROS FACTORES RELACIONADOS CON EL DECAIMIENTO DEL RENDIMIENTO
A la vista que tan solo el sexo, ESCS y el idioma parecen tener un efecto importante y robusto a las distintas especifi caciones del modelo para explicar el decaimiento en el rendimiento, se ampliará el vector de variables explicativas que se han usado en las estimaciones. Se incluirán características relacionadas con el centro de educativo y con la actitud de los estudiantes.
Convendrá ser prudentes a la hora de interpretar estos resultados ya que por un lado algunas de las variables que se incluyen dependen de respuestas subjetivas de los estudiantes como su relación con el profesor, su agrado de la lectura o el uso de tecnologías de la información. Esto supone que no se puedan dar resultados concluyentes sobre el sentido de la causalidad entre estas variables y el decaimiento del rendimiento.
En segundo lugar se tendrán en cuenta también datos procedentes de la encuesta a los centros educativos. Tal y como se explica en el capítulo de los profesores Calero y Escardíbul de este proyecto, la composición anidada de estos datos sugiere el uso de un modelo multinivel para la obtención de resultados más robustos sobre la infl uencia de estas variables.
Por lo tanto los resultados de esta sección deberán ser interpretados teniendo en cuenta estas dos consideraciones. Par ver el efecto de estas variables se usarán los modelos 1 y 2 con la diferencia de que ahora el vector de características incluirá las variables detalladas en la Tabla 6.
TABLA 6. DECAIMIENTO DEL RENDIMIENTO, ACTITUD DEL ESTUDIANTE Y CARACTERÍSTICAS DEL CENTRO EDUCATIVO
| MODELO 1 | MODELO 1 | MODELO 1 | MODELO 1 | MODELO 1 | MODELO 2 | |
| 5%-100% | 10%-100% | 20%-100% | 5%-20% | 10%-20% | $Y_{ij}$ | |
| Prof. estimulalectura | 0,00150(0,00518) | 0,000130(0,00352) | 0,000315(0,00245) | 0,00264(0,00606) | 0,000534(0,00472) | -0,000653(0,00162) |
| Actitud en la escula | -0,00252(0,00514) | 0,00151(0,00349) | -0,00116(0,00243) | -0,000604(0,00602) | 0,00366(0,00469) | -0,00235(0,00161) |
| Uso de estrategiasde control | 0,00419(0,00534) | 0,00521(0,00362) | 0,00353(0,00252) | 0,00817(0,00625) | 0,00950*(0,00487) | -0,000822(0,00167) |
| Gusto por la lectura | 0,0354***(0,00538) | 0,0292***(0,00365) | 0,0192***(0,00254) | 0,0515***(0,00627) | 0,0463***(0,00489) | 0,0172***(0,00167) |
| Estrategias dememorización | -0,000592(0,00455) | 0,00345(0,00309) | 0,00448**(0,00215) | 0,00720(0,00532) | 0,0117***(0,00414) | 0,00383***(0,00142) |
| Relación conprofesor | 0,00931*(0,00510) | 0,00702**(0,00346) | 0,00744***(0,00241) | 0,0106*(0,00598) | 0,00819*(0,00466) | 0,00744***(0,00159) |
| Tecnología deinformación | -0,0112**(0,00499) | -0,0105***(0,00339) | -0,0109***(0,00236) | -0,0228***(0,00586) | -0,0210***(0,00456) | -0,00781***(0,00156) |
| Centro educ.equipo deportivo | -0,0429***(0,01424) | -0,0319***(0,00966) | -0,0248***(0,00672) | -0,0504***(0,01664) | -0,0390***(0,01296) | -0,0154***(0,00445) |
| Freq. deberes | -0,00384(0,00575) | -0,00582(0,00390) | -0,00439(0,00271) | -0,00310(0,00669) | -0,00536(0,00521) | -0,00323*(0,00179) |
| Bajas expectativasdel profesor | 0,00422(0,00653) | 0,00357(0,00443) | 0,00355(0,00308) | 0,00270(0,00764) | 0,00196(0,00595) | 0,000806(0,00204) |
| Relación profesoralumnos | 0,00176(0,00785) | -0,00386(0,00533) | -0,00465(0,00371) | 0,00856(0,00920) | 0,00509(0,00717) | 0,00140(0,00245) |
| Absentismoprofesor | -0,0122(0,00809) | -0,0111**(0,00549) | -0,00409(0,00382) | -0,0129(0,00955) | -0,0102(0,00744) | -0,00134(0,00254) |
| Formación continuaprof. | -0,00311(0,00688) | 0,000162(0,00467) | 0,00438(0,00325) | 0,00204(0,00806) | 0,00602(0,00628) | 0,00215(0,00215) |
| Separar grupos dehabilidad | -0,00880(0,00782) | -0,00834(0,00531) | -0,00316(0,00369) | -0,0102(0,00915) | -0,00871(0,00713) | -0,00474*(0,00244) |
| Proporción chicas | 0,00109**(0,00056) | 0,000927**(0,00038) | 0,000728**(0,00026) | 0,00173***(0,00066) | 0,00161***(0,00051) | 0,000424**(0,00017) |
| Ratio alumnos-profesor | 0,00347***(0,00108) | 0,00284***(0,00073) | 0,00175***(0,00051) | 0,00593***(0,00126) | 0,00557***(0,00098) | 0,00201***(0,00034) |
| Act. extraecolares | 0,00320 | 0,00215 | -0,00122 | 0,00609 | 0,00502 | 0,000849 |
[CONTINÚA EN PÁGINA SIGUIENTE]
TABLA 6. DECAIMIENTO DEL RENDIMIENTO, ACTITUD DEL ESTUDIANTE Y CARACTERÍSTICAS DEL CENTRO EDUCATIVO
| MODELO 1 | MODELO 1 | MODELO 1 | MODELO 1 | MODELO 1 | MODELO 2 | |
| 5%-100% | 10%-100% | 20%-100% | 5%-20% | 10%-20% | $Y_{ij}$ | |
| (0,00617) | (0,00419) | (0,00291) | (0,00719) | (0,00560) | (0,00192) | |
| Chica | 0,0354*** | 0,0205*** | 0,0177*** | 0,0412*** | 0,0235*** | 0,0128*** |
| (0,00951) | (0,00645) | (0,00449) | (0,01114) | (0,00868) | (0,00297) | |
| ESCS | 0,000422 | 0,00351 | 0,000199 | 0,00350 | 0,00658 | -0,000737 |
| (0,00525) | (0,00357) | (0,00248) | (0,00615) | (0,00479) | (0,00164) | |
| Idioma | -0,0376** | -0,0272*** | -0,0265*** | -0,0534*** | -0,0414*** | -0,0128*** |
| (0,01534) | (0,01041) | (0,00724) | (0,01804) | (0,01405) | (0,00482) | |
| Observaciones | 20.030 | 20.030 | 20.030 | 19.303 | 19.303 | 1.139.659 |
Errores estándar entre paréntesis * p<0,1 ** p<0,05 *** p<0,01.
En la Tabla 6 se muestran los coefi cientes de las variables añadidas en esta sección. A parte de las nuevas variables explicativas se incluyen en la tabla aquellas varia bles que anteriormente habían resultado signifi cativas, es decir, sexo, hacer el test en lengua materna y el estatus socioeconómico.
Se observa como el estatus socioeconómico deja de ser signifi cativo al introducir estas nuevas variables. Esto reforzaría el resultado anterior donde se veía que el efecto del estatus socioeconómico se produce principalmente al inicio del test. En cambio los efectos del sexo o el idioma no cambian demasiado con respecto a los resultados anteriores.
La mayoría de las variables usadas no tienen efectos signifi cativos. Sin embargo hay algunas excepciones notables. En primer lugar se observa que aquellos estudiantes que se declaran amantes de la lectura tienen un menor decaimiento. Este efecto es muy notable, de hasta 11 puntos al comparar el porcentaje de respuestas correctas de los estudiantes con un menor gusto por la lectura con aquellos más bibliófi los. No obstante y como se ha alertado anteriormente, no se puede establecer de manera rotunda cual es la dirección causal entre estas dos variables. Si la relación causal fuera que el gusto por la lectura favorece un menor decaimiento en el resultado, entonces se debería tener en cuenta el fomento de la lectura como vía de mejora del resultado de los estudiantes. Con todo, no se puede descartar que en realidad la misma habilidad que provoca un menor decaimiento sea responsable de un mayor interés por la lectura.
Algo parecido ocurre con la variable que recoge la buena relación entre estudiante y profesor aunque en este caso el efecto es mucho menos importante que en el caso anterior.
Se observa también como dos de las variables añadidas agravan el problema del decaimiento en el rendimiento. El primer caso es el uso de tecnologías de la información. Parece contradictorio que el uso de más medios, pueda resultar en un prejuicio en el rendimiento del estudiante. Sin embargo, aunque todavía con una investigación muy incipiente al respecto, existe una creciente atención sobre la posibilidad que las nuevas tecnologías reduzcan la capacidad de atención de sus usuarios, Purcell et al. (2012). En segundo lugar la existencia de un equipo deportivo en el centro también puede provocar mayores niveles de decaimiento.
Este análisis no permite extraer conclusiones sobre el efecto que el número de estudiantes por profesor tiene sobre el decaimiento. Tal y como se advertía en el capítulo de los profesores Calero y Escardíbul existe un problema de endogenei dad entre el tamaño del grupo y sus resultados. Un mejor grupo o un mejor profesor pueden provocar un efecto llamada, aumentando así el tamaño del grupo o bien la necesidad de asignar un mayor número de profesores a aquellos estudiantes con resultados especialmente malos, pueden provocar que se concentren malos resul tados en grupos pequeños. Según estos autores, esta endogeneidad provocaba que contrariamente a lo que cabría esperar, se observara una relación negativa entre el tamaño del grupo y los resultados PISA. Lo mismo ocurre cuando se evalúa la relación entre el número de estudiantes y el decaimiento del rendimiento, al observar que existe un menor decaimiento cuando el tamaño del grupo es mayor.
Finalmente, la existencia de una mayor proporción de chicas favorece que haya menores niveles de decaimiento. Esto sugiere que los efectos de pares positivos de chicas a chicos documentados en Ciccone y García-Fontes (2013), podrían darse como consecuencia de una transmisión de las habilidades no cognitivas15. Sin embargo para extraer conclusiones robustas en este aspecto convendría llevar a cabo análisis más exhaustivos basados en cohortes como hacen Ciccone y García-Fontes (2013).
DIFERENCIAS ENTRE COMUNIDADES AUTÓNOMAS
Una característica que llama la atención de los resultados de las pruebas PISA en España es la notable disparidad existente en los resultados obtenidos por las distintas comunidades autónomas. Además, muchas de estas diferencias no pueden ser explicadas por las diferencias en las características personales o familiares de los estudiantes, Villar (2012).
15. Esta hipótesis se ve reforzado por el hecho que al tomar regresiones separadas entre chicos y chicas, la proporción de chicas sólo tiene un efecto signifi cativo en el decaimiento de los chicos mientras resulta no signifi cativa sobre el decaimiento de las chicas.
Se pueden analizar las diferencias entre comunidades teniendo en cuenta la distinción entre resultado al principio de la prueba y el decaimiento. Se usarán los coefi cientes de las variables fi cticias de cada una de las comunidades en el Modelo 2 para mostrar las diferencias entre comunidades al principio de la prueba y en el decaimiento del rendimiento antes y después de controlar por las características individuales y familiares de los estudiantes. Los intervalos de confi anza de estos indicadores permitirán ver si las diferencias entre comunidades existen también en el resultado al principio de la prueba y en el decaimiento.
En Figura 216, se muestra el porcentaje medio de respuestas correctas, el porcentaje medio de respuestas correctas al inicio de la prueba y el decaimiento de cada una de las comunidades sin controlar por las características personales y familiares de los estudiantes. Por un lado se observa que las diferencias en el porcentaje de respuestas correctas son elevadas. Entre la mejor clasifi cada, Castilla y León, y una de las peores, Islas Canarias, la diferencia en el porcentaje de respuestas correctas es superior a la existente entre España y Finlandia17.
Por otro lado, existen diferencias signifi cativas entre algunas comunidades tanto en el porcentaje de respuestas correctas al principio como en el decaimiento del rendimiento. La diferencia en el resultado al inicio del test puede variar hasta en 10 puntos entre algunas comunidades, mientras que el decaimiento lo puede hacer hasta en 4 puntos, como se observa al comparar Castilla y León con Baleares (cabe recordar que cuanto más negativo sea el valor del decaimiento de una comunidad mayor es su decaimiento). La comparación entre comunidades difi ere notablemente según la variable que se esté considerando. Por ejemplo, Castilla y León que tiene un porcentaje de respuestas correctas signifi cativamente superior a todas las comunidades clasifi cadas por debajo de la sexta posición, deja de presentar diferencias signifi cativas con las comunidades de País Vasco, Asturias y Navarra cuando se considera solo el resultado al inicio de la prueba. En cambio, se observa como precisamente estas comunidades, muestran niveles de decaimiento signifi cativamente superiores a los de Castilla y León. Por lo tanto, la diferencia entre el porcentaje total de respuestas correctas entre estas comunidades se explica por diferencias en el decaimiento. En particular el decaimiento en el rendimiento es de especial relevan-
16. Las ciudades autónomas de Ceuta y Melilla no han sido incluídas en algunos de los gráfi cos para facilitar una elaboración más compacta de las fi guras.
17. Algo parecido ocurre cuando se tiene en cuenta la puntuación PISA en lectura, matemáticas y ciencias en lugar del porcentaje total de respuestas correctas.
PUNTUACIÓN (EN % DE RESPUESTAS CORRECTAS)

PORCENTAJE DE RESPUESTAS CORRECTAS AL INICIO DEL TEST Nota: Las líneas verticales representan intervalos de confianza del 95% de cada valor.

[CONTINÚA EN PÁGINA SIGUIENTE]
DECAIMIENTO DEL RENDIMIENTO Nota: Las líneas verticales representan intervalos de confianza del 95% de cada valor.

cia para explicar el buen resultado de las comunidades autónomas a la cabeza de la clasifi cación (Castilla y León, Aragón, La Rioja y Madrid).
Se observa también que aunque en muchos casos las diferencias no resultan signifi cativas el resultado al principio de la prueba ordena las comunidades de una forma más parecida al orden obtenido al tener en cuenta el porcentaje total de respuestas correctas. Por lo tanto esto indica que el resultado al principio de la prueba tiene más peso a la hora de explicar la clasifi cación entre las distintas comunidades. Sin embargo y dado la importancia de las características familiares y personales, valdrá la pena analizar estas diferencias entre comunidades controlando estos aspectos. El Gráfi co 3 muestra las diferencias entre comunidades después de controlar por las características personales.
Llama la atención que la clasifi cación de las distintas comunidades basada en el porcentaje medio de respuestas correctas, cambia notablemente cuando se tienen en cuenta las características personales de los estudiantes. Sin embargo cabe señalar que las comunidades autónomas que intercambian sus posiciones no presentan diferencias signifi cativas ni antes ni después de usar los controles, por lo tanto este resultado es estadísticamente irrelevante. Las diferencias encontradas en el porcentaje de respuestas correctas entre comunidades siguen siendo consi-
FIGURA 3. DIFERENCIAS ENTRE COMUNIDADES EN EL PORCENTAJE TOTAL DE RESPUESTAS CORRECTAS, PORCENTAJE DE RESPUESTAS CORRECTAS AL INICIO DE LA PRUEBA Y DECAIMIENTO DEL RENDIMIENTO DESPUÉS DE CONTROLAS POR CARACTERÍSTICAS DEL ESTUDIANTE. ELABORACIÓN PROPIA A PARTIR DE LOS MICRODATOS PISA 2009
PUNTUACIÓN (EN % DE RESPUESTAS CORRECTAS)

PORCENTAJE DE RESPUESTAS CORRECTAS AL INICIO DEL TEST Nota: Las líneas verticales representan intervalos de confianza del 95% de cada valor.

[CONTINÚA EN PÁGINA SIGUIENTE]
FIGURA 3. DIFERENCIAS ENTRE COMUNIDADES EN EL PORCENTAJE TOTAL DE RESPUESTAS CORRECTAS, PORCENTAJE DE RESPUESTAS CORRECTAS AL INICIO DE LA PRUEBA Y DECAIMIENTO DEL RENDIMIENTO DESPUÉS DE CONTROLAS POR CARACTERÍSTICAS DEL ESTUDIANTE. ELABORACIÓN PROPIA A PARTIR DE LOS MICRODATOS PISA 2009
DECAIMIENTO DEL RENDIMIENTO Nota: Las líneas verticales representan intervalos de confianza del 95% de cada valor.

derables después de controlar por las características de los estudiantes llegando a ser de hasta casi 6 puntos.
Hay un segundo resultado que conviene destacar. Una vez controladas las características personales, desaparece cualquier diferencia signifi cativa en términos de decaimiento entre las comunidades. Por lo tanto, las diferencias en el decaimiento en el rendimiento no aportan información adicional sobre los resultados de las distintas comunidades que no se pueda explicar por la composición de la población de estudiantes en función de sus características personales y familiares18. Estos resultados no cambian si se permite que la infl uencia de los controles sea distinta en cada una de las comunidades, tomando regresiones separadas para cada comunidad.
El alto nivel de decaimiento en el rendimiento es un problema generalizado en el conjunto de regiones españolas una vez se han tenido en cuenta aspectos alejados del ámbito de la política educativa como son el sexo, el origen o el estatus socioeconómico de los estudiantes.
18. Borghans y Schils (2012) realizan una comparativa del decaimiento del rendimiento de distintos países sin controlar por las características de los estudiantes. Al incluir estos controles en su comparativa se puede ver cómo, aunque se reducen considerablemente, siguen habiendo diferencias signifi cativas entre algunos países.
CONCLUSIONES
En este trabajo se ha utilizado la muestra española del estudio PISA 2009 para distinguir entre la puntuación en el test de los estudiantes y su decaimiento en el rendimiento. Tal y como muestran Borghans y Schils (2012) en una comparativa internacional, los malos resultados que obtiene España en las pruebas PISA son en gran parte consecuencia de su alto decaimiento en el rendimiento.
Estos resultados, sugieren la posibilidad que una de las debilidades de los estudiantes españoles esté relacionada con sus habilidades no cognitivas como podrían ser el esfuerzo, la motivación o la perseverancia.
Existe una creciente atención sobre la importancia de la personalidad y las habilidades no cognitivas en el futuro personal y profesional de los estudiantes, véase entre otros Levin (2012). Algunos estudios relacionan ciertos rasgos de la personalidad con unos mejores resultados académicos (Cunha, Heckman y Schennach, 2010; Heckman et al., 2011; Heckman, Stixrud y Urzua, 2006; Lleras, 2008: Poropat, 2009); laborales (Barrick y Mount, 1991; Drago, 2011; Gallo et al., 2003; Hogan y Holland, 2003; Judge y Hurst, 2007; Nyhus y Pons, 2005; Salgado,1997) o de salud (Conti y Heckman, 2010; Hampson et al. 2007; Roberts et al., 2007). Paralelamente, se pueden encontrar numerosos trabajos que resaltan la educación y las intervenciones tempranas como piezas clave en el desarrollo de rasgos de personalidad y las habilidades no cognitivas de los individuos, véase Cunha et al. (2006) o Knudsen et al. (2006) entre otros. Además, como muestran Heckman et al. (2012) a través de la evaluación del Perry Preschool Program, las importantes mejoras de los resultados obtenidos a través de educación temprana en carácter ocurren principalmente como consecuencia de una mejora en las habilidades no cognitivas de los individuos19. Tal y como muestran estos autores la inversión en la mejora de las habilidades no cognitivas de los individuos puede comportar benefi cios enormes y deberá ser muy tenida en cuenta a la hora de intentar mejorar los resultados educativos de cualquier país.
19. El Perry Preschool Program consiste en una intervención experimental llevada a cabo en Estados Unidos en niños y niñas afroamericanos de entre tres y cuatro años de edad con capacidades cognitivas por debajo de la media. Tenía por objetivo mejorar el entorno social y emocional de niños y niñas, obteniendo como resultado notables mejoras académicas. El uso de métodos aleatorios en la asignación de este programa permite concluir que las mejoras en el resultado acadé- mico de los receptores del programa no ocurre por diferencias en su capacidad cognitiva (medida mediante tests de inteligencia) sino como consecuencia de una potenciación de sus habilidades no cognitivas.
En este capítulo se ha considerado el decaimiento en el rendimiento como indicador de las habilidades no cognitivas y se ha analizado qué características personales o familiares y de los centros educativos pueden explicar diferencias en el decaimiento del rendimiento de los estudiantes españoles.
Se aprecia como muchas de las variables que afectan al resultado en las prueba PISA de los estudiantes no afectan necesariamente el decaimiento de su rendimiento como por ejemplo las interrupciones en clase, el mes de nacimiento o el número de libros en casa. La educación infantil tampoco supone un menor decaimiento en el rendimiento. Este resultado, es un tanto sorprendente dado la conocida incidencia de las intervenciones tempranas en el desarrollo de las habilidades no cognitivas. Sin embargo, no se puede descartar que esto ocurra a través de habilidades no cognitivas distintas a las que se manifi estan a través del decaimiento en el rendimiento. Por otro lado, el estatus socioeconómico de los estudiantes incide tanto en la puntuación de los estudiantes al inicio de la prueba como en el decaimiento de su rendimiento, aunque la mayor parte de este efecto ocurre a través del resultado al inicio de la prueba. En cambio sexo o hacer el test en lengua materna afectan al resultado de los estudiantes, principalmente como consecuencia de diferencias en el decaimiento del rendimiento.
Haciendo una evaluación preliminar y que requerirá de investigación futura se puede analizar el efecto de características susceptibles de ser modifi cadas a través de la política educativa. Así, el gusto por la lectura está fuertemente correlacionado con un menor decaimiento en el rendimiento. Esto sugiere que el fomento de la lectura podría ser una buena medida contra el elevado decaimiento en el resultado de nuestros estudiantes, aunque queda por verifi car la dirección causal de esta relación. En segundo lugar, parece que parte de los efectos de pares positivos que reciben los chicos mediante la coeducación están relacionados con las habilidades no cognitivas ya que una mayor proporción de chicas reduce el decaimiento de los chicos. Por otra parte, el uso de tecnologías de la información, parece tener un efecto negativo sobre el decaimiento del rendimiento, lo cual va en la línea de algunas advertencias recientes sobre los posibles problemas de atención que podría provocar un (mal) uso de la tecnología. En este sentido, sería conveniente tener en cuenta los efectos sobre el rendimiento en el decaimiento a la hora de evaluar la efectividad de programas como “Escuela 2.0” llevado a cabo entre los años 2009 y 2011.
Finalmente se observa como existen diferencias en el decaimiento del rendimiento de las distintas comunidades autónomas. Sin embargo estas diferencias se explican completamente por las diferencias en la composición por características personales de sus estudiantes. De este modo, el alto nivel de decaimiento en el rendimiento es un problema generalizado en el conjunto del país que deberá ser tenido en cuenta con el objetivo de mejorar el rendimiento educativo de los estudiantes.
REFERENCIAS
References
- Almlund, M., Duckworth, A. L., Heckman, J. J., y Kautz, T. D. (2011). Personality psychology and economics (No. w16822). National Bureau of Economic Research.
References
- Anghel, B. y Cabrales, A. (2010). “The Determinants of Success in Primary Education in Spain”. Documentos de trabajo (FEDEA), núm. 20, pp. 1-65.
References
- Barrick, M. R. y Mount, M. K. (1991). The big fi ve personality dimensions and job performance: a meta-analysis. Personnel psychology, 44(1), 1-26.
References
- Borghans, L. y T. Schils (2012), “The leaning tower of Pisa: decomposing achievement test scores into cognitive and noncognitive components”, Unpublished manuscript.
References
- Ciccone, A y García-Fontes, W (2013). “Efectos de género en las escuelas, un enfoque basado en cohortes de edad” en La educación en España. Una visión acadé- mica. Monografía de la Fundación de Estudios de Economía Aplicada
References
- Calero, J. y Escardíbul, J. O. (2007). “Evaluación de servicios educativos: el rendimiento en los centros públicos y privados medido en PISA-2003”. Hacienda Pú- blica Española, vol. 183(4),pp. 33-66.
References
- Conti, G. y Heckman, J. J. (2010). “Understanding the Early Origins of the Education–Health Gradient A Framework That Can Also Be Applied to Analyze Gene–Environment Interactions”. Perspectives on Psychological Science, 5(5), 585-605.
References
- Cornwell, Christopher M., David B. Mustard y Jessica Van Parys. 2009. “How Does theNew SAT Predict Academic Achievement in College?” WorkingPaper. University of Georgia.
References
- Cunha, F., Heckman, J. J., Lochner, L. y Masterov, D. V. (2006). “Interpreting the evidence on life cycle skill formation”. Handbook of the Economics of Education, 1, 697- 812.
References
- Cunha, F., Heckman, J. J. y Schennach, S. M. (2010). “Estimating the technology of cognitive and noncognitive skill formation”. Econometrica, 78(3), 883-931.
References
- Drago, F. (2011). “Self-esteem and earnings”. Journal of Economic Psychology, 32(3), 480-488.
References
- Duckworth, A. L., Quinn, P. D., Lynam, D., Loeber, R., Stouthamer-Loeber, M., Mofi t, T. E. y Caspi, A. (2009). “What intelligence tests test: Individual dif erences in test motivation and IQ”. Unpublished Manuscript. University of Pennsylvania.
References
- Duckworth, A. L. y Seligman, M. E. (2006). “Self-discipline gives girls the edge: Gender in self-discipline, grades, and achievement test scores”. Journal of educational psychology, 98(1), 198.
References
- Eklöf, H. (2007). “Test-taking motivation and mathematics performance in TIMSS 2003”. International Journal of Testing, 7(3), 311-326.
References
- Gallo, W. T., Endrass, J., Bradley, E. H., Hell, D. y Kasl, S. V. (2003). “The infl uence of internal control on the employment status of German workers”. Schmollers Jahrbuch, 123(1), 71-81.
References
- Hanushek, E. A. y Woessmann, L. (2011). “How much do educational outcomes matter in OCDE countries?” Economic Policy, 26(67), 427-491.
References
- Hanushek, E. A. y Woessmann, L. (2012). “Do better schools lead to more growth? Cognitive skills, economic outcomes, and causation”. Journal of Economic Growth, 17(4), 267-321.
References
- Heckman, J. J. (2008). “Schools, skills, and synapses”. Economic inquiry, 46(3), 289- 324.
References
- Heckman, J.J., Humphries, J.E. y Mader, N., (2011) “The GED”. En: Hanushek, E.A., Machin,S., y Wößmann, L.,(Ed.), Handbook of the Economics of Education. Elsevier, Amsterdam, pp. 423–484.
References
- Hampson, S. E., Goldberg, L. R., Vogt, T. M. y Dubanoski, J. P. (2007). “Mechanisms by which childhood personality traits infl uence adult health status: educational attainment and healthy behaviors”. Health psychology, 26(1), 121.
References
- Heckman, JJ.,Humphries, J.E.,Urzua, S. y Veramendi, G.(2011). “The Ef ects of Schooling on Labor Market and Health Outcomes”. Unpublished Manuscript. Department of Economics, University of Chicago.
References
- Heckman, J. J., Pinto, R. y Savelyev, P. A. (2012). “Understanding the mechanisms through which an infl uential early childhood program boosted adult outcomes” (No. w18581). National Bureau of Economic Research.
References
- Heckman, JJ. & Stixrud, J. y Urzua, S.,( 2006). “The Ef ects of Cognitive and Noncognitive Abilities on Labor Market Outcomes and Social Behavior,” Journal of La bor Economics, vol. 24(3), pages 411-482, July.
References
- Hogan, J. y Holland, B. (2003). “Using theory to evaluate personality and job-performance relations: a socioanalytic perspective”. Journal of Applied Psychology, 88(1), 100
References
- Judge, T. A., & Hurst, C. (2007). “Capitalizing on one’s advantages: role of core selfevaluations”. Journal of Applied Psychology, 92(5), 1212.
References
- Knudsen, E. I., Heckman, J. J., Cameron, J. L. y Shonkof , J. P. (2006). “Economic, neurobiological, and behavioral perspectives on building America’s future workforce”. Proceedings of the National Academy of Sciences, 103(27), 10155-10162.
References
- Lavy, V. y Schlosser, A. (2007). “Mechanisms and impacts of gender peer ef ects at school (No. w13292)”. National Bureau of Economic Research.
References
- Levin, H. M. (2012). “More than just test scores”. Prospects, 42(3), 269-284.
References
- Lleras, C. (2008). “Do skills and behaviors in high school matter? The contribution of noncognitive factors in explaining dif erences in educational attainment and earnings”. Social Science Research, 37(3), 888-902.
References
- Nyhus, E. K., & Pons, E. (2005). “The ef ects of personality on earnings”. Journal of Economic Psychology, 26(3), 363-384.
References
- OCDE (2011), PISA 2009 at a Glance, OCDE Publishing.
References
- OCDE (2012), PISA 2009 Technical Report, PISA, OCDE.
References
- Poropat, A. E. (2009). “A meta-analysis of the fi ve-factor model of personality and academic performance”. Psychological bulletin, 135(2), 322.
References
- Purcell, K., Rainie, L., Heaps, A., Buchanan, J., Friedrich, L., Jacklin, A., ... y Zickuhr, K. (2012). “How teens do research in the digital world”. Pew Research Center’s Internet & American Life Project.
References
- Roberts, B. W. (2007). “Contextualizing personality psychology”. Journal of personality, 75(6), 1071-1082.
References
- Rosen, J. A., Glennie, E. J., Dalton, B. W., Lennon, J. M. y Bozick, R. N. (2010). “Non cognitive skills in the classroom: New perspectives on educational research”. RTI Press publication
References
- Salgado, J. F. (1997). “The Five Factor Model of personality and job performance in the European Community”. Journal of Applied psychology, 82(1), 30.
References
- Segal, C. (2012). “Working when no one is watching: Motivation, test scores, and economic success”. Management Science, 58(8), 1438-1457.
References
- Villar, A. (2012). “Educación y desarrollo: PISA 2009 y el sistema educativo español”. Estudios BBVA.
References
- Wößmann, L. (2003). “Schooling resources, educational institutions and student performance: the international evidence”. Oxford Bulletin of Economics and Statistics, 65(2), 117-170.

