fedea

Publicación de los resultados de las pruebas estandarizadas externas: ¿Tiene ello un efecto sobre los resultados escolares? by Brindusa Anghel ** Antonio Cabrales *** Jorge Sainz *** Ismael Sanz

Documento de Trabajo 2013-07

September 2013

* FEDEA ** Universidad Carlos III de Madrid. *** Universidad Rey Juan Carlos. **** Universidad Rey Juan Carlos.

Los Documentos de Trabajo se distribuyen gratuitamente a las Universidades e Instituciones de Investigación que lo solicitan. No obstante están disponibles en texto completo a través de Internet: http://www.fedea.es. These Working Paper are distributed free of charge to University Department and other Research Centres. They are also available through Internet: http://www.fedea.es. ISSN:1696-750

Brindusa Anghel FEDEA Antonio Cabrales Universidad Carlos III de Madrid Jorge Sainz Universidad Rey Juan Carlos Ismael Sanz Universidad Rey Juan Carlos Diciembre 2012

Resumen

Estudiamos el efecto de pruebas estandarizadas externas sobre los resultados académicos de los estudiantes. Explotamos el hecho de que sólo una de las 17 regiones españolas empezó realizando y publicando los resultados de las pruebas estandarizadas en 2005 para aplicar una metodología de diferencias en diferencias, usando los resultados del estudio de PISA de 2000 a 2009. A continuación, confirmamos lo obtenido usando métodos de control sintéticos. La utilización de datos de un único país nos permite minimizar los sesgos derivados de diferencias en marcos legales, entornos sociales o culturales. Nuestro análisis econométrico aporta credibilidad a la hipótesis de que este tipo de prueba mejora significativamente los resultados acadé micos. Una novedad clave es que nuestros exámenes no tienen consecuencias académicas para los alumnos, por lo tanto, los efectos tienen que venir directamente del impacto en los profesores y administradores.

Palabras clave: pruebas externas y estandarizadas, PISA, diferencias en diferencias, métodos de control sintéticos.

1. Introducción

Las pruebas estandarizadas externas permiten a la administración supervisar mejor el proceso de educación y el resultado de los colegios. En la mayoría de los países que tienen estas pruebas, los resultados del examen son públicos y pueden ser usados por los padres para tomar decisiones . Esta supervisión más cercana por parte de padres y administradores proporciona una motivación adicional para maestros y directores para mejorar los resultados escolares de sus estudiantes. Este potencial de mejora ha animado a un número de países cada vez mayor a usar los exámenes externos como una herramienta para aumentar la rendición de cuentas en los colegios. El informe de PISA (Programa para la Evaluación de los Estudiantes Inter nacionales) (OCDE, 2010) recoge el hecho de que 22 de los 34 países de la OCDE han introducido exámenes externos estandarizados en la mayoría de sus colegios. Dos países más, Alemania y EE.UU., tienen este tipo de exámenes sólo en algunos de sus “Ländern” y estados. En conjunto, dos terceras partes de los estudiantes de 15 años de la OCDE asisten a escuelas donde hay una prueba externa y estandarizada.

La evidencia empírica existente apoya la hipótesis de que los países con sistemas de exámenes finales externos tienen un mejor comportamiento en las pruebas internacionales de rendimiento de los estudiantes. La primera evidencia de esto fue dada por Bishop (1997) para los estudiantes que realizaron las pruebas IAEP en 1991 de matemáticas, ciencias y geografía y por Bishop (2006) con los resultados de PISA del año 2000. En general, la evidencia existente entre países sugiere que el efecto de los exámenes finales externos en el rendimiento estudiantil podría ser la mitad o más de un nivel equivalente, o entre 20 y 40 por ciento de una desviación estándar de las respectivas pruebas internacionales (OECD, 2010 y 2012 y Hanushek y Woessmann, 2011).

¹ Incluso en los países donde las zonas escolares comprenden una sola escuela, los padres afectados pueden decidir donde vivir según la calidad de la escuela como un factor para su elección

Esta evidencia ha sido criticada por dos motivos. Primero, estos estudios utilizan datos de corte transversal y por lo tanto la introducción de un examen estandarizado por país es endógena, y la heterogeneidad no observable podría sesgar los resultados. Segundo, la introducción de pruebas externas puede dar lugar a “enseñar para el examen”. Sin embargo, algunos estudios han encontrado la misma asociación positiva entre exámenes centrales y los logros de estudiantes dentro de países donde algunas regiones cuentan con sistemas de exámenes externos y otras donde no los tienen². Esta evidencia excluye la posibilidad de que factores a nivel nacional no observables correlacionados con la existencia de los exámenes conducen a una correlación positiva observable entre esos exámenes y los rendimientos de los estudiantes. Además, se ha encontrado que los estudiantes en países con exámenes nacionales externos han alcanzado mejores resultados en otras pruebas internacionales tales como PISA, PIRLS o TIMMS. En la medida en que esas pruebas son de naturaleza distinta a las nacionales, esto puede descartar el hecho de que “enseñar para la prueba” es un factor principal que lleva a unos mejores resultados de los estudiantes en países o regiones con pruebas nacionales externas.

Una dificultad diferente presente en estudios anteriores es que no está muy claro cuales son los canales por medio de los cuales las pruebas finales son efectivas. Esto es porque en la mayoría de los casos estos exámenes tienen consecuencias académicas para los estudiantes, así pues, proporcionan razones para la mejora tanto de los profesionales como de los estudiantes. El presente estudio utiliza una característica especial del sistema educativo español para separar los incentivos del colegio y de los estudiantes, mientras al mismo tiempo se controlan los sesgos que provienen de la heterogeneidad no observable a nivel nacional y posiblemente también del hecho de “enseñar para la prueba”.

El rasgo especial al cual nos referimos antes es que la principal ley de educación española (Ley Orgánica de la Educación, LOE 2006) permite a las regiones llevar a cabo evaluaciones del sistema educativo siempre y cuando los resultados no se utilicen para evaluar a los estudiantes o clasificar colegios (artículo 140). Esto significa que los exámenes españoles no son “Curriculum-Based External Exit Examination (CBEEE)” como definido por Bishop (1997) que significa examen externo final basados en el plan de estudios, así pues dichos exámenes deberían “ofrecer señales de los logros del alumno que tengan consecuencias reales para el alumno y definan los avances de acuerdo a un estándar externo, no en relación con otros estudiantes en el aula o en el colegio”. Esto significa que los efectos de tales exá- menes en España, en su caso, deban notarse solo directamente en cambios en incentivos de los colegios, aunque al final probablemente puedan tener un impacto en el esfuerzo de los estudiantes.

² Ver, e.g. Bishop (1997) para provincias canadienses, Jürges et al. (2005) y Woessman (2010) para Alemania, y Bishop et al. (2001), para EE.UU.

La Comunidad de Madrid introdujo una prueba estándar externa, llamada “prueba de Conocimientos y Destrezas Indispensables” (también conocida por sus siglas como prueba CDI) en el año académico 2004/05. La nota alcanzada por los estudiantes en este examen no tiene “consecuencias académicas reales” para la mayoría de los estudiantes, por lo que no puede ser considerada un CBEEE³. De modo que los efectos de esta iniciativa irán necesariamente de forma directa a través sólo de cambios en la motivación de los profesores. La Comunidad de Madrid es también la única que publica y pone a disposición de la opinión pública los resultados medios sobre la prueba externa en cada una de las escuelas³.

Todas las regiones en España operan bajo el mismo marco legal que regula los principios, objetivos y la organización de los diferentes niveles escolares (pre-primaria, primaria, secundaria obligatoria, post secundaria obligatoria), además de aumentar al 65% (55% en regiones históricas) los contenidos y asignaturas estudiadas. Por lo tanto, junto con el importe de la financiación pública de los colegios, los cuales podemos controlar, la otra principal diferencia observable en educación entre regiones españolas es la aparición en el período de estudio de este examen estandarizado externo en Madrid cuyos resultados son publicados.

³ Un estudiante con buenas notas en la educación secundaria obligatoria y una buena nota en la prueba CDI obtiene un certificado con mérito o con distinción, en lugar de solo un certificado, pero esto no tiene ninguna implicación para admisiones a escuelas después de la educación obligatoria, o para becas, tampoco hay evidencia de que los directores tengan en cuenta esas distinciones. Los estudiantes con notas realmente extraordinarias (solo 25 por año en una región con más de 50.000 estudiantes en el año pasado en educación secundaria obligatoria) pueden obtener un Premio Extraordinario que consiste en un premio en metálico de 1.000 euros y un viaje a un “destino cultural”.

⁴ Otras regiones tienen pruebas externas estandarizadas donde todos los colegios son evaluados, pero Madrid es la única que publica los resultados.

Esta característica nos permite llevar a cabo un análisis de diferencias en diferencias (“diff-in-diff”) comparando los resultados de PISA de la región analizada (Madrid) antes y después de que la prueba CDI fuera introducida en el resto de Comunidades españolas antes y después del análisis. Este enfoque de diferencias en diferencias nos permite controlar los factores no observables invariantes en el tiempo que afectan a Madrid. Al trabajar con regiones del mismo país también excluimos algunos efectos no observables que aparecen en estudios entre países con diferentes legislaciones y culturas.

El hecho de que se trata de un solo país también nos permite aplicar los nuevos métodos de inferencia de control sintético para estudios de casos comparativos propuestos por Abadie y Gardeazabal (2003) y Abadie et al. (2010). Usamos una combinación de otras regiones españolas para construir una región de control sintético, la cual imita las características importantes de la educación de Madrid antes de la introducción de la prueba CDI. La evolución resultante de la educación subsiguiente a esta situación hipotética en Madrid sin CDI es comparada con la experiencia real de Madrid. La idea detrás del enfoque de control sintético es que una combinación de unidades a menudo proporciona una mejor comparación para la unidad expuesta a la intervención que cualquier unidad sola. La transparencia y la protección contra la extrapolación son dos características atractivas del método de control sintético relacionadas con los métodos de regresión tradicionales.

Nuestros resultados también están más protegidos que otros de la crítica de que son el resultado de “enseñar para el examen”. Esto se debe a que nuestra medida del rendimiento, es decir, los resultados en el examen de PISA, tienen en cierto modo objetivos distintos y miden cosas diferentes que el examen CDI en cuyos efectos estamos interesados. Las preguntas del examen CDI de Madrid evalúan el conocimiento y están directamente relacionadas con el material visto en clases de Lengua y Matemáticas durante el curso académico. Por el contrario, las preguntas del examen de PISA (llamado estímulo) están más relacionadas con procesos cognitivos (el dominio de los procesos, el entendimiento de los conceptos y la habilidad de actuar o funcionar en varias situaciones dentro de cada dominio), además de cómo usar el conocimiento en contextos particulares. Esto es, la evaluación de PISA está más relacionada con competencias mientras que el CDI de Madrid está más relacionado con el conocimiento.

El artículo se encuentra organizado de la siguiente manera. La Sección 2 describe con cierto detalle la estructura institucional y la prueba CDI externa y estándar. La Sección 3 describe los datos. La Sección 4 trata sobre la metodología econométrica y contiene los principales resultados del artículo. La Sección 5 muestra los resultados de los métodos de control sintéticos. En la Sección 6 se concluye.

2. Estructura Institucional

El gobierno de la Comunidad de Madrid ha llevado a cabo desde el año académico 2004/2005 un examen externo estandarizado para todos los estudiantes de sexto grado en la región, quienes están por lo tanto en el último año de escuela primaria (en torno a los 11-12 años de edad). Tres años más tarde, la región introdujo otro examen externo y estandarizado en el noveno grado (el tercer año de la escuela secundaria, el cual es el último año académico común para los estudiantes). Estos exámenes son obligatorios para todos los colegios primarios y secundarios (públicos y privados). El examen mide lo que las autoridades consideran conocimiento básico en matemá ticas (ejercicios y problemas) y en lengua (dictado, lectura, conocimiento general y preguntas relacionadas con un texto).

Nuestro objetivo es evaluar si la introducción de estos exámenes ha mejorado los resultados académicos de los estudiantes en Madrid. Utilizamos como medida de rendimiento de los estudiantes las notas de los exámenes realizados por el Programa para la Evaluación Internacional de Estudiantes (PISA) de la OCDE. PISA analiza las capacidades básicas en lectura, matemáticas y ciencias de estudiantes de 15 años en países miembros de la OCDE y países/economías asociadas a través de encuestas trienales. La medida de la escala global de lectura está basada en un promedio de los países de la OCDE establecida en 500 en PISA 2000, con una desviación estándar de 100. PISA llevó a cabo sus primeras pruebas en 2000 considerando la lectura como un área de evaluación importante, y proporcionando un resumen de las habilidades en matemáticas y ciencias. En 2003, las matemáticas fueron el área principal y en 2006 fue la ciencia. En 2009, PISA empezó otro ciclo, centrándose de nuevo en la lectura. Cuando un área es el principal objetivo del examen, dos terceras partes del tiempo del examen está dedicado a dicho área, lo que permite su análisis más profundo. Dado que tanto PISA

2000 como PISA 2009 se centraron en la lectura, es posible obtener comparaciones muy detalladas de cómo el desempeño del estudiante en esa área cambió durante ese tiempo. Comparaciones en el tiempo de las materias de matemáticas y ciencias son algo más limitadas.

En la prueba de PISA, cada estudiante participante tarda dos horas en realizar las tareas con lápiz y papel de lectura, matemáticas y ciencias. La evaluación incluye tareas requiriendo a los estudiantes elaborar sus propias respuestas además de incluir preguntas de elección múltiple. Asimismo, los estudiantes también responden a una encuesta que tardan aproximadamente 30 minutos en completar y que incluye preguntas sobre su entorno personal.

3. Descripción de los Datos

El primer examen CDI tuvo lugar en el año académico 2004/05, por lo que consideramos éste como el año en el que la evaluación (la introducción de un examen estandarizado) fue por primera vez implementada. Por esta razón, comparamos los resultados de los estudiantes de la región de Madrid en (i) Lectura, utilizando PISA 2000 y PISA 2009 y (ii) en Matemáticas, uti lizando PISA 2003 y PISA 2009⁵.

Nuestra primera metodología para el análisis será un método de regresión de diferencias en diferencias. Construimos el tratamiento y los grupos de control de la siguiente forma: el grupo de tratamiento antes del tratamiento (la introducción de la prueba CDI) es el grupo de estudiantes de la Comunidad de Madrid que realizó el examen PISA en 2000 de lectura o en 2003 de matemáticas, el grupo de tratamiento después del tratamiento es el grupo de estudiantes que realizó el examen de PISA en 2009, y el grupo de control está formado por estudiantes de otras regiones de España antes del trata miento (PISA 2000 o 2003) y después (PISA 2009).

El cuestionario de PISA nos permite controlar por varias características relacionadas con el estudiante, la familia y el colegio. Las características del estudiante y de la familia son: sexo, edad, nacionalidad (inmigrante o español), nacionalidad de los padres, idiomas diferentes al castellano hablados en casa, estructura de la familia (familia monoparental, familia nuclear, familia mixta), tiempo de aprendizaje en horas por semana dedicado a la lectura y las matemáticas (horas a la semana de clases de lengua o matemáticas), índice del estatus económico, social y cultural (índice ESCS) calculado por la

⁵ No vamos a utilizar las notas de PISA en ciencias, ya que el primer año en el que la materia de ciencias fue el principal objetivo fue 2006 y esto es después de aplicar nuestro análisis.

OCDE⁶. Las características del colegio son: tipo de escuela (pública, concertada o privada), ubicación de la escuela (pueblo, ciudad pequeña, ciudad, urbe o urbe grande), ratio estudiante/profesor, tamaño del colegio, si el colegio utiliza evaluaciones para comparar con el rendimiento del distrito/nacional, si el colegio utiliza evaluaciones para hacer juicios sobre la efectividad del profesor, proporción de niñas en el colegio, promedio del colegio respecto al índice ESCS, porcentaje de alumnos inmigrantes en la escuela, y el tiempo medio de aprendizaje en la escuela en lectura y matemáticas.

Las siguientes tablas contienen estadísticas descriptivas de estos cuatro grupos, para las características más relevantes de los estudiantes y de los colegios. La Tabla 1 describe el tratamiento y el control de grupos en PISA 2000 y en PISA 2009 en lectura y la Tabla 2 describe los dos grupos en PISA 2003 y en PISA 2009 en matemáticas.

⁶ El índice PISA de estatus económico, social y cultural (ESCS) se derivó de los siguientes tres índices: mayor nivel de ocupación de los padres, mayor nivel de educación de los padres en años de enseñanza según ISCED y las posesiones del hogar (OECD, 2010).

Tabla 1: Estadísitcas Descriptivas de estudiantes y colegios en PISA 2000 y PISA 2009 (Lectura)

Individual characteristics

Las dos tablas muestran una evolución muy similar de las características de los alumnos y de los colegios cuando comparamos PISA 2000 y PISA 2009 en lectura y cuando comparamos PISA 2003 y PISA 2009 en matemáticas.

Si comparamos el grupo de tratamiento y el grupo de control antes y después del cambio en lectura, podemos ver tendencias que son muy similares entre ambos grupos: la proporción de niñas y estudiantes provenientes de familias monoparentales disminuye ligeramente mientras que la edad, los inmigrantes, el tiempo de aprendizaje, y el índice de estatus económico, social y cultural (ESCS) aumenta. Esto es consistente con el hecho de que España ha experimentado una gran afluencia de inmigrantes en la última década y ha convergido hacia el PIB per cápita de la UE y la OCDE, un proceso que desde 2009 se ha invertido⁷. Sin embargo, el aumento en la proporción de inmigrantes entre 2000 y 2009 fue mayor en la Comunidad de Madrid (desde el 3% al 16%) que en el resto de las Comunidades (desde el 2% al 9%). Además, la proporción de estudiantes hablando idiomas extranjeros diferentes al espa ñol aumentó en Madrid durante el período (desde el 1% al 5%) mientras que permaneció constante en el grupo de control (17% frente al 16%).

Si nos fijamos en las características de las escuelas, observamos una disminución en el número de escuelas privadas y un aumento en el número de escuelas concertadas en el período 2000-2009. Esto podría ser debido al hecho de que algunos colegios privados han solicitado y logrado de la Administración Pública su transformación en colegios concertados, lo que disminuye las tasas que pagan las familias de los alumnos y evita que desciendan las inscripciones en esos colegios. Sin embargo, los datos oficiales de la Oficina de Estadística del Ministerio Español de Educación, Cultura y Deporte muestra que el aumento de los alumnos de las escuelas concertadas procede de una reducción en el número de estudiantes en los colegios públicos. Esto contrasta con la muestra de PISA, la cual muestra que el aumento de los estudiantes en colegios concertados procede de un descenso en los colegios privados. Esto es, la cobertura de PISA en las escuelas privadas disminuyó desde 2000 a 2009 mientras que la cobertura de escuelas públicas aumentó. Esto podría ser debido al hecho de que la muestra de las escuelas en las ciudades o grandes urbes en 2009 disminuyó mientras que en ciudades pequeñas y pueblos aumentó.

⁷ España pasó de menos del 1% de inmigrantes en la población a casi el 10% durante este período. El PIB per cápita español en términos PPA aumentó desde el 97% del correspondiente al de la UE-27 en 2000 al 103% en 2009 (Source: Eurostat).

Estudiante/profesor y el ratio del tamaño de la escuela disminuyó a lo largo de los dos períodos. También, observamos que el porcentaje de colegios que declararon que llevaron a cabo evaluaciones utilizadas para comparar el colegio con el rendimiento del distrito/nacional o evaluaciones utilizadas para hacer juicios sobre la efectividad del profesor aumentó durante los dos pe ríodos tanto en el grupo de control como en el de tratamiento. En resumen, las estadísticas descriptivas muestran que las tendencias que observamos cuando comparamos el grupo de tratamiento y de control son similares.

El grupo de control y de tratamiento tienen también patrones similares en PISA 2003 y en PISA 2009, que son los años que estamos utilizando para el análisis de matemáticas. Las únicas excepciones son la proporción de niñas y, sobre todo, el índice ESCS. En ambos casos, el indicador de la Comunidad de Madrid aumentó mientras que el del grupo de control disminuyó ligeramente.

4. Metodología Econométrica y Resultados

Con el fin de estimar el impacto de la introducción de un examen estandarizado en la Comunidad de Madrid sobre el rendimiento de los estudiantes, proponemos un enfoque de diferencias en diferencias. Utilizamos como resultado del desempeño de los estudiantes, sus notas presentadas por PISA. Éstas se calculan usando métodos de imputación, designados los valores plausibles (OCDE, 2009). Así, para un año dado, la nota del estudiante i en el colegio j viene dada por:

\[y _ {i j} = \alpha_ {0} + a _ {1} \text {Madrid} _ {j} + a _ {2} \text {PISA2009} + \delta \text {Madrid} _ {j} \cdot \text {PISA2009} + \beta x _ {i} + \beta x _ {j} + u _ {i} + \varepsilon_ {i j}\]

donde son características observables de los estudiantes y sus familias des critas anteriormente, son características observables de los colegios, es una variable dummy para las escuelas ubicadas en la Comunidad de Madrid (es decir, toma el valor 1 para el grupo tratado), es una variable dummy para los estudiantes que realizaron el examen de PISA en 2009 (después de la introducción del examen estandarizado en la Comunidad de Madrid), indica si la escuela j está en la Comunidad de Madrid y participa en el examen de PISA de 2009 (es decir, toma el valor 1 para el grupo tratado después del tratamiento), son características no observables de los estudiantes, tales como esfuerzo o capacidad, son características no observables del colegio, como calidad del director y de los maesteos, y es un shock aleatorio.

Nuestro parámetro de interés es δ, correspondiente a la variable ,que coincide con la introducción de un examen estandarizado (el examen CDI) en la Comunidad de Madrid.

Las tablas 3 y 4 de abajo muestran los resultados de la estimación de diferencias en diferencias para la lectura, usando las muestras de los estudiantes de España en PISA 2000 y PISA 2009, y para matemáticas, usando las muestras de estudiantes de España en PISA 2003 y PISA 2009. Dado que la base de datos de PISA proporciona cinco valores plausibles, que se asignan a cada estudiante, usamos la metodología propuesta por la OCDE para el cálculo de los coeficientes de regresión y sus respectivos errores estándar. Según la OCDE (2009), los análisis estadísticos deberían comportarse independientemente en cada uno de estos cinco valores plausibles y los resultados deberían ser agregados para obtener las estimaciones finales de las estadísticas y sus errores estándar respectivos.

Fuente: 1. Errores estándar en paréntesis. * significativo al 10%; ** significativo al 5%; *** significativo al 1% 2. Categorías base para dummies: varón, estudiante de España, madre de España, padre de España, familia nuclear, colegio público, colegio en pueblo.

Fuente: 1. Errores estándar en paréntesis. * significativo al 10%: ** significativo al 5%: *** significativo al 1% 2. Categorías base para dummies: varón, estudiante de España, madre de España, padre de España, familia nuclear, colegio público, colegio en pueblo.

La primera columna de las tablas muestra los resultados de la estimación sin variables de control. Este sería el efecto bruto promedio de nuestro tratamiento. La segunda columna incluye características individuales de los estudiantes y la tercera y la cuarta columna agregan gradualmente características de los colegios.

Cuando estimamos diferencias en diferencias sin variables de control, el coeficiente para el tratamiento no es estadísticamente significativo para la lectura ni para matemáticas.

Sin embargo, los resultados de la estimación de diferencias en diferencias para la lectura en la tabla 3, columnas (2)-(4), muestran un efecto positivo y estadístico significativo de nuestro tratamiento en las notas de PISA. En la segunda columna, cuando controlamos por las características individuales de los estudiantes, el coeficiente de la variable de tratamiento es positivo y significativo⁸. La inclusión de las características de la escuela en las columnas (3) y (4) no cambia este resultado. Encontramos una mejora relativa en las notas de PISA en lectura en la Comunidad de Madrid entre 2000 y 2009 de una magnitud de 14 a 17 puntos de PISA que no puede explicarse por variables observables. En 2009, España estaba significativamente por debajo de la media de la OCDE en lectura en 12 puntos. Si los resultados son totalmente explicados por la introducción y la publicación de exámenes externos, esto podría implicar que la generalización de esos exámenes aumentaría el nivel de España en lectura sobre la media de la OCDE.

En la tabla 4 se llevan a cabo las mismas estimaciones pero para matemáticas y utilizando los resultados de PISA 2003 y PISA 2009. En este caso, no encontramos ningún impacto de nuestro tratamiento en el rendimiento de los estudiantes. El coeficiente cambia de positivo a negativo de una especificación a otra y no es estadísticamente significativo en ninguna de ellas. La falta de significatividad podría explicarse en parte por el hecho de que estamos utilizando como rendimiento del estudiante las puntuaciones de PISA en una materia, la cual fue objeto del examen de PISA sólo en 2003 y no en 2009, por lo que las comparaciones no son del todo válidas.

Los datos parecen indicar que algo diferente ha ocurrido en Madrid entre 2000 y 2009 con respecto a otras regiones españolas. Una hipótesis lógica en este contexto es que la introducción y la publicación de los resultados del examen estandarizado toma un papel importante en este cambio. Es muy difícil ofrecer una prueba definitiva con estos datos, pero podemos descartar algunas explicaciones alternativas.

⁸ En una especificación adicional, quitamos el índice ESCS, que es un índice agregado del perfil socioeconómico de los estudiantes y controlamos por separado la situación del mercado laboral y el nivel de educación de la madre y del padre. Nuestros resultados no cambiaron significativamente. Estos resultados están disponibles bajo petición.

El gasto público en educación por alumno afecta hasta cierto punto a los rendimientos de los estudiantes (OCDE, 2010). El Ministerio español de Educación proporciona datos sobre gasto público en educación por alumno y por regiones a partir de 2004. Durante el período 2004-2009, Madrid aumentó el gasto público en educación por alumno en un 21%, menos que la media española (33%). Más importante aún, Madrid ha sido la región que menos ha aumentado el gasto en educación por alumno de entre las 17 regiones españolas. Por lo tanto, el gasto en educación no puede explicar el mejor comportamiento de las puntuaciones de PISA en Madrid.

España recibió una gran cantidad de inmigrantes entre 2000 y 2009 (los in migrantes pasaron del 2% al 12% de la población durante el período, según el Instituto Nacional de Estadística, INE), y Madrid fue un importante lugar de destino (tiene aproximadamente el 18% de los inmigrantes y sobre el 13% de la población). Nuestros datos pueden identificar si el estudiante es inmigrante y si el número de inmigrantes varía bastante entre colegios cuyo efecto es probablemente captado a nivel escolar. Este es también un período de rápido crecimiento económico, el cual no es igual entre regiones, pero el índice ESCS tiene suficiente información sobre esta variable a nivel individual para contro lar adecuadamente el efecto de los datos económicos. Otros factores afectan a los colegios más directamente. Madrid tiene un mayor número de colegios concertados que otras regiones. Madrid también ha aumentado la proporción de colegios concertados pero su tendencia ha sido similar a la del resto de Comunidades, si acaso un poco más pequeña. En cualquier caso, ya que la identidad de las escuelas es observable su efecto puede ser controlado.

La otra reforma institucional importante en los colegios de Madrid en este perío do, más allá de la introducción y publicación de exámenes externos, es la introducción de colegios bilingües en la región, donde inglés es un medio de enseñanza durante al menos una tercera parte del tiempo⁹. Aunque esto es claramente una importante reforma, se ha llevado a cabo sólo gradualmente a partir del primer grado, y los alumnos mayores expuestos al programa ahora tienen 13 años. Además, Anghel, Cabrales and Carro (2012) han encontrado efectos significativos del programa tanto en lengua como en matemáticas, y posiblemente un efecto negativo en las ciencias sociales y naturales (las materias enseñadas en inglés).

⁸ Estudiantes no sólo estudian inglés como lengua extranjera sino que también algunas asignaturas (al menos cien cias, historia y geografía) son impartidas en inglés. Lengua española y matemáticas se imparten sólo en español.

En esta sección, utilizamos la metodología propuesta por Abadie y Gardeazabal (2003) y Abadie et al. (2010), que aplica métodos de control sintéticos para los estudios de casos comparativos. Su metodología está motivada por el hecho de que, en estudios de casos comparativos, el investigador se ve obligado a encontrar similitudes entre unidades tratadas y no tratadas utilizando características observables, algo que a menudo es difícil en la práctica. Para resolver este problema proponen construir una combinación de unidades con fines comparativos, ya que la combinación normalmente se parecerá a la unidad tratada mucho mejor que cualquier unidad sola.

En nuestro caso construimos una combinación de regiones españolas que se asemeja a la región de Madrid en términos de varias características antes del tratamiento y observamos la evolución de esta combinación en ausencia del tratamiento. Esta combinación se denomina grupo de control sintético. Se construye buscando una combinación ponderada de las regiones españolas no tratadas, en términos de diferentes variables de predicción, las cuales son la media de todo el período antes de la intervención. Según Abadie et al. (2010) “debido a que la elección del control sintético no requiere acceso a los resultados posteriores a la intervención, el método de control sintético permite a los investigadores decidir sobre el diseño del estudio sin conocer cómo esas decisiones afectarán a las conclusiones de sus estudios”.

Para construir el grupo de control sintético (el Madrid sintético), tenemos que agregar los datos a nivel del colegio y después a nivel regional. El año en el que el examen estandarizado CDI fue llevado a cabo en la Comunidad de Madrid fue 2004/05, por lo tanto tenemos dos años de datos de PISA anteriores al tratamiento (PISA 2000 y 2003). PISA 2006 y PISA 2009 será nuestro período posterior al tratamiento. El Madrid sintético se construye como una media ponderada del grupo de regiones no tratadas. Este grupo incluye 15 regiones¹⁰. Las ponderaciones se eligen de manera que el sintético de Madrid resultante se parezca a la verdadera región de Madrid lo máximo posible en términos de los valores de un conjunto de predicciones del rendimiento de los estudiantes antes de la introducción del examen CDI, esto es, antes del tratamiento.

Incluimos en la lista de las variables de predicción para calcular los pesos las siguientes variables: el ratio profesor/estudiante, el tamaño del colegio, el índice del colegio ESCS, la proporción de inmigrantes en el colegio y la proporción de repetidores en el colegio. Todas las variables son medias a nivel regional y durante el período antes de la intervención (2000 y 2003).

Utilizando estas variables de predicción construimos el Madrid sintético como la combinación convexa de las regiones, que se parezca más a la región de Madrid en el período antes del tratamiento. La Tabla 5 muestra las características de la región de Madrid real, de la región sintética de Madrid y del grupo de las regiones (la media de las 15 regiones las cuales forman el grupo), en términos de las variables de control. Las cifras demuestran que el Madrid sintético construido es mucho más parecido al real, tanto en lectura como en matemáticas, que el promedio simple de las regiones que forman el grupo. En lectura, el ratio estudiante/profesor en la región real de Madrid es 16,18 y en el Madrid sintético es 15 (la media del grupo de control es 14,03). La media del tamaño del colegio es 933,74 en el Madrid real y 852,74 en el Madrid sintético (el promedio del grupo es 720,08). La media del colegio del índice ESCS es -0,16 en el Madrid real y -0,19 en el Madrid sintético (el promedio del grupo de control es -0,31). En términos del porcentaje de repetidores encontramos que la región sintética y el grupo de control son ambos bastante similares a la región de Madrid real. Finalmente, hay una diferencia sustancial en el porcentaje de estudiantes inmigrantes entre la región real de Madrid y la sintética. Por otra parte, encontramos también afinidades entre el Madrid sintético y el real en los resultados de PISA de los estudiantes.

¹⁰ Hay 17 regiones (incluyendo la región de Madrid) y dos ciudades autónomas (Ceuta y Melilla) en España. Tuvimos que quitar Baleares y Ceuta y Melilla por falta de datos, por lo que esto nos deja con 15 Comuni dades o regiones.

Fuente: Nota: Todas las variables, excepto las calificaciones de PISA , son la media a nivel regional para el período anterior al tratamiento (2000 y 2003).

La Tabla 6 proporciona los pesos de las 15 regiones que forman el grupo en el Madrid sintético. Muestra que el rendimiento de los estudiantes en la región de Madrid está mejor aproximada por una combinación de Aragón, Asturias y las Islas Canarias en lectura y de Aragón y las Islas Canarias en matemáticas. El resto de regiones en el grupo se les asigna ponderaciones cero.

Los próximos dos gráficos muestran la evolución de la región de Madrid real y de la sintética en 2000 y 2003 (los años antes de la intervención) y en 2006 y 2009 (los años posteriores a la intervención), por separado la lectura y las matemáticas.

Gráfico 1: La evolución del Madrid real y del Madrid sintético en lectura en 2000, 2003, 2006 y 2009

Para la lectura, el gráfico muestra que el Madrid sintético aproxima muy bien la evolución del Madrid real en el período antes del tratamiento. Después del tratamiento, el cual nos lleva a la introducción del examen estanda rizado CDI en la región de Madrid, en 2006 y 2009, la evolución del grupo de control sintético es diferente que la del grupo de tratamiento. En particular vemos que, aunque tanto la región de Madrid real como la sintética han tenido una tendencia creciente después de 2006, el Madrid sintético está comportándose peor que la región de Madrid real: en 2009, la diferencia del rendimiento es 17,24 puntos PISA a favor de la región de Madrid real. Esta diferencia podría atribuirse a la introducción de un examen estandarizado en la región de Madrid, al menos con la información que podemos observar.

Esto confirma, incluso cuantitativamente, los resultados que obtuvimos previamente con la metodología de diferencias en diferencias, donde encontramos que controlando las características de la escuela, la región de Madrid mejoró su rendimiento relativo a otras regiones de España en el período de 2000 a 2009, entre 14 y 17 puntos PISA. La principal publicación sobre educación de la OCDE, Panorama de la Educación, llega a una conclusión similar en la última edición de 2012: “Los estudiantes en los sistemas escolares que utilizan pruebas externas basadas en estándares obtuvieron 16 puntos más de media entre los países de la OCDE, que los estudiantes en sistemas escolares donde no se usan esas pruebas (Education at a Glance, 2012, página 527). Nuestra estimación es un poco más pequeña que el rango encontrado en la literatura por Hanushek y Woessmann (2011) del 20% al 40% de la desviación estándar (20 a 40 puntos de PISA).

Para matemáticas, sin embargo, la metodología del grupo de control sintético no funciona bien. El Madrid sintético no se aproxima muy bien a la evolución del Madrid real en 2000 y 2003, el período anterior al tratamiento. En el período después del tratamiento, el Madrid sintético está funcionando algo mejor que el Madrid real. No obstante, la estimación de diferencias en diferencias no mostró ningún impacto estadístico en la materia de matemáticas.

Como prueba de robustez, introducimos otras variables entre las variables de predicción que se han especificado anteriormente. En particular, inclui mos el porcentaje medio de niñas en el examen PISA y la proporción media de escuelas públicas, concertadas y privadas. Nuestros resultados no cambian significativamente.

El resultado diferente para lectura y para matemáticas podría explicarse por el hecho de que la lectura fue el principal objetivo de la prueba de PISA en 2000 y 2009, mientras que las matemáticas fueron el principal objetivo en 2003 pero no en 2009. Ser el objetivo del estudio significa, como se indicó en el apartado de Estructura Institucional, que dos terceras partes del estudio se dedican a esta materia, mientras que la otra tercera parte se divide por igual entre las otras dos áreas. Este análisis más detallado en una de las materias permite desagregar los rendimientos de los estudiantes por sub-áreas de la materia elegida. En 2009, PISA calculó en detalle los niveles de competencia de los estudiantes en varios aspectos de la lectura, tales como la habilidad de los estudiantes para acceder y conseguir datos, la incorporación y la interpretación de los mismos, y la reflexión y evaluación de la información que ellos obtienen por medio de la lectura. También examinó la capacidad de los estudiantes para leer y entender textos continuos y discontinuos. Por el contrario, PISA 2009 sólo calculó un rendimiento agre gado para matemáticas y ciencias. Por lo tanto, el rendimiento en lectura es una estimación más precisa que el de matemáticas en 2009 mientras que en 2012 será al revés.

Somos conscientes de las limitaciones de nuestros datos en la realización de la estimación usando métodos de control sintéticos. Una de las principales limitaciones es que debido a que el estudio de PISA empezó en 2000 y es llevado a cabo cada tres años, tenemos solo dos años de datos antes de la intervención (2000 y 2003), lo que complica el cálculo de los pesos de las regiones para el grupo de control sintético. El resultado en matemáticas, donde el Madrid sintético no es tan similar al Madrid real en el año anterior al tratamiento puede estar en parte explicado por este hecho.

6. Conclusiones

Este trabajo trata de identificar si la implementación y la publicación de los resultados de pruebas externas y estandarizadas podrían tener algún impacto en el rendimiento de los estudiantes. Utilizamos el hecho de que en la Comunidad de Madrid se realizó un examen estandarizado por primera vez (y sus resultados se publicaron) en 2004/2005 para todos los alumnos de 6º de primaria, mientras que en otras regiones de España, no existía dicho examen. Empleando un enfoque de diferencias en diferencias encontramos un efecto positivo en la lectura del orden de 14 a 17 puntos PISA. El método de control sintético conduce a un efecto parecido incluso en términos cuantitativos. Nuestros resultados están en línea con las investigaciones previas en el área, pero nuestro estudio proporciona una innovación importante, ya que los exámenes externos en Madrid no tienen consecuencias para los estudiantes, por lo que el efecto tiene que provenir del impacto en maestros y directores de las escuelas.

Hemos identificado un posible efecto en lengua, pero no en matemáticas. Esto es sorprendente, ya que muchos programas educativos han observado efectos que son mayores en matemáticas que en lengua (véase por ejemplo Abdulkadiroglu et al. 2011). Una posible explicación puede venir del diferente énfasis que tiene el plan de estudios en los niveles educativos del colegio primario en España con respecto a otros países, pero esta idea merece una investigación más a fondo, la cual aplazamos a futuros estudios.

7. Bibliografía

References

1. • Abadie, Alberto y Javier Gardeazabal (2003), “The Economic Costs of Conflict: A Case Study of the Basque Country”, The American Economic Review, 93 (1), 113-132

References

1. • Abadie, Alberto, Alexis Diamond y Jens Hainmueller (2010), “Synthetic Control Methods for Comparative Case Studies: Estimating the Effect of California’s Tobacco Control Program”, Journal of the American Statistical Association, 105 (490), 493-505

References

1. • Abdulkadiroglu, Attila, Joshua Angrist, Susan M. Dynarski, Thomas J. Kane, y Parag A. Pathak (2011), “Accountability and Flexibility in Public Schools: Evidence from Boston’s Charters and Pilots,” The Quarterly Journal of Economics, vol. 126, pág. 699–748.

References

1. • Anghel, Brindusa y Antonio Cabrales (2010), “The Determinants of Success in Primary Education in Spain,” Documento de trabajo FEDEA, Nº. 2010-20.

References

1. • Anghel, Brindusa, Antonio Cabrales y Jesús M. Carro (2012), “Evaluating a bilingual education program in Spain: the impact beyond foreign langua ge learning”, CEPR Documento de trabajo, Nº. 8995.

References

1. • Bishop, John H. (1997), “The Effect of National Standards and Curriculum-Based Examinations on Achievement”, American Economic Review, vol. 87 (2), pág. 260-264.

References

1. • Bishop John H. (2006), “Drinking from the fountain of knowledge: student incentive to study and learn,” In: Hanushek EA, Welch F (eds) Handbook of the economics of education.

References

1. North-Holland, Amsterdam

References

1. • Bishop, John H., Ferran Mane, Michael Bishop y Joan Moriarty (2001), “The Role of End-of-Course Exams and Minimum Competency Exams in Standards-Based Reforms,” Brookings Papers on Education Policy vol. 4, pág. 267-345.

References

1. • Hanushek, Eric y Ludger Woessmann (2011): “The Economics of International Differences in Educational Achievement”, in Hanushek, E, Machin, S. and Woessmann, L. (Eds.) Handbook of the Economics of Education, vol. 3, pág. 89-200, Amsterdam: North Holland

References

1. • Jürges, Hendrik, Kerstin Schneider y Felix Büchel (2005), “The Effect Of Central Exit Examinations On Student Achievement: Quasi-Experimental Evidence From TIMSS Germany”, Journal of the European Economic Association, vol. 3(5), pág. 1134-1155, 09.

References

1. OECD (2010), “PISA 2009 Results: What Makes a School Successful?” Volume IV.

References

1. • OECD (2009), “PISA Data Analysis Manual: SPSS Second Edition”.

References

1. • Wößmann, Ludger (2010), “Institutional Determinants of School Efficiency and Equity: German States as a Microcosm for OECD Countries”, Jahrbücher für Nationalökonomie und Statistik vol. 230 (2), pág. 234–270,

References

1. 2013-07: Publicación de los resultados de las pruebas estandarizadas externas: ¿Tiene ello un efecto sobre los resultados escolares?, Brindusa Anghel, Antonio Cabrales, Jorge Sainz e Ismael Sanz.

References

1. 2013-06: “DYPES: A Microsimulation model for the Spanish retirement pension system”, F. J. Fernández-Díaz, C. Patxot y G. Souto.

References

1. 2013-05: “Vertical differentiation, schedule delay and entry deterrence: Low cost vs. full service airlines”, Jorge Validoa, M. Pilar Socorroa y Francesca Medda.

References

1. 2013-04: “Dropout Trends and Educational Reforms: The Role of the LOGSE in Spain”, Florentino Felgueroso, María Gutiérrez‐Domènech y Sergi Jiménez‐Martín.

References

1. 2013-03: “Understanding Different Migrant Selection Patterns in Rural and Urban Mexico”, Simone Bertoli, Herbert Brücker y Jesús Fernández-Huertas Moraga.

References

1. 2013-02: “Understanding Different Migrant Selection Patterns in Rural and Urban Mexico”, Jesús Fernández-Huertas Moraga.

References

1. 2013-01: “Publicizing the results of standardized external tests: Does it have an effect on school outcomes?, Brindusa Anghel, Antonio Cabrales, Jorge Sainz y Ismael Sanz.

References

1. 2012-12: “Visa Policies, Networks and the Cliff at the Border”, Simone Bertoli, Jesús Fernández-Huertas Moraga.

References

1. 2012-11: “Intergenerational and Socioeconomic Gradients of Child Obesity”, Joan Costa-Fonta y Joan Gil.

References

1. 2012-10: “Subsidies for resident passengers in air transport markets”, Jorge Valido, M. Pilar Socorro, Aday Hernández y Ofelia Betancor.

References

1. 2012-09: “Dual Labour Markets and the Tenure Distribution: Reducing Severance Pay or Introducing a Single Contract?”, J. Ignacio García Pérez y Victoria Osuna.

References

1. 2012-08: “The Influence of BMI, Obesity and Overweight on Medical Costs: A Panel Data Approach”, Toni Mora, Joan Gil y Antoni Sicras-Mainar.

References

1. 2012-07: “Strategic behavior in regressions: an experimental”, Javier Perote, Juan Perote-Peña y Marc Vorsatz.

References

1. 2012-06: “Access pricing, infrastructure investment and intermodal competition”, Ginés de Rus y M. Pilar Socorro.

References

1. 2012-05: “Trade-offs between environmental regulation and market competition: airlines, emission trading systems and entry deterrence”, Cristina Barbot, Ofelia Betancor, M. Pilar Socorro y M. Fernanda Viecens.

References

1. 2012-04: “Labor Income and the Design of Default Portfolios in Mandatory Pension Systems: An Application to Chile”, A. Sánchez Martín, S. Jiménez Martín, D. Robalino y F. Todeschini.

References

1. 2012-03: “Spain 2011 Pension Reform”, J. Ignacio Conde-Ruiz y Clara I. Gonzalez.

References

1. 2012-02: “Study Time and Scholarly Achievement in PISA”, Zöe Kuehn y Pedro Landeras.

References

1. 2012-01: “Reforming an Insider-Outsider Labor Market: The Spanish Experience”, Samuel Bentolila, Juan J. Dolado y Juan F. Jimeno.

References

1. 2011-13: “Infrastructure investment and incentives with supranational funding”, Ginés de Rus y M. Pilar Socorro.

References

1. 2011-12: “The BCA of HSR. Should the Government Invest in High Speed Rail Infrastructure?”, Ginés de Rus.

References

1. 2011-11: “La rentabilidad privada y fiscal de la educación en España y sus regiones”, Angel de la Fuente y Juan Francisco Jimeno.

References

1. 2011-10: “Tradable Immigration Quotas”, Jesús Fernández-Huertas Moraga y Hillel Rapoport.

References

1. 2011-09: “The Effects of Employment Uncertainty and Wealth Shocks on the Labor Supply and Claiming Behavior of Older American Workers”, Hugo Benítez-Silva, J. Ignacio García-Pérez y Sergi Jiménez-Martín.

References

1. 2011-08: “The Effect of Public Sector Employment on Women’s Labour Martket Outcomes”, Brindusa Anghel, Sara de la Rica y Juan J. Dolado.

References

1. 2011-07: “The peer group effect and the optimality properties of head and income taxes”, Francisco Martínez-Mora.

References

1. 2011-06: “Public Preferences for Climate Change Policies: Evidence from Spain”, Michael Hanemann, Xavier Labandeira y María L. Loureiro.

References

1. 2011-05: “A Matter of Weight? Hours of Work of Married Men and Women and Their Relative Physical Attractiveness”, Sonia Oreffice y Climent Quintana-Domeque.

References

1. 2011-04: “Multilateral Resistance to Migration”, Simone Bertoli y Jesús Fernández-Huertas Moraga.

References

1. 2011-03: “On the Utility Representation of Asymmetric Single-Peaked Preferences”, Francisco Martínez Mora y M. Socorro Puy.

References

1. 2011-02: “Strategic Behaviour of Exporting and Importing Countries of a Non-Renewable Natural Resource: Taxation and Capturing Rents”, Emilio Cerdá y Xiral López-Otero.

References

1. 2011-01: “Politicians' Luck of the Draw: Evidence from the Spanish Christmas Lottery”, Manuel F. Bagues y Berta Esteve-Volart.

References

1. 2010-31: “The Effect of Family Background on Student Effort”, Pedro Landeras.

References

1. 2010-29: “Random–Walk–Based Segregation Measures”, Coralio Ballester y Marc Vorsatz.