fedea

Evaluación de un programa de educación bilingüe en España: El impacto más allá del aprendizaje del idioma extranjero by Brindusa Anghel^* ** Antonio Cabrales ** Jesús M. Carro

Documento de Trabajo 2013-08

September 2013

* FEDEA ** Universidad Carlos III de Madrid.

Los Documentos de Trabajo se distribuyen gratuitamente a las Universidades e Instituciones de Investigación que lo solicitan. No obstante están disponibles en texto completo a través de Internet: http://www.fedea.es. These Working Paper are distributed free of charge to University Department and other Research Centres. They are also available through Internet: http://www.fedea.es. ISSN:1696-750

Brindusa Anghel

FEDEA. banghel@fedea.es

Antonio Cabrales

Universidad Carlos III de Madrid. acabrale@eco.uc3m.es Jesús M. Carro

Universidad Carlos III de Madrid. jcarro@eco.uc3m.es Octubre 2012

Resumen

Evaluamos un programa que introdujo la educación bilingüe en inglés y caste llano en educación primaria en algunos colegios públicos de la Comunidad de Madrid en el año 2004. En este programa, los estudiantes no solo estudian inglés como idioma extranjero, sino que el inglés es la lengua en la que se enseñan otras asignaturas (al menos ciencias naturales, historia y geografía). Lengua Castella na y Matemáticas se enseñan solamente en castellano. Una prueba estandarizada de las habilidades consideradas indispensables para todos los alumnos del 6º curso en Madrid es nuestra medida del resultado en educación primaria para evaluar el programa. Nuestros resultados indican que hay un claro efecto nega tivo en el aprendizaje de la asignatura enseñada en inglés para los niños cuyos padres tienen, como máximo, estudios secundarios obligatorios; y ningún efecto claro en matemáticas y lectura, que se enseñaron en castellano.

Palabras clave: Educación bilingüe, evaluación de programas, enseñanza en inglés. Clasificación JEL: H40, I21, I28

^* Agradecemos la ayuda de José Carlos Gibaja e Ismael Sanz en obtener los datos y la ayuda financiera del Ministerio de Ciencia y Tecnología de España en los proyectos ECO2009-07530 (Anghel), ECO2009-10531 (Cabrales) ECO2009-11165 (Carro), CONSOLIDER-INGENIO 2010 -CSD2006-0016 (todos) y Consejería de Educación de la Comunidad de Madrid bajo el proyecto Excelecon.

1. Introducción

El conocimiento de un segundo idioma es ampliamente reconocido como esencial para que los trabajadores tengan éxito en un mundo de negocios cada vez más interconectado, y la investigación tiende a estar de acuerdo con este hecho. Ginsburgh y Prieto-Rodríguez (2011), por ejemplo, encontraron unos coeficientes estimados grandes para los efectos del conocimiento de un idioma extranjero sobre los salarios en regresiones Mincerianas: los aumentos en los salarios oscilaban entre un 11% en Austria y un 39% en España para el conocimiento de inglés y se encontraron efectos incluso más grandes para el conocimiento de otros idiomas^{1 2}. Los rendimientos del aprendizaje del inglés no solamente fluyen hacia los individuos, el país entero se podría beneficiar: Fidrmuc y Fidrmuc (2009) muestran, por ejemplo, que un extenso conocimiento de idiomas es un determinante importante del comercio internacional, donde el inglés juega un papel especialmente importante.

La iniciativa privada se ha fijado en estos beneficios del aprendizaje de un segundo idioma. Muchas escuelas en los países de habla española, especialmente aquellas que atienden a las élites, ofrecen educación bilingüe a sus alumnos; Banfi y Day (2004) comprueban esto para Argentina, y Ordoñez (2004) para Colombia. El alto rendimiento de las competencias en idiomas extranjeros, y, probablemente también la asociación con las escuelas de élite ha movido a algunas administraciones españolas a ofrecer educación bilingüe en algunos colegios del país. El Ministerio de Educación financia un acuerdo con el British Council que selecciona 80 colegios en España donde la enseñanza en inglés ocupa una proporción importante del currículo. Mucho más ambicioso en escala es un programa en la Comunidad de Madrid que actualmente incluye 340 colegios públicos (276 colegios de primaria y 64 institutos)³ donde cerca del 40% de la enseñanza, incluyendo todo el currículo de ciencias naturales y sociales, se enseña en inglés⁴. Estos programas han tenido tanto éxito con los votantes que ambos partidos mayoritarios incluyeron en sus programas electorales del 2011 la promesa de extenderlos a todo el país⁵.

¹ Un análisis anterior de los mismos datos, de William (2011), encontró un impacto más pequeño: entre un 5% en Austria o Finlandia hasta un impacto no significativo en España o Francia. Pero el reanálisis de Ginsburgh y Prieto-Rodríguez (2011) utilizó técnicas más refinadas para controlar la endogeneidad

² Los efectos sobre los trabajadores americanos son bastante pequeños, como se esperaría debido al estatus del inglés de lingua franca. Véase por ejemplo Fry and Lowell (2003) que no encontraron ningún efecto sobre los salarios, o Saiz y Zoido (2005) que encontraron un efecto de aproximadamente el 5%.

Así, tanto para los investigadores como para el público en general parece claro que aprender un idioma extranjero es importante por razones econó- micas. Pero también tiene algunos costes. Los más obvios son los costes financieros: se tienen que contratar, formar y reciclar a los profesores, y, dado el valor del mercado del conocimiento del inglés, pueden ser más costosos que otros profesores; es posible que se tengan que contratar ayudantes extra de conversación; si es exitoso, la demanda crecerá y habrá que extender el programa. Pero aparte de estos costes, el tiempo es finito y no hay nada gratuito en temas educativos; por lo tanto puede haber otros efectos negativos de la política. El objetivo de este trabajo es precisamente comprobar si los programas de educación bilingüe tienen algún coste en términos de ralentizar el aprendizaje en otras asignaturas.

Para verificar esta idea analizamos datos del programa de educación bilingüe de la Comunidad de Madrid. Aunque lo describiremos más detenidamente más tarde, el programa (para colegios de educación primaria) consiste básicamente en utilizar el inglés para enseñar la asignatura llamada “Conocimiento del Medio” que incluye toda la enseñanza de ciencias naturales, historia y geografía. El inglés también se utiliza como medio de enseñanza para artes plásticas y, a veces, para educación física, y obviamente para las clases de inglés. En total, la enseñanza en inglés incluye entre 10 y 12 de las 25 horas de clase semanales.

³ Los 276 colegios de primaria representan el 35% del número total de colegios públicos y los 64 institutos representan el 20% del número total de institutos en la Comunidad de Madrid.

⁴ Andalucía tiene también un programa bilingüe, pero el porcentaje de enseñanza en inglés es más bajo, cerca del 20% del tiempo total de enseñanza.

⁵ Véase, por ejemplo, en el programa del PSOE la afirmación “apoyaremos el diseño de proyectos lingüístico para promover el aprendizaje del inglés, Del mismo modo se fomentarán los centros que impartan enseñanza bilingüe, tanto en formación profesional como en universidad.”, (disponible en: http://www.rubalcaba.es wp−content/uploads/2011.pdf/10/progpsoe2011.pdf) o el del partido conservador PP, que afirma “Promovere mos el bilingüismo español-inglés en todo el sistema educativo desde el segundo ciclo de educación infantil has ta la universidad” (disponible en : http://www.pp.es/actualidad−noticia/programa−electoral−pp5741.html).

Para identificar los efectos del programa utilizamos un examen estandarizado que se ha administrado cada año en todos los colegios de educación primaria en la Comunidad de Madrid a los alumnos del 6º curso (de 12-13 años), empezando con el año académico 2004/05. El examen evalúa lo que se llaman “Conocimientos y Destrezas Indispensable” en tres áreas: el castellano, matemáticas y cultura general; la última corresponde al material enseñado dentro de “Conocimiento del Medio”. Los resultados del examen son anónimos, pero cada alumno contesta a un cuestionario que incluye una serie de variables del entorno socioeconómico, que podemos utilizar como variables de control. Utilizamos datos del primer grupo de escuelas que se hicieron bilingües en la Comunidad de Madrid en 2004/05, y comprobamos los resultados de los grupos de alumnos que hicieron el examen en 2009/10 y 2010/11. Después repetimos el análisis con el segundo grupo de colegios que se hicieron bilingües, cuyos alumnos hicieron el examen en 2010/11. Para controlar los problemas de endogeneidad, utilizamos un enfoque de diferencias en Diferencias, comparando los resultados en el examen de los alumnos en los colegios tratados antes y después de ser bilingües con el grupo de colegios no-bilingües antes y después de tratamiento.

Encontramos que el efecto del programa no es significativamente diferente de cero ni en matemáticas ni en castellano, aunque pasa de positivo a negativo. Para cultura general, el programa bilingüe tiene un efecto significativo y negativo sobre los resultados del examen, para los alumnos cuyos padres no tienen educación universitaria. El tamaño del efecto es sustancial, del orden de 0,2 desviaciones estándar⁶. Puesto que cultura general es la única asignatura enseñada en inglés entre las tres presentes en el examen, parecería que el esfuerzo extra hecho para utilizar el inglés como medio de enseñanza empeora el aprendizaje de esa asignatura. Una posible precaución al interpretar esa conclusión es que el examen se hace en castellano y la asignatura se aprende en inglés. Pero, si tomamos en serio el resultado, esto podría sugerir que el nivel de competencia lingüística en inglés no es suficiente para pasar esa barrera. En definitiva, la conclusión tiene que ser que realmente nada es gratis: o el aprendizaje de las asignaturas enseñadas en inglés se ve perjudicado, o el aprendizaje del idioma inglés no es suficiente.

⁶ Este efecto es cercano en magnitud a los efectos encontrados por Angrist y Lavy (1999) en Israel para una reducción de la clase de 8 alumnos, y por Krueger (1999) para el experimento Tennessee STAR, donde se redujo el tamaño de la clase en 7 alumnos.

En el grupo de colegios que empezaron a participar en 2004 los resultados de la segunda hornada de alumnos expuestos al programa son muy similares a los de la primera hornada, incluso cuantitativamente. Sin embargo, para el grupo de escuelas que empezaron a participar en 2005, los efectos son también negativos y significativos solo en cultura general, pero son más pequeños en tamaño y solamente para los alumnos cuyos padres tienen como máximo estudios de secundarios obligatorios. Nuestra hipótesis es que esto se debe a una mejor selección de colegios que participaron en el programa, en términos de los conocimientos de inglés, de los profesores, puesto que para ese grupo de colegios las condiciones para formar parte del programa fueron más estrictas en ese sentido.

Hay una gran cantidad de investigación con el objetivo de entender los efectos de los programas de educación bilingües para inmigrantes en los EEUU. Esta literatura encuentra, en su mayoría, resultados positivos de esos programas. Willig (1985) concluye que cuanto mejor el diseño experimental del estudio, más positivos son los efectos de la educación bilingüe, y Greene (1998) en otro meta-estudio de la literatura afirma que: “una lectura no sesgada de la investigación académica sugiere que la educación bilingüe ayuda los niños que están aprendiendo inglés”. Jepsen (2009), por el otro lado, encuentra que “los alumnos en educación bilingüe tienen un dominio de inglés sustancialmente más bajo que otros alumnos de inglés en el primero y el segundo curso. Por el contrario, hay poca diferencia entre la educación bilingüe y otros programas para alumnos en los cursos tercero hasta quinto”. Pero estos son típicamente programas para inmigrantes en un país extranjero y la validez externa de estos resultados par aplicarlos a nuestra población es bastante débil

Hay mucha menos evidencia relacionada con los efectos de la educación bilingüe en inglés en los países cuyo idioma oficial no es el inglés. Una excepción es Admiraal, Westhoff y de Bot (2006), quienes estudian el efecto del uso de inglés como idioma de enseñanza en educación secundaria en Holanda. Ellos afirman que: “No se encontraron efectos para el conocimiento del vocabulario como receptores y no se encontraron efectos negativos respecto a los resultados en los exámenes al final de la educación secundaria en holandés y en las asignaturas enseñadas en inglés.” No se pueden interpretar muy bien las diferencias entre este estudio y el nuestro, puesto que los sistemas educativos son muy diferentes, así como las sociedades donde los programas se implementan. Pero surge una pregunta ante este análisis: ¿se podrían reducir los costes de la educación bilingüe si el programa empezara en la educación secundaria? Esta es una pregunta importante para investigaciones futuras.

El artículo se organiza de la siguiente manera. La Sección 2 describe algunos detalles del contexto institucional y el programa bilingüe. La Sección 3 analiza los datos y el modelo econométrico. La Sección 4 contiene los resultados principales del trabajo e incluye algunas estimaciones adicionales y de robustez. La sección 5 concluye.

La orden de la Comunidad de Madrid que inició el programa de colegios bilingües argumenta que este es necesario porque: “La plena integración de España en el contexto europeo exige que los alumnos tengan que adquirir mayores y mejores destrezas comunicativas en las diferentes lenguas europeas. El poder desenvolverse con normalidad utilizando la lengua inglesa como segunda lengua abrirá nuevas perspectivas y nuevas posibilidades de relación a los alumnos de los centros bilingües de la Comunidad de Ma drid.”. El mercado europeo integrado de trabajo y comercio es, por lo tanto, la razón utilizada por la administración para impulsar el programa.

Es una buena razón; en la actual recesión con una tasa de paro general de casi el 25% y una tasa de paro de los jóvenes de más del 50%, solo 50.521 españoles emigraron en 2011. Esto contrasta notablemente con los más de 5 millones de parados, o con los 40.000 emigrantes al año que Bergin et al. (2009) estiman para Irlanda, un país 10 veces más pequeño que España y con la mitad de su tasa de paro. Por supuesto, hay muchas razones para ello, Bentolila e Ichino (2008) argumentan que el estado de bienestar y la familia pueden acomodar grandes choques de desempleo, pero el estado de bienestar y la familia son similares en España y en Irlanda, por tanto es posible que la falta de conocimiento de inglés de los grupos de adultos españoles sea un problema que dificulta la emigración, que las cifras de desempleo podrían sugerir como una válvula de seguridad para la situación.

El sistema de educación español se compone de 6 años de educación primaria, 4 años de educación secundaria obligatoria (ESO) y 2 años de educación no-obligatoria, que se dividen en ciclos formativos y bachillerato. También existen tres años de educación infantil, desde los 3 hasta los 5 años, que se financian con fondos públicos. Los niños de infantil comparten el colegio con los de educación primaria. Asimismo, los niños de infantil en un colegio tienen prioridad ante otros niños que solicitan la admisión al mismo colegio. De hecho, si todas las vacantes para los niños de 3 años se llenan y ninguno de ellos deja el colegio una vez llegado a la educación primaria, no habrá vacantes a ese nivel en esa cohorte. Como resultado, la elección del colegio se hace casi universalmente cuando el niño tiene tres años. Después de ese momento, no son frecuentes los cambios de colegio, porque es extremadamente difícil entrar en colegios con una demanda alta.

Los hechos mencionados en el párrafo anterior sobre la elección del colegio y la selección son importantes para nuestro estudio. El programa bilingüe se aplica al nivel de educación primaria, no al de educación infantil. Puesto que en el momento en el que el programa bilingüe se diseñó y se anunció ya había alumnos en infantil en los colegios seleccionados, la elección del colegio por parte de los padres ya se había hecho tres años antes de este momento, cuando el programa no existía y ni siquiera se había planeado. Por esta razón las diferencias entre el primer grupo de alumnos tratados y los grupos anteriores no se pueden relacionar con la introducción del programa.

El programa empezó con niños en el primer curso de los colegios de primaria seleccionados en el año académico 2004/05 y dejó sin tratamiento a otros en el mismo colegio, así como en el resto de los colegios. El programa avanzó con la enseñanza para los alumnos tratados. Las cohortes sucesivas de los colegios tratados también estuvieron expuestas al tratamiento, y otros colegios de primaria entraron en el programa en los años siguientes, siempre empezando el tratamiento con los alumnos del primer curso. Nuestros datos incluyen solo los colegios del primer curso. Una vez los alumnos del grupo de 2004/05 llegaron al nivel de educación secundaria (en 2010/11), una segunda fase se puso en marcha y algunos institutos entraron en el programa. Puesto que esa fase del programa se está todavía desarrollando, no podremos analizarla.

El programa se inició en 2004 con una convocatoria de colegios, de los cuales se seleccionaron 25 en el primer año⁷, con planes iniciales de extensión hasta 110, que luego se ampliaron hasta los 276 debido a la alta demanda (de un total de aproximadamente 740 colegios públicos). Un colegio que de sea ser seleccionado para el programa tiene que entregar una solicitud. Los tres criterios utilizados para evaluar las solicitudes son:

⁷ De hecho, hubo 26 colegios que se hicieron bilingües en 2004/05, de los cuales tenemos información válida para 25.

1. Grado de aceptación de la comunidad educativa expresado a través de la solicitud por los profesores del colegio y el consejo escolar (un cuerpo para tomar decisiones que se compone del director y de profesores y padres elegidos).

2. La viabilidad de la solicitud. Tiene en cuenta la experiencia previa del colegio (algunos colegios han implementado pequeños programas piloto por su cuenta), el cuerpo de profesores, en particular los profesores con especialización en inglés, los recursos del colegio y el número de clases y de alumnos.

3. La distribución equilibrada de los colegios seleccionados entre las diferentes áreas geográficas, teniendo en cuanta la población del colegio entre tres y dieciséis años.

Los colegios seleccionados no fueron los 25 que tuvieron más puntos en los dos primeros criterios, debido al criterio de equilibrio geográfico. De todos modos, los colegios seleccionados tuvieron puntuaciones muy cerca de las más altas en esos criterios.

Para los colegios que se seleccionaron en el programa en los años siguientes al 2005, los criterios utilizados en la evaluación cambiaron. La antigua regla 3 se reemplazó por:

3’ El nivel de inglés de los profesores en la clase. Este nivel se comprueba mediante algún certificado oficial (como el concedido por la Universidad de Cambridge) que acredita un nivel suficiente de conocimientos del inglés o mediante una evaluación organizada directamente por Consejería de Educación de la Comunidad de Madrid.

La distribución geográfica equilibrada se sigue mencionando como un criterio deseable de la selección pero no recibe puntos explícitos.

La orden define bilingüe un colegio donde el idioma de enseñanza es inglés durante al menos un tercio del tiempo de clases, y donde las clases del idioma inglés son 5 a la semana (de 45 hasta 60 minutos). Excluye explícitamen te el castellano y las matemáticas de las asignaturas que se pueden enseñar en inglés.

En la Tabla1 describimos el horario semanal del primer curso hasta el sexto en colegios bilingües y no-bilingües para que se pueda ver el margen de autonomía en el número de horas de clase en los colegios bilingües.

Nota: Las horas de libre asignación se pueden añadir a las materias que puedan ser impartidas en inglés.

Con Conocimiento del Medio (una asignatura que incluye ciencia natural, geografía e historia) más 5 clases de inglés, se cumple el mínimo de horas de clase en inglés. Varios colegios eligen aumentar la docencia en inglés enseñando también en ese idioma artes plásticas, educación física y religión (o su alternativa para los que no quieren religión, que suele ser una clase de normas sociales y cultura). Aumentar la enseñanza en inglés por encima del mínimo requerido depende de la disponibilidad de los profesores, pero la mayoría de los colegios tienen finalmente más del 40% de las horas de clase en inglés.

El programa tiene obviamente costes. Los profesores involucrados reciben un complemento aparte de su salario básico que se explica por “La actividad y dedicación extraordinaria, que se manifiesta en la mayor jornada que deben realizar, tanto los maestros, a causa de más elevadas exigencias que imponen las actividades de preparación de las clases, de elaboración y de adaptación de los materiales didácticos a otro idioma, y la asistencia perió dica a reuniones de coordinación fuera del horario escolar”. Se estima que el trabajo extra es “en promedio de tres horas a la semana para profesores, y de cuatro horas para coordinadores”. La ordenanza no especifica como se llegó a esta estimación. Para compensar la dedicación extra, los coordinadores del programa en cada colegio reciben 1.980 euros al año; un profesor que enseña más de 15 horas en inglés en asignaturas diferentes del idioma inglés, 1.500 euros; entre 8 y 15 horas, 1.125 euros; y menos de 8 horas, 750 euros. El programa proporciona “ayudantes de conversación” en los colegios, típicamente estudiantes de universidad de países de habla inglesa. Finalmente, el programa proporciona cursos de formación en inglés para los profesores, tanto en España como en el extranjero. En este último caso, el programa cubre el transporte, los datos de alojamiento y la matricula en las escuelas de inglés, la mayoría en el Reino Unido e Irlanda.

Para enseñar en inglés, los profesores tienen que ser especialistas en inglés o aprobar un examen. El examen se divide en dos partes. La primera parte es un examen escrito, donde se examinan la lectura, la comprensión escrita y la comprensión oral, más vocabulario y gramática. La segunda parte es oral y se compone de una conversación de 20 minutos con el examinador.

3.1. Descripción de los datos

Nuestros datos provienen de un examen estandarizado que se ha hecho cada año en todos los colegios de primaria en la Comunidad de Madrid a los alumnos del sexto curso (de 12-13 años), empezando con el año acadé- mico 2004/05⁸. El examen se llama CDI (prueba de Conocimientos y Destrezas Indispensables). Es obligatorio para todas las escuelas (públicas, privadas o concertadas). Al igual que el examen PISA de la OCDE, el examen CDI no tiene consecuencias académicas para el alumno, solamente pretende proporcionar información adicional para los profesores, padres y alumnos.

El examen consiste de dos partes de 45 minutos cada una: la primera parte incluye pruebas de dictado, lectura, lengua y cultura general y la segunda parte se compone de ejercicios de matemáticas. Utilizamos como medida de los resultados de los alumnos las notas en el examen, estandarizadas con respecto a la media anual, en cultura general (cuyo contenido es similar a la asignatura Conocimiento del Medio, que se enseña en inglés en los colegios bilingües), en lectura y en matemáticas (que se enseñan en español en todos los colegios). Los exámenes se llevan a cabo en castellano para todos los alumnos, independientemente si están o no en un colegio bilingüe.

Antes de resolver el examen, los alumnos rellenan un breve cuestionario. En el cuestionario se les pregunta sobre ellos mismos, sus padres y el ambiente en el que viven. Las respuestas a estas preguntas proporcionan información muy rica sobre características individuales de los alumnos: la edad del alumno, el país de nacimiento (distinguimos España, China, America Latina, Marruecos, Rumania y otros, para tener un número suficiente de observaciones en cada categoría), el nivel de educación de los padres, la ocupación de los padres, la composición del hogar en el que viven, la edad a la que empezó a ir al colegio/guardería. Del examen tenemos información a nivel de alumnos sobre género, si el alumno tiene alguna necesidad educa tiva especial y si tiene algún tipo de discapacidad.

⁸ Desde el año académico 2009/10 el examen se organizó también para todos los estudiantes del tercer curso en educación secundaria obligatoria (de 14-15 años)

En cuanto a la educación de los padres, a los alumnos se les pidió información tanto de la madre como del padre. Para facilitar la interpretación hemos elegido el nivel de educación más alto entre la madre y el padre. Distinguimos las siguientes categorías: educación universitaria, bachillerato, formación profesional, estudios obligatorios de secundaria y sin educación obligatoria. Hicimos lo mismo con la ocupación de los padres: puesto que tenemos tanto la ocupación de la madre como la del padre, hemos elegido el nivel más alto. Así, diferenciamos entre las siguientes categorías: ocupaciones profesionales (por ejemplo profesor, investigador, doctor, ingeniero, abogado, psicólogo, artista, etc.); ocupaciones administrativas y de negocios (por ejemplo director, trabajador en un Ministerio, en una Comunidad Autónoma o en un Ayuntamiento); y ocupaciones manuales cualificadas y no cualificadas (por ejemplo vendedor, trabajador de limpieza, bombero, trabajador en construcción, etc.)⁹.

La variable sobre la composición del hogar del alumno se construye a partir de las respuestas a la pregunta: “¿Con quién vives habitualmente?”. Distinguimos entre las siguientes siete categorías: vive solo con la madre, vive con la madre y un hermano/a, vive con la madre y más de un hermano/a, vive con la madre y el padre, vive con la madre y el padre y un hermano/a, vive con la madre y el padre y más de un hermano/a, y otras situaciones.

Para nuestro análisis empírico utilizamos datos del primer grupo de cole gios bilingües de la Comunidad de Madrid que empezó el primer curso en primaria en 2004/05 e hizo el examen CDI en 2009/10 (25 colegios).

Para controlar los problemas de endogeneidad causados por los problemas de auto-selección de alumnos y de colegios que explicaremos más abajo, utilizamos un enfoque de Diferencias-en-Diferencias. Comparamos los resultados de los alumnos en los colegios tratados antes y después de ser bilin gües con el grupo de colegios no-bilingües antes y después del tratamiento. Por tanto, utilizamos datos de los grupos de 2008/09 y 2009/10. Los cuatro grupos que analizaremos son los siguientes: el grupo de colegios bilingües en 2008/09 (el grupo de tratamiento antes del cambio), el grupo de colegios no-bilingües en 2008/09 (el grupo de control antes del cambio), el grupo de colegios bilingües en 2009/10 (el grupo de tratamiento después del cambio) y el grupo de colegios no-bilingües en 2009/10 (el grupo de control después del cambio).

⁹ Los análisis de robustez utilizando por separado el nivel de educación de cada padre dio resultados muy similares.

La Tabla 2 proporciona estadísticos descriptivos de estos cuatro grupos. Si comparamos los colegios donde se implementó el programa bilingüe, antes y después del tratamiento, observamos un aumento en la proporción de estudiantes con características que están positivamente correlacionadas con los resultados académicos. Más en concreto, la proporción de alumnos cuyos padres tienen educación universitaria aumenta de un 33% a un 39%, la proporción de alumnos cuyos padres tienen estudios de secundaria obligatorios disminuye de un 26% a un 22% y la proporción de alumnos cuyos padres no acabaron los estudios obligatorios también disminuye de un 8% a un 5%. Asimismo, hay cambios importantes con respecto a las ocupaciones de los padres de los niños de estos dos grupos: la proporción de alumnos cuyos padres tienen ocupaciones profesionales aumenta de un 24% a un 29% y la proporción de alumnos cuyos padres tienen ocupaciones manuales cualificadas o no cualificadas disminuye de un 58% a un 51%.

Además, hay un aumento en la proporción de alumnos españoles en el grupo de 2008/09 con respecto al grupo de 2009/10 de un 81% a un 87%, que determina un descenso en la proporción de alumnos inmigrantes (el cambio más importante es la reducción de la proporción de alumnos de America Latina de un 10% a un 6%, cuyos resultados académicos suelen ser peores que los de los alumnos españoles o incluso que los de otros alumnos inmigrantes, después de controlar por las variables observables (Anghel y Cabrales, 2010)). También detectamos un aumento en el porcentaje de alumnos que empezaron a ir a la guardería antes de los 3 años de un 46% a un 51%.

En cambio, si analizamos el grupo de control no observamos ningún cambio importante en la composición de los grupos de un año al otro: estas propor ciones se mantienen casi constantes en ambos años (como máximo hay una diferencia de una décima).

Los números presentados arriba sugieren que podría haber un cambio endógeno en las características de los alumnos matriculados en los colegios bilingües, antes y después del tratamiento. Este cambio supone una mejora en las características de los alumnos como el nivel de educación y la ocupación de los padres o su nacionalidad, que son determinantes de los resultados académicos de los alumnos¹⁰.

Además, el cambio en las características observables de un año al otro sugiere que, aparte del tratamiento, podría haber un cambio en características no observables. Para averiguar si este es el caso, analizamos datos adicionales sobre los alumnos de estos colegios bilingües.

Una posible explicación para los cambios entre grupos podría proceder de los alumnos que entraron o que se fueron de estos colegios después de hacerse bilingües. Estos flujos de estudiantes podrían generar algunos de los cambios que observamos. Para comprobar esta teoría, obtuvimos la lista de alumnos que estaban en los colegios tratados cuando tenían cinco años, el último año de educación infantil.

Con esta lista, analizamos en primer lugar el grupo de colegios donde el número de alumnos que entraron después de hacerse bilingües (es decir, los alumnos que no estaban matriculados en ese colegio cuando tenían 5 años) es menor de 4 (lo que representa cerca del 16% en una clase media de 25 alumnos). Consideramos que estos colegios son colegios con un número bajo de alumnos nuevos, y la composición socioeconómica de los grupos no debería variar mucho de un año al siguiente. Hay ocho colegios tratados que satisfacen esta condición. Como antes, comparamos estos colegios antes de ser bilingües (el grupo de 2008/09) y después de ser bilingües (el grupo de 2009/10) y utilizamos como grupo de control el grupo de colegios no-bilingües (eliminamos de las estadísticas descriptivas los otros 17 colegios bilingües).

El análisis descriptivo de la Tabla 3 muestra una situación muy similar a la de la Tabla 2. Observamos que el cambio en características de los alumnos desde el año en el que se implementó el programa bilingüe y el siguiente va en la misma dirección y, cuantitativamente es similar al de toda la muestra. Vemos un aumento importante en la proporción de alumnos cuyos padres tienen estudios universitarios, de un 27% en el grupo de 2008/09 a un 36% en el grupo de 2009/10, y un descenso en la proporción de alumnos cuyos padres no acabaron la educación obligatoria (de un 8% a un 5%). También identificamos un pequeño aumento en la proporción de niños cuyos padres tienen ocupaciones profesionales y una leve disminución en la proporción de niños cuyos padres tienen ocupaciones manuales. Asimismo, se registra un aumento en la proporción de estudiantes españoles de un grupo al otro en los colegios tratados y una caída grande en la proporción de alumnos de América Latina. Finalmente, el porcentaje de niños que empezaron a ir a la guardería antes de los 3 años aumenta en seis puntos porcentuales (de un 44% a un 50%). En total, el problema de selección que detectamos con toda la muestra persiste en la muestra de ocho colegios donde entraron muy pocos alumnos nuevos cuando se hicieron bilingües.

¹⁰ En el caso de la Comunidad de Madrid y para el mismo examen CDI, esto se muestra en Anghel y Cabrales (2010).

En segundo lugar, restringimos incluso más el grupo de estudiantes que analizamos, estudiando solamente las características del grupo de alumnos que estaban ya matriculados en los 25 colegios tratados cuando tenían cinco años y empezaron el programa de educación bilingüe en estos colegios. La introducción del programa de educación bilingüe no se anunció cuando estos alumnos se matricularon en los colegios tratados, por tanto no debería haber cambios endógenos al tratamiento en las características de los alumnos tratados. Este análisis proporciona conclusiones casi idénticas a las del los casos anteriores (Tabla 4): detectamos un aumento en la proporción de alumnos con características que son positivamente relacionadas con sus resultados académicos y este hecho revela una vez más un problema de selección.

En tercer lugar, analizamos el grupo de alumnos nuevos en los 25 colegios que se hicieron bilingües en 2004/05 para averiguar si sus características demográficas podrían ser una fuente parcial de endogeneidad.

De la Tabla 5 está claro que estos alumnos tienen un nivel socio-económico muy similar al del resto de los alumnos de los colegios bilingües. Solamente hay una excepción; parece que la proporción de alumnos inmigrantes entre los nuevos estudiantes es significativamente más grande: cerca de 29% de los nuevos alumnos son inmigrantes (de los cuales el 12% son latino-americanos), mientras que solo el 13% de todos los estudiantes en los colegios bilingües son inmigrantes (de los cuales el 6% son latino-americanos).

Finalmente, examinamos la muestra de colegios que solicitaron entrar en el programa de educación bilingüe pero no tuvieron éxito y cuyas puntuaciones fueron muy cercanas al punto de corte para ser admitidos en el programa. Hay 38 colegios que satisfacen estas condiciones. Si estas escuelas son similares a las que son parte de del programa, podrían representar un grupo de control mejor que el grupo de control entero. Además, si para estos colegios observamos un cambio en las características demográficas de un año al siguiente similar al cambio que observamos para nuestro grupo tratado, esto podría indicar que la explicación para este cambio no está necesariamente en la introducción del programa de educación bilingüe.

Los estadísticos descriptivos de estos colegios en la Tabla 6 revelan que ambas hipótesis son parcialmente válidas. Primero, estos colegios son más si milares en características demográficas a los colegios bilingües tratados que a los colegios del grupo de control completo (comparación con la columna 3 de la Tabla 2). No obstante, hay diferencias: la diferencia más importante es que la proporción de alumnos latino-americanos en este grupo nuevo de colegios es mayor que en los colegios bilingües. Segundo, las características de los alumnos cambian del grupo de 2008/09 al grupo de 2009/10 en la misma dirección en la que se cambian para los colegios bilingües para esos grupos, aunque estos cambios son un poco más pequeños que en los colegios bilingües.

Observamos un hecho sorprendente en este grupo de colegios. Las notas medias de sus alumnos son significativamente más bajas que las notas de los alumnos en los colegios bilingües en el año antes del tratamiento (2008/09). No obstante, en el examen CDI de 2009/10, las notas de los alumnos en estos colegios mejoran considerablemente, alcanzando casi los mismos niveles que las notas de los alumnos de los colegios bilingües de 2009/10.

Sin embargo, dadas las similitudes entre este grupo de colegios y los colegios tratados, en la sección siguiente, como una prueba de robustez, utilizaremos este grupos de colegios como grupo de control.

Estos análisis descriptivos muestran que ha habido un cambio importante en la composición de los colegios bilingües una vez se hicieron bilingües, mientras que en el grupo de control de los colegios no-bilingües no observamos tales diferencias. El problema de auto-selección al que nos enfrentamos en el caso de los colegios bilingües podría contaminar nuestros resultados, por tanto tenemos que utilizar técnicas econométricas que atenúan ese problema.

3.2 Modelo econométrico de la función de producción en educación

3.2.1 El modelo y los problemas de endogeneidad

Utilizamos como resultado para el rendimiento en educación primaria las notas estandarizadas de los alumnos en el examen CDI descrito en la sección 3.1. Para un año dado, la nota en una prueba para el estudiante en la escuela se determina por:

\[y _ {i j} = \delta b i l _ {j} + \beta x _ {i} + v _ {j} + u _ {i} + \xi_ {i j}\]

donde xi son características observables de los estudiantes y sus familias descritas en la sección 3.1, indica si el colegio participó en el programa bilingüe, son características no observables de los alumnos, como esfuerzo o habilidad, son características del colegio, como la calidad del director y de los profesores, es un término de error aleatorio. Nuestro parámetro de interés es el efecto medio del programa bilingüe sobre que en la ecuación (1) es . La dificultad a la que nos enfrentamos cuando estimamos la regresión de sobre es que podríamos tener sesgo de endogeneidad debido a dos problemas de auto-selección:

1. Los estudiantes no se asignan de manera aleatoria entre colegios. Sus padres eligen el colegio. Si no hay exceso de demanda en los colegios que han escogido, se les admite. Si hay exceso de demanda, la admisión se basa en criterios como la cercanía del colegio y la renta de la familia, características que no son aleatorias y están correlacionadas con los resultados académicos.

Tabla 6: Estadísticos descriptivos - Colegios que solicitaron el programa bilingüe y tuvieron una puntuación alta en los criterios de selección

2. Los colegios que implementan el programa bilingüe no se seleccionan de manera aleatoria. El programa se implementó solamente en (algunos de los) colegios que lo solicitaron. Una solicitud podría ser una señal positiva de la calidad del director y de los profesores, debido a que el programa requiere una cantidad de trabajo extra significativa. También podría ser una señal de que el colegio tenía una demanda baja (quizás debido a la calidad mala) con profesores a punto de estar reemplazados¹¹.

3.2.2 Estrategia de estimación

Para controlar los problemas de endogeneidad causados por el problema de la auto-selección de los colegios y los estudiantes explicado anteriormente, utilizamos la estimación de Diferencias-en-Diferencias (dif-en-dif). Este método soluciona la auto-selección de las escuelas en el programa porque observamos la misma escuela en el primer año en el que el programa bilingüe se implementa en el sexto curso y en el año anterior. Dado el contexto institucional, los únicos cambios significativos en recursos y en personal de un año al siguiente son los asociados con el programa bilingüe.

Con respecto a la auto-selección de los alumnos, la estrategia dif-en-dif también ayuda a solucionar este problema. Como mencionamos en la sección 2, puesto que las reglas de admisión en educación primaria dan prioridad a los alumnos de infantil del mismo colegio, y dado el momento del anuncio del programa, las diferencias entre el primer grupo de alumnos tratados y los grupos anteriores no se pueden relacionar con la introducción del programa. Dado esto, si los movimientos de estudiantes de los colegios bilingües después de que se introdujo el programa fueran los mismos que en ausencia del programa (es decir los mismos cambios que en los colegios no tratados), una estrategia dif-en-dif controlaría el hecho de que los alumnos están distribuidos de manera diferente entre los colegios tratados y no tratados. Sin embargo, como se puede ver en la Tabla 2 y según hemos explicado en la sección 3.1, hay un cambio en las características de los alumnos en los colegios bilingües después de la introducción del programa. Afortunadamente, el método dif-en-dif nos permite incorporar fácilmente en la estimación las características observables de los alumnos para controlar estos cambios.

Dada la estrategia de dif-en-dif, estimaremos las siguientes regresiones a

¹¹ En España, la gran mayoría de los profesores son funcionarios y no pueden ser despedidos. Pero se pueden mover entre colegios dentro de una región. Incluso en una región como la Comunidad de Madrid, esto podría conllevar un inconveniente sustancial y estarían dispuestos a hacer esfuerzos significativos para evitar cierres de colegios.

través de MCO:

\[\begin{array}{l} y _ {i j} = \alpha_ {0} + \alpha_ {1} b i l _ {j} + \alpha_ {2} y 1 0 + \delta y 1 0 ^ {*} b i l _ {j} + \varepsilon_ {i j} \\ y _ {i j} = \alpha_ {0} + \alpha_ {1} b i l _ {j} + \alpha_ {2} y 1 0 + \delta y 1 0 ^ {*} b i l _ {j} + \beta x _ {i} + \varepsilon_ {i j} \end{array}\]

donde y10 es una variable ficticia para el año académico 2009/10, el primer año en el que observamos alumnos expuestos al programa de educación bilingüe en el examen CDI. Asimismo, analizaremos si el cambio en la población de estudiantes de los colegios bilingües afecta nuestros resultados, comprobando la robustez de los resultados a otras comparaciones y maneras de estimar el efecto del programa.

4. Re sultados

4.1 Resultados principales

En la Tabla 7 presentamos los resultados estimados de los modelos (2) y (3). El parámetro asociado a la variable Colegio bilingüe en el examen CDI 2009/10 (y10*bilj) proporciona el efecto del programa que queremos estimar. Sin variables de control, el efecto del programa no es significativo en ninguna de las tres pruebas. No obstante, como mencionamos cuando presentamos las estadísticas descriptivas de los datos, el grupo de alumnos tratados tiene características diferentes que el grupo anterior de alumnos de esos colegios. Esas características afectan de manera positiva el resultado; esto explica por qué el efecto del programa es más pequeño una vez se tiene en cuenta este cambio en las características observables. Este cambio en el efecto estimado del programa cuando se introducen las variables de control refleja el hecho de que hay selección entre los alumnos después de la introducción del programa. Para matemáticas y lectura el efecto no es significati vamente diferente de cero en ninguno de los casos, aunque varía de positivo a negativo. Para cultura general, el programa bilingüe tiene un efecto nega tivo y significativo sobre la puntuación. Esta es la única prueba del examen CDI que está relacionada con una asignatura enseñada en inglés. Por tanto, parece que el esfuerzo adicional que se hace al aprender inglés utilizándolo como idioma de enseñanza en una asignatura que no es la lengua inglesa tiene como coste un peor desempeño al aprender esa asignatura.

Para hacer un uso más intensivo y más flexible de las características observables, estimamos la regresión dif-en-dif por grupos de estudiantes que tienen características observables similares. De esta manera, los resultados de los alumnos tratados se comparan con los resultados de alumnos con las mismas características observables en colegios y períodos no tratados. La Tabla

Notas: Las variables dependientes son las notas individuales estandarizadas en cada una de las tres pruebas. Errores estándar agrupados a nivel de colegio en paréntesis: * significativo al 10%; ** significativo al 5%; *** significativo al 1%. Categorias base para las variables ficticias: chico, alumno España, educ. padres - No acabó los estud. oblig., ocup. padres - trabajador manual, vive con la madre y más de un hermano/a, ir a guardería antes de los 3”

8 presenta los resultados según la educación de los padres para aquellos alumnos que nacieron en España, no tienen ninguna necesidad educacional especial y no tienen más de 12 años¹². Este grupo representa más de dos tercios de la población de alumnos. En otras estimaciones no presentadas aquí por razones de espacio, utilizamos la ocupación de los padres aparte de las variables de educación para formar los grupos, pero la conclusión cualitativa se mantiene. Se incluyen otras características como variables explicativas en la regresión, puesto que no es posible construir grupos totalmente homogéneos. Los resultados de la tabla son los coeficientes estimados del parámetro asociado con la variable Colegio bilingüe 2004/05 en el examen CDI 2009/10, es decir el efecto del programa que queremos estimar. Igual que en los resultados estimados en la Tabla 7, encontramos efectos significativos solamente para cultura general. Los resultados por grupos tienen las siguientes características: para matemáticas y cultura general el efecto estimado es más negativo para alumnos cuyos padres tienen un nivel de educación más bajo; para matemáticas siguen siendo no significativos, pero para cultura general no encontramos un efecto significativo para alumnos cuyos padres tienen educación universitaria, mientras que para el resto de los alumnos encontramos un efecto significativo. Además, la diferencia entre el efecto para el grupo de estudios universitarios y el efecto para el grupo de educación obligatoria es significativamente diferente de cero al 10%. Sorprendentemente, para lectura no hay un patrón claro. En cualquier caso, el efecto en lectura no es significativo en ninguno de los grupos.

4.2 Pruebas de robustez

Si los cambios descritos en la población de alumnos tratados se deben solamente a características observables, entonces los coeficientes estimados de las ecuación (3) identifican correctamente el efecto medio del programa. Sin embargo, para comprobar la robustez de estos resultados estimados, en esta sección analizamos más en detalle las potenciales razones que podrían generar un cambio endógeno en la población de alumnos tratados con respecto a los alumnos no tratados. Aunque el principio del programa no se anticipó, el tratamiento duró seis años hasta que nosotros pudimos observar nuestra variable dependiente y durante ese periodo los siguientes movimientos de estudiantes podrían haber ocurrido debido al programa:

¹² 11-12 años es la edad teorética que corresponde al sexto curso, cuando se hace el examen CDI (véase la subsección 3.1)

1. En cualquier grupo de alumnos del sexto curso hay una proporción de alumnos que tuvieron que repetir un curso como consecuencia de no conseguir un desarrollo suficiente. Si un estudiante que empezó la educación primaria en 2003/04 tuvo que repetir un curso en un colegio bilingüe, entonces se movería de una educación no-bilingüe a una bilingüe. La mayoría de los compañeros de ese niño hubieran empezado el colegio de primaria en 2004/05 y por tanto, ya habrían participado en el programa bilingüe durante algunos años. Estos repetidores podrían preferir, o se les podría recomendar cambiarse a un colegio que no tiene el programa bilingüe en el curso que tienen que repetir. Si este fuera el caso, el grupo tratado que observamos nosotros tendría una proporción más pequeña de esos repetidores. Uno esperaría que este factor mejoraría las notas en los colegios tratados, por tanto su eliminación tendería a reforzar nuestros resultados.

2. Como consecuencia del programa bilingüe podría haber más estudiantes que repiten un curso que en los grupos de los años anteriores del mismo colegio. Nosotros no observaríamos el resultado para estos repetidores porque no están todavía en el sexto curso.

3. Otros movimientos endógenos se pueden relacionar con el hecho de que algunos de los colegios tratados tienen vacantes. Como mencionamos en la sección 3.2 las vacantes podrían ser una razón para que una escuela solicite el programa. La existencia de colegios tratados con vacantes da a los alumnos con un buen nivel de inglés, que de otra manera no podían haber asistido a estos colegios, la oportunidad de solicitar una plaza una vez que el programa empezó. Puesto que el tratamiento que evaluamos empezó seis años antes de que podamos medir sus resultados, es posible que hayan entrado nuevos alumnos por estas razones durante cinco años¹³.

4. Finalmente, es posible que a algunos estudiantes que estaban en un colegio bilingüe cuando se implementó el programa no les guste el programa y que decidan cambiar de colegio en cualquier momento entre el año de introducción del programa y el año en el que observamos nosotros el resultado. Suponemos que una vez que hemos eliminado a los repetidores de este grupo (a quienes no observamos aun sí se quedan en el mismo colegio, como ya hemos mencionado) hay una proporción muy pequeña de alumnos en este grupo. Esto es plausible porque si deciden cambiarse no pueden ir a un colegio muy demandado, ya que en ese momento tendrían todas sus vacantes completas. Sin embargo, no tenemos datos para apoyar nuestra hipótesis.

¹³ Esto no significa que todos los alumnos nuevos entrarán por esta razón. Algunos movimientos de estudiantes podían haber ocurrido con independencia del programa (por ejemplo debido a la inmigración) y nosotros controlamos esto observando el mismo colegio antes de la introducción del programa.

Tabla 8: Regresiones Dif-en-Dif separadas por grupos observables de alumnos: el efecto estimado del tratamiento por grupo

Notas: Las variables dependientes son las notas individuales estandarizadas en cada una de las tres pruebas. La muestra utilizada para estas estimaciones son alumnos españoles (es decir no-inmigrantes), no mavores de 12 años y gue no tienen necesidades educativas especiales Se dividen según la educación de los padres en tres grupos, Proporción es el % gue cada grupo representa sobre la muestra total de alumnos (incluyendo aquellos grupos como alumnos mayores de 12 años, cuyas estimaciones dif-en-dif no se presentan aquí). Las siguientes variables de control se incluyeron en estas regresiones, sin mostrarlas: variables ficticias para el año del examen y colegio bilingüe, género, ocupación de los padres, composición del hogar donde vive el alumno y la edad a la gue el alumno empezó a ir a colegio/guardería. Errores estándar agrupados a nivel de colegio en paréntesis: * significativo al 10%; ** significativo al 5%; ***significativo al 1%”

Para aquellos alumnos de los colegios bilingües que hicieron el examen en 2009/10 (es decir el grupo tratado) sabemos quienes estaban ya matriculados en ese colegio cuando tenían cinco años. Estos alumnos desconocían la introducción del programa cuando decidieron matricularse en ese colegio. Podemos utilizar esta información para detectar los colegios bilingües con una proporción muy grande de alumnos del grupo tratado que se quedaron en el colegio desde cuando tenían cinco años. Esto evitará el sesgo debido a nuevos alumnos entrando en la escuela cuando el programa estaba ya teniendo lugar. Seleccionamos los 8 colegios bilingües que tienen una proporción de alumnos que no estaban en ese colegio cuando tenían cinco años por debajo o igual al 16%. La tabla 9 presenta las estimaciones de las ecuaciones (2) y (3) (es decir las estimaciones dif-en-dif) utilizando como grupo tratado solamente esos ocho colegios y excluyendo de la muestra los otros 17 colegios bilingües. Los resultados son similares a los resultados de la Tabla 7 uti lizando toda la muestra. La única diferencia es que los efectos estimados son más imprecisos, como indican los errores estándar más grandes. Además, los mismos resultados se obtienen cuando se estima el dif-en-dif utilizando como alumnos tratados solo aquellos que estaban en los colegios tratados antes del anuncio y de la introducción del programa.

Tabla 9: Dif-en-Dif con y sin variables de control. Colegios bilingües con más del 16% de los alumnos que entran después de los 5 años se excluyen.

Notas: Las variables dependientes son las notas individuales estandarizadas en cada una de las tres pruebas. Errrores estándar agrupados a nivel de colegio en paréntesis: * significativo al 10%; ** significativo al 5%; *** significativo al 1%. Las estimaciones con x incluyen las mismas variables de control que en la Tabla 7, pero no se muestran.

Un enfoque distinto al dif-en-dif consiste en encontrar un grupo de control de colegios que sea lo más parecido posible a los colegios tratados. Tenemos información sobre los colegios que solicitaron el programa y los criterios anunciados de elección de los colegios, mencionados en la sección 2. En particular, entre las 192 escuelas que presentaron su solicitud, 64 tuvieron más de 60 puntos (de un máximo de 70) en esos criterios. Las 25 seleccionados eran todos de este grupo con puntuaciones por encima de 60. Los otros 38 colegios que no fueron seleccionados pero que son comparables en esos criterios forman un grupo de control natural. Asumiendo que estos dos grupos son comparables, no hace falta utilizar la estrategia dif-en-dif y podemos estimar una regresión utilizando solo los resultados del examen de 2009/10. Para asegurar una comparación adecuada de la población de alumnos en los grupos de tratamiento y de control incluimos como variables explicativas las características de los alumnos que observamos y, al mismo tiempo, estimamos por variables instrumentales (VI) utilizando como instrumento el indicador de haber estado en ese mismo colegio cuando el alumno tenía cinco años (es decir pertenecer al grupo de tratamiento). La Tabla 10 contiene estas dos estimaciones. Tanto la estimación MCO como la de VI indican las mismas conclusiones cualitativas como en el resto de las estimaciones presentadas: un efecto negativo y significativo de programa bilingüe en cultura general y ningún efecto significativamente diferente de cero en matemáticas y lectura.

Tabla 10: MCO y VI con los colegios que solicitaron en la convocatoria del programa bilingüe y tuvieron una puntuación alta según los criterios de selección

Notas: Las variables dependientes son las notas individuales estandarizadas en el examen CDI 2009/10 en cada de una de las tres pruebas Errores estandar agrupados a nivel de colegio en paréntesis: * significativo al 10%: ** significativo al 5%: *** significativo al 1%, Las categorias de referencia para las variables ficticias y las variables explicativas incluidas en las estimaciones son las mismas que en las estimaciones de la Tabla 7. No obstante, las variables explicativas con coeficiente no significativo en ninguna de las ecuaciones o aquellas variables relacionadas con la composición del hogar del alumno no se muestran aquí.

4.3 Estimaciones con un año adicional de datos

Las estimaciones de las secciones 4.1 y 4.2 presentan el efecto del programa en el primer grupo de alumnos tratados en el grupo de los 25 colegios que fueron los primeros en implementar el programa. En 2009/10 este grupo terminó el sexto curso, el último año de educación primaria, e hizo el examen CDI. Hemos utilizado ese examen como medida del rendimiento. De la misma manera, podemos utilizar los resultados de los alumnos del sexto curso en el examen CDI de 2010/11 como medida del rendimiento para el segundo grupo de alumnos tratados en esos 25 colegios y como medida del rendimiento para el primer grupo de alumnos tratados en los 54 colegios seleccionados en 2005/06 para implementar el programa¹⁴. La disponibilidad de datos para este año adicional nos permite comprobar si hay algunas mejoras en el segundo grupo de alumnos tratados en los primeros 25 colegios. Asimismo, nos permite verificar si nuestros resultados para los colegios seleccionados en 2004 se confirman para los colegios seleccionados en 2005, puesto que, como explicamos en la Sección 2, hubo cambios significativos en los criterios de selección de un año al siguiente.

4.3.1 Resultados para el segundo grupo de alumnos en los colegios seleccionados en 2004/05

Los estadísticos descriptivos para el segundo grupo de alumnos tratados (el grupo de 2010/11) en los primeros 25 colegios bilingües son muy similares

Tabla 11: Dif-en-Dif con y sin variables de control. El segundo grupo de alumnos tratados en los 25 colegios seleccionados a implementar el programa bilingüe en 2004/05. Se compara CDI 2010/11 con CDI 2008/09

Notas: Las variables dependientes son las notas individuales estandarizadas en cada una de las tres pruebas en 2008/09 y 2010/11. Errores estándar agrupados a nivel de colegio en paréntesis: * significativo al 10%; ** significativo al 5%; *** significativo al 1%. Las estimaciones con x incluyen las mismas variables de control que en la Tabla 7, pero no se muestran aquí.

¹⁴ Cada colegio seleccionado empieza a implementar el programa en el primer curso y lo extiende a los siguientes cursos cada año, hasta que todas las clases de educación primaria de esos colegios siguen el programa bilingüe.

a los presentados en la Tabla 2 para el grupo tratado de 2009/10 y no los incluimos aquí para ahorrar espacio. La Tabla 11 muestra el efecto estimado para este segundo grupo de alumnos tratados. La conclusión cualitativa es la misma que en el caso del primer grupo de alumnos tratados, que se presentó en las dos anteriores subsecciones. Los coeficientes estimados tienden a ser más grandes, cuantitativamente que los presentados en la Tabla 7 (incluyendo un efecto menos negativo en cultura general), pero las diferencias son pequeñas. En cualquier caso, esta pequeña mejora en el segundo grupo no es suficiente para hacer que el efecto medio negativo en cultura general sea no significativo.

4.3.2 Resultados para el primer grupo de alumnos en los colegios seleccionados en 2005/06

Los estadísticos descriptivos para el primer grupo de alumnos tratados en los 54 colegios seleccionados para implementar el programa en 2005/06 están en la Tabla 12. Las características demográficas del último grupo de alumnos no-tratados son más parecidas a las características de la población general que las del último grupo no tratado de los 25 colegios. Esto se puede observar mirando las diferencias entre las primeras dos columnas de la Tabla 12 y comparándolas con aquellas diferencias para la Tabla 2. Asimismo, el cambio en características demográficas observado al comparar el último grupo no-tratado con el primer grupo tratado es ligeramente más pequeño aquí que en los primeros 25 colegios seleccionados para implementar el programa.

A continuación, examinamos los efectos estimados del tratamiento para los 54 colegios que se hicieron bilingües en 2005/06. Estas estimaciones se presentan en la Tabla 13. Observamos que, al igual que en los análisis anteriores para los primeros 25 colegios seleccionados, el efecto no es estadísticamente diferente de cero en matemáticas y en lectura. No obstante, para cultura general el efecto es ahora no significativo. Este cambio en el efecto medio estimado podría deberse a un efecto de composición, puesto que el efecto es heterogéneo. Como se puede observar en la Tabla 8 el efecto es más grande en valor absoluto cuanto más bajo es el nivel de educación de los padres. Los alumnos en estos 54 colegios tienen características socio-demográficas mejo res que aquellos de los primeros 25 colegios bilingües para los cuales detectamos un efecto negativo y significativo en cultura general. Por esta razón a continuación analizamos los efectos estimados por grupos de observables.

Podemos ver en la Tabla 14 que el efecto en matemáticas y lectura continúa siendo no significativo para todos los grupos. Asimismo, al igual que para los primeros 25 colegios bilingües, en cultura general el efecto es heterogéneo, y es claramente no-significativo para aquellos alumnos cuyos padres tienen estudios universitarios, y negativo y significativo para aquellos cuyos padres tienen solamente educación secundaria obligatoria o menos. Sin embargo, hay una diferencia importante con respecto al efecto del tratamiento esti mado en los primeros 25 colegios, presentado en las secciones anteriores. El efecto negativo del programa es más pequeño aquí (en valor absoluto). Esta diferencia significa que, para aquellos alumnos cuyos padres tienen estudios de bachillerato o de formación profesional, el efecto del programa en cultura general no es ahora significativamente diferente de cero. El efecto estimado es ahora -0.033 y en la Tabla 8 era -0.259¹⁵. Asimismo, el resto de los coeficien tes estimados para el efecto en cultura general (columna 3 en la Tabla 14) y la mayoría de los otros coeficientes estimados en esta tabla son más pequeños (en valor absoluto) que los efectos estimados para los primeros 25 colegios.

Tabla 13: Dif-en-Dif con y sin variables de control. El primer grupo de alumnos tratados en los 54 colegios seleccionados a implementar el programa bilingüe en 2005/06

Notas: Las variables dependientes son las notas individuales estandarizadas en cada una de las tres pruebas en 2009/10 y 2010/11. Errores estándar agrupados a nivel de colegio en paréntesis: * significativo al 10%; ** significativo al 5%; *** significativo al 1%. Las estimaciones con x incluyen las mismas variables explicativas que en la Tabla 7, pero no se muestran aquí.

Tabla 14: Dif-en-Dif para los colegios de 2005/06. Los efectos estimados del tratamiento utilizando regresiones separadas por grupos observables de alumnos.

“Notas: Las variables dependientes son las notas individuales estandarizadas en cada una de las tres pruebas en los examenes CDI de 2009/10 y 2010/11. La muestra utilizada para estas estimaciones son alumnos españoles (es decir no-inmigrantes), no mayores de 12 años y que no tienen necesidades educativas especiales. Se dividen según la educación de los padres en tres grupos. Proporción es el % que cada grupo representa sobre la muestra total de alumnos (incluyendo aquellos grupos como alumnos mayores de 12 años cuyas estimaciones difen-dif no se presentan aquí). Las siguientes variables de control se incluyeron en estas regresiones, pero no se muestran: variables ficticias para el examen y colegio bilingüe, género, ocupación de los padres, composición del hogar donde vive el alumno y la edad a la que el alumno empezó a ir a colegio/guardería. Errores estándar agrupados a nivel de colegio en paréntesis: * significativo al 10%.

¹⁵ Una prueba de la igualdad de estos dos coeficientes estimados rechaza la hipótesis nula de la igualdad de los efectos.

¿Qué podría explicar los efectos diferentes del programa que encontramos para los 25 colegios seleccionados a implementar el programa en 2004/05 y para los 54 colegios seleccionados en 2005/06? Dado que las características de los alumnos en estos dos grupos de colegios son diferentes, el efecto diferencial podría estar captando el efecto positivo de los condiscípulos en esos 54 colegios. Para comprobar esta hipótesis estimamos nuestros modelos incluyendo como variables explicativas el nivel medio de educación de los padres de los alumnos en cada colegio. El efecto de estas variables no es significativamente diferente de cero y los efectos estimados de la política no cambian. Otra explicación podría ser que los colegios seleccionados en 2005/06 estuvieran más preparados y fueran más aptos para implementar el programa, por tanto el efecto negativo observado en los 25 colegios se atenúa. Como se explicó en la sección 2, en 2005/06 el nivel de inglés de los profesores en los colegios candidatos se evaluó mediante un examen y el resultado de ese examen fue parte de los criterios utilizados para seleccionar los colegios. Esto podría significar que los colegios seleccionados en 2005/06 estaban más preparados para enseñar en inglés. Si esta hipótesis fuera correcta, entonces podría implicar que una gran parte del efecto negativo encontrado para los 25 colegios bilingües de 2004/05 se debe a una formación insuficiente en inglés de los profesores en esos colegios. Pero esta es solamente una suposición que no podemos comprobar con los datos que tenemos disponibles actualmente.

5. Conclusiones

Todas nuestras estimaciones del efecto del programa bilingüe sobre los resultados académicos en diferentes pruebas, controlando por características observables de los alumnos y utilizando varias estrategias para corregir la auto-selección, llevan a la misma conclusión: hay un efecto negativo claro, cuantitativamente sustancial, sobre el aprendizaje de la asignatura enseñada en inglés, y el efecto no es significativamente diferente de cero en matemáticas y en lectura, asignaturas que se enseñan en español. Nuestra variable dependiente que mide el aprendizaje en estas tres asignaturas es un examen general estandarizado en habilidades básicas que se supone que debería haber obtenido cualquier alumno del sexto curso durante los años de educación primaria.

Dos aspectos de los resultados son particularmente importantes porque tienen implicaciones de política potenciales. El primero es el hecho de que los efectos negativos se concentran sobre los alumnos con padres menos educados. El segundo aspecto es que el efecto negativo es mucho más grande (en valor absoluto) para el grupo de colegios que empezaron a participar en el programa en 2004 que para aquellos que empezaron en 2005. Además, para los colegios seleccionados en 2005 el efecto no es significativamente diferente de cero en promedio y tampoco para aquellos alumnos cuyos padres tienen más que estudios secundarios obligatorios. Desde 2004 hasta 2005 hubo un cambio en las reglas que aumentó el nivel requerido de conocimientos de inglés de los profesores en los colegios participantes. Valdría la pena analizar hasta que punto este cambio es la causa de la reducción del impacto negativo.

Dado el cambio en las características observables de los estudiantes después de la introducción del programa, se podría sospechar un cambio en características no observables. Esto podría sesgar nuestros coeficientes estimados. Dadas las diferentes fuentes del cambio en la población de estudiantes en los colegios bilingües, la dirección del sesgo es incierta. De todos modos, no es poco razonable suponer que el cambio en las características no observables es el mismo que en las observables. Si esto fuera el caso, podría reforzar nuestro efecto negativo y significativo en cultura general y podría cambiar el efecto estimado no significativo en matemáticas y lectura en un efecto negativo y significativo. Por otro lado, si las observables y las no observables están positivamente correlacionadas, las características observables deberían recoger ya una parte importante del efecto de las no observables y por esta razón el efecto del programa no sería muy diferente del que estamos estimando, especialmente si la correlación positiva entre las observables y las no observables es muy alta. Las dificultades que experimentamos en cuanto a estar seguros sobre los efectos de la política representan un recordatorio severo sobre la necesidad de introducir políticas de una manera que facilite su correcta evaluación. Esto es particularmente imperdonable en un contexto como el presente, en el que la política se introdujo de manera gradual y los solicitantes eran todos bastante similares.

Este estudio se basa solamente en las primeras dos cohortes de estudiantes que terminaron la educación primaria en el programa bilingüe. Añadir más grupos y más colegios en los años futuros podría permitir un análisis más detallado. En particular, un aspecto que merece la pena estudiar en investigaciones futuras es la reacción de los padres al elegir los colegios una vez que sepan en el momento de entrar en la educación infantil que ese colegio es parte del programa bilingüe. Podríamos observar una segregación marcada de los estudiantes. Esta podría ser especialmente fuerte en educación secundaria, en la que es un requisito haber obtenido buenos resultados en el programa bilingüe para matricularse en las secciones bilingües de los institutos. El efecto a largo plazo del programa y la potencial segregación son temas importantes para investigación futura.

Finalmente, como mencionamos en la Introducción, el hecho de que Admiraal, Westhoff y de Bot (2006) no encontraran ningún efecto de un programa similar en educación secundaria en Holanda abre la pregunta adicional sobre cual es la mejor edad para introducir este tipo de programas.

6. Re ferencias

References

1. • [1] Admiraal, Wilfried, Gerard Westhoff y Kees de Bot (2006), “Evaluation of Bilingual Secondary Education in The Netherlands: Students’ language proficiency in English,” Educational Research and Evaluation 12, 75 – 93.

References

1. • [2] Anghel, Brindusa y Antonio Cabrales (2010), “The Determinants of Success in Primary Education in Spain ,” Fedea Working Paper 2010-20

References

1. • [3] Angrist, Joshua D. y Victor Lavy (1999), “Using Maimonides’ Rule to Estimate the Effect of Class Size on Scholastic Achievement,” Quarterly Journal of Economics 114, 533-575.

References

1. • [4] Banfi, Cristina y Raymond Day (2004), “The Evolution of Bilingual Schools in Argentina,” International Journal of Bilingual Education and Bi lingualism 7, 398411.

References

1. • [5] Bentolila, Samuel y Andrea Ichino (2008), “Unemployment and consumption near and far away from the Mediterranean,” Journal of Population Economics 21, 255–280.

References

1. • [6] Bergin, Adele, Thomas Conefrey, John Fitz Gerald y Ide Kearney (2009),“Recovery Scenarios for Ireland: An Update,” mimeo.

References

1. • [7] Fidrmuc, Jarko y Jan Fidrmuc (2009), “Foreign Languages and Trade: What are you sinking about?,” mimeo.

References

1. • [8] Fry, Richard y Lindsay B. Lowell (2003), “The Value of Bilingualism in the U.S. Labor Market,” Industrial & Labor Relations Review 57, 128-140.

References

1. • [9] Ginsburgh, Victor A. y Juan Prieto-Rodriguez (2011) “Returns to Foreign Languages of Native Workers in the EU,” Industrial & Labor Relations Review 64, 599618.

References

1. • [10] Greene, Jay A. (1998), “A Meta-Analysis of the Effectiveness of Bilin gual Education,” mimeo, University of Texas at Austin.

References

1. • [11] Krueger, Alan B. (1999), “Experimental Estimates of Education Production Functions,” Quarterly Journal of Economics Volume 114, 497-532.

References

1. • [12] Jepsen, Christopher (2009), “Bilingual Education and English

References

1. Proficiency,” mimeo. University of Kentucky.

References

1. • [13] Ordóñez, Claudia L. (2004), “EFL and Native Spanish in Elite Bilingual Schools in Colombia: A First Look at Bilingual Adolescent Frog Stories,” International Journal of Bilingual Education and Bilingualism 7, 449- 474.

References

1. • [14] Saiz, Albert y Elena Zoido (2005), “Listening to What the World Says: Bilingualism and Earnings in the United States,” The Review of Economics and Statistics 87, 523-538.

References

1. • [15] Williams, Donald R. (2011), “Multiple Language Usage and Earnings in Western Europe,” International Journal of Manpower 32, 372-393.

References

1. • [16] Willig, Ann C. (1985), “A Meta-Analysis of Selected Studies on the Effectiveness of Bilingual Education,” Review of Educational Research 55, 269-317.

References

1. 2013-08: “Evaluación de un programa de educación bilingüe en España: El impacto más allá del aprendizaje del idioma extranjero”, Brindusa Anghel, Antonio Cabrales y Jesús M. Carro.

References

1. 2013-07: “Publicación de los resultados de las pruebas estandarizadas externas: ¿Tiene ello un efecto sobre los resultados escolares?”, Brindusa Anghel, Antonio Cabrales, Jorge Sainz e Ismael Sanz.

References

1. 2013-06: “DYPES: A Microsimulation model for the Spanish retirement pension system”, F. J. Fernández-Díaz, C. Patxot y G. Souto.

References

1. 2013-05: “Vertical differentiation, schedule delay and entry deterrence: Low cost vs. full service airlines”, Jorge Validoa, M. Pilar Socorroa y Francesca Medda.

References

1. 2013-04: “Dropout Trends and Educational Reforms: The Role of the LOGSE in Spain”, Florentino Felgueroso, María Gutiérrez‐Domènech y Sergi Jiménez‐Martín.

References

1. 2013-03: “Understanding Different Migrant Selection Patterns in Rural and Urban Mexico”, Simone Bertoli, Herbert Brücker y Jesús Fernández-Huertas Moraga.

References

1. 2013-02: “Understanding Different Migrant Selection Patterns in Rural and Urban Mexico”, Jesús Fernández-Huertas Moraga.

References

1. 2013-01: “Publicizing the results of standardized external tests: Does it have an effect on school outcomes?, Brindusa Anghel, Antonio Cabrales, Jorge Sainz y Ismael Sanz.

References

1. 2012-12: “Visa Policies, Networks and the Cliff at the Border”, Simone Bertoli, Jesús Fernández-Huertas Moraga.

References

1. 2012-11: “Intergenerational and Socioeconomic Gradients of Child Obesity”, Joan Costa-Fonta y Joan Gil.

References

1. 2012-10: “Subsidies for resident passengers in air transport markets”, Jorge Valido, M. Pilar Socorro, Aday Hernández y Ofelia Betancor.

References

1. 2012-09: “Dual Labour Markets and the Tenure Distribution: Reducing Severance Pay or Introducing a Single Contract?”, J. Ignacio García Pérez y Victoria Osuna.

References

1. 2012-08: “The Influence of BMI, Obesity and Overweight on Medical Costs: A Panel Data Approach”, Toni Mora, Joan Gil y Antoni Sicras-Mainar.

References

1. 2012-07: “Strategic behavior in regressions: an experimental”, Javier Perote, Juan Perote-Peña y Marc Vorsatz.

References

1. 2012-06: “Access pricing, infrastructure investment and intermodal competition”, Ginés de Rus y M. Pilar Socorro.

References

1. 2012-05: “Trade-offs between environmental regulation and market competition: airlines, emission trading systems and entry deterrence”, Cristina Barbot, Ofelia Betancor, M. Pilar Socorro y M. Fernanda Viecens.

References

1. 2012-04: “Labor Income and the Design of Default Portfolios in Mandatory Pension Systems: An Application to Chile”, A. Sánchez Martín, S. Jiménez Martín, D. Robalino y F. Todeschini.

References

1. 2012-03: “Spain 2011 Pension Reform”, J. Ignacio Conde-Ruiz y Clara I. Gonzalez.

References

1. 2012-02: “Study Time and Scholarly Achievement in PISA”, Zöe Kuehn y Pedro Landeras.

References

1. 2012-01: “Reforming an Insider-Outsider Labor Market: The Spanish Experience”, Samuel Bentolila, Juan J. Dolado y Juan F. Jimeno.

References

1. 2011-13: “Infrastructure investment and incentives with supranational funding”, Ginés de Rus y M. Pilar Socorro.

References

1. 2011-12: “The BCA of HSR. Should the Government Invest in High Speed Rail Infrastructure?”, Ginés de Rus.

References

1. 2011-11: “La rentabilidad privada y fiscal de la educación en España y sus regiones”, Angel de la Fuente y Juan Francisco Jimeno.

References

1. 2011-10: “Tradable Immigration Quotas”, Jesús Fernández-Huertas Moraga y Hillel Rapoport.

References

1. 2011-09: “The Effects of Employment Uncertainty and Wealth Shocks on the Labor Supply and Claiming Behavior of Older American Workers”, Hugo Benítez-Silva, J. Ignacio García-Pérez y Sergi Jiménez-Martín.

References

1. 2011-08: “The Effect of Public Sector Employment on Women’s Labour Martket Outcomes”, Brindusa Anghel, Sara de la Rica y Juan J. Dolado.

References

1. 2011-07: “The peer group effect and the optimality properties of head and income taxes”, Francisco Martínez-Mora.

References

1. 2011-06: “Public Preferences for Climate Change Policies: Evidence from Spain”, Michael Hanemann, Xavier Labandeira y María L. Loureiro.

References

1. 2011-05: “A Matter of Weight? Hours of Work of Married Men and Women and Their Relative Physical Attractiveness”, Sonia Oreffice y Climent Quintana-Domeque.

References

1. 2011-04: “Multilateral Resistance to Migration”, Simone Bertoli y Jesús Fernández-Huertas Moraga.

References

1. 2011-03: “On the Utility Representation of Asymmetric Single-Peaked Preferences”, Francisco Martínez Mora y M. Socorro Puy.

References

1. 2011-02: “Strategic Behaviour of Exporting and Importing Countries of a Non-Renewable Natural Resource: Taxation and Capturing Rents”, Emilio Cerdá y Xiral López-Otero.