Hacer de la Educación un Ámbito Basado en Evidencias Científicas

La investigación educativa no tiene demasiada credibilidad entre docentes y administradores. Así de duro, así de claro. Y. como consecuencia, no es frecuente que unos u otros recurran a evidencias científicas cuando tienen que tomar una decisión (Kennedy, 1997; Hening, 2006; Whitty, 2006; Houston, 2008; Weiss, Murphy-Graham, Petrosino y Gandhi, 2008). En este breve escrito analizaremos las causas de esa reputación y profundizaremos en los modelos de relación entre la investigación y la práctica.

La terrible reputación de la investigación educativa

Hace casi 20 años, el profesor norteamericano Carl Kaestle (1993) publicó un artículo de provocativo título: “The Awful Reputation of Educational Research” (La "terrible” reputación de la investigación educativa). Allí se defendía que la investigación educativa no había sido capaz ser creíble entre docentes y administradores; ni los temas abordados eran los que pedían los usuarios de la investigación, ni los resultados obtenidos eran utilizados para la toma de decisiones, de tal forma que la práctica había dado la espalda a la investigación (Hammersley, 2007). 

Pocos años después, David Hargreaves, en una conferencia impartida en la asamblea anual de la Agencia para la Formación del Profesorado (TTA) del Reino Unido, afirmaba que la enseñanza, al contrario de lo que ocurre en el campo de la medicina, entre otros, no es una profesión basada en evidencias científicas (Hargreaves, 1996). Así, argumentaba que mientras que los médicos tomaban sus decisiones profesionales, por ejemplo qué tratamiento prescribir, basándose en la mejor evidencia científica disponible, los docentes no utilizan la investigación en sus decisiones acerca de qué es lo mejor para sus alumnos. Y culpabilizaba de este hecho a la investigación educativa, que no ha sabido ser útil para la fundamentación de la práctica docente, ni crear un cuerpo sólido de conocimientos sólidos e indiscutibles, ni difundir adecuadamente sus resultados (Muñoz-Repiso, 2004).

Ambos artículos tuvieron una importante repercusión en las comunidades científica y académica de sus respectivos países, iniciándose un profundo y sustancioso debate en torno al tema que llega hasta nuestros días. 

Pero este debate no quedó en lo teórico, en ambos países las autoridades educativas tomaron medidas para transformar esa situación. En Estados Unidos, por ejemplo, el Plan Estratégico del Departamento de Educación para los años 2002-2007, establece un diagnóstico ya conocido:

“Al contrario de lo que ocurre en la medicina, la agricultura o la producción industrial, el campo de la educación opera en gran medida sobre la base de la ideología y el consenso profesional. De esta manera está sujeto a modas y es incapaz de un progreso basado en la acumulación de conocimientos a partir de la aplicación del método científico y de la recogida y utilización sistemática de información objetiva para la toma de decisiones política.

Nosotros cambiaremos la educación para hacerla un campo basado en evidencias” (US Department of Education, 2002: 50).

De esta forma estableció como una de las seis metas del Plan Estratégico “Hacer que la educación se convierta en un ámbito basado en evidencias”. Esta idea se concreta en los siguientes objetivos:

• Elevar la calidad de la investigación financiada o desarrollada por el departamento con acciones relacionadas con crear y aplicar altos estándares para la financiación de investigaciones. 
• Incrementar la relevancia de esa investigación para satisfacer las necesidades de los usuarios, mediante un mayor conocimiento de esas necesidades (realizando estudios periódicos para ello), elaborando y actualizando revisiones de investigación (los llamados What Works), trasladando los resultados de la investigación a la práctica del aula, desarrollando guías que muestran ejemplos de educación basada en evidencias, priorizando temas e incrementando la financiación. 

En el Reino Unido, la esencia de las acciones no fue muy diferente a las planteadas por el gobierno de los Estados Unidos. Así, por ejemplo:

• Se potenció la realización de revisiones sistemáticas de la investigación educativa, para lo cual se creó el Centro de Información y Coordinación en la Escuela de Educación de la Universidad de Londres (EEP-Centre). 
• Se establecieron prioridades en la financiación para potenciar aquellos trabajos más acordes con las necesidades de los usuarios, para lo que se creó el Foro Nacional para la Investigación Educativa (NEFR). 
• Se buscó coordinar las propuestas y productos de investigación a partir de un conjunto de criterios de calidad.

En América Latina, quizá como muestra de esa desconfianza, no existe ni centro de investigación (sólo el Instituto Central de Ciencias Pedagógicas, de Cuba, más centrado en evaluación que en investigación), ni siquiera una política clara de cómo abordarlo.

Relación entre investigación y práctica educativas

Sólo ha habido un modelo empírico y validado que ha relacionado efectivamente la investigación y la práctica educativa. Es el llamado modelo IDDA, cuyo momento de auge se sitúa en torno a los años sesenta y principios de los setenta. Recordemos que en esa década, conocida como la del optimismo pedagógico, se pensaba que con conocimientos, recursos y un poco de política en el nivel de la escuela y del sistema educativo se podría conseguir que la educación desempeñara un importante papel en la redistribución social. De esta manera, la investigación jugaba un papel fundamental en la mejora de la educación que contribuyera a un cambio social. El modelo IDDA tomaba su nombre de las fases que comprende: Investigación-Desarrollo-Difusión-Adopción (p.e. Havelock, 1969; House, 1979). Con él se buscaba el cambio educativo mediante la elaboración y difusión de materiales ejemplares, surgidos de la investigación, que equipos de profesores universitarios y psicólogos habían elaborado y que debían ser aplicados por los docentes.

El resultado de la aplicación masiva de ese modelo fue un rotundo fracaso. Algunas de sus causas fueron:

1. A pesar de los grandes recursos invertidos durante los 15 años transcurridos desde 1957 a 1972 y a pesar de las numerosas “adopciones” de innovaciones puestas en marcha, el cambio ocurrido en las escuelas fue muy escaso en comparación con las previsiones.

2. El proceso modal de cambio se caracterizó por un patrón común para todas las innovaciones que se desarrollaba fuera de las escuelas y se transmitía a ellas por unas bases relativamente universales. Los consumidores o usuarios de las innovaciones (profesores, padres, alumnos) jugaban un papel muy limitado en este proceso, básicamente de implementadores pasivos. La importancia la tenían las innovaciones en sí, más que la capacidad de innovar. Los profesores innovaban de manera individual, resultado de un proceso permisivo más que participativo.

3. Este proceso modal tenía cuatro implicaciones:

a. Los valores y metas de los usuarios se articulaban como si no tuvieran influencia alguna en el proceso, lo que conllevaba que no se sintieran comprometidos con las innovaciones y que no se permitiera diversidad alguna.

b. No se reconocían ni planificaban cambios en el sistema social, ni en los papeles de los usuarios.

c. La dinámica del proceso de cambio de rol fue completamente malentendida y descuidada. Existía escasa concienciación de que la innovación requiere desaprender y reaprender, a la vez que crear duda y preocupación sobre las competencias necesarias para representar estos nuevos roles. En consecuencia, una vez que se ha iniciado el cambio no es posible incorporar tiempo, recursos u otros apoyos al aprendizaje de los nuevos roles dentro del sistema.

d. A partir de lo anterior, las nuevas ideas educativas y los cambios organizativos introducidos se convirtieron en alternativas vacías puesto que crearon condiciones y esperanzas no-realistas en las actuaciones de los usuarios.

Este rotundo fracaso generó que se rompiera la relación entre investigación y práctica de una forma radical. Desde ese momento, investigación e innovación han seguido caminos diferentes, sino enfrentados entre sí, sí de espaldas la una de la otra. A partir de entonces, los prácticos, más pragmáticos como no podía ser de otra forma, se percataron de la importancia del centro docente como eje central de los procesos de cambio. Y se comenzaron a proponer modelos en los que la investigación no jugaba papel alguno. Así, tras este modelo de enfoque Técnico-Científico, se impuso el enfoque Cultural y, tras él, el Socio-Político. Sin embargo, simplificando, en todos ellos el origen del proceso de cambio era su propio diagnóstico, la auto-reflexión de las dificultades percibidas. Es decir, en ninguno se consideró la investigación educativa como una fuente para el cambio. Sólo recientemente se empiezan a valorar los resultados de la investigación como una “presión externa” para el cambio educativo.

Desde la investigación, en una postura mucho más soñadora, se defendían por cinco modelos de relación entre investigación y práctica (Edwards, 2000; Burkhardt y Schoenfeld, 2003; Saunders, 2007)):

1. Relación directa entre la investigación y la práctica. Los docentes y administradores leen informes de investigación y aplican los resultados a su propia práctica iniciando, de esta forma, un proceso de cambio (Oakey, 2002; 2003). Esta vía supone que los docentes son los principales usuarios de la investigación, y, por ello, la investigación debe ir dirigida a estos profesionales:

La experiencia y los estudios sobre el tema, sin embargo, nos confirman la invalidez de este camino. Los profesores, por regla general, no tienen tiempo ni formación para leer informes de investigación, y en muchos casos tampoco tienen la actitud para hacerlo (Hammersley, 2007).

2. Las revisiones de investigación como mediadoras. Dadas las dificultades para que los docentes y administradores lean investigaciones originales, se han multiplicado las iniciativas para elaborar revisiones de investigación (los llamados What Works) (Atkinson, 2002; Biesta, 2007; Oancea, 2008; Slavin 2008), o artículos de difusión de tal forma que gran parte del saber acumulado por la investigación esté disponible de una forma rápida y accesible para los docentes y tomadores de decisiones.
3. La formación del profesorado como mediadora. Los resultados de la investigación llegan a la práctica a través de la formación tanto inicial como permanente del profesorado. Los formadores de formadores serían, por tanto, mediadores entre la investigación y la práctica (Thomas y Pring, 2004; Hammerley, 2007). Desde ese enfoque cobraría especial atención la necesidad de que los profesionales dedicados a la formación de profesores y maestros fueran, a su vez, investigadores.
4. La ruta de la política. Otra apuesta muy habitual es considerar que la investigación debe ayudar a la toma de decisiones políticas, y que a través de estas decisiones la investigación impactará en la práctica docente. Este planteamiento es el más popular entre los investigadores. De hecho, en muchas ocasiones se piensa más, a la hora de redactar los informes, en los políticos que en los docentes. Desafortunadamente la experiencia nos dice que los tomadores de decisiones políticas hacen una utilización parcial y sesgada de los resultados de la investigación. Así, salvo contadas excepciones, la investigación apenas es una excusa para tomar una decisión previamente acordada.
5. La ruta larga, la sociedad como mediadora. La quinta alternativa es la que defiende que la investigación, con su lenta pero progresiva acumulación de conocimientos, va creando poco a poco una “cultura” entre la sociedad que, posteriormente es asumida por políticos, administradores y docentes (Hammersley, 2002; 2004; Slavin, 2002). De esta manera, el principal usuario de la investigación sería la sociedad en su conjunto.

Estos modelos “puros” se combinan entre sí formando un entrelazado de propuestas. Así, por ejemplo, el Strategic Education Research Program (SERP), desarrollado por el estadounidense National Research Council (NRC) sigue un modelo que combina la utilización de las revisiones de investigación para acercar la investigación a la formación del profesorado y a la toma de decisiones políticas (Willinsky, 2001). 

En todo caso y tal como argumentábamos al comienzo de este escrito, parece claro que ninguno de los cinco modelos señalados ha logrado que la investigación impacte realmente en la práctica educativa, ninguno de ellos ha hecho que la educación sea un ámbito basado en evidencias científicas. Un sencillo análisis nos hace percatarnos que todos ellos siguen un planteamiento análogo: consideran que el investigador asume en exclusiva el papel de generador de conocimiento, y el docente el rol consumidor y el administrador y político, en el mejor de los casos, el rol de mediador.

Dificultades en la relación entre investigación y práctica

La investigación es percibida por los docentes y administradores como irrelevante, inútil y demasiado teórica. Aunque los estudios desarrollados sobre el tema se han centrado más en docentes que en administradores o en tomadores de decisiones política, los resultados puede que no sean tan diferentes.

Efectivamente, Shkedi (1998) realizó un estudio de carácter cualitativo con un doble objetivo: por una parte conocer cómo los profesores utilizan los resultados de la investigación y, por otra, identificar las barreras que les impiden utilizar dicha investigación. Para ello entrevistó en profundidad a 47 profesores en activo de diferentes niveles educativos. Sus resultados se mostraron concluyentes: la gran mayoría de los profesores no lee literatura de investigación porque piensa que es irrelevante, inútil, demasiado teórica y porque no confían en sus resultados. Prefieren leer literatura educativa más práctica, de tal forma que puedan aplicar los resultados en su trabajo de forma más directa. Como resultado añadido que nos debe hacer pensar, también encontró que los docentes creían que la mejor investigación educativa era la cuantitativa, pocos conocían el potencial de la investigación de carácter cualitativo. Esta misma investigación encontró que los docentes afirmaban que tenían poco tiempo para leer investigación, además ésta no estaba disponible en su entorno inmediato y que tenían dificultades para entender muchos de sus términos, especialmente los referidos a las estadísticas utilizadas. 

Análogas conclusiones fueron obtenidas por Latham (1993) en un estudio que comparó el consumo de literatura científica de docentes, ingenieros, abogados y médicos. Encontró que los profesores conforman el colectivo profesional que menos utilizaba la literatura científica y que menos la valoraba. Concretamente halló que los docentes afirmaban que no tenían tiempo, que el lenguaje de la investigación era demasiado técnico y que no encontraban la utilidad a las investigaciones educativas. Con todo ello, decían que no les merecía la pena el esfuerzo de intentar leer literatura de investigación.

En esa línea, Saha, Biddle y Anderson (1995), en una investigación en la que consultaron a 120 directores de escuela, encontraron que la participación de los directivos de centros en cursos de postgrado tenía un impacto positivo en la utilización de la investigación. La formación del profesorado en investigación, por tanto, mejora de forma significativa la utilización de los resultados de investigación. 

Otro interesante trabajo relacionado con el uso de la investigación es el desarrollado por Zeuli (1994). En él, localizó a una docena de profesores que utilizaban la investigación educativa y profundizó en el conocimiento de cómo leen investigación, y cómo creen que esas lecturas influyen en su trabajo. Entre los resultados encontrados destacan:

• Los docentes tienen más probabilidades de utilizar los resultados de investigación si en los informes se aportan ejemplos de casos similares a sus propios contextos de enseñanza. 
• Muchos docentes se centran más en el producto de la investigación que en las ideas principales y evidencias.
• Los profesores encuentran la investigación más creíble cuando ésta es coherente con su experiencia personal. 
• Algunos profesores piensan que la investigación sólo debería abordar el estudio de técnicas y estrategias que tuvieran un impacto directo en el desarrollo de la docencia, y valoraban la calidad de las investigaciones con el exclusivo criterio de su aplicabilidad directa en el aula.

Otro tema clave que ha preocupado especialmente en la relación entre investigadores y prácticos son las dificultades para la difusión de los resultados de investigación. Y son varios los estudiosos que han abordado esa cuestión. La profesora Felicity Wikeley (1998) pretendió, a través de un interesante estudio en el que entrevistó profesores de 15 escuelas de un LAE inglés, averiguar cómo las buenas prácticas de investigación pueden ser diseminadas a los profesores de tal forma que ayude a las iniciativas de mejora de la escuela. Encontró, en primer lugar, que la diseminación es una tarea extremadamente compleja, incluso cuando las buenas prácticas son compartidas entre colegas. También halló evidencias de que son muy fuertes las resistencias para aceptar los resultados encontrados en la investigación. Así, los profesores dudan de la validez de la investigación, y defienden que sus situaciones particulares invalidan la aplicación de sus resultados. De esta forma, cuando se les presentan resultados de investigación piensan que no es posible utilizarlos dado que sus clases o centros tienen características diferentes a los presentados en la investigación.

Por otro lado, Huberman (1990) desarrolló un estudio ampliamente citado en el que se centró en analizar 11 proyectos de investigación. Encontró que la diseminación de resultados es mejor si existen buenas relaciones entre investigadores y prácticos antes y durante el desarrollo del estudio. Huberman justificó esos resultados defendiendo que el contacto de los investigadores con los docentes les ayudaba a tener en cuenta el contexto local y a predecir la forma en que los resultados podrían ser implementados. 

Una último dato nos lo aportan Cousins y Leithwood (1993) quienes concluyeron, tras una ambiciosa investigación en la que aplicaron un cuestionario a 388 directores de centros docentes norteamericanos, que el conocimiento centrado en la escuela es la mejor forma de mejorar las escuelas, más que las estrategias “de abajo a arriba” o “de arriba a abajo” De esta forma, la mejora de la utilización del conocimiento es una estrategia para la mejora de la escuela, y la escuela es la unidad para la utilización del conocimiento y el cambio. Los centros docentes como organizaciones son sistemas sociales, y el conocimiento en educación se construye social y políticamente. Por esos motivos, concluyen esos autores, los docentes deberían estar más implicados con la investigación como participantes o como investigadores activos.

Con todo ello, las evidencias acerca de la utilización de la investigación por parte de los docentes, según los estudios que han recogido sus apreciaciones, nos informan de la existencia de algunas barreras para la utilización de la investigación en educación, tales como: 

• La investigación es percibida como irrelevante, inútil y demasiado teórica. 
• Ausencia de confianza en los resultados de la investigación. 
• Falta de tiempo por parte de los docentes y un acceso muy limitado a la literatura de investigación. 
• Existen problemas por parte de los docentes para comprender el lenguaje y las estadísticas de los informes de investigación. 
• Los docentes tienen mucha más confianza en otras fuentes de información que en la investigación. 
• Existe una fuerte resistencia al cambio por parte de los docentes, resistencia que más que individual es del centro en su conjunto, por tener estructuras rígidas que limitan los procesos de cambio 

Entre los elementos facilitadores de esta utilización se encuentran: 

• La realización de investigaciones sobre temas que importan a los implicados y donde se incluyen ejemplos y aplicaciones de los resultados. 
• La existencia de buenas relaciones entre investigadores y prácticos. 
• Que los docentes estén o hayan estado implicados en un proceso de investigación. 
• Que los docentes y administradores tengan formación sobre investigación educativa. 
• Que el conocimiento, los resultados e implicaciones de la investigación estén centrados en el conjunto de la escuela, no en el profesor o el aula individual, dado que es la escuela la unidad básica del cambio. 

Ideas finales

En la actualidad existe una profunda brecha en todo el mundo entre la investigación y la práctica educativa, una preocupante falta de mutuo entendimiento entre los investigadores, los docentes y los tomadores de decisiones (Whiseman, 2010). Los prácticos, vista la falta de respuesta de la investigación a sus necesidades y preocupaciones, han dado la espaldas a la investigación, la han ignorado. Los investigadores, por su parte, siguen pensando que tienen el monopolio de la generación del conocimiento, conocimiento que debe ser aplicado por los prácticos para mejorar la educación. Los modelos de relación entre investigación y práctica así lo reflejan, y probablemente esta sea una de las causas de la falta de credibilidad de la investigación educativa. 

De ahí que sea necesario un cambio de enfoque caracterizado por una revisión de la investigación: qué estudia, cómo lo hace, cómo lo comunica..., y también del trabajo de los prácticos: mejorando su formación y su actitud hacia la investigación; y generando instancias mediadoras que faciliten esa comunicación.

Parece claro que la educación necesita una mejora cualitativa importante. Pensar que esa mejora puede venir sin el apoyo de la información validada científicamente no es realista. Todos tenemos el compromiso y la obligación de trabajar por una mejor educación, y eso pasa por acabar con la brecha entre la investigación y la práctica.

Referencias

Atkinson, E. (2000). In defence of ideas, or why “what works” is not enough. British Journal of Sociology of Education, 21( 3), pp. 317-30.

Biesta, G. (2007). Why “what works” won’t work: Evidence-based practice and the democratic deficit in educational research. Educational Theory, 57(1), pp. 1–22.

Burkhardt, H. y Schoenfeld, A. H. (2003) Improving educational research: Toward a more useful, more influential, and better-funded enterprise. Educational Researcher, 32(9), pp. 3-14.

Cousins, J. y Leithwood, K. (1993). Enhancing knowledge utilisation as a strategy for school improvement. Knowledge Creation Diffusion Utilisation, 14(3), pp. 305-33.

Edwards, T. (2000). ‘All the Evidence Shows …’: reasonable expectations of educational research. Oxford Review of Education, 26(3-4), pp. 299-311.

Hammersley, M. (2002). Educational Research, Policymaking and Practice. London: Paul Chapman.

Hammersley, M. (2004). Some questions about evidence-based practice in education. En G. Thomas y R. Pring (eds.) Evidence-Based Practice in Education. Maidenhead: Open University Press.

Hammersley, M. (2007). Educational research and evidence-based practice. Thousand Oaks, C.A.: Sage.

Hargreaves, D.H. (1996). Teaching as a research-based profession: possibilities and prospects (Annual Lecture). London: Teacher Training Agency.

Henig, J. R. (2008). The evolving relationship between researchers and public policy. Phi Delta Kappan, 89(5), pp. 357–360.

Huberman, M. (1990). Linkage between researchers and practitioners: a qualitative study. American Educational Research Journal, 27(2), pp. 363-91.

Huston, A. C. (2008). From research to policy and back. Child Development, 79(1), pp. 1-12.

Kaestle, C. (1993). The awful reputation of education research. Educational Researcher, 22(1), pp. 23-31.

Kennedy, M.M. (1997). The connection between research and practice. Educational Researcher, 26(7), pp. 4-12.

Latham, G. (1993). Do educators use the literature of the profession? NASSP Bulletin, 77, pp. 63-70.

Muñoz-Repiso, M. (2004). ¿Sirve para algo la investigación educativa? Organización y Gestión Educativa, 54, pp. 23-27.

Oakley, A. (2002) Social Science and Evidence-based Everything: The case of education. Educational Review, 54(3), pp. 277-286.

Oakley, A. (2003). Research Evidence, Knowledge Management and Educational Practice: early lessons from a systematic approach. London Review Of education 1(1), pp. 21-39.

Oancea, A. (2008). The importance of being thorough: On systematic accumulations of ‘what works’ in education research. Journal of Philosophy of Education, 42, pp. 15-32.

Saha, L., Biddle, B. y Anderson, D. (1995). Attitudes towards education research knowledge and policymaking among American and Australian school principals, International Journal of Educational Research, 23(2), 113-26.

Saunders, L. (Ed.). (2007). Educational research and policy-making: Exploring the border country between research and policy. London: Routledge

Shkedi, A. (1998). Teachers' attitudes towards research: a challenge for qualitative researchers. International Journal of Qualitative Studies in Education, 11(4), pp. 559-77.

Slavin, R. E. (2002). Evidence-based education policies: transforming educational practice and research. Educational Researcher, 31(7), pp. 15-21.

Slavin, R. E. (2008). Perspectives on evidence-based research in education: What works? Issues in synthesizing educational program evaluations. Educational Researcher, 37(1), pp. 5–14.

US Department of Education (2002). Strategic Plan for 2002-2007. http://www.ed.gov/about/reports/strat/plan2002-07/plan.pdf

Weiss, C. H., Murphy-Graham, E., Petrosino, A. y Gandhi, A. G. (2008). The fairy godmother and her warts: Making the dream of evidence-based policy come true. American Journal of Evaluation, 29(1), pp. 29–47.

Whitty, G. (2006). Education(al) research and education policy making: Is conflict inevitable? British Educational Research Journal, 32(2), pp. 159–176.

Wikeley, F. (1998). Dissemination of research as a tool for school improvement. School Leadership & Management, 18(1), pp. 59-73.

Willinsky, J. (2001). The Strategic Education Research Program and the Public Value of Research. Educational Researcher, 30(1), pp. 5-14.

Wiseman, A.W. (2010). The Uses of Evidence for Educational Policymaking: Global Contexts and International Trends. Review of Research In education, 34(1). pp. 1-24.

Zeuli, J. (1994). How do teachers understand research when they read it? Teaching and Teacher Education, 10(1), pp. 39-55.

Referencia Original

Murillo, F. J. (2011). Hacer de la educación un ámbito basado en evidencias científicas. REICE. Revista Iberoamericana de Eficacia, Cambio y Mejora Escolar, 9(3), 3-11.

https://revistas.uam.es/index.php/reice/article/view/4333/4652

.

¿Escuelas eficaces versus Escuelas inclusivas?

Es posible que la búsqueda de un título breve pero provocador para enganchar la lectura de este editorial haya generado que se nos escapara el foco de la cuestión. Intentémoslo de otra forma: ¿una escuela inclusiva puede no ser eficaz?, ¿una escuela eficaz puede ser no inclusiva?

Ambas cuestiones se nos antojan sugerentes y su respuesta no es tan fácil e inmediata como pueda parecer. El problema de fondo es que si la contestación a ambas es negativa, es decir si consideramos que una escuela para ser eficaz debe ser inclusiva, y que una escuela para ser inclusiva debe ser eficaz, nos encontramos que una escuela inclusiva y una escuela eficaz son lo mismo. Y poca gente asumirá esto último como cierto: demasiados años de lucha para llegar a un lugar ya conocido. Pero, ¿son acaso conceptos tan diferentes?

Aunque el camino lógico sería comenzar analizando qué entendemos por una escuela inclusiva y una escuela eficaz, vamos a postergarlo para más adelante. Preferimos presentar antes de nada una breve reflexión acerca del por qué nos genera inquietud pensar que los conceptos de escuela eficaz y escuela inclusiva no son tan diferentes.

El concepto de "escuela eficaz" proviene de la Línea de Investigación sobre Eficacia Escolar y comparte con ella muchas incomprensiones y una injusta mala fama, especialmente en América Latina. Quizá por la influencia de los estudios más economicistas, quizá por la influencia negativa surgida de interpretaciones sesgadas e interesadas, o tal vez por la crítica que se le hace de tener una visión mecanicista de la educación o un enfoque tecnocrático. Críticas que contrastan con visiones más conservadores de otros países del mundo que han tachado a la investigación de eficacia escolar como progresista, dado que se preocupa de cuestiones tales como la equidad en los resultados para alumnos desaventajados o para las minorías, presta excesiva atención a las clases bajas y establece perfectamente la relación entre situación socioeconómica y rendimiento para hablar de escuelas eficaces. 

En todo caso, el término "escuela eficaz" es un tecnicismo que surgió por la necesidad de los investigadores de buscar un elemento en común a las diferentes definiciones de "escuela de calidad"; una especie acuerdo tácito entre todas las diferentes concepciones de lo que es una escuela de calidad. De esta forma, para que una escuela sea considerada "buena", al menos, todos y cada uno de los y las estudiantes deben aprender... Poca gente pondrá en duda esta afirmación. Cierto es que quizá eso no sea suficiente, además, quizá haya que hablar también de relevancia o pertinencia.

El término educación inclusiva, por su parte, no está muy claro cuando surge. Posiblemente nace de la Conferencia Mundial sobre Necesidades Educativas Especiales organizada por la UNESCO en 1994 y que concluyó con la llamada Declaración y Marco de Acción de Salamanca. 

Transcurridos 16 años, el principio rector de dicho Marco de Acción está completamente vigente y sigue orientando las políticas en muchas partes del mundo, textualmente señala que “las escuelas deben acoger a todos los niños, independientemente de sus condiciones físicas, intelectuales, sociales, emocionales lingüísticas u otras. Deben acoger a niños discapacitados y niños bien dotados a niños que viven en la calle y que trabajan, niños de poblaciones remotas o nómadas, niños de minorías lingüísticas, étnicas o culturales y niños de otros grupos o zonas desfavorecidos o marginados”. Además fundamenta que “las escuelas ordinarias con esta orientación integradora a representan el medio más eficaz para combatir las actitudes discriminatorias, crear comunidades de acogida, construir una sociedad integradora y lograr la educación para todos; además, proporcionan una educación efectiva a la mayoría de los niños y mejoran la eficiencia y, en definitiva, la relación costo-eficacia de todo el sistema educativo.

Sin duda, es la Declaración de Salamanca la que plantea con claridad la inclusión como principio central que ha de guiar la política y la práctica en la construcción de una educación para todos. 

Es, por tanto, un planteamiento surgido del encuentro de decidores de política y expertos de más de 90 gobiernos y organizaciones del mundo concienciados y preocupados por avanzar hacia una escuela para todos. Con ello hasta podemos afirmar que se trata de un término "político", que refleja un modelo de ser humano y define una sociedad ideal; un término incluso "utópico" si se quiere entender así.

Que un término "técnico" y otro "utópico" se acerquen, pensar que tienen tanto en común, nos resulta, al menos, chocante. Aunque conseguir una escuela eficaz (para todos y cada uno) es tan político o tan utópico como una escuela inclusiva y, el término inclusión es tan técnico como el de eficacia.

Pero volviendo a los conceptos, una definición de Escuela eficaz es:

“…aquella que consigue un desarrollo integral de todos y cada uno de sus estudiantes, más allá de lo que sería previsible teniendo en cuenta su rendimiento previo y la situación socio-económica y cultural de sus familias”. (Murillo, 2005, p. 25)

De esta afirmación se desprende que las escuelas que seleccionan, discriminan o marginan a cualquiera de sus estudiantes por sus características personales, culturales o sociales no son escuelas eficaces, que no es suficiente aprender lengua, matemáticas o ciencias para desarrollarse integralmente, y que es preciso disponer de apoyos especiales para los estudiantes que por sus antecedentes o situación, más lo necesitan.

Para escuela inclusiva, por su parte, podemos encontrar definiciones primigenias como la de Stainback y Stainback (1999, p. 21) que defiende que “es la que educa a todos los estudiantes en la escuela ordinaria", pero que tan escasa nos resulta, o la de Ainscow (2001, p. 44) que señala que es “una escuela que no sólo acepta la diferencia, sino que aprende de ella”. En todo caso, es aquella que garantiza el acceso, la plena participación y el aprendizaje de todos y cada uno de los estudiantes, independientemente de sus diferencias personales, su procedencia social y cultural.

De esta forma, no son tan diferentes ambas definiciones; o al menos tienen un punto en común: que todos y cada uno deben aprender. ¿Podemos imaginar una escuela inclusiva donde los estudiantes, todos los estudiantes, no aprendan? Obviamente no, será una escuela integrada, donde conviven todos los y las estudiantes, pero no inclusiva.

Parafraseando a nuestro amigo Antonio Bolívar, cuanto más eficaz sea una escuela, más inclusiva será. Así se sencillo y así de desafiante.

Referencia Original

Murillo, F. J. y Duk., C. (2011). ¿Escuelas eficaces versus Escuelas inclusivas? Revista Latinoamericana de Educación Inclusiva, 5(1), 11-12.
http://www.rinace.net/rlei/numeros/vol5-num1/Editorial.pdf

.

Une evaluación justa para una sociedad justa

La escuela, el sistema educativo en su conjunto, no sólo reproduce y mantiene las desigualdades de la sociedad, es la principal estrategia para el mantenimiento de las mismas. La educación formal es el instrumento que utilizan los "dominadores" para perpetuar las diferencias, para darles un valor legal. Así, la evaluación educativa, con su capacidad para distinguir entre competentes e incompetentes, los que saben y los que no saben, convierte a niños y niñas, a jóvenes y a adultos en exitosos o en fracasados; con su poder de otorgar títulos, legaliza y justifica las desigualdades y quizá, con ello, las exclusiones y la discriminación.

Pero, al igual que creemos que es posible otra educación, también otra evaluación es posible, una evaluación para la Justicia Social.

La evaluación educativa para la Justicia Social es, de entrada, aquella que tiene el potencial para reducir los efectos de esta variedad de desventajas que los alumnos pueden experimentar debido a su situación económica, etnia, capacidad, sexo, lengua materna o identidad sexual. Pero quizá no sólo eso: ha de ser una evaluación que contribuya a una mejor educación, una educación que trabaje por una sociedad justa. Esta perspectiva parte de la idea de que la evaluación educativa puede convertirse en un elemento crítico que contribuya a profundizar y perpetuar las desigualdades de los estudiantes más desfavorecidos. Una evaluación injusta acrecienta la injusticia social; los alumnos con desventajas son especialmente vulnerables a procesos de evaluación injustos.

Pero también la evaluación educativa para la justicia social puede entenderse como instrumento para valorar el progreso de la Justicia Social, entendida como tal y no tan sólo como un fin en sí misma. La evaluación permite la definición de lo que se pretende y el establecimiento de metas a corto y medio plazo. Una evaluación educativa para la Justicia Social ayuda a conocer cómo se plantean los cambios, reflexionar sobre las acciones, medir y rendir cuentas sobre las estrategias, recoger información sobre los procesos y la planificación, así como reconocer las personas relevantes implicadas en ellos. Asimismo, contribuye al establecimiento y definición de indicadores de proceso y de producto vinculados con la promoción de la Justicia Social. Pero, además, la implementación de su evaluación desencadena estrategias de cambio y la construcción de procesos críticos, necesarios para la mejora y la promoción de la equidad.

Las injusticias no surgen necesariamente de los atributos de las personas sino de las acciones, asunciones, creencias y prejuicios de otros. En ese sentido, algunas personas son injustamente tratadas por razón de su género, estilo de vida, etnia, cultura, religión, capacidad o discapacidad intelectual. ¿La evaluación educativa respeta y contempla esta diversidad o perpetua y acrecienta este proceso de segregación? En este sentido, la Evaluación Educativa para la Justicia Social representa una reflexión y una práctica fundamental para avanzar hacia una educación más justa y equitativa.

Referencia Original

Murillo, F. J. y Hernández-Castilla, R. (2011). Una evaluación justa para una sociedad justa. Revista Iberoamericana de Evaluación Educativa, 4(1), 3-6.

https://revistas.uam.es/index.php/riee/article/view/4466/4892

.

En homenaje a Mercedes Muñoz-Repiso

Sólo una persona apasionada,

comprometida con su trabajo, inconformista, 

deseosa de mejorar la sociedad, 

amante de sus alumnos y de la materia que enseña, 

está en condiciones de educar verdaderamente. 

(Mercedes Muñoz-Repiso, 2008, p. 23)

Mercedes Muñoz-Repiso falleció el 23 de agosto de 2009 en Madrid, tras una larga vida de dedicación a la investigación educativa. Este número especial de la Revista Iberoamericana sobre Calidad, Eficacia y Cambio en Educación -REICE- es un pequeño tributo a la obra y a la figura de Mercedes. Con el mismo pretendemos, simplemente, acompañarla en su lucha por alcanzar los ideales a los que ella dedicó su larga y fructífera carrera profesional: construir una sociedad más justa, equitativa e inclusiva a través de una mejor educación; una mejor educación mediante la investigación educativa y la generación de conocimientos de calidad útiles para una toma de decisiones, por políticos y administradores, directivos y docentes, fundamentada. 

Para ello, en este monográfico, hemos optado por un doble camino. Por un lado, mostrar los avances sobre los temas que ocuparon y preocuparon Mercedes a lo largo de su carrera profesional; y, por otro, contribuir a la difusión del saber comprometido de Mercedes, reeditando algunas de sus obras más representativas de difícil acceso y recopilando la bibliografía con los enlaces a los textos completos en los casos en los que estén disponibles. 

Mercedes dedicó toda su vida profesional, 40 años de incansable trabajo, a la investigación educativa y lo hizo con sabiduría, sensibilidad e inteligencia, pero sobre todo con compromiso; compromiso intelectual y ético, compromiso con los ideales, las personas y las instituciones. Su fe inquebrantable en la bondad del ser humano, su convicción por lo público, lo de todos, su amor por su trabajo, su lucha por un mundo mejor, sus profundas convicciones progresistas y cristianas, son las características que mejor la definen como profesional y como ser humano. 

Los 40 años de trabajo los desarrolló en el Centro de Investigación Educativa (con los diferentes nombres que adoptó en tantos años) del Ministerio de Educación de España. Accedió al Instituto Nacional de Ciencias de la Educación (INCIE) como una joven becaria y no abandonó está institución hasta poco tiempo antes de fallecer, cuando una larga enfermedad le impidió seguir con sus funciones, siendo Jefa del Área de Estudios en Investigación del Centro de Investigación y Documentación Educativa (CIDE). Curiosamente llegó al centro poco después de ser creado, y murió a las semanas de que desapareciera, ya convertido en una caricatura del respetado y valorado centro impulsor de la investigación educativa en España. Ello implica que vivió (y sufrió) no sólo cambios de ministros, o de partido en el poder, sino incluso de régimen político. 

En ese tiempo, fue haciéndose poco a poco importante, necesaria, imprescindible... tanto que ella representaba la Investigación Institucional en España. Su prestigio nacional e internacional, su rigurosidad, saber y buen hacer, hacía que se convirtiera incluso en una persona incómoda para tantos directores, especialmente en los últimos años, absolutamente ignorantes de lo que es la investigación educativa y, lo que es peor, ignorantes de su ignorancia. Si Mercedes no fue directora del CIDE (quien sabe si habría aceptado) fue porque era demasiado libre como para atenerse a los vaivenes de los políticos. No es conveniente olvidar que, en los últimos coletazos del gobierno de Aznar, en plena guerra de Irak, se le prohibió escribir o dar conferencia alguna sin que previamente hubieran sido sus palabras revisadas por los políticos del Ministerio. Sin comentarios. 

Básicamente podemos señalar cuatro grandes ámbitos en los que trabajo. En primer lugar, Mercedes dedicó una gran parte de su vida profesional a desarrollar estudios que contribuyeron a mejorar la educación, a ayudar a que nuestros políticos tomaran mejores decisiones para conseguir un sistema educativo más equitativo y de mayor calidad. Aunque con las ataduras lógicas de trabajar en y para la Administración pública, dirigida en ocasiones por responsables políticos cuyas ideas y acciones no compartía, Mercedes mantuvo siempre una perspectiva comprometida e incluso crítica con la educación y su desarrollo. 

En segundo lugar, se esforzó por fomentar una investigación educativa de calidad. En ese sentido, nos queda su apoyo en las convocatorias de ayudas y concursos de investigación educativa. Convocatorias que tanto favorecieron a investigadores e investigadoras y que tanto aportaron a un mejor conocimiento de la realidad educativa. 

También se dedicó a la relación con los organismos internacionales. Y entre ellos destaca especialmente su trabajo como Jefa de la Unidad española de Eurydice, la Red Europea de Información sobre Educación. A través de esta organización, Mercedes contribuyó de una manera decisiva al fomento de la investigación comparada en España, y con los estudios allí generados, a que los responsables de las políticas educativas tuvieran información de calidad para tomar las decisiones más acertadas. 

Un último elemento que queremos subrayar es su trabajo por la formación de jóvenes investigadores. De ella aprendieron -aprendimos- docenas de personas, aprendimos no sólo a hacer investigación, también aprendimos a amar la educación y a trabajar duro por su mejora. La lucha por sus ideales nunca morirá, nosotros somos los responsables de seguir trabajando por ellos. 

Los temas de investigación que Mercedes abordó a lo largo de su larga trayectoria profesional son una combinación de las necesidades de las autoridades educativas españolas, que solicitaban la realización de diferentes estudios y redacción de informes para la toma de decisiones, y sus intereses personales, en una lógica de una mutua aportación dialógica. De esta forma, trabajó en un amplio abanico de temas, pero dejó sus mejores aportaciones en unos pocos que fueron variando con el tiempo. 

Un tema de especial relevancia entre los intereses de Mercedes fue el centrado en la Eficacia y la Mejora escolares. Es posible que el inicio de una línea de trabajo sistemática dentro del CIDE fuera la participación de esta institución, con Mercedes a la cabeza, en el estudio de la OCDE The effectiveness of schooling and of educational resource management, en los años 1993 y 1994. A partir de ahí, se multiplicaron las publicaciones sobre el tema, la participación en investigaciones, y las acciones para impulsar la investigación externa sobre estos temas. Esta revista, y su entidad editora, la Red Iberoamericana de Investigación sobre Cambio y Eficacia Escolar -RINACE-, significan la continuación de su obra. 

En Educación, no puede haber calidad sin equidad. En esa lógica un segundo tema de interés para Mercedes fue el de las desigualdades en la educación, con especial énfasis en las desigualdades en función de género. Así, ya en 1988 dirigió un estudio para el Instituto de la Mujer titulado "La presencia de las mujeres en el sistema educativo", que se prodigó en trabajos hasta 2004, año en el que publicó un capítulo en un libro colectivo y que reproducimos en la segunda parte de este número. De esta forma, uno de sus grandes legados es el tema de la equidad educativa, no sólo como palabra, sino como opción de lucha personal. 

Un tercer tema, de interés creciente en los últimos años, está ligado a la esencia de su trabajo como investigadora en un centro público de investigación cuya principal misión es acercar los resultados de las investigaciones a la toma de decisiones educativas en los distintos niveles. Nos referimos a la relación entre la investigación, las políticas públicas y la práctica docente. Tal y como se recoge en la bibliografía que presentamos al final de este número especial, Mercedes elaboró un artículo en 2004 titulado, ¿sirve para algo la investigación educativa? que sistematizaba algunas ideas que venía expresando desde hace años y que fue matizando y ampliando en diversas publicaciones sobre este tema en años posteriores. 

Otros temas que se encontraban en el centro de sus preocupaciones, y configuraron su universo educativo, pero cuyos escritos fueron más escasos, versaban sobre Educación en Valores o Educación para la Convivencia. 

También son de extrema relevancia su trabajo coordinando diferentes informes sobre el conjunto del sistema educativo español que realizó el CIDE para diferentes instancias, tales como el Ministerio de Educación, Eurydice o la Oficina Internacional de Educación de la UNESCO, entre otros. La finalidad de dichos informes era, más que en presentar una información detallada o muy específica del sistema educativo, facilitar una visión global de la educación a profesores, padres, alumnos, técnicos de las administraciones educativas, responsables políticos y a toda la sociedad en su conjunto. Sin lugar a dudas, constituyeron una herramienta útil para promover un mejor conocimiento del sistema educativo y una reflexión sobre sus características y funcionamiento entre los organismos, las entidades y las personas implicadas diariamente en el quehacer educativo. 

Junto a estos grandes temas o líneas de trabajo, Mercedes se volcó en otras cuestiones, aparentemente más coyunturales, a solicitud de las autoridades ministeriales. Así, por ejemplo, ante la pretensión del Ministerio de reformar las Pruebas de Acceso a la Universidad, coordinó una serie de estudios con la finalidad de aportar una información que contribuyera a tomar las decisiones más adecuadas. Otro ejemplo, fue un trabajo sobre La Enseñanza de las Humanidades en España, en pleno debate sobre el papel que deben jugar en el currículo de la Educación Secundaria y el Bachillerato; sólo fue un informe más nunca publicado y ya olvidado el cualquier estantería del Ministro de turno; pero pocas personas conocen la pasión, el compromiso y la compasión que le dedicó a cada una de las líneas que lo conformaron. 

En fin, en 40 años dedicados a la investigación educativa que sin duda han dejado su huella en sus escritos, pero sobre todo en los corazones de las personas que con ella convivieron, y que siguen trabajando en las cuestiones que a ella le preocupaban.

Referencia Original

Murillo, F. J: (2019). En homenaje a Mercedes Muñoz-Repiso. REICE. Revista Iberoamericana sobre Calidad, Eficacia y Cambio en Educación, 8(2), 3-9.

https://revistas.uam.es/index.php/reice/article/view/5357/5796

.

¿Quiénes son los Responsables de los Resultados de las Evaluaciones?: Hacia un Planteamiento de Valor Agregado en Educación

Nunca en la historia como en estos últimos años, los centros docentes se han visto tan presionados por demostrar altos resultados en el aprendizaje de los estudiantes a través de su desempeño en pruebas estandarizadas. La proliferación de evaluaciones externas que se vive en la actualidad, de todo tipo y origen, centradas en la medición del logro académico de los alumnos en determinadas áreas curriculares lleva a que, en muchos casos, las escuelas y sus docentes sean responsabilizados de los resultados obtenidos, resultados que siempre se tildan de mejorables. 

Esta presión, que en determinados momentos puede ser positiva, genera en ocasiones la aparición de efectos perversos que contribuyen a que la calidad de la educación disminuya. Hablamos, por ejemplo, del olvido de la formación integral al primar una instrucción centrada en la resolución de pruebas estandarizadas, o de la desmotivación de profesores y profesoras por no ser capaces de cambiar una realidad tozuda. Dicho de otra forma, frente al tradicional dicho de que "sin evaluación no es posible la mejora", ahora hay que empezar a considerar que la evaluación puede convertirse en el elemento que contribuya a un empeoramiento de la situación. 

Pero, desde nuestro punto de vista, el gran problema no es la existencia de evaluaciones o su calidad técnica, sino la incorrecta utilización e interpretación de los resultados. Así, en primer lugar, hay que reconocer que las evaluaciones sólo nos ofrecen un indicador sesgado y parcial de la calidad de la educación. La educación busca el desarrollo integral de la persona, y la evaluación apenas araña un aspecto medible de esa formación. Y, en segundo término, que la educación es tarea de todos: no sólo de la escuela y sus docentes, también de la familia, de la sociedad, de los políticos y administradores.... Culpabilizar a la escuela en exclusiva de los buenos o malos resultados es un error.

Pero, ¿qué responsabilidad tienen los centros escolares en los resultados que tienen sus estudiantes en esas evaluaciones externas? 

Delimitando responsabilidades

Hace 46 años que se publicó el estudio en Ciencias Sociales más importante e influyente de toda la historia. El mismo tenía como objetivo conocer el peso de la escuela en el aprendizaje de los estudiantes. Hablamos del Informe Coleman. Sus resultados tan demoledores aún resuenan: "La escuela no importa", concluyó. Medio siglo después muchas cosas han cambiado, se ha optimizado la metodología y cientos de estudios se han realizado con el objetivo de saber cuál es la responsabilidad de las escuelas en los resultados de los estudiantes. Es lo que técnicamente se llama Estimación de la magnitud de los Efectos Escolares. De esta forma, estamos en disposición de saber cuánto importa la escuela: qué responsabilidad tiene en el desempeño académico y cuáles se deben a otros factores externos: la familia, la sociedad, el sistema educativo... (Murillo, 2009). 

De los trabajos desarrollados en todo el mundo es posible concluir que la magnitud del efecto escolar se encuentra en torno al 20-25%. Con una importante variabilidad entre países. Así, por ejemplo, se estima que en España, Chile o México la responsabilidad de la escuela en el rendimiento de los estudiantes se encuentra por debajo de 15%; o inferior al 25% en Perú, Colombia o República Dominicana. Y que es mayor en Matemáticas que en Lengua o Ciencias Sociales, y mayor en Educación Primaria que en Secundaria.

¿Si sólo el 25% es responsabilidad de la escuela, de quién depende ese 75% restante? El factor que más incide en el rendimiento de los estudiantes es el nivel cultural de los padres, y más concretamente el nivel N ¿Quiénes son los Responsables de los Resultados de las Evaluaciones?: Hacia un Planteamiento de Valor Agregado en Educación F. Javier Murillo Torrecilla 5 de estudios de la madre. También están el nivel socio-económico de las familias, el esfuerzo y motivación del estudiante, el sistema educativo... y una gran parte que se desconoce. 

Nos creamos o no esa impactante cifra (un 25% es sorprendentemente bajo), lo que parece evidente es que no es de 100 ni de 80 ni del 50%. Y, por lo tanto, es absolutamente desmesurada la presión a que se ven sometidos los centros. La responsabilidad de los resultados es -como decíamos- de todos, también de los políticos, y es en ese contexto donde hay que trabajar. 

Otros resultados de la línea de investigación sobre los Efectos escolares también son interesantes. Por ejemplo, el estudio de la consistencia de los efectos, de la perdurabilidad de los mismos o de la eficacia diferencial. 

El estudio de la consistencia de los efectos escolares busca dar respuesta a esta cuestión: ¿los centros "buenos" en matemáticas, lo son también en Lengua? ¿Y en valores, en solidaridad, por ejemplo? La investigación nos dice que hay bastante relación entre áreas curriculares (es decir que lo centros buenos en Matemáticas suelen ser buenos en Lengua), pero muy baja o nula entre resultados en áreas curriculares y resultados socio-efectivos. Dicho de otra forma, conociendo los resultados de los estudiantes en Matemáticas o Lengua, no podemos decir mucho de la "calidad" global del centro, dado que un centro con altos resultados en Matemáticas puede estar formando personas insolidarias, racistas o violentas. Y, sin duda, así no puede ser de "calidad". 

La perdurabilidad de los efectos aborda la cuestión sobre si el hecho de estudiar en un "buen" centro, donde los alumnos aprendan, hace que sus efectos beneficiosos se mantengan en el tiempo. Los resultados indican que sí. Ello implica que en ocasiones se considere un centro con altos resultados a, por ejemplo, un centro de educación secundaria, cuando su único mérito ha sido que sus alumnos proceden de escuelas de primaria donde los estudiantes lograban altos desempeños; pero en realidad el centro ha aportado muy poco a su aprendizaje. 

Por último, es interesante conocer mínimamente los resultados del estudio de la eficacia diferencial. En este caso, la cuestión orientadora es la siguiente: ¿los centros marginan a algunos estudiantes en la consecución de aprendizajes académicos, por sus características personales o sociales?: a las mujeres por ser mujeres, a los de situación socio-económica baja, a los de minorías culturales o étnicas, a los que tienen una lengua materna diferente de la mayoritaria o a los de rendimiento previo bajo.... Los resultados apuntan a que sí; hay algunas escuelas que consiguen unos altos promedios a costa de marginar o discriminar a algunos estudiantes por sus características. Así, por ejemplo, hay escuelas que sus altos resultados medios son logrados gracias a los que tenían altos rendimientos previos, pero los que tenían alguna dificultad son marginados directamente, excluidos, lo cual dice muy poco en favor del centro. 

Todo ello evidencia el riesgo de la utilización acrítica de los resultados directos, "brutos", de las evaluaciones externas: sólo muestran en gran medida el efecto de factores contextuales, sólo nos den una visión parcial del desarrollo integral y pueden ocultar graves inequidades internas. Hay que seguir profundizando para que los resultados de las evaluaciones nos aporten informaciones realmente útiles.

Hacia un planteamiento de valor agregado en educación 

Dado que, como se ha señalado, son múltiples los factores que inciden en el rendimiento de los alumnos, y sólo unos pocos de ellos son responsabilidad de la escuela, es importante saber para cada escuela individual cuánto le aporta al alumno. Esa es la base de este concepto relativamente novedoso de valor agregado: cuánto aporta cada escuela al desarrollo de sus alumnos, cuánto le añade. 

De esta forma, aunque no es un concepto fácil de explicar, podemos proponer esta definición: 

Valor agregado escolar es la estimación de la aportación de las escuelas al ‘progreso’ de sus alumnos, una vez eliminada la influencia de otros factores ajenos a la misma 

De manera intuitiva parece sencillo cómo estimar ese valor agregado: se mide el desempeño de los estudiantes y se "quita" la aportación de los elementos externos a la escuela. De esta forma tendremos una medida de la aportación real de la escuela. Pero esta visión simplificada nos enfrenta a dos retos: qué quitar y cómo hacerlo (Peña-Suárez, Fernández-Alonso y Muñiz, 2009; Ray, Evans y McCormack, 2009). 

Los trabajos centrados en investigar cuáles son los factores asociados al desempeño de los estudiantes nos han aportado la respuesta a la primera cuestión. ¿Cuáles son los factores "contextuales" que inciden en el rendimiento de los estudiantes? 

En primer lugar, uno de estos factores contextuales es el rendimiento previo de los estudiantes. Si queremos saber cuánto le aporta el centro al estudiante hay que "descontar" lo que el estudiante ya traía. Este factor es especialmente relevante para centros de educación secundaria, dado que el desempeño al entrar marcará su desempeño futuro, independientemente de su contribución al mismo; pero también en Educación Primaria, dado que las investigaciones confirman que los años de preescolarización inciden en el rendimiento posterior. Obviamente si lo que se busca es el valor agregado en un curso, este factor resulta imprescindible. 

También influyen, como se ha señalado, el nivel cultural de las familias de los estudiantes, así como su situación socio-económica. Más concretamente, el nivel de estudios alcanzado por los padres, sus hábitos culturales, las posesiones materiales y su profesión. Este factor es de especial relevancia, aunque la dificultad para tener estos datos hace que en ocasiones se sustituya por otros, indirectos, como la posesión de becas de estudios u otro tipo de ayudas sociales. 

Igualmente, hay que "descontar" determinadas características de los estudiantes tales como su género, su pertenencia al grupo cultural mayoritario o no, su lengua materna, pero también si recibe apoyo por sus necesidades educativas especiales. Por último, también se ha encontrado que no sólo el alumno, sino el conjunto de la escuela incide. De esta forma, hay que considerar las características de la escuela, fundamentalmente el nivel socioeconómico de la zona donde está situada. 

Respecto al cómo hacerlo, entramos en cuestiones más técnicas. Aunque sólo sea brevemente, y sin afán de asustar a nadie, señalaremos las estrategias. Tradicionalmente la respuesta venía de la mano de los Análisis de Regresión Múltiple, donde pondríamos como variable dependiente (o explicada) el rendimiento del estudiante y como variables independientes (o explicativas) estos factores de ajuste del que hemos hablado

Sin embargo, esta estrategia tradicional se ha mostrado incorrecta, básicamente por dos razones. La primera, por mezclar datos del alumno con los de la escuela como si fueran iguales y, la segunda, por suponer que los alumnos son independientes entre sí (cosa que es falsa dado que los estudiantes de una escuela comparten experiencias por lo que tienen cosas en común). La alternativa metodológica es usar modelos multinivel (p.e. Murillo, 2008). Como idea base, los modelos multinivel (o modelos jerárquico lineales) son generalizaciones de los análisis de regresión, pero en el que cada nivel (alumno, escuela...) tiene ecuaciones independientes, con dos niveles y tres variables explicativas (dos de nivel alumno y una de nivel escuela)

Sea como fuere, en la actualidad se disponen de herramientas que permiten contar con esa información de manera bastante precisa. Eso sí, no exentas de críticas y problemas. 

Usos y utilidades del valor agregado

El valor agregado, por tanto, nos aporta información sobre la influencia real de la escuela al aprendizaje de sus alumnos. Frente a los resultados "brutos" de las evaluaciones cuyos resultados se deben a muchos factores, la mayoría ajenos a la escuela, mediante la tecnología de valor agregado es posible conocer los resultados "netos", es decir, aquéllos cuya responsabilidad es sólo de esa escuela. Separa el trigo de la paja. 

En el mundo existen muchas investigaciones y esfuerzos aislados y pocas propuestas institucionalizadas sobre la utilización sistemática del planteamiento de valor agregado (Martínez Arias, 2009). Entre estas últimas se encuentran el Education Value-Added Assessment System (EVAAS), heredero del famoso Tennessee Value Added Assessment System (TVAAS) que fue el primero en el mundo en utilizar el nombre de Valor Agregado y de ser aplicado en un estado entero; el Dallas Value Added Assessment System (DVAAS), análogo al anterior, pero centrado en el estado de Dallas; la propuesta de Valor agregado de las escuelas públicas de Chicago, a partir del modelo llamado de productividad; o el modelo de Valor Agregado Contextualizado en Inglaterra (Ray, 2006). 

El planteamiento de Valor agregado escolar tiene fundamentalmente tres aplicaciones: la rendición de cuentas, la toma de decisiones administrativas y el desarrollo de las escuelas. 

En primer lugar, el Valor agregado escolar posibilita hacer una rendición de cuentas más ajustada de la escuela a las familias y a la sociedad. Efectivamente, los resultados brutos nos aportan más información sobre los factores contextuales que sobre el trabajo de la escuela. Sólo mediante estos planteamientos es posible saber hasta qué punto una escuela está logrando contribuir a los alumnos más de lo que sería esperable. 

En segundo término, el Valor agregado posibilita una toma de decisiones más ajustada por parte de las administraciones. Con la información que aporta es posible, entre otros elementos, que la administración detecte aquellos centros con más dificultades, con más necesidades de docentes, de apoyo técnico o de recursos económicos, y tome las medidas para ayudarles. De esta forma es un recurso fundamental para el trabajo de los inspectores. 

Y, por último, pero más interesante e importante aun, contar con datos ajustados sobre la aportación de las escuelas al desempeño de los estudiantes permite adoptar medidas para la mejora del centro por parte del propio centro. Entre otras: 

• Contribuye a mejorar la docencia, dado que aporta datos sobre los elementos débiles y fuertes del desarrollo de los alumnos. Así, facilita la formulación de objetivos docentes, permite optimizar las metodologías y ajustar los énfasis e las necesidades de aprendizaje de los estudiantes. 
• La tecnología de Valor agregado ayuda a identificar a los estudiantes con mayores necesidades de apoyo y a hacer un seguimiento más ajustado de su desarrollo. 
• Aporta datos para el diseño y seguimiento de innovaciones y procesos de mejora escolar. Conociendo la situación de partida "real" es posible diseñar estrategias de cambio ajustadas a las necesitadas y, posteriormente, evaluar el impacto de las mismas sobre el desempeño de los estudiantes. 
• Genera datos para el desarrollo profesional de los docentes. Conociendo las fortalezas y debilidades de los estudiantes es posible diseñar estrategias de desarrollo profesional más eficaces. 
• Refuerza las altas expectativas y da evidencias para la celebración. Una de las funciones más relevantes de la evaluación es aportar datos que refuercen los logros conseguidos, el trabajo bien hecho. Frente a la evaluación represora, una evaluación que sirva como estímulo constante. 

Es decir, conocer la aportación real de la escuela al desarrollo de los estudiantes es una manera de obtener una rica fuente de datos para que la escuela reflexione sobre sus fortalezas y debilidades y, con ello, optimice su actuación. 

Conclusiones

La gran cantidad de evaluaciones a las que se ven sometidos los centros docentes y los estudiantes en la actualidad no se está traduciendo en informaciones útiles para la mejora de los centros. Entre otros motivos, porque los resultados obtenidos no contribuyen con datos sobre la aportación real de los centros, sino que están seriamente contaminados con el efecto de otros factores contextuales. 

La tecnología de Valor agregado en Educación contribuye a conocer de manera más ajustada cuál es la aportación real de los centros al desarrollo de los estudiantes. Y, con ello, se posibilita una rendición de cuentas del centro a la sociedad más real, datos más ajustados para la toma de decisiones y poseer información que contribuya al desarrollo de los centros docentes. 

Tal y como señalábamos al inicio, las evaluaciones pueden ser el camino para la mejora escolar o la clave para que ésta no se dé. Son, en definitiva, una herramienta que tenemos a nuestra disposición: su bondad o maldad depende del uso que de ella hagamos. La generalización de evaluaciones nacionales de carácter censal supone una gran oportunidad para tener valiosas informaciones sobre el aprendizaje de los estudiantes que pueden contribuir un diálogo informado que desemboque en el cambio escolar. La tecnología de Valor agregado contribuye a tener datos sobre la aportación real de la escuela más ricos y ajustados, pero siguen siendo sólo informaciones. Qué hagamos con ellas las convertirá en la palanca del cambio o del desánimo. 

Referencias

Martínez Arias, R. (2009). Usos, aplicaciones y problemas de los modelos de valor agregado en educación. Revista de Educación, 348,  217-250. 

McCaffrey, D., Lockwood, J.R., Koretz, D, and Hamilton, L. (2003). Evaluating Value-Added Models for Teacher Accountability. Santa Mónica, CA: RAND. 

Murillo, F. J. (2005). La investigación sobre eficacia escolar. Barcelona: Octaedro. 

Murillo, F. J. (2008). Los Modelos Multinivel como herramienta para la investigación educativa. Magis. Revista Internacional de Investigación Educativa, 1(1),  17-34. 

Nuttal, D. (1991) An instrument to be honed: Tables do not reflect schools’ true performance. Times educational supplement, 22. 

Peña-Suárez, E., Fernández-Alonso, R. y Muñiz, J. (2009). Estimación del valor añadido de los centros escolares. Aula Abierta, 37(1), 3-18. 

Ray, A. (2006). School Value Added Measures in England. Londres: Department for Education and Skills. 

Ray, A., Evans, H. y McCormack, T. (2009). El uso de modelos nacionales de valor añadido para la mejora de las escuelas británicas. Revista de Educación, 348, 47-66.

Referencia Original

Murillo, F. J. (2010). ¿Quiénes son los Responsables de los Resultados de las Evaluaciones?: Hacia un Planteamiento de Valor Agregado en Educación. REICE. Revista Iberoamericana sobre Calidad, Eficacia y Cambio en Educación, 8(4), 3-9.

https://revistas.uam.es/index.php/reice/article/view/4734/5168

.