Nunca en la historia como en estos últimos años, los centros docentes se han visto tan presionados por demostrar altos resultados en el aprendizaje de los estudiantes a través de su desempeño en pruebas estandarizadas. La proliferación de evaluaciones externas que se vive en la actualidad, de todo tipo y origen, centradas en la medición del logro académico de los alumnos en determinadas áreas curriculares lleva a que, en muchos casos, las escuelas y sus docentes sean responsabilizados de los resultados obtenidos, resultados que siempre se tildan de mejorables.
Pero, desde nuestro punto de vista, el gran problema no es la existencia de evaluaciones o su calidad técnica, sino la incorrecta utilización e interpretación de los resultados. Así, en primer lugar, hay que reconocer que las evaluaciones sólo nos ofrecen un indicador sesgado y parcial de la calidad de la educación. La educación busca el desarrollo integral de la persona, y la evaluación apenas araña un aspecto medible de esa formación. Y, en segundo término, que la educación es tarea de todos: no sólo de la escuela y sus docentes, también de la familia, de la sociedad, de los políticos y administradores.... Culpabilizar a la escuela en exclusiva de los buenos o malos resultados es un error.
Pero, ¿qué responsabilidad tienen los centros escolares en los resultados que tienen sus estudiantes en esas evaluaciones externas?
Delimitando responsabilidades
Hace 46 años que se publicó el estudio en Ciencias Sociales más importante e influyente de toda la historia. El mismo tenía como objetivo conocer el peso de la escuela en el aprendizaje de los estudiantes. Hablamos del Informe Coleman. Sus resultados tan demoledores aún resuenan: "La escuela no importa", concluyó. Medio siglo después muchas cosas han cambiado, se ha optimizado la metodología y cientos de estudios se han realizado con el objetivo de saber cuál es la responsabilidad de las escuelas en los resultados de los estudiantes. Es lo que técnicamente se llama Estimación de la magnitud de los Efectos Escolares. De esta forma, estamos en disposición de saber cuánto importa la escuela: qué responsabilidad tiene en el desempeño académico y cuáles se deben a otros factores externos: la familia, la sociedad, el sistema educativo... (Murillo, 2009).
De los trabajos desarrollados en todo el mundo es posible concluir que la magnitud del efecto escolar se encuentra en torno al 20-25%. Con una importante variabilidad entre países. Así, por ejemplo, se estima que en España, Chile o México la responsabilidad de la escuela en el rendimiento de los estudiantes se encuentra por debajo de 15%; o inferior al 25% en Perú, Colombia o República Dominicana. Y que es mayor en Matemáticas que en Lengua o Ciencias Sociales, y mayor en Educación Primaria que en Secundaria.
¿Si sólo el 25% es responsabilidad de la escuela, de quién depende ese 75% restante? El factor que más incide en el rendimiento de los estudiantes es el nivel cultural de los padres, y más concretamente el nivel N ¿Quiénes son los Responsables de los Resultados de las Evaluaciones?: Hacia un Planteamiento de Valor Agregado en Educación F. Javier Murillo Torrecilla 5 de estudios de la madre. También están el nivel socio-económico de las familias, el esfuerzo y motivación del estudiante, el sistema educativo... y una gran parte que se desconoce.
Nos creamos o no esa impactante cifra (un 25% es sorprendentemente bajo), lo que parece evidente es que no es de 100 ni de 80 ni del 50%. Y, por lo tanto, es absolutamente desmesurada la presión a que se ven sometidos los centros. La responsabilidad de los resultados es -como decíamos- de todos, también de los políticos, y es en ese contexto donde hay que trabajar.
Otros resultados de la línea de investigación sobre los Efectos escolares también son interesantes. Por ejemplo, el estudio de la consistencia de los efectos, de la perdurabilidad de los mismos o de la eficacia diferencial.
El estudio de la consistencia de los efectos escolares busca dar respuesta a esta cuestión: ¿los centros "buenos" en matemáticas, lo son también en Lengua? ¿Y en valores, en solidaridad, por ejemplo? La investigación nos dice que hay bastante relación entre áreas curriculares (es decir que lo centros buenos en Matemáticas suelen ser buenos en Lengua), pero muy baja o nula entre resultados en áreas curriculares y resultados socio-efectivos. Dicho de otra forma, conociendo los resultados de los estudiantes en Matemáticas o Lengua, no podemos decir mucho de la "calidad" global del centro, dado que un centro con altos resultados en Matemáticas puede estar formando personas insolidarias, racistas o violentas. Y, sin duda, así no puede ser de "calidad".
La perdurabilidad de los efectos aborda la cuestión sobre si el hecho de estudiar en un "buen" centro, donde los alumnos aprendan, hace que sus efectos beneficiosos se mantengan en el tiempo. Los resultados indican que sí. Ello implica que en ocasiones se considere un centro con altos resultados a, por ejemplo, un centro de educación secundaria, cuando su único mérito ha sido que sus alumnos proceden de escuelas de primaria donde los estudiantes lograban altos desempeños; pero en realidad el centro ha aportado muy poco a su aprendizaje.
Por último, es interesante conocer mínimamente los resultados del estudio de la eficacia diferencial. En este caso, la cuestión orientadora es la siguiente: ¿los centros marginan a algunos estudiantes en la consecución de aprendizajes académicos, por sus características personales o sociales?: a las mujeres por ser mujeres, a los de situación socio-económica baja, a los de minorías culturales o étnicas, a los que tienen una lengua materna diferente de la mayoritaria o a los de rendimiento previo bajo.... Los resultados apuntan a que sí; hay algunas escuelas que consiguen unos altos promedios a costa de marginar o discriminar a algunos estudiantes por sus características. Así, por ejemplo, hay escuelas que sus altos resultados medios son logrados gracias a los que tenían altos rendimientos previos, pero los que tenían alguna dificultad son marginados directamente, excluidos, lo cual dice muy poco en favor del centro.
Todo ello evidencia el riesgo de la utilización acrítica de los resultados directos, "brutos", de las evaluaciones externas: sólo muestran en gran medida el efecto de factores contextuales, sólo nos den una visión parcial del desarrollo integral y pueden ocultar graves inequidades internas. Hay que seguir profundizando para que los resultados de las evaluaciones nos aporten informaciones realmente útiles.
Hacia un planteamiento de valor agregado en educación
Dado que, como se ha señalado, son múltiples los factores que inciden en el rendimiento de los alumnos, y sólo unos pocos de ellos son responsabilidad de la escuela, es importante saber para cada escuela individual cuánto le aporta al alumno. Esa es la base de este concepto relativamente novedoso de valor agregado: cuánto aporta cada escuela al desarrollo de sus alumnos, cuánto le añade.
De esta forma, aunque no es un concepto fácil de explicar, podemos proponer esta definición:
Valor agregado escolar es la estimación de la aportación de las escuelas al ‘progreso’ de sus alumnos, una vez eliminada la influencia de otros factores ajenos a la misma
De manera intuitiva parece sencillo cómo estimar ese valor agregado: se mide el desempeño de los estudiantes y se "quita" la aportación de los elementos externos a la escuela. De esta forma tendremos una medida de la aportación real de la escuela. Pero esta visión simplificada nos enfrenta a dos retos: qué quitar y cómo hacerlo (Peña-Suárez, Fernández-Alonso y Muñiz, 2009; Ray, Evans y McCormack, 2009).
Los trabajos centrados en investigar cuáles son los factores asociados al desempeño de los estudiantes nos han aportado la respuesta a la primera cuestión. ¿Cuáles son los factores "contextuales" que inciden en el rendimiento de los estudiantes?
En primer lugar, uno de estos factores contextuales es el rendimiento previo de los estudiantes. Si queremos saber cuánto le aporta el centro al estudiante hay que "descontar" lo que el estudiante ya traía. Este factor es especialmente relevante para centros de educación secundaria, dado que el desempeño al entrar marcará su desempeño futuro, independientemente de su contribución al mismo; pero también en Educación Primaria, dado que las investigaciones confirman que los años de preescolarización inciden en el rendimiento posterior. Obviamente si lo que se busca es el valor agregado en un curso, este factor resulta imprescindible.
También influyen, como se ha señalado, el nivel cultural de las familias de los estudiantes, así como su situación socio-económica. Más concretamente, el nivel de estudios alcanzado por los padres, sus hábitos culturales, las posesiones materiales y su profesión. Este factor es de especial relevancia, aunque la dificultad para tener estos datos hace que en ocasiones se sustituya por otros, indirectos, como la posesión de becas de estudios u otro tipo de ayudas sociales.
Igualmente, hay que "descontar" determinadas características de los estudiantes tales como su género, su pertenencia al grupo cultural mayoritario o no, su lengua materna, pero también si recibe apoyo por sus necesidades educativas especiales. Por último, también se ha encontrado que no sólo el alumno, sino el conjunto de la escuela incide. De esta forma, hay que considerar las características de la escuela, fundamentalmente el nivel socioeconómico de la zona donde está situada.
Respecto al cómo hacerlo, entramos en cuestiones más técnicas. Aunque sólo sea brevemente, y sin afán de asustar a nadie, señalaremos las estrategias. Tradicionalmente la respuesta venía de la mano de los Análisis de Regresión Múltiple, donde pondríamos como variable dependiente (o explicada) el rendimiento del estudiante y como variables independientes (o explicativas) estos factores de ajuste del que hemos hablado
Sin embargo, esta estrategia tradicional se ha mostrado incorrecta, básicamente por dos razones. La primera, por mezclar datos del alumno con los de la escuela como si fueran iguales y, la segunda, por suponer que los alumnos son independientes entre sí (cosa que es falsa dado que los estudiantes de una escuela comparten experiencias por lo que tienen cosas en común). La alternativa metodológica es usar modelos multinivel (p.e. Murillo, 2008). Como idea base, los modelos multinivel (o modelos jerárquico lineales) son generalizaciones de los análisis de regresión, pero en el que cada nivel (alumno, escuela...) tiene ecuaciones independientes, con dos niveles y tres variables explicativas (dos de nivel alumno y una de nivel escuela)
Sea como fuere, en la actualidad se disponen de herramientas que permiten contar con esa información de manera bastante precisa. Eso sí, no exentas de críticas y problemas.
Usos y utilidades del valor agregado
El valor agregado, por tanto, nos aporta información sobre la influencia real de la escuela al aprendizaje de sus alumnos. Frente a los resultados "brutos" de las evaluaciones cuyos resultados se deben a muchos factores, la mayoría ajenos a la escuela, mediante la tecnología de valor agregado es posible conocer los resultados "netos", es decir, aquéllos cuya responsabilidad es sólo de esa escuela. Separa el trigo de la paja.
En el mundo existen muchas investigaciones y esfuerzos aislados y pocas propuestas institucionalizadas sobre la utilización sistemática del planteamiento de valor agregado (Martínez Arias, 2009). Entre estas últimas se encuentran el Education Value-Added Assessment System (EVAAS), heredero del famoso Tennessee Value Added Assessment System (TVAAS) que fue el primero en el mundo en utilizar el nombre de Valor Agregado y de ser aplicado en un estado entero; el Dallas Value Added Assessment System (DVAAS), análogo al anterior, pero centrado en el estado de Dallas; la propuesta de Valor agregado de las escuelas públicas de Chicago, a partir del modelo llamado de productividad; o el modelo de Valor Agregado Contextualizado en Inglaterra (Ray, 2006).
El planteamiento de Valor agregado escolar tiene fundamentalmente tres aplicaciones: la rendición de cuentas, la toma de decisiones administrativas y el desarrollo de las escuelas.
En primer lugar, el Valor agregado escolar posibilita hacer una rendición de cuentas más ajustada de la escuela a las familias y a la sociedad. Efectivamente, los resultados brutos nos aportan más información sobre los factores contextuales que sobre el trabajo de la escuela. Sólo mediante estos planteamientos es posible saber hasta qué punto una escuela está logrando contribuir a los alumnos más de lo que sería esperable.
En segundo término, el Valor agregado posibilita una toma de decisiones más ajustada por parte de las administraciones. Con la información que aporta es posible, entre otros elementos, que la administración detecte aquellos centros con más dificultades, con más necesidades de docentes, de apoyo técnico o de recursos económicos, y tome las medidas para ayudarles. De esta forma es un recurso fundamental para el trabajo de los inspectores.
Y, por último, pero más interesante e importante aun, contar con datos ajustados sobre la aportación de las escuelas al desempeño de los estudiantes permite adoptar medidas para la mejora del centro por parte del propio centro. Entre otras:
- Contribuye a mejorar la docencia, dado que aporta datos sobre los elementos débiles y fuertes del desarrollo de los alumnos. Así, facilita la formulación de objetivos docentes, permite optimizar las metodologías y ajustar los énfasis e las necesidades de aprendizaje de los estudiantes.
- La tecnología de Valor agregado ayuda a identificar a los estudiantes con mayores necesidades de apoyo y a hacer un seguimiento más ajustado de su desarrollo.
- Aporta datos para el diseño y seguimiento de innovaciones y procesos de mejora escolar. Conociendo la situación de partida "real" es posible diseñar estrategias de cambio ajustadas a las necesitadas y, posteriormente, evaluar el impacto de las mismas sobre el desempeño de los estudiantes.
- Genera datos para el desarrollo profesional de los docentes. Conociendo las fortalezas y debilidades de los estudiantes es posible diseñar estrategias de desarrollo profesional más eficaces.
- Refuerza las altas expectativas y da evidencias para la celebración. Una de las funciones más relevantes de la evaluación es aportar datos que refuercen los logros conseguidos, el trabajo bien hecho. Frente a la evaluación represora, una evaluación que sirva como estímulo constante.
Es decir, conocer la aportación real de la escuela al desarrollo de los estudiantes es una manera de obtener una rica fuente de datos para que la escuela reflexione sobre sus fortalezas y debilidades y, con ello, optimice su actuación.
Conclusiones
La gran cantidad de evaluaciones a las que se ven sometidos los centros docentes y los estudiantes en la actualidad no se está traduciendo en informaciones útiles para la mejora de los centros. Entre otros motivos, porque los resultados obtenidos no contribuyen con datos sobre la aportación real de los centros, sino que están seriamente contaminados con el efecto de otros factores contextuales.
La tecnología de Valor agregado en Educación contribuye a conocer de manera más ajustada cuál es la aportación real de los centros al desarrollo de los estudiantes. Y, con ello, se posibilita una rendición de cuentas del centro a la sociedad más real, datos más ajustados para la toma de decisiones y poseer información que contribuya al desarrollo de los centros docentes.
Tal y como señalábamos al inicio, las evaluaciones pueden ser el camino para la mejora escolar o la clave para que ésta no se dé. Son, en definitiva, una herramienta que tenemos a nuestra disposición: su bondad o maldad depende del uso que de ella hagamos. La generalización de evaluaciones nacionales de carácter censal supone una gran oportunidad para tener valiosas informaciones sobre el aprendizaje de los estudiantes que pueden contribuir un diálogo informado que desemboque en el cambio escolar. La tecnología de Valor agregado contribuye a tener datos sobre la aportación real de la escuela más ricos y ajustados, pero siguen siendo sólo informaciones. Qué hagamos con ellas las convertirá en la palanca del cambio o del desánimo.
Referencias
Martínez Arias, R. (2009). Usos, aplicaciones y problemas de los modelos de valor agregado en educación. Revista de Educación, 348, 217-250.
McCaffrey, D., Lockwood, J.R., Koretz, D, and Hamilton, L. (2003). Evaluating Value-Added Models for Teacher Accountability. Santa Mónica, CA: RAND.
Murillo, F. J. (2005). La investigación sobre eficacia escolar. Barcelona: Octaedro.
Murillo, F. J. (2008). Los Modelos Multinivel como herramienta para la investigación educativa. Magis. Revista Internacional de Investigación Educativa, 1(1), 17-34.
Nuttal, D. (1991) An instrument to be honed: Tables do not reflect schools’ true performance. Times educational supplement, 22.
Peña-Suárez, E., Fernández-Alonso, R. y Muñiz, J. (2009). Estimación del valor añadido de los centros escolares. Aula Abierta, 37(1), 3-18.
Ray, A. (2006). School Value Added Measures in England. Londres: Department for Education and Skills.
Ray, A., Evans, H. y McCormack, T. (2009). El uso de modelos nacionales de valor añadido para la mejora de las escuelas británicas. Revista de Educación, 348, 47-66.
Referencia Original
Murillo, F. J. (2010). ¿Quiénes son los Responsables de los Resultados de las Evaluaciones?: Hacia un Planteamiento de Valor Agregado en Educación. REICE. Revista Iberoamericana sobre Calidad, Eficacia y Cambio en Educación, 8(4), 3-9.
.
No hay comentarios:
Publicar un comentario