Source: https://www.slideshare.net/cruzsanchezvega/modelo-emision-directrices
Timestamp: 2019-12-07 06:03:00
Document Index: 187876149

Matched Legal Cases: ['artículo 3', 'artículo 27', 'artículo 5', 'artículo 73', 'artículo 3', 'artículo 25', 'artículo 27', 'artículo 3', 'artículo 47', 'artículo 12', 'artículo 29', 'artículo 3', 'artículo 3', 'artículo 3', 'artículo 17', 'artículo 12', 'artículo 5', 'artículo 3', 'artículo 8', 'artículo 5', 'artículo 6']

Investigacion de mercados by andrea_135 345 views
Las Iniciativas - Dossier Socio Cor... by Las Iniciativas 641 views
Wismar Fusion Para Material de Labasa by iliann01 386 views
M&G Investments - Welcome Brochure by Joseph Terry 592 views
La reforma en educación Normal; es importante tener presente los cambios que se generan en básica, por el efecto de los mismos en la educación normalista.
1. Abril 2015 México, Distrito Federal UNIDAD DE NORMATIVIDAD Y POLÍTICA EDUCATIVA DIRECCIÓN GENERAL DE DIRECTRICES PARA LA MEJORA DE LA EDUCACIÓN MODELO PARA LA CONSTRUCCIÓN Y EMISIÓN DE DIRECTRICES PARA LA MEJORA EDUCATIVA
2. 1 ÍNDICE INTRODUCCIÓN ............................................................................................................................. 5 I. LA REFORMA EDUCATIVA, EL NUEVO INEE Y LA POSIBILIDAD DE INTRODUCIR MEJORAS A PARTIR DE LA EMISIÓN DE DIRECTRICES............................................................ 7 La evaluación como factor para la mejora educativa.......................................................................................................7 La evaluación en la Ley General de Educación y en la Ley del INEE .......................................................................8 Las directrices y las posibilidades de orientar la toma de decisiones tendientes a la mejora educativa9 Las directrices en el marco del Sistema Nacional de Evaluación Educativa y de la Política Nacional de Evaluación de la Educación......................................................................................................................................................11 II. REFERENTES CONCEPTUALES Y EXPERIENCIAS RELACIONADAS CON LA EMISIÓN DE RECOMENDACIONES Y DIRECTRICES...................................................................................... 14 Experiencias de emisión de directrices en otros sectores.........................................................................................14 Política Basada en Evidencia (PBE)................................................................................................................................................. 14 Experiencias en construcción de directrices: “guidelines”............................................................................................ 15 Modelo de la OMS: calidad de la evidencia y fuerza de las recomendaciones .................................................. 17 Modelo Double-Smart ................................................................................................................................................................................ 20 Sistemas de normalización.......................................................................................................................................................23 Recomendaciones de política educativa: una larga tradición ..................................................................................23 Recomendaciones de organismos internacionales y regionales................................................................................ 24 El movimiento de eficacia escolar (MEE)..................................................................................................................................... 26 Sistemas de gestión y aseguramiento de la calidad ............................................................................................................ 27 Principios que orientan las tareas del INEE ......................................................................................................................29 Relación entre evaluación y mejora......................................................................................................................................30 Evaluación y gestión pública: avances y desafíos.........................................................................................................34 La experiencia del Consejo Nacional de Evaluación de la Política de Desarrollo Social (CONEVAL) 34 La experiencia del Consejo de Evaluación del Desarrollo Social del Distrito Federal (Evalúa DF) ..... 35 III. DIRECTRICES ORIENTADAS A AVANZAR EN EL CUMPLIMIENTO DEL DERECHO A UNA EDUCACIÓN DE CALIDAD PARA TODOS .................................................................................. 37 Principios orientadores de un enfoque de derechos ....................................................................................................38 El derecho a una educación de calidad......................................................................................................................................... 39
3. 2 IV. LAS DIRECTRICES DEL INEE ................................................................................................ 41 Fundamentación de las Directrices.......................................................................................................................................43 1. Directrices basadas en principios y valores sustantivos........................................................................................ 43 2. Directrices basadas en evaluaciones e investigaciones.............................................................................................. 44 Factibilidad: un criterio para valorar posibilidades de implementación de las directrices .........................46 Otros aspectos importantes .....................................................................................................................................................47 1. Directrices articuladas .................................................................................................................................................................... 47 2. Establecimiento de indicadores que permitan valorar sus alcances.............................................................. 48 V. RUTA PARA LA EMISIÓN DE DIRECTRICES ......................................................................... 48 Fases para la emisión y actualización de las directrices ............................................................................................48 Fase 1. Construcción...................................................................................................................................................................49 1. Inclusión en la Agenda de la Junta de Gobierno del INEE ..................................................................................... 50 2. Definición del problema ................................................................................................................................................................. 50 3. Análisis de Mejora.............................................................................................................................................................................. 51 4. Formulación de la directriz............................................................................................................................................................... 51 Fase 2. Emisión ..............................................................................................................................................................................52 Fase 3. Comunicación .................................................................................................................................................................52 Fase 4. Respuesta de la Autoridad Educativa..................................................................................................................53 Fase 5. Implementación..............................................................................................................................................................54 Fase 6. Monitoreo..........................................................................................................................................................................54 Fase 7. Actualización...................................................................................................................................................................54 VI. CONSIDERACIONES FINALES............................................................................................... 55 BIBLIOGRAFÍA ............................................................................................................................. 58 Anexo 1: Análisis de Normalidad Factorial........................................................................................................................66 Anexo 2: Mapeo Lógico (ML)....................................................................................................................................................67 Anexo 3: Matriz de Ruta de Formulación............................................................................................................................68 Anexo 4: Método de Generación de Consensos .............................................................................................................69 Método Delphi................................................................................................................................................................................................. 69 Método Genérico de Evaluación del CEEY ................................................................................................................................. 70 Anexo 5: Propuestas para un nuevo andamiaje institucional de las directrices de mejora educativa ..73
4. 3 Índice de tablas TABLA 1. CRITERIOS DEL MODELO “DOUBLE-SMART” INCORPORADOS EN EL MODELO DE EMISIÓN DE DIRECTRICES..................................................................................................................................................................................... 21 TABLA 2. PRINCIPALES TEMÁTICAS Y RECOMENDACIONES DE POLÍTICA EDUCATIVA EMITIDAS POR ORGANISMOS INTERNACIONALES Y REGIONALES....................................................................................................... 25 TABLA 3. INTERROGANTES QUE RESUELVEN LAS DIRECTRICES............................................................................... 42 TABLA 4. CRITERIOS PARA EVALUAR LAS INVESTIGACIONES Y EVALUACIONES........................................... 45 TABLA 5. CRITERIOS BÁSICOS DE FACTIBILIDAD (RESTRICCIONES) A CONSIDERAR................................. 47 TABLA 6. FICHA PARA LA PRESENTACIÓN DE LA DIRECTRIZ.......................................................................................... 52 Índice de diagramas DIAGRAMA 1. LAS DIRECTRICES Y SU CONTRIBUCIÓN A LA MEJORA DE LA CALIDAD DE LA EDUCACIÓN................................................................................................................................................................................................. 11 DIAGRAMA 2. LAS DIRECTRICES EN EL MARCO DEL SNEE Y DE LA PNEE ........................................................... 13 DIAGRAMA 3. CADENA DE PRODUCCIÓN DE VALOR PARA LA EFECTIVA UTILIZACIÓN DE LAS EVALUACIONES........................................................................................................................................................................................ 33 DIAGRAMA 4. FASES PARA LA EMISIÓN Y ACTUALIZACIÓN DE LAS DIRECTRICES........................................ 49
6. 5 Introducción La reforma educativa de 2013 reconoce que es necesaria una educación de calidad y equidad que genere mayor igualdad de oportunidades sociales entre los mexicanos y que contribuya a la justicia social. Es una reforma que busca mejores condiciones y posibilidades para el aprendizaje en las escuelas y la formación de los ciudadanos que el país requiere. Para lograr estos objetivos, se señala explícitamente que la evaluación es un elemento importante para mejorar, ya que ésta permite comprender, medir y diagnosticar la realidad de los servicios educativos en la educación básica y media superior. Al colocar en el centro de la reforma a la evaluación, el Instituto Nacional para la Evaluación de la Educación (INEE) recibe nuevas facultades. Por un lado, el INEE tiene ahora la atribución de emitir lineamientos para regular los procesos de las evaluaciones, y directrices que sean relevantes para contribuir a orientar la toma de decisiones tendientes a mejorar la calidad de la educación y su equidad (artículo 3°, fracción IX, inciso c, de la Constitución Política de los Estados Unidos Mexicanos y artículo 27, fracción VIII de la Ley del Instituto Nacional para la Evaluación de la Educación, [Ley del INEE], 2013). Por el otro, se le concede autonomía institucional con el fin de evaluar todos los componentes del Sistema Educativo Nacional (SEN), sus procesos y resultados. Si bien la evaluación no es la solución a todos los problemas educativos, sí puede constituirse en un mecanismo importante que apoye la toma de decisiones, a partir del planteamiento de rutas de mejora. Esta postura se reafirma en el “Informe 2014. El derecho a una educación de calidad”, elaborado por el INEE (2014), en el que se menciona que la evaluación debe estar orientada a mejorar la capacidad de cada actor de cumplir mejor con el propósito de hacer realidad el derecho a una educación de calidad para todos, en donde el fin último es que el alumno alcance el máximo logro de aprendizajes para su vida presente y futura. La evaluación, en este sentido, debe valorar tanto el cumplimiento del derecho a la educación de niños, niñas y jóvenes, en toda su trayectoria – acceso, permanencia y logro de aprendizajes- como la acción del Estado y de otros actores –como padres de familia- para garantizar el cumplimiento de dicho derecho. La evaluación del sistema educativo requiere emitir juicios respecto a los avances en materia educativa y al cumplimiento del derecho a la educación de calidad para todos. Ello implica integrar las dimensiones de relevancia, eficiencia, eficacia, pertinencia, equidad, impacto y suficiencia (Ley del INEE, artículo 5, fracción III) de los componentes, procesos y resultados del SEN. El enfoque de calidad con equidad también plantea valorar si se están cerrando las brechas educativas –de oportunidades y aprendizajes, entre los grupos sociales que enfrentan mayores desventajas y los que no. En este contexto, el relanzamiento del Sistema Nacional de Evaluación Educativa (SNEE) —ahora bajo la coordinación del INEE—y la reformulación de la Política Nacional de Evaluación de la
7. 6 Educación (PNEE), ubica a las directrices como una herramienta que puede contribuir de manera importante a orientar la toma de decisiones, con el fin de contribuir a la mejora de la calidad educativa y su equidad, de tal forma que se avance en el cumplimiento del derecho a una educación de calidad para todos. En este sentido, la capacidad de emitir directrices es quizá una de las atribuciones más innovadoras otorgada al INEE, en tanto que estas constituyen una herramienta de política pública con la cual se pretende orientar o reorientar las decisiones de política que se toman en los distintos niveles de actuación del SEN. Las directrices, de acuerdo con la UNESCO (2009), identifican factores que contribuyen a la eficacia de los programas, ofrecen recomendaciones para una práctica eficaz en su área temática y aportan un marco para la aplicación de políticas. De esta forma el INEE se constituye en una institución mediadora entre los titulares de obligaciones que tienen el deber de garantizar el cumplimiento del derecho a la educación, y los titulares de este derecho; así como entre la comunidad científica, los usuarios de las políticas (policy-users) y los sujetos evaluados; ayudando a mantener credibilidad científica y relevancia política de los resultados de la evaluación del SNEE y las investigaciones derivadas de ella. Además, organizaciones mediadoras como el INEE tienen líneas distintivas de rendición de cuentas tanto a la comunidad científica como a la política, que logran facilitar la transferencia de conocimiento utilizable entre la generación de políticas y los resultados técnico-científicos (Eckley, 2001). Este documento presenta el Modelo o ruta que el Instituto ha planteado para la construcción y emisión de directrices. Cabe mencionar que para su elaboración se contó con la participación de expertas y expertos varios, de los miembros del Consejo Técnico Especializado en Evaluación de Política y Programas Educativos, quienes revisaron diversas versiones del mismo, y ayudaron a retroalimentarlo. También es importante señalar que el Modelo fue revisado y comentado en varias ocasiones por los Consejeros de la Junta de Gobierno hasta su aprobación, por lo que sus observaciones, sugerencias e inquietudes han sido incorporadas en esta versión final. El documento se organiza en seis apartados. En el primero se describe el marco legal sobre el que descansa la nueva atribución del INEE para emitir directrices. En el segundo apartado se presentan los principales referentes conceptuales y experiencias relacionadas con la emisión de recomendaciones y directrices que fueron identificadas en la literatura, dentro de las cuales destacan los aportes de lo que se conoce como la “Política Basada en Evidencia”, así como la experiencia en la elaboración y emisión de directrices en el sector salud y de recomendaciones de política educativa sugeridas por organismos internacionales, regionales y nacionales. En ese apartado también se presenta una breve discusión sobre la relación entre evaluación y mejora. En el tercer apartado se presenta el enfoque del cumplimiento del derecho a la educación de calidad para todos como el referente principal que orienta la evaluación que realiza el INEE y en consecuencia, las directrices que emita. Posteriormente, en el apartado cuatro se define qué es una directriz y cuáles sus características principales. En el apartado cinco se describe la ruta para la emisión de directrices, la cual se presenta en un modelo de ciclo de políticas. En el último apartado se presentan algunas
8. 7 consideraciones finales, en donde se destacan las bondades del Modelo, así como algunos de los retos para su construcción e implementación. I. La reforma educativa, el nuevo INEE y la posibilidad de introducir mejoras a partir de la emisión de directrices La evaluación como factor para la mejora educativa En febrero de 2013 se publicó el decreto por el que se reformó el artículo tercero de la Constitución Política de los Estados Unidos Mexicanos (CPEUM). En varias de sus fracciones quedó explicitada la responsabilidad del Estado de garantizar la calidad de la educación obligatoria, la cual tiene como fundamento buscar el mejoramiento constante y máximo logro académico de los estudiantes, a partir de materiales y métodos educativos, organización escolar e infraestructura educativa eficientes. La reforma a la fracción XXV del artículo 73 de la Constitución Política de los Estados Unidos Mexicanos (CPEUM), facultó al H. Congreso de la Unión para establecer el Servicio Profesional Docente (SPD) en términos del artículo tercero constitucional, lo cual generó una nueva regulación para el ingreso, promoción, reconocimiento y permanencia en el servicio profesional docente y un nuevo proceso de selección para docentes y directivos. La modificación al artículo 3° de la CPEUM constituye el centro y punto de partida de una reforma educativa que busca concretar una educación que conjugue calidad y equidad, que genere igualdad de oportunidades sociales entre los mexicanos y que permita contribuir al desarrollo económico y social. Se trata de una reforma que busca mejores condiciones y posibilidades para el aprendizaje en las escuelas y la formación de los ciudadanos que el país requiere. En la reforma de este artículo se señalan tres factores que pueden influir en los resultados educativos: el desempeño docente, la autonomía de las escuelas y la evaluación de la calidad. De esta forma, quedaron planteados los fundamentos del SPD, donde se definen los procedimientos para los concursos de oposición para el ingreso a éste, y la promoción a cargos con funciones de dirección o de supervisión; así como el establecimiento del SNEE, coordinado por el INEE. Este último adquiere el carácter de organismo público autónomo. La reforma señala que la evaluación es un elemento importante en la mejora de la calidad de los servicios educativos de la educación básica y media superior, por lo que le confiere al INEE nuevas atribuciones, entre las que destacan la coordinación del SNEE. Con ello, el INEE adquiere una nueva dimensión de actuación y de responsabilidad.
9. 8 La evaluación en la Ley General de Educación y en la Ley del INEE En las modificaciones realizadas a la Ley General de Educación (LGE) se reconoce a la evaluación educativa como un componente del Sistema Educativo Nacional (SEN) y al INEE como la autoridad en materia de evaluación educativa. Se subraya que al Instituto le corresponde la evaluación del SEN en la educación preescolar, primaria, secundaria y media superior, sin perjuicio de la participación que las autoridades educativas federal y locales tengan, de conformidad con los lineamientos que expida dicho organismo, y con la Ley del INEE. Asimismo, se menciona que el Instituto deberá emitir los lineamientos a los que se sujetarán las autoridades federal y locales para realizar las evaluaciones que les correspondan en el marco de sus atribuciones, y emitir directrices que sean relevantes para contribuir a las decisiones tendientes a mejorar la calidad de la educación y su equidad. La Ley del INEE, por su parte, reglamenta tanto al SNEE como al propio INEE. Establece que el Instituto tendrá por objeto coordinar el SNEE, evaluar la calidad, el desempeño y los resultados del SEN, y diseñar y realizar mediciones y evaluaciones que correspondan a componentes, procesos o resultados del SEN respecto a los atributos de los educandos, docentes y Autoridades Escolares, así como de las características de instituciones, políticas y programas educativos (Ley del INEE, artículo 25). Para el cumplimiento del objetivo previsto en el párrrafo que antecede, el artículo 27 de la Ley del INEE, establece que el Instituto tendrá las siguientes atribuciones: I. Fungir como autoridad en materia de evaluación educativa a nivel nacional; II. Coordinar el Sistema Nacional de Evaluación Educativa; III. Contribuir a la evaluación de los procesos de formación, actualización, capacitación y superación profesional de los docentes; IV. Diseñar, implementar y mantener actualizado un sistema de indicadores educativos y de información de resultados de las evaluaciones; V. Establecer mecanismos de interlocución con autoridades educativas y en su caso escolares, para analizar los alcances e implicaciones de los resultados de las evaluaciones, así como las directrices que de ellos se deriven; VI. Formular, en coordinación con las Autoridades Educativas, una política nacional de evaluación de la educación encauzada a mejorar la calidad del Sistema Educativo Nacional; VII. Expedir los lineamientos a los que se sujetarán las Autoridades Educativas para llevar a cabo las funciones de evaluación que les correspondan; VIII. Generar, recopilar, analizar y difundir información que sirva de base para la evaluación del Sistema Educativo Nacional y, con base en ella, emitir directrices que sean relevantes para contribuir a las decisiones tendientes a mejorar la calidad de la educación y su equidad; IX. Diseñar e implementar evaluaciones que contribuyan a mejorar la calidad de los aprendizajes de los educandos, con especial atención a los diversos grupos regionales, a minorías culturales y lingüísticas y a quienes tienen algún tipo de discapacidad; X. Solicitar a las Autoridades Educativas la información que requiera para dar cumplimiento al objeto, finalidad y propósitos de esta Ley;
10. 9 XI. Celebrar actos jurídicos para formalizar la participación, colaboración y coordinación en materia de evaluación educativa con las Autoridades Educativas, así como con entidades y organizaciones de los sectores público, social y privado, tanto nacionales como extranjeros; XII. Auxiliar, a través de asesorías técnicas, a otras instituciones o agencias, en el diseño y aplicación de las evaluaciones que lleven a cabo, para fortalecer la confiabilidad de sus procesos, instrumentos y resultados; XIII. Asesorar y, en su caso, supervisar el diseño y aplicación de instrumentos de medición para las evaluaciones de los componentes, procesos o resultados del Sistema Educativo Nacional que realicen las Autoridades Educativas, en el marco de sus atribuciones y competencias; XIV. Realizar y promover estudios e investigaciones destinadas al desarrollo teórico, metodológico y técnico de la evaluación educativa, así como lo que se refiera al uso de los resultados; XV. Participar en proyectos internacionales de evaluación de la educación que sean acordados con las autoridades educativas o instancias competentes; XVI. Impulsar y fomentar una cultura de la evaluación entre los distintos actores educativos, así como entre diversos sectores sociales, a efecto de que las directrices que emita el Instituto, previa evaluación de la educación, se utilicen como una herramienta para tomar decisiones de mejora, desde el ámbito del sistema educativo, en los tipos, niveles y modalidades educativos, los centros escolares y el salón de clases; XVII. Promover y contribuir a la formación de especialistas en distintos campos de la evaluación de la educación. Asimismo, realizar las acciones de capacitación que se requieran para llevar a cabo los proyectos y acciones de evaluación del Instituto y en su caso del Sistema, y XVIII. Las demás que le correspondan conforme a esta Ley y otras disposiciones aplicables. Las directrices y las posibilidades de orientar la toma de decisiones tendientes a la mejora educativa La reconfiguración del INEE, a partir de la reforma educativa, y de la atribución de emitir directrices para la mejora de la educación, incrementa las posibilidades de que los resultados de las evaluaciones realizadas a los componentes, procesos y resultados del SEN incidan en la toma de decisiones de política educativa. Esta atribución se señala en el artículo 3°, fracción IX, inciso c), de la Constitución Política de los Estados Unidos Mexicanos, que en la parte conducente establece: “(…) Corresponderá al Instituto evaluar la calidad, el desempeño y resultados del sistema educativo nacional en la educación preescolar, primaria, secundaria y media superior. Para ello deberá: (…) c) Generar y difundir información y, con base en ésta, emitir directrices que sean relevantes para contribuir a las decisiones tendientes a mejorar la calidad de la educación y su equidad, como factor esencial en la búsqueda de la igualdad social.” En consecuencia, el artículo 47, segundo párrafo de la Ley del INEE que a la letra dice: “El Instituto emitirá directrices que sean relevantes para contribuir
11. 10 a las decisiones tendientes a mejorar la calidad de la educación y su equidad, como factor esencial en la búsqueda de la igualdad social”. Estas directrices se harán de conocimiento público y de las Autoridades e Instituciones educativas correspondientes para su atención, quienes deberán hacer pública su respuesta en un plazo no mayor a sesenta días naturales (Ley del INEE, artículos 48, 50 y 51). Si bien en la Ley del INEE no se menciona que las directrices tengan un carácter “vinculante”, en la LGE, artículo 12, fracción XII, se señala que la autoridad educativa tendrá que atender las directrices que emita el Instituto para realizar la planeación y programación globales del Sistema Educativo Nacional. Así, las autoridades educativas, en el ámbito de su competencia, deben promover la congruencia de los planes, programas y acciones que emprendan con las directrices que emita el INEE. Para lo cual, el Instituto debe establecer mecanismos de interlocución con Autoridades Educativas y, en su caso, con autoridades escolares, para analizar los alcances e implicaciones de los resultados de las evaluaciones, así como de las directrices que de ellos se deriven. Asimismo, impulsará y fomentará una cultura de la evaluación entre los distintos actores educativos, así como entre diversos sectores sociales, a efecto de que las directrices que emita el Instituto se utilicen como una herramienta para tomar decisiones de mejora en los tipos, niveles y modalidades educativos, los centros escolares y el salón de clases. Finalmente, de acuerdo con el artículo 29 de la Ley del INEE, se establece que las directrices y políticas, así como lineamientos en materia de evaluación educativa expedidos por el INEE, deberán ser actualizadas de manera periódica conforme a los criterios que determine la Junta de Gobierno. De esta manera, se especifican entre las tareas sustantivas del INEE, la formulación, difusión, seguimiento y actualización de las directrices; así como el fomento de su uso y la asesoría para que sean recuperadas como herramientas de mejora. La atribución de emitir directrices representa una innovación en el ámbito nacional e internacional, y es el mecanismo por el que se busca contribuir a la calidad y equidad educativa, a fin de garantizar el derecho a una educación de calidad para todos. Así, de acuerdo con la definición de calidad educativa estipulada en el artículo 3º de la CPEUM, “el Estado garantizará la calidad en la educación obligatoria de manera que los materiales y métodos educativos, la organización escolar, la infraestructura educativa y la idoneidad de los docentes y los directivos garanticen el máximo logro de aprendizajes de los educandos”. Por tanto, las directrices que emita el Instituto se enfocarán, entre otras cosas, en sugerir acciones de mejora que incluyan y fortalezcan los elementos que señala el texto constitucional, así como otros elementos relevantes de
12. 11 carácter sistémico, tales como el gasto público, la regulación y otros componentes de gestión y gobierno que configuran la acción pública en materia educativa (Diagrama 1).1 Diagrama 1. Las directrices y su contribución a la mejora de la calidad de la educación Fuente: elaboración propia. No obstante, el cumplimiento de este objetivo requiere que se aseguren ciertas condiciones. Es decir, el hecho de que el INEE realice evaluaciones, desarrolle investigaciones y estudios que expliquen los resultados de las mismas, y derivado de estas emita directrices, no garantiza, de forma automática, que estas últimas se implementen. En este sentido, cabe señalar que, hace poco más de una década, al analizar los sistemas de evaluación nacionales producto de las reformas educativas de los años noventa en Latinoamérica, algunos autores concluyeron que la evaluación puede ser un instrumento para la mejora de la calidad de la educación, pero no debe verse como el único instrumento para solucionar todos los problemas educativos (Tiana, 2003). Las directrices en el marco del Sistema Nacional de Evaluación Educativa y de la Política Nacional de Evaluación de la Educación La apuesta implícita de la reciente reforma educativa es que los resultados de la evaluación de los componentes, procesos y resultados del SEN incidan en la mejora de la educación, para lo cual otorga al INEE autonomía y le confiere nuevas atribuciones. Una de estas atribuciones es la emisión de directrices para la mejora de la educación; elemento que funge como un puente entre los 1 A pesar de que el artículo 3° de la CPEUM no incluye las pruebas de logro de aprendizaje, como uno de los elementos para garantizar la calidad de la educación, sí se prevee que éstas formen parte del Sistema de medición y evaluación.
13. 12 resultados de las evaluaciones y la toma de decisiones de mejora de la Política Nacional de la Educación. En este contexto, y a partir de las modificaciones al artículo 3° de la CPEUM, se crea el SNEE, que es definido como “un conjunto orgánico y articulado de instituciones, procesos, instrumentos, acciones y demás elementos que contribuyen al cumplimiento de sus fines”; que tiene por objeto contribuir a garantizar la calidad de los servicios educativos prestados por el Estado y por los particulares con autorización o con reconocimiento de validez oficial de estudios (Ley del INEE, artículos 10 y 11). 2 La coordinación del SNEE es competencia del INEE, quien articulará y guiará las acciones del conjunto de elementos que lo constituyen -instituciones, autoridades, órganos colegiados, procedimientos, procesos, información, parámetros, indicadores, resultados, lineamientos y directrices- conforme a una PNEE que establecerá las bases conforme a las cuales deberán llevarse a cabo los proyectos y acciones que se realicen en materia de evaluación en el marco del SNEE. Esta política establecerá los objetos, métodos, parámetros, instrumentos y procedimientos de evaluación; las directrices derivadas de los resultados de los procesos de evaluación; los indicadores cuantitativos y cualitativos; los alcances y las consecuencias de evaluación; los mecanismos de difusión de los resultados de la evaluación; la distinción entre la evaluación de personas, la de instituciones y la del SEN en su conjunto; las acciones para establecer una cultura de la evaluación educativa; y, los demás elementos que establezca el INEE (Ley del INEE, artículo 17). Así, el SNEE tiene como objetivo contribuir a garantizar la calidad de los servicios educativos que brinda el Estado a través de la Política Nacional de Educación. En aras de cumplir con este propósito, sus acciones y proyectos en materia de evaluación serán guiados por una PNEE, que está constituida, entre otras cosas, por directrices para la mejora de la educación. Para la construcción de dichas directrices se requiere de un conjunto de insumos técnicos, siendo los de mayor relevancia las evaluaciones que realiza el Instituto, así como el vasto cúmulo de información sustantiva generada por la comunidad científica. De este modo, se espera que las directrices se constituyan como el instrumento articulador entre los resultados de las acciones de evaluación que se desarrollan en el marco del SNEE y la mejora de la Política Nacional de Educación. Concebida así, la directriz 2 Dentro de los fines específicos que persigue se encuentran: i) establecer la efectiva coordinación de las Autoridades Educativas que lo integran y dar seguimiento a las acciones que para tal efecto se establezcan; ii) formular políticas integrales, sistemáticas y continuas, así como programas y estrategias en materia de evaluación educativa; iii) promover la congruencia de los planes, programas y acciones que emprendan las Autoridades Educativas con las directrices que, con base en los resultados de las evaluaciones, emita el Instituto; iv) analizar, sistematizar, administrar y difundir información que contribuya a evaluar los componentes, procesos y resultados del Sistema Educativo Nacional; y, v) verificar el grado de cumplimiento de los objetivos y metas del Sistema Educativo Nacional (Ley del INEE, artículo 12).
14. 13 es un componente clave del SNEE y parte constitutiva de la PNEE, que se espera que incida en la mejora de la política de educación. Esta relación se esquematiza en el Diagrama 2. Diagrama 2. Las directrices en el marco del SNEE y de la PNEE Fuente: elaboración propia. A fin de que se cumpla esta relación, las directrices tendrán que ser acompañadas, promovidas e impulsadas por los actores que conforman al SNEE; para lo cual deberán comunicarse, socializarse y argumentarse efectivamente.
15. 14 II. Referentes conceptuales y experiencias relacionadas con la emisión de recomendaciones y directrices La emisión de directrices, como ya se señaló, es una atribución nueva del INEE, y nueva también en México. Si bien la investigación educativa y la evaluación de políticas y programas han arrojado diversas recomendaciones de política, es la primera vez que éstas, con el nombre de directrices, adquieren un carácter central en el ámbito de la evaluación educativa. Con el objetivo de proponer un Modelo para la Emisión de Directrices, se revisaron, en un primer momento, los aportes de lo que se conoce como “Política Basada en Evidencia” y experiencias relacionadas con la emisión de recomendaciones y directrices en otros sectores, como por ejemplo el de salud. Es importante señalar que la revisión de esta literatura ayuda a enmarcar las ventajas y la importancia de que las directrices que se vayan a emitir se fundamenten en el conocimiento probado en la materia. Experiencias de emisión de directrices en otros sectores Política Basada en Evidencia (PBE) El Modelo de Emisión de Directrices retoma el enfoque de la Política Basada en la Evidencia (PBE), definido como: “el uso explícito e intencional de la mejor evidencia de investigación disponible para la toma de decisiones y la elección entre opciones de política pública” (Bracho, 2010a). Concretamente, la PBE consiste en aportar información, así como los resultados de las evaluaciones e investigaciones de calidad, recuperada de manera sistemática y analizada racionalmente al proceso de políticas, con el fin de reemplazar las opiniones o el impulso ideológico en su formulación. Este proceso sistemático para analizar, jerarquizar e incorporar la evidencia se desarrolla principalmente en el campo de la medicina con la formación de la Colaboración de Cochrane, para después ampliarse a otros campos de política pública y social mediante la Colaboración de Campbell (Gough, Oliver y Thomas, 2013). De la segunda colaboración se deriva la importancia de incluir estudios cualitativos, lo que permite ampliar el concepto de evidencia y los tipos de preguntas que abordan las revisiones sistemáticas, más allá del enfoque causal y cuantitativo predominante en la investigación de salud pública. En el campo de la educación, especialmente para países de la OCDE, la PBE ha adquirido relevancia en las últimas dos décadas por varias razones. Entre ellas está la creencia de que la educación y el conocimiento son elementos importantes para la innovación y la economía de estos países. Además, existe una creciente demanda para que los funcionarios públicos rindan cuentas respecto a los gastos en educación, así como la calidad y efectividad de la investigación educativa (CERI, 2007). Asimismo, varios factores exacerbaron estas razones, dentro de los que se encuentran: una creciente preocupación por los resultados del logro estudiantil; disponibilidad de evidencia debido a un énfasis
16. 15 gradual en las evaluaciones (tales como PISA y SERCE); insatisfacción de la ciudadanía respecto a los sistemas educativos a nivel nacional y local; mayor acceso a la información gracias al internet; así como cambios en la percepción sobre la legitimidad de los procesos de emisión de políticas (CERI, 2007). Para el caso de México, existe la necesidad de contar con un sistema educativo que integre las dimensiones de relevancia, pertinencia, equidad, eficiencia, eficacia, impacto y suficiencia (Ley del INEE, artículo 5, fracción III). En este sentido, la PBE permite abordar las preocupaciones mencionadas anteriormente; en virtud de que este proceso sistemático eleva la calidad de los análisis y debates para decidir entre distintas opciones de política, al vislumbrar las implicaciones e impactos de cada curso de acción. Además, las decisiones basadas en evidencia tienden a producir mejores resultados y permiten evaluar opciones que son costo-eficientes (CERI, 2007; Sutcliffe y Court, 2005); es decir, aquellas que pueden reducir costos y tiempo en su implementación. Asimismo, la PBE, al proveer recomendaciones de mejora a programas públicos, permite obtener una tasa de retorno de inversión pública aceptable. También, ayuda a asegurar que las políticas respondan a las necesidades de las comunidades (ABS, 2010). Y, por último, cuando la evidencia es utilizada con fines de transparencia y rendición de cuentas, se fortalece la gobernanza democrática. Se debe tener en cuenta que el Modelo para la Emisión de Directrices que se propone en este documento retoma los argumentos del enfoque de la PBE, considerando como evidencia la información, investigaciones y evaluaciones, con métodos cuantitativos y cualitativos, disponibles y pertinentes para conocer y comprender los problemas públicos. Experiencias en construcción de directrices: “guidelines” Aunque existe información sistematizada y manuales para la formulación de directrices, principalmente en el área de salud, no se identifica en el ámbito internacional, una norma reconocida para la formulación de directrices de política educativa. Con la intención de identificar cómo están integradas las directrices, a continuación se presenta una breve revisión del contenido de algunos ejemplos de directrices que se han emitido en algunos países en el ámbito de la educación. En el informe titulado Criterios y Directrices para la Garantía de Calidad en el Espacio Europeo de Educación Superior, elaborado por la European Network for Quality Assurance in Higher Education (ENQA), se plantean algunas pautas cuya finalidad es proporcionar una fuente de apoyo y orientación tanto a las instituciones de educación superior que están desarrollando sus propios sistemas de garantía de calidad, como a las agencias de garantía externa de calidad; así como la de contribuir a un marco de referencia común que pueda ser utilizado tanto por las instituciones como por las agencias. De alguna manera, se buscaba que estos criterios y directrices dictaran la práctica o se interpretaran como obligatorias. Cada uno de los puntos de política donde se pretende influir contiene criterios y un conjunto de directrices. Los primeros son la definición del objetivo que se persigue o
17. 16 los compromisos que se adquieren. Las segundas, por su parte, proporcionan información adicional sobre buenas prácticas y, en algunos casos, explican con más detalle el significado e importancia de los criterios. Se agrega que aunque las directrices no son parte de los criterios, éstos deben tomarse en consideración conjuntamente con aquéllas. Estos criterios y directrices se desprenden de unos objetivos y principios, y se complementan con un Sistema de revisión por pares para las Agencias de Garantía de Calidad. Por otro lado, el documento Directrices sobre políticas de inclusión en la educación, publicado por la UNESCO, establece una serie de recomendaciones para el impulso de políticas dirigidas al establecimiento de sistemas de educación inclusiva, identificando algunos de los desafíos que enfrentan los encargados de la formulación de políticas. Es decir, las orientaciones van dirigidas de manera explícita a quienes tienen a su cargo el diseño de políticas educativas. Es en esta sección de desafíos donde se describen, también, las estrategias generales que se proponen para enfrentar el problema público de la exclusión educativa, enmarcadas en una perspectiva de política pública que considera sus distintas fases de construcción. De manera congruente con esta perspectiva, el documento se fundamenta en marcos teórico-conceptuales e histórico-contextuales, que permiten definir el problema público al que se pretende dar respuesta, y los objetivos que guían la propuesta. En Suecia se encontró un ejemplo de directrices emitidas para un ámbito nacional con el propósito de dar respuesta a un problema específico como el que representa la inasistencia escolar: Directrices generales para la administración escolar. Los esfuerzos para promover la asistencia y reconocer, investigar y corregir las ausencias escolares (Skolverket, 2012). Estas orientaciones están dirigidas a las instituciones escolares, así como a los directores y profesores, para fomentar la asistencia de los estudiantes, prestar atención al problema del ausentismo escolar, investigarlo, reunir información sobre éste y establecer estrategias para su solución. Cada directriz, que se desagrega en una serie de instrucciones y recomendaciones, se fundamenta en aspectos normativos y se ve complementada por algunas observaciones generales para tomar en cuenta en su implementación. Las Directrices nacionales para una política de atención integral a la infancia y adolescencia, emitidas por el Estado brasileño, son un ejemplo de directrices elaboradas también para un ámbito nacional, pero con una perspectiva intersectorial. El Consejo Nacional de los Derechos del Niño y del Adolescente (CONANDA) pretendía que estas se constituyeran en una herramienta en la tarea de integrar, supervisar, monitorear y evaluar el conjunto de acciones de políticas públicas dirigidas a asignar protección especial al niño y al adolescente; esto como parte de una política estratégica del Estado brasileño. En este caso, las directrices son las definiciones generales, las cuales encuentran en las estrategias una especificación mayor de lo que debe realizarse para concretarlas. Las directrices en materia de educación son dos: asegurar la calidad de la educación pública y poner en práctica la educación pública universal, desde la educación preescolar hasta la secundaria, para garantizar la educación básica para jóvenes y adultos.
18. 17 También hay propuestas de directrices a nivel local como la que representa la Política sobre alimentación y nutrición para las escuelas públicas de Nueva Escocia. Directivas y directrices para la política (Ministère de l’Éducation de la Nouvelle-Écosse, 2006). En este documento, emitido por el gobierno de la provincia canadiense, las directrices de política se definen como recomendaciones para la acción, las cuales van dirigidas a las escuelas y a sus proveedores de alimentos y tienen como objetivo asegurar que los estudiantes y el personal de las instituciones escolares tengan más fácil acceso a alimentos y bebidas sanas. Las directrices se enmarcan en una serie de ámbitos de intervención de la política como el precio, las porciones y el agua, las cuales constituyen las directivas. Los modelos y experiencias analizados en esta sección aportan referencias importantes para la formulación y emisión de directrices para la mejora de la educación. De los casos de UNESCO, Brasil (CONANDA), Suecia y Nueva Escocia se retoma la importancia de incorporar en la formulación de las directrices a los actores relevantes y a las audiencias finales, así como definir las actividades que será necesario ejecutar para cumplirlas. En particular, la experiencia brasileña sugiere que las directrices requieren tener objetivos congruentes con los del sistema educativo, aspecto también retomado por el caso sueco, donde se plantea que un factor fundamental para mejorar la efectividad de las directrices es que éstas sean legalmente viables. Mientras que de la experiencia de lo realizado por la UNESCO y Suecia, destaca la necesidad de tomar en cuenta el contexto para comprender el problema público que la directriz busca corregir. La revisión de estas experiencias internacionales influyó, sin duda, en la construcción de una definición de directrices y en la ruta que se propone para su emisión. Modelo de la OMS: calidad de la evidencia y fuerza de las recomendaciones Diferentes organizaciones internacionales han buscado la forma de establecer un modelo homogéneo con el objetivo de construir recomendaciones basadas en evidencia que aporten información exhaustiva y pertinente a los diferentes actores antes, durante y después del proceso de toma de decisiones. Así, el modelo de directrices que utiliza la Organización Mundial de la Salud (OMS o WHO, World Health Organization, por sus siglas en inglés), consiste en una investigación sistemática y multidisciplinaria que busca, por medio de la pertinencia contextual y/o coyuntural, formular estrategias para mejorar la gestión en materia de salud. El proceso desarrollado por la OMS tiene una visión más holística porque los responsables de elaborar las recomendaciones provienen de distintas disciplinas de estudio, lo cual genera ricas y variadas intervenciones (WHO, 2012). Con todo, las directrices que se emiten se sustentan en evidencia científica de calidad; para ello, se han establecido procesos sistemáticos y rigurosos para la recolección de información con el fin de reducir posibles sesgos (WHO, 2010). Así, la OMS busca validar la calidad de la información recaudada por medio del sistema GRADE (Grading of Recommendations, Assessment, Development and Evaluation), un modelo de
19. 18 calificación metodológica con reconocimiento internacional, donde dependiendo del tipo de evidencia que se presenta, los expertos califican la información como de alta, moderada, baja o muy baja calidad (WHO, 2012). Algunos de los criterios que pueden causar la disminución de la valoración son las limitaciones del estudio y/o información en cuestión, la consistencia, la franqueza, la imprecisión y el sesgo. Aunque la OMS aplica un sistema riguroso para evaluar la confiabilidad de la evidencia que presenta su modelo de directrices por medio de la validación que ofrece dicho sistema, esto no asegura que las conclusiones y recomendaciones del proceso sean igualmente calificadas (Guyatt et al., 2008). En este sentido, el sistema GRADE evalúa la fuerza que poseen las recomendaciones emitidas como “fuertes” o “débiles”. Las cuatro variables que determinan el grado de fortaleza son las siguientes: 1. Equilibrio entre los efectos deseables y adversos: Consiste en una valoración de la información que existe sobre los efectos deseables e indeseables de la recomendación. Así, cuando los inconvenientes y las ventajas de las recomendaciones están equilibradas, las conclusiones del proceso son consideradas como débiles. 2. Calidad de la evidencia: Entre mejor calificada sea la evidencia científica presentada con base al equilibrio entre los efectos deseables y adversos, la recomendación tiene una mayor posibilidad de tener un mayor sustento teórico. 3. Valores y preferencias: Se fundamenta por medio de una evaluación entre la incertidumbre y la variabilidad con respecto a los valores o preferencias (costo–beneficio) de los usuarios con respecto a las recomendaciones emitidas. Por lo que es importante que los responsables de emitir las directrices vinculen de forma adecuada los beneficios, los riesgos e inconvenientes del modelo presentado. 4. Costes o asignación de recursos: Consiste en la valoración de los recursos que se consumen al momento de implementar las recomendaciones; así, el contexto en donde se aplica una intervención es decisivo. Es relevante mencionar que esta variable puede cambiar con el paso del tiempo o con el espacio geográfico. Por otro lado, la OMS junto con otros organismos internacionales ha buscado establecer criterios rigurosos para lograr construir un modelo que permita formular directrices en materia de salud pública. La organización ha establecido 16 componentes para el mejoramiento del uso de los datos de investigación en este proceso: 1. El establecimiento de prioridades: Debido a que los recursos del organismo son limitados para formular recomendaciones, las capacidades tienen que estar centradas en maximizar las prioridades de la institución buscando soluciones a problemas relevantes en materia de salud pública.
20. 19 2. La composición del grupo y el proceso de consulta: Como se mencionó anteriormente, la OMS se preocupa por integrar equipos de investigadores que contemplen distintas perspectivas, incluyendo a distintos actores involucrados en el problema. 3. La declaración y la evasión de conflictos de interés: Debido a que en el proceso de emisión de directrices pueden existir inconformidades o conflictos de interés por distintas partes involucradas en el problema, la Organización Mundial de la Salud recomienda en todo momento formar un comité permanente que dé audiencia a cada caso particular. 4. Los procesos colectivos de negociación: Para garantizar la inclusión de todos los expertos que integran el grupo de trabajo, la OMS utiliza técnicas cómo el método Delphi para asegurar que se tomen en cuenta todas las opiniones y argumentos que se presentan. 5. La identificación de resultados importantes: Una vez realizada la revisión bibliográfica pertinente, los investigadores tienen que identificar los datos más relevantes para poder determinar los costos–beneficios, los efectos no deseados, resultados intermedios e indirectos, así como las consideraciones éticas y culturales de una intervención. 6. La identificación de los datos de investigación: Es relevante para la OMS incluir los efectos que tienen las recomendaciones que se formulan con un sustento teórico y empírico por medio de una revisión sistemática y exhaustiva de la bibliografía existente. 7. La síntesis y la presentación de datos de investigación: La OMS utiliza medidas estándares como la herramienta de Medición para Evaluar Revisiones (AMSTAR por sus siglas en inglés), para evaluar la relevancia de las revisiones bibliográficas existentes. 8. La especificación y la integración de valores: Las recomendaciones que emita la organización tienen que tomar en cuenta los valores y prejuicios de aquellos a quienes va dirigido su uso. 9. La consideración de la equidad: Las prioridades en el mundo pueden variar, por lo que la organización busca darle prioridad a aquellos problemas de salud pública que tienen mayor relevancia a nivel internacional, dándole preferencia a los países de ingresos bajos. Así la OMS busca que las recomendaciones tengan un impacto significativo en la población con menores recursos. 10. La clasificación de los datos de investigación y las recomendaciones: Como ya se mencionó, para la OMS resulta indispensable garantizar que la revisión bibliográfica y las recomendaciones realizadas sean lo más confiable posible, así el organismo utiliza el sistema GRADE para calificar la calidad de la información que se presenta. 11. La consideración de los costos: Durante la etapa de recolección de información y de emisión de recomendaciones, se tiene que hacer un análisis de costo–efectividad para determinar si la directriz es factible de ejecutar. 12. La adaptación, la aplicabilidad y la transferibilidad de las directrices: El modelo de directrices debe considerar los factores que pueden influir en la transferibilidad de las recomendaciones realizadas en diversos contextos, entre ellos los factores modificadores, la variación en las necesidades, los valores, los costos y la disponibilidad de recursos.
21. 20 13. La estructura de los informes: La OMS ha desarrollado formatos estándar para garantizar el reconocimiento y el uso de las recomendaciones por parte de los responsables de la toma de decisiones. 14. Los métodos de arbitraje científico: Cualquiera que sea el proceso que se elija para adaptar las directrices a los contextos locales, la organización abre la posibilidad del arbitraje científico además de incluir a los consumidores, a los implementadores y otras personas interesadas en el proceso. 15. Los métodos planificados de difusión y ejecución: Para lograr implementar las directrices, la organización selecciona las estrategias que fueron evaluadas positivamente, con el objetivo de adaptar las recomendaciones a los contextos locales, nacionales o subnacionales. 16. La evaluación de las directrices: Finalmente, la OMS busca poner en práctica revisiones internas y externas del proceso de emisión de directrices de forma periódica, utilizando el Instrumento para la Valoración de Directrices para la Investigación y Evaluación (AGREE, por sus siglas en inglés) Para el caso del Modelo de Directrices que se plantea en este documento, la valoración de la evidencia antecede al análisis de valores y preferencias de los actores; y éste, a su vez, antecede al análisis de fines y metas, así como costos y recursos. De tal suerte que para el Modelo propuesto, el primer paso es filtrar la evidencia y considerar solo aquélla que sea de utilidad, relevancia y pertinencia para el problema que se busca resolver. Asimismo, algunos de los 16 componentes planteados por la OMS, se retoman en el modelo planteado por el INEE, en particular los procesos de consulta, negociación, evaluación de directrices y presentación de resultados. Modelo Double-Smart El Modelo “Double-SMART” (por sus siglas en inglés) ha sido desarrollado por la Asociación para la Prevención de la Tortura (APT), una organización cuya misión es la de fortalecer a diversos actores para prevenir efectivamente la tortura y el maltrato. Para lograr este objetivo, el Modelo “Double- Smart” asiste en la generación de recomendaciones dentro de los procesos de monitoreo para lugares de detención de la tortura. Concretamente, esta herramienta asiste a los desarrolladores de recomendaciones con un marco para definir criterios que, aplicados sistemáticamente, permitan hacer recomendaciones efectivas y útiles que avancen en el logro de un mundo libre de tortura y donde los derechos de las personas privadas de libertad sean respetados sin importar el contexto político, social, cultural y lingüístico en el que se enmarquen (APT, 2008). Además, al conectar las recomendaciones con el proceso de monitoreo, se pretende que este modelo sea un esquema que permita seleccionar, analizar y revisar recomendaciones previamente diseñadas. De la propuesta de la APT es importante retomar para el Modelo de Construcción y Emisión de Directrices la importancia de definir fines y metas deseados, para que se puedan establecer claramente y priorizar las acciones y su temporalidad. De hecho, como se señala más adelante la
22. 21 formulación de directrices implica pensar la situación ideal a la que se aspiraría a llegar con la implementación de las mismas. Además, esta propuesta destaca la importancia del monitoreo como un mecanismo para la retroalimentación y la actualización constante de las directrices, ya que éstas se enfrentan a un contexto cambiante al cual deben adaptarse. En la Tabla 1 se definen los criterios del Modelo “Double-SMART” y cómo éstos se relacionan y retoman en el Modelo de Emisión de Directrices. Tabla 1. Criterios del Modelo “Double-Smart” incorporados en el Modelo de Emisión de Directrices Criterio Definición Relación con el Modelo de Emisión de Directrices Específico (Specific) La recomendación aborda un problema en específico, proponiendo una o más alternativas, donde cada una esté separada y definida claramente. La directriz busca dar respuesta a un problema o problemas específicos, los cuales se identificaron en la fase de definición del problema/s. Medible (Measurable) La recomendación debe estar diseñada de tal forma que sea lo más fácil posible evaluar su implementación, logro o ambos. Como tal, la recomendación debe contemplar el estado actual del problema y cuando sea posible, establecer un punto de comparación. En la fase de construcción se considera un análisis de mejora que evalúa el estado actual del problema y si este ha recibido atención pública para darle respuesta (valorando los alcances y déficits de dicha atención). En esta fase también se consideran los indicadores que podrían ser útiles para monitorear el avance y cumplimiento del derecho a una educación de calidad para todos. Alcanzable (Achievable) Significa que la recomendación deberá tratar de ser factible en términos operativos, enfatizando lo que debe hacerse dentro de lo razonable. El modelo contempla que una vez emitida la directriz (y previo a ello también) se deberá realizar un análisis de factibilidad de, por lo menos, cuatro aspectos: legal, presupuestal, administrativo y político. El modelo plantea que la factibilidad es un elemento central de las directrices, ya que de ello depende que estas tengan una mayor probabilidad de ejecución. En función de resultados (Results Oriented) Las acciones sugeridas deben producir un resultado concreto para mejorar una determinada situación de manera implícita o explícita. La directriz tiene el objetivo final de promover el avance y cumplimiento del derecho a una educación de calidad para todos, a través de sugerir acciones que orienten la toma de decisiones para la mejora educativa. Delimitada por el tiempo (Time-bound) La recomendación debe contar con un cronograma para su ejecución porque incrementa la presión para tomar acción y facilita la determinación de responsabilidades. La directriz contempla plazos para su ejecución: corto, mediano y largo plazo. Esto último se definirá con las autoridades a quienes se recomiende. Enfocada en Soluciones (Solution- suggestive) Las acciones recomendadas deben ser concretas, concisas, así como, en la medida de lo posible, incluir los detalles técnicos pertinentes para evitar una implementación equivocada. El modelo reconoce que la fase de implementación es competencia exclusiva de las autoridades educativas. Sin embargo, la directriz además de sugerir tiempos de implementación, incorpora elementos clave que es necesario que la autoridad educativa atienda e incluya en los compromisos y planes de trabajo a que ésta se comprometa para ejecutar la directriz. Consciente de prioridades, Las recomendaciones emitidas deben ser las más prioritarias y se debe determinar si algunas acciones dependen de la La consulta con los actores involucrados permite determinar la prioridad tanto del problema como de la directriz a emitir. Cuando se realiza en la fase de
23. 22 Criterio Definición Relación con el Modelo de Emisión de Directrices secuencias y riesgos (Mindful of priorisation, sequencing and risks) implementación de otras. Finalmente, se deben tomar en cuenta los posibles efectos adversos de las recomendaciones. construcción del problema, también disminuye el riesgo de emitir una recomendación poco pertinente o viable ya que identifica, entre otras cosas, el problema, las acciones y los recursos pertinentes para resolverlo. Fundamentada (Argued) Las recomendaciones deben estar basadas en la evidencia, así como en un análisis de alta calidad, resultado del ciclo de monitoreo. Las directrices se sustentan en las investigaciones y evaluaciones disponibles, así como en la consulta con distintos actores clave, que entre otras cosas ayuda a revisar temas de factibilidad. Sensible a las causas (Root-cause responsive) Las recomendaciones deben ir dirigidas a las causas fundamentales del problema identificado. Si no es posible identificar las causas o factores de mitigación de riesgos, las acciones a considerar deberán facilitar mejoras de manera paulatina, así como proponer un análisis más a fondo. La directriz es diseñada desde una perspectiva multi-causal y multi-factorial del problema. Basándose en la evaluación e investigación educativa, así como en consulta con actores relevantes, identifica el problema educativo relevante desde el cual se pueden producir cambios. Dirigida (Targeted) Las recomendaciones deberán ir dirigidas a los actores e instituciones particulares con responsabilidad para implementar la recomendación legalmente. La directriz va dirigida a las Autoridades Educativas y menciona el nivel (federal o estatal) que debe dar atención a la propuesta de mejora. Fuente: Elaboración propia con información de Asociación para la Prevención de la Tortura, 2008.
24. 23 Sistemas de normalización De acuerdo a la International Organization for Standarization (ISO), la normalización es la actividad que tiene por objeto establecer, ante problemas reales o potenciales, disposiciones destinadas a usos comunes y repetidos, con el fin de obtener un nivel de ordenamiento óptimo en un contexto dado, que puede ser tecnológico, político o económico. Se basa en los resultados consolidados de la ciencia, la técnica y la experiencia, y determina no solamente la base para el presente, sino también para el desarrollo futuro. Los beneficios de la normalización son múltiples y apuntan, básicamente, a crear criterios mínimos operativos para un producto, proceso o servicio. Dichos criterios mínimos se plasman en normas, definidas como el documento establecido por consenso y aprobado por un organismo reconocido que proporciona reglas, directrices o características para ciertas actividades o sus resultados, a fin de conseguir un grado óptimo en un determinado contexto. Una norma debe ser un documento que contenga especificaciones técnicas y accesibles al público, que haya sido formulado con el apoyo y consenso de los sectores claves que intervienen en esta actividad. Así, los sistemas de normalización se refieren a la formulación y aplicación de especificaciones técnicas, aprobadas por un organismo reconocido, basadas en los resultados del conocimiento, la experiencia y el desarrollo tecnológico que hay que cumplir para mejorar un bien, producto o servicio. Su establecimiento contribuye a la definición de estándares mínimos aceptables y deseables que al ser identificados, permiten trazar una estrategia de acción para ser alcanzados. Retomar el concepto de normalización se considera fundamental para la emisión de directrices, gracias a que éstas definirán los estándares deseables para mejorar la calidad y equidad de la educación, así como los cursos de acción para alcanzarlos. Por lo que contribuirán al establecimiento de un piso mínimo deseable, a partir del cual se busque normalizar los factores asociados a la educación. Recomendaciones de política educativa: una larga tradición Si bien es cierto que las experiencias en materia de formulación y ejecución de directrices en el sector educativo son escasas, y que esta palabra –directriz- no es de uso común en México, también lo es que se cuenta con una amplia gama de recomendaciones de política educativa, que se derivan tanto de la investigación, como de la evaluación educativa -a nivel nacional e internacional-, las cuales constituirán un referente obligado de lectura y análisis para la formulación de directrices para la mejora de la educación que realice el INEE. El proceso de emisión de directrices, por tanto, no partirá
25. 24 de cero. Para el tema que se elija estudiar, se revisarán tanto los estudios y evaluaciones disponibles, como las recomendaciones que se hayan derivado de los mismos. Las recomendaciones, por otro lado, tienen ya una larga tradición en el ámbito educativo, e incluso han surgido movimientos importantes, como por ejemplo el “Movimiento de la Eficacia Escolar” (MEE), o los sistemas de gestión y aseguramiento de la calidad, los cuales buscan operacionalizar acciones e indicadores que pongan un piso mínimo y/o que sienten las bases para una transformación y mejora educativa efectiva. En esta sección, se recuperan, por tanto, algunos aprendizajes derivados de las recomendaciones de organismos internacionales y regionales en materia educativa, del Movimiento de Eficacia Escolar (MEE), y también de la experiencia de los sistemas de gestión y aseguramiento de la calidad. Recomendaciones de organismos internacionales y regionales Durante las últimas cuatro décadas, organismos internacionales como el Banco Mundial, la OCDE, el BID y la UNESCO han adquirido una fuerte relevancia en la orientación de las políticas educativas de los países en desarrollo, sea a través de acuerdos de cooperación o bien con la emisión de recomendaciones de política tendientes a perfilar o retroalimentar las políticas nacionales.3 A nivel de la región latinoamericana, la Organización de Estados Iberoamericanos para la Educación, la Ciencia y la Cultura (OEI), la Comisión Económica para América Latina y el Caribe (CEPAL), el Programa de Promoción de la Reforma Educativa en América Latina (PREAL) y el Laboratorio Latinoamericano de Evaluación de la Calidad de la Educación (LLECE), se encuentran entre las organizaciones que han emitido recomendaciones en materia de política educativa. Si bien los referentes que sustentan las recomendaciones son diversos (normas o metas educacionales, estudios sobre mejores prácticas, resultados de evaluaciones regionales o internacionales, comparaciones entre países, entre otros), es posible identificar una serie de temáticas recurrentes en las recomendaciones de los organismos internacionales. La siguiente tabla sintetiza las principales temáticas y recomendaciones vertidas por algunos organismos internacionales en los últimos años.4 3 En algunos casos y países, las recomendaciones incluso se han acompañado de una agenda para su puesta en práctica y se han vinculado a préstamos multilaterales o bilaterales para el diseño, implementación y/o evaluación de programas o acciones relacionados con las propias recomendaciones; en otros casos, las recomendaciones se inscriben en ambiciosos programas de reforma educativa. Por ejemplo, en 2008 el gobierno de México suscribió el Acuerdo de cooperación México-OCDE para mejorar la calidad de la educación de las escuelas mexicanas, en el que se enmarcan diversos documentos con recomendaciones dirigidas expresamente al país. 4 Esta revisión no es exhaustiva y sólo consideró el periodo 2007-2012.
26. 25 Tabla 2. Principales temáticas y recomendaciones de política educativa emitidas por organismos internacionales y regionales Temática Recomendaciones Liderazgo directivo Profesionalizar la formación, selección y contratación de los directores escolares. Construir espacios de intercambio entre escuelas y grupos de escuelas en materia de liderazgo, y estimular a que trabajen juntas. Gestión escolar Desarrollar estándares para la gestión basados en la mejora de los resultados escolares. Participación social Asignar a los consejos de participación social mayor responsabilidad con respecto a la escuela. Financiamiento Reducir las desigualdades en el financiamiento y promover programas flexibles que se adapten a las necesidades escolares. Fortalecer la inversión destinada a mejorar la eficacia de los docentes. Formación, selección y profesionalización docente Producir e implementar estándares para docentes. Elevar la exigencia del ingreso a la profesión docente, especialmente en las Escuelas Normales. Crear un sistema de acreditación para las instituciones formadoras de docentes, desarrollar estándares para los formadores de docentes y sistemas de aseguramiento de la calidad más rigurosos. Desarrollar mecanismos eficientes para seleccionar a los futuros docentes y para remover a los de bajo desempeño en las aulas. Establecer sistemas de acreditación docente. Poner a concurso las plazas docentes y revisar el proceso de asignación de plazas. Proporcionar una sólida formación para profesionalizar la docencia. Establecer un periodo de prueba para los docentes noveles, apoyado en tutoría intensiva, seguido de una evaluación rigurosa para determinar la asignación permanente de una plaza docente. Crear un equipo especializado de tutores de docentes. Construir un sistema de formación profesional integral. Evaluar y monitorear cualquier programa de formación docente desde su concepción. Construir instrumentos para la correcta medición del desempeño docente. Incentivos a docentes Elevar el status social del maestro para atraer a los mejores candidatos para ejercer la docencia. Establecer un salario competitivo y estímulos asociados al desempeño docente y los resultados de aprendizaje de los alumnos. Diseñar programas que integren incentivos monetarios y no monetarios. Primera infancia Ampliar la cobertura educativa y el cuidado de la primera infancia. Elevar la calidad de los servicios mediante el desarrollo de capacidades delpersonal y el mejoramiento pedagógico de las intervenciones. Fuente: elaboración propia con información de OCDE (2010 y 2012) y McKinsey & Company (2007).
27. 26 Como se observa en la Tabla 2, la mayoría de las recomendaciones pone el foco en elevar el desempeño docente, el cual es considerado como factor clave de la calidad educativa. Otros de los temas que recurrentemente han sido objeto de recomendaciones de política son la gestión escolar, la participación social, la promoción del liderazgo directivo y las políticas de cuidados y educación para la primera infancia. Si bien esta revisión no es exhaustiva, hay indicios de que estas temáticas han concentrado la atención de las recomendaciones de los organismos internacionales durante los últimos años. Por lo que las problemáticas atendidas y los objetivos perseguidos por las directrices que se formulen y emitan, tomarán en consideración lo expuesto por estos organismos. El movimiento de eficacia escolar (MEE) El Movimiento de Eficacia Escolar constituye una corriente teórica-práctica que reconoce la relevancia de los factores escolares (características del sistema educativo, de la escuela y del aula) como elementos que inciden en el desempeño de los estudiantes y, por lo tanto, identifica a la escuela y los componentes al interior como sujetos de intervención para mejorar la calidad de la educación. El MEE –desarrollado a finales la década de los sesenta5 - representa una propuesta de análisis para estudiar y entender los fenómenos educativos, a fin de contar con argumentos para la toma de decisiones en materia de política educativa, ya que los estudios empíricos derivados de este movimiento tienen por objetivo la estimación de la magnitud de los efectos escolares, del aula y del contexto que caracterizan a una escuela eficaz, la cual es definida como “[…]aquella que consigue un desarrollo integral de todos y cada uno de sus alumnos mayor de lo que sería esperable teniendo en cuenta su rendimiento previo y la situación social, económica y cultural de las familias” (Murillo, 2005: 25). Dadas las aportaciones que el MEE ha realizado en la investigación educativa, se ha logrado identificar condiciones y factores que inciden en el desempeño escolar de los estudiantes, siendo algunos de estos: sentido de comunidad, clima escolar y de aula; dirección escolar; curriculo de calidad; gestión del tiempo; participación de la comunidad escolar; desarrollo profesional de los docentes; altas expectativas de los docentes hacia los alumnos; e instalaciones y recursos. El MEE es un referente para la formulación de directrices dada su visión sistémica, comparativa y de mejora continua, toda vez que puede identificar los elementos a mejorar, los actores que forman parte de la mejora, los contextos y procesos que requieren ser intervenidos para elevar la calidad de la educación, y, sobre todo, porque permite analizar los efectos de los distintos niveles, dimensiones y factores de la escuela y del sistema educativo en su conjunto. 5 La evolución del MEE puede identificarse en cuatro etapas: i) (1966-1979): Publicación del Informe Coleman y el debate teórico-práctico derivado de sus resultados; ii) (1971-1978): Los primeros estudios de eficacia escolar; iii) (1979-1986): Consolidación del campo de investigación sobre eficacia escolar; y iv) (1986- ) Nuevas técnicas de análisis: Los estudios multinivel.
28. 27 Sistemas de gestión y aseguramiento de la calidad La preocupación sistemática por la calidad surge, principalmente, en el sector empresarial enfocado primero en los productos y después en los procesos y recursos. Durante la década de los setenta, el surgimiento del movimiento por la calidad total representó un cambio significativo en la evolución de la concepción de la calidad, al centrarse en la satisfacción de los clientes a través de la incorporación de formas de gestión enfocadas en la mejora de los productos y servicios. Esta concepción permeó profundamente en las organizaciones y motivó la implantación de sistemas para garantizar la calidad de su funcionamiento global y de los bienes y servicios que producían, para lo cual debieron diseñar e implementar estrategias óptimas para facilitar y encaminar tales cambios. Esta filosofía de mejora continua apunta a la búsqueda sistemática de evidencias sólidas que permitan generar planteamientos de mejora de todos los componentes de la organización. Así, de acuerdo con James (1997, citado en Fernández, Álvarez y Herrero, 2002) es posible definir cuatro eras de la gestión de la calidad: desarrollo de la calidad a través de la inspección (centrado en productos); desarrollo de la calidad a través del control de calidad (centrado en procesos); desarrollo de la calidad a través del aseguramiento de la calidad (enfocado en el sistema, que se plasma en las normas ISO); y, desarrollo de la calidad a través de la gestión de la calidad total (centrado en la mejora continua de la calidad en el trabajo de toda la organización). En el ámbito educativo, el movimiento de interés sistemático por la calidad se produce en la década de los noventa, en todos los tipos educativos (básico, media superior y superior) y modalidades educativas (escolarizada y no escolarizada) como objetivo estratégico preponderante del sector y plasmado en leyes, sistemas y planes educativos. La conceptualización de lo que se entiende por calidad ha sido y sigue siendo un asunto de alta complejidad: Es ésta una de las cuestiones más polémicas que existe en este campo; la literatura está llena de aproximaciones y enfoques que intentan simplificar un constructo tan complejo y que encierra tras de sí tanto contenido… No son pocos los que eluden abordar esta cuestión y se sitúan en una posición, fundamentalmente pragmatista, para establecer modelos, planes o sistemas de calidad aplicados a las organizaciones en sectores específicos, mostrando que lo relevante es buscar medios de mejorar la calidad de las instituciones bajo premisas, criterios o supuestos que aparecen operativizados en dicho modelo o sistema (Fernández et al., 2002). En este sentido, el marco normativo del sector educativo mexicano provee tres definiciones distintas de calidad de la educación. La primera, contenida en la Constitución Política de los Estados Unidos Mexicanos está orientada a la mejora constante y máximo logro educativo6 ; la segunda, contenida 6 Será de calidad, con base en el mejoramiento constante y el máximo logro académico de los educandos (CPEUM, artículo 3°, fracción II, inciso d).
29. 28 en la LGE, hace énfasis en la congruencia entre objetivos, resultados y procesos7 ; y la tercera, contenida en la Ley del INEE, está relacionada con la cualidad del sistema que integra un conjunto de dimensiones clave (relevancia, pertinencia, equidad, eficiencia, eficacia, impacto y suficiencia).8 A diferencia de otras definiciones de calidad que incluyen componentes de satisfacción del cliente o eficiencia, las definiciones contenidas en la legislación se orientan más hacia el establecimiento de estándares (máximo logro académico), a las relaciones de coherencia en el sistema (congruencia), y a la excelencia del servicio y al cumplimiento de especificaciones de los servicios educativos (cualidad-posesión de las características que lo definen). Uno de los ejemplos de modelos de gestión de la calidad más difundido y aplicado, con adaptaciones, a las organizaciones educativas del sector público y privado es el Modelo Europeo de Gestión de la Calidad, publicado por la Fundación Europea para la Mejora de la Calidad (EFQM por sus siglas en inglés) en 1995 y readaptado en el 2001 bajo la denominación de Modelo Europeo de Excelencia. Este modelo busca comprender las causas y efectos de las relaciones entre lo que se emprende y los resultados obtenidos; se centra en aspectos como el liderazgo, las personas, los procesos, los resultados y la innovación y el aprendizaje. En México, a finales de la administración gubernamental 2001-2006, se buscó impulsar una iniciativa de Autoevaluación de Centros Escolares en el marco del Modelo Nacional para la Calidad Total, México, Versión Educativa, con el objetivo de “apoyar el establecimiento y la difusión del ejercicio sistemático de la Autoevaluación escolar como instrumento de diagnóstico y reorientación de prácticas de atención educativa en el aula y en la escuela” (Programa Nacional de Educación 2001- 2006, p. 155, citado en SEP, 2006). La implementación del sistema de autoevaluación del centro escolar estuvo basada en ocho criterios: usuarios, liderazgo, planeación, información y conocimiento, personal, procesos, responsabilidad social y competitividad de la organización, los cuales permitirían disponer de una valoración general del centro educativo. Las etapas del proceso de autoevaluación eran la de sensibilización, la de formación del equipo de autoevaluación, la del desarrollo de la autoevaluación y la de elaboración del plan de mejora, siendo esta última el propósito central de los modelos de calidad en los centros escolares. Aunque este modelo de autoevaluación fue sometido a una fase piloto y se difundieron un conjunto de guías para apoyar su utilización en las escuelas, su uso no se generalizó a todo el sistema educativo. 7 Será de calidad, entendiéndose por ésta la congruencia entre los objetivos, resultados y procesos del sistema educativo, conforme a las dimensiones de eficacia, eficiencia, pertinencia y equidad (LGE, artículo 8, fracción IV). 8 Calidad de la Educación, a la cualidad de un sistema educativo que integra las dimensiones de relevancia, pertinencia, equidad, eficiencia, eficacia, impacto y suficiencia (Ley del INEE, artículo 5, fracción III).
30. 29 En el nivel de educación superior mexicana existe mayor experiencia en la implantación de procesos de aseguramiento de la calidad, los cuales son realizados a través de mecanismos de evaluación y de acreditación. Los primeros, se desarrollan mediante mecanismos de autorregulación de la calidad efectuados por pares académicos, cuyo fin es la promoción de la mejora de la educación. Con la creación de los Comités Interinstitucionales para la Evaluación de la Educación Superior (CIEES), en 1991, se busca ayudar a las instituciones de educación superior para que cuenten con programas educativos y funciones de gestión y extensión de mejor calidad. Se entiende por un programa educativo de calidad “aquel que tiene propósitos pertinentes, adecuados y logra cumplirlos” (CIEES, 2014). En términos generales, el propósito de esta evaluación es diagnóstica y con fines de emisión de recomendaciones para la mejora de la calidad de los programas. Por su parte, los mecanismos de acreditación de programas o instituciones académicos tienen como fin contrastar los programas o instituciones con un conjunto de estándares establecidos, y conferir o no un aval de la labor que éstas desarrollan. Así, instancias acreditadoras externas y reconocidas por el Consejo para la Acreditación de la Educación Superior (COPAES) reconocen que tales programas cumplen con un conjunto de criterios, principios, indicadores y estándares de calidad, a nivel de su organización, su estructura, funcionamiento, insumos y procesos de enseñanza, servicios y resultados. Por tanto, “el evaluador se compromete con el mejoramiento de la calidad y el acreditador certifica que esa calidad existe. Ambos mecanismos, que tienen su razón de ser en el aseguramiento de la calidad, no son equivalentes, pero sí complementarios” (COPAES, 2014). En síntesis, los marcos conceptuales y las experiencias de institucionalización de los sistemas de gestión y aseguramiento de la calidad de las organizaciones y, específicamente, en el ámbito educativo son referentes importantes a tomar en cuenta para la construcción del modelo para la emisión de directrices, ya que parten de la conceptualización de la calidad -tarea aún pendiente en el caso del sistema educativo mexicano-, avanzan en el establecimiento de criterios, estándares y principios, y apuntan al desarrollo de recomendaciones de mejora. Principios que orientan las tareas del INEE Los principios que el INEE ha definido para orientar su actuación en materia de evaluación educativa, son los siguientes: la mejora educativa; la equidad; la justicia; el reconocimiento, valoración y atención a la diversidad; y, la participación. La mejora educativa constituye el propósito, por excelencia, de toda evaluación en educación, por lo que debe ser facilitadora de procesos formativos y aportar insumos relevantes para dar atención a las causas de los principales problemas educativos. El principio de equidad en la evaluación implica tomar en consideración los contextos en que se desarrollan los procesos educativos, así como orientar sus resultados hacia la toma de decisiones
31. 30 que permitan favorecer la imparcialidad para reconocer y garantizar el derecho de cada uno en el sistema. Una evaluación justa se basa, por otro lado, en el respeto de los derechos de las personas, es decir, que los resultados de las evaluaciones, técnicamente sólidas, deberán derivar en decisiones que sean pertinentes para los fines para los que fue concebida. El reconocimiento, valoración y atención a la diversidad implica respetar, considerar e incorporar la perspectiva de la diversidad, contextual y cultural, en todo el proceso de evaluación y en las decisiones que se deriven de ella. Finalmente, el principio de participación enfatiza la importancia de sostener procesos de diálogo continuo con los sujetos evaluados y otros actores relevantes, en decisiones que van desde la concepción de la evaluación hasta el uso de los resultados de las mismas. En este orden de ideas, las directrices también harán un énfasis importante en la protección de derechos de la población en situación de mayor desventaja social y económica y, cuando sea el caso, en la atención y búsqueda de solución a las violaciones flagrantes del derecho a la educación. Relación entre evaluación y mejora El INEE concibe la función de evaluar o “emitir juicios de valor que resultan de comparar los resultados de una medición u observación de componentes, procesos o resultados del Sistema Educativo Nacional con un referente previamente establecido” (Ley del INEE, artículo 6) como una herramienta de mejora. De hecho, el primer principio que ha definido el Instituto para guiar su actuación en materia de evaluación es el propósito de mejora educativa, que establece que: La evaluación educativa debe permitir retroalimentar tanto a los sujetos evaluados como a las instituciones, los sistemas y subsistemas que la gestionan, aportando elementos para saber lo que debe hacerse (qué lineamientos, directrices y acciones de política deben ejecutarse) para atender las causas que ocasionan las brechas en la atención educativa y/o en los resultados del Sistema Educativo Nacional (INEE, 2014, p. 8). La evaluación persigue, sin duda, fines de optimización de la educación y posibilita la toma de decisiones respecto a determinados aspectos del objeto evaluado, a diferencia, por ejemplo, de la investigación cuyo fin es la producción de conocimiento. Esta optimización se puede lograr a través de, al menos, dos categorías de uso: la evaluación de mejora y la de control o rendición de cuentas. Aunque se suele asociar la primera con la función formativa y la segunda con la función sumativa y, por tanto, desestimar esta última en cuanto a su poder de mejora, De La Orden (2009) señala que ésta implica una visión simplista, ya que “la decisión
32. 31 de dar cuenta de la calidad de un programa, una institución o un plan de estudios, modificarlos o suprimirlos, como consecuencia de una evaluación sumativa o de control, se supone que constituye una mejora de la educación. La diferencia con la evaluación formativa (de mejora) es que el perfeccionamiento, el proceso de optimización es diferente, está pautado por decisiones distintas” (p. 24). Sin embargo, es claro que si bien se ha desarrollado un grado de especialización importante en materia de evaluación educativa en el país y que, por ejemplo, en materia de evaluación de programas el énfasis ha estado puesto, principalmente, en la rendición de cuentas; los resultados derivados de estas prácticas y las recomendaciones emitidas no se han logrado traducir en mejoras del sistema educativo. De acuerdo con Cicchinelli y Barley (1999, citados en De La Orden, 2009, p. 20), La mera presencia de la evaluación sensu stricto, es decir, la información y el juicio de valor sobre el objeto evaluado… no garantiza una alta calidad en los productos y servicios de los mismos, se limita a asegurar una condición necesaria para ello. La eficacia optimizante de la evaluación exige, además, que sean tomadas las decisiones adecuadas, basadas en los resultados evaluativos, que aseguren las acciones reguladoras pertinentes. Por tanto, el tránsito entre evaluación y mejora del sistema educativo mexicano ha sido sumamente débil y no se ha puesto la suficiente atención y esfuerzo en la tarea de construir los puentes necesarios para su concreción, ni en el fortalecimiento de los pilares de “anclaje” del mismo, de tal manera que hagan factible, viable y más probable la aplicación de las recomendaciones de política. El principal objetivo de las evaluaciones es el uso de los resultados que de ella se obtengan para la mejora continua de las políticas, programas, acciones y servicios, es decir, una evaluación deberá contener información que permita sustentar con rigor metodológico los resultados, para que estos deriven en cambios que permitan transitar hacia políticas y programas más eficientes y eficaces. Un desafío que se observa comúnmente es lograr que la información derivada de las evaluaciones sea efectivamente utilizada para la mejora de acciones, programas y políticas. Este binomio evaluación-mejora no se da de forma natural e, incluso, puede ser difícil de lograr aún en sistemas de evaluación altamente consolidados. Para que exista una relación entre evaluación y mejora intervienen una complejidad de factores que deben considerarse. Del análisis realizado por CLEAR – CIDE en 2011 para el caso mexicano y otros análisis realizados, principalmente por Banco Mundial, se construyó la siguiente cadena de producción de valor (Diagrama 3), la cual muestra las condiciones que deben de existir para aumentar la probabilidad que las recomendaciones se conviertan en una mejora tangible.
33. 32 En materia de directrices, se debe considerar la experiencia que en México y Latinoamérica se ha generado en torno a la efectividad en la utilización de las evaluaciones (medida a través de cambios para la mejora). Para que las directrices sean utilizadas por los actores para la generación de cambios en el sistema educativo, se deberán crear las condiciones e incentivos para su cumplimiento. Un primer paso es tener un entendimiento más comprehensivo de los problemas que se busca atender, por lo que es necesario avanzar en la definición de un modelo de evaluación integral, que recupere las diferentes aristas del problema y contextualice la evaluación –a través de, entre otras cosas, cuestionarios concurrentes que recuperen información relevante sobre los factores que impactan el logro educativo y el desempeño de los docentes, por ejemplo-. Pero también es necesario que en el diseño de las evaluaciones y de las directrices mismas se introduzcan procesos participativos, con actores varios, que le den una mayor credibilidad a los resultados y por tanto a las directrices que de estos se desprendan, buscando su utilidad y factibilidad. La construcción de directrices factibles, viables, con probabilidad de ocurrencia, requiere, asimismo, de que los distintos actores se apropien de estas, y de que se movilicen, a través de un proceso de negociación, recursos humanos y financieros, entre otros, para su ejecución.
34. 33 Diagrama 3. Cadena de producción de valor para la efectiva utilización de las evaluaciones Fuente: adaptación propia de Cejudo, 2001 y Banco Mundial. En síntesis, dado que está documentado que la relación evaluación/recomendación/mejora no se da por sí sola, en la práctica se deberán construir las condiciones necesarias que garanticen que las directrices que se emitan se ejecuten. Como ya se señaló, este proceso no es automático. Al respecto, se reseñan de forma breve la experiencia del Consejo Nacional de Evaluación de la Política de Desarrollo Social (CONEVAL) y del Consejo de Evaluación del Desarrollo Social del Distrito Federal (Evalúa-DF).
35. 34 Evaluación y gestión pública: avances y desafíos Las directrices, como herramienta para la orientación de la política pública, representan un elemento innovador en la política educativa nacional. Sin embargo, hay algunas experiencias de evaluación de acciones gubernamentales, principalmente programas sociales, de las cuales se desprenden recomendaciones que pretenden incidir en la toma de decisiones. Una de estas experiencias es la que se ha desarrollado a través del Consejo Nacional de Evaluación de la Política de Desarrollo Social (CONEVAL), organismo público descentralizado de la Administración Pública Federal que tiene como propósito mejorar la eficacia y eficiencia, así como la rendición de cuentas de la política de desarrollo social; para lo cual genera información sobre la situación de la política social y la medición de la pobreza en México, y evalúa programas y acciones de desarrollo social del Gobierno Federal, así como a la política social y sus diversas estrategias. La otra experiencia es la del Consejo de Evaluación del Desarrollo Social del Distrito Federal (Evalúa DF), que tiene atribuciones semejantes al CONEVAL pero opera a nivel local y se encarga de la evaluación de la política social y de los programas que implementa la Administración Pública del Distrito Federal. Si bien el diseño institucional de ambos órganos es digno de reconocimiento, lo cierto es que ambos han tenido dificultades importantes para que las recomendaciones que han derivado de sus evaluaciones se implementen. La experiencia del Consejo Nacional de Evaluación de la Política de Desarrollo Social (CONEVAL) La Evaluación Externa de los Resultados del Consejo Nacional de Evaluación de la Política de Desarrollo Social, realizada en 2013, plantea que las fortalezas del CONEVAL radican en que es un referente sólido nacional e internacional para la evaluación, debido, entre otros aspectos, a la alta calidad y relevancia de las evaluaciones que contribuyen a la mejora del diseño y operación de los programas de desarrollo social. Adicionalmente, señala como fortalezas que la información que aporta para la toma de decisiones es valorada positivamente, la generación y difusión de indicadores sobre las condiciones sociales de México y el desarrollo de la política social contribuyen a la transparencia, y la información y análisis de programas de desarrollo a nivel estatal y municipal es útil. No obstante lo anterior, también se identifican una serie de retos, dentro de los cuales se encuentran: a) la existencia de un conocimiento heterogéneo de los procesos de evaluación por parte de los funcionarios de dependencias federales y del H. Congreso de la Unión, lo que limita el uso de las herramientas de evaluación generadas por el CONEVAL para tomar mejores decisiones de política pública; b) la existencia de instituciones en el gobierno mexicano que llevan a cabo diversas acciones de evaluación y medición (CONEVAL, INEGI, CONAPO, INEE, SHCP, SFP, etc.) y no cuentan con suficientes mecanismos de colaboración claros y explícitos; c) la falta de certeza de que los usuarios de sus productos tengan claro el uso potencial de éstos en la mejora de los programas; y d) la
36. 35 existencia de actores relevantes o tomadores de decisión a los cuales no les llega la información que genera el CONEVAL y que requieren otros mecanismos para potenciar el uso de los instrumentos de evaluación. Sin duda, el diseño del modelo de directrices del INEE debe retomar la experiencia del CONEVAL, tanto por sus fortalezas como por los retos que enfrenta. Sobre ello, es fundamental considerar el hecho de que las recomendaciones emitidas por el CONEVAL no se han traducido, necesariamente, en mejoras de los programas y políticas de desarrollo social. Lo anterior puede deberse al hecho de que este organismo, y todo el sistema de evaluación en México, se ha inclinado más por la rendición de cuentas como objetivo de la evaluación, que por la mejora y el aprendizaje; lo que conlleva a que los Aspectos Susceptibles de Mejora (ASM) -que son compromisos pactados entre los entes evaluados y el CONEVAL- muchas veces son conservadores y no se planteen objetivos más ambiciosos.9 Otro elemento importante a considerar, es que las recomendaciones o aspectos susceptibles de mejora que plantea el modelo de evaluación del CONEVAL, como también sucede con el caso de Evalúa DF, no incorporan necesariamente un mecanismo de construcción conjunta con actores varios –más allá de los evaluadores y quienes encargan las evaluaciones- que ayuden a validar y a legitimar tanto la definición del problema que se busca resolver, como las acciones que se proponen –a modo de recomendaciones-. Es decir, ni el modelo de CONEVAL ni el de Evalúa DF consideran seriamente un proceso de validación de recomendaciones factibles de operar. La experiencia del Consejo de Evaluación del Desarrollo Social del Distrito Federal (Evalúa DF) El Consejo de Evaluación del Desarrollo Social del Distrito Federal (Evalúa DF) tiene a su cargo la evaluación externa de la política social de la administración del gobierno del Distrito Federal y de los programas sociales. Entre las principales funciones y atribuciones que tiene Evalúa DF se encuentran las de organizar, definir y realizar anualmente, por cuenta propia o a través de terceros, la evaluación externa de la política y los programas sociales, y medir bianualmente -con las metodologías, instrumentos e indicadores que se definan-, el avance en el cumplimiento de los derechos sociales en el Distrito Federal. 9 En octubre de 2008 se emitió el “Mecanismo para el seguimiento a los Aspectos Susceptibles de Mejora (ASM) derivados de informes y evaluaciones externas a programas federales”, el cual busca articular los resultados de las evaluaciones de los programas en el marco del SED y definir los responsables de establecer los instrumentos de trabajo para dar seguimiento a los ASM, así como su formalización. Con el proceso de ASM, los administradores de los programas priorizan las recomendaciones realizadas por los evaluadores y elaboran un plan de trabajo para mejorar esos aspectos prioritarios.