Source: https://www.teseopress.com/gestioneducativaresponsable/chapter/amenazas-a-la-validez-y-confiabilidad-de-los-instrumentos-de-medicion-de-la-calidad-en-la-acreditacion-de-posgrados-de-la-coneaufootnote-la-presente-ponencia-se-realiza-en-el-marco-del-desarrollo-de/
Timestamp: 2020-02-29 03:13:58+00:00

Document:
Amenazas a la validez y confiabilidad de los instrumentos de medición de la calidad | Gestionar instituciones educativas socialmente responsables: aprender, servir, innovar
20 Amenazas a la validez y confiabilidad de los instrumentos de medición de la calidad[1]
En la acreditación de posgrados de la CONEAU
Silvina Miceli[2]
Los sistemas de aseguramiento de la calidad en el nivel superior han sido desarrollados desde la década del 90 en la mayoría de los países. En Argentina se creó en 1995 la Comisión Nacional de Evaluación y Acreditación Universitaria (CONEAU) como organismo oficial encargado de evaluar instituciones de nivel superior y acreditar carreras de grado y posgrado. Pero más allá de la consolidación del organismo, para lograr instalar una verdadera cultura de la evaluación es necesario que los procesos de medición cumplan con las normas de validez y confiabilidad. Para ello, la implementación de la política pública debe, por un lado, ser coherente con el objeto sobre el cual se está interviniendo (la universidad), y, por otro lado, atender la calidad de su propio proceso de medición. En esta ponencia se propone analizar la validez y eventuales amenazas a la confiabilidad de los instrumentos que utiliza la CONEAU para medir la calidad de programas de posgrado durante la etapa de evaluación interna de los procesos de acreditación. La investigación se realizó a partir del análisis de documentación (legislación e informes preparados por el CONEAU) y entrevistas a los participantes de los procesos de acreditación en las universidades.
En los últimos años la universidad ha tenido que reflexionar sobre su propia identidad y repensarse en la nueva sociedad del conocimiento. En la década del 90, en respuesta al surgimiento de las nuevas exigencias del mercado laboral y científico, surgió la problemática del consumismo académico. Este fenómeno condujo al incremento desarticulado de las ofertas de posgrado. El título de grado dejó de funcionar como un nivel máximo a alcanzar para la promoción profesional y se convirtió sólo en una condición para entrar en carrera. Las empresas, las universidades y los organismos públicos buscan profesionales con posgrados que puedan responder a la hiperespecialización del mundo contemporáneo. Ahora bien, ¿qué consecuencias ha conllevado este consumismo académico de posgrados específicamente? En este contexto se comienza a cuestionar la función de la universidad, y los mecanismos de coordinación entre universidad, Estado y sociedad. La confianza brindada a las instituciones de educación superior ya no se construye de forma tácita, sino que ahora debe ser explicitada a través de evaluaciones de calidad. Estas auditorías tienen la función, por un lado, de aportar mejor información para la distribución de fondos públicos a las universidades. Pero, por otro lado, también se ocupan de “purificar” el sistema de educación superior con datos precisos para la sociedad sobre qué programas cumplen con estándares mínimos de calidad. Las acreditaciones se convierten concretamente en información que ayuda a la demanda (los profesionales) frente al incremento desmedido de la oferta educativa.
Estas políticas de aseguramiento de la calidad se enmarcan dentro de las reformas de 2° generación de la década del 90, impulsada por los organismos internacionales con el objetivo de promover el fortalecimiento institucional de los Estados. Las reformas modelaron un Estado Evaluador cuya prioridad se encontraba en el fortalecimiento de la planificación y la gestión estatal. Es un tipo de Estado que regula a partir de lineamientos generales básicos que están orientados a garantizar determinados niveles de calidad, igualdad de oportunidades, eficiencia y racionalidad en el uso de los recursos (Domínguez, 2011). Se concentran en los resultados más que en los procesos internos por los cuales se alcanzan. Este Estado Evaluador interviene en la relación entre la universidad, la sociedad y el gobierno al requerir a la primera que cumpla ciertos procedimientos de accountability para renovar este contrato de forma explícita. En Argentina, la Comisión Nacional de Evaluación y Acreditación Universitaria (CONEAU) se ha erigido como el organismo acreditador oficial de carreras de grado de interés público[3] y de carreras de posgrado.
Sin embargo, esta garantía de calidad que –en la mayoría de los países– el Estado aporta a la sociedad y al mercado debe estar respaldada por procesos de medición de la calidad que sean válidos y confiables. Por lo tanto, no sólo es necesario realizar una evaluación de la calidad de los programas académicos, sino que también se requiere evaluar la calidad de los procesos de evaluación de la calidad. En este sentido, por un lado, la definición conceptual de calidad debería traducirse en indicadores empíricos, asegurando la validez de la medición a través de la consistencia entre el plano teórico y empírico. Y, por otro lado, los procedimientos utilizados para aplicar dichos indicadores también deben garantizar la confiabilidad del proceso. Sólo en esta medida las acreditaciones podrán cumplir el rol principal de garantes de la calidad de los posgrados.
En esta ponencia se propone analizar eventuales amenazas a la validez y confiabilidad de la medición de la calidad en la etapa interna de evaluación[4] que se lleva a cabo en los procesos de acreditación de posgrados realizados por la CONEAU. Para ello se utilizó en principio un diseño cualitativo basado en el análisis de fuentes documentales y de los instrumentos de medición. Se complementó el análisis con aportes realizados por seis actores que hubieran participado activamente en procesos de acreditación: el Entrevistado N° 1 es Director Ejecutivo de un Programa de Especialización en el área de Ciencias Sociales de una universidad de gestión privada; el Entrevistado N° 2 es responsable de acreditación de un Programa de Especialización y Maestría en el área de Ciencias de la Salud en una universidad de gestión privada; el Entrevistado N° 3 es Director de un Programa de Maestría en el área de Humanidades de una universidad de gestión privada; el Entrevistado N° 4 es Coordinador del área de evaluación institucional y acreditación de una universidad de gestión privada; el Entrevistado N° 5 es Secretario Académico del área de posgrado de una universidad de gestión pública; y el Entrevistado N° 6 es Coordinador Académico de un Programa de Maestría en el área de Ciencias Sociales de una universidad de gestión privada.
La Universidad como objeto de políticas públicas
El conocimiento de la universidad como organización es una condición previa necesaria para asegurar el éxito de la política pública de aseguramiento de la calidad. En este caso, la comprensión de la Universidad como organización permite la coherencia entre los instrumentos de evaluación y el evaluado, como así también evitar que los objetivos de la política pública se traduzcan solamente en
“modificaciones superficiales en la estructura de la organización, sin consecuencias para el núcleo duro de funcionamiento” (García de Fanelli, 2005: 31).
El primer aspecto a tener en cuenta es que la institución universitaria es caracterizada en principio como una organización compleja, dado que contiene múltiples fines, diferentes actores con culturas organizacionales propias, y un diseño estructural que concentra el poder en una gran base operativa formada por profesores e investigadores. Por la complejidad en las formas de coordinación y regulación que se derivan de estas características, la universidad se asimila a una federación o coalición de disciplinas, según la describe Clarck (1983). Este autor también la considera una anarquía organizada, dado que la universidad carece de una definición y vinculación clara entre fines y medios. Otra denominación es la de sistemas débilmente acoplados para ilustrar la ambigüedad que
“se deriva de tecnologías suaves, de tareas fragmentadas y de la continua entrada y salida de sus participantes, así como de la ambigüedad de sus fines” (Clark 1983: 49).
En este sentido, se dan en el seno de la universidad dos fuerzas contrarias que afectarán la toma de decisiones y la adaptación a las diversas regulaciones que surjan. En primer lugar, hay una fuerza desintegradora que se profundiza con la creciente especialización del conocimiento, fenómeno que convierte a las instituciones de educación superior en organizaciones con base pesada porque es una estructura dominada desde abajo (el núcleo operativo). Pero también existen fuerzas unificadoras, integradas principalmente por la misión universitaria y los objetivos propios de la institución. Los procesos de evaluación de la calidad son un ejemplo de instancias en que deben participar activamente todos los participantes de la institución. Por lo que su diversidad y complejidad debe ser el primer aspecto a tener en cuenta a la hora de planificar e implementar políticas públicas de acreditación. Ahora bien, ¿cómo se desarrolló esta política en Argentina?
La CONEAU y la política pública de acreditación
La creación de la CONEAU como organismo ejecutor de la acreditación de carreras de posgrado, entre otras funciones, es considerada una política pública que el Estado decidió diseñar e implementar en un determinado momento en que tanto los ciudadanos como el gobierno consideraron que el tema de la calidad en educación era prioritario. La temática de la calidad de las carreras de posgrado estuvo contextualizada en una etapa histórica en la que hubo un incremento y diversificación desarticulado de la oferta educativa. Este hecho, acompañado por tendencias mundiales sobre la necesidad de mejorar los resultados de aquellas instituciones con interés público (como son las universidades), llevaron a la sanción de la Ley de Educación Superior N° 24.521 en 1995 y a la creación de la CONEAU en el mismo año. El Estado descentralizó entonces la función de acreditación en esta agencia que trabaja dentro del Ministerio de Educación, liderada por técnicos cuyo trabajo se sintetiza en la evaluación de instituciones y carreras de educación superior, de acuerdo a determinados estándares públicamente conocidos a través de una resolución ministerial, y con el objetivo de asegurar una oferta educativa de posgrado de calidad.
Tamayo Saez (1997) explica que la etapa de implementación de una política pública en realidad es muy difícil de separar de la de decisión, dado que se trata de un proceso durante el cual se continúan tomando decisiones. Es decir, una vez tomada la decisión, no existe una concreción objetiva e imparcial de la misma ejecutada a través de administradores desinteresados en el tema. Al contrario, todo proceso de implementación de políticas públicas implica una negociación constante entre actores legítimos que
“establecen las condiciones iniciales que permiten la implantación de la políticas y, conseguidas éstas, mantienen su compromiso durante el desarrollo de la implantación” (Tamayo Saez, 1997: 302).
De acuerdo al grado de participación que se les provea a los actores, se pueden identificar políticas públicas top-down o bottom-up. Entre las primeras encontramos aquellas en las que existe una separación entre una esfera política que decide y una esfera administrativa que ejecuta la decisión. Por lo tanto, la administración no tiene ningún tipo de influencia, sino que es simplemente una variable dependiente de la esfera política (Tamayo Saez, 1997).
Por otro lado, las política bottom-up hacen referencia a un modelo que sostiene la idea que la real implementación de una política pública se da cuando el ciudadano entra en contacto con la organización pública que es responsable de distribuir los bienes. Una política global entonces deberá tener una microimplementación que toma esta idea básica y la adapta a las condiciones locales. En el caso de la política de aseguramiento de la calidad (política global), ésta se debería implementar de acuerdo a las cualidades propias de la universidad, la cual se caracteriza por ser una organización compleja con diversas propiedades regionales, disciplinares y profesionales.
No obstante, las políticas públicas no se dividen categóricamente entre aquellas implementadas según un modelo top-down o bottom-up. En realidad, en las diversas etapas de la fase de implementación, durante la cual se continúan tomando decisiones, hay momentos en los que son necesarios mecanismos top-down (promoviendo una implantación programada) y otros momentos en los que son necesarios mecanismos bottom-up (promoviendo una implantación adaptativa). En el caso de la política pública de acreditación, existió un momento top-down al establecer mediante la Ley de Educación Superior la obligatoriedad de acreditación para las carreras de posgrado. Pero la implementación progresiva se dio a través de decisiones top-down y bottom-up. Por ejemplo, la decisión sobre los estándares de evaluación son decididos entre el Ministerio de Educación en diálogo con las universidades, pero los instrumentos concretos de medición de la calidad son construidos por técnicos de la CONEAU. En este contexto, y para analizar la capacidad de esta política pública para cumplir con sus objetivos, es necesario que estos instrumentos sean creados de acuerdo a principios y procedimientos que aseguren la validez y confiabilidad de la medición de la calidad.
Validez y confiabilidad de la medición
Todo proceso de medición incluye una serie de elementos centrales que se dan en una sucesión gradual, cuyo orden es importante respetar para asegurar la validez y confiabilidad de la medición integral (Ravela, 2006): 1) La elección de la porción de la realidad que se medirá y la construcción conceptual de la variable a medir; 2) la definición de objetivos de la medición; 3) la producción de evidencia empírica, es decir, la construcción de los datos a partir de la información recolectada; 4) la generación de juicios de valor sobre la realidad observada; y 5) la toma de decisiones de acuerdo a los objetivos propuestos.
De acuerdo a este esquema, el primer paso en todo proceso de medición es construir el referente, el cual debe ser consistente con los objetivos de los evaluadores. La naturaleza del proceso de medición consiste entonces en la acción de contrastar la evidencia empírica con el referente. En este sentido, Ravela (2006) explica que uno de los errores más comunes de toda evaluación es suponer que el referente está inequívocamente predefinido y, por ende, la evaluación se limita a construir instrumentos para recoger evidencia empírica. Esta realidad es una construcción subjetiva que contiene una connotación valorativa, ya que se posiciona como el ideal a alcanzar. La comprensión del referente es el primer elemento que facilitará la construcción de instrumentos, el entrenamiento de evaluados y evaluadores, y proveerá mayor objetividad a todo el proceso de medición.
El tercer elemento sólo se puede desarrollar una vez que se hayan definido clara y consistentemente el referente y los propósitos. De otra forma, no tiene sentido construir instrumentos de medición si no se sabe qué y para qué se medirá. Una vez definidas estas cuestiones, el problema central del tercer elemento se encuentra en reconocer que el acceso a la realidad que se quiere estudiar es mediado, no existe un contacto directo. La evidencia empírica hace referencia a las aproximaciones parciales a la realidad que nos proveen información sobre algún aspecto que nos interesa conocer a través de la aplicación de instrumentos de medición, los cuales son generadores de datos.
Ahora bien, si toda evaluación en esencia es una medición y una comparación, se requiere además de estándares o puntos de referencia que puedan indicar si hubo una mejora o deterioro de una determinada situación. Para ello, es una condición sine qua non que los usuarios o evaluados tengan confianza en el estándar, porque sólo así mejorará la eficacia del accionar. Esta confianza se alcanza sólo en los casos en los cuales los estándares son públicamente conocidos, sean accesibles a todos los interesados en la evaluación, delimiten responsabilidades concretas y pasen por procedimientos periódicos de rendición de cuentas (Cassasus, 1997).
Considerando el proceso de medición en su integralidad y la necesidad de estándares, toda evaluación debe gozar de validez y confiabilidad para cumplir con los objetivos propuestos. Si en este proceso de recolección de datos y comparación se encuentran fallas, éstas viciarán la toma de decisiones derivada del análisis de la información.
Wainerman (1976) explica que la validez nos brinda información acerca de si se está midiendo aquello que se desea. Es decir, como también declaran Mayntz, Holm y Hubner et al (1969), la pregunta de la validez de un instrumento “se refiere a si mide de hecho lo que el investigador quiere medir con su ayuda” (1969: 86). Un instrumento de medición es válido cuando evalúa lo que se pretende evaluar con él. Es decir, cuando los indicadores describen el concepto teórico que se está midiendo. Por lo tanto, la validez depende de los propósitos del sujeto que evalúa, quien previamente se encarga de determinar una definición conceptual. Los instrumentos de medición no son válidos de manera absoluta porque se trata de una relación entre los objetivos del evaluador y la forma de aplicación en la construcción del instrumento.
Por otro lado, Wainerman (1976) define “confiabilidad” en la obra Escalas de medición en Ciencias Sociales como una condición necesaria pero no suficiente de una medición. Su análisis proporciona a los interesados información sobre la precisión de la medición. Thorndike (1951, en Wainerman 1976) denomina “no confiabilidad” al hecho o posibilidad que mediciones repetidas de un mismo factor en un mismo objeto de estudio no se dupliquen con exactitud. Es decir, la confiabilidad del instrumento se refiere a la exactitud de la medición y sensibilidad para la identificación de diferentes magnitudes.
A continuación se indagarán sobre posibles amenazas a la validez y confiabilidad de la medición de la calidad en posgrados durante la etapa de evaluación interna desde un triple enfoque: conceptual, epistemológico e instrumental. Mientras que los dos primeros se referirán particularmente a la definición de la variable, el tercero está más relacionado con vicios que pueden surgir en la etapa de construcción y aplicación de los instrumentos de medición para la recolección de datos.
Amenazas conceptuales a la validez y confiabilidad de la medición
Una evaluación goza de validez cuando hay una consistencia entre aquello que mide y el concepto que se está investigando. Es decir, cuando los instrumentos miden aquello que hay que medir. No obstante, para ello es necesario que el referente, en este caso la “calidad educativa”, esté claramente definido, dado que los instrumentos se basan en su construcción y aplicación en las definiciones conceptual y operacional de la variable. Consecuentemente, la claridad de esta definición operacional se dificulta si no está basada en una definición conceptual explícita. La falta de un referente claramente definido es la primera y principal amenaza a la validez del proceso de acreditación, dado que el orden conceptual de toda medición considera que la operacionalización es una traducción de la idea inicial.
En el caso del proceso de acreditación de CONEAU, el Ministerio de Educación sancionó una resolución en la cual se caracterizan los estándares generales. Pero no se ha hallado una clara definición conceptual previa a los estándares sobre la variable calidad. Sin una definición conceptual explícita, en vez de darse una traducción, el evaluado y evaluador deben recorrer el camino inverso, reconstruyendo la idea original de calidad académica a partir de las dimensiones e indicadores que tiene como dato.
En este sentido, la primera amenaza a la validez de todo proceso se origina porque cada sujeto puede elaborar una reconstrucción distinta de la idea original, dado que entran en juego en su interpretación sus propios modelos mentales y experiencias. Por lo tanto, se mirará una misma realidad pero desde posibles enfoques distintos.
El referente de calidad que toma la CONEAU se interpreta a partir de aquellos lineamientos contenidos en la Resolución Ministerial N° 160/11. Las guías contenidas en este documento legal se pueden caracterizar como un intento de operacionalización de la variable calidad, dado que indica qué aspectos se tomarán en cuenta y qué estándares generales mínimos caracterizan cada uno de dichos aspectos. Algunos estándares son exactos como la cantidad de horas mínimas a completar en doctorados, maestrías y especializaciones; la titulación mínima requerida para el cuerpo académico, o la proporción mínima de docentes con trayectoria institucional. En cambio otros estándares son más amplios y cuentan con pocas especificaciones, como la correspondencia entre los requisitos de admisión y el campo de estudio que abarca la carrera. Además, la Guía de Autoevaluación completa con comentarios los detalles sobre estos estándares mínimos. Por ejemplo, respecto al trayecto estructurado del plan de estudio, la Resolución Ministerial N° 160/11 no da muchos detalles sobre lo que se espera en tal caso, pero la Guía de Autoevaluación explicita que debe existir suficiencia y actualización de los contenidos y la bibliografía de las asignaturas, y también correspondencia entre la evaluación de las actividades curriculares y el tipo y objetivo de las mismas. Estos estándares ayudan a los evaluados en la comprensión de los parámetros de calidad que espera la CONEAU, dado que son públicamente conocidos y todos los interesados (evaluados y evaluadores) tienen acceso a ellos. No obstante, hay dimensiones sobre las que no se tiene guía alguna, tal es el ejemplo de lo que se espera sobre los requisitos de permanencia, promoción y graduación, el régimen y porcentaje máximo de equivalencias admitidas, o la fundamentación del modelo educativo en el caso de educación a distancia.
Amenazas epistemológicas a la validez y confiabilidad de la medición
Una de las amenazas al proceso de la medición surge ante la complejidad del objeto evaluado. En este caso, los programas de posgrados son un servicio ofrecido en la institución universitaria, la cual se caracteriza por su semejanza con una anarquía organizada. Es decir, en el interior de esta organización conviven diversas culturas disciplinarias que son transversales a la cultura organizacional propia del establecimiento. Cada programa de posgrado no sólo se inserta en un marco institucional general de la universidad, sino que su contexto también incluye la pertenencia a una determina unidad que aglomera una o varias disciplinas científicas. Por lo tanto, la variedad de programas evaluados incluyen determinados métodos de enseñanza y aprendizaje; su propia metodología de investigación; diversos grados de desarrollo entre las funciones de enseñanza, investigación y extensión; y responsabilidades distintas para con la sociedad. Todas estas especificidades deberían traducirse en la aplicación de estándares diferentes o con otro grado de exigencia. Por ejemplo, respecto a la trayectoria de los docentes o investigadores, en algunas disciplinas se valora más la publicación de estudios empíricos en el formato de papers (especialmente en las Ciencias Exactas) mientras que en otras ciencias es más valorada la publicación de libros o capítulos (como en algunas disciplinas de Humanidades). Otras diferencias surgen frente al recorrido en formación que tienen ciertas disciplinas (hay especialidades relativamente nuevas que no pueden contar con formación de posgrado en ese mismo área) o frente al nivel de responsabilidad que implica el reconocimiento de ese título. No obstante, la CONEAU sólo reconoce en forma general esta diferencia esencial de los programas de posgrados, pero los parámetros e instrumentos utilizados para la medición de la calidad son los mismos para todos los casos.
La CONEAU intentó subsanar este factor de invalidez en 2002 a partir de la conformación de Comisiones Asesoras, cuya misión sería definir criterios y estándares de aplicación en áreas o subáreas disciplinares específicas. Es decir, la principal tarea de estas comisiones sería realizar una lectura de la Resolución N° 1168/97 de acuerdo a las cualidades propias de cada disciplina y al grado de desarrollo de sus posgrados. Se forman entonces Comisiones Asesoras para Ciencias de la Salud, Ciencias Sociales, Ciencias Humanas, Ciencias Básicas, Ciencias Aplicadas, Educación, Psicología y Administración. Estas comisiones generan informes, pero sin continuar un mismo patrón de trabajo, por lo que algunos trabajos cuentan con mayor nivel de detalle que otros. En general, todos los informes especifican los perfiles de acreditación y los niveles esperados para cada calificación en caso de pedir categorización. Los problemas suscitados a partir de esta labor fueron, en primer lugar, que dichos informes no contaban con carácter vinculante, por lo que su aplicación quedaba a consideración del Comité de Pares y de los técnicos. Y, por otro lado, algunas de las sugerencias realizadas por las Comisiones Asesoras suponían la aplicación de estándares que contradecían a la resolución ministerial vigente. Tal es el ejemplo del dictamen de la Comisión Asesora en Administración, en la cual se establecía que para los casos de evaluación de MBA (Maestrías en Administración de Empresas) no se deberían exigir horas de investigación más allá de las dedicadas para realizar el trabajo de tesis; en el caso de maestrías profesionales el trabajo final podría diferir del formato tesis, aceptándose un examen integrador o trabajo finales; y no sería necesario la conformación de un jurado con miembros externos a la institución, aunque su inclusión podría considerarse favorable.
En resumen, a pesar que el trabajo de las Comisiones Asesoras es considerado un aporte que podría aliviar la tensión entre diferencias disciplinares y entre enfoques académicos o profesionales, la falta de vinculación y escasa difusión pública de estos documentos como material de soporte a las universidades, o a los técnicos y pares no subsanan las amenazas en el orden epistemológico.
Amenazas instrumentales a la validez y confiabilidad de la medición[5]
La acreditación, como toda evaluación, es una medición. Por lo tanto, es un proceso que requiere de reglas objetivas en su construcción y aplicación que garanticen la precisión de la información recolectada. Según Kerlinger (2002) la confiabilidad de la medición se relaciona, por un lado, con la estabilidad y fiabilidad de los datos generados: ¿diferentes mediciones con el mismo instrumento obtendrán iguales o similares resultados? Y, por otro lado, también se vincula con la falta de distorsión: ¿los datos obtenidos son medidas “verdaderas” de la propiedad sobre la que se está trabajando? En síntesis,
“una medida altamente confiable solo indica que está midiendo algo con precisión o de forma consistente” (Kerlinger, 2002: 583).
Teniendo en cuenta que el proceso de medición de la calidad de los posgrados ya está amenazado conceptualmente por la falta de una definición conceptual y operacional explícita y epistemológicamente por la inexistencia de estándares diferentes según la disciplina de la carrera, es importante también preguntarse si existen amenazas instrumentales a la validez y confiabilidad en la construcción y aplicación de los instrumentos de medición. Para ello es necesario analizar los instrumentos de medición utilizados por la CONEAU (en el caso de esta tesis, en la etapa de evaluación interna) para evaluar la calidad de los posgrados.
Esta primera etapa de la acreditación está a cargo de las propias unidades evaluadoras, las cuales deben completar una Guía de Autoevaluación y una serie de formularios que se encuentran alojados en el sistema de CONEAU (llamado Servidor Unificado). La construcción de los instrumentos de medición y elaboración de reglas para su aplicación en el proceso de acreditación está a cargo de la propia CONEAU, de acuerdo a los lineamientos de calidad que establezca el Ministerio de Educación en diálogo con el Consejo de Universidades.
A continuación se detallan algunos factores que pueden atentar contra la validez y confiabilidad de la medición desde este enfoque:
Fallas en los acontecimientos ambientales: Kerlinger (2002) afirma que la aplicación de los instrumentos de medición se debe dar siempre bajo condiciones controladas o similares. En las investigaciones en Ciencias Naturales o Exactas, las condiciones estándar implican estabilidad en las condiciones ambientales, climatológicas o físicas, por lo que se convierten en amenazas a la confiabilidad factores tales como temblores, fallas de luz, falta de espacio, etc. (Pick de Weiss, 1994). Ahora bien, ¿qué tipo de fallas ambientales se pueden dar en la evaluación de posgrados? De las entrevistas surge que el sistema de CONEAU (Servidor Unificado) no siempre funciona bien, por lo que se dan fallas en los acontecimientos ambientales que atentan contra la confiabilidad del proceso. El Entrevistado N° 1 explica que el sistema no está bien programado, por lo que el programa se cae afectando la última carga de datos que se haya subido:
“El instructivo de la CONEAU se nos cayó el día anterior a la presentación y se perdió mucha información. Se pudo recuperar el back-up, pero todo lo que habíamos cargado esa última semana se perdió”.
Este aspecto fue resaltado por la mayoría de los entrevistados e incluso la propia CONEAU lo reconoció en su autoevaluación. Por lo tanto, las fallas del sistema afectan la confiabilidad de los datos, ya que la información se pierde y hay que generarla otra vez. Se prevé que para 2015 la carga de información ya no será en este sistema, sino en un software llamado CONEAU Global, lo que implica una tarea de migración de los datos cargados en el Servidor Unificado a la web. El Entrevista N° 4 piensa que esta idea es una gran innovación para los graves inconvenientes que tenía el programa:
“Vas a poder trabajar todo en web y no vas a tener necesidad de instalar ningún soporte, entonces vas a evitar los problemas de versiones distintas, dificultades de carga, imposibilidad que varios usuarios trabajen en simultáneo.”
Cambios en los instrumentos de medición: Pick de Weiss (1994) comenta que los resultados de una investigación se pueden ver afectados si existen cambios en los instrumentos de medición o en las personas que generan la información, por lo que hay que asegurarse que no hay cambios ni en los instrumentos ni en los actores a cargo de conducir la recolección de datos. Contrario a esta recomendación metodológica, la CONEAU introduce cambios en los instrumentos de medición durante la evaluación interna, dado que van actualizando el formulario, por lo que los evaluados deben ir controlando regularmente este aspecto para asegurarse que siempre están trabajando con la última versión. Los entrevistados comentaron varias dificultades que tuvieron durante su experiencia en acreditación relacionados con los cambios en los formularios. Por ejemplo, el Entrevistado N° 2 explica que en una de las acreditaciones introdujeron a último momento nuevos anexos que ellos no llegaron a presentar. Además, el Entrevistado N° 3 explica que, cuando se introducen cambios, se crean nuevos campos y desaparece información. Incluso, éste entrevistado comenta que hay un problema de dinámica de trabajo de la propia CONEAU entre la parte técnica y la de gestión, dado que el organismo acumula información sobre los problemas, pero no tiene tiempo para mejorar el instructivo antes de lanzar la convocatoria. Por su parte, el Entrevistado N° 4 comenta que durante las acreditaciones existe una “mesa de ayuda” de CONEAU a la cual las universidades se comunican para avisar sobre problemas técnicos que puedas surgir: “Las consultas de las universidades van obligando a hacer mejoras en los formularios”, por lo que se van modificando durante el proceso mismo.
Cambios en la situación personal de los participantes al ser evaluados: Pick de Weiss (1994) identifica esta amenaza a la confiabilidad y la denomina “efectos reactivos o de interacción de prueba”, los cuales surgen cuando los sujetos evaluados reaccionan más negativa y positivamente de lo que actúan normalmente al administrar la prueba. Por lo tanto, estos sujetos dejan de ser representativos de la población. Esta amenaza a la confiabilidad se puede explicar por las características psicológicas, sociales, económicas, o físicas de los evaluados, tales como problemas personales pasajeros, fatiga, mal humor, etc. Una crítica particular que se encuadra dentro de esta amenaza es la de la monotonía que los evaluados sienten al completar los instructivos o la Guía de Autoevaluación. El Entrevistado N° 1 describe el trabajo como tedioso, dado que hay que completar información similar en diferentes lugares de los instructivos o guía, y realizar resúmenes de información ya presente. De la misma forma, el Entrevistado N° 5 afirma que uno de los aspectos más complicas del proceso de acreditación son las constantes reiteraciones y “lo poco amigable del dispositivo de carga”, el cual dificulta mucho el trabajo. Pick de Weiss recomienda que los instrumentos de recolección de datos sean interesante, para evitar este efecto,
“puesto que si es monótono o tedioso corremos el riesgo de que la fatiga y/o el aburrimiento del informante influyan en la información que nos ofrezca” (1994: 61).
Si este sentimiento persiste, se corre el peligro además de convertir a la evaluación en un mero proceso burocratizado, y no en una actividad en la que se disponga de la motivación y creatividad de los evaluados para proveer la información necesaria.
Vaguedad de los parámetros: La Resolución N° 160/11 y la Guía de Autoevaluación, documentos en los que se detallan los estándares, contienen términos vagos para explicitar qué se espera como mínimo que se cumpla en los posgrados. Algunos ejemplos son:
“En aquellas Especializaciones en las que el área a profundizar sea la práctica profesional se incluirá un fuerte componente de práctica intensiva.” (Resolución N° 160/11).
“Suficiencia y actualización de los contenidos y la bibliografía de los programas de las asignaturas.” (Guía de Autoevaluación).
“Adecuación y suficiencia de las aulas para el desarrollo de las actividades curriculares. / del equipamiento informáticos a disposición de los alumnos. / de los laboratorios para el desarrollo de las actividades curriculares.” (Guía de Autoevaluación).
“Suficiencia del fondo bibliográfico especializado disponible en bibliotecas y hemerotecas, de los servicios ofrecidos, de la capacidad del equipamiento y de las bases de datos.” (Guía de Autoevaluación).
¿Qué se entiende por “fuerte componente”, “méritos suficientes”, “adecuación y suficiencia”, entre otros? El uso de estos términos no alcanza para que evaluados o evaluadores (técnicos o pares) comprendan el criterio cuantitativo esperado por la CONEAU. Estos términos, por un lado, salvan la rigidez con la que se podrían evaluar carreras con diferencias regionales, disciplinares, institucionales o profesionales. Pero, por otro lado, tampoco se los especifica en ningún otro documento propio de cada convocatoria de acreditación. Por lo tanto, los evaluados van construyendo ellos mismos una idea de lo que se espera a través de la experiencia que adquieren en sucesivas acreditaciones o una vez que la CONEAU les hace la devolución.
El Entrevistado N° 4 cuenta incluso un asunto específico surgido en las acreditaciones de posgrados de Ciencias de la Salud. En este caso, el Ministerio de Salud sacó resoluciones sobre cómo se deberían cumplir los criterios en cada una de las carreras del área. Pero estas resoluciones salieron en medio del proceso de acreditación. La CONEAU informó estos nuevos parámetros a las universidades, pero fue en medio del proceso de acreditación y sin documentación formal. En esta situación, el Ministerio de Salud decidió colaborar con los procesos de acreditación detallando cómo aplicar los criterios, pero no se hizo con la antelación necesaria ni de manera formal.
Dificultad para comprensión del léxico: Sudman (1996) afirma que la mayoría de los problemas de comprensión que puede tener un entrevistado se dan por ambigüedades del léxico o de la estructura. Pero, mientras las ambigüedades estructurales se pueden evitar prestando atención al orden de las preguntas, las ambigüedades del léxico son propias de la naturaleza del lenguaje y muestran las múltiples definiciones que puede tener una misma palabra. Todas estas definiciones están limitadas por el contexto en el cual aparecen. Sin embargo, en el universo de las instituciones de educación superior, en el cual las organizaciones son tan complejas y disímiles entre sí, la falta de aclaración de un concepto puede derivar en varios problemas de interpretación sobre aquello que se está evaluando.
El Entrevistado N° 4 le otorga especial importancia a esta amenaza a la confiabilidad, ya que los conceptos que se utilizan no siempre se adaptan a la realidad del lenguaje de cada sistema dentro de la institución universitaria. Algunos ejemplos sobre dificultades surgidas por diferencia en la interpretación de los conceptos se dan en casos como “dedicación docente”, “convenios”, “proyectos de investigación”, etc. Además explica que las instituciones se deben adaptar a lo que CONEAU entiende por dichos conceptos, los cuales no siempre quedan claros desde el inicio, sino que los evaluados deben ir construyendo su sentido a partir de las devoluciones que reciben o consultando a los coordinadores de CONEAU. De hecho, este entrevistado concluyó que “para tener éxito, tenés que ir traduciendo lo que nosotros entendemos y lo que CONEAU entiende y espera”. En esta misma línea, el Entrevista N° 6 también expone que el problema “no es que no se entienda, sino que lo que uno entiende no es exactamente cómo lo interpreta la CONEAU.” Y este inconveniente influye a la vez en la carga de trabajo: por ejemplo, este último entrevistado explica que como no todos los docentes identifican cada una de las categorías que utiliza la CONEAU, es necesario que los responsables de la acreditación revisen todo aquellos que completaron para confirmar que hayan entendido cómo tenían que completar. De hecho, hay categorías que utiliza la CONEAU, por ejemplo de la Ficha Docente, y que son distintas o inexistentes en algunas instituciones universitarias, por lo que hay que realizar un trabajo de asimilación de conceptos.
Corengia introduce en su investigación el problema de “tecnicismo pedagógico esotérico”. Con este término se refiere a la generación de un exceso de tecnicismo desde el vocabulario (entre otros factores) que tiene efectos perversos y provoca la “pérdida de democraticidad de los procesos de evaluación y acreditación” (2010: 133). La principal consecuencia de estos problemas de lenguaje es que se forma dentro de la institución una subcultura de aquéllos que saben qué entiende la CONEAU por dichos conceptos, lo que genera un divorcio entre los procesos propios de la institución (conocido por todos los actores) y los técnicos encargados de acreditación. Este es un factor que atenta contra la confiabilidad ya que tanto unos como otros participan en la evaluación interna completando los instructivos, fichas y guía. Por lo tanto, una pregunta puede ser respondida de forma diferente según el actor. Hay que tener en cuenta que si el entrevistado se encuentra con una palabra ambigua, siempre la interpretará de acuerdo al sentido al cual ellos tengan acceso en aquel momento. Por ello es necesario incluir aclaraciones sobre la terminología utilizada.
Todos los factores mencionados atentan contra la validez y confiabilidad de la medición. Estas amenazas son producto de la inexistencia de un referente claro de la variable a medir, como así también por el uso de instrumentos iguales para medir unidades diferentes (como especializaciones, maestrías y doctorados de diferentes disciplinas). Se suman además fallas a nivel técnico en la construcción y aplicación de los instrumentos, y el consecuente efecto reactivo sobre los participantes.
Políticas top-down y bottom-up
Frente a algunas de las eventuales amenazas a la validez y confiabilidad identificadas en el proceso de medición de la calidad, ¿cómo se podría consolidar la acreditación y así cumplir su objetivo de garante de la calidad?
El proceso de acreditación está pensado en esencia a partir de métodos que combinan diversas fuentes y evaluadores, triangulando la información. Se incluye en principio un primer intento de triangulación a partir de la realización de una evaluación interna y otra externa. De esta manera, la primera se alimenta de datos que se comprueban en la segunda y permite que los propios evaluados participen como sujetos activos en la auditoría. Nicoletti (2013) define a la autoevaluación como un informe escrito que da cuenta del funcionamiento, procesos, recursos y resultados del objeto de evaluación. Para poder realizar una verdadera autoevaluación entonces se necesita no sólo la voluntad manifiesta de las máximas autoridades de la institución, sino también la participación activa de todos sus integrantes (directivos, alumnos, docentes, administrativos, graduados). Por lo tanto, la autoevaluación es en sí misma una forma de triangulación que se utiliza para
“contrastar desde diferentes perspectivas, para apreciar acuerdos y desacuerdos y elementos que permitan decidir sobre la credibilidad de la información, permitiendo eliminar el sesgo que puede suponer la utilización de una única fuente de información” (Nicoletti 2013: 190).
Este proceso de triangulación le provee mayor confiabilidad a la acreditación. No obstante, el proceso de medición ya se ha visto originalmente contaminado por la falta de conceptualización de la variable a medir. Por lo tanto, por más que exista triangulación de fuentes y de evaluadores, los conceptos originales de estos sujetos serán diferentes según la interpretación que hagan de los lineamientos que tienen sobre el concepto calidad. En síntesis, primero y ante todo es necesario saber qué se entiende por este concepto para asegurar la calidad del resto del proceso.
Además, el sistema de evaluación de la calidad en educación superior se afianzará también a medida que permita a los diferentes sujetos con intereses participar del diseño e implementación de los instrumentos de medición. Esto implicaría comenzar a introducir mayores instancias bottom-up, sin descartar que ciertas acciones tienen por sí mismas una naturaleza top-down. Es decir, la obligación que tienen todos los programas de posgrados de presentarse a los procesos de acreditación, de cuya aprobación depende su funcionamiento, es una decisión top-down exigida por el Estado para desarrollar en las instituciones progresivamente una cultura de la evaluación. No obstante, esta cultura de la evaluación sólo se consolidará si los actores con intereses participan de la política pública: los diferentes sectores académicos y administrativos de las instituciones de educación superior, las organizaciones que agrupan universidades, los consejos profesionales, entre otros. Asimismo, habría que incluir a especialistas en metodología para aportar sus conocimientos en la definición de la variable (no desde el punto de vista conceptual, sino metodológico) y en la construcción y aplicación de los instrumentos de medición.
Si no se trabaja en la acreditación evaluando el mismo proceso de implementación de la medición de la calidad, los procesos de acreditación se seguirán llevando a cabo, ya que se trata de una exigencia legal, pero sus procedimientos pueden burocratizarse, olvidando el objetivo inicial de trabajar por la mejora continua de la oferta académica.
Toda intervención sobre escenarios en los que juegan diversos actores requieren de una constante revisión sobre los instrumentos utilizados para solucionar los problemas. Trabajar con individuos, como es el caso de la educación, implica trabajar sobre escenarios dinámicos, dado que los sujetos y las organizaciones que éstos conforman cambian en forma constante. Los procesos de medición aplicados sobre estos contextos necesitan entonces de una continua evaluación para asegurar la validez y confiabilidad de los procedimientos y de los datos elaborados. En última instancia, cualquier decisión que se tome sobre la base de información mal producida pierde legitimidad.
En esta ponencia se propuso indagar sobre las eventuales amenazas a la validez y confiabilidad de la medición de la calidad en la etapa de evaluación interna de los procesos de acreditación de posgrados que realiza la CONEAU. Siguiendo este objetivo general, y a partir de un análisis documental y de entrevistas a algunos evaluados, se llegó a la conclusión de que existen factores conceptuales, epistemológicos e instrumentales que atentan contra la validez y fiabilidad de esta medición.
La inexistencia de una definición explícita de calidad académica es la primera y principal amenaza a la validez del proceso de medición, dado que la variable no cuenta con una conceptualización a partir de la cual se puedan determinar las acciones para medirla. Esto puede resultar en problemas de consistencia entre el instrumento empleado y el referente. Sólo a partir de una definición conceptual explícita es que se pueden diseñar instrumentos apropiados a los escenarios bajo análisis, permitiendo a todos los actores involucrados interpretar la realidad bajo los mismos criterios.
Pero, además de estar claramente explicitado, este referente de la variable calidad debe adaptarse a las propiedades del objeto de estudio. El referente implícito de calidad académica debe considerar entonces la disciplina y la profesión, las diferencias surgidas dentro de las universidades entre el mundo académico y el administrativo, y la influencia de actores que se encuentran fuera de la órbita de la universidad pero tienen intereses en ella. En este sentido, la implementación de los instrumentos de medición de la calidad de los posgrados debe adaptarse a las cualidades de la institución universitaria y al contexto específico que enmarca a cada institución (es decir, tendencias nacionales e internacionales). De lo contrario, hay probabilidad que surjan factores que atenten contra la validez de contenido, ya que los instrumentos de medición no estarían cubriendo toda la amplitud del referente. La CONEAU ha diseñado los mismos instrumentos de medición para todos los posgrados e instituciones por igual. En este sentido, por más que la Resolución N° 160/11 especifica que los estándares se aplicarán de forma diferenciada según ciertos factores, esta diversificación no se traduce en los instrumentos. Consecuentemente, no hay instrumentos o lineamientos diferentes según disciplina o antigüedad del programa de posgrado (si se trata de una carrera nueva o en funcionamiento). Por lo tanto, por más que el referente que se toma de calidad afirma que hay diferencias regionales, institucionales, disciplinares y profesionales, éstas mismas no se toman en consideración al momento de operacionalizar la variable.
Por otro lado, el primer factor que amenaza la posibilidad de que diversos evaluadores lleguen a conclusiones similares se encuentra en que, dado que no hay una definición explícita de calidad, cada sujeto realiza su propia interpretación de esta variable. Por lo tanto, todos estos sujetos deben conocer al menos qué se entiende por la variable a medir para que puedan llegar a conclusiones similares. Pero, más allá de las diferencias en interpretación conceptual, se identificaron otros factores que atentan contra la precisión de la medición en el plano instrumental. En el orden técnico, se encuentran amenazas a la confiabilidad en la gran cantidad de preguntas que contienen las fichas, instructivos y Guía de Autoevaluación, razón por la cual el instrumento se torna repetitivo; en la vaguedad de las preguntas realizadas, en las cuales no queda claro qué tipo de información se está solicitando; en la dificultad de utilizar el Servidor Unificado de CONEAU y los problemas tecnológicos propios del programa; o ante los cambios en los instrumentos de medición. Además existen amenazas en el orden psicológico, ya que existen fallas en los acontecimientos ambientales, como aquellas surgidas por los cambios en la situación personal de los evaluadores al ser evaluados, explicadas por la falta de dinamismo y claridad de los procesos de acreditación, entre otros.
Tanto los factores en el orden técnico como psicológico afectan la confiabilidad del proceso. Ya sea debido a las fallas en la precisión del instrumento o a los efectos reactivos que la aplicación de éstos tienen sobre los participantes, un dato mal construido redunda en conclusiones diferentes respecto a la calidad de los posgrados.
La principal idea que ha sostenido esta investigación se resume en la importancia de evaluar la implementación de las políticas públicas, dado que el dinamismo de escenarios con diversos intereses en juego rápidamente pueden viciar o desactualizar las herramientas o desviarlas de su objetivo inicial.
En un principio surgieron las acreditaciones como una forma de asegurar la calidad en el marco del incremento desmedido de programas de posgrados. En los años recorridos desde la creación de la CONEAU, el organismo se ha consolidado en su función de ente acreditador y todas las instituciones de educación superior han acatado la obligatoriedad de evaluación establecida por ley. Ahora bien, actualmente el nuevo desafío para la consolidación de este sistema se encuentra en asegurar la calidad de sus procesos de medición. Es decir, habiendo consolidado los principios que fundamentan la ley, hay que trabajar por el cumplimiento real, y no sólo formal, de los objetivos de acreditación. Y estos procedimientos ganarán mayor calidad a medida que permitan a los diferentes actores del sistema universitario, cada uno con diferentes especialidades e intereses, participar en su diseño e implementación.
En conclusión, los hallazgos de esta investigación se convierten en información que puede alimentar el proceso de acreditación para mejorar su implementación y consolidar la cultura de la evaluación tanto en la CONEAU como en las instituciones de educación superior. La disponibilidad de datos bien producidos es un material imprescindible para la toma de decisiones, por lo tanto es esencial que los procesos de medición de la calidad sean evaluados y gocen de la validez y confiabilidad necesarias para otorgar legitimidad a la política pública en cuestión.
Nicoletti, Javier Augusto (2013), “La evaluación de la calidad educativa. Investigación de base evaluativa en centros de educación superior”, en Revista Argentina de Educación Superior. Año 5, No. 6, pp. 189-202.
Pick de Waiss, Susan (1994), Cómo investigar en ciencias sociales. México, Trillas.
Ravela, Pedro (2006), “Cómo se hacen las evaluaciones educativas”, en Fichas didácticas para comprender las evaluaciones educativas. Programa de Promoción de la Reforma Educativa en América Latina y el Caribe (PREAL), Ficha No. 2.
Tamayo Sáez, Manuel (1997), “El análisis de las políticas públicas”, en Bañón R. y E. Carrillo (comps) La nueva administración públicas. Madrid, Alianza Universidad.
Argentina, Ministerio de Educación, Ciencia y Tecnología (1995), Ley N° 24521: Ley de Educación Superior.
La presente ponencia se realiza en el marco del desarrollo de una tesis de maestria en Gestión Educativa en la Universidad de San Andrés, dirigida por la Dra. Catalina Wainerman y co-dirigida por la Dra. Ángela Corengia.↵
Pontificia Universidad Católica Argentina, micelisilvina@gmail.com.↵
De acuerdo al artículo 43 de la Ley de Educación Nacional N° 24.521, las “carreras de grado de interés público” son aquéllas cuyos títulos están regulados por el Estado dado que su ejercicio compromete el interés público poniendo en riesgo la salud, la seguridad, los derechos, los bienes o la formación de los habitantes.↵
El proceso de acreditación de CONEAU incluye dos etapas diferencias: 1) Etapa interna de evaluación: llevada a cabo en las unidades académica, durante la cual las universidades deben completar una serie de formularios en el Servidor Unificado de CONEAU y una Guía de Autoevaluación; 2) Etapa externa de evaluación: se refiere al análisis de los informes de evaluación interna por parte de técnicos y la visita de pares para la evaluación del programa de posgrado.↵
A continuación se mencionan algunas de la amenazas a la validez y confiabilidad en el orden conceptual a modo de ejemplo. El apartado no es exhaustivo del análisis realizado.↵

References: resolución 
 resolución 
 Resolución 
 Resolución 
 Resolución 
 resolución 
 Resolución 
 Resolución 
 artículo 43