Source: https://www.teseopress.com/aseguramientodelacalidad/chapter/capitulo-8-analisis-de-las-amenazas-a-la-validez-y-confiabilidad-en-la-etapa-de-autoevaluacion/
Timestamp: 2020-03-31 20:13:50+00:00

Document:
Análisis de las amenazas a la validez y confiabilidad en la etapa de autoevaluación | El sistema de aseguramiento de la calidad
8 Análisis de las amenazas a la validez
y confiabilidad en la etapa de autoevaluación
El acto de acreditación de carreras de posgrado que realiza la CONEAU es un acto público mediante el cual este organismo (identificado como autoridad legal) reconoce la calidad de un programa académico de acuerdo a determinados estándares previamente establecidos. Este acto público de garantía requiere que el proceso mediante el cual se llegue a la decisión final no esté amenazado por fallas en la medición. Por lo tanto, para identificar estas posibles fallas se requiere una reflexión sobre qué elementos se fundamentan los instrumentos de medición (es decir, qué concepto de calidad toma como referente), qué herramientas utiliza, e, incluso, bajo qué procedimientos se aplican estos instrumentos. Es decir, este acto público solo cumplirá su verdadero objetivo de garantía de calidad si el dato utilizado para llegar a la conclusión y su posterior análisis gozan de validez y confiabilidad. El proceso de recolección de información para la construcción de este dato incluye una primera etapa en la que se defina la variable a medir y sus dimensiones, continúa una segunda etapa en la que se construye el instrumento de medición que se aplicará a las unidades de análisis de acuerdo a las dimensiones previamente definidas, y finalmente se aplicarán esos instrumentos para recolectar efectivamente el dato. Esta recolección no se realiza al azar, sino que se trata de un proceso que está determinado por reglas claras de medición. Este dato luego es comparado con el concepto inicial de la variable (los estándares) para llegar a una conclusión.
En estas etapas pueden surgir amenazas a la validez y confiabilidad, que afectarán la construcción del dato que se utilizará para garantizar la calidad de un programa. Un dato con fallas en la construcción contamina la garantía de calidad que provee la acreditación y el consecuente reconocimiento social de tal acto público. Estas amenazas pueden surgir en dos órdenes distintos:
Orden conceptual: se trata de las amenazas surgidas ante la falta de una definición conceptual y operacional de la variable que incluya a todo el universo de carreras evaluadas.
Orden instrumental: se trata de las amenazas surgidas ante errores técnicos en la construcción y aplicación de los instrumentos de medición.
A continuación, se desarrollarán estos dos órdenes de amenazas a la validez y confiabilidad de acuerdo al análisis documental de los instrumentos de medición de la etapa de autoevaluación en la acreditación de posgrados, y a entrevistas realizadas a profesionales pertenecientes a instituciones de educación superior que participaron de procesos de acreditación.
8.1. Amenazas a la validez y confiabilidad de la medición en el orden conceptual
Una evaluación goza de validez cuando hay una consistencia entre aquello que mide y el concepto que se está investigando. Es decir, cuando los instrumentos miden aquello que hay que medir. No obstante, para ello es necesario que el referente, en este caso la “calidad educativa”, esté claramente definido, dado que los instrumentos se basan en su construcción y aplicación en las definiciones conceptual y operacional de la variable. Consecuentemente, la claridad de la definición operacional se dificulta si no está basada en una definición conceptual explícita. La falta de un referente claramente definido es la primera y principal amenaza a la validez del proceso de acreditación, dado que el orden conceptual de toda medición considera que la operacionalización es una traducción de la idea inicial. La figura 4 muestra que la idea original de una variable multidimensional debe ser traducida a través de indicadores y estándares claros que permitan reconocer su presencia o ausencia en el objeto evaluado.
Figura 4. Esquema de traducción del referente
En el caso del proceso de acreditación de CONEAU, el Ministerio de Educación sancionó una resolución en la cual se caracterizan los estándares generales. Pero no se ha hallado una clara definición conceptual previa a los estándares de la variable calidad. Sin una definición conceptual explícita, en vez de darse una traducción, el evaluado y evaluador deben recorrer el camino inverso, reconstruyendo la idea original de calidad académica a partir de las dimensiones e indicadores que tienen como dato. La figura 5 sintetiza el camino inverso que se realiza para entender el concepto de calidad, al no tener en principio un referente definido.
Figura 5. Esquema de reconstrucción de la idea original
En este sentido, la primera amenaza a la validez de todo proceso se origina porque cada sujeto puede elaborar una reconstrucción distinta de la idea original, dado que entran en juego en su interpretación sus propios modelos mentales y experiencias. Por lo tanto, se mirará una misma realidad, pero desde posibles enfoques distintos.
El referente de calidad que toma la CONEAU se puede reconstruir a partir de los lineamientos contenidos en la RM 160/11. Las guías contenidas en este documento legal se pueden caracterizar como un intento de conceptualización y operacionalización de la variable calidad, dado que indican qué aspectos se tomarán en cuenta y qué estándares generales mínimos caracterizan cada uno de dichos aspectos. Algunos estándares son exactos, como la cantidad de horas mínimas a completar en doctorados, maestrías y especializaciones; la titulación mínima requerida para el cuerpo académico, o la proporción mínima de docentes con trayectoria institucional. En cambio, otros estándares son más amplios y cuentan con pocas especificaciones, como la correspondencia entre los requisitos de admisión y el campo de estudio que abarca la carrera. Además, la Guía de Autoevaluación completa con comentarios los detalles sobre estos estándares mínimos. Por ejemplo, respecto al trayecto estructurado del plan de estudio, la RM 160/11 no da muchos detalles sobre lo que se espera en tal caso, pero la Guía de Autoevaluación explicita que debe existir suficiencia y actualización de los contenidos y la bibliografía de las asignaturas, y también correspondencia entre la evaluación de las actividades curriculares y el tipo y objetivo de las mismas. Estos estándares ayudan a los evaluados en la comprensión de los parámetros de calidad que espera la CONEAU, dado que son públicamente conocidos y todos los interesados (evaluados y evaluadores) tienen acceso a ellos. No obstante, hay dimensiones sobre las que no hay guía alguna, tal es el caso de lo que se espera sobre los requisitos de permanencia, promoción y graduación; el régimen y porcentaje máximo de equivalencias admitidas; las características de los cursos u otras actividades académicas de nivelación; la sustentabilidad académica de la carrera respecto a la dimensión de infraestructura, equipamiento y recursos financieros; o la fundamentación del modelo educativo en el caso de educación a distancia; entre otros.
Muchas de estas amenazas, como la falta de una definición conceptual de la variable o la falta de precisión en la definición operacional en los estándares, ya estaban presentes en la primera RM 1168/97. Durante los años transcurridos bajo la vigencia de esta resolución, los actores involucrados fueron identificando estas dificultades y debatiendo la necesidad de superarlas en una próxima resolución ministerial. En este sentido, se pueden identificar algunas innovaciones introducidas en la nueva resolución de 2011 respecto al documento de 1997, y que han ayudado a delimitar con más precisión el término calidad. Uno de los principales cambios se da en la distinción entre maestrías académicas y profesionales. Esta innovación fue necesaria considerarla al analizar los cambios que se estaban dando dentro del sistema de posgrados en Argentina desde 1997. Fliguer (2013) explica que se ha dado una tendencia a la disminución de posgrados de investigación (principalmente doctorados), acompañada de un giro profesional de la oferta que se tradujo en el incremento de las especializaciones y maestrías destinadas a formar profesionales que trabajan fuera del sistema universitario.
Otra de las novedades de la RM 160/11 es la inclusión de dimensiones e indicadores para las carreras dictadas a distancia. La RM 1168/97 tenía un alcance limitado solo a carreras presenciales, tal como se especifica en el texto legal: “Se deja constancia que las pautas fijadas precedentemente refieren exclusivamente a la modalidad presencial, difiriéndose el tratamiento de las pautas para la modalidad no presencial o a distancia para cuando se cuente con la reglamentación pertinente… ”. Esta limitación fue subsanada parcialmente hasta 2011 con legislación complementaria, como la Resolución Ministerial N.º 1717/04, en la cual es establecen algunas reglamentaciones para posgrados dictados a distancia.
Así y todo, a pesar de que los debates anteriores a la sanción de la resolución se explayaron en varios temas a mejorar, aún subsisten algunas lagunas que dificultan el conocimiento preciso sobre qué se entiende por calidad en general y sobre las diferencias en los parámetros que se solicitan para carreras distintas. En un futuro cercano se deberá reflexionar sobre estas cuestiones, algunas de las cuales se mencionan a continuación:
Falta de distinción en la manera de aplicar los estándares para carreras nuevas y para carreras en funcionamiento
La RM 160/11 diferencia entre carreras nuevas (son aquellas que aún no han sido puestas en práctica y no cuentan con alumnos) y carreras en funcionamiento (son aquellas que estando en funcionamiento se presenten a las convocatorias que realiza la CONEAU). Las carreras en funcionamiento pueden contar o no con egresados. En la RM 1168/97 se diferenciaba entre carreras en funcionamiento, tengan o no egresados, y en proyectos de carreras. Por lo tanto, las carreras que actualmente se denominan “nuevas” eran llamadas “proyectos” antes de la RM 160/11.
De acuerdo a la RM 160/11, los estándares se considerarán de forma diferenciada “según se trate de una carrera nueva o de una carrera en funcionamiento, primera acreditación o sucesivas…”. En la RM 1168/97 no se hacía mención a esta diferenciación, sino que se aclaraba solamente que los estándares debían interpretarse teniendo en cuenta que se trataba de parámetros mínimo y que debían “respetarse los principios de libertad de enseñanza y aprendizaje”.
A pesar de que la RM 160/11 hace una mención sobre la diferenciación de interpretación de estándares entre carreras nuevas y en funcionamiento, los hechos muestras que solo la propia experiencia adquirida en sucesivas acreditaciones por los participantes va estableciendo la diferencia de estándares entre estos dos tipos de carreras, pero sin explicitarlas con anterioridad a la evaluación. Es decir, el estándar se termina definiendo durante o después del proceso de acreditación en respuesta a consultas realizadas por los evaluados, pero no se define claramente con anterioridad.
Solo en el requisito sobre titulación máxima requerida por autoridades y cuerpo docente se hace una mención a esta diferencia. En la RM 1168/97 se establece: “En casos excepcionales, la ausencia de estudios de posgrado podrá reemplazarse con una formación equivalente demostrada por sus trayectorias como profesionales, docentes o investigadores”. Esta excepcionalidad se aplicaría con diferente grado de flexibilidad al comienzo del proceso de acreditación para que las universidades gradualmente vayan conformando el cuerpo docente de acuerdo a lo requerido por el sistema. De manera similar, en la RM 160/11 se menciona, por un lado, que “excepcionalmente, cuando se tratara de posgrados referidos a áreas sin tradición académica de posgraduación, se permitirá un director con menos antecedentes de titulación, caso en el cual el currículum vitae del nombrado ameritaría la excepcionalidad”. Y, por otro lado, también se especifica que el cuerpo docente debe poseer un título equivalente al ofrecido por la carrera “o, si el caso lo amerite, una formación equivalente demostrada por sus trayectorias como profesionales, docentes o investigadores (de acuerdo a las características de las carreras)”. No obstante, a pesar de que se hace referencia a esta excepcionalidad, los entrevistados mencionan el cumplimiento de este requisito como una dificultad cuando se trata de carreras pertenecientes a disciplinas con una trayectoria más práctica. El Entrevistado N.º 1 reconoce que uno de los problemas más importantes con los que él se encontró al acreditar su posgrado fue que era uno de los primeros en Argentina, y los que ya estaban en funcionamiento no tenían muchos graduados, por lo tanto no era posible responder a la exigencia de poseer docentes con un determinado nivel de formación en especialidades que no tienen desarrollo de posgrado. Ahora bien, dado que el estándar mínimo de la RM 160/11 además no establece que esta máxima titulación deba ser en la especialidad del posgrado, entonces el Entrevistado N.º 2 dice que una manera de cumplir con este requisito es nombrando en los cargos directivos a profesionales con posgrados en otras disciplinas. Sin embargo, el problema es que los profesionales que realmente saben sobre la especialidad pero no tienen posgrados no pueden acceder a los puestos de dirección.
En conclusión, a pesar que la RM 160/11 menciona que se harán diferencias entre carreras nuevas y en funcionamiento, al no estar claramente especificadas esas diferencias, en la práctica la excepción a ciertos estándares mínimos no se respeta.
Falta de estándares diferenciados en diversos grados de exigencia para cada calificación cuando hay pedido de categorización
En la RM 1168/97 no se hace ninguna referencia a los pedidos de categorización que pueden realizar las universidades voluntariamente, salvo al describir la etapa de reconsideración: “el resultado de la reconsideración agotará la vía administrativa y solo puede aumentar o conservar la acreditación y categorización obtenida previamente”. Esta es la única referencia que se realiza. En cambio, la RM 160/11 menciona las categorías explícitamente y establece que en un futuro se especificará qué se espera de cada posgrado para alcanzar una A, B o C en caso de solicitud de categorización. En la realidad esos parámetros aún no han sido definidos, por lo que los requisitos se vuelven arbitrarios y quedan a consideración de los evaluadores. El texto legal solo especifica que las carreras que quieran categorización deberán cumplir con los criterios y estándares genéricos que allí se describen y alcanzar los perfiles de calidad específicos que establezca el Consejo de Universidades. Estos perfiles son los que aún no han sido debatidos y decididos.
En la página web de CONEAU, y de acuerdo a la Ordenanza 59/13, en la sección sobre los resultados posibles de acreditación de posgrados, solo se menciona que los niveles de categorización para las carreras en funcionamiento con ciclo de dictado completo se dividen en A (son consideradas excelentes), B (son consideradas muy buenas) y C (son consideradas buenas). En el caso de carreras que aún no finalizaron el ciclo completo de dictado ni cuentan con egresados, la división en categorías es la misma, solo que se agrega la identificación “n” luego de la calificación (An, Bn, Cn). Las carreras nuevas no se categorizan, pero esta limitación no figura ni la RM 160/11 ni se realiza ninguna mención en la Ordenanza 56/10.
Más allá de estas especificaciones generales, no se agrega mayor información sobre los estándares máximos exactos de excelencia. Por lo tanto, al no estar explícitamente definidas las diferencias entre categorías, el Entrevistado N.º 1 declara que se vuelve muy arbitrario el proceso de categorización e incluso mencionó una experiencia personal en la que se recibió una calificación sin fundamentación: “Nosotros tuvimos carreras que, sin ninguna observación, obtuvieron la categoría C, sin ni siquiera tener vista. Se recusó la categoría y le dieron la B”.
Inconsistencias dentro del mismo texto legal
El propio texto del Anexo de la RM 160/11 contiene contradicciones y repeticiones, lo que produce problemas de interpretación tanto para evaluados como evaluadores. Un ejemplo se da en el caso del trabajo final requerido como estándar mínimo para cada tipo de posgrado. Este tema se repite en diferentes partes del Anexo de la Resolución. En primer lugar, figura al describir los tipos de carrera en el “Título II: Caracterización general de estándares”. Allí se especifica que los alumnos de las maestrías académicas deberán presentar una tesis, y en las maestrías profesionales se detalla que “es un proyecto, un estudio de casos, una obra, una tesis, una producción artística o trabajos similares que dan cuenta de una aplicación innovada o producción personal…”. También en el “Título II: Caracterización General de estándares”, el punto 8 se explaya sobre la Evaluación Final. En ese punto se explica que la decisión respecto a qué tipo de trabajo final se propone deberá tener relación con los objetivos y el perfil específico de la carrera. No queda claro, en el caso de maestrías profesionales, si la opción de elegir el tipo de trabajo final la tienen las carreras o los alumnos. De hecho, en ese mismo punto se especifica que “Las Carreras de Maestría de tipo Profesional culminan con un trabajo final, individual y total o parcialmente escrito que podrá adquirir formato de proyecto, obra, estudio de casos, ensayo, informe de trabajo de campo u otras …”, es decir son varias las opciones válidas. Este punto despierta aún más dudas cuando se completa el instructivo en el sistema, en el cual la carrera solo tiene posibilidad de elegir un solo tipo de trabajo, es decir una sola opción (como se muestra en la Figura 6). Es decir, que, aunque se admite en el enunciado del ítem la variedad de respuestas conviviendo legítimamente, el instrumento de recolección de información obliga a quien lo responde a violentar la realidad informando que solo se puede elegir un solo tipo de trabajo final. Además, en el instrumento de relación de datos no se requiere justificación de la decisión, a pesar de que en la Resolución sí se la solicita como puede leerse a continuación: “La decisión respecto a qué tipo de trabajo final se propone, será fundamentada a partir de los objetivos y el perfil específico de la carrera”.
Figura 6. Captura de pantalla sobre trabajo final en la PC (punto 3.9)
Fuente: Instructivo Presentación por Carrera en el Servidor Unificado.
Falta de consideración sobre aspectos epistemológicos relacionados con la disciplina de cada carrera universitaria
Una de las amenazas al proceso de la medición surge ante la complejidad del objeto evaluado. En este caso, los programas de posgrados son un servicio ofrecido en la institución universitaria, que se caracteriza por su semejanza con una anarquía organizada, tal la describe Clark (1983). Es decir, en el interior de esta organización conviven diversas culturas disciplinarias que son transversales a la cultura organizacional propia del establecimiento. Cada programa de posgrado no solo se inserta en un marco institucional general de la universidad, sino que su contexto también incluye la pertenencia a una determina unidad que aglomera una o varias disciplinas científicas. Por lo tanto, los programas evaluados incluyen variados métodos de enseñanza y aprendizaje; variadas metodologías de investigación; variados grados de desarrollo en las funciones de enseñanza, investigación y extensión; y responsabilidades variadas para con la sociedad. Todas estas especificidades deberían traducirse en la aplicación de estándares diferentes o con otro grado de exigencia. Por ejemplo, respecto a la trayectoria de los docentes o investigadores, en algunas disciplinas se valora más la publicación de estudios empíricos en el formato de papers (especialmente en las Ciencias Exactas, caso prototípico, Matemáticas) mientras que en otras ciencias es más valorada la publicación de libros o capítulos (como en algunas disciplinas de Humanidades, caso prototípico, Historia). Otras diferencias surgen frente al recorrido en formación de posgrado con titulación académica que tienen ciertas disciplinas (hay especialidades relativamente nuevas que no cuentan con trayectoria en la formación de posgrado) o frente al nivel de responsabilidad social que implica el reconocimiento de ese título (es decir, aquellas carreras vinculadas al artículo 43° de la Ley 24.521 cuyo “ejercicio pudiera comprometer el interés público poniendo en riesgo de modo directo la salud, la seguridad, los derechos, los bienes o la formación de los habitantes”). No obstante, se reconoce en forma general esta diferencia esencial de los programas de posgrados en dos partes de la RM 160/11: por un lado, en la introducción del Anexo de la Resolución, se especifica que los estándares y criterios propuestos “deberán aplicarse en un marco amplio y flexible que posibilite la consideración de las diferencias regionales, institucionales, disciplinares y profesionales…”; y, por otro lado, en el “Título II: Caracterización general de estándares”, cuando afirma que los estándares serán considerados en forma diferenciada en su amplitud “según se trate de una carrera nueva o una carrera en funcionamiento, primera acreditación o sucesivas y/o posgrados que se vinculen con carreras de grado incluidas en el artículo 43° de la Ley N.º 24.521 o no”. Pero los parámetros e instrumentos utilizados para la medición de la calidad son los mismos para todos los casos. Nuevamente el instrumento de recolección de información violenta la realidad al tratarla como homogénea cuando es heterogénea y, al hacerlo, promueve respuestas inválidas.
El Entrevistado N.° 1 alude a esta falta de consideración cuando afirma que no se puede mirar con el mismo nivel de exigencia a los posgrados que tienen título habilitante, como los de Medicina, de los que solo se proponen profundizar en conocimiento sin un inmediato impacto en la práctica. La excepción está contemplada en la RM 160/11 cuando establece que los estándares serán considerados de forma diferenciada en el caso de posgrados que se vinculen con las carreras de grado incluidas en el artículo 43° de la Ley N.° 24.521, que son aquellas que comprometen el interés público.[1] Pero estas diferencias no están explicitadas.
Por otro lado, el Entrevistado N.° 4 también expone una dificultad que surgirá frente a la acreditación de carreras con orientación profesional. El caso que mencionó es el de las acreditaciones de carreras de Derecho, las cuales están contempladas en el área de Ciencias Sociales. Estas carreras son profesionales, por lo que se requiere que tengan una fuerte formación práctica. Ahora bien, el entrevistado se pregunta cómo entenderá la CONEAU esta formación práctica, ¿se trata de carreras que contengan metodología de estudio de casos, trabajo en el aula, role playing? “Todo eso es lo que CONEAU va a ir puliendo ahora, porque es la primera vez que le va a tocar un grupo de posgrados que pertenecen a un área que supuestamente es práctica, porque es el Derecho, pero que los mismos abogados no consideran que sea práctica porque es parte del ejercicio jurídico”. Concluye entonces que todas estas cuestiones se terminarán de comprender cuando la CONEAU haga la devolución.
Ya en los debates en torno a la RM 1168/97 se identificó esta cuestión disciplinar como un problema para la claridad de los estándares de evaluación. Sin embargo, hubo un intento para subsanarla. En 2002 la CONEAU conformó Comisiones Asesoras, cuya misión fue definir criterios y estándares de aplicación en áreas o subáreas disciplinares específicas. Es decir, la principal tarea de estas comisiones fue realizar una lectura de la RM 1168/97 de acuerdo a las cualidades propias de cada disciplina y al grado de desarrollo de sus posgrados. Se forman entonces Comisiones Asesoras para Ciencias de la Salud, Ciencias Sociales, Ciencias Humanas, Ciencias Básicas, Ciencias Aplicadas, Educación, Psicología y Administración. Estas comisiones generaron informes, pero sin seguir un mismo patrón de trabajo, por lo que algunos informes cuentan con mayor nivel de detalle que otros. En general, todos los informes especifican los perfiles de acreditación y los niveles esperados para cada calificación en caso de pedir categorización. Los problemas suscitados a partir de esta labor fueron, en primer lugar, que dichos informes no contaban con carácter vinculante, por lo que su aplicación quedaba a consideración del Comité de Pares y de los técnicos. Y, por otro lado, algunas de las sugerencias realizadas por las Comisiones Asesoras suponían la aplicación de estándares que contradecían a la resolución ministerial vigente. Tal es el ejemplo del dictamen de la Comisión Asesora en Administración, que establecía que para los casos de evaluación de MBA (Maestrías en Administración de Empresas) no se deberían exigir horas de investigación más allá de las dedicadas para realizar el trabajo de tesis; en el caso de maestrías profesionales el trabajo final podría diferir del formato tesis, aceptándose un examen integrador o trabajo final; y no sería necesario la conformación de un jurado con miembros externos a la institución, aunque su inclusión podría considerarse favorable.
En resumen, a pesar de que el trabajo de las Comisiones Asesoras es considerado un aporte que podría aliviar la tensión originada en el no reconocimiento de las diferencias disciplinares y de enfoques académicos o profesionales, la falta de un carácter vinculante de los documentos, sumado a su escasa difusión pública y consecuentemente al desconocimiento de este material como soporte de las universidades, de los técnicos y de los pares evaluadores alimentan las amenazas desde una dimensión epistemológica.
Todas estas lagunas existentes para definir la variable calidad atentan contra la validez y confiabilidad en el orden conceptual del proceso de acreditación, ya que dan lugar a la posibilidad de diferencias en las interpretaciones que los actores hacen sobre el referente. La recolección de información a través de diferentes instrumentos de medición se realiza entonces sin parámetros claros en algunas dimensiones, lo que genera una doble amenaza: que los responsables de los programas evaluados adopten una actitud de desconfianza en el operativo, y en consecuencia que incluyan información al azar, sin saber exactamente cómo se la interpretará, y que los evaluadores carezcan de guías para interpretar los datos y llegar a conclusiones válidas y confiables. Por lo tanto, el proceso de acreditación que realiza la CONEAU requiere de mayor claridad al explicitar las bases sobre las que se analizarán los datos recolectados.
8.2. Amenazas a la validez y confiabilidad de la medición en el orden instrumental
Como ya definimos, la acreditación, como toda evaluación, es una medición. Por lo tanto, es un proceso que requiere de reglas objetivas en su construcción y aplicación que garanticen la precisión de la información recolectada. Según Kerlinger (2002) la confiabilidad de la medición se relaciona, por un lado, con la estabilidad y fiabilidad de los datos generados: ¿diferentes mediciones con el mismo instrumento obtendrán iguales o similares resultados? Y, por otro lado, también se vincula con la falta de distorsión: ¿los datos obtenidos son medidas “verdaderas” de la propiedad sobre la que se está trabajando? En síntesis, “una medida altamente confiable solo indica que está midiendo algo con precisión o de forma consistente” (Kerlinger, 2002: 583).
Teniendo en cuenta que el proceso de medición de la calidad de los posgrados ya está amenazado conceptualmente por la falta de una definición conceptual y operacional explícita, y epistemológicamente por la inexistencia de estándares diferentes según la disciplina de la carrera, es importante también preguntarse si existen amenazas a la validez y confiabilidad en la construcción y en la aplicación de los instrumentos de medición. Para ello es necesario analizar los instrumentos de medición utilizados por la CONEAU (en el caso de esta investigación, en la etapa de autoevaluación) para evaluar la calidad de los posgrados.
Esta primera etapa de la acreditación está a cargo de las propias unidades evaluadoras, las cuales deben completar una Guía de Autoevaluación y una serie de formularios que anteriormente se encontraban alojados en el sistema de CONEAU (llamado Servidor Unificado) y actualmente se completan vía web en CONEAU Global[2]. La construcción de los instrumentos de medición y elaboración de reglas para su aplicación en el proceso de acreditación está a cargo de la propia CONEAU, de acuerdo a los lineamientos de calidad que establezca el Ministerio de Educación en diálogo con el Consejo de Universidades.
A continuación, se detallan algunos factores que pueden atentar contra la validez y confiabilidad de la medición desde este enfoque:
Fallas en los acontecimientos ambientales
Kerlinger (2002) afirma que la aplicación de los instrumentos de medición se debe dar siempre bajo condiciones controladas o similares. En las investigaciones en Ciencias Naturales o Exactas, las condiciones estándar implican estabilidad en las condiciones ambientales, climatológicas o físicas, por lo que se convierten en amenazas a la confiabilidad factores tales como temblores, fallas de luz, falta de espacio, etc. (Pick de Weiss, 1994). Ahora bien, ¿qué tipo de fallas ambientales se pueden dar en la evaluación de posgrados? De las entrevistas surge que el sistema de CONEAU[3] no siempre funcionaba bien, por lo que se dan fallas tecnológicas en los acontecimientos ambientales y que ellos atentan contra la confiabilidad del proceso. El Entrevistado N.º 1 explica que el sistema no está bien programado, por lo que el programa “se cae” afectando la última carga de datos que se haya subido: “El instructivo de la CONEAU se nos cayó el día anterior a la presentación y se perdió mucha información. Se pudo recuperar el back–up, pero todo lo que habíamos cargado esa última semana se perdió”. Este aspecto fue resaltado por la mayoría de los entrevistados e incluso la propia CONEAU lo reconoció en su autoevaluación. Por lo tanto, las fallas del sistema afectan la confiabilidad de los datos, ya que la información se pierde y hay que generarla otra vez. El Entrevistado N.º 5 también afirmó que tuvo muchos problemas al momento de la carga de la información, e incluso comentó que en algunas ocasiones trabajaban generando toda la información primero en un documento respaldatorio y luego se abocaban a la carga de todo, con la seguridad de que la información quedaba cerrada en un documento madre.
A partir de 2015 la carga de información ya no fue en el sistema que estaba en uso, sino a través de CONEAU Global. El Entrevistado N.º 4 opina que es una gran innovación para solucionar los graves inconvenientes que tenía el programa: “Vas a poder trabajar todo en web y no vas a tener necesidad de instalar ningún soporte, entonces vas a evitar los problemas de versiones distintas, dificultades de carga, imposibilidad que varios usuarios trabajen en simultáneo”.
Cambios en los instrumentos de medición
Pick de Weiss (1994) comenta que los resultados de una investigación se pueden ver afectados si existen cambios en los instrumentos de medición o en las personas que generan la información, por lo que hay que asegurarse que no haya cambios ni en los instrumentos ni en los actores a cargo de conducir la recolección de datos. Contrariamente a esta recomendación metodológica, la CONEAU introduce cambios en los instrumentos de medición durante la autoevaluación, dado que van actualizando el formulario, por lo que los evaluados deben ir controlando regularmente este aspecto para asegurarse que siempre están trabajando con la última versión. Los entrevistados comentaron varias dificultades que tuvieron durante su experiencia en acreditación relacionados con los cambios en los formularios. Por ejemplo, el Entrevistado N.º 2 informa que en una de las acreditaciones introdujeron a último momento nuevos anexos que ellos no llegaron a presentar. Además, el Entrevistado N.º 3 añade que, cuando se introducen cambios, se crean nuevos campos y desaparece información. Incluso, este entrevistado comenta que hay un problema de dinámica de trabajo de la propia CONEAU entre la parte técnica y la de gestión, dado que el organismo acumula información sobre los problemas, pero no tiene tiempo para mejorar el instructivo antes de lanzar la convocatoria. Por su parte, el Entrevistado N.º 4 comenta que durante las acreditaciones existe una “mesa de ayuda” de CONEAU con la cual las universidades se comunican para avisar sobre problemas técnicos que puedan surgir: “Las consultas de las universidades van obligando a hacer mejoras en los formularios”, por lo que se van modificando durante el proceso mismo.
Cambios en la situación personal de los participantes al ser evaluados
Pick de Weiss (1994) identifica esta amenaza a la confiabilidad y la denomina “efectos reactivos o de interacción de prueba”, los cuales surgen cuando los sujetos evaluados reaccionan circunstancialmente de una manera más negativa o positiva de lo que actúan normalmente al administrar la prueba. Por lo tanto, estos sujetos dejan de ser representativos de la población. Esta amenaza a la confiabilidad se puede explicar por las características psicológicas, sociales, económicas, o físicas de los evaluados, tales como problemas personales pasajeros, fatiga, mal humor, etc.
Una crítica particular que se encuadra dentro de esta amenaza es la de la monotonía que los evaluados sienten al completar los instructivos o la Guía de Autoevaluación. El Entrevistado N.º 1 describe el trabajo como tedioso, dado que hay que completar información similar en diferentes lugares de los instructivos o guía y realizar resúmenes de información ya realizados en lugares anteriores. Así, el Entrevistado N.º 5 afirma que uno de los aspectos más complicados del proceso de acreditación son las constantes reiteraciones y “lo poco amigable del dispositivo de carga”, el cual dificulta mucho el trabajo. Pick de Weiss recomienda que los instrumentos de recolección de datos sean interesantes, para evitar este efecto, “puesto que si es monótono o tedioso corremos el riesgo de que la fatiga y/o el aburrimiento del informante influyan en la información que nos ofrezca” (1994: 61). Si este sentimiento persiste, se corre el peligro además de convertir a la evaluación en un mero proceso burocratizado, y no en una actividad en la que se disponga de la motivación y creatividad de los evaluados para proveer la información necesaria.
Ausencia de instrucciones claras sobre el proceso de medición
Kerlinger (2002) afirma que la especificación de instrucciones claras sobre la naturaleza de los instrumentos de medición y su forma de aplicación tiende a reducir las posibilidades de errores. Es decir, en la etapa de evaluación interna durante la cual los evaluados tienen que llenar instrumentos autoadministrados es indispensable que sean auto explicativos dado que, como comenta Pick de Weiss (1994), no siempre existe contacto entre el investigador y los informantes.
En este aspecto, la CONEAU provee algunas instrucciones generales en la Nota Técnica que abre cada convocatoria y en el Taller de Capacitación de asistencia voluntaria, no obligatoria, que provee a los evaluados[4]. Por otro lado, los instructivos cuentan también con algunas especificaciones sobre qué entiende el organismo por ciertos conceptos. Por ejemplo, en la ficha de actividad curricular se detalla qué se entiende por los diferentes tipos de “actividad curricular” en el punto 3.1.1, como muestra la figura 7:
Figura 7. Captura de pantalla sobre las actividades curriculares en la PC (punto 3.1.1)
Más allá de estos breves lineamientos que provee el organismo, los instructivos a menudo no proveen información suficiente para aclarar dudas sobre la forma de completarlo o para interpretar qué tipo de información se espera en algunas secciones. Para mencionar algunos ejemplos, en el punto 2.2 de la PC, se solicita que se especifique la función del órgano que actúa como comité académico, y las actividades que lleva a cabo. Por un lado, es confusa la diferencia entre las funciones y las actividades. Y por otro lado en las actividades se solicita, como muestra la figura 8, que se indique la periodicidad de las reuniones, las acciones realizadas y los resultados obtenidos. Por lo tanto, la información a completar ya no se refiere solamente a la categoría “actividades”, es decir, dentro de un mismo concepto se están incluyendo múltiples datos a informar. Este inconveniente representa una amenaza técnica, ya que en el instrumento no se proveen especificaciones claras sobre la información que se solicita.
Figura 8. Captura de pantalla sobre comité académico en la PC (punto 2.2.2)
Por otro lado, la falta de distinción en las fichas académicas para profesores o para responsables en la gestión dan lugar a otros inconvenientes, que los evaluados no siempre saben cómo resolver. Por ejemplo, en el punto 2 de la PC se pide completar datos sobre la “Dirección, comité académico y funcionamiento de la carrera”. Se solicita en los puntos 2.1 y 2.2 que se complete una ficha docente por cada uno de los encargados de la gestión (ya sea Director, Coordinador, Comité Académico, etc.), y que se señale en la ficha dicha función en el punto sobre vinculación con la carrera. No obstante, ¿qué sucede cuando una misma persona se desempeña en una función de gestión y además dicta algunas horas de clase? El instructivo no lo contempla y, en consecuencia, no da lugar a detallar las verdaderas funciones que cumplen las personas y promueve información inválida. El Entrevistado N.º 3 contó sobre una dificultad específica que encontraron en la acreditación de su posgrado al tener profesionales que se desempeñaban de forma permanente en un cargo de gestión en el Consejo Académico, pero que también eran invitados a dictar algunos seminarios: ¿se trata de profesores estables o invitados? Son estables en su función de gestión e invitados en su función docente. Si se consignara en relación al vínculo con la carrera que eran invitados, no podían ser parte del consejo académico. Pero si ponían que eran permanentes, en la ficha figuraba un error porque al describir sus nombramientos docentes, la mayor cantidad de horas docentes las tenían en otra universidad. El sistema no permitía entonces resolver esta disyuntiva.
En la Ficha Docente también se encuentran otros errores que las unidades académicas dudan sobre la forma de resolverlos, dado que han sido observados en las vistas por problemas de interpretación “del dato medido”. Por un lado, la figura 9 muestra el punto 4.1, que resume los datos de la nómina de docentes estables e invitados de la carrera a partir de los datos consignados en las fichas docentes.
Figura 9. Captura de pantalla de la nómina y cantidad de docentes de la carrera en la PC
No obstante, el cuadro no diferencia entre horas de dedicación como docente o como parte de algún órgano de gestión. Por lo tanto, un directivo que es parte del plantel estable puede figurar con menos horas de dedicación que un profesor invitado, dado que no se toman en cuenta las horas de dedicación a la dirección del programa. Además, considerando que la unidad de medición de “dedicación” se expresa en horas por semana, no hay forma de explicar que hay profesores invitados que dictan seminarios intensivos y profesores permanentes que tienen una carga horaria distribuida durante todo el año. Por esta razón, un profesor invitado que dicta un seminario intensivo tiene de hecho más horas por semana, pero menos semanas dedicadas a la función docente en la carrera (por ejemplo, si dicta un seminario de 4 horas todos los días durante una semana, el dato a consignar sería de 20 horas por semana, pero no hay lugar para especificar que se trata solo de una semana al año). En cambio, un profesor permanente que dicta 4 horas por semana durante un semestre parecería que tuviera menos dedicación que el profesor invitado. Surge acá un error en la unidad de medición seleccionada. El Entrevistado N.º 3 asegura que “los datos sobre cuerpo docente son difíciles de explicar y están mal tomados, porque están mal producidos”. El sistema no toma todas las variaciones posibles que existen en la realidad respecto del tipo de dedicación y tiempo dedicado, por lo que se produce imprecisión por la falta de apertura de detalle del instructivo y la ficha docente.
Estos datos mal producidos surgen por falta de instrucciones claras en el proceso de medición, ya sea porque no se explica a los evaluados la manera de consignar las variaciones en las diversas modalidades que las universidades pueden tener, o porque el instructivo no está diseñado para captar los modos y tiempo de trabajo que existen en la realidad y, consecuentemente, para permitir que se informe la verdadera situación de los docentes o responsables de la gestión dentro de la unidad académica.
Errores en el armado de los cuestionarios
Todo cuestionario, como instrumento de medición, debe cumplir con ciertas reglas que garanticen la validez y confiabilidad de la información que recoge, es decir, que aseguren que los datos que produzcan respondan a los objetivos de la investigación quienquiera que aplique los instrumentos. Los instructivos, fichas y Guía de Autoevaluación son cuestionarios autoadministrados, por lo que deben ser lo suficientemente claros para que los evaluados los puedan completar sin mayores confusiones. Para ello, algunas de las reglas a seguir para el armado de los cuestionarios son las siguientes:
1) Claridad de los objetivos: Pick de Weiss (1994) asegura que al informante se le deben explicitar los objetivos de la investigación: ¿para qué se requiere dicha información y cómo se la utilizará? Kerlinger (2002) agrega que además las preguntas que se realicen deben relacionarse con el problema y los objetivos de la investigación, por lo que su respuesta debe generar información que sea útil. En el caso de la acreditación de CONEAU, los informantes tienen claramente definidos cuáles son los objetivos de la evaluación: acreditar sus posgrados si es que gozan del nivel de calidad requerido por el organismo. Pero dada la amplia cantidad de información que se solicita, no siempre queda claro si los datos requeridos realmente realizan algún aporte para medir lo que se quiere medir: la calidad de los programas académicos.
El Entrevistado N.º 6 mencionó este punto al comentar que se requiere información que no siempre está disponible a mano o que directamente no está disponible o realmente no es relevante: “No tiene mucha lógica, por ejemplo, en la Ficha de Transferencia, si ponés una conferencia, poner cuántos alumnos participaron. Uno no tiene registro de los últimos 6 años de todas las actividades que hizo y quiénes o cuántos exactamente vinieron”. Ante estos requerimientos, los evaluados terminan poniendo datos que son imprecisos, por lo que su utilidad es cuestionada en última instancia.
2) Cantidad de preguntas: Padua (1979) afirma que un cuestionario no debería ser demasiado largo, ya que es difícil mantener un nivel adecuado de interés del informante durante mucho tiempo. Esto no implica que se deba dejar afuera pedido de información relevante, sino que hay que evitar extender la cantidad de preguntas más allá de los objetivos de la evaluación. Si se multiplican las preguntas pidiendo información que no se analizará, será percibido por los evaluados como una pérdida de tiempo. Además, cuestionarios demasiados largos se prestan a que se solicite la misma información en diferentes partes del mismo. En los instructivos de CONEAU esta fue una de las observaciones más importantes que se identificaron: hay superposición en la solicitud de datos entre los instructivos, fichas y Guía de Autoevaluación. De hecho, el Entrevistado N.º 5 asegura que “el tema más complicado de los formularios son las repeticiones permanentes en las distintas dimensiones o aspectos”. Algunos ejemplos que podemos mencionar sobre estas reiteraciones son las siguientes:
(a) Reiteraciones de la información solicitada en los cuestionarios y en los anexos que se deben presentar
Se solicita mucha información que, de hecho, figura en los Anexos obligatorios. Por ejemplo, en los formularios se solicita la descripción de los requisitos de ingreso y permanencia de alumnos, información que ya se encuentra aclarada en el reglamento de la carrera.
(b) Reiteraciones dentro de un mismo cuestionario
Para mencionar un ejemplo, en el punto 3 de la PC sobre Plan de Estudios se dan varios casos de superposición. En el 3.8.1 se solicita describir los mecanismos de orientación y supervisión de alumnos, y en el 3.8.2 se solicita la misma información, pero especificada para la elaboración del trabajo final o tesis. Por lo tanto, se puede considerar que el punto 3.8.2 está contenido dentro del 3.8.1. Además, en el 3.9.2 se solicita información sobre la modalidad de la evaluación final integradora, trabajo final, tesis, proyecto u obra. Parte de esta información ya se consignó en el punto 3.8.1 (en el que se solicita que en el caso de requerir tutores para la orientación y supervisión de alumnos se debe describir cómo se los selecciona y qué condiciones deben reunir) y 3.8.2 (cómo es la orientación y supervisión realizada a los alumnos que se encuentran en la etapa final de elaboración del trabajo o tesis).
Otro ejemplo se da en la Guía de Autoevaluación, documento en el cual se solicita la misma información en sus diferentes partes. En el punto 2 de la primera parte se pide un análisis de los cambios producidos desde la acreditación anterior y las fortalezas y debilidad de la situación actual. Y, en el punto 4 de la primera parte se pide que, en base a este análisis, se indique nuevamente la modificación, pero con una frase corta e indicando la página en la que se describe. Lo mismo se vuelve a preguntar en el punto 1 de la segunda parte cuando se pide que se redacte con frases cortas las fortalezas y debilidades de la situación actual. Es decir, a partir del análisis realizado en el punto 2 de la primera parte se solicita que se reitere la misma información de forma resumida. El Entrevistado N.º 2 comenta que, en su opinión, la Guía de Autoevaluación está bien dividida en criterios, pero se suponen muchos conceptos y hay repeticiones en cada uno de los lugares, por lo que constantemente el evaluado está redactando lo mismo que ya dijo y remitiendo además a esas secciones.
(c) Reiteraciones entre diferentes cuestionarios
Uno de los casos es que toda la información que se debe desarrollar en la Guía de Autoevaluación ya ha sido consultada en términos generales en los instructivos y fichas de la PI y PC. Por lo tanto, los evaluados tienen que completar la información con cuidado, de tal forma que todos los cuestionarios guarden coherencia entre sí. A continuación, a modo de ilustración de la cantidad de repeticiones, se detalla en el cuadro 5 en qué partes de la PI o PC se solicita la misma información de las dimensiones que se deben desarrollar en la Guía de Autoevaluación:
Cuadro 5. Reiteración de información solicitada en la Guía de Autoevaluación, en la PI y en la PC
Criterio consultado en la Guía de Autoevaluación
Misma información solicitada en PI o en la PC
PI – Punto 1.6 y 1.7
Interinstitucionales (o en convenio) PI – Punto 1.9.2PC – Punto 2.3.2
Normativa PI – Punto 1.8PC – Punto 0.6
Estructura de gestión y antecedentes de sus integrantes PC – Punto 2
Plan de estudios PC – Punto 3
Formación práctica PC – Punto 3.4.3
Estables/invitados PC – Punto 4
Antecedentes y producción del cuerpo académico Ficha Docente
Investigación Ficha de Actividades de Investigación y de Transferencia
Trabajo final PC – Punto 3.8.2 y 3.9
Directores PC – Punto 3.8.1
Jurado PC – Punto 3.9.2
Seguimiento de alumnos PC – Punto 3.8
Infraestructura y equipamiento PI – Punto 2.1 y 2.2
Acceso a bibliotecas PI – Punto 2.4
Todas estas reiteraciones abren la posibilidad de perder precisión en la información que se consigna y cansar al evaluado con cuestionarios innecesariamente largos en los que se consultan una y otra vez la misma información. El respondiente se aburre y se burocratiza entonces el rito de la acreditación por rutinas en las cuales se debe responder muchas veces lo mismo. El Entrevistado N.º 6 contó que ellos recibieron la recomendación de repetir información si veían reiteraciones y no presuponer que el evaluador iba a recordar que lo había leído anteriormente: “Como la idea es hacerlo lo más explícito posible, muchas veces tenía algunas reiteraciones”.
3) Orden de las preguntas: Babbie (2000) afirma que el orden de las preguntas puede afectar las respuestas de los informantes. Incluso, Sudman (1996) comenta que las respuestas siempre reflejan el juicio que los entrevistados generan en un contexto dado, influenciados por la información a la que tienen acceso en un momento determinado y por las preguntas precedentes. El autor explica que los humanos son “avaros cognitivos”, lo que los convierte en dependientes del contexto. Es decir, los entrevistados siguen naturalmente una estrategia de “satisfacción” más que de “optimización” de sus respuestas, por lo que el contenido de preguntas anteriores puede incrementar el acceso cognitivo a la información que ya fue utilizada para contestar, o bien puede afectar las preguntas que vendrán luego relacionadas con el tema. En términos generales, los informantes pueden ir agregando información en base a las respuestas ya dadas, o limitando la información pensado que lo que querían decir ya fue dicho anteriormente.
Padua (1979) agrega que las preguntas se deberían agrupar en los cuestionarios de tal modo de formar una unidad, con una organización en la que exista una progresión lógica. Es decir, el cuestionario debe ir despertando el interés del informante por responder, asegurando que las preguntas sucesivas guarden relación entre sí, evitando los saltos bruscos y las remisiones a temas que ya se indagaron con antelación. La importancia del orden de las preguntas en un cuestionario se vincula, en última instancia, con el objetivo de evitar producir en el informante: fatiga, aburrimiento, confusión, desorden, etc.
En los instructivos y fichas que se completan en el sistema se pueden identificar un número de incongruencias relacionadas con el orden y la numeración de las preguntas, lo cual atenta contra el orden lógico del cuestionario. Uno de los casos que ilustra este error se da en la Ficha Docente, en la cual no se identifica un orden lógico o unidad dentro de algunos puntos. Por ejemplo, en el punto 4 sobre Docencia Universitaria, de acuerdo a lo que se solicita, se interpreta que CONEAU define como actividades docentes tanto el dictado de clases como la dirección de trabajos finales, tesinas o tesis. El punto 4.1 está dedicado exclusivamente a los cargos docentes actuales, pero en el 4.2 se mezclan pedidos sobre cargos docentes en el pasado (tabla 4.2.1) y dirección de trabajos tanto actuales como en los últimos 5 años (punto 4.2.2), por lo que se está incluyendo información actual en un punto denominado en términos generales “Trayectoria”. Además, no hay una división clara por tareas, dado que docencia actual es un punto aparte, pero docencia en el pasado se incluye junto con dirección de tesis actual o en el pasado. Estas incongruencias en la organización del punto 4 se sintetizan en el cuadro 6:
Cuadro 6. Organización del punto 4 de la Ficha Docente
Campo Subcampo Actividad sobre la que consulta el campo Tiempo sobre el que consulta el campo
Situación actual (4.1) – Docencia Presente
Trayectoria (4.2) Cargo desempeñado en el pasado como profesor (4.2.1) Docencia Pasado
Dirección de tesis, tesina o trabajo final (4.2.2) Dirección de trabajos Presente y pasado
Una opción más clara sería ordenar los puntos según actividad y tiempo, como se muestra en el cuadro 7:
Cuadro 7. Organización propuesta para el punto 4 de la Ficha Docente
Docencia (4.1) Situación actual (4.1.1) Docencia Presente
Cargos desempeñados en el pasado (4.1.2) Docencia Pasado
Dirección de tesis (4.2) Actual dirección de tesis, tesina y trabajos finales (4.2.1) Dirección de trabajos Presente
Dirección de tesis, tesina y trabajos finales en los últimos 5 años (4.2.2) Dirección de trabajos Pasado
Por otra parte, los títulos de los puntos a veces no se corresponden con la información solicitada, lo que también introduce una confusión en el orden de las preguntas. En el punto 0 de la PC sobre los datos generales de la carrera hay varios elementos incongruentes relacionados con la numeración de cada ítem y la vinculación entre el título del ítem y la información que solicita. Por ejemplo, el 0.3 se titula “Año de inicio”, pero en el 0.3.2 se consulta sobre la ciudad de dictado (que es un dato sobre espacio, no tiempo, como indicara el título) y en el 0.3.4 se pregunta si se trata de una carrera interinstitucional (que es un dato institucional, no temporal).
Otros de los inconvenientes que se pueden mencionar debido al orden de las preguntas en el cuestionario lo expuso el Entrevistado N.º 4 sobre la Guía de Autoevaluación. Este explica que en la primera parte de la guía se pide una especie de matriz FODA basándose en la evaluación anterior (es decir, no se solicita información actual). Luego se pide un informe de las actividades de mejora. En la parte 2 se tratan los cambios que se dieron en cada uno de los núcleos. Por último, hay dos instancias que son las de fortalezas y debilidades que aún subsisten. Por lo tanto, no queda claro si estas últimas fortalezas y debilidades son las actuales, o tienen que tener relación con las de la primera parte. La guía no aclara nada sobre las fortalezas, pero como la pregunta a continuación es sobre debilidades que aún subsisten, no queda claro si las fortalezas también deben ser nuevas o las que aún subsisten. Aquí el evaluado está condicionado en la manera de interpretar la guía por el orden de las preguntas.
4) Redacción de las preguntas: Pick de Weiss (1994) recomienda que los cuestionarios deberían evitar preguntas dobles o que requieran de dos respuestas a la vez. En esta línea, Babbie (2000) sugiere que como regla general se compruebe que cuando aparezca el nexo “y” en un ítem, no se esté haciendo en realidad una pregunta doble.
En los instructivos se identificaron preguntas que, por la gran cantidad de información que solicitan, se vuelven confusas. Tales son los ejemplos de los puntos 1.6 de la PI (“Describir la relación de la oferta global de posgrado con los objetivos de la Unidad Académica. Mencionar la oferta de carreras de grado y posgrado y la política de desarrollo para los próximos 3 años que ha previsto la Unidad Académica. Para instituciones con oferta de posgrado a distancia o semipresencial, describir los antecedentes de la institución universitaria y la Unidad Académica en el diseño de actividades no presenciales”.); 1.7 de la PI (“Describir la relevancia de la oferta de posgrado teniendo en cuenta las necesidades sociales, profesionales y académicas y el impacto deseado; las principales líneas o áreas de investigación científica y tecnológica de la Unidad Académica y las principales áreas de vinculación con el medio a través de actividades de consultoría, asistencia técnica, transferencia de tecnología, extensión y otras formas de asistencia y relación con la comunidad”); 1.1.1 de la PC (“Describir la fundamentación del posgrado, sus antecedentes y la trayectoria de la institución en el campo abordado (origen y desarrollo)”), entre otros casos. La consecuencia de tener que responder preguntas que requieran tanta información en espacios breves produce confusión en el respondiente, dado que se pierden detalles y la información no representa la realidad del posgrado.
5) Tipo de preguntas (cerradas o abiertas): tanto preguntas cerradas como abiertas tienen ventajas y desventajas, por lo que es importante elegir una u otra según el nivel de detalle y el tipo de información solicitada que se requiera.
Para comenzar, las preguntas cerradas proveen al informante opciones de respuesta predeterminada. Pueden ser simples o múltiples. Según Padua (1979), las preguntas cerradas simples son fáciles de registrar, interpretar, codificar y analizar, pero hay que tener en cuenta que una respuesta seleccionada entre solo dos posibles opciones puede forzar la realidad y disminuir su complejidad. En cambio, las preguntas cerradas de múltiples respuestas dan la posibilidad de captar mejor la diversidad y ampliar el nivel de detalle de la información, conservando la facilidad para su codificación y análisis. En cualquier caso, hay que tener en cuenta que las categorías, como dice Babbie (2000), tienen que ser exhaustivas (es decir, las opciones deben comprender todas las respuestas posibles en la realidad) y mutuamente excluyentes (si el interrogado elige una opción, dicha opción no debe superponerse ni total ni parcialmente con otra opción). Además, las opciones deben corresponder a la misma variable. Es decir, los ítems deben gozar de la precisión suficiente de tal modo que el informante sepa exactamente qué se le está preguntando.
Dada la diversidad que existe en el conjunto de las instituciones de educación superior, a veces es difícil proveer preguntas cerradas que contengan todas las opciones posibles. Es por ello que es necesario aclarar qué se entiende por cada término que se utiliza (¿qué se entiende por docente estable e invitado?). Esta falta de aclaraciones provoca que las opciones no cumplan con el requisito de ser exhaustivas y mutuamente excluyentes. Por ejemplo, en el campo “Situación” del punto 4 de la Ficha Docente (Docencia Universitaria) las opciones disponibles son concursado, interino, contratado u otro (con posibilidad de especificar). Ahora bien, ¿son estas opciones pertenecientes a un mismo criterio y excluyentes entre sí? En principio, la ficha no presenta ninguna aclaración sobre lo que se entiende por “Situación” y por cada una de las opciones. Por lo tanto, se puede interpretar que la opción “concursado” está relacionado con la forma de selección, “interino” con la permanencia en el cargo, y “contratado” con la forma de liquidación de haberes. Y, por otro lado, en el ítem siguiente sobre “tipo de designación” las opciones son rentado o ad honorem. ¿Acaso las opciones “rentado” y “contratado” pueden pertenecer a una misma categoría? En este ejemplo hay una mezcla de variables, dado que los ítems responden por un lado a “forma de selección” y, por otro lado, a “forma de liquidación de haberes”.
En el caso de Trabajo Final, y tal como se explicó al comienzo del capítulo, no se entiende si la elección del tipo de trabajo es un ítem que debe cumplir con la opción “mutuamente excluyente”. Al parecer, por lectura de la resolución, parecería que una maestría podría tener varios tipos de trabajo final que puedan ser seleccionados por el alumno. Pero en el instructivo, según el formato que se le permite completar a los evaluados, los diferentes tipos de trabajo final se convierten en ítems mutuamente excluyentes, pues solo se puede elegir una opción. Además, no todas las opciones presentes en la resolución están numeradas en los ítems de los instructivos. Es decir, en el punto 2 de la Ficha de Tesis se dan como opciones tesis, proyecto de tesis, proyecto, trabajo final y obra. Pero la RM 160/11, además de los mencionados, incluye como posibles opciones también estudio de casos, producción artística y deja una opción abierta a “trabajos similares”.
Por otro lado, las preguntas abiertas tienen la ventaja de permitir un mayor acceso a detalle y, según Padua (1979) también un mayor grado de compromiso y motivación del respondiente. Las preguntas abiertas se utilizan entonces especialmente cuando aún no se tiene suficiente conocimiento del fenómeno (si se utilizaran preguntas cerradas, no se captaría la totalidad de la realidad a explorar) o cuando se trata del estudio de comportamientos (en el caso de fenómenos latentes como los valores, por ejemplo, la falta de opciones que puede presentar una pregunta cerrada concluye en un sesgo, dado que hay que elegir entre respuestas predefinidas). Sin embargo, las preguntas abiertas son más difíciles de codificar y analizar, y a veces el respondiente tiene dificultades para entender qué se está preguntando. En caso que se realicen preguntas abiertas, hay que tener en cuenta la forma de redactarlas (tal como se mencionó anteriormente en el punto 4 de este análisis), y en el diseño gráfico del cuestionario (¿se está proveyendo un espacio suficiente para una respuesta completa?). Es decir, el espacio de respuesta debe ser congruente con el tipo de pregunta que se hace para poder responder de manera completa y precisa. En el caso de los instructivos, en general los espacios son muy breves para responder a todas las cuestiones que se solicitan. Algunos inconvenientes de problemas de espacio disponible para responder se dan en el punto 3 de la PC, el cual versa sobre el Plan de Estudios. Este es un instructivo que solicita datos cualitativos en su gran mayoría, dado que es el espacio que los evaluados tienen para explicitar los aspectos didácticos y pedagógicos de la carrera. Por lo tanto, es el instructivo que contiene la información central del programa, pero los espacios dedicados a su descripción son demasiado acotados como para presentar un desarrollo correcto del Plan de Estudios. Por ejemplo, en el punto 3.4 solo hay espacio suficiente para describir una o dos modalidades de evaluación, pero cada materia puede tener una forma distinta de evaluar. Otro ejemplo es el de la Ficha Curricular se solicita en el punto 1.2 que se describan los contenidos y la vinculación con los objetivos de la carrera en solo 300 caracteres, lo que equivale aproximadamente a tres oraciones completas.
El Entrevistado N.º 2 sugiere respecto a este problema que quizás se podría subsanar la dificultad para completar los instructivos y las fichas completando con más información en la Guía de Autoevaluación. Sin embargo, más allá de que esta solución no resuelve el problema original y además no hay una aclaración sobre cómo solucionar problemas de espacio, cabe preguntarse si técnicos y pares analizan todos los instrumentos como una unidad. Si así no fuera, se consideraría la respuesta como incompleta y lo que figura en otra parte de los documentos como incongruente o irrelevante. Los evaluados no pueden confiar en esta posible salida.
6) Relevancia de las preguntas: Babbie (2000) recomienda que las respuestas reflejen genuinamente actitudes y datos ciertos, las preguntas deben ser lo suficientemente importantes en el contexto de la investigación y estar en relación a los objetivos. En algunas de las fichas que versan sobre aspectos de suma importancia para la calidad de un posgrado (como las fichas de investigación, transferencia o tesis) faltan preguntas relevantes que hacen a la importancia de los proyectos principalmente en determinadas disciplinas. Por ejemplo, en la Ficha de Investigación se consultan sobre los principales resultados de la investigación haciendo referencia solo al impacto académico (publicaciones en revistas con o sin arbitraje, libros o capítulos de libros, trabajos presentados en congresos o seminarios, u otros resultados pasibles o no de título de propiedad intelectual). No se indaga sobre otros tipos de impacto que puede tener una investigación, como el impacto sobre la sociedad (importante para las investigaciones en Ciencias Sociales o Ciencias de la Salud), sobre la propia organización (importante para las investigaciones en Administración de Empresas), etc. De forma similar, en la Ficha de Transferencia no se consulta sobre los resultados del proyecto, aspecto de suma importancia si se considera que las actividades de transferencia tienen importancia a partir del impacto que generan en otros stakeholders.
La Ficha de Tesis no presenta ningún ítem de consulta sobre el impacto profesional y/o social de la tesis. Excluyen otros tipos de impacto que pueden ser aplicables a la producción de una tesis, como la presentación en congresos o el cambio generado dentro de alguna institución gracias a la investigación realizada. Por último, y también en relación al impacto que puede tener el trabajo final, en ningún lado se consulta sobre la relevancia académica y práctica en la disciplina en la cual se enmarca.
En este caso el instrumento está contemplando un abordaje conceptual de la variable calidad que no tiene en cuenta los diversos tipos de impacto que pueden tener las actividades de investigación y transferencia en diferentes disciplinas.
7) Adaptación del cuestionario a la materia analizada: es importante tener en cuenta que el cuestionario se debe adaptar a la naturaleza del objetivo de investigación, y no adaptar las respuestas al cuestionario. En el caso de los cuestionarios de CONEAU, se utilizan los mismos instructivos para todas las disciplinas. Por lo tanto, a veces se vuelven un tanto difícil completarlos dado que hay áreas disciplinarias cuya formación tiene una metodología distinta. El Entrevistado N.º 2 comenta que hay ítems difíciles de completar en los instructivos cuando se están evaluando, por ejemplo, posgrados del área de Ciencias de la Salud, principalmente en las especializaciones asociadas a residencia, que son carreras con 12.000 a 14.000 horas de cursada en total durante cuatro años. Por otro lado, contó que “siempre cuesta distribuir lo que es carga horaria práctica de lo que es carga horaria teórica”, dado que en Ciencias de la Salud existen semanas de guardia.
Vaguedad de los parámetros
La RM 160/11 y la Guía de Autoevaluación, documentos en los que se detallan los estándares, contiene vaguedades en relación a lo que se espera como mínimo que se cumpla en los posgrados. Algunos ejemplos son:
“En aquellas Especializaciones en las que el área a profundizar sea la práctica profesional se incluirá un fuerte componente[5] de práctica intensiva”. (RM 160/11).
“… el director y codirector deberá/n tener méritos suficientes10 en el campo científico, tecnológico o artístico que corresponda”. (RM 160/11).
“Suficiencia10 y actualización de los contenidos y la bibliografía de los programas de las asignaturas”. (Guía de Autoevaluación).
“Suficiencia10 de la duración y carga horaria prevista”. (Guía de Autoevaluación).
“Adecuación y suficiencia10 de las aulas para el desarrollo de las actividades curriculares. / del equipamiento informáticos a disposición de los alumnos. / de los laboratorios para el desarrollo de las actividades curriculares”. (Guía de Autoevaluación).
“Suficiencia10 del fondo bibliográfico especializado disponible en bibliotecas y hemerotecas, de los servicios ofrecidos, de la capacidad del equipamiento y de las bases de datos”. (Guía de Autoevaluación).
¿Qué se entiende por “fuerte componente”, “méritos suficientes”, “adecuación y suficiencia”, entre otros? El uso de estos términos no alcanza para que evaluados y evaluadores (técnicos o pares) comprendan el criterio cuantitativo esperado por la CONEAU. Estos términos, por un lado, salvan la rigidez con la que se podrían evaluar carreras con diferencias regionales, disciplinares, institucionales o profesionales. Pero, por otro lado, tampoco se los especifica en ningún otro documento propio de cada convocatoria de acreditación. Por lo tanto, los evaluados van construyendo ellos mismos una idea de lo que se espera a través de la experiencia que adquieren en sucesivas acreditaciones o una vez que la CONEAU les hace la devolución.
El Entrevistado N.° 4 cuenta un asunto específico surgido en las acreditaciones de posgrados de Ciencias de la Salud. El Ministerio de Salud sacó resoluciones sobre cómo se deberían cumplir los criterios en cada una de las carreras del área, pero lo hizo en medio del proceso de acreditación. La CONEAU informó estos nuevos parámetros a las universidades, pero fue en medio del proceso de acreditación y sin documentación formal. En esta situación, el Ministerio de Salud decidió colaborar con los procesos de acreditación detallando cómo aplicar los criterios, pero no lo hizo con la antelación necesaria ni de manera formal.
Dificultad para comprensión del léxico
Sudman (1996) afirma que la mayoría de los problemas de comprensión que puede tener un entrevistado se dan por ambigüedades del léxico o de la estructura. Pero, mientras las ambigüedades estructurales se pueden evitar prestando atención al orden de las preguntas, las ambigüedades del léxico son propias de la naturaleza del lenguaje y muestran las múltiples definiciones que puede tener una misma palabra. Todas estas definiciones están limitadas por el contexto en el cual aparecen. Sin embargo, en el universo de las instituciones de educación superior, en el que las organizaciones son tan complejas y disímiles, la falta de aclaración de un concepto puede derivar en varios problemas de interpretación sobre lo que se está evaluando.
El Entrevistado N.º 4 le otorga especial importancia a esta amenaza a la confiabilidad, ya que los conceptos que se utilizan no siempre se adaptan a la realidad del lenguaje de cada sistema dentro de la institución universitaria. Algunos ejemplos sobre dificultades surgidas por diferencia en la interpretación de los conceptos se dan en los siguientes casos:
Las instituciones pueden organizar de forma diferente la “dedicación docente” de sus profesores. Por ejemplo, en ciertas universidades la “dedicación docente” incluye todo el grupo de materias en las que un profesor dicta clase, mientras que en otra se puede tomar cada una de las comisiones específicas. Esta diferencia impactará en la cantidad de horas que se informe por dedicación, dado que en el primer caso se puede analizar que un docente cuenta con más cantidad de horas (pues se suman todas las materias y comisiones en las que dicta), mientras que en el otro caso parecería que el docente dicta pocas horas (ya que se especifica cada una de las materias).
En relación a los convenios, pueden existir variaciones de interpretación sobre el tipo de actividad que requiere convenio o el formato que debe tener un convenio.
Algunas instituciones pueden considerar como “proyectos de investigación” el trabajo doctoral de un becario al que la universidad le paga la beca. Pero el concepto de “proyecto de investigación institucional” de CONEAU es distinto.
Según el Entrevistado N.º 4 las instituciones se deben adaptar a lo que CONEAU entiende por dichos conceptos, los que no siempre quedan claros desde el inicio, por lo que los evaluados deben ir construyendo su sentido a partir de las devoluciones que reciben o consultando a los coordinadores de CONEAU. De hecho, este entrevistado concluyó que “para tener éxito, tenés que ir traduciendo lo que nosotros entendemos y lo que CONEAU entiende y espera”. En esta misma línea, el Entrevistado N.º 6 también explica que el problema “no es que no se entienda, sino que lo que uno entiende no es exactamente cómo lo interpreta la CONEAU”. Y este inconveniente influye a la vez en la carga de trabajo: por ejemplo, este último entrevistado explica que como no todos los docentes identifican cada una de las categorías que utiliza la CONEAU, es necesario que los responsables de la acreditación revisen todo aquello que completaron para confirmar que hayan entendido cómo tenían que completar. De hecho, hay categorías que utiliza la CONEAU, por ejemplo de la Ficha Docente, que son distintas o inexistentes en algunas instituciones universitarias, por lo que hay que realizar un trabajo de asimilación de conceptos.
Corengia introduce en su investigación el problema de “tecnicismo pedagógico esotérico”. Con este término se refiere a la generación de un exceso de tecnicismo desde el vocabulario (entre otros factores) que tiene efectos perversos y provoca la “pérdida de democraticidad de los procesos de evaluación y acreditación” (2010: 133). La principal consecuencia de estos problemas de lenguaje es que se forma dentro de la institución una subcultura de aquéllos que saben qué entiende la CONEAU por dichos conceptos, lo que genera un divorcio entre los procesos propios de la institución (conocidos por todos los actores) y lo que entienden los técnicos encargados de acreditación. Este es un factor que atenta contra la confiabilidad ya que tanto unos como otros participan en la evaluación interna completando los instructivos, fichas y guía. Por lo tanto, cada pregunta puede ser respondida de forma diferente por los diferentes actores. Hay que tener en cuenta que, si el entrevistado se encuentra con una palabra ambigua, siempre la interpretará de acuerdo al sentido que ellos tengan acceso en aquel momento. Por ello es necesario incluir aclaraciones sobre la terminología utilizada.
Todos los factores mencionados en el presente capítulo atentan contra la validez y confiabilidad de la medición. Estas amenazas son producto de la inexistencia de un referente claro de la variable a medir, como así también por el uso de instrumentos iguales para medir unidades diferentes (como especializaciones, maestrías y doctorados de diferentes disciplinas). Se suman además fallas a nivel técnico en la construcción y aplicación de los instrumentos, y el consecuente efecto reactivo sobre los participantes. ¿Cómo afectan todas estas amenazas al proceso de implementación de la política pública de acreditación considerado en su integralidad?
Esta falta de estándares disciplinares que complementen a aquellos transversales mencionados en la RM 160/11 no se da en la acreditación de carreras de grado, dado que en este caso para cada llamado a evaluación se publican los parámetros específicos.↵
El nuevo sistema de acreditación y evaluación institucional se denomina Atenea, y dentro del mismo se pueden encontrar diferentes secciones, tales como el SIEMI (Sistema de Información para la Evaluación y Mejoramiento Institucional), el Administrador Institucional, Formalizaciones, Instructivos y Currículum Docente.↵
Servidor Unificado al momento de realizar la investigación.↵
Se refiere al Programa de Formación en Evaluación de Instituciones y Carreras Universitarias del Programa Phronesis organizado por la CONEAU.↵
Énfasis agregado por la autora.↵

References: resolución 
 resolución 
 resolución 
 Resolución 
 resolución 
 Resolución 
 artículo 43
 artículo 43
 artículo 43
 resolución 
 resolución