Source: http://www.uv.es/relieve/v19n1/RELIEVEv19n1_1.htm
Timestamp: 2017-03-27 10:47:57+00:00

Document:
Gómez-Ruiz, Miguel-Ángel; Rodríguez-Gómez, Gregorio & Ibarra-Sáiz, Mª Soledad (2013). Desarrollo de las competencias básicas de los estudiantes de Educación Superior mediante la e-Evaluación orientada al aprendizaje. RELIEVE,
v. 19 (1), art. 1. DOI: 10.7203/relieve.19.1.2457
Hits: Visitas DESARROLLO DE LAS COMPETENCIAS BÁSICAS DE LOS ESTUDIANTES DE EDUCACIÓN SUPERIOR MEDIANTE LA e-EVALUACIÓN ORIENTADA AL APRENDIZAJE
[Development of basic competences of students in Higher Education through Learning Oriented e-Assessment]
Gómez-Ruiz, Miguel-Ángel (miguel.gomez@uca.es)
Rodríguez-Gómez, Gregorio (gregorio.rodriguez@uca.es)
Ibarra-Sáiz, Mª Soledad (marisol.ibarra@uca.es)
Learning Oriented e-Assessment (e-LOA) is an ICT mediated learning process. It promotes the development of competences that are relevant to both students’ academic present and professional future. In this quasi-experimental research a pretest-posttest design with experimental and control groups is implemented. We believe that the actions of e-LOA favors further development of competences. The results show that in the experimental groups there is an improvement on the level of competence. Significant differences have been found between the pretest and posttest. In addition, there is a consistency between the competences that have improved and those considered in the literature (creativity, problem solving ...).
La e-Evaluación orientada al aprendizaje (e-EOA) es un proceso de aprendizaje, mediado por las TIC, que promueve el desarrollo de competencias útiles para el presente académico y el futuro laboral de los estudiantes. En esta investigación cuasi-experimental, con diseño pretest-postest con grupos experimentales y de control, consideramos que las actuaciones de la e-EOA (VI) favorecen un mayor desarrollo de competencias (VD). Los resultados revelan que en los grupos experimentales se mejora el nivel competencial y existen diferencias significativas entre su pretest-postest. Además, se comprueba que las competencias que mejoran son coherentes con la teoría planteada (creatividad, resolución de problemas…).
Learning Oriented Assessment, e-Assessment, basic competences, Higher Education. Descriptores
Evaluación orientada al aprendizaje, e-Evaluación, competencias básicas, Educación Superior.
Arribas (2012).
El rendimiento académico en función del sistema de evaluación empleado.
Volumen 19, n. 1 1. Introducción
La evaluación puede considerarse como una oportunidad en sí misma para promover aprendizajes significativos y desarrollar competencias en los estudiantes universitarios (Bordas y Cabrera, 2001). Orientar la evaluación al aprendizaje (Carless, 2003; Boud y Falchikov, 2006; Padilla Carmona y Gil Flores, 2008; Rodríguez Gómez e Ibarra Sáiz, 2011) debe suponer una renovación efectiva de la práctica y los planteamientos de la evaluación en la Educación Superior para responder a las nuevas expectativas y exigencias académicas, sociales y laborales (Boud, 2010).
Arribas (2012). Academic performance in terms of the applied assessment system
La e-Evaluación orientada al aprendizaje (e-EOA) ha surgido en el ámbito universitario como una propuesta formativa que permite dar respuesta al nuevo contexto social y profesional del Siglo XXI. Un contexto donde el enfoque basado en el desarrollo de competencias (Rué Domingo, 2008; Ibarra Sáiz, Rodríguez Gómez y Gómez Ruiz, 2010) ha desplazado del centro del interés educativo a la tradicional adquisición de conocimientos, siendo así necesario desde esta nueva perspectiva replantearse y reflexionar sobre las prácticas evaluativas en la educación superior, dada la estrecha relación entre metodología docente, objetivos educativos y evaluación. Complementariamente, la influencia de las Tecnologías de la Información y la Comunicación (TIC), en el ámbito educativo y en la propia sociedad en general, es cada vez más notable. Obviar las tecnologías en el actual proceso de aprendizaje universitario o subestimar su potencial didáctico, restaría una importante significatividad a la actividad de unos estudiantes cada vez más acostumbrados al uso de las TIC para la comunicación, la información o la diversión, a la vez que aumentaría la brecha tecnológica entre docentes y alumnado.
La e-EOA se plasma en el proceso educativo mediante la implicación de los estudiantes en las actividades de evaluación, la realización de tareas creativas y realistas y el fomento de la información útil para el presente académico y el futuro profesional del estudiante. De hecho, y como se ha puesto de manifiesto en diversos trabajos (Rodríguez Gómez, Ibarra Sáiz y Gómez Ruiz, 2012), con la implicación de los estudiantes en el proceso de evaluación se pueden desarrollar distintas competencias básicas, como el pensamiento crítico, la aplicación de conocimientos para resolver problemas, la comunicación y negociación o la profundización en el sentido ético de las propias actuaciones.
De esta forma, en la investigación que aquí se presenta nos acercamos a las repercusiones de aplicar una metodología acorde con la e-EOA en las competencias básicas académico-profesionales de los estudiantes universitarios. Para ello, se comparan varios grupos de estudiantes donde se ejecutan prácticas relacionadas con la e-EOA con otros grupos donde no se realizan de forma sistemática. Concretamente, y partiendo de la literatura especializada, el desarrollo legislativo actual, el marco de referencia del Proyecto Tuning (González y Wagennaar, 2003) y los descriptores de Dublín (JQI, 2004) en este estudio nos centramos en recoger y comparar el impacto de la e-EOA en diez competencias básicas académico-profesionales: aplicación de conocimientos, argumentación, resolución de problemas, analizar información, comunicación, aprendizaje autónomo, sentido ético, creatividad, trabajo en equipo y evaluación. 1.1. Marco conceptual de la e-Evaluación orientada al aprendizaje En el marco de referencia de la evaluación orientada al aprendizaje (Carless, Joughin y Liu, 2006) se establecen tres requisitos básicos para que la evaluación se enfoque a desarrollar aprendizajes valiosos a lo largo de toda la vida. Dichos requisitos son:
La retroalimentación debe convertirse en retroalimentación generalizable o proalimentación (feedforward).
La evaluación debe implicar activamente a los estudiantes
Se ha revisado y contextualizado el enfoque y los componentes de la evaluación orientada al aprendizaje considerando la importancia e influencia del aprendizaje virtual, obteniendo el marco conceptual de la e-EOA que se detalla en la Figura 1 y que desarrollamos a continuación.
Marco conceptual de la e-Evaluación orientada al aprendizaje. Adaptado de: Rodríguez Gómez y otros (2009:516).
1.1.1. Finalidades y resultado de la e-EOA El marco teleológico de la e-EOA está compuesto por tres finalidades interrelacionadas entre sí: 1. La evaluación en la universidad debe ser una actividad sistemática destinada a valorar el rendimiento de los estudiantes para mejorar su desarrollo competencial.
2. La evaluación en la universidad debe estar basada en la comparación de las competencias de los estudiantes y las demandas o estándares académicos, sociales y profesionales.
3. El objetivo y resultado esperado de la e-EOA es promover el aprendizaje estratégico, es decir, el aprendizaje de estrategias transferibles que fomenten el aprendizaje autónomo, la toma de decisiones y la autorregulación del propio proceso de construcción del aprendizaje (Pozo Municio y Monereo Font, 2002; Zimmerman, 2002).
1.1.2. Actuaciones de la e-EOA Las actuaciones es el aspecto central de la e-EOA, ya que concreta los componentes que se reflejan de forma operativa en el proceso evaluativo.
En primer lugar, dentro de la e-EOA se deben considerar a los estudiantes como evaluadores. El alumnado ya no es un objeto pasivo que recibe una calificación, ahora está implicado y es sujeto activo en la tarea de evaluar, tanto su trabajo como el de sus compañeros, convirtiéndose la evaluación en una importante oportunidad para desarrollar y potenciar diversas competencias. Las principales modalidades de evaluación que involucran a los estudiantes son la autoevaluación (Rodríguez Gómez, Ibarra Sáiz y Gómez Ruiz, 2011), la evaluación entre iguales (Ibarra Sáiz, Rodríguez Gómez y Gómez Ruiz, 2012) y la coevaluación (evaluación conjunta entre estudiante y docente) utilizadas como herramientas formativas para los estudiantes y siempre en coherencia con las finalidades de la e-EOA.
En segundo lugar, las tareas de e-Evaluación son tareas de e-Aprendizaje. Desde la e-EOA la evaluación se integra en el proceso de aprendizaje del estudiante mediante la propuesta de tareas que requieran unan respuesta creativa (Borootchi y Keshavaraz, 2002) y sobre todo, mediante la realización de tareas auténticas, es decir, tareas realistas que demanden que los estudiantes desarrollen las mismas combinaciones de conocimientos, competencias o habilidades y actitudes que deberán desplegar posteriormente en el ámbito profesional (Gulikers, Bastiaens y Kirschner, 2005).
La última actuación es convertir la retroalimentación en proalimentación. La importancia de aportar retroalimentación adecuada en tiempo y forma es fundamental para la consolidación del aprendizaje, convirtiendo la evaluación en sostenible (Boud, 2000),
al apoyar la autorregulación del trabajo del estudiante independientemente del docente (Nicol y MacFarlane-Dick, 2006; Carless y otros, 2011). Dando un paso más allá, el objetivo es ahora aportar proalimentación, como actividad que proporciona información útil no sólo para el desempeño presente, sino también para su generalización a futuras tareas académicas y laborales (Carless, Joughin y Mok, 2006). 1.1.3. Contexto y participantes en la e-EOA
Todas estas acciones se enmarcan en un contexto en el que la incorporación de las TIC al proceso de enseñanza-aprendizaje universitario se va asentando y enriqueciendo. Con el paso del tiempo va aumentando la importancia en la formación universitaria de los “campus virtuales” o “aulas digitales” basados en el uso de sistemas de gestión de aprendizajes (LMS) como Moodle (Modular Object-Oriented Dynamic Learning Environment), Blackboard o LAMS (Learning Activity Mangement System). Teniendo en consideración la importancia de las TIC, actualmente se ha pasado de la evaluación a la e-Evaluación (Olmos Migueláñez y Rodríguez Conde, 2011), entendida de forma genérica como cualquier proceso electrónico de evaluación en el que son utilizadas las TIC para la presentación y realización de actividades y tareas de evaluación y el registro de las respuestas, ya sea desde la perspectiva de los aprendices, los tutores, las instituciones o el público en general (JISC, 2007). Pero no sólo han aumentado el número de horas formativas y los recursos digitales orientados a la formación, sino que se va diversificando su uso. Del simple “repositorio virtual” se ha pasado a la web 2.0 y a la utilización de wikis, blogs, redes sociales, simulaciones o videojuegos (Moreno Ger y otros, 2009; Rodríguez Gómez, 2009).
No obstante, esta creciente realidad también plantea inconvenientes, ya que hace probable la existencia de una brecha tecnológica o desfase entre las experiencias y las propias características de estudiantes (nativos digitales) y docentes (inmigrantes digitales) (Prensky, 2001), un importante aspecto a tener en consideración en el despliegue de la práctica educativa, ya que la socialización, la construcción de la personalidad y las estrategias de acercamiento a la realidad son muy distintas en uno y otro caso. 1.2. Objetivos e hipótesis del estudio
El objetivo general del presente estudio es evaluar el impacto del uso y puesta en práctica de los principios y actuaciones de la e-Evaluación orientada al aprendizaje en el desarrollo de las competencias académico-profesionales de alumnos universitarios en el ámbito de las Ciencias Sociales.
Específicamente, nos proponemos evaluar el impacto de la e-Evaluación orientada al aprendizaje mediante su puesta en práctica y posterior análisis, contrastándola con otro grupo en el que no se ejecuten las actuaciones propias de la e-EOA.
Para alcanzar nuestro objetivo nos
planteamos como hipótesis que la puesta en práctica de las actuaciones de la e-Evaluación orientada al aprendizaje (variable independiente) fomenta un mayor desarrollo de las competencias académico-profesionales (variable dependiente) en los estudiantes universitarios que la metodología docente tradicional basada en exposiciones y en un examen final. 2. Método 2.1. Procedimiento
Para realizar la validación de nuestra hipótesis, se ha diseñado y ejecutado una investigación cuasiexperimental, en la que se siguió un diseño pretest-postest con grupos experimentales y de control. Se tomó como variable independiente la incorporación de los principios y actuaciones de la e-EOA al proceso de enseñanza-aprendizaje universitario y como variable dependiente la percepción de los estudiantes del nivel de desarrollo de sus competencias básicas. El pretest se realizó a comienzos del primer cuatrimestre del curso académico 2009-2010, el postest se desarrolló a principios del segundo, una vez finalizada la actividad docente en las asignaturas objeto de investigación. Para realizar la medición de la variable dependiente, se utilizó la técnica de la encuestación mediante el cuestionario presencial COMPES[1]: “Autoinforme de desarrollo de competencias básicas de los estudiantes universitarios”, (Gómez Ruiz, Rodríguez Gómez e Ibarra Sáiz, en prensa) diseñado para este fin. Respecto a la variable independiente, en las cuatro asignaturas que sirvieron como grupos experimentales, se diseñaron y desarrollaron distintas tareas de aprendizaje y evaluación siguiendo los requisitos básicos de la e-EOA. De forma concreta, el desarrollo de la evaluación en las asignaturas cursadas por los grupos experimentales disponía de las siguientes características fundamentales: Requería el trabajo continuo del alumnado mediante diversas tareas repartidas durante el curso, desde ensayos, hasta la realización de casos prácticos.
El núcleo central de las asignaturas estaba basada en proyectos de aprendizaje tutorados. Los estudiantes debían realizar de forma grupal un proyecto de investigación o de diagnóstico educativo -dependiendo de la materia cursada- que se pudiera aplicar en la realidad docente. Mediante esta metodología se promueve la responsabilidad del estudiantes en su propio proceso de aprendizaje a través de la realización de un proyecto que requiere la aplicación de conocimientos previos, habilidades de documentación y el manejo de conflictos en contextos profesionales (Gil Flores y otros, 2004). Además, es una práctica que se presta especialmente, junto con el análisis de casos y el aprendizaje basado en problemas, a su desarrollo con la mediación de recursos virtuales (Cabero Almenara y Román Graván, 2006).
Los estudiantes realizaban alguna actividad como evaluadores, reflexionando sobre su propio trabajo y sobre el trabajo de sus compañeros, utilizando unos criterios explícitos y aportando justificación y proalimentación.
Los docentes aportaban proalimentación adecuada en el desarrollo de las tareas de evaluación, especialmente durante la progresiva creación de los proyectos tutorados.
La mayoría de las tareas, incluyendo los proyectos tutorados, fueron realizadas con el apoyo, en mayor o menor medida, de las TIC, concretamente, utilizando los LMS Moodle y LAMS instalados en el Campus Virtual de la Universidad de Cádiz. De forma complementaria, también se aplicó una WebQuest adaptada para la realización de proyectos tutorados (Gómez Ruiz y otros, 2010), así como otros recursos virtuales de apoyo para el desarrollo de las actividades propuestas.
Respecto a los grupos de control, se seleccionaron cuatro grupos de estudiantes que cursaban materias sin la predominancia de las características de la e-EOA y que, por lo general, estuvieran enmarcadas dentro de una dinámica que podríamos considerar como metodología docente tradicional, es decir, basadas en exposiciones magistrales, en un uso puntual de las TIC y cuyo método de evaluación preferente fuera el examen final, situación habitual en la universidad, tal y como se ha puesto de manifiesto en otros estudios (Ibarra Sáiz, 2007). 2.2. Muestra
Los participantes, tanto en el caso de los grupos experimentales, como en los grupos de control, se seleccionaron mediante una muestra no probabilística e intencional, seleccionadas por criterios de accesibilidad y representatividad. En ambos casos los grupos pertenecían a la rama de Ciencias Sociales y Jurídicas. 2.2.1. Características de los grupos experimentales
Los 4 grupos experimentales (GE) cursaban la Licenciatura de Psicopedagogía en la Universidad de Cádiz, de forma concreta, el estudio se centró en las asignaturas obligatorias de Métodos de Investigación en Educación (MIE) de 4º curso y Diagnóstico en Educación (DE) de 5º, ambas en sus modalidades presencial y semipresencial.
La modalidad semipresencial sólo debía acudir a las clases presenciales de las asignaturas una vez cada dos semanas, mientras que la modalidad presencial disponía de dos sesiones de la asignatura a la semana (en todos los casos cada sesión presencial disponía de dos horas de duración). En la actividad académica de las dos modalidades se utilizaron las TIC mediante el Campus Virtual basado en Moodle y otros recursos virtuales complementarios.
El alumnado de la modalidad presencial era más homogéneo, la mayoría eran jóvenes que acababan de finalizar sus estudios de primer ciclo. Por su contra, la modalidad semipresencial presentaba mayor heterogeneidad, contando con bastantes participantes con experiencia profesional, en algunos casos, de más de 20 años como docentes de infantil o primaria. Tanto en la modalidad presencial como semipresencial, todos los participantes ya poseían el título de Maestro en alguna de sus especialidades, ya que la Licenciatura de Psicopedagogía es una titulación de segundo ciclo. 2.2.2. Características de los grupos de control
Los participantes en los 4 grupos de control (GC) estaban cursando la Licenciatura de Administración y Dirección de Empresa (LADE), igualmente en la Universidad de Cádiz. Los estudiantes pertenecían a los mismos niveles que los grupos experimentales: 2 grupos de 4º curso y otros 2 grupos de 5º curso. En este caso todos los participantes de los grupos de control cursaban presencialmente la licenciatura, estando la mayoría en posesión del título de Diplomado en Empresariales. 2.2.3. Análisis de la muestra
En la Tabla 1 se ofrecen todos los detalles de los sujetos informantes de la investigación, segmentados por grupos y por el tipo de prueba. Pretest
Tabla 1: Participantes en la investigación por grupos y tipo de prueba.
Como se puede observar en la Tabla 1, en el pretest se recogieron datos de 219 estudiantes de los grupos experimentales y 193 de los grupos de control, sumando un total de 412 sujetos en esta fase del estudio. Por su parte, en el postest participaron 168 estudiantes de los grupos experimentales y 160 de los grupos de control, es decir, 328 personas en total. Se puede apreciar que existió en el postest una pérdida de información de 84 sujetos en la muestra de estudio, probablemente provocada por la habitual disminución de asistencia de estudiantes durante el desarrollo de las asignaturas universitarias.
Segmentando a los participantes de los grupos experimentales por modalidad, podemos observar que los estudiantes de la modalidad presencial (códigos en la Tabla 1: GE 1 y GE 3) suponen el 57,53% del total en el pretest y el 68,45% en el postest.
Respecto al sexo, existe una clara predominancia de las mujeres, tanto en los grupos de control como, especialmente, en los grupos experimentales. En los grupos de control suponen un 60% tanto en el pretest como en el postest, ese porcentaje aumenta en los grupos experimentales hasta el 73,06% en el pretest y el 75% en el postest.
Complementariamente, es importante resaltar que se ha podido realizar un seguimiento transversal de 272 estudiantes, 129 de los grupos experimentales y 143 pertenecientes a los grupos de control. Del resto de la muestra no se pudo realizar el seguimiento porque no realizaron ambas pruebas o bien, porque en pretest o postest no reflejaron correctamente sus datos de identificación. Por último, destacar que en todos los casos la participación en la recogida de información ha sido totalmente voluntaria. 2.3. Instrumentos 2.3.1 Variable dependiente
Para la recogida de datos sobre la variable dependiente (desarrollo de las competencias académico-profesionales de los estudiantes) se diseñó y aplicó el cuestionario COMPES (Gómez Ruiz, Rodríguez Gómez e Ibarra Sáiz, en prensa), cuyo objetivo es obtener información sobre el nivel competencial percibido de los estudiantes sobre el desarrollo de un conjunto de competencias identificadas como básicas y que se ponen en juego mediante la participación discente en el proceso de evaluación. El Autoinforme COMPES fue diseñado y validado (validación aparente mediante juicio de expertos y validación de contenido en estudio piloto) en el contexto del proyecto de investigación Re-Evalúa
[2], por otro lado, para la muestra participante en este estudio, la fiabilidad de los ítems del cuestionario, calculada mediante Alfa de Cronbach, es de 0,944, por lo que se puede considerar el instrumento como muy fiable.
En el diseño del cuestionario COMPES se ha optado por la técnica del autoinforme como método para la evaluación de competencias, recogiendo la propia percepción de los estudiantes sobre su nivel competencial. La competencia percibida está relacionada con la metacognición y la construcción del conocimiento (Baartman y Ruijs, 2011), ya que promueve la reflexión sobre las debilidades y fortalezas de las propias capacidades orientada hacia la autorregulación del aprendizaje. Podemos entender que la propia realización del autoinforme ya supone una actividad formativa relacionada con el marco teórico y práctico de la e-Evaluación orientada al aprendizaje.
El Autoinforme COMPES está compuesto por 37 afirmaciones ordenadas de forma aleatoria referidas a actuaciones relacionadas con diez competencias básicas, es decir, que cada competencia tiene asociada 3 ó 4 ítems del cuestionario. Las competencias son: Aplicación de conocimientos, argumentación, resolución de problemas, analizar información, comunicación, aprendizaje autónomo (aprender a aprender), sentido ético, creatividad, trabajo en equipo y evaluación. Cada afirmación se acompaña de una escala para la valoración de la frecuencia de la realización de cada actuación de 1 a 6 (1 nunca, 2 pocas veces, 3 algunas veces, 4 bastantes veces, 5 muchas veces y 6 siempre). El instrumento se completa con los campos para la identificación de los participantes y unas breves instrucciones para su correcta cumplimentación. El tiempo estimado para su realización es de unos 10 a 15 minutos. 2.3.2. Variable independiente
Para comprobar y registrar la aplicación de las actuaciones de la e-Evaluación orientada al aprendizaje (variable independiente) en el proceso de aprendizaje, se aplicaron distintas técnicas e instrumentos en los grupos experimentales y de control. 2.3.2.1. Grupos experimentales
Entrevistas grupales con estudiantes. Se desarrollaron ocho entrevistas grupales, dos por asignatura, realizadas en el punto intermedio de la experiencia y al finalizar. Participaron 8 sujetos en cada una, lo que supone 32 estudiantes entrevistados dos veces.
Entrevistas con los docentes. Se realizaron dos entrevistas a cada docente encargado de impartir las asignaturas en las que se desarrolló la e-EOA, una durante el transcurso de la materia y la otra una vez terminada.
Diario de campo: De forma complementaria, se utilizó la observación reflejada en un diario sobre el seguimiento de la experiencia en general y la interacción con el resto de participantes. 2.3.2.2. Grupos de control Entrevistas grupales con estudiantes. Se entrevistaron a tres de los cuatro grupos de control una vez finalizadas sus materias del primer cuatrimestre, sumando un total de 26 estudiantes informantes.
Entrevistas con los docentes. De forma previa al pretest se mantuvo una entrevista con cada docente responsable de las asignaturas referencia tomadas como grupos de control. 2.4. Análisis de datos
Con los datos procedentes del Autoinforme COMPES en pretest y postest de los distintos grupos experimentales y de control, se construyó en una matriz de datos utilizando el software estadístico
Statistical Package for the Social Sciences (SPSS) en su versión 15.
En primer lugar se realizaron varios análisis descriptivos básicos por ítems, competencias y grupos mediante el cálculo de estadísticos como las frecuencias, medias, desviaciones típicas y máximos y mínimos. En segundo lugar se reemplazaron los valores perdidos por la media de su serie, de esta forma se completaron los 55 datos perdidos (0,2%). En tercer lugar se calculó el índice total del cuestionario -suma de las valoraciones de todos los ítems del autoinforme- y el índice por competencia -suma de las valoraciones de los ítems agrupados por competencias-. En cuarto lugar, se efectuó la Prueba de Homogeneidad de la Varianza (Test de Levene) con el objeto de comprobar la posible existencia de diferencias internas entre los distintos grupos experimentales y de control en pretest y postest. Por último, se realizó la prueba T de Student para dos muestras para comprobar la posible existencia de diferencias significativas del índice total entre los distintos grupos de análisis y del índice por competencia en pretest-postest. Todos los contrastes se realizaron con un nivel de significación del 1%. 3. Resultados 3.1. Diferencias del análisis descriptivo de pretest-postest
En primera instancia, realizamos la comparación del análisis descriptivo de los resultados de los grupos experimentales y de control en el momento del pretest y del postest. Teniendo en consideración las medias de las valoraciones a cada uno de los 37 ítems del Autoinforme COMPES en el pretest y postest, comprobamos, tal y como se puede observar en la Figura 2, que en los grupos experimentales mejoran las medias de 34 de las 37 actuaciones, lo que representa el 91,90% de las actuaciones, mientras que en los grupos de control tan sólo aumentan en 14 (37,84%) y disminuyen un total de 22 ítems (59,46%). Figura 2: Comparación de medias de los ítems (actuaciones) del autoinforme en pretest y postest de los grupos experimentales y de control. De igual forma, se ha comprobado que la media global de las contestaciones en los grupos experimentales pasa de un 4,5 en el pretest a un 4,7 en el postest, mientras que en los grupos de control se repite un 4,4 de media. Los resultados obtenidos parecen indicar que la percepción sobre el desarrollo de las actuaciones que componen las competencias básicas de los estudiantes de los grupos experimentales aumenta en mayor medida que la percepción de los grupos de control en el contraste pretest-postest. 3.2. Diferencias significativas en pretest-postest Para continuar el estudio contrastaremos si realmente existen diferencias estadísticamente significativas entre los grupos objeto de estudio en los momentos del pretest y el postest. En primera instancia se realizó el Test de Levene para analizar la posible existencia de diferencias en la varianza de los grupos que componen la muestra experimental y de control. En el pretest de los grupos experimentales p = 0,034 y en los grupos de control p = 0,875, en ambos casos p > 0,01. En el postest de los grupos experimentales p = 0,939 y de los grupos de control p = 0,120, también p > 0,01, por lo que en ningún caso existen diferencias significativas en la homogeneidad de la varianza. De esta forma se pueden considerar como grupos homogéneos tanto los grupos de control, como los grupos experimentales.
A continuación se efectuó la prueba T de Student para dos muestras con un nivel de significación del 1%. Se tomó como variable a contrastar el índice total del cuestionario (estadísticos descriptivos en la Tabla 2) y como factor de agrupación el grupo (experimentales y de control) y el momento (pretest y postest). En la Tabla 3 se ofrece un resumen de los resultados obtenidos. Grupo
Tabla 2: Estadísticos descriptivos del índice total del cuestionario
Considerando el factor de agrupación por grupos (experimentales y de control) podemos comprobar que en el prestest no existen diferencias significativas entre los grupos, al ser la significación p = 0,028 mayor que α = 0,01. No obstante, en el postest la significación pasa a ser p = 0,000 menor que α = 0,01, por lo que se puede corroborar la existencia de diferencias significativas entre los grupos experimentales y los grupos de control.
Respecto al factor de agrupación por el momento (prestest y postest), y como parecía indicar el análisis descriptivo, se encuentran diferencias significativas en los grupos experimentales entre sus resultados del pretest y del postest (p = 0,000). En el caso de los grupos de control no se encuentran diferencias entre su pretest y postest, con una significación de p = 0,768, por lo tanto mayor que α = 0,01. t
Error típ. de la diferencia
99% Intervalo de confianza para la diferencia
Agrupación: Grupos (Experimental y control)
Contrastar variable: Índice total
4,28144
1,94660
-,75613
9,31901
11,56060
2,02804
6,30595
16,81524
Agrupación: Momento (pretest y postest)
-6,65128
1,89038
-11,54483
-1,75773
,62788
2,12358
-4,87201
6,12776
Tabla 3: Resumen resultados prueba T
3.3. Estudio transversal de los estudiantes
Prestamos ahora atención a comparar la percepción del nivel competencial de los 272 participantes identificados que realizaron pretest y postest. Para realizar el cálculo, hallamos el nivel de cada competencia en un rango de 4 niveles: poco desarrollada (nivel 1), algo desarrollada (nivel 2), bastante desarrollada (nivel 3) y muy desarrollada (nivel 4). El nivel se obtiene con la siguiente operación: Se calcula la media de las percepciones de las actuaciones asociadas a cada competencia (de 1 a 6), se realiza la ponderación sobre 4 (multiplicando por 2/3) y se redondea.
Hallados los niveles de cada competencia en pretest y postest, se procede a su comparación para contrastar si ha aumentado o disminuido. Posteriormente se realizó el sumatorio de la variación de niveles, si éste era positivo consideramos que el nivel global ha mejorado, si es negativo que ha disminuido y si el sumatorio es cero, consideramos que posee el mismo nivel.
Como se puede comprobar en la Tabla 4, un 58,16% de los participantes identificados de los grupos experimentales mejoran su percepción del nivel competencial globalmente, mientras que el porcentaje en los de control sólo llega al 39,86%. Seguimiento de participantes identificados en pretest-postest
Aumentan su nivel
Desminuyen su nivel
Tabla 4: Participantes que mejoran, disminuyen y mantienen el nivel competencial en pretest-postest.
Así, se pone de manifiesto que durante la investigación la mejora en la percepción del nivel competencial de los participantes de los grupos experimentales se da de forma más generalizada que en los de control, donde el porcentaje de estudiantes que aumentan y disminuyen su nivel es similar.
3.4. Estudio sobre las competencias básicas
Para finalizar el análisis, se profundiza sobre los resultados de las propias competencias básicas reflejadas en las actuaciones del Autoinforme COMPES.
Como se puede observar en la Tabla 5, en todos los casos, es decir, en pretest y postest de los grupos experimentales y de control, se repiten las mismas competencias mejor y peor valoradas, lo que parece indicar la importancia en el trabajo de dichas habilidades antes y durante la investigación. Las competencias mejores valoradas son, en todos los casos y por este orden: trabajo en equipo, analizar la información, comunicación y aplicación de conocimientos. Las competencias con valoraciones más bajas en las cuatro mediciones son: creatividad, evaluación, aprendizaje autónomo y sentido ético. Competencia
Media Pretest
Media Postest
1. Aplicación de conocimientos
4. Analizar información
6. Aprendizaje autónomo
7. Sentido ético
Tabla 5: Comparación de medias y significación de las diferencias de las competencias en pretest-postest de grupos experimentales y de control
Centrándonos en las diferencias entre prestest y postest, se puede apreciar que de las 10 competencias básicas, en los grupos experimentales se mejoran en todas, mientras que los grupos de control lo hacen únicamente en 3 y de forma muy moderada. Las competencias que mejoran de forma significativa entre postest y pretest en los grupos experimentales (α = 0,01) son (Tabla 5): creatividad (+0,35; p = 0,000), evaluación (+0,32; p = 0,000), resolución de problemas (+0,27; p = 0,000) y aprendizaje autónomo (+0,25; p = 0,000), probablemente las cuatro competencias que, efectivamente, más relación tienen con el enfoque y puesta en práctica de la e-Evaluación orientada al aprendizaje. 4. Discusión
Para comprobar el impacto que la e-EOA tiene en la percepción del nivel competencial de estudiantes universitarios, se ha desarrollado una investigación cuasiexperimental, en la que siguió un diseño pretest-postest con grupos experimentales y de control. Nuestra hipótesis de inicio era que la puesta en práctica de las actuaciones de la e-EOA fomentaría un mayor desarrollo de competencias de los estudiantes universitarios que la metodología docente tradicional.
Para recoger información que permitiera contrastar la hipótesis, se diseñó el “Autoinforme de desarrollo de competencias básicas de los estudiantes universitarios” (COMPES), un cuestionario donde se refleja la estimación de la competencia percibida por los estudiantes, que además de recoger datos, es por sí mismo, una oportunidad para la reflexión crítica y la puesta en práctica de estrategias metacognitivas. COMPES está compuesto por 37 ítems que reflejan las actuaciones asociadas a las 10 competencias básicas objeto de estudio. En total han sido 740 cuestionarios cumplimentados entre el prestest y el postest de los grupos experimentales y de control. Después del análisis de los resultados obtenidos, se ha comprobado, en primer lugar, que en los grupos experimentales mejoran las medias de prácticamente todas las actuaciones valoradas del pretest al postest (34 de 37), mientras que en los grupos de control empeoran la mayoría (22 de 37). Las actuaciones que más mejoran en los grupos experimentales son: “adapto mi formación analizando anteriores experiencias de aprendizaje” (+0,45), “cuando me enfrento a situaciones y tareas académicas y/o profesionales, respondo de forma original y novedosa” (+0,54) y “realizo aportaciones pertinentes en diseños y procedimientos de evaluación” (+0,64).
Igualmente, se ha puesto de manifiesto que han existido diferencias significativas entre el pretest y el postest de los grupos experimentales, mientras que en el caso de los grupos de control no se han encontrado divergencias estadísticamente relevantes. Complementariamente, en el caso del pretest no se han hallado diferencias entre los grupos experimentales y de control, mientras que en el postest sí que existe una mejora significativa de los grupos donde se implementó la e-EOA.
Respecto al estudio transversal de los 272 estudiantes identificados, la mayoría de participantes (58.16%) de los grupos experimentales mejora su nivel competencial, mientras que en los grupos de control la mejora sólo llega hasta el 39.86% de los sujetos. De igual forma, se han podido corroborar los hallazgos obtenidos en otros estudios anteriores, a la vez que se ha confirmado en la práctica los pilares de la e-EOA mediante el análisis y seguimiento de las competencias con mayor diferencia entre postest y pretest en los grupos experimentales. En coherencia con lo planteado teóricamente, las competencias que más se han mejorado de forma significativa después de la implantación de las actuaciones de la e-EOA en el ámbito universitario han sido: el aprendizaje autónomo (+0,25) (Boud, 1991; Stefani, 1994), la resolución de problemas (+0,27) (Gibbs, 1981), la capacidad de evaluación (+0,32) (Sivan, 2000; Segers y Dochy, 2001) y la creatividad (+0,35) (Borootchi y Keshavaraz, 2002). Asimismo, se ha podido relacionar la realización de tareas realistas y creativas, la participación en la evaluación de los estudiantes y la aportación de proalimentación con la mejora de las capacidades relacionadas con la autorregulación del aprendizaje, la realización de juicios y la resolución de problemas de forma creativa, habilidades relevantes que pueden suponer un beneficio para el futuro profesional de los estudiantes universitarios.
Con todas las evidencias aportadas se puede confirmar la hipótesis inicial y afirmar que, a tenor de los datos y contrastes estadísticos del estudio, los estudiantes implicados bajo el enfoque de la e-Evaluación orientada al aprendizaje desarrollan significativamente más sus competencias que los estudiantes que cursan sus estudios universitarios con una metodología docente de corte más tradicional.
No obstante, no se pueden obviar ciertas limitaciones de la investigación. Probablemente las mayores dificultades están referidas a los grupos de estudio, en primer lugar por las diferentes peculiaridades que pudieran existir en cada grupo y en cada titulación. En segundo lugar porque se debe reconocer que ni los grupos de control eran totalmente ajenos al uso de las TIC o a ciertos aspectos puntuales de la e-EOA ni los grupos experimentales estaban inmersos con la misma intensidad en todas las asignaturas en una metodología tan innovadora como la propuesta. Este es un sesgo común en muchas investigaciones desarrolladas en el ámbito de la educación en particular y en las ciencias sociales en general. Sin embargo, la investigación desarrollada ha sido una opción viable y efectiva de acercarnos al objeto de estudio.
Otra limitación podría estar referida a la validez de las propias mediciones de las competencias básicas, ya que la realización del Autoinforme COMPES no requiere la puesta en prácticas de las propias competencias, sino que se basa en la concepción de competencia percibida, por lo que podemos considerarla una medición indirecta. Sin embargo, diversos estudios han puesto de manifiesto que los estudiantes parecen ser capaces de juzgar con garantías su propio nivel competencial (Baartman y Ruijs, 2011; Van Dinther, Dochy y Segers, 2011). De igual forma, la realización del autoinforme se convierte por sí misma en una actividad de reflexión con la que se trabaja la metacognición, la autoestima o el autoconcepto (Sundström, 2006). Además, se ha conseguido diseñar un autoinforme sencillo, transferible a otros contextos y que necesita un tiempo reducido para cumplimentarlo, características muy complicadas de lograr con una recogida de información basada en la evaluación externa de las competencias básicas identificadas.
El estudio presentado pretende abrir el camino a otro estudio más general que involucrará a nueve universidades españolas en el contexto del Proyecto Re-Evalúa y que pretenderá confirmar los hallazgos aquí expuestos con unos materiales y métodos similares.
Por último, se considera necesario continuar con la investigación en diversos ámbitos y desde diversas perspectivas de la e-EOA, profundizando en cada uno de sus componentes. De esta forma, se podría completar la definición de una nueva metodología docente con sólidas bases teóricas y prácticas que garantizara, en la mayor medida posible, la adecuación de la enseñanza universitaria con las demandas legislativas, sociales y profesionales del mundo actual. Referencias Baartman, L. & Ruijs, L. (2011). Comparing students’ perceived and actual competence in higher vocational education. Assessment & Evaluation in Higher Education, 36( 4), 385-398.
Barootchi, N. & Keshavarz, M. H. (2002). Assessment of achievement through portfolios and teacher-made tests. Educational Research, 44 (3), 279-288.
Boud, D. (1991). Implementing students self-assessment. Campbelltown: Higher Education Research and Development Society of Australia Incorporated.
Boud, D. (2000). Sustainable assessment: rethinking assessment for the learning society. Studies in Continuing Education, 22 (2), 151-167. Boud, D. & Falchikov, N. (2006). Aligning assessment with long-term learning. Assessment & Evaluation in Higher Education, 31 (4), 399-413.
Boud, B. & Associates (2010). Assessment 2020: Seven propositions for assessment reform in higher education. Sydney: Australian Learning and Teaching Council.
http://www.iml.uts.edu.au/assessment-futures/Assessment-2020_propositions_final.pdf.
Cabero Almenara, J. & Román Graván, P. (Coord.) (2006). E-Actividades. Un referente básico para la formación en Internet. Sevilla: Editorial MAD.
Carless, D. (2003). Learning-oriented assessment. Paper presented at the Evaluation and Assessment Conference, University of South Australia, Adelaide, 25 de noviembre de 2003.
Carless, D. Joughin, G. & Liu, N.F. and associates (2006). How assessment supports learning: learning-oriented assessment in action. Hong Kong University Press.
Carless, D., Joughin, G. & Mok, M.M.C. (2006). Learning-oriented assessment: principles and practice. Assessment & Evaluation in Higher Education,
31 (4), 395-398.
Carless, D., Salter, D., Yang, M., y Lam, J. (2011). Developing sustainable feedback practices. Studies in Higher Education, 36 (4), 395-407.
Gibbs, G. (1981). Teaching students to learn: a students-centred approach. Philadelphia: Open University Press. Gil Flores, J., Álvarez Rojo, V., García Jiménez, E. & Romero Rodríguez, S. (2004). La Enseñanza Universitaria. Planificación y Desarrollo de la Docencia. Madrid: EOS Universitaria.
Gómez Ruiz, M.A., Gallego Noche, B., Ibarra Sáiz, M.S. & Rodríguez Gómez, G. (2010). DiagWeb: Una experiencia de enseñanza basada en proyectos tutorados en Educación Superior mediante una WebQuest alojada en Moodle. RED. Revista de Educación a Distancia, 24. http://www.um.es/ead/red/24/Gomez_Gallego.pdf Gómez Ruiz, M.A., Rodríguez Gómez, G. & Ibarra Sáiz, M.S. (en prensa). COMPES: Autoinforme sobre las competencias básicas relacionadas con la evaluación de los estudiantes universitarios. Estudios sobre Educación.
& Wagenaar, R. (coord.)
(2003). Tuning Educational Structures in Europe.
Final Report Phase One. Bilbao: Universidad de Deusto.
Gulikers, J., Bastiaens, T., & Kirschner, P. (2004). A five-dimensional framework for authentic assessment. Educational Technology Research and Development, 52 (3), 67-85.
Ibarra Sáiz, M.S. (Coord.) (2007). Proyecto SISTEVAL: Recursos para el establecimiento de un sistema de evaluación del aprendizaje universitario basado en criterios, normas y procedimientos públicos y coherentes. Cádiz: Servicio de Publicaciones de la Universidad de Cádiz. http://minerva.uca.es/publicaciones/asp/docs/obrasDigitalizadas/sisteval/sisteval.html Ibarra-Sáiz, M.S., Rodríguez-Gómez, G. & Gómez-Ruiz, M.A. (2010). La planificación basada en competencias en los másteres oficiales: Un reto para el profesorado universitario. RELIEVE, 16
(1). http://www.uv.es/RELIEVE/v16n1/RELIEVEv16n1_6.htm.
Ibarra Sáiz, M.S., Rodríguez Gómez, G. & Gómez Ruiz, M.A. (2012). La evaluación entre iguales: Beneficios y estrategias para su práctica en la universidad.
Revista de Educación, 359, 206-231.
DOI: 10.4438/1988-592X-RE-2011-359-092.
JISC (2007). Effective Practice with e-Assessment. An overview of technologies, policies and practice in further and higher education. http://www.jisc.ac.uk/media/documents/themes/elearning/effpraceassess.pdf.
JQI (Joint Quality Initiative) (2004). Shared ‘Dublin’ descriptors for Short Cycle, First Cycle, Second Cycle and Third Cycle Awards. http://www.eua.be/typo3conf/ext/bzb_securelink/pushFile.php?cuid=2556&file=fileadmin/user_upload/files/EUA1_documents/dublin_descriptors.pdf.
Moreno Ger, P., Fuentes Fernández, R., Sierra, J.L., Fernández Manjón, B. (2009). Model-checking for Adventure Videogames. Information and Software Technology, 51(3), 564-580.
http://www.e-ucm.es/drafts/e-UCM_draft_106.pdf.
Nicol, D. & MacFarlane-Dick, D. (2006).
Formative assessment and self-regulated learning: a model and seven principles of good feedback practice. Studies in Higher Education, 31 (2), 198-218.
Olmos Migueláñez, S. & Rodríguez Conde, M.J. (2011). El profesorado universitario ante la e-evaluación del aprendizaje. ESE. Estudios sobre educación, 20, 181-202.
Padilla Carmona, M.T. & Gil Flores, J. (2008).
La evaluación orientada al aprendizaje en la Educación Superior: condiciones y estrategias para su aplicación en la docencia universitaria. Revista Española de Pedagogía, 241, 467-486.
Pozo Municio, J.I. & Monereo Font, C. (2002). El aprendizaje estratégico. Enseñar a aprender desde el currículo. Madrid: Aula XXI. Santillana.
Prensky, M. (2001). Digital natives, digital immigrants. On the Horizon, 9(5), 1-6. http://www.marcprensky.com/writing/Prensky - Digital Natives, Digital Immigrants - Part1.pdf Rodríguez Gómez, G. (Dir.) (2009). EvalHIDA: Evaluación de Competencias con Herramientas de Interacción Dialógica Asíncronas (foros, blogs y wikis). Servicio de Publicaciones de la Universidad de Cádiz. http://www.tecn.upf.es/~daviniah/evalhida.pdf Rodríguez Gómez, G. & Ibarra Sáiz, M.S (Eds.) (2011). e-Evaluación orientada al e-Aprendizaje estratégico en Educación Superior. Madrid: Narcea.
Rodríguez Gómez, G., Ibarra Sáiz, M.S. & Gómez Ruiz, M.A. (2011). e-Autoevaluación en la universidad. Un reto para profesores y estudiantes. Revista de Educación, 356, 401-430.
DOI: 10-4438/1988-592X-RE-2010-356-045.
Rodríguez Gómez, G., Ibarra Sáiz, M.S., Dodero Beardo, J.M., Gómez Ruiz, M.A., Gallego Noche, B., Cabeza Sánchez, D., Quesada Serra, V. & Martínez del Val, A. (2009). Developing the e-Learning-oriented e-Asessment. En A. Méndez Vilas, A. Solano Martín, J. Mesa González & J.A. Mesa González (Eds.), Research, Reflections and innovations in Integrating ICT in Education, vol. 2 (pp.515-519). Lisboa: Formatex.
Rué Domingo, J. (2008). Formar en competencias en la universidad: entre la relevancia y la banalidad. Red U. Revista de Docencia Universitaria,
numero monográfico 1 “Formación centrada en competencias”. http://revistas.um.es/redu/article/view/10631/10221. Segers, M. & Dochy, F. (2001). New assessment forms in problem-based learning: the value-added of the students’ perspective. Studies in Higher Education, 26(3), 327-343.
Sivan, A. (2000). The implementation of peer assessment: an action research approach. Assessment in Education, 7(2), 193-213.
Stefani, L.A.J. (1994). Peer, self and tutor assessment: relative reliabilities. Assessment and Evaluation in Higher Education, 19(1), 69-75.
Sundström, A. (2006). Beliefs about perceived competente. A literature review (EM 55). Suecia: Universidad de Umea. http://www.edusci.umu.se/digitalAssets/59/59536_em-nr-55.pdf
Van Dinther, M., Dochy, F. & Segers, M. (2011). Factors affecting students’ self-efficacy in higher education. Educational Research Review, 6, 95-108.
[1] El cuestionario COMPES está disponible en:
http://avanza.uca.es/evalfor/docs/Autoinforme_COMPES.pdf
[2] Proyecto de excelencia “Re-Evalúa: Reingeniería de la e-Evaluación, tecnologías y desarrollo de competencias en profesores y estudiantes universitarios” con ref. P08-SEJ-03502, financiado por la Consejería de Innovación, Ciencia y Empresa de la Junta de Andalucía.
Gómez-Ruiz, Miguel-Ángel (miguel.gomez@uca.es). Profesor del área de 'Métodos de Investigación y Diagnóstico en Educación (MIDE) de la Facultad de Ciencias de la Educación de la Universidad de Cádiz (España). Es el autor de contacto para este artículo. Sus principales ámbitos de investigación son la e-Evaluación y la evaluación educativa. Miembro del grupo de investigación EVALfor. Su dirección postal es: Facultad de Ciencias de la Educación. Campus Universitario de Puerto Real. 11510 - Puerto Real, Cádiz (España).
Buscar otros artículos de este autor en Google Académico / Find other articles by this author in Scholar Google Rodríguez-Gómez, Gregorio (gregorio.rodriguez@uca.es). Profesor titular del área de 'Métodos de Investigación y Diagnóstico en Educación' (MIDE) de la Universidad de Cádiz (España). Sus principales ámbitos de investigación son la metodología cualitativa y la evaluación educativa. Fue el fundador y primer Director Ejecutivo de RELIEVE, desde 1994 hasta el año 2001. Su dirección postal es: Facultad de Ciencias de la Educación. Campus Universitario de Puerto Real. 11510 - Puerto Real, Cádiz (España). Buscar otros artículos de este autor en Google Académico / Find other articles by this author in Scholar Google Ibarra-Sáiz, Mª Soledad (marisol.ibarra@uca.es). Profesora titular del área de 'Métodos de Investigación y Diagnóstico en Educación' (MIDE) de la Universidad de Cádiz (España). Dirige el grupo de investigación EVALfor. Su principal ámbito de investigación es la evaluación educativa. Su dirección postal es: Facultad de Ciencias de la Educación.
Campus Universitario de Puerto Real. 11510 - Puerto Real, Cádiz (España). Buscar otros artículos de esta autora en Google Académico / Find other articles by this author in Scholar Google ARTICLE RECORD / FICHA DEL ARTÍCULO
19 (1), art. 1. DOI: 10.7203/relieve.19.1.2457
Desarrollo de las competencias básicas de los estudiantes de Educación Superior mediante la e-Evaluación orientada al aprendizaje. [Development of basic competences of students in Higher Education through Learning Oriented e-Assessment].
Gómez-Ruiz, Miguel-Ángel; Rodríguez-Gómez, Gregorio & Ibarra-Sáiz, Mª Soledad Review / Revista
RELIEVE (Revista ELectrónica de Investigación y EValuación Educativa), v. 19, n. 1
2012 (Reception Date: 2012 October 18 ; Approval Date: 2013 April 26.
Publication Date: 2013 April 28)
Learning Oriented Assessment, e-Assessment, basic competences, Higher Education. Evaluación orientada al aprendizaje, e-Evaluación, competencias básicas, Educación Superior.
Facultad de Ciencias de la Educación. Universidad de Cádiz (España).
Volumen 19, n. 1

References: resolución 
 resolución 
 resolución 
 resolución 
 resolución 
 resolución 
 ARTÍCULO
19