La rúbrica como herramienta de autoevaluación, proceso permanente, participativo y reflexivo para la mejora continua en la formación del alumno: un caso práctico.
Silvia Nuere1 ; Raúl Díaz-Obregón2.
Recibido: 22 de junio de 2018 / Aceptado: 27 de junio de 2018.
Resumen. La inclusión de asignaturas artístico-creativas en la titulación de Ingeniería en Diseño Industrial y Desarrollo de Producto de la Universidad Politécnica de Madrid nos induce a buscar en métodos de evaluación que puedan reforzar el concepto de objetividad.
Como herramienta de evaluación se propone la rúbrica de valoración con el fin de facilitar al alumno los conceptos que serán evaluados y los distintos niveles de adquisición que podrán cumplir para obtener cada calificación.
Al considerar la rúbrica de evaluación como una herramienta objetiva, se considera que el alumno no solo dispondrá de ella para conocer con exactitud cuáles serán los criterios de evaluación, si no también, para que sean reflexivos y realicen sus trabajos de acuerdo a los objetivos que se les demandan. Como forma de verificación de la eficacia de este proceso se les propone que se autoevalúen utilizando dicha herramienta.
Para la realización de este caso práctico se cuenta con dos asignaturas repartidas entre el primer y segundo semestre del curso 2017-2018 del Grado en Ingeniería en Diseño Industrial y Desarrollo de Producto y el Doble Grado en Ingeniería en Diseño Industrial y Mecánica y la participación de 210 alumnos.
Palabras clave: Educación superior; autoevaluación, evaluación por pares; rúbrica de evaluación;
educación permanente; Diseño Industrial; asignaturas artísticas.
[en] The Rubric as a Self-Assessment Tool, Permanent, Participatory and Thoughtful Process for the Permanent Training of the Student: a Practical Case.
Abstract. The inclusion of artistic-creative subjects in the Degree in Industrial Design Engineering and Product Development at the Polytechnic University of Madrid leads us to think about evaluation methods that can reinforce the concept of objectivity.
The rubric of assessment is introduced in order to facilitate the concepts that are going to be evaluated. Students will know in advance these concepts so they will work with the objective of acquiring the best marks for their proposals.
We consider that the rubric will appear to the student as an objective tool for them to be evaluated. The student will work knowing all the criteria so they will think about the aims previously shown.
We also want them to collaborate in their assessment in a thoughtful way. We want them to be trained in a critical vision of their work. During this study we have worked with two subjects of the degree in engineering in industrial design and product development and the double degree in engineering in industrial design and mechanics during the 2017-2018 school year and the participation of 210 students. Keywords: Higher education; self-evaluation; evaluation by peers; rubric evaluation; long life learning; Industrial Design; artistic subjects.
Sumario: 1. Introducción. 2. Procesos de evaluación. 2.1. Rúbrica de evaluación. 2.2. Autoevaluación.
3. Caso práctico. 3.1. Objetivos. 3.2. Método. 3.2.1. Participantes. 3.2.2. Diseño del estudio.
3.2.3. Procedimiento. 3.2.4. Preguntas de investigación. 3.2.5. Análisis de los resultados.
3.3. Resultados. 3.4. Discusión. 4. Conclusiones. Referencias.
Cómo citar: Nuere, S.; Díaz-Obregón, R. (2018) La rúbrica como herramienta de autoevaluación, proceso permanente, participativo y reflexivo para la mejora continua en la formación del alumno: un caso práctico. Arte, Individuo y Sociedad 30(3), 657-672.
1. Introducción.
Durante los últimos años se ha prestado atención a diferentes alternativas de evaluación, introduciéndolas en la educación superior (Birenbaum & Dochy, citado en Dochy, Segers & Sluijsmans, 1999) y de esa manera, la forma de evaluar ha ido cambiando hacia nuevos métodos que no están únicamente basados en la función del docente. En un mundo global donde el alumno tiene acceso a gran cantidad de información, éste se convierte en una persona activa que comparte la responsabilidad, colabora y mantiene un diálogo continuo con el profesor. En este procedimiento, el alumno es capaz, aún sin ser consciente, de participar de un proceso de evaluación. Esta nueva aproximación paralela con la vida real, permite trasladarlo al espacio educativo. Entre las competencias incluidas en el Grado, el estudiante debe aprender para formarse a lo largo de la vida y por tanto debe poseer herramientas que les facilite la tarea de autoevaluación con el objetivo de seguir avanzando en su formación continua.
En el apartado práctico se analiza y se describe el uso de la autoevaluación en un contexto de aprendizaje mixto, tanto en una evaluación a través de las prácticas propuestas por el profesor, como con la herramienta incluida en la plataforma Moodle llamada “taller” que permite proporcionar una evaluación entre pares, sin la intervención del profesor.
A continuación se presentan los resultados de la investigación. El método utilizado se basa en la puesta en marcha de la autoevaluación por parte de los alumnos, comparando posteriormente estos datos con los propuestos por el profesor. Consideramos este método, un método experimental que pueda sentar las bases para profundizar en la necesidad de implantar la autoevaluación por parte de los alumnos en los estudios universitarios superiores. Para facilitar la tarea de autoevaluación ponemos a disposición del alumno rúbricas de evaluación para que tengan claros, en todo momento, los criterios de evaluación, no sólo al final del ejercicio, si no también, durante la realización del proyecto a modo de guía.
Esta investigación analiza en una primera instancia el contexto en el que se desarrollará así como los conceptos asociados a los procesos de evaluación incluyendo en estos mismos la rúbrica de evaluación y el concepto de autoevaluación.
Como punto de partida en cada grupo de análisis se plantea un test inicial para conocer el grado de conocimiento sobre las rúbricas de evaluación. Posteriormente se implantan las rúbricas particulares de cada planteamiento práctico llevado a cabo en el aula y solicitando al alumno que las rellenen de acuerdo a lo que hayan entregado.
Como resultados a analizar contamos con las calificaciones otorgadas por el propio estudiante así como las otorgadas por el profesor. El análisis de estos resultados de manera comparativa nos facilitará las conclusiones al caso práctico. Con ello determinaremos la capacidad del alumno para autoevaluarse y por otro la utilidad de las rúbricas como herramientas de evaluación objetiva.
Antes de comenzar a exponer el método empleado y los resultados obtenidos, pasaremos a definir los conceptos que consideramos necesarios conocer para contextualizar nuestra investigación.
2. Procesos de evaluación.
Si se tiene en cuenta que los futuros egresados deberán incorporarse al mercado laboral una vez finalizados sus estudios, debemos considerar una reformulación de la enseñanza superior con el fin de dotar a los alumnos de herramientas que les proporcionen medios para ser capaces de planificar y mantener un seguimiento de su propio proceso de aprendizaje. Es necesario que actúen de forma autónoma y por ello se deben fomentar espacios de aprendizaje donde el alumno comience a adoptar un papel activo en su formación.
2.1. La Rúbrica de Evaluación.
Según palabras de Alsina (2013), mediante la rúbrica, un objeto cualitativo está relacionado con objetos cuantitativos para ofrecer al alumno una serie de criterios de evaluación cuantificando pero también describiendo el grado de resolución.
La rúbrica de evaluación está pensada para propiciar una evaluación de los estudiantes más equitativa y justa (Alcón-Latorre y Menéndez-Varela, 2015). El entorno de aprendizaje en el que se pone en práctica esta investigación aúna dos tipos de materias diferenciadas aparentemente como son las técnicas y las artísticas. Sin embargo, esta situación hace necesario plantear nuevas conexiones entre arte y ciencia y por tanto introducir un sistema de evaluación objetivo e integrador (Díaz-Obregón y Nuere, 2017). La introducción de nuevas materias directamente relacionadas con aspectos humanistas, y alejados de la fuerte tradición en ingeniería, hace necesario la valoración de aspectos más creativos y por tanto introduce conceptos, hasta ese momento impensables. Desde hace más de una década venimos trabajando en la necesidad de reforzar los lazos existentes entre ciencia y arte para mejorar la formación de los alumnos. Entendemos el arte como el desarrollo de actividades intelectuales que permiten al alumno crear o interpretar, favoreciendo la autoexpresión y las cualidades perceptivas del estudiante. La rúbrica, por tanto, debe convertirse en una herramienta que incentive al alumno a considerar la clara posibilidad de evaluar de manera objetiva las propuestas realizadas por los alumnos en asignaturas fuertemente relacionadas con evaluaciones subjetivas y sin criterio previo aparente.
2.2. La autoevaluación y evaluación de pares.
La autoevaluación se refiere a la implicación de los estudiantes para hacer juicios a partir de su propio aprendizaje, particularmente a partir de sus logros, considerando como mencionan Fuentes-Medina y Herrero, que el agente evaluador y el sujeto evaluado coinciden realizando esta tarea desde una visión autocrítica. Obviamente esto no aporta aspectos novedosos en cuento a metodología, pero lo que sí nos proporciona es una forma objetiva de valoración en materias artístico-creativas que nos permite incrementar el papel de los estudiantes como actores activos participando en su propio aprendizaje.
Tres son los conceptos asociados a la autoevaluación, la habilidad de los alumnos para evaluarse, el efecto que les produce y por último, la repercusión de este aprendizaje a lo largo de la vida.
En cuanto a la evaluación de pares, los estudiantes valoran el trabajo de sus compañeros desarrollando las capacidades de reflexión y el producto del aprendizaje (Somervell, citado en Bretones, 2008). Según Bretones, este modelo de evaluación puede ser cuestionable desde el punto de vista sumativo, sin embargo consideramos que la herramienta utilizada para llevarla a cabo, “El Taller” del campus virtual Moodle, dispone de mecanismos que incentivan al alumno a realizar una buena valoración de los trabajos que le son asignados. Esta plataforma permite a los alumnos realizar evaluaciones por pares bajo los criterios y especificaciones realizadas por los docentes.
Las aportaciones de Boud y Molloy de 2013, son el punto de partida para tener en consideración la necesidad de que el alumno, a lo largo de su aprendizaje, obtenga una continua retroalimentación sobre sus logros. Consideramos, pues, que la participación del alumno en su evaluación es un paso esencial para mejorar su aprendizaje. Todo proceso de reflexión crítica sobre los pasos a seguir en la adquisición de conocimientos por parte del alumno refuerza su autoestima y por tanto su capacidad para enfrentar nuevos retos y por ende superarlos. De esta manera estamos reforzando la capacidad del alumno para enfrentarse a su inserción en el mercado laboral, espacio en el que deberá poner en funcionamiento un continua evaluación de sus actos y decisiones con el fin de superar los retos y adquirir nuevas metas. El estudiante posee una capacidad creativa capaz de participar activamente en su proceso de evaluación tal como pone de manifiesto la revisión realizada por Bretones (2008) en su publicación.
El alumno mediante la participación en su evaluación se convierte en un aprendiz que gestiona sus propios procesos de aprendizaje facilitándole un avance hacia un mayor conocimiento. Implicar al alumno en este aspecto autocrítico es una motivación añadida en su aprendizaje.
3. Caso Práctico
3.1. Objetivos.
A continuación se enumeran los principales objetivos de este estudio práctico.
Utilizar la rúbrica como herramienta necesaria para una evaluación objetiva en asignaturas de fuerte carácter artístico-creativo. Fomentar la autoevaluación como herramienta necesaria para la formación crítica del alumno, mediante el manejo de criterios objetivos de evaluación.
3.2. Método
3.2.1. Participantes.
La muestra se compone de 210 alumnos estudiantes del Grado en Ingeniería en Diseño Industrial y Desarrollo de Producto y del Doble Grado en Ingeniería en Diseño Industrial y Mecánica, de la Universidad Politécnica de Madrid. Se desarrolla en el marco de los dos semestres del curso 2017-2018. Los alumnos utilizarán para cada ejercicio propuesto una rúbrica de evaluación específica de dicho ejercicio.
Los estudiantes pertenecen a $1 ^ { \circ }$ y $2 ^ { \circ }$ curso, es decir que están en una franja de edad de entre $1 8 \mathrm { y } 2 0$ años.
3.2.2. Diseño del estudio.
Se trata de un estudio experimental con diversos grupos de acuerdo a las asignaturas de los grados involucrados.
Antes de llevarlo a cabo se realiza un test inicial para conocer el grado de conocimiento de la rúbrica como herramienta de evaluación. Así mismo los profesores implicados diseñan las distintas rúbricas para las asignaturas escogidas de 1er y 2do curso. Por cada asignatura se realizan 4 ejercicios diferentes a lo largo del curso, siendo uno de ellos, en cada asignatura, realizado en grupo.
La aplicación de las rúbricas se desarrolla a lo largo del curso 2017-2018 durante el primer y segundo semestre. El primer semestre se desarrolla con los alumnos de 2do curso y la asignatura de Diseño Básico y el segundo semestre con los alumnos de 1er curso y la asignatura de Dibujo Artístico.
Por otro lado, se configura la herramienta “Taller” comprendida en la plataforma Moodle. Dentro de la actividad que llevarán a cabo en este ejercicio, se desarrolla la rúbrica de evaluación que será utilizada por los estudiantes para evaluarse entre ellos. En esta actividad los profesores responsables de las asignaturas no evalúan.
Después del test inicial, se imparte una clase a todos los grupos para que los alumnos conozcan y entiendan el funcionamiento de las rúbricas y puedan posteriormente aplicarlas. Los apartados expuestos son a) qué es una rúbrica, b) conceptos y criterios, c) niveles de evaluación y d) cómo aplicar una rúbrica.
Las rúbricas se han desarrollado para ayudar a los estudiantes a entender los objetivos de aprendizaje de cada ejercicio y facilitarles información útil para el desarrollo de sus proyectos.
En la estructura de la rúbrica, los criterios de evaluación se organizan en distintos bloques enfocados tanto a aspectos conceptuales como de procedimiento. A continuación se muestra un ejemplo, correspondiente al ejercicio sobre fotografía (Figura 1). Esta estructura es similar para el resto de ejercicios.
3.2.2. Procedimiento.
Para cada proyecto solicitado se entrega a los estudiantes una ficha que contiene los objetivos del mismo, los contenidos que deben conocer para realizar correctamente el ejercicio, la forma de presentación, así como los criterios de evaluación. Conjuntamente a este documento se entrega una hoja que contiene la rúbrica de evaluación equivalente a ese ejercicio.
La evaluación considerará la información relevante en relación a los criterios expuestos en la rúbrica. A cada criterio se debe asignar una nota numérica. El alumno se valorará con una nota numérica en una escala de 0 a 10, escala habitual en el sistema educativo español. El profesor hará lo mismo a excepción del ejercicio realizado mediante la herramienta “Taller” de la plataforma Moodle. Las notas más bajas corresponden a las franjas comprendidas entre 0-2 y 3-4, siendo ambas equivalentes a un suspenso, de 5 a 6 aprobado, de 7 a 8 notable y de 9 a 10 sobresaliente.
El estudio incluye un total de 760 evaluaciones de los 210 alumnos de la muestra, teniendo en cuenta que en algunos casos las rúbricas estaban incompletas.
A lo largo del curso y teniendo en cuenta los comentarios de los alumnos, se han desarrollado mejoras en las rúbricas. En general se ha optado por resumir y sintetizar el contenido para que sea más accesible y claro al estudiante.
En el segundo semestre se introduce otra mejora, al incluir en cada bloque de calificación un recuadro para que el alumno pueda matizar la calificación numérica que se otorga.
Al finalizar el curso se plantea un test final para conocer el grado de satisfacción de este método de evaluación, así como el interés por seguir utilizándolo.
3.2.4. Preguntas de investigación.
Las preguntas de investigación planteadas en este estudio fueron las siguientes:
¿La rúbrica de evaluación se presenta como una herramienta que facilita la objetividad en la evaluación de asignaturas artístico creativas?
¿Es capaz el alumno de autoevaluarse utilizando las rúbricas de evaluación? ¿Mejora su rendimiento académico y proporciona un material didáctico útil para su aprendizaje?
¿Sirve para definir, acercar y mejorar la percepción de las asignaturas artísticas en entornos técnicos?
3.2.5. Análisis de los resultados.
Para el análisis de los resultados se ha realizado una tabla por cada ejercicio donde constan las calificaciones otorgadas por el profesor para cada proyecto y a continuación la calificación que se ha otorgado el alumno.
Se han realizado siete tablas equivalentes a los ocho ejercicios, multiplicados por los dos grupos a los que se les ha realizado la investigación. A continuación se ha restado a la calificación global otorgada por el profesor, la calificación que cada alumno se ha puesto, obteniendo de esta forma la diferencia bien positiva o bien negativa o la igualdad entre ambas calificaciones.
Se muestra a continuación, a modo de imagen, parte de una tabla como ejemplo del procedimiento llevado a cabo en la recogida de datos (Figura 2).
Diferencia: Nota profesor menos.
A modo de resumen, se han realizado también cuadros que resumen los resultados obtenidos por cada ejercicio en cada una de las asignaturas.

Figura 3. Resumen de datos.
En el caso de la evaluación de pares, la propia herramienta “Taller” permite conocer la capacidad de evaluación de cada alumno en comparación con el resto de calificaciones otorgadas a un mismo alumno.
Evaluación de pares mediante la herramienta Taller de Moodle.
Para la evaluación de pares, se ha utilizado la herramienta Taller disponible en la plataforma Moodle. A través de ella los estudiantes enviaron su propio trabajo y recibieron los envíos de otros compañeros que debían evaluar de acuerdo a las especificaciones previamente establecidas por el profesor. Se otorgaron dos calificaciones, por un lado la media de la calificación otorgada por tres compañeros al trabajo del estudiante, y por otro lado, una calificación de sus habilidades para la evaluación de pares. Considerando que es importante la participación de los alumnos de nuestro Grado en otras actividades con las que colaboramos activamente, la Asociación de estudiantes Etsidi-Design participó como integrante de las evaluaciones de los trabajos presentados. Varios miembros de su asociación, estudiantes todos ellos, se involucraron en esta actividad con el fin de una vez finalizada, poder seleccionar los mejores trabajos para su publicación en el blog que dirigen.
Se muestra a continuación la imagen global de los pasos que se siguen a través de esta herramienta (Figura 4). Previamente y de manera general, se incluye en la descripción del Taller las características del proyecto a realizar (Figura 5) así como el proceso de trabajo, los objetivos del mismo y las partes de que constará el trabajo, su formato de presentación y tiempo de realización. Los alumnos debían realizar en grupo una entrevista a un diseñador conocido.

Figura 4. Diferentes etapas de evaluación.

Figura 5. Descripción general de las tareas a realizar en el proyecto solicitado.
Es importante saber que se incluye también una guía sobre los aspectos a tener en cuenta a la hora de evaluar los trabajos. Para dejar constancia de los parámetros a evaluar, los estudiantes disponen de una rúbrica de evaluación que les servirá de guía, en cada parámetro, no solo para la calificación de sus compañeros, si no también, como información necesaria y previa para orientar bien sus proyectos. Por cada aspecto solicitado en el proyecto (Investigación, Redacción, Síntesis de materiales, Preguntas previas a la entrevista, Imágenes, Multimedia y Referencias, Anexos y Evaluación global) se subió a la plataforma una rúbrica de evaluación.
Se incluye a modo de ejemplo la rúbrica del último parámetro solicitado, la evaluación global de la entrevista (Tabla 1).
Tabla 1. Rúbrica de evaluación del apartado 7.

Aspecto 7
Evaluacion global
Descripcion
EXCELENTE (9-10)
Laentrevista constituye un todo coherente y cohesionado con pleno sentido.Se ha combinadouna correcta eleccion previa de preguntas (que profundizan en puntos relevantes) con una reaccionyadaptacion progresiva a las respuestas a lo largo de la conversacion.La entrevista se construye de forma dinamica desde la fase previa hasta el momento in situ dela conversacion realEl tono yel estilo es muy adecuado para el ämbito de la publicacion
NOTABLE (8-7)
Se ha estructurado correctamente una entrevista que profundiza en el trabajo del interlocutor,siguiendo una linea fluida ycoherente de preguntas y respuestas.Se ahonda en temas ycuestionesrelevantes.El tono y el estilo es adecuado para el ämbito de la publicacion
APROBADO (6-5)
Las preguntas presentan coherencia_y cohesion entre ellas, formando una entrevista fluida,pero no extraen informacion novedosa o desconocida,incidiendo en datos que pueden ser obtenidosfacilmente en la investigacion previa.El tono y el estilo en ocasiones no es el apropiado para el ambito de la publicacion.
SUSPENSO (4-3)
Las preguntas no inciden en informacion relevante, ni extraen datos,opiniones ni testimoniosnuevos.No forman un todo cohesionado y coherente, sino que son preguntas aisladas y aleatorias.El tono y el estilo no es el apropiado para el ämbito de la publicacion.
SUSPENSO BAJO (2-1)
No cumple los requisitos anteriores

.
En la siguiente imagen, a modo de ejemplo de calificación obtenida por un alumno (Figura 6), se puede observar por un lado, en la columna de la izquierda el alumno que ha subido el trabajo, con el título del mismo. En la siguiente aparecen las calificaciones que ha recibido y la media resultante. En la última, los dos compañeros que ha evaluado, y en consecuencia, en comparación a las calificaciones de los otros compañeros, la media resultante de lo cercano que ha estado con respecto a la evaluación de los demás. Esta calificación está en base a 20 puntos que es el porcentaje que se adjudicaba a la nota final. La nota final de su trabajo parte del $80 \%$ de la media asignada por sus compañeros más los puntos obtenidos de su capacidad de evaluación. Podemos decir que en este caso, el alumno recibirá la nota de ( $^ { 7 8 , 3 \mathrm { ~ x ~ } }$ $8 0 \% ) + 1 8 , 3 = 6 2 , 6 4 + 1 8 , 3 = \bar { 8 } 0 , 9 4$ .

Figura 6. Visualización de calificación de la herramienta Taller de Moodle.
3.3. Resultados.
A continuación se exponen los datos más significativos recogidos del test inicial sobre la rúbrica de evaluación:
El $70 , 5 5 \%$ de los estudiantes no habían oído hablar de las rúbricas de evaluación y un $2 9 , 4 5 \%$ sí había oído este medio de evaluación de los cuales al 21, $2 \%$ sí había sido evaluado mediante una rúbrica.
Después de explicar a los alumnos las características esenciales de las rúbricas, el $7 \bar { 6 } , 7 \%$ contestó afirmativamente a considerarlas como un posible método objetivo de evaluación.
Hay una consideración generalizada de que las asignaturas artísticas tienden a evaluarse de manera subjetiva $( 7 1 , 8 \% )$ . Las anotaciones hechas por los alumnos hacen referencia a la posibilidad de que el gusto particular del profesor influya en la calificación de los ejercicios. Y de la misma manera, consideran que la rúbrica de evaluación ayudará a que estas evaluaciones sean menos subjetivas $( 8 0 , 9 5 \% )$ .
El $8 4 , 5 5 \%$ de los encuestados, teniendo claros los criterios de evaluación, se consideran capaces de autoevaluarse y el $7 7 , 6 5 \%$ se considera capacitado para participar en su proceso de enseñanza-aprendizaje mediante la autoevaluación.
En el ejercicio realizado mediante la herramienta “Taller” recordamos que el profesor no ha intervenido en la evaluación. En este caso se ha de destacar que en la media obtenida que mide la capacidad del alumno para la evaluación de sus compañeros ha sido de 17,6 puntos sobre 20. Si hacemos la equivalencia a lo que sería la calificación sobre 10, obtendríamos una nota de 8,8, calificación muy alta, dato que nos confirma la capacidad del alumno para llevar a cabo una evaluación objetiva y justa. Sólo se ha encontrado un caso en el que la calificación equivalente a 10 estaría por debajo del aprobado, con una nota de 4,55.
Entre el resto de ejercicios, dividimos los resultados entre el primer semestre en el que se ha desarrollado la asignatura Diseño Básico de segundo curso, contando con tres ejercicios y el segundo semestre donde ha tenido lugar la asignatura de Dibujo Artístico de primer curso, contando con cuatro ejercicios.
A continuación se exponen los datos numéricos obtenidos de las diferentes tablas. Se compara la evaluación aportada por el profesor con la que se ha otorgado el alumno en cada ejercicio
1er semestre. Autoevaluación y evaluación profesores
- Ejercicio 1: Diferencia positiva hacia el alumno: $2 9 \%$ con una media de 0.58 puntos a favor del alumno. Diferencia negativa hacia el alumno: $22 \%$ con una media de 0.59 puntos a favor del alumno. Igualdad en cuanto a calificación: $4 , 7 \%$ Rúbricas incompletas: $4 0 , 7 \%$
- Ejercicio 2: Diferencia positiva hacia el alumno: $43 \%$ con una media de 0.74 puntos a favor del alumno. Diferencia negativa hacia el alumno: $3 7 { , } 2 \%$ con una media de 0.64 puntos a favor del alumno. Igualdad en cuanto a calificación: $1 { , } 2 \%$ Rúbricas incompletas: $1 8 { , } 6 \%$
- Ejercicio 3: Diferencia positiva hacia el alumno: $2 5 \%$ con una media de 0.4 puntos a favor del alumno. Diferencia negativa hacia el alumno: $6 4 { , } 3 \%$ con una media de 1,1 puntos a favor del alumno. Igualdad en cuanto a calificación: $0 \%$ Rúbricas incompletas: $1 0 , 7 \%$
2do semestre. Autoevaluación y evaluación profesores
- Ejercicio 1:
Diferencia positiva hacia el alumno: $2 6 { , } 3 \%$ con una media de 1.1 puntos a favor del alumno.
Diferencia negativa hacia el alumno: $47 \%$ con una media de 1.17 puntos a favor del alumno.
Igualdad en cuanto a calificación: $2 6 \%$
Rúbricas incompletas: $0 { , } 7 \%$
- Ejercicio 2:
Diferencia positiva hacia el alumno: $58 \%$ con una media de 0.7 puntos a favor del alumno.
Diferencia negativa hacia el alumno: $41 \%$ con una media de 0.6 puntos a favor del alumno.
Igualdad en cuanto a calificación: $0 \%$.
Rúbricas incompletas: $1 \%$
- Ejercicio 3:
Diferencia positiva hacia el alumno: $1 8 { , } 2 \%$ con una media de 0.4 puntos a favor del alumno.
Diferencia negativa hacia el alumno: $54 \%$ con una media de 0.5 puntos a favor del alumno.
Igualdad en cuanto a calificación: $2 7 \%$.
Rúbricas incompletas: $0 { , } 8 \%$
- Ejercicio 4:
Diferencia positiva hacia el alumno: $54 \%$ con una media de 0.6 puntos a favor del alumno.
Diferencia negativa hacia el alumno: $2 9 \%$ con una media de 0.7 puntos a favor del alumno.
Igualdad en cuanto a calificación: $1 5 { , } 8 \%$
Rúbricas incompletas: $0 { , } 8 \%$.
En cuanto al test final sobre la utilización de la rúbrica se han obtenido los siguientes resultados:
– El $8 7 , 8 \%$ de los estudiantes considera que la rúbrica de evaluación les ha ayudado a conocer mejor los criterios de evaluación. El $8 0 { , } 5 \%$ considera que la información de la rúbrica le ha ayudado a saber con más precisión el trabajo a realizar. El $6 \bar { 5 } { , } 8 \%$ considera que ha sido un sistema objetivo de evaluación, contestando el 26,8 que no sabe. A la pregunta de si se consideran capaces de autoevaluarse, el 70,6 considera que sí, y un $1 4 { , } 6 \%$ no lo sabe. Un $90 \%$ desea que las rúbricas de evaluación se empleen en otras asignaturas. Podemos recoger algunos de los comentarios añadidos en dicho test por parte de los alumnos en cuanto a los aspectos que consideran más relevantes con el uso de la rúbrica de evaluación: “Describir los criterios de evaluación, ayuda a comprender de qué manera se evalúa una asignatura creativa.” “La valoración que le das a tu trabajo final, es decir, la nota que te pones. Ya que te obliga a ser sincero contigo mismo y mejorar lo que creas que te fue deficiente.” “El criterio de corrección del ejercicio se explica bastante detalladamente y esto ayuda en realizar mejor un trabajo.” “La autocrítica.”
“La autoevaluación y la explicación de las partes del trabajo porque sabiendo los apartados que aparecen en la rúbrica sabes más o menos cómo tienes que hacer el trabajo y, así aspiras a mejorar tu nota.”
“La justificación de cada calificación para saber cuáles son los errores.” “Dar objetividad a las entregas en un ámbito de diseño y arte, para poder establecer notas con criterio en cada uno de los campos.”
“Ser objetivo con el trabajo propio, ya que tienes que valorar tu esfuerzo y la calidad de tu trabajo.”
“Al evaluarte tu trabajo, además de darte cuenta de tus errores, ves cómo evalúa la profesora y su criterio.”
3.4. Discusión.
Cada proyecto contaba con una rúbrica de evaluación específica al alcance del alumno facilitada en el mismo momento en que se exponían el planteamiento del proyecto a realizar. En este documento, se reflejaba la descripción del mismo, los objetivos, la forma de presentación y los criterios de evaluación. Tanto las rúbricas de evaluación como los planteamientos están incluidos en el campus virtual Moodle para su mayor accesibilidad.
Es de destacar que, aunque en un primer momento los estudiantes en general parecían perplejos por este sistema de evaluación, estuvieron en todo momento abiertos a enfrentarse a este nuevo reto. Éstos pensaban que dicho procedimiento les favorecería en todo momento a distintos niveles, como por ejemplo conocer el proceso de creación, tener los criterios claros y concisos de lo solicitado en clase, y también conocer los objetivos reales que serían evaluables.
En alguna ocasión, la puntuación del profesor está por debajo de la autoevaluación del alumno con una diferencia mayor o igual a uno. Se dan también casos en los que la evaluación del profesor está por encima del alumno con una diferencia superior o igual a uno.
Cabe destacar que aún teniendo en cuenta las diferencias superiores, tanto a favor o en contra del alumno, la media de las variaciones en las calificaciones están en una franja de entre ${ 0 , 4 } \mathrm { y } \mathrm { 0 } { , } 7$ puntos entre variaciones positivas y negativas.
Si tenemos en cuenta las diferencias con respecto a las calificaciones de Aprobado, Notable y Sobresaliente, se ha constatado únicamente un $5 { , } 3 \%$ del total. Es decir que solo en un $5 . 3 \%$ de los casos se ha podido dar el caso de que un alumno se haya calificado con un notable y el profesor le haya otorgado un sobresaliente, por poner un ejemplo.
Se podría incidir en la alta coincidencia de valoraciones tanto por parte del alumno como por parte del profesor en varias ocasiones, coincidiendo incluso en la calificación de aprobado y en la de sobresaliente. Esta reflexión es interesante en el sentido de que el alumno es capaz de evaluarse de manera crítica, incluso otorgándose una nota baja.
4. Conclusiones.
Consideramos que el alumno de las enseñanzas superiores está capacitado para participar en su evaluación y que la inclusión de rúbricas de evaluación con los criterios evaluables previamente mostrados favorecerá esa actuación para formar a los alumnos en la reflexión y autocrítica con el fin de mejorar su proceso de aprendizaje.
Entre los resultados obtenidos podemos destacar que las puntuaciones recibidas por parte del profesor y las propias evaluaciones del alumno han existido cambios poco significativos, teniendo en cuenta la diferencia de puntuaciones. Por su parte, la herramienta “Taller” de Moodle utilizada para evaluarse por pares, se ha mostrado eficaz y ha arrojado buenos resultados. Los estudiantes han mostrado en todo momento un alto nivel de compromiso, implicándose en su evaluación de manera responsable. Se ha comprobado que en diversos casos los alumnos son capaces de otorgándose calificaciones bajas, en la franja del aprobado.
Por otro lado, y analizando los comentarios aportados por los alumnos al finalizar el curso, se puede deducir que la rúbrica de evaluación les ha ayudado a entender mejor el ejercicio, a considerar esta herramienta como una ayuda para una evaluación objetiva de su trabajo y como un estímulo para mejorar y ser críticos con su propio trabajo.
Podemos considerar de esta manera que ha existido en todo momento una retroalimentación con los estudiantes con el fin de convertir la rúbrica de evaluación en una herramienta clara, concisa y de fácil aplicación.
Según Bretones (2008):
“La participación del alumnado en su evaluación tiene ventajas de tipo intelectual (supone más capacidad crítica y de autonomía), de tipo afectivo (más motivación y autorresponsabilidad) y de tipo profesional (ha dado buenos resultados en el desarrollo de destrezas de diferentes campos profesionales).”
Entre los resultados destacables cabe mencionar la necesidad de presentar rúbricas de evaluación sencillas, con pocos criterios evaluables y dentro de esos criterios evaluables, incluir parámetros claros y concisos.
Según los resultados, se ha comprobado que algunos de los buenos alumnos tienden a evaluarse por debajo de sus posibilidades y que sin embargo, algunos alumnos con menores capacidades tienden a evaluarse por encima de sus logros. Esto confirma los análisis llevados a cabo por Boud y Falchikov en 1989 (citado en Dochy, Segers & Sluijsmans, 1999) donde dependiendo de las habilidades de los estudiantes, éstos matizan de diferente manera su autoevaluación.
En esta primera aproximación a la autoevaluación mediante rúbricas hemos querido centrarnos en la valoración cuantitativa, es decir numérica, sin entrar a valorar las pequeñas diferencias encontradas en los distintos aspectos de la rúbrica, donde algunos de los conceptos pueden estar valorados de manera diferente. Pensamos que en futuras investigaciones se debería analizar tanto aspectos cualitativos como cuantitativos.
Esta investigación, además de estar abierta a nuevas experiencias, nos brinda la posibilidad de indagar nuevos campos de interacción entre el alumno y el profesor, haciendo que los primeros intervengan en la toma de decisiones de lo que está siendo en cada instante su formación, en una primera instancia en el marco de los estudios superiores pero también, y más importante, en su devenir a nivel profesional.
Otra de las conclusiones que podemos extraer de este estudio es que la rúbrica de evaluación tiende a mejorar la calidad de las entregas y por lo tanto las calificaciones. También se aprecian más diferencias cuando el alumno no especifica la calificación numérica, es decir que considerando la calificación de notable, por ejemplo, el estudiante no matiza entre un 7 y un 8, produciéndose de esa manera una mayor diferencia entre la nota que él se atribuye y la que atribuye el profesor.
Pensamos por tanto, que se debe continuar en esta línea de investigación para formar al alumno en un proceso autorreflexivo y crítico que le permita mejorar en su formación, no únicamente en la educación superior si no que ésta se extienda en el ámbito personal y constituya también un aprendizaje a lo largo de la vida.
Referencias.
Alcón-Latorre, M. & Menéndez-Varela, J.L. (2015). La contribución de las rúbricas a la práctica de la evaluación auténtica. Observar, 9, 5-17
Alsina, J. (2013), ¿Qué es una rúbrica? ¿Por qué y cómo se utiliza? Cuadernos de docencia universitaria, 26, 8-13
David Boud& Elizabeth Molloy (2013) Rethinking models of feedback for learning: the challenge of design. Assessment & Evaluation in Higher Education, 38:6, 698-712
Bretones, A. (2008) Participación del alumnado de Educación Superior en su evaluación. Revista de Educación, 347, 181-202
Díaz-Obregón, R. & Nuere, S. (2017). Definición de los aspectos artístico-creativos de las competencias del grado en Ingeniería en Diseño Industrial y Desarrollo de Producto a través de la Rúbrica de Trabajo Fin de Grado. Observar, 11 (2), 184-202.
Dochy, F., Segers, M. & Sluijsmans, D. (1999). The use of self-, peer and co-assessment in higher education: A review. Studies in Higher Education, 24(3), 331-350. Consultado el 25 de julio de 2017. https://doi.org/10.1080/03075079912331379935
Fuentes-Medina, M. & Herrero Sánchez, J.R. (1999). Evaluación docente: hacia una fundamentación de la autoevaluación. Revista Electrónica Interuniversitaria de Formación del Profesorado, 2(1).
Rodríguez, G., Ibarra, M.S. y Gómez, M. A. (2011). E-Autoevaluación en la universidad: un reto para profesores y estudiantes. Revista de Educación, 356, 401-430. (Consultado el 2 de febrero de 2018). Disponible en: https://www.mecd.gob.es/dctm/revista-de-educacion/ articulosre356/re35617.pdf?documentId=0901e72b8120316da