Principales retos sobre el proceso de evaluación en la educación del diseño1.
Ricardo López-León2.
Recibido: 2 de diciembre de 2016 / Aceptado: 5 de abril de 2017.
Resumen. Una de las áreas que necesitan mayor claridad en la educación del diseño es el proceso de evaluación. El presente texto tiene el objetivo de reflexionar acerca de dicho proceso, particularmente en el taller de diseño en el que el desarrollo de proyectos requiere retroalimentación y evaluación constante por parte de los maestros. Este documento presenta algunos puntos de vista desarrollados en aportaciones de distintos autores en los que se muestran estudios que discuten la evaluación en la educación del diseño, de manera que pueda ser comparada con los hallazgos de una investigación local en donde los participantes son estudiantes del programa de pregrado en diseño de una universidad mexicana. La investigación mencionada presenta una primera aproximación a reflexionar sobre el proceso de evaluación en la educación del diseño desde la perspectiva de los estudiantes y docentes de diseño con miras a mejorarlo.
Palabras clave: Evaluación; diseño; retos; retroalimentación.
[en] Assessment challenges in design education.
Abstract. One of the areas that need clarifying about design education is the assessment process. The present text aims to reflect upon such process in the design disciplines particularly in the design studio where developing projects requires feedback and assessment from teachers on a daily basis. This document there are presents different points of view by several authors that conducted studies discussing the role of assessment in design education, so that it can be compared with findings from a local research in which undergraduate design students participated from a Mexican university. The research represents a first approach to incentivize reflecting upon the assessment process in design education, departing from the perspective of design teachers and students with the objective of improving it.
Keywords: Assessment; design; challenges; feedback.
Sumario. 1. Introducción: perspectivas de la evaluación. 2. Referente Teórico: Perspectivas de la evaluación. 2.1 La evaluación del proceso de diseño. 3. Metodología: Participantes y métodos; un acercamiento más profundo a la práctica docente. 4. Resultados: Necesidades en la docencia del diseño: evaluando intangibles. 4.1. Desconocimiento de instrumentos de evaluación y sus nombres adecuados. 4.2. Consensar los intangibles: criterios de evaluación. 4.3. Oscuridad en la práctica evaluativa en la docencia del diseño. 4.4. Cumplimiento y excelencia: un apremio debatible. 5. Conclusiones y discusión: Re-pensar la educación del diseño. 6. Agradecimientos. Referencias.
Cómo citar: López-León, R. (2017) Principales retos sobre el proceso de evaluación en la educación del diseño. Arte, Individuo y Sociedad 29(2), 333-347.
1. Introducción: perspectivas de la evaluación.
Uno de los aspectos que necesita mayor claridad en la educación del diseño, es el proceso de evaluación de los estudiantes. Es decir, cuando un estudiante desarrolla un proyecto de varias semanas en el taller de diseño, suceden tantas cosas, que se requiere de una alta capacidad docente para reconocer matices tangibles e intangibles, de lo contrario, la evaluación puede convertirse en un proceso caótico y estresante tanto para docentes como para estudiantes. Algunos docentes, optan por enfocarse en aspectos tangibles, como son: considerar si el proyecto se entregó a tiempo, si el estudiante revisó un número determinado de veces, ortografía, limpieza, acabados, materiales, entre otros. Esto presenta una desventaja que permite suponer que cuentan con muy poca aproximación a herramientas que puedan colaborar en la evaluación del proceso creativo, que involucra un desarrollo conceptual, un estilo de diseño, una propuesta diferenciadora, entre otras cosas visuales y estéticas; aspectos intangibles que terminan por ignorarse o evaluarse de una forma que el estudiante por lo general desconoce.
El presente texto busca reflexionar sobre el proceso de evaluación en las disciplinas del diseño, particularmente en talleres de diseño donde se da el desarrollo de proyectos y se requiere de una asesoría y retroalimentación constante por parte del docente. A continuación, se presentan algunos puntos de vista de estudios desarrollados por terceros que abordan el tema de la evaluación en la enseñanza del diseño, lo cual se considera pertinente traer a la discusión, para luego compartir con el lector algunos hallazgos de una investigación realizada en 2013 y su continuación en 2016.
2. Referente Teórico: Perspectivas de la evaluación.
La evaluación, desde la perspectiva de Martínez Rizo (2012), no sólo es el resultado de hacer una medición. El autor refiere al Instituto Nacional para la Evaluación de la Educación, que la define como “el juicio de valor que resulta de contrastar el resultado de la medición de una realidad empírica con un parámetro normativo previamente definido” (2012, p. 22). Conviene desarticular esta definición para resaltar que la evaluación está construida de tres partes: un juicio de valor, un instrumento de medición, y un criterio previamente definido. Resulta de particular importancia identificar esos tres aspectos para presentar los retos que enfrenta la práctica de la evaluación.
Como práctica, la evaluación puede ser distinta dependiendo de diversos factores, por ejemplo, el objetivo con el que se evalúa. Desde esa óptica es común encontrar referencias a tres enfoques de evaluación: la evaluación diagnóstica, la sumativa y la formativa (Santibáñez, 2001; Martínez Rizo, 2012). Cada una de éstas resalta distintos aspectos en lo que puede aportar para la enseñanza-aprendizaje del diseño: la evaluación diagnóstica se puede realizar con el objetivo de conocer el estado inicial de un grupo de estudiantes, y a partir de los resultados plantear estrategias que atiendan las deficiencias identificadas. La evaluación sumativa puede evaluar la constancia y compromiso de los estudiantes durante el desarrollo de un proyecto de diseño, como también a lo largo de un semestre a través de varias entregas; así, el estudiante es evaluado y va sumando a la calificación final a partir de los resultados que va presentando periódicamente. La evaluación formativa, que se realiza con el objetivo de brindar retroalimentación al estudiante para que pueda mejorar, tiene grandes posibilidades de aprovechamiento en los talleres de diseño, en los que el estudiante presenta un avance etapa por etapa y el docente retroalimenta sobre lo entregado.
Conviene reflexionar sobre la actividad de retroalimentación, ejercicio clave de la evaluación formativa que parece una práctica cotidiana en las disciplinas del diseño. Un estudiante de diseño, que está en el proceso de desarrollo de un trabajo (como la conceptualización, la realización de bocetos y/o prototipos, etc.) aprovechará la retroalimentación que le puedan dar tanto compañeros como profesores. Dentro de la evaluación formativa, Martínez Rizo propone seguir a Brookhart (2009, p.1), definiéndola como $\mathrm { \hat { \Omega } ^ { c c } } { } ^ { \mathrm { \Delta } } \mathrm { e l }$ proceso de enseñanza-aprendizaje, que puede ser usada por los maestros para tomar decisiones instruccionales para que los alumnos mejoren su propio desempeño y estén motivados”. De manera que la retroalimentación está orientada a la motivación de los estudiantes, así como para que también el maestro ajuste su práctica instruccional. Por lo tanto, este tipo de evaluación “debe servir para identificar dónde se encuentran deficiencias en el aprendizaje […] para elaborar actividades de enseñanza diferentes y así lograr el aprendizaje propuesto” (López e Hinojosa, 2001, pp. 27-28). Dicho esto, queda claro que según esta perspectiva el docente es responsable tanto del buen como del mal desempeño de un estudiante, puesto que como tal, debe proponer actividades distintas para atender las deficiencias encontradas. Smith, (2013) entrevistó a estudiantes del último año de pregrado en el programa de diseño de interiores con el objetivo de conocer su percepción. En general el autor concluye que las prácticas evaluativas suelen inhibir el aprendizaje, dado que los estudiantes suelen otorgar distintos significados a dicho proceso. En lo que concierne a la retroalimentación, menciona que aquellos estudiantes que no estuvieron de acuerdo con la calificación obtenida, terminaron por desechar todas las recomendaciones obtenidas en la retroalimentación (Wotjas 1998, citado por Smith, 2013).
En el Reino Unido, Adams y McNab (2012), reflexionan sobre el importante papel de la retroalimentación, mediante la cual, el proceso de evaluación en las humanidades y arte puede ser mejor. En otras palabras, es evidente que existen muchas áreas de mejora en la evaluación del arte y diseño, y resulta importante que ésta se implemente en programas a la brevedad. De acuerdo con los autores, los estándares y las expectativas en la evaluación deben ser claramente comunicados al estudiante, la retroalimentación debe ser clara y significativa, es decir, no se trata de incrementar el número de veces en que se otorga asesoría, sino que lo importante es que esté siempre centrada en el estudiante y desde una óptica formativa (2012).
2.1. La evaluación del proceso de diseño.
En los talleres de diseño por lo general se desarrollan proyectos por un periodo prolongado. Cada trabajo cuenta con distintas fases entre las que destacan la investigación de antecedentes, conceptualización, desarrollo de prototipos y entrega de dummys o maquetas finales (o al menos así se desarrolla en la universidad donde se realizó este estudio). Esta dinámica resulta favorable para la implementación de instrumentos de evaluación que permiten ir registrando experiencias tanto personales como de su desempeño en equipo (cuando sea el caso), a la par que va cumpliendo con el desarrollo de su diseño. Instrumentos como éste pueden ser foto-registros, diarios, blogs, portafolios, entre otros. Sin embargo, a partir de que esta investigación comenzó su curso, fue evidente que existe un gran desconocimiento sobre este tipo de instrumentos, así como de su alcance y formas de implementarlo.
Este desconocimiento afecta también en el sentido de que se detectó una confusión en cuanto a nombres de algunos instrumentos y sus funciones, pues existe un documento comúnmente utilizado en la carrera de diseño gráfico que erróneamente recibe el nombre de “bitácora”, cuando a lo que más se acerca es a una lista de cotejo. En cambio, como se conoce en el ámbito educativo, la bitácora es un instrumento de evaluación que, como apoyo al docente de diseño, podría ser muy provechoso. En éste, los estudiantes van registrando periódicamente sus experiencias durante el desarrollo de un trabajo de diseño. Por lo tanto, representa un canal de comunicación con el estudiante en la que se “involucra como parte activa de su propia formación; [además] su gestión es sencilla, complementa las actividades presenciales, favorece la interacción docente-estudiante y proporciona soporte a las actividades de evaluación y retroalimentación” (Barrios, Ruiz y González, 2012); al mismo tiempo, promueve la educación centrada en el estudiante y representa una buena integración con el enfoque de enseñanza por proyectos de clase y con el portafolio. Siguiendo a Giloi y du Toit (2013, p. 263), en una educación centrada en el estudiante la evaluación debería “cambiar de una evaluación puramente del resultado obtenido, para incluir una evaluación del proceso y de la persona”, refiriéndose con esto último a las experiencias de aprendizaje. Esto implica un cambio: dejar de evaluar las piezas producidas en clase y evaluar la toma de decisiones y experiencias que se dan en el proceso creativo, práctica que puede ser alcanzada a través de la bitácora. Por último, además de promover la co-evaluación, las entradas en este instrumento también pueden ser utilizadas como base para realizar una autoevaluación por parte de los estudiantes (Postholm, 2006).
Hoy en día existen un sinnúmero de herramientas electrónicas que permitirían llevar un registro del proceso de diseño en línea sin generar un gasto en los estudiantes. Se pueden complementar con fotografías, videos, música, etc. Las nuevas tecnologías de la información y comunicación (TICS) (Acuña, 2012; Alonso, 2005) ya se discuten por su importancia para los estudiantes de arte y diseño, pues ofrecen a dichos la posibilidad de documentar su proceso y compartirlo con el mundo a través de sitios especializados como blogs, redes sociales, etc. Según algunos expertos, este hecho tiene consecuencias claras en la formación y actualización, no sólo de estudiantes sino también de profesionales de ámbitos creativos que tienen acceso a esos sitios (Delacruz, 2009; Budge, 2012). Además, el hecho de bloggear acerca del arte y diseño contribuye a la formación de una comunidad y al desarrollo de la creatividad de aquellos que participan en la misma. (Budge, 2012). Finalmente, del lado del docente, también se pueden encontrar resultados positivos del hecho de llevar un registro periódico de sus experiencias en el aula, pues es de gran utilidad para la recuperación y la intervención de la práctica didáctica, con el objetivo de mejorarla (Calderón, 2007; Mansvelder-Longayroux, 2007).
El estudio realizado del cual se toman ciertos hallazgos para este texto, reveló que aquello que se implementaba en los talleres de diseño, está lejos de ser una bitácora como la descrita anteriormente, y está más cerca de un cronograma con esencia de lista de cotejo, o incluso de rúbrica, aunque siempre desde una perspectiva del docente hacia el estudiante, es decir, sólo se practica la hetero-evaluación, por lo que no se aprovechan las ventajas que ofrecen otras prácticas como la autoevaluación. (Martínez-figueira, et. al., 2013). A pesar de lo anterior, dicho instrumento, que en adelante se llamará <> para evitar confusiones, se presenta ante el estudiante y se utiliza para la evaluación, lo que permite reflexionar sobre una serie de aspectos que se discutirán en este documento.
Desde ese panorama, es comprensible que algunos estudiantes de último año manifestaran un clima de inconformidad general respecto a las evaluaciones de sus proyectos de diseño, que no sólo se daban en su semestre actual, sino que era una percepción que se habían formado a lo largo de sus estudios. Para obtener su perspectiva, no fue necesario realizar entrevistas a profundidad, bastó con que el primer día de clases del último ciclo, se abriera en el aula el debate sobre aspectos a mejorar del programa de estudios en la institución. Los estudiantes a punto de convertirse en profesionales, se llevarían de la universidad una sensación general de insatisfacción con el proceso de evaluación, y un desconocimiento total o parcial de cómo éste era realizado por el docente. Lamentablemente, el sentimiento y sensación desconsolada de los estudiantes respecto a la evaluación de los proyectos de diseño es más común en las instituciones educativas de lo que pudiera pensarse. Giloi y du Toit, hablan desde el contexto sudafricano, y aún así se puede observar que hay elementos de concordancia con la perspectiva local que se expone en este estudio. Por ejemplo, mencionan que es común que en un programa de estudios un proceso de evaluación sea diseñado, estructurado e implementado por cada docente en cada una de las materias (y que, por lo tanto, no se toma en cuenta la opinión del estudiante), por lo que aquellos que son evaluados, o sea los estudiantes, siempre permanecen en un “lado oscuro del proceso y muchos no entienden cómo han sido evaluados o cuáles eran los objetivos de la evaluación” (2013, p. 259).
De acuerdo con Smith (2013), las calificaciones no sólo miden el desempeño de un estudiante, sino que también son tomadas en cuenta para construir su identidad profesional, así como sus aspiraciones como diseñadores. El autor identifica distintas percepciones respecto a los puntos o al proceso de obtención de calificaciones en los estudiantes de diseño, las cuales sólo se enlistarán a continuación, por lo que, si se desea profundizar en esos aspectos, referimos al lector el autor original. En palabras de los estudiantes:
– Las calificaciones me dicen quién y qué soy. $\it \Omega _ { j } \mathrm { S o y }$ exitoso o estoy fallando? ¿Qué tipo de estudiante soy? Las calificaciones me dicen quién seré y qué me depara el futuro. ¿Puedo llegar a ser buen diseñador? ¿Cuento con las habilidades que me permitirán conseguir un buen trabajo? No sé de donde vienen las calificaciones. Las calificaciones no suelen reflejar mi arduo trabajo ni la calidad del mismo. Las calificaciones están basadas en las preferencias del profesor. Suele haber favoritismos por parte de ellos. Las calificaciones están basadas en las orientaciones estilísticas del profesor.
Debido a la coincidencia de dichos estudios con el presente, respecto a manifestaciones de insatisfacción y decepción de los estudiantes de diseño, se resalta la urgencia de emprender proyectos de investigación que colaboren en conocer a profundidad la perspectiva del docente respecto al proceso de evaluación de trabajos de diseño en el aula, particularmente, ¿cómo se está evaluando el proceso de diseño y con qué instrumentos?
Las principales disconformidades y que dejaban a los estudiantes en un estado de insatisfacción, se pueden agrupar en tres intangibles fundamentales: el esfuerzo del estudiante, las decisiones creativas y la propuesta estilística. Respecto al primero, los estudiantes manifestaron que sentían que la calificación final nunca era fiel a los resultados del trabajo, es decir, su esfuerzo invertido en el mismo al ser intangible no era evaluado adecuadamente, sino que principalmente la calificación se convertía en un apremio al cumplimiento en tiempo de las entregas. En el estudio más reciente de 2016, el $73 \%$ de la comunidad estudiantil asegura que su calificación es atinada solo algunas veces, mientras que sólo el $22 \%$ considera que es muy justa. En cuanto a las decisiones creativas, se manifiesta una frustración respecto a que el docente tiende a gobernar todas las decisiones de diseño que deben hacerse en el proyecto, mutilando así el segundo intangible: la creatividad y la actitud proactiva de los estudiantes. El mismo estudio revela que el $30 \%$ de los alumnos, cada vez que realiza cambios en sus proyectos lo hace para darle gusto al maestro, y el $50 \%$ considera que hace lo mismo sólo algunas veces. Por último, la propuesta estilística se refiere a si el trabajo resulta visualmente atractivo e interesante y ejecutado con calidad técnica. La inconformidad señala que por lo general, este aspecto al ser intangible, su evaluación no siempre coincide con el consenso del grupo sobre cuáles son las mejores propuestas estilísticas, pues no son comúnmente las que llevan una mejor calificación. Al respecto, Davies (2000, citado por Giloi y du Toit 2013) resalta que muchos de los procesos que se relacionan con el aprendizaje del diseño resultan difíciles de evidenciarse, y que además el reto es más grande cuando se involucran aspectos ambiguos – o intangibles – en el proceso de evaluación como la “creatividad” o “imaginación”. La evaluación, así, suele ser percibida como un obstáculo para el desarrollo creativo, más que como un aliciente. Además, hay estudios que muestran que influye en la atención que el estudiante tiene en la clase, en su percepción y en su comportamiento. En otras palabras, no sólo funciona como una forma de medir el aprendizaje, sino que al mismo tiempo, le da forma al mismo aprendizaje (Smith, 2013).
Una vez esbozada de manera general la perspectiva de estudiantes de último año respecto al proceso de evaluación, conviene contrastar con la perspectiva docente, es decir, conocer aquellos factores que intervienen en el proceso de evaluación. A lo largo de este documento identificaremos aquellos retos a los que se enfrenta la evaluación en el proceso de enseñanza-aprendizaje del diseño, con el objetivo de motivar la reflexión en otras instituciones y motivar un seguimiento adecuado.
3. Metodología: Participantes y métodos; un acercamiento más profundo a la práctica docente.
En este documento se presentan resultados de investigación en distintas etapas. La primera aproximación corresponde a un estudio realizado en 2013, cuyos detalles se exponen a continuación y el complemento de dicho estudio realizado en 2016 para contar con una perspectiva más amplia sobre el tema en cuestión, cuyos detalles se exponen más adelante.
Esta investigación de tipo exploratoria (Sampieri, et. al. 1998) buscó conocer la perspectiva de docentes y estudiantes sobre los procesos de evaluación, mediante entrevistas a profundidad desde un enfoque cualitativo (Taylor y Bogdán, 1987). Para 2013, el estudio de campo se dividió en distintas fases: la primera, en un grupo de enfoque con estudiantes de último año para conocer sus opiniones respecto al proceso de evaluación de toda la carrera. Gracias a dicho grupo de enfoque se pudieron identificar áreas a explorar en las entrevistas con docentes y poder diseñar la guía de la entrevista. En la siguiente fase, se consultaron de dos a tres estudiantes por grupo (que promedian de 25 a 30 estudiantes) ya que este estudio no buscaba representatividad estadística sino más bien un grupo heterogéneo de participantes para tener distintos matices desde una perspectiva cualitativa, seleccionados considerando calificaciones excelentes, buenas y regulares para que la identificación de docentes no se prestara a juicios emocionales en contra o a favor. Dicha consulta buscaba identificar docentes que pudieran ser entrevistados, ya sea por su labor ejemplar en el proceso de evaluación o porque tuvo desacuerdos con algún grupo de diseño gráfico en particular. La tercera fase contempló la selección de los cuatro docentes que participaron en la entrevista, del grupo de doce profesores que conforman el cuerpo docente de talleres de diseño, profesores de tiempo completo o medio tiempo, que son la base para la formación de los alumnos en la carrera. En este estudio no se consideraron por ejemplo profesores de las áreas de teoría, o de asignaturas que trabajan computación o dibujo, sino sólo talleres de diseño. Finalmente, el estudio de 2013 concluye con las entrevistas a dichos docentes.
La entrevista a docentes se dividió en cuatro temas principales: criterios de evaluación, pues los estudiantes manifiestan que en ocasiones no son claros en cuanto a la forma de considerarlos; instrumentos de evaluación, pues el objetivo era conocer si el docente se apoya en uno o varios para realizar una evaluación integral; la guía llamada por los docentes “bitácora” (aunque el nombre no empate con la bitácora educativa sino más bien con un cronograma), pues los estudiantes se manifestaron a favor y en contra de dicho instrumento; y por último, cumplimiento y excelencia, ya que los estudiantes expresan que en la evaluación se privilegia al estudiante que cumple en tiempo, dejando de lado las propuestas estilísticas interesantes y atractivas. Mediante estos cuatro temas, se buscó conocer la perspectiva docente, abarcarndo tanto su nivel de conocimiento sobre evaluación que repercute directamente en su práctica evaluativa, así como las consecuencias que están impactando en el estado anímico y motivación de los estudiantes.
En 2016, esta misma investigación entro en una fase más, pues gracias a los hallazgos de las fases anteriores, surgieron nuevos cuestionamientos. Así, la nueva fase buscó conocer si la perspectiva era compartida por el resto de la comunidad estudiantil. Por lo tanto, se realizó un levantamiento de encuestas cara a cara con el fin de consultar a todos los estudiantes de segundo a noveno semestre de la carrera, dejando fuera primer semestre dada su poca experiencia en procesos de evaluación. Así, se logró aplicar una encuesta de 20 preguntas con 210 estudiantes en promedio de los casi 300 que participan en el programa de estudios de diseño gráfico. A continuación se presentan los resultados tanto de las entrevistas realizadas en 2013 complementadas con lo que se logró encontrar en 2016.
4. Resultados: Necesidades en la docencia del diseño: evaluando intangibles.
Los resultados que aquí se presentan, se discuten con el objetivo de plantear puntos de partida para nuevas rutas de investigación y así subsanar las necesidades identificadas en esta investigación.
4.1. Desconocimiento de instrumentos de evaluación y sus nombres adecuados.
En los talleres se trabaja desarrollando proyectos de diseño durante varias semanas y los docentes utilizan una guía que plantea los requisitos que debe cubrir un proyecto. En ese documento, se especifican las fechas de entrega y detalles técnicos. Cada maestro puede diseñar la suya, por lo que los contenidos y estructura pueden variar de una clase a otra. Esta guía, sirve al estudiante para saber qué debe llevar la clase siguiente y los puntos que el docente revisará en torno al progreso del proyecto. Si los puntos se cumplen, el docente acredita con su firma que se ha entregado lo solicitado en el tiempo correspondiente (en ocasiones se anota un porcentaje de avance acompañado de la firma). En nuestras entrevistas encontramos opiniones divididas respecto a este recurso y el rol que juega en el proceso de evaluación. Cabe mencionar que esta guía, es denominada bitácora, nombre utilizado equivocadamente al menos desde la perspectiva de evaluación mencionada anteriormente en este texto. Desde esa perspectiva, en una bitácora, el alumno debería registrar experiencias respecto a su proceso de aprendizaje, y el docente tomaría en cuenta estos registros como evaluación, además de retroalimentarlo sobre su avance (Argudín, 2010; Barr & Tagg, 2013; SEP, 2013). Por lo tanto, erróneamente se refiere a esta guía como bitácora, hecho que indica un desconocimiento sobre instrumentos de evaluación por parte del cuerpo docente. Aun así, como guía o rúbrica, se identificaron opiniones divididas que expresamos a continuación.
Se registraron comentarios divididos de alumnos en las experiencias de docencia, mismas que se confirmaron en maestros a través de las entrevistas acerca del instrumento estandarizado. Algunos docentes sugieren nuevas formas de aplicación como el permitir a los mismos alumnos construir su cronograma y hacer la guía individual de acuerdo a su perfil y capacidades para ofrecer un acercamiento más real a una vida profesional y no tanto como una manera de obligarlos a cumplir al pie de la letra sus indicaciones. Otros están seguros que la guía ayuda a optimizar y dar transparencia a la evaluación para que no existan inconformidades ni malos entendidos y se refieren a ella como un “contrato” que se está firmando con el alumno, por lo que se deben poner bien en claro todas las “cláusulas”, refiriéndose con esto a escribir detalladamente lo que se va a revisar en cada clase y poner específicamente cómo se debe entregar el producto final. Por otra parte, los docentes coinciden que es un método práctico para observar el compromiso de cada alumno y ayuda a que con las calificaciones obtenidas se pueda recompensar a los alumnos responsables y estimular a los demás a mejorar su desempeño.
En las entrevistas se pudo identificar que la guía utilizada como un instrumento de evaluación, no promueve la autoevaluación ni la co-evaluación, como incluso una lista de cotejo lo haría, tampoco registra el desempeño del estudiante ni de forma singular ni por niveles como la rúbrica, ni el estudiante registra su propio desempeño como funciona un diario o bitácora de evaluación. En cambio, el trabajo de diseño realizado por el estudiante en los talleres, y que podría ser considerado como instrumento de evaluación – dado que se puede construir un portafolio con el trabajo que el estudiante desarrolla durante un periodo prolongado y presenta al docente para obtener retroalimentación – pasa a segundo plano en el proceso de evaluación, pues se privilegia el cumplimiento estricto de dicho cronograma sobre las experiencias del estudiante. En otras palabras, los desarrollos y propuestas de diseño que el estudiante genera en los talleres podrían servir de instrumentos de evaluación, pero quizá por desconocimiento, olvido o confusión se enfatiza en el cumplimiento de la guía. Al mismo tiempo, este proceso no permite flexibilidad, es decir, todos los estudiantes deben llevar el mismo ritmo de trabajo y avance en el proceso de diseño. Esto representa una contradicción con las tendencias educativas actuales que promueven que el aprendizaje se dé en ritmos distintos en cada estudiante, sobre todo en aquellos que involucran procesos creativos. Respecto a este punto, en el estudio de 2016 se incluyeron tres preguntas, cuyos resultados muestran que el $20 \%$ de los estudiantes manifiestan descontento con este instrumento, mientras que $3 9 \%$ están dudosos sobre la utilidad de la misma; y finalmente, sólo el $41 \%$ considera estar convencido de que es un instrumento útil. El descontento puede radicar en dos puntos importantes: la claridad respecto a los criterios que en este instrumento se establecen y el hecho de que los maestros respeten lo que ahí se especifica. De acuerdo al primer punto, el $6 6 \%$ manifiesta que sólo algunas veces los criterios de evaluación son claros, y sólo el $28 \%$ está convencido de que así es; sin embargo, el $47 \%$ manifiesta que sólo algunas veces los docentes respetan lo establecido en la bitácora y otro $44 \%$ está convencido de que siempre se respeta. En otras palabras, la falta de consenso respecto al mismo instrumento genera también otros problemas que se vuelven evidentes en su implementación en el aula, lo que pone en duda aún más su pertinencia en el proceso de evaluación.
4.2. Consensar los intangibles: criterios de evaluación.
En este rubro las respuestas fueron más puntuales y los docentes establecen que los criterios se incluyen en la guía y mientras más claros sean, la evaluación será más objetiva y habrá menos confusiones por parte de los estudiantes. Por tal motivo, los profesores se dan a la tarea de poner específicamente lo que quieren o esperan obtener con el proyecto, sin embargo, expresan que evaluar el diseño o estilo es una labor de alta subjetividad. Entonces podemos separar criterios de evaluación en dos tipos: los criterios tangibles (que se identifican como objetivos) y los que se consideran más subjetivos. Los primeros parecen más sencillos y los docentes se sienten más seguros para evaluarlos: técnica, limpieza, entrega en tiempo y forma, calidad, acabados, compromiso, etc. Dentro del segundo tipo se mencionan constantemente aspectos estéticos, refiriéndose a la propuesta estilística y resultados visualmente interesantes y atractivos del diseño, es decir, aspectos intangibles a los cuales nos hemos referido anteriormente. Estos criterios según los docentes son muy difíciles de evaluar pues existe el riesgo de poner una calificación basándose en el propio gusto, lo cual sugiere que no existe un consenso de pautas pre-establecidas para evaluar que ayudarían a entender por qué los docentes se muestran más inseguros. También se mencionó la posibilidad de evaluar la funcionalidad del diseño, que tendría que corroborarse con la opinión de usuarios y grupos sociales. En la realidad eso no se lleva a cabo pues requeriría un esfuerzo extra y disposición de tiempo en clase con el que en ocasiones no se cuenta. La encuesta 2016 manifiesta esta indefinición, pues el $50 \%$ asegura que sólo algunas veces se conoce con claridad qué se va evaluar en cada proyecto. Así, se puede identificar la necesidad de contar con perspectivas distintas a la del maestro en el aula, pues el $3 9 \%$ está completamente de acuerdo en que deberían participar clientes externos en el proceso de evaluación y un $48 \%$ podría estar de acuerdo con ello; esto dentro de en un contexto en el que el $92 \%$ reconoce que los criterios de evaluación siempre los establece el maestro y que tan sólo el $6 \%$ afirma que se acuerdan en conjunto entre estudiantes y docente. Sin duda, contar con criterios de evaluación consensados en el aula podría ser un camino para dar mayor claridad al proceso de evaluación.
Este punto puede indicar también una falta de consenso a nivel de programa de pregrado sobre cuáles son esos criterios estilísticos con los que debería de cumplir un estudiante, es decir, puede ser que no exista un marco de referencia al cual el docente pueda acudir para evaluar el nivel de desempeño estético del estudiante en sus propuestas estilísticas. Giloi y du Toit (2013) siguiendo a Remer (2010) mencionan que en efecto existe una falta de acuerdos en la educación del arte y el diseño en torno a los procesos de evaluación. Como se mencionó al inicio de este documento, la evaluación requiere de tres elementos: una referencia, un instrumento y un juicio de valor. Quizá hace falta establecer las referencias en esta y otras disciplinas del diseño.
Lo interesante de este hallazgo es que deja ver también el estado actual de las disciplinas del diseño, pues al estar orientadas al desarrollo de innovación y contagiadas de prácticas artísticas como la búsqueda de originalidad, el seguimiento a las tendencias de moda, e incluso el rompimiento de estándares tradicionales, dejan ver que aún están en proceso de construcción respecto a la generación de consensos, aunque esto no debería representar ningún impedimento como para que al interior del programa se establecieran dichos criterios. Este hallazgo, debido a que se refiere a criterios esenciales en la evaluación, puede ser explorado más a fondo en futuras investigaciones.
4.3. Oscuridad en la práctica evaluativa en la docencia del diseño.
Aunque las entrevistas dejan ver que los docentes podrían aplicar algunos instrumentos de evaluación en sus clases, parece que al mismo tiempo no reconocen las oportunidades que tienen en frente. Uno de los más comunes es aprovechar los trabajos de diseño en los talleres, que podrían desarrollar buenos portafolios y proyectos (Mujica, 2012) si les observara desde esa óptica; pero se reconoce más bien a la guía mencionada anteriormente como su instrumento predilecto de evaluación. Esto podría señalar que los docentes no perciben la diferencia entre la planeación y evaluación de una clase y la planeación y evaluación de un trabajo de diseño. Por tal motivo, si se evalúa a partir de la planeación de la clase (guía), el instrumento lo llevará a privilegiar el cumplimiento del trabajo en tiempos, pero no necesariamente su desempeño y propuesta estilística de diseño. Por otro lado, predomina de manera preocupante la heteroevaluación, privilegiando la perspectiva de evaluación sumativa, en la que el docente evalúa todo el desempeño dejando fuera la autoevaluación y co-evaluación en las que el estudiante participa. Esta perspectiva de evaluación formativa es una de las claras tendencias en la educación contemporánea.
4.4. Cumplimiento y excelencia: un apremio debatible.
En la última parte de la entrevista, se le consultó al docente si los alumnos de calificación y promedio más alto eran los que mejor diseñaban en los grupos. Para entonces no fue sorpresa que los docentes reconocieran que por lo general no sucedía así. Es decir, que los alumnos que generalmente obtienen una buena calificación, como diez puntos de diez, representaban los que cumplían con tiempos y entregas, pero que comúnmente no eran los de mejor propuesta estilística y estética. Podría decirse que la excelencia era alcanzada por los más organizados, estructurados y quizá comprometidos con su labor de estudiante. En la encuesta 2016, el $31 \%$ de los estudiantes piensa que los mejores calificados no necesariamente son los que diseñan mejor, mientras que sólo el $1 7 \%$ están convencidos de que así es. Este último punto, al igual que toda la entrevista, invita a reflexionar sobre cómo se está evaluando el diseño y si eso tiene relación con el compromiso de los alumnos. Además, sugiere revisar distintos enfoques de evaluación que permitan observar y dar seguimiento a la capacidad expresiva del estudiante sin dejar de lado su compromiso con los tiempos de entrega. Como ya se presentó, la evaluación formativa propone la motivación constante del estudiante, hecho que no se está consiguiendo dado que ellos mismos expresan que su esfuerzo no ha sido valorado, pues sólo el $22 \%$ están convencidos que su calificación refleja también su esfuerzo. Se presenta aquí un área de oportunidad para realizar una propuesta de evaluación integral para los talleres de diseño, en la que no sólo se contemple el apremio al tiempo por parte del docente, sino que se recupere la voz del estudiante. Esto permitirá ofrecer una mejor retroalimentación al proceso de formación, así como tener una retroalimentación para la práctica docente que permita mejorar su desempeño instruccional.
5. Conclusiones y discusión: Re-pensar la educación del diseño.
Uno de los principales problemas en la educación del diseño que se repite en distintas partes del mundo, se refiere al uso de profesionales del diseño como profesores. Smith y Smith (2012), traen a la discusión este problema en el escenario tanto del Reino Unido como de Estados Unidos. De acuerdo con ellos, la mayoría de las instituciones no ofrecen un programa claro para la preparación de docentes que se inician (2012), lo que significa que en efecto hay un desconocimiento de instrumentos de evaluación. Este problema se vuelve cíclico, pues en ocasiones la falta de docentes en el área, lleva a las instituciones a contratar a recién egresados de la misma institución a impartir clase. Por lo tanto, tenemos docentes sin experiencia profesional, que no sólo desconocen los instrumentos de evaluación que existen, sino que tampoco identifican los tipos de evaluación y los principales enfoques pedagógicos y tienden a repetir prácticas evaluativas de cuando ellos eran estudiantes. Situaciones como esta, pueden considerarse como uno de los puntos de origen de este y otros problemas que impactan en la educación del diseño, algunos de los cuales se han identificado en este documento.
Los educadores del diseño, además, no son inmunes a las presiones institucionales, por lo que es comprensible que en algunas ocasiones se les solicite a los profesores estandarizar su práctica docente para llevar un mejor control desde las áreas administrativas. Sin embargo, docentes de arte y diseño manifiestan temor a sobreespecificar los requisitos en cuanto a los criterios de evaluación se refiere y terminar creando un sistema rígido para el trabajo creativo (Giloi y du Toit, 2013). Esto podría justificar por qué instrumentos como la guía se centran en aspectos tangibles del proceso de diseño, dejando de lado todo lo intangible por miedo a truncar el desarrollo creativo.
Afortunadamente, está emergiendo un nuevo enfoque respecto a la evaluación en los talleres de diseño, orientada a enfocarse más en la persona y su proceso (De la Harpe, et. al., 2009), más que en los productos y resultados finales del mismo. Los autores llegan a esta conclusión luego de una revisión exhaustiva de más de cien artículos publicados en revistas especializadas. Si quizá resultara arriesgado reconocer esta tendencia, al menos sí es clara la necesidad de la misma, pues enfocarse en el proceso y la persona colabora en la consideración y evaluación de intangibles que quedan fuera de la evaluación cuando se enfoca en el resultado final.
A lo largo de este documento se ha buscado hacer evidente que el proceso de diseño es complejo y por lo tanto resulta complicado evaluarlo, ya que existen muchos aspectos a considerar. A través de la revisión de distintos autores, de la presentación de experiencias docentes, la perspectiva de estudiantes de último año, y la opinión de la mayoría de los estudiantes del programa de estudios en diseño gráfico, se lograron identificar algunos factores que intervienen en el proceso de evaluación en los talleres de diseño, los cuales se enlistan a continuación a manera de síntesis.
Primero, que la evaluación es un proceso que consta de tres atributos: un marco de referencia, un instrumento y un juicio de valor. Lo que se pudo observar es que existen áreas de mejora en cuanto al marco de referencia, pues aún hay necesidad de generar consensos respecto a lo que se podría esperar de los estudiantes en cuanto a propuesta estilística y desarrollo creativo en los proyectos de diseño. Al mismo tiempo, resultó evidente la falta de conocimiento de instrumentos de evaluación que sean fieles a las disciplinas del diseño y al proceso de creación al que se somete el estudiante durante el mismo, pues existe una opinión dividida respecto a la utilidad de los instrumentos que actualmente se privilegian.
Segundo, se detectó una necesidad de hacer conscientes otros enfoques de evaluación, como la evaluación formativa, que permitan el desarrollo de una práctica evaluativa centrada en el estudiante. En ésta, la retroalimentación protagoniza la relación entre docente y estudiante resaltando la capacidad docente que es necesaria para llevarla a cabo, pues además de que debe aportar claridad al proceso de diseño, se sugiere que se efectúe sólo cuando sea necesaria, pues un alto número de retroalimentaciones tienden a confundir al estudiante en lugar de orientarlo. Asimismo, los estudiantes manifiestan apertura a perspectivas externas a la universidad, como personas más involucradas en el sector productivo, lo que representa una buena oportunidad para plantear estrategias con el fin de integrarlos.
Tercero, que resulta indispensable reflexionar sobre un cambio de énfasis en cuanto a los objetivos de las asignaturas y lo que se espera de los estudiantes, pues se tiende a privilegiar la evaluación de productos como imágenes, objetos, espacios, en lugar de mirar el proceso de toma de decisiones que sigue el estudiante durante el proyecto. El cambio de énfasis significa una aproximación al seguimiento y evaluación de los intangibles, los cuales quedan en el aire cuando se observa sólo el objeto terminado.
Cuarto y último. Dado que hay docentes egresados de la misma institución en la que estudiaron, o profesionales del diseño que incursionan en la práctica docente, un programa efectivo de capacitación para el desempeño en el aula resulta fundamental. Se detecta esto debido a que hay un amplio desconocimiento sobre enfoques pedagógicos, evaluativos e instrumentos comunes, por lo que no se logra distinguir aquellos que pueden colaborar en las disciplinas del diseño.
Los intangibles expuestos en este documento tienen la intención de despertar la reflexión y promover el debate entre expertos que estudian o imparten dentro de las disciplinas del diseño. La intención de este texto es convertirse en una oportunidad para la introspección tanto de manera individual a través del lector-docente de diseño que reconozca algunas prácticas positivas o negativas en su experiencia, al mismo tiempo que a nivel de institución sirva para reflexionar si los programas de estudios cuentan con el énfasis y enfoque adecuado, así como con los recursos humanos pertinentes para el desarrollo de los futuros profesionales. El proceso de diseño puede ser que represente un conjunto de intangibles, sí; inasibles y difíciles de observar, pero no por eso deberían permanecer ignorados durante el proceso de evaluación. El reto es pues, para la comunidad académica, encontrar maneras de traerlos a la luz e incorporarlos en la práctica formativa.
6. Agradecimientos.
Agradecimiento al Centro de Ciencias del Diseño y de la Construcción de la Universidad Autónoma de Aguascalientes, México, por el apoyo para la realización de este proyecto. Así como también a todo el equipo de colegas maestros y estudiantes que gracias a su perspectiva fue posible trazar las reflexiones en este documento. Al mismo tiempo, al equipo de trabajo que intervino para que este texto se presente con la calidad exigida para su publicación.
Referencias.
Acuña, A. (2012). El uso de las tecnologías de la información y la comunicación (TIC) en la educación. Asociación Nacional de Universidades e Instituciones de Educación Superior, México.
Adams, J., McNab, N. (2012). Understanding Arts and Humanities Students Experiences of Assessment and feedback. Arts and Humanities in Higher Education, 12(1), pp. 36-52. doi: 10.1177/1474022212460743
Alonso, J.A. (2005). Tecnologías de la Información y la Comunicación. México: Editorial Alfaomega.
Argudín, M. L. (s. f) En La Educación Universitaria Hoy, Universidad Autónoma Metropolitana, Unidad Azcapotzalco. Recuperado de http://hadoc.azc.uam.mx/ evaluacion/principales.htm
Barr, R., Tagg, J. (1995) From Teaching to Learning - A New Paradigm For Undergraduate Education. Recuperado de https://www.smith.edu/deanoffaculty/Barr%20and%20 Tagg%201995.pdf
Barrios, P., Ruiz, L.A.; González, K. (2012) Investigaciones Andina 14(24), Recuperado de http://www.redalyc.org/articulo.oa?id $\equiv$ 239024334004
Brookhart, S. (2009). Editorial. Educational Measurement: Issues and Practice, 28(1), p.p. 1 y 2
Budge, K. (2012). Art and Design Blogs: a Socially-Wise Approach to Creativity. International Journal of Art & Design Education, 31(1), pp. 44–52. doi: 10.1111/j.1476- 8070.2012.01713.x
Calderón, G. (2007). Trascender la bitácora. Sinéctica, 74(29), pp. 74-78.
Davies, A. (2000). Using Assessment to Improve the Quality of Student Learning in Art and Design. Centre for Learning and Teaching in Art and Design, University of the Arts London. Disponible en: http://ualresearchonline.arts.ac.uk/626/
Delacruz, E. (2009). Old World Teaching Meets the New Digital Cultural Creatives. International Journal of Art & Design Education, 28, pp. 261–268. doi: 10.1111/j.1476- 8070.2009.01620.x
De la Harpe, B., Peterson, J. F.; Frankham, N.; Zehner, R.; Douglas N.; Musgrave, E.; McDermott, R. (2009). Assessment Focus in Studio: What is Most Prominent in Architecture, Art and Design? International Journal of Art and Design Education, 28(1), pp. 37-51.
Giloi, S., du Toit, P. (2013). Current Approaches to the Assessment of Graphic Design in a Higher Education Context. International Journal of Art and Design Education, 32(2), pp. 256 – 261.
López Frías, S., Hinojosa Kleen, E.M. (2001). Evaluación del Aprendizaje: alternativas y nuevos desarrollos, Trillas: México
Mujica, A. M. (2012). Aprendizaje por proyectos: Una vía al fortalecimiento de los semilleros de Investigación. Revista Docencia Universitaria, 13(1), pp. 201-216.
Mansvelder-Longayroux, D. (2007). The portfolio as a tool for stimulating reflection by student teachers. Teaching and TeacherEducation, 23(1), p.p. 47–62.
Martínez-Figueria, E., Tellado-González, F., Raposo-Rivas, M., (2013). La rúbrica como instrumento para la autoevaluación: un estudio piloto. Revista de Docencia Universitaria,11(2), pp. 373 -390.
Martínez Rizo, F. (2012). La evaluación en el Aula: Promesas y desafíos de la evaluación formativa. Universidad Autónoma de Aguascalientes, México.
Postholm, M.M. (2006). Assessment during project work. Teaching and Teacher Education, 22, pp.150–163.
Remer, J. (2010). From lessons learned to local action: building your own policies for effective arts education. Arts Education Policy Review, 111(23), pp. 81-96.
Santibáñez, J. (2011). Manual para la Evaluación del Aprendizaje Estudiantil: Conceptos, Procedimientos, Análisis e Interpretación para el Proceso Evaluativo. México: Trillas.
Sampieri, R., Fernández, C., Baptista, P. (1998). Metodología de la Investigación. McGrawHill: México.
Secretaría de Educación Pública, SEP. Las estrategias y los instrumentos de evaluación desde el enfoque formativo. Recuperado de http://basica.sep.gob.mx/dgdc/sitio/
Smith, K. (2013). Assessment as barrier in Developing Design Expertise: Interior Design Student perceptions of Meaning an Sources of Grades. International Journal of Art and Desgin Education, 32(2), pp.203- 214.
Smith, K., Smith, C. (2012). Non-Career Teachers in the Design Studio: Economics, Pedagogy and Teacher Development. International Journal of Art and Design Education, 31(1), pp. 90-104.
Taylor, S.J., Bogdán, R. (1987). Introducción a los métodos cualitativos de investigación. Paidós: Barcelona.
Wotjas, O. (1998, Septiembre). Feedback? No, just give us answers. Times Higher Education Supplement.