La construcción de la identidad profesional en la titulación de Bellas Artes. Análisis de una carpeta de aprendizaje integrada en un entorno de Aprendizaje Basado en Problemas.
Eva Gregori-Giralt 1 ; J. Luis Menéndez-Varela2.
Recibido: 31 de octubre de 2018 / Aceptado: 9 de enero de 2019.
Resumen. El núcleo de la carpeta de aprendizaje es el proceso metacognitivo que promueve en los estudiantes. Este aspecto junto con la comprensión de la dimensión colectiva del conocimiento y del aprendizaje son factores determinantes en la construcción de la identidad profesional. Se presenta una propuesta de carpeta de aprendizaje centrada en competencias transversales, elaborada en grupo y asociada con un entorno de Aprendizaje Basado en Problemas que se implantó en dos asignaturas obligatorias de la titulación de Bellas Artes. El estudio empírico analizó las puntuaciones que dos profesores asignaron a los 307 estudiantes universitarios que elaboraron la carpeta con el fin de determinar la validez y la fiabilidad de las inferencias sobre su aprendizaje. La valoración de la coherencia de las puntuaciones obtenidas en las actividades que constituyeron la carpeta y de su consistencia interna, así como de la adecuación de la carpeta al contexto educativo demostró una validez y fiabilidad aceptables, de manera que puede concluirse el buen funcionamiento del recurso en el contexto en que se aplicó.
Palabras clave: Carpeta de aprendizaje; metacognición; Aprendizaje Basado en Problemas (ABP);
trabajo en grupo; validez; fiabilidad.
[en] The construction of the professional identity in the Fine Arts degree. Analysis of a learning portfolio in a Problem Based Learning environment.
Abstract. The core of the learning portfolio is the metacognitive process that it promotes in students. This aspect, and the understanding of the collective dimension of knowledge and learning, are key factors in the construction of the professional identity. We present a proposal for a learning portfolio centred on transferable skills, produced in groups inside a Problem-based Learning environment in two compulsory courses on the Fine Arts degree. The empirical study analysed the scores given by two teachers to the 307 students who produced portfolios, in order to determine the validity and reliability of inferences regarding their learning. The assessment of the consistency of the scores obtained in the activities in the portfolio, its internal consistency, and the adequacy of the portfolio in the educational context demonstrated acceptable validity and reliability. We conclude that the resource was well suited to the context in which it was applied.
Keywords: Learning portfolio; metacognition; Problem based Learning (PBL); group work; validity;
reliability.
Sumario: 1. Introducción. 2. Objeto de estudio. 3 Método. 3.1 Muestra. 3.2. Recursos y entorno didáctico. 4. Diseño. 5. Resultados. 6. Discusión y conclusiones. Referencias.
Cómo citar: Gregori-Giralt, E.; Menéndez-Varela, J.L. (2019) La construcción de la identidad profesional en la titulación de Bellas Artes. Análisis de una carpeta de aprendizaje integrada en un entorno de Aprendizaje Basado en Problemas. Arte, Individuo y Sociedad 31(4), 839-859.
1. Introducción.
La evolución de los estudios sobre la carpeta de aprendizaje en los últimos treinta años puede resumirse en tres grandes bloques. El primero ha abordado la reflexión sobre la metacognición y el progreso del estudiante en sentido amplio. Desde este enfoque, la carpeta ha sido descrita como una ordenación de los trabajos elaborados por un estudiante en un tiempo determinado y a partir de unos criterios de selección capaces de reflejar dicho progreso (Kaczmarek, 1994; Reed, 1993; Ryan y Kuhs, 1993; Valencia y Calfee, 1991; Valeri-Gold, Olson y Deming, 1991; Woodward, 1998). Forma parte de la tradición que en la década de los noventa del siglo XX introdujo la carpeta en la educación superior, interpretarla como la historia individual del conocimiento construido (Imel, 1993; Paulson y Paulson, 1994; Vernetson, 1993), y así la carpeta devino un centro de debate sobre el ejercicio de la libertad y la responsabilidad del estudiante. Reconocido como el mejor experto en su propio progreso, el estudiante pasó a ocupar desde entonces el centro de la reflexión educativa, lo que ha obligado a replantear tanto el papel desempeñado por la institución educativa en general, y el profesor en particular, como la noción misma de evaluación. La concepción de la carpeta como un recurso destinado a que el estudiante pueda mostrar su proceso de aprendizaje y demostrar el significado del mismo (Challis, 2001; Diez, 1994), debería asegurar que los resultados sean siempre y necesariamente positivos. Sin embargo, han tenido difícil respuesta las preguntas sobre cómo determina el estudiante la materia relevante de su aprendizaje, cómo establece los objetivos de su aprendizaje en una determinada disciplina y cómo acredita que los ha alcanzado.
Los estudios de Chatel (2001) y de McMullan et al. (2003) constituyeron un buen ejemplo de los intentos por solucionar esta problemática y abrieron un segundo bloque de discusión. A diferencia de la acumulación de información que caracterizó en lo principal a las primeras carpetas (Knapp, 1975), los especialistas empezaron a trabajar sobre qué colección sistemática de evidencias representaban el desarrollo personal y profesional de un estudiante. La necesidad de clarificar la utilidad educativa de la carpeta discurrió en paralelo con la reflexión sobre su estructura y sobre los criterios de valoración. Se trataba pues de un análisis de la validez de las inferencias acerca de los beneficios en el aprendizaje que podían ser deducidos de la utilización de la carpeta. Desde los precedentes de Arter y Spandel (1992), Barton y Collins (1997) o Fourie y van Niekerk (1999), hasta los trabajos de Cole (2005) y Rees (2005), no fueron pocos los especialistas que subrayaron tanto la necesidad de guiar al estudiante en el desarrollo de su carpeta como los que, en la línea de DuttDoner y Gilman (1998), examinaron las quejas de los estudiantes sobre la carga de trabajo que exigía la realización de una carpeta con escasa orientación.
Ahora bien, si se acepta que el principal beneficio de la carpeta reside en el impulso de los procesos cognitivos de alto nivel y del aprendizaje autónomo (Beausaert, Segers, y Gijselaers, 2011; Driessen, van Tartwijk, Vermunt, y van der Vleuten, 2003;
Meeus, van Petegem, y Engels, 2009; Wilkinson et al., 2002), habría que concluir que su estructura debe ser lo suficientemente dúctil como para dar cabida al estilo de aprendizaje de cada estudiante. Más aun, la carpeta puede ser un buen recurso para comprender la complejidad del proceso de aprendizaje únicamente en la medida en que dé al estudiante la posibilidad real de elegir qué incluir, cómo organizarlo y, en consecuencia, cuáles serán los criterios de su evaluación (Chang, 2001). Las investigaciones de Meeus, van Petegem, y Engels (2009) y de Newhouse y Njiru (2009) coincidieron en la idea de que la carpeta es el único recurso que enfatiza la revisión continuada del estudiante de su propio trabajo; por su parte Baume y Yorke (2002) destacaron la importancia de conectar la carpeta de aprendizaje con temáticas que los estudiantes se encontrarán como profesionales.
Esta última consideración sitúa a la carpeta como un recurso útil en la enseñanza y el aprendizaje centrados en competencias: algunos autores (Dune, Crnek-Georgeson, Bidewell, Firdaus, Rubab y John, 2018; Jarvis, O’Sullivan, McClain y Clardy, 2004; Matas y Allan, 2004; van der Vleuten y Schuwirth, 2005) afirmaron que la carpeta es un instrumento adecuado para la construcción y la evaluación de las competencias transversales del estudiante. Esto a condición de que la carpeta se conjugue con una evaluación auténtica; una evaluación que, lejos de imponer criterios ajenos al tipo de actividades y desempeños profesionales, suponga un estímulo para que el estudiante desarrolle una práctica reflexiva debidamente contextualizada en un ámbito disciplinario y un ejercicio profesional (Withaus, 2002).
La discusión sobre qué, quién y cómo debe evaluarse el aprendizaje y sobre el problema de la validez y la fiabilidad de las inferencias extraídas del uso de la carpeta, especialmente como instrumento de una evaluación sumativa, son puntos neurálgicos en los debates sobre la función formativa y acreditativa del recurso. Para Jones (2010), la mayor parte de la literatura especializada se ha centrado hasta el momento en cómo evaluar y estructurar las carpetas. Sin embargo, la diversidad tipológica de la carpeta de aprendizaje –con diferentes finalidades, estructuras, modalidades de intervención del profesor y del estudiante, y sistemas de evaluación asociados–, y sus incuestionables vínculos con el contexto en que se utiliza (Chang, 2001; Cooper y Niu, 2010; Meeus et al., 2009), alimentan la paradoja de que tanto los que defienden la validez y la fiabilidad del recurso como los que las niegan podrían tener razón.
La implantación de sistemas de rúbricas, que pretenden el establecimiento de un conocimiento y de una práctica compartida entre evaluadores y evaluados en lo que concierne al tipo de aprendizajes perseguidos y los diferentes niveles de desempeño, ha representado una línea de trabajo reconocida por todos: por los partidarios de una carpeta totalmente abierta al estudiante y por los partidarios de un recurso más cerrado y capaz de orientar mejor la construcción del aprendizaje (Admiraal, Hoeksma, van de Kamp y van Duin, 2011; Baume y Yorke, 2002; Chang, 2001; Cooper y Niu, 2010; Dorn y Sabol, 2006; Graham y Sims-Gunzenhause, 2009; Autor, 2015; Johnson, 2006; Meeus et al., 2009; O’Sullivan, Reckase, McClain, Savidge, y Clardy, 2004; Pitts, Coles, Thomas, y Smith, 2002; Rhodes, 2010). La mayor parte de estos estudios examinan la creación de descriptores utilizados por múltiples evaluadores en también múltiples situaciones de evaluación. Y llegan a la conclusión de que es imprescindible tanto un análisis de la consistencia de las puntuaciones, del grado en que estas representan los desempeños, de los efectos del sistema de evaluación en la efectiva consecución de los aprendizajes, como también de las representaciones y los comportamientos de los evaluadores en el curso del proceso de evaluación.
La transformación de las carpetas en e-carpetas, que representa el tercer bloque de estudios, ha supuesto un cambio de acento a la hora de revisar los puntos clave de dicho recurso didáctico. Por un lado, la capacidad para almacenar, revisar y rehacer trabajos previos ha devuelto a la carpeta uno de sus valores fundamentales: la reflexión sobre el proceso (Wakeling, Aldred y Hains-Wesson, 2018). Mu, Wormer, Foizey, Barkon, y Vehec (2010), Peacock, Gordon, Murray, Morss y Dunlop (2010) y Baronak (2011) subrayaron que la reflexión únicamente se produce cuando se actualizan los contenidos de una carpeta y, por lo tanto, cuando se admite que su estructura es dinámica y objeto de una revisión continuada en el seno de un ámbito disciplinar específico y por parte de un sujeto que desarrolla así su identidad profesional. Por otro lado, también se ha destacado la oportunidad que ofrecen las tecnologías de la información y la comunicación para compartir, colaborar, trabajar en grupo y construir el conocimiento de manera colectiva. Las diversas investigaciones que se están llevando a cabo sobre el diseño de las e-carpetas no solo examinan las dificultades y las ventajas del trabajo en red, el asunto de la privacidad o la cuestión de la autoría de los contenidos, sino que también ponen de relieve el problema de la exhibición y del registro del trabajo hecho a lo largo de toda la vida académica y profesional (Egan, Cooper-Ioelu, Spence y Petersen, 2018; Garrett, 2011; Gugino, 2018; Knight, Hakel y Gromko, 2008; Roberts, 2018; Romova y Andrew, 2011; Schlag y Imhof, 2017; Weber y Myrick, 2018). La idea de un aprendizaje que se prolonga durante toda la vida y la proliferación de nuevas modalidades de interacción basadas en las tecnologías de la información y la comunicación (Cheng, 2008-2009; Knight et al., 2008; O’Connor, 2018; Thibodeaux, Cummings y Harapnuik, 2017; O’Connor, 2018; Thibodeaux, Cummings y Harapnuik, 2017; Whitfield, 2011) fundamentan la utilización de la carpeta vinculada a metodologías didácticas colaborativas que exploran la conexión directa de los aprendizajes con la realidad social y profesional (Carson, Hannun, Gillian y Dehne, 2018; Chang, Chou y Liang, 2018; Cooper y Niu, 2010; Gülbahar y Tinmaz, 2006; Knight et al., 2008; Mills, Bennett, Crawford y Gould, 2009).
2. Objeto del estudio.
Tres son las premisas que guían la presente investigación. En primer lugar, que el núcleo de una carpeta es la metacognición. Con la expansión del uso de las carpetas de aprendizaje en diferentes contextos educativos, el recurso ha incorporado nuevos aspectos y objetivos; lo que ha difuminado que su especificidad reside en la reflexión del estudiante sobre sus procesos de pensamiento.
En segundo lugar, y particularmente en los estudios universitarios, que el proceso reflexivo del estudiante debe suponer un cuestionamiento continuado de los procesos y resultados de aprendizaje en relación con el contexto específico de aplicación. Las competencias transversales de una titulación –en la medida en que exigen el despliegue contextualizado de objetivos y actividades de aprendizaje fundamentales– y el trabajo en grupo constituyen un marco para impulsar dicha metacognición.
Aunque estos dos aspectos no constituyen condiciones suficientes para su logro, sí son condiciones necesarias para impulsar el proceso, sobre todo si se activan desde el ingreso del estudiante en la titulación.
En tercer y último lugar, que convendría compaginar la dimensión individual de la metacognición con la faceta colectiva de la construcción del conocimiento. La metacognición es difícilmente comprensible al margen de un proceso de participación del sujeto en el contexto en cuestión; un proceso definido por un grado creciente de integración, por un mayor compromiso y responsabilidad, y por un avance en la construcción de una identidad profesional.
La hipótesis de trabajo de este estudio es que la recurrencia de unos elementos comunes –como algunas competencias transversales y entornos de trabajo grupales– en la estructura de las carpetas implantadas en una titulación favorece su naturaleza reflexiva. Con apoyo en estos elementos comunes, el estudiante procederá con mayor facilidad a un examen comparado de sus procesos y logros a medida que progrese en la titulación y, en consecuencia, podrá extraer sus propias conclusiones en lo referente a sus procesos cognitivos y socioafectivos, y a su grado de integración en el ámbito profesional del que aspira a formar parte. De lo que se trata en primer lugar es de confrontar una propuesta de carpeta de este tipo con los requerimientos de validez y fiabilidad. Este asunto concreto constituye el objeto de estudio del presente artículo.
3. Método
3.1. Muestra.
La muestra fue de 307 estudiantes de primer curso de la titulación de Bellas Artes de la Universidad de Barcelona, de la que se analizaron las puntuaciones obtenidas en una carpeta de aprendizaje. Un $6 9 , 1 2 \%$ de la muestra fueron mujeres; los estudiantes tenían una media de 24 años (moda de 19); el $^ { 3 6 , 2 7 \% }$ de ellos trabajaba mientras que el otro $6 3 , 7 3 \%$ se dedicaba exclusivamente a los estudios. Al no detectarse diferencias significativas entre los grupos de las asignaturas participantes se procedió a su tratamiento conjunto.
La investigación se centró en dos asignaturas obligatorias del área de Historia del Arte en la titulación de Bellas Artes de la Universidad de Barcelona. Se eligieron concretamente estas dos asignaturas porque eran cursadas por todos los estudiantes de reciente ingreso y, en el imaginario colectivo de la titulación, figuraban como teóricas y alejadas de la práctica artística. En una asignatura se presentaban los fundamentos y enfoques que permiten teorizar sobre la propia noción de arte; en la otra se realizaba un recorrido netamente histórico por el arte moderno. Estas asignaturas estaban programadas en los primeros semestres de la titulación, lo que las convertía en un entorno favorable para introducir al estudiante novel en el ámbito disciplinario de la Historia del Arte. Pero el reto era hacerlo en íntima conexión con la actividad plástica; y ello por dos razones: primero, por ser esta una de las características específicas de la titulación de Bellas Artes que no debía ser olvidada, y segundo, porque se quería cuestionar la separación de las disciplinas según la dicotomía teóricas/prácticas.
3.2. Recursos y entorno didáctico.
Uno de los problemas principales del estudiante de reciente ingreso en la universidad es su adaptación de la educación secundaria a la superior, y su consecuente asunción de un contexto disciplinario específico. Fernández de Morgado (2012) afirmó la necesidad de que el estudiante se introduzca en diferentes círculos de compañeros y participe en comunidades de aprendizaje y entornos de trabajo colaborativos con el fin de que se comprometa con los valores del nuevo entorno y empiece a construir su sentido de pertenencia. Dicho sentido de pertenencia se define como la satisfacción de la persona al sentirse miembro de un colectivo; favorece la conciencia hacia los valores de dicho grupo, y tiene una influencia positiva sobre la motivación de los estudiantes, su resistencia ante los obstáculos y su rendimiento intelectual. Como cualquier integración en un colectivo, construir el sentido de pertenencia a los estudios universitarios de las artes pasa por detectar las necesidades del propio entorno y diseñar las acciones adecuadas para resolverlas desde la óptica de la especialidad. Didácticamente hablando, el problema reside en hallar el justo término entre aprendizajes que sean relevantes y significativos personal y profesionalmente y que supongan un reto cognitivo alcanzable por el estudiante novel de la disciplina.
La experiencia objeto de análisis partió de una primera selección de las competencias transversales que mejor sintonizaban con las asignaturas involucradas y analizó el desarrollo de dichas competencias en objetivos y actividades de aprendizaje. El resultado de este proceso planteó la conveniencia de abordar las competencias de búsqueda, selección e integración de información relevante; comprensión y expresión oral; trabajo en grupo; y diseño y gestión de proyectos. En un segundo momento, los profesores participantes sintetizaron los ejes temáticos de las dos asignaturas en cuatro grandes bloques y los ofrecieron a los estudiantes en forma de situaciones problemáticas para que eligieran cuál les interesaba resolver y en qué grupo de trabajo querían hacerlo. El proceso de resolución de dichas situaciones problemáticas debería concretarse en la concepción y planificación colectiva de un proyecto de investigación plástica y sus diferentes etapas vendrían pautadas por una carpeta de aprendizaje desarrollada en un entorno de Aprendizaje Basado en Problemas (ABP). Este entorno de aprendizaje está considerado con mayor detalle en otra publicación (Gregori-Giralt y Menéndez-Varela, 2015b).
La combinación de ambos recursos (carpeta y ABP) tenía como finalidad la mejora de la participación del estudiante en comunidades de aprendizaje que afrontan situaciones simuladas de la realidad profesional; pero considerando las necesidades específicas de los estudiantes de reciente ingreso en la titulación de Bellas Artes. Ello significaba fomentar la resolución de problemas, el aprendizaje autónomo y la integración de los estudiantes en grupos de trabajo y, al mismo tiempo, orientar y favorecer una práctica reflexiva contextualizada de cada una de las etapas del proceso. Si los tres primeros aspectos son asuntos clave de cualquier experiencia de ABP, los dos últimos lo son de esa carpeta de aprendizaje que halla sus orígenes en el portafolio del artista y promueve la construcción de la identidad profesional.
Los profesores participantes propusieron una carpeta de aprendizaje estructurada en una fase de documentación bibliográfica y gráfica, una fase de exposición oral del proceso de elaboración del proyecto y una fase transversal de discusión y valoración de dicho proyecto mediante una evaluación entre iguales que complementaba la evaluación del profesor. Así, cada grupo de trabajo realizó un taller de documentación bibliográfica, otro de documentación gráfica y un último de exposición oral. Si con los dos primeros se perseguía que los estudiantes analizaran los principales asuntos inferidos de la situación problemática que habían elegido –y, por consiguiente, de uno de los bloques de la materia de las asignaturas– y se familiarizaran con el tratamiento y la búsqueda de información; con el último se procuraba que los estudiantes mostraran la reflexión que guió su trabajo a lo largo del semestre para resolver el problema planteado, y que ejercitaran su competencia comunicativa oral.
Las diferentes partes de la carpeta no solo implicaban la realización y presentación de una actividad concreta sino también la elaboración de un informe metacognitivo que recogiera una valoración de los estudiantes sobre el proceso, las razones y la finalidad de las acciones emprendidas por los estudiantes en esa actividad. Luego, profesores y compañeros valoraban, con unos criterios comunicados al principio del curso, los resultados de la actividad y las explicaciones dadas sobre las decisiones tomadas durante el proceso. De esta manera, se pretendía que los estudiantes profundizaran en los objetivos perseguidos con las diversas actividades analizando el trabajo de los otros con los mismos criterios de valoración mediante los que ellos serían finalmente evaluados. Pero también se buscaba que los estudiantes reflexionaran en la práctica y desde diferentes puntos de vista sobre los estándares propuestos por la asignatura y participaran en la mejora de su propio trabajo a través de la mejora del trabajo de los compañeros.
Las dos sesiones semanales en que se organizaba el trabajo en el aula se distribuyeron del siguiente modo: una sesión se dedicó a la tutoría de los grupos de trabajo; la otra a la exposición por los profesores de un tema que afectaba a los problemas propuestos. Las tutorías se organizaron en cuatro tipos diferentes de sesiones a los que se asignó un número variable de reuniones en función de cada grupo de estudiantes: sesiones de regulación del grupo, en las que cada equipo de estudiantes discutió y consensuó un marco común de trabajo; sesiones de establecimiento de los temas de investigación –aspecto nuclear del ABP junto con la figura del tutor facilitador–; sesiones de exploración del marco teórico, en las que el grupo debía buscar, seleccionar e integrar información relevante para su proyecto; y sesiones de concepción, planificación y –de manera opcional– ejecución del proyecto artístico propiamente dicho.
El curso concluía con la exposición oral del proyecto artístico en el aula: de sus fundamentos, decisiones y acciones emprendidas así como de sus resultados, que luego eran valorados por el resto de asistentes. La propuesta didáctica no pretendía que los estudiantes elaboraran un producto artístico definitivo sino que profundizaran en el proceso de concepción y planificación, de modo que dicho producto constituía únicamente la excusa para dar sentido a la tarea del estudiante. En la misma línea, el hecho de que todos los proyectos con sus diferentes fases se plantearan en grupo contribuía a centrar la atención de los estudiantes en la discusión y reflexión sobre los procesos.
Otra actividad de la carpeta fue el Cuestionario de respuestas de opción múltiple. Consistía en una pregunta con tres respuestas, de las que solo una era verdadera, que los estudiantes debían formular en relación con los contenidos de las asignaturas y que debían enviar semanalmente a la plataforma de aprendizaje utilizada. Esta actividad fue realizada individualmente –igual que la valoración de las exposiciones orales de los proyectos– y su finalidad era favorecer una relación continuada del estudiante con la asignatura, en la que no faltaba una cierta faceta lúdica. Aunque con ella se invitaba al estudiante a acercarse críticamente a los contenidos de la asignatura, todas las aportaciones se integraban en una base de datos en línea cuya finalidad era alimentar un instrumento de autoevaluación para los futuros estudiantes de la asignatura. Con lo cual, la participación e integración del estudiante en la comunidad del grupo de trabajo y en la comunidad del grupo-aula se completaba con su participación en la comunidad de estudiantes de la titulación.
En lo concerniente al sistema de evaluación, conviene destacar cuatro aspectos. Primero, que la carpeta fue el único instrumento de evaluación. Segundo, que la actividad con mayor peso en la calificación final (la exposición oral del proyecto) fue la que confirió sentido al proceso mediante la presentación y defensa de un proyecto dentro del ámbito concreto de las artes (proyecto artístico). Tercero, que la actividad del Cuestionario de respuestas de opción múltiple tuvo el mismo peso en la calificación final que las actividades directamente relacionadas con los procesos de documentación y planificación del proyecto artístico. Cuarto, y ello es lo más destacado, que la evaluación entre iguales desempeñó un papel importante en la calificación de las actividades de proceso. Los grupos de estudiantes solo pudieron calificar el trabajo de sus compañeros a condición de que ellos mismos hubiesen elaborado la actividad de documentación correspondiente y la hubiesen sometido a consideración de los demás. De modo que el profesor hizo el seguimiento de los proyectos simultáneamente al enjuiciamiento que realizaron los grupos de estudiantes en la valoración del trabajo ajeno. De este modo se quiso reforzar ese carácter de proceso que debía culminar en un determinado producto final (el proyecto), y fomentar que los estudiantes revisaran constantemente su trabajo en función de las observaciones que les llegaban de la valoración de los compañeros y de acuerdo con la evolución del propio proyecto.
4. Diseño.
Los criterios de evaluación fueron aplicados según una escala fija de medición del 0 al 10 sin valores negativos. Todas las variables analizadas fueron cuantitativas continuas. Se aplicó un proceso de depuración para evitar que los valores de los No presentados –los estudiantes que no presentaron ninguna o solo una de las actividades que comprendió la carpeta– fuesen tipificados a 0 por los paquetes estadísticos empleados. Los criterios de evaluación fueron nueve. Debido a su peso en el sistema de evaluación, siete fueron referidos a la actividad de Exposición oral –Fundamentación teórica del proyecto, Justificación del proyecto, Problemas $y$ soluciones adoptadas, Claridad expositiva, Adecuación al acto público, Ajuste al tiempo disponible y Valoración global–, mientras que uno sintetizó la actividad de Evaluación entre iguales –Utilidad de la realimentación–, y uno también la actividad del Cuestionario de respuestas de opción múltiple –Relevancia para la autoevaluación. En total, se trabajó con una matriz de 2763 datos correspondientes a los nueve criterios de los 307 estudiantes que trabajaron con la carpeta a lo largo del curso.
La investigación examinó el diseño del recurso didáctico, por un lado, y su adecuación al contexto educativo, por el otro. En este sentido, cabe separar las pruebas destinadas a estimar la congruencia de la carpeta en lo referente al número y naturaleza de los criterios de valoración, de las pruebas destinadas a valorar la carga de trabajo de los estudiantes y los resultados de aprendizaje obtenidos tras completarla.
Dentro del primer grupo, y con el fin de observar el nivel de integración en uno o varios constructos de las actividades que constituían la carpeta de aprendizaje, se procedió en primer lugar a realizar un análisis factorial exploratorio de las puntuaciones que los estudiantes alcanzaron en cada criterio de evaluación. A partir de los constructos hallados, se llevaron a cabo otros análisis factoriales de confirmación así como el cálculo de los coeficientes Alfa de Cronbach de cada factor para estimar el grado de consistencia de los mismos. El resultado de dichos análisis se presenta mediante la matriz de componentes rotados de acuerdo con el método de rotación Varimax por constituir la versión mejorada de la matriz de componentes principales empleada por el programa SPSS. Asimismo, y con el fin de demostrar la adecuación de los análisis factoriales, se presentan también los resultados del test Kaiser-Meyer-Olkin (KMO) y de la esfericidad de Bartlett.
En segundo lugar, y para estimar la fiabilidad de las valoraciones formuladas sobre la carpeta, se calcularon los coeficientes Alfa de Cronbach considerando también el conjunto de criterios de evaluación. Puesto que ni la misma persona hizo la carpeta dos veces ni las actividades propuestas tenían objetivos de aprendizaje idénticos, se desestimó la idea de fiabilidad como expresión de estabilidad temporal o equivalencia a favor de una interpretación directamente relacionada con la consistencia interna y el grado de homogeneidad de las partes constitutivas de la carpeta.
En tercer lugar, se valoró la adecuación de la carpeta desde el punto de vista de su extensión. Así, se estudiaron los efectos que la modificación del número de criterios de evaluación podría generar sobre la fiabilidad. A partir de la fórmula de profecía de Spearman-Brown, se estimó, por un lado, cuánto aumentaría la fiabilidad si aumentase también el número de criterios inicial; y por otro, en cuánto se debe aumentar el número de criterios para alcanzar una fiabilidad ampliamente reconocida por la literatura especializada.
Respecto de la adecuación de la carpeta al contexto educativo, se analizaron las calificaciones de los estudiantes y el tiempo que estos emplearon en la realización de la carpeta. En el estudio del número de horas, se utilizó el valor de la mediana para minimizar el efecto distorsionador que pudiese hallarse en los promedios. Esta última información sobre la carga de trabajo se obtuvo de los datos facilitados de forma voluntaria por los propios estudiantes en un sistema de encuestas de tipo descriptivo y analítico, en soporte electrónico, y auto-administradas a distancia que recogía esta y otra información de las actividades de la carpeta. De ellas también se obtuvo el perfil de la muestra descrito.
5. Resultados.
La Tabla 1 presenta el resultado del análisis factorial exploratorio llevado a cabo sobre las calificaciones de los estudiantes en cada criterio de evaluación. Dicho análisis muestra dos grandes factores capaces de explicar el $7 2 { , } 4 1 \%$ de la varianza total. Estos dos factores se corresponden respectivamente con las actividades de grupo –Exposición oral del proyecto–, por un lado, y las actividades individuales –Evaluación entre iguales y Cuestionario de respuestas de elección múltiple–, por el otro.
Tabla 1. Matriz de componentes rotados del factorial exploratorio.

Actividades	Criterios de evaluacion	Componente
Factor 1(Actividadesde grupo)	Factor 2(Actividadesindividuales)
Exposicion oraldel proyecto	Justificacion del proyecto	0,946	0,065
Problemas y soluciones adoptadas	0,938	0,071
Claridad expositiva	0,926	0,098
Fundamentación teórica delproyecto	0,896	0,186
Valoracion global	0,882	0,071
Adecuacion al acto publico	0,802	0,233
Ajuste al tiempo disponible	0,617	0,104
Evaluacion entreiguales	Utilidad de la realimentacion	-0,076	0,926
Cuestionario derespuestas deopcion multiple	Relevancia para la autoevaluacion	0,284	0,460

.
El índice KMO y la prueba de Bartlett señalan la adecuación del análisis con una fiabilidad del $9 5 \%$ y 52,47 como valor máximo explicado por el azar (Tabla 2).
Tabla 2. KMO y test de Bartlett del análisis factorial exploratorio.

KMO	Test de Bartlett	% de varianza totalexplicada
Chi cuadradoaproximado	Grados delibertad	Significacion
0,781	1831,658	36	0,000	72,41

.
Con el fin de confirmar la existencia de los dos constructos hallados en el análisis factorial exploratorio, se realizan dos nuevos factoriales. Uno sobre todos los criterios que componen el factor 1 del análisis factorial exploratorio –Actividades de grupo–, con una varianza total explicada del $7 6 { , } 3 6 9 \%$ ; y otro forzando el cálculo de un factor diferente por actividad, con un $8 2 , 9 2 1 \%$ de varianza total explicada (Tabla 4). En el primer caso, se confirma la existencia de un único factor así como la adecuación del análisis con una confianza del $9 5 \%$ y un valor máximo permitido por el azar de 32,67. En el caso del análisis factorial con tres factores diferentes –correspondientes a la Exposición oral del proyecto, la Evaluación entre iguales y el Cuestionario de respuestas de opción múltiple–, se confirma la existencia de un constructo por actividad y la adecuación del análisis con un $9 5 \%$ de fiabilidad y 52,47 como valor máximo permitido por el azar (Tabla 4). La única excepción la protagoniza el criterio Ajuste al tiempo disponible relativo a la exposición oral que pasa al segundo factor en la matriz de componentes rotados aunque forme parte del primero en la matriz de componentes principales (Tabla 3).
Tabla 3. Matriz de componentes rotados del factorial confirmatorio.

Actividades	Criterios de evaluacion	Componente
Factor 1Exposicionoral	Factor 2Cuestionarioderespuestasde opcionmultiple	Factor 3Evaluacionentreiguales
Exposicionoral delproyecto	Problemas y solucionesadoptadas	0,928	0,182	-0,030
Claridad expositiva	0,911	0,208	-0,011
Fundamentacion teóricadel proyecto	0,896	0,203	0,086
Adecuacion al actopublico	0,883	-0,033	0,227
Justificacion del proyecto	0,873	0,371	-0,107
Valoracion global	0,856	0,222	-0,043
Cuestionarioderespuestasde opcionmultiple	Relevancia para laautoevaluacion	0,082	0,864	0,159
Exposicionoral delproyecto	Ajuste al tiempodisponible	0,457	0,610	-0,140
Evaluacionentre iguales	Utilidad de larealimentacion	0,042	0,068	0,964

.
Tabla 4. KMO y test de Bartlett de los análisis factoriales confirmatorios.

Factorial	KMO	Test de Bartlett	% devarianzatotalexplicada
Chicuadradoaproximado	Grados delibertad	Significacion
Del factor 1	0,778	1794,539	21	0,000	76,37
De cada actividadde la carpeta	0,781	1831,658	36	0,000	82,92

.
A partir de los dos constructos hallados en el análisis factorial exploratorio, se estimó la consistencia interna de cada factor por separado y de la carpeta en su conjunto mediante el cálculo del coeficiente Alfa de Cronbach.
Tabla 5. Alfa de Cronbach de los factores.

Factor 1(Exposicion oral delproyecto artistico)	Factor 2(Evaluacion entre igualesy Cuestionario derespuestas de opcion multiple)	Carpetacompleta
0,81	0,089	0,79

.
Acto seguido, se calculó cómo afectaría la variación del número de criterios a la consistencia interna de la carpeta de tres formas diferentes. En primer lugar, se determinó el incremento del número necesario de criterios para alcanzar una fiabilidad de 0,90. En segundo, se calculó qué fiabilidad se conseguiría multiplicando por dos el número de criterios inicial. Y en tercero, se estimó el Alfa de Cronbach resultante de reducir a la mitad los nueve criterios de la carpeta examinada.
Tabla 6. Variación de la fiabilidad tras alterar el número de criterios. $^ { \mathrm { a } } n$ es el factor que modifica el número de criterios para alcanzar una fiabilidad determinada.

Fiabilidadinicial(Alfa de Cronbach)	N° inicialde criterios	Valor na	Nuevonumero decriterios	Nuevafiabilidad(Alfa de Cronbach)
0,79	9	3	27	0,90
0,79	9	~2	18	0,88
0,79	9	~0,55	5	0,67

.
Para estudiar el ajuste de la carpeta al contexto educativo, se analizó la carga de trabajo de los estudiantes en cada componente de la carpeta.
Tabla 7. Número de horas de trabajo autónomo del estudiante.

Actividades	Mediana	Porcentajes
Exposicion del proyecto artistico	55	67,90
Evaluacion entre iguales	16	19,75
Cuestionario de respuestas de opción multiple	10	12.34
Total	81	100

.
La carga de trabajo final de los estudiantes (154,5 horas) es la suma de las horas de trabajo autónomo en el que realizaron la carpeta de trabajo (las 81 horas de la Tabla 7), las dedicadas a la asistencia a clase (56 horas) y otras actividades de trabajo tutelado (17,5 horas). Por consiguiente, la intervención educativa propuesta que combinaba un entorno de ABP y la realización de una carpeta de aprendizaje supuso para los estudiantes únicamente un incremento del $3 \%$ del total de las 150 horas que tenían asignadas las asignaturas en el plan de estudios.
La Tabla 8 muestra los resultados académicos en valores absolutos y relativos con y sin la presencia de los considerados No presentados.
Tabla 8. Calificaciones finales. Porcentajes con y sin No presentados.

Calificaciones finales
Nopresentado	Suspenso	Aprobado	Notable	Sobresaliente	Matriculade Honor
Numero deestudiantes	96	22	85	70	25	9
% con Nopresentados	31,27	7,16	27,68	22,80	8,14	2.93
% sinNopresentados	10,42	40,28	33,17	11,84	4,26

6. Discusión y conclusiones.
Ayudar al estudiante a verse a sí mismo como parte de un contexto disciplinario específico, y con ello sentar las bases de su identidad profesional, exige cuanto menos situarlo en un entorno de aprendizaje en el que deba buscar, elegir y relacionar información, tomar decisiones tras evaluar las posibilidades y solucionar problemas propios de su especialidad (Menéndez-Varela y Gregori-Giralt, 2017). Todo ello confiriendo la máxima importancia a los procesos cognitivos en los que el estudiante no solo toma conciencia de qué aprende y por qué esos aprendizajes son relevantes en términos socioprofesionales, sino también de qué modo concreto construye esos aprendizajes y del valor de su interacción cognitiva con otros miembros de su ámbito disciplinario. La tradición académica ha demostrado que las carpetas de aprendizaje son recursos particularmente útiles para fomentar la reflexión del estudiante sobre sus procesos de pensamiento (Schrand, Jones y Hanson, 2018). Estas son las razones que explican por qué se eligió una carpeta de aprendizaje, se estructuró en los componentes elegidos y se asoció a un entorno de ABP.
La carpeta propuesta se centró en la construcción de algunas competencias transversales, en línea con la afirmación de Matas y Allan (2004) de que esta orientación facilita que las carpetas impulsen en los estudiantes esa necesaria dimensión metacognitiva del aprendizaje. Por su parte, Van der Vleuten y Schuwirth (2005) señalaron que las cuestiones clave relativas a la validez de las carpetas son la integración y autenticidad de las competencias; es por ello por lo que conviene revisar el recurso didáctico para solucionar cualquier déficit en lo que a estimación de dichas competencias se refiere (Jarvis et al., 2004). Así, la integración y la autenticidad de la carpeta fueron los dos ejes principales para interpretar hasta qué punto la propuesta consiguió centrarse en el desarrollo de los métodos propios del campo específico de las artes y se orientó hacia la construcción de una identidad profesional a través del trabajo en grupo. En este sentido, este estudio contribuye a la literatura existente sobre la carpeta en demostrar la validez y fiabilidad de la propuesta planteada. En lo que concierne a la validez, el examen de la carpeta a partir del análisis estadístico de las puntuaciones obtenidas en sus diferentes componentes por todos los estudiantes permite afirmar la congruencia de la misma. Por un lado, los resultados de los análisis factoriales y los relativos a la homogeneidad tanto de la carpeta en su conjunto como de cada uno de los constructos hallados permiten inferir un grado aceptable de integración. Por otro, la cuestión de la autenticidad fue abordada también mediante dos indicadores –carga de trabajo del estudiante y calificaciones– de la adecuación del recurso no solo a determinadas prácticas profesionales sino también al contexto en que se aplicó.
La validez de las inferencias extraídas de la utilización de la carpeta es esencial para poder afirmar que la carpeta puede resultar de ayuda en la construcción de la identidad profesional del estudiante. Si la carpeta propuesta supera el análisis de la validez –en este estudio entendida como coherencia interna–, y si sus componentes recogen actividades relevantes del ámbito profesional en cuestión –como viene demostrado por las competencias transversales seleccionadas y la conexión directa de las actividades de la carpeta con el ámbito artístico–, es posible concluir que su uso favorece la construcción de la identidad profesional. Esta aseveración se refuerza, además, cuando se utiliza en un entorno de trabajo cooperativo de los estudiantes, como fue el caso del Aprendizaje Basado en Problemas. En la iniciativa presentada, el trabajo en grupo de los estudiantes tuvo su correlato en el trabajo en un grupo más amplio, el aula –es decir, el resto de grupos de trabajo de los compañeros y los profesores–, como un espacio que simulaba y representaba el ejercicio y la valoración de las prácticas profesionales que constituyeron el objeto de la carpeta.
Los resultados de los análisis factoriales de las Tablas 1 y 3 muestran la agrupación de los criterios en dos grandes bloques representados por el proyecto artístico realizado en grupo, por un lado, y el resto de actividades elaboradas individualmente, por el otro. Los coeficientes Alpha de Cronbach de cada uno de los constructos hallados redundan en lo anterior y confirman que las actividades de grupo presentan mayor homogeneidad que las individuales. El constructo relativo a las actividades vinculadas a la búsqueda y selección de información relevante, trabajo en grupo y defensa pública de la investigación presenta un coeficiente Alpha de 0,81 (Tabla 5), superior al conjunto de la carpeta. El segundo constructo arroja un coeficiente Alpha de 0,089 y prácticamente deja al margen de su integración en el recurso didáctico a la actividad de Cuestionario que no tenía una relación directa con las competencias citadas.
El análisis de la fiabilidad de las inferencias tras evaluar la carpeta propuesta es también fundamental porque afirmar la consecución de los resultados de aprendizaje previstos exige la demostración de que el procedimiento de evaluación no fue afectado por elementos espurios y se atuvo así al desempeño de los estudiantes. Asimismo, el cálculo de la fiabilidad teórica al que fue sometida la carpeta es un indicador de la adecuación de la carpeta al contexto en que se aplicó. Como muestran los datos, doblando los nueve criterios de evaluación se conseguiría aumentar la homogeneidad del recurso didáctico de 0,79 a 0,88, mientras que reduciendo los criterios a la mitad la consistencia se vería muy perjudicada (Tabla 6). Dieciocho criterios de evaluación –con la ampliación de criterios que suponen– representan una carga de trabajo excesiva para profesores y estudiantes en una carpeta de aprendizaje semestral. Las pruebas estadísticas no aclaran si este aumento debería aplicarse a los criterios ya existentes en el modelo de carpeta analizado o, por el contrario, habría que incluir nuevas actividades. Sin embargo, existen indicadores que permiten avanzar alguna hipótesis.
El Cuestionario es la única actividad realizada al margen de las sesiones de ABP y del desarrollo del proyecto. Todo parece aconsejar su transformación profunda o su eliminación. Y lo mismo podría decirse de la Evaluación entre iguales de no ser por dos razones. Por un lado, porque entre sus objetivos estaba tanto la autoevaluación del estudiante como la comprensión de la dimensión colectiva de la construcción del conocimiento. Si dicha actividad no alcanzó el éxito esperado, habría que indagar hasta qué punto los estudiantes interiorizaron los pormenores del proceso y fueron conscientes de la contextualización disciplinaria del trabajo en grupo. Por otro lado, porque la Evaluación entre iguales estuvo presente en todas y cada una de las etapas del proyecto artístico e incidió en los criterios de evaluación de la asignatura. Cualquier defecto en su funcionamiento tuvo que afectar al funcionamiento general de las actividades de aprendizaje. ¿Habría que añadir a la carpeta una actividad estrictamente individual para valorar la construcción de los aprendizajes que los estudiantes trabajaban en grupo?
De acuerdo con los análisis de Barton y Collins (1997) y Fourie y van Niekerk (1999), los estudiantes necesitan directrices claras y detalladas sobre la carpeta: cuáles son los objetivos de aprendizaje, cuáles los resultados esperados, la forma de organizar los contenidos, y cómo reflexionar y evaluar el trabajo propio. Baeten, Dochy y Struyven (2008) afirmaron que un incremento de la carga de trabajo en la elaboración de la carpeta podría causar un enfoque superficial del aprendizaje en los estudiantes. Knight et al. (2008) insistieron en que una de las claves del buen funcionamiento de las carpetas radica en acompañar al estudiante en la organización de los artefactos que la componen. En el ejemplo examinado, la carpeta se desarrolló en un entorno de ABP, se tutorizó semanalmente en el grupo de trabajo y se contrastó mediante las diferentes evaluaciones entre iguales hasta culminar en la defensa pública ante los compañeros y el profesor. Esto pudo haber afectado a la percepción sobre el esfuerzo realizado. Las 81 horas que los estudiantes afirmaron haber dedicado al conjunto de actividades de la carpeta supuso que la propuesta excedió solo un $3 \%$ la carga de trabajo estipulada para la asignatura (Tabla 7). Este hecho habla a favor de su adecuación al contexto de educativo. Es muy posible que el entorno didáctico de ABP, que organizó los aprendizajes en torno a un proyecto artístico, tuvo una influencia positiva en la comprensión del sentido de la carpeta y su directa relación con una identidad profesional. Si la idea de Baeten et al. (2008) es correcta, podría defenderse que la carga de trabajo moderada que supuso para los estudiantes la preparación de la carpeta posibilitó un enfoque profundo del aprendizaje sobre el proceso de elaboración de un proyecto.
La estimación de las calificaciones evidencia que se alcanzaron los resultados de aprendizaje previstos en las asignaturas, una vez demostradas la validez y la fiabilidad. La distribución de las calificaciones recogida en la Tabla 8 representa que los estudiantes superaron mayoritariamente el desempeño esperado en actividades significativas del ámbito de las artes. En consecuencia, puede sostenerse que la carpeta ayudó a construir esa identidad profesional en los estudiantes. El hecho de que las calificaciones muestren una distribución normal permite concluir asimismo que la carpeta se adaptó bien al perfil del estudiante. En la Tabla 8 hay dos aspectos de especial interés. Por un lado, el $^ { 3 1 , 2 7 \% }$ de estudiantes que no realizaron ninguna actividad de la carpeta o que presentaron solo una. Dado que un elevado volumen de No presentados afectaba por aquel tiempo a las asignaturas que compartían la misma área de conocimiento con las asignaturas participantes, este porcentaje no puede ser imputado a la carpeta; pero también es cierto que la utilización de la carpeta no resolvió el problema. Por otro lado, conviene subrayar que la suma de las calificaciones superiores al aprobado concentró el porcentaje más elevado (un $4 9 , 7 \% )$ . Basta comprobar que el porcentaje de sobresalientes por sí solo supera al de suspensos para ratificar la calidad del aprendizaje construido.
El reconocimiento de que la carpeta propuesta no ha resuelto totalmente la asimilación individual de un proceso que sí se ha comprendido desde el punto de vista grupal es una forma de insistir en la dificultad de hallar el justo término entre los procesos y las responsabilidades individuales y colectivas en la construcción del conocimiento. No obstante, dicha carpeta es también una ocasión para reflexionar sobre la conveniencia de que las carpetas de aprendizaje universitarias incluyan actividades colaborativas orientadas a la comprensión de los procesos propios de una determinada disciplina académica.
El estudio adolece de dos limitaciones destacables. En primer lugar, se realizó sin la presencia de un grupo de control, lo cual habría dado más consistencia al análisis comentado en este artículo. Dos razones explican esta decisión. Primero, porque las titulaciones de las artes, especialmente en el sistema universitario español, carecen todavía de estudios suficientes sobre la carpeta de aprendizaje o el ABP y se prefirió trabajar con una muestra amplia de estudiantes que utilizaron estos recursos. Segundo, porque la realización de investigaciones con metodologías propias de las Ciencias Sociales dista todavía de ser juzgada como una actividad investigativa que contribuye al avance del conocimiento en el ámbito de las artes. Aunque es un hecho el interés creciente por la didáctica de las artes en la educación superior y el incremento de investigadores en este campo, quedan todavía reticencias que se expresan por medio del menosprecio de esta investigación como un subproducto de la docencia, lo que frena en ocasiones diseños metodológicos sobre los que pudiera caer la sospecha de utilizar a los estudiantes como conejillos de indias. En segundo lugar, la investigación carece de un estudio de la experiencia de quienes participaron en la intervención. Tal asunto fue abordado en parte en una publicación anterior (GregoriGiralt y Menéndez-Varela, 2015b), en la que se realizó un estudio descriptivo de poblaciones mediante encuestas para analizar la opinión de los estudiantes en cuatro momentos diferentes del semestre. Con un enfoque cualitativo, se realizó también un estudio etnográfico basado en casos múltiples sobre la labor del tutor en el entorno de ABP aplicado en Bellas Artes (Menéndez-Varela y Gregori-Giralt, en prensa). Sin embargo, falta un análisis cualitativo que, desde la fenomenografía, identifique los aspectos fundamentales de la experiencia que los estudiantes y profesores tuvieron en la elaboración de la carpeta de aprendizaje. La cuestión bien podría constituir una línea de investigación futura.
Referencias.
Admiraal, W., Hoeksma, M., van de Kamp, M.-T. y van Duin, G. (2011). Assessment of Teacher Competence Using Video Portfolios: Reliability, Construct Validity, and Consequential Validity. Teaching and Teacher Education, 27(6), 1019-1028. https://doi. org/10.1016/j.tate.2011.04.002
Arter, J. y Spandel, V. (1992). Using Portfolios of Student Work in Instruction and Assessment. Educational Measurement: Issues and Practice, 11(1), 36-44. https://doi. org/10.1111/j.1745-3992.1992.tb00230.x
Baeten, M., Dochy, F. y Struyven, K. (2008). Students’ Approaches to Learning and Assessment Preferences in a Portfolio-Based Learning Environment. Instructional Science: an International Journal of the Learning Sciences, 36(5-6), 359-374. https://doi. org/10.1007/s11251-008-9060-y
Baronak, W. (2011). Teacher Candidate Perceptions of Electronic Portfolios. (Unpublished master’s thesis). West Virginia University, Morgatown, West Virginia.
Barton, J. y Collins, A. (eds.) (1997). Portfolio assessment: a handbook for educators. New York: Dale Seymour Publications.
Baume, D. y Yorke, M. (2002). The Reliability of Assessment by Portfolio on a Course to Develop and Accredit Teachers in Higher Education. Studies in Higher Education, 27(1), 7-25. https://doi.org/10.1080/03075070120099340
Beausaert, S., Segers, M. y Gijselaers, W. (2011). The Personal Development Plan Practice Questionnaire: the development and validation of an instrument to assess the employee’s perception of personal development plan practice. International Journal of Training and Development, 15(4), 249-270. https://doi.org/10.1111/j.1468-2419.2011.00375.x
Carson, A. S., Hannum, G. G. y Dehne, Ch. (2018). Manhattanville College’s Atlas Program: Designing a Road Map to Success in College and Beyond. International Journal of ePortfolio, 8(1), 73-86.
Challis, M. (2001). Portfolios and assessment: meeting the challenge. Medical Teacher, 23, 437-440. https://doi.org/10.1080/01421590120075643
Chang, Ch.-Ch. (2001). A Study on the Evaluation and Effectiveness Analysis of Web-Based Learning Portfolio (WBLP). British Journal of Educational Technology, 32(4), 435-458. https://doi.org/10.1111/1467-8535.00212
Chang, Ch.-Ch., Chou, P.-N. y Liang, Ch. (2018). Using ePortfolio-Based Learning Approach to Facilitate Knowledge Sharing and Creation among College Students. Australasian Journal of Educational Technology, 34(1), 30-41. https://doi.org/10.14742/ajet.2687
Chatel, R. G. (2001). Portfolio Development: Some Considerations. Recuperado de https:// eric.ed.gov/?id $\varprojlim .$ ED459437
Cheng, G. (2008-2009). Implementation Challenges of the English Language ePortfolio System from Various Stakeholder Perspectives. Journal of Educational Technology Systems, 37(1), 97-118. https://doi.org/10.2190/ET.37.1.h
Cole, G. (2005). The definition of “portfolio”. Medical Education, 39, 1140-1142. https://doi. org/10.1111/j.1365-2929.2005.02327.x
Cooper, G. y Niu, R. (2010). Assessing International Learning: A Mixed Methodological Approach to Assessing Curricular and Extracurricular International Experiences. The Journal of General Education, 59(3), 159-171. https://doi.org/10.5325/ jgeneeduc.59.3.0159
Diez, M. E. (1994). The Portfolio: Sonnet, Mirror and Map. In: AA.VV. Conference on Linking Liberal Arts and Teacher Education: Encouraging Reflection throught Portfolios (pp. 1-14). San Diego: Mission Valley Hilton.
Dorn, Ch. y Sabol, F. R. (2006). The Effectiveness and Use of Digital Portfolios for the Assessment of Art Performances in Selected Secondary Schools. Studies in Art Education. A journal of Issues and Research, 47(4), 344-362. https://doi.org/10.1080/00393541.20 06.11650092
Driessen, E. W., van Tartwijk, J., Vermunt, J. D. y van der Vleuten, C. P. (2003). Use of Portfolios in Early Undergraduate Medical Training. Medical Teacher, 25(1), 18-23. https://doi.org/10.1080/0142159021000061378
Dune, T., Crnek-Georgeson, K., Bidewell, J., Firdaus, R. y John, J. R. (2018). Undergraduate Health Science Students’ Development of Reflective Practice on Communication Skills via e-Portfolios. Journal of University Teaching and Learning Practice, 15(3), 1-18.
Dutt-Doner, K. y Gilman, D. A. (1998). Students React to Portfolio Assessment. Contemporary Education, 69(3), 159-165.
Egan, J. P., Cooper-Ioelu, P., Spence, F. y Petersen, M. L. (2018). The Curricular and Technological Nexus: Findings from a Study of ePortfolio Implementation. International Journal of ePortfolio, 8(2), 127-138.
Fernández de Morgado, N. (2012). Retención y persistencia estudiantil en instituciones de educación superior: una aproximación interdisciplinaria al concepto. Paradigma, 33(2), 63-88.
Fourie, I. y van Niekerk, D. (1999). Using Portfolio Assessment in a Module in Research Information Skills. Education for Information, 17(4), 332-352. https://doi.org/10.3233/ EFI-1999-17404
Garrett, N. (2011). An Eportfolio Design Supporting Ownership, Social Learning, and Ease of Use. Educational Technology & Society, 14(1), 187–202.
Menéndez-Varela, J. L. y Gregori-Giralt, E. (en prensa). Las dinámicas grupales generadas por el tutor experto y el no-experto en las tutorías de Aprendizaje Basado en Problemas. Un estudio de casos múltiples en la titulación de Bellas Artes. En I. Arbesú García y J. L. Menéndez Varela (Coords.), Métodos cualitativos de investigación en educación superior. México D.F.: Universidad Autónoma Metropolitana.
Mills, S., Bennett, B., Crawford, C. B. y Gould, L. (2009). A Model for Integrating Assessment across an Undergraduate Political Science Major. Assessment Update, 21(6), 1-16.
Mu, E., Wormer, S. E., Foizey, R. N., Barkon, B. y Vehec, M. (2010). Conceptualizing the Functional Requirements for a Next-Generation E-Portfolio System. EDUCAUSE Quarterly, 33(1), Recuperado de http://www.educause.edu/ero/article/conceptualizingfunctional-requirements-next-generation-e-portfolio-system
Newhouse, C. P. y Njiru, J. N. (2009). Using digital technologies and contemporary psychometrics in the assessment of performance on complex practical tasks. Technology, Pedagogy and Education, 18(2), 221-234. https://doi.org/10.1080/14759390902992626
O’Connor, E. A. (2018). Developing Community and Building Knowledge Online Using a Virtual Reality Environment and Student-Created Videos. Journal of Educational Technology Systems, 46(3), 343-362. https://doi.org/10.1177/0047239517736874
O’Sullivan, P., Reckase, M. D., McClain, T., Savidge, M. A. y Clardy, J. A. (2004). Demonstration of Portfolios to Assess Competency of Residents. Advances in Health Sciences Education, 9(4), 309–323. https://doi.org/10.1007/s10459-004-0885-0
Paulson, F. L. y Paulson, P. R. (1994). Assessing Portfolios Using the Constructivist Paradigm. Recuperado de https://eric.ed.gov/?id $\varXi$ ED376209
Peacock, S., Gordon, L., Murray, S., Morss, K. y Dunlop, G. (2010). Tutor Response to Implementing an ePortfolio to Support Learning and Personal Development in Further and Higher Education Institutions in Scotland. British Journal of Educational Technology, 41(5), 827–851. https://doi.org/10.1111/j.1467-8535.2009.00986.x
Pitts, J., Coles, C., Thomas, P. y Smith, F. (2002). Enhancing Reliability in Portfolio Assessment: Discussions between Assessors. Medical Teacher, 4(2), 197-201. https://doi. org/10.1080/01421590220125321
Reed, M. K. (1993). The Portfolio as a Teaching and Evaluation Tool. Recuperado de https:// files.eric.ed.gov/fulltext/ED365400.pdf
Rees, Ch. (2005). “Portfolio” definitions: do we need a wider debate? Medical Education, 39, 1140-1142. https://doi.org/10.1111/j.1365-2929.2005.02326.x
Rhodes, T. L. (2010). Making Learning Visible and Meaningful Through Electronic Portfolios. Change: The Magazine of Higher Learning, 43(1), 6-13. https://doi.org/10.10 80/00091383.2011.538636
Roberts, P. (2018). Developing Reflection through an ePortfolio-Based Learning Environment: Design Principles for Further Implementation. Technology, Pedagogy and Education, 27(3), 313-326. https://doi.org/10.1080/1475939X.2018.1447989
Romova, Z. y Andrew, M. (2011). Teaching and Assessing Academic Writing Via the Portfolio: Benefits for Learners of English as an Additional Language. Assessing Writing, 16(2), 111–122. https://dx.doi.org/10.1016/j.asw.2011.02.005
Ryan, J. M. y Kuhs, Th. M. (1993). Assessment of Preservice Teachers and the Use of Portfolios. Theory into Practice, 32(2), 75-81. https://doi.org/10.1080/00405849309543578
Schlag, M. y Imhof, M. (2017). Does Perceived Ease of Use Mitigate Computer Anxiety and Stimulate Self-Regulated Learning for Pre-Service Teacher Students? International Journal of Higher Education, 6(3), 154-168. https://doi.org/10.5430/ijhe.v6n3p154
Schrand, T., Jones, K. y Hanson, V. (2018). “Reflecting on Reflections:” Curating ePortfolios for Integrative Learning and Identity Development in a General Education Senior Capstone. International Journal of ePortfolio, 8(1), 1-12.
Thibodeauz, T., Cummings, C. y Harapnuik, D. (2017). Factors That Contribute to ePortfolio Persistence. International Journal of ePortfolio, 7(1), 1-12.
Valencia, Sh. y Calfee, R. (1991). The Development and Use of Literacy Portfolios for Students, Classes, and Teachers. Applied Measurement in Education, 4(4), 333-345. https://doi.org/10.1207/s15324818ame0404_6
Valeri-Gold, M., Olson, M. y Deming, M. (1991/2). Portfolios: Collaborative Authentic Assessment Opportunities for College Developmental Learners. Journal of Reading, 35(4), 298-305.
Van der Vleuten, C. y Schuwirth, L. (2005). Assessing Professional Competence: from Methods to Programmes. Medical Education, 39(3), 309-317. https://doi.org/10.1111/ j.1365-2929.2005.02094.x
Wakelling, L., Aldred, P. y Hains-Wesson, R. (2018). ePortfolios and Reflective Practice for Food Science Students. Journal of Food Science Education, 17(2), 52-59. https://doi. org/10.1111/1541-4329.12137
Weber, K. y Myrick, K. (2018). Reflecting on Reflecting: Summer Undergraduate Research Students’ Experiences in Developing Electronic Portfolios, a Meta-High Impact Practice. International Journal of ePortfolio, 8(1), 13-25.
Whitfield, T. S. (2011). Electronic Portfolios: A Demonstration of Multi-level Communication Skills and Professional Accomplishments. Communication Teacher, 25(4), 240-245. https://doi.org/10.1080/17404622.2011.601718
Withaus, C. (2002). Electronic Portfolios and Critical Pedagogy. Annual Meeting of the National Council of Teachers of English. Atlanta, 21-26 November 2002.
Vernetson, Th. (ed.). (1993). Selected Papers from the Sring 1993 Breivogel Conference at the University of Florida on Alternative/Portfolio Assessment. Educational Research Council Research Bulletin, 25(1), 1-183.
Wilkinson, T. J., Challis, M., Hobma, S. O., Newble, D. I., Parboosingh, J. T., Sibbald, R. G. y Wakeford, R. (2002). The Use of Portfolios for Assessment of the Competence and Performance of Doctors in Practice. Medical Education, 36(10), 918-924. https://doi. org/10.1046/j.1365-2923.2002.01312.x
Woodward, H. (1998). Reflective Journals and Portfolios: Learning Through Assessment. Assessment and Evaluation in Higher Education, 23(4), 415-423. https://doi. org/10.1080/0260293980230408