Emergency Medicine Residents’ Self‐assessments Play a Critical Role When Receiving Feedback

Objectives Emergency medicine (EM) faculty often aim to improve resident performance by enhancing the quality and delivery of feedback. The acceptance and integration of external feedback is influenced by multiple factors. However, it is interpreted through the “lens” of the learner's own self-assessment. Ideally, following an educational activity with feedback, a learner should be able to generate and act upon specific learning goals to improve performance. Examining the source of generated learning goals, whether from one's self-assessment or from external feedback, might shed light on the factors that lead to improvement and guide educational initiatives. Using a standard oral board scenario, the objective of this study was to determine the effects that residents’ self-assessment and specific feedback from faculty have on not only the generation of learning goals but also the execution of these goals for performance improvement. Methods In this cross-sectional educational study at four academic programs, 72 senior EM residents participated in a standardized oral board scenario. Following the scenario, residents completed a self-assessment form. Next, examiners used a standardized checklist to provide both positive and negative feedback. Subsequently, residents were asked to generate “SMART” learning goals (specific, measurable, attainable, realistic, and time-bound). The investigators categorized the learning goals as stemming from the residents’ self-assessments, feedback, or both. Within 4 weeks, the residents were asked to recall their learning goals and describe any actions taken to achieve those goals. These were grouped into similar categories. Descriptive statistics were used to summarize the data. Results A total of 226 learning goals were initially generated (mean ± SD = 3.1 ± 1.3 per resident). Forty-seven percent of the learning goals were generated by the residents’ self-assessments only, while 27% were generated by the feedback given alone. Residents who performed poorly on the case incorporated feedback more often than high performers when generating learning goals. Follow-up data collection showed that 62 residents recalled 89 learning goals, of which 52 were acted upon. On follow-up, the numbers of learning goals from self-assessment and feedback were equal (25% each, 13 of 52), while the greatest number of reportedly executed learning goals came from self-assessments and feedback in agreement (40%). Conclusions Following feedback on an oral board scenario, residents generated the majority of their learning goals from their own self-assessments. Conversely, at the follow-up period, they recalled an increased number of learning goals stemming from feedback, while the largest proportion of learning goals acted upon stemmed from both feedback and self-assessments in agreement. This suggests that educators need to incorporate residents’ self-assessments into any delivered feedback to have the greatest influence on future learning goals and actions taken to improve performance. Resumen Objetivos El profesorado de Medicina de Urgencias y Emergencias (MUE) a menudo tiene el objetivo de mejorar el rendimiento del residente y mejorar la calidad y el aporte de retroalimentacion al residente. La aceptacion e integracion de la retroalimentacion externa estan influidas por multiples factores. Sin embargo, se interpreta a traves de “los ojos” de la propia autoevaluacion del alumno. Lo ideal seria que, tras una actividad formativa con retroalimentacion, un alumno fuera capaz de generar y actuar por objetivos de aprendizaje especificos (OAE) para mejorar el rendimiento. La observacion de la fuente de OAE generados, bien desde la autoevaluacion de uno mismo o la retroalimentacion externa, podria dar luz a los factores que permiten una via de mejora y guiar las iniciativas formativas. A traves del escenario de un examen oral clasico, el objetivo de este estudio fue determinar los efectos que la autoevaluacion de los residentes y la retroalimentacion especifica del profesorado tienen, no solo en la generacion de OAE, sino tambien en la ejecucion de estos objetivos en la mejora del rendimiento. Metodologia En este estudio docente transversal de cuatro programas universitarios participaron 72 residentes avanzados de MUE en el escenario de un examen oral clasico. Tras el examen, los residentes completaron un formulario de autoevaluacion. Despues, los examinadores utilizaron una lista de comprobacion estandarizada para proporcionar retroalimentacion positiva y negativa. Posteriormente, se pidio a los residentes generar OAE “SMART” [Specific (especifico), Measurable (cuantificable), Attainable (asequible), Realistic (realista), Time-bound (tiempo determinado)]. Los investigadores clasificaron los OAE como derivados de las autoevaluaciones de los residentes y/o la retroalimentacion. En las primeras cuatro semanas, se pidio a los residentes recordar sus OAE y describir cualquier accion llevada a cabo para conseguir aquellos objetivos. Estos se agruparon en categorias similares. Se utilizo la estadistica descriptiva para resumir los datos. Resultados Se genero un total de 226 OAE (media por residente 3,1; DE ±1,3). Un 47% de los OA se generaron solo por las autoevaluaciones de los residentes y un 27% solo por la retroalimentacion. Los residentes que rindieron pobremente en el caso, incorporaron la retroalimentacion mas a menudo que los que tuvieron un rendimiento alto cuando se generaron los OAE. Los datos del seguimiento mostraron que 62 residentes recordaron 89 OAE, de los cuales 52 se llevaron a cabo. En el seguimiento, el numero de OAE de la autoevaluacion y de la retroalimentacion fue el mismo (25% cada uno, 13 de 52), mientras que el mayor numero de OAE supuestamente llevados a cabo vino por igual de las autoevaluaciones y de la retroalimentacion (40%). Conclusiones Tras la retroalimentacion en un examen oral, los residentes generaron la mayoria de sus OAE desde sus propias autoevaluaciones. Al contrario, tras un periodo de seguimiento, recordaron un numero mayor de OAE derivados de la retroalimentacion, mientras que la mayor proporcion de OAE llevados a cabo derivan por igual tanto de la retroalimentacion como de la autoevaluacion. Esto sugiere que los docentes necesitan incorporar la autoevaluacion de los residentes en cualquier retroalimentacion proporcionada con el fin de tener la mayor influencia en los futuros OAE y las acciones llevadas a cabo para mejorar su rendimiento.