Programmatic Assessment of Level 1 Milestones in Incoming Interns

Objectives With the Accreditation Council for Graduate Medical Education (ACGME) Next Accreditation System, emergency medicine (EM) residency programs will be required to report residents' progress through the EM milestones. The milestones include five progressively advancing skill levels, with Level 1 defining the skill set of a medical school graduate and Level 5, that of an attending physician. The ACGME stresses that multiple forms of assessment should be used to ensure capture of the multifaceted competencies. The objective of this study was to determine the feasibility and results of programmatic assessment of Level 1 milestones using multisource assessments for incoming EM interns in July. Methods The study population was interns starting in 2012 and 2013. Interns' Level 1 milestone assessment was done with four distinct methods: 1) the postgraduate orientation assessment (POA) by the Graduate Medical Education Office for all incoming interns (this multistation examination covers nine of the EM milestones and includes standardized patient cases, task completion, and computer-based stations); 2) direct observation of patient encounters by core faculty using a milestones-based clinical skills competency checklist; 3) the global monthly assessment at the end of the intern orientation month that was updated to reflect the EM milestones; and 4) faculty assessment during procedural labs. These occurred during the July orientation month that included the POA, clinical shifts, didactic sessions, and procedure labs. Results In the POA, interns were competent in 48% to 93% of the milestones assessed. Overall, competency was 70% to 80%, with low scores noted in aseptic technique (patient care Milestone 13 [PC13]) and written and verbal hand-off (interpersonal communications skills [ICS]2). In overall communication, 70% of interns demonstrated competency. In excess of 80% demonstrated competency in critical values interpretation (PC3), informed consent (PC9), pain assessment (PC11), and geriatric functional assessment (PC3). On direct observation, almost all Level 1 milestones were achieved (93% to 100%); however, only 78% of interns achieved competency in pharmacotherapy (PC5). On global monthly evaluations, all interns met Level 1 milestones. Conclusions A multisource assessment of EM milestones is feasible and useful to determine Level 1 milestones achievement for incoming interns. A structured assessment program, used in conjunction with more traditional forms of evaluation such as global monthly evaluations and direct observation, is useful for identifying deficits in new trainees and may be able inform the creation of early intervention programs. Resumen Objetivos Con el proximo sistema de acreditacion (PSA) del Accreditation Council for Graduate Medical Education desde, se exigira a los programas de residencia que documenten los progresos de los residentes a traves de hitos. Los hitos incluyen cinco niveles de habilidad que aumentan progresivamente, con el nivel 1 que define el conjunto de habilidades de un licenciado en medicina, hasta el nivel 5 de un medico asistencial. La ACGME subraya que deberian ser utilizadas multiples formas de evaluacion para asegurar la captura de las competencias polifaceticas. El objetivo de este estudio fue determinar la viabilidad y los resultados de la evaluacion programatica de los hitos de nivel 1 usando evaluaciones de multiples fuentes para los residentes entrantes de Medicina de Urgencias y Emergencias (MUE) en julio. Metodologia La poblacion de estudio fueron residentes que comenzaron en 2012 y 2013. La evaluacion de los hitos de nivel 1 de los residentes se llevo a cabo con cuatro metodos distintos: 1) la evaluacion de orientacion posgrado (EOP) por la oficina Graduate Medical Education para todos los residentes entrantes. Este examen multiestacion abarca nueve de los hitos de la MUE e incluye casos clinicos de pacientes estandarizados, realizacion de tareas y estaciones basadas en informatica; 2) la observacion directa de los encuentros con los pacientes por nucleo de profesores utilizando una lista de comprobacion de competencia de habilidades clinicas basadas en hitos; 3) la evaluacion mensual global al final del mes de orientacion del residente que se actualiza para reflejar los hitos de la MUE; y 4) la evaluacion del profesorado en los laboratorios de procedimientos. Estos ocurrieron durante el mes de orientacion de julio e incluyeron la EOP, las guardias, las sesiones clinicas y los laboratorios de procedimiento. Resultados En la EOP, los residentes fueron competentes en un 48–93% de los hitos evaluados. La competencia global fue de un 70% a un 80%, con puntuaciones bajas observadas en tecnicas asepticas (PC13) asi como las transferencias verbal y escrita (ICS2). En la comunicacion total, un 70% de los residentes demostraron competencia. Se demostro mas de un 80% de competencia en interpretacion de valores criticos (PC3), consentimiento informado (PC9), valoracion del dolor (PC11) y valoracion funcional geriatrica (PC3). En la observacion directa, se lograron casi todos los hitos de nivel 1 (93% a 100%), sin embargo solo el 78% de los residentes adquirieron la competencia en farmacoterapia (PC5). En las evaluaciones mensuales globales, todos los residentes alcanzaron los hitos de nivel 1. Conclusiones Una evaluacion multifuente de los hitos de la MUE es viable y util para determinar los hitos de nivel 1 para residentes entrantes. Un programa de evaluacion estructurado, usado en conjuncion con las formas mas tradicionales de evaluacion como las evaluaciones mensuales globales y la observacion directa, es util para identificar los deficits en los nuevos residentes y puede ser capaz de informar para la creacion de programas de intervencion temprana.