Characterization of the Council of Emergency Medicine Residency Directors' Standardized Letter of Recommendation in 2011–2012

Objectives The Council of Emergency Medicine Residency Directors (CORD) introduced the standardized letter of recommendation (SLOR) in 1997, and it has become a critical tool for assessing candidates for emergency medicine (EM) training. It has not itself been evaluated since the initial studies associated with its introduction. This study characterizes current SLOR use to evaluate whether it serves its intended purpose of being standardized, concise, and discriminating. Methods This retrospective, multi-institutional study evaluated letters of recommendation from U.S. allopathic applicants to three EM training programs during the 2011–2012 Electronic Residency Application Service (ERAS) application cycle. Distributions of responses to each question on the SLOR were calculated, and the free-text responses were analyzed. Two pilots, performed on five applicants each, assisted in developing a strategy for limiting interrater reliability. Results Each of the three geographically diverse programs provided a complete list of U.S. allopathic applicants to their program. Upon randomization, each program received a list of coded applicants unique to their program randomly selected for data collection. The number of applicants was selected to reach a goal of approximately 200 SLORs per site (n = 602). Among this group, comprising 278 of 1,498 applicants (18.6%) from U.S. allopathic schools, a total of 1,037 letters of recommendation were written, with 724 (69.8%) written by emergency physicians. SLORs represented 57.9% (602/1037) of all LORs (by any kind of author) and 83.1% (602/724) of letters written by emergency physicians. Three hundred ninety-two of 602 SLORs had a single author (65.1%). For the question on “global assessment,” students were scored in the top 10% in 234 of 583 of applications (40.1%; question not answered by some), and 485 of 583 (83.2%) of the applicants were ranked above the level of their peers. Similarly, >95% of all applicants were ranked in the top third compared to peers, for all but one section under “qualifications for emergency medicine.” For 405 of 602 of all SLORs (67.2%), one or more questions were left unanswered, while 76 of all SLORs (12.6%) were “customized” or changed from the standard template. Finally, in 291 of 599 of SLORs (48.6%), the word count was greater than the recommended maximum of 200 words. Conclusions Grade inflation is marked throughout the SLOR, limiting its ability to be discriminating. Furthermore, template customization and skipped questions work against the intention to standardize the SLOR. Finally, it is not uncommon for comments to be longer than guideline recommendations. As an assessment tool, the SLOR could be more discerning, concise, and standardized to serve its intended purpose. Resumen Caracteristicas de la Carta de Recomendacion Estandarizada del Director del Council of Emergency Medicine Residency durante los anos 2011–2012 Objetivos Tras su creacion en 1997, la carta de recomendacion estandarizada (CRE) del Council of Emergency Medicine Residency Directors (CORD) se ha convertido en una herramienta critica para evaluar a los candidatos para la formacion en la medicina de urgencias y emergencias (MUE). Esta herramienta no se ha evaluado desde los estudios iniciales asociados con su introduccion. Este estudio caracteriza el uso actual de la CRE para evaluar si sirve su proposito intencionado de ser estandarizada, concisa y discriminatoria. Metodologia Estudio retrospectivo multinstitucional que evaluo las cartas de recomendacion de los candidatos alopaticos americanos en tres programas de formacion de MUE durante el ciclo de solicitudes Electronic Residency Application Service (ERAS) durante 2011–2012. Se calculo la distribucion de las respuestas de cada pregunta en la CRE y se analizaron las respuestas de texto libre. Se realizaron dos estudios piloto en cinco candidatos cada uno, que fueron de ayuda en el desarrollo de una estrategia para limitar la validez interevaluador. Resultados Cada uno de tres programas geograficamente distintos proveyo una lista completa de los candidatos alopaticos americanos a su programa. Tras la aleatorizacion, cada programa recibio una unica lista de candidatos codificada a su programa seleccionado aleatoriamente para la recogida de datos. El numero de candidatos se selecciono para alcanzar un objetivo de aproximadamente 200 cartas de recomendacion por sitio (n = 602). Este grupo lo formaron 278 de los 1.498 solicitantes (18,6%) a los colegios alopaticos, para los cuales se escribieron un total de 1.037 cartas de recomendacion de las que 724 (69,8%) fueron escritas por urgenciologos. Las CRE fueron 602, lo cual represento el 57,9% de las 1.037 cartas de recomendacion escritas por cualquier autor y el 83,1% de las 724 cartas de recomendacion que habian sido escritas por urgenciologos. Trescientas noventa y dos de las 602 cartas de recomendacion tuvieron un unico autor (65,1%). Para la pregunta “valoracion global,” los estudiantes fueron puntuados en el decil mas alto en 234 de 583 solicitudes (40,1%; la pregunta no fue contestada por algunos), y 485 de 583 (83,2%) de las solicitudes fueron clasificadas por encima del nivel de sus pares. De la misma forma, mas del 95% de todas las solicitudes se clasificaron en el tercio mas alto en comparacion con los pares para todas las secciones excepto la de “calificaciones para MUE”. Para 405 de las 602 CRE (67,2%), una o mas preguntas se dejaron sin contestar, mientras que 76 de todas las CRE (12,6%) se personalizaron mediante el cambio de formulario estandar. Finalmente, en las 291 de las 599 CRE (48,6%), el numero de palabras fue mayor que el maximo recomendado de 200. Conclusiones El grado de exageracion que contiene la CRE limita su capacidad discriminativa. Es mas, la personalizacion del formulario y el saltarse preguntas va en contra de la intencion de estandarizar la CRE. Finalmente, no es infrecuente que los comentarios sean mas extensos que las recomendaciones de la guia. Como herramienta de valoracion, la CRE podria ser mas discriminatoria, concisa y estandarizada para servir al proposito para el que se diseno.