Assessing the Validity Evidence of an Objective Structured Assessment Tool of Technical Skills for Neonatal Lumbar Punctures

Background The lumbar puncture (LP) is a procedural competency deemed necessary by the Accreditation Council for Graduate Medical Education and the Emergency Medicine and Pediatric Residency Review Committees. The emergency department (ED) is a primary site for residents to be evaluated performing neonatal LPs. Current evaluation methods lack validity evidence as assessment tools. Objectives This was a pilot study to develop an objective structured assessment of technical skills for neonatal LP (OSATS-LP) and to document validity evidence for the instrument in regard to five sources of test validity: content, response process, relation to other variables, inter-rater reliability, and consequences of testing. Methods Pediatric residents were videotaped in the fall of 2011 for comparison of faculty evaluation of resident performance during a neonatal LP using a video-delayed format. Residents completed a demographic experience survey evaluating relations to other variables. Content and response process validity was obtained through expert panel meetings and resulted in the following seven domains of performance for the OSATS-LP: preparation, positioning, analgesia, needle insertion, cerebrospinal fluid (CSF) collection, management of laboratory studies, and sterility. t-tests assessed significance between level of training, previous intensive care unit experience, and residents' self-assessed confidence in comparison with their total performance score. The inter-rater agreement of the OSATS-LP was obtained using the Fleiss' kappa for each domain. Results Sixteen pediatric residents completed the simulation with six raters evaluating each resident (96 ratings). The domains of sterility and CSF collection had moderate statistical reliability (κ = 0.41 and 0.51, respectively). The domains of preparation, analgesia, and management of laboratories had substantial reliability (κ = 0.60, 0.62, and 0.62, respectively). The domains of positioning and needle insertion were less reliable (κ = 0.16 and 0.16, respectively). Individuals who had completed one or more rotations in the neonatal intensive care unit (NICU) had a higher total score (12.5 vs. 16.9; p < 0.01). The residents' own perception of ability to perform an LP unsupervised did not result in a higher total score. Conclusions The OSATS-LP has reasonable evidence in four of the five sources for test validity. This study serves as a launching point for using this tool in clinical environments such as the ED and, therefore, has the potential to provide real-time formative and summative feedback to improve resident skills and ultimately lead to improvements in patient care. Resumen: Comprobacion de la Validez de una Herramienta de Evaluacion Estructurada Objetiva de Habilidades Tecnicas para las Punciones Lumbares Neonatales Introduccion La puncion lumbar (PL) es un procedimiento cuya competencia se considera necesaria por el Accreditation Council for Graduate Medical Education y los Emergency Medicine and Pediatric Residency Review Committees. El servicio de urgencias (SU) es un lugar primario para evaluar a los residentes en la realizacion de la PL neonatal. Los metodos de evaluacion actuales carecen de evidencia valida como herramientas de evaluacion. Objetivos Este fue un estudio piloto para desarrollar una evaluacion estructurada objetiva de las habilidades tecnicas para la PL neonatal (OSATS-LP) y para documentar la validez para el instrumento respecto a cinco fuentes de la validez de un test: el contenido, el proceso respuesta, la relacion a otras variables, la fiabilidad interobservador y las consecuencias del test. Metodologia Los residentes de pediatria fueron grabados en otono de 2011 para la comparacion de la evaluacion docente del rendimiento del residente durante una PL neonatal usando un formato de video diferido. Los residentes completaron una encuesta de experiencia demografica mediante la evaluacion de las relaciones con otras variables. La validez del contenido y del proceso de respuesta se obtuvo a traves de las reuniones de un panel de expertos y resulto en los siguientes siete dominios de la realizacion para el OSATS-LP: la preparacion, la posicion, la analgesia, la insercion de la aguja, la recogida del liquido cefalorraquideo (LCR), el manejo de los estudios de laboratorio y la esterilidad. La significacion entre el nivel de entrenamiento, la experiencia previa en una unidad de cuidados intensivos y la confianza autoevaluada del residente en comparacion con su puntuacion de rendimiento total se analizo con el test de la t de Student. La concordancia interobservador del OSATS-LP se obtuvo con el indice kappa de Fleiss para cada dominio. Resultados Dieciseis residentes de pediatria completaron la simulacion con seis evaluadores que examinaron a cada residente (96 clasificaciones). Los dominios de esterilidad y recogida de LCR tuvieron una fiabilidad moderada (k = 0,41 y 0,51, respectivamente). Los dominios de preparacion, analgesia y manejo de laboratorio tuvieron una fiabilidad sustancial (k = 0,60, 0,62, y 0,62, respectivamente). Los dominios de la posicion e insercion de la aguja fueron menos fiables (k = 0,16 y 0,16, respectivamente). Los residentes que habian realizado mas PL se correlacionaron con una puntuacion total mayor (coeficiente de correlacion de Pearson = 0,5, p < 0,05). Los sujetos que habian completado una o mas rotaciones en la unidad de cuidados intensivos neonatal tuvieron una puntuacion total mas alta (12,5 vs. 16,9; p < 0,01). La autopercepcion de los residentes de la capacidad para realizar una PL no supervisada no resulto en una puntuacion total mas alta. Conclusiones La OSATS-LP tiene una evidencia razonable en cuatro de las cinco fuentes para la validez del test. Este estudio sirve como un punto de partida para usar esta herramienta en los ambientes clinicos como el SU, y por ello, tiene la potencialidad para proporcionar una formacion a tiempo real y una retroalimentacion sumativa para mejorar las habilidades de los residentes, y conducir finalmente a mejoras en la atencion del paciente.