Effects of Common Data Errors in Electronic Health Records on Emergency Department Operational Performance Metrics: A Monte Carlo Simulation.

Objectives The objective was to estimate how data errors in electronic health records (EHRs) can affect the accuracy of common emergency department (ED) operational performance metrics. Methods Using a 3-month, 7,348-visit data set of electronic time stamps from a suburban academic ED as a baseline, Monte Carlo simulation was used to introduce four types of data errors (substitution, missing, random, and systematic bias) at three frequency levels (2, 4, and 7%). Three commonly used ED operational metrics (arrival to clinician evaluation, disposition decision to exit for admitted patients, and ED length of stay for admitted patients) were calculated and the proportion of ED visits that achieved each performance goal was determined. Results Even small data errors have measurable effects on a clinical organization's ability to accurately determine whether it is meeting its operational performance goals. Systematic substitution errors, increased frequency of errors, and the use of shorter-duration metrics resulted in a lower proportion of ED visits reported as meeting the associated performance objectives. However, the presence of other error types mitigated somewhat the effect of the systematic substitution error. Longer time-duration metrics were found to be less sensitive to data errors than shorter time-duration metrics. Conclusions Infrequent and small-magnitude data errors in EHR time stamps can compromise a clinical organization's ability to determine accurately if it is meeting performance goals. By understanding the types and frequencies of data errors in an organization's EHR, organizational leaders can use data management best practices to better measure true performance and enhance operational decision-making. Resumen Efecto de los Errores Habituales en los Datos de las Historias Clinicas Electronicas en los Parametros de Rendimiento Operativo del Servicio de Urgencias: Una Simulacion Mediante Metodo de Monte Carlo Objetivos Estimar como los errores de datos en las historias clinicas electronicas (HCE) pueden afectar a la validez de parametros frecuentes de rendimiento operativo del servicio de urgencias (SU). Metodologia Mediante el uso de una base de datos de tiempos electronicos de 3 meses y 7.348 visitas de un SU universitario suburbano como referencia, se realizo una simulacion mediante el metodo de Monte Carlo para introducir cuatro tipos de errores de datos (errores de sustitucion, perdida, aleatorizacion y sistematico) a tres niveles de frecuencia (2%, 4% y 7%). Se calcularon tres medidas operativas del SU comunmente usadas (el tiempo desde la llegada a la evaluacion del clinico, el tiempo desde la decision de ubicacion hasta la salida para los pacientes ingresados, y el tiempo de estancia en el SU para los pacientes ingresados) y se determino la proporcion de visitas al SU que alcanzaron el objetivo de rendimiento. Resultados Incluso los pequenos errores en los datos tuvieron efectos medibles en la capacidad de la organizacion clinica para determinar certeramente si se cumplen los objetivos de rendimiento operativos. Los errores de sustitucion sistematicos, el incremento de la frecuencia de los errores y el uso de medidas de menor duracion resultaron en una menor proporcion de visitas documentadas al SU y en la consecucion de los objetivos de rendimiento asociados. Sin embargo, la presencia de otros tipos de errores mitigaron por alguna razon el efecto del error de sustitucion sistematico. Las medidas de tiempo de mayor duracion fueron menos sensibles a los errores de los datos que las medidas mas cortas. Conclusiones Errores de datos infrecuentes y de pequena magnitud en los tiempos de las historias clinicas electronicas pueden comprometer la capacidad de la organizacion clinica para determinar la certeza de si se estan alcanzando los objetivos de rendimiento. Mediante la comprension de los tipos y frecuencia de errores de datos en una historia clinica electronica de la organizacion, los lideres de la misma pueden usar mejores practicas de manejo de datos para medir mejor el rendimiento real y mejorar la toma de decisiones operativas.