Automated outcome classification of emergency department computed tomography imaging reports.

Background Reliably abstracting outcomes from free-text electronic health records remains a challenge. While automated classification of free text has been a popular medical informatics topic, performance validation using real-world clinical data has been limited. The two main approaches are linguistic (natural language processing [NLP]) and statistical (machine learning). The authors have developed a hybrid system for abstracting computed tomography (CT) reports for specified outcomes. Objectives The objective was to measure performance of a hybrid NLP and machine learning system for automated outcome classification of emergency department (ED) CT imaging reports. The hypothesis was that such a system is comparable to medical personnel doing the data abstraction. Methods A secondary analysis was performed on a prior diagnostic imaging study on 3,710 blunt facial trauma victims. Staff radiologists dictated CT reports as free text, which were then deidentified. A trained data abstractor manually coded the reference standard outcome of acute orbital fracture, with a random subset double-coded for reliability. The data set was randomly split evenly into training and testing sets. Training patient reports were used as input to the Medical Language Extraction and Encoding (MedLEE) NLP tool to create structured output containing standardized medical terms and modifiers for certainty and temporal status. Findings were filtered for low certainty and past/future modifiers and then combined with the manual reference standard to generate decision tree classifiers using data mining tools Waikato Environment for Knowledge Analysis (WEKA) 3.7.5 and Salford Predictive Miner 6.6. Performance of decision tree classifiers was evaluated on the testing set with or without NLP processing. Results The performance of machine learning alone was comparable to prior NLP studies (sensitivity = 0.92, specificity = 0.93, precision = 0.95, recall = 0.93, f-score = 0.94), and the combined use of NLP and machine learning showed further improvement (sensitivity = 0.93, specificity = 0.97, precision = 0.97, recall = 0.96, f-score = 0.97). This performance is similar to, or better than, that of medical personnel in previous studies. Conclusions A hybrid NLP and machine learning automated classification system shows promise in coding free-text electronic clinical data. Resumen Clasificacion Automatizada del Resultado de los Informes de Imagen de la Tomografia Computarizada en el Servicio de Urgencias Introduccion La fiabilidad de los resultados resumidos de texto libre de las historias clinicas electronicas sigue siendo un reto. Mientras que la clasificacion automatizada de texto libre ha sido un tema frecuente en informatica medica, la validacion del rendimiento usando datos clinicos del mundo real ha sido limitada. Las dos principales aproximaciones son la linguistica (procesamiento de lenguaje natural, PLN) y la estadistica (aprendizaje de maquina, AM). Los autores han desarrollado un sistema hibrido para resumir los informes de la tomografia computarizada (TC) para resultados especificados. Objetivos Medir el rendimiento de un sistema hibrido de PLN y AM para la clasificacion automatizada de resultados de los informes de imagen de la TC en el servicio de urgencias (SU). La hipotesis fue que un sistema es comparable a un medico resumiendo los datos. Metodologia Se realizo un analisis secundario de un estudio previo de diagnostico por imagen en 3.710 victimas de traumatismo facial cerrado. Los radiologos dictaron los informes de la TC como un texto libre, que fue despues disociado. Un experto en resumen de datos codifico manualmente el resultado de referencia estandar de la fractura de orbita aguda, con una aleatorizacion de los grupos doblemente codificada para la fiabilidad. El conjunto de datos fue dividido de forma aleatoria en formacion e instrumentos de validacion. Los informes del paciente de entrenamiento se usaron como entrada a la herramienta de PLN (Medical Language Extraction and Encoding [MedLEE]) para crear una salida estructurada que contuviera terminos medicos estandarizados y modificadores para certeza y estado temporal. Los resultados se filtraron para modificadores de baja certeza y pasado/futuro, y despues se combinaron con la referencia estandar manual para generar clasificadores de arbol de decision usando las herramientas de extraccion de datos WEKA 3.7.5 y Salford Predictive Miner 6.6. El rendimiento de los clasificadores del arbol de decision se evaluo con un instrumento de validacion con y sin procesador de PLN. Resultados El rendimiento del AM aislado fue comparable a estudios previos de PLN (sensibilidad = 0,92, especificidad = 0.93, precision = 0,95, recuerdo = 0,93, f-score = 0,94) y el uso combinado de PLN y AM muestra una mejoria (sensibilidad = 0,93, especificidad = 0,97, precision = 0,97, recuerdo = 0.96, f-score = 0,97). Este rendimiento es similar a, o mayor que, el del personal medico en estudios previos. Conclusiones Un sistema de clasificacion automatico de un hibrido de PLN y AM se muestra prometedor en la codificacion de datos clinicos electronicos de texto libre.