Acil servis triyajında yapay zeka programı ile hastaların acil servis ciddiyet skalasına göre aciliyetlerinin belirlenmesi
Determination of patient urgency in the emergency department using an artificial intelligence program based on the emergency severity index
Yazar: CANSU ÇOLAKÇA
Danışman: DOÇ. DR. MEHMET ERGİN
Sağlık Bilimleri Üniversitesi / Ankara Bilkent Şehir Hastanesi / Acil Tıp Ana Bilim Dalı
Derece: Tıpta Uzmanlık, 2024
Konu: Acil Tıp = Emergency Medicine

Özet:
AMAÇ
Acil servisler 24 saat boyunca kesintisiz hizmet veren yerlerdir ve artan acil servis kalabalığı içerisinde hatalı ve gecikmiş triyajın olması acil tıp hizmetleri için endişe verici bir durumdur. ESI acil servislerde triyaj yapmak için kullanılan bir önceliklendirme sistemidir. ChatGPT, OpenAI tarafından geliştirilen bir yapay zeka modelidir ve doğal dil işleme görevlerinde kullanılmak üzere eğitilmektedir. Çalışmamızın amacı acil servis triyajı için ESI esaslarına göre ChatGPT kullanılarak yapılan hasta önceliklendirilmesinin doğruluğunu tespit etmektir.
YÖNTEM
Çalışmamıza 20 ve 21 Temmuz 2023 tarihlerinde 24 saat içinde acil servisimize başvuran 18 yaş ve üzeri 745 hasta dahil edildi. Hastaların  triyajı sırasında hayati bulguları ile birlikte yaş, cinsiyet, başvuru şekli, geliş şikayeti, bilinç durumu, ek hastalıkları çalışma formuna kaydedildi. Kliniğimiz  görev yapan dördüncü yıl araştırma görevlisi hekimlerimizden beş kişilik bir hakem komisyonu oluşturularak ESI triyaj sistemi hakkında olgu bazlı teorik eğitim verildi. Olgu formatına getirilen hasta bilgileri ESI kriterlerine göre hakem komisyonu ve eş zamanlı olarak ChatGPT tarafından değerlendirildi.
BULGULAR
ESI triyaj kategorileri dikkate alındığında hakem komisyonu ve ChatGPT değerlendirme sonuçları  arasında istatistiksel olarak orta derece uyum olduğu görüldü (Cohen's Kappa = 0,659; p<0.001). Bu iki değerlendirme arasında doğruluk %76,6 olarak hesaplandı. ESI kriterlerine göre  yüksek aciliyet kategorisi için ChatGPT'nin özgüllüğü %95.63, NPV  %98.17 ve doğruluğu %94.90 olarak tespit edildi. Yüksek aciliyet belirten ESI 1 ve 2'nin ön görülmesi açısından hakem komisyonu ile ChatGPT arasında uyumun çok yüksek derecede olduğu görüldü (Cohen's Kappa = 0,828).


SONUÇ
Çalışmamızın sonuçları, yapay zeka uygulaması ChatGPT'nin yüksek aciliyet derecesi (ESI 1 ve 2) olan hastaları başarılı olarak ayırt edebildiğini göstermektedir. Bulgular, ChatGPT gibi yapay zeka tabanlı uygulamaların acil servislerdeki triyaj süreçlerine entegrasyonu açısından umut vericidir.
Anahtar Kelimeler: Acil Servis, Triyaj, Acil Ciddiyet İndeksi, ChatGPT, Yapay Zeka

Abstract:
INTRODUCTION
Emergency departments are facilities that provide uninterrupted service 24 hours a day, and amid the increasing crowding in emergency services, erroneous and delayed triage poses a concerning situation for emergency medical services. ESI (Emergency Severity Index) is a prioritization system used for triage in emergency departments. ChatGPT is an artificial intelligence model developed by OpenAI and trained for natural language processing tasks. The aim of our study is to determine the accuracy of patient prioritization conducted using ChatGPT based on ESI principles for emergency department triage.
METHOD
On July 20th and 21st, 2023, a total of 745 patients aged 18 and above who presented to our emergency department within a 24-hour period were included in our study. During triage, patients' vital signs along with their age, gender, mode of presentation, chief complaint, level of consciousness, and comorbidities were recorded on the study form. A five-member the peer review committee of fourth-year resident physicians from our clinic was formed, and theoretical training on the ESI triage system was provided to them. Patient data, formatted into case reports, were evaluated by both the expert panel according to ESI criteria and simultaneously by ChatGPT.
RESULTS
When considering the ESI triage categories, it was observed that there was a moderate level of interrater reliability between the peer review committee and ChatGPT evaluation results (Cohen's Kappa = 0.659) (p<0.001). The accuracy between these two evaluations was calculated as 76.6%. According to the ESI criteria, for the high urgency category, ChatGPT's specificity was found to be 95.63%, NPV 98.17%, and accuracy 94.90%. It was observed that there was a very high level of interrater reliability between the referee committee and ChatGPT in predicting ESI 1 and 2 indicating high urgency (Cohen's Kappa = 0.828).
CONCLUSION
Our findings demonstrate that the artificial intelligence application ChatGPT can successfully distinguish patients with high urgency levels (ESI 1 and 2). The results are promising in terms of the integration of artificial intelligence-based applications like ChatGPT into triage processes in emergency services.
Keywords: Emergency Room, Triage, Emergency Severity Index,  ChatGPT, Artificial Intelligence