Transfer öğrenme kullanarak ICD-10 kodu tahmini
Predicting ICD-10 codes using transfer learning
Yazar: ELİF ALTINTAŞ
Danışman: PROF. DR. OĞUZ DİKENELLİ
Ege Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı
Derece: Yüksek Lisans, 2024
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control
Dizin: Elektronik sağlık kayıtları = Electronic health records

Özet:
Büyük dil modellerinin tıp ve sağlık alanında etkili bir başarıya sahip olduğu anlaşılmıştır. Sağlık alanı için özelleştirilmiş modellerin genel modellerden daha etkili olduğu da literatürde gösterilmiştir. CLIN-X gibi bu özel modeller, tıp literatürünü, tıbbi terimleri ve sağlıkla ilgili metinleri daha iyi anlayabilmekte ve tıbbi kelime işleme, hastalıkların teşhisi ve tedavi önerileri yapma gibi görevlerde daha etkili olmaktadır.Bu nedenle sağlık profesyonelleri için bu kaynak daha değerli ve güvenilirdir. Ancak tıp ve sağlık alanında daha ayrıntılı bilgiler gereklidir. ICD-10 kodları gibi tıbbi kategorilerin doğru bir şekilde tahmin edilmesi ve metinlerle bağlantılı olması mümkün olmaktadır. Bu çalışmada CLIN-X dil modeline ek olarak bir LSTM (Uzun-Kısa Süreli Bellek) kullanılarak tıp ve sağlık alanında dil modellerinin arttırılması için yapılan denemeler incelenmektedir. ICD-10 kodları ve serbest metin bilgileri kullanılarak %0.4 doğruluk elde edilmektedir. Bununla birlikte, veri setindeki en yaygın 50 ICD-10 kodunun serbest metinle birlikte kullanılması durumunda doğruluk %61'e yükselmektedir. Bu bulgular, daha küçük bir kod bölümünün tedavi metni işlemede daha etkili olabileceğini ve model doğruluğunu artırabileceğini göstermektedir. Bu araştırma, tıp ve sağlık hizmetlerinde dil modellerini kullanırken bir kod seti seçmenin ve buna odaklanmanın artırıldığını vurgulamaktadır. En yaygın kodlarla çalışmak, modelin karmaşıklığını azaltmaktadır ve daha iyi sonuçlar sağlamaktadır. Bu, tıp ve sağlık sektörünün daha iyi teşhis ve tedavi önerilerini iyileştirmesine yardımcı olabilir.

Abstract:
Language models, especially bidirectional transformers like BERT, play a crucial role in the field of medicine and healthcare. However, general models are inadequate for specialized and technical fields such as healthcare. To address this gap, language models specifically designed for medicine and healthcare are being developed. Models like CLIN-X can better understand medical literature, medical terms, and healthcare-related texts. As a result, they outperform general models in medical word processing, disease diagnosis, and treatment recommendations. Therefore, this resource is more valuable and reliable for healthcare professionals. However, more detailed information is required in the field of medicine and healthcare.
In order to enhance language models in the medical and healthcare domain, experiments are being conducted, including the use of an LSTM (Long Short-Term Memory) in addition to the CLIN-X language model. An accuracy of 0.4% was achieved using ICD-10 codes and free-text information. However, when the most common 50 ICD-10 codes were used in conjunction with free text, the accuracy increased to 61%. These findings suggest that a smaller code subset may be more effective in processing treatment texts and improving model accuracy. This research emphasizes the importance of selecting and focusing on a code set when using language models in medical and healthcare services. Working with the most common codes reduces model complexity and yields better results. This approach can contribute to improving the diagnosis and treatment recommendations in the medical and healthcare sector.