Yüksek rezolüsyonlu temporal kemik bt incelemelerinde radıomıcs özelliklerinden makine öğrenmesi algoritmaları kullanılarak elde edilen modellerin otitis media ve kolesteatom ayırıcı tanısındaki yeri
The place of models obtained using machine learning algorithm from radiomics features in high resolution temporal bone ct examinations in the differential diagnosis of otitis media and cholesteatoma
Yazar: SENA ÖZDEMİR
Danışman: PROF. DR. BAHAR YANİK KEYİK
Balıkesir Üniversitesi / Tıp Fakültesi / Radyoloji Ana Bilim Dalı / Radyasyon Bilim ve Teknoloji Bilim Dalı
Derece: Tıpta Uzmanlık, 2023
Konu: Radyoloji ve Nükleer Tıp = Radiology and Nuclear Medicine

Özet:
Amaç: Orta kulak hastalıkları içerisinde en sık görülen hastalıklardan kolesteatom ve otitis media (OM) farklı etyoloji, klinik bulgu ve tedavi yöntemlerine sahip olduğundan ayırıcı tanısı önemli iki antitedir. Klinik ve fizik muayene, kolesteatom ve OM ayırıcı tanısında her zaman belirleyici olmayabilir. Bu nedenle sıklıkla radyolojik görüntüleme yöntemlerine başvurulur. Amacımız radyolojik, klinik, patolojik verilere göre sınıflandırılan OM ve kolesteatom tanılı hasta gruplarını ayırt etmede bilgisayarlı tomografi (BT) görüntüleri üzerinden orta kulaktaki patolojik dansitelerin radiomics verilerini, makine öğrenme (MÖ) algoritmaları ile kombine ederek bu iki antitenin ayrıcı tanısını tahmin etmedeki etkinliğini ölçmek ve kolesteatom boyutlarının ayırıcı tanı performansına etkisini değerlendirmektir. 

Gereç ve Yöntem: Çalışmamızda 2016-2022 yılları arasında hastanemizin Picture Archiving Communicating Systems (PACS) sisteminde yer alan temporal kemik yüksek rezolüsyonlu BT (YRBT) ve temporal manyetik rezonans görüntüleme (MRG) görüntüleme rapor ve dosyaları retrospektif olarak gözden geçirildi. Temporal kemik YRBT ve temporal MRG görüntüleme tetkikleri arasında 1 yıldan kısa süre olan hasta listesi araştırıldı. Yaklaşık 1000 adet hasta dosyası tarandı.  Radyolojik, klinik, patolojik verilere göre sınıflandırılan, 13 olguda her iki tarafta olmak üzere, toplam 42 olguya ait 55 adet otitis media tanılı bağımsız temporal kemik YRBT görüntüsü ve 54 olguya ait 54 adet kolesteatom tanılı bağımsız temporal kemik YRBT görüntüsü incelemeye alındı. Bir olgu sağ tarafta kolesteatom, sol tarafta OM tanısı almış olup her iki gruba da dahil edildi. Üç boyutlu (3D) segmentasyon işlemi ve radiomics özelliklerin çıkarımı "3D slicer" programı ile iki hekim tarafından yapıldı. Orta kulaktaki patolojik dansite artımları manuel çizilerek segmente edildi. Radiomics çıktıları, orijinal, kaba Laplacian of Gaussian ve wavelet transform filtreli görüntülerden oluşturuldu. Voksel yeniden örnekleme 1x1x1 mm³ olarak standardize edildi. Segmente edilen volümlerden her olguya ait 930 radiomics özellik çıkarılarak veri seti oluşturuldu. Gözlemciler arasındaki güvenilirlik sınıf içi korelasyon katsayısı (intraclass corelation coefficient (ICC)) ile değerlendirildi. Radiomics özelliklere ait ICC değeri 0,75 ve üzerinde ise bu özellikler kararlı olarak kabul edildi. Bu değerin altında ICC değerine sahip radiomics özellikler kararlı olmayan özellikler olarak belirlendi ve veri kümesinden çıkarıldı. Toplamda 826 özellik kararlı olarak değerlendirilip çalışmaya dahil edildi. Bu özellikler ayrı ayrı excel dosyaları halinde MÖ için kullanılan Orange Data Mining programına yüklendi. Özellik azaltma için fast correlation based filter (FCBF) metodu uygulandı. MÖ algoritmaları olarak k-nearest neighborhood (kNN), decision tree, random forest, logistic regression, support vector machine (SVM), naive bayes, neural network, adaboost, gradient boosting sınıflandırmaları kullanıldı. Ayrıca kolesteatom-OM ayırımının kolesteatom boyutları ile ilişkisi değerlendirildi. Bunun için kolesteatomlu hastalarda MRG incelemesinde difüzyon kısıtlaması gösteren alanların ortalama çapı belirlendi. Olgu dağılımı benzer olacak şekilde kolesteatom hastaları, ortalama çapı 6 mm'nin altında (grup 1), 6 mm ve üzerinde ancak 10 mm'nin altında (grup 2), 10 mm ve üzerinde (grup 3) olmak üzere 3 alt gruba ayrıldı. Her iki hekim grubu için de kolesteatom olgularına ait her alt grup OM tanılı olguların verileri ile ayrı ayrı kıyaslandı. Sınıflandırmaları karşılaştırmak için alıcı işletim karakteristik eğrisi (receiver operating characteristic, ROC), eğri altında kalan alan (area under curve, AUC), sınıflandırma doğruluğu (classification accuracy, CA), duyarlılık (sensitivity, recall), özgüllük (specificity), pozitif prediktif değer (kesinlik, precision, PPD), F1 skoru gibi parametreler kullanıldı. Tüm istatiksel sonuçlar için p <0,05 değeri anlamlı kabul edildi.  MÖ uygulamasından sonra, kolesteatom ve OM ayırıcı tanısı için 826 özelliğin istatistiksel olarak anlamlı farklılık gösterip göstermediğinin belirlenmesi açısından Student's t testi ve Mann-Whitney U testleri yapıldı. Bu testlerde anlamlı bulunan özelliklere ROC curve analizi yapıldı. Bu özelliklere ait eşik değerleri Youden indeksine göre belirlendi.

Bulgular: Kolesteatom ve OM ikili sınıflandırmada, FCBF ile seçilen 5'er adet radiomics özelliği ve Naive Bayes algoritması kullanılarak oluşturulan MÖ modeli kolesteatom ve OM ayırıcı tanısında diğer MÖ algoritmalarına göre daha yüksek performans gösterdi (1.hekim tarafından elde edilen özelliklerde AUC değeri 0,91, CA değeri 0,82, F1 skoru 0,80, PPD 0,85, duyarlılık 0,76, özgüllük 0,87; 2. hekim tarafından elde edilen özelliklerde AUC değeri 0,92, CA değeri 0,84, F1 skoru 0,84, PPD 0,82, duyarlılık 0,85, özgüllük 0,82).  FCBF ile seçilen en iyi 5 özellik arasında wavelet LLH firstorder 90 percentile ve wavelet LHL firstorder mean özellikleri 1. ve 2. hekimde aynı idi. Çalışmamızda kolesteatom boyutları ile ayırıcı tanı arasındaki ilişki değerlendirildiğinde, FCBF ile seçilen 4'er adet radiomics özelliği kullanılarak oluşturulan MÖ modelleri arasında en yüksek performansı Naive Bayes algoritması gösterdi. Üçlü sınıflandırmada grup 1 kolesteatom ve OM olguları kıyaslandığında AUC değerleri 0,82-0,88 (sırasıyla 1. ve 2. hekim), grup 2 kolesteatom ve OM olguları kıyaslamasında AUC değerleri 0,93-0,95 (sırasıyla 1. ve 2. hekim), grup 3 kolesteatom ve OM olguları kıyaslamasında AUC değerleri 0,97-0,98 (sırasıyla 1. ve 2. hekim) olarak bulundu. Ortalama çap değerinin en yüksek olduğu alt grup (grup 3) diğer gruplara kıyasla ayırıcı tanıda daha yüksek performans gösterdi. Ortalama çap değeri düştükçe ayırıcı tanı performansında da azalma izlendi. FCBF ile seçilen özellikler kıyaslandığında grup 1'de iki hekim özellikleri arasında aynı özellik saptanmadı. Diğer gruplara ait özellikler değerlendirildiğinde grup 2 ile yapılan kıyaslamada wavelet LHL firstorder mean; grup 3 ile yapılan kıyaslamada log-sigma 3,0 mm-3D short run high gray level emphasis özellikleri her iki hekim grubunda da ortak özellik idi. Ayrıca yapılan Student's t testi ve Mann-Whitney U testi sonucunda 826 özellik arasından 307 ve 355 adet özellik (sırasıyla 1. ve 2. hekim) kolesteatom ve OM grupları arasında istatistiksel olarak anlamlı fark gösterdi. 1. hekim tarafından elde olunan 103 adet ve 2. hekim tarafından elde olunan 155 adet özelliğin AUC değerleri 0,70'in üzerinde bulundu. AUC değerleri en yüksek özellikler arasında 102 özellik her iki hekim grubunda da aynı idi.

Sonuç: Çalışmamızda, aynı cihaz ve çekim protokolü ile elde edilen temporal kemik YRBT görüntüleri üzerinden, 3D segmentasyon işleminin iki farklı kullanıcı tarafından manuel olarak yapıldığı ve elde edilen radiomics verileri ile MÖ algoritmaları kullanılarak kolesteatom ve OM ayırıcı tanısında kullanılabilecek iyi performansa sahip bir model tanımlandı. Ayrıca kolesteatom boyutları arttıkça ayırıcı tanı performansında artış tespit edildi. Çalışmamız ayırıcı tanıda aynı cihaz ve çekim protokolü ile YRBT'den elde edilen verilerin radiomics özelliklerinin anlamlı farklılık gösterip göstermediğine yönelik tek tek bakılan ve anlamlı özelliklerde eşik değeri bulmayı amaçlayan literatürde ilk ve tek çalışmadır. Gelecekte, her iki antite için de daha büyük olgu sayıları ile, yaş, cinsiyet, coğrafik, sosyokültürel faktörler göz önüne alınarak, çoklu araştırmacıların katıldığı ve çeşitli segmentasyon yöntemlerinin kullanıldığı ve/veya karşılaştırıldığı, radiomics verileri ve MÖ kullanılarak yapılacak prospektif çalışmalar sonucunda OM ve kolesteatom ayırıcı tanısında alternatif bir tanı yöntemi elde edilebilir.

Abstract:
Purpose: Cholesteatoma and otitis media (OM), which are among the most common diseases of the middle ear, have different etiologies, clinical findings and treatment methods, so the differential diagnosis is two important entities. Clinical and pyhsical examination may not always be decisive in the differential diagnosis of cholesteatoma and OM.  For this reason, radiological imaging methods are frequently used. Our aim is to measure effectiveness of estimating the differential diagnosis of these two entities by combining radiomics data of pathological densities in the middle ear with machine learning (ML) algorithms on computerized tomography (CT) images in distinguishing patient groups diagnosed with OM and cholesteatoma, classified according to radiological, clinical and pathological data and to evaluate the effect of cholesteatoma dimensions on differential diagnosis performance.

Material and method: In our study, temporal bone high resolution CT (HRCT) and temporal magnetic resonance imaging (MRI) reports and files in the picture archiving communicating systems (PACS) of our hospital between 2016-2022 were reviewed retrospectively. The patient list with a duration of less than 1 year between temporal bone HRCT and temporal MRI examinations was investigated. Approximately 1000 patient files were scanned. Classified according to radiological, clinical and pathological data, fifty-five temporal bone HRCT images with OM diagnosis of a total of 42 cases, 13 on both side and 54 independent temporal bone HRCT images of 54 cases with a diagnosis of cholesteatoma classified according to radiological, clinical and pathological data, were analyzed. One case was diagnosed with cholesteatoma on the right side and OM on the left side and were included in both groups. The three-dimensional (3D) segmentation process and the extraction of radiomics features were performed by two physicians with the "3D slicer" program. Pathological density increments in the middle ear were segmented by manual drawing. Radiomics outputs were created from original, coarse Laplacian of Gaussian and wavelet transform filtered images. Voxel resampling was standardized as 1x1x1 mm³. A data set was created by extracting 930 radiomics features of each case from the segmented volumes. Interobserver reliability was evaluated with the intraclass correlation coefficient (ICC). Radiomics features were considered stable if the ICC value was 0.75 and above. Radiomics features with an ICC value below this value were determined as unstable features and were removed from the dataset. A total of 826 features were evaluated as stable and included in the study.
These features were uploaded to the Orange Data Mining program used for ML as separate excel files. The fast correlation based filter (FCBF) method was applied for feature reduction. As ML algorithms, k-nearest neighborhood (kNN), decision tree, random forest, logistic regression, support vector machine (SVM), naive bayes, neural network, adaboost, gradient boosting classifications were used. In addition, the relationship between cholesteatoma-OM distinction and cholesteatoma dimensions was evaluated. For this purpose, the mean diameter of the areas showing diffusion restriction on MRI was determined in patients with cholesteatoma. With a similar case distribution, cholesteatoma patients had 3 subgroups with a mean diameter of less than 6 mm (group 1), 6 mm or more but less than 10 mm (group 2), and 10 mm or more (group 3). separated into the group. For both groups of physicians, each subgroup of cholesteatoma cases was compared with the data of cases with a diagnosis of OM. To compare classifications, parameters such as receiver operating characteristic curve (ROC), area under curve (AUC), classification accuracy (CA), sensitivity (recall), specificity, positive predictive value (precision, PPV), F1 score were used. A p value of <0.05 was considered significant for all statistical results. After the ML application, Student's t test and Mann-Whitney U tests were performed to determine whether 826 features showed statistically significant differences for the differential diagnosis of cholesteatoma and OM. ROC curve analysis was performed on the features found to be significant in these tests. Threshold values of these features were determined according to Youden index.

Results:  In the dual classification of cholesteatoma and OM, the ML model created using the Naive Bayes algorithm with 5 radiomics features selected by FCBF showed a higher performance than other ML algorithms in the differential diagnosis of cholesteatoma and OM (1st physicians' values; AUC 0,91, CA 0.82, F1 score 0.80, PPV 0.85, sensitivity 0.76, specificity 0.87; 2nd physicians' values; AUC 0.92, CA 0.84, F1 score 0.84, PPV 0.82, sensitivity 0.85, specificity 0.82). Among the top 5 features selected by FCBF, wavelet LLH firstorder 90 percentile and wavelet LHL firstorder mean features were the same in two physicians. When the relationship between cholesteatoma dimensions and differential diagnosis was evaluated in our study, the Naive Bayes algorithm showed the highest performance among the ML models created using FCBF and 4 radiomics features. In the triple classification, AUC values of 0.82-0.88 (1st and 2nd physicians, respectively) when group 1 cholesteatoma and OM cases were compared, and AUC values of 0.93-0.95 in comparison of group 2 cholesteatoma and OM cases (1st and 2nd physician, respectively), group 3 cholesteatoma and OM cases, AUC values were found to be 0.97-0.98 (1st and 2nd physicians, respectively). The subgroup with the highest mean diameter value (group 3) showed higher performance in differential diagnosis compared to the other groups. As the mean diameter value decreased, the differential diagnosis performance also decreased. When the features selected by FCBF were compared, the same feature was not found between the characteristics of the two physicians in the group 1. When the characteristics of the other groups were evaluated, the wavelet LHL firstorder mean was compared with the group 2; In the comparison with the group 3, log-sigma 3.0 mm-3D short run high gray level emphasis features were a common feature in both groups of physicians. In addition, as a result of Student's t test and Mann-Whitney U test, 307 and 355 features obtained by the 1st and 2nd physician among 826 features showed a statistically significant difference between the cholesteatoma and OM groups, respectively. The AUC values of 103 features obtained by the 1st physician and 155 features obtained by the 2nd physician were found to be above 0.70. 

Conclusions: In our study, a model with good performance was defined that can be used in the differential diagnosis of cholesteatoma and OM by using the 3D segmentation process manually by two different users, using the obtained radiomics data and ML algorithms, over temporal bone HRCT images obtained with the same device and acquisition protocol. In addition, as the size of the cholesteatoma increased, the differential diagnosis performance increased. Our study is the first and only study in the literature that aims to find a threshold value for meaningful features by looking at the radiomics properties of the data obtained from HRCT with the same device and shooting protocol in differential diagnosis. In the future, an alternative diagnostic method can be obtained in the differential diagnosis of OM and cholesteatoma as a result of prospective studies using radiomics data and ML, in which multiple investigators participate and various segmentation methods are used and/or compared, with larger case numbers for both entities, age, gender, geographic, sociocultural factors.