Açık Kaynak Veri Seti ile Eğitilen Yapay Zeka Modellerinin Klinik Ortamdaki Performans Analizi
Açık Kaynak Veri Seti ile Eğitilen Yapay Zeka Modellerinin Klinik Ortamdaki Performans Analizi
Yazar: Terzi, Ramazan; Demirezen, Mustafa Umut
Dergi: Ankara Üniversitesi Tıp Fakültesi Mecmuası, Vol. 75 No. S1, 2022
Anahtar kelimeler: Brain and Nerve Surgery (Neurosurgery) ; Beyin ve Sinir Cerrahisi (Nöroşirurji) ; Beyin Tümörü Segmentasyonu,Görsel Transformatörler,Evrişimli Sinir Ağları

Amaç: Derin öğrenmeye dayalı tümör tespiti ve bölütleme yöntemleri uzun süreden beri geliştirilmekte olup, günümüzde ise literatürde yaygınolarak yer almaktadır. Geliştirilen yapay zekaya tabanlı derin öğrenme yöntemleri genellikle evrişimsel sinir ağlarına dayanan mimariler kullanırken,günümüzde ise görsel transformatör mimarilerine dayalı metotlar yaygın olarak geliştirilmektedir. Bu çalışmada, bahsedilen bu iki derin öğrenmeyaklaşımının literatürde sıklıkla kullanılan veri seti üzerinde eğitilmiş ve hastane ortamından elde edilen gerçek klinik veriler üzerinde test edilmiştir.Böylece açık veri setleri üzerinde eğitilen modellerin gerçek klinik ortamlarda 5 farklı lezyon türü üzerinde kullanım verimliliklerinin ve genelleştirmekabiliyetlerinin ölçülmesi amaçlanmıştır.Gereç ve Yöntem: Açık veri seti olarak BraTS 2020 kullanılarak, ESA ve GT yapılarını içeren 8 adet derin öğrenme modeli eğitilmiştir. Eğitilenmodeller Ankara Üniversitesi Tıp Fakültesi Radyoloji Bölümü doktorları tarafından hazırlanan ve etiketlenen MR görüntüleri kullanılarak test edilmişve derin öğrenme modellerinin performansı IoU ve Dice katsayısı metrikleri kullanılarak raporlanmıştır.Bulgular: Lezyon türlerine göre yapılan analizler değerlendirildiğinde, BraTS 2020 veri setinde eğitilen modeller, Ankara Üniversitesi’ne ait verilerüzerinde test edildiğinde: HGG lezyonuna ait, NCR/NET, Edema ve Enhancing Tumor etiketleri için sırasıyla yaklaşık olarak ortalama -%17, -%4ve -%9 performans ödünleşimi, LGG lezyonuna ait, NCR/NET ve Enhancing Tumor etiketleri için sırasıyla yaklaşık olarak ortalama -%45, -%30performans ödünleşimi, Kavernom lezyonuna ait, Edema etiketi için yaklaşık olarak ortalama -%60 performans ödünleşimi, Menenjiom lezyonunaait, Edema ve Enhancing Tumor etiketleri için sırasıyla yaklaşık olarak ortalama -%36, ve -%33 performans ödünleşimi, Schwannom lezyonuna ait,Edema ve Enhancing Tumor etiketleri için sırasıyla yaklaşık olarak ortalama -%61, ve +%2 performans ödünleşimi raporlanmıştır.Sonuç: Bulgular ışığında, sadece açık kaynak veri seti ile eğitilen derin öğrenme modellerinin klinik ortamda genelleştirme kabiliyetinin sınırlıolduğu, lezyon türüne göre çeşitlilik gösterdiği, açık kaynak veri seti ile benzer veri setlerde daha başarılı sonuçlar verdiği sözlemlenmiştir. modelperformansının iyileştirilmesi için açık verisetleri üzerinde geliştirilen modellerin klinik ortamda kullanılması için öğrenme aktarımı (transfer learning)çalışmaların yapılması gerektiği görülmüştür.

Amaç: Derin öğrenmeye dayalı tümör tespiti ve bölütleme yöntemleri uzun süreden beri geliştirilmekte olup, günümüzde ise literatürde yaygınolarak yer almaktadır. Geliştirilen yapay zekaya tabanlı derin öğrenme yöntemleri genellikle evrişimsel sinir ağlarına dayanan mimariler kullanırken,günümüzde ise görsel transformatör mimarilerine dayalı metotlar yaygın olarak geliştirilmektedir. Bu çalışmada, bahsedilen bu iki derin öğrenmeyaklaşımının literatürde sıklıkla kullanılan veri seti üzerinde eğitilmiş ve hastane ortamından elde edilen gerçek klinik veriler üzerinde test edilmiştir.Böylece açık veri setleri üzerinde eğitilen modellerin gerçek klinik ortamlarda 5 farklı lezyon türü üzerinde kullanım verimliliklerinin ve genelleştirmekabiliyetlerinin ölçülmesi amaçlanmıştır.Gereç ve Yöntem: Açık veri seti olarak BraTS 2020 kullanılarak, ESA ve GT yapılarını içeren 8 adet derin öğrenme modeli eğitilmiştir. Eğitilenmodeller Ankara Üniversitesi Tıp Fakültesi Radyoloji Bölümü doktorları tarafından hazırlanan ve etiketlenen MR görüntüleri kullanılarak test edilmişve derin öğrenme modellerinin performansı IoU ve Dice katsayısı metrikleri kullanılarak raporlanmıştır.Bulgular: Lezyon türlerine göre yapılan analizler değerlendirildiğinde, BraTS 2020 veri setinde eğitilen modeller, Ankara Üniversitesi’ne ait verilerüzerinde test edildiğinde: HGG lezyonuna ait, NCR/NET, Edema ve Enhancing Tumor etiketleri için sırasıyla yaklaşık olarak ortalama -%17, -%4ve -%9 performans ödünleşimi, LGG lezyonuna ait, NCR/NET ve Enhancing Tumor etiketleri için sırasıyla yaklaşık olarak ortalama -%45, -%30performans ödünleşimi, Kavernom lezyonuna ait, Edema etiketi için yaklaşık olarak ortalama -%60 performans ödünleşimi, Menenjiom lezyonunaait, Edema ve Enhancing Tumor etiketleri için sırasıyla yaklaşık olarak ortalama -%36, ve -%33 performans ödünleşimi, Schwannom lezyonuna ait,Edema ve Enhancing Tumor etiketleri için sırasıyla yaklaşık olarak ortalama -%61, ve +%2 performans ödünleşimi raporlanmıştır.Sonuç: Bulgular ışığında, sadece açık kaynak veri seti ile eğitilen derin öğrenme modellerinin klinik ortamda genelleştirme kabiliyetinin sınırlıolduğu, lezyon türüne göre çeşitlilik gösterdiği, açık kaynak veri seti ile benzer veri setlerde daha başarılı sonuçlar verdiği sözlemlenmiştir. modelperformansının iyileştirilmesi için açık verisetleri üzerinde geliştirilen modellerin klinik ortamda kullanılması için öğrenme aktarımı (transfer learning)çalışmaların yapılması gerektiği görülmüştür.