Beyaz cevher hiperintensitelerinin derin öğrenme teknikleri kullanılarak beyin manyetik rezonans görüntülerinden otomatik tespiti
Automatic detection of white matter hyperintensities using deep learning techniques on brain magnetic resonance images
Yazar: GÖKHAN UÇAR
Danışman: DOÇ. DR. EMRE DANDIL
Bilecik Şeyh Edebali Üniversitesi / Fen Bilimleri Enstitüsü / Elektronik ve Bilgisayar Eğitimi Ana Bilim Dalı
Derece: Doktora, 2023
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control
Dizin: Beyaz cevher = White matter ; Beyin hastalıkları = Brain diseases ; Derin öğrenme = Deep learning ; Manyetik rezonans görüntüleme = Magnetic resonance imaging ; Optimizasyon = Optimization ; Yapay zeka = Artificial intelligence

Özet:
Beynin beyaz cevher kısmında meydana gelen anormalliklerin tespiti ve doğru bir şekilde sınıflandırılması, hastalıklara erken tanı koyularak oluşabilecek fiziksel ve bilişsel hasarın en aza indirilmesi açısından hayati önem taşımaktadır. Beyaz cevher hiperintensitesi (BCH) olarak adlandırılan anormalliklere, herhangi bir şikâyetten dolayı manyetik rezonans görüntüsü (MRG) çekilen sağlıklı bireylerde bile rastlanabilmektedir ve BCH oluşumlarının zararlı olup olmadığına karar verme noktasında hekimler ciddi zorluklar çekmektedir. Bu tez çalışmasında, manyetik rezonans (MR) görüntülerini otomatik tarayarak hekimlerin BCH tespiti ve bölütlemesi için işini kolaylaştıracak, yüksek başarıma sahip, derin öğrenme ağları ile gerçekleştirilmiş otomatik bir yaklaşım ortaya koyulmuştur. Çalışma iki kısımdan oluşmaktadır.
Birinci kısımda BCH bölütlemesi için, semantik bölütleme yerine, hekimlerin karar verme süreçlerine daha fazla katkı sunabilen ve gelişmiş bir bölütleme yöntemi olan ancak BCH bölütlemesi gibi zor problemlerde yaygın olarak kullanılamayan örnek bölütlemesinin kullanılabileceği ortaya koyulmuştur. Yöntem olarak BCH'lerin örnek bölütlemesi ile otomatik olarak bölütlenmesi için geliştirilen ve çok sayıda hiper-parametre içeren Maske-Tabanlı Bölgesel Evrişimsel Sinir Ağı (Mask R-CNN) ince ayar yapılarak kullanılmıştır. Birisi bu tez çalışmasına özel oluşturulan tümör veriseti, diğer ikisi de erişime açık tümör ve multipl skleroz (MS) veri setleri olmak üzere üç farklı veriseti kullanılmıştır. Beyin tümörü ve MS veri setleri şeklinde iki BCH sınıfının ayrı ayrı ve birlikte eğitimi yapılmıştır. Tüm verilerin birlikte eğitilmesiyle elde edilen model ile verisetimizdeki BCH'ler, bütün sınıfların ortalama kesinliği (mAP) metriğine göre 0,94 değerindeki yüksek mAP skoru ile başarıyla saptanmıştır. Ayrıca kesinlik (PRC) ve dice benzerlik katsayısına (dice similarity coefficient, DSC) göre sırasıyla 0,86 ve 0,82 bölütleme başarımı elde edilmiştir.
İkinci kısımda ise, karşılaştırmalı analiz için U-Net ve Mask R-CNN olmak üzere iki farklı derin öğrenme yöntemi kullanılmıştır. Kullanılan veri setlerinin daha geniş olması ve daha etkili sonuç veren veri artırım yaklaşımlarının uygulanması ile birlikte modelin başarımı ve genelleme yeteneği arttırılmış ve bu durum uygun ölçüm metrikleri ve kayıp fonksiyonları ile gösterilmiştir. Sonuçlar literatürdeki çalışmalarla karşılaştırıldığında, örnek bölütlemesi ile semantik bölütlemeye göre nispeten daha iyi bir başarım elde edilmiştir. DSC ve PRC ile birlikte, duyarlılık (recall, RC) ve kesinlik-duyarlılık değerlerinin harmonik ortalaması olan F1 metriği başarım değerlendirmesi için kullanılmıştır. İnme veriseti için; Mask R-CNN ile 0,93 DSC, 0,97 PRC, 0,98 RC ve 0,98 F1 başarım değerlerine; U-Net ile 0,92 DSC, 0,89 PRC, 0,95 RC ve 0,92 F1 başarım değerlerine ulaşılmıştır. BCH veriseti için ise; Mask R-CNN ile 0,83 DSC, 0,83 PRC, 0,73 RC ve 0,78 F1 başarım değerlerine; U-Net ile 0,82 DSC, 0,82 PRC, 0,83 RC ve 0,81 F1 başarım değerlerine ulaşılmıştır. Ayrıca farklı ağ konfigürasyonları için, eğitim-test süreleri ve başarım sonuçları kapsamlı bir şekilde karşılaştırılmış ve analizi yapılmıştır. Tez çalışması kapsamında yürütülen deneysel çalışmalarda, literatürdeki BCH bölütleme üzerine yapılmış çalışmalar ile bu çalışmanın sonuçları karşılaştırıldığında BCH bölütlemesinde ve tespitinde Mask R-CNN tekniğinin daha yüksek başarım elde edebildiği, daha büyük boyutlu veriseti ve daha güçlü donanım kullanımı ile başarım oranının daha da arttırılabileceği sonucuna ulaşılmıştır.

Abstract:
Detection and correct classification of abnormalities in the white matter part of the brain are of vital importance in terms of minimizing the physical and cognitive damage that may occur by early diagnosis of diseases. Abnormalities called white matter hyperintensity (WMH) can be observed even in healthy individuals who have magnetic resonance images (MRI) due to any complaint, and physicians have serious difficulties in deciding whether or not WMH formations are harmful. In this thesis, an automated approach, realized with high-performance deep learning networks, has been presented to facilitate physicians' work for WMH detection and segmentation by automatically scanning magnetic resonance (MR) images. The study consists of two parts.
In the first part, it is revealed that instance segmentation can be used for WMH segmentation, which is an advanced segmentation method that can contribute more to the decision-making processes of physicians, but is not widely used in difficult problems such as WMH segmentation. As a method, Mask-Based Regional Convolutional Neural Network (Mask R-CNN), which was developed for automatic segmentation of WMHs with instance segmentation and contains many hyper-parameters, was used with fine tuning. Three different datasets were used, one of which was the tumor dataset created specifically for this thesis study, and the other two were open-source tumor and multiple sclerosis (MS) imaging datasets. Two WMH classes were trained separately and together, in the form of brain tumor and MS datasets. As a result of the tests performed with the model obtained by training all the data together, WMHs in the form of MS lesions and brain tumors in MR sections were successfully detected with a high mAP score of 0.94 according to the mean precision (mAP) metric of all classes. In addition, according to the Precision ratio (PRC) and Dice similarity coefficient (DSC), segmentation performance of 0.86 and 0.82, respectively, was obtained.
In the second part, two different deep learning methods, U-Net and Mask RCNN, were used for comparative analysis. The larger datasets used and the application of data augmentation approaches that yield more effective results have increased the performance and generalization ability of the model, and this has been demonstrated by appropriate measurement metrics and loss functions. When the results are compared with the studies in the literature, with instance segmentation, a very close and relatively better performance was obtained with the semantic segmentation result. In addition to DSC and PRC, the sensitivity (RC) metric and the F1 metric, which is the harmonic mean of precision-sensitivity values, were used for performance evaluation. For the stroke dataset; performans values of 0.93 DSC, 0.97 PRC, 0.98 RC and 0.98 F1 performances were achieved with Mask R-CNN, 0.92 DSC, 0.89 PRC, 0.95 RC and 0.92 F1 performances were achieved with U-Net. For the WMH dataset; performance values of 0.83 DSC, 0.83 PRC, 0.73 RC and 0.78 F1 with Mask R-CNN; performance values of 0.82 DSC, 0.82 PRC, 0.83 RC and 0.81 F1 were achieved with U-Net. In addition, for different network configurations, training-test times and performance results were compared and analyzed extensively. When the experimental studies conducted within the scope of the thesis study and the results of the studies on WMH segmentation in the literature are compared, it was concluded that the Mask R-CNN method can achieve higher performance in WMH segmentation and detection, and the performance rate can be further increased with the use of larger dataset and more powerful hardware.