Derin öğrenme mimarileri ile MR taramalarından omuriliğin otomatik bölütlenmesi ve MS lezyonlarının ayırıcı tanısı
Automatic segmentation of the spinal cord from MR scans and differential diagnosis of MS lesions with deep learning architectures
Yazar: RUKİYE POLATTİMUR
Danışman: DOÇ. DR. EMRE DANDIL
Bilecik Şeyh Edebali Üniversitesi / Fen Bilimleri Enstitüsü / Elektronik ve Bilgisayar Mühendisliği Ana Bilim Dalı
Derece: Doktora, 2024
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control ; Bilim ve Teknoloji = Science and Technology ; Mühendislik Bilimleri = Engineering Sciences
Dizin: Evrişimli sinir ağları = Convolutional neural networks ; Görüntü bölütleme = Image segmentation ; Manyetik rezonans görüntüleme = Magnetic resonance imaging ; Medulla spinalis =   ; Nörogörüntüleme = Neuroimaging ; Sayısal görüntü işleme = Digital image processing ; Teşhis-görüntüleme = Diagnostic imaging ; Tıbbi görüntüleme = Medical imaging

Özet:
İnsan omuriliği, merkezi sinir sisteminin oldukça organize ve karmaşık bir parçasıdır ve işlevi nöral sinyallerin beyinden (duyusal bilgi) periferik sinir sistemine (motor bilgisi) ve periferik sinir sistemden beyne iletilmesini sağlamaktır. MS (Multipl Skleroz), omurilikte meydana geldiğinde beynin, omuriliğin ve optik sinirin beyaz ve gri maddesini etkiler. MS hastalığının erken teşhisi, hastalığın ilerlemesini yavaşlatmak ve semptomların kontrol altına alınmasını sağlamak açısından büyük önem taşır. Erken dönemde doğru tedaviye başlamak, hastalığın daha ağır ataklar yapmasını engelleyebilir ve hastanın yaşam kalitesini artırabilir. Bu sayede, MS'in ilerlemesini durdurmak ya da yavaşlatmak mümkün olabilir. MS hastalığının teşhisinde klinik semptom/bulgular, beyin omurilik sıvısı incelemeleri, uyarılmış potansiyeller ve Manyetik Rezonans Görüntüleme (MRG) bulguları kullanılmaktadır. Özellikle, MRG'nin kullanımının yaygınlaşması ve bilgisayar destekli sistemlerin gelişmesi, MS hastalığının tanısı ve takibinde önemli katkılar sağlamıştır. Diğer taraftan, başta derin öğrenme modelleri olmak üzere, yapay zeka algoritmaları ile MR görüntülerinden omuriliğin bölütlenmesi ve omurilik bölgesinde MS lezyonları bulunup bulunmadığına dayanan çalışmalar da son yıllarda oldukça öne çıkmıştır. Ancak yine de, bu ve benzeri çalışmalar belli oranda başarıma ulaşmış olsalar da, veriseti boyutunun küçüklüğünden kaynaklı veri miktarının azlığı ve MS lezyonlarının oldukça küçük bir hacme sahip olması gibi nedenlerden dolayı yapılan çalışmalarda MS tespitinde başarımın düşük olduğu görülmektedir. 
Bu tez çalışmasında, derin öğrenme ile aksiyel ve sagital gibi farklı düzlemlerden alınan T2-ağırlıklı MR görüntüleri üzerinde servikal omurilik kesit alanı (OKA), ve beyin omurilik sıvısı (BOS) alanlarının bölütlenmesi ve omurilikte oluşan MS lezyonlarının ayırıcı tanısı gerçekleştirilmiştir. Çalışma kapsamında, öncelikle, Akdeniz Üniversitesi Hastanesinden temin edilen servikal omurilik bölgesi MR verileri ile servikal omurilik bölgesi/kesit alanı (OKA), BOS alanı ve omurilik sınırları içerisinde bulunan MS lezyonlarının bölütleme işlemlerini gerçekleştirmek için bir veriseti hazırlanmıştır. Bu veriseti üzerinde, U-Net mimarisi tabanlı geliştirilen olan FractalSpiNet, Con-FractalSpiNet ve Att-FractalSpiNet mimarileri kullanılarak, sagital ve aksiyel düzlemlerdeki MR görüntülerinde, omurilik ve beyin omurilik sıvısı alanlarının bölütlenmesi sağlanarak, omurilik sınırları içerisinde bulunan MS lezyonları da tespit edilmiştir. Ayrıca önerilen mimarilerle elde edilen sonuçlar, Att U-Net (Attention U-Net), Res U-Net (Residual U-Net) ve Att-Res U-Net (Attention Residual U-Net) olmak üzere karma mimariler ile de karşılaştırılmıştır.
Tez çalışmasında, ayrıca hazırlanan servikal omurilik verisetinde bölütlenmesi istenen alanların maskeleme işlemleri için omurilik aksiyel OKA/BOS, omurilik aksiyel MS ve omurilik sagital MS veri alt grupları oluşturulmuştur. Hazırlanan servikal omurilik veriseti üzerinde omurilik alanının bölütlenmesi ve MS lezyonlarının tespit edilmesi için, model başarılarımlarını ölçmek için piksel benzerliği temeline dayanan DSC (Dice Similarity Coefficient), PRE (Precision) ve REC (Recall) metrikleri kullanılırken, hacimsel bazlı olarak VOE (Volumetric Overlap Error) ile RVD (Relative Volume Difference) ve mesafe bazlı olarak ASD (Average Surface Distance) ile  HD95 (95th percentile Hausdorff Distance)  metrikleri kullanılmıştır. Verisetinde ilk olarak omurilik aksiyel OKA/BOS alt veri grubu ile deneysel çalışmalar gerçekleştirilmiştir. Yapılan model eğitimleri sonunda OKA bölütlenmesi için Con-FractalSpiNet mimarisi ile %94.99 DSC skoru, BOS bölgesi için FractalSpiNet mimarisi ile %93.00 DSC skoru ve tüm omurilik bölgenin bölütlenmesi için FractalSpiNet kullanılarak %96.54 DSC skoru ile en yüksek başarımlar elde edilmiştir. Diğer omurilik aksiysl MS veri alt grubu üzerinde gerçekleştirilen eğitimler sonucunda ilk bölütleme bölgesi olan OKA için en başarılı sonuçlar Con-FractalSpiNet ve FractalSpiNet mimarileri ile sırasıyla %98.89, %98.88 DSC skoru elde edilirken, MS lezyonlarının tespit edilmesinde en başarılı sonuçlar Con-FractalSpiNet ve FractalSpiNet mimarileri ile %91.48 ve %90.90 DSC skorları ile başarılmıştır. Yine aynı veri alt grubunda, MS'siz omurilik alanının bölütlemesi için model eğitimleri sonucunda, en başarılı modeller Con-FractalSpiNet ve FractalSpiNet için sırasıyla %97.25 ve %97.17 DSC skorları elde edilmiştir. Omurilik sagital MS veri alt grubu üzerinde yapılan deneysel sonuçlar incelendiğinde, omurilik alanı ve MS'siz omurilik alanlarının bölütlemesi için gerçekleştirilen model eğitimleri sonucunda, Att-Res U-Net mimarisi ile sırasıyla %97.06 ve %95.16 DSC skorları elde edilirken, MS lezyonlarının tespit edilmesinde Con-FractalSpiNet kullanılarak %56.25 DSC skoru ile en başarılı sonuçlara ulaşılmıştır. Tüm sonuçlar değerlendirildiğinde, U-Net tabanlı önerilen FractalSpiNet mimarileri kullanılarak, servikal omurilik bölgesi ve bu bölgedeki MS lezyonlarının bölütlenmesinde, var olan çalışmalara göre oldukça rekabetçi sonuçlar edilmiştir.

Abstract:
The human spinal cord is a highly organised and complex part of the central nervous system and its function is to transmit neural signals from the brain (sensory information) to the peripheral nervous system (motor information) and from the peripheral nervous system to the brain. When MS (Multiple Sclerosis) occurs in the spinal cord, it affects the white and grey matter of the brain, the spinal cord and the optic nerve. Early diagnosis of MS is important to slow the progression of the disease and control symptoms. Starting the right treatment early can prevent the disease from causing more severe attacks and improve the patient's quality of life. In this way, it may be possible to stop or slow the progression of MS. Clinical symptoms/signs, cerebrospinal fluid tests, evoked potentials and Magnetic Resonance Imaging (MRI) findings are used to diagnose MS. In particular, the widespread use of MRI and the development of computer-aided systems have contributed significantly to the diagnosis and follow-up of MS. On the other hand, studies based on the segmentation of the spinal cord from MR images using artificial intelligence algorithms, especially deep learning models, and the presence or absence of MS lesions in the spinal cord region have also become prominent in recent years. However, although these and similar studies have achieved a certain level of success, it can be seen that the success in MS detection in these studies is low due to reasons such as the small amount of data due to the small size of the dataset and the small volume of MS lesions.
In this thesis, the segmentation of cervical spinal cord cross-sectional area (CSA) and cerebrospinal fluid (CSF) areas on T2-weighted MR images taken from different planes such as axial and sagittal with deep learning and differential diagnosis of MS lesions in the spinal cord were performed. In the study, a dataset was first prepared to perform segmentation of cervical spinal cord CSA, CSF area and MS lesions within the spinal cord boundaries using cervical spinal cord MR data obtained from Akdeniz University Hospital. In this dataset, FractalSpiNet, Con-FractalSpiNet and Att-FractalSpiNet architectures, developed based on U-Net architecture, were used to segment the spinal cord and CSF areas in MR images in sagittal and axial planes, and to detect MS lesions within the spinal cord boundaries. In addition, the results obtained with the proposed architectures are also compared with mixed architectures, namely Att U-Net (Attention U-Net), Res U-Net (Residual U-Net) and Att-Res U-Net (Attention Residual U-Net).
In this thesis, spinal cord axial CSA/CSF, spinal cord axial MS and spinal cord sagittal MS data subgroups were created to mask the areas to be segmented in the cervical spinal cord dataset. For segmentation of the spinal cord area and detection of MS lesions on the prepared cervical spinal cord dataset, DSC (Dice Similarity Coefficient) based on pixel similarity was used to measure model success, PRE (Precision) and REC (Recall) metrics were used, VOE (Volumetric Overlap Error) and RVD (Relative Volume Difference) as volume-based metrics, and ASD (Average Surface Distance) and HD95 (95th percentile Hausdorff Distance) as distance-based metrics. Firstly, experimental studies were performed on the axial CSA/CSF sub-dataset of the spinal cord. At the end of the model training, the best results were obtained with 94.99% DSC score with Con-FractalSpiNet architecture for CSA segmentation, 93.00% DSC score with FractalSpiNet architecture for CSF region and 96.54% DSC score with FractalSpiNet for segmentation of the whole spinal cord region. As a result of the training performed on the other subset of MS spinal axial data, the best results for the first segmentation region, the CSA, were obtained with the Con-FractalSpiNet and FractalSpiNet architectures with DSC scores of 98.89% and 98.88% respectively, while the best results for MS lesion detection were obtained with the Con-FractalSpiNet and FractalSpiNet architectures with DSC scores of 91.48% and 90.90% respectively. In the same data subset, the most successful models for segmentation of the non-MS spinal cord area were Con-FractalSpiNet and FractalSpiNet with DSC scores of 97.25% and 97.17%, respectively. When analysing the experimental results on the sagittal spinal cord MS data subset, 97.06% and 95.16% DSC scores were obtained with the Att-Res U-Net architecture as a result of model training for segmentation of the spinal cord area and spinal cord areas without MS, while the most successful results were obtained with a DSC score of 56.25% using Con-FractalSpiNet for detection of MS lesions. When all the results are evaluated, using the proposed U-net based FractalSpiNet architectures, highly competitive results were obtained in the segmentation of the cervical spinal cord region and MS lesions in this region compared to existing studies.