title: Analysis of cardiac anatomy biomedical images with the use of Vision Τransformers
title: Ανάλυση εικόνων καρδιακής ανατομίας με χρήση Νευρωνικών Δικτύων (Vision Transformers) 
Creators: name: Νακα Στελινα
Publisher: name: Technical University of Crete
Year: 2025

description: The heart is one of the most complex organs of human body with multiple substructures and the anatomy of the whole heart is a basic requirement for the developing of many clinical applications. To study spatially heart function Magnetic Resonance Imaging (MRI) and Computed Tomography (CT) are the most common ways. In this regard, the whole-heart segmentation is vital in medical imaging analysis, providing the potential for diagnosis and treatment options of the Cardiovascular Diseases (CVD). However, the automated segmentation can be challenging due to variation of the heart shape. In this thesis, an enhanced method based on the insights of the MIC-CAI Multi-Modality Whole Heart Segmentation (MM-WHS) challenge evaluations is proposed. The challenge provides a dataset of 20 MRI and 20 CT volumes and their manually segmented labels. For later-on model training, most of the automated segmentation tasks on medical images are based on Convolutional Neural Networks, a hybrid Vision Transformer (ViT) model is introduced in this thesis. The so-called ’ViTSegment’, the proposed model, is a Vision Transformer-based encoder for capturing long range dependencies and a convolutional decoder for accurate boundary detection. The proposed algorithm was trained and evaluated on the dataset from the challenge. Due to the low number of data, we further proceeded with data augmentation techniques to expand the dataset. On CT dataset it exhibited a better dice score of 92.65 ± 2.17% compared to the MRI dataset,(91.50 ± 1.72%). To boost the results of the evaluation, a comparative analysis was implemented between the ViTSegment, U-Net and UNETR models. The ViTSegment outperforms the other two models, with U-Net achieving a dice score of 82.67 ± 8.70% on the CT dataset and 81.30 ± 5.47% on the MRI, while UNETR scores 86.33 ± 0.74% for CT and 84.94 ± 6.25% for MRI, highlighting its robustness and efficiency. ViTSegment model shows essential potential that is paving the way for robust automated whole-heart segmentation in medical image analysis.
description: Η καρδιά είναι ένα από τα πιο πολύπλοκα όργανα του ανθρώπινου σώματος με πολλαπλά μέρη και η ανατομία ολόκληρης της καρδιάς αποτελεί βασική προϋπόθεση για την ανάπτυξη πολλών κλινικών εφαρμογών. Για τη μελέτη της λειτουργίας της καρδιάς σε χωρικό επίπεδο, η Μαγνητική Τομογραφία (MRI) και η Αξονική Τομογραφία (CT) είναι οι πιο συνηθισμένες μέθοδοι. Στο πλαίσιο αυτό, η κατάτμηση ολόκληρης της καρδιάς είναι ζωτικής σημασίας στην ανάλυση ιατρικών εικόνων, παρέχοντας δυνατότητες για διάγνωση και την επιλογή θεραπείας των Καρδιαγγειακών Νοσημάτων (CVD). Ωστόσο, η αυτοματοποιημένη κατάτμηση μπορεί να γίνει απαιτητική λόγω της παραλλαγής στο σχήμα της καρδιάς από άνθρωπο σε άνθρωπο. Σε αυτή την μελέτη, προτείνεται μια ενισχυμένη μέθοδος βασισμένη στις γνώσεις που προέκυψαν από τα ευρήματα των αξιολογήσεων του διαγωνισμού MICCAI Multi-Modality Whole Heart Segmentation (MM-WHS). Ο διαγωνισμός παρέχει ένα σύνολο δεδομένων που περιλαμβάνει 20 MRI και 20 CT τρισδιάστατες εικόνες και τις χειροκίνητα κατατετμημένες ετικέτες τους. Ενώ οι περισσότερες από τις αυτοματοποιημένα μοντέλα κατάτμησης ιατρικών εικόνων βασίζονται σε Convolutional Neural Networks (CNN), στην διατριβή αυτή παρουσιάζεται ένα υβριδικό μοντέλο Vision Tranformer (ViT). Το προτεινόμενο μοντέλο, με όνομα ’ViTSegment’, είναι ένας κωδικοποιητής βασισμένος σε Vision Transformer για την καταγραφή εξαρτήσεων μεγάλης κλίμακας και ένας αποκωδικοποιητής συνελικτικού τύπου για την ακριβή ανίχνευση των ορίων. Ο προτεινόμενος αλγόριθμος εκπαιδεύτηκε και αξιολογήθηκε στο σύνολο δεδομένων του διαγωνισμού. Λόγω του μικρού αριθμού δεδομένων, προχωρήσαμε περαιτέρω με τεχνικές αύξησης δεδομένων (data augmentation) για την επέκταση του συνόλου δεδομένων. Στο σύνολο δεδομένων CT παρουσίασε καλύτερο Dice score 92.65 ± 2.17% σε σύγκριση με το MRI σύνολο (91.50 ± 1.72%). Για τη βελτίωση των αποτελεσμάτων της αξιολόγησης, πραγματοποιήθηκε συγκριτική ανάλυση μεταξύ των μοντέλων ViTSegment, U-Net και UNETR. Το ViTSegment υπερέχει των άλλων δύο μοντέλων, με το U-Net να επιτυγχάνει Dice score 82.67 ± 8.70% στο σύνολο CT και 81.30 ± 5.47% στο MRI, ενώ το UNETR σημειώνει 86.33 ± 0.74% για το CT και 84.94 ± 6.25% για το MRI, αναδεικνύοντας τη σταθερότητα και την αποδοτικότητα του. Το μοντέλο ViTSegment παρουσιάζει σημαντικές προοπτικές, ανοίγοντας τον δρόμο για αξιόπιστη αυτόματη κατάτμηση ολόκληρης της καρδιάς στην ανάλυση ιατρικών εικόνων.