Fast, Lightweight, Self-Supervised Vision Model for Medical Imaging Applications
Creators: name: Χρηστίδης, Ανέστης Θωμά
Publisher: name: Aristotle University of Thessaloniki
Year: 2023
Subjects: Ιατρική Εικόνα
Ελαφριές Αρχιτεκτονικές
Αυτο-Επιβλεπόμενη Μάθηση
Medical Imaging
Lightweight Architectures
Self-Supervised Learning

description: In recent years, Deep Learning (DL) technology has been used for analysing medical images in various fields, and it shows excellent performance in diverse applications such as classification, object detection, segmentation and registration. However, numerous issues exist in acquiring large-scale annotated datasets since it is a laborious and time-consuming process, prone to errors, and privacy sensitive. Medical visual data, taken from modalities such as CTs, MRIs, and X-Rays, intensify these obstacles, as, by their nature, they exhibit high variability, need intense pre-processing before usage, and contain personal information. Self-Supervised Learning (SSL) is a Machine Learning (ML) strategy inheriting the advantages of both Supervised and Unsupervised Learning. It enables an ML model to encode features and characteristics from a dataset without the need of acquiring labels (annotations). This results in gaining task-invariant knowledge, which can then be used in the form of self-formed annotations for another task-specific ML solution. Given the aforementioned limitations of visual medical data, SSL can be highly advantageous to relevant applications. The goal of this thesis is to explore state-of-the-art SSL implementations with applications in Medical Imaging, and to propose a novel method that combines the use of self-acquired knowledge from non-annotated data, along with fast, lightweight computer vision techniques so as to examine whether SSL encoded knowledge is beneficial and offers noticeable performance gains on publicly available datasets.
description: Τα τελευταία χρόνια, τεχνολογίες Βαθιάς Μάθησης έχουν χρησιμοποιηθεί για την ανάλυση ιατρικών εικόνων σε διάφορα πεδία και έχουν παρουσιάσει πολύ καλή επίδοση σε ποικίλες εφαρμογές, όπως είναι η ταξινόμηση, ο εντοπισμός αντικειμένων, η κατάτμηση, και η καταχώρηση. Παρόλα αυτά, εξακολουθούν να υπάρχουν αρκετά ζητήματα όσον αφορά την απόκτηση µμεγάλης κλίμακας, επισηµανσµένων συλλογών δεδομένων, καθώς πρόκειται για µία διαδικασία χρονοβόρα, επίπονη, επιρρεπής σε λάθη, και ευαίσθητη ως προς την ιδιωτικότητα. Οπτικά ιατρικά δεδομένα, τα οποία προέρχονται από πηγές όπως αξονικές τοµογραφίες, μαγνητικές τοµογραφίες, και ακτίνες-Χ, επιδεινώνουν αυτά τα εµπόδια, καθώς, από τη ϕύση τους, είναι δεδοµένα µε µεγάλη ποικιλία, έχουν ανάγκη από βαριά προ-επεξεργασία πριν τη χρήση τους, και περιέχουν προσωπικές πληροφορίες. Η Αυτο-Επιβλεπόµενη Μάθηση είναι µία στρατηγική Μηχανικής Μάθησης η οποία κληρονοµεί τα πλεονεκτήµατα και της Επιβλεπόµενης, και της Μη-Επιβλεπόµενης Μάθησης. Επιτρέπει σε ένα µοντέλο ΜΜ να κωδικοποιεί χαακτηριστικά και γνωρίσµατα από ένα σύνολο δεδοµένων δίχως την ανάγκη ετικετών (επισηµάνσεων). Αυτό έχει ως αποτέλεσµα την απόκτηση γνώσης ασχέτως της εφαρµογής, η οποία µπορεί να χρησιµοποιηθεί µε τη µορφή αυτοδηµιούργητων επισηµάνσεων για κάποια άλλη συγκεκριµένη εφαρµογή ΜΜ. Με ϐάση τα προαναφερθέντα όρια των οπτικών ιατρικών δεδοµένων, η ΑΕΜ µπορεί να είναι άκρως κερδοφόρα σε σχετικές εφαρµογές. Ο στόχος αυτής της διπλωµατικής εργασίας, είναι η εξερεύνηση υπερσύγχρονων υλοποιήσεων ΑΕΜ µε εφαρµογές στην ιατρική εικόνα, και η πρόταση µίας νέας µεθόδου η οποία συνδυάζει τη χρήση ιδιοαποκτηµένης γνώσης για µη-επισυµανσµένα δεδοµένα, µαζί µε γρήγορες και ελαφριές τεχνικές µηχανικής όρασης, µε στόχο να εξετάσουµε αν η κωδικοποιηµένη ΑΕΜ γνώση είναι επωφελής και προσφέρει αισθητό προβάδισµα στην απόδοση χρησιµοποιώντας δηµόσια διαθέσιµες συλλογές δεδοµένων.