Aνάπτυξη βάσης δεδομένων και καινοτόμων αλγορίθμων βαθιάς μάθησης για τον covid-19 με τη χρήση πολυτροπικών δεδομένων και μη επεμβατικών τεχνικών
Creators: name: Καραμανλής, Δημήτριος Ιωάννη
Publisher: name: Aristotle University of Thessaloniki
Year: 2021
Subjects: Covid-19
Πολυτροπική βάση δεδομένων
Πολυτροπικά νευρωνικά δίκτυα
Συνδυαστική μάθηση
Σταθμισμένος μέσος όρος
Multimodal database
Multimodal neural networks
Ensemble learning
Weighted average

description: Η νόσος Covid-19 είναι μια πάθηση η οποία δύναται να οδηγήσει σε πνευμονία ή ακόμη και σε θρόμβωση και πνευμονική εμβολή. Η χρήση ενός τεστ πολυμεράσης (PCR) προσφέρει με ακρίβεια αποτελέσματα αλλά όχι με την επιθυμητή ταχύτητα ενώ με τη χρήση των ακτινογραφιών συμβαίνει το αντίστροφο. Επομένως ακόμη δεν υπάρχει έγκαιρη και έγκυρη διάγνωση για την Covid-19. Συνεπώς η αυτοματοποίηση αυτής της διαδικασίας με την τεχνητή νοημοσύνη και τα νευρωνικά δίκτυα που θα συνδυάζει το απεικονιστικό και το κλινικό κομμάτι, δύναται να επιταχύνει την διαδικασία αυτή και να προσφέρει μεγαλύτερη ακρίβεια.Η παρούσα διπλωματική εργασία έχει ως στόχο, αφενός τη δημιουργία μιας ολοκληρωμένης βάσης δεδομένων που θα περιέχει δεδομένα διαφορετικών εξετάσεων (modalities), τα οποία περιλαμβάνουν ακτινογραφίες, ακροαστικά πνευμόνων, ακροαστικά βήχα και ιστορικό των συμπτωμάτων από τον ασθενή και αφετέρου να κάνει χρήση δικτύων βαθιάς μάθησης για τη δημιουργία ενός μοντέλου, που θα χρησιμοποιεί τα ίδια πολυτροπικά δεδομένα της βάσης που δημιουργήθηκε, με τελικό στόχο τη διάκριση σε Covid αρνητικό ή Covid θετικό ασθενή μέσω μιας εφαρμογής που θα μπορεί να εγκατασταθεί στον υπολογιστή. Η φιλοσοφία επάνω στην οποία στηρίζεται η μέθοδος που χρησιμοποιούμε είναι ότι η ιατρική διάγνωση είναι μια διαδικασία πολυπαραγοντική και εμπεριέχει εκτός των ακτινογραφιών κλινικά ευρήματα και ιστορικό.Για την εκπαίδευση των ακτινογραφιών χρησιμοποιήσαμε την αρχιτεκτονική του Resnet50, του Vgg16 για την εκπαίδευση του ήχου και ένα S.V.M για την ταξινόμηση των συμπτωμάτων. Ο συνδυασμός των προβλέψεων αυτών επάνω στα ίδια δείγματα διορθώνει τις λάθος προβλέψεις και πετυχαίνει μια ακρίβεια που κυμαίνεται από 98.15% έως 100%. Χρησιμοποιήθηκαν πίνακες σύγχυσης (confusion matrix) και υπολογίστηκε η ακρίβεια της κάθε εξέτασης ξεχωριστά επάνω σε ένα σετ δεδομένων άγνωστο για το δίκτυο. Επιπρόσθετα, έγινε σύγκριση των μεταξύ τους μοντέλων που χρησιμοποιούν μία εξέταση σαν είσοδο (unimodal) με το τελικό μοντέλο που κάνει χρήση όλων των εξετάσεων (multimodal), ώστε να μπορέσουν να εξαχθούν συμπεράσματα σχετικά με την χρησιμότητα ενός δικτύου που χρησιμοποιεί διαφορετικές εξέτασεις (multimodal) και εάν μπορεί να βελτιώσει την ακρίβεια συγκριτικά με τα μονοτροπικά με ένα είδος εξέτασης (unimodal).
description: Covid-19 virus has been responsible for the current global pandemic and results in pneumonia or formation of thrombus and pulmonary embolism. Polymerase chain reaction tests offer good accuracy but are time consuming. On the other hand, x-rays are fast and cheap but have lower accuracy in predicting lung lesions related to covid-19 infection. As a result of this, there is still no fast and reliable diagnosis for covid-19 infection. Automating this process using artificial intelligence and deep neural networks with combination of radiological investigations and clinical examination, can accelerate diagnosis with high accuracy. This project aims, to create a multimodal database which will include x-ray, cough sound samples, lung sound samples and clinical history from each patient and to train with these data deep neural networks and use the combination of independent predictions to one final which will predict Covid-19 positive from covid-19 negative patients using a graphical user interface that will work on any personal computer running windows software. The philosophy of our proposed method is based on the belief that medical diagnosis is a multifactorial process, combining clinical findings with radiological findings. We used transfer learning and the pre-trained weights of Resnet50 on imagenet for training x-rays, vgg16 for training sound cough and lung samples and a support vector machine for training clinical history. The combination of these predictions on our developed test dataset, can correct the misclassified predictions of each independent modality and can achieve an accuracy of 98.15% up to 100%.We used confusion matrices in order to calculate the accuracy of each modality on a separate test folder that contains unknown samples to our network. We compare the individual predictions of our models against the final prediction that combines all modalities in order to check how better a multimodal network can perform against a unimodal network.