Algorithms for automated image and video analysis with applications
Authors: Κότταρη Κωνσταντίνα 
Published: November 2023

Οι εφαρμογές επεξεργασίας και ανάλυσης εικόνας και βίντεο αποτελούν τα βασικά στοιχεία της Υπολογιστικής Όρασης, η οποία αποτελεί πεδίο της Τεχνητής Νοημοσύνης και έχει ευρεία ποικιλία εφαρμογών σε τομείς όπως η βιομηχανία, η υγειονομική περίθαλψη, οι ανθρωποκεντρικές υπηρεσίες, τα υποστηρικτικά περιβάλλοντα. Η παρούσα διατριβή εισάγει εφαρμογές υπολογιστικής όρασης στην προληπτική ιατρική, όπου μπορούν να υποστηρίξουν την παρακολούθηση και την υγειονομική περίθαλψη για ηλικιωμένους και ασθενείς που πάσχουν από χρόνιες νόσους, καθώς και γιατρούς σε ιατρικές γνωματεύσεις. Επιπλέον, προτείνει μεθόδους για την ψηφιακή ανακατασκευή του ογκομετρικού μοντέλου ανθρώπων και αντικειμένων, χρησιμοποιώντας μόλις μερικές προβολές του αντικειμένου/υποκειμένου από κάμερα. Οι μέθοδοι αυτές μπορούν να χρησιμοποιηθούν για εφαρμογές επαυξημένης πραγματικότητας, ή για την εκτίμηση της στάσης του ανθρώπου, βάσει της σιλουέτας του. Επιπροσθέτως, παρουσιάζονται αυτοματοποιημένες τεχνικές ποιοτικού ελέγχου αντικειμένων βιομηχανικής κατασκευής, βασισμένες στην υπολογιστική όραση, οι οποίες μπορούν να ενσωματωθούν στην παραγωγή. Σε πολλές μεθόδους υπολογιστικής όρασης, όσο αυξάνεται ο όγκος των διαθέσιμων οπτικών δεδομένων, ευνοούνται η εξαγωγή χαρακτηριστικών και, αναλόγως την περίπτωση, οι απαιτούμενοι υπολογισμοί. Για το λόγο αυτό, σε αυτή την εργασία, αξιοποιείται η κάμερα υπερευρυγώνιου φακού (fisheye) - ένας ειδικός τύπος κάμερας, με οπτικό πεδίο 180 μοιρών. Η βαθμονόμηση της κάμερας fisheye επανεξετάζεται και εφαρμόζεται στις διαθέσιμες κάμερες αυτού του τύπου. Τα οπτικά δεδομένα που συλλέχθηκαν από τις κάμερες αυτές, χρησιμοποιήθηκαν στην εφαρμογή ενός αριθμού αλγορίθμων επεξεργασίας εικόνας και βίντεο. Επιπλέον, αναλύεται η βαθμονόμηση της προβολικής κάμερας (pinhole) και εφαρμόζεται, με γραμμική και μη γραμμική εκτίμηση των πινάκων προβολής, σε τρεις προβολικές κάμερες. Δημιουργούμε μια πειραματική διάταξη αρκετών συνδυασμών ετερογενών καμερών και χρησιμοποιούμε τις υπολογισμένες βαθμονομήσεις για τη δημιουργία συνθετικών δεδομένων, όπως επίσης λαμβάνουμε πραγματικά δεδομένα, για την εκτίμηση της μεταβλητής θέσης και την ογκομετρική ανακατασκευή του αντικειμένου/ανθρώπου. Ο αλγορίθμος λάξευσης του χώρου (space carving algorithm) για την ανακατασκευή του ογκομετρικού μοντέλου με τη χρήση εικόνων της σιλουέτας του, τροποποιήθηκε για να περιλαμβάνει διαφορετικούς συνδυασμούς fisheye και προβολικών καμερών. Προτείνεται, ακόμα, μέθοδος για την αντιμετώπιση της επιδείνωσης της ακρίβειας, καθώς αυξάνεται ο αριθμός των προβολών - ενός προβλήματος που παρατηρείται στον κλασικό αλγόριθμο λάξευσης χώρου. Διερευνούμε, επίσης, την αναγνώριση στάσεων με βάση τα ογκομετρικά αυτά μοντέλα, σε στατικά, αλλά και δυναμικά σενάρια, μετακίνησης αντικειμένων σε οποιαδήποτε διαδρομή. Παρουσιάζονται ποσοτικά αποτελέσματα στην ανακατασκευή συνθετικών τρισδιάστατων ανθρώπινων μοντέλων και ποιοτικά αποτελέσματα για το ανακατασκευασθέν μοντέλο πραγματικών ανθρώπων. Τα αποτελέσματα καθιστούν προφανές ότι η χρήση καμερών fisheye, μαζί με προβολικές κάμερες, σε εφαρμογές αλγορίθμων λάξευσης χώρου, μειώνει το σφάλμα ανακατασκευής. Επιπροσθέτως, παρουσιάζεται μια μεθοδολογία για την ανίχνευση πτώσης ανθρώπου σε εσωτερικό χώρο, χρησιμοποιώντας τρεις μη βαθμονομημένες fisheye κάμερες, οι οποίες είναι τοποθετημένες έτσι ώστε να απεικονίζουν όλο το δωμάτιο, σε οποιαδήποτε κατεύθυνση. Εκμεταλλευόμενοι μια από τις ιδιότητες του μοντέλου σχηματισμού εικόνας ευρυγώνιας κάμερας, δημιουργούμε έναν απλό κανόνα ανίχνευσης, με τον οποίο επιτυγχάνουμε σωστό εντοπισμό γεγονότων πτώσης, ανάμεσα σε δραστηριότητες (όπως το περπάτημα, η ορθοστασία και άλλες μη πτωτικές δραστηριότητες), σε συνδιασμό με υψηλή ταχύτητα εκτέλεσης. Παρουσιάζονται τα αποτελέσματα από πραγματικά βίντεο, χρησιμοποιώντας στατιστικά επί των στιγμιοτύπων και επί των γεγονότων.Με αφετηρία το μοντέλο σχηματισμού εικόνας fisheye, τροποποιήθηκαν γεωδαισιακά οι παραδοσιακές αμετάβλητες ροπές εικόνας Zernike(ZMI). Οι προτεινόμενες γεωδαισιακά τροποποιημένες ροπές: GZMI, εφαρμόστηκαν στην αναγνώριση ανθρώπινης στάσης από εικόνες ευρυγώνιων φακών, με τη χρήση ταξινόμησης περικομμένων τμημάτων των εικόνων που περιέχουν τη σιλουέτα. Η μέθοδος αυτή καθιστά δυνατό να κατασκευαστεί ένα εκτεταμένο σύνολο συνθετικών δεδομένων, το οποίο μπορεί να χρησιμοποιηθεί από Συνελικτικά Νευρωνικά Δίκτυα (CNN) για την ταξινόμηση των σιλουετών. Η ικανότητα των Συνελικτικών Νευρωνικών Δικτύων να ταξινομούν σωστά τις συνθετικές και τις πραγματικές σιλουέτες αξιολογείται, χρησιμοποιώντας ένα εκτεταμένο συνθετικό εκπαιδευτικό σύνολο δυαδικών σιλουετών. Επομένως, γίνεται δυνατή η σύγκριση του CNN, με το προτεινόμενο GZMI, καθώς και με το κλασικό ZMI, στο πρόβλημα της ταξινόμησης των σιλουετών σε τρεις γενικευμένες στάσεις. Παράλληλα, εξετάζεται η επαύξηση της εισόδου των CNN στο πρώτο πλήρως συνδεδεμένο επίπεδο (FNN), με τους GZMI περιγραφείς, καθώς επίσης χρησιμοποιείται η μεταφορά εκμάθησης (TL) - δηλαδή η βελτίωση των CNN που είχαν εκπαιδευτεί στο παρελθόν, χρησιμοποιώντας το επαυξημένο σύνολο δεδομένων. Τα αρχικά μας αποτελέσματα δείχνουν ότι το CNN που έχει εκπαιδευτεί μόνο σε συνθετικές σιλουέτες δεν είναι σε θέση να ταξινομήσει σωστά τις 3 γενικευμένες στάσεις για σιλουέτες τμηματοποιημένες από πραγματικά βίντεο. Ομοίως, το CNN ενισχυμένο με τα GZMI σε επίπεδο FNN, επιτυγχάνει χαμηλή ακρίβεια ταξινόμησης, αν και ελαφρώς καλύτερη από το τυπικό CNN. Σε αντίθεση, ένας απλός ταξινομητής που χρησιμοποιεί το GZMI επιτυγχάνει σημαντικά καλύτερη ακρίβεια, αν και εξακολουθεί να μην είναι αρκετά υψηλή ώστε να είναι πρακτικά χρήσιμη. Τα χαρακτηριστικά του GZMI φαίνεται να είναι λιγότερο επηρεαζόμενα από τυχόν τεχνικά σφάλματα που προκαλούνται από την τμηματοποίηση, από ότι τα CNN. Η ακρίβεια της ταξινόμησης που επιτυγχάνεται με τη μεταφορά μάθησης είναι πρακτικά χρήσιμη.Για την ανίχνευση κλινικών γνωρισμάτων, όπως γραμμικών δομών σε εικόνες δερματοσκοπίας, εξάγονται και χρησιμοποιούνται χαρακτηριστικά εικόνας, σε συνδιασμό με καθιερωμένα φίλτρα επεξεργασίας εικόνας και ταξινομούνται με τη χρήση παραδοσιακών ταξινομητών. Οι προτεινόμενες μεθοδολογίες χρησιμοποιούν φίλτρα εικόνας για την τμηματοποίηση, για παράδειγμα, σκοτεινών γραμμικών δομών, χρησιμοποιώντας χαρακτηριστικά εικόνας πολλαπλής ανάλυσης που βασίζονται στον Εσσιανό, καθώς και Συνελικτικά Νευρωνικά Δίκτυα για την ταξινόμηση εικόνων RGB. Στη συνέχεια διερευνούμε τη χρησιμότητα αυτών των φίλτρων για την επαύξηση της εισόδου των Συνελικτικών Νευρωνικών Δικτύων (CNN) για την εργασία της ταξινόμησης σε επίπεδο εικόνας και υπερεικονοστοιχείου (superpixel). Κατόπιν, εφαρμόζεται ταξινόμηση εικόνων δερματοσκοπίας σε μελάνωμα και σπίλους. Η καινοτομία των προτεινόμενων μεθόδων είναι (α) η χρήση αυτών των φίλτρων στην επαύξηση της εισόδου των CNN, για την ουσιαστική αύξηση του μεγέθους του υποσυνόλου ενδιαφέροντος, (β) η μεταφορά μάθησης και (γ) η ενδιαφέρουσα σύγκριση μεταξύ των χειροποίητων χαρακτηριστικών εικόνων, που βασίζονται σε γραμμικές δομές, με τις ποικίλες αρχιτεκτονικές εν τω βάθει εκμάθησης. Τα αποτελέσματα δείχνουν ότι η ακρίβεια που επιτυγχάνεται από το CNN με την επαυξημένη είσοδο είναι σταθερά υψηλότερη από αυτή της εισόδου εικόνας RGB, τόσο κατά τις διαφορετικές επανεκτελέσεις, όσο και ως προς τα επαναληπτικά στάδια κάθε επανεκτέλεσης, με την προϋπόθεση ότι έχει χρησιμοποιηθεί TL. Τέλος, παρουσιάζουμε μια απλή και αποδοτική μέθοδο μέτρησης καμπυλότητας ενός ευρέως χρησιμοποιούμενου μηχανολογικού αντικειμένου - της μεταλλικής ράβδου. Τα αρχικά μας αποτελέσματα δείχνουν ότι η προτεινόμενη μέθοδος είναι ικανή να κάνει διάκριση μεταξύ αποδεκτών και μη, αντικειμένων, βασισμένη σε βίντεο από μόνο μία κάμερα, σε συγκεκριμένο πειραματικό σύστημα, χωρίς ιδιαίτερες απαιτήσεις στις συνθήκες φωτισμού. Η μέθοδος είναι υπολογιστικά πολύ αποτελεσματική, καθώς εκτελείται σε πραγματικό χρόνο, σε απλό φορητό υπολογιστή.