3-Dimensional triangular meshes
Authors: Ιωαννάκης Γεώργιος-Αλέξης 
Published: September 2021

Η συνεχής εξέλιξη των τριδιάστατων γραφικών στους υπολογιστές σε συνδυασμό με την πρόοδο που έχει επιτευχθεί στα συστήματα τριδιάστατης ψηφιοποίησης αντικειμένων, καθώς και η μεγάλη απήχηση της χρήσης τριδιάστατων αντικειμένων σε διάφορους επιστημονικούς τομείς έχει ως αποτέλεσμα τη δημιουργία ενός συνεχώς αυξανόμενου αποθέματος τριδιάστατων αντικειμένων. Μία μέθοδος τριδιάστατης ψηφιοποίησης, ευρύτατα διαδεδομένη, είναι η πολυεικονική φωτογραμμετρία Structure-from-motion, η οποία βασίζεται στην εξαγωγή τριδιάστατης πληροφορίας από εικόνες. Η διαχείριση του τεράστιου όγκου διαθέσιμης πληροφορίας με αποτελεσματικό τρόπο αποτελεί επιτακτική ανάγκη και καθιστά την ανάκτηση βάσει περιεχομένου των τριδιάστατων αντικειμένων ένα ενεργό ερευνητικό πεδίο. Η ανάκτηση τριδιάστατων αντικειμένων βάσει περιεχομένου παρέχει μεθόδους για την κατασκευή ευρετηρίων (indexing),αναζήτηση (search) και τέλος ανάκτηση (retrieval) τριδιάστατων αντικειμένων χωρίς να υφίσταται η ανάγκη ύπαρξης πληροφορίας με τη μορφή κειμένου (textual annotation) για κάθε αντικείμενο, γεγονός που θα οδηγούσε αναπόφευκτα σε αμφιβολίες λόγω της ποικιλομορφίας της γλώσσας. Με τον όρο ευρετήριο εννοούμε τη δημιουργία μιας υπογραφής για το κάθε αντικείμενο που το χαρακτηρίζει, ει δυνατόν με μοναδικό τρόπο, γεγονός που παρέχει τη δυνατότητα εύρεσης σημασιολογικά όμοιων προς αυτό αντικείμενα. Ένα βασικό κίνητρο της παρούσας διδακτορικής διατριβής αποτέλεσε η ανάπτυξη ενός τρόπου τριδιάστατης ψηφιοποίησης αντικειμένων μη-φιλικών για την πολυεικονική φωτογραμμετρία, η οποία βασίζεται στη εξαγωγή χαρακτηριστικών από εικόνες με χρήση αλγορίθμων όπως ο SIFT και ο SURF. Έτσι, στην περίπτωση που εφαρμόσουμε τη μέθοδο της πολυεικονικής φωτογραμμετρίας σε αντικείμενα με επιφάνεια χωρίς την ύπαρξη χαρακτηριστικών, δεν είναι δυνατή η ανακατασκευή ενός τριδιάστατου αντικειμένου. Η μέθοδός μας βασίζεται στον τεχνητό εμπλουτισμό της επιφάνειας των αντικειμένων με χαρακτηριστικά σημεία, διαμέσου της προβολής εικόνων θορύβου με τη χρήση προβολικού συστήματος. Με αυτόν τον τρόπο καθίσταται δυνατή η εφαρμογή της πολυεικονικής φωτογραμμετρίας ακόμα και στην περίπτωση των μη-φιλικών αντικειμένων.Τα τριδιάστατα αντικείμενα συνοδεύονται σε πολλές περιπτώσεις από πληροφορία υφής, όπως για παράδειγμα αντικείμενα που προέρχονται από το χώρο της πολιτισμικής κληρονομιάς. Η υφή τους, λοιπόν δύναται να παρέχει χρήσιμη πληροφορία για τα αντικείμενα αυτά. Στο πλαίσιο της παρούσας διδακτορικής προτείνουμε μία μέθοδο μετατροπής των χαρτών υφής σε δυδιάστατη και χωρικά-συνεκτική μορφή, με την εφαρμογή κατάλληλων τομών για τη μετατροπή τους σε τοπολογικά όμοια με κυκλικό δίσκο αντικείμενα και εν συνεχεία δημιουργία του αναπτύγματός τους στο δυδιάστατο χώρο. Το παραπάνω γεγονός επιτρέπει την εφαρμογή πράξεων από το χώρο της ψηφιακής επεξεργασίας εικόνας, όπως η ανίχνευση ακμών και η αναγνώριση αντικειμένων. Επιπλέον, προτείνουμε μια μέθοδο επισημείωσης τριδιάστατων αντικειμένων με την αξιοποίηση της πληροφορίας που έχει η υφή τους. Στην υπόθεση μελέτης μας, ένα αντικείμενο το οποίο ψηφιοποιήθηκε με τη χρήση πολυφασματικής κάμερας περιέχει πληροφορία για τα υλικά κατασκευής του. Με τη δημιουγία λοιπόν χωρικά-συνεκτικών χαρτών υφής με πολυφασματική πληροφορία, σε συνδυσμό με γνώσεις από την τηλεπισκόπηση και τη μηχανική μάθηση είναι δυνατή η επισημείωση τριδιάστατων αντικειμένων με βάση τα υλικά κατασκευής τους. Προτείνουμε δύο μεθόδους ανάκτησης βάσει περιεχομένου και ταξινόμησης με τη χρήση μηχανικής μάθησης. Στην πρώτη περίπτωση βασιζόμαστε τόσο στη γεωμετρία, όσο και στη τοπολογία των τριδιάστατων αντικειμένων με σκοπό τη δημιουργία ενός νέου χαρακτηριστικού, το χάρτη καμπυλότητας, το οποίο το τροφοδοτούμε σε ένα συνελικτικό νευρωνικό δίκτυο αναγνώρισης εικόνων. Συγκεκριμένα, αναγνωρίζουμε τα ακρότατα της επιφάνειας του τριδιάστατου αντικειμένου και σε συνδυασμό με τη δημιουργία μιας κατάλληλης τομής δημιουργούμε το ανάπτυγμα της τριδιάστατης επιφάνειας στο δυδιάστατο χώρο, όπου και μεταφέρεται η καμπυλότητα της αρχικής επιφάνειας. Ο χάρτης καμπυλότητας είναι ανεξάρτητος της περιστροφής, της κλιμάκωσης καθώς και της μετάθεσης. Στη δεύτερη περίπτωση, μία μέθοδο που βασίζεται σε δυδιάστατες λήψεις της τριδιάστατης σκηνής, τις οποίες εν συνεχεία τροφοδοτούμε σε ένα συνελικτικό νευρωνικό δίκτυο αναγνώρισης εικόνων. Στην περίπτωση αυτή, οι εικόνες που λαμβάνονται εξαρτώνται από τη θέση και την περιστροφή του αντικειμένου στο τριδιάστατο χώρο. Τέλος, για την αξιολόγηση αλγορίθμων ανάκτησης βάσει περιεχομένου χρησιμοποιούνται διάφορες μετρικές, είτε ως βαθμωτά μεγέθη, είτε ώς γράφοι. Έχουν προταθεί πολλές μετρικές για την αξιολόγηση της ανάκτησης βάσει περιεχομένου, καθεμία από τις οποίες αναδυκνύει και μία διαφορετική πτυχή της επίδοσης του αλγορίθμου. Δημιουργήσαμε λοιπόν ένα διαδικτυακά διαθέσιμο εργαλείο αξιολόγησης αλγορίθμων ανάκτησης βάσει περιεχομένου, το οποίο παρέχει τις μετρικές αξιολόγησης που συλλέξαμε από το επιστημονικό πεδίο της ανάκτησης πληροφορίας (information retrieval). Ο στόχος του εργαλείου είναι να δημιουργήσει ένα περιβάλλον όπου ο κάθε επιστήμονας μπορεί να μελετάει και να συγκρίνει τη συμπεριφορά των αλγορίθμων ανάκτησης βάσει περιεχομένου που αναπτύσει.