Optimization techniques for image fusion and image analysis
Authors: Μπούζος Οδυσσέας 
Published: November 2022

Στόχος της σύνθεσης και ανάλυσης εικόνων είναι η ανάπτυξη εικόνων σύνθεσης οι οποίες ξεπερνούν τους περιορισμούς του φακού και του αισθητήρα της κάμερας. Οι εικόνες σύνθεσης θα πρέπει να έχουν περισσότερη πληροφορία από τις αρχικές εικόνες χωρίς να εισάγουν τεχνουργήματα κατά τη σύνθεση. Ωστόσο η ανάλυση των αρχικών εικόνων εισόδου και η ανάπτυξη κανόνων σύνθεσης αποτελούν ένα ανοιχτό ζήτημα έρευνας. Οι τεχνικές βελτιστοποίησης στοχεύουν στην ανάλυση των αρχικών εικόνων και στη σύνθεσή τους σε μια εικόνα σύνθεσης. Οι τεχνικές βελτιστοποίησης έχουν γίνει πολύ σημαντικές τις τελευταίες δεκαετίες.Προκειμένου να γίνει σύνθεση εικόνων, θα πρέπει να αναπτυχθούν αξιόπιστες τεχνικές βελτιστοποίησης της μηχανής που οδηγούν σε βέλτιστη λύση για τη σύνθεση εικόνων. Ένας μεγάλος αριθμός ερευνών σχετικά με τη σύνθεση εικόνων έχει αναδείξει τις αδυναμίες των τρεχουσών μεθόδων σύνθεσης. Οι περισσότερες μέθοδοι σύνθεσης εικόνων συνήθως οδηγούν σε τεχνουργήματα, όταν οι αρχικές εικόνες δεν έχουν τέλεια ευθυγράμμιση ή εάν η σκηνή είναι δυναμική. Πρόσθετα, καθώς οι αρχικές εικόνες είναι πιθανόν να έχουν θόρυβο εξαιτίας διαφορετικών πηγών, όπως αισθητήρες της κάμερας και κβαντοποίηση της εικόνας, η ανάπτυξη μεθόδων με αντοχή στον θόρυβο είναι πολύ σημαντική. Ωστόσο το πρόβλημα όπου οι αρχικές εικόνες έχουν θόρυβο δεν έχει μελετηθεί εκτενώς και οι περισσότερες μέθοδοι σύνθεσης είναι ευαίσθητες στον θόρυβο στις αρχικές εικόνες.Η παρούσα Διδακτορική Διατριβή αποτελεί προσπάθεια στην επίλυση των παραπάνω προβλημάτων και στην ανάπτυξη τεχνικών βελτιστοποίησης που βοηθούν στην ανάλυση των αρχικών εικόνων και οδηγούν σε εικόνες σύνθεσης υψηλής ποιότητας. Στο πρώτο στάδιο αυτής της προσπάθειας, προτείνεται μια μεθοδολογία σύνθεσης εικόνας εύρωστη στον Gaussian θόρυβο. Στο δεύτερο στάδιο προτείνεται μία μεθοδολογία εύρωστη σε Gaussian, Salt & Pepper και Poisson θόρυβο. Τέλος αναπτύχθηκε μια μεθοδολογία σύνθεσης η οποία έχει ευρωστία στον Gaussian θόρυβο και παράγει εικόνες σύνθεσης με ταυτόχρονη αποθορυβοποίηση κατά τη σύνθεση.Η σύνθεση εικόνων χρησιμοποιείται προκειμένου να αντιμετωπιστούν οι περιορισμοί των αισθητήρων της κάμερας καθώς και των φακών της κάμερας. Σε αυτήν την εργασία προτείνονται 3 διαφορετικές μεθοδολογίες προκειμένου να αντιμετωπιστεί το πρόβλημα σύνθεσης εικόνων με διαφορετική εστίαση με χρήση τεχνικών βελτιστοποίησης. Σε καθεμιά από τις προτεινόμενες μεθόδους μελετάται το πρόβλημα σύνθεσης εικόνων χωρίς θόρυβο καθώς και το πρόβλημα σύνθεσης αρχικών εικόνων που περιέχουν θόρυβο. Η καινοτομία των προτεινόμενων μεθόδων έγκειται στην ανάπτυξη καινοτόμων τεχνικών βελτιστοποίησης οι οποίες αναλύουν τις αρχικές εικόνες και κάνουν τις μεθοδολογίες σύνθεσης εύρωστες σε πιθανό θόρυβο και σε πιθανή μη ευθυγράμμιση των αρχικών εικόνων. Στην πρώτη μέθοδο προτείνεται ένα μοντέλο Conditional Random Field με χειροποίητους όρους unary και smoothness. Η μέθοδος είναι εύρωστη στον θόρυβο και έχει εφαρμογές σε σύνθεση ιατρικών εικόνων και σε σύνθεση εικόνων ορατής-υπέρυθρης. Στη δεύτερη μέθοδο έγινε εκπαίδευση δικτύων Deep Learning για τον υπολογισμό των όρων Unary και Smoothness υψηλής πολυπλοκότητας. Οι όροι χρησιμοποιήθηκαν σε ένα προτεινόμενο μοντέλο Conditional Random Field model το οποίο περιγράφει το πρόβλημα σύνθεσης. Η μέθοδος είναι εύρωστη σε Gaussian θόρυβο, Salt & Pepper θόρυβο και Poisson θόρυβο. Στην τελευταία μέθοδο, ένα μοντέλο Conditional Random Field χρησιμοποιείται για να οδηγήσει την σύνθεση εικόνων στον χώρο του μετασχηματισμού. Η προτεινόμενη μέθοδος είναι εύρωστη σε Gaussian θόρυβο και υποστηρίζει αποθορυβοποίηση κατά τη σύνθεση. Πειραματικά αποτελέσματα αναδεικνύουν πως όλες οι προτεινόμενες μέθοδοι ξεπερνούν τρέχουσες μεθόδους σύνθεσης τόσο σε καθαρές εικόνες με τέλεια ευθυγράμμιση, σε εικόνες με πιθανή μη ευθυγράμμιση και είναι πιο εύρωστες στον θόρυβο. Η συνεισφορά των προτεινόμενων μεθόδων έγκειται στην ανάπτυξη τεχνικών βελτιστοποίησης οι οποίες ταυτόχρονα αναλύουν τις αρχικές εικόνες και οδηγούν σε σύνθεση εικόνων υψηλής οπτικής ποιότητας. Οι προτεινόμενες μέθοδοι αναλύουν τις αρχικές εικόνες και βρίσκουν τα καλά εστιασμένα pixels και τα διαχωρίζουν από τα αντίστοιχα θολά ή μη-εστιασμένα και χρησιμοποιούν μοντέλα Conditional Random Field για να βρουν λύσεις ολικού ακρότατου ή κοντά στο ολικό ακρότατο. Οι προτεινόμενες τεχνικές παράγουν εικόνες σύνθεσης υψηλής οπτικής ποιότητας χωρίς να εισάγουν τεχνουργήματα κατά τη σύνθεση. Επιπλέον μπορούν να αποτελέσουν χρήσιμα εργαλεία σύνθεσης για τη σύνθεση εικόνων διαφορετικής εστίασης, για τη σύνθεση ιατρικών εικόνων καθώς και τη σύνθεση εικόνων ορατής-υπέρυθρης λήψης.