title: Εφαρμογές προσομοιωμένης ανόπτησης στην εκτίμηση στατιστικών μοντέλων
title: Applications of simulated annealing in the estimation of statistical models
Creators: name: Καστρινακης Ευαγγελος
Publisher: name: Technical University of Crete
Year: 2024

description: Η συγκεκριμένη εργασία πραγματεύεται τη μελέτη πολύπλοκων προβλημάτων καθολικής βελτιστοποίησης. Η καθολική βελτιστοποίηση είναι μείζονος σημασίας σε διάφορους τομείς, όπως σε πολλούς κλάδους της μηχανικής και των επιστημών. Η επίλυση πολύπλοκων προβλημάτων με πολλαπλά τοπικά ακρότατα καθίσταται ιδιαίτερα δύσκολη όταν χρησιμοποιούνται συμβατικές μέθοδοι τοπικής βελτιστοποίησης. Αντίθετα, οι μέθοδοι καθολικής βελτιστοποίησης μπορούν να αντιμετωπίσουν προβλήματα σύγκλισης και οδηγούν σε βελτίωση απόδοσης. Ειδικότερα, η διπλωματική εργασία εξετάζει τις μεθόδους της προσομοιωμένης ανόπτησης και της καθολικής αναζήτησης σε δύο διακριτά προβλήματα. Το πρώτο πρόβλημα αναφέρεται στην εύρεση καθολικού βέλτιστου σε συναρτήσεις ελέγχου υψηλών διαστάσεων (σε χώρους 10 και 30 διαστάσεων) με πολλαπλά τοπικά ακρότατα. Το δεύτερο πρόβλημα περιλαμβάνει τη μεγιστοποίηση της πιθανοφάνειας ενός συνόλου χωρικών δεδομένων (δείγμα χωρικής στοχαστικής διαδικασίας) ως προς τις παραμέτρους του χωρικού στοχαστικού μοντέλου τοπικών αλληλεπιδράσεων. Εξετάζονται τόσο συνθετικά όσο και πραγματικά χωρικά δεδομένα (πάχος στρωμάτων άνθρακα). Σε αυτήν την περίπτωση χρησιμοποιείται ένας παραμετρικός χώρος τεσσάρων διαστάσεων. Ο σκοπός της παρούσας μελέτης είναι η εξέταση της απόδοσης των παραπάνω μεθόδων βελτιστοποίησης ως προς την ακρίβεια εντοπισμού του καθολικού βέλτιστου και ως προς τον υπολογιστικό χρόνο. Παρουσιάζονται τα αποτελέσματα της εφαρμογής των δύο τεχνικών βελτιστοποίησης στα δύο προβλήματα, δηλαδή στις συναρτήσεις ελέγχου και στην πιθανοφάνεια του στοχαστικού μοντέλου τοπικών αλληλεπιδράσεων. Πιο συγκεκριμένα, η σύγκριση αφορά τον υπολογιστικό χρόνο βελτιστοποίησης, την ακρίβεια της επιτυγχανόμενης λύσης, και την ευαισθησία της κάθε μεθόδου σε διάφορες παραμετροποιήσεις. Από τη βελτιστοποίηση των συναρτήσεων ελέγχου διακρίνεται ότι η μέθοδος καθολικής αναζήτησης είναι αποδοτικότερη ως προς τον υπολογιστικό χρόνο και εμφανίζει μεγαλύτερη συνέπεια στην εύρεση του καθολικού βέλτιστου ανεξάρτητα από την παραμετροποίηση. Όσον αφορά στη βελτιστοποίηση της πιθανοφάνειας των χωρικών δεδομένων, παρατηρείται ότι η μέθοδος προσομοιωμένης ανόπτησης είναι αποτελεσματικότερη ως προς τον υπολογιστικό χρόνο. Για τα χωρικά συνθετικά δεδομένα, και οι δύο μέθοδοι επιτυγχάνουν παρόμοιες λύσεις για τη μεγιστοποίηση της πιθανοφάνειας. Για τα δεδομένα πάχους στρωμάτων άνθρακα, η καθολική αναζήτηση δεν συγκλίνει σε περίοδο μεγαλύτερη των δύο ωρών. Στο πρόβλημα της πιθανοφάνειας, καμία από τις δύο μεθόδους δεν επιτυγχάνει σημαντική βελτίωση συγκριτικά  με τα αποτελέσματα της τοπικής βελτιστοποίησης.
description: This work deals with the study of complex global optimization problems. Global optimization is of major importance in various fields in science and engineering. Solving complex optimization problems with multiple local extrema is particularly difficult when using conventional methods of local optimization. On the other hand, global optimization methods can address convergence problems and lead to improvement performance. Specifically, the thesis examines the methods of simulated annealing and global search in the solution of two distinct problems. The first problem refers to finding the global optimum of high dimensional control functions (in 10 and 30 dimensional spaces) with multiple local extrema. The second problem involves maximizing the likelihood of a set of spatial data (a sample of a spatial stochastic process) in terms of the parameters of the so-called stochastic local interaction model. Both synthetic and real (coal thickness) spatial data are examined. A four-dimensional parametric space is used in this case. The present study aims to examine the performance of the above optimization methods in terms of global optimum localization accuracy and computational time. The results of applying the two optimization techniques to the two problems (i.e., the control functions and the likelihood of the stochastic local interactions model) are presented. More specifically, the comparison concerns the computational optimization time, the accuracy of the achieved solution, and the sensitivity of each method to various parameterizations. Regarding the optimization of the control functions, it is evident that the global search method is more efficient in terms of computational time and finds the global optimum more consistently regardless of the parameterization. Regarding the optimization of the likelihood, it is observed that the simulated annealing is more efficient in terms of computational time. For the synthetic spatial data, both methods achieve similar solutions for maximum likelihood. For the coal thickness data, global search does not converge over a period longer than two hours. However, for the spatial datasets neither method significantly improves the likelihood compared to local optimization.