Εκτίμηση Εντροπίας και Συνεκτικότης Εγκεφάλου
Creators: name: Πούρικα, Αγνή Γεωργίου
Publisher: name: Aristotle University of Thessaloniki
Year: 2016
Subjects: Εκτίμηση Εντροπίας
Αμοιβαία Πληροφορία
Συνεκτικότης Εγκεφάλου
Entropy Estimation
Mutual Information
Brain Connectivity

description: Σκοπός της εργασίας είναι η ανάλυση της εκτίμησης της Εντροπίας από δείγματα. Πολλοί εκτιμητές έχουν προταθεί για την εκτίμηση της Εντροπίας, ωστόσο η απόδοσή τους ποικίλλει και η επιλογή του κατάλληλου εκτιμητή διαφέρει ανάλογα με το πρόβλημα. Στο 1ο Κεφάλαιο, αναφερόμαστε στην έννοια της Εντροπίας και στις διαφορετικές ερμηνείες της, ανάλογα με τον επιστημονικό τομέα στον οποίο χρησιμοποιείται και τα χαρακτηριστικά που μελετά. Επίσης παρουσιάζεται το πλαίσιο της εκτίμησης της Εντροπίας από δείγματα (παρατηρήσεις). Στο 2ο Κεφάλαιο παρέχονται οι βασικοί ορισμοί και οι ιδιότητες της Εντροπίας. Στο 3ο Κεφάλαιο παρουσιάζονται οι μη-παραμετρικοί εκτιμητές Εντροπίας και στο 4ο Κεφάλαιο παρουσιάζονται οι παραμετρικοί εκτιμητές της Εντροπίας, από πεπερασμένα δείγματα. Η σύγκριση μεταξύ παραμετρικών και μη-παραμετρικών εκτιμητών γίνεται στο 5ο Κεφάλαιο. Επιπροσθέτως, καταλήγουμε ότι ο εκτιμητής Shrinkage είναι ο πιο αξιόπιστος, για δείγματα μεγέθους μεγαλύτερα του 300. Στο 6ο Κεφάλαιο παρατίθενται τα δημοφιλέστερα μέτρα για την εκτίμηση της εξάρτησης μεταξύ δύο μεταβλητών, όπου και ορίζεται η Αμοιβαία Πληροφορία και η σύνδεσή της με την Εντροπία. Επιπλέον, παρουσιάζονται οι ιδιότητες της Αμοιβαίας Πληροφορίας και οι εφαρμογές της. Ακόμη, ορίζεται η Ασύμμετρη Αμοιβαία Πληροφορία και οι ιδιότητές της. Τα μέτρα αυτά χρησιμοποιούνται και στην κατασκευή των δικτύων Εγκεφάλου. Η μελέτη της Συνδεσιμότητας του Εγκεφάλου αναλύεται στο 7ο Κεφάλαιο. Εκεί παρουσιάζεται και μια εφαρμογή των τριών βασικότερων εκτιμητών Εντροπίας πάνω σε λειτουργικά δίκτυα Εγκεφάλου, με σκοπό την αξιολόγησή τους. Η συμβολή και η αξιολόγηση της εργασίας, τα συμπεράσματα που προκύπτουν, καθώς και ανοικτά ερωτήματα και προτάσεις για περαιτέρω έρευνα, παρουσιάζονται στο 8ο Κεφάλαιο.
description: The aim of the Thesis is the analysis of the estimation of Entropy from finite samples. Several estimators have been proposed for the estimation of Entropy, however, the performance of each estimator varies and the choice of the most reliable estimator must be made according to the problem at hand. In the 1st Chapter, we refer to the definition of Entropy and the different meanings that Entropy can obtain, in relation to the scientific domain in which Entropy is employed and the characteristics that we aim to study. In addition, the framework of the estimation of Entropy from samples is presented. In the 2nd Chapter the basic definitions and the properties of Entropy are provided along with the fundamental theoretic notions. In the 3rd Chapter, non-parametric estimators of Entropy are presented and in the 4th Chapter, parametric estimators of Entropy are defined. The comparison of parametric and non-parametric estimators is discussed in the 5th Chapter. Moreover, we conclude that the Shrinkage estimator is the most reliable estimator for a sample size greater than 300. In the 6th Chapter we provide the most popular indices of dependence between two variables, where the Mutual Information and its relation to Entropy are defined. In addition, the properties and the applications of Mutual Information are demonstrated. Furthermore, we define the Asymmetric Mutual Information and its properties. Those indices are employed in Neuroscience, to infer Brain networks. The study of Brain Connectivity is analyzed in the 7th Chapter, along with an application of the three most interesting Entropy estimators, on functional brain networks. The contribution and the assessment of the Thesis, as well as the conclusions, and open questions for further research are discussed in the 8th Chapter.