Διόρθωση μεροληψίας στην εκτίμηση της αμοιβαίας πληροφορίας και αντίστοιχων δικτύων συσχέτισης από πολυμεταβλητές χρονοσειρές
Creators: name: Παπαϊωάννου, Νικόλαος Κωνσταντίνου
Publisher: name: Aristotle University of Thessaloniki
Year: 2021
Subjects: Αμοιβαία πληροφορία
Μεροληψία
Πολυμεταβλητές χρονοσειρές
Mutual information
Bias
Multivariate time series

description: Κεντρικό αντικείμενο μελέτης αυτής της εργασίας αποτελεί η μεροληψία που παρατηρείται στην εκτίμηση της αμοιβαίας πληροφορίας. Πιο συγκεκριμένα, μελετάται η μεροληψία του εκτιμητή της αμοιβαίας πληροφορίας, ο οποίος πραγματοποιεί την εκτίμηση της κοινής κατανομής πιθανότητας με τη χρήση διαμερίσεων και προτείνεται μία διόρθωση αυτού. Αρχικά, παρατίθενται βασικά στοιχεία θεωρίας, όπως είναι η εντροπία, η αμοιβαία πληροφορία, ο μη παραμετρικός έλεγχος υποθέσεων και η σχέση μεταξύ της αμοιβαίας πληροφορίας και του συντελεστή Pearson, που αφορά μεταβλητές των οποίων η κοινή κατανομή ακολουθεί την κατανομή Γκάους. Στη συνέχεια αναπτύσσεται η μεθοδολογία που ακολουθείται, καθώς και ο τρόπος με τον οποίο προκύπτουν οι τιμές της διόρθωσης του αρχικού εκτιμητή. Πραγματοποιείται προσομοιωτική μελέτη σε διάφορα συστήματα, όπως γραμμικές στοχαστικές διαδικασίες και Coupled Hénon Maps, με σκοπό τη σύγκριση των δύο εκτιμητών και το πώς αυτοί λειτουργούν για διαφορετικά μήκη χρονοσειρών. Έπειτα, δημιουργούνται τρία δίκτυα με βάση το σύστημα των πολυμεταβλητών γραμμικών στοχαστικών διαδικασιών. Τα δύο από αυτά αφορούν τους εκτιμητές που μελετώνται, ενώ το τρίτο αφορά το δίκτυο που προκύπτει από τις θεωρητικές τιμές της αμοιβαίας πληροφορίας, οι οποίες για ορισμένα συστήματα είναι γνωστές. Επιπλέον, πραγματοποιείται έλεγχος και σύγκριση των δικτύων ως προς τα αποτελέσματα των κεντρικοτήτων που προέρχονται από αυτά. Επιπροσθέτως, πραγματοποιείται μελέτη περίπτωσης με δεδομένα που αφορούν το δείκτη MSCI της Morgan Stanley. Τα δεδομένα αφορούν τις τιμές των δεικτών 23 ανεπτυγμένων αγορών για χρονικό διάστημα 5 ετών. Τα δεδομένα χωρίζονται σε 5 διαφορετικά έτη (παράθυρα) ,δημιουργούνται εκ νέου δίκτυα μέσω των δύο εκτιμητών και συγκρίνονται τα αποτελέσματα. Τέλος, ακολουθούν τα συμπεράσματα και αναφέρονται ιδέες που θα μπορούσαν πιθανώς να συμβάλουν στη μείωση της μεροληψίας στην εκτίμηση της αμοιβαίας πληροφορίας, ή και της επέκτασης αυτών στη μεταφορική εντροπία.
description: The main topic of study of this work is the bias observed in the estimation of mutual information. More specifically, the bias of an estimator of mutual information is studied, which estimates the common probability distribution using partitions and a correction of it is proposed. First, basic elements of theory are presented, such as entropy, mutual information, non-parametric hypothesis test and the relationship between mutual information and Pearson’s correlation, which concerns variables whose common distribution follows the Gaussian distribution. The methodology followed is then developed, as well as the way in which values of the correction of the original estimator are derived. Next, a simulation study is performed in various systems such as linear stochastic processes and Coupled Hénon Maps, in order to compare the two estimators and how they work for different time series length. Also, three networks are created based on the system of multivariate linear stochastic processes. Two of them arrived from the two estimators under study, while the third concerns the network resulting from the theoretical values of mutual information, which are known for the specific system. In addition, the networks are checked and compared according to the results of the centralities that come from them. Additionally, a case study is carried out with data related to the MSCI index of Morgan Stanley. The data refer to the prices of the indices of 23 developed markets, for a time period of 5 years. The data are divided into 5 different years (windows), networks are created through the two estimators under study and the results are compared. Finally, the conclusions are presented and ideas are mentioned that could possibly help to reduce the bias of the assessment of mutual information, or even to their extension to transfer entropy.