Εκτίμηση τάξης αυτοπαλίνδρομων μοντέλων με δεσμευμένη αμοιβαία πληροφορία
Creators: name: Κανούλας, Ευάγγελος Δημητρίου
Publisher: name: Aristotle University of Thessaloniki
Year: 2015
Subjects: Εκτίμηση δεσμευμένης αμοιβαίας πληροφορίας
Αυτοπαλίνδρομα μοντέλα
Εκτίμηση κοντινότερων γειτόνων
Εκτίμηση με κελιά
Εκτίμηση με συναρτήσεις πυρήνων
Ελαχιστοποίηση της διάστασης
Estimation of conditional mutual information
Autoregressive models
Nearest neighbor estimate
Binning estimate
Kernel estimate
Dimensionality reduction

description: Στη μελέτη των χρονοσειρών είναι πολύ σημαντικός ο προσδιορισμός της τάξης τόσο των γραμμικών όσο και των μη-γραμμικών αυτοπαλίνδρομων μοντέλων. Στην παρούσα εργασία, ο προσδιορισμός αυτός προτείνεται να γίνει με τη δεσμευμένη αμοιβαία πληροφορία (conditional mutual information, CMI). Η CMI για μια τάξη (υστέρηση) m ορίζεται ως , δηλαδή ως η αμοιβαία πληροφορία μεταβλητών υστέρησης που απέχουν τ χρονικά βήματα, και δεν καλύπτεται από την πληροφορία που δίνεται από τις μεταβλητές στα ενδιάμεσα χρονικά βήματα. Συγκεκριμένα, προτείνεται να υπολογίζεται επαναληπτικά η CMI για αυξανόμενο τ, και να επιλέγεται η τάξη του μοντέλου από το μεγαλύτερο τ για το οποίο η CMI είναι στατιστικά σημαντική. Εξετάζεται η εκτίμηση της CMI με διάφορες μεθόδους, όπως με τη μέθοδο των κελιών, των πυρήνων και των κοντινότερων γειτόνων. Η στατιστική σημαντικότητα της εκτίμησης της CMI για κάποια τάξη τ εξετάζεται με κατάλληλο έλεγχο σημαντικότητας χρησιμοποιώντας τεχνικές επαναδειγματοληψίας, λόγω της έλλειψης γνωστής ασυμπτωτικής κατανομής για οποιονδήποτε από τους εξεταζόμενους εκτιμητές της CMI. Η σύγκριση των εκτιμητών της CMI στην εύρεση της σωστής τάξης γραμμικού και μη-γραμμικού αυτοπαλίνδρομου μοντέλου γίνεται με Monte Carlo προσομοιώσεις σε χρονοσειρές διαφορετικού μήκους από γραμμικές στοχαστικές διαδικασίες και μη-γραμμικά δυναμικά συστήματα. Τα αποτελέσματα δείχνουν ότι ο εκτιμητής των κοντινότερων γειτόνων είναι ο πιο ανθεκτικός στις αλλαγές των παραμέτρων που εξετάζονται. Τέλος, γίνεται εφαρμογή της προτεινόμενης μεθόδου εύρεσης της τάξης στη χρονοσειρά των ετήσιων ηλιακών κηλίδων.
description: In the study of time series it is very important to determine the order of both linear and non-linear autoregressive models. In this work, the determination is proposed to be done with Conditional Mutual Information (CMI). The CMI for an order (lag) τ is defined as , i.e. the mutual information of lag variables being τ time steps apart, accounting for the information given by the variables in the intermediate time steps. Specifically, it is proposed to calculate iteratively the CMI for increasing τ, and the order of the model is selected from the largest τ for which the CMI is statistically significant. Several methods are considered for CMI estimation such as binning, kernel and nearest neighbor estimation. The statistical significance of the CMI for an order m is tested by appropriate significance test using resampling techniques, due to the lack of known asymptotic distribution for the CMI for any of the considered estimators. The comparative study of CMI estimators in finding the correct class of linear and non-linear autoregressive models is based on Monte Carlo simulations on time series from linear stochastic processes and non-linear dynamical systems of different lengths. The results show that the nearest neighbor estimator is the most resistant to changes of the tested parameters. Finally, we apply the proposed method of finding the order in annual sunspot time series.