Παλινδρόμηση (στατιστική)

Η παλινδρόμηση είναι μια ευρέως χρησιμοποιούμενη στατιστική τεχνική μοντελοποίησης για την έρευνα της συσχέτισης μεταξύ μίας εξαρτώμενης μεταβλητής και μιας ή περισσότερων ανεξάρτητων μεταβλητών . Χρησιμοποιείται με σκοπό την εκχώρηση δεδομένων σε μία πραγματική μεταβλητή πρόβλεψης, όπως ισχύει και στην περίπτωση της κατηγοριοποίησης όταν είναι διακριτή, αλλιώς καλείται παλινδρόμηση αν η μεταβλητή είναι συνεχής.Η παλινδρόμηση προϋποθέτει ότι τα σχετικά δεδομένα ταιριάζουν με μερικά γνωστά είδη συνάρτησης και μετά καθορίζει την καλύτερη συνάρτηση αυτού του είδους που μοντελοποιεί τα δεδομένα που έχουν δοθεί. Αποτέλεσμα της παλινδρόμησης όταν χρησιμοποιείται ως τεχνική εξόρυξης δεδομένων, αποτελεί ένα μοντέλο που χρησιμοποιείται αργότερα για να προβλέψει τις τιμές της κατηγορίας για τα νέα δεδομένα. Τέτοια παραδείγματα εφαρμογής της παλινδρόμησης αποτελεί η πρόβλεψη της ζήτησης για ένα νέο προϊόν ή υπηρεσία συναρτήσει των δαπανών διαφήμισης ή ο υπολογισμός της ταχύτητας του ανέμου σε σχέση με την θερμοκρασία, την υγρασία και την ατμοσφαιρική πίεση του περιβάλλοντος.

Ιστορία

Η στατιστική εμφανίστηκε, με την μορφή που την γνωρίζουμε σήμερα, τον 17ο αιώνα. Κατά την εξέλιξή της ανά τους αιώνες προέκυψαν διάφορες χρήσεις της λέξης "στατιστικής". Πολλοί ταυτίζουν τον όρο στατιστική με την καταγραφή δεδομένων διοίκησης που καταλήγουν σε μη αμφισβητήσιμους αριθμούς για την καλύτερη δυνατή εξαγωγή αποτελεσμάτων. Για άλλους είναι ένας κλάδος που διδάσκεται στο πανεπιστήμιο και χρησιμοποιείται σε άλλους επιστημονικούς κλάδους, όπως την ιατρική, την βιολογία, την οικονομία κ.ο.κ. Αυτό που αποτέλεσε κομβικό σημείο στην εξέλιξη της Στατιστικής, είναι η εισαγωγή, η εφαρμογή και η αξιοποίηση των εννοιών της μέσης τιμής, της διακύμανσης, της παλινδρόμησης και της συσχέτισης. Ο Galton παρατηρεί ότι: «είναι δύσκολο να καταλάβει κανείς γιατί οι στατιστικοί απέκτησαν τη συνήθεια να περιορίζουν τις έρευνές τους στις μέσες τιμές και δεν ικανοποιούνται περισσότερο από μια ευρύτερη προοπτική. Φαίνεται να αγνοούν τα θέλγητρα της ποικιλίας».  δεν εμπιστευόταν τις μέσες τιμές και στα πλαίσια των ευγονικών του ενασχολήσεων ενδιαφερόταν για τις διαφορές μεταξύ των όντων, άρα και τις αποκλίσεις από τη μέση τιμή. Σε αντιδιαστολή με το νόμο της κανονικής κατανομής χρησιμοποιεί αυτό που ονομάζει «νόμο των παρεκκλίσεων από τη μέση τιμή».  Οι εργασίες του Galton καταλήγουν σε μια ανακάλυψη που καταστρέφει το σχήμα του Quetelet: μια κανονική κατανομή αντί να είναι ένδειξη ομοιογένειας, μπορεί να προκύπτει ως συνιστώσα πολλών διαφορετικών κατανομών που αντιστοιχούν σε επιμέρους πληθυσμούς με μέσες τιμές πολύ διαφορετικές μεταξύ τους. Έτσι, η μέση τιμή μιας κανονικής κατανομής γίνεται ένα κινούμενο κέντρο βάρους που εξαρτάται από τη σύνθεση των εσωτερικών δυνάμεων των κοινωνιών. Η διαπίστωση αυτή οδηγεί τον Galton στην ανακάλυψη της παλινδρόμησης.

Γραμμική παλινδρόμηση

Η παλινδρόμηση είναι μια τεχνική που χρησιμοποιείται για την μοντελοποίηση και την ανάλυση αριθμητικών δεδομένων, μιας εξαρτημένης μεταβλητής και κάποιων ανεξάρτητων μεταβλητών. Το μοντέλο είναι μια συνάρτηση συσχέτισης της εξαρτημένης μεταβλητής από τις ανεξάρτητες. Η μοντελοποίηση μπορεί να γίνει χωρίς να είναι γνωστή απο πριν η γνώση για τον τρόπο με τον οποίο συνδέεται η εξαρτημένη μεταβλητή από τις ανεξάρτητες και τότε ονομάζεται εμπειρική μοντελοποίηση.Στην γραμμική παλινδρόμηση, η απαίτηση του μοντέλου που θα παραχθεί είναι: η εξαρτημένη μεταβλητή  yi να είναι ένας γραμμικός συνδυασμός των ανεξαρτήτων μεταβλητών.

Γραμμικότητα

Η κατανομή της  έχει, για τα διάφορα επίπεδα   της ,  μέση τιμή  ή  όπου,  και  παράμετροι που εκτιμώνται από το δείγμα . Άρα,  υποθέτουμε ότι οι μέσες τιμές της ,  για τα διάφορα επίπεδα της Χ, είναι γραμμικές συναρτήσεις της Χ (ότι βρίσκονται δηλαδή σε ευθεία γραμμή). Σημειώνουμε ότι στο μοντέλο 
, τυχαίες μεταβλητές είναι μόνο οι  και  .

Ομοσκεδαστικότητα-Σταθερότητα Διασποράς

Οι κατανομές της   έχουν ίδια διασπορά για όλα τα επίπεδα της , δηλαδή, .

Ανεξαρτησία

Οι τιμές της Υ που αντιστοιχούν στα διάφορα επίπεδα της Χ είναι ανεξάρτητες μεταξύ τους. Εξαρτημένα Υ εμφανίζονται συνήθως όταν παίρνουμε παρατηρήσεις από την ίδια πειραματική μονάδα σε διαφορετικές χρονικές στιγμές  (π.χ.  μετράμε την πίεση ή το βάρος του ιδίου ατόμου ανά εβδομάδα). Επίσης, σε περιπτώσεις όπου χρησιμοποιούνται μηχανές  (π.χ. όργανα μέτρησης, κ.τλ) που αλλάζει η απόδοσή ανάλογα με τη χρήση αν ο χειριστής βελτιώνεται (ή χειροτερεύει) με την πάροδο του χρόνου.  Είναι επομένως αναγκαίο, όταν έχουμε πειραματικά δεδομένα που παίρνονται με χρονική σειρά, να κάνουμε ένα διάγραμμα υπολοίπων ως προς το χρόνο έστω και αν ο χρόνος δεν χρησιμοποιείται ως μεταβλητή στο μοντέλο .

Απλό Λογιστικό Μοντέλο

Το μοντέλο που χρησιμοποιούμε όταν η Yi είναι δίτιμη  είναι το λογιστικό, το οποίο ορίζεται ως εξής: 
 όπου : ανεξάρτητη τ.μ. Bernoulli και
 όπου