Γραμμική παλινδρόμηση

Ερμηνεία

Ένα μοντέλο εφοδιασμένο με γραμμική παλινδρόμηση μπορεί να χρησιμοποιηθεί για τον προσδιορισμό της σχέσης μεταξύ μιας μόνο μεταβλητής πρόβλεψης xⱼ και μιας μεταβλητής απόκρισης  y  όταν όλες οι άλλες μεταβλητές πρόβλεψης στο μοντέλο "κρατούνται σταθερές". Συγκεκριμένα, η ερμηνεία του βⱼ είναι η αναμένεται αλλαγή στην  y  για αλλαγή μιας μονάδας στο xⱼ όταν οι άλλες συμμεταβλητές παραμένουν σταθερές, που είναι η αναμενόμενη τιμή της μερικής παραγώγου του  y  σε σχέση με xⱼ. Αυτό μερικές φορές ονομάζεται το  μοναδικό αποτέλεσμα  της xⱼ με θέμα  y . Σε αντίθεση, η  οριακή επίδραση  του xⱼ με θέμα  y  μπορεί να αξιολογηθεί χρησιμοποιώντας συντελεστή συσχέτισης ή απλή γραμμική παλινδρόμηση μοντέλων, αφορούν xⱼ τo y Αυτή η επίδραση είναι το συνολικό παράγωγο του  y  σε σχέση με την xⱼ.  Πρέπει να δοθεί προσοχή κατά την ερμηνεία των αποτελεσμάτων παλινδρόμησης, καθώς κάποιες από τις παλινδρομήσεις δεν μπορεί να επιτραπεί για οριακές αλλαγές (όπως ψευδομεταβλητές, ή ο όρος τομής), ενώ άλλες δεν μπορούν να θεωρηθούν σταθερές (ας θυμηθούμε το παράδειγμα από την εισαγωγή: θα ήταν αδύνατο σε "tᵢ σταθερό" και την ίδια στιγμή να μεταβάλει την τιμή της t<subκρ>i²).  Είναι πιθανό ότι το μοναδικό αποτέλεσμα μπορεί να είναι σχεδόν μηδέν, ακόμα και όταν το οριακό αποτέλεσμα είναι μεγάλο. Αυτό μπορεί να σημαίνει ότι κάποια άλλη συνμεταβλητή καταγράφει όλες τις πληροφορίες xⱼ, έτσι ώστε, όταν η μεταβλητή είναι στο μοντέλο, δεν υπάρχει καμία συμβολή των  Χ  ⱼ στη μεταβολή των ' 'y' '. Αντίθετα, η μοναδική επίδραση της xⱼ μπορεί να είναι μεγάλη, ενώ το οριακό αποτέλεσμα είναι σχεδόν μηδενική. Αυτό θα συνέβαινε αν οι άλλες συμμεταβλητές εξηγούν τη μεγάλη διακύμανση του  y , αλλά κυρίως εξηγούν παραλλαγή με έναν τρόπο που είναι συμπληρωματικό με αυτό που συλλαμβάνεται από xⱼ. Στην περίπτωση αυτή, συμπεριλαμβανομένων και των άλλων μεταβλητών το μοντέλο μειώνει το μέρος  διακύμανσης των  y  που δεν έχει σχέση με xⱼ, ενισχύοντας έτσι την προφανή σχέση με xⱼ.  Η έννοια της έκφρασης "κρατούμενη σταθερά" μπορεί να εξαρτάται από το πώς προκύπτουν οι τιμές των μεταβλητών πρόβλεψης. Εάν ο πειραματιστής καθορίζει άμεσα τις τιμές των μεταβλητών πρόβλεψης σύμφωνα με μια σχεδίαση μελέτης,όπου οι συγκρίσεις του ενδιαφέροντος μπορεί κυριολεκτικά να αντιστοιχούν σε συγκρίσεις μεταξύ των οποίων οι μονάδες πρόβλεψης μεταβλητών έχουν "κρατούμενη σταθερά" από τον πειραματιστή. Εναλλακτικά, η έκφραση "κρατούμενη σταθερά" μπορεί να αναφέρεται σε μια επιλογή που πραγματοποιείται στο πλαίσιο της ανάλυσης δεδομένων. Σε αυτή την περίπτωση, θα «κρατήσουμε μεταβλητή σταθερά" περιορίζοντας την προσοχή μας στα υποσύνολα των δεδομένων που τυχαίνει να έχουν μια κοινή τιμή για τη συγκεκριμένη μεταβλητή πρόβλεψης. Αυτή είναι η μόνη ερμηνεία της "κρατούμενης σταθεράς" που μπορεί να χρησιμοποιηθεί σε μια μελέτη παρατήρησης.  Η έννοια του «μοναδικού φαινομένου" είναι ελκυστική όταν μελετά ένα πολύπλοκο σύστημα όπου πολλαπλά αλληλένδετα συστατικά επηρεάζουν τη μεταβλητή απόκρισης. Σε ορισμένες περιπτώσεις, μπορεί κυριολεκτικά να ερμηνευθεί ως η αιτιώδης επίδραση μιας παρέμβασης που συνδέεται με την τιμή μιας μεταβλητής πρόβλεψης. Ωστόσο, έχει υποστηριχθεί ότι σε πολλές περιπτώσεις η ανάλυση πολλαπλής παλινδρόμησης δεν αποσαφηνίζει τις σχέσεις μεταξύ των μεταβλητών πρόβλεψης και της μεταβλητής απόκρισης όταν οι προγνωστικοί παράγοντες συσχετίζονται μεταξύ τους και δεν έχουν εκχωρηθεί μετά από ένα σχέδιο μελέτης. Μια ανάλυση των κοινών χαρακτηριστικών μπορεί να είναι χρήσιμη για την απεμπλοκή των κοινών και μοναδικών επιπτώσεων των συσχετισμένων ανεξάρτητων μεταβλητών . Πέρα από την πολλαπλή παλινδρόμηση: Χρησιμοποιώντας την ανάλυση των κοινών χαρακτηριστικών κατανοούνται καλύτερα τα αποτελέσματα.  ==Επεκτάσεις== Πολυάριθμες επεκτάσεις γραμμικής παλινδρόμησης έχουν αναπτυχθεί, οι οποίες επιτρέπουν ορισμένες ή όλες από τις υποθέσεις να στηρίζονται στο βασικό μοντέλο για να χαλαρώσουν.

Απλή και πολλαπλή παλινδρόμηση

Η πολύ απλούστερη περίπτωση μίας ενιαίας βαθμωτής (μαθηματικά) | βαθμωτής μεταβλητής πρόβλεψης  Χ  και μιας ενιαίας μεταβλητής απάντησης  y  είναι γνωστή ως  απλή γραμμική παλινδρόμηση . Η επέκταση σε πολλαπλές και / ή Ευκλείδειος φορέας | διάνυσμα - αποτιμώνται μεταβλητές πρόβλεψης (συμβολίζεται με κεφάλαιο  Χ ) είναι γνωστή ως  πολλαπλά γραμμικής παλινδρόμησης , γνωστό και ως  πολυμεταβλητή γραμμικής παλινδρόμησης » ». Σχεδόν όλα τα μοντέλα παλινδρόμησης του πραγματικού κόσμου περιλαμβάνουν πολλαπλούς προγνωστικούς παράγοντες, και οι βασικές περιγραφές της γραμμικής παλινδρόμησης συχνά διατυπώνονται όσον αφορά το μοντέλο πολλαπλής παλινδρόμησης. Σημειώστε, ωστόσο, ότι σε αυτές τις περιπτώσεις η μεταβλητή απόκρισης 'y' είναι ακόμα μια βαθμωτή. Ένας άλλος όρος  πολυμεταβλητή γραμμική παλινδρόμηση  αναφέρεται σε περιπτώσεις κατά τις οποίες ο  y  είναι ένας φορέας, δηλαδή, το ίδιο με τη  γενική γραμμική παλινδρόμηση . Η διαφορά μεταξύ  πολυπαραγοντικής  γραμμικής παλινδρόμησης και  πολυμεταβλητής  γραμμικής παλινδρόμησης θα πρέπει να τονιστεί καθώς προκαλεί μεγάλη σύγχυση και παρεξήγηση στη βιβλιογραφία.

Γενικά γραμμικά μοντέλα

Ως γενικό γραμμικό μοντέλο θεωρείται η κατάσταση όταν η μεταβλητή απόκρισης  Υ  δεν είναι ένα βαθμωτό αλλά ένα διάνυσμα. Υπό όρους η γραμμικότητα της  Ε  ( y  |  Χ ) & nbsp? = & Nbsp?  Bx  εξακολουθεί να θεωρείται, με ένα διάνυσμα  Β  που αντικαθιστά τον φορέα  β  του κλασικού μοντέλου γραμμικής παλινδρόμησης. Οι Multivariate ανάλογα των OLS και GLS έχουν αναπτυχθεί. Ο όρος «γενικά γραμμικά μοντέλα" είναι ισοδύναμος με "πολυμεταβλητά γραμμικά μοντέλα". Θα πρέπει να σημειωθεί η διαφορά των "πολλών μεταβλητών γραμμικών μοντέλων» και «πολυπαραγοντικών γραμμικά μοντέλων" εφόσον η πρώτη είναι η ίδια όπως τα  "γενικά γραμμικά μοντέλα» και η δεύτερη είναι η ίδια όπως τα "πολλαπλά γραμμικά μοντέλα."

Μοντέλα ετεροσκεδαστικά

Διάφορα μοντέλα έχουν δημιουργηθεί που επιτρέπουν την ετεροσκεδαστικότητα, δηλαδή τα σφάλματα για διαφορετικές μεταβλητές απόκρισης μπορεί να έχουν διαφορετικές διακυμάνσεις s. Για παράδειγμα, σταθμισμένων ελαχίστων τετραγώνων είναι μια μέθοδος για την εκτίμηση γραμμικών μοντέλων παλινδρόμησης, όταν οι μεταβλητές απόκρισης μπορεί να έχουν διαφορετικές διακυμάνσεις σφαλμάτων, πιθανόν με συσχετισμένα σφάλματα. Ετεροσκεδαστικότητα είναι μια βελτιωμένη μέθοδος για χρήση με ασυσχέτιστες αλλά δυνητικά ετεροσκεδαστικά λάθη.

Γενικευμένα γραμμικά μοντέλα

Γενικευμένο γραμμικό μοντέλο s (GLMS) είναι ένα πλαίσιο για την μοντελοποίηση μεταβλητών αντίδρασης  y  που οριοθετούνται διακριτικά. Αυτό χρησιμοποιείται, για παράδειγμα: * Όταν στη μοντελοποίηση θετικών ποσοτήτων (π.χ. τιμές ή πληθυσμοί) που ποικίλλουν κατά τη διάρκεια μιας μεγάλης κλίμακας, τα οποία περιγράφονται καλύτερα χρησιμοποιώντας ασύμμετρη κατανομή, όπως η log-κανονική κατανομή ή κατανομή Poisson (αν και η GLMS δεν χρησιμοποιούνται για log-normal δεδομένων, αντί της μεταβλητής απόκρισης απλά μετασχηματίζεται χρησιμοποιώντας τη συνάρτηση λογάριθμου)? * Όταν το πρότυπο κατηγορικό δεδομένο, όπως η επιλογή ενός υποψηφίου σε μία εκλογή (η οποία περιγράφεται καλύτερα χρησιμοποιώντας Bernoulli διανομή / διωνυμική κατανομή για τις δυαδικές επιλογές, ή κατηγορηματικής διανομής / πολυωνυμική κατανομή για multi-way επιλογές), όπου υπάρχει σταθερός αριθμός των επιλογών που δεν μπορούν λογικά να παραγγείλει? * Όταν το πρότυπο τακτικών δεδομένων, π.χ. αξιολογήσεις σε μια κλίμακα 0-5, όπου τα διαφορετικά αποτελέσματα μπορούν να παραγγελθούν, αλλά όταν η ίδια η ποσότητα δεν μπορεί να έχει οποιαδήποτε απόλυτη έννοια (π.χ. η βαθμολογία 4 δεν μπορεί να είναι «δύο φορές τόσο καλή" σε οποιαδήποτε αντικειμενική έννοια, ως βαθμολογία 2 , αλλά απλώς δείχνει ότι είναι καλύτερη από 2 ή 3, αλλά όχι τόσο καλή όσο 5). Γενικευμένα γραμμικά μοντέλα επιτρέπουν για μια αυθαίρετη  λειτουργία συνδέσμου   G  που σχετίζεται με τη σημασία της μεταβλητής απόκρισης στους προγνωστικούς παράγοντες, δηλαδή  Ε  ( y ') =' ' ζ  ( β   'x' '). Η λειτουργία σύνδεσης συχνά σχετίζεται με τη διανομή της απόκρισης, και ιδίως έχει συνήθως ως αποτέλεσμα τη μετατροπή μεταξύ του  φάσματος της γραμμικής προγνωστικά και το εύρος των μεταβλητών απόκρισης.  Μερικά συνηθισμένα παραδείγματα GLMS είναι: * Παλινδρόμηση Poisson για τα δεδομένα καταμέτρησης. * Λογιστική παλινδρόμηση και probit παλινδρόμηση για δυαδικά δεδομένα. * Πολυωνυμική λογιστική παλινδρόμηση και multinomial probit παλινδρόμηση για κατηγορικά δεδομένα. * Διάταξη probit παλινδρόμησης για τακτικά δεδομένα.  === Ιεραρχικά γραμμικά μοντέλα  === Ιεραρχικά γραμμικά μοντέλα (ή η  πολυεπίπεδη παλινδρόμηση ) οργανώνουν τα δεδομένα σε μια ιεραρχία παλινδρομήσεων, για παράδειγμα, όπου  Α   υποχωρεί στο  Β , και το  Β  έχει εξασθενήσει με θέμα  C . Συχνά χρησιμοποιείται όταν τα δεδομένα έχουν μια φυσική ιεραρχική δομή, όπως στην εκπαιδευτική στατιστική, όπου οι μαθητές είναι ένθετα μέσα στην τάξη, οι τάξεις ένθετα στα σχολεία και τα σχολεία ένθετα σε κάποια διοικητική ομάδα, όπως μια σχολική περιφέρεια. Η μεταβλητή απάντηση θα μπορούσε να είναι ένα μέτρο των επιδόσεων των μαθητών, όπως ένα σκορ δοκιμασία, και διάφορες συμεταβλητές θα εισπραχθούν στα επίπεδα τάξη, το σχολείο, και την περιοχή του σχολείου.  === Λάθη σε μεταβλητές === Λάθη σε μεταβλητό μοντέλο s (ή "μέτρηση μοντέλου σφάλματος») επεκτείνει το παραδοσιακό μοντέλο γραμμικής παλινδρόμησης για να επιτρέψει στις μεταβλητές πρόβλεψης  Χ  που πρέπει να τηρούνται με σφάλμα. Αυτό το σφάλμα προκαλεί πρότυπο εκτίμησης του  β  για να γίνει μεροληπτικό. Γενικά, η μορφή του είναι μια προκατάληψη εξασθένησης, που σημαίνει ότι οι επιπτώσεις ωθούν προς το μηδέν.

Περαιτέρω συζήτηση

Στη στατιστική και την  αριθμητική ανάλυση, το πρόβλημα των αριθμητικών μεθόδων για γραμμικές ελαχίστων τετραγώνων είναι σημαντικό επειδή τα γραμμικά μοντέλα παλινδρόμησης είναι ένας από τους πιο σημαντικούς τύπους μοντέλου, τόσο ως επίσημο στατιστικό μοντέλο s και για την εξερεύνηση των συνολικών δεδομένων. Η πλειοψηφία των στατιστικών πακέτων υπολογιστή
κατηγορηματικά αποτιμώνται προγνωστικοί παράγοντες σε μια ξεχωριστή μεταβλητή δείκτη προγνωστικός δείκτης για κάθε πιθανή κατηγορία, η οποία εισάγει αναπόφευκτα πολυσυγγραμμικότητα. Πέρα από αυτές τις υποθέσεις, αρκετές άλλες στατιστικές ιδιότητες των δεδομένων επηρεάζει σημαντικά την απόδοση των διαφορετικών μεθόδων εκτίμησης: * Η στατιστική σχέση μεταξύ των όρων σφάλματος και τις ερμηνευτικές μεταβλητές παίζει σημαντικό ρόλο στον καθορισμό του κατά πόσον η διαδικασία εκτίμησης έχει επιθυμητές ιδιότητες δειγματοληψίας, όπως είναι αμερόληπτοι και συνεπείς. * Η ρύθμιση ή κατανομής πιθανότητας του «x» »έχει μια σημαντική επιρροή των μεταβλητών πρόβλεψης σχετικά με την ακρίβεια των εκτιμήσεων των  β . Δειγματοληψία και σχεδιασμός των πειραμάτων ειναι τα ανεπτυγμένα υποπεδία των στατιστικών στοιχείων που παρέχουν καθοδήγηση για τη συλλογή δεδομένων με τέτοιο τρόπο για να επιτευχθεί μια ακριβής εκτίμηση της  β .

Ερμηνεία

Ένα μοντέλο εφοδιασμένο με γραμμική παλινδρόμηση μπορεί να χρησιμοποιηθεί για τον προσδιορισμό της σχέσης μεταξύ μιας μόνο μεταβλητής πρόβλεψης xⱼ και μιας μεταβλητής απόκρισης  y  όταν όλες οι άλλες μεταβλητές πρόβλεψης στο μοντέλο "κρατούνται σταθερές". Συγκεκριμένα, η ερμηνεία του βⱼ είναι η αναμένεται αλλαγή στην  y  για αλλαγή μιας μονάδας στο xⱼ όταν οι άλλες συμμεταβλητές παραμένουν σταθερές, που είναι η αναμενόμενη τιμή της μερικής παραγώγου του  y  σε σχέση με xⱼ. Αυτό μερικές φορές ονομάζεται το  μοναδικό αποτέλεσμα  της xⱼ με θέμα  y . Σε αντίθεση, η  οριακή επίδραση  του xⱼ με θέμα  y  μπορεί να αξιολογηθεί χρησιμοποιώντας συντελεστή συσχέτισης ή απλή γραμμική παλινδρόμηση μοντέλων, αφορούν xⱼ τo y Αυτή η επίδραση είναι το συνολικό παράγωγο του  y  σε σχέση με την xⱼ.  Πρέπει να δοθεί προσοχή κατά την ερμηνεία των αποτελεσμάτων παλινδρόμησης, καθώς κάποιες από τις παλινδρομήσεις δεν μπορεί να επιτραπεί για οριακές αλλαγές (όπως ψευδομεταβλητές, ή ο όρος τομής), ενώ άλλες δεν μπορούν να θεωρηθούν σταθερές (ας θυμηθούμε το παράδειγμα από την εισαγωγή: θα ήταν αδύνατο σε "tᵢ σταθερό" και την ίδια στιγμή να μεταβάλει την τιμή της t<subκρ>i²).  Είναι πιθανό ότι το μοναδικό αποτέλεσμα μπορεί να είναι σχεδόν μηδέν, ακόμα και όταν το οριακό αποτέλεσμα είναι μεγάλο. Αυτό μπορεί να σημαίνει ότι κάποια άλλη συνμεταβλητή καταγράφει όλες τις πληροφορίες xⱼ, έτσι ώστε, όταν η μεταβλητή είναι στο μοντέλο, δεν υπάρχει καμία συμβολή των  Χ  ⱼ στη μεταβολή των ' 'y' '. Αντίθετα, η μοναδική επίδραση της xⱼ μπορεί να είναι μεγάλη, ενώ το οριακό αποτέλεσμα είναι σχεδόν μηδενική. Αυτό θα συνέβαινε αν οι άλλες συμμεταβλητές εξηγούν τη μεγάλη διακύμανση του  y , αλλά κυρίως εξηγούν παραλλαγή με έναν τρόπο που είναι συμπληρωματικό με αυτό που συλλαμβάνεται από xⱼ. Στην περίπτωση αυτή, συμπεριλαμβανομένων και των άλλων μεταβλητών το μοντέλο μειώνει το μέρος  διακύμανσης των  y  που δεν έχει σχέση με xⱼ, ενισχύοντας έτσι την προφανή σχέση με xⱼ.  Η έννοια της έκφρασης "κρατούμενη σταθερά" μπορεί να εξαρτάται από το πώς προκύπτουν οι τιμές των μεταβλητών πρόβλεψης. Εάν ο πειραματιστής καθορίζει άμεσα τις τιμές των μεταβλητών πρόβλεψης σύμφωνα με μια σχεδίαση μελέτης,όπου οι συγκρίσεις του ενδιαφέροντος μπορεί κυριολεκτικά να αντιστοιχούν σε συγκρίσεις μεταξύ των οποίων οι μονάδες πρόβλεψης μεταβλητών έχουν "κρατούμενη σταθερά" από τον πειραματιστή. Εναλλακτικά, η έκφραση "κρατούμενη σταθερά" μπορεί να αναφέρεται σε μια επιλογή που πραγματοποιείται στο πλαίσιο της ανάλυσης δεδομένων. Σε αυτή την περίπτωση, θα «κρατήσουμε μεταβλητή σταθερά" περιορίζοντας την προσοχή μας στα υποσύνολα των δεδομένων που τυχαίνει να έχουν μια κοινή τιμή για τη συγκεκριμένη μεταβλητή πρόβλεψης. Αυτή είναι η μόνη ερμηνεία της "κρατούμενης σταθεράς" που μπορεί να χρησιμοποιηθεί σε μια μελέτη παρατήρησης.  Η έννοια του «μοναδικού φαινομένου" είναι ελκυστική όταν μελετά ένα πολύπλοκο σύστημα όπου πολλαπλά αλληλένδετα συστατικά επηρεάζουν τη μεταβλητή απόκρισης. Σε ορισμένες περιπτώσεις, μπορεί κυριολεκτικά να ερμηνευθεί ως η αιτιώδης επίδραση μιας παρέμβασης που συνδέεται με την τιμή μιας μεταβλητής πρόβλεψης. Ωστόσο, έχει υποστηριχθεί ότι σε πολλές περιπτώσεις η ανάλυση πολλαπλής παλινδρόμησης δεν αποσαφηνίζει τις σχέσεις μεταξύ των μεταβλητών πρόβλεψης και της μεταβλητής απόκρισης όταν οι προγνωστικοί παράγοντες συσχετίζονται μεταξύ τους και δεν έχουν εκχωρηθεί μετά από ένα σχέδιο μελέτης. Μια ανάλυση των κοινών χαρακτηριστικών μπορεί να είναι χρήσιμη για την απεμπλοκή των κοινών και μοναδικών επιπτώσεων των συσχετισμένων ανεξάρτητων μεταβλητών . Πέρα από την πολλαπλή παλινδρόμηση: Χρησιμοποιώντας την ανάλυση των κοινών χαρακτηριστικών κατανοούνται καλύτερα τα αποτελέσματα.  ==Επεκτάσεις== Πολυάριθμες επεκτάσεις γραμμικής παλινδρόμησης έχουν αναπτυχθεί, οι οποίες επιτρέπουν ορισμένες ή όλες από τις υποθέσεις να στηρίζονται στο βασικό μοντέλο για να χαλαρώσουν.

Απλή και πολλαπλή παλινδρόμηση

Η πολύ απλούστερη περίπτωση μίας ενιαίας βαθμωτής (μαθηματικά) | βαθμωτής μεταβλητής πρόβλεψης  Χ  και μιας ενιαίας μεταβλητής απάντησης  y  είναι γνωστή ως  απλή γραμμική παλινδρόμηση . Η επέκταση σε πολλαπλές και / ή Ευκλείδειος φορέας | διάνυσμα - αποτιμώνται μεταβλητές πρόβλεψης (συμβολίζεται με κεφάλαιο  Χ ) είναι γνωστή ως  πολλαπλά γραμμικής παλινδρόμησης , γνωστό και ως  πολυμεταβλητή γραμμικής παλινδρόμησης » ». Σχεδόν όλα τα μοντέλα παλινδρόμησης του πραγματικού κόσμου περιλαμβάνουν πολλαπλούς προγνωστικούς παράγοντες, και οι βασικές περιγραφές της γραμμικής παλινδρόμησης συχνά διατυπώνονται όσον αφορά το μοντέλο πολλαπλής παλινδρόμησης. Σημειώστε, ωστόσο, ότι σε αυτές τις περιπτώσεις η μεταβλητή απόκρισης 'y' είναι ακόμα μια βαθμωτή. Ένας άλλος όρος  πολυμεταβλητή γραμμική παλινδρόμηση  αναφέρεται σε περιπτώσεις κατά τις οποίες ο  y  είναι ένας φορέας, δηλαδή, το ίδιο με τη  γενική γραμμική παλινδρόμηση . Η διαφορά μεταξύ  πολυπαραγοντικής  γραμμικής παλινδρόμησης και  πολυμεταβλητής  γραμμικής παλινδρόμησης θα πρέπει να τονιστεί καθώς προκαλεί μεγάλη σύγχυση και παρεξήγηση στη βιβλιογραφία.

Γενικά γραμμικά μοντέλα

Ως γενικό γραμμικό μοντέλο θεωρείται η κατάσταση όταν η μεταβλητή απόκρισης  Υ  δεν είναι ένα βαθμωτό αλλά ένα διάνυσμα. Υπό όρους η γραμμικότητα της  Ε  ( y  |  Χ ) & nbsp? = & Nbsp?  Bx  εξακολουθεί να θεωρείται, με ένα διάνυσμα  Β  που αντικαθιστά τον φορέα  β  του κλασικού μοντέλου γραμμικής παλινδρόμησης. Οι Multivariate ανάλογα των OLS και GLS έχουν αναπτυχθεί. Ο όρος «γενικά γραμμικά μοντέλα" είναι ισοδύναμος με "πολυμεταβλητά γραμμικά μοντέλα". Θα πρέπει να σημειωθεί η διαφορά των "πολλών μεταβλητών γραμμικών μοντέλων» και «πολυπαραγοντικών γραμμικά μοντέλων" εφόσον η πρώτη είναι η ίδια όπως τα  "γενικά γραμμικά μοντέλα» και η δεύτερη είναι η ίδια όπως τα "πολλαπλά γραμμικά μοντέλα."

Μοντέλα ετεροσκεδαστικά

Διάφορα μοντέλα έχουν δημιουργηθεί που επιτρέπουν την ετεροσκεδαστικότητα, δηλαδή τα σφάλματα για διαφορετικές μεταβλητές απόκρισης μπορεί να έχουν διαφορετικές διακυμάνσεις s. Για παράδειγμα, σταθμισμένων ελαχίστων τετραγώνων είναι μια μέθοδος για την εκτίμηση γραμμικών μοντέλων παλινδρόμησης, όταν οι μεταβλητές απόκρισης μπορεί να έχουν διαφορετικές διακυμάνσεις σφαλμάτων, πιθανόν με συσχετισμένα σφάλματα. Ετεροσκεδαστικότητα είναι μια βελτιωμένη μέθοδος για χρήση με ασυσχέτιστες αλλά δυνητικά ετεροσκεδαστικά λάθη.

Γενικευμένα γραμμικά μοντέλα

Γενικευμένο γραμμικό μοντέλο s (GLMS) είναι ένα πλαίσιο για την μοντελοποίηση μεταβλητών αντίδρασης  y  που οριοθετούνται διακριτικά. Αυτό χρησιμοποιείται, για παράδειγμα: * Όταν στη μοντελοποίηση θετικών ποσοτήτων (π.χ. τιμές ή πληθυσμοί) που ποικίλλουν κατά τη διάρκεια μιας μεγάλης κλίμακας, τα οποία περιγράφονται καλύτερα χρησιμοποιώντας ασύμμετρη κατανομή, όπως η log-κανονική κατανομή ή κατανομή Poisson (αν και η GLMS δεν χρησιμοποιούνται για log-normal δεδομένων, αντί της μεταβλητής απόκρισης απλά μετασχηματίζεται χρησιμοποιώντας τη συνάρτηση λογάριθμου)? * Όταν το πρότυπο κατηγορικό δεδομένο, όπως η επιλογή ενός υποψηφίου σε μία εκλογή (η οποία περιγράφεται καλύτερα χρησιμοποιώντας Bernoulli διανομή / διωνυμική κατανομή για τις δυαδικές επιλογές, ή κατηγορηματικής διανομής / πολυωνυμική κατανομή για multi-way επιλογές), όπου υπάρχει σταθερός αριθμός των επιλογών που δεν μπορούν λογικά να παραγγείλει? * Όταν το πρότυπο τακτικών δεδομένων, π.χ. αξιολογήσεις σε μια κλίμακα 0-5, όπου τα διαφορετικά αποτελέσματα μπορούν να παραγγελθούν, αλλά όταν η ίδια η ποσότητα δεν μπορεί να έχει οποιαδήποτε απόλυτη έννοια (π.χ. η βαθμολογία 4 δεν μπορεί να είναι «δύο φορές τόσο καλή" σε οποιαδήποτε αντικειμενική έννοια, ως βαθμολογία 2 , αλλά απλώς δείχνει ότι είναι καλύτερη από 2 ή 3, αλλά όχι τόσο καλή όσο 5). Γενικευμένα γραμμικά μοντέλα επιτρέπουν για μια αυθαίρετη  λειτουργία συνδέσμου   G  που σχετίζεται με τη σημασία της μεταβλητής απόκρισης στους προγνωστικούς παράγοντες, δηλαδή  Ε  ( y ') =' ' ζ  ( β   'x' '). Η λειτουργία σύνδεσης συχνά σχετίζεται με τη διανομή της απόκρισης, και ιδίως έχει συνήθως ως αποτέλεσμα τη μετατροπή μεταξύ του  φάσματος της γραμμικής προγνωστικά και το εύρος των μεταβλητών απόκρισης.  Μερικά συνηθισμένα παραδείγματα GLMS είναι: * Παλινδρόμηση Poisson για τα δεδομένα καταμέτρησης. * Λογιστική παλινδρόμηση και probit παλινδρόμηση για δυαδικά δεδομένα. * Πολυωνυμική λογιστική παλινδρόμηση και multinomial probit παλινδρόμηση για κατηγορικά δεδομένα. * Διάταξη probit παλινδρόμησης για τακτικά δεδομένα.  === Ιεραρχικά γραμμικά μοντέλα  === Ιεραρχικά γραμμικά μοντέλα (ή η  πολυεπίπεδη παλινδρόμηση ) οργανώνουν τα δεδομένα σε μια ιεραρχία παλινδρομήσεων, για παράδειγμα, όπου  Α   υποχωρεί στο  Β , και το  Β  έχει εξασθενήσει με θέμα  C . Συχνά χρησιμοποιείται όταν τα δεδομένα έχουν μια φυσική ιεραρχική δομή, όπως στην εκπαιδευτική στατιστική, όπου οι μαθητές είναι ένθετα μέσα στην τάξη, οι τάξεις ένθετα στα σχολεία και τα σχολεία ένθετα σε κάποια διοικητική ομάδα, όπως μια σχολική περιφέρεια. Η μεταβλητή απάντηση θα μπορούσε να είναι ένα μέτρο των επιδόσεων των μαθητών, όπως ένα σκορ δοκιμασία, και διάφορες συμεταβλητές θα εισπραχθούν στα επίπεδα τάξη, το σχολείο, και την περιοχή του σχολείου.

Λάθη σε μεταβλητές

Λάθη σε μεταβλητό μοντέλο s (ή "μέτρηση μοντέλου σφάλματος») επεκτείνει το παραδοσιακό μοντέλο γραμμικής παλινδρόμησης για να επιτρέψει στις μεταβλητές πρόβλεψης  Χ  που πρέπει να τηρούνται με σφάλμα. Αυτό το σφάλμα προκαλεί πρότυπο εκτίμησης του  β  για να γίνει μεροληπτικό. Γενικά, η μορφή του είναι μια προκατάληψη εξασθένησης, που σημαίνει ότι οι επιπτώσεις ωθούν προς το μηδέν.  === Άλλα === * Στην θεωρία Dempster-Shafer, ή στη γραμμική συνάρτηση ειδικότερα, ένα μοντέλο γραμμικής παλινδρόμησης μπορεί να αντιπροσωπεύεται ως εν μέρει έναν πίνακα, το οποίο μπορεί να συνδυαστεί με παρόμοιους πίνακες που αντιπροσωπεύουν τις παρατηρήσεις και άλλες θεωρίες όπου έχουν κανονική κατανομή και καταστατικές εξισώσεις. Ο συνδυασμός τους σαρώνεται και με μια εναλλακτική μέθοδο για την εκτίμηση γραμμικών μοντέλων παλινδρόμησης.  == Μέθοδοι εκτίμησης == Ένας μεγάλος αριθμός διαδικασιών έχουν αναπτυχθεί για την παράμετρο εκτίμηση και το συμπέρασμα σε γραμμική παλινδρόμηση. Αυτές οι μέθοδοι διαφέρουν σε υπολογιστική απλότητα των αλγορίθμων, παρουσία ενός διαλύματος κλειστής μορφής, ευρωστία σε σχέση με τις κατανομές, και τις θεωρητικές υποθέσεις που απαιτούνται για την επικύρωση επιθυμητών στατιστικών ιδιοτήτων όπως η συνεπής εκτίμηση | συνοχή και η ασυμπτωτική αποδοτικότητα (στατιστική) | αποτελεσματικότητα.  Μερικές από τις πιο κοινές τεχνικές εκτίμησης για γραμμική παλινδρόμηση συνοψίζονται παρακάτω.

Περαιτέρω συζήτηση

Στη στατιστική και την  αριθμητική ανάλυση, το πρόβλημα των αριθμητικών μεθόδων για γραμμικές ελαχίστων τετραγώνων είναι σημαντικό επειδή τα γραμμικά μοντέλα παλινδρόμησης είναι ένας από τους πιο σημαντικούς τύπους μοντέλου, τόσο ως επίσημο στατιστικό μοντέλο s και για την εξερεύνηση των συνολικών δεδομένων. Η πλειοψηφία των στατιστικών πακέτων υπολογιστή]] have the same linear regression line but are themselves very different.|κατηγορικά δεδομένα ]][[Image:Anscombe's quartet 3.svg|right|425px|thumb|[[κατηγορικά δεδομένα | κατηγορηματικά αποτιμώνται] ] προγνωστικοί παράγοντες σε μια ξεχωριστή μεταβλητή δείκτη προγνωστικός δείκτης για κάθε πιθανή κατηγορία, η οποία εισάγει αναπόφευκτα πολυσυγγραμμικότητα. Πέρα από αυτές τις υποθέσεις, αρκετές άλλες στατιστικές ιδιότητες των δεδομένων επηρεάζει σημαντικά την απόδοση των διαφορετικών μεθόδων εκτίμησης: * Η στατιστική σχέση μεταξύ των όρων σφάλματος και τις ερμηνευτικές μεταβλητές παίζει σημαντικό ρόλο στον καθορισμό του κατά πόσον η διαδικασία εκτίμησης έχει επιθυμητές ιδιότητες δειγματοληψίας, όπως είναι αμερόληπτοι και συνεπείς. * Η ρύθμιση ή κατανομής πιθανότητας του «x» »έχει μια σημαντική επιρροή των μεταβλητών πρόβλεψης σχετικά με την ακρίβεια των εκτιμήσεων των  β . Δειγματοληψία και σχεδιασμός των πειραμάτων ειναι τα ανεπτυγμένα υποπεδία των στατιστικών στοιχείων που παρέχουν καθοδήγηση για τη συλλογή δεδομένων με τέτοιο τρόπο για να επιτευχθεί μια ακριβής εκτίμηση της  β .

Ερμηνεία

Ένα μοντέλο εφοδιασμένο με γραμμική παλινδρόμηση μπορεί να χρησιμοποιηθεί για τον προσδιορισμό της σχέσης μεταξύ μιας μόνο μεταβλητής πρόβλεψης xⱼ και μιας μεταβλητής απόκρισης  y  όταν όλες οι άλλες μεταβλητές πρόβλεψης στο μοντέλο "κρατούνται σταθερές". Συγκεκριμένα, η ερμηνεία του βⱼ είναι η αναμένεται αλλαγή στην  y  για αλλαγή μιας μονάδας στο xⱼ όταν οι άλλες συμμεταβλητές παραμένουν σταθερές, που είναι η αναμενόμενη τιμή της μερικής παραγώγου του  y  σε σχέση με xⱼ. Αυτό μερικές φορές ονομάζεται το  μοναδικό αποτέλεσμα  της xⱼ με θέμα  y . Σε αντίθεση, η  οριακή επίδραση  του xⱼ με θέμα  y  μπορεί να αξιολογηθεί χρησιμοποιώντας συντελεστή συσχέτισης ή απλή γραμμική παλινδρόμηση μοντέλων, αφορούν xⱼ τo y Αυτή η επίδραση είναι το συνολικό παράγωγο του  y  σε σχέση με την xⱼ.  Πρέπει να δοθεί προσοχή κατά την ερμηνεία των αποτελεσμάτων παλινδρόμησης, καθώς κάποιες από τις παλινδρομήσεις δεν μπορεί να επιτραπεί για οριακές αλλαγές (όπως ψευδομεταβλητές, ή ο όρος τομής), ενώ άλλες δεν μπορούν να θεωρηθούν σταθερές (ας θυμηθούμε το παράδειγμα από την εισαγωγή: θα ήταν αδύνατο σε "tᵢ σταθερό" και την ίδια στιγμή να μεταβάλει την τιμή της t<subκρ>i²).  Είναι πιθανό ότι το μοναδικό αποτέλεσμα μπορεί να είναι σχεδόν μηδέν, ακόμα και όταν το οριακό αποτέλεσμα είναι μεγάλο. Αυτό μπορεί να σημαίνει ότι κάποια άλλη συνμεταβλητή καταγράφει όλες τις πληροφορίες xⱼ, έτσι ώστε, όταν η μεταβλητή είναι στο μοντέλο, δεν υπάρχει καμία συμβολή των  Χ  ⱼ στη μεταβολή των ' 'y' '. Αντίθετα, η μοναδική επίδραση της xⱼ μπορεί να είναι μεγάλη, ενώ το οριακό αποτέλεσμα είναι σχεδόν μηδενική. Αυτό θα συνέβαινε αν οι άλλες συμμεταβλητές εξηγούν τη μεγάλη διακύμανση του  y , αλλά κυρίως εξηγούν παραλλαγή με έναν τρόπο που είναι συμπληρωματικό με αυτό που συλλαμβάνεται από xⱼ. Στην περίπτωση αυτή, συμπεριλαμβανομένων και των άλλων μεταβλητών το μοντέλο μειώνει το μέρος  διακύμανσης των  y  που δεν έχει σχέση με xⱼ, ενισχύοντας έτσι την προφανή σχέση με xⱼ.  Η έννοια της έκφρασης "κρατούμενη σταθερά" μπορεί να εξαρτάται από το πώς προκύπτουν οι τιμές των μεταβλητών πρόβλεψης. Εάν ο πειραματιστής καθορίζει άμεσα τις τιμές των μεταβλητών πρόβλεψης σύμφωνα με μια σχεδίαση μελέτης,όπου οι συγκρίσεις του ενδιαφέροντος μπορεί κυριολεκτικά να αντιστοιχούν σε συγκρίσεις μεταξύ των οποίων οι μονάδες πρόβλεψης μεταβλητών έχουν "κρατούμενη σταθερά" από τον πειραματιστή. Εναλλακτικά, η έκφραση "κρατούμενη σταθερά" μπορεί να αναφέρεται σε μια επιλογή που πραγματοποιείται στο πλαίσιο της ανάλυσης δεδομένων. Σε αυτή την περίπτωση, θα «κρατήσουμε μεταβλητή σταθερά" περιορίζοντας την προσοχή μας στα υποσύνολα των δεδομένων που τυχαίνει να έχουν μια κοινή τιμή για τη συγκεκριμένη μεταβλητή πρόβλεψης. Αυτή είναι η μόνη ερμηνεία της "κρατούμενης σταθεράς" που μπορεί να χρησιμοποιηθεί σε μια μελέτη παρατήρησης.  Η έννοια του «μοναδικού φαινομένου" είναι ελκυστική όταν μελετά ένα πολύπλοκο σύστημα όπου πολλαπλά αλληλένδετα συστατικά επηρεάζουν τη μεταβλητή απόκρισης. Σε ορισμένες περιπτώσεις, μπορεί κυριολεκτικά να ερμηνευθεί ως η αιτιώδης επίδραση μιας παρέμβασης που συνδέεται με την τιμή μιας μεταβλητής πρόβλεψης. Ωστόσο, έχει υποστηριχθεί ότι σε πολλές περιπτώσεις η ανάλυση πολλαπλής παλινδρόμησης δεν αποσαφηνίζει τις σχέσεις μεταξύ των μεταβλητών πρόβλεψης και της μεταβλητής απόκρισης όταν οι προγνωστικοί παράγοντες συσχετίζονται μεταξύ τους και δεν έχουν εκχωρηθεί μετά από ένα σχέδιο μελέτης. Μια ανάλυση των κοινών χαρακτηριστικών μπορεί να είναι χρήσιμη για την απεμπλοκή των κοινών και μοναδικών επιπτώσεων των συσχετισμένων ανεξάρτητων μεταβλητών . Πέρα από την πολλαπλή παλινδρόμηση: Χρησιμοποιώντας την ανάλυση των κοινών χαρακτηριστικών κατανοούνται καλύτερα τα αποτελέσματα.  ==Επεκτάσεις== Πολυάριθμες επεκτάσεις γραμμικής παλινδρόμησης έχουν αναπτυχθεί, οι οποίες επιτρέπουν ορισμένες ή όλες από τις υποθέσεις να στηρίζονται στο βασικό μοντέλο για να χαλαρώσουν.

Απλή και πολλαπλή παλινδρόμηση

Η πολύ απλούστερη περίπτωση μίας ενιαίας βαθμωτής (μαθηματικά) | βαθμωτής μεταβλητής πρόβλεψης  Χ  και μιας ενιαίας μεταβλητής απάντησης  y  είναι γνωστή ως  απλή γραμμική παλινδρόμηση . Η επέκταση σε πολλαπλές και / ή Ευκλείδειος φορέας | διάνυσμα - αποτιμώνται μεταβλητές πρόβλεψης (συμβολίζεται με κεφάλαιο  Χ ) είναι γνωστή ως  πολλαπλά γραμμικής παλινδρόμησης , γνωστό και ως  πολυμεταβλητή γραμμικής παλινδρόμησης » ». Σχεδόν όλα τα μοντέλα παλινδρόμησης του πραγματικού κόσμου περιλαμβάνουν πολλαπλούς προγνωστικούς παράγοντες, και οι βασικές περιγραφές της γραμμικής παλινδρόμησης συχνά διατυπώνονται όσον αφορά το μοντέλο πολλαπλής παλινδρόμησης. Σημειώστε, ωστόσο, ότι σε αυτές τις περιπτώσεις η μεταβλητή απόκρισης 'y' είναι ακόμα μια βαθμωτή. Ένας άλλος όρος  πολυμεταβλητή γραμμική παλινδρόμηση  αναφέρεται σε περιπτώσεις κατά τις οποίες ο  y  είναι ένας φορέας, δηλαδή, το ίδιο με τη  γενική γραμμική παλινδρόμηση . Η διαφορά μεταξύ  πολυπαραγοντικής  γραμμικής παλινδρόμησης και  πολυμεταβλητής  γραμμικής παλινδρόμησης θα πρέπει να τονιστεί καθώς προκαλεί μεγάλη σύγχυση και παρεξήγηση στη βιβλιογραφία.

Γενικά γραμμικά μοντέλα

Ως γενικό γραμμικό μοντέλο θεωρείται η κατάσταση όταν η μεταβλητή απόκρισης  Υ  δεν είναι ένα βαθμωτό αλλά ένα διάνυσμα. Υπό όρους η γραμμικότητα της  Ε  ( y  |  Χ ) & nbsp? = & Nbsp?  Bx  εξακολουθεί να θεωρείται, με ένα διάνυσμα  Β  που αντικαθιστά τον φορέα  β  του κλασικού μοντέλου γραμμικής παλινδρόμησης. Οι Multivariate ανάλογα των OLS και GLS έχουν αναπτυχθεί. Ο όρος «γενικά γραμμικά μοντέλα" είναι ισοδύναμος με "πολυμεταβλητά γραμμικά μοντέλα". Θα πρέπει να σημειωθεί η διαφορά των "πολλών μεταβλητών γραμμικών μοντέλων» και «πολυπαραγοντικών γραμμικά μοντέλων" εφόσον η πρώτη είναι η ίδια όπως τα  "γενικά γραμμικά μοντέλα» και η δεύτερη είναι η ίδια όπως τα "πολλαπλά γραμμικά μοντέλα."

Μοντέλα ετεροσκεδαστικά

Διάφορα μοντέλα έχουν δημιουργηθεί που επιτρέπουν την ετεροσκεδαστικότητα, δηλαδή τα σφάλματα για διαφορετικές μεταβλητές απόκρισης μπορεί να έχουν διαφορετικές διακυμάνσεις s. Για παράδειγμα, σταθμισμένων ελαχίστων τετραγώνων είναι μια μέθοδος για την εκτίμηση γραμμικών μοντέλων παλινδρόμησης, όταν οι μεταβλητές απόκρισης μπορεί να έχουν διαφορετικές διακυμάνσεις σφαλμάτων, πιθανόν με συσχετισμένα σφάλματα. Ετεροσκεδαστικότητα είναι μια βελτιωμένη μέθοδος για χρήση με ασυσχέτιστες αλλά δυνητικά ετεροσκεδαστικά λάθη.

Ιεραρχικά γραμμικά μοντέλα

Ιεραρχικά γραμμικά μοντέλα (ή η  πολυεπίπεδη παλινδρόμηση ) οργανώνουν τα δεδομένα σε μια ιεραρχία παλινδρομήσεων, για παράδειγμα, όπου  Α   υποχωρεί στο  Β , και το  Β  έχει εξασθενήσει με θέμα  C . Συχνά χρησιμοποιείται όταν τα δεδομένα έχουν μια φυσική ιεραρχική δομή, όπως στην εκπαιδευτική στατιστική, όπου οι μαθητές είναι ένθετα μέσα στην τάξη, οι τάξεις ένθετα στα σχολεία και τα σχολεία ένθετα σε κάποια διοικητική ομάδα, όπως μια σχολική περιφέρεια. Η μεταβλητή απάντηση θα μπορούσε να είναι ένα μέτρο των επιδόσεων των μαθητών, όπως ένα σκορ δοκιμασία, και διάφορες συμεταβλητές θα εισπραχθούν στα επίπεδα τάξη, το σχολείο, και την περιοχή του σχολείου.

Λάθη σε μεταβλητές

Λάθη σε μεταβλητό μοντέλο s (ή "μέτρηση μοντέλου σφάλματος») επεκτείνει το παραδοσιακό μοντέλο γραμμικής παλινδρόμησης για να επιτρέψει στις μεταβλητές πρόβλεψης  Χ  που πρέπει να τηρούνται με σφάλμα. Αυτό το σφάλμα προκαλεί πρότυπο εκτίμησης του  β  για να γίνει μεροληπτικό. Γενικά, η μορφή του είναι μια προκατάληψη εξασθένησης, που σημαίνει ότι οι επιπτώσεις ωθούν προς το μηδέν.  === Άλλα === * Στην θεωρία Dempster-Shafer, ή στη γραμμική συνάρτηση ειδικότερα, ένα μοντέλο γραμμικής παλινδρόμησης μπορεί να αντιπροσωπεύεται ως εν μέρει έναν πίνακα, το οποίο μπορεί να συνδυαστεί με παρόμοιους πίνακες που αντιπροσωπεύουν τις παρατηρήσεις και άλλες θεωρίες όπου έχουν κανονική κατανομή και καταστατικές εξισώσεις. Ο συνδυασμός τους σαρώνεται και με μια εναλλακτική μέθοδο για την εκτίμηση γραμμικών μοντέλων παλινδρόμησης.

Μέθοδοι εκτίμησης

Ένας μεγάλος αριθμός διαδικασιών έχουν αναπτυχθεί για την παράμετρο εκτίμηση και το συμπέρασμα σε γραμμική παλινδρόμηση. Αυτές οι μέθοδοι διαφέρουν σε υπολογιστική απλότητα των αλγορίθμων, παρουσία ενός διαλύματος κλειστής μορφής, ευρωστία σε σχέση με τις κατανομές, και τις θεωρητικές υποθέσεις που απαιτούνται για την επικύρωση επιθυμητών στατιστικών ιδιοτήτων όπως η συνεπής εκτίμηση | συνοχή και η ασυμπτωτική αποδοτικότητα (στατιστική) | αποτελεσματικότητα.  Μερικές από τις πιο κοινές τεχνικές εκτίμησης για γραμμική παλινδρόμηση συνοψίζονται παρακάτω.

Εφαρμογές γραμμικής παλινδρόμησης

Η γραμμική παλινδρόμηση χρησιμοποιείται ευρέως σε βιολογικές, συμπεριφορικές και κοινωνικές επιστήμες για να περιγράψει πιθανές σχέσεις μεταξύ των μεταβλητών. Κατατάσσεται ως ένα από τα πιο σημαντικά εργαλεία που χρησιμοποιούνται σε αυτούς τους κλάδους.

Γραμμή τάσης

Η  'γραμμή τάση'  αποτελεί μια τάση, η μακροπρόθεσμη κίνηση στις χρονοσειρές έχουν δεδομένα μετά τα άλλα συστατικά που έχουν λογιστικοποιηθεί. Είναι λέει αν ένα συγκεκριμένο σύνολο δεδομένων (δηλαδή το ΑΕΠ, οι τιμές του πετρελαίου ή οι τιμές των μετοχών) έχουν αυξηθεί ή να μειωθεί κατά την πάροδο του χρόνου. Θα μπορούσε απλά να γίνει γραμμή τάσης από το μάτι μέσα από μια σειρά σημείων δεδομένων, αλλά πιο σωστά η θέση και η κλίση τους υπολογίζεται χρησιμοποιώντας στατιστικές τεχνικές όπως η γραμμική παλινδρόμηση. Γραμμές τάσης είναι τυπικά ευθείες γραμμές, αν και ορισμένες παραλλαγές χρησιμοποιούν πλυώνυμα υψηλότερου βαθμού, ανάλογα με το βαθμό της επιθυμητής καμπυλότητας στη γραμμή.
Οι γραμμές τάσης χρησιμοποιούνται μερικές φορές σε επιχειρησιακές αναλύσεις για να δείξει τις αλλαγές στα δεδομένα με την πάροδο του χρόνου. Αυτό έχει το πλεονέκτημα ότι είναι απλή. Οι γραμμές τάσης χρησιμοποιούνται συχνά για να υποστηρίξει ότι μια συγκεκριμένη δράση ή εκδήλωση (όπως η κατάρτιση, ή μια διαφημιστική καμπάνια) προκάλεσε αλλαγές που παρατηρήθηκαν σε μια δεδομένη χρονική στιγμή. Αυτή είναι μια απλή τεχνική, και δεν απαιτεί μία ομάδα ελέγχου, πειραματικό σχεδιασμό, ή μία εκλεπτυσμένη τεχνική ανάλυση. Ωστόσο, πάσχει από έλλειψη επιστημονικής εγκυρότητας σε περιπτώσεις όπου άλλες πιθανές αλλαγές μπορούν να επηρεάσουν τα δεδομένα.

Επιδημιολογία

Πρόωρα αποδεικτικά στοιχεία που συσχετίζουν το κάπνισμα με τη θνησιμότητα και νοσηρότητα προήλθε από μελέτες παρατήρησης με την ανάλυση παλινδρόμησης. Προκειμένου να μειωθεί η πλαστή συσχέτιση s κατά την ανάλυση παρατηρησιακών δεδομένων, οι ερευνητές συνήθως περιλαμβάνουν αρκετές μεταβλητές στα μοντέλα παλινδρόμησης τους, εκτός από τη μεταβλητή του πρωταρχικού ενδιαφέροντος. Για παράδειγμα, ας υποθέσουμε ότι έχουμε ένα μοντέλο παλινδρόμησης στο οποίο το κάπνισμα είναι η ανεξάρτητη μεταβλητή που μας ενδιαφέρει, και η εξαρτημένη μεταβλητή είναι η διάρκεια ζωής που μετριέται σε χρόνια. Οι ερευνητές θα μπορούσαν να περιλαμβάνουν κοινωνικο-οικονομική κατάσταση ως μία επιπλέον ανεξάρτητη μεταβλητή, για να διασφαλιστεί ότι οποιαδήποτε παρατηρούμενη επίδραση του καπνίσματος στην διάρκεια ζωής δεν οφείλεται σε κάποια επίδραση της εκπαίδευσης ή εισοδήματος. Ωστόσο, δεν είναι ποτέ δυνατόν να περιλαμβάνουν όλες τις πιθανές συγχυτικές μεταβλητές σε μια εμπειρική ανάλυση. Για παράδειγμα, ένα υποθετικό γονίδιο μπορεί να αυξήσει τη θνησιμότητα και επίσης να προκαλέσει τους ανθρώπους να καπνίζουν περισσότερο. Για το λόγο αυτό, η τυχαιοποιημένη μελέτη s είναι συχνά σε θέση να παράγει πιο πειστικές αποδείξεις της αιτιώδεις σχέσεις από ό,τι μπορεί να επιτευχθεί με την ανάληση παλινδρόμησης των παρατηρησιακών δεδομένων. Όταν ελεγχόμενα πειράματα, δεν είναι εφικτά, οι παραλλαγές της ανάλυσης παλινδρόμησης, όπως οι βοηθητικές μεταβλητές παλινδρόμησης μπορεί να χρησιμοποιηθούν για να προσπαθήσει να εκτιμήσει τις αιτιώδεις σχέσεις από παρατηρησιακά δεδομένα.

Οικονομία

Το υπόδειγμα αποτίμησης περιουσιακών στοιχείων χρησιμοποιεί γραμμική παλινδρόμηση, καθώς και την έννοια της βήτα για την ανάλυση και ποσοτικοποίηση του συστηματικού κινδύνου μιας επένδυσης. Αυτό προέρχεται απευθείας από το συντελεστή βήτα του μοντέλου γραμμικής παλινδρόμησης που συσχετίζει την απόδοση της επένδυσης για την απόδοση όλων των περιουσιακών στοιχείων υψηλού κινδύνου.

Οικονομικά

Γραμμική παλινδρόμηση είναι το κυρίαρχο εμπειρικό εργαλείο στα οικονομικά. Για παράδειγμα, χρησιμοποιείται για να προβλέψεικαταναλωτικές δαπάνες, πάγια επενδύσεων δαπανών, επενδύσεις απογραφών, τις αγορές των εξαγωγών μιας χώρας, τις δαπάνες για των εισαγωγών , τη ζήτηση σε ρευστά στοιχεία ενεργητικού, ζήτηση εργασίας και προσφορά εργασίας.

Περιβαλλοντική Επιστήμη

Η γραμμική παλινδρόμηση βρίσκει εφαρμογή σε ένα ευρύ φάσμα εφαρμογών της περιβαλλοντικής επιστήμης. Στον Καναδά, οι περιβαλλοντικές επιπτώσεις σε πρόγραμμα παρακολούθησης χρησιμοποιεί στατιστικές αναλύσεις στα ψάρια και τις βενθική ζώνη | βενθικές έρευνες για τη μέτρηση των επιπτώσεων της μονάδας χαρτοπολτού ή μέταλλο ορυχείο λυμάτων σε υδάτινο οικοσύστημα.