Μέθοδος ελαχίστων τετραγώνων

Στη στατιστική, η **μέθοδος ελαχίστων τετραγώνων** (**OLS**) είναι ένας τύπος γραμμικής μεθόδου ελαχίστων τετραγώνων για την επιλογή των άγνωστων παραμέτρων σε ένα μοντέλο γραμμικής παλινδρόμησης (με σταθερές επιδράσεις επιπέδου ένα μιας γραμμικής συνάρτησης ενός συνόλου επεξηγηματικών μεταβλητών) με βάση την αρχή των ελαχίστων τετραγώνων: ελαχιστοποίηση του αθροίσματος των τετραγώνων των διαφορών μεταξύ της παρατηρούμενης εξαρτημένης μεταβλητής (τιμές της παρατηρούμενης μεταβλητής) στο σύνολο δεδομένων εισόδου και της εξόδου της (γραμμικής) συνάρτησης της ανεξάρτητης μεταβλητής. Ορισμένες πηγές θεωρούν ότι η OLS είναι γραμμική παλινδρόμηση.

Γεωμετρικά, αυτό θεωρείται ως το άθροισμα των τετραγώνων των αποστάσεων, παράλληλων προς τον άξονα της εξαρτημένης μεταβλητής, μεταξύ κάθε σημείου δεδομένων στο σύνολο και του αντίστοιχου σημείου στην επιφάνεια παλινδρόμησης - όσο μικρότερες είναι οι διαφορές, τόσο καλύτερα προσαρμόζεται το μοντέλο στα δεδομένα. Ο εκτιμητής που προκύπτει μπορεί να εκφραστεί με έναν απλό τύπο, ιδίως στην περίπτωση μιας απλής γραμμικής παλινδρόμησης, στην οποία υπάρχει ένας μια παλινδρομούσα μεταβλητή στη δεξιά πλευρά της εξίσωσης παλινδρόμησης.

Ο εκτιμητής OLS είναι συνεπής για τις σταθερές επιδράσεις επιπέδου ένα όταν οι παλινδρομούσες μεταβλητές είναι εξωγενείς και σχηματίζουν τέλεια συνδιακύμανση (συνθήκη κατάταξης), συνεπής για την εκτίμηση της διακύμανσης των καταλοίπων όταν οι παλινδρομούσες μεταβλητές έχουν πεπερασμένες τέταρτες ροπές και -σύμφωνα με το θεώρημα Γκάους-Μάρκοφ- βέλτιστος στην κατηγορία των γραμμικών αμερόληπτων εκτιμητών όταν τα σφάλματα είναι ομοσκεδαστικά και σειριακά ασυσχέτιστα. Υπό αυτές τις συνθήκες, η μέθοδος OLS παρέχει εκτίμηση ελάχιστης διακύμανσης με μέση αμερόληπτη εκτίμηση όταν τα σφάλματα έχουν πεπερασμένες διακυμάνσεις. Υπό την πρόσθετη υπόθεση ότι τα σφάλματα κατανέμονται κανονικά με μηδενική μέση τιμή, η OLS είναι ο εκτιμητής μέγιστης πιθανοφάνειας που υπερτερεί έναντι οποιουδήποτε μη γραμμικού αμερόληπτου εκτιμητή.

## Γραμμικό πρότυπο
Κύριο άρθρο: γραμμική παλινδρόμηση

Ας υποθέσουμε ότι τα δεδομένα αποτελούνται από n παρατηρήσεις \left\{\mathbf{x}_i, y_i\right\}_{i=1}^n. Κάθε παρατήρηση i περιλαμβάνει μια κλιμακωτή απόκριση y_i και ένα διάνυσμα στήλης \mathbf{x}_i από p παραμέτρους (παλινδρομούσες μεταβλητές), δηλ, \mathbf{x}_i=\left[x_{i1}, x_{i2}, \dots, x_{ip}\right]^\operatorname{T}. Σε ένα μοντέλο γραμμικής παλινδρόμησης, η μεταβλητή απόκρισης, y_i, είναι μια γραμμική συνάρτηση από παλινδρομούσες μεταβλητές:

:y_i = \beta_1\ x_{i1} + \beta_2\ x_{i2} + \cdots + \beta_p\ x_{ip} + \varepsilon_i,

ή σε διανυσματική μορφή,:  y_i = \mathbf{x}_i^\operatorname{T} \boldsymbol{\beta} + \varepsilon_i, \, 
όπου \mathbf{x}_i, όπως εισήχθη προηγουμένως, είναι ένα διάνυσμα στήλης του i-th διάνυσμα άγνωστων παραμέτρων- και το βαθμωτό  \varepsilon_i αντιπροσωπεύει μη παρατηρούμενες τυχαίες μεταβλητές (σφάλματα) της i-th παρατήρησης. \varepsilon_i υπολογίζει τις επιδράσεις στις αποκρίσεις y_i από πηγές άλλες από τις επεξηγηματικές μεταβλητές \mathbf{x}_i. Αυτό το μοντέλο μπορεί επίσης να γραφεί σε συμβολισμό πινάκων ως εξής

:  \mathbf{y} = \mathbf{X} \boldsymbol{\beta} + \boldsymbol{\varepsilon}, \,  

όπου \mathbf{y} και \boldsymbol{\varepsilon} είναι n \times 1 διανύσματα των μεταβλητών απόκρισης και των σφαλμάτων των  n   παρατηρήσεων, και \mathbf{X} είναι ένας n \times p πίνακας από παλινδρομούσες μεταβλητές (regressors), που μερικές φορές ονομάζεται επίσης πίνακας σχεδιασμού, του οποίου η γραμμή i είναι \mathbf{x}_i^\operatorname{T} και περιέχει την i-th παρατήρηση για όλες τις επεξηγηματικές μεταβλητές. 

Συνήθως, ένας σταθερός όρος περιλαμβάνεται στο σύνολο των παλινδρομητών \mathbf{X}, π.χ., λαμβάνοντας x_{i1}=1 για όλα τα i=1, \dots, n. Ο συντελεστής \beta_1 που αντιστοιχεί σε αυτόν τον παλινδρομητή ονομάζεται *intercept*. Χωρίς την τομή, η προσαρμοσμένη γραμμή αναγκάζεται να διασχίσει την αρχή όταν x_i = \vec{0}.

Οι παλινδρομούσες μεταβλητές δεν είναι απαραίτητο να είναι ανεξάρτητες για να είναι συνεπής η εκτίμηση, π.χ. μπορεί να είναι μη γραμμικά εξαρτημένες. Ωστόσο, καθώς η πολυσυγγραμμικότητα αυξάνεται, το τυπικό σφάλμα γύρω από τις εκτιμήσεις αυτές αυξάνεται και μειώνει την ακρίβεια των εκτιμήσεων αυτών. Όταν υπάρχει τέλεια πολυσυγγραμμικότητα, δεν είναι πλέον δυνατόν να ληφθούν μοναδικές εκτιμήσεις για τους συντελεστές από τις σχετικές παλινδρομούσες μεταβλητές - η εκτίμηση για αυτές τις παραμέτρους δεν μπορεί να συγκλίνει (επομένως, δεν μπορεί να είναι συνεπής). 

Ως ένα συγκεκριμένο παράδειγμα όπου οι παλινδρομούσες μεταβλητές δεν εξαρτώνται γραμμικά, αλλά η εκτίμηση μπορεί να εξακολουθεί να είναι συνεπής, θα μπορούσαμε να υποπτευθούμε ότι η απόκριση εξαρτάται γραμμικά τόσο από μια τιμή όσο και από το τετράγωνό της- στην περίπτωση αυτή θα συμπεριλάβαμε μια παλινδρομούσα μεταβλητή της οποίας η τιμή είναι απλώς το τετράγωνο μιας άλλης παλινδρομικής μεταβλητής. Σε αυτή την περίπτωση, το μοντέλο θα ήταν *τετραγωνικό* στη δεύτερη παλινδρομούσα , αλλά παρ' όλα αυτά εξακολουθεί να θεωρείται *γραμμικό* μοντέλο, επειδή το μοντέλο *είναι* ακόμα γραμμικό στις παραμέτρους (\boldsymbol{\beta}).

### Διατύπωση πινάκων/διανυσμάτων

:\sum_{j=1}^{p} x_{ij} \beta_j = y_i,\ (i=1, 2, \dots, n),

των  n  γραμμικών εξισώσεων με p άγνωστους συντελεστές,  \beta_1, \beta_2, \dots, \beta_p , με  n > p . Αυτό μπορεί να γραφεί σε μορφή πίνακα ως εξής

όπου

:\mathbf{X} = \begin{bmatrix}
X_{11} & X_{12} & \cdots & X_{1p} \\
X_{21} & X_{22} & \cdots & X_{2p} \\
\vdots & \vdots & \ddots & \vdots \\
X_{n1} & X_{n2} & \cdots & X_{np}
\end{bmatrix} ,\qquad
\boldsymbol \beta = \begin{bmatrix}
\beta_1 \\ \beta_2 \\ \vdots \\ \beta_p
\end{bmatrix} ,\qquad
\mathbf y = \begin{bmatrix}
y_1 \\ y_2 \\ \vdots \\ y_n
\end{bmatrix}. 

(Σημείωση: για ένα γραμμικό μοντέλο όπως το παραπάνω, δεν περιέχουν όλα τα στοιχεία του  \mathbf{X}  πληροφορίες σχετικά με τα σημεία δεδομένων. Η πρώτη στήλη συμπληρώνεται με μονάδες, X_{i1} = 1. Μόνο οι άλλες στήλες περιέχουν πραγματικά δεδομένα. Έτσι εδώ το p είναι ίσο με τον αριθμό από τις παλινδρομούσες συν ένα).

Ένα τέτοιο σύστημα συνήθως δεν έχει ακριβή λύση, οπότε ο στόχος είναι να βρεθούν οι συντελεστές \boldsymbol{\beta} που ταιριάζουν στις εξισώσεις «καλύτερα», με την έννοια της επίλυσης του προβλήματος τετραγωνικής ελαχιστοποίησης.

:\hat{\boldsymbol{\beta}} = \underset{\boldsymbol{\beta}}{\operatorname{arg\,min}}\,S(\boldsymbol{\beta}), 

όπου η αντικειμενική συνάρτηση  S  δίνεται από τη σχέση

:S(\boldsymbol{\beta}) = \sum_{i=1}^n \left| y_i - \sum_{j=1}^p X_{ij}\beta_j\right|^2 = \left\|\mathbf y - \mathbf{X} \boldsymbol \beta \right\|^2.

Μια αιτιολόγηση για την επιλογή αυτού του κριτηρίου δίνεται στις Ιδιότητες παρακάτω. Αυτό το πρόβλημα ελαχιστοποίησης έχει μοναδική λύση, υπό την προϋπόθεση ότι οι στήλες p του πίνακα  \mathbf{X}  είναι γραμμικά ανεξάρτητες, που δίνεται από την επίλυση των λεγόμενων *κανονικών εξισώσεων*:

:\left( \mathbf{X}^{\operatorname{T}} \mathbf{X} \right)\hat{\boldsymbol{\beta}} = \mathbf{X}^{\operatorname{T}} \mathbf y\ .

Ο πίνακας \mathbf{X}^{\operatorname{T}} \mathbf{X} είναι γνωστός ως κανονικός πίνακας ή πίνακας Gram και ο πίνακας \mathbf{X}^{\operatorname{T}} \mathbf y είναι γνωστός ως πίνακας ροπής της παλινδρόμησης από τις παλινδρομούσες μεταβλητές. Τέλος, \hat{\boldsymbol{\beta}} είναι το διάνυσμα του συντελεστή του υπερεπιπέδου ελαχίστων τετραγώνων, που εκφράζεται ως εξής 

:\hat{\boldsymbol{\beta}} = \left( \mathbf{X}^{\operatorname{T}} \mathbf{X} \right)^{-1} \mathbf{X}^{\operatorname{T}} \mathbf y.

ή

:\hat{\boldsymbol{\beta}} = \boldsymbol{\beta} + \left(\mathbf{X}^\operatorname{T} \mathbf{X}\right)^{-1}\mathbf {X}^\operatorname{T} \boldsymbol{\varepsilon}.

## Εκτίμηση

Ας υποθέσουμε ότι το *b*είναι μια «υποψήφια» τιμή για το διάνυσμα παραμέτρων *β*. Η ποσότητα   η οποία καλείται υπόλειμμα για την *i*-th παρατήρηση, μετρά την κάθετη απόσταση μεταξύ του σημείου δεδομένων  και του υπερεπιπέδου  και συνεπώς αξιολογεί το βαθμό προσαρμογής μεταξύ των πραγματικών δεδομένων και του μοντέλου. Το άθροισμα των τετραγωνικών καταλοίπων (*SSR*) (που ονομάζεται επίσης άθροισμα τετραγώνων σφάλματος (*ESS*) ή άθροισμα τετραγώνων καταλοίπων (RSS)) είναι ένα μέτρο της συνολικής προσαρμογής του μοντέλου: 

: 
    S(b) = \sum_{i=1}^n (y_i - x_i ^\operatorname{T} b)^2 = (y-Xb)^\operatorname{T}(y-Xb),
  

όπου *Τ* δηλώνει τον ανάστροφο πίνακα και οι γραμμές του *Χ*, που δηλώνουν τις τιμές όλων των ανεξάρτητων μεταβλητών που συνδέονται με μια συγκεκριμένη τιμή της εξαρτημένης μεταβλητής, είναι *X<sub>i</sub> = x<sub>i</sub>*T. Η τιμή του β που ελαχιστοποιεί αυτό το άθροισμα ονομάζεται εκτιμητής **OLS για το β**. Η συνάρτηση *S*(*b*) είναι τετραγωνική ως προς το β με θετικά πεπερασμένη Εσσιανή, και επομένως η συνάρτηση αυτή διαθέτει ένα μοναδικό παγκόσμιο ελάχιστο στο b =\hat\beta το οποίο μπορεί να δοθεί από τον ρητό τύπο

: 
    \hat\beta = \operatorname{argmin}_{b\in\mathbb{R}^p} S(b) =  (X^\operatorname{T}X)^{-1}X^\operatorname{T}y\ .
  

Το γινόμενο *N* = *X*T *X* είναι ένας πίνακας Gram και ο αντίστροφός του, *Q* = *N*−1 είναι ο πίνακας των συμπαραγόντων του *β*,που σχετίζεται στενά με τον πίνακα συνδιακύμανσης, *C**β*. 
Ο πίνακας  (*X*T&nbsp;*X*)−1&nbsp;*X*T = *Q*&nbsp;*X*T ονομάζεται ψευδοαντίστροφος πίνακας Moore-Penrose του *X*. Αυτή η διατύπωση υπογραμμίζει το σημείο ότι η εκτίμηση μπορεί να πραγματοποιηθεί εάν, και μόνο εάν, δεν υπάρχει τέλεια πολυσυγγραμμικότητα μεταξύ των επεξηγηματικών μεταβλητών (η οποία θα προκαλούσε ο πίνακας Γκραμ να μην έχει αντίστροφο).

## Πρόβλεψη

Αφού έχουμε εκτιμήσει το *β*, οι *προσαρμοσμένες τιμές* (ή *προβλεπόμενες τιμές*) από την παλινδρόμηση θα είναι 

: 
    \hat{y} = X\hat\beta = Py,
  

όπου *P* = *X*(*X*T*X*)−1*X*T  είναι ο πίνακας προβολής στον χώρο *V* που καλύπτεται από τις στήλες του *X*. Αυτός ο πίνακας *P* ονομάζεται επίσης μερικές φορές πίνακας καπέλου επειδή «βάζει ένα καπέλο» στη μεταβλητή *y*. Ένας άλλος πίνακας, στενά συνδεδεμένος με τον *P* είναι ο πίνακας annihilator  αυτός είναι ένας πίνακας προβολής στον χώρο που είναι ορθογώνιος στον *V*. Και οι δύο πίνακες *P* και *M* είναι συμμετρικοί και ιδιοσυστατικοί (δηλαδή  και ) και σχετίζονται με τον πίνακα δεδομένων X μέσω των ταυτοτήτων  και . πίνακας M δημιουργεί τα κατάλοιπα της παλινδρόμησης:

: 
    \hat\varepsilon = y - \hat y = y - X\hat\beta = My = M(X\beta+\varepsilon) = (MX)\beta + M\varepsilon = M\varepsilon.
  

Οι αποκλίσεις των προβλεπόμενων τιμών s^2_{\hat{y}_i} βρίσκονται στην κύρια διαγώνιο της μήτρας διακύμανσης-συνδιακύμανσης των προβλεπόμενων τιμών:

: 
    C_\hat{y} = s^2 P,
  

όπου *P* είναι ο πίνακας προβολής και *s*2 είναι η δειγματική διακύμανση.
Ο πλήρης πίνακας είναι πολύ μεγάλος- τα διαγώνια στοιχεία του μπορούν να υπολογιστούν μεμονωμένα ως εξής:

: 
    s^2_{\hat{y}_i} = s^2 X_i (X^T X)^{-1} X_i^T,
  

όπου *X*i είναι η *i*-th γραμμή του πίνακα  *X*.

## Στατιστικά παραδείγματα

Χρησιμοποιώντας αυτά τα κατάλοιπα μπορούμε να εκτιμήσουμε τη δειγματική διακύμανση *s*2 χρησιμοποιώντας το στατιστικό *μειωμένο χι-τετράγωνο*:

: 
    s^2 = \frac{\hat\varepsilon ^\mathrm{T} \hat\varepsilon}{n-p} = \frac{(My)^\mathrm{T} My}{n-p} = \frac{y^\mathrm{T} M^\mathrm{T}My}{n-p}= \frac{y ^\mathrm{T} My}{n-p} = \frac{S(\hat\beta)}{n-p},\qquad
    \hat\sigma^2 = \frac{n-p}{n}\;s^2
  

Ο παρονομαστής,  *n*−*p* είναι οι στατιστικοί βαθμοί ελευθερίας. Η πρώτη ποσότητα, *s*2 είναι η εκτίμηση OLS για το *σ*2, ενώ η δεύτερη, \scriptstyle\hat\sigma^2 είναι η εκτίμηση MLE για το *σ*2. Οι δύο εκτιμητές είναι αρκετά παρόμοιοι σε μεγάλα δείγματα- ο πρώτος εκτιμητής είναι πάντα αμερόληπτος, ενώ ο δεύτερος εκτιμητής είναι μεροληπτικός αλλά έχει μικρότερο μέσο τετραγωνικό σφάλμα. Στην πράξη ο *s*2 χρησιμοποιείται συχνότερα, καθώς είναι πιο βολικός για τον έλεγχο υποθέσεων. Η τετραγωνική ρίζα του *s*2 ονομάζεται τυπικό σφάλμα παλινδρόμησης, τυπικό σφάλμα της παλινδρόμησης, ή τυπικό σφάλμα της εξίσωσης.

Είναι σύνηθες να αξιολογείται η καλή προσαρμογή της παλινδρόμησης OLS συγκρίνοντας πόσο μπορεί να μειωθεί η αρχική διακύμανση του δείγματος με την παλινδρόμηση στο *Χ*. Ο συντελεστής προσδιορισμού *R*2 ορίζεται ως ο λόγος της «εξηγούμενης» διακύμανσης προς τη «συνολική» διακύμανση της εξαρτημένης μεταβλητής y, στις περιπτώσεις όπου το άθροισμα των τετραγώνων της παλινδρόμησης ισούται με το άθροισμα των τετραγώνων των υπολοίπων:

: 
    R^2 = \frac{\sum(\hat y_i-\overline{y})^2}{\sum(y_i-\overline{y})^2} = \frac{y ^\mathrm{T} P ^\mathrm{T} LPy}{y ^\mathrm{T} Ly} = 1 - \frac{y ^\mathrm{T} My}{y ^\mathrm{T} Ly} = 1 - \frac{\rm RSS}{\rm TSS}
  

όπου TSS είναι το συνολικό άθροισμα τετραγώνων για την εξαρτημένη μεταβλητή, L=I_n-\frac{1}{n}J_n και J_n είναι ένας **n×n** πίνακας μονάδων. (L είναι ένας πίνακας κεντραρίσματος που ισοδυναμεί με παλινδρόμηση σε μια σταθερά- απλά αφαιρεί τον μέσο όρο από μια μεταβλητή). Προκειμένου το *R*2 να έχει νόημα, ο πίνακας *X* των δεδομένων για τις παλινδρομούσες μεταβλητές πρέπει να περιέχει ένα διάνυσμα στήλης από μονάδες για την αναπαράσταση της σταθεράς της οποίας ο συντελεστής είναι η τομή παλινδρόμησης. Σε αυτή την περίπτωση, το *R*2 θα είναι πάντα ένας αριθμός μεταξύ 0 και 1, με τιμές κοντά στο 1 που υποδηλώνουν καλό βαθμό προσαρμογής.

### Μοντέλο απλής γραμμικής παλινδρόμησης

Κύριο άρθρο: Απλή γραμμική παλινδρόμηση

Εάν ο πίνακας δεδομένων *X* περιέχει μόνο δύο μεταβλητές, μια σταθερά και έναν κλιμακωτό παλινδρομητή *x<sub>i</sub>* τότε αυτό ονομάζεται «απλό μοντέλο παλινδρόμησης». Αυτή η περίπτωση εξετάζεται συχνά στα μαθήματα στατιστικής για αρχάριους, καθώς παρέχει πολύ απλούστερους τύπους, κατάλληλους ακόμη και για χειροκίνητο υπολογισμό. Οι παράμετροι συμβολίζονται συνήθως ως :

: 
    y_i = \alpha + \beta x_i + \varepsilon_i.
  

Οι εκτιμήσεις των ελαχίστων τετραγώνων στην περίπτωση αυτή δίνονται από απλούς τύπους

: \begin{align}
    \widehat\beta &=  \frac{\sum_{i=1}^n{(x_i-\bar{x})(y_i-\bar{y})} }{ \sum_{i=1}^n{(x_i-\bar{x})^2}}
    \\[2pt]
    \widehat\alpha &= \bar{y} - \widehat\beta\,\bar{x}\ ,
  \end{align}

### Προβολή

Για τους μαθηματικούς, η OLS είναι μια προσεγγιστική λύση σε ένα υπερκαθορισμένο σύστημα γραμμικών εξισώσεων , όπου *β* είναι ο άγνωστος. Υποθέτοντας ότι το σύστημα δεν μπορεί να επιλυθεί ακριβώς (ο αριθμός των εξισώσεων *n* είναι πολύ μεγαλύτερος από τον αριθμό των αγνώστων *p*), αναζητούμε μια λύση που θα μπορούσε να παρέχει τη μικρότερη δυνατή απόκλιση μεταξύ της δεξιάς και της αριστερής πλευράς. Με άλλα λόγια, αναζητάμε τη λύση που ικανοποιεί

: 
    \hat\beta = {\rm arg}\min_\beta\,\lVert \mathbf{y} - \mathbf{X}\boldsymbol\beta \rVert,
  

όπου ‖·‖ είναι η τυπική νόρμα *L*2 στον *n*-διάστατο ευκλείδειο χώρο **R***n*. Η προβλεπόμενη ποσότητα  είναι απλώς ένας ορισμένος γραμμικός συνδυασμός διανυσμάτων από παλινδρομούσες μεταβλητές. Έτσι, το υπολειμματικό διάνυσμα  θα έχει το μικρότερο μήκος όταν το *y* προβάλλεται ορθογώνια στον γραμμικό υποχώρο που καλύπτεται από τις στήλες του X. Ο εκτιμητής OLS \hat\beta  σε αυτή την περίπτωση μπορεί να ερμηνευτεί ως οι συντελεστές της διανυσματικής αποσύνθεσης του ^y = Py κατά μήκος της βάσης του X.

Με άλλα λόγια, οι εξισώσεις κλίσης στο ελάχιστο μπορούν να γραφούν ως εξής: 

:(\mathbf y - \mathbf{X} \hat{\boldsymbol{\beta}})^{\top} \mathbf{X}=0.

Μια γεωμετρική ερμηνεία αυτών των εξισώσεων είναι ότι το διάνυσμα των υπολοίπων, \mathbf y - X \hat{\boldsymbol{\beta}} είναι ορθογώνιο στο χώρο των στηλών του *X*, αφού το εσωτερικό γινόμενο (\mathbf y- \mathbf{X}\hat{\boldsymbol{\beta}})\cdot \mathbf{X} \mathbf v είναι ίσο με μηδέν για κάθε σύμμορφο διάνυσμα, v. Αυτό σημαίνει ότι \mathbf y - \mathbf{X} \boldsymbol{\hat \beta} είναι το συντομότερο από όλα τα πιθανά διανύσματα \mathbf{y}- \mathbf{X} \boldsymbol \beta δηλαδή η διακύμανση των υπολοίπων είναι η ελάχιστη δυνατή. Αυτό απεικονίζεται στα δεξιά.

Εισάγοντας \hat{\boldsymbol{\gamma}} και έναν πίνακα *K* με την παραδοχή ότι ένας πίνακας [\mathbf{X} \ \ \mathbf{K}] είναι μη ιδιάζων και *K*T *X* = 0 (βλ. Ορθογώνιες προβολές), το διάνυσμα υπολοίπου θα πρέπει να ικανοποιεί την ακόλουθη εξίσωση:

:\hat{\mathbf{r}} := \mathbf{y} - \mathbf{X} \hat{\boldsymbol{\beta}} = \mathbf{K} \hat}.

Η εξίσωση και η λύση των γραμμικών ελαχίστων τετραγώνων περιγράφονται ως εξής:
:\begin{align}
  \mathbf{y} &= \begin{bmatrix}\mathbf{X} & \mathbf{K}\end{bmatrix} \begin{bmatrix} \hat{\boldsymbol{\beta}} \\ \hat{\boldsymbol{\gamma}} \end{bmatrix} , \\
  {}\Rightarrow \begin{bmatrix} \hat{\boldsymbol{\beta}} \\ \hat{\boldsymbol{\gamma}} \end{bmatrix} &= \begin{bmatrix}\mathbf{X} & \mathbf{K}\end{bmatrix}^{-1} \mathbf{y} = \begin{bmatrix} \left(\mathbf{X}^{\top} \mathbf{X}\right)^{-1} \mathbf{X}^{\top} \\ \left(\mathbf{K}^{\top} \mathbf{K}\right)^{-1} \mathbf{K}^\top \end{bmatrix} \mathbf{y} .
\end{align}

Ένας άλλος τρόπος να το δούμε είναι να θεωρήσουμε ότι η γραμμή παλινδρόμησης είναι ένας σταθμισμένος μέσος όρος των γραμμών που διέρχονται από το συνδυασμό δύο οποιωνδήποτε σημείων στο σύνολο δεδομένων.  Αν και αυτός ο τρόπος υπολογισμού είναι πιο δαπανηρός υπολογιστικά, παρέχει μια καλύτερη διαίσθηση για την OLS.

### Μέγιστη πιθανότητα

Ο εκτιμητής OLS είναι πανομοιότυπος με τον εκτιμητή μέγιστης πιθανοφάνειας (MLE) υπό την υπόθεση της κανονικότητας για τους όρους σφάλματος. Αυτή η υπόθεση κανονικότητας έχει ιστορική σημασία, καθώς αποτέλεσε τη βάση για τις πρώτες εργασίες στην ανάλυση γραμμικής παλινδρόμησης από τους Γιουλ και Πίρσον.  Από τις ιδιότητες της MLE, μπορούμε να συμπεράνουμε ότι ο εκτιμητής OLS είναι ασυμπτωτικά αποτελεσματικός (με την έννοια της επίτευξης του ορίου Κραμέρ-Ράο για τη διακύμανση) εάν ικανοποιείται η υπόθεση κανονικότητας.

### Γενικευμένη μέθοδος των ροπών

Στην περίπτωση iid ο εκτιμητής OLS μπορεί επίσης να θεωρηθεί ως εκτιμητής GMM που προκύπτει από τις συνθήκες ροπής 

: 
    \mathrm{E}\big[\, x_i\left(y_i - x_i ^\operatorname{T} \beta\right) \,\big] = 0.
  

Αυτές οι συνθήκες στιγμής δηλώνουν ότι οι παλινδρομούσες μεταβλητές πρέπει να είναι ασυσχέτιστες με τα σφάλματα. Δεδομένου ότι το *x<sub>i</sub>* είναι ένα p-διάνυσμα, ο αριθμός των συνθηκών στιγμής είναι ίσος με τη διάσταση του διανύσματος παραμέτρων *β*, και έτσι το σύστημα ταυτοποιείται επακριβώς. Αυτή είναι η λεγόμενη κλασική περίπτωση GMM, όταν ο εκτιμητής δεν εξαρτάται από την επιλογή του πίνακα στάθμισης.

Ας σημειωθεί ότι η αρχική υπόθεση αυστηρής εξωγένειας  συνεπάγεται ένα πολύ πιο πλούσιο σύνολο συνθηκών στιγμής από ό,τι αναφέρεται παραπάνω. Ειδικότερα, η υπόθεση αυτή συνεπάγεται ότι για οποιαδήποτε διανυσματική συνάρτηση , θα ισχύει η συνθήκη στιγμής . Ωστόσο, μπορεί να αποδειχθεί χρησιμοποιώντας το θεώρημα Γκάους-Μάρκοφ ότι η βέλτιστη επιλογή της συνάρτησης  είναι να ληφθεί  is to take , γεγονός που οδηγεί στην εξίσωση ροπής που αναρτήθηκε παραπάνω.

## Ιδιότητες
### Παραδοχές
Δείτε επίσης: Παραδοχές

Υπάρχουν πολλά διαφορετικά πλαίσια στα οποία μπορεί να ενταχθεί το μοντέλο γραμμικής παλινδρόμησης, ώστε να είναι εφαρμόσιμη η τεχνική OLS. Κάθε ένα από αυτά τα πλαίσια παράγει τους ίδιους τύπους και τα ίδια αποτελέσματα. Η μόνη διαφορά είναι η ερμηνεία και οι υποθέσεις που πρέπει να επιβληθούν προκειμένου η μέθοδος να δώσει ουσιαστικά αποτελέσματα. Η επιλογή του εφαρμοστέου πλαισίου εξαρτάται κυρίως από τη φύση των δεδομένων που έχουμε στη διάθεσή μας και από την εργασία εξαγωγής συμπερασμάτων που πρέπει να εκτελεστεί. 

Μία από τις γραμμές διαφοράς στην ερμηνεία είναι αν οι παλινδρομούσες μεταβλητές αντιμετωπίζονται ως τυχαίες μεταβλητές ή ως προκαθορισμένες σταθερές. Στην πρώτη περίπτωση (τυχαίος σχεδιασμός) οι παλινδρομούσες μεταβλητές *x<sub>i</sub>* είναι τυχαίες και λαμβάνονται μαζί με τις *y<sub>i</sub>*s από κάποιο πληθυσμό, όπως σε μια μελέτη παρατήρησης. Αυτή η προσέγγιση επιτρέπει την πιο φυσική μελέτη των ασυμπτωτικών ιδιοτήτων των εκτιμητών. Στην άλλη ερμηνεία (σταθερός σχεδιασμός), οι παλινδρομούσες μεταβλητές *X* αντιμετωπίζονται ως γνωστές σταθερές που καθορίζονται από έναν σχεδιασμό, και το *y* δειγματοληπτείται υπό προϋποθέσεις από τις τιμές του *X*, όπως σε ένα πείραμα. Για πρακτικούς σκοπούς, η διάκριση αυτή είναι συχνά ασήμαντη, δεδομένου ότι η εκτίμηση και η εξαγωγή συμπερασμάτων πραγματοποιείται ενώ εξαρτώνται από το *X*. Όλα τα αποτελέσματα που αναφέρονται στο παρόν άρθρο εντάσσονται στο πλαίσιο του τυχαίου σχεδιασμού.

### Κλασικό μοντέλο γραμμικής παλινδρόμησης

Το κλασικό μοντέλο επικεντρώνεται στην εκτίμηση και την εξαγωγή συμπερασμάτων με «πεπερασμένο δείγμα», δηλαδή ο αριθμός των παρατηρήσεων n είναι σταθερός. Αυτό έρχεται σε αντίθεση με τις άλλες προσεγγίσεις, οι οποίες μελετούν την ασυμπτωτική συμπεριφορά της OLS και στις οποίες μελετάται η συμπεριφορά σε μεγάλο αριθμό δειγμάτων. 

*Σωστή προδιαγραφή. Η γραμμική λειτουργική μορφή πρέπει να συμπίπτει με τη μορφή της πραγματικής διαδικασίας παραγωγής δεδομένων.
*Αυστηρή εξωγένεια. Τα σφάλματα στην παλινδρόμηση πρέπει να έχουν υπό συνθήκη μέσο μηδέν:
\operatorname{E}[\,\varepsilon\mid X\,] = 0. 

Η άμεση συνέπεια της παραδοχής της εξωγένειας είναι ότι τα σφάλματα έχουν μέσο όρο μηδέν:  (για το νόμο της ολικής προσδοκίας),  και ότι οι παλινδρομούσες μεταβλητές είναι ασυσχέτιστες με τα σφάλματα: . Η υπόθεση της εξωγένειας είναι κρίσιμη για τη θεωρία OLS. Εάν ισχύει, τότε οι παλινδρομούσες μεταβλητές ονομάζονται εξωγενείς. Εάν δεν ισχύει, τότε οι παλινδρομικές μεταβλητές που συσχετίζονται με τον όρο σφάλματος ονομάζονται ενδογενείς **' και ο εκτιμητής OLS γίνεται μεροληπτικός. Στην περίπτωση αυτή μπορεί να χρησιμοποιηθεί η μέθοδος των εργαλειακών μεταβλητών για τη διεξαγωγή συμπερασμάτων.

*Δεν υπάρχει γραμμική εξάρτηση. Οι παλινδρομούσες μεταβλητές στο ''Χ'' πρέπει να είναι όλες γραμμικά ανεξάρτητες. Μαθηματικά, αυτό σημαίνει ότι ο πίνακας ''X'' πρέπει να έχει σχεδόν σίγουρα πλήρη βαθμό στήλης: 

<math >\Pr\!\big[\,\operatorname{rank}(X) = p\,\big] = 1.</math> 

Συνήθως, υποτίθεται επίσης ότι οι παλινδρομούσες μεταβλητές  έχουν πεπερασμένες ροπές μέχρι τουλάχιστον τη δεύτερη στιγμή. Τότε ο πίνακας  είναι πεπερασμένος και θετικά ημικαθορισμένος.

Όταν η υπόθεση αυτή παραβιάζεται, οι παλινδρομούσες μεταβλητές ονομάζονται γραμμικά εξαρτημένες ή απόλυτα πολυγραμμικές. Σε μια τέτοια περίπτωση η τιμή του συντελεστή παλινδρόμησης ''β'' δεν μπορεί να μαθευτεί, αν και η πρόβλεψη των τιμών ''y'' εξακολουθεί να είναι δυνατή για νέες τιμές απο παλινδρομούσες μεταβλητές που βρίσκονται στον ίδιο γραμμικά εξαρτημένο υποχώρο.

*Σφαιρικά σφάλματα:
<math>\operatorname{Var}[\,\varepsilon \mid X\,] = \sigma^2 I_n,</math> όπου 
όπου  είναι ο πίνακας ταυτότητας στη διάσταση ''n'' και ''σ''<sup>2</sup>  είναι μια παράμετρος που καθορίζει τη διακύμανση κάθε παρατήρησης. Αυτό το ''σ''<sup>2</sup>  θεωρείται παράμετρος ενόχλησης στο μοντέλο, αν και συνήθως εκτιμάται επίσης. Εάν παραβιαστεί αυτή η υπόθεση, τότε οι εκτιμήσεις OLS εξακολουθούν να είναι έγκυρες, αλλά δεν είναι πλέον αποτελεσματικές.
Συνηθίζεται να χωρίζεται αυτή η υπόθεση σε δύο μέρη:
:Ομοσκεδαστικότητα: 
που σημαίνει ότι ο όρος σφάλματος έχει την ίδια διακύμανση ''σ''<sup>2</sup> σε κάθε παρατήρηση. Όταν αυτή η απαίτηση παραβιάζεται αυτό ονομάζεται ετεροσκεδαστικότητα, σε μια τέτοια περίπτωση ένας πιο αποτελεσματικός εκτιμητής θα ήταν τα σταθμισμένα ελάχιστα τετράγωνα. Αν τα σφάλματα έχουν άπειρη διακύμανση τότε και οι εκτιμήσεις OLS θα έχουν άπειρη διακύμανση (αν και σύμφωνα με το [[Νόμος των μεγάλων αριθμών|νόμο των μεγάλων αριθμών]] θα τείνουν ωστόσο προς τις πραγματικές τιμές εφόσον τα σφάλματα έχουν μηδενική μέση τιμή). Σε αυτή την περίπτωση, συνιστώνται ισχυρές τεχνικές εκτίμησης.
:Καμία αυτοσυσχέτιση: τα σφάλματα δεν συσχετίζονται μεταξύ των παρατηρήσεων:  for  Η υπόθεση αυτή μπορεί να παραβιαστεί στο πλαίσιο δεδομένων χρονοσειρών, δεδομένων πάνελ, δειγμάτων συστάδων, ιεραρχικών δεδομένων, δεδομένων επαναλαμβανόμενων μετρήσεων, διαχρονικών δεδομένων και άλλων δεδομένων με εξαρτήσεις. Σε τέτοιες περιπτώσεις, τα γενικευμένα ελάχιστα τετράγωνα παρέχουν μια καλύτερη εναλλακτική λύση από την OLS. Μια άλλη έκφραση για την αυτοσυσχέτιση είναι η σειριακή συσχέτιση.
*Κανονικότητα. Μερικές φορές υποτίθεται επιπλέον ότι τα σφάλματα έχουν κανονική κατανομή υπό την προϋπόθεση ότι εξαρτώνται από τις παλινδρομούσες μεταβλητές:

<math >\varepsilon \mid X\sim \mathcal{N}(0, \sigma^2I_n).</math>

Η υπόθεση αυτή δεν είναι απαραίτητη για την εγκυρότητα της μεθόδου OLS, αν και μπορούν να διαπιστωθούν ορισμένες πρόσθετες ιδιότητες πεπερασμένου δείγματος στην περίπτωση που είναι απαραίτητη (ιδίως στον τομέα του ελέγχου υποθέσεων). Επίσης, όταν τα σφάλματα είναι κανονικά, ο εκτιμητής OLS είναι ισοδύναμος με τον εκτιμητή μέγιστης πιθανοφάνειας (MLE), και επομένως είναι ασυμπτωτικά αποτελεσματικός στην κατηγορία όλων των κανονικών εκτιμητών. Είναι σημαντικό ότι η υπόθεση κανονικότητας ισχύει μόνο για τους όρους σφάλματος- αντίθετα με μια δημοφιλή παρανόηση, η μεταβλητή απόκρισης (εξαρτημένη μεταβλητή) δεν απαιτείται να είναι κανονικά κατανεμημένη.

===Ανεξάρτητη και πανομοιότυπη κατανομή (iid)===

Σε ορισμένες εφαρμογές, ιδίως με διατομεακά δεδομένα, επιβάλλεται μια πρόσθετη υπόθεση - ότι όλες οι παρατηρήσεις είναι ανεξάρτητες και πανομοιότυπα κατανεμημένες. Αυτό σημαίνει ότι όλες οι παρατηρήσεις λαμβάνονται από ένα τυχαίο δείγμα, γεγονός που καθιστά όλες τις παραδοχές που αναφέρθηκαν προηγουμένως απλούστερες και ευκολότερες στην ερμηνεία. Επίσης, αυτό το πλαίσιο επιτρέπει τη δήλωση ασυμπτωτικών αποτελεσμάτων (καθώς το μέγεθος του δείγματος ), τα οποία νοούνται ως θεωρητική δυνατότητα άντλησης νέων ανεξάρτητων παρατηρήσεων από τη διαδικασία παραγωγής δεδομένων. Ο κατάλογος των υποθέσεων σε αυτή την περίπτωση είναι ο εξής: 

* **iid παρατηρήσεις**: (''x<sub>i</sub>'', ''y<sub>i</sub>'') είναι ανεξάρτητη και έχει την ίδια κατανομή με, (''x<sub>j</sub>'', ''y<sub>j</sub>'') για όλες τις ,
* **όχι τέλεια πολυσυγγραμμικότητα**:  είναι ένας θετικά ορισμένος πίνακας,
* **εξωγένεια**: 
* **ομοσκεδαστικότητα**: .

===Μοντέλο χρονοσειράς===

*Η στοχαστική διαδικασία  {''x<sub>i</sub>'', ''y<sub>i</sub>''} είναι στάσιμη και εργοδική- αν {''x<sub>i</sub>'', ''y<sub>i</sub>''} είναι μη στάσιμη, τα αποτελέσματα της OLS είναι συχνά ψευδή, εκτός αν {''x<sub>i</sub>'', ''y<sub>i</sub>''} είναι συνολοκληρωμένα.
*Οι παλινδρομούσες μεταβλητές είναι προκαθορισμένες: E[''x<sub>i</sub>ε<sub>i</sub>''] = 0 για όλα τα ''i'' = 1, ..., ''n'',
*Ο ''p''×''p'' πίνακας  είναι πλήρους τάξης και συνεπώς θετικά ορισμένος,
*{''x<sub>i</sub>ε<sub>i</sub>''} είναι μια ακολουθία διαφορών martingale, με πεπερασμένο πίνακα δεύτερων ροπών.

===Ιδιότητες πεπερασμένου δείγματος===

Πρώτα απ' όλα, υπό την αυστηρή υπόθεση της εξωγένειας οι εκτιμητές OLS <math style="vertical-align:-.3em">\scriptstyle\hat\beta</math> και ''s''<sup>2</sup> είναι αμερόληπτοι, που σημαίνει ότι οι αναμενόμενες τιμές τους συμπίπτουν με τις πραγματικές τιμές των παραμέτρων: 

: <math>
    \operatorname{E}[\, \hat\beta \mid X \,] = \beta, \quad \operatorname{E}[\,s^2 \mid X\,] = \sigma^2.
  </math>

Εάν η αυστηρή εξωγένεια δεν ισχύει (όπως συμβαίνει με πολλά μοντέλα χρονολογικών σειρών, όπου η εξωγένεια υποτίθεται μόνο ως προς τις παρελθοντικές διαταραχές αλλά όχι ως προς τις μελλοντικές), τότε οι εκτιμητές αυτοί θα είναι μεροληπτικοί σε πεπερασμένα δείγματα.

Ο πίνακας διακύμανσης-συνδιακύμανσης (ή απλώς ο πίνακας συνδιακύμανσης) του <math style="vertical-align:-.3em">\scriptstyle\hat\beta</math> είναι ίσος με
: <math>
    \operatorname{Var}[\, \hat\beta \mid X \,] = \sigma^2\left(X ^\operatorname{T} X\right)^{-1} = \sigma^2 Q.
  </math>

Ειδικότερα, το τυπικό σφάλμα κάθε συντελεστή <math style="vertical-align:-.4em">\scriptstyle\hat\beta_j</math> είναι ίσο με την τετραγωνική ρίζα του ''j''-th διαγώνιου στοιχείου αυτού του πίνακα. Η εκτίμηση αυτού του τυπικού σφάλματος προκύπτει αντικαθιστώντας την άγνωστη ποσότητα ''σ''<sup>2</sup> με την εκτίμησή της ''s''<sup>2</sup>. Έτσι, 

: <math>
    \widehat{\operatorname{s.\!e.}}(\hat{\beta}_j) = \sqrt{s^2 \left(X ^\operatorname{T} X\right)^{-1}_{jj}}
  </math>

Μπορεί επίσης εύκολα να αποδειχθεί ότι ο εκτιμητής <math style="vertical-align:-.3em">\scriptstyle\hat\beta</math> είναι ασυσχέτιστος με τα κατάλοιπα του μοντέλου :

: <math>
    \operatorname{Cov}[\, \hat\beta,\hat\varepsilon \mid X\,] = 0.
  </math>

Το θεώρημα Γκάους-Μάρκοφ δηλώνει ότι υπό την υπόθεση των σφαιρικών σφαλμάτων (δηλαδή τα σφάλματα πρέπει να είναι ασυσχέτιστα και ομοσκεδαστικά) ο εκτιμητής <math style="vertical-align:-.3em">\scriptstyle\hat\beta</math> είναι αποτελεσματικός στην κατηγορία των γραμμικών αμερόληπτων εκτιμητών. Αυτός ονομάζεται καλύτερος γραμμικός αμερόληπτος εκτιμητής (BLUE). Η αποδοτικότητα πρέπει να γίνει κατανοητή ως εξής: αν βρούμε κάποιον άλλο εκτιμητή <math style="vertical-align:-.3em">\scriptstyle\tilde\beta</math> ο οποίος θα είναι γραμμικός στο ''y'' και αμερόληπτος, τότε 

: <math>
    \operatorname{Var}[\, \tilde\beta \mid X \,] - \operatorname{Var}[\, \hat\beta \mid X \,] \geq 0
  </math>

με την έννοια ότι πρόκειται για μη αρνητικό-οριστικό πίνακα. Αυτό το θεώρημα τεκμηριώνει τη βέλτιστη λειτουργία μόνο στην κατηγορία των γραμμικών αμερόληπτων εκτιμητών, η οποία είναι αρκετά περιοριστική. Ανάλογα με την κατανομή των όρων σφάλματος ''ε'', άλλοι, μη γραμμικοί εκτιμητές μπορεί να παρέχουν καλύτερα αποτελέσματα από την OLS.

==== Υπόθεση κανονικότητας ==== 
Οι ιδιότητες που αναφέρθηκαν μέχρι στιγμής ισχύουν όλες ανεξάρτητα από την υποκείμενη κατανομή των όρων σφάλματος. Ωστόσο, εάν θέλουµε να υποθέσουµε ότι ισχύει η «υπόθεση κανονικότητας» (δηλαδή, ότι ), τότε μπορούν να δηλωθούν πρόσθετες ιδιότητες των εκτιμητών OLS.

Ο εκτιμητής <math style="vertical-align:-.3em">\scriptstyle\hat\beta</math> είναι κανονικά κατανεμημένος, με μέση τιμή και διακύμανση όπως δόθηκε προηγουμένως:
: <math>
    \hat\beta\ \sim\ \mathcal{N}\big(\beta,\ \sigma^2(X ^\mathrm{T} X)^{-1}\big).
  </math>

Αυτός ο εκτιμητής επιτυγχάνει το όριο Κραμέρ-Ράο για το μοντέλο και συνεπώς είναι βέλτιστος στην κατηγορία όλων των αμερόληπτων εκτιμητών. Σημειώστε ότι σε αντίθεση με το θεώρημα Γκάους-Μάρκοφ, αυτό το αποτέλεσμα καθορίζει τη βελτιστότητα τόσο μεταξύ των γραμμικών όσο και των μη γραμμικών εκτιμητών, αλλά μόνο στην περίπτωση κανονικά κατανεμημένων όρων σφάλματος.

Ο εκτιμητής ''s''<sup>2</sup> θα είναι ανάλογος με την κατανομή χι-τετράγωνο:
: <math>
    s^2\ \sim\ \frac{\sigma^2}{n-p} \cdot \chi^2_{n-p}
  </math>

Η διακύμανση αυτού του εκτιμητή είναι ίση με , η οποία δεν επιτυγχάνει το όριο Κραμέρ-Ράο . Ωστόσο, αποδείχθηκε ότι δεν υπάρχουν αμερόληπτοι εκτιμητές του  ''σ''<sup>2</sup> με διακύμανση μικρότερη από εκείνη του εκτιμητή ''s''<sup>2</sup>. Αν είμαστε πρόθυμοι να επιτρέψουμε προκατειλημμένους εκτιμητές και θεωρήσουμε την κλάση των εκτιμητών που είναι ανάλογοι με το άθροισμα των τετραγωνικών καταλοίπων (SSR) του μοντέλου, τότε ο καλύτερος (με την έννοια του μέσου τετραγωνικού σφάλματος) εκτιμητής σε αυτή την κλάση θα είναι  ο οποίος μάλιστα ξεπερνά το όριο Κραμέρ-Ράο στην περίπτωση που υπάρχει μόνο ένας παλινδρομητής ()..

Επιπλέον, οι εκτιμητές β<math style="vertical-align:-.3em">\scriptstyle\hat\beta</math> και ''s''<sup>2</sup> είναι [[Ανεξάρτητος (πολιτική)|ανεξάρτητοι]], γεγονός που είναι χρήσιμο κατά την κατασκευή των t- και F-tests για την παλινδρόμηση.

==== Επιδραστικές παρατηρήσεις ====

Όπως αναφέρθηκε προηγουμένως, ο εκτιμητής  <math>\hat\beta</math> είναι γραμμικός ως προς το ''y'', που σημαίνει ότι αντιπροσωπεύει έναν γραμμικό συνδυασμό των εξαρτημένων μεταβλητών ''y<sub>i</sub>''. Τα βάρη σε αυτόν τον γραμμικό συνδυασμό είναι συναρτήσεις των παλινδρομητών ''X'' και γενικά είναι άνισα. Οι παρατηρήσεις με υψηλά βάρη ονομάζονται επιδραστικές επειδή έχουν πιο έντονη επίδραση στην τιμή του εκτιμητή.

Για να αναλύσουμε ποιες παρατηρήσεις έχουν επιρροή αφαιρούμε μια συγκεκριμένη ''j''-th παρατήρηση και εξετάζουμε πόσο θα μεταβληθούν οι εκτιμώμενες ποσότητες (παρόμοια με τη μέθοδο jackknife). Μπορεί να αποδειχθεί ότι η αλλαγή στον εκτιμητή OLS για το ''β'' θα είναι ίση με  

: <math>
    \hat\beta^{(j)} - \hat\beta = - \frac{1}{1-h_j} (X ^\mathrm{T} X)^{-1}x_j ^\mathrm{T} \hat\varepsilon_j\,,
  </math>

όπου   είναι το ''j''-th διαγώνιο στοιχείο του πίνακα καπέλου ''P'', και ''x<sub>j</sub>'' είναι το διάνυσμα των παλινδρομητών που αντιστοιχεί στην ''j''-th  παρατήρηση. Παρομοίως, η αλλαγή στην προβλεπόμενη τιμή για την **j*-th  παρατήρηση που προκύπτει από την παράλειψη της εν λόγω παρατήρησης από το σύνολο δεδομένων θα είναι ίση με 
: <math>
    \hat{y}_j^{(j)} - \hat{y}_j = x_j ^\mathrm{T} \hat\beta^{(j)} - x_j ^\operatorname{T} \hat\beta = - \frac{h_j}{1-h_j}\,\hat\varepsilon_j
  </math>

Από τις ιδιότητες του πίνακα hat, , και αθροίζουν σε *p*, έτσι ώστε κατά μέσο όρο . Αυτές οι ποσότητες *hj* ονομάζονται *μοχλοί*, και οι παρατηρήσεις με υψηλό *hj* ονομάζονται *σημεία μόχλευσης*.  Συνήθως οι παρατηρήσεις με υψηλή μόχλευση πρέπει να εξετάζονται πιο προσεκτικά, σε περίπτωση που είναι λανθασμένες, ακραίες ή με κάποιον άλλο τρόπο άτυπες σε σχέση με το υπόλοιπο σύνολο δεδομένων.

==Έλεγχος υπόθεσης==
Κύριο άρθρο: [[Έλεγχος υπόθεσης (στατιστική)|Έλεγχος υποθέσεων]]

Συγκεκριμένα, χρησιμοποιούνται δύο έλεγχοι υποθέσεων. Πρώτον, θέλουμε να μάθουμε αν η εκτιμώμενη εξίσωση παλινδρόμησης είναι καλύτερη από την απλή πρόβλεψη ότι όλες οι τιμές της μεταβλητής απόκρισης είναι ίσες με τον δειγματικό μέσο όρο (αν αυτό δεν συμβαίνει, λέμε ότι δεν έχει ερμηνευτική ισχύ). Η μηδενική υπόθεση ότι η εκτιμώμενη παλινδρόμηση δεν έχει επεξηγηματική ισχύ ελέγχεται με τη χρήση ενός F-test. Εάν η υπολογιζόμενη τιμή F είναι αρκετά μεγάλη ώστε να υπερβαίνει την κρίσιμη τιμή της για το επιλεγμένο επίπεδο σημαντικότητας, η μηδενική υπόθεση απορρίπτεται και η εναλλακτική υπόθεση ότι η παλινδρόμηση έχει επεξηγηματική ισχύ γίνεται αποδεκτή. Διαφορετικά, γίνεται δεκτή η μηδενική υπόθεση ότι δεν υπάρχει ερμηνευτική [[ισχύς]].

Δεύτερον, για κάθε επεξηγηματική μεταβλητή που μας ενδιαφέρει, επιθυμούμε να μάθουμε αν ο εκτιμώμενος συντελεστής της διαφέρει σημαντικά από το μηδέν - δηλαδή αν η συγκεκριμένη επεξηγηματική μεταβλητή έχει πράγματι επεξηγηματική δύναμη στην πρόβλεψη της μεταβλητής απόκρισης. Εδώ, η μηδενική υπόθεση είναι ότι ο πραγματικός συντελεστής είναι μηδέν. Η υπόθεση αυτή ελέγχεται με τον υπολογισμό του t-statistic για τον συντελεστή, δηλαδή του λόγου μεταξύ της εκτίμησης του [[Συντελεστής|συντελεστή]] και του τυπικού σφάλματός του. Εάν το t-statistic είναι μεγαλύτερο από μια προκαθορισμένη τιμή, η μηδενική υπόθεση απορρίπτεται και η [[Μεταβλητή (μαθηματικά)|μεταβλητή]] θεωρείται ότι έχει ερμηνευτική ισχύ, καθώς ο συντελεστής της διαφέρει σημαντικά από το μηδέν. Διαφορετικά, γίνεται δεκτή η μηδενική υπόθεση μηδενικής τιμής για τον πραγματικό συντελεστή. 

Επιπλέον, ο έλεγχος Τσόου χρησιμοποιείται για να ελεγχθεί αν δύο υποδείγματα έχουν τις ίδιες υποκείμενες πραγματικές τιμές συντελεστών. Το άθροισμα των τετραγωνικών καταλοίπων των παλινδρομήσεων σε κάθε ένα από τα υποσύνολα και στο συνδυασμένο σύνολο δεδομένων συγκρίνεται με τον υπολογισμό μιας στατιστικής F- αν αυτή υπερβαίνει μια κρίσιμη τιμή, η μηδενική υπόθεση της μη ύπαρξης διαφοράς μεταξύ των δύο υποσυνόλων απορρίπτεται- διαφορετικά, γίνεται δεκτή.

== Παράδειγμα με πραγματικά δεδομένα ==
Δείτε επίσης: [[Απλή γραμμική παλινδρόμηση]]

Το ακόλουθο σύνολο δεδομένων δίνει το μέσο ύψος και βάρος για Αμερικανίδες ηλικίας 30-39 ετών (πηγή: *The World Almanac and Book of Facts, 1975*).

:

Όταν μοντελοποιείται μια ενιαία εξαρτημένη μεταβλητή, ένα διάγραμμα διασποράς υποδηλώνει τη μορφή και την ισχύ της σχέσης μεταξύ της εξαρτημένης μεταβλητής και των παλινδρομητών. Μπορεί επίσης να αποκαλύψει ακραίες τιμές, ετεροσκεδαστικότητα και άλλες πτυχές των δεδομένων που μπορεί να περιπλέξουν την ερμηνεία ενός προσαρμοσμένου μοντέλου παλινδρόμησης. Το διάγραμμα διασποράς υποδηλώνει ότι η σχέση είναι ισχυρή και μπορεί να προσεγγιστεί ως τετραγωνική συνάρτηση. Η OLS μπορεί να αντιμετωπίσει μη γραμμικές σχέσεις εισάγοντας τον παλινδρομητή HEIGHT2. Το μοντέλο παλινδρόμησης γίνεται τότε ένα πολλαπλό γραμμικό μοντέλο: 

:<math>w_i = \beta_1 + \beta_2 h_i + \beta_3 h_i^2 + \varepsilon_i.</math>


Η έξοδος από τα περισσότερα δημοφιλή στατιστικά πακέτα θα μοιάζει με αυτό:

:

Σε αυτόν τον πίνακα:

*Η στήλη Τιμή δίνει τις εκτιμήσεις των ελαχίστων τετραγώνων των παραμέτρων *βj*
*Η στήλη Σφάλμα Std δείχνει τα τυπικά σφάλματα κάθε εκτίμησης του συντελεστή: <math>\hat\sigma_j = \left(\hat{\sigma}^2\left[Q_{xx}^{-1}\right]_{jj}\right)^\frac{1}{2}</math>
*Οι στήλες t-στατιστική και p-τιμή ελέγχουν αν κάποιος από τους συντελεστές μπορεί να είναι ίσος με μηδέν. Το t-statistic υπολογίζεται απλά ως  <math>t=\hat\beta_j/\hat\sigma_j</math>. Εάν τα σφάλματα ε ακολουθούν κανονική κατανομή, το t ακολουθεί κατανομή Student-t. Υπό ασθενέστερες συνθήκες, το *t* είναι ασυμπτωτικά κανονικό. Μεγάλες τιμές του *t* δείχνουν ότι η μηδενική υπόθεση μπορεί να απορριφθεί και ότι ο αντίστοιχος συντελεστής δεν είναι μηδέν. Η δεύτερη στήλη, p-τιμή, εκφράζει τα αποτελέσματα του ελέγχου υποθέσεων ως επίπεδο σημαντικότητας. Συνήθως, τιμές *p*-τιμή μικρότερες από 0,05 θεωρούνται ως απόδειξη ότι ο συντελεστής του πληθυσμού δεν είναι μηδενικός.
*Το *R*-τετράγωνο είναι ο συντελεστής προσδιορισμού που δείχνει την καλή προσαρμογή της παλινδρομούσα μεταβλητή. Το στατιστικό αυτό θα είναι ίσο με ένα αν η προσαρμογή είναι τέλεια και μηδέν όταν οι παλινδρομούσες μεταβλητές *Χ* δεν έχουν καμία απολύτως ερμηνευτική δύναμη. Πρόκειται για μια μεροληπτική εκτίμηση του *R*-τετραγώνου του πληθυσμού και δεν θα μειωθεί ποτέ εάν προστεθούν πρόσθετες παλινδρομούσες μεταβλητές, ακόμη και αν είναι άσχετες.
* Το *Προσαρμοσμένο R-τετράγωνο* είναι μια ελαφρώς τροποποιημένη έκδοση του <math>R^2</math>, σχεδιασμένη να τιμωρεί για τον υπερβολικό αριθμό από παλινδρομούσες μεταβλητές που δεν προσθέτουν στην ερμηνευτική δύναμη της παλινδρόμησης. Αυτό το στατιστικό είναι πάντα μικρότερο από το <math>R^2</math>, μπορεί να μειώνεται καθώς προστίθενται νέες παλινδρομούσες μεταβλητές και να είναι ακόμη και αρνητικό για μοντέλα με κακή προσαρμογή:
:: <math>\overline{R}^2 = 1 - \frac{n - 1}{n - p}(1 - R^2)</math>
* Η *λογαριθμική πιθανοφάνεια* υπολογίζεται με την υπόθεση ότι τα σφάλματα ακολουθούν κανονική κατανομή. Παρόλο που η υπόθεση δεν είναι πολύ λογική, αυτή η στατιστική μπορεί να βρει τη χρήση της στη διεξαγωγή δοκιμών LR.
* Η στατιστική *'Ντάρμπιν-Γουάτσον*' ελέγχει αν υπάρχουν ενδείξεις σειριακής συσχέτισης μεταξύ των καταλοίπων. Κατά κανόνα, η τιμή μικρότερη του 2 αποτελεί ένδειξη θετικής συσχέτισης.
* Το «κριτήριο πληροφοριών Ακάικε» και το «κριτήριο Σβαρτς» χρησιμοποιούνται και τα δύο για την επιλογή μοντέλων. Γενικά, κατά τη σύγκριση δύο εναλλακτικών μοντέλων, μικρότερες τιμές ενός από αυτά τα κριτήρια υποδηλώνουν ένα καλύτερο μοντέλο. 
* Το *Τυπικό σφάλμα της παλινδρόμησης* είναι μια εκτίμηση του *σ*, του τυπικού σφάλματος του όρου σφάλματος.
* Το «συνολικό άθροισμα τετραγώνων», το «άθροισμα τετραγώνων μοντέλου» και το «υπόλοιπο άθροισμα τετραγώνων» μας λένε πόσο μεγάλο μέρος της αρχικής διακύμανσης του δείγματος εξηγείται από την παλινδρόμηση.
* Η *F-στατιστική* προσπαθεί να ελέγξει την υπόθεση ότι όλοι οι συντελεστές (εκτός από την τομή) είναι ίσοι με μηδέν. Το στατιστικό αυτό έχει κατανομή *F*(*p-1*,*n-p*) υπό τη μηδενική υπόθεση και την υπόθεση κανονικότητας, και η *p-value* του υποδηλώνει την πιθανότητα ότι η υπόθεση είναι πράγματι αληθής. Σημειώστε ότι όταν τα σφάλματα δεν είναι κανονικά, αυτό το στατιστικό καθίσταται άκυρο και θα πρέπει να χρησιμοποιούνται άλλα τεστ, όπως το τεστ Wald ή το τεστ LR.


Η συνήθης ανάλυση ελαχίστων τετραγώνων περιλαμβάνει συχνά τη χρήση διαγνωστικών διαγραμμάτων που αποσκοπούν στην ανίχνευση αποκλίσεων των δεδομένων από την υποτιθέμενη μορφή του μοντέλου.  Αυτά είναι μερικά από τα συνήθη διαγνωστικά διαγράμματα:
* Υπολείμματα έναντι των επεξηγηματικών μεταβλητών του μοντέλου. Μια μη γραμμική σχέση μεταξύ αυτών των μεταβλητών υποδηλώνει ότι η γραμμικότητα της συνάρτησης του υπό συνθήκη μέσου όρου μπορεί να μην ισχύει.  Διαφορετικά επίπεδα μεταβλητότητας στα κατάλοιπα για διαφορετικά επίπεδα των επεξηγηματικών μεταβλητών υποδηλώνουν πιθανή ετεροσκεδαστικότητα.
* Κατάλοιπα έναντι των επεξηγηματικών μεταβλητών που δεν περιλαμβάνονται στο μοντέλο. Οποιαδήποτε σχέση των καταλοίπων με αυτές τις μεταβλητές θα υποδείκνυε την εξέταση αυτών των μεταβλητών για συμπερίληψη στο μοντέλο.
* Κατάλοιπα έναντι των προσαρμοσμένων τιμών, <math>\hat{y}</math>.
* Υπολείμματα έναντι του προηγούμενου υπολοίπου.  Αυτό το διάγραμμα μπορεί να εντοπίσει σειριακές συσχετίσεις στα κατάλοιπα.

Ένα σημαντικό στοιχείο κατά τη διεξαγωγή στατιστικών συμπερασμάτων με τη χρήση μοντέλων παλινδρόμησης είναι ο τρόπος δειγματοληψίας των δεδομένων.  Σε αυτό το παράδειγμα, τα δεδομένα είναι μέσοι όροι και όχι μετρήσεις σε μεμονωμένες γυναίκες.  Η προσαρμογή του μοντέλου είναι πολύ καλή, αλλά αυτό δεν σημαίνει ότι το βάρος μιας μεμονωμένης γυναίκας μπορεί να προβλεφθεί με μεγάλη ακρίβεια με βάση μόνο το ύψος της.

===Ευαισθησία στη στρογγυλοποίηση===

Το παράδειγμα αυτό δείχνει επίσης ότι οι συντελεστές που προσδιορίζονται από αυτούς τους υπολογισμούς είναι ευαίσθητοι στον τρόπο προετοιμασίας των δεδομένων. Τα ύψη δόθηκαν αρχικά στρογγυλοποιημένα στην πλησιέστερη ίντσα και έχουν μετατραπεί και στρογγυλοποιηθεί στο πλησιέστερο εκατοστό. Δεδομένου ότι ο συντελεστής μετατροπής είναι μία ίντσα σε 2,54&nbsp;cm, αυτή δεν είναι *όχι'' ακριβής μετατροπή. Οι αρχικές ίντσες μπορούν να ανακτηθούν με το Round(x/0,0254) και στη συνέχεια να μετατραπούν εκ νέου σε μετρικές χωρίς στρογγυλοποίηση. Αν γίνει αυτό, τα αποτελέσματα γίνονται:

Η χρήση οποιασδήποτε από αυτές τις εξισώσεις για την πρόβλεψη του βάρους μιας γυναίκας ύψους 1,6764 μ. δίνει παρόμοιες τιμές: 62,94&nbsp;kg με στρογγυλοποίηση έναντι 62,98&nbsp;kg χωρίς στρογγυλοποίηση. Έτσι, μια φαινομενικά μικρή διαφοροποίηση στα δεδομένα έχει πραγματική επίδραση στους συντελεστές αλλά μικρή επίδραση στα αποτελέσματα της εξίσωσης.

Ενώ αυτό μπορεί να φαίνεται αβλαβές στη μέση του εύρους των δεδομένων, μπορεί να γίνει σημαντικό στα άκρα ή στην περίπτωση που το προσαρμοσμένο μοντέλο χρησιμοποιείται για προβολή εκτός του εύρους των δεδομένων (παρέκταση).

Αυτό αναδεικνύει ένα συνηθισμένο σφάλμα: το παράδειγμα αυτό αποτελεί κατάχρηση της OLS, η οποία απαιτεί εγγενώς ότι τα σφάλματα στην ανεξάρτητη μεταβλητή (σε αυτή την περίπτωση το ύψος) είναι μηδενικά ή τουλάχιστον αμελητέα. Η αρχική στρογγυλοποίηση στην πλησιέστερη ίντσα συν τυχόν πραγματικά σφάλματα μέτρησης συνιστούν ένα πεπερασμένο και μη αμελητέο σφάλμα. Ως αποτέλεσμα, οι προσαρμοσμένες παράμετροι δεν είναι οι καλύτερες εκτιμήσεις που υποτίθεται ότι είναι. Αν και δεν είναι εντελώς ψευδές, το σφάλμα στην εκτίμηση εξαρτάται από το σχετικό μέγεθος των σφαλμάτων «x» και «y».

## Εξωτερικοί σύνδεσμοι
*English - Greek Dictionary of Pure and Applied Mathematics Εθνικό Μετσόβιο Πολυτεχνείο
*Αγγλοελληνικό Λεξικό Μαθηματικής Ορολογίας - Πανεπιστήμιο Κύπρου
* Ευκλείδεια Γεωμετρία - Πανελλήνιο Σχολικό Δίκτυο
* Θεωρία ομάδων και Λι αλγεβρών -Εθνικό Αρχείο Διδακτορικών Διατριβών
* Θεωρία Αριθμών και Εφαρμογές
* Υπολογιστική Θεωρία Αριθμών
* Καμπυλότητες και γεωμετρία του Riemann σε διαφορίσιμες πολλαπλότητες Εθνικό Αρχείο Διδακτορικών Διατριβών
* Μέθοδοι μηχανικής μάθησης βασισμένες σε έλεγχο μονοτροπικότητας Εθνικό Αρχείο Διδακτορικών Διατριβών
*  Παράμετροι και Στατιστικά. Διωνυμική και Κανονική Κατανομή

## Δείτε επίσης
* Απαγορευτική αρχή του Πάουλι
* Κατανομή t-Student
* Κανονική κατανομή
* Αλγεβρική θεωρία αριθμών
* Διαφορική γεωμετρία
* Άρθουρ Στάνλεϋ Έντινγκτον
* Θεωρία αναπαραστάσεων
* Σουμπραμανιάν Τσαντρασεκάρ
* Ευκλείδειος χώρος
* Ένα προς ένα
* Σουμπραμανιάν Τσαντρασεκάρ
* Εφαρμοσμένα μαθηματικά
* Προβολικός χώρος
* Διακριτός μετασχηματισμός Φουριέ
* Θεμελιώδες θεώρημα αριθμητικής
* Αλγεβρική γεωμετρία
* Μιγαδικός αριθμός
* Άρθουρ Στάνλεϋ Έντινγκτον
* Τυπική απόκλιση

## Βιβλιογραφία
* 
* 
* 
* 
* 
* 
* 
* 
* 
* 
* 
* 

## Παραπομπές

* 
* 
* 
* 
*
*
*
*  https://web.archive.org/web/20221220195918/https://www.ncbi.nlm.nih.gov/pmc/articles/PMC7727271/pdf/nihms-1633436.pdf (15 pages)
*
*
*
*
* Ch. 1–6 of 2013 edition

## Πηγές
* 
* 
* 
* 
* 
* 
* 

Κατηγορία:Θεωρία ομάδων
Κατηγορία:Πολυμεταβλητός λογισμός
Κατηγορία:Στατιστικοί Έλεγχοι
Κατηγορία:Μέθοδοι επιστημονικής έρευνας
Κατηγορία:Εφαρμοσμένα μαθηματικά
Κατηγορία:Περιοχές των μαθηματικών
Κατηγορία:Ανάλυση δεδομένων
Κατηγορία:Στατιστικές μέθοδοι
Κατηγορία:Θεωρία αριθμών