Mínimos cadrados lineais

Os **mínimos cadrados lineais** é unha técnica de optimización matemática para encontrar unha solución aproximada dun sistema de ecuacións lineais que non ten solución exacta. Isto acostuma ocorrer se o número de ecuacións (*m*) é maior que o número de variables (*n*).  (Véxase tamén regresión lineal.)

## Definición
En termos matemáticos, queremos encontrar unha solución para a "ecuación"
:A\mathbf{x} \approx \mathbf{b},
onde *A* é unha matriz *m*-por-*n* (con *m* > *n*) e **x** e **b** son vectores columna de dimensión *n* e *m* respectivamente. Quérese minimizar o cadrado da norma euclidiana dos residuos *A***x** &minus; **b**, isto é, a cantidade

:\|A\mathbf{x}-\mathbf{b}\|^2 = \left([A\mathbf{x}]_1-\mathbf{b}_1\right)^2
+\left([A\mathbf{x}]_2-\mathbf{b}_2\right)^2
+\dots+
\left([A\mathbf{x}]_n-\mathbf{b}_n\right)^2,

onde [A\mathbf{x}]_i denota o *i*-ésimo compoñente do vector A\mathbf{x}. De aqui o nome "mínimos cadrados".

Dedúcese que o vector **x** que minimiza a expresión tamén resolve a **ecuación normal**
: A^T \! A \mathbf{x} = A^T \mathbf{b}, 
onde *A*T é a transposta de *A*.  Nótese que isto se corresponde cun sistema de ecuacións lineais. A matriz *A*T*A* na parte esquerda é unha matriz cadrada, a cal é invertible se *A* ten rango completo (isto é, o rango de *A* é *n*). Nese caso, a solución do sistema de ecuacións lineais é única e vén dada por
: \mathbf{x} = (A^T\!A)^{-1} A^T \mathbf{b}.  
A matriz (A^TA)^{-1}A^T chámase pseudo inversa de *A*.  Non podemos utilizar a verdadeira matriz inversa de *A* (isto é, A^{-1}), xa que non existe porque *A* non é unha matriz cadrada (*m* &ne; *n*).

## Computación
A ecuación normal pode resolverse como calquera outro sistema de ecuacións, un método eficiente e numericamente estable pode obterse se primeiro se calcula a descomposición QR da matriz *A*. Entón, con *A* = *QR*, onde *Q* é unha matriz ortogonal e *R* é unha matriz triangular superior, a ecuación normal simplifícase do seguinte xeito
:  R \mathbf{x} = Q^T \mathbf{b}. 

Outra posibilidade é usar unha descomposición en autovectores. Se  A = U\Sigma V^* é a descomposición de autovalores de  *A*, entón a pseudo inversa da matriz *A* é
: (A^T A)^{-1} A^T = V \Sigma^+ U^*, \,
onde &Sigma;+ é a trasposta de &Sigma; con cada entrada non cero substituída polo seu recíproco.

## Aplicacións
O método dos mínimos cadrados lineais pódese usar para atopar unha función afín **R**n &rarr; **R** que mellor axusta un conxunto de datos dado (véxase o método xeral dos mínimos cadrados).  É amplo e erróneo a idea de que a palabra *lineal* no termo *regresión lineal* refírese á natureza lineal da función axustada.

Por exemplo

: y = \alpha + \beta x + \gamma x^2 + \varepsilon

é un modelo de regresión lineal, na parte dereita é unha combinación lineal dos parámetros &alpha;, &beta;, e &gamma;; máis aínda, as estimación de mínimos cadrados destes parámetros son lineais no vector de valores *y* observados. Neste caso, é útil pensar en *x*2 como unha nova variable independente, obtida modificando a variable orixinal *x*. Pero isto adóitase chamar un axuste cadrático dun axuste polinomial de segundo grao.

Escribimos a función lineal que tentamos atopar como unha matriz 1-por-*n* **x**T (polo tanto **x** é un vector columna, véxase tamén transformación lineal).

O conxunto de datos consiste en *m* (*n*&nbsp;+&nbsp;1)-tuplas (*x*1, ..., *x**n*, *y*). Pódense escribir nunha matriz *m*-por-*n* *A* e un vector **b**, onde toda tupla correspóndese cunha fila de *A*, a *y* que corresponde coa entrada en **b**.

Entón,
: *A***x** &asymp; **b**
da a función **x** que buscamos.

## Exemplo
Considerar os puntos (0, 3), (2, 3), (4, 4), (&minus;1, 2). Buscamos unha solución do tipo &alpha;*x* + &beta; = *y*, isto é,

: \begin{pmatrix}x & 1 \end{pmatrix}\begin{pmatrix} \alpha \\ \beta\end{pmatrix} = y

Podemos escribir a matriz *A*:
: A=\begin{pmatrix}
0 & 1 \\
2 & 1 \\
4 & 1 \\
-1 & 1 \\ \end{pmatrix}
: A^T=\begin{pmatrix}
0  & 2 & 4 & -1 \\
1  & 1 & 1 & 1 \end{pmatrix}
: A^TA=\begin{pmatrix}
21 & 5 \\
5 & 4 \end{pmatrix}
e o vector **b**
: \mathbf{b} = \begin{pmatrix}
3 \\
3 \\
4 \\ 
2 \end{pmatrix}
e entón
:A^T\mathbf{b}=\begin{pmatrix}
20 \\
12 \end{pmatrix}
Polo tanto, a ecuación normal é
:A^TA\begin{pmatrix} \alpha \\ \beta \end{pmatrix} = A^T\mathbf{b}
:\begin{pmatrix}
21 & 5 \\
5 & 4 \end{pmatrix} \begin{pmatrix} \alpha \\ \beta \end{pmatrix}=\begin{pmatrix}
20 \\
12 \end{pmatrix}
Entón,
:(A^TA)^{-1}={1\over 59}\begin{pmatrix}
4 & -5 \\
-5 & 21 \end{pmatrix}
e
:\begin{pmatrix} \alpha \\ \beta\end{pmatrix}={1\over 59}\begin{pmatrix}
4 & -5 \\
-5 & 21 \end{pmatrix}\begin{pmatrix}
20 \\
12 \end{pmatrix}=\begin{pmatrix}
20/59 \\
152/59 \end{pmatrix}
e a liña de mellor axuste é (20/59) x + 152/59 = y.

## Véxase tamén
* Regresión lineal