Os **mínimos cadrados lineais** é unha técnica de optimización matemática para encontrar unha solución aproximada dun sistema de ecuacións lineais que non ten solución exacta. Isto acostuma ocorrer se o número de ecuacións (*m*) é maior que o número de variables (*n*). (Véxase tamén regresión lineal.)

Definición
----------

En termos matemáticos, queremos encontrar unha solución para a "ecuación"

{\displaystyle A\mathbf {x} \approx \mathbf {b} },
onde *A* é unha *m*-por-*n* matriz (con *m* > *n*) e **x** e **b** son vectores columna de dimensión *n* e *m* respectivamente. Quérese minimizar o cadrado da norma Euclídea dos residuos *A***x** − **b**, isto é, a cantidade

{\displaystyle \|A\mathbf {x} -\mathbf {b} \|^{2}=\left([A\mathbf {x} ]\_{1}-\mathbf {b} \_{1}\right)^{2}+\left([A\mathbf {x} ]\_{2}-\mathbf {b} \_{2}\right)^{2}+\dots +\left([A\mathbf {x} ]\_{n}-\mathbf {b} \_{n}\right)^{2},}
onde [*A***x**]*i* denota o *i*-ésimo compoñente do vector *A***x**. De aqui o nome "mínimos cadrados".

Dedúcese que o vector **x** que minimiza a expresión tamén resolve a **ecuación normal**

{\displaystyle A^{T}\!A\mathbf {x} =A^{T}\mathbf {b} ,}
onde *A*T é a trasposta de *A*. Nótese que isto se corresponde cun sistema de ecuacións lineais. A matriz *A*T*A* na parte esquerda é unha matriz cadrada, a cal é invertible se *A* ten rango completo (isto é, o rango de *A* é *n*). Nese caso, a solución do sistema de ecuacións lineais é única e vén dada por

{\displaystyle \mathbf {x} =(A^{T}\!A)^{-1}A^{T}\mathbf {b} .}
A matriz {\displaystyle (A^{T}A)^{-1}A^{T}} chámase pseudo inversa de *A*. Non podemos utilizar a verdadeira matriz inversa de *A* (isto é, {\displaystyle A^{-1}}), xa que non existe porque *A* non é unha matriz cadrada (*m* ≠ *n*).

Computación
-----------

A ecuación normal pode resolverse como calquera outro sistema de ecuacións, un método eficiente e numericamente estable pode obterse se primeiro se calcula a descomposición QR da matriz *A*. Entón, con *A* = *QR*, onde *Q* é unha matriz ortogonal e *R* é unha matriz triangular superior, a ecuación normal simplifícase do seguinte xeito

{\displaystyle R\mathbf {x} =Q^{T}\mathbf {b} .}
Outra posibilidade é usar unha descomposición en autovectores. Se {\displaystyle A=U\Sigma V^{\*}} é a descomposición de autovalores de *A*, entón a pseudo inversa da matriz *A* é

{\displaystyle (A^{T}A)^{-1}A^{T}=V\Sigma ^{+}U^{\*},\,}
onde Σ+ é a trasposta de Σ con cada entrada non cero substituída polo seu recíproco.

Aplicacións
-----------

O método dos mínimos cadrados lineais pódese usar para atopar unha función afín **R**n → **R** que mellor axusta un conxunto de datos dado (véxase o método xeral dos mínimos cadrados). É amplo e erróneo a idea de que a palabra *lineal* no termo *regresión lineal* refírese á natureza lineal da función axustada.

Por exemplo

{\displaystyle y=\alpha +\beta x+\gamma x^{2}+\varepsilon }
é un modelo de regresión lineal, na parte dereita é unha combinación lineal dos parámetros α, β, e γ; máis aínda, as estimación de mínimos cadrados destes parámetros son lineais no vector de valores *y* observados. Neste caso, é útil pensar en *x*2 como unha nova variable independente, obtida modificando a variable orixinal *x*. Pero isto adóitase chamar un axuste cuadrático dun axuste polinomial de segundo grao.

Escribimos a función lineal que tentamos atopar como unha matriz 1-por-*n* **x**T (por tanto **x** é un vector columna, véxase tamén transformación lineal).

O conxunto de datos consiste en *m* (*n* + 1)-tuplas (*x*1, ... *x**n*, *y*). Pódense escribir nunha matriz *m*-por-*n* *A* e un vector **b**, onde toda tupla correspóndese cunha fila de *A*, a *y* que corresponde coa entrada en **b**.

Entón,

*A***x** ≈ **b**
da a función **x** que buscamos.

Exemplo
-------

Considerar os puntos (0, 3), (2, 3), (4, 4), (−1, 2). Buscamos unha solución do tipo α*x* + β = *y*, isto é,

{\displaystyle {\begin{pmatrix}x&1\end{pmatrix}}{\begin{pmatrix}\alpha \\\beta \end{pmatrix}}=y}
Podemos escribir a matriz *A*:

{\displaystyle A={\begin{pmatrix}0&1\\2&1\\4&1\\-1&1\\\end{pmatrix}}}
{\displaystyle A^{T}={\begin{pmatrix}0&2&4&-1\\1&1&1&1\end{pmatrix}}}
{\displaystyle A^{T}A={\begin{pmatrix}21&5\\5&4\end{pmatrix}}}
e o vector **b**

{\displaystyle \mathbf {b} ={\begin{pmatrix}3\\3\\4\\2\end{pmatrix}}}
e entón

{\displaystyle A^{T}\mathbf {b} ={\begin{pmatrix}20\\12\end{pmatrix}}}
Por tanto, a ecuación normal é

{\displaystyle A^{T}A{\begin{pmatrix}\alpha \\\beta \end{pmatrix}}=A^{T}\mathbf {b} }
{\displaystyle {\begin{pmatrix}21&5\\5&4\end{pmatrix}}{\begin{pmatrix}\alpha \\\beta \end{pmatrix}}={\begin{pmatrix}20\\12\end{pmatrix}}}
Entón,

{\displaystyle (A^{T}A)^{-1}={1 \over 59}{\begin{pmatrix}4&-5\\-5&21\end{pmatrix}}}
e

{\displaystyle {\begin{pmatrix}\alpha \\\beta \end{pmatrix}}={1 \over 59}{\begin{pmatrix}4&-5\\-5&21\end{pmatrix}}{\begin{pmatrix}20\\12\end{pmatrix}}={\begin{pmatrix}20/59\\152/59\end{pmatrix}}}
e a liña de mellor axuste é (20/59)*x* + 152/59 = *y*.

Véxase tamén
------------

* Regresión lineal