Mínimos cadrados lineais

Os mínimos cadrados lineais é unha técnica de optimización matemática para encontrar unha solución aproximada dun sistema de ecuacións lineais que non ten solución exacta. Isto acostuma ocorrer se o número de ecuacións (m) é maior que o número de variables (n). (Véxase tamén regresión lineal. ) Definición
En termos matemáticos, queremos encontrar unha solución para a "ecuación" A x ≈ b {\displaystyle A\mathbf {x} \approx \mathbf {b} },
onde A é unha matriz m-por-n (con m > n) e x e b son vectores columna de dimensión n e m respectivamente. Quérese minimizar o cadrado da norma euclidiana dos residuos Ax − b, isto é, a cantidade ‖ A x − b ‖ 2
( [ A x ] 1 − b 1 ) 2 + ( [ A x ] 2 − b 2 ) 2 + ⋯ + ( [ A x ] n − b n ) 2, {\displaystyle \|A\mathbf {x} -\mathbf {b} \|^{2}
\left([A\mathbf {x} ]_{1}-\mathbf {b} _{1}\right)^{2}+\left([A\mathbf {x} ]_{2}-\mathbf {b} _{2}\right)^{2}+\dots +\left([A\mathbf {x} ]_{n}-\mathbf {b} _{n}\right)^{2}, } onde [ A x ] i {\displaystyle [A\mathbf {x} ]_{i}} denota o i-ésimo compoñente do vector A x {\displaystyle A\mathbf {x} }. De aqui o nome "mínimos cadrados".
Dedúcese que o vector x que minimiza a expresión tamén resolve a ecuación normal A T A x
A T b, {\displaystyle A^{T}\! A\mathbf {x}
A^{T}\mathbf {b}, } onde AT é a transposta de A. Nótese que isto se corresponde cun sistema de ecuacións lineais. A matriz ATA na parte esquerda é unha matriz cadrada, a cal é invertible se A ten rango completo (isto é, o rango de A é n). Nese caso, a solución do sistema de ecuacións lineais é única e vén dada por x
( A T A ) − 1 A T b. {\displaystyle \mathbf {x}
(A^{T}\! A)^{-1}A^{T}\mathbf {b}. } A matriz ( A T A ) − 1 A T {\displaystyle (A^{T}A)^{-1}A^{T}} chámase pseudo inversa de A. Non podemos utilizar a verdadeira matriz inversa de A (isto é, A − 1 {\displaystyle A^{-1}} ), xa que non existe porque A non é unha matriz cadrada (m ≠ n). Computación
A ecuación normal pode resolverse como calquera outro sistema de ecuacións, un método eficiente e numericamente estable pode obterse se primeiro se calcula a descomposición QR da matriz A. Entón, con A
QR, onde Q é unha matriz ortogonal e R é unha matriz triangular superior, a ecuación normal simplifícase do seguinte xeito R x
Q T b. {\displaystyle R\mathbf {x}
Q^{T}\mathbf {b}. } Outra posibilidade é usar unha descomposición en autovectores. Se A
U Σ V ∗ {\displaystyle A
U\Sigma V^{*}} é a descomposición de autovalores de A, entón a pseudo inversa da matriz A é ( A T A ) − 1 A T
V Σ + U ∗, {\displaystyle (A^{T}A)^{-1}A^{T} V\Sigma ^{+}U^{*}, \, } onde Σ+ é a trasposta de Σ con cada entrada non cero substituída polo seu recíproco. Aplicacións
O método dos mínimos cadrados lineais pódese usar para atopar unha función afín Rn → R que mellor axusta un conxunto de datos dado (véxase o método xeral dos mínimos cadrados). É amplo e erróneo a idea de que a palabra lineal no termo regresión lineal refírese á natureza lineal da función axustada.
Por exemplo y
α + β x + γ x 2 + ε {\displaystyle y
\alpha +\beta x+\gamma x^{2}+\varepsilon } é un modelo de regresión lineal, na parte dereita é unha combinación lineal dos parámetros α, β, e γ; máis aínda, as estimación de mínimos cadrados destes parámetros son lineais no vector de valores y observados. Neste caso, é útil pensar en x2 como unha nova variable independente, obtida modificando a variable orixinal x. Pero isto adóitase chamar un axuste cadrático dun axuste polinomial de segundo grao.
Escribimos a función lineal que tentamos atopar como unha matriz 1-por-n xT (polo tanto x é un vector columna, véxase tamén transformación lineal).
O conxunto de datos consiste en m (n + 1)-tuplas (x1, .. ., xn, y). Pódense escribir nunha matriz m-por-n A e un vector b, onde toda tupla correspóndese cunha fila de A, a y que corresponde coa entrada en b.
Entón, Ax ≈ b
da a función x que buscamos. Exemplo
Considerar os puntos (0, 3), (2, 3), (4, 4), (−1, 2). Buscamos unha solución do tipo αx + β
y, isto é, ( x 1 ) ( α β )
y {\displaystyle {\begin{pmatrix}x&1\end{pmatrix}}{\begin{pmatrix}\alpha \\\beta \end{pmatrix}}
y} Podemos escribir a matriz A: A
( 012141 − 11 ) {\displaystyle A
{\begin{pmatrix}0&1\\2&1\\4&1\\-1&1\\\end{pmatrix}}} A T
( 024 − 11111 ) {\displaystyle A^{T}
{\begin{pmatrix}0&2&4&-1\\1&1&1&1\end{pmatrix}}} A T A
( 21554 ) {\displaystyle A^{T}A
{\begin{pmatrix}21&5\\5&4\end{pmatrix}}} e o vector b b
( 3342 ) {\displaystyle \mathbf {b}
{\begin{pmatrix}3\\3\\4\\2\end{pmatrix}}} e entón A T b
( 2012 ) {\displaystyle A^{T}\mathbf {b}
{\begin{pmatrix}20\\12\end{pmatrix}}} Polo tanto, a ecuación normal é A T A ( α β )
A T b {\displaystyle A^{T}A{\begin{pmatrix}\alpha \\\beta \end{pmatrix}}
A^{T}\mathbf {b} } ( 21554 ) ( α β )
( 2012 ) {\displaystyle {\begin{pmatrix}21&5\\5&4\end{pmatrix}}{\begin{pmatrix}\alpha \\\beta \end{pmatrix}}
{\begin{pmatrix}20\\12\end{pmatrix}}} Entón, ( A T A ) − 1
159 ( 4 − 5 − 521 ) {\displaystyle (A^{T}A)^{-1}
{1 \over 59}{\begin{pmatrix}4&-5\\-5&21\end{pmatrix}}} e ( α β )
159 ( 4 − 5 − 521 ) ( 2012 )
( 20 / 59152 / 59 ) {\displaystyle {\begin{pmatrix}\alpha \\\beta \end{pmatrix}}
{1 \over 59}{\begin{pmatrix}4&-5\\-5&21\end{pmatrix}}{\begin{pmatrix}20\\12\end{pmatrix}}
{\begin{pmatrix}20/59\\152/59\end{pmatrix}}} e a liña de mellor axuste é ( 20 / 59 ) x + 152 / 59
y {\displaystyle (20/59)x+152/59 y}.