Mínimos cadrados lineais

Os mínimos cadrados lineais é unha técnica de optimización matemática para encontrar unha solución aproximada dun sistema de ecuacións lineais que non ten solución exacta. Isto acostuma ocorrer se o número de ecuacións (m) é maior que o número de variables (n).  (Véxase tamén regresión lineal.)

Definición

En termos matemáticos, queremos encontrar unha solución para a "ecuación"
,
onde A é unha matriz m-por-n (con m > n) e x e b son vectores columna de dimensión n e m respectivamente. Quérese minimizar o cadrado da norma euclidiana dos residuos Ax − b, isto é, a cantidade

onde  denota o i-ésimo compoñente do vector . De aqui o nome "mínimos cadrados".

Dedúcese que o vector x que minimiza a expresión tamén resolve a ecuación normal

onde AT é a transposta de A.  Nótese que isto se corresponde cun sistema de ecuacións lineais. A matriz ATA na parte esquerda é unha matriz cadrada, a cal é invertible se A ten rango completo (isto é, o rango de A é n). Nese caso, a solución do sistema de ecuacións lineais é única e vén dada por

A matriz  chámase pseudo inversa de A.  Non podemos utilizar a verdadeira matriz inversa de A (isto é, ), xa que non existe porque A non é unha matriz cadrada (m ≠ n).

Computación

A ecuación normal pode resolverse como calquera outro sistema de ecuacións, un método eficiente e numericamente estable pode obterse se primeiro se calcula a descomposición QR da matriz A. Entón, con A = QR, onde Q é unha matriz ortogonal e R é unha matriz triangular superior, a ecuación normal simplifícase do seguinte xeito


Outra posibilidade é usar unha descomposición en autovectores. Se  é a descomposición de autovalores de  A, entón a pseudo inversa da matriz A é

onde Σ+ é a trasposta de Σ con cada entrada non cero substituída polo seu recíproco.

Aplicacións

O método dos mínimos cadrados lineais pódese usar para atopar unha función afín Rn → R que mellor axusta un conxunto de datos dado (véxase o método xeral dos mínimos cadrados).  É amplo e erróneo a idea de que a palabra lineal no termo regresión lineal refírese á natureza lineal da función axustada.

Por exemplo



é un modelo de regresión lineal, na parte dereita é unha combinación lineal dos parámetros α, β, e γ; máis aínda, as estimación de mínimos cadrados destes parámetros son lineais no vector de valores y observados. Neste caso, é útil pensar en x2 como unha nova variable independente, obtida modificando a variable orixinal x. Pero isto adóitase chamar un axuste cadrático dun axuste polinomial de segundo grao.

Escribimos a función lineal que tentamos atopar como unha matriz 1-por-n xT (polo tanto x é un vector columna, véxase tamén transformación lineal).

O conxunto de datos consiste en m (n + 1)-tuplas (x1, ..., xn, y). Pódense escribir nunha matriz m-por-n A e un vector b, onde toda tupla correspóndese cunha fila de A, a y que corresponde coa entrada en b.

Entón,
 Ax ≈ b
da a función x que buscamos.

Exemplo
Considerar os puntos (0, 3), (2, 3), (4, 4), (−1, 2). Buscamos unha solución do tipo αx + β = y, isto é,



Podemos escribir a matriz A:



e o vector b

e entón

Polo tanto, a ecuación normal é

Entón,

e

e a liña de mellor axuste é .

Véxase tamén

 Regresión lineal

Categoría:Estatística
Categoría:Optimización
Categoría:Álxebra lineal