Mínimos cadrados

Os mínimos cadrados é unha técnica matemática de optimización que intenta encontrar o "mellor axuste" para un conxunto de datos mediante a minimización da suma dos cadrados das diferenzas ordinais (chamadas residuos) entre a función axustada e os datos.
Un requisito implícito do método dos mínimos cadrados para que funcione é que os erros en cada medida deben estar distribuídos aleatoriamente. O Teorema Gauss-Markov proba que os estimadores de mínimos cadrados son insesgados e que os datos mostrais non teñen que seguir por exemplo unha distribución normal. É tamén importante que os datos recollidos estean ben escollidos, para permitir a visibilidade nas variables a resolver (dando maior peso a datos concretos, ver Mínimos cadrados ponderados).
A técnica dos mínimos cadrados é utilizada normalmente en axustes de curvas. Moitos outros problemas de optimización poden ser expresados mediante mínimos cadrados, tanto minimizando enerxía como maximizando entropía. Formulación do problema
Supóñase que o conxunto de datos consite nos puntos (xi, yi) con i
1, 2, .. ., n. Queremos obter unha función f tal que f ( x i ) ≈ y i. {\displaystyle f(x_{i})\approx y_{i}. } Para obter este obxectivo, supomos que a función f é dunha particular forma que contén algúns parámetros que necesitamos determinar. Por exemplo, supoñamos que é unha función cadrática, f(x)
ax2 + bx + c, onde a, b e c non son coñecidos. Agora buscamos os valores de a, b e c que minimizan a suma dos cadrados dos residuos: S
∑ i
1 n ( y i − f ( x i ) ) 2. {\displaystyle S
\sum _{i
1}^{n}(y_{i}-f(x_{i}))^{2}. } Isto explica o nome mínimos cadrados. Resolvendo o problema dos mínimos cadrados
No exemplo anterior, f é lineal nos parámetros a, b e c. O problema simplifícase considerablemente neste caso e esencialmente redúcese a un sistema lineal de ecuacións. Isto explícase no artigo sobre os mínimos cadrados lineais.
O problema é moito máis difícil se f non é lineal nos parámetros. Entón temos que resolver un problema xeral (non condicionado) de optimización. Calquera algoritmo para ditos problemas, como o Método de Newton e gradiente descendente, pode ser usado. Outra posibilidade e aplicar un algoritmo que sexa desenvolvido especificamente para tratar problemas de mínimos cadrados, por exemplo o Algoritmo Gauss-Newton ou o Algoritmo Levenberg-Marquardt. Mínimos cadrados e análise de regresión
Na análise de regresión, substituímos a relación f ( x i ) ≈ y i {\displaystyle f(x_{i})\approx y_{i}} por f ( x i )
y i + ε i, {\displaystyle f(x_{i})
y_{i}+\varepsilon _{i}, } onde o termo de ruído ε é unha variable aleatoria con media cero. Téñase en conta que estamos asumindo que os valores x {\displaystyle x} son exactos, e que todo o erro está nos valores y {\displaystyle y}. De novo, distinguimos entre regresión lineal, que en tal caso a función f é lineal nos parámetros a ser determinados (p. e. , f(x)
ax2 + bx + c), e regresión non lineal. Como antes, a regresión lineal é moito máis fácil que a non lineal. (Téndese a pensar que a razón do nome regresión lineal é que o gráfico da función f(x)
ax + b é unha liña. Axustar unha curva f(x) ax2 + bx + c, estimando a, b, e c mediante mínimos cadrados, é un tipo de regresión lineal porque o vector de estimacións por mínimos cadrados de a, b, e c é unha transformación lineal do vector cos seguintes compoñentes
f(xi) + εi. )
Os valores estimados por mínimos cadrados minimizan S. O Teorema Gauss-Markov demostra que as estimacións de mínimos cadrados son óptimas se collemos f(x) ax + b sendo a e b os parámetros a determinar e os termos de ruído ε son independentes e identicamente distribuídos.