잔차 제곱합

통계에서 잔차제곱합 (SSR) 또는 오차제곱합 (SSE) 이라고도 알려진 잔차 제곱합(RSS)은 잔차의 제곱합(실제 경험적 데이터 값과 예측된 값의 차이)이다. 이는 선형회귀와 같은 추정모델과 데이터간의 불일치를 측정한다. 작은 RSS는 모델이 데이터에 꼭 맞는다는 것을 의미한다. 이는 매개변수 선택 및 모델 선택시 최적기준으로 사용된다.

일반적으로, 총제곱합(TSS) = 회귀제곱합(SSE) + 잔차제곱합(SSR)이다. 다변량 최소제곱법(OLS) 사례에 대한 증명은, 일반적인 최소제곱법 모델에서의 파티셔닝을 참고.

 하나의 독립변수 
독립변수가 하나인 모델에서 RSS는 다음과 같다.



여기서 yi 는 i 번째 예측할 변수 값이고, xi 는 i 번째 독립변수의  값이며, 는 yi 의 예측값이다(  라도도 함). 표준 선형 단순 회귀모델에서는 , 여기서 와 는 계수이고, y와 x는 각각 종속변수와 독립변수이고, ε는 오차이다. 잔차의 제곱합은   의 제곱합이며, 다음과 같다.



여기서 는 상수 의 추정 값이고, 는 기울기 계수 의 추정 값이다.

 OLS 잔차제곱합에 대한 행렬 표현식 
개의 관측값과 개의 설명자가 있는 일반 회귀 모델(첫 번째 설명자는 계수가 회귀 절편인 상수 단위 벡터임)은 다음과 같다.



여기서 는 종속 변수 관측값의 n × 1 벡터이고, n × k 행렬  의 각 열은 k 설명자 중 하나에 대한 관측값 벡터이다. 는 실제 계수의 k × 1 벡터이고, 는 실제 기본오차의 n × 1 벡터이다. 최소제곱법 추정값 는 다음과 같다.







잔차 벡터  ; 따라서 잔차 제곱합은 다음과 같다:

  ,

(잔차 놈(norm)제곱과 동일) 전체를 다시 정리하면 다음과 같다:

  ,

여기서  는 모자행렬 또는 선형회귀의 투영 행렬이다.

 피어슨 상관관계와의 관계 
최소제곱 회귀선은 다음과 같다.

  ,

여기서  그리고 , 여기서  그리고 

그러므로,



여기서 이다.

피어슨 상관관계는 다음과 같다.

 그러므로, 

 추가 설명자료 

 아카이케 정보 기준#최소제곱과의 비교
 카이제곱 분포#응용 프로그램
 자유도(통계)#자유도와 제곱의 합
 통계의 오차 및 잔차
 적합성 부족 제곱합
 평균 제곱 오차
 카이제곱 통계량 감소, 자유도당 RSS
 제곱 편차
 제곱합(통계)

 같이 보기 
 카이제곱 분포
 자유도 (통계학)
 평균 제곱 오차
 참고자료 



분류:최소제곱법
분류:오차 및 잔차