제곱합

제곱합(sum of squares, 자승합,SS)는 표본 내의 각 사례의 변인 값과 평균 사이의 편차를 제곱한 값들의 총합으로, 표본 내의 변산성(variability)의 총량을 나타내는 수치이다. S S = Σ ( Y − Y ¯ ) 2 {\displaystyle SS=\Sigma (Y-{\overline {Y}})^{2}} 제곱합은 0보다 크거나 같다. 표본 내 모든 사례의 Y값이 같다면 제곱합이 0이다. 제곱합이 0이라면 표본 내 모든 사례의 Y값이 같다. 분산분석의 목적은 독립변인이 종속변인에 미치는 효과를 알아보는 것이다. 실험에서 나타나는 전체 편차는 집단간 편차(처치 효과의 크기)와 집단내 편차(무선 오차)의 합으로 이루어지는데, 이들을 분리해내는 일을 분할이라 한다. S S T = S S B + S S W {\displaystyle SST=SSB+SSW} SST : 전체 제곱합(total sum of squares, 총 제곱합), S S t o t a l {\displaystyle SS_{total}} 로 표기하기도 한다. SSB : 집단간 제곱합(between-groups sum of squares, 간 제곱합), S S b e t w e e n {\displaystyle SS_{between}} 로 표기하기도 한다. SSW : 집단내 제곱합(within-groups sum of squares 내 제곱합), S S w i t h i n {\displaystyle SS_{within}} 로 표기하기도 한다. S S T = Σ ( Y − Y ¯ . ) 2 {\displaystyle SST=\Sigma (Y-{\overline {Y}}.)^{2}} S S B = Σ ( Y i ¯ − Y ¯ . ) 2 {\displaystyle SSB=\Sigma ({\overline {Y_{i}}}-{\overline {Y}}.)^{2}} S S W = Σ ( Y − Y ¯ i ) 2 {\displaystyle SSW=\Sigma (Y-{\overline {Y}}_{i})^{2}} 정리 n번 관측한 표본 ( y i , x i 1 , … , x i p ) , i = 1 , … , n {\displaystyle (y_{i},x_{i1},\ldots ,x_{ip}),\,i=1,\ldots ,n} 로 구성된 선형 회귀 모형 y i = β 0 + β 1 x i 1 + ⋯ + β p x i p + ε i {\displaystyle y_{i}=\beta _{0}+\beta _{1}x_{i1}+\cdots +\beta _{p}x_{ip}+\varepsilon _{i}} 이 주어지면, 총제곱합 ∑ i = 1 n ( y i − y ¯ ) 2 {\displaystyle \sum _{i=1}^{n}(y_{i}-{\bar {y}})^{2}} 을 다음과 같이 분해할 수 있다. ‖ y − y ¯ ι ‖ 2 = ‖ ε ^ ‖ 2 + ‖ y ^ − y ¯ ι ‖ 2 , ι = ( 1 , 1 , … , 1 ) ∑ i = 1 n ( y i − y ¯ ) 2 = ∑ i = 1 n ( y ^ i − y ¯ ) 2 + ∑ i = 1 n ( y i − y ^ i ) 2 ∑ i = 1 n ( y i − y ¯ ) 2 = ∑ i = 1 n ( y ^ i − y ¯ ) 2 + ∑ i = 1 n ε ^ i 2 T S S = E S S + R S S {\displaystyle {\begin{aligned}\left\|y-{\bar {y}}\iota \right\|^{2}&=\left\|{\hat {\varepsilon }}\right\|^{2}+\left\|{\hat {y}}-{\bar {y}}\iota \right\|^{2},\quad \iota =(1,1,\ldots ,1)\\\sum _{i=1}^{n}(y_{i}-{\bar {y}})^{2}&=\sum _{i=1}^{n}({\hat {y}}_{i}-{\bar {y}})^{2}+\sum _{i=1}^{n}(y_{i}-{\hat {y}}_{i})^{2}\\\sum _{i=1}^{n}(y_{i}-{\bar {y}})^{2}&=\sum _{i=1}^{n}({\hat {y}}_{i}-{\bar {y}})^{2}+\sum _{i=1}^{n}{\hat {\varepsilon }}_{i}^{2}\\\mathrm {TSS} &=\mathrm {ESS} +\mathrm {RSS} \end{aligned}}} 증명 오차의 기대치는 0 이다 라는 가정. 기대값의 정의에 따라 n이 확률 공간 안에서 모든 일어날 수 있는 경우의 수 일 경우에만 성립한다. (모집단) ∑ i = 1 n ( y i − y ¯ ) 2 = ∑ i = 1 n ( y i − y ¯ + y ^ i − y ^ i ) 2 = ∑ i = 1 n ( ( y ^ i − y ¯ ) + ( y i − y ^ i ) ⏟ ε ^ i ) 2 = ∑ i = 1 n ( ( y ^ i − y ¯ ) 2 + 2 ε ^ i ( y ^ i − y ¯ ) + ε ^ i 2 ) = ∑ i = 1 n ( y ^ i − y ¯ ) 2 + ∑ i = 1 n ε ^ i 2 + 2 ∑ i = 1 n ε ^ i ( y ^ i − y ¯ ) = ∑ i = 1 n ( y ^ i − y ¯ ) 2 + ∑ i = 1 n ε ^ i 2 + 2 ∑ i = 1 n ε ^ i ( β ^ 0 + β ^ 1 x i 1 + ⋯ + β ^ p x i p − y ¯ ) = ∑ i = 1 n ( y ^ i − y ¯ ) 2 + ∑ i = 1 n ε ^ i 2 + 2 ( β ^ 0 − y ¯ ) ∑ i = 1 n ε ^ i ⏟ 0 + 2 β ^ 1 ∑ i = 1 n ε ^ i x i 1 ⏟ 0 + ⋯ + 2 β ^ p ∑ i = 1 n ε ^ i x i p ⏟ 0 = ∑ i = 1 n ( y ^ i − y ¯ ) + ∑ i = 1 n ε ^ i 2 = E S S + R S S {\displaystyle {\begin{aligned}\sum _{i=1}^{n}(y_{i}-{\overline {y}})^{2}&=\sum _{i=1}^{n}(y_{i}-{\overline {y}}+{\hat {y}}_{i}-{\hat {y}}_{i})^{2}=\sum _{i=1}^{n}(({\hat {y}}_{i}-{\bar {y}})+\underbrace {(y_{i}-{\hat {y}}_{i})} _{{\hat {\varepsilon }}_{i}})^{2}\\&=\sum _{i=1}^{n}(({\hat {y}}_{i}-{\bar {y}})^{2}+2{\hat {\varepsilon }}_{i}({\hat {y}}_{i}-{\bar {y}})+{\hat {\varepsilon }}_{i}^{2})\\&=\sum _{i=1}^{n}({\hat {y}}_{i}-{\bar {y}})^{2}+\sum _{i=1}^{n}{\hat {\varepsilon }}_{i}^{2}+2\sum _{i=1}^{n}{\hat {\varepsilon }}_{i}({\hat {y}}_{i}-{\bar {y}})\\&=\sum _{i=1}^{n}({\hat {y}}_{i}-{\bar {y}})^{2}+\sum _{i=1}^{n}{\hat {\varepsilon }}_{i}^{2}+2\sum _{i=1}^{n}{\hat {\varepsilon }}_{i}({\hat {\beta }}_{0}+{\hat {\beta }}_{1}x_{i1}+\cdots +{\hat {\beta }}_{p}x_{ip}-{\overline {y}})\\&=\sum _{i=1}^{n}({\hat {y}}_{i}-{\bar {y}})^{2}+\sum _{i=1}^{n}{\hat {\varepsilon }}_{i}^{2}+2({\hat {\beta }}_{0}-{\overline {y}})\underbrace {\sum _{i=1}^{n}{\hat {\varepsilon }}_{i}} _{0}+2{\hat {\beta }}_{1}\underbrace {\sum _{i=1}^{n}{\hat {\varepsilon }}_{i}x_{i1}} _{0}+\cdots +2{\hat {\beta }}_{p}\underbrace {\sum _{i=1}^{n}{\hat {\varepsilon }}_{i}x_{ip}} _{0}\\&=\sum _{i=1}^{n}({\hat {y}}_{i}-{\bar {y}})+\sum _{i=1}^{n}{\hat {\varepsilon }}_{i}^{2}=\mathrm {ESS} +\mathrm {RSS} \\\end{aligned}}} 총 제곱합 평균 (통계학) 중심경향치