등분산성과 이분산성

등분산성을 보여주는 무작위 데이터의 플롯: x의 각 값에서 점의 y-값은 거의 동일한 분산을 가진다. 이분산성을 보여주는 무작위 데이터의 플롯: x 값이 증가함에 따라 점의 y-값의 분산이 증가한다. 통계학에서 확률 변수의 수열은 모든 확률 변수가 동일한 유한 분산을 가질 때 **등분산성**(homoscedasticity, k)을 띠며, 이는 **분산의 동질성**(homogeneity of variance)으로도 알려져 있다. 상보적인 개념은 **이분산성**(heteroscedasticity)이라고 불리며, 이는 **분산의 이질성**(heterogeneity of variance)으로도 알려져 있다. "Skedasticity"는 "분산시키다"를 의미하는 고대 그리스어 "skedánnymi"에서 유래한다.For the Greek etymology of the term, see jstor=1911250 citeseerx = 10.1.1.11.7646 page=400 변수가 실제로는 이분산성을 띠는데도 등분산성을 띤다고 가정하면 편향되지 않은 그러나 비효율적인 점 추정과 표준 오차의 편향된 추정으로 이어지며, 피어슨 계수로 측정된 적합도를 과대평가할 수 있다. 이분산성의 존재는 회귀 분석 및 분산 분석에서 주요 관심사인데, 이는 모델링 오차가 모두 동일한 분산을 가진다고 가정하는 통계적 유의성 검정을 무효화하기 때문이다. 정규방정식 (OLS) 추정량은 이분산성이 존재하더라도 편향되지 않지만, 비효율적이며 등분산성 가정에 기반한 추론은 오해를 불러일으킨다. 그런 경우, 과거에는 일반화 최소 제곱법 (GLS)이 자주 사용되었다.url-access=registrationauthor-link=John Johnston (econometrician) 오늘날 계량경제학에서 표준 관행은 GLS를 사용하는 대신 이분산성-일치 표준 오차를 포함하는 것인데, 이는 실제 분산 함수를 알 수 없는 경우 GLS가 작은 표본에서 강한 편향을 보일 수 있기 때문이다.doi=10.1515/9781400829828 이분산성은 오차의 두 번째 모멘트의 기댓값에 관련되므로, 그 존재는 두 번째 차수의 오류 지정으로 언급된다.editor2-first=J. Scott 계량경제학자 로버트 엥글은 이분산성이 존재하는 회귀 분석에 대한 연구로 2003년 노벨 경제학상을 수상했으며, 이는 ARCH 모형 (ARCH) 모델링 기법의 정식화로 이어졌다.jstor=1912773
# 정의
선형 회귀 방정식 y_i= x_i \beta_i + \varepsilon_i,\ i = 1,\ldots, N,를 고려하자. 여기서 종속 확률 변수 y_i는 평균이 0인 무작위 교란항 \varepsilon_i에 계수 \beta_i를 곱한 결정론적 변수 x_i와 같다. 교란항의 분산 \varepsilon_i가 상수 \sigma^2이면 교란항은 등분산성을 띠며, 그렇지 않으면 이분산성을 띤다. 특히, \varepsilon_i의 분산이 i 또는 x_i의 값에 따라 달라지면 교란항은 이분산성을 띤다. 이분산성을 띠는 한 가지 방법은 \sigma_i^2= x_i \sigma^2 (분산 함수의 예)인 경우이며, 따라서 분산은 x 값에 비례한다. 더 일반적으로, i에 걸친 교란항 \varepsilon_i의 공분산 행렬의 비정상 대각선이 있다면, 교란항은 이분산성을 띤다.Peter Kennedy, A Guide to Econometrics, 5th edition, p. 137. 아래 행렬들은 시간에 걸쳐 세 가지 관측치만 있을 때의 공분산이다. 행렬 A의 교란항은 등분산성을 띠며, 이는 OLS가 최적 선형 불편 추정량인 간단한 경우이다. 행렬 B와 C의 교란항은 이분산성을 띤다. 행렬 B에서 분산은 시간이 지남에 따라 꾸준히 증가하며, 행렬 C에서 분산은 x 값에 따라 달라진다. 행렬 D의 교란항은 등분산성을 띠는데, 이는 대각선 분산이 상수이며, 비대각선 공분산이 0이 아니더라도 다른 이유, 즉 계열 상관 때문에 정규방정식은 비효율적이다. :\begin{align} A &= \sigma^2\begin{bmatrix} 1 & 0 & 0 \\\ 0 & 1 & 0 \\\ 0 & 0 & 1 \\\ \end{bmatrix} & B &= \sigma^2\begin{bmatrix} 1 & 0 & 0 \\\ 0 & 2 & 0 \\\ 0 & 0 & 3 \\\ \end{bmatrix} & C &= \sigma^2\begin{bmatrix} x_1 & 0 & 0 \\\ 0 & x_2 & 0 \\\ 0 & 0 & x_3 \\\ \end{bmatrix} & D &= \sigma^2\begin{bmatrix} 1 & \rho & \rho^2 \\\ \rho & 1 & \rho \\\ \rho^2 & \rho & 1 \\\ \end{bmatrix} \end{align}
# 예시
이분산성은 관측치의 크기 사이에 큰 차이가 있을 때 자주 발생한다. 이분산성의 고전적인 예는 소득과 식사 비용 간의 관계이다. 부유한 사람은 때로는 값싼 음식을 먹고 때로는 비싼 음식을 먹을 수 있다. 가난한 사람은 거의 항상 값싼 음식을 먹을 것이다. 따라서 소득이 높은 사람들은 식비 지출에서 더 큰 변동성을 보인다. 로켓 발사 시, 관찰자는 로켓이 이동한 거리를 초당 한 번 측정한다. 처음 몇 초 동안 측정값은 센티미터 단위로 정확할 수 있다. 5분 후, 측정값의 정확도는 증가된 거리, 대기 왜곡 및 다양한 다른 요인으로 인해 100m까지만 좋을 수 있다. 따라서 거리 측정값은 이분산성을 보일 수 있다.
# 결과
고전적인 선형 회귀 모형의 가정 중 하나는 이분산성이 없다는 것이다. 이 가정을 위반하면 가우스-마르코프 정리가 적용되지 않으므로, OLS 추정량이 최적 선형 불편 추정량(BLUE)이 아니며 그 분산이 다른 모든 불편 추정량 중에서 가장 낮지 않다는 의미가 된다. 이분산성은 정규방정식 계수 추정값을 편향되게 만들지는 않지만, 계수의 분산 (따라서 표준 오차)에 대한 정규방정식 추정값을 편향되게 만들 수 있으며, 이는 실제 모집단 분산보다 높거나 낮을 수 있다. 따라서 이분산성 데이터를 사용한 회귀 분석은 예측 변수와 결과 간의 관계에 대한 불편 추정값을 여전히 제공하지만, 데이터 분석에서 얻은 표준 오차 및 추론은 의심스럽다. 편향된 표준 오차는 편향된 추론으로 이어지므로 가설 검정 결과가 잘못될 수 있다. 예를 들어, 이분산성 데이터 집합에서 OLS를 수행하여 편향된 표준 오차 추정값을 얻으면, 연구자는 주어진 유의성 수준에서 귀무 가설을 기각하지 못할 수 있으며, 실제로는 그 귀무 가설이 실제 모집단(즉, 2종 오류를 범함)을 특징짓지 않는 경우이다. 특정 가정 하에서, OLS 추정량은 적절히 정규화되고 중심화될 때 정규 점근 분포를 가진다 (데이터가 정규 분포에서 오지 않는 경우에도). 이 결과는 가설 검정을 수행할 때 정규 분포 또는 카이제곱 분포 (검정통계량이 계산되는 방식에 따라 다름)를 사용하는 것을 정당화하는 데 사용된다. 이는 이분산성 하에서도 유효하다. 더 정확하게는, 이분산성이 존재하는 OLS 추정량은 적절히 정규화되고 중심화될 때 점근적으로 정규 분포를 따르며, 등분산성 경우와는 다른 분산-공분산 행렬을 가진다. 1980년에 화이트는 OLS 추정량의 점근 분포의 분산-공분산 행렬에 대한 일치 추정량을 제안했다. 이는 OLS 추정량과 화이트의 분산-공분산 추정량을 사용하여 이분산성 하에서 가설 검정을 사용하는 것을 유효화한다. 이분산성은 분산 분석 문제에서 발생하는 주요 실제 문제이기도 하다.doi=10.1080/03610919808813500 F 검정은 일부 상황에서 여전히 사용될 수 있다.doi=10.1016/j.jspi.2003.09.010 그러나 계량경제학을 전공하는 학생들은 이분산성에 과민 반응해서는 안 된다는 말이 있다. 한 저자는 "오차 분산의 불균등은 문제가 심각할 때에만 수정할 가치가 있다"라고 썼다.page=306 (Cited in Gujarati et al. 2009, p. 400) 또한, 또 다른 경고는 "이분산성은 결코 다른 좋은 모형을 버릴 이유가 되지 않는다"라는 형태로 주어졌다.doi-access=free 오차항의 조건부 두 번째 모멘트를 지정하지 않고도 추론을 가능하게 하는 이분산성-일치 표준 오차의 등장으로, 조건부 등분산성 검정은 과거만큼 중요하지 않다. 그러나 모든 비선형 모형(예: 로짓 및 프로빗 모형)의 경우 이분산성은 더 심각한 결과를 초래한다. 모수의 최대 가능도 추정값(MLE)은 일반적으로 편향될 뿐만 아니라 비일관적이다(가능도 함수가 이분산성의 정확한 형태를 올바르게 고려하도록 수정되거나 분포가 선형 지수족의 구성원이고 조건부 기댓값 함수가 올바르게 지정된 경우가 아니면).work=Econometrics Beatissn=0012-9682 하지만 이항 선택 모형(로짓 또는 프로빗)의 맥락에서 이분산성은 오지정된 MLE(즉, 이분산성을 무시한 모형)의 점근 평균에 대한 긍정적인 스케일링 효과만을 초래한다.doi=10.1016/j.econlet.2016.11.024 결과적으로 오지정된 MLE를 기반으로 한 예측은 여전히 정확할 것이다. 또한 오지정된 프로빗 및 로짓 MLE는 점근적으로 정규 분포를 따르므로 일반적인 유의성 검정(적절한 분산-공분산 행렬 포함)을 수행할 수 있다. 그러나 일반적인 가설 검정과 관련하여 그린이 지적했듯이 "그렇지 않으면 일관성이 없는 추정량에 대해 단순히 강건한 공분산 행렬을 계산하는 것만으로는 구제되지 않는다. 결과적으로 이 설정에서 강건한 공분산 행렬의 가치는 불분명하다."chapter-url=https://books.google.com/books?id=-WFPYgEACAAJ&pg;=PA733
# 수정
이분산성에 대한 몇 가지 일반적인 수정 방법이 있다. 다음과 같다. * 데이터의 안정화 변환, 예: 로그 변환된 데이터. 지수적으로 증가하는 비로그 변환된 시계열은 시간이 지남에 따라 변동성이 증가하는 것처럼 보인다. 그러나 백분율 측면의 변동성은 상당히 안정적일 수 있다. * 모델에 다른 사양 사용 (다른 X 변수 또는 X 변수의 비선형 변환). * 가중 최소 제곱법 추정 방법을 적용한다. 이 방법에서는 OLS를 X와 Y의 변환되거나 가중치가 부여된 값에 적용한다. 가중치는 관측치마다 다르며, 일반적으로 변화하는 오차 분산에 따라 달라진다. 한 변형에서는 가중치가 종속 변수의 크기와 직접적으로 관련되며, 이는 최소 제곱 백분율 회귀에 해당한다.url=https://digitalcommons.wayne.edu/jmasm/vol7/iss2/18 * 이분산성-일치 표준 오차 (HCSE)는 여전히 편향되어 있지만 OLS 추정값을 개선한다. HCSE는 이분산성이 있는 회귀 모형에서 표준 오차의 일치 추정량이다. 이 방법은 계수의 값을 변경하지 않고 이분산성을 수정한다. 이분산성이 존재할 경우 이를 수정하므로 일반 OLS보다 우수할 수 있지만, 데이터가 등분산적일 경우 표준 오차는 OLS로 추정된 기존 표준 오차와 동일하다. 이분산성-일치 표준 오차 계산을 위한 화이트 방법의 여러 수정안이 우수한 유한 표본 속성을 가진 수정안으로 제안되었다. * 와일드 부트스트래핑은 오차항의 조건부 분산의 차이를 존중하는 재표본 추출 방법으로 사용될 수 있다. 다른 방법은 오차 대신 관측치를 재표본 추출하는 것이다. 관측치의 관련 값에 관계없이 오차를 재표본 추출하면 등분산성을 강제하므로 잘못된 추론을 생성한다. * MINQUE 또는 s_i^2 = (n_i - 1)^{-1} \sum_j \left(y_{ij} - \bar{y}_i\right)^2 (각각 j=1, 2, ..., n_i 관측치가 있는 i=1,2,...,k 독립 표본의 경우)와 같은 일반적인 추정량을 사용한다. 이들의 효율성 손실은 표본당 관측치 수가 많을 때 (n_i > 5), 특히 독립 표본 수가 적을 때 중요하지 않다.number=1
# 검정
시뮬레이션된 1차 이분산성 데이터에 대한 잔차의 절대값 잔차는 브로이시-페이건 검정을 사용하여 등분산성 여부를 검정할 수 있다.issn=0012-9682 이 검정은 독립 변수에 대한 제곱 잔차의 보조 회귀를 수행한다. 이 보조 회귀에서 설명된 제곱합이 유지되고, 2로 나눈 다음, 독립 변수의 수와 동일한 자유도를 가진 카이제곱 분포에 대한 검정 통계량이 된다.language=en-US 이 카이제곱 검정의 귀무 가설은 등분산성이고, 대립 가설은 이분산성을 나타낸다. 브로이시-페이건 검정은 정규성 이탈 또는 작은 표본 크기에 민감하기 때문에, 코엔커-바셋 또는 '일반화된 브로이시-페이건' 검정이 대신 흔히 사용된다.date=November 2020 보조 회귀에서 R-제곱 값이 유지되고, 표본 크기로 곱한 다음, 카이제곱 분포에 대한 검정 통계량이 된다 (동일한 자유도 사용). 코엔커-바셋 검정에는 필요하지 않지만, 브로이시-페이건 검정에서는 제곱 잔차를 잔차 제곱합을 표본 크기로 나눈 값으로도 나누어야 한다.pages=12–18 그룹별 이분산성 검정은 골드펠드-콴트 검정으로 수행할 수 있다.doi-access=free 이분산성-일치 표준 오차의 표준 사용과 사전 검정 문제로 인해, 오늘날 계량경제학자들은 조건부 이분산성 검정을 거의 사용하지 않는다.
## 검정 목록
그룹 간 이분산성 검정은 형식적으로 회귀 모델 내 검정의 특수한 경우로 간주될 수 있지만, 일부 검정은 이 경우에 특정한 구조를 가지고 있다. Columns-start ; 회귀에서의 검정 * 골드펠드-콴트 검정 * 파크 검정jstor=1910108 * 글레이저 검정doi=10.1080/01621459.1969.10500976doi=10.1016/S0304-4076(00)00016-6 * 해리슨-매케이브 검정 * 브로이시-페이건 검정 * 화이트 검정 * 쿡-바이스베르그 검정 Column ; 그룹화된 데이터에 대한 검정 * 분산 동일성 F-검정 * 코크란의 C 검정 * 하틀리의 검정 * 바틀렛 검정 * 레빈 검정 * 브라운-포사이스 검정Columns-end
# 일반화

## 등분산성 분포
두 개 이상의 정규 분포, N(\mu_1,\Sigma_1), N(\mu_2,\Sigma_2), 는 공분산 행렬에서 동일한 대각선을 공유하고 \Sigma_1{ii} = \Sigma_2{jj},\ \forall i=j. 비대각선 항목이 0이면 등분산성 및 자기상관이 없다. 등분산성 분포는 통계적 패턴 인식 및 기계 학습 알고리즘을 도출하는 데 특히 유용하다. 등분산성을 가정하는 알고리즘의 인기 있는 예로는 피셔의 선형 판별 분석이 있다. 등분산성 개념은 구형 분포에도 적용될 수 있다.Hamsici, Onur C.; Martinez, Aleix M. (2007) "Spherical-Homoscedastic Distributions: The Equivalency of Spherical and Normal Distributions in Classification", Journal of Machine Learning Research, 8, 1583-1623
## 다변량 데이터
등분산성 및 이분산성 연구는 스칼라 관측치의 분산 대신 벡터 관측치의 공분산을 다루는 다변량 사례로 일반화되었다. 이 중 한 가지 버전은 공분산 행렬을 다변량 산포 측정값으로 사용하는 것이다. 여러 저자들이 회귀 및 그룹화된 데이터 상황 모두에서 이 맥락의 검정들을 고려했다.hdl-access = freejstor=2336564 그룹화된 데이터 간의 이분산성에 대한 바틀렛 검정은 단변량 사례에서 가장 흔히 사용되었지만, 다변량 사례로도 확장되었다. 그러나 다루기 쉬운 해법은 두 그룹에 대해서만 존재한다.isbn = 978-0470849071 두 개 이상의 그룹에 대한 근사치는 존재하며, 둘 다 박스의 M 검정이라고 불린다.
# 추가 자료
대부분의 통계 교과서에는 등분산성 및 이분산성에 대한 내용이 포함되어 있다. 몇 가지 예는 다음과 같다. * url=https://books.google.com/books?id=6qYcBQAAQBAJ&pg;=PA109 * url=https://books.google.com/books?id=Ot6DByCF6osC&pg;=PA547 * url=https://books.google.com/books?id=UXucAQAAQBAJ&pg;=PA280 * url=https://books.google.com/books?id=6l1CPgAACAAJ&pg;=PA365 * url-access=registration * url=https://books.google.com/books?id=vkQvQgAACAAJ&pg;=PA211