shopkeeper/korean_wiki_content_only_120125 huggingface dataset:
이는 회귀에서 사용할 예측 변수의 수를 결정하는 데 자주 사용된다. 교차타당도가 없으면 예측 변수를 추가하면 항상 잔차 제곱합이 감소하거나(또는 변경되지 않거나) 감소한다. 대조적으로, 교차타당도된 평균 제곱 오차는 유효한 예측 변수가 추가되면 감소하는 경향이 있지만, 가치 없는 예측 변수가 추가되면 증가하는 경향이 있다.
몬테카를로 교차타당도.
하위 표본 추출은 추정량의 표본 분포를 근사하는 대안적인 방법이다. 부트스트랩과의 두 가지 주요 차이점은 다음과 같다:
하위 표본 추출의 장점은 부트스트랩에 비해 훨씬 약한 조건에서도 유효하다는 점이다. 특히 충분 조건은 추정량의 수렴 속도가 알려져 있고 극한 분포가 연속적이라는 것이다.
또한 재표본(또는 하위 표본) 크기는 표본 크기와 함께 무한대로 수렴해야 하지만 더 작은 속도로 수렴해야 하므로 그 비율은 0으로 수렴한다. 하위 표본 추출은 원래 독립적이고 동일하게 분포된(iid) 데이터의 경우에만 제안되었지만, 이 방법론은 시계열 데이터도 포함하도록 확장되었다. 이 경우 개별 데이터 포인트 대신 연속된 데이터 블록을 재표본 추출한다. 하위 표본 추출이 유효한 추론을 제공하는 반면 부트스트랩은 그렇지 않은 적용상의 흥미로운 경우가 많다. 예를 들어, 이러한 경우에는 추정량의 수렴 속도가 표본 크기의 제곱근이 아니거나 극한 분포가 비정규인 경우가 포함된다. 하위 표본 추출과 부트스트랩이 모두 일관성이 있을 때 부트스트랩이 일반적으로 더 정확하다. RANSAC은 하위 표본 추출을 사용하는 인기 있는 알고리즘이다.
잭나이프 교차타당도.
잭나이프(잭나이프 교차타당도)는 통계량의 편향 및 표준 오차(분산)를 추정하기 위해 사용되는 통계적 추론 방법으로, 관측값의 무작위 표본을 사용하여 계산된다. 역사적으로 이 방법은 부트스트랩의 발명보다 앞서 모리스 케누이가 1949년에 이 방법을 발명하고 존 투키가 1958년에 확장했다. 이 방법은 프라산타 찬드라 마할라노비스가 1946년에 표본의 절반을 무작위로 선택하여 관심 통계량의 반복 추정치를 제안하면서 예고되었다. 그는 이 방법을 '상호 침투 표본(interpenetrating samples)'이라고 명명했다.
케누이는 표본 추정치의 편향을 줄일 목적으로 이 방법을 발명했다. 투키는 복제본을 동일하게 독립적으로 분포된 것으로 간주할 수 있다면 표본 모수의 분산 추정치를 만들 수 있고, 이는 n-1 자유도를 가진 t 변수(n은 표본 크기)로 근사적으로 분포될 것이라고 가정하여 이 방법을 확장했다.
잭나이프 분산 추정량의 기본 아이디어는 표본 집합에서 한 번에 하나 이상의 관측값을 제외하고 통계량 추정치를 체계적으로 다시 계산하는 것이다. 이 새로운 통계량 복제본 집합으로부터 편향 추정치와 통계량의 분산 추정치를 계산할 수 있다. 잭나이프는 무작위(하위 표본 추출) Leave-One-Out 교차타당도와 동일하며, 목표만 다르다.
많은 통계적 모수에 대해 잭나이프 분산 추정치는 거의 확실하게 참값으로 점근적으로 수렴하는 경향이 있다. 기술적인 용어로 잭나이프 추정치는 일치성이 있다고 말한다. 잭나이프는 표본 평균값, 표본 분산, 중심 및 비중심 t-통계량(비정규 모집단 가능), 표본 변동 계수, 최대 우도 추정량, 최소 제곱 추정량, 피어슨 상관 계수 및 회귀 계수에 대해 일치성을 갖는다.
표본 중앙값에는 일치하지 않는다. 단일 모드 변수의 경우 잭나이프 분산 대 표본 분산의 비율은 두 자유도를 가진 카이 제곱 분포의 제곱의 절반으로 분포되는 경향이 있다.
분산을 추정하기 위해 잭나이프를 사용하는 대신 분산의 로그에 적용할 수도 있다. 이 변환은 특히 분산 자체의 분포가 비정규일 때 더 나은 추정치를 얻을 수 있다.
잭나이프는 원래 부트스트랩과 마찬가지로 데이터의 독립성에 의존한다. 데이터의 의존성을 허용하기 위한 잭나이프 확장이 제안되었다. 그러한 확장 중 하나는 푸아송 표본 추출과 함께 사용되는 그룹 삭제 방법이다.
부트스트랩과 잭나이프 비교.
두 방법, 부트스트랩과 잭나이프는 모수적 가정에서가 아니라 하위 표본들 사이의 통계량 변동성으로부터 통계량의 변동성을 추정한다. 보다 일반적인 잭나이프인 m개 관측값을 삭제하는 잭나이프의 경우, 부트스트랩은 그것의 무작위 근사치로 볼 수 있다. 둘 다 유사한 수치 결과를 산출하며, 이는 각 방법이 서로의 근사치로 볼 수 있는 이유이다. 수학적 통찰력에 큰 이론적 차이가 있지만, 통계 사용자에게 주요 실질적인 차이점은 부트스트랩은 동일한 데이터에 반복적으로 적용될 때 다른 결과를 제공하는 반면, 잭나이프는 매번 정확히 동일한 결과를 제공한다는 것이다. 이 때문에 잭나이프는 추정치가 발행 전에 여러 번 검증되어야 할 때 (예: 공식 통계 기관) 인기가 있다. 반면에 이러한 검증 기능이 중요하지 않고 숫자가 아니라 분포에 대한 아이디어만 있으면 되는 경우 (예: 물리학, 경제학, 생물학 분야 연구) 부트스트랩이 선호된다.
부트스트랩을 사용할지 잭나이프를 사용할지는 설문 조사의 통계적 고려 사항보다는 운영적인 측면에 더 많이 의존할 수 있다. 원래 편향 감소를 위해 사용된 잭나이프는 보다 전문적인 방법이며 점 추정량의 분산만 추정한다. 이는 기본적인 통계적 추론(예: 가설 검정, 신뢰 구간)에 충분할 수 있다. 반면에 부트스트랩은 먼저 (점 추정량의) 전체 분포를 추정하고 그로부터 분산을 계산한다. 강력하고 쉽지만, 이는 계산적으로 매우 집약적일 수 있다.
"부트스트랩은 분산 및 분포 추정 문제 모두에 적용될 수 있다. 그러나 부트스트랩 분산 추정량은 경험적 결과 측면에서 잭나이프 또는 균형 반복 복제 (BRR) 분산 추정량만큼 좋지 않다. 또한 부트스트랩 분산 추정량은 일반적으로 잭나이프 또는 BRR보다 더 많은 계산을 필요로 한다. 따라서 부트스트랩은 주로 분포 추정에 권장된다."
잭나이프, 특히 1개 관측값 삭제 잭나이프에는 특별한 고려 사항이 있다. 이는 매끄럽고 미분 가능한 통계량(예: 총합, 평균, 비율, 승산비, 회귀 계수 등; 중앙값 또는 분위수에는 해당되지 않음)에만 사용해야 한다. 이는 실질적인 단점이 될 수 있다. 이 단점은 일반적으로 잭나이프보다 부트스트랩을 선호하는 주장이 된다. m개 삭제 잭나이프 또는 2개만 남기고 모두 삭제하는 호지스-레만 추정량과 같은 1개 삭제보다 더 일반적인 잭나이프는 일치 분산 추정을 위한 매끄러움 요구 사항을 완화하여 중앙값 및 분위수에 대한 이 문제를 극복한다.
일반적으로 잭나이프는 부트스트랩보다 복잡한 표본 추출 방식에 적용하기 더 쉽다. 복잡한 표본 추출 방식에는 층화, 다단계(군집화), 다양한 표본 추출 가중치(무응답 조정, 보정, 후층화) 및 불균등 확률 표본 추출 설계가 포함될 수 있다. 부트스트랩과 잭나이프의 이론적 측면은 Shao와 Tu (1995)에서 찾을 수 있으며, 기본적인 소개는 Wolter (2007)에 설명되어 있다. 모델 예측 편향의 부트스트랩 추정치는 선형 판별 함수 또는 다중 회귀와 같은 선형 모델에서 잭나이프 추정치보다 더 정확하다.
통계학에서 콜모고로프-스미르노프 검정(Kolmogorov–Smirnov test, K-S 검정 또는 KS 검정)은 연속(또는 불연속, 섹션 2.2 참조) 1차원 확률 분포의 등가성에 대한 비모수 검정이다. 이 검정은 표본이 주어진 기준 확률 분포에서 나왔는지(1-표본 K-S 검정), 또는 두 표본이 같은 분포에서 나왔는지(2-표본 K-S 검정)를 검정하는 데 사용될 수 있다. 이 검정은 1930년대에 이를 개발한 안드레이 콜모고로프와 니콜라이 스미르노프의 이름을 따서 명명되었다.
콜모고로프-스미르노프 통계량은 표본의 경험적 누적 분포 함수와 기준 분포의 누적 분포 함수 사이, 또는 두 표본의 경험적 누적 분포 함수 사이의 거리를 정량화한다. 이 통계량의 영 분포는 표본이 기준 분포에서 추출되었거나(1-표본의 경우) 표본이 동일한 분포에서 추출되었다는(2-표본의 경우) 귀무 가설 하에 계산된다. 1-표본의 경우, 귀무 가설 하에 고려되는 분포는 연속적일 수 있거나(섹션 2 참조), 순수하게 이산적이거나 혼합될 수 있다(섹션 2.2 참조). 2-표본의 경우(섹션 3 참조), 귀무 가설 하에 고려되는 분포는 연속 분포이지만 그 외에는 제한이 없다.
2-표본 K-S 검정은 두 표본의 경험적 누적 분포 함수의 위치와 형태의 차이에 모두 민감하므로 두 표본을 비교하는 데 가장 유용하고 일반적인 비모수 방법 중 하나이다.
콜모고로프-스미르노프 검정은 적합도 검정으로 사용되도록 수정될 수 있다. 분포의 정규성을 검정하는 특수한 경우, 표본은 표준화되어 표준 정규 분포와 비교된다. 이는 기준 분포의 평균과 분산을 표본 추정치와 동일하게 설정하는 것과 같으며, 이를 사용하여 특정 기준 분포를 정의하면 검정 통계량의 영 분포가 변경되는 것으로 알려져 있다(추정된 매개변수를 사용한 검정 참조). 다양한 연구에서 이 보정된 형태에서도 이 검정이 샤피로-윌크 검정 또는 앤더슨-달링 검정보다 정규성을 검정하는 데 검정력이 낮다는 사실이 밝혀졌다. 그러나 이러한 다른 검정에는 자체적인 단점이 있다. 예를 들어, 샤피로-윌크 검정은 동일한 값이 많은 표본에서는 잘 작동하지 않는 것으로 알려져 있다.
1-표본 콜모고로프-스미르노프 통계량.
n개의 독립적이고 동일하게 분포된(i.i.d.) 순서 관측치 Xi에 대한 경험적 누적 분포 함수 Fn은 다음과 같이 정의된다.
여기서 formula_2는 지시 함수이며, formula_3이면 1이고 그렇지 않으면 0이다.
주어진 누적 분포 함수 F(x)에 대한 콜모고로프-스미르노프 통계량은 다음과 같다.
여기서 supx는 거리 집합의 상한이다. 직관적으로 이 통계량은 모든 x 값에서 두 분포 함수 사이의 가장 큰 절대 차이를 취한다.
글리벤코-칸텔리 정리에 따르면, 표본이 분포 F(x)에서 나온 경우, formula_5이 무한대로 갈 때 Dn은 거의 확실하게 0으로 수렴한다. 콜모고로프는 이 수렴 속도를 효과적으로 제공함으로써 이 결과를 강화했다(콜모고로프 분포 참조). 돈스커 정리는 훨씬 더 강력한 결과를 제공한다.
실제로 이 통계량은 귀무 가설을 적절하게 기각하기 위해 상대적으로 많은 수의 데이터 포인트가 필요하다(앤더슨-달링 검정 통계량과 같은 다른 적합도 기준과 비교할 때).
콜모고로프 분포.
콜모고로프 분포는 다음 확률 변수의 분포이다.
여기서 B(t)는 브라운교이다. K의 누적 분포 함수는 다음과 같다.
이는 야코비 세타 함수 formula_8로도 표현될 수 있다. 콜모고로프-스미르노프 검정 통계량의 형식과 귀무 가설 하에서의 점근 분포는 안드레이 콜모고로프가 발표했으며, 분포 표는 니콜라이 스미르노프가 발표했다. 유한 표본에서 검정 통계량 분포에 대한 점화식도 구할 수 있다.
표본이 가설 분포 F(x)에서 나왔다는 귀무 가설 하에,
분포 수렴이 발생하며, 여기서 B(t)는 브라운교이다. F가 연속이면 귀무 가설 하에 formula_10은 콜모고로프 분포로 수렴하며, 이는 F에 의존하지 않는다. 이 결과는 콜모고로프 정리로도 알려져 있다.
formula_5이 유한할 때 formula_12의 정확한 CDF에 대한 근사치로서 이 극한의 정확도는 그리 인상적이지 않다. formula_13일 때조차 해당 최대 오차는 약 formula_14이며, formula_15일 때 이 오차는 formula_16로 증가하고, formula_17일 때는 전혀 허용할 수 없는 formula_18로 증가한다. 그러나 자코비 세타 함수의 인수에 formula_19 대신
을 대입하는 매우 간단한 방법으로 이러한 오차는 각각
formula_21, formula_22, formula_23로 줄어든다. 이러한 정확도는 일반적으로 모든 실제 적용에 충분한 것으로 간주될 것이다.
적합도 검정 또는 콜모고로프-스미르노프 검정은 콜모고로프 분포의 임계값을 사용하여 구성될 수 있다. 이 검정은 formula_24일 때 점근적으로 유효하다. 귀무 가설은 수준 formula_25에서 기각되며,
여기서 Kα는 다음으로부터 얻어진다.
이 검정의 점근 검정력은 1이다.
임의의 formula_5과 formula_19에 대해 cdf formula_30 또는 그 보수를 계산하는 빠르고 정확한 알고리즘은 다음에서 찾을 수 있다.
추정된 매개변수를 사용한 검정.
F(x)의 형식이나 매개변수가 데이터 Xi에서 결정되는 경우, 이러한 방식으로 결정된 임계값은 유효하지 않다. 이러한 경우에는 몬테카를로 또는 다른 방법이 필요할 수 있지만, 일부 경우에는 표가 작성되어 있다. 정규 분포 및 지수 분포에 대한 검정 통계량의 필요한 수정 및 임계값에 대한 세부 정보가 게시되었으며, 이후 출판물에는 굼벨 분포도 포함된다. 릴리포스 검정은 정규 분포에 대한 이 특수한 경우를 나타낸다. 로그 변환은 콜모고로프 검정 데이터가 정규 분포에서 나왔다는 가정에 맞지 않는 경우를 극복하는 데 도움이 될 수 있다.
매개변수를 추정할 때는 어떤 추정 방법을 사용해야 하는지에 대한 의문이 생긴다. 일반적으로 최대가능도 방법이 사용되지만, 예를 들어 정규 분포의 경우 MLE는 시그마에 대한 큰 편향 오차를 가지고 있다. 대신 모멘트 적합 또는 KS 최소화를 사용하면 임계값에 큰 영향을 미치고, 검정력에도 어느 정도 영향을 미친다. df = 2인 스튜던트-T 데이터에 대해 KS 검정을 통해 데이터가 정규 분포인지 아닌지를 결정해야 하는 경우, H0(데이터가 정규 분포이므로 스케일에는 표준 편차 사용)에 기반한 ML 추정은 KS 최소화를 통한 적합보다 훨씬 큰 KS 거리를 제공할 것이다. 이 경우 H0를 기각해야 하는데, 이는 MLE의 경우 종종 발생한다. 왜냐하면 T-2 데이터의 표본 표준 편차는 매우 클 수 있지만, KS 최소화를 사용하면 H0를 기각하기에는 여전히 너무 낮은 KS를 얻을 수 있기 때문이다. 스튜던트-T의 경우, MLE 대신 KS 추정치를 사용한 수정된 KS 검정은 KS 검정을 실제로 약간 더 나쁘게 만든다. 그러나 다른 경우에는 이러한 수정된 KS 검정이 약간 더 나은 검정력을 제공한다.
이산 및 혼합 영 분포.
formula_31가 비감소적이고 우연속적이며 셀 수 있는(무한할 수도 있는) 수의 점프를 가진다는 가정 하에, KS 검정 통계량은 다음과 같이 표현될 수 있다.
formula_31의 우연속성으로부터 formula_34 및 formula_35가 성립하며, 따라서 formula_36의 분포는 영 분포 formula_31에 의존하게 된다. 즉, 연속적인 경우처럼 분포에 독립적이지 않다. 따라서 formula_31가 순수 이산적이거나 혼합일 때 formula_36의 정확하고 점근적인 분포를 계산하기 위한 빠르고 정확한 방법이 개발되었으며, C++ 및 R 언어의 KSgeneral 패키지에 구현되어 있다. codice_1, codice_2 및 codice_3 함수는 순수 이산, 혼합 또는 연속 영 분포 및 임의 표본 크기에 대한 KS 검정 통계량과 p-값도 계산한다. 이산 영 분포 및 작은 표본 크기에 대한 KS 검정 및 p-값은에서 R 언어의 dgof 패키지의 일부로 계산된다. SAS codice_4, Stata codice_5와 같은 주요 통계 패키지는 formula_40가 연속이라는 가정 하에 KS 검정을 구현하는데, 이는 영 분포가 실제로 연속이 아닌 경우 더 보수적이다(Noether63&lt;/ref&gt;
참조).
2-표본 콜모고로프-스미르노프 검정.
콜모고로프-스미르노프 검정은 두 개의 기초적인 1차원 확률 분포가 다른지 여부를 검정하는 데에도 사용될 수 있다. 이 경우 콜모고로프-스미르노프 통계량은 다음과 같다.
여기서 formula_42 및 formula_43은 각각 첫 번째 표본과 두 번째 표본의 경험적 누적 분포 함수이며, formula_44는 상한 함수이다.
큰 표본의 경우, 귀무 가설은 수준 formula_25에서 기각된다.
여기서 formula_5과 formula_48은 각각 첫 번째와 두 번째 표본의 크기이다. formula_49 값은 가장 일반적인 formula_25 수준에 대해 아래 표에 나와 있다.
그리고 일반적으로 다음으로 주어진다.
따라서 조건은 다음과 같다.
여기서 다시 표본 크기가 클수록 최소 경계가 더 민감해진다. 주어진 표본 크기 비율(예: formula_53)의 경우, 최소 경계는 표본 중 하나의 크기에 따라 역제곱근에 비례하여 조정된다.
두 표본 검정은 두 데이터 표본이 동일한 분포에서 왔는지 여부를 확인한다. 이는 공통 분포가 무엇인지(예: 정규 분포인지 아닌지)를 지정하지 않는다. 다시, 임계값 표가 발행되었다. 단변량 콜모고로프-스미르노프 검정의 단점은 두 분포 함수 간의 모든 가능한 유형의 차이에 민감하도록 고안되었기 때문에 검정력이 그리 강하지 않다는 것이다. 일부 사람들은 원래 위치와 스케일을 동시에 비교하기 위해 제안된 쿠코니 검정이 두 분포 함수를 비교할 때 콜모고로프-스미르노프 검정보다 훨씬 더 강력할 수 있다고 주장한다.
2-표본 KS 검정은 경제학에서 비대칭 효과를 감지하고 자연 실험을 연구하는 데 적용되었다.
분포 함수의 형태에 대한 신뢰 한계 설정.
콜모고로프-스미르노프 검정은 일반적으로 주어진 F(x)가 Fn(x)의 기초 확률 분포인지 여부를 검정하는 데 사용되지만, 이 절차를 역으로 적용하여 F(x) 자체에 대한 신뢰 한계를 제공할 수 있다. 검정 통계량 Dα의 임계값을 P(Dn &gt; Dα) = α가 되도록 선택하면 Fn(x) 주변의 ±Dα 폭의 구간은 확률 1 − α로 F(x)를 완전히 포함한다.
다차원 콜모고로프-스미르노프 통계량.
분포에 독립적인 다변량 콜모고로프-스미르노프 적합도 검정이 후스텔, 페냐, 자마르(1997)에 의해 제안되었다. 이 검정은 로젠블라트 변환을 사용하여 구축된 통계량을 사용하며, 이변량 경우에 이를 계산하는 알고리즘이 개발되었다. 또한 어떤 차원에서도 쉽게 계산할 수 있는 근사 검정도 제시되어 있다.
다변량 데이터에 유사한 검정을 적용하려면 콜모고로프-스미르노프 검정 통계량을 수정해야 한다. 이는 두 결합 누적 분포 함수 간의 최대 차이가 일반적으로 보완 분포 함수 중 어느 하나와의 최대 차이와 같지 않기 때문에 간단하지 않다. 따라서 formula_54 또는 formula_55 또는 다른 두 가지 가능한 배치 중 어느 것을 사용하는지에 따라 최대 차이가 달라질 것이다. 사용된 검정 결과가 어떤 선택에 의존하지 않아야 한다고 요구할 수 있다.
콜모고로프-스미르노프 통계량을 더 높은 차원으로 일반화하는 한 가지 접근 방식은 두 표본의 cdf를 가능한 모든 순서로 비교하고 결과 KS 통계량 세트 중 가장 큰 값을 취하는 것이다. d차원에서 이러한 순서는 2d − 1개가 있다. 이러한 변형 중 하나는 피콕(Peacock)의 것이며
다른 하나는 파사노(Fasano)와 프란체스키니(Franceschini)의 것이다 (비교 및 계산 세부 정보는 로페스 등 참조). 검정 통계량의 임계값은 시뮬레이션을 통해 얻을 수 있지만, 결합 분포의 의존성 구조에 따라 달라진다.
콜모고로프-스미르노프 검정은 많은 소프트웨어 프로그램에 구현되어 있다. 대부분은 1-표본 및 2-표본 검정을 모두 구현한다.
통계학에서 자크-베라 검정(Jarque–Bera test)은 표본 데이터가 정규 분포와 일치하는 비대칭도와 첨도를 가지는지 여부를 확인하는 적합도 검정이다. 이 검정은 카를로스 자크와 아닐 K. 베라의 이름을 따서 명명되었다.
검정 통계량은 항상 음수가 아니다. 0에서 멀리 떨어져 있으면 데이터가 정규 분포를 따르지 않는다는 신호이다.
검정 통계량 JB는 다음과 같이 정의된다.
여기서 n은 관측치 수(또는 일반적으로 자유도)이고, S는 표본 비대칭도, K는 표본 첨도이다.
여기서 formula_4와 formula_5는 각각 3차 및 4차 중심 모멘트의 추정값이며, formula_6는 표본 평균이고,
formula_7는 2차 중심 모멘트인 분산의 추정값이다.
데이터가 정규 분포에서 나온 경우, JB 통계량은 점근적으로 두 자유도를 가진 카이제곱 분포를 따르므로, 이 통계량을 사용하여 데이터가 정규 분포에서 나왔다는 가설을 검정할 수 있다. 귀무 가설은 비대칭도가 0이고 초과 첨도가 0이라는 결합 가설이다. 정규 분포에서 추출된 표본은 기대 비대칭도가 0이고 기대 초과 첨도가 0(첨도 3과 동일)이다. JB의 정의에서 알 수 있듯이, 이로부터의 모든 편차는 JB 통계량을 증가시킨다.
작은 표본의 경우 카이제곱 근사는 지나치게 민감하여 귀무 가설이 참일 때에도 종종 기각한다. 또한, p-값의 분포는 균일 분포에서 벗어나 특히 작은 p-값에 대해 오른쪽으로 치우친 단봉 분포가 된다. 이는 높은 1종 오류율을 초래한다. 아래 표는 작은 표본에 대해 참 알파 수준과 다른, 카이제곱 분포로 근사된 일부 p-값을 보여준다.
매트랩의 구현에서 JB 통계량 분포에 대한 카이제곱 근사는 큰 표본 크기(&gt; 2000)에만 사용된다. 작은 표본의 경우, p-값을 보간하기 위해 몬테카를로 시뮬레이션에서 파생된 테이블을 사용한다.
이 통계량은 카를로스 M. 자크와 아닐 K. 베라가 호주 국립대학교에서 박사 학위 논문을 작업하는 동안 도출되었다.
회귀 분석에서의 자크-베라 검정.
로버트 홀, 데이비드 릴리언 외 (1995)에 따르면, 다중 회귀 분석과 함께 이 검정을 사용할 때 올바른 추정값은 다음과 같다.
여기서 n은 관측치 수이고 k는 방정식에 대한 잔차를 검토할 때의 회귀변수 수이다.
아카이케 정보 기준(Akaike information criterion, AIC)은 예측 오류의 추정량이자 주어진 데이터 세트에 대한 통계 모델의 상대적인 품질을 나타내는 지표이다. 주어진 데이터에 대한 모델 집합이 있을 때, AIC는 각 모델의 품질을 다른 모델들과 비교하여 추정한다. 따라서 AIC는 모형 선택을 위한 수단을 제공한다.
AIC는 정보 이론에 기반을 둔다. 통계 모델이 데이터를 생성한 프로세스를 나타내는 데 사용될 때, 그 표현은 거의 정확하지 않으므로 모델을 사용하여 프로세스를 나타내면 일부 정보가 손실된다. AIC는 주어진 모델이 잃는 상대적인 정보량을 추정한다. 모델이 잃는 정보가 적을수록 모델의 품질은 더 높다.
모델이 잃는 정보량을 추정할 때, AIC는 모델의 적합도와 모델의 단순성 사이의 균형을 다룬다. 즉, AIC는 과적합 위험과 과소적합 위험을 모두 다룬다.
아카이케 정보 기준은 이를 공식화한 일본 통계학자 아카이케 히로쓰구의 이름을 따서 명명되었다. 현재 이 기준은 통계학의 기초를 위한 패러다임의 기반을 형성하며, 통계적 추론에도 널리 사용된다.
어떤 데이터의 통계 모델이 있다고 가정해 보자. 모델에서 추정된 매개변수의 수를 라고 하자. 모델의 가능도 함수의 최댓값을 formula_1이라고 하자. 그러면 모델의 AIC 값은 다음과 같다.
데이터에 대한 후보 모델 세트가 주어지면, 최소 AIC 값을 가진 모델이 선호되는 모델이다. 따라서 AIC는 적합도 (가능도 함수로 평가됨)에 보상을 주지만, 추정된 매개변수 수의 증가 함수인 페널티도 포함한다. 페널티는 과적합을 막는데, 이는 모델의 매개변수 수를 늘리면 거의 항상 적합도가 향상되기 때문에 바람직하다.
데이터가 어떤 알 수 없는 프로세스 f에 의해 생성되었다고 가정해 보자. 우리는 f를 나타내기 위한 두 가지 후보 모델 g1과 g2를 고려한다. 만약 f를 알았다면, g1을 사용하여 f를 나타낼 때 손실되는 정보를 쿨백-라이블러 발산, 를 계산하여 찾을 수 있을 것이고, 마찬가지로 g2를 사용하여 f를 나타낼 때 손실되는 정보는 를 계산하여 찾을 수 있을 것이다. 그러면 우리는 일반적으로 정보 손실을 최소화하는 후보 모델을 선택할 것이다.
우리는 f를 알지 못하기 때문에 확실하게 선택할 수 없다. 하지만 는 AIC를 통해 g1이 g2보다 얼마나 더(또는 덜) 정보를 잃는지 추정할 수 있음을 보여주었다. 그러나 이 추정치는 점근적으로만 유효하다. 데이터 포인트 수가 적으면 종종 어떤 보정이 필요하다(아래 AICc 참조).
AIC는 모델의 절대적인 품질이 아니라 다른 모델에 대한 상대적인 품질만을 알려준다는 점에 유의해야 한다. 따라서 모든 후보 모델이 적합도가 낮다면 AIC는 이에 대한 경고를 주지 않는다. 그러므로 AIC를 통해 모델을 선택한 후에는 일반적으로 모델의 절대적인 품질을 검증하는 것이 좋은 관행이다. 이러한 검증은 일반적으로 모델의 잔차 (잔차가 무작위로 보이는지 확인하기 위해) 및 모델 예측에 대한 테스트를 포함한다. 이 주제에 대한 자세한 내용은 통계 모델 검증을 참조하라.
실제로 AIC를 사용하는 방법.
실제로 AIC를 적용하기 위해, 우리는 후보 모델 세트에서 시작하여 해당 모델들의 AIC 값을 찾는다. 후보 모델을 사용하여 "진정한 모델", 즉 데이터를 생성한 프로세스를 나타내는 데 정보가 거의 항상 손실될 것이다. 우리는 후보 모델 중에서 정보 손실을 최소화하는 모델을 선택하고자 한다. 확실하게 선택할 수는 없지만, 추정된 정보 손실을 최소화할 수는 있다.
R개의 후보 모델이 있다고 가정하자. 이 모델들의 AIC 값을 AIC1, AIC2, AIC3, ..., AICR이라고 하자. 이 값들 중 최솟값을 AICmin이라고 하자. 그러면 exp((AICmin − AICi)/2) 값은 i번째 모델이 (추정된) 정보 손실을 최소화할 확률에 비례한다고 해석할 수 있다.
예를 들어, AIC 값이 100, 102, 110인 세 가지 후보 모델이 있다고 가정해 보자. 그러면 두 번째 모델은 첫 번째 모델보다 정보 손실을 최소화할 확률이 배 높다. 마찬가지로, 세 번째 모델은 첫 번째 모델보다 정보 손실을 최소화할 확률이 배 높다.
이 예에서는 세 번째 모델을 더 이상 고려하지 않는다. 그러면 세 가지 선택지가 있다. (1) 첫 번째 두 모델 사이를 명확하게 구별할 수 있기를 바라며 더 많은 데이터를 수집한다. (2) 단순히 데이터가 첫 번째 두 모델 중 하나를 선택하는 데 불충분하다고 결론 내린다. (3) 첫 번째 두 모델의 가중 평균을 각각 1과 0.368에 비례하는 가중치로 취하고, 가중 다중 모델을 기반으로 통계적 추론을 수행한다.
값은 모델 i의 상대 가능도라고 알려져 있다. 이는 가능도 비율 검정에 사용되는 가능도 비율과 밀접하게 관련되어 있다. 실제로 후보 세트의 모든 모델이 동일한 수의 매개변수를 갖는다면, AIC를 사용하는 것은 처음에는 가능도 비율 검정을 사용하는 것과 매우 유사하게 보일 수 있다. 그러나 중요한 차이점이 있다. 특히 가능도 비율 검정은 중첩 모델에만 유효하지만, AIC(및 AICc)는 이러한 제한이 없다.
가설 검정.
모든 통계적 가설 검정은 통계 모델의 비교로 공식화될 수 있다. 따라서 모든 통계적 가설 검정은 AIC를 통해 복제될 수 있다. 아래 하위 섹션에서 두 가지 예가 간략하게 설명되어 있다. 이 예제 및 더 많은 예제에 대한 자세한 내용은 및 에 나와 있다.
스튜던트 t-검정 복제.
가설 검정의 예로, 두 정규 분포 모집단의 평균을 비교하기 위한 T-검정을 고려해 보자. t-검정의 입력은 두 모집단 각각에서 추출한 무작위 표본으로 구성된다.
검정을 모델 비교로 공식화하기 위해, 우리는 두 가지 다른 모델을 구축한다. 첫 번째 모델은 두 모집단이 잠재적으로 다른 평균과 표준 편차를 가진다고 모델링한다. 따라서 첫 번째 모델의 가능도 함수는 두 개의 서로 다른 정규 분포에 대한 가능도의 곱이 된다. 따라서 이 모델은 의 네 가지 매개변수를 갖는다. 명확히 하자면, 가능도 함수는 다음과 같다 (표본 크기를 및 로 표기한다).
두 번째 모델은 두 모집단이 동일한 평균과 동일한 표준 편차를 가진다고 모델링한다. 따라서 두 번째 모델의 가능도 함수는 위 방정식에서 및 로 설정되므로, 두 개의 매개변수만 갖는다.
그런 다음 두 모델에 대한 가능도 함수를 최대화한다(실제로는 로그 가능도 함수를 최대화한다). 그 후에는 모델의 AIC 값을 쉽게 계산할 수 있다. 다음으로 상대 가능도를 계산한다. 예를 들어, 두 번째 모델이 첫 번째 모델보다 가능성이 0.01배에 불과하다면, 두 번째 모델은 더 이상 고려하지 않을 것이다. 따라서 두 모집단이 다른 평균을 가진다고 결론 내릴 것이다.
t-검정은 두 모집단이 동일한 표준 편차를 가진다고 가정한다. 이 가정이 틀리고 두 표본의 크기가 매우 다른 경우 t-검정은 신뢰할 수 없는 경향이 있다(웰치의 t-검정이 더 나을 것이다). 위 예와 같이 AIC를 통해 모집단의 평균을 비교하는 것도 같은 단점을 갖는다. 그러나 다른 표준 편차를 허용하는 세 번째 모델을 만들 수도 있다. 이 세 번째 모델은 추가 매개변수와 그에 따른 자유도 비용으로 그러한 가정을 하지 않는 장점이 있다.
범주형 데이터 세트 비교.
가설 검정의 또 다른 예로, 두 모집단이 있고 각 모집단의 구성원은 두 범주 중 하나에 속한다고 가정해 보자. 즉, 범주 #1 또는 범주 #2이다. 각 모집단은 이항 분포를 따른다. 우리는 두 모집단의 분포가 동일한지 알고 싶다. 우리는 두 모집단 각각에서 추출한 무작위 표본을 받는다.
첫 번째 모집단에서 추출한 표본의 크기를 이라고 하자. 표본에서 범주 #1의 관측치 수를 이라고 하자. 그러면 범주 #2의 관측치 수는 이다. 마찬가지로, 두 번째 모집단에서 추출한 표본의 크기를 이라고 하자. 표본에서 범주 #1의 관측치 수를 이라고 하자.
첫 번째 모집단에서 무작위로 선택된 구성원이 범주 #1에 속할 확률을 라고 하자. 따라서 첫 번째 모집단에서 무작위로 선택된 구성원이 범주 #2에 속할 확률은 이다. 첫 번째 모집단의 분포는 하나의 매개변수를 갖는다는 점에 유의하자. 두 번째 모집단에서 무작위로 선택된 구성원이 범주 #1에 속할 확률을 라고 하자. 두 번째 모집단의 분포도 하나의 매개변수를 갖는다는 점에 유의하자.
두 모집단의 분포를 비교하기 위해, 우리는 두 가지 다른 모델을 구축한다. 첫 번째 모델은 두 모집단이 잠재적으로 다른 분포를 가진다고 모델링한다. 따라서 첫 번째 모델의 가능도 함수는 두 개의 서로 다른 이항 분포에 대한 가능도의 곱이 되므로, , 의 두 개의 매개변수를 갖는다. 명확히 하자면, 가능도 함수는 다음과 같다.
두 번째 모델은 두 모집단이 동일한 분포를 가진다고 모델링한다. 따라서 두 번째 모델의 가능도 함수는 위 방정식에서 로 설정되므로, 두 번째 모델은 하나의 매개변수를 갖는다.
그런 다음 두 모델에 대한 가능도 함수를 최대화한다(실제로는 로그 가능도 함수를 최대화한다). 그 후에는 모델의 AIC 값을 쉽게 계산할 수 있다. 다음으로 상대 가능도를 계산한다. 예를 들어, 두 번째 모델이 첫 번째 모델보다 가능성이 0.01배에 불과하다면, 두 번째 모델은 더 이상 고려하지 않을 것이다. 따라서 두 모집단이 다른 분포를 가진다고 결론 내릴 것이다.
통계학의 기초.
통계적 추론은 일반적으로 가설 검정과 추정으로 구성된다고 간주된다. 가설 검정은 위에서 논의한 바와 같이 AIC를 통해 수행할 수 있다. 추정에는 점 추정과 구간 추정의 두 가지 유형이 있다. 점 추정은 AIC 패러다임 내에서 수행할 수 있다. 즉, 최대가능도 방법에 의해 제공된다. 구간 추정 또한 AIC 패러다임 내에서 수행할 수 있다. 즉, 가능도 구간에 의해 제공된다. 따라서 통계적 추론은 일반적으로 AIC 패러다임 내에서 수행될 수 있다.
통계적 추론에 가장 일반적으로 사용되는 패러다임은 빈도주의적 추론과 베이즈 추론이다. 그러나 AIC는 빈도주의적 패러다임이나 베이즈적 패러다임에 의존하지 않고도 통계적 추론을 수행하는 데 사용될 수 있다. 이는 AIC가 유의 수준이나 사전 확률의 도움 없이 해석될 수 있기 때문이다. 즉, AIC는 빈도주의와 베이즈주의 모두와 구별되는 통계학의 기초를 형성하는 데 사용될 수 있다.
작은 표본 크기에 대한 수정.
표본 크기가 작을 때, AIC가 너무 많은 매개변수를 가진 모델을 선택할 상당한 확률이 있다. 즉, AIC가 과적합될 수 있다는 것이다. 이러한 잠재적 과적합을 해결하기 위해 AICc가 개발되었다. AICc는 작은 표본 크기에 대한 보정이 적용된 AIC이다.
AICc의 공식은 통계 모델에 따라 다르다. 모델이 단변량이고, 매개변수에 대해 선형이며, 잔차가 정규 분포를 따른다고 가정하면(회귀 변수에 조건부), AICc의 공식은 다음과 같다.
여기서 은 표본 크기를, 는 매개변수 수를 나타낸다. 따라서 AICc는 기본적으로 매개변수 수에 대한 추가 페널티 항을 포함하는 AIC이다. 일 때 추가 페널티 항은 0으로 수렴하므로 AICc는 AIC로 수렴한다는 점에 유의해야 한다.
모델이 단변량이고 정규 잔차를 가진 선형이라는 가정이 성립하지 않으면 AICc 공식은 일반적으로 위의 공식과 다를 것이다. 일부 모델의 경우 공식 결정이 어려울 수 있다. 그러나 AICc를 사용할 수 있는 모든 모델의 경우 AICc 공식은 와 2를 모두 포함하는 항을 AIC에 더한 값으로 주어진다. 이에 비해 AIC 공식은 는 포함하지만 2는 포함하지 않는다. 즉, AIC는 (정보 손실의) 일차 추정치인 반면, AICc는 이차 추정치이다.
다른 가정의 예와 함께 공식에 대한 추가 논의는 및 에 나와 있다. 특히 다른 가정 하에서는 공식의 부트스트랩 추정이 종종 가능하다.
요약하자면, AICc는 AIC보다 더 정확한 경향이 있다는 장점(특히 작은 표본의 경우)을 가지지만, AICc는 또한 AIC보다 계산하기가 훨씬 더 어려울 수 있다는 단점도 있다. 모든 후보 모델이 동일한 와 AICc에 대한 동일한 공식을 가지고 있다면, AICc와 AIC는 동일한 (상대적) 평가를 제공할 것이므로 AICc 대신 AIC를 사용하는 데 단점이 없을 것이다. 또한 이 2보다 훨씬 크면 추가 페널티 항은 무시할 수 있으므로 AICc 대신 AIC를 사용하는 데 단점이 무시할 수 있을 것이다.
아카이케 정보 기준은 통계학자 아카이케 히로쓰구에 의해 공식화되었다. 원래는 "정보 기준"이라고 불렸다. 아카이케는 1971년 심포지엄에서 영어로 처음 발표했으며, 심포지엄 회의록은 1973년에 출판되었다. 그러나 1973년 출판물은 개념에 대한 비공식적인 발표에 불과했다. 첫 번째 공식 출판물은 아카이케의 1974년 논문이었다.
AIC의 초기 도출은 몇 가지 강력한 가정에 의존했다. 는 이러한 가정을 훨씬 약화시킬 수 있음을 보여주었다. 그러나 다케우치의 연구는 일본어로 되어 있어 수년 동안 일본 외에서는 널리 알려지지 않았다. (번역본)
AIC는 원래 에 의해 (에 한정하여) 선형 회귀에 대해 제안되었다. 이는 및 같은 저자들의 몇몇 후속 논문의 계기가 되었고, AICc가 적용될 수 있는 상황을 확장했다.
정보 이론적 접근 방식에 대한 첫 번째 일반적인 설명은 의 저서였다. 여기에는 다케우치의 작업에 대한 영어 설명이 포함되어 있다. 이 저서는 AIC의 사용을 훨씬 더 광범위하게 만들었으며, 현재 구글 학술 검색에서 64,000회 이상의 인용을 기록하고 있다.
아카이케는 자신의 접근 방식을 "엔트로피 최대화 원칙"이라고 불렀다. 이는 정보 이론의 엔트로피 개념에 기반을 두고 있기 때문이다. 실제로 통계 모델에서 AIC를 최소화하는 것은 열역학적 시스템에서 엔트로피를 최대화하는 것과 효과적으로 동일하다. 다시 말해, 통계학의 정보 이론적 접근 방식은 본질적으로 열역학 제2법칙을 적용하는 것이다. 따라서 AIC는 루트비히 볼츠만의 엔트로피 연구에 뿌리를 두고 있다. 이러한 문제에 대한 자세한 내용은 및 를 참조하라.
사용 팁.
매개변수 계산.
통계 모델은 무작위 오차를 설명해야 한다. 직선 모델은 형식적으로 yi = b0 + b1xi + εi로 설명될 수 있다. 여기서 εi는 직선 적합에서 발생하는 잔차이다. 만약 εi가 i.i.d. 가우시안 (평균 0)이라고 가정하면, 모델은 세 개의 매개변수를 갖는다.
b0, b1, 그리고 가우시안 분포의 분산이다.
따라서 이 모델의 AIC 값을 계산할 때, k=3을 사용해야 한다. 더 일반적으로, i.i.d. 가우시안 잔차를 가진 모든 최소제곱법 모델에 대해 잔차 분포의 분산은 매개변수 중 하나로 계산되어야 한다.
또 다른 예로, 첫 번째 차수 자기회귀모형을 고려해 보자. 이는 xi = c + φxi−1 + εi로 정의되며, εi는 i.i.d. 가우시안(평균 0)이다. 이 모델에는 c, φ, εi의 분산의 세 가지 매개변수가 있다. 더 일반적으로, p차 자기회귀 모델은 개의 매개변수를 갖는다. (단, c가 데이터로부터 추정되지 않고 미리 주어진다면, 개의 매개변수만 존재한다.)
데이터 변환.
후보 모델들의 AIC 값은 모두 동일한 데이터 세트로 계산되어야 한다. 그러나 때로는 반응 변수 의 모델과 반응 변수의 로그, 의 모델을 비교하고 싶을 수 있다. 더 일반적으로, 데이터의 모델과 변환된 데이터의 모델을 비교하고 싶을 수 있다. 데이터 변환을 처리하는 방법은 다음과 같다(: "연구자들은 모든 가설이 동일한 반응 변수를 사용하여 모델링되었는지 확인해야 한다"에서 발췌).
의 정규 분포를 갖는 모델과 의 정규 분포를 갖는 모델을 비교하고 싶다고 가정해 보자. 우리는 두 모델의 AIC 값을 직접 비교해서는 안 된다. 대신, 먼저 의 로그를 취하기 위해 정규 누적 분포 함수를 변환해야 한다. 이를 위해서는 관련 치환 적분을 수행해야 한다. 즉, 자연로그 함수의 미분인 를 곱해야 한다. 따라서 변환된 분포는 다음 확률 밀도 함수를 갖는다.
—이는 로그 정규 분포의 확률 밀도 함수이다. 그런 다음 정규 모델의 AIC 값과 로그 정규 모델의 AIC 값을 비교한다.
잘못 지정된 모델의 경우 다케우치 정보 기준(TIC)이 더 적절할 수 있다. 그러나 TIC는 종종 추정 오류로 인한 불안정성을 겪는다.
다른 모형 선택 방법과의 비교.
통계 문헌에서 여러 대안적인 모형 선택 기준이 제안되고 연구되었다. 여기에는 베이즈 정보 기준 (BIC), 교차 검증 방법, 최소제곱법 적합, 말로우의 C_p, 그리고 WAIC (Widely Applicable Information Criterion), DIC (Deviance Information Criterion), HQC (Hannan-Quinn Information Criterion)과 같은 다른 정보 이론적 접근 방식이 포함된다. 이러한 방법들은 분석 목표(예측, 추론 또는 모형 해석)에 따라 가정, 점근적 거동 및 적합성에 차이가 있다. AIC 및 기타 모형 선택 방법에 대한 포괄적인 개요는 Ding 등 (2018)에 나와 있다.
BIC와의 비교.
AIC와 BIC(및 그 변형들) 사이의 중요한 차이점은 잘 지정된 모델 클래스와 잘못 지정된 모델 클래스 하에서의 점근적 행동에 있다. 이들의 근본적인 차이점은 회귀 변수 선택 및 자기회귀 차수 선택 문제에서 잘 연구되었다. 일반적으로 목표가 예측이라면 AIC와 리브원아웃(leave-one-out) 교차 검증이 선호된다.
베이즈 정보 기준 (BIC)의 공식은 AIC 공식과 유사하지만, 매개변수 수에 대한 페널티가 다르다. AIC의 경우 페널티는 인 반면, BIC의 경우 페널티는 이다.
AIC/AICc와 BIC의 비교는 에 나와 있으며, 의 후속 논평도 있다. 저자들은 AIC/AICc가 BIC와 동일한 베이즈 프레임워크에서 파생될 수 있음을 보여주었으며, 이는 단지 다른 사전 확률을 사용한 결과이다. 그러나 BIC의 베이즈 파생에서는 각 후보 모델이 1/R의 사전 확률을 갖는다 (여기서 R은 후보 모델의 수). 또한 저자들은 AICc가 BIC에 비해 실제/성능상의 이점을 가지는 경향이 있음을 시사하는 몇 가지 시뮬레이션 연구를 제시한다.
몇몇 연구자들이 지적한 바는 AIC와 BIC가 다른 작업에 적합하다는 것이다. 특히 BIC는 후보 모델 세트에서 "진정한 모델"(즉, 데이터를 생성한 프로세스)을 선택하는 데 적합하다고 주장되는 반면, AIC는 그렇지 않다. 구체적으로, "진정한 모델"이 후보 세트에 있는 경우, 일 때 BIC는 "진정한 모델"을 확률 1로 선택한다. 이와 대조적으로, AIC를 통해 선택이 이루어질 때 확률은 1보다 작을 수 있다. AIC 지지자들은 "진정한 모델"이 후보 세트에 거의 없기 때문에 이 문제가 사소하다고 주장한다. 실제로 통계학에서 "모든 모델은 틀렸다"는 일반적인 격언이 있다. 따라서 "진정한 모델"(즉, 현실)은 후보 세트에 있을 수 없다.
AIC와 BIC의 또 다른 비교는 에 나와 있다. Vrieze는 "진정한 모델"이 후보 세트에 있을 수 있도록 하는 시뮬레이션 연구를 제시한다(실제 데이터와는 달리). 이 시뮬레이션 연구는 특히 "진정한 모델"이 후보 세트에 있을 때에도 AIC가 BIC보다 훨씬 더 나은 모델을 선택하는 경우가 있음을 보여준다. 그 이유는 유한한 에 대해 BIC가 후보 세트에서 매우 나쁜 모델을 선택할 상당한 위험을 가질 수 있기 때문이다. 이 이유는 이 2보다 훨씬 클 때도 발생할 수 있다. AIC의 경우 매우 나쁜 모델을 선택할 위험이 최소화된다.
만약 "진정한 모델"이 후보 세트에 없다면, 우리가 할 수 있는 가장 최선은 "진정한 모델"을 가장 잘 근사하는 모델을 선택하는 것이다. AIC는 특정 가정 하에서 최적의 근사 모델을 찾는 데 적합하다. (이러한 가정에는 특히 정보 손실과 관련하여 근사가 이루어진다는 점이 포함된다.)
회귀 맥락에서 AIC와 BIC의 비교는 에 나와 있다. 회귀에서 AIC는 "진정한 모델"이 후보 세트에 없다는 가정 하에서 최소 평균 제곱 오차를 가진 모델을 선택하는 데 점근적으로 최적이다. BIC는 이 가정 하에서 점근적으로 최적이지 않다. 양은 또한 AIC가 최적값으로 수렴하는 속도가 어떤 의미에서는 가능한 최선임을 보여준다.
최소제곱법과의 비교.
때로는 각 후보 모델이 잔차가 독립적이고 동일한 정규 분포(평균 0)에 따라 분포한다고 가정한다. 이는 최소제곱법 모델 적합으로 이어진다.
최소제곱법 적합에서 모델 잔차 분포의 분산에 대한 최대 가능도 추정치는 다음과 같다.
여기서 잔차 제곱합은
그러면 모델의 로그 가능도 함수의 최댓값은 다음과 같다(정규 분포#로그 가능도 참조).
여기서 는 모델과 독립적인 상수이며, 특정 데이터 포인트에만 의존한다. 즉, 데이터가 변하지 않으면 변하지 않는다.
AIC의 차이만 의미가 있기 때문에 상수 는 무시할 수 있으며, 이는 모델 비교를 위해 다음을 편리하게 사용할 수 있도록 한다.
모든 모델이 동일한 를 갖는다면, 최소 AIC를 가진 모델을 선택하는 것은 최소 를 가진 모델을 선택하는 것과 동일하며, 이는 최소제곱법 기반 모델 선택의 일반적인 목표이다.
교차 검증과의 비교.
리브원아웃(leave-one-out) 교차 검증은 일반 선형 회귀 모델의 경우 AIC와 점근적으로 동일하다. 혼합 모형에서도 AIC와의 점근적 동일성이 성립한다.
말로우의 Cp와의 비교.
아카이케는 '말로우가 제안한 통계량의 사용이 우리의 현재 접근 방식과 본질적으로 동등하다는 점에 주목할 가치가 있다'고 말했다.
그러나 AIC와 Cp 사이의 정확한 관계는 약간의 뉘앙스가 필요하다.
알 수 없는 오차 분산 formula_13을 가진 정규 회귀 모델에서, 위에서 언급했듯이 AIC 통계량은 다음과 같다.
(아래의 혼동을 피하기 위해 여기서는 formula_15 사용을 의도적으로 중단한다). 큰 표본의 경우, 이 모델이 정확하다면 formula_16은 실제 오차 분산 formula_13에 가까워야 하며, 로그에 대한 1차 테일러 급수를 사용하면,
= n \ln \sigma^2 - n + \frac{\mbox{RSS}}{\sigma^2} + 2k
이 최종 표현(n이 있는 항은 무시함)은 formula_13이 알려져 있을 때 말로우의 Cp이다. formula_13이 알려지지 않은 더 일반적인 상황에서는 일반적으로 가능한 모든 예측 변수를 사용하는 모델에서 파생된 추정치 formula_15가 대체되어야 한다. 이는 AIC와 Cp 사이의 점근적 동등성을 이끈다. 그러나 아카이케는 '불행히도 Cp 정의에서 formula_15 선택에는 다소 주관적인 판단이 필요하다'고 지적했다.
formula_13이 알려진 특이한 경우, AIC는 정확히 ()과 같다. 결과적으로 ()은 때때로 AIC로 간주되며, AIC와 Cp는 동등하다고 주장된다. 이러한 주장은 부정확한 것으로 간주되어야 한다. AIC가 올바르게 구현될 때, 동등성은 점근적으로만 성립한다.
기타 정보 기준.
다른 모델 선택 기준으로는 WAIC (Widely Applicable Information Criterion)와 DIC (Deviance Information Criterion)가 있으며, 이 둘은 베이즈 모델 선택에서 널리 사용된다. 특히 WAIC는 leave-one-out 교차 검증과 점근적으로 동일하며, 복잡하거나 특이한 모델에서도 적용된다. HQC (Hannan-Quinn Criterion)는 BIC보다 가벼운 페널티를 적용하지만 AIC보다는 무거운 페널티를 적용하여 AIC와 BIC의 중간 지점을 제공한다. MDL (Minimum Description Length) 원칙은 BIC와 밀접하게 관련되어 있으며, 모델 선택을 정보 이론적 관점에서 압축 문제로 취급한다. 이러한 각 방법은 모델 복잡성, 표본 크기 및 분석 목표에 따라 장점이 있다.
통계학에서 베이시안 정보 기준(Bayesian information criterion, BIC) 또는 슈바르츠 정보 기준(Schwarz information criterion, SIC, SBC, SBIC)은 유한한 모형 집합 중에서 모형 선택을 위한 기준으로, BIC 값이 낮을수록 일반적으로 선호된다. 이는 부분적으로 가능도에 기반하며 아카이케 정보 기준(AIC)과 밀접하게 관련되어 있다.
모형을 적합할 때, 매개변수를 추가하여 최대 가능도를 높일 수 있지만, 이는 과적합을 초래할 수 있다. BIC와 AIC는 모두 모형의 매개변수 개수에 대한 벌점 항을 도입하여 이 문제를 해결하려고 시도한다. 표본 크기가 7보다 클 경우 BIC의 벌점 항이 AIC보다 더 크다.
BIC는 기디언 E. 슈바르츠가 개발하여 1978년 논문에서 발표되었다. 이는 베이즈 인자의 큰 표본 근사값으로 사용된다.
BIC는 다음과 같이 공식적으로 정의된다.
BIC는 다음 모형 증거에서 시작하여 라플라스 방법을 사용하여 모형의 매개변수를 통합하여 유도할 수 있다.
여기서 formula_13는 모형 formula_3 하의 formula_15에 대한 사전 확률이다.
로그 가능도 formula_16는 MLE formula_17에 대해 두 번 미분 가능하다고 가정하고 2차 테일러 급수로 다음과 같이 확장된다.
여기서 formula_19는 관측 정보의 관측당 평균이며, formula_20는 잔차 항을 나타낸다. formula_20가 무시할 수 있고 formula_17 근처에서 formula_13가 상대적으로 선형적이라는 점에서, formula_15를 통합하면 다음을 얻을 수 있다.
formula_7이 증가함에 따라 formula_27와 formula_28는 formula_29이므로 무시할 수 있다. 따라서,
여기서 BIC는 위에서 정의한 바와 같고, formula_31은 (a) 베이즈 사후 모드이거나 (b) MLE를 사용하며 사전 확률 formula_13가 MLE에서 0이 아닌 기울기를 가진다. 그러면 사후 확률은 다음과 같다.
여러 모형 중에서 선택할 때, BIC 값이 낮은 모형이 일반적으로 선호된다. BIC는 오차 분산 formula_34의 증가 함수이며 k의 증가 함수이다. 즉, 종속변수의 설명되지 않은 분산과 설명 변수의 수가 BIC 값을 증가시킨다. 그러나 낮은 BIC가 반드시 한 모형이 다른 모형보다 우수함을 의미하지는 않는다. 근사값을 포함하기 때문에 BIC는 단지 발견적 방법일 뿐이다. 특히, BIC의 차이를 변환된 베이즈 인자처럼 다루어서는 안 된다.
BIC는 비교되는 모든 모형에 대해 종속변수의 수치 값이 동일할 때만 추정된 모형을 비교하는 데 사용할 수 있다는 점을 명심해야 한다. 비교되는 모형은 F 테스트 또는 가능도 비 검정을 사용하여 모형을 비교할 때와 달리 내포된 모형일 필요는 없다.
BIC는 두 가지 주요 한계가 있다.
가우스 특수 사례.
모형 오차 또는 교란이 정규 분포에 따라 독립적으로 동일하게 분포하며, 진정한 분산에 대한 로그 가능도의 미분이 0이라는 경계 조건이 있다고 가정하면, 이는 (모형이 아닌 n에만 의존하는 가산 상수를 제외하고) 다음과 같이 된다.
여기서 formula_41는 오차 분산이다. 이 경우 오차 분산은 다음과 같이 정의된다.
이는 진정한 분산에 대한 편향 추정량이다.
잔차 제곱합 (RSS) 측면에서 BIC는 다음과 같다.
포화 모형에 대해 여러 선형 모형을 테스트할 때, BIC는 이탈도 formula_44 측면에서 다음과 같이 다시 쓸 수 있다.
여기서 formula_9는 테스트 모형의 매개변수 수이다.
일반 선형 모형(General linear model) 또는 일반 다변량 회귀 모형은 여러 다중 선형 회귀 모형을 동시에 작성하는 간결한 방법이다. 그런 의미에서 이는 별도의 통계 모형은 아니다. 다양한 다중 선형 회귀 모형은 다음과 같이 간결하게 쓸 수 있다.
여기서 Y는 다변량 측정 시리즈를 포함하는 행렬 (각 열은 종속변수 중 하나에 대한 측정 세트임), X는 디자인 매트릭스일 수 있는 독립변수에 대한 관측 행렬(각 열은 독립변수 중 하나에 대한 관측 세트임), B는 일반적으로 추정해야 할 매개변수를 포함하는 행렬, 그리고 U는 오차 (노이즈)를 포함하는 행렬이다. 오차는 일반적으로 측정 전반에 걸쳐 상관 관계가 없으며 다변량 정규분포를 따른다고 가정한다. 오차가 다변량 정규분포를 따르지 않는 경우, Y와 U에 대한 가정을 완화하기 위해 일반화 선형 모형을 사용할 수 있다.