아카이케 정보 기준

**아카이케 정보 기준**(Akaike information criterion, **AIC**)은 예측 오류의 추정량이자 주어진 데이터 세트에 대한 통계 모델의 상대적인 품질을 나타내는 지표이다.quote=AIC provides a surprisingly simple estimate of the average out-of-sample deviance.quote=The AIC is an estimate for OOS deviance. 주어진 데이터에 대한 모델 집합이 있을 때, AIC는 각 모델의 품질을 다른 모델들과 비교하여 추정한다. 따라서 AIC는 모형 선택을 위한 수단을 제공한다. AIC는 정보 이론에 기반을 둔다. 통계 모델이 데이터를 생성한 프로세스를 나타내는 데 사용될 때, 그 표현은 거의 정확하지 않으므로 모델을 사용하여 프로세스를 나타내면 일부 정보가 손실된다. AIC는 주어진 모델이 잃는 상대적인 정보량을 추정한다. 모델이 잃는 정보가 적을수록 모델의 품질은 더 높다. 모델이 잃는 정보량을 추정할 때, AIC는 모델의 적합도와 모델의 단순성 사이의 균형을 다룬다. 즉, AIC는 과적합 위험과 과소적합 위험을 모두 다룬다. 아카이케 정보 기준은 이를 공식화한 일본 통계학자 아카이케 히로쓰구의 이름을 따서 명명되었다. 현재 이 기준은 통계학의 기초를 위한 패러다임의 기반을 형성하며, 통계적 추론에도 널리 사용된다.
# 정의
어떤 데이터의 통계 모델이 있다고 가정해 보자. 모델에서 추정된 매개변수의 수를 k라고 하자. 모델의 가능도 함수의 최댓값을 \hat L이라고 하자. 그러면 모델의 AIC 값은 다음과 같다.loc=§2.2 :\mathrm{AIC} \, = \, 2k - 2\ln(\hat L) 데이터에 대한 후보 모델 세트가 주어지면, 최소 AIC 값을 가진 모델이 선호되는 모델이다. 따라서 AIC는 적합도 (가능도 함수로 평가됨)에 보상을 주지만, 추정된 매개변수 수의 증가 함수인 페널티도 포함한다. 페널티는 과적합을 막는데, 이는 모델의 매개변수 수를 늘리면 거의 항상 적합도가 향상되기 때문에 바람직하다. 데이터가 어떤 알 수 없는 프로세스 f에 의해 생성되었다고 가정해 보자. 우리는 f를 나타내기 위한 두 가지 후보 모델 g1과 g2를 고려한다. 만약 f를 알았다면, g1을 사용하여 f를 나타낼 때 손실되는 정보를 쿨백-라이블러 발산, DKL(f ‖ g1)를 계산하여 찾을 수 있을 것이고, 마찬가지로 g2를 사용하여 f를 나타낼 때 손실되는 정보는 DKL(f ‖ g2)를 계산하여 찾을 수 있을 것이다. 그러면 우리는 일반적으로 정보 손실을 최소화하는 후보 모델을 선택할 것이다. 우리는 f를 알지 못하기 때문에 확실하게 선택할 수 없다. 하지만 1974는 AIC를 통해 g1이 g2보다 얼마나 더(또는 덜) 정보를 잃는지 추정할 수 있음을 보여주었다. 그러나 이 추정치는 점근적으로만 유효하다. 데이터 포인트 수가 적으면 종종 어떤 보정이 필요하다(아래 AICc 참조). AIC는 모델의 절대적인 품질이 아니라 다른 모델에 대한 상대적인 품질만을 알려준다는 점에 유의해야 한다. 따라서 모든 후보 모델이 적합도가 낮다면 AIC는 이에 대한 경고를 주지 않는다. 그러므로 AIC를 통해 모델을 선택한 후에는 일반적으로 모델의 절대적인 품질을 검증하는 것이 좋은 관행이다. 이러한 검증은 일반적으로 모델의 잔차 (잔차가 무작위로 보이는지 확인하기 위해) 및 모델 예측에 대한 테스트를 포함한다. 이 주제에 대한 자세한 내용은 통계 모델 검증을 참조하라.
# 실제로 AIC를 사용하는 방법
실제로 AIC를 적용하기 위해, 우리는 후보 모델 세트에서 시작하여 해당 모델들의 AIC 값을 찾는다. 후보 모델을 사용하여 "진정한 모델", 즉 데이터를 생성한 프로세스를 나타내는 데 정보가 거의 항상 손실될 것이다. 우리는 후보 모델 중에서 정보 손실을 최소화하는 모델을 선택하고자 한다. 확실하게 선택할 수는 없지만, 추정된 정보 손실을 최소화할 수는 있다. R개의 후보 모델이 있다고 가정하자. 이 모델들의 AIC 값을 AIC1, AIC2, AIC3, ..., AICR이라고 하자. 이 값들 중 최솟값을 AICmin이라고 하자. 그러면 exp((AICmin − AICi)/2) 값은 i번째 모델이 (추정된) 정보 손실을 최소화할 확률에 비례한다고 해석할 수 있다.loc=§2.9.1, §6.4.5 예를 들어, AIC 값이 100, 102, 110인 세 가지 후보 모델이 있다고 가정해 보자. 그러면 두 번째 모델은 첫 번째 모델보다 정보 손실을 최소화할 확률이 exp((100 − 102)/2) = 0.368배 높다. 마찬가지로, 세 번째 모델은 첫 번째 모델보다 정보 손실을 최소화할 확률이 exp((100 − 110)/2) = 0.007배 높다. 이 예에서는 세 번째 모델을 더 이상 고려하지 않는다. 그러면 세 가지 선택지가 있다. (1) 첫 번째 두 모델 사이를 명확하게 구별할 수 있기를 바라며 더 많은 데이터를 수집한다. (2) 단순히 데이터가 첫 번째 두 모델 중 하나를 선택하는 데 불충분하다고 결론 내린다. (3) 첫 번째 두 모델의 가중 평균을 각각 1과 0.368에 비례하는 가중치로 취하고, 가중 다중 모델을 기반으로 통계적 추론을 수행한다.2002 exp((AICmin − AICi)/2) 값은 모델 i의 상대 가능도라고 알려져 있다. 이는 가능도 비율 검정에 사용되는 가능도 비율과 밀접하게 관련되어 있다. 실제로 후보 세트의 모든 모델이 동일한 수의 매개변수를 갖는다면, AIC를 사용하는 것은 처음에는 가능도 비율 검정을 사용하는 것과 매우 유사하게 보일 수 있다. 그러나 중요한 차이점이 있다. 특히 가능도 비율 검정은 중첩 모델에만 유효하지만, AIC(및 AICc)는 이러한 제한이 없다.loc=§2.12.42014
# 가설 검정
모든 통계적 가설 검정은 통계 모델의 비교로 공식화될 수 있다. 따라서 모든 통계적 가설 검정은 AIC를 통해 복제될 수 있다. 아래 하위 섹션에서 두 가지 예가 간략하게 설명되어 있다. 이 예제 및 더 많은 예제에 대한 자세한 내용은 loc=Part II 및 loc=ch. 4에 나와 있다.
## 스튜던트 t-검정 복제
가설 검정의 예로, 두 정규 분포 모집단의 평균을 비교하기 위한 T-검정을 고려해 보자. t-검정의 입력은 두 모집단 각각에서 추출한 무작위 표본으로 구성된다. 검정을 모델 비교로 공식화하기 위해, 우리는 두 가지 다른 모델을 구축한다. 첫 번째 모델은 두 모집단이 잠재적으로 다른 평균과 표준 편차를 가진다고 모델링한다. 따라서 첫 번째 모델의 가능도 함수는 두 개의 서로 다른 정규 분포에 대한 가능도의 곱이 된다. 따라서 이 모델은 μ1, σ1, μ2, σ2의 네 가지 매개변수를 갖는다. 명확히 하자면, 가능도 함수는 다음과 같다 (표본 크기를 n1 및 n2로 표기한다). : \mathcal{L}(\mu_1,\sigma_1,\mu_2,\sigma_2) \, = \, : \prod_{i=1}^{n_1} \frac{1}{\sqrt{2 \pi}\sigma_1} \exp\left( -\frac{(x_i-\mu_1)^2}{2\sigma_1^2}\right) \; \, \boldsymbol\cdot \, \prod_{i=n_1+1}^{n_1+n_2} \frac{1}{\sqrt{2 \pi}\sigma_2} \exp\left( -\frac{(x_i-\mu_2)^2}{2\sigma_2^2}\right) 두 번째 모델은 두 모집단이 동일한 평균과 동일한 표준 편차를 가진다고 모델링한다. 따라서 두 번째 모델의 가능도 함수는 위 방정식에서 μ1 = μ2 및 σ1 = σ2로 설정되므로, 두 개의 매개변수만 갖는다. 그런 다음 두 모델에 대한 가능도 함수를 최대화한다(실제로는 로그 가능도 함수를 최대화한다). 그 후에는 모델의 AIC 값을 쉽게 계산할 수 있다. 다음으로 상대 가능도를 계산한다. 예를 들어, 두 번째 모델이 첫 번째 모델보다 가능성이 0.01배에 불과하다면, 두 번째 모델은 더 이상 고려하지 않을 것이다. 따라서 두 모집단이 다른 평균을 가진다고 결론 내릴 것이다. t-검정은 두 모집단이 동일한 표준 편차를 가진다고 가정한다. 이 가정이 틀리고 두 표본의 크기가 매우 다른 경우 t-검정은 신뢰할 수 없는 경향이 있다(웰치의 t-검정이 더 나을 것이다). 위 예와 같이 AIC를 통해 모집단의 평균을 비교하는 것도 같은 단점을 갖는다. 그러나 다른 표준 편차를 허용하는 세 번째 모델을 만들 수도 있다. 이 세 번째 모델은 추가 매개변수와 그에 따른 자유도 비용으로 그러한 가정을 하지 않는 장점이 있다.
## 범주형 데이터 세트 비교
가설 검정의 또 다른 예로, 두 모집단이 있고 각 모집단의 구성원은 두 범주 중 하나에 속한다고 가정해 보자. 즉, 범주 #1 또는 범주 #2이다. 각 모집단은 이항 분포를 따른다. 우리는 두 모집단의 분포가 동일한지 알고 싶다. 우리는 두 모집단 각각에서 추출한 무작위 표본을 받는다. 첫 번째 모집단에서 추출한 표본의 크기를 m이라고 하자. 표본에서 범주 #1의 관측치 수를 m1이라고 하자. 그러면 범주 #2의 관측치 수는 m − m1이다. 마찬가지로, 두 번째 모집단에서 추출한 표본의 크기를 n이라고 하자. 표본에서 범주 #1의 관측치 수를 n1이라고 하자. 첫 번째 모집단에서 무작위로 선택된 구성원이 범주 #1에 속할 확률을 p라고 하자. 따라서 첫 번째 모집단에서 무작위로 선택된 구성원이 범주 #2에 속할 확률은 1 − p이다. 첫 번째 모집단의 분포는 하나의 매개변수를 갖는다는 점에 유의하자. 두 번째 모집단에서 무작위로 선택된 구성원이 범주 #1에 속할 확률을 q라고 하자. 두 번째 모집단의 분포도 하나의 매개변수를 갖는다는 점에 유의하자. 두 모집단의 분포를 비교하기 위해, 우리는 두 가지 다른 모델을 구축한다. 첫 번째 모델은 두 모집단이 잠재적으로 다른 분포를 가진다고 모델링한다. 따라서 첫 번째 모델의 가능도 함수는 두 개의 서로 다른 이항 분포에 대한 가능도의 곱이 되므로, p, q의 두 개의 매개변수를 갖는다. 명확히 하자면, 가능도 함수는 다음과 같다. : \mathcal{L}(p,q) \, = \, \frac{m!}{m_1! (m-m_1)!} p^{m_1} (1-p)^{m-m_1} \; \, \boldsymbol\cdot \; \; \frac{n!}{n_1! (n-n_1)!} q^{n_1} (1-q)^{n-n_1} 두 번째 모델은 두 모집단이 동일한 분포를 가진다고 모델링한다. 따라서 두 번째 모델의 가능도 함수는 위 방정식에서 p = q로 설정되므로, 두 번째 모델은 하나의 매개변수를 갖는다. 그런 다음 두 모델에 대한 가능도 함수를 최대화한다(실제로는 로그 가능도 함수를 최대화한다). 그 후에는 모델의 AIC 값을 쉽게 계산할 수 있다. 다음으로 상대 가능도를 계산한다. 예를 들어, 두 번째 모델이 첫 번째 모델보다 가능성이 0.01배에 불과하다면, 두 번째 모델은 더 이상 고려하지 않을 것이다. 따라서 두 모집단이 다른 분포를 가진다고 결론 내릴 것이다.
# 통계학의 기초
통계적 추론은 일반적으로 가설 검정과 추정으로 구성된다고 간주된다. 가설 검정은 위에서 논의한 바와 같이 AIC를 통해 수행할 수 있다. 추정에는 점 추정과 구간 추정의 두 가지 유형이 있다. 점 추정은 AIC 패러다임 내에서 수행할 수 있다. 즉, 최대가능도 방법에 의해 제공된다. 구간 추정 또한 AIC 패러다임 내에서 수행할 수 있다. 즉, 가능도 구간에 의해 제공된다. 따라서 통계적 추론은 일반적으로 AIC 패러다임 내에서 수행될 수 있다. 통계적 추론에 가장 일반적으로 사용되는 패러다임은 빈도주의적 추론과 베이즈 추론이다. 그러나 AIC는 빈도주의적 패러다임이나 베이즈적 패러다임에 의존하지 않고도 통계적 추론을 수행하는 데 사용될 수 있다. 이는 AIC가 유의 수준이나 사전 확률의 도움 없이 해석될 수 있기 때문이다.p=99 즉, AIC는 빈도주의와 베이즈주의 모두와 구별되는 통계학의 기초를 형성하는 데 사용될 수 있다.20111986
# 작은 표본 크기에 대한 수정AICc
표본 크기가 작을 때, AIC가 너무 많은 매개변수를 가진 모델을 선택할 상당한 확률이 있다. 즉, AIC가 과적합될 수 있다는 것이다.1998loc= §8.3loc= §2.9.1 이러한 잠재적 과적합을 해결하기 위해 AICc가 개발되었다. AICc는 작은 표본 크기에 대한 보정이 적용된 AIC이다. AICc의 공식은 통계 모델에 따라 다르다. 모델이 단변량이고, 매개변수에 대해 선형이며, 잔차가 정규 분포를 따른다고 가정하면(회귀 변수에 조건부), AICc의 공식은 다음과 같다.197819891997loc= §2.4 :\mathrm{AICc} \, = \, \mathrm{AIC} + \frac{2k^2 + 2k}{n - k - 1} 여기서 n은 표본 크기를, k는 매개변수 수를 나타낸다. 따라서 AICc는 기본적으로 매개변수 수에 대한 추가 페널티 항을 포함하는 AIC이다. n → ∞일 때 추가 페널티 항은 0으로 수렴하므로 AICc는 AIC로 수렴한다는 점에 유의해야 한다.2004 모델이 단변량이고 정규 잔차를 가진 선형이라는 가정이 성립하지 않으면 AICc 공식은 일반적으로 위의 공식과 다를 것이다. 일부 모델의 경우 공식 결정이 어려울 수 있다. 그러나 AICc를 사용할 수 있는 모든 모델의 경우 AICc 공식은 k와 k2를 모두 포함하는 항을 AIC에 더한 값으로 주어진다. 이에 비해 AIC 공식은 k는 포함하지만 k2는 포함하지 않는다. 즉, AIC는 (정보 손실의) 일차 추정치인 반면, AICc는 이차 추정치이다.loc= §7.4 다른 가정의 예와 함께 공식에 대한 추가 논의는 loc= ch. 7 및 loc= ch. 7–8에 나와 있다. 특히 다른 가정 하에서는 공식의 부트스트랩 추정이 종종 가능하다. 요약하자면, AICc는 AIC보다 더 정확한 경향이 있다는 장점(특히 작은 표본의 경우)을 가지지만, AICc는 또한 AIC보다 계산하기가 훨씬 더 어려울 수 있다는 단점도 있다. 모든 후보 모델이 동일한 k와 AICc에 대한 동일한 공식을 가지고 있다면, AICc와 AIC는 동일한 (상대적) 평가를 제공할 것이므로 AICc 대신 AIC를 사용하는 데 단점이 없을 것이다. 또한 n이 k2보다 훨씬 크면 추가 페널티 항은 무시할 수 있으므로 AICc 대신 AIC를 사용하는 데 단점이 무시할 수 있을 것이다.
# 역사
아카이케 히로쓰구 아카이케 정보 기준은 통계학자 아카이케 히로쓰구에 의해 공식화되었다. 원래는 "정보 기준"이라고 불렸다. 아카이케는 1971년 심포지엄에서 영어로 처음 발표했으며, 심포지엄 회의록은 1973년에 출판되었다.19951973 그러나 1973년 출판물은 개념에 대한 비공식적인 발표에 불과했다.1992 첫 번째 공식 출판물은 아카이케의 1974년 논문이었다.1974 AIC의 초기 도출은 몇 가지 강력한 가정에 의존했다. 1976는 이러한 가정을 훨씬 약화시킬 수 있음을 보여주었다. 그러나 다케우치의 연구는 일본어로 되어 있어 수년 동안 일본 외에서는 널리 알려지지 않았다. (번역본) AIC는 원래 1978에 의해 (에 한정하여) 선형 회귀에 대해 제안되었다. 이는 1989 및 같은 저자들의 몇몇 후속 논문의 계기가 되었고, AICc가 적용될 수 있는 상황을 확장했다. 정보 이론적 접근 방식에 대한 첫 번째 일반적인 설명은 2002의 저서였다. 여기에는 다케우치의 작업에 대한 영어 설명이 포함되어 있다. 이 저서는 AIC의 사용을 훨씬 더 광범위하게 만들었으며, 현재 구글 학술 검색에서 64,000회 이상의 인용을 기록하고 있다. 아카이케는 자신의 접근 방식을 "엔트로피 최대화 원칙"이라고 불렀다. 이는 정보 이론의 엔트로피 개념에 기반을 두고 있기 때문이다. 실제로 통계 모델에서 AIC를 최소화하는 것은 열역학적 시스템에서 엔트로피를 최대화하는 것과 효과적으로 동일하다. 다시 말해, 통계학의 정보 이론적 접근 방식은 본질적으로 열역학 제2법칙을 적용하는 것이다. 따라서 AIC는 루트비히 볼츠만의 엔트로피 연구에 뿌리를 두고 있다. 이러한 문제에 대한 자세한 내용은 1985 및 loc=ch. 2를 참조하라.
# 사용 팁

## 매개변수 계산
통계 모델은 무작위 오차를 설명해야 한다. 직선 모델은 형식적으로 yi = b0 \+ b1xi \+ εi로 설명될 수 있다. 여기서 εi는 직선 적합에서 발생하는 잔차이다. 만약 εi가 i.i.d. 가우시안 (평균 0)이라고 가정하면, 모델은 세 개의 매개변수를 갖는다. b0, b1, 그리고 가우시안 분포의 분산이다. 따라서 이 모델의 AIC 값을 계산할 때, k=3을 사용해야 한다. 더 일반적으로, i.i.d. 가우시안 잔차를 가진 모든 최소제곱법 모델에 대해 잔차 분포의 분산은 매개변수 중 하나로 계산되어야 한다.loc= p. 63 또 다른 예로, 첫 번째 차수 자기회귀모형을 고려해 보자. 이는 xi = c \+ φxi−1 \+ εi로 정의되며, εi는 i.i.d. 가우시안(평균 0)이다. 이 모델에는 c, φ, εi의 분산의 세 가지 매개변수가 있다. 더 일반적으로, p차 자기회귀 모델은 p + 2개의 매개변수를 갖는다. (단, c가 데이터로부터 추정되지 않고 미리 주어진다면, p + 1개의 매개변수만 존재한다.)
## 데이터 변환
후보 모델들의 AIC 값은 모두 동일한 데이터 세트로 계산되어야 한다. 그러나 때로는 반응 변수 y의 모델과 반응 변수의 로그, log(y)의 모델을 비교하고 싶을 수 있다. 더 일반적으로, 데이터의 모델과 변환된 데이터의 모델을 비교하고 싶을 수 있다. 데이터 변환을 처리하는 방법은 다음과 같다(loc= §2.11.3: "연구자들은 모든 가설이 동일한 반응 변수를 사용하여 모델링되었는지 확인해야 한다"에서 발췌). y의 정규 분포를 갖는 모델과 log(y)의 정규 분포를 갖는 모델을 비교하고 싶다고 가정해 보자. 우리는 두 모델의 AIC 값을 직접 비교해서는 안 된다. 대신, 먼저 y의 로그를 취하기 위해 정규 누적 분포 함수를 변환해야 한다. 이를 위해서는 관련 치환 적분을 수행해야 한다. 즉, 자연로그 함수의 미분인 1/y를 곱해야 한다. 따라서 변환된 분포는 다음 확률 밀도 함수를 갖는다. : y \mapsto \, \frac{1}{y} \frac{1}{\sqrt{2\pi\sigma^2\,\exp \left(-\frac{\left(\ln y-\mu\right)^2}{2\sigma^2}\right) —이는 로그 정규 분포의 확률 밀도 함수이다. 그런 다음 정규 모델의 AIC 값과 로그 정규 모델의 AIC 값을 비교한다. 잘못 지정된 모델의 경우 다케우치 정보 기준(TIC)이 더 적절할 수 있다. 그러나 TIC는 종종 추정 오류로 인한 불안정성을 겪는다.issn=1533-7928
# 다른 모형 선택 방법과의 비교
통계 문헌에서 여러 대안적인 모형 선택 기준이 제안되고 연구되었다. 여기에는 베이즈 정보 기준 (BIC), 교차 검증 방법, 최소제곱법 적합, 말로우의 C_p, 그리고 WAIC (Widely Applicable Information Criterion), DIC (Deviance Information Criterion), HQC (Hannan-Quinn Information Criterion)과 같은 다른 정보 이론적 접근 방식이 포함된다. 이러한 방법들은 분석 목표(예측, 추론 또는 모형 해석)에 따라 가정, 점근적 거동 및 적합성에 차이가 있다. AIC 및 기타 모형 선택 방법에 대한 포괄적인 개요는 Ding 등 (2018)에 나와 있다.s2cid=53035396
## BIC와의 비교
AIC와 BIC(및 그 변형들) 사이의 중요한 차이점은 잘 지정된 모델 클래스와 잘못 지정된 모델 클래스 하에서의 점근적 행동에 있다.issn=1053-5888 이들의 근본적인 차이점은 회귀 변수 선택 및 자기회귀 차수 선택s2cid=5189440 문제에서 잘 연구되었다. 일반적으로 목표가 예측이라면 AIC와 리브원아웃(leave-one-out) 교차 검증이 선호된다. 베이즈 정보 기준 (BIC)의 공식은 AIC 공식과 유사하지만, 매개변수 수에 대한 페널티가 다르다. AIC의 경우 페널티는 2k인 반면, BIC의 경우 페널티는 ln(n)k이다. AIC/AICc와 BIC의 비교는 loc=§6.3-6.4에 나와 있으며, 2004의 후속 논평도 있다. 저자들은 AIC/AICc가 BIC와 동일한 베이즈 프레임워크에서 파생될 수 있음을 보여주었으며, 이는 단지 다른 사전 확률을 사용한 결과이다. 그러나 BIC의 베이즈 파생에서는 각 후보 모델이 1/R의 사전 확률을 갖는다 (여기서 R은 후보 모델의 수). 또한 저자들은 AICc가 BIC에 비해 실제/성능상의 이점을 가지는 경향이 있음을 시사하는 몇 가지 시뮬레이션 연구를 제시한다. 몇몇 연구자들이 지적한 바는 AIC와 BIC가 다른 작업에 적합하다는 것이다. 특히 BIC는 후보 모델 세트에서 "진정한 모델"(즉, 데이터를 생성한 프로세스)을 선택하는 데 적합하다고 주장되는 반면, AIC는 그렇지 않다. 구체적으로, "진정한 모델"이 후보 세트에 있는 경우, n → ∞일 때 BIC는 "진정한 모델"을 확률 1로 선택한다. 이와 대조적으로, AIC를 통해 선택이 이루어질 때 확률은 1보다 작을 수 있다.loc=§6.3-6.420122014 AIC 지지자들은 "진정한 모델"이 후보 세트에 거의 없기 때문에 이 문제가 사소하다고 주장한다. 실제로 통계학에서 "모든 모델은 틀렸다"는 일반적인 격언이 있다. 따라서 "진정한 모델"(즉, 현실)은 후보 세트에 있을 수 없다. AIC와 BIC의 또 다른 비교는 2012에 나와 있다. Vrieze는 "진정한 모델"이 후보 세트에 있을 수 있도록 하는 시뮬레이션 연구를 제시한다(실제 데이터와는 달리). 이 시뮬레이션 연구는 특히 "진정한 모델"이 후보 세트에 있을 때에도 AIC가 BIC보다 훨씬 더 나은 모델을 선택하는 경우가 있음을 보여준다. 그 이유는 유한한 n에 대해 BIC가 후보 세트에서 매우 나쁜 모델을 선택할 상당한 위험을 가질 수 있기 때문이다. 이 이유는 n이 k2보다 훨씬 클 때도 발생할 수 있다. AIC의 경우 매우 나쁜 모델을 선택할 위험이 최소화된다. 만약 "진정한 모델"이 후보 세트에 없다면, 우리가 할 수 있는 가장 최선은 "진정한 모델"을 가장 잘 근사하는 모델을 선택하는 것이다. AIC는 특정 가정 하에서 최적의 근사 모델을 찾는 데 적합하다. (이러한 가정에는 특히 정보 손실과 관련하여 근사가 이루어진다는 점이 포함된다.) 회귀 맥락에서 AIC와 BIC의 비교는 2005에 나와 있다. 회귀에서 AIC는 "진정한 모델"이 후보 세트에 없다는 가정 하에서 최소 평균 제곱 오차를 가진 모델을 선택하는 데 점근적으로 최적이다. BIC는 이 가정 하에서 점근적으로 최적이지 않다. 양은 또한 AIC가 최적값으로 수렴하는 속도가 어떤 의미에서는 가능한 최선임을 보여준다.
## 최소제곱법과의 비교
때로는 각 후보 모델이 잔차가 독립적이고 동일한 정규 분포(평균 0)에 따라 분포한다고 가정한다. 이는 최소제곱법 모델 적합으로 이어진다. 최소제곱법 적합에서 모델 잔차 분포의 분산에 대한 최대 가능도 추정치는 다음과 같다. :\hat\sigma^2 = \mathrm{RSS}/n, 여기서 잔차 제곱합은 :\textstyle \mathrm{RSS} = \sum_{i=1}^n (y_i-f(x_i;\hat{\theta}))^2 그러면 모델의 로그 가능도 함수의 최댓값은 다음과 같다(정규 분포#로그 가능도 참조). : \ln(\hat L)= -\frac{n}{2}\ln(2\pi) - \frac{n}{2}\ln(\hat\sigma^2) - \frac{1}{2\hat\sigma^2}\mathrm{RSS} \, = \, - \frac{n}{2}\ln(\hat\sigma^2) + C 여기서 C는 모델과 독립적인 상수이며, 특정 데이터 포인트에만 의존한다. 즉, 데이터가 변하지 않으면 변하지 않는다. 이는 다음을 제공한다.loc=p. 63 :\mathrm{AIC} = 2k - 2\ln(\hat L) = 2k + n\ln(\hat\sigma^2) - 2C AIC의 차이만 의미가 있기 때문에 상수 C는 무시할 수 있으며, 이는 모델 비교를 위해 다음을 편리하게 사용할 수 있도록 한다. :\Delta \mathrm{AIC} = 2k + n\ln(\hat\sigma^2) 모든 모델이 동일한 k를 갖는다면, 최소 AIC를 가진 모델을 선택하는 것은 최소 RSS를 가진 모델을 선택하는 것과 동일하며, 이는 최소제곱법 기반 모델 선택의 일반적인 목표이다.
## 교차 검증과의 비교
리브원아웃(leave-one-out) 교차 검증은 일반 선형 회귀 모델의 경우 AIC와 점근적으로 동일하다.1977 혼합 모형에서도 AIC와의 점근적 동일성이 성립한다.2011
## 말로우의 Cp와의 비교
아카이케는 '말로우가 제안한 통계량의 사용이 우리의 현재 접근 방식과 본질적으로 동등하다는 점에 주목할 가치가 있다'고 말했다.1973 그러나 AIC와 Cp 사이의 정확한 관계는 약간의 뉘앙스가 필요하다. 알 수 없는 오차 분산 \sigma^2을 가진 정규 회귀 모델에서, 위에서 언급했듯이 AIC 통계량은 다음과 같다. : \mbox{AIC} = n \ln(\mbox{RSS}/n) + 2k (아래의 혼동을 피하기 위해 여기서는 \hat\sigma^2 사용을 의도적으로 중단한다). 큰 표본의 경우, 이 모델이 정확하다면 \mbox{RSS}/n은 실제 오차 분산 \sigma^2에 가까워야 하며, 로그에 대한 1차 테일러 급수를 사용하면, 1 이 최종 표현(n이 있는 항은 무시함)은 \sigma^2이 알려져 있을 때 말로우의 Cp이다. \sigma^2이 알려지지 않은 더 일반적인 상황에서는 일반적으로 가능한 모든 예측 변수를 사용하는 모델에서 파생된 추정치 \hat\sigma^2가 대체되어야 한다. 이는 AIC와 Cp 사이의 점근적 동등성을 이끈다. 그러나 아카이케는 '불행히도 Cp 정의에서 \hat\sigma^2 선택에는 다소 주관적인 판단이 필요하다'고 지적했다.1974 \sigma^2이 알려진 특이한 경우, AIC는 정확히 (1)과 같다. 결과적으로 (1)은 때때로 AIC로 간주되며, AIC와 Cp는 동등하다고 주장된다.2014 이러한 주장은 부정확한 것으로 간주되어야 한다. AIC가 올바르게 구현될 때, 동등성은 점근적으로만 성립한다.
## 기타 정보 기준
다른 모델 선택 기준으로는 WAIC (Widely Applicable Information Criterion)와 DIC (Deviance Information Criterion)가 있으며, 이 둘은 베이즈 모델 선택에서 널리 사용된다. 특히 WAIC는 leave-one-out 교차 검증과 점근적으로 동일하며, 복잡하거나 특이한 모델에서도 적용된다. HQC (Hannan-Quinn Criterion)는 BIC보다 가벼운 페널티를 적용하지만 AIC보다는 무거운 페널티를 적용하여 AIC와 BIC의 중간 지점을 제공한다. MDL (Minimum Description Length) 원칙은 BIC와 밀접하게 관련되어 있으며, 모델 선택을 정보 이론적 관점에서 압축 문제로 취급한다. 이러한 각 방법은 모델 복잡성, 표본 크기 및 분석 목표에 따라 장점이 있다.
# 내용주
20em
# 더 읽어보기
* [아카이케 히로쓰구가 AIC에 도달한 방법에 대해 언급] * * * * * * * * * * inference 전거 통제 위키데이터 속성 추적 분류:수학적 모델링 분류:정보 엔트로피 분류:일본의 발명품