베이시안 정보 기준

통계학에서 **베이시안 정보 기준**(Bayesian information criterion, **BIC**) 또는 **슈바르츠 정보 기준**(Schwarz information criterion, **SIC**, **SBC**, **SBIC**)은 유한한 모형 집합 중에서 모형 선택을 위한 기준으로, BIC 값이 낮을수록 일반적으로 선호된다. 이는 부분적으로 가능도에 기반하며 아카이케 정보 기준(AIC)과 밀접하게 관련되어 있다.

모형을 적합할 때, 매개변수를 추가하여 최대 가능도를 높일 수 있지만, 이는 과적합을 초래할 수 있다. BIC와 AIC는 모두 모형의 매개변수 개수에 대한 벌점 항을 도입하여 이 문제를 해결하려고 시도한다. 표본 크기가 7보다 클 경우 BIC의 벌점 항이 AIC보다 더 크다.

BIC는 기디언 E. 슈바르츠가 개발하여 1978년 논문에서 발표되었다. 이는 베이즈 인자의 큰 표본 근사값으로 사용된다.

## 정의
BIC는 다음과 같이 공식적으로 정의된다.

: \mathrm{BIC} = k\ln(n) - 2\ln(\widehat L). \ 
여기서

*\hat L = 모형 M의 가능도의 최대값, 즉 \hat L=p(x\mid\widehat\theta,M)이며, 여기서 \{\widehat\theta\}는 가능도를 최대화하는 매개변수 값이고 x는 관측된 데이터이다.
*n = x의 데이터 포인트 수, 관측 수, 또는 equivalently 표본 크기;
*k = 모형에 의해 추정된 매개변수의 수. 예를 들어, 다중 선형 회귀에서 추정된 매개변수는 절편, q개의 기울기 매개변수, 오차의 상수 분산이므로 k = q + 2이다.

## 유도
BIC는 다음 모형 증거에서 시작하여 라플라스 방법을 사용하여 모형의 매개변수를 통합하여 유도할 수 있다.

:p(x\mid M) = \int p(x\mid\theta,M) \pi(\theta\mid M) \, d\theta

여기서 \pi(\theta\mid M)는 모형 M 하의 \theta에 대한 사전 확률이다.

로그 가능도 \ln(p(x\mid\theta,M))는 MLE \widehat\theta에 대해 두 번 미분 가능하다고 가정하고 2차 테일러 급수로 다음과 같이 확장된다.

:\ln(p(x\mid\theta,M)) = \ln(\widehat L) - \frac{n}{2} (\theta - \widehat\theta)^{\operatorname{T}} \mathcal{I}(\widehat\theta) (\theta - \widehat\theta) + R(x, \theta),

여기서 \mathcal{I}(\theta)는 관측 정보의 관측당 평균이며, R(x, \theta)는 잔차 항을 나타낸다. R(x, \theta)가 무시할 수 있고 \widehat\theta 근처에서 \pi(\theta\mid M)가 상대적으로 선형적이라는 점에서, \theta를 통합하면 다음을 얻을 수 있다.

:p(x\mid M) \approx \hat L {\left(\frac{2\pi}{n}\right)}^\frac{k}{2} |\mathcal{I}(\widehat\theta)|^{-\frac{1}{2}} \pi(\widehat\theta)

n이 증가함에 따라 |\mathcal{I}(\widehat\theta)|와 \pi(\widehat\theta)는 <math>O(1)</math>이므로 무시할 수 있다. 따라서,

:p(x\mid M) = \exp\left(\ln\widehat L - \frac{k}{2} \ln(n) + O(1)\right) = \exp\left(-\frac{\mathrm{BIC}}{2} + O(1)\right),

여기서 BIC는 위에서 정의한 바와 같고, \widehat L은 (a) 베이즈 사후 모드이거나 (b) MLE를 사용하며 사전 확률 \pi(\theta\mid M)가 MLE에서 0이 아닌 기울기를 가진다. 그러면 사후 확률은 다음과 같다.

:p(M\mid x) \propto p(x\mid M) p(M) \approx \exp\left(-\frac{\mathrm{BIC}}{2}\right) p(M)

## 사용
여러 모형 중에서 선택할 때, BIC 값이 낮은 모형이 일반적으로 선호된다. BIC는 오차 분산 \sigma_e^2의 증가 함수이며 k의 증가 함수이다. 즉, 종속변수의 설명되지 않은 분산과 설명 변수의 수가 BIC 값을 증가시킨다. 그러나 낮은 BIC가 반드시 한 모형이 다른 모형보다 우수함을 의미하지는 않는다. 근사값을 포함하기 때문에 BIC는 단지 발견적 방법일 뿐이다. 특히, BIC의 차이를 변환된 베이즈 인자처럼 다루어서는 안 된다.

BIC는 비교되는 모든 모형에 대해 종속변수의 수치 값이 동일할 때만 추정된 모형을 비교하는 데 사용할 수 있다는 점을 명심해야 한다. 비교되는 모형은 F 테스트 또는 가능도 비 검정을 사용하여 모형을 비교할 때와 달리 내포된 모형일 필요는 없다.

## 속성

* BIC는 일반적으로 아카이케 정보 기준보다 자유 매개변수에 더 강력한 벌점을 부여하지만, 이는 n의 크기와 n과 k의 상대적 크기에 따라 달라진다.
* 사전 확률과 무관하다.
* 데이터를 예측하는 데 있어 매개변수화된 모형의 효율성을 측정할 수 있다.
* 모형의 복잡성에 벌점을 부과하며, 복잡성은 모형의 매개변수 수를 의미한다.
* 최소 기술 길이 기준과 거의 같지만 부호가 반대이다.
* 특정 데이터 세트에 존재하는 내재적 복잡성에 따라 클러스터 수를 선택하는 데 사용할 수 있다.
* 이탈도 정보 기준 및 아카이케 정보 기준과 같은 다른 벌점 가능도 기준과 밀접하게 관련되어 있다.

## 한계
BIC는 두 가지 주요 한계가 있다.
# 위 근사는 모형의 매개변수 k보다 표본 크기 n이 훨씬 클 때만 유효하다.
# BIC는 고차원에서의 변수 선택(특징 선택) 문제와 같이 복잡한 모형 컬렉션을 처리할 수 없다.

## 가우스 특수 사례
모형 오차 또는 교란이 정규 분포에 따라 독립적으로 동일하게 분포하며, 진정한 분산에 대한 로그 가능도의 미분이 0이라는 경계 조건이 있다고 가정하면, 이는 (모형이 아닌 n에만 의존하는 가산 상수를 제외하고) 다음과 같이 된다.

:  \mathrm{BIC} = n \ln(\widehat{\sigma_e^2}) + k \ln(n) \ 

여기서 \widehat{\sigma_e^2}는 오차 분산이다. 이 경우 오차 분산은 다음과 같이 정의된다.

: \widehat{\sigma_e^2} = \frac{1}{n} \sum_{i=1}^n (x_i-\widehat{x}_i)^2.

이는 진정한 분산에 대한 편향 추정량이다.

잔차 제곱합 (RSS) 측면에서 BIC는 다음과 같다.

: \mathrm{BIC} = n \ln(\text{RSS}/n) + k \ln(n) \ 

포화 모형에 대해 여러 선형 모형을 테스트할 때, BIC는 이탈도 \chi^2 측면에서 다음과 같이 다시 쓸 수 있다.

:  \mathrm{BIC}= \chi^2 + k \ln(n) 

여기서 k는 테스트 모형의 매개변수 수이다.

## 같이 보기

* 아카이케 정보 기준
* 베이즈 인자
* 베이즈 모형 비교
* 이탈도 정보 기준
* 한난-퀸 정보 기준
* 젠센-섀넌 발산
* 쿨백-라이블러 발산
* 최소 메시지 길이

## 내용주

## 각주

## 추가 자료
* 
* 
* 
* 
* 

## 외부 링크
* 희소 벡터 자기회귀 모형화

분류:베이즈 추론