혼합 모델

혼합 모델(Mixture model)은 통계학에서 전체 집단안의 하위 집단의 존재를 나타내기 위한 확률 모델이다. 좀 더 형식적으로는 전체 집단의 확률 분포를 나타내는 혼합 분포(Mixture distribution)에 해당한다. 그러나 "혼합 분포"와 관련된 문제들은 하위 집단들로부터 전체 집단의 특징들을 얻는 것에 관련된 반면, "혼합 모델"들은 관찰된 집단이 주어졌을 때 하위 집단들의 특징들에 대해 통계적 추론을 하기 위해 쓰인다.
혼합 모델의 좀더 구체적인 사용 용도로는, 만약 관찰된 변수와 잠재 변수의 결합 분포를 정의한다면, 관찰된 변수들의 분포는 모든 잠재 변수에 대해 주변화(marginalize)함으로써 구할 수 있다. 이렇게 함으로써 관찰된 변수의 복잡한 분포를 잠재변수를 사용하여 더 단순하게 표현할 수 있다. 혼합 모델은 이러한 잠재변수를 가정하여 복잡한 분포를 추정하는데 사용된다. 또, 혼합 모델은 데이터를 군집화(clustering)하는 데 쓰일 수 있다.
잠재 변수를 포함하는 모델의 최대 우도 추정(Maximum likelihood estimation)을 위해서는 기대값 최대화(expectation-maximization) 알고리즘이 사용된다.
가우스 혼합 모델은 데이터마이닝, 패턴 인식, 머신 러닝, 통계분석 등에 광범위하게 쓰인다. 이 때 모델의 파라미터들은 EM 알고리즘을 통해 구한다.
혼합 모델의 배경.
지도학습과 비지도 학습.
지도학습(supervised learning).
관측된 자료가 특징 벡터 x 와 관측 값이 속해있는 클래스 ω 로 이루어진 변수 쌍 {x, ω}으로 구성될 경우의 학습은 특징벡터와 정확한 답이 주어졌기 때문에 교사/감독/지도(supervised: 교사와 함께 훈련한/교사가 지도한) 학습이라고 한다.
비지도학습(unsupervised learning).
클래스 라벨 ω 가 주어지지 않고 특징 벡터 x={x1, x2...,xN } 만으로 이루어진 데이터 집합이 주어질 경우의 학습은 정확한 답은 제공 받지 못하므로 비교사/무감독/비지도 (unsupervised: 교사 없이 훈련한) 학습이라고 한다.
비지도 학습의 두 가지 접근법.
이 방법은 여러 개의 모수적 확률밀도함수(주로 가우스)를 혼합하여 주어진 확률밀도함수를 모델링하는 방법으로 아래 식과 같이 모델링 되며, 모델 파라미터를 찾는 것이 목적이다. 이 방법을 “모수적 혼합 모델(parametric mixture models)”이라고 한다.
이 방법은 주어진 데이터에 대한 어떠한 가정도 하지 않고 정해진 수의 클러스터들로 데이터를 나누는 방법으로 군집화 (클러스터링)라고 한다. 이 방법은 파라미터 최우추정(MLE)과 밀접하게 관련되어 있다.
클러스터 구분의 최적화 규준.
클러스터링을 통해 데이터들을 클래스로 분류를 하게 되면 오차가 발생하게 된다. 클래스의 중심이 되는 값(클래스 내에 가장 밀도가 높은 지점)과 그 클래스로 분류된 데이터간의 차가 최소가 되도록 하는 것이 최적화 과정이다.
이 때 특징 벡터 x의 개수(N)는 항상 클래스의 개수(K)보다 훨씬 많고 서로 관계는 대부분 비선형이므로 직접적으로 최적의 값을 찾는 것은 불가능하다. 따라서 반복적인 최적화 과정을 통해 오차를 최소화 할 수 있다.
군집화에서 고려해야하는 중요한 문제점.
1) 최적의 클래스(확률분포모델) 개수는 몇 개 인가?(K의 개수 결정)
2) 주어진 데이터에서 가장 근접한 클래스(확률분포모델)는 무엇인가?(클러스터링 과정)
3) 오차가 가장 최소가 되는 클래스(확률분포모델)는 무엇인가?(클래스 특징을 변화)
위의 3가지 문제를 고려하여 클래스 구성과 최적화 과정을 EM알고리즘을 통하여 진행한다.
혼합 모델의 구조.
일반적인 혼합 모델.
일반적인 유한 차원의 혼합 모델은 다음의 구성요소로 이루어진 계층적 베이즈 모델이다. :
추가적으로, 베이지안 세팅에서는 혼합 가중치와 파라미터들 자체가 확률 변수이며, 그러한 변수들에 대한 사전확률이 정의되어야 한다. 그런 경우에 가중치들은 보통 디리클레 분포로부터 뽑은 K차원의 랜덤 벡터라고 간주한다. (디리클레 분포는 다항 분포의 conjugate prior이다.)
따라서 파라미터들은 해당하는 conjugate prior에 따라 분포 될 것이다.
수학적으로, 기본적인 파라미터 혼합 모델은 다음과 같이 나타낼 수 있다 :
베이지안 세팅에서, 모든 파라미터들은 확률 변수와 다음과 같이 연관되어 있다. :
위와 같은 정의에서 F와 H는 각각 관찰과 파라미터에 대한 임의의 분포를 묘사하기 위해 사용된다. 보통 H는 F의 conjugate prior이다.
F분포의 가장 흔한 선택 두가지로는 가우스 분포(실수값을 가지는 관측) 그리고 다항 분포(이산적인 값을 가지는 관측)가 있다. 혼합 구성요소로 가능한 다른 일반적인 분포들로는 다음과 같은 것들이 있다. :
구체적인 예.
가우스 혼합 모델.
대표적인 비(非)베이지안 혼합모델은 다음과 같다.
베이지안 버전의 가우스 혼합 모델은 다음과 같다.
다변량 가우스 혼합 모델.
베이지안 가우스 혼합 모델은 흔히 미지의 파라미터 벡터에 적용될 수 있도록 확장되거나, 다변량 정규 분포로 확장된다. 다변량 분포에서(즉 "N" 개의 확률 변수를 모델링할 때, formula_33 ), 파라미터 벡터를 모델링할 때, 다음과 같이 가우스 혼합 모델 사전 분포를 사용하여 추정 할 수 있다.
벡터의 "ith" 요소는 가중치 formula_35, 평균 formula_36 그리고 공분산 formula_37을 갖는다. .
이러한 사전 확률을 베이지안 추론에 통합하기 위해서, 사전 확률은 조건부 formula_38 데이터 formula_33의 알려진 분포 formula_40와 곱해져야 한다. 이러한 공식하에서 posterior formula_41확률 역시 다음과 같은 형태의 가우스 혼합 모델이다.
새로운 파라미터들은 formula_43 and formula_44 EM 알고리즘을 이용해서 업데이트된다.
 EM 기반의 파라미터 업데이트 방식들을 사용하는 방법은 이미 잘알려져있지만, 이러한 파라미터들의 초기 추정치를 알아내는 것은 현재에도 활발하게 연구되고 있다. 이러한 공식화는 complete posterior 분포의 closed-form 해를 구할 수 있게 한다. 확률 변수formula_38의 추정치들은 여러개의 posterior 분포의 최댓값이나 평균 등의 추정자들 중 하나로 구할 수 있다.
다항 혼합 모델.
대표적인 다항 분포의 비(非)베이지안 혼합 모델 관측은 다음과 같다.
확률 변수들은 다음과 같다.:
대표적인 다항 분포의 베이지안 혼합 모델 관측은 다음과 같다.
확률 변수들은 다음과 같다.: