은닉 마르코프 모형
수학적 서술 > 예시

다음의 수학적 기술들은 구현의 편의를 위해 상세히 쓰이고 설명되었다.
관찰 결과들이 정규 분포를 따르는 전형적인 비 베이지안 은닉 마르코프 모형은 다음과 같다.
| 0 | 1 | 2 | 3 | 4 | 5 | 6 |
| --- | --- | --- | --- | --- | --- | --- |
|   |   | N |   | = |   | 상태의 수 |
|   |   | T |   | = |   | 관찰의 수 |
|   |   |  \phi _{i=1\dots N,j=1\dots N} |   | = |   | 상태i에서 상태j로 가는 확률 |
|   |   |  {\boldsymbol {\phi }}_{i=1\dots N} |   | = |   |  \phi _{i,1\dots N}로 구성 된N-차원 벡터; 합이  1이 되어야 한다. |
|   |   |  \mu _{i=1\dots N} |   | = |   | 상태 i와 관련된 관찰들의 평균 |
|   |   |  \sigma _{i=1\dots N}^{2} |   | = |   | 상태 i와 관련된 관찰들의 편차 |
|   |   |  x_{t=1\dots T} |   | = |   | 시간 t에서 관찰의 상태 |
|   |   |  y_{t=1\dots T} |   | = |   | 시간 t에서의 관찰 |
|   |   |  x_{t=2\dots T} |   | ~ |   |  \operatorname {Categorical} ({\boldsymbol {\phi }}_{x_{t-1}}) |
|   |   |  y_{t=1\dots T} |   | ~ |   |  {\mathcal {N}}(\mu _{x_{t}},\sigma _{x_{t}}^{2}) |
관찰 결과들이 정규 분포를 따르는 따르는 일반적인 베이지안 은닉 마르코프 모형은 다음과 같다.
| 0 | 1 | 2 | 3 | 4 | 5 | 6 |
| --- | --- | --- | --- | --- | --- | --- |
|   |   | N |   | = |   | 상태의 수 |
|   |   | T |   | = |   | 관찰의 수 |
|   |   |  \phi _{i=1\dots N,j=1\dots N} |   | = |   | 상태i에서 상태j로 가는 확률 |
|   |   |  {\boldsymbol {\phi }}_{i=1\dots N} |   | = |   |  \phi _{i,1\dots N}로 구성 된N-차원 벡터; 합이  1이 되어야 한다. |
|   |   |  \mu _{i=1\dots N} |   | = |   | 상태 i와 관련된 관찰들의 평균 |
|   |   |  \sigma _{i=1\dots N}^{2} |   | = |   | 상태 i와 관련된 관찰들의 편차 |
|   |   |  x_{t=1\dots T} |   | = |   | 시간 t에서 관찰의 상태 |
|   |   |  y_{t=1\dots T} |   | = |   | 시간 t에서의 관찰 |
|   |   | β |   | = |   | 전이 행렬의 밀도를 조절하는 집중 초 모수 |
|   |   |  \mu _{0},\lambda  |   | = |   | 각각의 상태의 평균들의 공유 초 모수 |
|   |   |  \nu ,\sigma _{0}^{2} |   | = |   | 각각의 상태의 편차들의 공유 초 모수 |
|   |   |  {\boldsymbol {\phi }}_{i=1\dots N} |   | ~ |   |  \operatorname {Symmetric-Dirichlet} _{N}(\beta ) |
|   |   |  x_{t=2\dots T} |   | ~ |   |  \operatorname {Categorical} ({\boldsymbol {\phi }}_{x_{t-1}}) |
|   |   |  \mu _{i=1\dots N} |   | ~ |   |  {\mathcal {N}}(\mu _{0},\lambda \sigma _{i}^{2}) |
|   |   |  \sigma _{i=1\dots N}^{2} |   | ~ |   |  \operatorname {Inverse-Gamma} (\nu ,\sigma _{0}^{2}) |
|   |   |  y_{t=1\dots T} |   | ~ |   |  {\mathcal {N}}(\mu _{x_{t}},\sigma _{x_{t}}^{2}) |
Categorical 관찰을 따르는 전형적인 비 베이지안 은닉 마르코프 모형은 다음과 같다:
| 0 | 1 | 2 | 3 | 4 | 5 | 6 |
| --- | --- | --- | --- | --- | --- | --- |
|   |   | N |   | = |   | 상태의 수 |
|   |   | T |   | = |   | 관찰의 수 |
|   |   |  \phi _{i=1\dots N,j=1\dots N} |   | = |   | 상태 i에서 상태 j로 가는 확률 |
|   |   |  {\boldsymbol {\phi }}_{i=1\dots N} |   | = |   |  \phi _{i,1\dots N}로 구성 된N-차원 벡터; 합이  1이 되어야 한다. |
|   |   | V |   | = |   | Categorical 관찰들의 차원, 예를 들어 단어 어휘의 크기. |
|   |   |  \theta _{i=1\dots N,j=1\dots V} |   | = |   | j 번째 아이템을 관찰하는 상태 i를 위한 확률 |
|   |   |  {\boldsymbol {\theta }}_{i=1\dots N} |   | = |   |  \theta _{i,1\dots V}로 구성 된 V-차원 벡터; 합이  1되어야 한다. |
|   |   |  x_{t=1\dots T} |   | = |   | 시간 t에서 관찰의 상태 |
|   |   |  y_{t=1\dots T} |   | = |   | 시간 t에서의 관찰 |
|   |   |  x_{t=2\dots T} |   | ~ |   |  \operatorname {Categorical} ({\boldsymbol {\phi }}_{x_{t-1}}) |
|   |   |  y_{t=1\dots T} |   | ~ |   |  {\text{Categorical}}({\boldsymbol {\theta }}_{x_{t}}) |
Categorical 관찰을 따르는 전형적인 베이지안 은닉 마르코프 모형은 다음과 같다:
| 0 | 1 | 2 | 3 | 4 | 5 | 6 |
| --- | --- | --- | --- | --- | --- | --- |
|   |   | N |   | = |   | 상태의 수 |
|   |   | T |   | = |   | 관찰의 수 |
|   |   |  \phi _{i=1\dots N,j=1\dots N} |   | = |   | 상태i에서 상태j로 가는 확률 |
|   |   |  {\boldsymbol {\phi }}_{i=1\dots N} |   | = |   |  \phi _{i,1\dots N}로 구성 된N-차원 벡터; 합이  1이 되어야 한다. |
|   |   | V |   | = |   | Categorical 관찰들의 차원, 예를 들어 단어 어휘의 크기. |
|   |   |  \theta _{i=1\dots N,j=1\dots V} |   | = |   | j 번째 아이템을 관찰하는 상태 i를 위한 확률 |
|   |   |  {\boldsymbol {\theta }}_{i=1\dots N} |   | = |   |  \theta _{i,1\dots V}로 구성 된 V-차원 벡터; 합이  1되어야 한다. |
|   |   |  x_{t=1\dots T} |   | = |   | 시간 t에서 관찰의 상태 |
|   |   |  y_{t=1\dots T} |   | = |   | 시간 t에서의 관찰 |
|   |   |  x_{t=2\dots T} |   | ~ |   |  \operatorname {Categorical} ({\boldsymbol {\phi }}_{x_{t-1}}) |
|   |   |  y_{t=1\dots T} |   | ~ |   |  {\text{Categorical}}({\boldsymbol {\theta }}_{x_{t}}) |
Categorical 관찰을 따르는 전형적인 베이지안 은닉 마르코프 모형은 다음과 같다:
| 0 | 1 | 2 | 3 | 4 | 5 | 6 |
| --- | --- | --- | --- | --- | --- | --- |
|   |   | N |   | = |   | 상태의 수 |
|   |   | T |   | = |   | 관찰의 수 |
|   |   |  \phi _{i=1\dots N,j=1\dots N} |   | = |   | 상태i에서 상태j로 가는 확률 |
|   |   |  {\boldsymbol {\phi }}_{i=1\dots N} |   | = |   |  \phi _{i,1\dots N}로 구성 된N-차원 벡터; 합이  1이 되어야 한다. |
|   |   | V |   | = |   | Categorical 관찰들의 차원, 예를 들어 단어 어휘의 크기. |
|   |   |  \theta _{i=1\dots N,j=1\dots V} |   | = |   | j 번째 아이템을 관찰하는 상태 i를 위한 확률 |
|   |   |  {\boldsymbol {\theta }}_{i=1\dots N} |   | = |   |  \theta _{i,1\dots V}로 구성 된 V-차원 벡터; 합이  1되어야 한다. |
|   |   |  x_{t=1\dots T} |   | = |   | 시간 t에서 관찰의 상태 |
|   |   |  y_{t=1\dots T} |   | = |   | 시간 t에서의 관찰 |
|   |   |  x_{t=2\dots T} |   | ~ |   |  \operatorname {Categorical} ({\boldsymbol {\phi }}_{x_{t-1}}) |
|   |   |  y_{t=1\dots T} |   | ~ |   |  {\text{Categorical}}({\boldsymbol {\theta }}_{x_{t}}) |
Categorical 관찰을 따르는 전형적인 베이지안 은닉 마르코프 모형은 다음과 같다:
| 0 | 1 | 2 | 3 | 4 | 5 | 6 |
| --- | --- | --- | --- | --- | --- | --- |
|   |   | N |   | = |   | 상태의 수 |
|   |   | T |   | = |   | 관찰의 수 |
|   |   |  \phi _{i=1\dots N,j=1\dots N} |   | = |   | 상태 i에서 상태 j로 가는 확률 |
|   |   |  {\boldsymbol {\phi }}_{i=1\dots N} |   | = |   |  \phi _{i,1\dots N}로 구성 된N-차원 벡터; 합이  1이 되어야 한다. |
|   |   | V |   | = |   | Categorical 관찰들의 차원, 예를 들어 단어 어휘의 크기. |
|   |   |  \theta _{i=1\dots N,j=1\dots V} |   | = |   | j 번째 아이템을 관찰하는 상태 i를 위한 확률 |
|   |   |  {\boldsymbol {\theta }}_{i=1\dots N} |   | = |   |  \theta _{i,1\dots V}로 구성 된 V-차원 벡터; 합이  1되어야 한다. |
|   |   |  x_{t=1\dots T} |   | = |   | 시간 t에서 관찰의 상태 |
|   |   |  y_{t=1\dots T} |   | = |   | 시간 t에서의 관찰 |
|   |   | α |   | = |   | 각 상태에 대한  {\boldsymbol {\theta }}의 공유 집중 초 모수 |
|   |   | β |   | = |   | 전이 행렬의 밀도를 조절하는 집중 초 모수 |
|   |   |  {\boldsymbol {\phi }}_{i=1\dots N} |   | ~ |   | j 번째 아이템을 관찰하는 상태 i를 위한 확률 |
|   |   |  {\boldsymbol {\theta }}_{i=1\dots N} |   | = |   |  \theta _{i,1\dots V}로 구성 된 V-차원 벡터; 합이  1되어야 한다. |
|   |   |  x_{t=1\dots T} |   | = |   | 시간 t에서 관찰의 상태 |
|   |   |  y_{t=1\dots T} |   | = |   | 시간 t에서의 관찰 |
|   |   | α |   | = |   | 각 상태에 대한  {\boldsymbol {\theta }}의 공유 집중 초 모수 |
|   |   | β |   | = |   | 전이 행렬의 밀도를 조절하는 집중 초 모수 |
|   |   |  {\boldsymbol {\phi }}_{i=1\dots N} |   | ~ |   | j 번째 아이템을 관찰하는 상태 i를 위한 확률 |
|   |   |  {\boldsymbol {\theta }}_{i=1\dots N} |   | = |   |  \theta _{i,1\dots V}로 구성 된 V-차원 벡터; 합이  1되어야 한다. |
|   |   |  x_{t=1\dots T} |   | = |   | 시간 t에서 관찰의 상태 |
|   |   |  y_{t=1\dots T} |   | = |   | 시간 t에서의 관찰 |
|   |   | α |   | = |   | 각 상태에 대한  {\boldsymbol {\theta }}의 공유 집중 초 모수 |
|   |   | β |   | = |   | 전이 행렬의 밀도를 조절하는 집중 초 모수 |
|   |   |  {\boldsymbol {\phi }}_{i=1\dots N} |   | ~ |   |  \operatorname {Symmetric-Dirichlet} _{N}(\beta ) |
|   |   |  {\boldsymbol {\theta }}_{1\dots V} |   | ~ |   |  \operatorname {Symmetric-Dirichlet} _{V}(\alpha ) |
|   |   |  x_{t=2\dots T} |   | ~ |   |  \operatorname {Categorical} ({\boldsymbol {\phi }}_{x_{t-1}}) |
|   |   |  y_{t=1\dots T} |   | ~ |   |  \operatorname {Categorical} ({\boldsymbol {\theta }}_{x_{t}}) |
위의 베이지안 특징들에서 β (집중 모수)가 전이 행렬의 밀도를 조절함을 확인하자. 즉, 높은 β값을 가질 때(정확히 1 이상), 특정 상태의 전이를 조절하는 확률들은 비슷하다는 것이다. 이것은 다른 많은 상태로 전이 될 확률이 상당하다는 것을 뜻한다. 달리 말해, 감춰진 상태들의 마르코프 연쇄로 따라진 경로는 매우 임의적일 것이라는 것이다. 낮은 값의 β로는 오직 작은 수의 가능한 전이만 상당한 확률을 가질 것이라는 것이고, 감춰진 상태들로 따라진 경로는 어느 정도 추측 가능 할 것이라는 것을 뜻한다.