修士論文 要旨

生成モデルベースの隠れマルコフモデルと生体データへの応用
数理情報学専攻 48226218
指導教員

谷本 佑馬
小林 徹也 教授

ここで, wik は混合係数, µik , Σik はそれぞれ状態 i に

1 はじめに付随する k 番目の正規分布の平均ベクトル, 分散共分散システムの隠れた状態の推定は普遍的な問題である.

行列である.

生物学や細胞生理学においては, 生命システムの複雑な近年, 機械学習の発展に伴い, HMM と機械学習を状態や運動を理解するために隠れ状態推定は重要であ組み合わせたモデルが提案されている. フローベース

る. 例えば, 推測された隠れ状態から生命システムの正生成モデルである Normalizing ﬂow は確率分布推定常/異常な状態を区別することができる. その応用は表の文脈で提案された [3]. Normalizing ﬂow は, 正規分現型スクリーニングや薬剤耐性の同定など多岐にわた布などの単純な分布に可逆かつ微分可能な変換を繰る. しかし, これまでの生命システムに対する隠れ状態り返し施すことで, より複雑な分布を生成するモデル推定の試みは, 遺伝子の蛍光イメージングや細胞の分裂である. Z ∈ RD は単純な確率分布 (本研究では正周期, 分裂長 [8] といった単純な観測データに限られて規分布) pZ : RD → R に従う確率変数とする. またいる. 近年, イメージング技術の発展により, 細胞組織のg : RD → RD を可逆な関数とし, X = g(Z) の関係が2 次元・3 次元動画データを取得することが可能になっ成立するとする. このとき, 変数変換の公式から X の確ている. 隠れ状態推定と深層学習アルゴリズムを組み合率密度関数は次のように書ける:

わせることで, 動画データやラマンスペクトル [7, 9] とpX (x) = pZ (f (x))|det Df (x)|,(2)いったより複雑な高次元データから隠れ状態の抽出を
ここで f は g の逆関数, Df (x) は f のヤコビ行列であ行うことができると考えられる.

る. 関数 g は単純な分布 pZ からより複雑な分布 pX へ

2 既存手法(”生成方向”) の変換である. また逆関数 f はデータの隠れマルコフモデル (hidden Markov model; HMM)

[1] は, 隠れ状態推定を目的とした確率モデルである.

複雑な分布から基本的な分布へ (”正規化方向”) の変換である.

HMM を用いることで, 観測データから背景にあるシ

Normalizing ﬂow 混 合 モ デ ル (Normalizing ﬂow

ステムの状態やその確率的なダイナミクスの推測を行

mixture model; NMM) [10] は複数の Normalizing ﬂow

うとともに, 観測が生成されるメカニズムを解明する分布の線形和として定義される. この NMM をベースとことができる. 特に, 隠れ状態から生成される観測分した HMM (NMM-HMM) [4, 5, 11] は, 各状態におけ布を複数の正規分布の線形和とした, ガウス混合モデる観測分布を NMM によって推定するモデルである:

ル (Gaussian mixture model; GMM) ベースの HMM(GMM-HMM) が広く知られており, 音声認識を中心に幅広い分野で応用されてきた.
長さ T の D 次元観測系列 x = {x0 , . . . , xT −1 } ⊂RD と状態系列 s = {s0 , . . . , sT −1 } を考える. 隠れ状態 st ∈ {0, . . . , N − 1} は直接観測できない潜在的な確率変数である. 状態系列はマルコフ連鎖であり, 状態遷移確率 Aij = p(st = j | st−1 = i) と初期分布

πi = p(s0 = i) によって決定づけられる. また状態 iにおける観測分布を bi (xt ) = p(xt | st = i) とおく.

GMM-HMM では観測分布として GMM が用いられる:bi (xt ) =

M−1
∑
k=0

wik N (xt | µik , Σik ).

bi (xt ) =M−1∑

wik pZ (fik (xt ))|det Dfik (xt )|,

(3)

k=0

ここで, fik は状態 i の NMM に付随する k 番目の Nor-malizing ﬂow である. NMM-HMM は従来の GMMHMM と比較し表現力が高く, データの複雑な多様体を記述できると期待される. 一方, MNIST などの画像データセットに対する教師なし分類において, NMM はGMM よりも精度が低くなることが報告されている [2].
これは, NMM はモデルの複雑度が大きく, パラメータの学習において局所的な最適解に陥りやすいからであると考えられる. NMM をベースとする NMM-HMM
でも同様に精度が低くなってしまう可能性がある. そこ(1)で本研究では NMM-HMM の安定な学習を可能にする学習アルゴリズムの提案を行う.

生成モデルベースの隠れマルコフモデルと生体データへの応用 (谷本 佑馬)

らつきを抑え安定的に NMM-HMM を学習できる有用3 本研究で提案するアルゴリズムなモデルであることが示唆される. また GMM-HMM

本節では, 提案手法である GMM-NMM-HMM の学と提案手法の比較では, 特に潜在変数空間の次元が高習アルゴリズムについて説明する. このモデルは, 学習

い場合, 提案手法は GMM-HMM からの一定の精度向した GMM-HMM をベースとして NMM-HMM の学上が見られた. ただし, 精度向上には限度があり, 元の習を行うことで, NMM-HMM の初期パラメータを最GMM-HMM の局所解から抜け出せているわけではな

適解に近づけ学習の安定化を図るとともに, ベースのいと考えられる.

GMM-HMM からの精度向上を目指す. なお, 類似モデ
ルとして XGB-HMM [12] が挙げられる.

生体データへの応用として, 動画データからの運動状態推定を行った. Dictyostelium に対しては, 細胞の特γt (i, k) は Baum-Welch アルゴリズムによって計算徴的な形状に対応して隠れ状態が分類された. さらに,される, 状態 i の GMM に付随する k 番目の正規分布か

HMM による隠れ状態の遷移として, 細胞が突起を形成ら観測 xt が生成される確率である.

しながら運動する動態を捉えられることが示された. 一

Xik = {xt | γt (i, k) > pthreshold },(4)とおくと, これは状態 i の GMM に付随する k 番目の方, C. elegans に対しては, 方向転換を行う様子や移動時の体の曲線の位相変化を, 隠れ状態間の状態遷移として表現できることを示した.

正規分布から生成された可能性が高い観測の集合である. この観測集合 Xik を用いて, NMM-HMM の ﬂow

表 1. MNIST データに対する予測精度. 10 回分の正解率の平均と標準偏差を示す.

fik の学習を行う. fik のパラメータを Φik とし, 目的潜在空間の次元関数をQik (Φik ) =∑4pX (xt | st = i, mti = k; Φik )xt ∈Xik=∑pZ (fik (xt ))|det Dfik (xt )|, (5)816

GMM-HMM0.85 ± 0.06

0.85 ± 0.07

0.82 ± 0.04

NMM-HMM0.77 ± 0.06

0.78 ± 0.08

0.69 ± 0.09

GMM-NMM-HMM

0.86 ± 0.06

0.86 ± 0.07

0.87 ± 0.04

VaDE [6]0.817 (次元は 10)

xt ∈Xikと定める. 各 (i, k) に対して Qik の最大化を行うこと
で, NMM-HMM の ﬂow を個別に学習することができ

5 まとめる. 以上が GMM-HMM に基づいた NMM-HMM の事

本研究では, NMM-HMM の安定した学習を可能に前学習の流れである. GMM-NMM-HMM の学習アルする学習アルゴリズム GMM-NMM-HMM の提案を行

ゴリズム全体を以下に示す:

なった. この手法は, 線虫の定量的な行動データ解析と(i) GMM-HMM で学習を行い, パラメータ λ ={π, A, w, µ, Σ} を初期化する.
(ii) Baum-Welch アルゴリズムを用いて γt (i, k)を計算する.

(iii) 各 (i, k) に対して式 (5) の Qik (Φik ) を最大化する.

(iv) NMM-HMM の学習を行う.

4 結果
既存手法と提案手法の精度の比較するために, 手書き文字のデータセットである MNIST と EMNIST を用いた検証を行った. NMM-HMM と提案手法の比較では,提案手法の方が正解率は高く, 特に潜在変数空間の次元が高い場合, その標準偏差は小さくなった. このことから, 提案手法は高い精度で, かつ初期値による学習のば全脳イメージングデータセットの組み合わせによる神経系のメカニズムの解明や, ラマンスペクトル解析による細胞種・細胞状態の推定に応用できるであろう.

参考文献[1] Baum, L. E.; Petrie, T. The Annals of MathematicalStatistics. 1966, 37(6), pp. 1554-1563.
[2] Ciobanu, S. EPiC Series in Computing. 2021, 79, pp.
82-90.
[3] Dinh, L. et al. arXiv:1410.8516.
[4] Ghosh, A. et al. arXiv:2102.07284.
[5] Ghosh, A. et al. arXiv:2107.00730.
[6] Jiang, Z. et al. IJCAI-17. 2017, pp. 1965-1972.
[7] Kamei, K. F. et al. bioRxiv, 2023.05.09.539921.
[8] Kamimura, A; Kobayashi, T. J. Physical Review Research. 2021, 3, 033032.
[9] Kobayashi-Kirschvink, K. J. et al. Cell Systems.
2018, 7(1), pp. 104-117.
[10] Liu, D. et al. arXiv:1907.13432.
[11] Liu, D. et al. arXiv:1910.05744.
[12] Liu, M. et al. arXiv:2104.09700.