言語処理学会 第26回年次大会 発表論文集 (2020年3月)

RNN により高次の依存を考慮したニューラル隠れマルコフモデル
平岡 達也 1 , 高瀬 翔 1 , 内海 慶 2 , 欅 惇志 2 , 岡崎 直観 1
東京工業大学
デンソーアイティーラボラトリ
1{tatsuya.hiraoka, sho.takase, okazaki}@nlp.c.titech.ac.jp
2{kuchiumi, akeyaki}@d-itlab.co.jp
1

2

1

はじめに

提案手法は教師なし品詞タグ付けで評価する．さらに，提案手法が隠れ状態の高次依存を適切に捉えられ自然言語などの系列データを用いた問題を解く上ることを確認するため，人工データでの実験を行う．

で，品詞や話題遷移などの隠れ状態を的確に捉え活用することが重要である．アノテーションが大量にある
場合は，隠れ状態そのものを教師信号として活用でき

2 ニューラル隠れマルコフモデル

る [5, 1, 2]．一方でデータが十分に無い場合は，生デー

本研究では既存の NHMM をベースとした拡張を行

タから教師なし学習で隠れ状態を獲得する必要がある[7, 11, 9]．
隠れ状態を推定する方法としては，隠れマルコフモ
デル (HMM) が有名である．近年では HMM の遷移確率と出力確率の計算にニューラルネットワークを用いることで，教師なし品詞タグ付けなどのタスクで性能が向上すると報告されている [10, 4]．
これまでのニューラル HMM(NHMM) は単純マルコフ過程をベースとしており，遷移確率の計算に用いる隠れ状態は直前のもののみである．しかし，品詞などの自然言語の隠れ状態には高次の依存があると考えられる．こうした隠れ状態間の高次依存を考慮することで，より的確に隠れ状態の推定ができると期待される．
先行研究 [10] では，LSTM で観測系列をエンコードすることで高次の依存を間接的に考慮している．本
研究ではこれに加え，可能なあらゆる隠れ状態の系列を RNN でエンコードし，隠れ状態間の高次依存を直接的に考慮する手法を提案する．
単純には全ての隠れ状態の系列に対応する RNN の計算結果を保持する必要があるが，一文に対する隠れ状態の組み合わせ数は膨大であり，現実的な手法ではない．これを解決するためには，より確からしい隠れ状態の遷移の情報に重きを置いた RNN のセルの計算を行えば良い．そこで提案手法では，遷移確率を計算するためのスコア行列を用いてセルに重み付けを行う．
これにより，RNN のセルに隠れ状態間の高次依存関係が反映されると仮定する．

う．本章では Tran らにより提案されたニューラルネッ
トワークを用いた HMM[10] について説明する．
長さ T の観測系列 x = x1 ...xt ...xT がそれぞれの時刻に対応する隠れ状態の系列 z = z1 ...zt ...zT から出力されるとする．HMM では，観測系列と隠れ状態の系列の同時確率を次のように求める．

p(x, z) = (T∏t=1

p(xt |zt ))(T∏p(zt |zt−1 ))

(1)

t=2

ここで p(xt |zt ) は時刻 t に zt から xt が出力される出力確率，p(zt |zt−1 ) は zt−1 から zt への遷移確率である．

NHMM では確率の計算にニューラルネットワークを用い，出力確率 p(xt |zt ) は次のように求める．

p(xt |zt ) = (softmax(f (vzemis))xtt(2)vzemisは出力確率計算のための zt のベクトル，f (·) はtベクトルを各単語に対応するスコアベクトルに変換するニューラルネットワークである．さらに (·)xt はベクトルから xt に対応する値を抜き出す操作を表す．
obs
遷移確率 p(zt |zt−1 ) は，クエリベクトル qt−1からobs
Z×Z
次のように計算した遷移スコア行列 Mt−1 ∈ Rに対して，行ごとの softmax 計算を適用することで求める．ここで Z は隠れ状態数である．

― 1332 ―obs
obsMt−1= W obs qt−1+ bobsp(zt = i|zt−1 = j) = (softmax(mobst−1,j ))i(3)(4)

Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

NHMM で隠れ状態の系列を利用する時，単純にはTransition Score Matrix

RNN で系列をエンコードする方法が考えられる．正𝑔)*+,$

𝑣"#$

0.2

softmax

しい隠れ状態の系列が既知であれば，各時刻のセル gt𝑀)*+はエルマンネットワーク [3] で計算できる．

gt = σ(W RNN (gt−1 ⊕ vzt ) + bRNN )𝑔)*+,+

𝑣"#+0.1

ここで W RNN と bRNN はパラメータ，vzt は隠れ状態

zt のベクトル，⊕ はベクトル結合を表す．また σ は活0.7𝑔)*+,-(7)𝑣"#𝑡 −1𝑢 )*+,-𝑔) ,-性化関数を表し，本研究では tanh 関数を用いる．
実際の HMM の計算時には，正しい隠れ状態の系列𝑣"#𝑡は不明である．そのため，あらゆる隠れ状態の系列を考慮してエンコードできるように RNN を修正する必

図 1: 提案手法で拡張した RNN の計算の概要．時刻t − 1 で入力された隠れ状態のベクトル vz から計算さ要がある．素朴には全ての系列を RNN に与える方法が考えられるが，組合せ爆発のために現実的ではない．
そこで提案手法では，各隠れ状態の系列を RNN のれたセルの重み付き和が次の時刻の計算に使用される．

セルに保持する方法を提案する．本研究で拡張した
こ こ で W obs は テ ン ソ ル ，bobs は バ イ ア ス 行 列 ，obs
mobs
t−1,j は遷移スコア行列 Mt−1 の j 行目を示す．既存obs
研究 [10] では qt−1
として，観測系列を LSTM でエンコードしたものを用いる．すなわち，直前の隠れ状態が zt−1 = j であるときの遷移スコアベクトル mobs
t−1,jobs
は，Mt−1の j 行目として次のように求められる．
obs obsobs
mobs
t−1,j = Wj qt−1 + bj

RNN(RecNHMM) は，各時刻に入力された隠れ状態のベクトルの数だけセルを持つ．各セルは遷移スコア行
列 Mt を元に計算された値で重み付けをして次の時刻の計算に利用する．
具体的には，時刻 t の隠れ状態 zt = i に対応するセル gt−1,i は次のように計算する．

gt,i = σ(W RNN (ut−1,i ⊕ vzt =i ) + bRNN )∑ut−1,i =at−1
j,i gt−1,j(5)

ここで Wjobs は W obs の j 番目のスライス，bobs
はjbobs の j 行目である．
p(xt |zt ) と p(zt |zt−1 ) を用いて前向き・後ろ向きメッセージ α と β を計算することで事後確率 p(zt = i|x)を求める．また，隠れ状態の推論はビタビアルゴリズ
ム [12] を用いて計算できる．

(8)(9)j

ここで W RNN と bRNN はパラメータである．また at−1j,iは遷移スコア行列から計算されたセルの重みである．
式 (9) では直前の時刻までのセルの重み付き和を計算する．本研究では，これにより各セルが再帰的に隠れ状態の系列を保存していると仮定する．
∑
安定した学習のために，セルへの重みは j at−1j,i =1 を満たすように設定する．提案手法では Mt−1 の各3 提案手法: RecNHMM

列に対して softmax 計算を行うことで，これを満たす提案手法では遷移スコア行列の計算を以下のように変更し，隠れ状態の高次依存を捉えられるように拡張重みを得る1 ．図 1 は時刻 t に隠れ状態 zt = 0 が入力されたときの式 (8，9) の計算を示している．

する．

RNN の計算結果を用いて，各時刻のスコア行列
Mt = W score (Mtobs + Mtlat ) + bscore(6)

Mtlat の j 行目は次のように求める．
lat
mlat
gt,j + blat ,t,j = W

ここで W score と bscore はパラメータ，Mtobs は式 (3)で計算されたスコア行列である．Mtlat は各時刻まで(10)

ここで W lat と blat はパラメータである．の隠れ状態の系列を RNN でエンコードして求めたス

観測系列から計算したスコア行列 Mtobs は各時刻コア行列であり，本章で説明する．式 (3) と同様に，行の単語ベクトルを使うため，系列によって時刻ごとのごとの softmax 計算を行うことで遷移確率を得る．

― 1333 ―1M

t−1 の各行への softmax 計算では遷移確率を計算している．

Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

Method
論文報告値

著者実装
再実装
提案手法

HMM [9]ANCHOR [9]+FEAT [9]Stratos (2019)[8]Tran et al. (2016)[10]*He et al. (2018) [4]
NHMM+conv (1)(1) + LSTM* (2)(2) + RecNHMM(2) + RecNHMM+emb(1) + RecNHMM+emb

de
45.5
61.1
63.4
75.4
71.4
52.0
71.7
79.8
79.8
79.2
78.6

en
59.8
66.1
71.4
73.164.1
52.8
66.5
73.8
74.0
72.8
71.5

es
60.6
69.0
74.3
73.1
69.9
58.7
71.2
75.1
75.4
76.1
75.5

fr
60.1
68.2
71.9
70.4
73.1
55.9
68.5
73.3
75.5
75.6
74.9

id
49.6
63.7
67.3
73.6
72.8
64.6
61.5
71.2
72.4
73.8
73.1

it
51.5
60.4
60.2
67.4
67.4
51.8
59.9
71.2
72.6
72.6
72.2

ja
59.5
65.3
69.4
77.9
81.0
66.3
80.6
82.7
81.9
81.8
81.8

ko
51.7
53.8
61.8
65.6
58.0
49.4
59.2
63.2
63.2
62.8
62.6

pt-br
59.5
64.965.8
70.7
68.5
59.9
67.1
75.4
75.1
74.8
74.7

sv
42.4
51.1
61.0
67.1
62.9
46.4
58.6
66.3
66.5
67.2
68.0

表 1: 教師なし品詞タグ付けでの Many-to-One 指標の比較．上段は先行研究による報告値，中段は NHMM を用いた先行研究の著者実装と再現実装による結果，下段は提案手法の結果を示す．*は同じ実験設定であることを表す．
スコアが変化する．一方で提案手法によるスコア行列

Mtlat は観測系列を使わないため，Mtobs を用いない

0場合はスコア行列が全ての系列で同じになってしまう．
0.7

Mtobs を使わない場合は，式 (8) の計算に観測された

2

単語ベクトル vxt を利用することで系列ごとに異なるスコアを計算できる．

00.2

0.2

0.7

1

0.1

0.1

gt,j = σ(W RNN (ut−1,j ⊕ et ) + bRNN ),(11)et = vzt =j ⊕ vxt ,(12)

提案手法は既存手法 [10] と同様に，前向き・後ろベースとした学習を行う．

1.0

1 1.0
2

1.0

4

1.0

observation

vxt は式 (5) での計算に用いたものと共有している．
向きメッセージを用いた Baum-Welch アルゴリズムを

1/3
3 1/3
1/3

0.2

state′

0.1
0.7





































図 2: 人工データの作成に使用した遷移確率（上）と出力確率（下）．
実験結果より，多くの言語で提案手法の性能が既存

4 実験と考察手法を上回り，品詞タグ付けタスクでの有効性が確認

4.1 教師なし品詞タグ付けされた．また，いくつかの言語では拡張した RNN にHMM の検証に広く使われる教師なし品詞タグ付けタスクで提案手法を評価する．実験では 12 の品詞タグが付与された Universal Treebank Version 2.0[6] を用いる．先行研究 [10] と同様に全ての数字を 0 に置き換え単語分散表現を入力することでさらなる性能の向上が見られた．一方で先行研究で提案された，観測系列をエンコードする LSTM を用いないモデルの性能は高くなく，LSTM の必要性が示された．

る前処理を行い，全てのデータで学習と評価を行った．
表 1 に実験結果を示した．NHMM+conv は式 (2) の4.2 人工データを用いた実験

f (·) として，文字レベルの畳み込みニューラルネットワークを用いる手法である．さらに LSTM は観測系列をエンコードする手法を追加したモデルであり，先行研究 [10] のモデルと一致する．RecNHMM は本論文で拡張した RNN を用いたもの，embed は式 (11) で説明した RNN に単語分散表現を入力するモデルである．

NHMM は初期値の差が性能に大きな影響を与えるた
め，シンプルな手法である NHMM+conv の学習結果

本研究では隠れ状態間の高次依存を捉えられるモデルの提案を目的としている．しかし，教師なし品詞タ
グ付けタスクだけでは実際に提案手法が高次依存を捉えられているかの確認が難しい．そこで図 2 に示したルールで人工データを作成し，提案手法が隠れ状態のトライグラム関係を捉えられているかを確認した．1
文は 20 トークンからなり，訓練，検証，評価のためを初期値として再実装と提案手法の学習を行った．

― 1334 ―Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

Method
Baseline
Proposed

NHMM (1)(1) + LSTM (2)(2) + RecNHMM(2) + RecNHMM+emb(1) + RecNHMM+emb

M-1
77.83
82.95
83.18
84.36
84.94

V-M57.4164.9364.82
66.8667.33

state / obs

3/ a

表 2: 人工データにおける実験結果．評価には Many1/ bto-One 指標 (M-1) と V-Measure(V-M) の値を用いた．にそれぞれ 2,000，500，500 文のデータを作成した．
表 2 に示した実験結果より，提案手法はベースラインに比べて適切に隠れ状態の遷移を捉えられているこ

4/ eとがわかる．さらに図 3 は，学習済みの既存手法と提GOLD案手法が実際に予測した遷移確率を表す．図 2 のように，隠れ状態 3 の 2 ステップ後に隠れ状態 4 に行き着く．すなわち，ここには高次の依存関係があり，図 3
ではこれに関わる遷移確率を示している．図より，提案手法は隠れ状態 3 から生成された観測値 a を手がかりとして，適切に 2 ステップ先の隠れ状態 4 を予測できていることが確認できる．

NHMM+LSTM

NHMM+LSTM+RecNHMM+embed

図 3: 観測された系列 “a, b, c” と，対応する隠れ状態の系列 “3, 1, 4” に対して既存手法と提案手法が予測した遷移確率の比較．
[4] Junxian He, Graham Neubig, and Taylor Berg-Kirkpatrick. Unsupervised learning of syntactic structure with invertible neuralprojections. In Proceedings of the 2018 Conference on EmpiricalMethods in Natural Language Processing, pp. 1292–1302, 2018.

5 まとめ
本研究では，隠れ状態間の高次依存を捉えるためのNHMM を提案した．実験より，提案手法は教師なし
品詞タグ付けタスクの性能向上に寄与することが確認された．さらに人工データを用いた実験より，従来の手法では捉えられない隠れ状態間のトライグラム関係が学習できることを確認した．
謝辞 本研究成果は，国立研究開発法人情報通信研究機構（NICT）の委託研究「多言語音声翻訳高度化の[5] Eliyahu Kiperwasser and Yoav Goldberg. Simple and accurate
dependency parsing using bidirectional lstm feature representations. Transactions of the Association for Computational Linguistics, Vol. 4, No. 1, pp. 313–327, 2016.
[6] Ryan McDonald, Joakim Nivre, Yvonne Quirmbach-Brundage,
Yoav Goldberg, Dipanjan Das, Kuzman Ganchev, Keith Hall, SlavPetrov, Hao Zhang, T Oscar, et al. Universal dependency annotation for multilingual parsing. In Proceedings of the 51st Annual
Meeting of the Association for Computational Linguistics (Volume2: Short Papers), pp. 92–97, 2013.
[7] Xi Shao, Changsheng Xu, and Mohan S Kankanhalli. Unsupervised classiﬁcation of music genre using hidden markov model.
In 2004 IEEE International Conference on Multimedia and Expo,Vol. 3, pp. 2023–2026, 2004.

られたものです．

[8] Karl Stratos. Mutual information maximization for simple andaccurate part-of-speech induction. In Proceedings of the 2019
Conference of the North American Chapter of the Association for
Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 1095–1104, 2019.

参考文献[9] Karl Stratos, Michael Collins, and Daniel Hsu. Unsupervised
part-of-speech tagging with anchor hidden markov models. Transactions of the Association for Computational Linguistics, Vol. 4,No. 1, pp. 245–257, 2016.

ためのディープラーニング技術の研究開発」により得[1] James Allan and Hema Raghavan. Using part-of-speech patterns
to reduce query ambiguity. In Proceedings of the 25th annual international ACM SIGIR conference on Research and development
in information retrieval, pp. 307–314, 2002.
[2] Ronan Collobert and Jason Weston. A uniﬁed architecture fornatural language processing: Deep neural networks with multitask
learning. In Proceedings of the 25th international conference on
Machine learning, pp. 160–167, 2008.
[3] Jeffrey L Elman. Finding structure in time. Cognitive science,Vol. 14, No. 2, pp. 179–211, 1990.

[10] Ke M Tran, Yonatan Bisk, Ashish Vaswani, Daniel Marcu, andKevin Knight. Unsupervised neural hidden markov models. In
Proceedings of the Workshop on Structured Prediction for NLP,
pp. 63–71, 2016.
[11] Jurgen Van Gael, Andreas Vlachos, and Zoubin Ghahramani. Theinﬁnite hmm for unsupervised pos tagging. In Proceedings ofthe 2009 Conference on Empirical Methods in Natural Language
Processing: Volume 2-Volume 2, pp. 678–687, 2009.
[12] Andrew Viterbi. Error bounds for convolutional codes and an
asymptotically optimum decoding algorithm. IEEE transactions
on Information Theory, Vol. 13, No. 2, pp. 260–269, 1967.

― 1335 ―Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.