DEIM Forum 2014 A9-2

階層型 HMM に基づくフレーズ生成トピックモデルの提案
若林啓†† 筑波大学図書館情報メディア系 〒 350–8550 茨城県つくば市春日 1–2
E-mail: †kwakaba@slis.tsukuba.ac.jp
あらまし近年，トピックモデルは潜在的なデータの傾向を抽出する機械学習手法として様々な分野で注目を集めている．多くのトピックモデルでは，文書を bag-of-words として扱い，潜在トピックと単語が 1 対 1 で対応することを仮定する．本研究では，潜在トピックが隠れマルコフモデル (HMM) と対応し，複数の単語から成るフレーズを生成するトピックモデルを提案する．このモデル化においては，トピックの推論は本質的に単語系列のセグメンテーショ
ン問題を含んでいるが，階層型 HMM を用いることにより効率的に推論および学習を行うことができる．実験により，提案手法を用いることで文書中の特徴的なフレーズをトピックと対応付けて抽出できることを示す．
キーワード

トピックモデル，フレーズ抽出，階層型隠れマルコフモデル

1. 前 書 き
近年，トピックモデルは文書の特徴を抽出する有効な手法として注目を集めている．Blei ら [3] の提案した LDA をはじめに行うことの有効性を示している．しかし，適切なフレーズを抽出するためにストップワード除去をモデル推論の前にあらか
じめ行っていることから，機能語を含むフレーズの抽出はできない．

として，これを拡張した様々なトピックモデルが提案されていGriﬃths ら [5] は，機能語とトピック語の系列パターンを捉る．トピックモデルは，単語の確率分布を離散潜在変数である

える隠れマルコフモデル (HMM) をトピックモデルと組み合トピックに依存した混合分布として与える確率モデルである．

わせた手法を提案している．ここでは，HMM の状態のひとつ

それまでの混合モデルとは異なり，トピックモデルではトピッがトピックモデルからの単語生成に対応しており，機能語とトクの分布パラメータを文書ごとに定義することにより，文書のピック語の隣接関係を考慮してラベル付けを行う．しかし，こもつ話題の偏りを自然にモデル化できる．トピックモデルの教の手法はトピック語も機能語も単語単位での生成を仮定してい師なし学習を行うことで，同じ文書に出現しやすい単語が同一るため，自然言語において頻繁に現れる複合語やフレーズを考トピックに対応づけられ，トピックに対応した単語分布をモデ

慮することができない．

ルパラメータとして獲得できる．

本研究では，機能語とトピック語の分類を確率的に行うモデ多くのトピックモデルでは，文書を単語の集合（bag-of-words）

ル化により，機能語を含んだトピック語フレーズを抽出する手として扱う．これは単語の出現順序を無視することから，単語法を提案する．これは，それぞれの単語の機能語としての尤もが話題を構成する意味の単位となることを仮定することに対応

らしさと，前後の単語との結びつきの強さであるトピック語フする．しかし，自然言語においては必ずしも単語が意味の単位

レーズとしての尤もらしさの比較によって，ソフトなストップとなっていない．例えば「阪神 淡路 大震災」という単語の系

ワード除去を行う手法と解釈できる．ここでは，階層的な系列

列は，そのフレーズで意味をもち，それぞれの単語の意味を単パターンを抽出する階層型隠れマルコフモデル [9] の枠組みを独で扱うことはできない [6]．このため，単語ではなくフレー用いて，フレーズ分割のためのモデルを構築する．

ズを生成単位としてトピックを推定する必要性が指摘されている [13]．
特に本研究では，単語単体ではトピックとして無関係な構文
上の機能語を含むフレーズの抽出に着目する．例えば，映画のタイトルを意味する「ティファニー で 朝食 を」という単語の系列は，助詞である「で」や「を」をフレーズの中に含んでい本論文の構成は以下の通りである．第 2 章では背景となるト
ピックモデルについて述べる．第 3 章では階層型隠れマルコフ
モデルに基づいたトピック推定を行う提案手法について述べる．
第 4 章で実験結果を示し，第 5 章で結論を述べる．

2. トピックモデル

る．このようなフレーズを抽出するためには，連続した名詞をトピックモデルは，文書ごとに異なる分布をもつ離散潜連結してフレーズとするといった単純な手法は適用できない．

在因子（トピック）を扱う確率モデルである．文書の集合を

Lindsey ら [8] は，階層 Pitman-Yor 言語モデルに基づいた，

Doc = {doc1 , ..., docj , ..., doc|Doc| }，文書 j に含まれる単語のフレーズを認識可能なトピックモデルを提案している．この手数を Nj ，文書 j の i 番目の単語を xij ∈ {1, ..., w, ..., W } で表法では，ギブスサンプリングに基づいて，トピックの推定とフす．代表的なトピックモデルである Latent Dirichlet Allocation

レーズセグメンテーションを同時に行う．ここでは，トピック(LDA) [3] のグラフィカルモデルを図 1 に示す．グラフィカルに依存してフレーズの切り分け方には違いがあることを指摘

モデルでは，円はひとつの確率変数を，矢印は当該の確率変数

しており，トピック推定とフレーズセグメンテーションを同時の間に確率依存関係があることを示しており，記号 |Doc|，Nj ，

K と共に四角で囲まれた確率変数はそれぞれ |Doc| 個，Nj 個，

α

K 個の確率変数が存在することを示す [2]．また，灰色で塗られた確率変数はデータとして値の与えられる変数であり，それθ以外は潜在変数を表す．zij ∈ {1, ..., k, ..., K} は単語 xij に対応するトピックであり，θj は文書 j がもつトピックの分布を表zすベクトル，ϕk はトピック k がもつ単語の分布を表すベクト

Nj

K

φ

ルである．LDA では，これらの確率変数は以下の分布に従っβxて生成される．

θj ∼ Dirichlet(α)

Doc

図 1 Latent Dirichlet Allocation (LDA) のグラフィカルモデル．

ϕk ∼ Dirichlet(β)

Fig. 1 Graphical Model for LDA.

zij ∼ M ultinomial(θj )まる．これは，θj の代わりに，文書ごとに多項分布パラメータ

xij ∼ M ultinomial(ϕzij )πj を定義して，これを α で加算スムージング [15] して推定す
α，β は LDA のハイパーパラメタであり，対応するディリクレ

ることと等価である．同様に，ϕk についてはトピックごとに定分布の形状に影響する．

義した多項分布パラメータ Bk を β で加算スムージングして推潜在変数である z や θ，ϕ を，与えられた文書集合の尤度を定することと等価である．以下の章ではこの結果を直接利用し最大にするように推定することにより，同じ文書に含まれる単て，階層型隠れマルコフモデルの一部の多項分布パラメータを語には同じトピックが出現しやすいという特性を反映した推定文書ごとに定義することによってトピックモデルの性質を付与

値を得ることができる．この最適化問題は解析的に解くことがする手法について述べる．

できないが，サンプリングに基づく効果的な推定手法として

Collapsed Gibbs Sampling (CGS) [4] が知られている．この手

3. 提 案 手 法

法では，確率変数である θj や ϕk のサンプリングを行わず，こ本研究では，階層型隠れマルコフモデル (Hierarchical Hid-

れらの変数を周辺化して消去した以下の分布を用いて zij のギ

den Markov Model, HHMM) にトピックモデルの特性を付与

ブスサンプリングを行う．

することで，フレーズを扱うことのできるトピックモデルを実\ij
Nwk + β\ij
P (zij = k|z \ij , xij = w) ∝ \ij(Nkj + α)
Nk + W β(1)\ij

ここで，Nwk は xij を除いて xi′ j ′ = w の単語に zi′ j ′ = k の\ij

サンプルが割り当てられている回数，Nkj は xij を除いて文書

j に含まれる単語 xi′ j にトピック zi′ j = k のサンプルが割り当てられている回数を表す．
また，同様に θj や ϕk を周辺化するアイデアに基づいて決定的な推論を行う Collapsed Variational Bayes (CVB0) が提案されている [1], [11]．ここでは，単語 xij = w にトピック

zij = k が割り当てられる回数の期待値を γijk として，これを繰り返し更新することで尤度を増加させる．CVB0 では，以下の再推定式によって γijk を更新する．
\ij′
Nwk + β\ij
γijk ∝ ′ \ij(Nkj + α)
Nk + W β

(2)

\ij

∑

′

j

\ij

γijk ，Nkj

は xij を除いて文書 j に含まれる単語 xi′ j にトピック zi′ j = k が割り当てられている回数の期待値∑iγijk を表す．

ここでは，これらの θj ，ϕk を周辺化した分布に基づく推論
を Collapse 推論と呼ぶ．θj は zij を生成する多項分布のパラメータとして用いられるベクトル確率変数である．Collapse 推論では θj が周辺化により明示的に現れないため，式 (1)，(2)の zij の生成確率は

\ij
+α
kj
\ij
Nj +KαN

HMM を機能語とトピック語の系列パターンに対応したマルコフ連鎖に対応させ，下位階層の HMM をフレーズを生成する局所的な単語系列モデルに対応させる（図 4）．提案手法では，下位階層の状態生成確率分布のパラメータを，与えられた文書ごとに定義することによって，トピックモデルの性質を付与する．
図 2 に，HHMM のグラフィカルモデルを示す．潜在変数 Qdt
は，時刻 t，階層 d での隠れ状態である．階層 d = 1 は最上位
階層を，d = D は最下位階層を意味する．また，潜在変数 Ftd
は，マルコフ連鎖の終了を表す 2 値の確率変数である．Ftd = 1のとき，階層 d のマルコフ連鎖が時刻 t で終了したことを意味
d+1
ければ遷移できない（Qdt = Qdt−1 if Ft−1
= 0）．終了したマ

ルコフ連鎖は，次の時刻で再び上の階層の状態に依存して初期

ここでは，Nwk は xij を除いて xi′ j ′ = w の単語に zi′ j ′ = kが割り当てられている回数の期待値

過程を表現した確率モデルである．本研究では，上位階層のする．階層 d の状態は，階層 d + 1 のマルコフ連鎖が終了しな′′現する．HHMM は，HMM が別の HMM を階層的に生成する

および

\ij
+β
wk
\ij
N
+W β
k

N

に依存して決化される．HHMM の推論とは，Qdt と Ftd の値を推定することである．Ftd の推定はマルコフ連鎖の分断を推定することに対応しているため，HHMM の推論は一種の系列セグメンテー
ションとして働く．このため，フレーズに対応する部分系列の分割は，HHMM のモデル推論によってシームレスに推定することができる．

HHMM はパラメータとして初期状態確率分布 πkd ，遷移確率
分布 Adk ，出力確率分布 Bk をもつ．これらのパラメータはそ
れぞれ以下の確率分布に対応する．

F11
F12
Q12

B!

Q32

Q22

Q13

F32

F22

F13

State Transition Diagram

Q31

Q21

Q11

F31

F21

Q23

E!

Start!

F33

F23

I!

End!

!

Q33

S!
図 3 BIES オートマトンの状態遷移図．

O1!

O2!

Fig. 3 BEIS automaton.

O3!

図 2 階層型隠れマルコフモデルのグラフィカルモデル．

うに対応づけて定義する．最上位階層 d = 1 では，1 個のト

Fig. 2 Graphical model for hierarchical hidden Markov models.

ピック語状態 T と，M 個の機能語状態 S1 , ..., SM を定義する．

dπkd (i) = P (Qdt = i|Ft−1= 1, Qt1:d−1 = k)

Adk (i, j) = P (Qdt = j, Ftd = 0
d+1
d= 0, Q1:d−1= k)= 1, Ft−1|Qdt−1 = i, Ft−1tAdk (i, End) = P (Ftd = 1
dd+1= 1, Ft−1= 0, Q1:d−1= k)|Qdt−1 = i, Ft−1t

Bk (v) = P (wt = v|Q1:D= k)t
ここで，Q1:d は階層 1 から d までの状態の組み合わせを表す．
階層 d のマルコフ連鎖における状態遷移確率や初期状態確率は，全ての上位階層の状態に依存している．本研究では，上位階層にトピック ID に対応する状態集合を定義し，下位階層に当該トピックが生成する確率オートマトンを対応させる．

3. 1 BIES オートマトン

Q1 ∈ {T, S1 , ..., SM }階層 d = 2 には，階層 1 の状態に依存して 2 種類の状態の部分集合を定義する．階層 1 が状態 T である場合，階層 2 の状
態番号はトピック ID を表す番号が対応する．階層 1 が状態

S1 , ..., SM のいずれかである場合は，当該の機能語のフレーズを生成するための BIES オートマトンの状態が対応する．ト
ピック数を K として，階層 2 の状態集合は以下のように定義する．

Q2 = Q2T ∪ (M∪

Q2Sm )

m=1

Q2T= {1, ..., K}

Q2Sm= {Bm , Im , Em , Sm }提案手法では，トピックに対して，単語の確率分布の代わり

階層 d = 3 の状態集合には，階層 2 のトピック ID に応じたにフレーズの確率分布を対応づける．これは，全てのフレーズ

BIES オートマトンの状態集合が対応する．階層 1 が状態 S の集合の上の確率分布であるが，この集合は無限集合であるため，場合，階層 2 の状態に直接依存して単語を生成するものとし，

単純にフレーズ集合を語彙とした多項分布を考慮することはで

階層 3 の状態は生成されない（注 1）．

きない．

Pate ら [10] は，教師なしチャンキングに用いる単語系列の確率モデルとして，チャンクの開始 (B)，中間 (I)，終了 (E) に対応する 3 種類の単語確率分布を与える手法を提案している．

Q3 =

K
∪

Q3u

u=1

Q3u ∈ {Bu , Iu , Eu , Su }先行研究 [14] において，この考えに基づいて B, I, E に対応す

これまでの議論に基づいた確率モデルを表現するため，モデる 3 種類の単語確率分布と，1 単語から成るフレーズに対応しルパラメータを制約する．記法 πkd (i = X) は，i に X 以外のた単独 (S) の単語確率分布をもつ 4 状態から構成される HMM

値を取るとき，記法 πkd (i ∈ {X1 , ..., Xn }) は i に {X1 , ..., Xn }を BIES オートマトンとして提案しており，教師なしチャンキ

以外の値を取るとき，それぞれ πkd (i) = 0 という制約を意味す

ング問題における有効性を確認している．BIES オートマトン

る．また，記法 Adk (i = X, j = Y ) は，j に Y 以外の値を取るの状態遷移図を図 3 に示す．

とき，記法 Adk (i = X, j ∈ {Y1 , ..., Yn }) は j に {Y1 , ..., Yn } 以

本研究では，フレーズの確率モデルとして BIES オートマト
ンを用いる．図 3 の状態遷移図において矢印のない状態遷移の確率が 0 になるように，対応する階層の HHMM パラメータを制約することで，この性質を実現する．

3. 2 モデル構造

外の値を取るとき，それぞれ Adk (i = X, j) = 0 という制約を意味する．
階層 1 が状態 T のとき，階層 2 の状態はトピック ID に対応する．ここではトピックの確率分布はその前後関係に依存しな
いため，階層 2 では状態遷移せず，必ず終了状態に遷移するよ

本研究では，HHMM のモデル構造を制約することによってトピックモデルを構成する．ここでは，状態の集合を以下のよ（注 1）：この場合は，階層 3 において階層 2 の状態と 1 対 1 で対応したダミー状態を生成するとみなすことと考えてもよい．詳しくは [9] を参照されたい．

T"

S"

0"
B"

S"

T"
10"

E"

S"

S"

T"

S"

S"

13"
B"

B"

E"

T"
E"

2"

E"

S"
B"

S"

T"
E"

25"
B"

E"

表1

T"
15"
B"

E"

推定されたセグメンテーション．

Table 1 Segmentation by Topic HHMM.
E"!" #$"%" &'" (" )*" +," (" ;" " ./(" 0" 123"45"6" 78" 9" :"日本 経済 は 世界 的 な 規模
で 分業 体制 の 再 編成 を余儀なく さ れ て いる 。

図 4 Topic HHMM によるラベリング．

Fig. 4 Label sequence inferred by Topic HHMM.

日本

T3

は

S2
T10

うなパラメータ制約を行う．上記の記法を用いると，パラメーS2

タ制約は以下のように定義できる．

T3

A2k (i, j = End), ∀i if Q1 = T

T18

世界

的

トマトンの状態遷移図に基づいて，以下のようにパラメータを
制約する．

な

規模

で
分業

体制

の

S2

階層 1 が状態 S の場合，階層 2 のマルコフ連鎖は，BIES オー

経済

再

S4

を

S6

さ

編成

余儀なく
れ

S6

いる

S5

。

て

日本 を 直接 守る ため のアメリカ の 核 の 傘 など
存在 し なかっ た
日本

T2
S4

を

直接

守る

ため

S3
S2

の

T26

アメリカ
の

S2
核

T0

傘

など

S4

存在

T26
S6

の

し

なかっ

た

πk2 (i ∈ {Bm , Sm }), A2k (i = Bm , j ∈ {Im , Em }),A2k (i = Im , j ∈ {Im , Em }), A2k (i = Em , j = End),

向き活性化アルゴリズムに基づく Forward-Backward Gibbs

A2k (i = Sm , j = End)

Sampling [12] を 60 iteration 実行することで Topic HHMM の1

if Q = Sm

パラメータの学習を行い，得られたパラメータを用いて当該
階層 3 のマルコフ連鎖は，同様に BIES オートマトンの状態遷

データの Viterbi 推定を行う．この結果得られた状態系列によ

移図に従い，全ての u について以下のようにパラメータを制約

るセグメンテーション結果を，推定されたフレーズとする．本する．

実験では，α = 0.1，β = 0.1 の固定値とし，トピック語状態数

πk3 (i ∈ {Bu , Su }), A3k (i = Bu , j ∈ {Iu , Eu }),A3k (i = Iu , j ∈ {Iu , Eu }), A3k (i = Eu , j = End),は K = 30 とする．機能語状態数 M は 7 の場合と 1 の場合で実験を行う．
また，機能語状態が生成する単語については，MeCab の品

A3k (i = Su , j = End)

詞タグ「名詞, 一般」「名詞, 固有名詞」がついた単語を生成しトピックモデルでは，文書ごとにトピックの分布が異なるこないように制約する．機能語フレーズに割り当てられる単語をとを仮定する．このため，提案モデルでは，文書ごとに階層 2

ストップワードと解釈すると，この品詞フィルタは機能語状態の初期状態パラメータ πk2 を定義し，それぞれ異なるパラメーに対する反ストップワードといえる．

タとして扱う．文書集合 Doc = {doc1 , ..., docj , ..., doc|Doc| } が

4. 1 実 験 結 果

与えられたとき，それぞれの文書に対する初期状態パラメータ

表 1 に，セグメンテーション結果の例を示す．表の左列には

2
πjk
:1<
=j <
= |Doc| を定義する．これが，当該文書のもつト

ピック分布に対応する．
また，パラメータを推定する際には，ハイパーパラメータ α
2を全てのトピック ID の確率 πjkに足し込むスムージングを行

トピック語状態（T）か機能語状態（S）を表すアルファベットと，それぞれトピック番号と機能語状態番号を表す数字を示している．トピック語と推定されたフレーズに網掛けをしている．
抽出結果からは，「日本 / 経済」「分業 / 体制」「再 / 編成」とう．これは，LDA において文書ごとのトピック分布 θ に関すいったフレーズをトピック語として，「を / 余儀なく」「さ / れる Collapsed 推論を行った場合と等価な推論である．

/ て」「し / なかっ / た」といったフレーズを機能語として推以上の対応づけにより構築される HHMM を，Topic HHMM

定している．また，「世界 / 的 / な / 規模」「核 / の / 傘」なと呼ぶ．Topic HHMM は，HHMM の推論アルゴリズムであど，助詞を含むフレーズをトピック語として抽出できているこる前向き後向き活性化アルゴリズム [12] によって，教師なし学とが分かる．

習および状態の Viterbi 推定を O(T ) の計算量で実行すること

この推定をコーパス全体に対して行い，それぞれのトピックと機能語状態に割り当てられたフレーズを頻度順に並べたものができる．

を，表 2 と表 3 に示す．ここでは，フレーズ長が 2 以上のフ

4. 実

験

レーズを示している．表 2 からは，それぞれのトピックにおい提案手法を用いて，機能語フレーズとトピック語フレーズをて，様々な長さのフレーズを話題に沿って抽出できていること抽出できるかどうか検証する．コーパスには毎日新聞 1995 年が分かる．例えば，T13 では，「東南アジア / 諸国 / 連合 / （ /版の 1 年分を利用し，記事を 1 文書として扱う．文章になっASEAN / ）」「日 / 朝 / 国交 / 正常 / 化 / 交渉」といった外ていない表現を除くため，最後の文字が「。」でない文章を除

交関係の長いフレーズを抽出できている．また，T22 では「米いた．MeCab [7] を用いて形態素解析を行い，得られた単語の兵 / による / 女児 / 暴行 / 事件」というフレーズが抽出され系列を提案手法の入力とする．入力データに対して前向き後ているが，これは「米兵による」という部分がなければ事件の実体としての特徴を失うことから，助詞を含むフレーズ抽出の有効性を示していると考えられる．
抽出結果の中には，括弧の開閉のいずれかのみが含まれているフレーズもいくつか見られる．本実験では括弧も単なる記号として扱っているが，開閉の対応を明示的に与えることで改善の可能性があると考えられる．
一方，表 3 からは，各機能語状態が特徴的な機能語フレーズを抽出していることが分かる．状態 S2 は漢数字を含む表現，

S5 は新聞記事で一般的に使われる動詞句表現，S6 は文末表現，
S7 は助動詞を含む表現が抽出されている．また，推定された状
態遷移確率パラメータは S7 から S6 への遷移確率が高いことから，S6 と S7 が文末でよく使われる表現の尤もらしい分割を表現していると考えられる．
機能語状態数の違いの影響を調べるため，機能語状態数が 1の場合の実験結果を表 4 に示す．ここではフレーズ長ごとに分けず，それぞれの状態について抽出されたフレーズを頻度順に示している．機能語状態 S には助詞や記号が多く含まれているが，トピック語状態 T12 や T11 に動詞句や漢数字表現といったフレーズが対応している．このことから，動詞句や漢数字表
現はフレーズとしての結びつきが強く，機能語状態の数に依存せずに抽出されることが分かる．このため，機能語状態数を増減することによって，ソフトに行っているストップフレーズ除去の強さを調整できる可能性が示唆される．
実行時間の計測では，機能語状態数 7 の Topic HHMM を

Forward-Backward Gibbs Sampling の 60 iteration によって学習するのに約 8 時間 20 分かかった．これは，LDA の学習などと比較すると大きい実行時間であるが，これはむしろ全てのフレーズ候補を列挙して TF-IDF などのスコアを計算するフレーズ抽出手法と比較するべきであり，妥当な実行時間であるといえる．また，この手法は系列長に対して線形の計算量であり，大規模なデータに対してもスケールすること，推論は文書ごとに並列化することも可能であることから，今後の展望が期待できると考えられる．

5. 結

論

本研究では，機能語を含むフレーズを考慮したフレーズ抽出手法を提案した．ここでは，トピック語フレーズの抽出に対応するトピックモデルと，機能語フレーズの抽出に対応するグ
ローバルモデルの両方を含んだ HHMM を用いることにより，ソフトな機能語抽出を実現した．また，実験により，機能語を含んだフレーズをトピック語フレーズとして抽出できることを示した．
本実験では，主観的な評価によってトピック語フレーズと機能語フレーズの抽出の有効性を検証したが，より客観的な方法による評価は今後の課題といえる．また，新聞記事以外のコー
パスでの実験も必要と考えられる．例えば Web 文書では，映画や書籍のタイトルなどにおいて機能語を含んだフレーズが多く出現していると考えられることから，抽出が可能であれば提案手法の有用性が期待される．

謝辞

本 研 究 の 一 部 は ，JSPS 科 研 費（ 課 題 番 号 24800004,

25280110, 25540159）の助成によって行われた．
文

献[1] A. Asuncion, M. Welling, P. Smyth, and Y. Teh. On
smoothing and inference for topic models. In Proc. Uncertainty in Artificial Intelligence, 2009.
[2] C. Bishop. Pattern Recognition and Machine Learning.
Springer, 2007.
[3] D. Blei, A. Ng, and M. Jordan. Latent dirichlet allocation.
Journal of Machine Learning Research, 3:993–1022, 2003.
[4] T. Griﬃths and M. Steyvers. Finding scientific topics. Proceedings of the National Academy of Sciences of the UnitedStates of America, 101:5228–5235, 2004.
[5] T. Griﬃths, M. Steyvers, D. Blei, and J. Tenenbaum. Integrating topics and syntax. In Proc. Neural Information
Processing Systems, 2005.
[6] K. Hasan and V. Ng.
Conundrums in unsupervised
keyphrase extraction: Making sense of the state-of-the-art.
In Proc. Computational Linguistics, 2010.
[7] T. Kudo, K. Yamamoto, and Y. Matsumoto. Applying conditional random fields to japanese morphological analysis.
In Proc. Empirical Methods in Natural Language Processing, 2004.
[8] R. Lindsey, W. HeaddenIII, and M. Stipicevic. A phrasediscovering topic model using hierarchical pitman-yor processes. In Proc. Empirical Methods in Natural Language
Processing and Computational Natural Language Learning,
2012.
[9] K. Murphy and M. Paskin. Linear time inference in hierarchical hmms. In Proc. Neural Information Processing
Systems, 2001.
[10] J. Pate and S. Goldwater. Unsupervised syntactic chunking with acoustic cues: computational models for prosodic
bootstrapping. In Proc. ACL workshop on Cognitive Modeling and Computational Linguistics, 2011.
[11] Y. Teh, D. Newman, and M. Welling. A collapsed variational bayesian inference algorithm for latent dirichlet allocation. In Proc. Neural Information Processing System,
2006.
[12] K. Wakabayashi and T. Miura. Forward-backward activation algorithm for hierarchical hidden markov models. In
Proc. Neural Information Processing Systems, Vol. 25, pp.
1502–1510, 12 2012.
[13] X. Wang, A. McCallum, and X. Wei. Topical n-grams:
Phrase and topic discovery, with an application to information retrieval. In Proc. International Conference on Data
Mining, 2007.
[14] 若林 啓. 部分統語構造を考慮した確率オートマトンに基づく教師なしチャンキング. 電子情報通信学会他共催 第 6 回 Web とデータベースに関するフォーラム, 11 2013. II-3-2, 7p.
[15] 北 研二. 確率的言語モデル. 東京大学出版会, 1999.

表2

機能語状態数 M=7 の Topic HHMM によってトピック語として推定されたフレーズ．

Table 2 Topical phrases extracted by Topic HHMM of M=7.
長さ

T13

T23

T1

T22

2

日本 政府， 日本 側， 日 米， 米 政府， 米 側， ＡＰＥＣ ）， 北朝鮮 ）3日 米 関係， 植民 地 支配， 李 登輝 総統， ＡＰＥＣ 大阪 会議， 江沢民 国家 主席， 日 米 安保， 日 米 間

4

日 米 首脳 会談，先進 国 首脳 会議，日 米 安保 体制，日 米 安保 条約，ＡＰＥＣ ） 大阪 会議，日 米 自動車 交渉

5

アジア 太平洋 経済 協力 会議，欧州 連合 （ ＥＵ ），日 米 包括 経済 協議，李 登輝 ・ 台湾 総統

6

アジア ・ 太平洋 経済 協力 会議，東南アジア 諸国 連合 （ ＡＳＥＡＮ ），日 朝 国交 正常 化 交渉

2円 高，金融 機関，規制 緩和，不良 債権，前年 比，売上 高，中小 企業

3

前年 同月 比，不良 債権 処理，前年 同期 比，三月 期 決算，不良 債権 問題，円 高 対策，世界 貿易 機関

4

住宅 金融 専門 会社，政府 系 金融 機関，東京 外国 為替 市場，東京 証券 取引 所，大阪 証券 取引 所，民間 信用 調査 機関

5

大 規模 小売 店舗 法，自動車 ・ 同 部品 分野，再 販売 価格 維持 制度，金融 派生 商品 ） 取引

2

核 実験，原爆 投下，核 廃絶，自動 小銃，抗議 行動，抗議 文，核兵器 廃絶

3

核 実験 再開，ダライ ・ ラマ，無 期限 延長，核 実験 反対，土佐 ノ 海，核 抑止 力，地下 核 実験

4

核 実験 再開 決定，使用 済み 核 燃料，核 実験 を 強行，核 実験 再開 問題，核 実験 の 中止

5

宇宙 ステーション 「 ミール 」，核 実験 全面 禁止 条約，核兵器 の 究極 的 廃絶，ゲスト 用 の ＩＤ コード6

戦略 兵器 削減 条約 （ ＳＴＡＲＴ，ＡＴＭ （ 現金 自動 受払 機，核 実験 全面 禁止 条約 締結

2

米 軍，日本 軍，日本 時間，ロシア 軍，沖縄 県，政府 軍，乗組 員

3

国連 防護 軍，米 軍 基地，旧 日本 軍，サハリン 北部 地震，元 自衛 官，多 国籍 軍，大田 昌秀 知事

4

大田 昌秀 沖縄 県知事，米 軍 基地 問題，管区 海上 保安 本部，臨海 副 都心 開発，次期 支援 戦闘 機，在日 米 軍 基地

5

連合 国軍 総 司令 部，在日 米 軍 駐留 経費，米兵 による 女児 暴行 事件，沖縄 米 軍 基地 問題，吉元 政 矩 副 知事

6

山梨 県 上九一色 （ かみ くい，国連 難民 高等 弁務 官 事務所，米兵 による 小学 女児 暴行 事件，米 軍 基地 用地 強制 使用

表3

機能語状態数 M=7 の Topic HHMM によって機能語として推定されたフレーズ．

Table 3 Functional phrases extracted by Topic HHMM of M=7.
長さ

S2

S5

S6

S7

2

一 人， 二 人， 一 日， この 日， 三 人， 二 日， 十 日， 三 年

3

十 七 日， 二 十 日， 十 九 日， 十 八 日， 十 五 日， 十 三 日， 十 四 日， 十 一 日， 十 六 日， 十 二 日

4

二 十 七 日， 二 十 二 日， 二 十 四 日， 二 十 三 日， 二 十 八 日， 二 十 一 日， 二 十 五 日， 二 十 六 日， 二 十 九 日

5

一 九 九 三 年， 一 九 九 二 年， 一 九 九 〇 年， 一 九 九 一 年， 一 九 八 九 年， 一 九 九 五 年， 一 九 九 四 年

6

一 億 五 千 万 円， 約 一 万 五 千 人， 約 二 百 五 十 人， 五 千 三 百 億 円， 午前 八 時 四 十 分， 午前 九 時 二 十 分

7

午前 五 時 四 十 六 分， 約 一 億 五 千 万 円

2し た， だっ た， し て， を 、， を 明らか， を 求める， を 行う， を 持つ， でし た， を 目指す

3

を 受け た， を 決め た， を 示し た， を 受け 、， を 始め た， を 経 て， を 行っ た， を 求め た， を 出し た， を 受け て4を 改めて 示し た， を 守り 切っ た， を 取り 始め た

2が 、， 」 と， と 、， おり 、， ため 、， 」 （， 」 。， から 、， も 、， 」 という3と いう 。， だろ う 。， 」 と 、， 」 と の， が ある 。， と 思う 。， も ある 。， でしょ う 。， … … 。， 」 など と4

」 と 述べ 、， だろ う か 。， 」 と いう 。， かも しれ ない 。， 」 と 話す 。， でしょ う か 。， と 思い ます 。

5

かも しれ ない が 、， が ある と いう 。， も ある と いう 。， かも しれ ませ ん 。， かも しれ ない 」 と

6

で は なかろ う か 。， なら ない 」 と 述べ 、， と 思う 」 と 述べ 、， だろ う 」 と 述べ 、， が ある 」 と 述べ 、

7と 思う 」 と 述べ た 。， だろ う 」 と 述べ た 。， かも しれ ない 」 と 述べ 、， と いう で は ない か 。

2に なる， で いる， は ない， が ない， に する， と する， と なる， さ れる， を する， が できる3さ れ た， に なっ た， で は ない， に し た， し て いる， と なっ た， が あっ た， と し た， と み られる， を し た

4

し て い た， と し て いる， に なっ て いる， さ れ て いる， と 話し て いる， を 発表 し た， と 発表 し た

5

さ れ て い た， を し て い た， に なっ て い た， と 思っ て い た， さ れ て い ない， が 出 て き た

6と み て 調べ て いる， と み られ て い た， と さ れ て い た， で 開か れ て い た， が 行わ れ て い た

表 4 機能語状態数 M=1 の Topic HHMM によって推定されたフレーズ．

Table 4 Phrases extracted by Topic HHMM of M=1.
S

T0

T27

T8

T25

T12

T11

の

投票

中国

事件

阪神 大震災行わ れ た

二人

。

捜査 当局

村山 富市 首相

教団

被災 者

開か れ た

一人

、

選挙

円高

関係 者

大蔵省

行わ れる

一日

が

前回

ロシア

疑い

被災 地

開か れる

二十日

を

武村 正義 蔵相

北朝鮮

信者

仮設 住宅

と さ れる

十七日

は

有権者

日本 側

オウム真理教日銀行わ れ 、

二十七日

に

候補 者

村山 首相

だっ た

金融 機関

いわ れる

十九日

で

当選

クリントン 大統領

逮捕 し た自治体

逮捕 さ れ た

十八日

と

社会

ＡＰＥＣ

捜査

行政

された

二十二日

が、

委員 会

日本 政府

供述

土地

呼ば れる

二十四日

は、

統一 地方 選交渉

地下鉄 サリン 事件

高齢 者

予想 さ れる

二十三日

も

共産党

仏

被害 者

不良 債権

言わ れる

二十八日

から

現職

国連

麻原 被告

銀行

開か れ 、

二十五日

で、

自民

外務省

逮捕

税金

知ら れる

二十一日

（

推薦

合意

警察

障害 者

選ば れ た

六日

は「

無党派 層

各国

けん銃

経常 利益

言わ れ た

十五日

」

関心

台湾

犠牲 者

金利

問わ れ た

十四日

に、

同会

米 政府

報告 書

教訓

注目 さ れる

十三日

や

理事 会

アジア

容疑 者

ボランティア 活動

行わ れ て いる

二十六日

「

立候補

欧州 連合

警視庁

諮問 機関

使わ れ た十日には公明

クリントン 米 大統領

犯行

損失

発表 さ れ た

八日

と、

総会

セルビア 人 勢力

オウム

建設省

発見 さ れ た

十一日

では

支援

会議

現金

災害

確認 さ れ た

十六日

し、

候補

米軍

麻原 彰晃 被告

阪神 大震災 の 被災 地

され、

九日

として

実績

村山 政権

経営 者

住宅 金融 専門 会社

使わ れる

七日

という

無所属

アジア 太平洋 経済 協力 会議

犯人

中小 企業

起訴 さ れ た

三日

では、

新人

ベトナム

容疑

上る

さ れ て いる

十二日

など

市民 団体

アジア ・ 太平洋 経済 協力 会議

少年

食糧 費

問わ れる

三人

から 、

母体 行

香港

被告

事業

出さ れ た二日