DEIM Forum 2012 D7-3

確率過程モデルに基づく自然言語の階層的句構造推定
若林啓†

三浦 孝夫†† 法政大学 工学研究科 〒 184–8584 東京都小金井市梶野町 3-7-2
E-mail: †kei.wakabayashi.pg@stu.hosei.ac.jp, ††miurat@hosei.ac.jp
あらまし

自然言語は表層的には文字の系列であるが、潜在的に階層的な句構造を有している。この隠れた句構造を発見することは、自然言語の文法や意味の解析において重要な役割を果たす。本研究では、階層構造を成す系列パターンの存在を前提とした確率過程モデルを仮定し、当該モデルパラメタを推定することで、自然言語の背後にある隠れた階層的句構造を推定する手法を提案する。
キーワード 句構造解析、階層型隠れマルコフモデル

Hierarchical Phrase Structure Estimation of Natural Language based on
Stochastic Models
Kei WAKABAYASHI† and Takao MIURA†† Dept.of Elect.& Elect. Engr., HOSEI University 3-7-2, KajinoCho, Koganei, Tokyo, 184–8584 Japan
E-mail: †kei.wakabayashi.pg@stu.hosei.ac.jp, ††miurat@hosei.ac.jp
Abstract It is well known that natural language data has latent hierarchical phrase structure. Estimating thelatent structure from string data plays an important role in various natural language processing applications. In
this investigation, we propose unsupervised estimation method of the hierarchical phrase structure. In this method
we apply stochastic model which assume hierarchical sequence patterns to word sequence modeling, and estimate
phrase structure by learning the stochastic model without supervised training data.
Key words Phrase Structure, Hierarchical Hidden Markov Model

1. 前 書 きとで複数の句構造に解析可能であるという本質的な曖昧さが存在する。このため、尤もらしさの評価を含む句構造解析手法が近年の計算機技術の発達によって、膨大な電子情報を蓄積す研究されている。確率的自由文脈文法 (Probabilistic Context

ることが可能になり、計算機による情報処理の自動化はますまFree Grammar) は、CFG における文法規則の適用を確率的にす重要になってきている。とりわけ、自然言語の計算機処理技行う確率モデルである。PCFG には様々な拡張モデルが提案さ術は、膨大な電子文書の知的処理や、自然言語を利用したインれているが、これらの手法の特徴として、Penn treebank などターフェースの実現など多くの工学的応用の基盤技術として重のアノテーションがついた完全な教師データに基づいた学習を要な役割が期待される。自然言語情報は形式的には文字や単語行う。の系列として与えられるが、自然言語記述が表現する情報を機

教師データは人手によって文章を解析する必要があるため、械的に解釈するためには、単語の文法的なつながりに関する統大規模な教師データを利用することはできない。また、教師語解析が必要である。

データの問題点として、与えられた教師データと同じ分野の文句構造は、人間が用いる自然言語の単語系列が普遍的に持つ章しか解析できないことが挙げられる。例えば、新聞記事を人と考えられている統語構造である。句構造は、単語または句の手で文法解析した教師データを用いて獲得した手法は、ウェブ部分系列がまとまって一つの文法的役割に対応する句を成す構上のブログや話し言葉といった文章に適用することは難しい。

造であり、それぞれの句を節点とした木構造によって表すことこのことから、教師データを必要としない句構造の解析手法はができる。近年の言語学研究では、句の移動 (movement) などより広い適用を持つことから有用であると考えられる。

を用いて句構造の構成の原理を説明する試みが盛んに行われて機械学習の分野では、自然言語データの純粋な統計的解析にいる。これに伴い、計算機を用いて句構造を解析する様々なア基づいた解析手法が提案されている。持橋ら [3] は、切れ目のルゴリズムが提案されている。自然言語は与えられた文法のもない文字系列から、可変長の n-gram の確率モデルを用いて文—1—Q11Q

21Q13O1F11F12F13Q21Q

F21F2222Q23F23O2Q31Q

23Q33

11ンデックス t を時刻と呼ぶ。HHMM では、Qdt ; 1 <=t<= T, 1 <=d<= D を時刻 t、階層 d の状態として定義する。d = 1 は最上層、d = D は最下層を意味する。また、二値変数 Ftd を終了フラグとして定義する。Ftd = 1 のとき、時刻 t で階層 d のマルコフ連鎖が終了することを表す。HHMM では、階層 d の状

1O3

図 1 HHMM の DBN 表現

Fig. 1 DBN Topology for HHMM

字 n-gram の尤もらしさを評価し、これに基づいて教師データ態遷移は、階層 d + 1 のマルコフ連鎖が終了したときのみ許さd+1れる。すなわち、Ft−1= 0 のとき、確率 1 で Qdt = Qdt−1 である。終了したマルコフ連鎖は次の時刻で再度初期化される。
図 1 は、D = 3 の階層 HHMM の動的ベイジアンネットワー
ク (Dynamic Bayesian Network; DBN) 表現である。確率変数

Q、F 、O の条件付確率分布は次のように与えられる [2]。
d+1dp(Qdt = j|Qdt−1 = i, Ft−1= b, Ft−1= f, Q1:d−1= k)t δ(i, j)=を一切必要としない形態素解析手法を提案している。この手法はデータの統計的特性にのみ基づいていることから、あらゆる言語の形態素解析を自動的に行う可能性が期待される。
本研究では、データの統計的な解析によって、教師データを用いることなく句構造を推定する手法を提案する。句構造解(if b = 0)

Adk (i, j)(if b = 1, f = 0)πkd (j)(if b = 1, f = 1)

p(Ftd = 1|Qdt = i, Qt1:d−1 = k, Ftd+1 = b){=0

(if b = 0)

Adk (i, end)

(if b = 1)

析では形態素解析とは異なり、推定対象が階層構造を成していることから、階層構造を持つ確率過程モデルを適用する。階層p(Ot = v|Q1:D= k) = Bk (v)t型隠れマルコフモデル (Hierarchical Hidden Markov Model;

Q1:d−1は 、階 層 1 か ら d − 1 ま で の 状 態 の 組 み 合 わ せtHHMM) は、階層的な遷移を持つマルコフ連鎖によって系列を{Q1t , ..., Qtd−1 } を表す。Adk (i, j) は、Qt1:d−1 = k のとき、階モデル化する確率過程モデルである。HHMM では、系列デー層 d で状態 i から j に遷移する確率を表すモデルパラメータでタの個々の要素に複数の階層の隠れ状態が対応し、上位の階層ある。Adk (i, end) は、状態 i が階層 d のマルコフ連鎖を終了さの状態は下位の階層のマルコフ連鎖が終了するまで遷移しないせる確率を表す。πkd (j) は、Qt1:d−1 = k のとき、階層 d のマ特性を持つ。この階層的遷移の特性から、HHMM によって推ルコフ連鎖の初期状態が状態 i である確率である。Bk (v) は、定される状態系列は木構造とみなすことができる。本研究では、

Q1:D= k のとき、単語 v が生成される確率である。
t

この HHMM の特性に基づいて、句の階層構造を推定する手法を提案する。

HHMM では，状態遷移確率，初期状態確率，出力確率はいずれも上位階層の状態の組み合わせ Q1:dに依存して与えられt

本手法は、統計的特性にのみ依存して句構造を推定することる．このため，個々の階層の状態のインデックス Qdt には実質から、言語に対する十分な知識が無くても適用が可能である。

的な意味は無く，組み合わせ Q1:dのみを考えればよい．この特t

このため、未知の言語や、古語の初期解析手法としての応用も性から，HHMM の状態空間は，１つのノードが上位の階層の考えられる。また、話し言葉やウェブ上のくだけた文書など、状態の組み合わせ Q1:dを表現するような木構造で表すことがt

文法的な扱いが困難な場合での適用も期待できる。

できる．図 2 は，深さ D = 3，１階層の状態数 N = 3 のとき

2. 確率過程モデルによる句構造推定の HHMM の状態空間を表した木構造である．ここでは、木構造の絶対経路に対する識別番号を状態の識別子とした絶対経路

本研究では、単語系列の句構造推定を、HHMM に基づいた状態識別子 Z d を用いる．Z d が与えられると，親ノードは必ず確率過程モデルによる状態系列推定問題に帰着させて扱う。こ１つであるという木構造の特性から，原理的に全ての親ノード

こでは、まず HHMM の定義と特性について述べ、句構造推定を復元することができる．この復元を容易にするため，Z d のとの対応について論じる。HHMM における状態からの出力確

親ノードは必ず Z d−1 = f loor( ZN ) となるように値を割り当て率分布が、文脈自由文法における文法規則の適用に対応するとZ) は，Z を N で割って，余りを捨てたる．ここで関数 f loor( N考えられることから、本稿では HHMM の出力確率分布につい値を表す．このとき，ある状態 Z d から親階層の状態 Z d−1 をて一般化した確率過程モデルを提案する。この確率過程モデル求める関数を，dの推論とパラメータ推定手法について述べ、獲得したパラメータを用いた最尤状態系列推定と句構造推定が対応することを論じる。

2. 1 階層型隠れマルコフモデル
観測される単語系列を O = {O1 , ..., Ot , ..., OT } とし、そのイparent(Z d ) = f loor(Zd)Nと定義する．反対に，状態 Z d の子階層の状態が取りうる値の集合を与える関数を，child(Z d ) = {N Z d + c : 0 <= c < N}—2—000111234256789256z347810 11 1213 14 15 16 17 18 19 20 21 22 23 24 25 261表 1 記号の定義

2Table 1 Notationzz

3

図 2 HHMM の絶対経路状態識別子

Fig. 2 State Identification based on Absolute Path

E11E21E13F11Z

11E21FZ12Z1321EF13E2322Z

F21
1222FEF23E33

Z 22Z 23

E3123O2O1Z

13Z 32
Z 33

111O3

図 3 内部状態フラグを含む HHMM の DBN 表現

Fig. 3 DBN Topology for HHMM with Internal State Flagsと定義する．また，状態 Z d から状態遷移確率 A によって遷移できる状態の集合を与える関数を，

sib(Z d ) = child(parent(Z d ))D

階層の深さN

１階層の状態数Ot ∈ {1, ..., K}

時刻 t の観測値

Ztd ∈ {1, ..., N d } 時刻 t における階層 d の絶対経路状態
Ftd ∈ {0, 1}

時刻 t における階層 d の終了フラグ

Etd ∈ {0, 1}

時刻 t における階層 d の内部状態フラグ
階層 d における絶対経路状態 i から絶対Adij

経路状態 j への状態遷移確率
階層 d における絶対経路状態 i から終了

AdiEnd状態への状態遷移確率
階層 d における絶対経路状態 i の初期状πdi態確率
階層 d における絶対経路状態 i が内部状

ηdi態である確率
Z d = i のときの観測値 v の出力確率

Bdiv

U11

G11 V11

U 21

G21V21

U 31

G31 V31

U12

G12 V12U 22

G22 V22U 32

G32 V32

U13G13 V13

U 23

G23 V23

U 33

G33

EV33

図 4 前向き・後向き活性化確率の確率伝播グラフ

Fig. 4 Forward-Backward Activation Algorithmと定義する．
本研究では、句は確率オートマトンに従って単語または句の系列を確率的に生成すると考える。このため、ここで考える確率過程モデルでは、確率オートマトンの状態が別の確率オートマトンを出力する階層的な構造を持つ。これは、HHMM において状態が下位の階層のマルコフ連鎖を生成することに対応する。ここでは、句を HHMM における状態 Z d に対応させ、そdの子状態 sib(Z ) のマルコフ連鎖が生成する単語部分系列を 1つの句として考える。

2. 2 句出力確率分布
HHMM では、内部状態 (internal state) と呼ばれる下位のマルコフ連鎖を生成する状態と、生成状態 (production state)と呼ばれる単語を生成する状態が、モデル構造によって区別される。しかし、与えられたデータの生成について適切なモデル構造を推定するのは困難である [4]。特に句構造の推定においては、内部状態と生成状態の区別は終端記号と非終端記号の区別に対応する。このことから、それぞれの状態が内部状態か生成状態かをデータからの学習によって獲得することが望ましい。
ここでは、状態が内部状態である確率を明示的にパラメータとして考慮し、これを学習するアプローチを取る。内部状態フηdi は、状態 Z d = i が内部状態である確率を表すパラメータである。ある時刻の単語の出力は、E d−1 = 0 かつ E d = 1 の階
層 d の状態 Z d にのみ依存し、以下のように与えられる。

p(Ot = v|Zt1:D , Et1:D ) =D∏
d=1

E d−1 (1−Etd )BdZtd vt

表 1 に、記号の定義を示す。

2. 3 モデル推論およびパラメータ推定
前節で定義した確率過程モデルは、前向き・後向き活性化アルゴリズム [6] を拡張することで、推論およびパラメタ推定を効率的に行うことができる。前向き・後向き活性化アルゴリズ
ムは、内部状態が下位階層のマルコフ連鎖を初期化していく下向きのダイナミクスと、マルコフ連鎖が終了していく上向きのダイナミクスを、確率変数の変数変換によって明示的に表現することで、効率的な確率伝播構造を導く。ここでは、状態 Ztdの初期化の活性化を Utd 、終了の活性化を Vtd として、以下のように定義する。

ラグ Etd を、時刻 t、階層 d の状態が内部状態であることを表p(Utd = i) = p(Ztd = i, Ftd+1 = 1, Etd−1 = 1)

す二値確率変数として定義する。図 3 に、内部状態フラグを含d+1p(Vtd = i) = p(Ztd = i, Ft−1= 1, Etd−1 = 1)

む HHMM の DBN を示す。内部状態フラグ Etd の条件付確率を以下のように与える。

また、時刻 t で状態 Ztd が単語を生成する事象を Gdt として、以下のように定義する。

d+1p(Etd = 1|Ztd−1 = i, Ft−1= b, Etd−1 = e) η(d−1)i=(if b = 1, e = 1)0

(if e = 0)1

(if b = 0)p(Gdt = i) = p(Ztd = i, Etd−1 = 0, Etd = 1)
U ,V ,G の確率依存関係を図 4 に表す。
観測値系列 O1:T について，活性化状態の前向き確率 α およ—3—

ムの枠組みでパラメタ推定を行うことができる．EM アルゴリ

び後向き確率 β を以下のように定義する．

ズムは，潜在変数を含む確率モデルのパラメタ推定を，繰り返

αU d (i) = p(Utd = i, O1:t−1 )しのパラメタ更新によって行う手法である．更新前のパラメタtαGd (i) = p(Gdt = i, O1:t )を θ，更新後のパラメタを θ̄ として，以下の関数 Q(θ, θ̄) を定tαV d (i) = p(Vtd = i, O1:t )

義する．

t

βU d (i) = p(Ot:T , FT1:D = 1|Utd = i)∑Q(θ, θ̄) =tβGd (i) = p(Ot+1:T , FT1:D = 1|Gdt = i)pθ (Y |X) log pθ̄ (X, Y )YtβV d (i) = p(Ot+1:T , FT1:D = 1|Vtd = i)

ただし，X は観測変数の集合，Y は潜在変数の集合である．

t

活性化状態の前向き確率は，図 4 に示すように，αU 1 → αU 2 →1

1... → αU D → αV D → αV D−1 → ... → αV 1 → αU 1 → αU 2 →11221122... → αU D → αV D → ... → αV 1 という順で確率伝播を繰り返Tすことで求めることができる．それぞれの α は，以下のように求められる．

∑t

返せば，必ず対数尤度が極大になることが保証される．

れる．

αV d (j)Adjit−1Q(θ, θ̄)j∈sib(i)αGd (i) = αU d (i)(1 − ηdi )BiOt∑

αV d+1 (c)A(d+1)cEnd + αGdt∑∝t

αV d (i) =数 Q を最大にする θ̄ を求めてパラメタを更新することを繰り

1:D
1:D
1:D
{Z1:T, E1:T, F1:T−1 } として，関数 Q は以下のように与えら

αU d (i) = αU d−1 (parent(i))η(d−1)parent(i) πdit

りも必ず大きくなることが知られている [1]．このことから，関数 の 集 合 X = {O1:T , FT1:D = 1}，潜 在 変 数 の 集 合 Y =1+ラメタを更新したときの対数尤度の差は，Q(θ, θ̄) − Q(θ, θ) よ

HHMM で は ，パ ラ メ タ の 集 合 θ = {A, π, B}，観 測 変αU 1 (i) = π1itpθ (X) は，パラメタ θ のモデルにおける X の確率である．パttc∈child(i)後向き確率は，前向き確率と逆の順序で確率伝播を繰り返すことで，以下のように求められる．

1:D ,F 1:D
Z1:T
1:T −1

1:D
1:D
1:D× log pθ̄ (O1:T , FT1:D = 1, Z1:T, E2:T, F1:T−1 )観測変数と潜在変数の同時確率は以下で与えられる．
1:D
1:D
1:Dpθ (O1:T , FT1:D = 1, Z1:T, E2:T, F1:T−1 )βV 1 (i) = A1iEnd
T= πdZ 1

βV d (i) = βV d−1 (parent(i))AdiEndt∑

βU d (j)Adij×∏∏tβbd+1 (c)ηdi π(d+1)c + βGd (i)(1 − etadi )BiOt

t

t

t

c∈child(i)全ての前向き確率および後向き確率は，O(T N D+1 ) の計算量で求めることができる [6]．
前向き確率と後向き確率を用いて、活性化の推論を以下のように行うことができる。

p(Gdt = i|O1:T , FT1:D = 1)
∝ p(Gdt = i, O1:t )p(Ot+1:T , FT1:D = 1|Gdt = i)×D∏t

単語系列の尤度は、以下のように求められる。

p(O1:T , FT1:D = 1)=N∑tp(VT1 = i, O1:T )p(FT1 = 1|VT1 = i)

AdZ d End

d=1=TD∏∏t+1t+1t+1d−1(1−Etd )((1 − ηdZ d )BdZ d Ot )Ettdt

これを関数 Q に代入して，関係ない変数を周辺化して消し，それぞれのパラメータごとに整理すると，以下の式を得る．
D N∑∑dQ(θ, θ̄) ∝gπdi (log π̄di + log η̄di )d=1 i=1D N∑∑∑d+gAdij log Ādijd=1 i=1 j∈{sib(i)∪End}NK∑∑D+gBdiv (log B̄div + log(1 − η¯di ))i=1 k=1

ただし，gπdi ，gAdij ，gBik は，

gπdi = αU 1 (i)βU 1 (i)1∑

1T −1+αU d−1 (parent(i))η(d−1)parent(i) πdi βU d (i)t+1t+1t=1

αV 1 (i)A1iEndT∑

T −1i=1gAdiEnd =前向き・後向き活性化確率を用いることで，EM アルゴリズd(η(d−1)Z d−1 πdZ d )Et+1 Ft )t=1 d=1i=1N∑tT= αGd (i)βGd (i)tE d F d+1 (1−Ftd )Ed F dt(AdZt d End
AdZt d Zt dt=1 d=1βGd (i) = βV d (i)∑11d=2t+1βU d (i) =d(η(d−1)Z d−1 πdZ d )E1T −1 Dj∈sib(i)tD∏

1t+1:D
1:D
1:Dpθ (O1:T , FT1:D = 1, Z1:T, E2:T, F1:T−1 )αV d (i)AdiEnd βV d−1 (parent(i)) + αV d (i)βV d (i)tt

Tt=1—4—T∑T −1gAdij =いる。確率過程モデルは、状態数 N = 5、最大の階層の深さ

αV d (i)Adij βU d (j)t

D = 4 とした。

t+1t=1∑gBdiv =3. 1 評 価 方 法
αGD (i)βGD (i)t∑

このとき，提案手法によって得られる状態系列において、それぞれの状

tt:Ot =v∑π̄di′ = 1，∑

ここでは、確率過程モデルの内部状態が句に対応すると考える

グランジュの未定係数法を用いることで以下のように求まる．

推定された句の集合として抽出する。構文解析 g において、部jĀdij = 1，態が対応する部分単語系列の、句としての適切さを評価する。

B̄iv = 1 の¯ は，ラ制約条件の下で関数 Q(θ, θ̄) を最大にする π̄, Ā, B̄, eta
i′ ∈sib(i)vgπdiπ̄di = ∑i′ ∈sib(i)分単語系列 s ∈ S が以下の全ての条件を満たすとき、s は句でgπdi′あるとする。

gAdij

Ādij = ∑ことから、全ての内部状態が対応する部分単語系列の集合 S を

j ′ ∈{sib(i)∪End}•gAdij ′s の最初の単語は g における分かち書きのどれかの開始点であり、かつ s の最後の単語は g における分かち書きのどれgBdiv′gk′ Bdiv
gπdiη̄di =gπdi + gBdiv
B̄div = ∑かの終了点である。

•g において、s の最初の単語を含む分かち書きが、どの分かち書きからも係り先になっていない。

上式によるパラメータ更新と，前向き・後向き活性化確率の計算•

g において、s が対応する分かち書きのうち、最後の分を交互に行うことで，局所最適解のパラメータに収束させるこ

かち書きを除く全ての係り先が、s が対応する分かち書きに含とができる．１回あたりのパラメータ更新の時間計算量は，前まれている。

向き・後向き活性化確率を求める計算量に等しく、O(T N D+1 )1 番目の条件は、分かち書きを分断しないことについての条件である．

である。2 番目の条件は、文章全体の句構造の構成要素である2. 4 最尤状態系列の推定ための条件である。3 番目の条件は、s が複数の独立した句を学習によって得られたパラメータの下で、単語系列に対して含まないことに関する条件である。s が句の条件を満たすとき最尤な状態系列を推定する。ここでは、HMM の最尤状態系列1、満たさないとき 0 を返す関数を phr(s) とする。

を効率的に推定する Viterbi アルゴリズムの自然な拡張によっ

また、s が 1 つの分かち書きと完全一致する場合に 1 を返すて、効率的な推定アルゴリズムを導く。Viterbi アルゴリズム

関数を seg(s) とし、seg(s) = 0 でかつ s が 1 つの分かち書きは、前向き確率の計算の過程で、最尤な遷移の経路だけを保存の部分系列である場合に 1 を返す関数を f rg(s) とする。これしておいて、最終時刻で最尤な状態から後向きに経路を辿るこらの関数を用いて、句推定精度を以下のように定義する。とで状態系列の推定を行う。提案確率過程モデルでは、前向き活性化確率の計算において、和を max に置き換えた以下の式を用いる。

(phr(s) ∪ seg(s))|S| −∑s∈S

f rg(s)ない小さいものを除いた集合のうち、句または分かち書きに対1

δU d (i) = max(δU d−1 (parent(i))η(d−1)parent(i) πditt, max δV d (j)Adji )j∈sib(i)

応する部分単語系列の割合を表す。

3. 2 実 験 結 果
EM アルゴリズムの更新を 50 回として実験データの 1000t−1

δGd (i) = δU d (i)(1 − ηdi )BiOt

件の文章の学習を行った。実行時間は 737.1 秒であった。図 5t

δV d (i) = max( maxts∈S

これは、推定された部分単語系列集合から、分かち書きに満たδU 1 (i) = π1it∑c∈child(i)αV d+1 (c)A(d+1)cEnd , αGd )ttに、学習した確率過程モデルを用いて推定した階層句構造を示す。ここでは、”巻き込まれて”や”一緒に旅行にいった画家

それぞれの max の演算において、最大値を取る遷移元を保存が”といった句が抽出できていることが分かる。一方、”変えてする。最後の活性化確率 δV 1 まで計算したら、δV 1 (i) を最大にいくこと”と、”になる”は、実際は 1 つの句であるが、別の句する活性化状態 VT1 = i から、保存された遷移元を初期時刻の活性化状態 U11 まで辿ることで、その経路として最尤状態系列として推定されている。これは、”になる”という部分単語系列を得ることができる。の表現で多用されていることから、共通した部分系列が頻出にT

3. 実T験

提案手法による句構造推定の妥当性を検証する。実験データが、別の文章において”必要になる”や、”表のようになる”などなり、独立した部分モデルとして学習されたことが原因と考えられる。この推定句構造について、前節で述べた句推定精度を7求めると、 12= 0.58 となる。には 1995 年の毎日新聞に含まれる 1000 件の文章を用いる。こ

句構造を推定した 10 件の文章を用いて句推定精度を求めたの文章集合を用いて確率過程モデルの学習を行い、同じ文章集

ところ、句推定精度の平均は 0.66 となった。不正解の推定を詳合について最尤状態系列を推定する。推定された最尤状態系列

しく見ると、長い単語系列から成る句を分断して推定しているを、人手による構文解析と比較して、句の一致率を評価する。

ことが原因として多いことが挙げられる。例えば、”本, を, 手,人手による構文解析には、京都大学テキストコーパス [5] を用に, した, の, が, 老子, と, の, 出会い”という単語系列では、”本—5—

巻き 込ま れて 一緒に 旅行 に いった 画家 が 解体 新書 を 描いて しまったり 、 それ から の 日本 を 変えて いく こと に なる 。
図 5 推定された階層句構造

Fig. 5 Phrase Structure Estimated by Our Methodを手にしたのが”が句に対応するが、推定結果は”本を手にしたの”と、”が老子との”に分かれている。これには、助詞が細かく分かれた形で単語系列が与えられているために、確率過程モデルで単一の部分モデルとして学習されなかったことが考えられる。
本手法は教師データを利用することなく、階層的な句構造を統計的に推定することから、どのような言語においても適用が可能であると考えられる。句推定精度が 66%であることから、言語の特性を利用した既存の句構造解析手法と比較して精度が劣るが、未知の言語解析や、くだけた文章の解析の第一次近似としての利用においては有用であると考えられる。

4. 結論

本研究では、自然言語文章の句構造を、確率過程モデルの学習と推論に基づいて推定する手法を提案した。本手法は、従来の構文解析手法のように教師データを必要としないことが大きな利点であり、原理的には教師データが存在しない言語においても句構造の推定が可能である。
文

献[1] C.M. Bishop. Pattern Recognition and Machine Learning.
Springer, 2007.
[2] S. Fine, Y. Singer, and N. Tishby. The hierarchical hidden
markov model: Analysis and applications. Machine Learning, 1998.
[3] D. Mochihashi, T. Yamada, and N. Ueda. Bayesian Unsupervised Word Segmentation with Nested Pitman-Yor Language Modeling. In Proc. ACL International Joint Conference on Natural Language Processing, 2009.
[4] K. Wakabayashi and T. Miura. Topology estimation of hierarchical hidden markov models for language models. InProc. Natural Language Processing and Information Systems, 2010.
[5] 黒橋禎夫 and 長尾眞. 京都大学テキストコーパス・プロジェク
ト. In 人工知能学会全国大会論文集, 1997.
[6] 若林啓 and 三浦孝夫. 階層型隠れマルコフモデルの高速パラメータ推定. 電子情報通信学会論文誌, 2011.

—6—