構造を持った定型表現の自動獲得と機械翻訳での利用
京都大学大学院情報学研究科● PROFILE

敏明

2010 年京都大学大学院情報学研究科知能情報学専攻博士課程修了。博士（情報学）。機械翻訳の研究に従事。
nakazawa@nlp.kuee.kyoto-u.ac.jp075-753-5346

京都大学大学院情報学研究科教授● PROFILE

中澤黒橋禎夫

1994 年京都大学大学院工学研究科電気工学第二専攻博士課程修了。博士（工学）。2006 年 4 月より京都大学大学院情報学研究科教授。自然言語処理、知識情報処理の研究に従事。

1 はじめに知識として機械翻訳で利用する手法を提案する。定型表

現在の機械翻訳では単語よりも大きなフレーズを単位

単語列では不連続であっても、直接の依存関係が存在しとして翻訳を行うことが一般的である。しかし、ここでていれば定型表現として獲得することができる。また、のフレーズは対訳コーパスから自動的に推定された単語自動獲得された定型表現を対訳文内の単語・句アライメ対応をヒューリスティックなルールを用いて拡張するこントで利用することにより、アライメント精度の向上をとで得られたものであり、言語的に意味のある句とは必目指す。

現の獲得はその表現の出現頻度や周辺語の異なり数に基づいたスコアを用いて行う。依存構造木を用いることでずしも一致しない。そのため、複数語で一つの意味を持つ定型表現を扱う際に問題が起こる。定型表現の多くは“方 が 良い”や“in order to”などのように一つ以上の機能語を伴っているが、これらの機能語は単体では意2依存構造木からの定型表現の獲得

味を成さないか、他の語と結びついて異なる意味を表す

本手法では任意の表現に対してスコア付けを行い、そので、対訳文中で出現した場合、相手言語文に一対一での値が閾値以上の表現を定型表現として獲得する。定型対応する単語がないことがほとんどである。そのため、表現はまとまりで頻繁に出現し、連接する単語の種類が対応の推定を誤ってしまい、正しい翻訳知識が獲得され多いと考えられる。この特徴を取り入れた指標としてず、翻訳誤りを引き起こしてしまう。

C-value[2] を依存構造木に拡張したものを用いる。

対応を誤ってしまう原因は各単語を個別に扱っていることであり、これを解決するためには意味を持つ単位とC-valueして正しい表現を考慮する方法が考えられ、既にいくつ

C-value とは単語列を対象としたコーパス中のコロかの手法が提案されている [3, 1]。しかしこれらの研ケーションを判定するためのスコアであり、以下の式で究では単語列上で連続した表現しか考慮しておらず、中定義される。

国語の“在 ～ 中”(“～ において”) のような単語列上は連続しない定型表現を扱うことができない。そこで本研究では依存構造木から定型表現を自動的に獲得し、242

２．１

YEAR BOOK 2011

寄稿集

a は対象とする表現、f (a) と | a | はそれぞれ a の頻度と a を構成する単語数である。Ta は a を内部に含むより4

機械翻訳技術の向上

大きな表現の集合であり、その異なり数を # (Ta) とする。
式の形から頻度 f (a) が高い表現であっても周辺の単語の種類 # (Ta) が少なければ、値が小さくなることがわかる。
C-value では大きさに関係なく a を含む全ての表現をTa として扱っている。例えば、“in spite”の C-valueは“in spite of”、“increased in spite”、“in spiteof the”などを Ta として計算する。しかし、本研究では【図 1】のように a よりも一単語大きい表現だけを Taとし、文頭側と文末側で別々に C-value の計算を行い、

図 2：依存構造木の Ta両方が閾値以上の表現を獲得する。なお、図の A,B,C,X,Yは単語を表す。つまり、“in spite”の計算を行う際はをさらに詳細に区別する必要がある。そこで本研究では“in spite of”と“increased in spite”のように文頭以下の変更を加え、【図 2】のように Ta を区別した。なお、“in又は文末側に一単語が接続した表現だけを Ta とする。

今後は依存構造木上の単語はノードと呼ぶ。

spite”はほとんどの場合“in spite of”に含まれて出単語列の場合、単語は常に注目する表現の端のノード現するため、文末側の値が低くなり、定型表現として獲に接続していた。しかし依存構造木では全てのノードに得されず、“in spite of”のみが獲得される。

単語が接続する可能性があり、同じ単語でも異なるノードに接続することが考えられる。このような異なりを全て Ta の一つとしてしまうと、あるノードに接続しやすい単語があっても他のノードに接続する単語の種類が多いため、# (Ta) が大きくなり誤って獲得されてしまう。
そこで、【図 2】に示すように a のノードごとに Ta を区別しそれぞれについて計算を行い、その最小値を leaf側のスコアとする。これにより、あるノードに接続しやすい単語が存在すれば、そのノードの C-value は小さくなるので、定型表現としては獲得されず、全てのノードについて接続する単語の種類が多い表現のみを獲得することができる。
依存構造木では一つのノードに複数の単語が接続する

図 1：単語列の Ta場合があり、そのような表現をどの表現の Ta として扱うかが問題になる。本研究では接続している単語をまと２．２

依存構造木からの獲得めて扱い、【図 2】に示すように a の任意のノードに複依存構造木では文頭側と文末側の代わりに root 側と数の単語が接続する表現も Ta として計算を行う。また、leaf 側で Ta を区別し、計算を行う。root 側に関しては同じ単語でも接続するノードに対し単語列上で前から接係り先は一つしかないので単語列と同様に計算できる

続している場合と後ろから接続している場合で区別してが、leaf 側については単語列の場合と異なるため、Ta扱っている。

YEAR BOOK 2O11243

本研究のように依存構造木を利用した表現獲得の研究

英語：には葛原ら [7] や Martens ら [4] の研究がある。葛原

be 動詞が動詞または形容詞と接続していない

らは本研究と同じようにある表現のノードごとにスコア例 :“the system is”、“and ～ is”などを計算することで獲得を行っている。しかし、英文作成

中国語：を支援する表現の獲得が目的であり、節や句なども含ん“进進行”が動詞に接続していないだ大きな表現も獲得されている。機械翻訳ではできるだ

例 :“对 ～ 进行”など

け小さい単位を扱う方が望ましいため、本研究とは獲得

論文コーパスから獲得された定型表現の例をそれぞしたい表現の大きさが異なる。また、Martens らはいれ【表 1】に示す。論文コーパスでは“こと が できる”

くつかのスコアを用いて表現を獲得しているが、獲得しや“in order to”など翻訳で有用な定型表現が獲得でた表現の具体的なアプリケーションへの応用は行っていきていることが分かる。また、“在 ～ 中”や“as ～ない。

as”など単語列上では不連続な定型表現も本手法により獲得できる。また、Web コーパスを用いた場合も“こ3 定型表現の獲得実験と が できる”や“due to”などの定型表現が獲得されたが、論文コーパスの結果に比べると、“と いう”や“atleast”などの一般的な定型表現が多く獲得されていた。

提案手法による定型表現の獲得実験を行った。利用したコーパスは小規模論文コーパスと大規模 Web コーパ

表 1：獲得された定型表現の例

日本語スである。論文コーパスは内山・井佐原らの方法により

英語

中国語に ついて

this paper

在～中

では

be carried out

是～的

本稿 で はbased on

的 方法を 提案 する

in order to一个

からの獲得を行ったのは日本語と英語のみである。次にこと が できた

this paper described

不能

単語の区別であるが、単語は以下の情報が全て異なるもに ついて 述べる due to

就～是示唆 した

高的作成した JST 日英抄録 ( 約 100 万文対 ) [6] と日中科学論文 ( 約 70 万文対 ) であり、各言語を単言語のコーパスとみなして獲得を行った。ただし、Web コーパスのを一種類として扱った。
日本語

代表表記、品詞、活用形

英語

原形、品詞 (“it”以外の代名詞、三単現、複数形は区別しない )中国語

表層語、品詞

今回は獲得の対象を 6 単語以下の表現に限定した。

…

as ～ as…

…

4 定型表現の利用

また、獲得されたものの中には機械翻訳で扱うには不適

本研究ではベースラインシステムとして中澤らの用例

切な表現があったので、以下に示す簡単なルールでフィ

ベース機械翻訳システム [5] を利用し、定型表現をアラルタリングを行った。

イメント時の制約として用いた。

日本語：
root が名詞または格助詞

４．１

ベースラインシステム

例：“システム が”、“を 解析”など

中澤らのモデルでは依存構造木上で統計的句アライメ

leaf が“する”または名詞性接尾辞ントを行っている。依存構造木を用いることで、言語構

例 :“さ れて いる”、“性 に ついて”など造が大きく異なる言語対でも柔軟に対応することができる。アライメント手法を簡単に説明すると、まず既存の244

YEAR BOOK 2011

応を推定し、これをヒューリスティックなルールで依存の“方 ⇔ me”がなくなり、“方 が 良い”をまとめて構造木上での句対応にマッピングする。これを初期状態扱うことができる。とし、句対応確率と句の依存関係の確率を考慮して EM

また、文内のどのまとまりを定型表現とするかも問題

アルゴリズムにより繰り返しモデル推定を行う。EM アとなる。本研究では前章で獲得した定型表現のうち文内ルゴリズムの途中により大きな句を獲得するステップがに存在するものは基本的に全てを定型表現として採用すあることが特徴である。

る。ただし、候補がオーバーラップした場合は長い表現

4

機械翻訳技術の向上応確率が低い方を利用しない。こうすることで、
【図 3】

寄稿集

統計的単語アライメントモデルにより単語レベルでの対を優先する。もし、同じ長さであった場合は C-value

４．２

定型表現による制限の高い方を採用する。この時の C-value は root 側と機械翻訳では定型表現を構成する単語を個別に扱うとleaf 側の平均を取った値である。例えば、獲得された翻訳誤りの原因になってしまうため、定型表現はまとめ定型表現の C-value が【表 2】であった場合、“ことて扱う必要がある。しかし、定型表現を構成する単語のが でき ます か”という文では“こと が でき”と“まアライメントが誤っているために依存構造木上で対応先す か”の二つの定型表現が採用される。

が不連続になり、まとめて扱えない場合がある。その例

表 2：定型表現のスコアを【図 3】に示す。ここでは黒い四角 ( ■ ) が対応関係を表し、薄いマスと濃いマスの部分が正解の対応である。
定型表現である“方 が 良い”が“方⇔ me”と“良い⇔ should”という対応を持っているため、“方 が 良い”

定型表現

スコア

こと が でき

22830

が でき ます22605

が でき33572

ます か20714の対応先は依存構造木上で不連続になってしまう。そこで、本研究では定型表現はまとまりで一つの意味を持つので対応先でもまとまっていると考え、定型表現を構成する単語の対応先が依存構造木上で不連続になる対応を禁止するという制約を用いた。具体的には、定型表現を構成する単語の対応先が不連続になってしまう場合、対5 アライメント実験
５．１

実験設定

定型表現を利用したアライメントを行い、精度への影響を調べた。定型表現は以下の 4 種類から獲得したものを利用し、ベースラインの結果と比較した。
・論文コーパスの単語列
・論文コーパスの依存構造木・Web コーパスの単語列 ( 日英のみ )・Web コーパスの依存構造木 ( 日英のみ )実験には定型表現の獲得で利用した対訳コーパスを用いた。アライメントの評価には人手で正解を与えた
日英 480 対訳文と日中 500 対訳文を利用し、以下の式 で 示 さ れ る Precision、Recall、Alignment Error
Rate(AER) を用いた。AER はアライメントの総合的な精度を示す指標であり、その値が低い程精度が良い。

図 3：定型表現による制約の例

YEAR BOOK 2O11245

A がシステムの出力、P と S が正解である。S(Sure)有効であることが分かる。実際に改善した例を【図 4】は必ず必要な正解であり、【図 3】の濃いマスである。に載せる。この例では、定型表現“在 ～ 中”があるので、P(Possible) は英語の冠詞や日本語の助詞などのよう誤った“在 ⇔ は”の対応が禁止され、アライメントがにあっても誤りではない正解であり、【図 3】の薄いマ改善している。

スである。

また、依存構造木を用いた場合、全体的な精度である
AER は単語列より低下しているが、Precision が上昇

５．２

実験結果していることがわかる。翻訳においては Precision が日英と日中の定型表現を利用したアライメントの精度をそれぞれ【表 3】と【表 4】に載せる。

高い方が正確な翻訳が行えるので、依存構造木から獲得した定型表現は翻訳に有効であると考えられる。しかし、結果を比較すると日英では Web コーパスの単語列と言語構造の違いなどによって定型表現の対応が正しくて依存構造木から獲得した定型表現を用いた場合、日中にも対応先が不連続となってしまう場合があり、正しい対関しては単語列から獲得したものを用いた場合の精度が応が禁止され、Recall 低下の原因となっている。定型

最も良かった。この結果から定型表現がアライメントに表現の情報をどのようにアライメントの制約として利用するべきかについては今後さらに検討する必要がある。

表 3：日英アライメント精度

定型表現

Pre.

Rec.

AER

なし

84.53

65.53

25.78

単語列 ( 論文 )

85.10

65.18

25.80

定型表現

表 4：日中アライメント精度

Rec.

AER

依存構造木 ( 論文 )

85.22

65.08

25.81

なし

86.49

77.31

18.09

単語列 (Web)

84.90

65.59

25.63

単語列 ( 論文 )

86.74

77.25

18.00

依存構造木 (Web)

85.13

86.46

25.63

依存構造木 ( 論文 )

86.78

77.17

18.02

図 4：定型表現による制約の例

246

Pre.

YEAR BOOK 2011

寄稿集

6 おわりに

pp. 825–833, 2010.
[4] Scott Martens and Vincent Vandeghinste. An4

本研究では定型表現をコーパスから自動的に獲得し、word expressions from dependency trees. In

アライメント時に制約として利用する手法を提案した。

Proceedings of the Multiword Expressions:

定型表現はコロケーション獲得の指標である C-value

From Theory to Applications(MWE 2010), pp.

を拡張することで依存構造木から獲得しており、単語列85–88, 2010.

上では連続しない表現も獲得できる。また、アライメン[5] Toshiaki Nakazawa and Sadao Kurohashi.

トでは定型表現を構成する単語の対応先が依存構造木上Fully syntactic ebmt system of kyoto

で不連続になる対応を禁止するという制約を用いた。実

team in ntcir-8. In Proceedings of the 8th

験は日英、日中間で行い、そのどちらでも定型表現を利NTCIR Workshop Meeting on Evaluation of

用するとアライメントの精度が向上することを確認しInformation Access Technologies(NTCIR-8),

た。今後の課題は、制約により誤って禁止される問題を

pp. 403–410, 2010.

解決するために定型表現の利用方法を検討することと定[6] Masao Utiyama and Hitoshi Isahara. Reliable

型表現を利用した翻訳を行いその有効性を検証すること

measures for aligning japanese-english newsである。また、定型表現の獲得の精度を向上させること

articles and sentences. In Proceedings of theも検討する必要があり、その方法には現在獲得されてい43rd Annual Meeting of the Association forる定型表現を候補として対訳コーパスの情報を用いるこComputational Linguistics, pp.72–79, 2003.となどが考えられる。また今回は論文コーパスと Web[7] 葛原和也 , 加藤芳秀 , 松原茂樹 . 構文構造を利用しコーパスを用いたが、特許コーパスからの定型表現抽出た英語論文からの表現の自動獲得 . 研究報告自然言語および機械翻訳での利用を行なう。

処理 (NL), pp. 1–7, 2010.

機械翻訳技術の向上

efficient, generic approach to extracting multi-

参考文献[1] Xiangyu Duan, Min Zhang, and Haizhou
Li. Pseudoword for phrase-based machinetranslation. In Proceedings of the 48th Annual
Meeting of the Association for ComputationalLinguistics, pp. 148–156, 2010.
[2] Katerina T. Frantzi and Sophia Ananiadou.
Extracting nested collocations. In Proceedingsof the 16th conference on Computationallinguistics, pp. 41–46, 1996.
[3] Zhanti Liu, Haifeng Wang, Hua Wu, andSheng Li. Improving statistical machinetranslation with monolingual collocation. In
Proceedings of the 48th Annual Meeting ofthe Association for Computational Linguistics,

YEAR BOOK 2O11247