制約付きHMMとピボット言語を用いた
キーワードリストからの対訳用語抽出
Bilingual Terminology Acquisition from Keyword Lists Using Constrained HMM and a Pivot
Language
京都大学大学院情報学研究科

中澤敏明

PROFILE: 2010 年京都大学大学院情報学研究科知能情報学専攻博士課程修了。博士（情報学）。機械翻訳の研究に従事。

nakazawa@nlp.ist.i.kyoto-u.ac.jp075-753-5346

京都大学大学院情報学研究科

Denny Cahyadi

PROFILE: 2012 年京都大学大学院情報学研究科知能情報学専攻修士課程修了。修士（情報学）。現在はパナソニック株式会社に勤務。

京都大学大学院情報学研究科教授

黒橋禎夫

PROFILE: 1994 年京都大学大学院工学研究科電気工学第二専攻博士課程修了。博士（工学）。2006 年 4 月より京都大学大学院情報学研究科教授。自然言語処理、知識情報処理の研究に従事。

1

言語間において訳語対が獲得できることを示す。本研究

はじめにでは、英語を中間言語として用い、日本語と中国語のキーワードの対応付けを行う。【図１】に本研究全体の枠組

専門用語の訳語集は、二言語以上を扱う自然言語処理みを例示する。の多くのアプリケーションにおいて重要である。しかし、専門用語は専門性が高く、新語が続々と生成されるため、高精度かつカバレージの高い訳語集を構築するのは難し

2い。そのため、専門文書から訳語対を自動で獲得する研2.1

究に注目が集まっている。

制約付き HMMに倣って、二種類の言語でキーワードリスト対はその論文の著者が書いたもので書かれたキーワードリストを科学技術論文から抽出し、あるため、理想的には同じ個数、同じ順序、完全な対訳各キーワードの言語間の対応付けをとる。しかし、キーとして書かれているはずである。しかし実際には、個数ワードリスト対は、キーワードレベルのずれとキーワーや順序が異なったり、訳が不正確であったりするものもドを構成する単語レベルのずれを含みうるため、対応付少なからず存在する。

本研究では、先行研究

256

制約付きHMMを用いたキーワードリストからの対訳用語抽出[1]

けをとることは容易ではない。我々はこの問題を解決す

先行研究 [1] では、個数が同じキーワードリスト対にるため、機械翻訳における単語アラインメントモデルと対し、先頭から順に対応付けることで対訳用語を抽出しして広く利用されている隠れマルコフモデル (HMM) にている。また個数の異なるキーワードリスト対に対していくつかの制約を導入し、教師無しでキーワードを効果は、既存の対訳辞書を利用することで、キーワード間の的に対応付ける。

部分対応を発見し、これを手掛かりとして対訳用語を抽一方、利用可能なリソースの規模が小さいなどの理由出している。キーワードリスト対がクリーンな場合はこから、訳語対の獲得が困難な言語対も存在する。この問の方法による抽出手法で十分であるが、前記のようなノ題に対し、我々は中間言語を用いることで、より多くのイズの混じったデータに対しては不十分である。また、

YEAR BOOK 2013

寄稿集

日英キーワード対
原子吸光分析

ビスマス

定量分析

電熱原子吸光分析

bismuthatomicabsorption
spectrometryelectric
heating

Electro-thermal
atomic absorption
spectrometryChromatography
combined with atomic
absorption spectrometry

Elemental
species analysis

Hydridegeneration

atomicabsorption
spectrometry色谱-原子吸收光谱联用氢化物发生法原子吸收光谱法元素形态分析

4

機械翻訳技術の向上

電気加熱

中英キーワード対

図 1：英語を中間言語とした日英・中英キーワード対からの日中対訳用語抽出

キーワードは多くが専門用語であるため、既存の辞書で「EOK」という 2 つの特殊な単語を挿入する。また制約は部分的な対応ですら発見することは難しい。本研究でとして、1．EOK は相手言語の EOK しか生成しない、2．

は、これらの問題を解決するための手法を提案する。

EOK からは EOK 以外のすべての状態に遷移できるが、キーワードリスト対からの対訳用語抽出問題は、キーワードを単語、キーワードリストを文とみなせば、機械EOK 以外の単語からは、同一キーワード内の単語にしか遷移できない、という条件を加える。

翻訳などで一般的に行われている対訳文内の単語対応発

このモデルは、キーワードレベルとキーワード内の見（アライメント）問題と同様の方法で解くことができ単語レベルの二階層の対応を考慮したものであり、キーる。しかし各キーワードリストには平均して数個のキーワードリストのノイズやデータスパースネスに対して頑ワードしかなく、また各キーワードの出現回数はそれほ健である。【図２】に「ハイビジョンテレビ , ロボット

ど多くないため、データスパースネス問題が発生するなの視覚」と「high definition TV, robot vision」といど、単語アライメントとまったく同様の方法で高精度なうキーワード対に対する制約付き HMM によるアライ対応付けを行うことは難しい。

メント例を示す。濃い灰色の部分は遷移確率が 0 の部

本研究では、単語アライメントにおいてよく使われ分であり、薄い灰色の部分は単語出力確率が 0 の部分を拡である。これにより、キーワード内の各単語の対応とキーる手法の一つである HMM によるアライメント[2]張し、さらに制約を加えることで、キーワードアライワードの対応の 2 つが同時に得られる。

メントに対応できるようにする（モデルの詳細は参考文献 [3] を参照）。このモデルでは、各キーワードに、対応がないことを示す「null」とキーワードの末尾を示す

e1.0
e1.1
e1.2
e1.3
e1.eok

f1.1

f1.2

f1.3

ハイビジョン

テレビ

null

null

null

f1.eok

EOK
null

2.2

対訳用語抽出実験

制約付き HMM の有効性を示すために、日英および
f2.1

f2.2

f2.3

ロボットの視覚

null

null

null

high

high

high

high

high

high

high

TVTV

TV

TV

TV

TV

TV

def.

def.

def.

def.

def.

EOK

EOK

EOK

EOK

EOK

e2.0
null
e2.1
robot
e2.2 visione2.eok EOK

null
robot

null
robot

null
robot

robot

visionEOKvisionEOKvisionEOK

nullvisionEOKdef.

EOK
null

robot

vision
EOK

def.

EOK
null

robot

visionEOK

f2.eokEOK
null

highdef.
TVEOK
null

robot

visionEOK

図 2：制約付き HMM を用いたキーワードアライメントの例

YEAR BOOK 2O13257

中英の対訳用語抽出実験を行った。日英は CiNii（http://ci.nii.ac.jp/）の論文データより抽出した約 72 万キー3ワード対をトレーニングに用い、そのうちの 100 キー
ワード対に人手で正解の対応を付与し、テストデータと3.1

中間言語を利用した対訳用語獲得
対訳誤りの増幅した。キーワードリスト内の平均キーワード数は 8.07

英語とその他の言語のキーワード対データは比較的容で、ノイズの含まれるキーワード対の割合は約 36%

易に手に入るが、たとえば日本語と中国語などの言語対であった。中英は CNKI（http://www.cnki.net/）ののデータはほとんど存在しないと言ってよい。しかしこ

論文データより抽出した約 7 万 8 千キーワード対をトのような言語対であっても、英語を中間言語として利用レーニングに用い、そのうち 100 キーワード対に正解し、日英・中英の対訳用語を結合することで、日中の対を付与した。キーワードリスト内の平均キーワード数は訳用語を獲得することが可能である。ここで問題となる

4.04 で、ノイズの含まれるキーワード対の割合は約のが、結合前の日英・中英それぞれの対訳誤りおよび曖6% であった。評価は再現率・適合率・F 値により行った。

昧性のある対訳による、結合後の日中対訳での誤りの増【表１】に日英の実験結果を、【表２】に中英の実験結幅である。

果を示す。Mono はキーワードを先頭から順に対応付

た と え ば、 前 節 で 獲 得 し た 日 英・ 中 英 対 訳 の う ちは機械翻訳分野で広結合可能であったものの精度は、日英が約 69%（約く使われている単語アライメントツールを用いて、キー31,000 対）、日中が約 81%（約 28,000 対）であっワード単位でのアライメントを行った結果、HMM はたが、結合後の日中対訳の精度は約 32%（約 92,000制約なしの既存の HMM による結果である。日英では、対）にまで低下してしまう。我々はこの問題を解決する

ノイズの割合が大きいにもかかわらず、全ての指標で最ために、SVM を利用した結合後の日中対訳のフィルタも高い値を示しており、中英においても最も高い適合率リングと、結合前のそれぞれの対訳の頻度によるフィルを示している。中英のトレーニングデータは日英に比べタリングの二つの方法を提案する。

ける手法による結果、GIZA++[4]てトレーニングデータのサイズが 1 桁小さいため、日英ほどの精度にはなっていないが、データを増やすことでさらに精度を向上することができると考えられる。ま3.2

SVM による結合後フィルタリング

SVM によるフィルタリングを行う際に利用する素性

た中英のデータは日英よりもクリーンなデータであり、として、以下に挙げるものを利用した

Mono の精度がかなり高いが、同様にトレーニングデー

1. 日英・中英対訳での頻度タを増やすことで、この精度を超えることも可能と考え

2. 英語抄録を利用したキーワードの文脈類似度 [5]ている。

3. 日中共通漢字情報によるキーワードの文字類似度 [6]実験として、前記結合後の日中対訳約 92,000 対の
表 1：日英対訳用語抽出実験結果

うち 800 対に人手で正しい対訳かどうかのラベルを付

再現率

適合率

F値

Mono

89.0

74.2

80.9

GIZA++

92.2

90.6

91.4

HMM

92.8

60.3

73.1

提案手法

95.4

91.8

93.6

与したデータ（正例 437、負例 363）を利用し、分類器のトレーニングおよび精度評価に利用した。精度はleave-one-out 交差検定により算出した。結果のコン
フュージョンマトリックスを【表３】に示す。この表から、再現率 78.5%、適合率 76.2%、F 値 77.3% となっ

表 2：中英対訳用語抽出実験結果258た。また、ラベルなしデータすべてを分類器にかけたと再現率

適合率

F値

Mono91.892.091.9

GIZA++

82.089.785.7

ここからランダムに 200 対をサンプルして人手で正誤HMM

76.941.153.6

判定したところ、精度は 73.5% であり、フィルタリン

提案手法

80.6

94.787.1

グ前の精度 32% から大幅に向上することができた。

YEAR BOOK 2013

ころ、正と判断された対訳対は約 22,000 対であった。

正解 -合計

SVM+

343107450

SVM-

94256350

合計437363800となどが考えられる。

4

参考文献[1] Ren, F., Zhu, J. and Wang, H.: Web-based

結合前対訳の頻度によるフィルタリング

technical term translation pairs mining for

結合後対訳の精度を低下させる大きな要因の一つとしpatent document translation, Internationalて、結合前対訳の曖昧性がある。これは、1 つの英語キー

Conference on Natural Language Processing

ワードに対して、複数の他言語キーワードが対応付けらand Knowledge Engineering (NLP-KE) 2010,れるという現象である。曖昧性の大きな英語キーワード

pp. 1-8 (2010).

を調査したところ、その多くは誤った対訳であり、さら[2] Vogel, S., Ney, H. and Tillmann, C.: HMM-にそれらの誤った対訳はほとんどが低頻度のものである

based word alignment in statistical

ことがわかった。そこで、曖昧性のある英語キーワード

translation, Proceedings of the 16thについて、その対訳を頻度順に並べ、頻度の高いもののconference on Computational linguistics

みを残すという方法を提案する。【表４】に実験結果を- Volume 2 , COLING '96, Stroudsburg,示す。頻度の最も高い対訳のみを残した場合（Top-1）、

PA, USA, Association for Computational

獲得対訳数は約 16,000 対で、その精度は約 83% とLinguistics, pp. 836-841 (1996).

なり、やはり 32% から大きく向上することができた。
表 4：結合前フィルタリングによる獲得対訳数および精度の変化

フィルタ

機械翻訳技術の向上

正解 +3.3

寄稿集

ルタリングと、結合前フィルタリングを組み合わせるこ

表 3：SVM によるフィルタリング精度[3] Cahyadi, D., Cromieres, F., Kurohashi,S.: Constrained Hidden Markov Modelfor Bilingual Keyword Pairs Alignment,

日中対訳数

精度なし

91,91132%

Top-349,42542%

Language Resources, pp. 85-94 (2012).

Top-2

34,461

63%[4] O c h , F . J . a n d N e y , H . : A s y s t e m a t i cTop-1

16,45083%

comparison of various statistical alignment

Proceeding of 10th Workshop on Asianmodels, Computational Linguistic, Vol. 29,

4

おわりにNo. 1, pp. 19-51 (2003).
[5] Shezaf, D. and Rappoport, A.: Bilingual lexicon
generation using nonaligned signatures,

本研究では、二種類の言語で書かれた科学技術論文

Proceedings of the 48th Annual Meetingのキーワードリストから高精度に対訳対を獲得するため

of t he Associat ion f or Com put at i o n a lに、キーワードリストのノイズに頑健な制約付き HMM

Linguistics, ACL '10, Stroudsburg, PA, USA,を提案した。また、英語を中間言語として利用すること

Association for Computational Linguistics,

で、直接対訳対を獲得することができない言語対におい

pp. 98-107 (2010).ても対訳対を獲得し、さらにそれらの精度を向上するためのフィルタリング手法を提案した。

[6] Chu, C., Nakazawa, T. and Kurohashi, S.:
Chinese Characters Mapping Table of

今後の課題としては、中英のキーワードリストデータ

Japanese, Traditional Chinese and Simplified

を増やすことで、言語対によらず制約付き HMM が効

Chinese, Proceedings of the Eighth

果的であることを示すことと、中間言語を利用した対訳

Conference on International Language

結合精度のさらなる向上が挙げられる。結合精度向上に

Resources and Evaluation (LREC'12),

は、SVM に新たな素性を足すことや、SVM によるフィ

Istanbul, Turkey, pp. 2149-2152 (2012).

YEAR BOOK 2O13259