言語処理学会 第21回年次大会 発表論文集 (2015年3月)

多量の対訳句と少量の対訳文を用いた統計翻訳池淵堅斗 村上仁一 坂田純 徳久雅人
鳥取大学大学院 工学研究科 情報エレクトロニクス専攻{s102002, murakami, d112004, tokuhisa} ＠ ike.tottori-u.ac.jp

1

近年，機械翻訳の分野で原言語から目的言語に翻訳する統計翻訳が注目されている．統計翻訳においては，対訳データの量が多ければ多いほど翻訳精度が高くなる．
しかし，利用できる対訳データには限りがある．
この課題に対して，Maja Popović らは，セルビア語英語間の翻訳において，5 万句程度の対訳句と少量の対訳文を組み合わせた対訳データを用いて統計翻訳を行った．その結果，自動評価において翻訳精度が向上した[1]．
また日野らは，日本語英語間において，対訳文と対訳句を組み合わせた対訳データを用いた統計翻訳を行った．その結果，翻訳精度が向上した [2]．
現在，対訳文は一般的に多く存在しているが，10 万句以上の大規模な対訳句のコーパスはほとんど存在しない．よって，多量の対訳句を用いた統計翻訳の実験はほとんど行われていない．
そこで，本研究では，多量の日英対訳句と少量の日英対訳文を組み合わせた対訳データを学習データとして用いることによる翻訳精度の調査を行う．

2

実験環境

3

はじめに前処理
統計翻訳の前処理として，日本語句と日本語文に対して，MeCab[3] を用いて形態素解析を行う．また，英語句と英語文に対して “tokenizer.sed [4]”を用いて分かち書きを行う．
3.2 日英対訳句本研究では，日英対訳句の種類として，鳥バンク [5] と英辞郎 [6] を用いる．日英対訳句の内訳を表 1 に示す．

3.1

表 1 日英対訳句数

日英対訳句
鳥バンク
英辞郎

学習データ (句)548,694
1,366,458

鳥バンク [5]鳥バンクは自然言語処理のための言語知識ベースを収録したデータバンクであり，日本語の重文と複文を対象とする「意味類型パターン辞書」が収録されている．本
研究では，このパターン辞書から抽出した日英対訳句を用いる．鳥バンクの日英対訳句の例を表 2 に示す．

3.2.1

表 2 鳥バンクから抽出した日英対訳句の例

本研究における統計翻訳の流れ

彼 の お母さん

本研究では，日英対訳句と日英対訳文を組み合わせた
日英対訳データを翻訳モデル作成の学習データとして用いる．図 1 に日英方向の統計翻訳の流れを示す．

his mother
息子 の 話son ’s story
社会 通念

commonly accepted ideas

英辞郎 [6]
英辞郎は，EDP(Electronic Dictionary Project) がアップデートし続けている英和・和英辞書である．英辞郎のデータには対訳句の他に翻訳例や注釈，本来の文に出てこない “〜”等の記号が含まれる．英辞郎の日英対訳句の例を表 3 に示す．

3.2.2

表 3 英辞郎から抽出した日英対訳句の例に 急落 する

plummet toから 出 て くる

come out fromの 結果 として 生じる

come out from

日英対訳文
本研究では，日英対訳文として単文 [7] を用いる．本研究で用いる日英対訳文の内訳を表 4 に示す．日英対訳
文の例を表 5 に示す．

3.3

図 1 日英方向の統計翻訳の流れ

表 4 日英対訳文の内訳

提案手法の手順を以下に示す．

日英対訳単文
学習データ
テストデータデベロップメントデータ

手順 1 英語文を学習データとして言語モデルを作成する
手順 2 日英対訳文に日英対訳句を追加する
手順 3 手順 2 で作成したコーパスを学習データとして翻訳モデルを作成する
手順 4 手順 1 と手順 3 で作成したモデルを用いて統計翻訳を行う

文数 (文)

100,000
10,0001,000

表 5 日英対訳文の例
彼 の 考え方 は 極端 すぎる 。

His way of thinking goes too far .

デコーダ
本研究ではデコーダとして“Moses[8]”を用いる．

3.4― 720 ―

Copyright(C) 2015 The Association for Natural Language Processing.
All Rights Reserved.

パラメータチューニング
し”とする．
本 研 究 で は パ ラ メ ー タ の 最 適 化 の た め に“mert• 対比較評価において，比較する両実験の翻訳結果がmoses.pl”を用いる．バラメータの値は，全ての対訳文と完全に同ー出力の場合に“一致”とする．
全ての対訳句を学習データとした場合に得られた値を全実験 A と実験 B の対比較評価結果を表 7, 実験 B と実ての実験に用いる．
験C の対比較評価結果を表 8 に示す．
3.6 評価方法
本研究では，翻訳結果の評価として自動評価と人手
表 7 実験 A VS 実験 B
評 価 を 行 う ．自 動 評 価 は 自 動 評 価 法 “BLEU[9]”，実験 A ＞実験 B 実験 A ＜実験 B 差なし 一致“METEOR[10]”，“RIBES[11]”，“TER[12]”，
1文
13 文
82 文
4文
“WER[12]”を 用 い る ．人 手 評 価 は 翻 訳 結 果 か ら ラ
表 8 実験 B VS 実験 C
ンダムに 100 文抽出し，対比較評価を行う．
実験 B ＞実験 C 実験 B ＜実験 C 差なし 一致
4 鳥バンクの対訳句を用いた実験
5文
17 文
75 文
3文
本章の実験では，鳥バンクの日英対訳句 (以降，対訳
表 7 より，自動評価結果同様，対訳文０文から 12 文句) と日英対訳文 (以降，対訳文) を組み合わせた日英対訳データ (以降，対訳データ) を翻訳モデル作成の学習 に増加させることにより，翻訳精度が急激に向上していデータとして用いる．また，翻訳精度の変化の詳細を調 ることがわかる．
査するために，対訳句数は一定数 (548,694 句) に保ち， 4.3 対比較評価例
対訳文数の変化に伴う翻訳精度の調査を行う．
実験 A と実験 B の対比較評価例を表 9，実験 B と実
験 C の対比較評価例を表 10 に示す．
4.1 自動評価結果
表 9 実験 A VS 実験 B
各実験の翻訳結果に対する各自動評価値を図 2 に実験 A ＞実験 B示す．
入力文
空気は黒い煙でもうもうとしていた。
正解文
The air was thick with black smoke .
実験 A
The air has been thick in black smoke .
実験 B
I have been thick in black smoke 。 air .
実験 A ＜実験 B
入力文
その後の彼の足取りはわからない。
正解文
His movements after that are unknown .
実験 A
I can of later his legs .
実験 B
I do not know his legs 。since then .

3.5

表 10 実験 B VS 実験 C

入力文
正解文
実験 B
実験 C

図 2 対訳文数の変化に伴う自動評価値の変化

図 2 より，学習データとして用いる対訳文数が増加するにつれて自動評価値も増加している．しかし特に，対訳文数が 6 文の場合から 12 文へと増加する場合において，すべての自動評価値が急激に増加していることがわ
かる．
対訳文数が 0 文の場合を“実験 A”，12 文の場合を“実験 B”，100,000 文の場合を“実験 C”として各自動評価値を表 6 に示す．

入力文
正解文
実験 B
実験 C

BLEU(%)METEOR(%)
RIBES(%)
TER(%)
WER(%)

実験 A

実験 B

実験 C07.0
35.2
52.8
94.9
98.6

129.943.2
68.7
80.6
83.8

100,000
15.5
48.7
72.9
68.2
71.1

His voice was even .
His voice was with serenity .
He was very in his voice .
実験 B ＜実験 C
彼はビール一杯で酔った。

He got drunk on one beer .
IHe is beer full drunk .
He was intoxicated with a glass of beer .

4.4 実験結果のまとめ• 鳥バンクの多量の対訳句 (約 55 万句) と少量の対訳
文 (12 文) を学習データとして用いた場合には，鳥バンク (約 55 万句) と対訳文 (0 文) を用いる場合と比較して，急激に翻訳精度が向上する．

• 対訳文として 12 文以上用いる場合においては，対訳

表 6 対訳文数の変化に伴う自動評価値の変化

実験の種類
学習データ (文)実験 B ＞実験 C
彼の声は落ち着き払っていた。

文の文数に比例して翻訳精度が向上する．

5

人手評価結果人手評価手法として出力結果からランダムに 100 文抽出して対比較評価を用いる．対比較評価結果の表記の説
明を以下に示す．

4.2

英辞郎の対訳句を用いた実験

本章の実験では，英辞郎の対訳句と対訳文を組み合わせた対訳データを翻訳モデル作成の学習データとして用いる．また，翻訳精度の変化の詳細を調査するために，対訳句数は一定数 (1,366,458 句) に保ち，対訳文数の変化に伴う翻訳精度の調査を行う．
5.1 自動評価結果
各実験の翻訳結果に対する各自動評価値を図 3 に示す．

• 対比較評価において，比較する両実験の翻訳結果の翻訳精度に明確な差がないと判断した場合に“差な― 721 ―Copyright(C) 2015 The Association for Natural Language Processing.
All Rights Reserved.

表 15 実験 E VS 実験 F

実験 E ＞実験 F
空気は黒い煙でもうもうとしていた。

入力文
正解文
実験 E
実験 F

The air was thick with black smoke .
Black smoke have been cloud is in the air .
The air in the black smoke .
実験 E ＜実験 F

入力文
正解文
実験 E
実験 F

図 3 より，学習データとして用いる対訳文数が増加す
るにつれて自動評価値も増加している．しかし，特徴的な変化は見られなかった．
対訳文数が 0 文の場合を“実験 D”，12 文の場合を“実験 E”，100,000 文の場合を“実験 F”として各自動評価値を表 11 に示す．
表 11 対訳文数の変化に伴う自動評価値の変化

BLEU(%)METEOR(%)
RIBES(%)
TER(%)
WER(%)

実験 D

実験 E

09.4
40.1
64,881.785.7

129.34165.4
81.5
85.3

実験 F
100,000
16.1
49.7
73.6
67.5
70.3

人手評価結果
実験 D と実験 E の対比較評価結果を表 12, 実験 E と
実験 F の対比較評価結果を表 13 に示す．

5.2

表 12 実験 D VS 実験 E

実験 D ＞実験 E
2文

実験 D ＜実験 E
1文

差なし
60 文

37 文

一致

差なし
82 文

一致
2文

表 13 実験 E VS 実験 F

実験 E ＞実験 F
1文

実験 E ＜実験 F
15 文

表 12 より，自動評価結果同様，対訳文０文から 12文に増加させることによる翻訳精度の差は確認できなかった．
5.3 対比較評価例
実験 D と実験 E の対比較評価例を表 14，実験 E と実
験 F の対比較評価例を表 15 に示す．

入力文
正解文
実験 D実験 E
入力文
正解文
実験 D
実験 E

She cut the apple in half .
She is half an apple .
She cut the apple in half .

5.4 実験結果まとめ• 英辞郎の多量の対訳句 (約 137 万句) と少量の対訳文 (12 文) を学習データとして用いた場合には，英辞郎 (約 137 万句) と対訳文 (0 文) を用いる場合と

図 3 対訳文数と自動評価値の関係

実験の種類
学習データ (文)彼女はリンゴを半分に切った。

比較して，翻訳精度にほとんど変化が見られない．

• 全体的に，対訳文数に比例して翻訳精度が向上する．

6考察

6.1 鳥バンクを用いた実験の考察
4 章の実験より，多量の対訳句が使用可能な場合，少量の対訳文があれば，ある程度の翻訳精度が得られる．
これは，鳥バンクの多量の対訳句が翻訳に必要な単語をほとんどカバーしているため，翻訳を行う際にほとんど未知語が発生していないことが原因だと考えられる．また，文の構造を表現する情報は，言語モデル作成の際に用いる単一言語文と翻訳モデル作成の際に用いる少量の対訳文でカバーできているためであると考えられる．
6.2 英辞郎を用いた実験の考察
5 章の実験より，英辞郎の対訳句を用いた場合，学習データが増加するのに比例して翻訳精度が向上している．しかし，少量の対訳文と組み合わせた場合に，鳥バンクを用いた場合と同様な急激な変化は見られなかった．これは，英辞郎には，文とみなされる句が存在している．そのため，そのような句が存在することにより多量の対訳句と少量の対訳文が組み合わされている構造が自然に発生しているためであると考えられる．英辞郎の対訳句において文とみなされる句の例を表 16 に示す．
表 16 文とみなされる句の例

お客様以外のご使用はご遠慮願います。

Rest rooms are for patrons only .

鳥バンクと英辞郎の比較
本節では，鳥バンクを用いた実験と英辞郎を用いた実験の結果の比較を行う．対訳句数は鳥バンク (約 55 万句)，英辞郎 (約 137 万句) で一定数に保ち，対訳文数を変化させてそれぞれの翻訳精度の比較を行う．
表 14 実験 D VS 実験 E
鳥バンクと英辞郎における対訳文数の変化に伴う ME実験 D ＞実験 E
TEOR 値の変化を図 4 に示す．さらに，実験 A と実験彼女はいつもクラスの首席を占めている。
D の対比較評価結果を表 17，実験 B と実験 E の対比較
She is always at the top of her class .
評価結果を表 18，実験 C と実験 F の対比較評価結果を
She is always at the top of his class .
表 19 に示す．さらに，実験 A と実験 D の対比較評価例, she always at the top of his class .
を表 20，実験 B と実験 E の対比較評価例を表 21，実験C と実験 F の対比較評価例を表 22 に示す．
実験 D ＜実験 E
図 4，表 17，表 18，表 19 より，対訳文数が少量の場
彼はマラソンで脱落した。
合は０文である場合を除いて，鳥バンクの対訳句との組
He dropped away in a marathon race .
He is in the marathon race has dropped . み合わせが有効であることがわかる．しかし，対訳文が増加していくにつれて，鳥バンクと英辞郎の差が少なく
he has dropped in the marathon .
なっていることがわかる．これは，少量の対訳文を用いる場合には，テストデータと同分野である鳥バンクの対訳句が効果的であるためであると考えられる．

6.3― 722 ―

Copyright(C) 2015 The Association for Natural Language Processing.
All Rights Reserved.

表 22 実験 C VS 実験 F

入力文
正解文
実験 C
実験 F
入力文
正解文
実験 C実験 F7

図 4 鳥バンクと英辞郎の比較
表 17 実験 A VS 実験 D

実験 A ＞実験 D
2文

実験 A ＜実験 D
6文差なし
92 文

一致
0文差なし
92 文

一致0文差なし
71 文

13 文

表 18 実験 B VS 実験 E

実験 B ＞実験 E
6文

実験 B ＜実験 E
2文

表 19 実験 C VS 実験 F

実験 C ＞実験 F
9文

実験 C ＜実験 F
7文一致

表 20 実験 A VS 実験 D

入力文
正解文
実験 A
実験 D
入力文
正解文
実験 A
実験 D

実験 A ＞実験 D
私は学校に間に合った。

I made school in time .
I was just in time to school .
I time for school .
実験 A ＜実験 D
この風邪薬はよく効く。

This cold medicine is eﬀective .
The medicine is very eﬀective 。
the cold .
This medicine is eﬀective for a cold .
表 21 実験 B VS 実験 E

入力文
正解文
実験 B
実験 E
入力文
正解文
実験 B
実験 E

実験 B ＞実験 E
自動車が動かない。

The car will not start .
The car is not working .
car is out of order .
実験 B ＜実験 E
彼女はいつもクラスの首席を占めている。

She is always at the top of her class .
She is always the class will be theaccount for the top of his class .
She is always at the top of his class .

実験 C ＞実験 F
正しい郵便料金を貼ってください。

Please aﬃx the correct postage .
Make a right postage .
Please put the correct mail rates .
実験 C ＜実験 F
彼の声は落ち着き払っていた。

His voice was even .
He was very in his voice .
His voice was composure .

おわりに本研究では，学習データとして多量の対訳句と少量の対訳文を組み合わせた対訳データを用いることによる翻訳精度の調査を行った．その結果，多量の対訳句が使用可能である場合，少量の対訳文があれば，ある程度の翻訳精度が得られることがわかった．また，一定数以上の対訳文を用いることにより，翻訳精度は対訳文数に比例して精度が向上する．さらに，対訳文数が少量の場合は，テストデータと同分野の対訳句を用いることによって，より良い精度が得られることがわかった．
今後は，今回の実験で得られた結果の誤り分析を行い，さらなる精度の向上を目指したい．

参考文献[1] Popović Maja, and Ney Hermann “Statistical MachineTranslation with a small amount of bilingual trainingdata”, 5th LREC SALTMIL Workshop on Minority
Languages, pp.25-29. 2006.
[2] 日野聡子：“統計翻訳における対訳句コーパスの効果 ，2013 年修論[3] MeCab http://mecab.sourceforge.net/[4] tokenizer.sed
http://www.cis.upenn.edu/ treebank/tokenizer.sed[5] 鳥バンク
http://unicorn.ike.tottori-u.ac.jp/toribank/[6] 英辞郎 : http://www.alc.co.jp/[7] 村上仁一, 藤波進 “日本語と英語の対訳文対の収集と著作権の考察 ”, 第一回コーパス日本語学ワークショップ,
pp.119-130. 2012.
[8] Moses: “Open Source Toolkit for Statistical MachineTranslation”, Proceedings of the ACL 2007 Demo andPoster Sessions, pp.177-180. 2007.
[9] BLEU: “a Method for Automatic Evaluation of Machine Translation”, Proceedings of the 40th Annual
Meeting of the Association for Computational Linguistics (ACL), pp.311-318. 2002.
[10] Meteor: Lavie Alon, and Denkowski Michael “An Automatic Metric for MT Evaluation with High Levels ofCorrelation with Human Judgments”, Proceedings ofthe Second Workshop on Statistical Machine Translation, pp.228-231. 2007.
[11] Hideki Isozaki, “Automatic Evaluation of Translation
Quality for Distant Language Pairs”, Proceedings ofthe 2010 Conference on Empirical Methods in Natural
Language Processing, pp.944-952. 2010.
[12] Gregor Leusch, Nicola Ueﬃng and Hermann Ney. “ANovel String-to-String Distance Measure with Applications to Machine Translation Evaluation.” In Proc. of
MT Summit IX, 240―247. TRANSLATION ERRORRATE (TER) 7.0
http://www.cs.umd.edu/ snover/tercom/ (2003)― 723 ―

Copyright(C) 2015 The Association for Natural Language Processing.
All Rights Reserved.