情報処理学会研究報告
IPSJ SIG Technical Report

構文木と句の極大性に基づく機械翻訳のための能動学習
三浦 明波1,a)Graham Neubig1,b)Michael Paul2,c)

中村 哲1,d)

概要：能動学習は機械学習において，逐次的にデータを選択し，専門知識を有する者が情報を付与してモデルの更新を繰り返すことで，少量の人手作業で効率的に学習を行う枠組みである．この枠組みを機械翻訳に適用することで，人手翻訳のコストを抑えつつ高精度な翻訳モデルを学習可能である．機械翻訳の能動学習には，原言語コーパスの n-gram 頻度に基づきカバレッジを最大化する手法の有効性が知られている．一方で，フレーズの最大長が制限されることにより，慣用表現の断片のみが提示されて，人手翻訳が困難になる場合がある．また，フレーズの重複が多いため，単語数あたりの精度向上率を損なう問題も考えられる．本研究では原言語コーパスの構文解析結果を用いて慣用表現を保存しつつ，包含関係にある極大長のフレーズを抽出する学習データ選択手法を提案する．また，翻訳モデルを逐次更新するシミュレー
ション実験により，本提案手法の有効性が示された．

  

1. はじめに

  

統計的機械翻訳 (Statistical Machine Translation: SMT(a) 従来手法による n-gram フレーズ選択 (n = 4)[1]) で高い翻訳精度を達成するには，学習に用いる対訳
コーパスの質と量が不可欠である．特に，質の高い対訳

  データを得るためには，専門家による人手翻訳が必要となるが，時間と予算の面で高いコストを要するため，翻訳対

  (b) 提案手法による極大フレーズ選択

象は厳選しなければならない．このように，正解データを得るための人手作業を抑えつつ高い精度を達成する手法として，能動学習 (Active Learning) が知られている．統計的機械翻訳においても，能動学習を用いることで人手翻訳のコストを抑えつつ高精度な翻訳モデルを学習可能であ	る [2][3][4][5][6][7]．

  翻訳候補を含む原言語コーパスの中から次の翻訳対象を

	

	
  

選択する基準として，翻訳済みデータにカバーされていな
い表現をなるべく多く含む文を選択する手法が先ず考えら(c) 提案手法による構文部分木選択れる [2]．高頻度の未知語や未知のフレーズが優先的にカバーされることで，効率的に翻訳モデルのカバレッジを高

図 1

データ選択手法の例，および従来手法と提案手法の比較められるため，翻訳精度の向上が期待できる．しかし，毎回新しく文全体を選択するため，翻訳済みデータに含まれ文の選択手法では翻訳済みフレーズを冗長に含んでしまるフレーズを多く含みやすく，カバー済みのフレーズ長だう問題に対処するため，原言語コーパスの n-gram 頻度にけ余分な翻訳コストがかかる欠点がある．

基づき， 最高頻度の未カバーフレーズを順次選択する手法が提案されている [5]．この手法では，選択されたフレーズ

奈良先端科学技術大学院大学 情報科学研究科
Nara Institute of Science and Technology
株式会社 ATR-Trekmiura.akiba.lr9@is.naist.jp
neubig@is.naist.jp
michael.paul@atr-trek.co.jp
s-nakamura@is.naist.jp

全体が必ず翻訳モデルのカバレッジ向上に寄与し，余分な

c 2015 Information Processing Society of Japan
⃝

1

1

2
a)
b)
c)
d)

単語を選択しないため，文選択手法よりも少ない単語数の人手翻訳で精度向上が得られやすく，費用対効果に優れている．しかし，この手法には 2 つの問題点が挙げられる．
先ず，図 1 (a) に示すように，フレーズの選択手法では互

情報処理学会研究報告
IPSJ SIG Technical Report

いに重複する部分が多いため冗長な翻訳作業が発生し，単を行うことができる．Oracle は任意の入力フレーズに対語あたりの精度向上率を損なう問題がある (フレーズ間のして正解訳を与えることができるオラクルであり，人手翻重複問題)．また，最大フレーズ長が n = 4 などに制限さ訳を模したモデルである．本研究では全対訳データを用いれるため，“any one of the” ように複合句の一部が不完全て学習した翻訳モデルをオラクルとして用いており，詳細な形で作業者に提示されて人手翻訳が困難になる問題もあは 5 節で述べる．

る (句構造の断片化問題)．

5 行目から 9 行目で逐次的なデータ学習を行う．5 行

フレーズ間の重複問題に対しては，図 1 (b) に示すよう目の停止条件には，任意の終了タイミングを設定できるに包含関係を持つフレーズを統合して，より少ないフレーが，実際の利用場面では一定の翻訳精度に達成した時点

ズでカバレッジを保つことで学習効率の向上が可能と考えや，予算の許容する単語数を翻訳し終えた時点などで能られる (フレーズの極大性に基づく選択手法)．重複を取り動学習を打ち切ることになるだろう．6 行目では，その時除き，なるべく長いフレーズを抽出する基準として，本研点で保持している対訳コーパス T ranslated を用いて翻訳

究では極大部分文字列 [8] の定義を単語列に適用し，極大モデルの学習を行う．また，実験的評価においては，翻長となるフレーズの頻度を素性に用いる．また，句構造の訳モデルの学習直後に翻訳精度の評価を行う．7 行目では断片化問題に対しては，図 1 (c) に示すように，原言語コー

SrcP ool, T ranslated, T M を判断材料として，次に翻訳

パスの句構造解析を行い，構文解析結果の部分木をなすよ

対象となる原言語フレーズを選択する．ここでデータ選択

うなフレーズのみを選択することで，人手翻訳が容易にな時に基準となる要素として，学習済みモデルにおける各

ると考えられる (構文木に基づくフレーズ選択手法)．

データの信頼度，コーパス中に出現する各フレーズの代表本研究で提案するデータ選択手法による能動学習効率への影響を調査するため，英日翻訳および英仏翻訳において逐次的にデータ追加・モデル更新・評価を行うシミュレー
ション実験を実施し，その結果，より少ない追加単語数でカバレッジの向上や翻訳精度の向上を達成することがで性，翻訳候補のフレーズから正解訳を得るためのコストなどが考えられる．

3. n-gram 頻度に基づくデータ選択手法
本節では，従来手法である n-gram 頻度に基づく文選択

きた．

手法とフレーズ選択手法について紹介する．

2. 機械翻訳における能動学習

3.1 n-gram 頻度に基づく文選択手法

本節では，機械翻訳における能動学習手法について述べる．ここで，フレーズとは任意の長さの単語列を表すものとし，文そのものや単語もひとまとめにフレーズと呼ぶこととする．翻訳対象の候補となるデータを含む原言語コー
パスから，逐次的に新しい原言語フレーズを選択し翻訳，正解データとして対訳コーパスに加える手順をまとめると下表のように一般化できる．

Algorithm 1 能動学習手法
1: Init:2:
SrcP ool ← 翻訳候補の原言語コーパス
3:
T ranslated ← 翻訳済みの対訳コーパス
4:
Oracle ← 入力フレーズの正解訳を与えるオラクル
5: Loop Until 停止条件:
6:
T M ← T rainT ranslationM odel(T ranslated)
7: N ewSrc ← SelectN extP hrase(SrcP ool, T ranslated, T M )8:
N ewT rg ← GetT ranslation(Oracle, N ewSrc)!
9:
T ranslated ← T ranslated{⟨N ewSrc, N ewT rg⟩}

1 行 目 か ら 4 行 目 で デ ー タ の 定 義 ，初 期 化 を 行 う ．
SrcP ool は原言語コーパスの各行を要素とする集合である．T ranslated は翻訳済みの原言語フレーズと目的言語フレーズの対を要素とする集合であり，初期状態は空でもよいが，既に対訳データが与えられている場合には，

n-gram 頻度に基づく文選択手法では，原言語コーパスに含まれる単語数が n 以下の全フレーズのうち，翻訳済みの原言語データに出現せず，かつ頻度が最大となるようなものを含む文を選択する．逐次的に文を追加していき，翻訳済みのデータが原言語コーパスの全 n-gram フレーズをカバーした時点で能動学習を停止する．この手法によって最頻出の n-gram フレーズを効率的にカバー可能であり，翻訳コストを抑えつつ高い精度を達成できる．Bloodgood
らは，n = 4 の n-gram 頻度に基づく文選択手法を用いた能動学習のシミュレーション実験によって，原言語データ
全てを翻訳する場合に比べて，80% 未満の文数で同等のBLEU スコア [9] を達成できたと報告している [5]．
しかし，文全体を選択するため，翻訳済みのデータに既にカバーされているフレーズも多く含んでおり，重複部分の単語数だけ余分な翻訳コストがかかると考えられる．そのため，文全体ではなく高頻出のフレーズのみを選択する
手法を 3.2 節から紹介する．

3.2 n-gram 頻度に基づくフレーズ選択手法
n-gram 頻度に基づくフレーズ選択手法では，3.1 節の文選択手法とは異なり，原言語コーパス中で翻訳済みデータにカバーされていない単語数 n 以下のフレーズそのものを頻度順に選択する．この手法では，文全体の選択を行うよT ranslated を設定することで効率的に追加データの選択

c 2015 Information Processing Society of Japan⃝2

情報処理学会研究報告
IPSJ SIG Technical Report

りも少ない単語数の追加でカバレッジを高めることができるため，翻訳コストの低減による精度向上効率が期待でき
る．Bloodgood らは，ベースとなる対訳データを元に，追の例では，p1 ≼ p2 であるため p1 は極大フレーズではな

く，p2 ≼ p となるような p は p2 自体を除いて存在しない
ため p2 は極大フレーズである．

加の原言語データ中の高頻度の未カバー n-gram フレーズ

このような極大フレーズとその頻度は，拡張接尾辞配を順次選択し，アウトソーシングサイトを用いた人手翻訳

列 [10] を用いて線形時間で列挙可能である．ただし，本提実験により，少ない追加単語数と短い翻訳時間でベースシ案手法では，極大フレーズが改行文字を含む場合は分割し，ステムよりも大幅に BLEU スコアの向上を確認できたと

また，出現回数が 2 以上のものを列挙するようにしている．

報告している [5]．

フレーズの極大性に基づく選択手法では，原言語コーパ

ただし，このフレーズ選択手法では，1 節で述べたようス中の極大フレーズを列挙し，翻訳済みデータに出現してにフレーズ長が n = 4 などに制限されるため，選択されるいないフレーズを頻度順に選択する．これによって，先のフレーズどうしの重複が多い問題や，複合句の断片が選択

例では，p1 ≼ p2 であるため，p1 は翻訳候補に選ばれず，される問題があり，また長いフレーズ対応を学習できない

フレーズの重複を削減できたことになる．ところが，p2 とことも機械翻訳を行う上で不利である．n = 5 などの，よp3 では出現頻度が互いに近いが一致はしないため，p2 ，p3

り長いフレーズ長を設定することは根本的な解決にならな

ともに極大フレーズとして選択されてしまう．

いばかりか，さらに多くのフレーズの重複が発生して逆効果となり得る．

このように，極大フレーズでは，包含関係にあるフレー
ズの出現頻度が一致しない場合には重複を削除することが4. 構文木とフレーズの極大性に基づく手法
本節では，提案手法であるフレーズの極大性に基づく選択手法と，構文木に基づくフレーズ選択手法について説明する．

できない．しかし，前述の p2 と p3 の例のように，完全一致ではないがほとんど一致している際にもフレーズを統合したい場合が考えられる．そこで，式 1 の制約を緩めた半順序関係を下記のように提案する．
∗

4.1 フレーズの極大性に基づく選択手法
本節では，n-gram 頻度に基づくフレーズ選択ではフレーズ長の制限により発生する，フレーズの重複問題を解消するために，極大部分文字列の定義を利用したフレーズ選択手法を提案する．極大部分文字列は Okanohara らによって効率的に文書分類器を学習するために提案された素性であり [8]，以下のような半順序関係の定義を用いて示すことができる．

s1 ≼ s2 ⇔ ∃α, β : s1 = αs2 β ∧occ(s1 )< occ(s2 ) (2)2∗式 2 により，半順序 ≼ を用いて極大性を定義可能であり，通常の極大フレーズと区別するため半極大フレーズと呼び，このような特徴を持つフレーズを列挙し，未カバーフ
レーズを頻度順に追加する手法を提案する．
半極大フレーズに基づくデータ選択手法では，通常の極大フレーズに基づく手法に比べ，包含関係を持つフレーズが大幅に削除されるが，長いフレーズを残すことにより頻s1 ≼ s2 ⇔ ∃α, β : s1 = αs2 β ∧ occ(s1 ) = occ(s2 ) (1)
ここで s1 , s2 , α, β は長さ 0 以上の要素列であり，occ(·)

度は低下し，データ選択の優先順位が他の手法とは大きく変化するため，能動学習への影響は明らかではない．

は文書中の要素列の出現回数である．例えば，
p1 = “one of the preceding”,

occ(p1 ) = 200, 000

p2 = “one of the preceding claims”,

occ(p2 ) = 200, 000

p3 = “any one of the preceding claims”,

occ(p3 ) = 190, 000

4.2 構文木に基づくフレーズ選択手法
本節では 4.1 節で述べた提案手法とは別に，原言語コー
パスの構文解析結果に基いてフレーズを選択する手法を提案する．本手法では，図 2 に示すように，翻訳候補となのようなフレーズが原言語コーパス中に出現している場合，る原言語コーパスの全文を句構造解析器で処理し，得られ

p1 = αp2 β ，α = “”，β = “claims” が成り立ち，すなわちた構文木の全部分木をたどりながらフレーズを数え上げ，

p1 は p2 の部分単語列であり，同様に p2 は p3 の部分単語

その後にフレーズを頻度順に選択する．部分木の構造が異列である．p1 は p2 の部分単語列であり，コーパス中の出現なっても，単語列が一致していれば同一のものとしてカウ頻度について occ(p1 ) = occ(p2 ) = 200, 000 が成り立つたントする．これにより，木をまたがるようなフレーズ選択

め，式 1 により p1 ≼ p2 が成り立つ．一方，p2 は p3 の部分は行われないため，複合句が分断されるような問題は発生であるため，p2 ≼ p3 とはならない．式 1 で定義される半と考えられる．本手法で選択された翻訳候補のフレーズ

単語列であるが，occ(p2 ) = 200, 000 ̸= 190, 000 = occ(p3 )せず，選択されるデータは構文的にまとまった意味を持つ

順序 ≼ を用いて，単語列 s1 について s1 ≼ s2 となるよ

は，統語情報を用いない他の手法と比べて，人手翻訳を行うな s2 が s1 自体を除いて存在しない場合に，s1 は極大う際に有用で，同じ追加単語数でも短い時間で正解データ性を有し，本稿では極大フレーズと呼ぶこととする．先述が得られるものと期待できる．n-gram 頻度や極大性に基c 2015 Information Processing Society of Japan⃝3

情報処理学会研究報告
IPSJ SIG Technical Report

言語対

分野

データセット

文数/単語数414k 文一般 (ベース)Train

En: 6.72M 単語
Ja: 9.69M 単語

	

1.87M 文

En-Ja
  

Train
科学論文 (追加)(a) “are proposed” がカウントされる

En: 46.4M 単語
Ja: 57.6M 単語

Test

1790 文Dev

1790 文Train

En: 47.6M 単語

1.89M 文一般 (ベース)

Fr: 49.4M 単語		  15.5M 文

En-Fr

  

Train
医療 (追加)(b) “are proposed” はカウントされない
図 2

構文木に基づく手法のフレーズカウント条件
表 1

いてフレーズを選択する手法では，表層的な単語列を数え上げるため，“two methods are proposed” というフレーズがあると，その一部である “are proposed” も頻度に加えるが，構文木に基づく場合，図 2 (b) に示すように “areproposed” は部分木をまたがるために頻度に加えない．このため，構文木に基づくフレーズ選択手法では，フレーズの頻度が他の手法による表層的な数え上げよりも小さくなる傾向があり，結果として 2 単語以上からなるフレーズを選択する優先順位が低くなりやすい．
この手法では，全部分木のフレーズを数え上げるため，

n-gram 頻度に基づくフレーズ選択手法と同様に，フレーズの重複により追加単語数あたりの精度向上率に悪影響が出る可能性がある．従って，4.1 節で提案した半極大フレー
ズと併用することで，重複を取り除き，選択するフレーズを絞り込む手法も同時に提案する．

En: 393M 単語
Fr: 418M 単語

Test

1000 文

Dev

500 文

対訳コーパスのデータ内訳 (有効数字 3 桁)

ASPEC*1 を追加の対訳コーパスとして用いた．日仏翻訳には，WMT2014*2 の翻訳タスクで用いられた欧州議会議
事録の Europarl コーパスをベースとし，医療翻訳タスク
で用いられたデータのうち EMEA，PatTR，Wikipedia タ
イトルを合わせて追加コーパスとした．前処理として，日
本語コーパスの単語分割には KyTea を用いており，学習に用いるトレーニングデータのうち，単語数が 60 を超える行は取り除いた．前処理後の対訳データの内訳を表 1 にまとめる．
翻訳の枠組みには，フレーズベース翻訳 [11] を用いた．ただし，少量の対訳を追加して単語アラインメントの再学習およびフレーズテーブルの再構築を行うには計算コストが非常に大きい．そのため，単語アラインメントには GIZA++
を逐次学習に対応させた inc-giza-pp*3 を用いており，翻訳モデルの学習には Moses の MMSAPT(Memory-mapped

5. 実験的評価
5.1 実験設定
4 節で提案したデータ選択手法が，機械学習のための能Dynamic Suﬃx Array Phrase Tables) 機能を利用して，フレーズ抽出を行わずに接尾辞配列による動的なフレーズ
テーブルの構築を行った．言語モデルの学習には KenLM

動学習にどのような影響を与えるかを調査するため，逐次[12] を用いて，ベースコーパスと追加コーパスの全トレー的にデータを追加して翻訳モデルを更新するシミュレー

ニングデータから n = 5 の n-gram 言語モデルを学習しション実験を実施し，各ステップにおける翻訳精度の比較

た．デコード時のパラメータ調整には MERT [13] を用い評価を行った．本実験では，高精度な構文解析器を利用可
能な英語を原言語とし，目的言語には日本語とフランス語を選択した．対訳コーパスが全く存在しない状態から能動学習を用いることも可能であるが，より実際的な利用方法を考慮し，一般分野の対訳コーパスが存在している状態に，専門分野の追加コーパスからフレーズを選択し，翻訳モデルの高精度化を目指す．日英翻訳には，日常的な英会話表現を広くカバーする英辞郎例文データをベースの対訳コーパスとし，科学論文の概要を元に抽出された

c 2015 Information Processing Society of Japan⃝

たが，データ追加の度に最適化を行うのは時間的に現実的でないため，ベースコーパス全文で学習した翻訳モデルに対して，追加コーパス用の開発データセットで自動評価尺
度の BLEU スコア [9] が最大となるよう学習を行い，その後はパラメータを固定し能動学習を行った．能動学習に用いるデータ選択手法には従来手法と提案手法を含め，以下のように 8 つのタスクを設定した．
*1
*2
*3

http://lotus.kuee.kyoto-u.ac.jp/ASPEC/http://statmt.org/wmt14/
https://code.google.com/p/inc-giza-pp/

4

情報処理学会研究報告
IPSJ SIG Technical Report

図 3

各手法における追加単語数あたりの BLEU スコア (左上: 10 万単語まで追加の英日翻訳，右上: 100 万単語まで追加の英日翻訳，左下: 10 万単語まで追加の英仏翻訳，右下:

100 万単語まで追加の英仏翻訳)

文の乱択 (sent-rand):
追加コーパスの順序をシャッフルし，順次選択
フレーズの乱択 (4gram-rand):

半極大フレーズを順次選択 (4.1 節)
構文木と半極大性に基づく手法 (reduced-struct-freq):
追加コーパスの句構造解析結果を元に，部分木を成すようベースコーパス中に含まれない追加コーパス中の単語数 4

な半極大フレーズの中から翻訳済みデータに含まれない最以下のフレーズを列挙後にシャッフルし，順次選択

高頻度のものを順次追加 (4.1 節, 4.2 節)

4-gram 頻度に基づく文選択 (sent-by-4gram-freq):
翻訳済みデータに含まれず，単語数 4 以下で最高頻度のフレーズを含む文を順次選択 (3.1 節)

4-gram 頻度に基づくフレーズ選択 (4gram-freq):

それぞれの手法で選択されたデータの正解訳を得るために，文の選択に対しては対応する対訳文をそのまま選択，
フレーズの選択に対してはベースコーパスと追加コーパス

翻訳済みデータに含まれず，単語数 4 以下で最高頻度のフの全文を用いて学習した翻訳モデルをオラクルとして，翻レーズを順次選択 (3.2 節)

訳結果を対訳フレーズとした．フレーズの出現頻度を扱う

極大性に基づく手法 (maxsubst-freq):

全ての手法において，計算資源を節約するため頻度 1 のも

翻訳済みデータに含まれず，追加コーパス中で最高頻度ののは取り除いた．構文木に基づく手法では，句構造解析を

極大フレーズを順次選択 (4.1 節)行うために Ckylark [14] を使用した．

構文木に基づく手法 (struct-freq):
追加コーパスの句構造解析結果を元に，部分木を成すようなフレーズの中から翻訳済みデータに含まれず最高頻度のものを順次追加 (4.2 節)
半極大性に基づく手法 (reduced-maxsubst-freq):
翻訳済みデータに含まれず，追加コーパス中で最高頻度の

c 2015 Information Processing Society of Japan
⃝5.2 実験結果
シミュレーション実験により得られた結果から，それぞれの言語対で 10 万単語まで追加した場合と 100 万単語まで追加した場合の単語数と翻訳精度の変化を図 3 に示す．英日翻訳シミュレーション結果からは，4gram-freq と5

情報処理学会研究報告
IPSJ SIG Technical Report

全フレーズ追加
言語対

En-Ja

1 万単語追加

データ選択手法

フレーズ数

単語数

平均フレーズ長

フレーズ数

平均フレーズ長

sent-by-4gram-freq

1.28M

33.6M

4gram-freq

8.48M

26.0M

26.3

560

17.8

3.07

4.70k

2.13

maxsubst-freq

7.29M

25.8M

3.54

4.51k

2.22

reduced-maxsubst-freq

6.06M

21.7M

3.58

4.76k

2.10

struct-freq

1.45M

4.85M

3.34

6.64k

1.51

reduced-struct-freq

1.10M

3.33M

3.03

6.73k

1.49

sent-by-4gram-freq

10.6M

269M

25.4

310

32.1

4gram-freq

40.1M

134M

3.34

3.62k

2.76

maxsubst-freq

62.4M

331M

5.30

2.39k

4.17

reduced-maxsubst-freq

45.9M

246M

5.36

2.95k

3.39

struct-freq

14.1M

94.2M

6.68

4.01k

2.49

reduced-struct-freq

7.33M

41.3M

5.63

4.55k

2.20

En-Fr

表 2

手法ごとに選択されるデータ内訳 (有効数字 3 桁)

1-gram / 4-gram カバレッジ [%]言語対

データ選択手法

1 万単語

10 万単語100 万単語

sent-rand

94.81 / 5.63

95.99 / 6.59

97.54 / 10.06

4gram-rand

94.80 / 5.38

96.10 / 5.46

97.67 / 5.98

sent-by-4gram-freq

95.10 / 5.84

96.28 / 7.23

97.64 / 11.39

95.64 / 5.97

96.87 / 7.14

97.97 / 10.43

maxsubst-freq

95.59 / 5.96

96.83 / 7.07

97.91 / 10.20

reduced-maxsubst-freq

95.73 / 6.00

96.97 / 7.19

98.00/10.57

En-Ja

4gram-freq

追加なし

94.36 / 5.38

struct-freq

96.60 / 5.44

97.80 / 5.79

98.58 / 7.02

reduced-struct-freq

96.64 / 5.44

97.84 / 5.80

98.61 / 7.14

sent-rand

92.93 / 10.60

93.73 / 10.71

95.94 / 11.30

4gram-rand

92.95 / 10.60

93.99 / 10.60

96.42 / 10.64

92.95 / 10.60

93.96 / 10.72

96.25 / 11.55

92.92 / 10.60

94.46 / 10.66

96.60 / 11.16

maxsubst-freq

92.79 / 10.60

93.61 / 10.62

95.99 / 10.92

reduced-maxsubst-freq

92.92 / 10.60

94.38 / 10.66

96.55 / 11.13

struct-freq

93.63 / 10.60

96.15 / 10.65

97.84 / 11.28

reduced-struct-freq

94.02 / 10.60

96.38 / 10.69

98.00 / 11.38

sent-by-4gram-freq
En-Fr

4gram-freq

表 3

92.72 / 10.60

各データ選択手法がカバレッジに与える影響（小数点第三位を四捨五入），太字は一定の単語数追加時点でのカバレッジ最大値を示す

maxsubst-freq でほとんど精度差が出ず，変動がほぼ一致

レーズを優先することで，結果的に少ない単語数でカバしている．struct-freq や reduced-struct-freq も追加単語

レッジを向上できたと考えられる．

数が少ないうちは 4gram-freq とあまり大きな差は見られ

手法毎に翻訳対象のフレーズ選択基準が異なるため，フなかったが，約 4 万単語追加時点から他の手法よりも精レーズ長制限の有無や重複の削減方法の違いによって，翻度が高くなっており，約 50 万単語追加時点からは頻度に訳対象を選び尽くした場合のフレーズ数等に大きな差が基づく手法の精度がほぼ横這いとなった．一方，英仏翻訳出ることになる．フレーズ頻度に基づくそれぞれの手法にシミュレーション結果では，最初から構文木に基づく手法

よって選択されるデータの傾向を調べるため，翻訳候補をでの精度の伸びが良く，他の手法よりも精度が大きく上全て追加し終えた時点および約 1 万単語のみ追加した時点

回り，100 万単語追加時点でも差はほとんど縮まらなかっでのフレーズ数，単語数，平均フレーズ長を表 2 にまとめた．また，全てのグラフに共通して，maxsubst-freq よりる．どの手法においても，カバレッジに寄与するフレーズ

も reduced-maxsubst-freq が，struct-freq よりも reduced-

がこれ以上存在しないと判断した際には能動学習を停止す

struct-freq が多くの場合に精度向上が確認でき，長いフる．言い換えれば，全翻訳対象を翻訳し終えた時点でカバ

c 2015 Information Processing Society of Japan⃝6

情報処理学会研究報告
IPSJ SIG Technical Report

レッジが収束するため，翻訳対象の単語数が少ないほどカレーション実験では確認できなかったため，今後の課題

バレッジの収束が速く，翻訳精度の向上しやすいと考えらとしたい．また，提案手法では文選択手法に比べてあまりれる．一方，一度に追加するフレーズが長いほど，同時に

4-gram カバレッジが向上しなかったが，より効率的なフ複数の n-gram をカバーできるため，平均フレーズ長が大レーズ選択手法を提案することで，翻訳精度の向上を試み

きいほど 4-gram カバレッジ等を向上させる上で有利と考たいと考えている．

えられる．提案手法による選択データの平均フレーズ長が英日翻訳で 3.03〜3.58 単語，英仏翻訳で 5.30〜6.68 単語

謝辞： 本研究は，(株)ATR-Trek の助成を受け実施したものである．

と大きく差が開いているが，これは原言語側のベースコー
パスと追加コーパスの組み合わせのみに依存しており，目

参考文献

的言語には当然依存しない．また，表 2 のフレーズ頻度に[1]

基づく手法において，全データ追加時の平均フレーズ長に比べ，1 万単語追加時の平均フレーズ長が短いことを確認できる．短いフレーズほど高頻度となりやすく優先的に選[2]択されるため当然であるが，構文木に基づく手法では 1 万
単語追加時の平均フレーズ長が極端に小さくなっており，
長いフレーズの頻度が大幅に下がりやすい傾向が見られる．

[3]

また，各手法によって，翻訳済みのデータが実際に評価
データをどの程度カバーしているかを調査する．各手法で[4]フレーズを 1 つずつ選択していき，追加単語数が 1 万，10
万，100 万にそれぞれ達する時点での評価データの 1-gram
カバレッジおよび 4-gram カバレッジを表 3 にまとめる．
この結果から，reduced-struct-freq ではどの場合でも最も[5]1-gram カバレッジが向上していることが分かり，効率的に未知語がカバーされることになる．一方で，4-gram カ
バレッジに関しては，3 単語以下のフレーズを追加しても[6]

全く影響が出ないため，長いフレーズを追加する方が有利であることは明らかであり，sent-by-4gram-freq で最も効率的に向上が見られる．英仏翻訳では，1 万単語追加時点[7]で 4-gram カバレッジの上 4 桁に変化が見られなかった．
このように，フレーズ選択時に長いフレーズを選ぶか，短いフレーズを選ぶかは，カバレッジの影響を考える際にト[8]

レードオフの関係が生じるが，半極大性に基いて重複を取り除くことによって，1-gram カバレッジと 4-gram カバ
レッジを両立して向上させられることが確認できた．

[9]

6. おわりに[10]

本稿では，機械翻訳のための能動学習において，フレーズの極大性と半極大性を導入し，構文解析結果と組み合わせてフレーズ抽出を行い頻度順に学習データの選択を行う[11]

手法を提案した．英仏翻訳シミュレーションでは提案手法
により，従来手法よりも大幅に少ない翻訳コストで翻訳精度が向上したが，英日翻訳では提案法の優位性はあまり現れず，本手法の有効性がデータ依存であることも示唆され

[12]
[13]

た．また，提案手法によって評価データのカバレッジが効率的に向上していることも確認できた．本手法は構文解析
結果に基づいたフレーズ選択を行っているため，従来手法よりも人手翻訳が容易で短時間に高品質な対訳データを[14]

Peter F. Brown, Vincent J.Della Pietra, Stephen A. Della
Pietra, and Robert L. Mercer. The Mathematics ofStatistical Machine Translation: Parameter Estimation.
Computational Linguistics, Vol. 19, pp. 263–312, 1993.
Matthias Eck, Stephan Vogel, and Alex Waibel. Low
Cost Portability for Statistical Machine Translation
based in N-gram Frequency and TF-IDF. In Proc.
IWSLT, pp. 61–67, 2005.
Gholamreza Haﬀari and Anoop Sarkar. Active Learningfor Multilingual Statistical Machine Translation. In Proc.
ACL, pp. 181–189, August 2009.
Sankaranarayanan Ananthakrishnan, Rohit Prasad,
David Stallard, and Prem Natarajan. A Semi-Supervised
Batch-Mode Active Learning Strategy for Improved Statistical Machine Translation. In Proc. CoNLL, pp. 126–
134, July 2010.
Michael Bloodgood and Chris Callison-Burch. Bucking
the Trend: Large-Scale Cost-Focused Active Learning
for Statistical Machine Translation. In Proc. ACL, pp.
854–864, July 2010.
Jesús González-Rubio, Daniel Ortiz-Martı́nez, and Francisco Casacuberta. Active learning for interactive machine translation. In Proc. EACL, pp. 245–254, April
2012.
Spence Green, Sida I. Wang, Jason Chuang, Jeﬀrey Heer,
Sebastian Schuster, and Christopher D. Manning. Human Eﬀort and Machine Learnability in Computer Aided
Translation. In Proc. EMNLP, pp. 1225–1236, October
2014.
Daisuke Okanohara and Jun’ichi Tsujii. Text Categorization with All Substring Features. In Proc. SDM, pp. 838–
846, 2009.
Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a Method for Automatic Evaluation of
Machine Translation. In Proc. ACL, pp. 311–318, July
2002.
Toru Kasai, Gunho Lee, Hiroki Arimura, Setsuo
Arikawa, and Kunsoo Park. Linear-Time LongestCommon-Prefix Computation in Suﬃx Arrays and Its
Applications. In Proc. CPM, pp. 181–192, 2001.
Phillip Koehn, Franz Josef Och, and Daniel Marcu. Statistical Phrase-Based Translation. In Proc. HLT, pp. 48–
54, 2003.
Kenneth Heafield. KenLM: Faster and Smaller Language
Model Queries. In Proc, WMT, July 2011.
Franz Josef Och. Minimum Error Rate Training in Statistical Machine Translation. In Proc. ACL, pp. 160–167,
2003.
Yusuke Oda, Graham Neubig, Sakriani Sakti, Tomoki
Toda, and Satoshi Nakamura. Ckylark: A More Robust
PCFG-LA Parser. In Proc. NAACL, pp. 41–45, June
2015.

得られることが期待できるが，本稿のために行ったシミュ

c 2015 Information Processing Society of Japan⃝

7