コーパス結合モデルと素性空間拡張に基づく統計翻訳のドメイン適応
Domain Adaptation Based on Corpus Concatenation and Feature Augmentation for Statistical MachineTranslation
国立研究開発法人情報通信研究機構

先進的音声翻訳研究開発推進センター専門研究員

今村賢治

2004 年奈良先端科学技術大学院大学情報科学研究科情報処理学専攻博士課程修了。1985 年日本電信電話株式会社。2014 年株式会社 ATR-Trek より NICT に出向。機械翻訳の研究に従事。

国立研究開発法人情報通信研究機構

先進的音声翻訳研究開発推進センター副センター長

隅田英一郎

1999 年京都大学大学院博士（工学）取得。1982 年日本アイ・ビー・エム。2002 年 ATR。2010 年
NICT（2016 年同フェロー）。機械翻訳の研究に従事。

1 はじめにしており、複数のサブモデル（フレーズテーブル、言語さまざまな種類のテキストが機械翻訳されるようにで組み合わせる方法である。シンプルな方法であるが、なってきたが、すべての分野（ドメイン）において、機械学習分野のドメイン適応方法である素性空間拡張

適切に翻訳できる機械翻訳器はいまだに実現困難であ法 [1] の考え方を流用することで、各ドメインのいいとる。たとえば、特許文書を前提として作られた機械翻訳こどりを行っている。

モデル、語彙化並び替えモデルなど）を対数線形モデル

器で旅行会話を翻訳した場合、単語や言い回しが異なるため、多くの場合は不適切な翻訳になる。対象ドメインの翻訳品質を向上させる確実な方法は、学習データ（対2 統計翻訳のドメイン適応訳文）を大量に収集し、翻訳器を訓練することである

統計翻訳では、デコーダが構築した複数の翻訳仮説が、さまざまなドメインについて、対訳文を大量に収集のうち、尤度最大のものを選択することで、適切な翻訳することはコスト的に困難なことが多い。ドメイン適応を行う。この尤度は、翻訳に使用するサブモデルが返す

は、翻訳対象のドメイン（インドメイン）データが少な値（素性関数値）を、線形または対数線形結合するこく、他のドメイン（アウトドメイン）データが大量にあとで算出する。対数線形モデルでは、以下の式で尤度る場合、インとアウトのデータ双方を使って、インドメlog P(e|f) を算出する。

インの翻訳品質を向上させる技術である。我々は、これは機械翻訳を実用に供する際のキーとなる技術と考えて

log P(e|f) ∝ w・h(e, f)
ただし、h(e, f) は素性ベクトル、w は素性関数の重いる。
ドメイン適応は重要な技術であるがゆえに、さまざまみベクトルで、どちらも実数値のベクトルである。たとな既存研究が存在する。本稿では、フレーズベース統計

えば、フレーズベース統計翻訳システムの一つである

翻訳を前提として、まず既存のドメイン適応技術を概観

Moses[2] のデフォルト設定では、サブモデルとしてフする。次に、我々が提案するドメイン適応方式についてレーズテーブル、言語モデル、語彙化並び替えモデルを述べる。我々が提案する方式は、複数ドメインを前提と用いており、これらを 15 次元の素性ベクトル・重みベ

252

2016イヤーブック寄稿集-3.indb

252

2016/10/26

20:04:49

クトルに配置して、尤度を算出している 1。ドメイン適応

2.2.2

コーパスフィルタリング

は、(a) 重みベクトル w を適応させる方法、(b) 素性関素性ベクトル h(e, f) を変更するもう一つの方法は、数 h(e, f) を適応させる方法、(c) その他の 3 種類に大モデル訓練用コーパスをドメイン適応させる方法であ別することができる。

る。
コーパスフィルタリングのベースは、インドメインと2.1

重みベクトルによる適応アウトドメインのデータを単純結合して学習し、1 つのFoster らは、翻訳器が使用するサブモデルを線形補モデルを構築する方法である（本稿ではコーパス結合方間、対数線形補間で結合する際、重みをドメイン毎に変式と呼ぶ）。このコーパス結合モデルを、各ドメインの。彼らはパープレキシティ開発セットで最適化する。コーパス結合方式は、インドなどを目標関数にして、独自の重み推定を行ったが、近メインとアウトドメインの中間的性質を持つモデルが作などられるため、一般的には対象ドメインに対するパラメーえることで適応を行った[3]

年は、重みの推定に誤り率最小訓練法 (MERT)[4]の最適化方法が用いられている [5]。

タの精度は低下する。一方、カバーする語彙が増加（未知語が減少）するため、インドメインのみで学習されたに使われるドメイン適応方式で、素性関数の重みをドメモデル（単独モデルと呼ぶ）より翻訳品質が向上する場イン毎に最適化する（3.1 節参照）。Clark らは、これ合もある。最終的に翻訳品質が向上するか否かは、未知を対数線形補間方式の一種として翻訳に適用し、効果が語の減少とパラメータの精度低下のトレードオフになあったと報告している。なお、彼らは単一のモデル[6]を用い、モデルの重みのみをドメイン適応させている。

る。
素性関数を、よりドメインに適応させるには、アウトドメインコーパスから訓練文を取捨選択した方がよい。

2.2

素性関数による適応

Axelrod らは、インドメインに適した訓練文を、修正素性関数（素性ベクトル）h(e, f) によるドメイン適Moore-Lewis フィルタリングと呼ぶ方法でアウトドメ応は、さらに、訓練済みサブモデル自身を変更する方法

インコーパスから取捨選択した [10]。選択された文をイと、コーパスをドメインに適したものに限定しモデルをンドメインコーパスに追加してモデルを訓練すること訓練する方法の 2 つに分けられる。

で、ドメインに適応したモデルを構築した。

4

機械翻訳技術の向上

は、翻訳に限らず、機械学習全般

素性空間拡張法[1]

コーパスフィルタリングは、フレーズテーブルのみで2.2.1なく、翻訳器が使用する全サブモデルを適応させること

モデルのドメイン適応サブモデル自身を変更する方法には、fill-up 法 [7]、翻訳モデル混合、インスタンス重み付け

[8]

[9]

が知られができる点がメリットであるが、最適な追加文数をあらかじめ予想できない点がデメリットである。ている。これらは、インドメインのフレーズテーブルとアウトドメインのフレーズテーブルを（事前＝静的に、あるいはデコード時＝動的に）混合し、新たなフレーズテーブルを生成する。

2.3

その他

その他の方法としては、２つの翻訳器を直列に接続し、アウトドメイン用翻訳器による翻訳結果を、さらにインいずれの方法も、素性関数値のみでなく、デコード時ドメイン用翻訳器を使って訂正する方法もある [11]。このフレーズ候補も２つのモデルのフレーズを使用するたれはドメイン依存訳の生成を一種の誤り訂正ととらえてめ、一般的には未知語は減少する。しかし、フレーズテーいることに相当する。

ブル以外のサブモデルは、別の構築・混合法を使わなければならないというデメリットも存在する。
1

内訳は、フレーズテーブル 4 次元、歪モデル 1 次元、語彙化並び替えモデル 6 次元、n-gram 言語モデル 1 次元、単語ペナルティ、フレーズペナルティ、未知語ペナルティ
各 1 次元である。このうち、未知語ペナルティは重み調整不可とされており、-100 固定である。

3 マルチドメイン適応方式
本節では、我々が提案するマルチドメイン適応方式について説明する。

YEAR BOOK 2O16 253

2016イヤーブック寄稿集-3.indb

253

2016/10/26

20:04:49

3.1

素性空間拡張法

3.2

提案法

素性空間拡張法は、機械学習における素性の重みのド3.2.1 コーパス結合モデルと単独ドメインモデルの導入

メイン適応に用いられる方式である [1]。素性空間を共通、機械翻訳では、素性の重みより素性関数の方が翻訳

インドメイン（ターゲットドメイン）、アウトドメイン品質に対する影響が大きいため、素性空間によってモデ（ソースドメイン）に分割し、素性を、それが由来するルを切り替えるのは自然な拡張である。本稿では、全ドドメインごとに異なる素性空間に配置し、全体を最適化メインの素性を配置する共通空間に対応するモデルとしする。インドメインの素性は共通とインドメイン空間に、て、やはり全ドメインのデータを使って構築したコーパ

アウトドメインの素性は共通とアウトドメイン空間にコス結合モデルを、１つのドメインの素性だけを配置するピーして配置する。こうすることによって、共通空間にドメイン依存空間に対応するモデルとして、やはり１ドある素性が、イン・アウトお互いに欠落した素性を補完メインのデータだけを使って構築した単独ドメインモデするため、精度が向上する。

ルを使用する。具体的には、

通常は、アウトドメインをインドメインに適応するた⃝

フレーズテーブル、語彙化並び替えモデル、言語モめに使用されるが、素性空間拡張法では、アウトドメイデルなど、すべてのサブモデルについて、当該ドメインとインドメインを同等に扱っており、容易に D ドメンのコーパスから単独ドメインモデルを、全ドメインインに拡張することができる。その場合、素性空間は共のコーパスからコーパス結合モデルを作成する。

通、ドメイン 1, ... ドメイン D のように、D+1 空間に⃝素性空間拡張では、共通空間にはコーパス結合モデ分割される（図 1）。この素性マトリクスを最適化し、ルのスコアを素性関数値として配置し、各ドメインの重みベクトルを得る。

空間には、単独ドメインモデルのスコアを配置し、最4 節の実験では、Moses ツールキットのデフォルト素性を使用する。これを素性空間拡張すると、共通空間適化する（図 1）。
⃝

デコーディングの際は、まず、単独ドメインモデル

では 15 次元、ドメイン依存空間では各 14 次元（調整とコーパス結合モデルのフレーズテーブルを OR 検可能な素性のみ）となる。

索し、翻訳仮説を生成する。探索の際には、共通空間と対象ドメインの空間の素性だけを使って尤度計算をする。

共通素性空間ドメイン1空間 ドメイン2空間

ドメインD空間損失

ドメイン1データ・・・

尤度
BLEU

ドメイン2データ・・・

尤度
BLEUドメインDデータ

・・・

尤度
BLEU

最適化
w

素性重み

w

ドメイン1の翻訳時に使用される空間
図1w

・・・

w

ドメイン2の翻訳時に使用される空間

素性空間拡張とコーパス結合モデル／単独ドメインモデルの併用

254

2016イヤーブック寄稿集-3.indb

254

2016/10/26

20:04:49

翻訳仮説生成にコーパス結合フレーズテーブルを使用することにより、他のドメインで出現した翻訳対も利イン毎に BLEU スコアを算出しないと、結果がドメイン最適にならないことを意味している。

用でき、未知語の減少が期待できる。また、フレーズな上記問題を解決するため、本稿では KBMIRA を変更

どのインスタンスが単独ドメインモデルに存在しているする。文献 [13] のアルゴリズム 1 に対する変更点は、場合、高い精度の素性関数値が得られる。このような拡

以下のとおりである。

張素性空間を最適化することによって、ドメイン適応を⃝処理済み翻訳文の BLEU 統計量（ngram 一致数な行っているため、翻訳に使用する全サブモデルについて、ど）を保存する変数 BG を、1 つからドメイン数 Dモデルの種類を問わず適応させることができる。

個に拡張する。
⃝3.2.2

各翻訳文の BLEU スコアは、その翻訳文のドメイン i の BGi から算出する。

empty 値

本方式では、コーパス結合モデル、単独ドメインモデ⃝

素性重みを更新後、その翻訳文の BLEU 統計量をルのどちらか一方にのみ出現するフレーズ対が多数存在BGi に追加する。

する。これらフレーズに関しても素性関数は値を返す必

この変更によって、各ドメイン空間の素性重みは、そ要がある。この値を本稿では empty 値と呼ぶ。これはのドメインの開発セットに最適化される。

するものであるので、フレーズの翻訳確率分布から算出

3.3.2

個別最適化

されるべきものであるが、本稿では、パイパーパラメー同時最適化は、適応させたいドメインが限られているタとして扱い、開発コーパスにおける BLEU スコアが場合にも、すべてのドメインを最適化しなければならな最高になるよう、実験的に設定する 。

いので、少々オーバースペックである。そこで、全 D2ドメインのうち、ドメイン i だけ適応させたい場合、ド3.3最適化

メイン i に関連する空間だけに限り、最適化を行う。こ3.3.1

同時最適化

れを本稿では個別最適化と呼ぶ。

一般的な機械学習における素性空間拡張法の利点の一

個別最適化は、素性空間を共通空間とドメイン i 空間つは、素性空間を操作しているだけなので、最適化アルに制限し、チューニングデータもドメイン i に関するもゴリズムは既存の方法が使えるという点である。のだけを使用する（図 2）。これは、一般的な対数線形機械翻訳の場合、最適化方法には、誤り率最小訓練モデルであるので、同時最適化を行わなくても、既存の(MERT)[4]、ペアランク最適化 (PRO)[12]、k ベストバッ

最適化器をそのまま使うことができる。また、デコーダが知られている。本稿では、高も、(1) 複数モデルを同時に使えること、(2)empty 値

チ MIRA (KBMIRA)[13]

次元の最適化に適した KBMIRA を使用する。

を設定できること、の 2 点を満たすものであればよい

通常の機械学習における最適化と、機械翻訳の最適化ため、既存のものを少し修正するだけで利用可能となる。の大きな相違点は、多くの機械学習の損失関数が、尤度同時最適化に比べると、共通空間の最適化が弱くなる恐などデコーダが出力するスコアを使用しているのに対しれがあるが、もともと機械翻訳は素性の重みより素性関て、機械翻訳は BLEU

[14]

機械翻訳技術の向上

4

いわば n-gram 言語モデルにおける未知語確率に相当のような、翻訳文の自動評価値を使用する点である。この自動評価値は、翻訳文と参照訳との比較によって算出され、コーパス単位に計算さ個別最適化で使用する素性空間れる場合が多い。実際、MERT, KBMIRA は開発セッ

共通

トの BLEU スコアを損失関数の一部に使用している。

素性空間
ドメイン 空間ドメイン データ・・・

つまり、複数ドメインを同時に最適化する場合は、ドメ
2Moses では、empty 値として一律に -100 を割り当てている。4.2 節で述べるように、これは小さすぎる値で、BLEU スコアが下がる原因となる。

図2

個別最適化で使用する素性空間

YEAR BOOK 2O16 255

2016イヤーブック寄稿集-3.indb255

2016/10/26

20:04:50

数の影響の方が大きいため、実用上の問題は少ないと考節で述べたマルチドメイン KBMIRA を使用した。デコー

えられる。ただし、共通空間の素性にコーパス結合モデ

ディングには、内部開発の Moses のクローンデコーダ

ルを使うこと、empty 値を適切に設定する点は同時最を使用した。デコーダの設定値は Moses のデフォルト適化と共通である。

値と同じである。

4 実験

4.1.3

4.1

実験設定

整数値のうち、全ドメインの開発セット翻訳結果を１ド4.1.1

ドメイン / コーパスキュメント扱いしたときの BLEU スコアが最高値にな

Empty 値

3.2.2 節で述べた empty 値は、-3 から -20 の間の本稿では、英日／日英翻訳を対象に、以下の 4 つのる値を採用した。結果、英日翻訳に関しては -7、日英ドメインの最適化を行う。各ドメインのコーパスサイズ

翻訳は -6 となった。これを確率値とみなした場合、英を表 1 に示す。MED コーパスは比較的小規模で、それ日は exp(-7) ≃ 0.0009、日英は exp(-6) ≃ 0.0025

以外のドメインは 100 万文規模である。なお、訓練文となる。

は 80 単語以下のものだけを使用した。
⃝MED: 病院等における医師（スタッフ）と患者の疑4.1.4

似対話のコーパス。内部開発。
⃝

評価指標には BLEU を使用し、MultEval ツール [17]5

LIVING: 外国人が日本に旅行や在留する際の疑似対話コーパス。内部開発。

⃝

評価指標

で有意差検定を行った。危険率は p<0.05 とした。最適化の揺れを吸収するため、5 回最適化を実施し、そのNTCIR: 特許コーパス。訓練コーパスと開発コーパ

平均値を使用した。

スは NTCIR-8、テストコーパスは NTCIR-9 のものを使用 3。
⃝4.1.5ASPEC: 科学技術文献コーパス。ASPEC-JE[15]4のうち、対訳信頼度の高い 100 万文を使用。

比較方式

各ドメインコーパスだけでモデルを構築、最適化、テストする単独ドメインモデル方式をベースラインにし、他の方式と比較する。従来法としては、2 節で述べた以表1下の方式を使用する。

コーパスサイズ

文数
ドメイン

訓練

開発

テスト

MED

222,945

1,000

1,000

LIVING

986,946

1,800

1,800

NTCIR

1,387,713

2,000

2,000

ASPEC

1,000,000

1,790

1,784⃝

コーパス結合 : 全ドメインのコーパス結合モデルを使用し、各ドメインの開発セットで最適化、テストした場合。

⃝素性空間拡張法（Clark）: 共通空間、ドメイン空間共に、コーパス結合モデルの素性関数を使った素性空間拡張法。文献 [6] の設定と同じだが、最適化には4.1.2

マルチドメイン KBMIRA を使用した。

翻訳システム各コーパスの対訳文は、内部開発の事前並べ替えを⃝た場合。

適用したのちに使用した。翻訳システムの訓練のうち、フレーズテーブル、語彙化並び替えモデルの学習には

Fill-up 法 : ドメイン適応方式に fill-up 法 [7] を用い⃝

翻訳モデル混合 : ドメイン適応方式に翻訳モデル混

Moses ツールキット [2] をデフォルト設定で使用した。

合 [8] を用いた場合。Moses 付属の tmcombine プ

言語モデルは KenLM[16] を用いて、訓練セットの目的ログラムで混合した。

言語側から 5 グラムモデルを構築した。最適化は 3.3.1⃝

コーパスフィルタリング : 文献 [10] で提案された
修正 Moore-Lewis フィルタリングで、自分以外の 33

http://research.nii.ac.jp/ntcir/index-ja.html

4

http://lotus.kuee.kyoto-u.ac.jp/ASPEC/5https://github.com/jhclark/multeval

256

2016イヤーブック寄稿集-3.indb

256

2016/10/26

20:04:50

式は、翻訳品質が低下する傾向が強かった。素性空間拡選択し、対象ドメインの訓練文に加えた場合。追加文張法（Clark）でも同様で、コーパス結合モデルだけを数は、100k 文単位に文数を変え、各ドメインの開使う方式は、単独ドメインモデルより翻訳品質が下がっ発セットの BLEU スコアが最高になった文数を採用た。コーパス結合方式は各ドメインが平均化されたモデした。

ルが作成され、素性関数の精度が落ちたためと、単独ド提案法は、以下のバリエーションをテストする。

メインモデル自体が比較的大きな対訳コーパスから構築⃝

ドメイン（アウトドメイン）のコーパスから対訳文を提案法（同時最適化）: 提案法のうち、3.3.1 節で述べた同時最適化を使用した場合。

⃝られる。

提案法（個別最適化）: 提案法のうち、3.3.2 節で述べた個別最適化を使用した場合。

⃝されており、単独でも翻訳品質が確保できたためと考え
Fill-up 法は、コーパス結合方式に比べると翻訳品質は向上する場合が多かったが、単独ドメインモデルより悪化した。翻訳モデル混合は、ドメインによって有意にMoses と同じ -100 に設定した場合。なお、最適化向上する場合と悪化する場合があり、この実験での有は個別最適化を使用したが、同時最適化でも同じ傾向効性は確認できなかった。コーパスフィルタリングは、が観察された。

ASPEC の英日翻訳を除き、単独ドメインモデルより有提案法（アウトドメイン）: 提案法のうち、共通空意に向上、または同等品質となった。ASPEC 英日翻訳間に対応するモデルとして、コーパス結合モデルではは 100k 文を加えただけだったが、追加したことが悪なく、アウトドメインコーパス（インドメインを含ま影響しており、コーパスフィルタリングは有効だが、最ない）だけから学習したモデルを使用した場合。これ適な追加文数の決定は難しいことを示している。

も個別最適化を使用した。

一方、提案法は、同時最適化、個別最適化ともに、すべてのドメインにおいて単独ドメインモデルより向上あ

4.2

翻訳品質

るいは同等品質となり、適切に適応できた。同時最適化

各方式について、英日翻訳および日英翻訳におけるに比べ、個別最適化の方が、BLEU スコアが高い傾向

BLEU スコアを表 2 に示す。なお、表中太字は方式間がある。MED ドメインは他のドメインに比べてコーパ最高値、赤の値は、単独ドメインモデル方式をベースラ

スが小さいため、英日、日英ともに翻訳品質が有意に向インとしたとき有意に向上したもの、青の値は有意に悪上した。他のドメインについては、100 万文規模の大化したものを表す（p < 0.05）。

規模コーパスにも関わらず、適応により品質が下がるこ

単独ドメインモデルと比較した場合、コーパス結合方

表2とがなく、同等を保った。提案方式は、訓練コーパスサ

方式別 BLEU スコア

英日翻訳方式4

機械翻訳技術の向上⃝提案法（empty=-100）: 提案法の empty 値を、

日英翻訳

MED

LIVINGNTCIRASPECMED

LIVING

NTCIR

ASPRC

単独ドメインモデル

23.23

24.56

38.62

32.69

17.38

19.71

33.63

21.75

コーパス結合

22.65

22.99

38.09

30.59

17.07

18.80

33.21

20.41

素性空間拡張法（Clark）

22.49

23.97

38.09

30.65

16.75

18.95

33.24

20.39

Fill-up 法

22.42

23.38

38.37

31.50

16.56

19.06

33.14

20.98

翻訳モデル混合

23.81

24.05

38.32

31.97

17.55

19.99

33.32

21.16

コーパスフィルタリング

24.02

24.50

38.77

32.57

18.14

19.76

33.73

21.72

提案法（同時最適化）

23.69

24.43

38.72

32.69

18.14

20.16

33.68

21.75

提案法（個別最適化）

23.75

24.43

38.83

32.76

18.43

20.17

33.7021.81

提案法（empty=-100）

23.66

23.91

38.56

32.62

17.13

19.86

N/A

N/A

提案法（アウトドメイン）

23.79

24.29

38.65

32.72

17.32

19.66

33.52

21.73

YEAR BOOK 2O16 257

2016イヤーブック寄稿集-3.indb257

2016/10/26

20:04:50

イズの変化に対して頑健であるといえる。

BLEU スコアが向上するが、コーパス結合の品質向上

な お、empty 値 を -100 に す る と、 最 適 化 時 には単独ドメインモデルより緩やかで、10 万文（100k）BLEU スコアが振動して、最適化できない場合があっで単独ドメインモデルの品質が逆転する。提案法は、3た（表中の N/A）。また、提案法でも、共通空間に使用千文（3k）以上では常に単独ドメインモデル、コーパするモデルを、アウトドメインモデルにすると、大部分ス結合の品質を上回っており、両者の利点をうまく融合のケースでは提案法に比べ品質が悪化した。共通空間にさせた方式となっている。

使用するモデルは、インドメインを含むコーパス結合モデルの方が望ましい。
まとめると、提案法はドメイン適応方式の中ではほぼ5 まとめ最高品質を確保できた。特に、個別最適化方式のような本稿では、複数ドメインを前提とした、統計翻訳の適標準的な対数線形モデルであっても、適切な設定をすれ応方式を提案した。本稿の方式は、カバレッジが広い（未ば、ほぼ最良のドメイン適応が実現できることを示して知語が少ない）コーパス結合モデルと、素性関数の精度いる。

がよいドメイン依存モデルを併用し、機械学習分野のドメイン適応方法である、素性空間拡張法の考え方を利用

4.3

シングルドメイン適応としての効果

ドメイン適応が必要となる場面は、新たなドメインして両者のいいとこどりを行った。また、empty 値をチューニング対象に追加した。

データの翻訳を行わなければならないにも関わらず、十実験では同時最適化を行った場合、個別最適化を行っ分な量の訓練文が集まらない場合である。本節では、た場合ともに、単独ドメインモデルに比べ、翻訳品質がMED 英日翻訳に絞って、訓練コーパスのサイズを変え向上または同等を保持した。提案法は、当該ドメインて翻訳品質を測定する。の訓練コーパスが小規模である場合に高い効果を持ち、表 3 は、単独ドメインモデル、コーパス結合と提案100 万文規模の大規模コーパスに適用しても、翻訳品法（個別最適化）を比較した結果である。表中の赤の値

質を下げることなく、ドメインによっては品質向上の効は単独ドメインモデルと比較して有意に高く、青は有意果がある。基本的な対数線形モデルでも、モデルの選択に低いことを表す。緑の値は、単独ドメインモデル、コーとチューニングを慎重に行うことで、ほぼ最良な適応方パス結合双方と比較して有意に高いことを表している式になることを示した。
提案方式は、対数線形モデルに基づく統計翻訳にはす（p < 0.05）。

べて適用可能である。今後は、フレーズベースに限らず、
表3

訓練コーパスサイズ別 BLEU スコア（MED コーパス、英日翻訳）

単独ドメインモデル

コーパス
結合

提案法
（個別最適化）

1k6.4217.51

17.59

3k

8.99

17.52

17.95

10k

12.54

18.19

19.02

30k

16.49

19.18

20.28

100k

20.63

20.92

22.53

223k( 全部 )

23.23

22.65

23.75

訓練文数

木構造変換のような翻訳方式でも効果を確認したい。

訓 練 コ ー パ ス が 1,000 文（1k） し か な い 場 合 は、提案法は単独ドメインモデルに比べて非常に高い品質となっているが、コーパス結合とはほぼ同じである。訓練コーパスサイズが増えるにしたがい、全方式ともに

258

2016イヤーブック寄稿集-3.indb258

2016/10/26

20:04:50

謝辞[9] George Foster, Cyril Goutte, and Roland

本研究は総務省の情報通信技術の研究開発「グローバKuhn. 2010. Discriminative instance

ルコミュニケーション計画の推進 - 多言語音声翻訳技術

weighting for domain adaptation in statisticalの研究開発及び社会実証 - I. 多言語音声翻訳技術の研究

machine translation. In Proc. of EMNLP, pages

開発」の一環として行われました。

451-459.
[10] Amittai Axelrod, Xiaodong He, and Jianfeng

参考文献

Gao. 2011. Domain adaptation via pseudo[1] Hal Daumé, III. 2007. Frustratingly easy

in-domain data selection. In Proc. of EMNLP,domain

adaptation. In Proc. of ACL, pages

256-263.

pages 355-362.
[11] Serena Jeblee, Weston Feely, Houda
Bouamor, Alon Lavie, Nizar Habash, and Kemal

Chris Callison-Burch, Marcello Federico, Nicola

Oflazer. 2014. Domain and dialect adaptation

Bertoldi, Brooke Cowan, Wade Shen, Christinefor machine translation into egyptian arabic. InMoran, Richard Zens, Chris Dyer, Ondrej Bojar,

Proc. of EMNLP, ANLP Workshop, pages 196-

Alexandra Constantin, and Evan Herbst. 2007.

206.

Moses: Open source toolkit for statistical[12] Mark Hopkins and Jonathan May. 2011.

machine translation. In Proc. ACL Demo andTuning as ranking. In Proc. of EMNLP, pages

Poster Sessions, pages 177-180.

1352-1362.

[3] George Foster and Roland Kuhn. 2007.

[13] Colin Cherry and George Foster. 2012.

Mixture-model adaptation for SMT. In Proc. ofBatch tuning strategies for statistical

WMT. pages 128-135.

machine translation. In Proc. of NAACL-HLT,[4] Franz Josef Och. 2003. Minimum error rate
training in statistical machine translation. InProc. of ACL, pages 160-167.
[5] George Foster, Cyril Goutte, and Roland
Kuhn. 2010. Discriminative instancepages 427-436.
[14] Kishore Papineni, Salim Roukos, ToddWard,and Wei-Jing Zhu. 2002. BLEU: a method forautomatic evaluation of machine translation.
In Proc. of ACL, pages 311-318.

weighting for domain adaptation in statistical[15] Toshiaki Nakazawa, Manabu Yaguchi,machine translation. In Proc. of EMNLP, pages

Kiyotaka Uchimoto, Masao Utiyama, Eiichiro

451-459.

Sumita, Sadao Kurohashi, and Hitoshi Isahara.

[6] Jonathan H. Clark, Alon Lavie, and ChrisDyer. 2012. One system, many domains:
Open-domain statistical machine translation

2016. ASEPC: Asian scientific paper excerpt
corpus. In Proc. of LREC.
[16] Kenneth Heafield, Ivan Pouzyrevsky,

via feature augmentation. In Proc. of AMTA.

Jonathan H. Clark, and Philipp Koehn. 2013.

[7] Arianna Bisazza, Nick Ruiz, and MarcelloScalable modified Kneser-Ney language modelFederico. 2011. Fill-up versus interpolation

estimation. In Proc. of ACL: Short Papers,

methods for phrase-based SMT adaptation. Inpages 690-696.

Proc. of IWSLT.

4

機械翻訳技術の向上[2] Philipp Koehn, Hieu Hoang, Alexandra Birch,[17] Jonathan H. Clark, Chris Dyer, Alon Lavie,[8] Rico Sennrich. 2012. Perplexity minimization

and Noah A. Smith. 2011. Better hypothesis

for translation model domain adaptation intesting for statistical machine translation:statistical machine translation. In Proc. ofControlling for optimizer instability. In Proc. of

EACL, pages 539-549.

ACL-HLT, pages 176-181.

YEAR BOOK 2O16 259

2016イヤーブック寄稿集-3.indb259

2016/10/26

20:04:50