DEIM Forum 2016 A-2

品質リスクを考慮した機械翻訳の訳文配信
江原

遥†

内山

将夫††

隅田英一郎††† 首都大学東京大学院 システムデザイン研究科 〒 191–0065 東京都日野市旭ヶ丘 6-6†† 情報通信研究機構 ユニバーサルコミュニケーション研究所 〒 619–0289 京都府相楽郡精華町光台 3–5
E-mail: †ehara@tmu.ac.jp, ††{mutiyama,eiichiro.sumita}@nict.go.jp
あらまし Web 文書やニュースといった文書は，不特定多数の読み手に向けて書かれている．従って，このような文書を機械翻訳するシステムでは，全読み手に配られる訳文の翻訳品質の向上を目指す事が望ましい．従来の機械翻訳の研究では，翻訳器がランク付けして出力した n 個の訳文のうち，１位の訳文のみを採用し，全読み手に配信していた．しかし，翻訳器が２位以下にランク付けした訳文の方が，実際には翻訳品質が良い場合もある．そこで，本研究では，翻訳品質の不確実性である「品質リスク」を用いて，２位以下の訳文の方が実際には品質が良い可能性も考慮して，２位以下の訳文も一部の読み手に配信することで，全読み手の翻訳品質を向上させる手法を提案する．提案手法では，まず，原文のみから翻訳品質を品質リスク付きで予測する問題を，原文から取得した翻訳難度を捉える特徴
量ベクトルを入力とする，ガウス過程回帰を用いて解く．次に，予測された翻訳品質と品質リスクを用いて，品質リ
スクを考慮しながら翻訳品質を最大化するような配分比率を求める問題を，ポートフォリオ最適化問題として定式化する．このポートフォリオ最適化問題は，凸二次計画問題であり，大域的最適な配分比率が求められる．評価実験の結果，提案手法により求めた配分比率に従って配分する方が，単純に１つの翻訳を全員に配分する手法よりも翻訳品
質が向上することが示された．
キーワード

ポートフォリオ最適化, ガウス過程, 自然言語処理

1. は じ め に
手紙や e-mail といった特定・少数の読み手を対象とする文書と異なり，ニュースや Web 文書は，不特定多数の読み手を想定して書かれている．こうした文書の読み手の数や性質の違いは，
通常，言語によらず，文書の内容に依存するものである．例えば，手紙はどの言語に翻訳したとしても手紙であり，特定・少数の読み手に読まれるものであろう．また，ニュースはどの言語に翻訳したとしてもやはり，ニュースであり，多くの読み手に読まれるものであると考えられる．すなわち，ある文書が翻訳後，何人程度の読み手に読まれるかは，文書の内容によって決まる．
この「文書の読み手の数」は，現在の機械翻訳 [11], [12] では，ほぼ無視されているといってよい．その理由は，読み手の数が多くとも，高精度な翻訳が１つ手に入りさえすれば，それを全ての読み手に複製して配信する事によって，全ての読み手を満足させる事が出来ると考えられていたからであると推測される．この方法は，数ある翻訳候補の中から，本当に高精度な翻訳を特定できるのであれば，有効な方法であろう．
しかし，現状の機械翻訳の技術では，数ある候補の中から，高精度な翻訳を特定する事が，そもそも難しい．機械翻訳器は，通常，翻訳候補を複数作った上で，各翻訳候補の翻訳品質を予測し，最も翻訳品質が高いと予想される翻訳候補を出力している．ところが，現状では，予想では，最も翻訳品質が高かった
翻訳候補の翻訳品質が，実際には他の翻訳候補に劣る事がよくあるのである．この場合，１つの翻訳候補を全員に配る方式で

図 1 従来手法と提案手法の比較

は，全員の翻訳品質が一度に低下し，読み手全員を満足させられないことになってしまう．この問題を解決するためには，翻訳候補の翻訳品質が実際には低い可能性，すなわち，「（翻訳）品質リスク」をも考慮して翻訳候補を配信する事が有効であろう．
そこで，本研究では，ニュースや Web 文書といった不特定多数の読み手がいる文書を翻訳する場合，複数の翻訳候補を同時に読み手に配信することによって，例え翻訳品質の予測が外れても，読み手の一部は満足させられる手法を提案する．
図 1 に，提案手法の概観を説明する．核となる考え方は，「良
さそうな翻訳は全て配ってしまう」というものである．従来の

表1

日英翻訳での例．BLEU [16] は広く使われている翻訳品質指標．

表 4 “1st best” の訳を 3 人に，“3rd best” の訳を 1 人に配った場合．


配信された候補

参照訳は，人手による模範となる訳のこと．


 内容



BLEU

BLEU

読み手 1

1st best

50.8

原文

inu ga naku .

-

読み手 2

1st best

50.8

1st best

A dog cries.

50.8

読み手 3

1st best

50.8

2nd best

A dog barks.

100.0

読み手 4

3rd best

38.5

3rd best

Dog weeps.

38.5

平均翻訳品質 -参照訳

A dog barks.

100.0

表 2 “1st best” の訳を全ての読み手に配った場合

 配信された候補



47.7

機械翻訳時には分からない．翻訳品質には，広く使われている

BLEU [16] という指標を用いた．
BLEU

機械翻訳器が日本語文を翻訳して，表 1 に挙げられるような

読み手 1

1st best

50.8

３つの訳文を，この順番に返してきたと仮定しよう．機械翻訳

読み手 2

1st best

50.8

器の予測では，翻訳品質は，この順番に良いとする．また，こ

読み手 3

1st best

50.8

れらの翻訳候補を，4 人の読み手に，１人１文ずつ配るとする．

読み手 4

1st best

50.8

従来のように，“1st best” の翻訳候補のみを全ての読み手

平均翻訳品質 -50.8

表 3 “1st best” の訳を 3 人に，“1st best” の訳を 1 人に配った場合．

 配信された候補


に配った場合，4 人の翻訳品質の平均は，50.8 になる（表 2）．

“1st best” の翻訳だけに頼っているため，もし，この訳文の翻訳品質が低い場合，全ての読み手の翻訳品質が悪化する．

BLEU

一方，提案手法では，機械翻訳器の翻訳品質に関する予測が実際には間違っている可能性も考慮し，“1st best” 以外の候補

読み手 1

1st best

50.8

読み手 2

2nd best

100.0

も一部の読み手に配信する．例えば，表 3 では，“2nd best” の

読み手 3

1st best

50.8

訳を読み手のうちの 1 人に配信することで，翻訳品質リスクを

読み手 4

1st best

50.8

回避している．これにより，平均の翻訳品質は，63.1 にまで改平均翻訳品質 -63.1

善する．これは，従来の “1st best” を全員に配る場合とくらべて，大きな向上である．

機械翻訳 [11] では，文書中の i 番目の原文 si に対して，機械翻

しかし，このようなリスク回避が常に良い結果をもたらすと訳器が複数の翻訳候補を順位づけて出力する．ここでは，仮に，は限らず，正確なリスク評価が肝要となる．例えば，表 4 のよ予想される翻訳品質の降順に t1i ,t2i という２つの翻訳候補があうに，“2nd best” の代わりに，“3rd best” を 1 人に配ってしまるものとする．従来手法では，このうち，t1i のみが訳文としてうと，平均の翻訳品質は 47.7 となり，“1st best” を全員に配っ実際に採用され，３人の読み手全員に配信される．しかし，こた場合の平均翻訳品質 50.8 に比べて，むしろ低下してしまう．

の方法では，t2i の翻訳品質の方が，実際には t1i の翻訳品質よ

実験では，1,000 人の読み手に対して翻訳を配信した場合をり高かった場合，全読み手の翻訳品質が低下してしまう．
提案手法では，まず，各翻訳候補に対して，機械翻訳器のラ想定した．提案手法は，読み手に配られた訳文の翻訳品質の平均において，一貫して，かつ有意に従来手法を上回った．

ンキングとは別に，品質のブレ，すなわち品質リスクまで考慮

本研究の貢献は，下記の通りである．

した品質推定 (Quality Estimation, QE) を行う．そして，予•想される品質と品質リスクの双方を考慮し，各翻訳候補を，読み手の何%に配るか，という配分比率を算定するのである．そWeb 文書やニュースと言った，不特定多数の読み手が読む文書を翻訳するための訳文配信システムを提案した．

•

このシステムの基本的なアイデアは，全ての訳文候補をして，この配分比率に従って，各読み手に訳文を配信する．図

読み手に配ることである．これにより，機械翻訳器が１位に挙

1 では，３人中，２人の読み手に t1i が配信されているが，１人げた候補が実際には１位でなかった場合の「品質リスク」に備の読み手に t2i が配信されているため，t2i の方が t1i より翻訳品える事が可能である．

質が低い場合，３人の読み手全体での平均の翻訳品質は，t1i だ
けを全員に配った場合を上回る．
本研究の動機を，表 1 の例を用いて詳述する．この例は日英翻訳で，“inu ga naku”（犬がなく）という文を英語に翻訳する事を考えている．この時，「なく」という動詞は，英語への•実験を通じて，提案手法が，１つの訳を全ての読み手に配るというベースラインより，一貫して高い翻訳精度を達成する事を示した．

2. 関 連 研 究

翻訳時には “cry”, “bark”, “weep” といった複数の候補が考え我々のアプローチと密接に関連しているタスクとして，翻訳られるため，曖昧であり，“bark” のみが適切な訳となる．表

品質推定（Quality Estimation，以下，単に品質推定）という

1 では，便宜上，翻訳品質が書いてあるが，この翻訳品質は，タスクが挙げられる．このタスクでは，原文と訳文だけが与人手の翻訳との比較によって算出される値であるため，実際のえられ，訳文の品質を参照訳なしに評価する事が求められる．

我々のアプローチとの違いは，このタスクではあくまで１つのする事が目的であるため，複数の訳文を編集して新しい訳文を訳文の品質を正確に推定する事が目的であり，前節で述べたよ作り出すことは行わないのに対し，システムコンビネーション

うな，「多数の読み手」や「配信」といった事は全く考慮されてでは，１つの訳の改良が目的であるため，こうしたことを内部いない点にある．品質推定タスクは，過去に shared task が行では行っている．

われ，様々な機械学習手法が試されている [3], [17]．

我々のタスクがシステムコンビネーションと異なる，独立し品質推定は，機械学習の観点から見ると，通常，回帰問題たタスクであることの証左としては，両者を併用する事が可能(Regression) として定式化できる．回帰問題は，自然言語処理という点が挙げられる．具体的には，原文に対して，まず，複分野でよく使われる識別問題 (Classification) と異なり，識別数の機械翻訳器に翻訳させ，それらから得られた訳文をシステ

クラスではなく実数値を予測する問題である．品質推定の文脈

ムコンビネーションの入力として，複数の訳文の改善案を出力

では，この実数値として，品質推定の良さを数値で表した指標

させる．この改善された複数の訳文を，我々のアプローチの入が用いられる．品質推定には，これまで，様々な機械学習の回力とすることによって，両者を併用する事が可能である．簡単

帰手法が適用されてきた．例えば，サポートベクトル回帰 [5]のため，本稿では，こうした設定は扱わないが，このように，や，ガウス過程回帰 [1], [2], [6] が挙げられる．

両者を併用したシステムを考案する事ができるという事自体が，数ある回帰問題の手法の中で，ガウス過程回帰は，予測値の分散まで出力できるという特徴がある [19]．一方，サポートベ

我々のタスクが，既存のシステムコンビネーションと異なる独立したタスクとなっていることの証左である．

クトル回帰では，予測値の分散は出力できない．より正確にいさらに，その他，複数の訳文候補をリランキングして，最もえば，サポートベクトル回帰でも，予測値の信頼度の値を定義

良い訳文候補を求める手法が提案されている [13]．しかし，こして出力する事は可能ではある．しかし，そのような信頼度を，のタスクにおいても，やはり，「読み手」や「配信」といった点理論的に予測値の分散とみなすことは難しい．ガウス過程回帰が考慮されておらず，我々のタスクとは異なる．

が予測値の分散を求められる事については，過去の品質推定の研究でも言及はなされているが，ほとんどの品質推定の研究では，単純に予測値のみを用いており，分散については有効に活用されているとはいえない．

3. ガウス過程回帰を用いた品質推定
本節では，翻訳品質のリスク（ぶれ）を考慮しながら，翻訳品質を推定する手法について説明する．2 節でも簡単に説明し品質推定タスクは，他に，どの単位で品質を推定するかにたように，本研究では，具体的にはガウス過程回帰を用いた．

よっても分かれる．具体的には，語，文，文書，といった単位

その理由は，ガウス過程回帰が，予測値だけではなく予測値のが挙げられる．本研究では，次の理由で，文単位での品質推定

分散まで出力する事が可能であり，この予測値の分散が「リスを用いた．第一に，文単位の品質推定は，最も深く研究されてク」の情報を含んでいるためである．

おり，最も広く使われている．第二，元となる機械翻訳器自体

ガウス過程を導入するために，いくつか記法を導入する．こも，文単位での翻訳器が最も広く用いられていることから，元の記法は，やはりガウス過程を用いている文献 [6] に基づくもとなる機械翻訳器を活用する研究である本研究としては，機械のだが，文献 [6] ではガウス過程を，マルチタスク学習という翻訳器の主流な設定に合わせることが適当と考えたからである．

本稿とは全く異なる目的で用いている．

本研究では，以下，文単位の翻訳に限定して説明を行うが，まず提案タスクを回帰問題として定義する．M 件からなる

しかし，その手法は容易に語単位や文書単位の手法に拡張可能

訓練データを D = {(xi , yi )} と定義する．ここで，i は，原文である．実際，本研究では，原文や訳文の特徴を，特徴量ベクと訳文候補のペアに対するインデックスであり，xi ∈ Rd は，

トルを通じて用いているため，特徴量ベクトルと翻訳品質の単i 番目のペアを d 次元の素性ベクトルに変換したものである．

位を語や文書に変更すれば，語や文書を単位とする場合に直ちyi ∈ R は，品質を表すゴールド・スタンダードな実数値である．

に適用できる．

yi には，具体的には例えば，人手でつけた 5 段階の指標や，後その他，我々の研究と関連するタスクとしては，システム

編集を人手で行う場合は，その編集時間などが入る．

コンビネーション（system combination）の設定が挙げられ

このように yi には，通常，人手でつけられた翻訳品質を表す

る [4], [9]．このタスクは，複数の機械翻訳器の出力から選んだ数値が入るが，我々の知る限り，1 つのシステムの n 個の出力にり組み合わせたりして，よりよい訳文を出力するタスクである．

対して，人手で翻訳品質を評価したデータセットは存在しない．

複数の訳文を扱うという点は，我々のアプローチとこのタスク

従来は，システムが最もよいと判断する訳 1 つのみに対して，は共通している．

人手の品質評価を行っていたからである．そこで，我々は，参しかし，我々のタスクは，システムコンビネーションと明ら

照訳（人が作った模範となる訳）を用いて自動的に品質評価をかに目的も手法も異なる．我々のタスクでは，読み手全体の訳行う sentence-level BLEU の値を yi に用いた．sentence-level

文の品質が向上するように，訳文を配信することである．対照

BLEU は，広く使われてる Moses [12] ツールキットに実装され的に，システムコンビネーションでは，訳文の品質が向上するている （注 1）．

ように，訳文を改良することが目的であり，「読み手」や「配信」

ガウス過程のゴールは，訓練データ D が与えられた時に，新といった視点は抜け落ちている．また，手法的にも，我々のタスクと大きく異る．例えば，我々のタスクでは，訳文を「配信」（注 1）：http://www.statmt.org/moses/しいサンプル x∗ に対して，その品質評価値 y∗ を予測することである．ガウス過程では，これらのハイパーパラメタを，交差である．ガウス過程では，この予測を，次のような関数空間上検定などを用いずに，D に対する尤度が最大になるようにベイの積分によって達成する．直感的には，この積分は，訓練デー

ズ的に自動調整する事が可能であり，本稿ではこれを用いた．

タにフィットするような全ての回帰関数 f を考慮して予測を行

3. 2 複数の点の予測
3. 1 節では，新しいデータ 1 点 x∗ が与えられた時の予測にう役割を果たしている．

∫p(y∗ |x∗ , D) =p(y∗ |x∗ , f )p(f |D)

ついて説明した．これは，新しい原文-訳文ペア 1 件に対して，(1)

訳文の翻訳品質を予測することに相当する．一方，我々の目的

fは，機械翻訳器の n-best の出力，すなわち，n 件のペアに対し(1) において，関数 f は，次のように定義される．
()
f (x) ∼ GP 0, k(x, x′ )て，訳文の翻訳品質を予測する事が求められる．

n 件の新しいデータを x∗1 , x∗2 , . . . , x∗n とする．ガウス過程(2)回帰では，訓練データと新しいデータの関係性のみではなく，(2) において，ガウス過程 GP は２つのパラメータを持つ確

新しいデータ間の関係性まで考慮して予測を行える．これは，率過程として定義される．１つは，0 であり，これは，単純に，我々のタスクに置き換えると，n 個の訳の品質を独立に予測す関数 f が 0 に関して正規化されていることを表している．より

るのではなく，例えば，ほとんど差異がないような訳同士は，重要なパラメータは，カーネル関数と呼ばれる k である．これ予測する翻訳品質の値も近づける，といった効果も考慮した予は， x と x′ の近さを表す関数である．

測が可能であるということである．この時，予測は次のように典型的なカーネル関数としては，次で定義される RBF カー
ネル関数が挙げられる．ここで，⊤ は，ベクトルや行列の転置を表す．
′

k(x, x ) = σf2 exp()
1− (x − x′ )⊤ A−1 (x − x′ )2

して表せる．

y∗ ∼ N (µ, Σ)(5)

ここで，µ = (µ1 , . . . , µn )⊤ と Σ は，それぞれ，品質の予測値と，その分散共分散行列である．これらは，次節の分配比率(3)を決定する問題で直接使われ，重要な役割を果たす．これらは，(3) には，σf と A の２つのハイパーパラメタが存在する．
σf は分散の全体的な大きさを調整するスカラー値である．

次の式で解析的に求められる．

A = diag(a) は，各素性の重みを決定する対角行列である．すµ = K∗ (K + σn2 I)−1 y(6)

なわち，ai の値を増大させると，i 番目の素性が予測に際して

Σ = (K∗∗ + σn2 I) − K∗ (K + σn2 I)−1 K∗⊤(7)

重視される．a の定義の仕方にはいくつかあるが，典型的には，

a = σℓ2 1 のように定義される．ここで，1 は，全要素が 1 の適切な次元のベクトルであり，σℓ はハイパーパラメタである．この定義では，全ての素性の重要度は同じであり，ハイパーパラ
メタ σℓ はカーネル関数が素性に対してどれだけ敏感であるかを調整する役割をする．この定義においては，σℓ をベイズ的に自動的に調整する手法が知られており，ハイパーパラメタ調節の必要がない [19]．従って，本研究ではこの定義を用いた．
ガウス過程の利点の１つは，(1) を計算するために，数値積分を必要としない点である．ガウス関数の性質により，(1) のy∗ は，次のように解析的に求められる．ここで，N は，ガウス分布（正規分布）の確率密度関数である．

2
−1
2
−1
y∗ ∼ N k⊤y, k(x∗ , x∗ ) − k⊤k∗
∗ (K + σn I)∗ (K + σn I))(y1 , . . . , yM ) で あ り，k∗(k(x∗ , x1 ), k(x∗ , x2 ), . . . , k(x∗ , xM ))まとめると，複数の新しいデータ点 x∗1 , . . . , x∗n が入力として当たられた時，ガウス過程回帰では，予測値をベクトルの形
で µ = (µ1 , . . . , µn )⊤ と返し，また，その分散共分散行列も，

Σ という行列の形で返すということである．直感的には，Σ の分 i, j （ただし，i =| j ）が，j 番目の対角成分が不確かだった
ときの i 番目の対角成分の不確かさと，またその逆も表す．
ガウス分布は左右対称であるが，実際の品質の分布は非対称な場合がある．ガウス過程では，このようなモデル化も Warped
め本稿では扱わない．これらガウス過程の詳細については，文献 [19] に詳しい．本研究では，Python 用のガウス過程のライ
ブラリである GPy ツールキット（注 2） を用いて実装した．

(4)⊤k(x∗i , x∗j ) で定義されるような n × n 行列である．

Gaussian Process などを用いることで可能であるが，簡単のた(=るような n × M 行列であり，K∗∗ は，i, j 要素が (K∗∗ )i,j =i 番目の対角成分が，i 番目の予測の不確かさを表し，非対角成

3. 1 単点の予測(4) に お い て ，y

ここで，K∗ は，i, j 要素が (K∗ )i,j = k(x∗i , xj ) と定義され=4. 品質リスクを考慮した訳文候補の配信である．K は，i, j 成

分が Ki,j = k(xi , xj ) であるような M × M 行列である．
まとめると，新しい点 x∗ が与えられた時，ガウス過程回帰
では，その予測を (4) によって求める．

本節では，提案手法の核となるアイデア，すなわち，提案シ
ステムが翻訳品質リスクを考慮しながら，訳文を読み手に配信する方法について説明する．機械翻訳システムが，１つの原文

ガウス過程では，ガウス関数の利用により，ハイパーパラメに対して n 個の訳文を出力すると仮定する．ここで，3 節でタのチューニングも，自動的かつ容易に計算できる利点がある．

説明したように，x∗1 , x∗2 , . . . , x∗n は，この n 個の翻訳と原文

具体的には，次のハイパーパラメタがある：σf , σn ，そして a（注 2）：http://sheﬃeldml.github.io/GPy/

から作られた素性ベクトルである．3. 2 節で説明したように，
ガウス過程は，x∗1 , . . . , x∗n を入力として受け取ると，予測値µ = (µ1 , . . . , µn )⊤ と，その分散共分散行列 Σ を返す．この Σに，予測値がどれだけ不確かか，といったリスクに関する情報が含まれている．

µ と Σ が与えられた時，ここでのゴールは配分比率ベクトル⊤慮に入れてしまうためであると考えられる．
こうして，λ が決定されれば，提案システムは，この配分比率に従ってランダムに訳文を読み手に分配する．

5. 実 験 設 定
システム選択と n-best の２つの設定で，実験を行った．後λ = (λ1 , . . . , λn ) を決定することである．ここで，各 λi は，者の n-best の設定は，上記の説明と同様，１つのシステムか

全読み手のうちで i 番目の訳が割り当てられる人の比率を表す．

らの n-best の出力を用いている．一方，前者のシステム選択の言い換えると，λi は，i 番目の訳がどれぐらいの比率の人に読設定では，１つのシステムからの n-best の代わりに，n 個のシ

まれるべきかを決定している．λ は確率ベクトルであり，確率∑ベクトルは数式では，次のように表現できる： ni=1 λi = 1 でステムの出力を n-best に置き換えて用いている．いずれの設あり，かつ，各 i ∈ {1, . . . , n} に対して，λi >= 0 である．

信する．

配分比率ベクトルは，次の最適化問題を解くことによって求n∑λi µi −

i=1

subject toシステム選択と n-best の両方の設定で，配信先の読み手の数は 1, 000 人とした．両方の設定で，5-fold の交差検定を行い，める．

maximizeλ1 ,...,λn定でも，システムは，n 個の出力を，一定の比率で読み手の配

n
∑

n
n
1 ∑∑
α
λi λj (Σ)i,j
2 i=1 j=1

λi = 1

以後，特に明示しない時は，5-fold の平均値を性能値として表(8)

ウェアである QuEST（注 3） を用いた．

(9)

i=1

∀i ∈ {1, . . . , n}, λi >=0示する．原文からの素性抽出には，品質推定の標準的なソフト(10)(8) は目的関数である．(8) の第一項は，翻訳品質を最大化する働きをする．ここでの翻訳品質とは，厳密には，与えられた
翻訳品質の予測値をもとに，この配分比率で配った時の，読み手で平均した翻訳品質表す．一方，第二項は，リスクが大きい訳
文に罰則を与える罰則項である．Σ は半正定値の性質を持つ分∑>散共分散行列であることから，∀λ ∈ Rn ; nj=1 λi λj (Σ)i,j = 0となるため，第二項は罰則項として機能する．従って，(8) は，
直感的には，リスクが大きい訳文候補に罰則を与えながら，翻訳品質を最大化する事をあらわす．α は，この時の罰則の大きさを決定するハイパーパラメタである．
また，(9) と (10) は，前述のように，λ が確率ベクトル（各要素が確率質量とみなせるベクトル）であることを保証するための制約である．
重要な注意点として，翻訳品質が最もよい１つの訳を全読み手に配るケースも，この配分比率ベクトルを用いて表現することができることが挙げられる．このケースは，α = 0 に設定した時に生ずる．この場合，(8) の第二項は 0 になり，第一項のみが残る．制約 (9) と (10) によって，この場合も λ は確率ベクトルを満たすように設定される．(8) が第一項を最大化する
ため，λ は，µ1 , . . . , µn のうち，もっとも翻訳品質の高い（すなわち，µi の値が大きい）要素 i だけが 1 で，他が 0 の単位ベクトルに設定される．

(8) で表される最適化問題は，実用的な時間で解ける．理論

素性には，下記に示す 17 種類の基本素性を用いた [17]．

-

原文のトークン数
訳文のトークン数
原文の平均トークン数
原文の言語モデル確率
訳文の言語モデル確率
各訳語が，訳文中に現れる頻度
原文の各単語あたりの，訳文の数
原文の各単語の辺りの，訳文の数（原言語コーパス中の頻度の逆数で重み付け）- 頻度が第１四分位に属する 1-gram の百分率での比率．
（すなわち，原言語コーパス中の低頻度語）- 頻度が第 4 四分位に属する 1-gram の百分率での比率．
（すなわち，原言語コーパス中の高頻度語）- 原言語コーパス中で頻度が第１四分位に属する 2-gramの百分率での比率．
- 原言語コーパス中で頻度が第 4 四分位に属する 2-gramの百分率での比率．
- 原言語コーパス中で頻度が第 1 四分位に属する 3-gramの百分率での比率．
- 原言語コーパス中で頻度が第 4 四分位に属する 3-gramの百分率での比率．
- 原文中の 1-gram のうち，原言語コーパス中に現れたことのある単語の比率- 原文中の句読点 (punctuation marks) の数．
- 訳文中の句読点 (punctuation marks) の数．

6. 量 的 評 価
6. 1 システム選択の設定による評価

的には (8) は，線形制約付凸最適化であり，大域的最適解が求システム選択の設定では，WMT-13 の品質推定の sharedまる．実際に，予備実験でも，最適化問題は実用的な時間で解

task で使用された公開データを用いた（注 4）．このデータは，英けた．また，予備実験を通じて，n の大きさに関しては，例え語からスペイン語（以下，英西）翻訳の設定になっているので，

ば 3 や 5 といった比較的小さい n で良い性能を達成し，大きす

我々も，英西翻訳の設定で実験を行った．このデータセットでぎる n は性能を悪化させる事が分かった．これは，単純に，nは機械翻訳器からの n-best 出力の数であるため，n を大きす
ぎると，本来考慮しなくてよいような，悪すぎる候補まで，考（注 3）：http://staffwww.dcs.shef.ac.uk/people/L.Specia/projects/quest.

html（注 4）：http://statmt.org/wmt13/quality-estimation-task.html

は，１文の英文に対して，5 つの異なるシステムが翻訳した 5

表 5 システム選択設定での評価（数値は sentence-level BLEU 値)

つのスペイン語の訳文候補から最も良いものを選ぶ．提案シス

Proposed

35.52

テムは，この 5 つのスペイン語の訳文を読み手に配る事を想定

QE-max

35.43

している．

SVR-RBF 34.98
Baseline

このデータセットでは，人手評価を通じて，“online-B” と34.88呼ばれるシステムが shared task で最も翻訳精度が高い事が分かっている．従って，ベースラインとしては，“online-B” が全

る．次に，１つの訳文に対する従来の評価指標は，一人の読みての読み手に配られた場合を設定した．“online-B” は，この手に割り当てられた訳文の評価指標とみなすことも可能である．

データセットの 39.51% で，実際に 5 つのシステム中でもっととすると，複数人に割り当てられた訳文の評価指標として，各も良い翻訳性能を出している．

人に割り当てられた訳文の評価指標の平均値を用いる事は自然な拡張と考えられる．

6. 2 比 較 手 法
提案手法の翻訳精度を，次の比較手法と比較した．QE-max

実際の研究では，sentence-level BLEU [16] という評価指標

は，最も品質推定スコアの高い訳文を全ての読み手に配った場を用いた．この評価指標は，文書単位の評価指標としては広く合である．品質推定スコアとは，前述のように，品質推定器が用いられており十分な検証もされている BLEU の文単位版で返した品質推定の値である．今回は，特に明示しない場合は品ある [16]．この評価指標の実装としては，やはり，広く使われ質推定にはガウス過程回帰を用いた．一方，SVR-RBF は，ている実装であり信頼のおける実装である，Moses ツールキッ

品質推定器として，ガウス過程回帰の代わりに，RBF カーネ

ト中の “sentence-bleu” コマンドを用いた．

ルによるサポートベクター回帰 (Support Vector Regression)を用いたうえで，QE-max と同様，最も品質推定スコアが高い翻訳を全員に配った場合である．

6. 5 システム選択設定での評価
まず，システム選択の設定における実験結果を表 5 に示す．
表から，Proposed が最もよい性能を示している事が分かる．

6. 3 ハイパーパラメータチューニング

表 5 に対して Wilcoxon 検定を行ったところ，Proposed が統各手法の各ハイパーパラメータは，特に明示しない限り，

計的有意に Baseline と QE-max を上回った（p < 0.01）．

10

−3

3

から 10 の範囲を，log-space で 9 つに区切った点集合から選んだ．すなわち，10−12/4 , 10−9/4 , 10−6/4 , 10−3/4 , 100 ,6. 6 n-best 設定での評価
本節では，実際に n-best 設定で，１つの機械翻訳器からのから選んだ．

出力を読み手に配信した場合のシミュレーション実験を行う．

次に，各手法のハイパーパラメタの種類について説明する．

我々のタスクは，明らかに，途中で用いる品質推定器の素性に

ガウス過程については，数種類のハイパーパラメタが知られて性能が依存する．品質推定器に用いる素性の影響を排除するた

10

3/4

6/4

, 10

, 10

9/4

12/4

, 10

いるが，それらを交差検定を用いずベイズ的にチューニングすめには，既存の shared task と全く同じ素性集合を用いる事がる手法 Automatic Relevance Determination が知られている有効である．この事情から，既存のデータセットで使用されてので，この方法を用いた [19]．この手法は，我々が用いた GPy

いる英西翻訳の設定で，本実験を行った．

に実装されている．このため，ガウス過程において実際に調整

評価には News Commentary コーパス （注 5） を用いた．このしたハイパーパラメタは，4 節で述べた，リスクの罰則の大きコーパスを選択した理由は，第一に，本研究の目的である，さを調整するパラメタ，α のみである．

ニュースや Web 文書といった不特定多数に配信される文書のRBF カーネルによるサポートベクトル回帰 SVR-RBF に

翻訳に合致しているためである．具体的には，このコーパスのは，C と γ という 2 種類のパラメタがある．C は前述の範囲か

内容の内容は “news text and commentaries from the Project

ら選び，γ は 1 に固定した．

Syndicate” と記述されている．第二に，このコーパスが WMT

6. 4 評 価 尺 度という翻訳分野の shared task に使用されているコーパスであ

既存研究と異なり，我々の目的は，１つの訳文の品質を向上

り，使用するコーパスの違いが性能評価に与える影響を軽減でさせることではなく，全ての読み手に配られる翻訳を全体的にきるためである．

向上させることである．従って，各読み手に配られた全ての訳

機械翻訳器としては，広く使われている機械翻訳器の実装で文を全体的に評価することのできる指標が，このタスクにはある Moses を，News Commentary コーパスで訓練したもの

望ましい．しかし，既存研究では，読み手の数は注目を集めなを用いた．機械翻訳器の訓練手法としては，広く使われている

かったためか，我々の知る限り，読み手の数まで考慮した翻訳

Minimum Error Rate Training (MERT) [15] を用いた．また，の評価指標は提案されていない．

翻訳する言語対は，品質推定タスクに有効な素性セットと素性

読み手の数まで考慮した翻訳の評価指標として，本稿では次抽出器の実装が提供されている英西翻訳とした．

の理由で，単純に，１つの訳文の評価指標を全ての読み手の訳

翻訳候補の数は，n = 5 とした．その理由は，予備実験によっ文に適用し，その平均値を採用した．まず，読み手の数を考慮て，5 位より下位の候補が実際には最も良かったケースは，少していないとはいえ，従来の翻訳の評価指標は相当に研究されなかったためである．実際，予備実験では，５位の翻訳候補がている事が理由として挙げられる．従って，既存研究で明らかになった評価指標の性質を，考察の際に活用する事が可能であ（注 5）：http://www.statmt.org/wmt13/translation-task.html#download表 6 n-best 設定での評価る事が分かる．すなわち，予測 BLEU 値は，「1 位と 2 位の差

Proposed 26.24

はほとんどなく」，「この両者は，その他の３つの訳より大きく

QE-max

26.06

優れている」という全体的な構造を捉えられている．前述のよBaseline

26.06

うに，この構造を上手く捉えられている事は，配分比率決定の実際には１位だったケースは，全文中の 13.49%であった．こ
の数値は，４位の翻訳候補では 13.92%，３位では 17.05%，２
位では 21.31%，そして１位では 34.23%であった．

上で重要である．
最後に，配分比率の項目に注目すると，配分比率も，やはり，
前述の「５つの訳の全体的な構造」をうまく捉えられている事

表 6 に，実験結果を示す． Baseline, QE-max, Proposed のが分かる．具体的には，まず，1 位と 2 位の訳の配分比率を合定義については，前述のものと同じである．やはり，Proposed

計するとほぼ 1.0 であり，この両者以外の３つの訳は 10−6 未が Baseline を上回る性能を見せている．この差は，統計的有意満であることから，事実上，１位と２位の訳のみが配られるよであった (p < 0.01)．

うになっている．また，1 位と 2 位の配分比率は，それぞれ，

7. 実例による質的評価

ほぼ 0.5 となっており，両者の訳質がほぼ等価である事がうま

本稿では，提案手法がいかに，読み手に配信した時の性能をな構造を上手く捉えて決定される理由は，配分比率が，分散共向上させているのかを，6. 6 節における提案手法 Proposed の分散行列を通じ，各訳文の予測 BLEU 値の近さまで考慮して結果から実例を挙げて示す．

計算されている（4 節を参照）ためであると考えられる．

く反映されている．このように，最終的な配分比率が，全体的表 7 に，2 候補が他の訳より圧倒的によい例を示した．表

この配分比率は，提案する訳文配信システムが，機械翻訳器

7 の列は，左から，凡例，内容，実測 BLEU 値，予測 BLEUの 5-best 出力における 5 個の訳の品質上の位置づけをうまく値，配分比率である．各訳文は，予測 BLEU 値の降順に並ん

捉え，a) ２つの訳が他の３つより群を抜いてよく，b) 両者の品でいる．予測 BLEU 値は，ガウス過程を用いた品質推定によ質はほぼ同じ，という全体的な構造を認識することに成功した

る BLEU スコアの予測値である．厳密には，3 節で解説した，

事を示している．さらに，提案システムは，b) の方が a) よりµ の各要素の値を予測 BLEU 値として表示している．

信頼性が低い性質であることも認識している．品質に明らかな

表 7 中の実測 BLEU 値に注目すると，1 位と 2 位の BLEU

差がある場合は，その差が覆る可能性は小さいが，「ほぼ同じ品

スコアがほぼ同程度で，3 位〜5 位までの３つの訳文候補を引質」であるものに，実際には少しは差がある可能性は高い．上

き離して良いことが見て取れる．実際には実測 BLEU 値を訳

位２者の品質が本当にほぼ同じかどうかは分からず，2 位の訳

文配信時に確認することは不可能であるため，実際には BLEUの方が 1 位の訳より少し優れている可能性もあり，そうした小実測値が低いかもしれない 1 位の訳のみを選好して，全ての読

さい差を事前に予測する事は難しい．そこで，提案システムでみ手に配ることは高リスクである．しかし，だからといって，

は，b) より a) を重視し，まず 1 位と 2 位の訳の２つに候補をあまりに悪すぎる訳を配ってしまうと，読み手全体での訳文品絞り込んだ上で，この両者の間に実際には小さい差がある事を質が下がるかもしれない．例えば，表 7 の例においては，3 位想定して，どちらの訳も同じ比率で配ってしまうのである．こ〜5 位の訳の訳文配分比率を高く取ってしまうと，1 位の訳文の例では，両者の間の差は実測 BLEU 値でも小さいため全体を全員に配るより悪い配り方になってしまう．従って，表 7 の的な品質の向上は見られないが，予測 BLEU 値を通じて捉え例において訳文配分比率の決定に肝要な事は，「1 位と 2 位の訳た「全体的な構造」から，適切な配信戦略を決定できている事が他の３つの訳より群を抜いて良い」という事を認識すること

が分かる．

である．
各訳の予測 BLEU 値と実測 BLEU 値を比較すると，両者の

8. 議

論

差は大きいことが分かる．例えば，予測 BLEU 値は全ての訳に4 節にて使用した最適化問題は，多目的最適化問題の一種で対して 27 以上であるのに大して，実測 BLEU 値は全ての訳にある．多目的最適化では，目的関数が複数あり，それらの目的

ついて 24 未満である．この乖離の原因は，この例の参照訳が，関数を同時に最適化する．本稿の応用では，翻訳品質とリスク

どの候補とも構文上，異なっているからであると推察される．

という２つの目的関数があり，前者を最大化しながら後者を最

具体的には，まず，原文では “however” が副詞として文中に現小化するような配分比率を探索している．このようなリスクをれているが，参照訳では，“entretanto”(一方, meanwhile) と考慮した最適化に多目的最適化問題を用いる考え方は，利益をいう語が文頭に置かれている．この例は，参照訳なしで BLEU

最大化しながらリスクを最小化するような投資比率を求める，

値を予測することの難しさを如実に示している ．実測 BLEU

現代ポートフォリオ理論 [14] のポートフォリオ最適化の考え方

値は用いる参照訳に依存するが，品質推定タスクでは，参照訳に基づいている．しかし，我々のタスクは現代ポートフォリオ

なしで BLEU 値を予測する必要がある．

理論の単純な転用ではない．特に，現代ポートフォリオ理論に

このように，表 7 を行方向で見ると，予測 BLEU 値と実測

おいては，利益やその分散を既知と仮定したうえで比率を決定

BLEU 値の誤差が大きいことが目につく一方，予測 BLEU 値

するのに対し，我々の設定では，与えられた訳文の品質が直接と実測 BLEU 値を列方向で比較すると，予測 BLEU 値が，こ的には分からない．この問題を解決するため，本稿では，ガウの５つの候補内における各訳の品質の位置づけをよく表していス過程を用いた品質推定（3 節を参照）を用いて，翻訳品質を表 7 2 候補が他の候補より圧倒的によい例．
凡例

内容

原文

Damascus, however , also brushed oﬀ this proposal .

実測 BLEU 値 予測 BLEU 値

1位

配分比率

-

-

-

Damasco , sin embargo , tambin desdeñó los esta propuesta .

23.46

27.74

0.45

2位

Damasco , sin embargo , tambin descartaron de esta propuesta .

23.46

27.74

0.55

3位

Damasco , sin embargo , tambin desdeñó los esa propuesta .

17.03

27.43

< 10−6

4位

Damasco , sin embargo , tambin desdeñó los de esta propuesta .

21.40

27.27

< 10−6

5位

Damasco , sin embargo , tambin los desdeñó los esta propuesta .

21.40

27.16

< 10−6---

参照訳 entretanto , Damaskus critica tambin esta propuesta .

予測している．
多目的最適化は，過去の機械翻訳研究でも用いられてはいるが，本タスクと異なり，複数の翻訳品質指標を同時に最適化する目的で用いられている．[8] は，本稿でも用いた翻訳品質指標

BLEU と，語順が大きく異る言語対での評価に適しているという報告のある RIBES [10] という２つの翻訳品質指標を同時に最適化するために，多目的最適化を用いてる．また，[7] では，
文単位で計測した翻訳品質と，文書単位で計測した翻訳品質を同時に最適化するために多目的最適化を用いている．その他，名詞と固有名詞の曖昧性を同時に解消するために多目的最適化を用いた例もある [18]．
本研究では，読み手ごとに異なる訳文が配布される事を前提としている．これについては，4 章で示した最適化問題を拡張する事によって，例えば「この組織に所属している読み手には同じ訳文を配布する」といったような，柔軟な対応をすることも可能だと考えられる．この場合，配分比率だけではなく，読み手と訳文の対応を陽に考える組合せ最適化問題を整数計画問
題として定式化して解く事も考えられる．

9. ま と め
本研究では，ニュースや Web 文書といった不特定多数に読まれる文書を翻訳し，訳文を読み手に配信するためのアプロー
チを提案した．従来手法では，1 つの翻訳候補を全ての読み手に配っていたため，翻訳品質が最も良いと予測されたトップの翻訳候補が実際には低品質である場合のリスクの考慮できな
かった．このリスクを考慮して，提案手法では，全ての翻訳候補を活用して読み手に配る．実験により，提案手法は，一貫して，トップの訳を全員に配るという従来手法より，高い翻訳品
質の訳を読み手に提供する事ができた．将来の課題としては，他の言語対でも評価実験を行う事が挙げられる．
文

献[1] Daniel Beck, Kashif Shah, Trevor Cohn, and Lucia Specia.
SHEF-Lite: When less is more for translation quality estimation. In Proc. of WMT, pages 337–342, Sofia, Bulgaria,
August 2013.
[2] Daniel Beck, Kashif Shah, and Lucia Specia. Shef-lite 2.0:
Sparse multi-task gaussian processes for translation quality
estimation. In Proc. of WMT, pages 307–312, Baltimore,
Maryland, USA, June 2014.
[3] John Blatz, Erin Fitzgerald, George Foster, Simona Gandrabur, Cyril Goutte, Alex Kulesza, Alberto Sanchis, andNicola Ueﬃng. Confidence estimation for machine translation. In Proc. of COLING, pages 315–321, Geneva, Switzerland, August 2004.
[4] Ondrej Bojar, Miloš Ercegovčević, Martin Popel, and Omar
Zaidan. A grain of salt for the wmt manual evaluation. In
Proc. of WMT, pages 1–11, Edinburgh, Scotland, July 2011.

[5] Ondřej Bojar, Rajen Chatterjee, Christian Federmann,
Barry Haddow, Matthias Huck, Chris Hokamp, Philipp
Koehn, Varvara Logacheva, Christof Monz, Matteo Negri, Matt Post, Carolina Scarton, Lucia Specia, and Marco
Turchi. Findings of the 2015 workshop on statistical machine translation. In Proc. of WMT, pages 1–46, Lisbon,
Portugal, September 2015.
[6] Trevor Cohn and Lucia Specia. Modelling annotator bias
with multi-task gaussian processes: An application to machine translation quality estimation. In Proc. of ACL, pages
32–42, Sofia, Bulgaria, August 2013.
[7] Chenchen Ding, Masao Utiyama, and Eiichiro Sumita.
Document-level re-ranking with soft lexical and semantic
features for statistical machine translation. In Proc. ofAMTA, October 2014.
[8] Kevin Duh, Katsuhito Sudoh, Xianchao Wu, Hajime
Tsukada, and Masaaki Nagata. Learning to translate withmultiple objectives. In Proc. of ACL, pages 1–10, Jeju Island, Korea, July 2012.
[9] Kenneth Heafield and Alon Lavie. Cmu system combinationin wmt 2011. In Proc. of WMT, pages 145–151, Edinburgh,
Scotland, July 2011.
[10] Hideki Isozaki, Tsutomu Hirao, Kevin Duh, Katsuhito Sudoh, and Hajime Tsukada. Automatic evaluation of translation quality for distant language pairs. In Proc. of EMNLP,
pages 944–952, Cambridge, MA, October 2010.
[11] Philipp Koehn. Statistical machine translation. Cambridge
University Press, 2009.
[12] Philipp Koehn, Hieu Hoang, Alexandra Birch, Chris
Callison-Burch, Marcello Federico, Nicola Bertoldi, Brooke
Cowan, Wade Shen, Christine Moran, Richard Zens, et al.
Moses: Open source toolkit for statistical machine translation. In Proc. of ACL interactive poster and demonstration
sessions, pages 177–180, 2007.
[13] Shankar Kumar and William Byrne. Minimum bayesrisk decoding for statistical machine translation.
In
Daniel Marcu Susan Dumais and Salim Roukos, editors, Proc. of HLT-NAACL, pages 169–176, Boston, Massachusetts, USA, May 2004.
[14] Harry Markowitz. Portfolio selection*. The journal of finance, 7(1):77–91, 1952.
[15] Franz Josef Och. Minimum error rate training in statisticalmachine translation. In Proc. of ACL, pages 160–167, 2003.
[16] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing
Zhu. Bleu: a method for automatic evaluation of machinetranslation. In Proc. of ACL, pages 311–318, Philadelphia,
Pennsylvania, USA, July 2002.
[17] Lucia Specia, Nicola Cancedda, Marc Dymetman, Marco
Turchi, and Nello Cristianini. Estimating the sentence-level
quality of machine translation systems. In Proc. of EAMT,
pages 28–37, May 2009.
[18] Dirk Weissenborn, Leonhard Hennig, Feiyu Xu, and Hans
Uszkoreit. Multi-objective optimization for the joint disambiguation of nouns and named entities. In Proc. of ACLIJCNLP, pages 596–605, Beijing, China, July 2015.
[19] Christopher K. I. Williams and Carl Edward Rasmussen.
Gaussian processes for machine learning. MIT Press, 2006.