# Neural Machine Translation における相対的意味論による訳文選択

村上 仁一
鳥取大学工学部
murakami@tottori-u.ac.jp

## 概要

現在，機械翻訳においては，Neural Machine Translation（以後 NMT）が盛んに研究されている. しかし，まだ，人手による翻訳性能には及ばない.

本論文では，機械翻訳における大きな問題点として，要素合成法の問題をしめす。次に，要素合成法の問題点からみた，NMT の問題点を示す。また，相対的意味論の原理について述べる. そして. この原理に従って，NMT の訳文を選択する“相対的意味論に基づく統計機械翻訳 (RSMT)” の概要について述べる. 最後に，RSMT の翻訳性能について述べる。

## 1 はじめに

現在，機械翻訳においては，NMT が盛んに研究されている。そして，翻訳性能も高い。しかし，まだ，人手による翻訳性能には及ばない。

本論文では，始めに，機械翻訳における大きな問題点として, 要素合成法の問題をしめす. 要素合成法の問題とは，個々の単語を翻訳して文を組み合わせても，翻訳品質は高くならないことである。この問題は，機械翻訳の研究者の間では，認知はされてきたが，大きく取り上げられることは少なかった.

次に，要素合成法の問題点からみた，NMT の問題点を示す. NMT は，基本的には翻訳精度が高い。しかし，要素合成法の問題点からみた場合, 問題を含むモデルになっている.

次に，相対的意味論の原理について述べる.この原理とは “A が B ならば $\mathrm{C}$ は D” と考える意味論である. 基本的には，類推推論である。そして，ABCD は文である.

次に，この原理に基づいた，“相対的意味論に基づく統計機械翻訳 ( 以後 RSMT), の概要について述べる. この翻訳方法は，複数の NMT からの出力を，相対的意味論の原則に従って訳文選択をする方式である。相対的意味論の原則に沿うことで，要素合成法の問題点を軽減できる。

最後に，実験に基づいて RSMT の翻訳性能について述べる.この実験の結果 RSMT はNMT と比較して, 翻訳性能が大きく向上していることを示す.

## 2 翻訳における要素合成法の問題

## 2.1 要素合成法の問題

池原 [1] らの主張する “要素合成法の問題”を以下に示す.この問題は，影響の大小はあるが，すべての翻訳システムに存在する。

1. 文を翻訳するとき，個々の単語を翻訳しても，文の意味としては，間違った翻訳になることが多い。

2. つまり，個々の単語を翻訳して文を組み合わせても，翻訳性能は低い。

3. 翻訳性能を向上させるには，文全体の意味を考慮して翻訳する必要がある。

以下の例文は，要素合成法の問題点を示す典型的な例である.

・入力文彼女は我を通した。

$\cdot$出力文（翻訳文） She passed me.
- 参照文 She had her own way .

一般的に“通す”は “pass”と “我”は”"me”と訳すことが多い。しかし，文全体の意味を考えると，明らかに間違った訳出になる。

## 2.2 NMT と要素合成法の問題

NMT は，構造的にみると，元言語の単語から目的言語の単語に変換している. 従来のルールベース翻訳におけるピボット翻訳や単語に基づく統計翻訳に，類似している.1) そのため, 要素合成法の問題を内在している。そこでNMT の翻訳性能を向上されるために，NMT における要素合成法の問題を緩和する方法を組み合わせる．具体的には，文全体を考慮した翻訳方法を NMT に組み込むことである.

## 3 要素合成法の問題を緩和する方法

文全体を考慮した翻訳方法を，NMT に組み込むための，要素を以下に述べる。

## 3.1 相対的意味論に基づく翻訳

相対的意味論とは，“Aが Bならば $\mathrm{C}$ は $\mathrm{D}$ ”と考える方法である。類推推論に近い。これを日英翻訳に適用したときの基本的な概念を述べる.

・Aが B ならば C はDになる.

・ただし A,B,C,D は文

$\mathrm{A}$ 対訳学習文の日本文

B対訳学習文の英文

C入力日本文

1） 個人的には，この構成で，高い翻訳精度を得ていることに，驚きすら感じる。

D出力英文（翻訳文）

-A と Cは日本語において類似

-A と B は日英翻訳と英日翻訳において類似

・B とDは英語において類似

・C とD は日英翻訳と英日翻訳において類似

以下に例を述べる。

A私は林檎が好きだ

BI like an apple

Cショウジョウハエは林檎が好きだ

DFruit flies like an apple

この例では，以下のように解釈する。

1. “私は林檎が好きだ”と“ショウジョウ八エは林檎が好きだ”は類似している。

2. “私は林檎が好きだ”に対する “I like an apple”の翻訳確率は高い.

3. “ショウジョウハエは林檎が好きだ”に対する “Fruit flies like an apple"の翻訳確率は高い.

4. "I like an apple" と "Fruit flies like an apple" は類似している.

5. 以上 4 点を考慮して，“ショウジョウ八エは林檎が好きだ”を入力文としたとき，"Fruit flies like an apple" が翻訳文になる. “Fruit flies like apple”（ショウジョウハエはリンゴが欲しい？）とは訳さない。

## 3.2 NMT と相対的意味論

NMT を，相対的意味論的に考えると，"A"と"B”が複数ある場合の"C"と"D” の関係として捕らえることが可能である。NMT における対訳学習文の日本文は”A”で英文は”B”に相当する。 入力文は”C"で，D は出力文（翻訳文） である．例を以下に示す．対訳学習文を 2 文とする。

$A_{1}$ 彼は山にいった.

$B_{1}$ He went to mountain

$A_{2}$ 彼女は海にいった

$B_{2}$ She went to sea

C彼は海にいった

$D$ He went to sea

この例では以下のように考える。

“彼は山にいった. ”と“He went to mountain”, と“彼女は海にいった”と “She went to sea”が，存在するから，“彼は海にいった”は “He went to sea”と翻訳できる。

この考え方は，NMTにおいて，複数の対訳学習文から，

和策

NMT は，複数の対訳学習文から，出力文（翻訳文）を得ていると考えることができる。これは，翻訳文は，多くの対訳学習文から類推される単語で構成されていると考えることができる．これが，NMT における要素合成法の問題を引き起こす。そこで，この問題を軽減させるために，翻訳文は，学習文中に類似文があると仮定する．これにより, 要素合成法の問題を低減できる. 以下に，その方法を述べる。

1. NMT と乱数

NMT は EM 推定法である。そして，勾配問題を解決するためと，局所的な最適化を防ぐために，乱数を利用している．そのため，乱数の初期値によって，翻訳結果が異なる。しかし，NMT の翻訳確率が高い出力文は，基本的には，翻訳精度が高い。

2. 相対的意味論を用いた訳文選択

複数の翻訳文から，相対的意味論を用いて，最終的な出力文（翻訳文）を選択する。相対的意味論は， “A が B ならば C はD”と表現できる. ここで， C と $\mathrm{A}$ の類似度と, $\mathrm{C}$ との翻訳確率と, $\mathrm{D}$ と $\mathrm{B}$ 類似度と，A と B の翻訳確率を組み合わせて，最適な訳文を選択をする.

## 4 提案する RSMT のフローチャート

本章では，3.3 節の考察に基づいて，RSMT を提案する。提案手法の基本的な考え方は，相対的意味論（A が B ならば C はD）の構造を，可能な限りNMT に保持する．以下に RSMT の具体的なフローチャートを示す. 基本的には，訳文生成と訳文選択の 2 つに別れる.

1. 訳文生成

(a) 複数の NMT による訳文出力 $D_{a}$

NMT は局所的な最適化を防ぐために，乱数を利用している. そのため, 乱数の初期値によって，翻訳結果が異なる。そこで，類似文を複数定義して，複数の NMTを学習する。そして，複数の翻訳文を得る。

(b) NMT における N-best 出力 $D_{b}$

NMT は，複数の訳文を出力できる．そして，最もよい翻訳文は，常に最上位にくるとは，限らない。そこで 1 つの NMT において N-best の出力を得る.

2. 訳文選択

訳文選択は 4 つの段階を得て行う。

(a) 単語の一致率を利用した類似度による選択 $D_{c}$上記の入力文と出力文 (C と D) において, 対訳学習文の日本文と英文（A と B）との類似度を計算する。この類似度は，大量の対訳学習文を計算するため，単語の一致度で計算する（??節参照)。つまり (Cと A) および (D と B)の単語の類似度で計算する。そして，枝刈りをして，出力文を選出する.この過程において，1出力文ごとに A が B ならば C はD の構成を得る.

この選択は， A と C の類似確率および B と D の類似確率を利用して，出力文を選択していることを意味する。

(b) NMT の翻訳確率を利用した選択 $D_{d}$上記の出力文 $D_{c}$ から， NMT の翻訳確率を用いて訳文選択をおこなう。この選択は， Cと D の翻訳確率を利用して，出力文を選択していることを意味する。

(c) word2vec を利用した類似度による選択 $D_{e}$上記の出力文 $D_{d}$ において, Word $2 \mathrm{vec}$ の類似度を用いて訳文選択をおこなう．具体的には， (Cと A) および (D と B) の類似度を word2vec を利用して，枝狩りをおこなう（??節参照）。この選択は，A と C の類似確率および B と D の類似確率を利用して，出力文を選択していることを意味する。

(d) PMI による翻訳確率による選択 $D_{f}$

NMT は非線形推定であるため, 翻訳確率において異常値を出力することがある．そこで，線形性を保持した翻訳確率を用いて，訳文選択を

おこなう。具体的には，(C と A)および (D と B) の翻訳確率を単語の翻訳確率の PMIを利用して，枝狩りをおこなう（??節参照）。これが最終的な翻訳の尤度となる。

## 5 翻訳実験

## 5.1 実験条件

提案した RSMT の翻訳実験を行った. 比較のために， NMT の出力と比較した．実験条件を以下に示す．

表 1 実験データ

使用した NMT は, OpenNMT Ver2.1.2である.その他の学習パラメータは, defaultを利用した。

## 5.2 実験結果

評価は，人手評価および自動評価で，ともに 100 文で行った.

人手評価は，提案手法 (RSMT) と OpenNMT(NMT) で対比較試験を行った. 評価者は 8 名（学生）である. この結果を以下に示す。

表 2 人手評価 100 文

なお，出力文が一致する文 $(R S M T=N M T)$ は 16 文存在する。

評価は， RSMT $\approx$ NMT の文においてバラツキが見られる.しかし, 合計値を見ると, RSMT > NMT が 229 件 NMT $>$ RSMT が 169 件となった．また，被験者全員 (8名) は，100 文において，RSMT >= NMT となることを示した. よって，RSMT の有効性が示された.

自動評価の値を以下に示す.

表 3 自動評価 100 文

これらの結果から，提案方法が NMT と比較すると，優れていることがわかる.

## 5.3 RSMT の出力例

以下に RSMT の具体的な出力例を示す. C は入力文で， $\mathrm{D}$ は出力文（翻訳文）である。A は類似した対訳学習文 （日本文）で，B は類似した対訳学習文（英文）である。D および Cの下添字は， $N$-bestを意味する。
- $D_{x-r e f}$ 参照訳
- $D_{x}$ におけるカッコ内の数字最終的な数値（word2vec を利用した類似度 $\times$ PMI による翻訳確率)
- $D_{x}$ における (NMT) NMT の出力 $C_{1}$ 信号が青より赤に変わった。

$D_{1 \text { ref }}$ The signal changed from green to red .

$D_{1}$ The signal changed from green to red .(11.693840)

$A_{1}$ 信号が青から赤にぱっと変わった。

$B_{1}$ The traffic light jumped from green to red.

$D_{1}$ The traffic light turned red than blue . (NMT)

$D_{2}$ The signal turned red to red . (10.177000)

$A_{2}$ 信号が青から赤にぱっと変わった。

$B_{2}$ The traffic light jumped from green to red .

$D_{2}$ The signal turned red to red . (NMT)

一般的には，“より” “ “than”と訳される。そのた

め, 通常の NMT では “than” と訳される.これが要素合成法の問題である. しかし, RSMTでは, 正解文 “The signal changed from green to red” が得られた. なお，入力文を“信号が青から赤に変わった。”とすると，通常のNMTでも正解が得られる。

$C_{2}$ 私は電車事故で足留めを食った。

$D_{2 r e f} \mathrm{I}$ was stranded as a result of the train accident

$D_{1}$ I was stranded in the train accident . (-2.946399)

$A_{1}$ 今朝、私は電車の事故で学校に遅刻した。

$A_{1} \mathrm{I}$ was late for school this morning due to a train accident.

$D_{1}$ I was horse-collared in the train accident . (NMT)

$D_{2}$ I was injured in a train accident . (-4.559319)

$A_{2}$ 今朝、私は電車の事故で学校に遅刻した。

$B_{2} \mathrm{I}$ was late for school this morning due to a train accident.

$D_{2} \mathrm{I}$ was gloating in the train accident. (NMT)

“足留めを食う”は，慣用句表現である。この例では，RSMT は正確に翻訳できている。

$C_{3}$ 私は酒で頭がぼんやりしてしまった。

$D_{3 r e f}$ The spirits muddled my brain .

$D_{1}$ My mind became foggy with drink

$A_{1}$ 睡眠薬のせいで頭がぼんやりしている。

$B_{1}$ My mind is foggy with sleeping tablets .

$D_{1}$ My head was muddled with drink . (NMT)

この例文は，NMT が RSMT よりも，翻訳精度が高

いと判断した例である. 具体的には， $R S M T=N M T$

と判断した人が 2 名であり， $R S M T<N M T$ と判断し

た人が 6 名であった. なお，両者の差は，わずかである．ネイティブの評価では，結果が異なるかもしれない.

この例に示されるように， $R S M T<N M T$ と判断した文は，どちらも翻訳精度が高い。しかし，わずかの差で $R S M T<N M T$ と判断している.

$C_{4}$ 彼はバイクを木にぶつけた。

$D_{4 r e f}$ He hit his bike against a tree .

$D_{1} \mathrm{He}$ crashed his motorcycle into a tree .

$A_{1}$ 彼は車をガードレールにぶつけた。

$B_{1}$ He crashed his car into the guardrail .

$D_{1} \mathrm{He}$ crashed his motorbike into a tree .(NMT)

この例文は，NMT と RSMT の翻訳精度が，ほど同

程度と判断した例である。この例文の差は，アメリ

カ英語とイギリス英語の優先順位に依存すると思われる。

なお， $N M T=R S M T$ と判断した例文は，両者とも翻訳精度が低い文も含まれる。これは，RSMT は，
複数の NMT の翻訳文から，翻訳選択を行っているためと判断している.

## 6 考察

## 6.1 翻訳支援

提案した RSMT の特徴を，翻訳支援の立場から挙げる。 1. 修正の容易性

RSMT は，“Aが B ならば C は D” の形で出力する.

したがって $C$ の翻訳 $D$ に近い対訳学習文 $A$ と $B$ が表示される．そのため， $C$ が誤った翻訳 $D$ が出力されても， $A$ と $B$ および $C$ と $D$ を見比べることによって，容易に人手で修正が可能である。この特徴は翻訳支援と言える. 例を以下に示す.

C彼女は我を通した。

DShe had his own way .

A彼は我を通した。

BHe had his own way.

正解文は “She had her own way” である.この例文

では人手で容易に “his”を“her”に書き換えることができる.
2. $N$-BEST

RSMT では 1 位候補が間違っていても，2 位候補が正しい場合が多い. 例を以下に示す.

Cぶらんこが摇れている。

$D_{1}$ The swing is flicking.

$A_{1}$ 炎が摇れている。

$B_{1}$ The flame is flickering .

$D_{2}$ The swing is swining .

$A_{2}$ ハンモックが摇れていた。

$B_{2}$ The hammock was swinging .

この例では正解が第 2 候補にある。そして，対訳

学習文 $\mathrm{A}$ とを見ることによって，容易に人手で修正可能である.

## 6.2 類似度および翻訳確率の計算式

類似度や翻訳確率は，様々な計算方法がある．最初の文の類似度は，単語の一致率を利用した。文の類似度は，類似度の計算には，線形性を考えて word2vec における 1hot の式を利用している. 文の翻訳確率は，線形性を考慮して，PMIを利用している。今後，より翻訳精度を向上させるために，様々な計算式を調査して行きたい.

## 6.3 類似研究

類似研究としては，類推に基づく翻訳や，検索がある.特に早稲田大学の Lepage 氏のグループがある. これらの研究は, 基本的には”A が B ならば C は D”の推論を利用している.これらの研究の違いを以下に述べる.

1. 類推

自然言語処理の中で”A が B ならば C は D”の形式で，考えていくのは，多分類推 (analogy) の研究が，最初であろう.この形式は, 多分相当古い. Lepage は，論文 [6] で. 類推を”A が B ならば C は D” の形でまとめた. そして，様々な類推の思考実験を行っている.

2. 翻訳

論文 [7] は，類推関係に基づいた用例翻訳を提案している.この論文では，“A が B ならば C は D”の構造を利用している。しかし，この論文では，文を分解して，分解した要素に対して，類推して翻訳を行っている。そのため，かなりパターン翻訳に近い形になっている。この方法は，要素合成法の問題 2.1 を含むため，翻訳品質が低下することが多い，本論文では，文を分割しなくて，類推をおこなう。これにより，要素合成法の問題をかなり低減できる。また，本研究では，訳文選択の形式を取っている。

## 7 まとめ

本論文では，機械翻訳における大きな問題点として，要素合成法の問題を示した. そして，要素合成法の問題点からみた，NMT の問題点を示した. この問題点を軽減するために，相対的意味論の原理に従って，NMT の訳文を選択する “相対的意味論に基づく統計機械翻訳 (RSMT)” を提案した. 実験結果から，提案した RSMT の翻訳性能は，NMT を超えることを示した．なお．提案方法は，入力文に類似した対訳学習文を出力する。これは，翻訳支援において特に有効であると考えている.

## 謝辞

英文評価には，以下 8 名の学生と，英語教師の尾崎かおる氏の協力を得ました. 感謝いたします. (竹本祐基,新田玲輔, 本田涼太, 矢野貴大, 斎藤永, 浅井奏人, 森唯人, 柳原弘哉)

## 参考文献

[1] 池原悟. 非線形言語モデルによる自然言語処理. 岩波書店, 2009

[2] Yasutsugu MORIMOTO Hiroyuki Kaji, Yuuko Kida. Learning translations from biligual text. COLING-92, pp. 672-676, 1992.

[3] Hiroshi UCHIDA. Atlas fujitsu machine translation system. MT Summit 87, pp. 129-134, 1987.

[4] Margaret King. Machine Translation Today : the State of the Art. Edinburgh University Press, 1984.

[5] Kazunori MURAKI. Pivot: Two-phase machine translation system. MT-summit 1987, pp. 81-83, 1987.

[6] Yves Lepage. Analogy and formal languages. Theoretical Computer Science, 2002.

[7] 他木村竜矢. 類推用例翻訳における文長ごとの翻訳品質の評価. 言語処理学会第 20 回年次大会, pp. 836-839, 2014.