機械翻訳における訳語⼀貫性
評価⽤データセットの構築
阿部 ⾹央莉1, 鈴⽊ 潤1, 2, 3, 永⽥ 昌明3, 乾 健太郎1,2
乾・鈴⽊研究室
東北⼤学⼤学院 情報科学研究科
1. 東北⼤学
2. 理化学研究所 AIP センター
3. NTT コミュニケーション科学基礎研究所
2019/5/29

2019年度 ⼈⼯知能学会全国⼤会（第33回）

1

背景⼀⽂単位の機械翻訳精度はコミュニケーショ
ン補助ができる程度まで到達した
次の⽬標︓ビジネスに使える翻訳⽂脈や状況を考慮した忠実な翻訳
コミュニケーションの補助

⽇常会話
2019/5/30

賢い電⼦辞書・フレーズ集

ビジネスに使える翻訳

会議通訳

⽂書翻訳

2019年度 ⼈⼯知能学会全国⼤会（第33回）

2

課題︓「訳語⼀貫性」を担保する翻訳 ビジネスで使える⽂書翻訳を考えた際、訳語に⼀貫性を持たせたい対象が存在翻訳しますTitle: “Our Company’s New Product:〇〇”In our company, we announced thenew product 〇〇 …
Strategy of Our company: ……

2019/5/30

2019年度 ⼈⼯知能学会全国⼤会（第33回）

3

課題︓「訳語⼀貫性」を担保する翻訳 ビジネスで使える⽂書翻訳を考えた際、訳語に⼀貫性を持たせたい対象が存在しかし、現状の翻訳は⼀貫性を担保しない
タイトル︓「弊社の新商品〇〇について」
我が社 弊社では、この度新商品の〇〇を発表した
当社 弊社の戦略︓〜

2019/5/30

2019年度 ⼈⼯知能学会全国⼤会（第33回）

4

本研究のアプローチ
 ⼤⽬的︓「訳語⼀貫性」を実現した
ニューラルネット機械翻訳
このフレーズはこう訳して︕
・our company → 弊社
・〇〇 → △△ …
タイトル︓「弊社の…

Title: “Our company’s …
翻訳モデル

In our company, …
Strategy of our company: …

弊社では、…
弊社の戦略︓

これを実現するために、まずは以下を整備
1. 訳語⼀貫性のある評価⽤データセット
2. 訳語⼀貫性を適切に評価する⾃動評価指標
2019/5/31

2019年度 ⼈⼯知能学会全国⼤会（第33回）

5

1. 訳語⼀貫性のあるデータセット

既存のデータセットの問題点
既存のデータセットにおける参照訳は、訳語⼀貫性を評価するのに不適切データセットは、⼀般的に様々なドメイン・⽤途で記された⽂章を混合して作られる→ 同じ概念を指すものでも、訳語に揺れが存在例︓KFTT1（Wikipediaから京都に関する記事を抽出）
 “幕府”→ (“Bakufu”, “Shogunate”, “the samurai government” …)

1 京都フリー翻訳タスク : http://www.phontron.com/kftt/index-ja.html

2019/5/30

2019年度 ⼈⼯知能学会全国⼤会（第33回）

6

1. 訳語⼀貫性のあるデータセット「訳語⼀貫性」評価⽤データセットの要件
ユーザ
太字斜体の候補に訳語を統⼀したい︕

元のデータセット
Minamoto clan is …
源⽒ は …
... of Uda-Genji …
宇多 源⽒ の…
…

⼀貫性訳語候補リスト
翻訳元

翻訳先

源⽒

Genji, Minamoto clan

宇多 源⽒ Uda-Genji
源

Minamoto no, Minamoto

宇多Uda, UDA ⽇英（KFTT）・英⽇翻訳（ASPEC）で、既存のデータセットを改良することを考える（例はKFTT）
2019/5/31

2019年度 ⼈⼯知能学会全国⼤会（第33回）

7

1. 訳語⼀貫性のあるデータセット「訳語⼀貫性」評価⽤データセットの要件
ユーザ
太字斜体の候補に訳語を統⼀したい︕

改良したデータセット{Genji/Minamoto clan} is
源⽒ は … 。
….
宇多 源⽒ の… of {Uda-Genji} …
…。

⼀貫性訳語候補リスト
翻訳元

翻訳先

源⽒

Genji, Minamoto clan

宇多 源⽒ Uda-Genji
源

Minamoto no, Minamoto

宇多Uda, UDA

注︓“Uda-Minamoto clan”とはならない

改良したデータセット︓
各⽂で、対象の訳語部分に対し、⽂脈上適切な訳語候補を最終的に⼈⼿で判断し付与
2019/5/31

2019年度 ⼈⼯知能学会全国⼤会（第33回）

8

1. 訳語⼀貫性のあるデータセット「訳語⼀貫性」評価⽤データセットの要件
ユーザ
太字斜体の候補に訳語を統⼀したい︕

改良したデータセット{Genji/Minamoto clan} is
源⽒ は … 。
….
宇多 源⽒ の… of {Uda-Genji} …
…。

⼀貫性訳語候補リスト
翻訳元

翻訳先

源⽒

Genji, Minamoto clan

宇多 源⽒ Uda-Genji
源

Minamoto no, Minamoto

宇多Uda, UDA

指定した候補に従い「正解」の⽂を作成
実験で⽤いるデータセット
源⽒は … 。
Genji is … .
宇多 源⽒の … 。
… of Uda-Genjifamily … .
⼊⼒⽂

参照訳

実験で⽤いるデータセット︓
ユーザが指定した候補を、改良したデータセットに付与された訳語候補から選び、参照訳とする
2019/5/31

2019年度 ⼈⼯知能学会全国⼤会（第33回）

9

2. 訳語⼀貫性のための適切な⾃動評価

既存の評価指標の問題点
機械翻訳で⼀般的に⽤いられる評価指標
BLEU : 参照訳とのN-gram⼀致を測る
METEOR : 参照訳と近い意味を持つ単語を許容これらの評価指標は、「特定のフレーズを常に同じ訳語に翻訳できているか」ということを厳密に評価できない→ 訳語⼀貫性に厳密に着⽬する評価指標を考える

2019/5/31

2019年度 ⼈⼯知能学会全国⼤会（第33回）

10

2. 訳語⼀貫性のための適切な⾃動評価

評価指標: TERを⽤いたF値
TER (Translacon error rate)を測る際の参照訳と出⼒⽂のアライメントを利⽤して、⼀貫性訳語に対しF値を測定

Reference

it fell precisely on the 100th day aber the death of takauji ashikaga

M1 output

it was the 100th day after takauji ashikaga ’s death .

Reference

it fell precisely on the 100th day after the death of takauji ashikaga

M2 output

ashikaga was the 100th day after takauji ashikaga ’s death「望んだ位置に正しく訳語が⽣成されたか」をより厳密に評価
2019/5/31

2019年度 ⼈⼯知能学会全国⼤会（第33回）

11

モデル: 制約付きデコーディング[Hokamp and Liu (2017)]

 Grid-beam searchを⽤いたデコーディング⼿法
各⽂のデコーディング時に、1フレーズ制約を指定可能
Input sentences Phrase table

Output sentences

また 井沢 は 、 源⽒
(源⽒, Genji)
物語 を ヒント に しているのではないか と 推測 し て い る 。

On the other hand , IZAWA
supposes that the author
might have gotten the hintfrom The Tale of Genji .

当時 の 東北 地⽅ は
奥州 藤原 ⽒ が ⽀配し 、 朝廷 の ⽀配 が及 ん で い な い 地域
だっ た 。

(朝廷, Court)

翻訳モデル

The Oshu Fujiwara clan
ruled the northeast region
at that time , as it was anarea to which the Court 's
rule did not extend .

[Hokamp and Liu (2017)] : Lexically con- strained decoding for sequence generation
using grid beam search. In Proceedings of the 55th Annual Meeting of theAssociation for Computational Linguistics, pages 1535–1546.
2019/5/30

2019年度 ⼈⼯知能学会全国⼤会（第33回）

12実験翻訳モデル（2種類）ベースライン: RNN encoder-decoder制約付き: ベースライン + 制約付きデコーディング
⼀貫性訳語リストに基づき、リスト内のフレーズを含む⽂には必ず制約を付加

使⽤したデータセット（2種類）
KFTT（⽇英）, ASPEC（英⽇）⾃動評価⼿法（3種類）
BLEU
⼀貫性訳語の出現率（省略）TERのアライメントを⽤いた⼀貫性訳語のF値
2019/5/29

2019年度 ⼈⼯知能学会全国⼤会（第33回）

13

実験結果︓定量評価
⼀貫性訳語のF値
BLEU
ベースライン 制約付き ベースライン 制約付き
KFTT
ASPEC

12.88
35.71

12.91
35.36

61.17
71.31

86.27
77.64

KFTT（⽇→英）BLEU, F値 : ベースライン < 制約付き

ASPEC（英→⽇）
BLEU : 制約付き < ベースラインF値2019/5/30: ベースライン < 制約付き

⼀貫性訳語は出⼒したものの、ベースラインが持つ翻訳精度を損なう結果に2019年度 ⼈⼯知能学会全国⼤会（第33回）

14

実験結果︓定性評価
⼀貫性訳語︓（approach, 考え ⽅）
⼊⼒⽂
参照⽂
ベース
ライン

The details in the establishment of &quot; Individual horticultural
products section &quot; such as progress and approach are
explained .
また ， 設置 に 当た っ て の 進捗 状況 及び 考え ⽅ など
「 個性 園芸 室 」 の 設置 を 解説 し た 。
「 個別 園芸 製品 部⾨ 」 の 確⽴ の 経緯 を 説明 し た 。

制約付き その 経緯 と 考え ⽅ を 解説 し た 。

制約を与えた訳語（”考え ⽅”）の出⼒はできたがその部分以外のフレーズが⽋けている
2019/5/30

2019年度 ⼈⼯知能学会全国⼤会（第33回）

15結論機械翻訳における、訳語⼀貫性を評価するためのデータセットを構築した
構築したデータセットによって既存の翻訳⼿法の訳語⼀貫性を評価し、現状の翻訳器の問題点を明⽰的に表した今後の⽬標︓訳語の⼀貫性を実現するための⾃動翻訳の⽅法論を考案する

2019/5/29

2019年度 ⼈⼯知能学会全国⼤会（第33回）

16

Appendix

2019年度 人工知能学会全国大会（第33回）

2019/5/29

17

訳語の⼀貫性問題が⽣じやすい
翻訳⽅向、ドメイン
 KFTT（⽇→英）Wikipediaの「京都」に関する記事の収集
⽇本独⾃の⽂化や概念を表す語が多く出現→ 他の⾔語に訳す際、様々な翻訳の仕⽅がある（e.g., ⽇本語読みに忠実なローマ字表記、その概念の「意味」を英語で表した表記…）

 ASPEC（英→⽇）
科学論⽂のデータセット⽇常的意味と異なる意味を持つ専⾨⽤語が多く出現
また、翻訳者や時代により、同じ概念を表す専⾨⽤語でも表現が異なる場合もある
2019/5/31

2019年度 ⼈⼯知能学会全国⼤会（第33回）

18

データセット作成⽅法(1)1. 既存のデータセットのうち、訳語揺れがある（ぶれている）対象を⾒つける
具体的には、単語アライメント（KFTT: ⼈⼿アノテーション, ASPEC: GIZA++で⾃動）を利⽤し、翻訳元のある単語に対し翻訳先で複数の訳語候補があるものを取得例:(“examination”, {“検討”, “実験”, “検査”})(“源⽒”, {“Genji”, “Minamoto”, “clan”})

2019/5/29

2019年度 ⼈⼯知能学会全国⼤会（第33回）

19

データセット作成⽅法(2)2. 訳語揺れがある単語に対し、フレーズレベルに直せるものは直す例: (“源⽒”, {“Genji”, “Minamoto”, “clan”})→ (“源⽒”, {“Genji, “Minamoto clan”})

3. 2で得られた単語/フレーズペアが含まれる⽂それぞれについて、正解の訳語を付加
「正解かどうか」は最終的に⼈⼿で判断

2019/5/29

2019年度 ⼈⼯知能学会全国⼤会（第33回）

20

実際のデータセット
KFTT（もっと⾒やすくする予定）

ASPEC

2019/5/29

2019年度 ⼈⼯知能学会全国⼤会（第33回）

21

⼀貫性訳語のF値
参照⽂の各単語

出⼒⽂の各単語

⼀貫性訳語に対する判定

Ashikagait

アライメント不⼀致…

…

Takauji

TakaujiAshikaga

Ashikaga

アライメント⼀致

Precision
(アライメント⼀致数)/(Reference中の⼀貫性訳語出現数)

Recall(アライメント⼀致数)/(Output中の⼀貫性訳語出現数)

F値
2 * Precision*Recall / (Precision + Recall)
2019/5/31

2019年度 ⼈⼯知能学会全国⼤会（第33回）

22

データセットの統計

⼀貫性訳語の種類数
A: ⼀貫性訳語を含む⽂数
B: 元データセット⽂数
A/Bの割合訳語候補数の平均
訳語候補数の最⼤値

2019/5/31

KFTT（⽇英）ASPEC（英⽇）

84457
1245
36.7%
2.27
121964071812
22.5%
2.77
10

2019年度 ⼈⼯知能学会全国⼤会（第33回）

23

モデル: 制約付きデコーディング[Hokamp and Liu (2017)]

デコーディング時に指定した制約対象が出現した
場合、beam searchの最上位にその訳語を⼊れる→ 必ず ”Genji” が出⼒される （図をより精緻なものに変える予定）The

制約: (源⽒, Genji)

TaleofGenji

Genji

…

…

源⽒物語

Beam-search Minamoto clan
Minamoto no[Hokamp and Liu (2017)] : Lexically con- strained decoding for sequence generation
using grid beam search. In Proceedings of the 55th Annual Meeting of theAssociation for Computational Linguistics, pages 1535–1546.
2019/5/31

2019年度 ⼈⼯知能学会全国⼤会（第33回）

24

実験結果︓定性評価 (2)⼀貫性訳語︓（above, 上記）
⼊⼒⽂
参照⽂

Two cases with the above mentioned disease in 54-year-old and 84year-old women were reported .
５４ 歳 および ８４ 歳 ⼥性 の 上記 の 症例 を 報告 し た 。

ベース
ライン

５４ 歳 と ８４ 歳 ⼥性 の 標記 疾患 の 症例 を 報告 し た 。

制約付き

５４ 歳 と ８４ 歳 ⼥性 の 上記 疾患 の 症例 を 報告 し た 。

うまく制約が働き、望んだ通りに「above」を「上記」と訳せている

2019/5/30

2019年度 ⼈⼯知能学会全国⼤会（第33回）

25

実験結果︓定性評価 (3)⼀貫性訳語︓（本尊, Honzon）
⼊⼒⽂

本尊 は 阿弥陀 如来 ⼀ 仏 で あ る。

参照⽂

The Honzon is only Amida Nyorai .

ベース
ライン

The principal image is Amida Nyorai ( Amitabha Tathagata ) .

制約付き

Honzon ( principal image of Buddha ) is Amida Nyorai ( AmitabhaTathagata ) .

うまく制約が働き、指定した通りに”本尊”に対応する”Honzon”という単語を出⼒できている

2019/5/30

2019年度 ⼈⼯知能学会全国⼤会（第33回）

26

Trash2019年度 人工知能学会全国大会（第33回）

2019/5/30

27

背景︓⽂単位のNMTの精度
 ニューラルネットを⽤いた⽂単位の機械翻訳は、実⽤レベルのものになってきた

Google翻訳、最近精度良いよねみたいな記事のスクショ
or ⽂単位翻訳制度に歓喜してる⼈の図最近の翻訳すごい︕
⽂単位なら︕

2019/5/29

2019年度 ⼈⼯知能学会全国⼤会（第33回）

28

課題︓⾃然な⽂章翻訳
 ⽂章単位の翻訳を考えた時、現状のNMTは「⽂章全体として⾃然な翻訳」の要件を満たしていない
 ⽂章全体として⾃然な翻訳とは︖
⽂脈に依存した訳語選択
代名詞/ゼロ照応補完訳語の⼀貫性2019/5/29

2019年度 ⼈⼯知能学会全国⼤会（第33回）

29

課題︓⾃然な⽂章翻訳
 ⽂章単位の翻訳を考えた時、現状のNMTは「⽂章全体として⾃然な翻訳」の要件を満たしていない
 ⽂章全体として⾃然な翻訳とは︖
⽂脈に依存した訳語選択
代名詞/ゼロ照応補完訳語の⼀貫性本研究では、訳語の⼀貫性に焦点を当てる
2019/5/29

2019年度 ⼈⼯知能学会全国⼤会（第33回）

30

本研究のアプローチ
 ⼤⽬的︓「訳語⼀貫性」を実現した
ニューラルネット機械翻訳
源⽒ は…
源⽒ の ⻑は …
源⽒ と 平⽒ は …

“源⽒”→”Minamotoclan”にしたい︕

翻訳モデル

Minamoto clan was …
Genji was …
The top of Minamoto clan …
The top of Genji …
Minamoto and Taira clan …
Genji and Heiji ..

これを実現するために、まずは以下を整備
「訳語⼀貫性」評価⽤データセット
「訳語⼀貫性」を適切に評価する⾃動評価指標
2019/5/30

2019年度 ⼈⼯知能学会全国⼤会（第33回）

31

本研究のアプローチ
 ⼤⽬的︓「訳語⼀貫性」を実現した
ニューラルネット機械翻訳
源⽒ は…
源⽒ の ⻑は …
源⽒ と 平⽒ は …

やっぱり”源⽒”→”Genji”にしたい︕

翻訳モデル

Minamoto clan was …
Genji was …
The top of Minamoto clan …
The top of Genji …
Minamoto and Taira clan …
Genji and Heiji ..

これを実現するために、まずは以下を整備
「訳語⼀貫性」評価⽤データセット
「訳語⼀貫性」を適切に評価する⾃動評価指標
2019/5/30

2019年度 ⼈⼯知能学会全国⼤会（第33回）

32