翻訳時に参照すべき情報が欠けることで生じる問題:
ニュース記事の英日機械翻訳・ポストエディットを例題に

藤田 篤
情報通信研究機構

今日の話題: MTの誤り分析
機械翻訳(MT)(の当面の目標) vs. 翻訳
例題: ニュース記事の英日機械翻訳
l 分析の方法論
ln

MT訳の2段階ポストエディット
MT訳 à MTの限界点 [Snover+ 06]
l MTの限界点 à 最低限の翻訳
ln

2段目のポストエディット内容の分析
ln

人間翻訳向け校閲体系 [豊島+ 16] を用いた分類MTが参照していない情報の確認

提言
MTの研究者や開発者向け
l MTのユーザ向け
l2翻訳とは何か?
起点言語文書が担う役割を目標言語で果たすことl

文書を扱う
語や文の単なる sequence-to-sequence ではない
n 文書の内部構造，構成要素の役割，それらの相互作用nl

文書の外側にある仕様も要考慮
文書の役割や翻訳の目的(スコポス) [Vermeer 89]
n 目標言語における規範，言語仕様域(レジスタ)
ncf. MT
定式化のために単純化/無視l 訓練データで間接的に表現
l3

疑問とアプローチ
MTの到達目標の向こう側にどんな課題があるか?
翻訳品質

理想的な翻訳
PEでは超えられない隔たり最低限の翻訳
今回の焦点
MTの当面の到達目標

MTの現在の到達点

何らかの参照訳
文書単位の最低限のPE

文単位の最低限のPE

BLEU [Papineni+ 02]
MT訓練時の最適性指標
参照訳ベースの誤り分析

NMT + 大規模対訳データ + 分野適応4

分析対象データの作成
翻訳工程の対比起点言語文書文単位
文書単位(1) MT

翻訳
目標言語文書(仮訳)
修正・校閲(2) PEPE(3) PE

MT+PE

今回の工程

目標言語文書(最終訳)
MTなしの工程5

分析対象文書
ニュース記事の英日翻訳
起点言語: それなりに分かる英語l 目標言語: 母語=日本語
l その他の要求仕様
l

原文が文書である
n 訓練データがある: できるだけ高品質なMTから始めるため
n 参照訳がある: PEの作業量の抑制のため
nà Asian Language Treebank [Riza+ 16]
用途

文書数

文数

訓練データ

1,698

開発データ
評価データ

トークン数
英語

日本語

18,088472.1k

610.8k

98

1,000

25.6k

33.0k

97

1,018

26.3k

33.4k
6

工程(1) 文単位のMT訳の生成
英日NMTの学習
詳細は予稿を参照されたい
l 3フェーズ [Chu+ 17]l

1. 事前学習 (NICT内製TexTraデータ)
2. 混合パラメタ調整 (TexTraデータ + ALT訓練データ)
3. 非混合パラメタ調整 (ALT訓練データ)

ALTの評価データを翻訳
ビーム幅10のビームサーチ
l 長さに関する正規化重みは開発データを使って最適化
l7

工程(2) 文単位のPE
全1,018文をシャッフル
文ごとに必要最低限の修正を施す [Snover+ 06]
l“最低限”: 模範訳よりはMT訳に似ている
nl

編集回数(MT訳 à 修正訳) <= 編集回数(MT訳 à 模範訳)

編集回数は tercom でカウント
1語削除 = 1回
n 1語挿入 = 1回
n 1語置換 = 1回
n ひとまとまりの語句の移動 = 1回n

結果
l95% (970/1,018) の文にPEが必要 à MTはまだまだ

8

工程(3) 文書単位のPE
シャッフルしてあった97文書の文を整列
文書ごとに必要最低限の修正を施す
文ごとのときと同じ制約
l 結束性，一貫性などに注意
l結果
l31% (320/1,018) の文にPEが必要 à 文単位の翻訳の困難さ
訳出物

BLUE計算時の参照訳
ALTの参照訳

工程(3)の結果

ALTのみを用いた場合のMT訳

14.6

15.9

フェーズ1終了時のMT訳

29.0

40.3

フェーズ2終了時のMT訳

35.8

57.6

フェーズ3終了時のMT訳

36.0

58.6

工程(2): 文単位のPEの結果

36.895.0

工程(3): 文書単位のPEの結果

36.8

100.0

9

PE事例 (ID=139760)
原文John Paul’s six-day tour was hugely popular, attracting hundreds of thousands ofpeople from the Catholic religion. It became the first ever UK visit from the Pope,
which will make Pope Benedict’s visit the second papal one.
MT訳

工程(1) 文単位のMT訳の生成

ジョン・ポールの６日間のツアーは非常に人気があって、カトリックの宗教から何十万もの人々を引きつけた。それはローマ教皇からの初めての英国訪問となり、ローマ教皇ベネディクトの第二の教皇訪問となる。

文単位のPEの結果

工程(2) 文単位のPE

ジョン・ポールの６日間のツアーは非常に人気があり、カトリックを信仰する何十万もの人々を引きつけた。それはローマ教皇の初めての英国訪問となり、ローマ教皇ベネディクトの訪問は２度目の教皇訪問となる。

文書単位のPEの結果

工程(3) 文書単位のPE

法王ヨハネ・パウロの６日間の訪問は非常に人気があり、カトリックを信仰する何十万もの人々を引きつけた。この時がローマ法王の初めての英国訪問となり、法王ベネディクトの訪問は２度目の法王訪問となる。
10

誤り分析
MTの限界点と最低限の翻訳の差を知りたいl

工程(3) 文書単位のPEの内容を分析する

手順
1. 事例の列挙: 修正前後の表現対の抽出・分解 [宮田+ 17]n

原文の対応箇所も見ながら

2. 事例の分類: MNH-TTの校閲カテゴリ体系 [豊島+ 16]n

人間の英日翻訳向けに設計されたもの，16カテゴリ

3. 文単位での修正可否の判定= 文書中の他の文を参照する必要の有無
n 工程(2) 文単位PEの目標 vs. 文単位の最適訳
n11修正事例の列挙・分解・分類の例
文単位のPEの結果
クレメンス（ワールドシリーズ７回出場で３対０、防御率１．９０）は、少なくとも１日ペティット（ワールドシリーズ１０回出場で３対４、３．９０）と組んで、土曜日に３３回目のポストシーズンのスタートを切る。
工程(3): 文書単位のPE

文書単位のPEの結果

クレメンス（ワールドシリーズ７回出場で３勝０敗、防御率１．９０）は、少な
くとも１日はペティット（ワールドシリーズ１０回出場で３勝４敗、３．９０）と史上最多で並び、土曜日に生涯でポストシーズン33回目の先発登板を行う。

X3

X3

３対０
３勝０敗

X3

３対４
３勝４敗

３３回目のポストシーズンのポストシーズン33回目のX15

X3

１日
１日はX1

[]
生涯でスタートを切る
先発登板を行う

X3

X1[]
史上最多で〜と組んで〜と並び12

各カテゴリの事例数 (合計530件)
文書中の他の文を参照する必要の有無で細分類
110

100

90

80

70

60

50

40

30

20

未完成

10

cf. 人間の翻訳 [豊島+ 16][山本+ 16][Fujita+ 17][田中+ 18]
0l

X4a:untranslated

用語の訳出誤り

X6:indecision
X7:term

内容の誤り

X1:omission

いわゆる誤訳

X2:addition
X3:distortion
X8:collocation
X10:preposition/particle

目標言語の文法的誤り

NoNeedContext

X11:inflection

NeedContext

X12:spelling
X13:punctuation

結束性違反

X9:syntactic-others

テキストの質的問題

X16:incohesive

レジスタ固有の問題

X14:register

X4b:too-literal

レジスタ違反X15:clumsy

0

10

2030

405060# of examples

70

80

90

100

110

13

文単位でもできることはまだ多い
ただし，単なる sequence-to-sequence ではないl

知識が不可欠: 一般常識，対象分野の専門的知識や表現
John Paul

ヨハネ・パウロ

Clemens … 3-0 in seven startsl翻訳の仕様を要理解n

スコポス: 文書の役割や翻訳の目的lne.g., 想定読者，文書の用途，メディアの空間的制約

レジスタの規範llクレメンスは7度先発して3勝0敗

e.g., 固有名の翻字の要不要，使用可能な漢字，括弧の使い方

用語集を要参照14

文書内の他の文を参照する必要性
修正事例中の31% (164/530)l【X16 結束性違反】が最多の75件
明示化: 指示詞や人称代名詞等の参照先の名詞句の明示
n 省略: 自明な格要素の削除
n 主題化/非主題化: 「は」と「が」の使い分け
n 訳出の統一: 固有名は【X7 用語の訳出誤り】に分類
nl

文脈依存の曖昧性の適切な解消
The United Nations (UN) on Friday called on the government of Pakistan toinvestigate numerous killings and abductions, particularly of journalists. ...
Amnesty International has also urged the government of Pakistan to ensure
the protection of journalists and media workers in the country.
Since completion of the surgery, the patient has been on immunosuppressant drugs to prevent rejection of the new limbs.
15

提言: MTの研究者や開発者向け
何を目指すか?
全自動? 人間との共存?
l 文単位でも問題は山積l

工程(2) 文単位のPEで95%が修正された
n 工程(3) 文書単位のPEにおける各文で可能な修正
nl

陽に参照・遵守していない情報n

知識，翻訳の仕様，用語集
ln

一部は制約付きデコーディング [Post+ 18] に期待

文脈情報le.g., ゼロ照応，指示詞，上位-下位，オブジェクト-属性

文書レベルの自動評価技術を要確立
l

訳出の一貫性，結束性など
16提言: MTのユーザ向け
現在のMTは必ずしも翻訳をしない
翻訳時に参照すべき情報の多くを見ていない
l 単なる sequence-to-sequencel

そのようなMTを利用する上での注意
意中のMTが何を参照しているかを知る
l 使い方をよく考えるl

翻訳の目的や仕様などに照らしてn 誰が消費する? 誤りの責任は誰が負う?
nl

さもなくば，深刻な翻訳過誤を生じうる
堺筋線

Sakai Muscle line

高塚川周辺に避難勧告が出ました
Foi emiitido aviso para se refugiar proximidades do rio Takatsuka.
17

まとめ
機械翻訳(MT)(の当面の目標) vs. 翻訳
例題: ニュース記事の英日機械翻訳
l 分析の方法論
ln

MT訳の2段階ポストエディット
MT訳 à MTの限界点 [Snover+ 06]
l MTの限界点 à 最低限の翻訳
ln

2段目のポストエディット内容の分析
ln

人間翻訳向け校閲体系 [豊島+ 16] を用いた分類MTが参照していない情報の確認

提言
MTの研究者や開発者向け
l MTのユーザ向け
l18