翻訳教育での利用を意識した
翻訳エラー分類体系の再構築
豊島 知穂1 田辺 希久子2 藤田 篤3 影浦 峡4
1関西外国語大学 2神戸女学院大学 3情報通信研究機構 ４東京大学

研究の背景• 質の高い翻訳文章作成において、修正というプロセスが必要不可欠である事は広く認識されている。
ST→TT
翻訳

ネイティブ or エディター
修正専門家
チェック

第3チェッカーチェック• EUの翻訳サービス標準2

翻訳品質評価基準• 翻訳業界における既存のエラーカテゴリ– Mul)dimensional Quality Metrics (MQM)– TAUS の Dynamic Quality Framework (DQF)– MeLLANGE error types (Secară, 2005)• 翻訳学習者の英日翻訳エラーの分析(Toyoshima et al., 2015)– MeLLANGEを単純化した16カテゴリ: MNH-TTの分類体系(Babych et al., 2012)– 英日翻訳におけるエラーを十分にカバー
3

MNH-TTのエラー分類体系
中分類ID ラベルと説明
X1 content-omission (原文内容の欠落)
X2 content-addition (原文にない訳の付加)
X3 content-distortion (原文の歪曲)
CONTENT
X4 content-sd-intrusiton (原文表現の押しつけ)
X5 content-tl-intrusion (目標言語表現の押しつけ)
X6 content-indecision (曖昧さ未解消)
X7 lexis-incorrect-term (用語の訳出エラー)
LEXIS
X8 lexis-inappropriate-collocation (不自然なコロケーション)
X9 grammar-syntax (構文エラー)
X10 grammar-preposition/particle (前置詞や助詞のエラー)
GRAMMAR X11 grammar-inflection (活用や一致のエラー)
X12 grammar-spelling (綴りエラー・誤変換)
X13 grammar-punctuation (句読法エラー)
X14 text-td-inappropriate-register (訳文レジスタ違反の用語や表現)
TEXT
X15 text-awkward-style (不自然なスタイル)
X16 text-cohesion (結束性違反)
4翻訳教育の現場において• 翻訳実習における一般的な手順
この部分が要修正！

翻訳課題

1. 提出
2. エラーを指摘
3. 修正&再提出
教員

学習者

5

エラーカテゴリは一貫して付与できるか?
ST: He has close to 700 FOIA requests before the FBI, seeking
350,000 documents……
TT: またこれまでに700近い情報公開法（FOLIA）→FOIAの請求をFBIにしており、35万の文章を要求した。
用語の訳出エラー? or 綴りエラー?
ST: U.S. A[orney General Eric Holder addressed the issue thisweek at a legal symposium at Georgetown University:
TT: 米国の司法長官エリック・ホルダー氏は（→、）ジョージタウ
ン大学で行われた法律に関するシンポジウムで今週この問題について次のように述べた。
テキストの読みやすさに関するエラー? or 句読点のエラー?
6

研究概要
翻訳の教育現場において、翻訳の質や評価を一貫して行うための道具が必要- 教員から学習者への教授の円滑化- 教員に対する信頼の担保
エラーカテゴリを付与したデータをもとに決定木、および事例集を作成する- エラーを客観的に判断できる- 判定理由を明確に説明することができる

7

エラーカテゴリ付与基準の作成手順

1. 各エラーカテゴリの典型例を抽出–(Toyoshima et al., 2015)で収集したエラー事例より

2. 翻訳教育における大まかな優先度を決定–––

各カテゴリの判断時に参照される情報（原文、訳文、用語集、ブリーフ）
実務翻訳におけるレビュープロセス
各カテゴリの深刻さを考慮

Lv 1 訳が未完成である

翻訳の正確さLv 2 原言語文書の要素に対して過不足や誤解がある
Lv 3 目標言語の文法的・統語的な問題がある
Lv 4 目標言語文書に質的な問題がある

目標言語における流暢さ、適切さ

Lv 5 納品・公表するプロダクトとしての問題がある9

3. 上記の優先度を考慮しながら複数名が独立にエラーカテゴリを付与
4. エラーカテゴリが一致しなかった事例について議論
境界例を蓄積10

MNH-TTの分類体系からの変更点• [X4 原文表現の押しつけ]の細分化– [X4a 未翻訳]
– [X4b 直訳調]

• [X5 目標言語表現の押しつけ]の廃止– 行き過ぎた工夫と誤訳の違いの弁別は困難– (Toyoshima et al., 2015)でも事例なし• [X7 用語の訳出エラー]の優先
ST: UCLA’s Civil Rights Project has been tracking na)onal trends.
TT: UCLAの市民権（→公民権）プロジェクトが合衆国全体の傾向を追っている。
11

MNH-TTの分類体系からの変更点• [X15 不自然なスタイル]の名称変更– [X14 レジスタ違反]の誤分類• 英数字の半角・全角の混同• 句読点の打ち方のエラー– 「スタイル」という名前の影響– [X15 表現のぎこちなさ]に変更
ST: The bout, said Forsyth, “would add to the distrac)on, notonly of the police, but of just people in general.”
TT: フォーサイス氏は、「この試合は、警察だけでなく、まさに世間一般の気を逸らしてくれるでしょう。」（→」）
12

MNH-TTの分類体系
X1
X2
X3
X4
X5X6X7X8X9X10X11X12X13X14X15X16

content-omission (原文内容の欠落)
content-addition (原文にない要素の付加)
content-distortion (原文の歪曲)
content-sd-intrusiton (原文表現の押しつけ)
content-tl-intrusiton (目標言語表現の押しつけ)
content-indecision (曖昧さ未解消)
lexis-incorrect-term (用語の訳出エラー)
lexis-inappropriate-collocation (コロケーションのエラー)
grammar-syntax (構文エラー)
grammar-preposition/particle (前置詞や助詞のエラー)
grammar-inflection (活用のエラーや数・性などの不一致)
grammar-spelling (綴りエラー・誤変換)
grammar-punctuation (句読法に関するエラー）
text-td-inappropriate-register （レジスタ違反）
text-awkward-style （不自然なスタイル）
text-cohesion （結束性違反）

13再整理した後のエラー分類体系
レベル
Lv １

Lv 2

Lv 3

Lv 4
Lv 5

ID ラベルと説明
X4a 未翻訳
X6 曖昧さ未解消
X7 用語の訳出エラー
X1 原文内容の欠落
X2 原文にない要素の付加
X3 原文内容の歪曲
X8 コロケーションのエラー
X10 前置詞や助詞のエラー
X11 活用のエラーや数・性などの不一致
X12 綴りエラー・誤変換
X13 句読法に関するエラー
X9 その他の文法的・統語的エラー
X16 結束性違反
X4b 直訳調
X15 表現のぎこちなさ
X14 レジスタ違反

X4 原文表現の押しつけ

X5 目標言語表現の押しつけ

X15 不自然なスタイル
14エラーカテゴリ付与のための決定木

入力

Lv 1
未完成

エラー

Q1a: 起点言語文書の内容が翻訳されず残っている

X4a

Q1b: 複数の訳候補が残っている

X6

Q2a: 原言語文書の内容が過不足なく誤解なく訳されていない
Q2b: 用語に関するエラー

Lv 2
誤訳
Lv 3
目標言語の文法的または統語的な問題

X7

X1

X2

X3

Q3a: 目標言語の文法的・統語的な問題である
Q3b: 下記のいずれかのエラー
X8X9

X10 X11 X12 X13

Q4a: 目標言語文書が結束性を損なっている

X16

Q4b: 訳が十分にこなれていない
Q4c: 直訳調である

Lv 4
目標言語文書の質の問題

X4b

X15

Q5a: 表現やスタイルがレジスタに適していない
Lv 5
納品・公表に際しての問題
その他

凡例

Yes
NoX1416

エラーカテゴリ付与の一貫性

作業者によるエラーカテゴリの付与• 分類基準の作成に関わっていない2名• 分類対象: 20文書における763個のエラー事例– (Toyoshima et al., 2015)で収集した全エラー709事例– 作業に先立って発見した新たなエラー– 各エラー箇所について具体的な修正案または大まかな修正方針が指定済み• 指示内容– 決定木および事例集に従うように指示– 特定の用語集を参照するようには指示せず

18

作業者2名によるエラーカテゴリの付与結果• 一致率: 67% (515/763)，カッパ値: 0.618– 16分類にしては低くないが– 「その他」が多数• 作業者A: 21事例
• 作業者B: 76事例
• cf. (Toyoshima et al., 2015) では709事例中3件

作業者のエラー付与の適否や分類を困難にする要因の分析が必要
19

著者のうち2名によるエラーカテゴリの付与結果• 一致率: 86% (658/763)，カッパ値: 0.830– 作業者との一致率は57〜68%，カッパ値は0.486〜0.609– 「その他」は各々1事例と5事例• 実際にエラーを付与した対象は781事例– 新たなエラーを発見– エラー箇所あるいは修正案を変更• 変更のなかった696事例を使って作業者のエラー付与の適否を定量評価
20

作業者2名の再現率・精度・F値
著者ら
作業者Aの判定 回答数 正解数 再現率 精度
X4a3
620.67
0.33
X60000.00
0.00
X748
23
170.35
0.74
X1
6291
60
0.97
0.66
X2
24
19
140.58
0.74
X3272
260
2080.760.80
X826
1670.270.44
X102833240.860.73
X11 原文内容の歪曲924
91.00
0.38
X12
15
18
14
0.93
0.78
X13
18
24
130.72
0.54
X9
916
60.67
0.38
X16
33
24
190.580.79
X4b108
68
49
0.45
0.72
X15
17
19
3
0.18
0.16
X14
24
39
12
0.50
0.31
直訳調
その他
0
16
00.00
0.00
エラー

作業者B
F値 回答数 正解数 再現率 精度
0.44
200.00 0.00
0.00
00
0.00 0.00
0.48
39
23
0.48 0.59
0.78
91
56
0.90 0.62
0.65
25
18
0.75 0.72
0.78
203
175
0.64 0.86
0.33
43
0.12 0.75
0.79
23170.61 0.74
0.55
1060.67 0.60
0.85
15
13
0.87 0.87
0.62
22
12
0.67 0.55
0.48
166
0.67 0.38
0.67
24
19
0.58 0.79
0.56
12866
0.61 0.52
0.17
18
6
0.35 0.33
0.38
121
0.04 0.08
0.00
64
00.00 0.00

F値
0.00
0.00
0.53
0.73
0.73
0.74
0.20
0.67
0.63
0.87
0.60
0.48
0.67
0.56
0.34
0.06
0.00
21

頻出したエラーカテゴリの付与誤りとその原因

[X3 原文内容の歪曲]頻出したエラーカテゴリの付与誤り[X4b 直訳調]の判断の不一致
原文内容を正しく理解できているかどうか
正解

誤答

Lv

X3

X4b異なる

124456

X4bX3異なる

291241

X3X1

同じ131225

X8X3異なる

7714

X7X3X3

X11[X3同じ原文内容の歪曲]
11314[X1原文内容の欠落]の判断の不一致
異なる
11314

X3X9異なる

6713

X7

X1

同じ

7512

作業者A 作業者B 合計

23

入力

Lv 1
未完成

エラー

Q1a: 起点言語文書の内容が翻訳されず残っている

X4a

Q1b: 複数の訳候補が残っている

X6

Q2a: 原言語文書の内容が過不足なく誤解なく訳されていない
Q2b: 用語に関するエラー

Lv 2
誤訳
Lv 3
目標言語の文法的または統語的な問題

X7

X1

X2

X3

Q3a: 目標言語の文法的・統語的な問題である
Q3b: 下記のいずれかのエラー
X8X9

X10 X11 X12 X13

Q4a: 目標言語文書が結束性を損なっている

X16

Q4b: 訳が十分にこなれていない
Q4c: 直訳調である

Lv 4
目標言語文書の質の問題

X4b

X15

Q5a: 表現やスタイルがレジスタに適していない
Lv 5
納品・公表に際しての問題
その他

凡例YesNo

X1424

X3歪曲 → X4b直訳と誤答
ST: We rou)nely ask of people to take on jobs that risk
their families.
TT: 常日頃から、市民に対し家族を危険にさらす（→犠牲にしかねない）仕事につくよう求めてきました。
ST: I asked him about the FBI’s focus on animal rights
and environmental groups.
TT: FBIが動物保護団体や環境保護団体に焦点を置いている（→を標的にしている）ことに関して彼に尋ねた。
25

X4b直訳 → X3歪曲と誤答
ST: I met a young college student and asked her … She
said proudly, “I emailed my professors and said I
won’t be in class today; I’m going to get aneduca)on.”
TT: 私は若い大学生（→女学生）に会い、……を聞いた。
彼女は堂々と「私は教授にもメールをして今日授業には出ないことを伝えました。私は教育を受けるつもりです（→今日はここで学びます）」と言った。

26

X3歪曲 → X1原文内容の欠落と誤答
ST: The Parks moved to Detroit.
TT: パークス（→パークス一家）はデトロイトへ引っ越した。
ST: We have ﬁled a class ac)on for approximately ahundred sailors.
TT: およそ100人の兵士（→海軍・海兵兵士）のための集団訴訟を起こした。

→修正意味の捉え間違いによるエラーカテゴリの付与誤り
27

まとめ
学習者の作成した翻訳エラーに一貫して誤りカテゴリを付与するために、決定木および事例集を作成し、781件のエラー実例の再付与を行なった。
- エラーカテゴリ付与結果
作業者2名 一致率: 67% カッパ値: 0.618
著者2名
一致率: 86% カッパ値: 0.830
l 作業を通じて、分類結果に誤差が生じやすい例が明らかとなり、その原因について考察した。
28

今後の課題• 幅広い翻訳文書での実験の実施
今回対象としたジャーナリズム記事のみならず、多様な文書の翻訳実習を通じて、決定木および事例集をブラッシュアップする必要がある。

• エラーの自動検出にむけて学習者に対する短時間でのフィードバックおよび教員の負担の削減のため、自動的なエラーの検出にもつなげたい。

• 翻訳教育への利用
学習者エラー傾向や学習過程における傾向の変化の分析にもエラーの分類体系は有用だと考えられる。
29