翻訳教育での利用を意識した翻訳エラー分類体系の再構築
豊島 知穂
関西外国語大学

1田辺 希久子
神戸女学院大学

藤田 篤
情報通信研究機構

はじめに

影浦 峡
東京大学

表 1: エラーの大まかな優先度.

翻訳の産出過程では一般的に，下訳に対するレビューをふまえて修正が行われる．翻訳学習者にとっても，学習者が自らの翻訳におけるエラーを指摘され，それをふまえて修正を行う，という機会を繰り返し持つこと

Lv 1
Lv 2
Lv 3
Lv 4
Lv 5

訳が未完成である
起点言語文書の要素に対して過不足や誤解がある
目標言語の文法的・統語的な問題がある
目標言語文書に質的な問題がある
納品・公表するプロダクトとしての問題があるは有益である．特に翻訳教育の現場においては，翻訳析に資することを確認した．ただし，いずれの研究にに関わる概念などの深い理解のみならず，教員から学おいても，個々のエラーを分類する手続きについては習者への教授の円滑化，教員に対する信頼の担保のた検討されておらず，一貫した分類が容易ではない．

めに，翻訳の質やエラーの評価を一貫して行うための翻訳エラーの分類体系には他にも，欧州の Quality道具立てが不可欠である．これまでに，翻訳の際に生じTranslation LaunchPad で開発された Multidimensionalる種々のエラーを包括的にカバーするような分類体系
しかし，個々のエラーを分類するための手続きについて

Quality Metrics (MQM)2 ，Translation Automation User
Society (TAUS) で開発された Dynamic Quality Framework (DQF)3 などがある．これらはいずれも，プロのは検討が不足しており，一貫した分類が容易ではない．

翻訳者が産出する翻訳や機械翻訳の出力4 に対する多面についての検討が行われてきた (2 節を参照されたい)．

我々は，特に共同翻訳に関する翻訳教育を想定して，的かつ詳細なエラー分析を目的として設計されているインストラクタと翻訳学習者の間，および翻訳学習者ため，翻訳教育で採用するには複雑すぎると思われる．

間で翻訳に関する知識を共有し，学習を効率化するた

3 エラーの分類基準の作成

めの方法論について検討している．例えば，学習者の翻訳における個々のエラーを一貫して分類するための基準として，Babych ら [1] による分類体系に基づいて，決定木およびエラーの典型例および境界例を列挙した事例集を作成した．本稿では，それらの作成手順と新たに考慮した点，Toyoshima ら [3] が収集した英日翻訳結果におけるエラーの分類実験を通じて明らかになった課題について述べる．

2

我々は，Toyoshima ら [3] と同様に MNH-TT におけるエラー分類体系 [1] に沿って，所与のエラーを一貫して分類するための決定木5 および事例集を作成した．なお，分類対象のエラーは，(a) 目標言語文書上のエラー箇所に，(b) 具体的な修正案または大まかな修正方針が指定されている (つまり検出済) と仮定する．
まず，Toyoshima らが収集したエラー事例から，各エラーカテゴリの典型例を抽出した．あわせて，各カテ先行研究・関連研究

ゴリの判定時に参照される情報 (起点言語文書，目標言翻訳におけるエラーの判定基準は，翻訳の用途や目語文書，用語集，ブリーフ) を整理するとともに，実務的によって異なる [2]．同様に分類の粒度や優先すべき翻訳におけるレビュープロセス，各カテゴリの深刻さエラーの種類なども異なりうる．学習者の翻訳の評価をふまえて，翻訳教育における大まかな優先度を表 1や学習者に対するフィードバックなどの用途を想定しのように定めた．Lv 1 と Lv 2 は起点言語から目標言語て作成されたエラーの分類体系としては，MeLLANGEへの翻訳の正確さ，残りの 3 つのレベルは目標言語にプロジェクトにおける 3 階層 44 カテゴリからなるものおける流暢さ・適切さの観点でのエラーである．

がある [2]．Babych ら [1] が開発した翻訳学習者向け共次に，Toyoshima らが収集したエラー事例の一部 (3同翻訳プラットフォーム MNH-TT では，この分類体系文書分) に対して，(i) 上記の優先度を考慮しながら複数を単純化した 2 階層 16 カテゴリの体系を用いている ．

名がエラーカテゴリを付与し，(ii) 分類が一致しなかっ1

Toyoshima ら [3] は，学習者による英語記事 20 件の日
本語訳に対して MNH-TT の体系に基づいてエラーを付与し，この体系が英日翻訳におけるエラーの分類・分1 Babych ら [1] は “revision categories” と呼んでいるが，分類対象は修正処理内容ではなく，あくまでエラーそのものである．

2 http://www.qt21.eu/launchpad/content/training/
3 https://evaluate.taus.net/evaluate/dqf/dynamic-quality-framework
4 言語対やドメインによっては機械翻訳の出力が下訳として使うことができるレベルになってきたため．
5 教育者・学習者間のコミュニケーションにおいて個々のエラーの分類の判定理由を明確に説明する必要があるため．MQM でも，エラーの分類のために決定木が作成されている．

表 2: エラーの分類体系: ラベルの色は MNH-TT にお入力

ける中分類との対応を表す．緑: content，青: lexis，赤:grammar，黄: text．
Lv 1 未完成
X4a 未翻訳X6
曖昧さ未解消Lv 2 誤訳
X7
用語の訳出エラー
X1
原文内容の欠落
X2
原文にない要素の付加
X3
原文内容の歪曲
Lv 3 目標言語の文法的または統語的な問題
X8
コロケーションのエラー
X10 前置詞や助詞のエラー
X11 活用のエラーや数・性などの不一致
X12 綴りエラー・誤変換
X13 句読法に関するエラー
X9
その他の文法的・統語的エラー
Lv 4 目標言語文書の質の問題
X16 結束性違反
X4b 直訳調
X15 表現のぎこちなさ
Lv 5 納品・公表に際しての問題
X14 レジスタ違反

エラー

Q1a: 起点言語文書の内容が翻訳されず残っている
Lv 1
未完成 Q1b: 複数の訳候補が残っている

X4a

X6

Q2a: 原言語文書の内容が過不足なく誤解なく訳されていないQ2b: 用語に関するエラー

Lv 2
誤訳

X7

X1

X2

X3

Q3a: 目標言語の文法的・統語的な問題である
Q3b: 下記のいずれかのエラー

Lv 3
目標言語の文法的または統語的な問題

X8X9

X10 X11 X12 X13

Q4a: 目標言語文書が結束性を損なっている

X16

Q4b: 訳が十分にこなれていないQ4c: 直訳調である

Lv 4
目標言語文書の質の問題

X4b

X15

Q5a: 表現やスタイルがレジスタに適していない
Lv 5
納品・公表に際しての問題

X14
凡例その他

Yes
No

図 1: エラー分類のための決定木.

た事例について議論を行う，という手続きを繰り返し，た．例えば，【X12 綴りエラー・誤変換】，【X14判定基準 (分類の決定木における設問) を明確化しつつ，レジスタ違反】というカテゴリが存在するが，用境界例を蓄積した．

語の綴りエラーや初出の用語に略称をつけるといこのようにして得たエラーの分類体系を表 2 に，各エラーを分類するための決定木を図 1 に示す．MNH-TTうレジスタ依存のルールに対する違反は，【X7 用語の訳出エラー】とする．の分類体系からの主な変更点は次の 4 点である．
【X4 原文表現の押しつけ】の細分化: MNH-TT に お(1)ける【X4 原文表現の押し付け】は，未翻訳のエ

ST: UCLA’s Civil Rights Project has been tracking national trends.
TT: UCLA の市民権（ ⇒ 公民権）プロジェク

ラーと直訳すぎるエラーの両方を含むが，これらトが合衆国全体の傾向を追っている。

は深刻さが異なる．そこで，Lv 1 のエラー【X4a未翻訳】と Lv 4 のエラー【X4b 直訳】に分けた．

【X15 不自然なスタイル】の呼称変更: MNH-TT に従【X5 目標言語表現の押し付け】の廃止: MNH-TT でい，目標言語文書における表現のぎこちなさ・冗長は行き過ぎた工夫によって起点言語文書の意味がさを【X15 不自然なスタイル】と呼んでいた．し通じなくなった場合に，【X5 目標言語表現の押しかし，エラー判定の際に，「スタイル」という名前付け】とするが，翻訳者本人でなければ行き過ぎに影響され，英数字の半角・全角の使い分けや，下た工夫と原文内容の誤解を正確に見分けることは記の例 (2) のような引用末尾の句点の打ち方のエできない．そこで，起点言語文書の意味が正しくラーなどの【X14 レジスタ違反】を誤ってここに伝わらない場合はまとめて【X3 原文内容の歪曲】含めてしまいがちだった．そこで呼称を【X15 表と呼ぶことにした．

現のぎこちなさ】に変更した．

【X7 用語の訳出エラー】の優先: 下記の例 (1) のように，用語の対訳は事前に用意された用語集に従う必要がある．翻訳実習においても，翻訳に着手する前に用語集を作成するのが一般的である．学習者による問題の回避・解消をうながすために，起点言語文書と目標言語文書の両方にかかわる Lv 2のエラーの中でも最も優先的に指摘することにし(2)

ST: The bout, said Forsyth, “would add to the distraction, not only of the police, but of just people in general.”
TT: フォーサイス氏は、「この試合は、警察だけでなく、まさに世間一般の気を逸らしてくれるでしょう。」（ ⇒ 」）と語った。

表 3: 作業者による分類結果の再現率，精度，F 値: 0.8 以上の値を緑色，0.6 以上 0.8 未満の値を黄色で示す.
エラー

X4aX6X7
X1X2X3X8X10X11X12X13X9X16
X4bX15
X14
その他
Lv 1 のいずれか
Lv 2 のいずれか
Lv 3 のいずれか
Lv 4 のいずれか
Lv 5 のいずれか

4

著者らの分類304862242722628
91518933108
172403406105
15824

回答数602391
19260
1633
24
18
24
16
24
68
19
39
16
6393
131
111
39

作業者 A
正答数 再現率
2
0.67
00.00
17
0.35
60
0.97
14
0.58
208
0.76
7
0.27
24
0.86
9
1.00
14
0.93
13
0.72
60.67
19
0.58
49
0.45
3
0.18
12
0.50
00.00
2
0.67
337
0.83
85
0.81
80
0.51
120.50

エラー分類の一貫性

精度
0.33
0.00
0.74
0.66
0.74
0.80
0.44
0.73
0.38
0.78
0.54
0.38
0.79
0.72
0.16
0.31
0.00
0.33
0.86
0.65
0.72
0.31

F値
0.44
0.00
0.48
0.78
0.65
0.78
0.33
0.79
0.55
0.85
0.62
0.48
0.67
0.56
0.17
0.38
0.00
0.44
0.84
0.72
0.59
0.38

回答数
2
039
91
25
203
4
23
10
15
22
16
24
128
18
12
64
2358
90
170
12

作業者 B
正答数 再現率
00.00
00.00
23
0.48
56
0.90
18
0.75
175
0.64
3
0.12
17
0.61
6
0.67
13
0.87
12
0.67
6
0.67
19
0.58
66
0.61
6
0.35
1
0.04
0
0.00
00.00
305
0.75
62
0.59
98
0.62
1
0.04

精度
0.00
0.00
0.59
0.62
0.72
0.86
0.75
0.74
0.60
0.87
0.55
0.38
0.79
0.52
0.33
0.08
0.00
0.000.85
0.690.58
0.08

F値
0.00
0.00
0.53
0.73
0.73
0.74
0.20
0.67
0.63
0.87
0.60
0.48
0.67
0.56
0.34
0.06
0.00
0.00
0.80
0.64
0.60
0.06の事例の分類を定め，全体の見直しも行った．

作成した決定木および事例集 (のべ 52 例) に基づいエラーの箇所および修正案に変更がなかった 696 事て，Toyoshima ら [3] が収集した全エラー事例を改めて例について，著者らの分類結果を正解とみなして，作分類した．分類作業に先立って新たなエラーを発見し業者の分類の再現率，精度，F 値を計算した．結果をたため，分類対象は 763 事例となった．

表 3 に示す．F 値が 0.80 以上となったのは【X12 綴り

まず，分類基準の作成に関わっていない 2 名6 にエラー

エラー・誤変換】のみだった．最も多く生じていた【X3の分類作業を依頼した．その際，決定木および事例集

原文内容の歪曲】の分類精度は比較的高かったが再現に従うように指示したが，特定の用語集を参照するよ率が低く，その次に多かった【X4b 直訳調】についてうには指示しなかった．2 名の分類結果の一致率は 68%

は両作業者とも F 値が 0.56 に留まった．
頻出した分類誤りを表 4 に示す．最も多かったのは(515/763)，Cohen の κ は 0.618 だった．分類先のカテゴリ数 (表 2 の 16 種類と「その他」) を勘案すると，これらの値は決して低くはない．ただし，Toyoshima ら【X3 原文内容の歪曲】と【X4b 直訳調】，すなわち原の結論に反して，作業者 A が 18 事例，作業者 B が 71判断の不一致によるものだった．例えば，我々は下記の事例と，多数のエラーを「その他」と判定していた．ま2 例を “risk”，“focus” に対する訳語の選択誤りとして
X3 に分類したが，作業者は 2 名とも X4b に分類した．

た，作業者 2 名の分類結果が一致していても，それが我々の判断とは一致しない事例も見つかった．

文内容を正しく理解できているかどうか (設問 Q2a) の(3)

そこで，作業者の分類の適否，分類を困難にする要因を分析するために，我々自身もエラーを分類した．著者

TT: 常日頃から、市民に対し家族を危険にさらのうち 2 名による分類結果の一致率は 86% (658/763)，

Cohen の κ は 0.830 だった．この作業を通じて，さらにエラーを発見したり，一部の事例についてエラーの箇所あるいは修正案を変更したりしたため，分類対象は 781 事例となった．その後，議論をふまえて不一致

ST: We routinely ask of people to take on jobs
that risk their families.
す（ ⇒ 犠牲にしかねない）仕事につくよう求めてきました。

(4)

ST: I asked him about the FBI’s focus on animal
rights and environmental groups.
TT: FBI が動物保護団体や環境保護団体に焦点

6 日本語を母語とし，英語起点言語文書および決定木・事例集の内容を十分に理解でき，用語集，ブリーフ，テキストタイプなどの翻訳に関わる概念に関する知識を有する者．

を置いている（ ⇒ を標的にしている）ことに関して彼に尋ねた。

その他には，【X7 用語の訳出エラー】や【X8 コロ表 4: 頻出した分類誤り.
正解
X3
X4bX3
X8X7X3X3
X7

誤答
X4bX3X1
X3X3
X11X9X1

Lv
異なる
異なる
同じ
異なる
同じ
異なる
異なる
同じ

作業者 A
122913711116
7

作業者 B
44121273375

合計5641251414141312

ケーションのエラー】を，誤って【X3 原文内容の歪曲】に分類している事例が多かった．用語の認定基準やコロケーションの定義が明確でなかったことが原因であると思われる．起点言語文書から作成した用語集を参照するように指示する，コロケーションについては事例集を増補する，などの対策が考えられる．
エラーカテゴリによっては，判定の際に起点言語文逆に，例えば例 (5) における 2 つのエラーを，我々は書と目標言語文書全体を参照する必要があるが，局所X4b に分類した．つまり，原文内容を誤解なく目標言的な情報のみに基づいて判定してしまったと思われる語で表現することはできていると考え，設問 Q2a につ事例もあった．作業指示の改善が必要である．

いて “No”，文脈を考慮して修正が必要であると考え，

5 おわりに設問 Q4b について “No”，ぎこちなさの要因は直訳調で本稿では，学習者が作成した翻訳におけるエラーをあると考え，設問 Q4c について “Yes” と判断した．一

一貫して分類するために作成した，決定木および事例方，作業者 A はこれらを X3 に分類した．

集について述べた．また，781 件のエラーの実例の分(5) ST: I met a young college student and asked her. . .. She said proudly, “I emailed my profes-

類を通じて，判断の揺れが生じやすい箇所を明らかにし，その原因について考察した．
翻訳学習者は，様々なテキストタイプの文書を用い

sors and said I won’t be in class today; I’m
going to get an education.”て翻訳技術を学ぶ．我々も，今回対象としたジャーナ

TT: 私は若い大学生（ ⇒ 女学生）に会い、. . .
を聞いた。彼女は堂々と「私は教授にもメーじて，今回作成した決定木および事例集をブラッシュルをして今日授業には出ないことを伝えました。私は教育を受けるつもりです（ ⇒ 今日はここで学びます）」と言った。

リズム記事 [3] のみならず，多様な文書の翻訳実習を通アップする予定である．一方で，学習者に対する短時間でのフィードバックおよび教員の負荷の削減のために，エラーの自動検出にも取り組みたい．例えば，【X14レジスタ違反】の一部については表層的なルールで精3 番目に多かった誤答は，次の例 (6)，(7) のような
【X3 原文内容の歪曲】の例を【X1 原文内容の欠落】と度よく検出できる．その他のエラーの検出については，分類したものだった．

る試みが参考になる．

(6) ST: The Parks moved to Detroit.
TT: パークス（ ⇒ パークス一家）はデトロイトへ引っ越した。

(7) ST: We have filed a class action for approximately a hundred sailors.
TT: およそ 100 人の兵士（ ⇒ 海軍・海兵兵士）のための集団訴訟を起こした。
エラー箇所と修正案の表層的な包摂関係のみに基づいて X1 に分類してしまった可能性がある．【X7 用語の訳出エラー】を【X1 原文内容の欠落】と誤答しているのべ 12 事例のうち 11 事例もこれに類する．いずれも同じ Lv 2 のエラーであるため，翻訳の質の大まかな評価が目的であれば精密な区別は必要ないかもしれない．
一方，翻訳教育においては，学習者に対する説明の一貫性を担保するため，上記の例はやはり【X3 原文内容の歪曲】と呼ぶべきであろう．

機械翻訳に対する語レベルの Quality Estimation に関す
エラーの分類体系は，学習者のエラー傾向 [3] や学習過程における傾向の変化 [4] の分析にも有用である．
別途の報告を予定している．
謝辞:

本研究の一部は科研費基盤研究 (A)（課題番号：25240051，代表：影浦峡）の支援を受けた．
参考文献[1] B. Babych, A. Hartley, K. Kageura, M. Thomas, andM. Utiyama. MNH-TT: a collaborative platform for translator training. In Proceedings of Translating and the Computer34, 2012.
[2] A. Secarǎ. Translation evaluation: A state of the art survey.
In Proceeding of the eCoLoRe/MeLLANGE Workshop, pp.
39–44, 2005.
[3] C. Toyoshima, K. Tanabe, A. Hartley, and K. Kageura. Error categories in English to Japanese translations. In Proceedings of the 21st Annual Meeting of the Association for
Natural Language Processing, pp. 1076–1079, 2015.
[4] 山本真佑花, 田辺希久子, 藤田篤. 翻訳学習者の学習過程におけるエラーの傾向の変化. 言語処理学会第 22 回年次大会発表論文集, 2016. (in this proceedings).