言語処理学会 第30回年次大会 発表論文集（2024年3月）

字幕機械翻訳における自動訳抜け検出の試みとその分析
石川隆太 1 須藤克仁 1 松島朝子 2 中村哲 1
1 奈良先端科学技術大学院大学 2 日本映像翻訳アカデミー株式会社{ishikawa.ryuta.il7,sudoh,s-nakamura}@is.naist.jp
subit@jvtacademy.com

概要
本研究では、英語から日本語への字幕翻訳を題材として、機械翻訳結果における訳抜けの自動検出を試み、その結果の分析を行う。字幕翻訳では字幕表
示の制約により省略や言い換えを通じて訳出が短くなる傾向にあり、そうした事例を学習した機械翻訳
は訳抜けをしやすく、自動訳抜け検出により翻訳後編集の効率向上が期待される。映像字幕データに対する実験では、自動訳抜け検出は一定の効果が認められるものの、字幕翻訳の特性に起因する訳抜けの過剰検出が目立ち、省略と訳抜けのトレードオフ解消の難しさが示唆される結果が得られた。

1

はじめに

なっていると考えられる。
そこで本研究では、翻訳後編集の際に訳抜けが疑われる箇所を強調表示する等のユーザインタフェー
スを提供することを念頭に、字幕機械翻訳に対して既存の自動訳抜け検出手法を適用し、その評価と結果の分析を行った。訳抜け検出の Precision は平均で20%強、Recall は平均で 40%程度で課題が残る結果となったが、分析により訳抜けの検出漏れや過剰検出で特徴的ないくつかのパターンが明らかになった。本研究で得られた結果は、原文の情報をできるだけ忠実に訳出するタイプの翻訳と比べ、字幕機械
翻訳における望ましい省略と望ましくない訳抜けのトレードオフ解消の難しさを示唆するものである。

2

字幕翻訳は映像素材に付与された原言語の台詞や挿入テキストを目的言語に翻訳するタスクであり、その対象は映画に留まらずドラマやドキュメンタ
リーのような各種映像作品に及ぶ。字幕翻訳では、素材に適し、かつ映像への重畳表示を踏まえた翻訳を行うための様々な戦略が存在する [1]。著者らは字幕翻訳を対象とする機械翻訳について、英語から日本語への翻訳を対象に検討を行っている。字幕翻訳のデータを用いたニューラル機械翻訳 (NMT) モ
デルの学習、様々な素材に対する機械翻訳結果と日本語字幕と比較しての自動評価、映像翻訳者による評価・分析を通じて、字幕機械翻訳における様々な課題が明らかになってきており、特に訳抜け(omission あるいは under-translation) が顕著である。
機械翻訳と翻訳後編集 (post-editing; PE) による翻訳
ワークフローにおいて、訳抜けは翻訳の効率に大きな影響を及ぼすため、その抑制が強く求められる。
しかしながら、NMT は仕組み上訳抜けを完全に防ぐことが難しい上、限られた文字数で情報を伝えるための意訳や省略がしばしば行われる字幕翻訳の事例を学習した NMT では訳抜けがより生じやすく

関連研究

自動訳抜け検出の既存研究 [2] では NMT モデルのみを利用した手法を提案している。次節で述べる通り、本研究ではこの手法を用いて字幕機械翻訳における訳抜け検出を試みる。それ以前の研究では訳抜けや余分な訳の評価が試みられていた [3, 4] が、そのために参照訳を要するという点で問題が異なる。
自動訳抜け検出と関係する課題として、単語レベ
ルの機械翻訳の品質推定 [5] が挙げられる。機械翻訳の品質推定は機械翻訳結果中の誤訳の程度や箇所を参照訳を用いずに推定するタスクであり、特に単語レベルでの品質推定では、訳文中の各単語に対する正誤判定と、訳文中で抜けが生じている箇所の予測を行っている。近年の共通タスク [6] は MQM [7]に基づく訳文中の誤りスパンを予測するもので本研
究で扱う問題と一見類似するが、品質推定タスクでは訳文中の誤り箇所を同定するのに対し、自動訳抜
け検出では原文中で訳出されなかった箇所を同定するという違いがあり、単語レベル品質推定の既存データやモデルはそのままでは適用できない。
また、字幕翻訳に関しては、TED Talks の字幕を利用した WIT3 [8] や MuST-C [9] が音声翻訳の研究― 663 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

【原文と訳文】

表 1 評価・分析に用いた字幕数、NMT による翻訳結果で訳抜けと判定された字幕数、および参照訳に対する
BLEU と長さ比 (LR)

原文 𝑋 = Please call me when you arrive.
訳文 𝑌 = 電話してください

ジャンル【部分単語列に対する翻訳スコアの計算】
Score (𝑌 | Please call me when you arrive.) = 0.42

ドラマ
リアリティショー
ビジネス講演
ドキュメンタリー

Score (𝑌 | Please call me when you arrive.) = 0.29
Score (𝑌 | Please call me when you arrive.) = 0.41

字幕数

訳抜け判定数
重度
軽度

46
50
270
218

4
7
45
28

10
6
36
28

BLEU (LR)12.9 (0.88)
9.7 (1.15)
9.7 (0.74)
8.8 (0.88)

Score (𝑌 | Please call me when you arrive.) = 0.67
【訳抜け箇所の同定】
図1

実験

4

Please call me <omit>when you arrive</omit>.

Vamvas らの訳抜け検出手法によって字幕機械翻自動訳抜け検出 [2] の概略

訳における訳抜けがどの程度検出できるかを調査するため、実際の字幕機械翻訳のデータを用いた以下で広く用いられてきた他、多くの言語をカバーするの訳抜け検出実験を行った。

OpenSubtitles [10] や、日英の言語対に特化した JESC
[11] も公開されている。これらのデータを用いた英

4.1

実験設定

日翻訳の実験結果では BLEU [12] で 10 程度のスコ

字幕機械翻訳には fairseq1）[14] により構築されアであることが多く、訳出の多様性による評価の難た Transformer による NMT を用いた。学習データは

しさは考慮するとしても、機械翻訳の対象として依字幕翻訳の英日対訳データ約 550 万対と、その他

然難しいことが窺われる。本研究は、様々な分野のWWW からクローリングを通じて抽出した英日対訳

素材を含む独自の字幕翻訳の英日対訳データを利用し、訳抜けの問題に焦点を当てて自動検出を試み、データ約 1,500 万対である。
自 動 訳 抜 け 検 出 に は Vamvas ら の 実 装2）を 用 い

問題点を明らかにすることを狙うものである。

た。なお、当該実装では与えた原言語字幕中の先3頭の文のみを対象に削除する部分木を選択して自動訳抜け検出おり、しばしば 2 文以上の短い文が含まれる字幕

Vamvas ら [2] は統語構造上の部分木をランダムにのデータの処理に問題があった。そこで、本実験削除した入力文を用いた自動訳抜け検出手法を提案

では 2 文以上の入力に対してすべての文から削している。この手法では Contrastive Conditioning [13]除する部分木が選択されるように修正を加えてと呼ばれる、機械翻訳の入力側に小さな変更を加実験に利用した。依存構造解析には当該実装の標え、所与の翻訳出力を teacher forcing によって得た準設定に基づき Stanza3）[15] の英語モデルを用い場合に生じるスコアの違いを翻訳誤りの推定に用いた。また、翻訳スコアの計算を行うための NMT モる手法を応用している。

デ ル は、原 論 文 で 用 い ら れ て い る Huggingface のVamvas らの自動訳抜け検出手法の概略を図 1 に

mbart-large-50-one-to-many-mmt4）を、字幕翻訳の示す。部分単語列は依存構造木中の部分木を削除す

英日対訳データ約 550 万対を用いてファインチュー

ることによって得られる。もし元の原文 𝑋 よりもその部分単語列 𝑋 ′ を用いたほうが高い翻訳スコアが得られるのであれば、𝑋 ′ を得る際に削除した部
分木に相当する箇所 𝑋 𝑑𝑒𝑙 （図 1 中で取り消し線がニングしたものを用いた。
評価および分析にはファインチューニングに用いたものとは別の映像翻訳字幕の英日対訳データを用いた。映像素材のジャンルの違いによる傾向の差付された箇所）は訳文 𝑌 への翻訳において不要であを分析するため、ドラマ、リアリティショー、ビジる、すなわち、訳文 𝑌 には該当する内容が訳出されネス系講演、ドキュメンタリーの 4 ジャンルの素材ていない訳抜け箇所であると判断できる。本手法は直感的であるとともに、機械翻訳のスコアのみで判断を行うため、機械翻訳の内部機構に依存せず適用可能である点で有益である。したがって、この手法を本研究の訳抜け検出に利用する。

1） https://github.com/facebookresearch/fairseq2） https://github.com/ZurichNLP/
coverage-contrastive-conditioning3） https://github.com/stanfordnlp/stanza4） https://huggingface.co/facebook/mbart-large-50-one-to-many-mmt― 664 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

表 2 自動訳抜け検出の正解・検出漏れ・過剰検出の数お
よび Precision (P) 、Recall (R)
ジャンル
ドラマ
リアリティショー
ビジネス講演
ドキュメンタリー

分析

5

正解

漏れ

過剰

P (%)

R (%)

訳抜け検出の性能についてより詳細に調査するた

6
5
27
24

6
6
29
14

16
22
110
89

27.3
18.5
19.7
21.2

42.9
38.5
33.3
42.9

め、訳抜け検出結果の詳細な分析を行った。分析にを用いた。なお、ファインチューニングに用いた対より判明した訳抜け検出の漏れ・誤りの傾向について以下詳しく述べる。

5.1

検出漏れ

訳データにもこれらのジャンルのものは含まれて訳抜けの検出漏れは副詞節として働く従属節や、いた。ジャンル毎の字幕数や、字幕翻訳者によって目的語として that 節を取っている主節においてよく判定された NMT 結果の訳抜けを含む字幕数、およ見られた。これらは文の意味上の焦点からやや外れ

び参照訳に対する BLEU の情報を表 1 に示す。ジャていることもあり、字幕翻訳においては文脈から内ンルにより訳抜け数や BLEU、NMT 訳と参照訳の容が明らかな場合に省略されたり、短い表現への意

長さ比には違いがあり、特に長さ比についてはリ
アリティショージャンルでは参照訳より 15%程度

訳や言い換えが行われることがある。そのため、字幕翻訳データによって学習された NMT モデルはこ長く、ビジネス講演ジャンルでは 26%短かった。まれらの直接的な訳出に抑制的になり、訳抜けに繋がた、BLEU の値は 10 前後であり、2 節でも述べた従ると考えられる。同様に、字幕翻訳用 NMT モデル

来研究における BLEU の値と同等と言える。

を訳抜け検出に用いた場合、そうした表現の有無が4.2

スコアに大きな変化をもたらさないと考えられる。

実験結果

他にも、特に検出漏れの多かったビジネス講演

表 2 に自動訳抜け検出の結果を示す。評価は字幕

ジャンルにおいては、主節であっても代名詞が主語

1 枚を単位として正解、検出漏れ、過剰検出5）に分類

や目的語に含まれている箇所での訳抜けの検出漏れする形で行った。自動訳抜け検出された箇所が字幕が多く見られた。主節の訳抜けも前段と同様の字幕

翻訳者による訳抜け判定箇所と一致した場合を正解

翻訳の特性に起因するものと考えられるが、内容理とし、訳抜け箇所が存在するにもかかわらず一切訳解の妨げとなり、訳質の観点ではより深刻な問題で抜けが検出されなかった場合は検出漏れ、その他無ある。そうした訳抜け検出が強く期待される箇所で関係な箇所での検出は過剰検出として計上した6）。

の検出性能に課題を残す結果であったと言える。

実験の結果、過剰検出が明らかに多く、Precision（=正解字幕数/訳抜け自動検出字幕数）は 20%前後であり、全体として訳抜けを過剰に検出していることが分かった。一方、Recall（=正解字幕数/訳抜け判
定字幕数）は全体で 40%をやや下回る程度で、ビジ

5.2

過剰検出

訳抜けの過剰検出については多くの要素で起こっていたため、特徴的な 5 種について述べる。
副詞的役割を持つ要素

訳抜けの過剰検出においネス講演ジャンルでは他ジャンルと比べて見落として顕著だったものは、副詞・副詞句・副詞節である。

が多いことが分かった。表 1 に示した訳抜け数や長特に程度を表す副詞である very や so 等は字幕翻訳

さ比 (LR) からも分かる通り、ビジネス講演ジャンにおいては直接的に訳出されない傾向が強く、形容

ルでは訳抜けの指摘数が多く、自動訳抜け検出でも詞や選択の工夫により文字数の削減に寄与している

他ジャンルに比べて性能が劣ることが明らかになっものと考えられる。そのため字幕翻訳データによった。より詳細な分析については次節で述べる。

て学習された NMT モデルを用いた機械翻訳においては訳出されづらい。一方で今回の分析を通じ、自

5） 本研究では字幕翻訳者によって問題のある訳抜けを判定していることから、実際には訳出されているものを自動訳抜け検出が誤って検出した誤検出に加え、字幕翻訳者が問題視しなかった訳抜けを検出した場合も含める形で、誤検出ではな
く過剰検出と呼ぶこととする。
6） つまり、字幕翻訳者による訳抜け指摘と異なる箇所で訳抜
けが自動検出された場合には検出漏れではなく過剰検出と計上されている。したがって、表 2 において正解数と検出漏れ数の和は表 1 の訳抜け数と一致するとは限らない。

動訳抜け検出は very や so の直接的訳出がないことの検出力が高いことが判明した。これは、字幕翻訳用の NMT モデルは翻訳時に直接的な訳出をもたらすほどの強い変化はもたらさないが、Contrastive
Conditioning による翻訳スコアの変化には寄与しうることを示唆している。なお、その他の一般の副詞― 665 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

や、副詞句・副詞節については、very や so ほど強い傾向は見られないものの、他の種類の要素と比べて議論

6

訳抜けとして検出される傾向が強かった。

ここまでで示した通り、実験における自動訳抜け

弱い関係の接続詞・感動詞・「つなぎ」の表現 次に顕著だった要素として、so や then のような弱い関検出の性能はまだ十分とは言えず、様々な要素で検出漏れや過剰検出が生じていた。

係を表す接続詞、wow や oh 等の感動詞、you know

字幕翻訳においては限られた時間で情報を伝達し等の「つなぎ」の表現が挙げられる。これらは会話なければならないため、文脈も踏まえた情報の取捨や台詞等で頻繁に用いられるが、程度を表す副詞と選択や、表現の言い換えや意訳等を通じた文字数の同様、字幕翻訳において直接的に訳されることは少削減が行われる（原音 1 秒あたり日本語 4 文字、1ない。前段の結果も含め、Contrastive Conditioning は行あたりの文字数は 14〜16 文字、等の目安が存在

こうした要素を敏感に検出していると言える。

する [1]）。今回字幕翻訳に用いた NMT モデルはそ誤訳された要素

本実験では各字幕をそれぞれ独

うした高度なプロセスを経た字幕翻訳の事例を学習

立に翻訳しており周辺文脈を参照していないこと、に用いているものの、実際に翻訳を行う際には学習

また素材毎の用語対訳集等も与えていないことか
ら、翻訳に必要な情報の不足による誤訳が多く生じ事例の統計的な傾向をもとに省略や言い換えを行うに過ぎない。その結果が時に有用であることもあるていた。そのように誤訳された原文の箇所が訳抜けが、字幕翻訳者と同様の思考プロセスを経たものでとして検出された事例、特にハイコンテクストな訳はなく、適切な訳出に繋がらず訳抜けや冗長な訳出出が求められる箇所、稀少語や固有名詞等で多く見をもたらすことは否定できない。

られた。特に周辺文脈の問題に関しては、映像字幕

さらに、訳抜け検出に使う NMT モデルも翻訳

において文字数の制約により 1 文を複数の字幕ペーに用いたモデルと本質的には同様の問題を持つ。

ジに分割する傾向も考慮し、NMT、自動訳抜け検出

Contrastive Conditioning による効果は一部認められの双方で周辺の字幕ページを文脈情報として参照するものの、原文の要素の訳出要否の判断に原文以外ることが有益であろうと考えられる。

の情報が利用できないことによる限界は存在する。
出

この点は単語レベルの機械翻訳品質推定 [5] と同様

現数は多くなかったものの注目すべき事例として、

であるが、一般的な翻訳と比べて字幕翻訳では情報

並列や反復表現において同一の単語や句が用いらの取捨選択が与える影響が大きく、意図的に訳出をれていた場合に自動訳抜け検出で訳抜けでない箇
所を検出するものがあった。Contrastive Conditioning

抑制する省略と、意図せず起こる訳抜けの区別の重

並列・反復表現において複数回出現する要素の性質上、並列・反復表現で複数回出現する単語の一方を削除しても、残った単語から NMT が補完可要性の面でより難しい問題であると言える。

おわりに

7

能であれば訳抜けと検出される可能性がある。この本研究では、字幕翻訳において機械翻訳と翻訳後点は本実験における訳抜け検出手法の本質的な問題

編集を活用するワークフローの効率化を見据え自であり、異なるアプローチが必要であろう。

動訳抜け検出手法を適用し、その結果の分析を行っ

字幕中の余剰文字列

複数の出演者が存在する素た。Vamvas らの Contrastive Conditioning に基づく自材においては、字幕に話者を表す文字列が挿入され

動訳抜け検出により 40% 程度の Recall で訳抜けのることがあり、字幕の内容本体と区別されずに機械検出ができた一方で Precision は 20%程度に留まり、翻訳を行うとそれが翻訳に悪影響を与えてしまう場

訳抜けの過剰な検出が目立つ結果となった。これは合がある。本実験においても、ドラマおよびリアリ

依然課題が残る結果と言えるが、訳抜けの検出漏れ

ティーショーの素材で各字幕の先頭に話者名を表すや過剰検出は省略や意訳の多い字幕翻訳から学習さ文字列が挿入されている箇所では、翻訳時に話者情報が削除された場合その箇所が訳抜けしていると検れた NMT モデルにとってはトレードオフの関係と出されるという問題が生じていた。話者情報は字幕

例えば文脈情報を活用した NMT および訳抜け検出等が求められるだろう。

に付随する情報として重要でもあるため、字幕の内なっていると考えられ、この解決には更なる工夫、

容本体と区別した上での利用が有効と期待される。

― 666 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

Britz.

参考文献[1] 日本映像翻訳アカデミー. 字幕翻訳とは何か １枚の字幕に込められた技能と理論. 2018.
[2] Jannis Vamvas and Rico Sennrich. As little as possible,
as much as necessary: Detecting over- and undertranslations with contrastive conditioning. In Proceedings of
the 60th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp.

490–500, Dublin, Ireland, May 2022.
[3] Jing Yang, Biao Zhang, Yue Qin, Xiangwen Zhang, Qian
Lin, and Jinsong Su. Otem&utem: Over- and undertranslation evaluation metric for nmt. In Natural Language Processing and Chinese Computing, pp. 291–
302, Cham, 2018.
[4] Xiang Kong, Zhaopeng Tu, Shuming Shi, Eduard Hovy,
and Tong Zhang. Neural machine translation withadequacy-oriented learning. In Proceedings of the AAAI
Conference on Artiﬁcial Intelligence (AAAI 2019), pp.
6618–6625, Jul. 2019.
[5] Erick Fonseca, Lisa Yankovskaya, André F. T. Martins,
Mark Fishel, and Christian Federmann. Findings ofthe WMT 2019 shared tasks on quality estimation. In
Proceedings of the Fourth Conference on MachineTranslation (Volume 3: Shared Task Papers, Day 2),

[6]

[7]

[8]

[9]

pp. 1–10, Florence, Italy, August 2019. Association for
Computational Linguistics.
Chrysoula Zerva, Frédéric Blain, Ricardo Rei, Piyawat
Lertvittayakumjorn, José G. C. de Souza, Steﬀen Eger,
Diptesh Kanojia, Duarte Alves, Constantin Orăsan, Marina Fomicheva, André F. T. Martins, and Lucia Specia.
Findings of the WMT 2022 shared task on quality estimation. In Proceedings of the Seventh Conference
on Machine Translation (WMT), pp. 69–99, Abu Dhabi,
United Arab Emirates (Hybrid), December 2022.
Arle Lommel, Hans. Uszkoreit, and Aljoscha Burchardt.
Multidimensional Quality Metrics (MQM) : A Frameworkfor Declaring and Describing Translation Quality Metrics.
Tradumàtica, No. 12, pp. 455–463, 2014.
Mauro Cettolo, Christian Girardi, and Marcello Federico.
WIT3: Web inventory of transcribed and translated talks.
In Proceedings of the 16th Annual Conference of theEuropean Association for Machine Translation, pp.
261–268, Trento, Italy, May 28–30 2012.
Mattia A. Di Gangi, Roldano Cattoni, Luisa Bentivogli,
Matteo Negri, and Marco Turchi. MuST-C: a Multilingual Speech Translation Corpus. In Proceedings of the

JESC: Japanese-English subtitle corpus.

In

Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC2018), Miyazaki, Japan, May 2018.

[12] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual
Meeting of the Association for Computational Linguistics, pp. 311–318, Philadelphia, Pennsylvania, USA,

July 2002.
[13] Jannis Vamvas and Rico Sennrich. Contrastive conditioning for assessing disambiguation in MT: A case study of
distilled bias. In Proceedings of the 2021 Conferenceon Empirical Methods in Natural Language Processing, pp. 10246–10265, Online and Punta Cana, Dominican

Republic, November 2021.
[14] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan,Sam Gross, Nathan Ng, David Grangier, and Michael Auli.
fairseq: A fast, extensible toolkit for sequence modeling.
In Proceedings of the 2019 Conference of the North
American Chapter of the Association for Computational Linguistics (Demonstrations), pp. 48–53, Min-

neapolis, Minnesota, June 2019.
[15] Peng Qi, Yuhao Zhang, Yuhui Zhang, Jason Bolton,
and Christopher D. Manning. Stanza: A python natural
language processing toolkit for many human languages.
In Proceedings of the 58th Annual Meeting of the
Association for Computational Linguistics: System
Demonstrations, pp. 101–108, Online, July 2020.

2019 Conference of the North American Chapter ofthe Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long andShort Papers), pp. 2012–2017, Minneapolis, Minnesota,

June 2019.
[10] Pierre Lison and Jörg Tiedemann. OpenSubtitles2016: Extracting large parallel corpora from movie and TV subtitles.
In Proceedings of the Tenth International Conferenceon Language Resources and Evaluation (LREC’16),
pp. 923–929, Portorož, Slovenia, May 2016.
[11] Reid Pryzant, Youngjoo Chung, Dan Jurafsky, and Denny― 667 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).