B3-6

字幕機械翻訳における自動訳抜け検出の試みとその分析
石川 隆太1

須藤 克仁1

松島 朝子21奈良先端科学技術大学院大学
2日本映像翻訳アカデミー株式会社

中村 哲1

2

本発表の概要§ 字幕翻訳における機械翻訳＋後編集ワークフロー改善のための自動訳抜け検出の性能評価と分析§ 検出精度は課題が残る（Precision 20%強、Recall 40%程度）§ 訳抜けの「検出漏れ」「過剰検出」の傾向分析§ 検出漏れ：付随的役割を果たす節§ 過剰検出：副詞的要素、接続詞や「つなぎ」表現、誤訳、反復要素、etc§ 字幕翻訳で特徴的な、情報選択／換言／省略を学習した翻訳モデルによる訳出抑制と訳抜けのトレードオフ？
言語処理学会第30回年次大会 (NLP2024)

3

背景§ 字幕翻訳：様々な映像作品の台詞や挿入テキストの翻訳§ 素材への適合、映像への重畳を踏まえた戦略（文字数、改行）

原文
全訳

Too often we take our bodies for granted.
But under pressure, our bodies can show us how extraordinary they truly are.
普段、私たちは⾃分の体を普通のものだと思っています。
しかしプレッシャーがかかると、私たちの体は本当に驚異的であることを⽰してくれます。
あまりに⾝近な私たちの体

字幕

実は いざとなると驚異的な⼒を発揮します※ 例は日本映像翻訳アカデミー（著）「字幕翻訳とは何か〜1枚の字幕に込められた技能と理論」による

言語処理学会第30回年次大会 (NLP2024)

4

機械翻訳における訳抜け§ 原文中の情報の訳出漏れ（≠省略）§ 後編集を伴う翻訳ワークフローの効率が著しく低下

Please call me when you arrive.

機械翻訳

電話してください§ 機械翻訳、特にNMTでは訳抜けを完全には防げない§ 推論時に入力文の全被覆が保証されない§ 学習事例中の意訳・省略の過剰適用による訳抜けが生じ得る§ 字幕翻訳の事例を学習に用いた場合、問題はより深刻に※ 例は Vamvas and Sennrich (ACL 2022) による言語処理学会第30回年次大会 (NLP2024)

5

関連研究
§ 自動訳抜け検出に関する研究§ モデル内部の値や逆翻訳スコアを利用（後藤ら NLP2017 他）§ Contrastive Conditioningの利用（Vamvasら ACL2022）§ 訳抜けや過剰訳の評価 (Yangら NLPCC2018 他）§ 訳抜けや過剰訳に着目した参照訳あり翻訳評価§ 機械翻訳の単語レベル品質推定 (WMT共通タスク等）§ 訳文中の誤り箇所の特定 ≠ 原文中の訳抜け箇所の特定

言語処理学会第30回年次大会 (NLP2024)

Contrastive Conditioningによる自動訳抜け検出

6§ 原文のある部分を削除して翻訳してスコアを比較§ 削除したほうがスコアが高ければ削除箇所の訳抜けが疑われる

原文 𝑋 = Please call me when you arrive.

訳文 𝑌 = 電話してください

𝑆𝑐𝑜𝑟𝑒 𝑌 Please call me when you arrive. = 0.42
𝑆𝑐𝑜𝑟𝑒 𝑌 Please call me when you arrive. = 0.29
𝑆𝑐𝑜𝑟𝑒 𝑌 Please call me when you arrive. = 0.41
𝑆𝑐𝑜𝑟𝑒 𝑌 Please call me when you arrive. = 𝟎. 𝟔𝟕
言語処理学会第30回年次大会 (NLP2024)

7

実験設定
§ 翻訳用モデル：Transformer によるNMT (fairseq)§ 学習データ§ 独自の英日字幕対訳データ 約550万対（字幕）§ WWWからクロールした英日対訳データ 約1,500万対（文）§ 自動訳抜け検出§ Vamvasらの実装、英語依存構造解析はStanzaを利用§ スコア計算用モデル：mbart-large-50-one-to-many-nmt§ 字幕対訳データでファインチューニング
言語処理学会第30回年次大会 (NLP2024)

8

自動訳抜け検出の評価方法
映像翻訳者が判定した訳抜け
Please call me when you arrive.

機械翻訳

電話してください

Please call me when you arrive.

正解

Please call me when you arrive.

検出漏れ

Please call me when you arrive.

過剰検出
言語処理学会第30回年次大会 (NLP2024)

9

実験結果
§ MTのBLEUは10前後§ ジャンルによるLR（MT訳長と参照訳長の比）の違いが大きい§ 訳抜けの発生率は30%前後
訳抜け数
自動訳抜け検出ジャンル
字幕数 BLEU (LR)
重度 軽度 正解 漏れ 過剰 P(%) R(%)
ドラマ
46 12.9 (0.88)
4 10
6
6 16 27.3 42.9
リアリティショー
50 9.7 (1.15)
765
6 22 18.5 38.5
ビジネス講演270 9.7 (0.74) 45 36 27 29 119 19.7 33.3
ドキュメンタリー
218 8.8 (0.88) 28 28 24 14 89 21.2 42.9
言語処理学会第30回年次大会 (NLP2024)10

実験結果（つづき）§ 過剰検出が目立つ：精度2割前後§ 再現率は平均4割弱、ビジネス講演で特に低い§ ビジネス講演ではMTの性能が低く訳抜け検出にも影響大

訳抜け数
自動訳抜け検出ジャンル
字幕数 BLEU (LR)
重度 軽度 正解 漏れ 過剰 P(%) R(%)
ドラマ
46 12.9 (0.88)
4 10
66 16 27.3 42.9
リアリティショー
50 9.7 (1.15)
765
6 22 18.5 38.5
ビジネス講演270 9.7 (0.74) 45 36 27 29 119 19.7 33.3
ドキュメンタリー
218 8.8 (0.88) 28 28 24 14 89 21.2 42.9
言語処理学会第30回年次大会 (NLP2024)

11

分析：検出漏れ§ 節単位の大きな訳抜けの検出漏れ§ 副詞節として働く従属節§ 目的語としてthat節を取っている主節§ 字幕翻訳では省略や言い換えが起こりやすい§ NMTモデルもこれらの直接的な訳出に抑制的§ 訳抜けが起こりやすい§ 訳抜け時にスコアに反映されにくい ＝ 訳抜け検出漏れしやすい§ ビジネス講演では代名詞を含む句の訳抜け検出漏れも言語処理学会第30回年次大会 (NLP2024)12

分析：過剰検出（１）§ 副詞的役割を持つ要素（副詞・副詞句・副詞節）§ 他の要素と比べて顕著に訳抜けとして検出される§ 特に程度を表す very や so
§ 字幕翻訳では直接的に訳出されない傾向（訳語選択の工夫による）§ モデルは直接訳出しないが、Contrastive Conditioningでは検出される§ 弱い関係の接続詞・感動詞・「つなぎ」の表現§ so/then等の接続詞、wow/oh等の感動詞、you know等の表現§ 会話では頻繁に用いられ映像素材で頻出§ 副詞的要素と類似した傾向
言語処理学会第30回年次大会 (NLP2024)

13

分析：過剰検出（２）§ 誤訳された要素§ 周辺文脈や用語知識の不足による誤訳§ ハイコンテクストな訳出が必要な箇所、稀少語、固有名詞等§ 一文が複数字幕に分割されることによる訳出時の文内文脈の不足§ 翻訳用モデルとスコア計算用モデルの違いも影響

言語処理学会第30回年次大会 (NLP2024)14

分析：過剰検出（３）§ 並列・反復表現において複数回出現する要素§ 一部欠落しても残りからNMTが予測できるとスコアが下がらず

Contrastive Conditioningで検出されないことも§ 字幕中の余剰文字列§ 例：ドラマやリアリティショーにおける字幕中の話者情報

言語処理学会第30回年次大会 (NLP2024)

15

議論§ 字幕翻訳から学習した省略・意訳への過剰適応§ NMTは文脈を踏まえずに翻訳し、過剰に情報を捨ててしまう§ 省略と訳抜けの弁別の難しさ§ 字幕翻訳における原文中要素の訳出要否の判定は容易でない§ 映像翻訳者は様々な情報・条件を加味して取捨選択・言い換えを行う§ Contrastive Conditioningには一定の効果は見られるものの、訳抜けするモデルでは訳抜け検出はできない

言語処理学会第30回年次大会 (NLP2024)

16

まとめと今後の課題§ 字幕翻訳の訳抜け抑制に向けた自動訳抜け検出の試み§ Contrastive Conditioning による訳抜け検出手法の適用§ 実際の字幕翻訳データによる検証・分析§ 精度 20%前後、再現率 40%前後で未だ課題が残る§ 特徴的な検出漏れ・過剰検出のパターンは字幕翻訳の特性と整合§ 字幕翻訳における省略と訳抜けのトレードオフ§ 翻訳・訳抜け検出双方での文脈情報の考慮が今後必要§ 字幕翻訳の制約条件下での情報の取捨選択が焦点
言語処理学会第30回年次大会 (NLP2024)