第8回AAMTセミナー AAMT若⼿翻訳研究会
2024年3⽉22⽇

吹き出しよりも⻑い⽂脈情報を⽤いた
漫画の機械翻訳
戒能⼤翔1, 杉原壮⼀郎1, 梶原智之1, ⼆宮崇1, Tanner Joshua2, ⽯渡祥之佑2
1．愛媛⼤学
2．Mantra株式会社

漫画の翻訳の例

⽇本語⽂©朽鷹みつき英語⽂1背景• 近年、⾮公式に翻訳された海賊版の漫画が海外で流通‣ 2021年の⼩学館の調査では正規版の約5倍の漫画が海賊版として海外で流通[1]‣ 閲覧数が1億回を超える海賊版も存在[1]• リアルタイムな正規の翻訳出版が少ないことが要因の1つ

⾃然⾔語処理の技術による漫画の機械翻訳が期待されている[2][1] https://prtimes.jp/main/html/rd/p/000000004.000059295.html[2] Ryota Hinami et al. Towards Fully Automated Manga Translation, In Proc. of AAAI.2021

2

漫画の機械翻訳の課題

この「送る」は「殺す」という意味• 他のコマや吹き出しを⽂脈として考慮する必要がある‣ 漫画の吹き出しは単体では翻訳に必要な情報を充分に持たない• 漫画ごとに適切なスタイルで翻訳する必要がある‣ 作品や作者、ジャンルごとに特徴が異なる©朽鷹みつき直前の吹き出し

この「送る」は「亡くなった⼈を追悼する」という意味
翻訳対象の吹き出し

3©朽鷹みつき©吉良いと3

関連研究︓⽂脈を考慮する機械翻訳• 結合ベースの⼿法
エンコーダ

デコーダ

However, he is not good atsports.

ジョンはとても賢い。しかし、運動は苦⼿だ。

• マルチエンコーダを⽤いる⼿法
ジョンはとても賢い。

⽂脈エンコーダ
デコーダ

しかし、運動は苦⼿だ。

However, he is not good atsports.

エンコーダ
4

関連研究︓機械翻訳のスタイル制御• 機械翻訳などの系列変換モデルの出⼒⽂のスタイルは訓練データのテキストのスタイルに依存• 状況に応じて出⼒⽂のスタイルを制御する研究が⾏われている• 多くの研究が特殊トークンを⽂に付与してスタイルを制御する⼿法を採⽤[4][5]<受動態> 少年がボールを投げた

機械翻訳モデルThe ball was thrown by the boy.

[3] Rico Sennrich et al. Controlling Politeness in Neural Machine Translation via Side Constraints, In Proc of NAACL. 2016[4] Hayahide Yamagishi. Improving Japanese-to-English Neural Machine Translation, In Proc of IJCNLP, 20175

先⾏研究︓他の吹き出しを⽂脈とする⼿法[2]
翻訳対象のコマ• 直前の吹き出しを考慮して翻訳病院の⽅から<SEP>あまり⾒ない⽅がいいと⾔われて直前の吹き出し• コマ単位での翻訳・・・いえ<SEP> 病院の⽅から<SEP> あまり⾒ない⽅がいいと⾔われて翻訳対象の吹き出し• 課題︓コマを超える⽂脈を考慮できない他のコマや漫画の作品や作者、ジャンルなどの作品情報(属性)といったコマを超えた⽂脈の考慮が必要[2] Ryota Hinami et al. Towards Fully Automated Manga Translation, In Proc. of AAAI.2021©吉良いと6
6

提案⼿法

7

直前のコマ直前のコマを考慮する翻訳
結合ベースの⽂脈考慮型機械翻訳を応⽤し、直前のコマを考慮したコマ単位の翻訳を⾏う
翻訳例
⼗年後 –夏 <コマ内> 相川仁 <コマ内> お前には翻訳対象のコマ⼀流の⼤学を⽬指す学⼒がある <コマ外>なのになぜ三流⼤の推薦なんかを狙う? <コマ内> 実に夢がない

why get recommendation letters for a third
tired college? <コマ内> don’t you have aspirations?
©朽鷹みつき8

漫画の属性を考慮する翻訳• 特殊トークンを⽂に付与してスタイルを制御する⼿法を応⽤し、漫画の属性を付与して翻訳• 漫画の作品・作者・出版社・掲載誌・ジャンルの5つの属性を考慮(Wikipediaやマンガペディアから収集)

翻訳対象「あさがお」は属性情報

⼊⼒

作品<バルーンドリーム>「あさがお」は作者<朽鷹みつき>「あさがお」はジャンル<学園>「あさがお」は9©朽鷹みつき

9

実験10

実験設定
• データセット‣ 漫画の機械翻訳のためのデータセットであるManga Corpus[2]‣ 検証⽤データおよび評価⽤データとして50作品を無作為に抽出し、各作品の最新巻から10ページずつ無作為抽出した‣ その他のページは訓練データとして使⽤• データの前処理‣ ⽇本語にはKytea[6]、英語にはMoses[7]を⽤いて単語分割‣ 単語分割後、Byte Pair Encoding[8]でサブワード分割(語彙サイズは⽇英合わせて32,000)• 翻訳モデル‣ Transformer (big)[9][2] Ryota Hinami et al. Towards Fully Automated Manga Translation, In Proc. of AAAI.2021[5] Graham Neubig et al. Pointwise Prediction for Robust, Adaptable Japanese Morphological Analysis, In Proc of ACL. 2011[6] Philipp Koehn et al. Moses: Open Source Toolkit for Statistical Machine Translation, In Proc of ACL. 2007
[7] Rico Sennrich et al. Neural Machine Translation of Rare Words with Subword Units, In Proc of ACL. 2016[8] Vaswani et al. Attention is All You Need, In Proc. of NIPS.201711実験結果︓直前のコマを考慮することで性能が向上
2521.121.5

0.80.782 0.790

0.615COMETBLEU

20100.4

50.200.0

吹き出し単位での翻訳直前の吹き出しを考慮

吹き出し単位での翻訳直前の吹き出しを考慮

コマ単位での翻訳直前のコマを考慮

コマ単位での翻訳直前のコマを考慮

12実験結果︓漫画の属性情報を考慮することでBLEUが向上
25

23.1
21.5

BLEU

20

18.9

15
吹き出し単位

10直前のコマを考慮

50
作品

作者

出版社

掲載誌

ジャンル 全作品情報
13

実験結果︓漫画の属性情報を考慮することでCOMETも向上
0.794

0.8

0.790
0.761

COMET

0.6
吹き出し単位0.4直前のコマを考慮

0.2
0.0
作品

作者

出版社

掲載誌

ジャンル 全作品情報
14

直前のコマを考慮するとコマ内にない主語を補う
⼊⼒

出⼒

吹き出し単位での翻訳

実に夢がないI don’t have adream.

直前の吹き出しを考慮

なのになぜ~狙う?
<SEP> 実に夢がない

I don’t have anydreams.

コマ単位での翻訳なのになぜ~狙う?
<SEP> 実に夢がない

I don’t have anydreams.

直前のコマを考慮

⼗年後ー夏 <コマ内>
相川仁 <コマ内>
お前には~学⼒がある<コマ外>なのになぜ~狙う? <コマ外> 実に夢がない

You really don’t
have a dream.

正解⽂

実に夢がないDon’t you haveaspirations?
©朽鷹みつき15

漫画の属性情報を考慮することで訳し分けが可能「翔ぶ」の翻訳が変化
⼊⼒

ジャンル

出⼒

最初から翔ばないほうがいい<少年漫画>You shouldn’t have jumped from the start.

<野球>

You shouldn’t have hit from the start.

<ロボット>You shouldn’t have taken flight in the first place.

<⻘年漫画>

It’s better if you didn’t fly from the start.

「~しないほうがいい」の翻訳が変化
16

20

直前のコマのみを⽤いるのが最も有効
0.8

18.55

0.6

12COMET

BLEU

160.757

80.4
0.2

400.0

コマ単位での翻訳直前のコマを考慮

前2コマまでを考慮

コマ単位での翻訳直前のコマを考慮

前2コマまでを考慮

前3コマまでを考慮

前4コマまでを考慮

前5コマまでを考慮

前3コマまでを考慮

前4コマまでを考慮

前5コマまでを考慮
17

21.46

1.0

22.15

200.8

15

0.6

10

COMET

BLEU

25

コマや吹き出しの順番を変えると性能が低下
0.790

0.791

0.4

50.2

00.0

直前のコマを考慮

直前のコマを考慮

直前のコマを考慮(コマの順番を⼊れ替え)直前のコマを考慮(コマの順番を⼊れ替え)直前のコマを考慮(コマ内の吹き出しの順番を⼊れ替え)直前のコマを考慮(コマ内の吹き出しの順番を⼊れ替え)

次のコマを考慮

次のコマを考慮18

まとめ• 漫画の機械翻訳の品質改善のための⻑い⽂脈情報を扱う⼿法を提案した
1．直前のコマを考慮するコマ単位での翻訳

2．漫画の属性情報を考慮する翻訳• 漫画を⽇本語から英語へ翻訳する実験の結果、2つの⼿法が漫画翻訳の品質を改善することを確認• 2つの提案⼿法を組み合わせることで最⾼性能を達成した

19