場面説明を活用したマルチモーダル漫画翻訳

日本の漫画は，日本国内のみならず世界中で親しまれている一方で，漫画の翻訳は人手で行われており，膨大な時間とコストを要する．そのため，ほとんどの作品は日本の国内市場から出ることはなく，第三者によって無許可に翻訳され海外で流通する被害が問題視されている[1]．正規版の国際的な普及のために，機械翻訳による迅速で高品質な漫画の自動翻訳が期待されている[2]．漫画の機械翻訳では，吹き出しのテキスト単体だけでは，主語の省略などの文脈不足により，正確に翻訳するのに必要な情報が不足しているという課題がある[3]．図1に，実際に主語が省略された漫画のコマ画像を示す．このコマの吹き出しには，「きっとあの世で」，「やらなきゃよかったと思っているさ」とあるが，この吹き出しテキストには「誰が」あの世にいるのか，「誰が」後悔しているのかという主語が明示されていない．これにより，翻訳モデルは誤った主語を補完してしまい，正確な翻訳ができず，読者に本来の文意が伝わらない．先行研究では，これらの課題に対して，漫画のジャンルなどの属性情報[4]や，画像から生成した作品の要約[5]を文脈として入力することで，漫画の翻訳精度を向上している．しかし，漫画の属性や作品の要約では，誰が誰に対して発言しているかなどの主語補完に必要な細かな情報を得ることができない．これらの漫画の機械翻訳に関する課題に対処するために，本研究では，漫画のページやコマ画像の情報を考慮する手法を提案する．具体的には，ページ画像から，状況・登場人物・ストーリー・テーマといった，ページに描かれている場面の説明および曖昧性を解消する説明を作成し，翻訳時に活用する．漫画の日英翻訳タスクにおける評価実験の結果，漫画のページやコマの説明を考慮することで，漫画の翻訳精度が向上することを確認した．