視覚言語モデルは漫画のオノマトペを翻訳できるか？

日本の漫画は世界中で人気を博しており，多くの作品が翻訳され海外読者にも親しまれている[1]．漫画の魅力を構成する要素の一つとしてオノマトペ[2]が挙げられる．オノマトペは擬音語および擬態語から構成される語で，音や感情，状態などを臨場感豊かに表現できる．そのため，図1のように適切に翻訳することができれば海外の読者にも原作と同じ体験を届けることが可能である．しかし，オノマトペの翻訳にはいくつかの課題が存在する．第一に，翻訳表現の多様性がある．同一の状況・同一の意味でも，翻訳者により表現が大きく異なる場合[3]がある．第二に，視覚的文脈依存性が高い点である．オノマトペは音や雰囲気を主に表すため意味の幅が広く，同じ表記であっても文脈によって訳語が大きく変化する．例えば，日本語の「ぱたぱた」は状況によって訳語が異なる．旗が揺れる描写では“ﬂap”，廊下を走る時の足音では“pitter-patter”と訳されるなど[2]文脈に応じた訳し分けが必要となる．そのため，適切な翻訳を行うには深い状況理解が不可欠となる．さらに，漫画特有の問題として，状況を詳述する（カエルの鳴き声）を示した作例©なめこなこ情報が翻訳対象のテキストから読み取れない場合が多いことが挙げられる[4–8]．漫画では状況がテキストではなく画像で表される．そのため，文字情報のみで文脈を捉えることは困難なケースが少なくない．これに対し，視覚言語モデル（VLM）で画像情報を補完し，文脈理解を改善する研究[6,8]があるが，多くは吹き出し内のセリフが対象でオノマトペについては十分に検討されていない．そこで本稿では，VLMを用いて漫画内のオノマトペを翻訳し，その有効性と課題を分析することを目的とする．分析の結果，既存手法によるオノマトペ翻訳の精度改善が確認された．一方で，生成される語彙の多様性の欠如や，既存の評価指標における限界が浮き彫りとなった．本研究の成果は，VLMを用いたオノマトペ翻訳における今後の研究指針となることが期待される．