視覚言語モデルは漫画のオノマトペを翻訳できるか？

漫画のオノマトペは，音や感情，動きなど漫画の場面を視覚的に補完する重要な要素だが，翻訳先の多様性および視覚的文脈への依存ゆえに，従来の機械翻訳では十分に検討されてこなかった．本研究では，視覚言語モデル（VLM）を用いた漫画のオノマトペ翻訳の有効性を検証する．実験の結果，VLMは視覚情報の利用により，翻訳精度を向上させることが確認された．一方で，人手翻訳に比べ語彙の多様性に欠けるという課題も明らかになった．加えて，既存の評価指標の限界を示し，本タスク特有の評価尺度の必要性について述べる．