漫画話者認識におけるVLMの有効性

漫画における話者認識とは，漫画内の台詞がどのキャラクターによって発話されているかを特定するタスクである．キャラクターは漫画のストーリーを構成する中核的要素であるため，このタスクは漫画の機械翻訳をはじめとする漫画関連タスクの基盤となる[1]．既存の漫画機械翻訳研究において，話者情報が翻訳の質を向上させる重要な要素であることが実証されている[1]．漫画機械翻訳において話者認識の重要性を示す具体例として，図1における「返した！」という台詞の英語への翻訳を考える．この台詞を適切に翻訳するためには，話者の特定が不可欠である．このような事例は，画像の情報に基づき，台詞の話者を考慮しなければ解決できない問題である．本研究では，ゼロショット漫画話者認識に取り組む．これは，実環境において漫画のアノテーション付きデータの入手が困難であることに起因する．例えば，新刊漫画に対して即時的な話者認識が要求される場合などが想定される．なお本研究では，Liら[2]の設定に準拠し，画像内のテキストが事前に正確に抽出されている状況下での話者認識に焦点を当てる．この前提により，テキスト抽出時した！」の英訳が，話者が主人公である場合は“Igavetheballback!”，主人公の妹である場合は“Hegavetheballback!”となる．“やまとの羽根”©咲香里のエラーに左右されることなく，漫画話者認識の本質的な課題に注力することが可能となる．上述の定義のゼロショット漫画話者認識に関して，我々の調査範囲では，Liら[2]の研究が唯一の公開された先行研究である．彼らはタスクの定義を確立し，大規模言語モデル(LargeLanguageModel,LLM)とコンピュータビジョンモデルを組み合わせた認識手法を提案した．我々は彼らのタスク定義を踏襲しつつも，その解決手法には再考の余地があると考える．彼らの方法は繰り返しを含む複雑なパイプラインに依存しており，我々の調査によれば，このパイプラインの一部は話者認識の精度向上にほとんど寄与せず，場合によっては性能を低下させる要因となることが判明したためである．本研究の発見は以下の通りである：•単一のVisionandLanguageModel(VLM)を活用した漫画話者認識手法を新たに提案し，既存法を上回る精度を達成した．•既存手法および提案法において，視覚情報が認識精度に及ぼす影響を詳細に分析した結果，予想に反して，視覚情報の寄与が限定的であることを明らかにした．.この漫画では…,大和:主人公,男性…撫子:主人公の妹,女性…翔:主人公のライバル,男性…GENSUMMARYSORT