漫画話者認識におけるVLMの有効性

本研究では，漫画におけるゼロショット話者認識という課題に取り組む．既存研究では，大規模言語モデルとコンピュータビジョンモデルを組み合わせた手法が提案されているが，複雑なパイプラインに依存し，必ずしも精度向上に貢献しないという課題がある．そこで本研究では，単一のVisionandLanguageModelを活用した新たなゼロショット漫画話者認識手法を提案する．実験の結果，提案手法が既存手法を上回る精度を達成することを示す．興味深いことに，既存手法と提案手法における視覚情報の寄与を詳細に分析した結果，視覚情報が認識精度に及ぼす影響が限定的であることを明らかにする．