SlideAVSR:視聴覚音声認識のための論文解説動画データセット

言語，画像，動画，音声など複数の種類のデータを同時に扱えるマルチモーダルモデルの研究が注目されている．音声認識(ASR)をマルチモーダルに拡張し，音声の代わりに動画を入力として与える視聴覚音声認識(AVSR)がその一例である．これまでのAVSRの研究の多くは，読唇データセット[1,2]における精度向上を目的として行われてきた．これらの研究で構築されたモデルは読唇データに対し高い性能を誇るが，他の種類の動画には対応できない．本研究では，AVSRモデルの画像理解能力をより全面的に評価するために，多くの専門用語が含まれ，スライド上のテキスト情報を参照しないと正確な文字起こしが困難な視聴覚音声認識データセットSlideAVSRを構築する．具体的には，YouTubeから論文の解説動画を収集し，ChatGPTフィルター，BLIP-2[3]フィルターを含めた複数のデータ洗練プロセス，話者のアクセントを考慮したデータ分割により高品質なデータセットの構築を実現する．さらに本研究では，OCRでスライドの内容を効率的に参照可能にするAVSRモデルDocWhisperを提案する．SlideAVSRを用いた実験において，DocWhisperは音声入力のみを用いるWhisper[4]と比べ最大14.3%の精度向上を示した．そして，OCRの結果におけるlong-tail問題に対し，単語の出現頻度に基づく順位を算出する手法FQRanker(FrequencyRanker)を提案し，DocWhisperに対する効果を評価した．