SlideAVSR:視聴覚音声認識のための論文解説動画データセット

視聴覚音声認識(AVSR)は音声認識(ASR)をマルチモーダルに拡張したもので，音声の代わりに動画を入力として与えるタスクである．多くの研究で使用されている読唇データセットは顔追跡動画のみから構成されるため，AVSRモデルの画像理解能力を評価するには不十分だと考える．本研究では，論文解説動画を用いて，視聴覚音声認識データセットSlideAVSRを構築する．多くの専門用語が含まれ，スライドを参照しないと正確な文字起こしは困難であるため，モデルの画像理解能力をより多くの側面で評価できると考える．そして，テキスト情報を参照可能なAVSRモデルDocWhisperを提案し，SlideAVSRにおいてその有効性を確認した．