視聴覚音声認識(AVSR)は音声認識(ASR)をマルチモーダルに拡張したもので，音声の代わりに動画を入力として与えるタスクである．多くの研究で使用されている読唇データセットは顔追跡動画のみから構成されるため，AVSRモデルの画像理解能力を評価するには不十分だと考える．本研究では，論文解説動画を用いて，視聴覚音声認識データセットSlideAVSRを構築する．多くの専門用語が含まれ，スライドを参照しないと正確な文字起こしは困難であるため，モデルの画像理解能力をより多くの側面で評価できると考える．そして，テキスト情報を参照可能なAVSRモデルDocWhisperを提案し，SlideAVSRにおいてその有効性を確認した．

言語，画像，動画，音声など複数の種類のデータを同時に扱えるマルチモーダルモデルの研究が注目されている．音声認識(ASR)をマルチモーダルに拡張し，音声の代わりに動画を入力として与える視聴覚音声認識(AVSR)がその一例である．これまでのAVSRの研究の多くは，読唇データセット[1,2]における精度向上を目的として行われてきた．これらの研究で構築されたモデルは読唇データに対し高い性能を誇るが，他の種類の動画には対応できない．本研究では，AVSRモデルの画像理解能力をより全面的に評価するために，多くの専門用語が含まれ，スライド上のテキスト情報を参照しないと正確な文字起こしが困難な視聴覚音声認識データセットSlideAVSRを構築する．具体的には，YouTubeから論文の解説動画を収集し，ChatGPTフィルター，BLIP-2[3]フィルターを含めた複数のデータ洗練プロセス，話者のアクセントを考慮したデータ分割により高品質なデータセットの構築を実現する．さらに本研究では，OCRでスライドの内容を効率的に参照可能にするAVSRモデルDocWhisperを提案する．SlideAVSRを用いた実験において，DocWhisperは音声入力のみを用いるWhisper[4]と比べ最大14.3%の精度向上を示した．そして，OCRの結果におけるlong-tail問題に対し，単語の出現頻度に基づく順位を算出する手法FQRanker(FrequencyRanker)を提案し，DocWhisperに対する効果を評価した．