本研究は、動画キャプション生成タスクにおけるマルチモーダルLLMのハルシネーションの分析を行う。また、ハルシネーション分析に向けて、モデル生成文に対する誤り区間のスパンとそのスパンの修正を付与した新しいデータセットを構築した。分析は言語情報と視覚情報の２つの観点から行い、誤りパターンの分析や動画の明るさや動きといった視覚的要因との関連性に注目した分析を行う。分析結果から、モデルの生成文は入力動画の視覚情報よりもマルチモーダルLLMのDecoderの影響を強く受けた文表現となることや、動画の明るさが大きいほどハルシネーションが生じやすい傾向にあることなどが分かった。

YouTube、TikTokをはじめとする動画共有サービスやNetﬂixなどの動画配信サービスは、日常生活に欠かせない存在となっており、日々膨大な動画コンテンツを我々に届けている。動画キャプション生成(VideoCaptioning)[1,2,3,4]は、そのような動画コンテンツへのタグ付けや説明文を付与できる技術であり、膨大な動画コンテンツを好みに応じて迅速に我々に届けることを可能にする実用上重要な技術のひとつである。近年は、動画キャプション生成タスクにマルチモーダルLLM[3,4,5,6,7,8]が用いられつつあるが、大規模言語モデル[1,2,9,10]と同様に、しばしばハルシネーション（hallucination）[11,12,13]が生じる問題がある。ハルシネーションとは、文生成時にモデルの入力情報や一般の社会事実に基づかない無関係な情報を生成してしまう現象であり、本研究では入力動画の内容とは無関係または事実ではない内容をモデルがキャプション文として生成してしまう事象を指す。動画修正前キャプション⽂（モデル⽣成⽂）thevideoshowsawomansittingata<tag1>table</tag1>withalaptopandapink<tag2>chair</tag2>inthebackground.修正後キャプション⽂（モデル修正⽂）thevideoshowsawomansittingata<tag1>chair</tag1>withalaptopandapink<tag2>wall</tag2>inthebackground.女性は”chair”に座り、背景にはピンクの”wall”が存在しているが、生成されたキャプション文はそれぞれ誤って”table”、”chair”と生成している。本データセットは、このような修正とそのハルシネーション部分のスパンをアノテーションしたものである。このような事象は、動画キャプション生成技術の実用化を考える際に、ユーザーに誤った情報を提供する危険性を孕んでいる点で問題と言えよう。動画キャプション生成におけるハルシネーションの研究には、Liu[14]らの研究がある。彼らは、約6500件の動画キャプション文に対してハルシネーション箇所をアノテーションし、分析を行った。また、Nasib[15]らは、動画キャプション生成のためのハルシネーションの評価指標COAHAを提案し、動画中の物体や行動に関するハルシネーションの分析を行った。一方、Wangら[16]やZhangら[17]は、動画質問応答タスクにおいて、新しいベンチマークを作成し、動画質問応答タスクのハルシネーションを抑制する方法を提案した。しかしながら、Liu[14].らの研究では、モデルが「どこで」誤りが生じるかの誤りのスパンを明確にしたが、モデルが「どのように」誤るのかはアノテーションされていない。具体的には、”Dogsarerunninginthepark.”というキャプション文に対し、”Dogs”がアノテーションされた場合に、映像中に犬が存在しないのか、複数匹存在しないのか、あるいは、動物種を誤認しているのかは明確ではない。そのため、誤りが「犬」と「別の動物」の種別間違いなのか、もしくは「1匹」と「複数匹」の数的誤りなのかといった誤り方が分からない問題がある。このように、先行研究では、キャプション文内の誤りスパンに対して修正情報が付与されていないことで、モデルが「どのように」誤るのかを分析することが難しく、未だ取り組まれていない課題のひとつとなっている。本研究では、このような課題の解決に向けて、動画キャプション文に対するハルシネーションが生じたスパンと共に内容修正をアノテーションした新しいデータセットを構築した。具体的には、複数の動画データセットから収集した2,000本の動画に対して、3つのマルチモーダルLLMを用いて計6,000件のキャプション文を生成し、それらにアノテーションを行った。さらに、このデータセットを用いて動画キャプションにおけるマルチモーダルLLMのハルシネーション分析を行った。具体的には、修正前後の動画キャプション文の変化に注目し、単語の出現頻度や品詞といった言語的特性と、画質の明るさや画面の動きの大きさといった動画の視覚的特性の双方からマルチモーダルLLMに対するハルシネーションの分析を行った。