動画データと画像キャプション生成を用いた音とテキストペアの自動生成

ら音とテキストのペアデータを収集するのではな本研究では,動画データと画像キャプション生成く,タグが付与された音データと,大規模言語モデルモデルを活用した,音とテキストのペアデータの自(LLM;LargeLanguageModel)[11,12,13,14]を用いて,動生成手法を提案する.提案手法は3段階で構成さ音に対応するテキストを自動生成する手法が提案される.まず,画像キャプション生成モデルを用いて動れている[15,16,17].これらの研究はlanguage-based画のフレームごとにキャプションを生成する.次に,audioretrievalなどの下流タスクでの性能向上に大きこれらのキャプションの選択/統合により動画全体く寄与した一方で,ペアデータの生成にはタグ付きを説明するキャプションを作成する.最後に,生成さの音データが必要である.またタグに含まれる情報れたキャプションと音データのペアに対して,CLAP以上の詳細な説明をテキストとして生成できない,による類似度計算を用いてフィルタリングを行うこという課題が存在する.とで,高品質な音とテキストのペアを自動的に生成そこで本研究では,音データを含む動画データとする.ClothoV2とAudioCapsを用いたlanguage-based画像キャプション生成モデルを用いて,ラベルやタaudioretrievalタスクでの評価実験では,提案手法でグのない動画データから,音とテキストのペアを自生成したデータによる学習が,人手でアノテーショ動生成する手法を提案する.提案手法の概要を図1ンされたデータと同等の性能を達成することを確認に示す.本手法では,まず音声を含む動画をフレーした.ムごとに分割し,画像キャプション生成モデルを用いて,各フレームのキャプションを生成する.次