ら音とテキストのペアデータを収集するのではな本研究では,動画データと画像キャプション生成く,タグが付与された音データと,大規模言語モデルモデルを活用した,音とテキストのペアデータの自(LLM;LargeLanguageModel)[11,12,13,14]を用いて,動生成手法を提案する.提案手法は3段階で構成さ音に対応するテキストを自動生成する手法が提案される.まず,画像キャプション生成モデルを用いて動れている[15,16,17].これらの研究はlanguage-based画のフレームごとにキャプションを生成する.次に,audioretrievalなどの下流タスクでの性能向上に大きこれらのキャプションの選択/統合により動画全体く寄与した一方で,ペアデータの生成にはタグ付きを説明するキャプションを作成する.最後に,生成さの音データが必要である.またタグに含まれる情報れたキャプションと音データのペアに対して,CLAP以上の詳細な説明をテキストとして生成できない,による類似度計算を用いてフィルタリングを行うこという課題が存在する.とで,高品質な音とテキストのペアを自動的に生成そこで本研究では,音データを含む動画データとする.ClothoV2とAudioCapsを用いたlanguage-based画像キャプション生成モデルを用いて,ラベルやタaudioretrievalタスクでの評価実験では,提案手法でグのない動画データから,音とテキストのペアを自生成したデータによる学習が,人手でアノテーショ動生成する手法を提案する.提案手法の概要を図1ンされたデータと同等の性能を達成することを確認に示す.本手法では,まず音声を含む動画をフレーした.ムごとに分割し,画像キャプション生成モデルを用いて,各フレームのキャプションを生成する.次

に,生成されたフレームごとのキャプションに対し音とテキストのマルチモーダル学習は,language-て,キャプションの選択やLLMなどによるキャプbasedaudioretrieval[1,2,3],audiocaptioning[4,5],ションの統合処理を行い,動画全体を説明するキャtext-to-audiogeneration[6,7]など,様々なタスクの基プションへと変換する.その後,CLAP(Contrastive盤となる重要な研究分野である.このような音とテLanguage-AudioPretraining)[18]を用いて,動画に含キストのマルチモーダル学習の実現には,大規模かまれる音データと生成されたキャプションの類似度つ質の高い音とテキストのペアデータが必要不可欠を計算し,類似度の高いペアを音とテキストのペアである.として採用する.本手法は,タグやラベルを用いずしかしながら,高品質な音とテキストのペアに,動画データだけから高品質な音とテキストのペデータの作成には,多大なコストを要する.また,アを生成でき,かつその生成プロセスが自動化され公開されている音とテキストのペアデータセッているため,データ作成のコストが抑えることがでト[8,9,10]は,画像とテキストのペアデータと比較きる.して,その規模が大幅に劣るのが現状である.例え実験では,提案手法の有効性を示すために,生成さば,language-basedaudioretrievalなどで広く使用されれたデータを用いて音とテキストの共通埋め込み空るClothoV2[8]には,約5,000の音と25,000のテキス間を学習し,ClothoV2[8]と,AudioCaps[9]の二つのトが含まれているが,これはマルチモーダルモデルデータセットを用いてlanguage-basedaudioretrievalの学習において必ずしも十分な規模とは言えない.のタスクの性能評価を実施した.実験を通して,提案―1283―.FrameExtractionImageCaptioning…ModelVideoAudiotrack手法によって自動生成されたデータを用いた学習は,人手でアノテーションされたデータセットを用いた学習と比較して,同等の検索性能を達成することを確認した.また,提案法で生成されたデータと,人手でアノテーションされたデータを組み合わせて学習することで,一部の指標で性能が向上することを確認した.