動画データと画像キャプション生成を用いた音とテキストペアの自動生成

に,生成されたフレームごとのキャプションに対し音とテキストのマルチモーダル学習は,language-て,キャプションの選択やLLMなどによるキャプbasedaudioretrieval[1,2,3],audiocaptioning[4,5],ションの統合処理を行い,動画全体を説明するキャtext-to-audiogeneration[6,7]など,様々なタスクの基プションへと変換する.その後,CLAP(Contrastive盤となる重要な研究分野である.このような音とテLanguage-AudioPretraining)[18]を用いて,動画に含キストのマルチモーダル学習の実現には,大規模かまれる音データと生成されたキャプションの類似度つ質の高い音とテキストのペアデータが必要不可欠を計算し,類似度の高いペアを音とテキストのペアである.として採用する.本手法は,タグやラベルを用いずしかしながら,高品質な音とテキストのペアに,動画データだけから高品質な音とテキストのペデータの作成には,多大なコストを要する.また,アを生成でき,かつその生成プロセスが自動化され公開されている音とテキストのペアデータセッているため,データ作成のコストが抑えることがでト[8,9,10]は,画像とテキストのペアデータと比較きる.して,その規模が大幅に劣るのが現状である.例え実験では,提案手法の有効性を示すために,生成さば,language-basedaudioretrievalなどで広く使用されれたデータを用いて音とテキストの共通埋め込み空るClothoV2[8]には,約5,000の音と25,000のテキス間を学習し,ClothoV2[8]と,AudioCaps[9]の二つのトが含まれているが,これはマルチモーダルモデルデータセットを用いてlanguage-basedaudioretrievalの学習において必ずしも十分な規模とは言えない.のタスクの性能評価を実施した.実験を通して,提案―1283―.FrameExtractionImageCaptioning…ModelVideoAudiotrack手法によって自動生成されたデータを用いた学習は,人手でアノテーションされたデータセットを用いた学習と比較して,同等の検索性能を達成することを確認した.また,提案法で生成されたデータと,人手でアノテーションされたデータを組み合わせて学習することで,一部の指標で性能が向上することを確認した.