環境音に対する日本語自由記述文コーパスとベンチマーク分析

大規模言語モデル（largelanguagemodel,LLM）の隆盛を受け，テキスト以外のモーダルをLLMと接続して処理するためのデータセット構築が期待される．本論文では，環境音とテキストを相互変換できるタスクを扱い，そのための自由記述文–環境音データセットを構築する．この文は，発生音の内容物，順列，前後，前景背景などを自由記述したものであり，例えば•Text-to-audio：自然言語から人工的に音を合成する，コンテンツ制作等に向けた技術[1]–[3]•Audiocaptioning：観測音の内容を自然言語で記述する，音情景理解に向けた技術[4],[5]•Text-to-audioretrieval：自然言語に基づき音データを検索する，データセット検索・作成に向けた技術[6]•Text-audiomodelevaluation：機械学習モデルが音の内容を理解しているかを評価[7]など多岐に渡る．これらを実現するデータセットの大半は英語[8],[9]であり，それ以外には中国語のデータセット[10]が僅かに存在するのみである．しかしながら，既存研究で指摘されている音理解の不足[7]，および，言語システムの違い（特に音象徴の言語間差異）について調査するためにも，様々な言語での学習および評価が必要である．本研究では，日本語の自由記述文–環境音データセットを構築し，そのベンチマークを分析した結果を報告する．本データセットは，既存の英語データセットAudioCaps[8]を手動翻訳，および自動翻訳する形で作成する．本データセットはhttps://github.com/sarulab-speech/ml-audiocapsから入手可能である．ベンチマーク分析では，retrievalタスクを例にして，英語の既存研究で言及されている観点，及び日本語独特の音象徴に関する結果を報告する．