音声・音響・音楽を扱うオープン基盤モデルの構築に向けたデータセット策定

大規模言語モデル（言語基盤モデル）[1,2,3]は，伝統的な自然言語処理タスクやzero-shotタスクにおいて顕著な性能を示しており，現代における自然言語処理の基盤技術となっている．これを受け，自然言語以外の様々なメディアデータ，センサデータに対する大規模モデルが期待される[4,5]．音についても例外でなく，例えば，音声信号（人間の声）[6,7,8,9]，音響信号（環境音，動物音声など）[10,11]，音楽信号（器楽音など）[12,13,14]について，それぞれ基盤モデルの構築が進められている．これらは，各研究分野において，次なる基盤技術として創出されようとしている．これを踏まえ我々は，音声・音響・音楽を扱う大規模モデル（音基盤モデル1））について，以下のように考える．図1はその図示である．•音声・音響・音楽を統一的に扱えること：これらの音は，これまで別の研究分野で扱われてきたが，物理（例えば波動方程式）と情報（例えば心理）の観点で通底するため，統一的な基盤モデル1）本研究で扱う基盤モデルであらゆる音を扱うわけではないが，簡単のためこのように表記する．…SpeechAudioMusicTextTheoryandknowledgeonlinguistics,physics,psychology,biology,etc.Foundationmodelforspeech,audio,andmusicsignalsSpeechAudioMusicTextConnectingtorelatedstudies.…MainlyJapaneseArbitrarydurationArbitrarysamplingrateArbitrarynumberofchannelsで扱うことが望ましい[15,16,17,18]．また，記号（例えば自然言語，音楽記号）で記述されない音信号も含むべきである．•時間長，サンプリング周波数，チャネル数について任意の値を扱えること：音信号は，どの種類でも可変長信号を前提とする点で共通するが，種類に応じて保存フォーマットが異なる．例えば，音声信号の主周波数帯域を扱うなら16kHzサンプリングが用いられるが，音楽信号はより広い48kHzサンプリングを要請する．同様に，音声信号はモノラル(1ch)信号で扱うことが多いが，空間情報を扱う場合はステレオから数十チャネルまで扱う必要がある．これらを踏まえると，音基盤モデルは，時間長，サンプリング周波数[19]，チャネル数[20,21,22]について任意の値をとる入出力信号を扱わなければならない．関連して，それ以外の録音条件（例えばマイクロホン配置）についても，任意の条件に対応すべきである．•言語学，物理学，心理学，生物学などの隣接分野に接続できること：音響学は，言語学，物理学，心理学，生物学と隣接する学問（例えば音声言語，物理音響，音響心理，生物音響）である．そのため，音基盤モデルはこれらの学問にも利用できる.ことが望ましい．•日本あるいは日本語を扱えること：画像と同様に，音も土地や文化に依存する．本研究は特に日本語および日本を扱う基盤モデルを目標とする．•音研究を多分野に広く開放できること：基盤モデルの登場により音声・音響・音楽研究のパラダイムが大きく変化し，音声・音響・音楽研究者以外も当該基盤モデルを扱うように変化すると予想される．このような時代を迎えるために，音基盤モデルのデータと開発環境を広く一般に公開しなければならない．•基盤モデルを扱える人材を創出できること：言語基盤モデルプロジェクトLLM.jp[23]と同様に．基盤モデル開発を先導あるいは追従できる人材を育成しなければならない．このような音基盤モデルを開発するための第一歩として本研究では，基盤モデル構築に用いるデータセット一覧を策定する．本論文では作成した一覧とメタ情報について分析した結果を報告する．これらの情報はhttps://github.com/sarulab-speech/audio-foundation-model-datasetにて入手可能である．