言語処理学会 第30回年次大会 発表論文集（2024年3月）

環境音に対する日本語自由記述文コーパスとベンチマーク分析
岡本 悠希 1

高道 慎之介 2 森松 亜依 2 渡邊 亞椰 2 井本 桂右 3 山下 洋一 1
1 立命館大学
2 東京大学3 同志社大学
y-okamoto@ieee.org, shinnosuke takamichi@ipc.i.u-tokyo.ac.jp

概要
音の認識合成を大規模言語モデルと接続するためのデータセットの作成が急務である．本研究では，環境音データと，その内容を日本語で自由記述した文から成るオープンコーパスを構築する．本コーパ
スは環境音と英語自由記述文から成る既存コーパスの日本語訳であるため，英語と日本語を対比させた評価と分析が可能である．本論文は，コーパスの設計指針を述べるとともに，そのベンチマーク結果を分析する．

1

はじめに大規模言語モデル（large language model, LLM）の隆盛を受け，テキスト以外のモーダルを LLM と接続して処理するためのデータセット構築が期待される．本論文では，環境音とテキストを相互変換できるタスクを扱い，そのための自由記述文–環境音データセットを構築する．この文は，発生音の内容物，順列，前後，前景背景などを自由記述したものであり，例えば• Text-to-audio：自然言語から人工的に音を合成する，コンテンツ制作等に向けた技術 [1]–[3]• Audio captioning：観測音の内容を自然言語で記述する，音情景理解に向けた技術 [4], [5]• Text-to-audio retrieval：自然言語に基づき音デー
タを検索する，データセット検索・作成に向けた技術 [6]• Text-audio model evaluation：機械学習モデルが音の内容を理解しているかを評価 [7]など多岐に渡る．これらを実現するデータセットの大半は英語 [8], [9] であり，それ以外には中国語のデータセット [10] が僅かに存在するのみである．しかしながら，既存研究で指摘されている音理解の不足 [7]，および，言語システムの違い（特に音象徴の言語間差異）について調査するためにも，様々な言語での学習および評価が必要である．

本 研 究 で は，日 本 語 の 自 由 記 述 文–環 境 音 デ ー
タ セ ッ ト を 構 築 し，そ の ベ ン チ マ ー ク を 分 析し た 結 果 を 報 告 す る．本 デ ー タ セ ッ ト は，既存 の 英 語 デ ー タ セ ッ ト AudioCaps [8] を 手 動 翻訳，お よ び 自 動 翻 訳 す る 形 で 作 成 す る．本 デ ー
タ セ ッ ト は https://github.com/sarulab-speech/
ml-audiocaps から入手可能である．ベンチマーク
分析では，retrieval タスクを例にして，英語の既存研究で言及されている観点，及び日本語独特の音象徴に関する結果を報告する．

2データセット作成本研究で参考にするデータセット AudioCaps [8]は，audio captioning に向けて作成された英語データセットである．その音データは，希少イベントと楽音を除く多様な音イベントを含むように設計されている．英語の自由記述はクラウドソーシングにより作成されており，学習データ内の各音につき 1 つ，検証・評価データについては 5 つの自由記述文が付与されている．この自由記述文を日本語に翻訳する
ことで，日本語のデータセットを作成する．なお，自動翻訳については学習データのみ，手動翻訳は全データを対象とする．

2.1

自動翻訳

自動翻訳のウェブサービスを利用して英語を日本語に翻訳する．品質を担保するため，翻訳した文に対し以下の処理を実施した．
• 翻訳元文の語句が残っている場合は，当該文をデータセットから削除する．
• 括弧などで注釈のついているものは，その括弧フレーズを削除（例えば，“トイレの流水（トイレの水を流すこと） → トイレの流水”）する．ただし，注釈ではなく語の言い換えと見做される場合には，変更しない．
• 文が日本語として破綻している場合は，当該文を― 1269 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

Input: Text

表1

Text Encoder
RoBERTaMLPTTEȘ Eș…

TEɈ

自由記述文の元文と翻訳した日本語文の例

Language

Captionw

EȘ 1w

MLP
HTS-AT
Audio Encoder
図1

1
1…

Input: Waveform

Eșw

EɈ

1

CLAP に基づく text-audio モデル構築の概要

EnglishJapanese• A dog barks twice and then whimpers• 犬の吠え声。その後に、クンクン鳴く音

Japanese (auto)• 犬が 2 回吠えてから泣き声をあげます。

English• A man talks while diﬀerent birds tweetJapanese• 男性が話している声、同時に異なる鳥たちがJapanese (auto)チッチッと鳴く声• 男 性 が 話 す 間 に、異 な る 鳥 た ち が さ え ず ります。

データセットから削除する．
AT) [12] と RoBERTa [13] 使用した．なお，HTS-AT

2.2

手動翻訳

は CLAP が 公 式 に 提 供 し て い る 事 前 学 習 済 モ デル2）を使用した．また RoBERTa は，日本語，英語以下の条件に基づき翻訳した．
• 文体は体言止めを基本とし，体言止めの記述が難しい場合には用言止めとする．
• 意味の似た英語名詞は、単一の日本語名詞に置き換える．例えば，“automobile, car” は “車” に翻訳する．
• 並列表現は句読点で結ぶ．例えば，“‘PhraseA andPhraseB” は “句 A，句 B” に翻訳する．
• 前 景 背 景 や 順 序 を 表 す 接 続 詞（例 え ば，while,after which）は，その役割を明示する表記（例えば，“同時に，その後で”）に翻訳する．
• 直訳としてオノマトペを伴うことが妥当である場合は，オノマトペを伴う．例えば，baaing,cackling, cawing はそれぞれ，“メーと鳴く”，“クワックワッと鳴く”，“カーカー鳴く” に翻訳する．
これらのオノマトペは，対応する環境音の音象徴ではなく，あくまで元文の直訳であることに注意する．
• 元文が英語として破綻している，あるいは内容が不明確である場合には，当該元文を翻訳しない．

3

ベンチマークでそれぞれ学習された japanese-roberta-base3）並びにroberta-base4）を使用した．学習には，日英それぞれの自由記述文と環境音のペアデータを用いて，言語ごとにモデルを構築した．
Retrieval の 際 は，学 習 さ せ た audio encoder，textencoder をそれぞれ用いて入力データに対する埋め込みと検索対象データの埋め込み集合間のコサイン類似度を計算する．コサイン類似度が高いほど検索結果が上位であることを意味し，これらの結果をもとに環境音と自由記述文それぞれを入力とした場合にそれぞれ適切なデータを検索可能であるか評価する．
Retrieval の評価指標には，retrieval タスクにおいて使用される mean average precision at top 10 (mAP@10)
並びに，Recall at 𝑘 (Recall@𝑘）を使用した．Recall@𝑘
は，上位 𝑘 番目までの retrieval 結果を全てのクエリ（text-to-audio retrieval の場合は text がクエリとなる）に対して平均した再現性スコアである．

4

結果

4.1

データセット作成したデータセットのベンチマークとして，自動翻訳には OpenAI ChatGPT API (“gpt-3.5-turbo”)

text-to-audio retrieval，audio-to-text retrieval タスク1）をを用いた．アクセス時期は 2023 年 5 月である．“gpt-実施した．まず，環境音と自由記述文の対応を獲4” 及び “gpt-4-turbo” を使用しなかったのは，アクセ得する深層学習モデル (以下，text-audio モデル）を学習した．モデルには，対照学習によって音とテス当時に当該 API が公開されていなかったためでキストを同じベクトル空間上に埋め込むように学が，翻訳例や文ドメインに関する指示文は含めな習させる CLAP [11] を使用した．図 1 にモデルの概かった．自動翻訳文の後処理，および手動翻訳は，要を示す．Audio encoder と text encoder には，それ一人の日本語母語話者が実施した．

ある．プロンプトには，翻訳を指示する文を含めた

ぞれ hierarchical token semantic audio transformer (HTS1） Text-to-audio retrieval タスクと逆に，環境音から，対応する自由記述文を検索するタスク2） https://github.com/LAION-AI/CLAP3） https://huggingface.co/rinna/japanese-roberta-base4） https://huggingface.co/roberta-base― 1270 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

表2Language
EnglishJapaneseJapanese (Auto)audio-to-text と text-to-audio retrieval の評価結果
A→T
T→A
R@1 R@5 R@10 mAP@10 R@1 R@5 R@100.283 0.658 0.791
0.441 0.300 0.658 0.796
0.234 0.592 0.751
0.386 0.223 0.571 0.744
0.237 0.555 0.689
0.368 0.229 0.544 0.701mAP@100.450
0.375
0.364

表3

並列表現を表す語句の先後を入れ替えた際の audio-to-text と text-to-audio retrieval の評価結果
A→T
T→A
Coordinate structure Language
R@1 R@5 R@10 mAP@10 R@1 R@5 R@10 mAP@100.491
Japanese
0.317 0.714 0.819
0.488 0.327 0.737 0.825
Original
Japanese (Auto) 0.333 0.683 0.794
0.474 0.325 0.665 0.807
0.471
Japanese0.291 0.675 0.809
0.452 0.291 0.688 0.784
0.448
Swap
Japanese (Auto) 0.319 0.675 0.796
0.465 0.296 0.670 0.778
0.446

検 証，評 価 デ ー タ セ ッ ト は そ れ ぞ れ 2, 475 文，4, 875 文であり5），AudioCaps と同数である．一方，アを示した．Text Encoder に使用した RoBERTa は，英語モデルで約 160GB のテキストデータ，日本語

AudioCaps の学習データセットは 49, 838 文であるのモデルで約 75GB のテキストデータで学習されていに対し，自動翻訳文と手動翻訳文の数はそれぞれる．このように学習に使用されたデータ量が異なる

49, 668 文，48, 947 文である．これは，2 章に示したため，それに起因して性能に差が見られたのではなように，不適データを削除したためである．

いかと考えられる．また，手動翻訳 (Japanese) と自なお，AudioCaps の音データも我々のリポジトリ

動翻訳 (Japanese (Auto)) それぞれで学習したモデルで配布している．AudioCaps のリポジトリは音デーの retrieval 結果を比較すると，手動翻訳が自動翻訳タを YouTube link として配布しており，動画の削除にやや勝るものの，その差は数% 程度である．そのなどによるデータの欠損が発生していた．これ以上ため，自動翻訳されたデータセットも学習に活用での欠損を予防するため，我々が音データとして配布きる可能性がある．

している．YouTube link からのダウンロード時期は2023 年 11 月である．各音データの時間長は 10 秒であり，フォーマットは MP3 形式，48 kHz サンプリ
ング，256 kbps とした．

4.2

ベンチマーク

4.2.2

並列表現に関する評価

テキスト中の並列表現を表す語句を text-audio モ
デルがどの程度捕捉できているかについて検証した．評価には，4.2.1 節で使用した評価データセッ
トの中から，並列表現（例えば “並行して”）を含む3 章で構築したモデルを利用して，audio-to-text

自由記述文のみを抽出した評価セット (Original) と，retrieval (A → T) 並びに text-to-audio retrieval (T → A)

text 中の並列表現で区切られた句をランダムに入タスクを実施した．評価には，各言語によって学習れ替えた自由記述文の評価セット (Swap) を用意しされたモデルに対して，同一言語の評価データを使た6）．

用した．なお，AudioCaps は 1 つの音につき 5 文の表 3 に結果を示す．結果より，並列表現で区切ら自由記述文が付与されているため，その中から 1 文れた句を入れ替えると，retrieval の性能がわずかにをランダムに選択して，評価時の正解データとし低下することが確認された．しかしながら，各指標て扱った．以降，text-audio モデルは固定して，評価において大きなスコア差は確認できなかった．これ

データのみ様々変化させて評価を実施する．

らの結果より，文中の並列表現で区切られた句を入れ替えても，retrieval の性能には大きな影響を与え4.2.1ないことが確認された．よって，日本語の自由記述全体的な性能評価

表 2 に結果を示す．英語 (English) によって学習されたモデルと日本語によって学習されたモデルを比較すると，英語のほうが各指標において高いスコ
5） 1 つの環境音につき 5 文が付与されているため，環境音データの数はこれらを値を 5 で割った数であることに注意す
る．公開リポジトリでは，この環境音データの数を表記している．

文で学習した text-audio モデルにおいて，文中の並列表現を捕捉可能であることが明らかとなった．

6） 例えば，“車両の走行音、男性と女性の話し笑う声” のような文の並列表現で区切られた句を入れ替えて，“男性と女性の話し笑う声、車両の走行音” という文を作成した― 1271 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

表4

順序を表す語句の先後の句を入れ替えた際の audio-to-text と text-to-audio retrieval の評価結果
A→T
T→A
Order structure Language
R@1 R@5 R@10 mAP@10 R@1 R@5 R@10 mAP@10Japanese
0.399 0.729 0.854
0.534 0.357 0.708 0.848
0.509
Original
Japanese (Auto) 0.384 0.717 0.819
0.522 0.342 0.702 0.807
0.485
0.442
Japanese
0.330 0.688 0.819
0.486 0.286 0.664 0.792
SwappedJapanese (Auto) 0.366 0.682 0.819
0.504 0.316 0.679 0.813
0.475
表5text 中からオノマトペを削除したデータに対する audio-to-text と text-to-audio retrieval の評価結果
A→T
T→A
Onomatopoeia Language
R@1 R@5 R@10 mAP@10 R@1 R@5 R@10 mAP@100.375
Japanese
0.234 0.592 0.751
0.386 0.223 0.571 0.744
Original
Japanese (Auto) 0.237 0.555 0.689
0.368 0.229 0.544 0.701
0.364Japanese
0.240 0.563 0.729
0.379 0.206 0.548 0.719
0.356
EliminatedJapanese (Auto) 0.233 0.526 0.665
0.355 0.213 0.523 0.673
0.342

4.2.3

順序関係に関する評価

能低下は確認されなかった．よって，英語の既存研

英 語 の 既 存 研 究 [7] お い て，文 中 の “before” や究で示された結果と同様，日本語の自由記述文を用“after” といった環境音発生の順序を表す語句の先後いた text-audio モデルの学習においても，text 中の順の句を入れ替えても，retrieval タスクにおいて性能序関係を捕捉できないことが明らかとなった．

が低下しないことが報告されている．このことは，text-audio モデルが順序関係を学習できていないこ

4.2.4

オノマトペに関する評価とを表している．そこで，日本語の自由記述文に対日本語独特の音象徴としてオノマトペが挙げらしても同様の実験を実施して，順序関係を補足可能れる．今回翻訳した自由記述文はオノマトペを含むであるか評価した．評価には，4.2.1 節で使用した評ものも多く存在するため，text-audio モデルがこれ価データセットの中から，順序を表す語句（例えばらのオノマトペを retrieval の手がかりとして活用し“その後で”，“それに続いて”）を含む自由記述文のみを抽出した評価セット (Original)，文中の順序を表ているかどうかについて検証した．評価には，4.2.1
節で使用した評価データセットを利用して，文中かす語句の先後の句を入れ替えた自由記述文の評価

らオノマトペを削除した自由記述文の評価セット

セット (Swapped) を用意した7）．

(Eliminated) を用意した．

表 4 に結果を示す．結果より，手動翻訳の自由記

表 5 に結果を示す．結果より，文中からオノマト

述文で学習させたモデルは，順序を表す語句の先後ペを削除すると，各指標においてスコアがわずかにの句を入れ替えると mAP@10 が A → T で約 0.048，下がる傾向が確認された．よって，一部のデータにT → A で約 0.067 の性能低下が確認された．また，

おいては，text-audio モデルがオノマトペを手がかり自動翻訳の自由記述文によって学習させたモデルに retrieval を行ってると考えられる．ただし，2.2 節

は，mAP@10 が A → T で約 0.018，T → A で約 0.01に述べたように，本データセットのオノマトペは環の性能低下であり，手動翻訳のモデルと比べると性境音を受聴して付与したものではなく，英語の直訳能低下の幅が小さいことが確認された．表 1 に示すである．そのため本実験の結果からでは，モデルが手動，自動翻訳による自由記述文を確認すると，手環境音の音象徴を直接利用したかを議論できないこ

動翻訳の文は「句 A．その後に， 句 B」のように順とに注意する8）．今後，どのような文からオノマト

序が明示的であるのに対して，自動翻訳の方は，手動翻訳と比べて先後関係が取りにづらい文になってペを削除すると retrieval の際のスコアに変化が現れるかを詳細に分析する必要がある．

いることが確認できる．そのことに起因して，自動翻訳のモデルは手動翻訳の自由記述文で学習させたモデルよりも順序関係を捕捉しづらいモデルになったと推察できる．しかしながら，両者とも大幅な性
7） 例えば，“ノックの音．それに続いて、機械のこぎりの音”のような文の先後の句を入れ替えて，“機械のこぎりの音．
それに続いて、ノックの音” という文を作成した

まとめ

5

本研究では，環境音を自由記述した日本語文コーパスの構築とベンチマーク結果を述べた．
8） 例えば，カエルの “クワックワッ” という鳴き声と “クワックワッ” のオノマトペが，本モデルの埋め込み空間で対応するか否かは，本実験結果からは議論できない― 1272 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

謝辞： 本研究は，ムーンショット JPMJPS2011，JST 創発的研究支援事業 JP23KJ0828，科研費 21H05054，21H04900，22H0363，23H03418，23K16908 の支援を受け実施した.

References[1]D. Yang, J. Yu, H. Wang, et al., “Diﬀsound: Discrete diffusion model for text-to-sound generation,” arXiv preprintarXiv:2207.09983, 2022.
[2]F. Kreuk and G. Synnaeve and A. Polyak and U. Singer andA. Défossez and J. Copet and D. Parikh and Y. Taigman andY. Adi, “AudioGen: Textually guided audio generation,” inProc. International Conference on Learning Representation(ICLR), 2023 (to appear).
[3]H. Liu, Z. Chen, Y. Yuan, et al., “AudioLDM: Text-toaudio generation with latent diﬀusion models,” arXiv preprint
arXiv:2301.12503, 2023.
[4]R. Mahfuz, Y. Guo, and E. Visser, “Improving audio captioning using semantic similarity metrics,” in ICASSP, 2023,pp. 1–5.
[5]M. Kim, K. Sung-Bin, and T.-H. Oh, “Preﬁx tuning for automated audio captioning,” in ICASSP, 2023, pp. 1–5.
[6]B. Elizalde, S. Deshmukh, M. A. Ismail, et al., “CLAP:Learning audio concepts from natural language supervision,”
arXiv:2206.04769, 2022.
[7]H.-H. Wu, O. Nieto, J. P. Bello, et al., “Audio-text models do
not yet leverage natural language,” in ICASSP, 2023, pp. 1–5.
[8]C. D. Kim, B. Kim, H. Lee, et al., “AudioCaps: Generating
captions for audios in the wild,” in NAACL-HLT, 2019.
[9]K. Drossos, S. Lipping, and T. Virtanen, “Clotho: An audio
captioning dataset,” in ICASSP, 2020, pp. 736–740.
[10]X. Xu, H. Dinkel, M. Wu, et al., “Audio caption in a car settingwith a sentence-level loss,” in 2021 12th International Symposium on Chinese Spoken Language Processing (ISCSLP),
2021, pp. 1–5.
[11]Y. Wu, K. Chen, T. Zhang, et al., “Large-scale contrastive
language-audio pretraining with feature fusion and keywordto-caption augmentation,” in ICASSP, 2023, pp. 1–5.
[12]K. Chen, X. Du, B. Zhu, et al., “HTS-AT: A hierarchicaltoken-semantic audio transformer for sound classiﬁcation anddetection,” in ICASSP, 2022, pp. 646–650.
[13]Y. Liu, M. Ott, N. Goyal, et al., “RoBERTa: A robustly optimized bert pretraining approach,” arXiv preprint
arXiv:1907.11692, 2019.

― 1273 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).