⾳を扱いやすくする
汎⽤⾳響信号表現について
2022/9/14
NTTコミュニケーション科学基礎研究所
メディア情報研究部
仁泉 ⼤輔
Copyright 2022 NTT CORPORATION

発表の前置き😣 含まれないもの• ⾼度な⾳響信号処理や数式。
• ⾳響信号の厳密な取り扱いや解析的な分析アプローチ。
😃 含まれるもの

録ったあとの話題です。

•

深層学習を⽤いたブラックボックス的アプローチ。

•

画像分野の⽅法を取り⼊れた、⾮厳密な⾳の取り扱い。

•

⾃⼰教師あり学習による、ラベル不要なエンドツーエンド学習。
深層学習⽅⾯からの視野をご提供できれば幸いです。

Copyright 2022 NTT CORPORATION

2

問: ⽝を識別するのは簡単でしょうか?
アプローチ
1.

画像のピクセルからパターンを抽出して、プログラム
でしきい値を微調整して識別。
à プログラムで記述するのは⾮常に困難。

2.

画像のHand-crafted特徴量を使って統計的に学習して識別。
à 深層学習以前の主流。
à 2012年に深層学習によるブレークスルー。

3.

深層学習で内部表現の特徴量と識別器をデータからエ
ンドツーエンドで獲得。

本⽇は⼀般の⾳に関して、この辺りの話題をお話します。

⽝画像例

HOG(勾配のヒストグラム)特徴量例
https://debuggercafe.com/image-recognition-usinghistogram-of-oriented-gradients-hog-descriptor/

Copyright 2022 NTT CORPORATION

3

発表者略歴• 所属: NTTコミュニケーション科学基礎研究所
メディア情報研究部 メディア認識研究グループ• ⽒名: 仁泉 ⼤輔 (にいずみ だいすけ)•

製造業において電⼦楽器や家電製品等のソフトウェア開発に携わる経験を経て、2020年から現職にて⾳の説明⽂⽣成や汎⽤⾳響信号の表現学習など、深層学習を⽤いた⾳響信号の研究に従事。

楽器メーカーで学⽣時代

キャリアをスタート@九州⼯業⼤学
・ファジィ
・ニューロ
Copyright 2022 NTT CORPORATION

2018年頃からKaggleの⾳関連コンペに参加

製品(ソフトウェア)開発約20年

研究キャリアは
3年程度

現在
・深層学習
・⾳響信号
4

発表内容
•

⼀般の⾳を取り扱う動機〜環境⾳分析の発展、⼤規模データセット学習済みモデル•

画像分野の深層学習モデルを転⽤〜強⼒なモデルは⾳響信号でも性能を発揮•

汎⽤⾳響信号表現〜汎⽤的に適⽤できる強⼒な学習済みモデルを⽬指して•むすび

Copyright 2022 NTT CORPORATION

5⼀般の⾳を取り扱う動機〜環境⾳分析の現状
⼈が⼀般に聴く主な⾳として、
⾳声・⾳楽・環境⾳などが考えられる。

••

⾳声・⾳楽はそれぞれ成熟した研究分野。

•

環境⾳分析はDCASEにおいて近年活発な取り組み。

⾳声認識の発展に対して、⾝の回りで環境⾳が対象になることが少ない。

•••

環境⾳を応⽤したいニーズは存在。

⼀般の⾳を対象とする稀な応⽤例:
iOSでのイベント⾳検知

⾼齢者や⼦供の⾒守り•

メディア・コンテンツへの⾃動タグ付与•

⼯場における機器の⾃動監視•

ライフログの⾃動⽣成:

井本 桂右, 川口 洋平, 環境音分析・異常音検知の研究動向, 電子情報通信学会
基礎・境界ソサイエティ Fundamentals Review, 2021, 15 巻, 4 号, p. 268-280

Copyright 2022 NTT CORPORATION

NTT技術ジャーナル「究極のプライベート
⾳空間を実現するメディア処理技術」より
https://journal.ntt.co.jp/article/7509

6

環境⾳分析のコミュニティDCASE

⽐較的取り組みやすい
様々な問題設定。

Detection and Classification of
Acoustic Scenes and Events•

環境⾳分析の研究に関する研究コ
ミュニティでの活発な取り組み。

•

競争型ワークショップを毎年開催。
•

https://dcase.community/•

2020年からは異常⾳検知タスクも。

環境⾳分析も積極的に取り組まれている現状。
Copyright 2022 NTT CORPORATION

大石 康智, 環境音分析の研究を促進させる競争型ワークショップ, 日本音響学会誌, 2019, 75 巻, 9 号, p. 519-524

7⼤規模データセット AudioSet
環境⾳を含む⼤規模なデータセットの存在。
-

⾳のImageNetに相当する包括的な⼤規模データセット。

-

YouTubeのビデオクリップ10秒区間に対して含まれる⾳のクラスを(複数)ラベル付け。

-

210万(2.1M)サンプル。 ⇔ ImageNetは約128万サンプル。

-

⾳声・⾳楽・環境⾳などから幅広い種類のクラス。

※現在⼊⼿可能なものは180万サンプル程度。

-

Acoustic Event Recognition、または Audio Tagging と呼ばれるタスク設定。

-

527クラス、マルチラベル。

-

画像分野のCNN(VGG)を利⽤したベースライン。

-

このデータセットでの性能を競って事前学習モデルが次々と提案されている。(ImageNet同様の状況)

https://research.google.com/audioset/

環境⾳を含め、⼀般の⾳を包括的に扱えるモデル(深層表現)の提案が活発に⾏われている。
Copyright 2022 NTT CORPORATION

8参考)
AudioSet
Ontology

Copyright 2022 NTT CORPORATION

https://research.google.com/audioset/ontology/index.html

9画像分野の深層学習モデルを転⽤

Copyright 2022 NTT CORPORATION

10画像分野での深層学習モデルの発展
ImageNetにおける2012年のブレークスルー以降、
画像認識向けに提案される深層学習モデルの性能が向上を続けている。

以降CNN

2021年からはTransformerアーキテクチャ(ViT)が
CNNに置き換わる状況に達している。

⼈⼯知能は⼈間を超えるか―ディープラーニングの先にあるもの
https://www.jsme.or.jp/iip/Japanese/Newsletter/No47/matsuo.pdf

2015年以降の推移

Copyright 2022 NTT CORPORATION

https://paperswithcode.com/sota/image-classification-on-imagenet

2015年までの推移

11

AudioSet: 画像分野のモデルが上位を占める
ベースとなるモデル
DeiTSwin Transformer

https://paperswithcode.com/sota/
audio-classification-on-audioset

2022/9時点でのAudioSetのクラス分類性能ランキング

DeiT
EfficientNet (CNN)
ViT
Swin Transformer
DeiT
ViT
ViT

⾳の分野でも、画像分野で⾼性能を記録したモデルが次々と応⽤されている
Copyright 2022 NTT CORPORATION

12強⼒なモデルの普及例〜DCASE主催Kaggleコンペ
DCASE2018, 2019では、Task2
Audio tagging タスクが Kaggleで開催された。
•

画像に関するコンペが多く、⾳に関するものは少なかった。

•

画像コンペでは、CNNが既に優位な⼿法として確⽴。

•

⾳に関しても⾃然とCNNを使ったアプローチが注⽬を集め、上位を占めた。

https://dcase.community/challenge2018/task-general-purpose-audio-tagging

2018è 強⼒なアプローチを採⽤しない
理由がない。
è 現在のAudioSetランキング。
Copyright 2022 NTT CORPORATION

https://www.kaggle.com/c/freesound-audio-tagging

13

どのように画像分野のモデルを転⽤するか〜⾳響信号をスペクトログラムへと変換
時間周波数解析により⾳響信号をスペクトログラムに変換することで、画像に置き換えてモデルに⼊⼒できる。 è 画像分野の強⼒なモデルが利⽤できる。
【ただし注意が必要】•

⼊⼒データサイズ•

VGG [Simonyan+2015]

時間⻑固定・可変•ノーマライズ⽅法

•

出⼒サイズ

•

フィルタサイズ•

ストライド、…

Copyright 2022 NTT CORPORATION

https://www.cs.toronto.edu/~frossard/post/vgg16/

特にCNNを応⽤する際はネットワークパラメータと扱う
データサイズの関係を慎重に設計する必要がある

14時間周波数解析: スペクトログラムへの変換•

時間周波数解析により波形をスペクトログラムへ、画像と同等に扱える平⾯データに変換。

•

周波数・振幅(パワー)を対数軸で扱う、log-mel spectrogramで扱われることが多い。

•

⼀つのサンプルからモノラル信号のパワーのみで構成される
波形データ

ゥー、ワン!
Copyright 2022 NTT CORPORATION

このサンプル例は1.54s

データの取り扱いが多い。
スペクトログラム

この例の要素数(FxT)=128x154

15

汎⽤⾳響信号表現〜幅広く⼀般の⾳響信号に適⽤可能な表現を⽬指して〜

Copyright 2022 NTT CORPORATION

16

汎⽤⾳響信号表現とは?
“General-purpose Audio Representation” =「汎⽤⾳響信号表現」※発表者が対応させた⽇本語≈汎⽤的に有効な特徴量表現•

新しい研究対象で、明確な定義は存在しない様⼦。

•「幅広い問題解決に役⽴つ⾳響信号の汎⽤表現」と考えられる。
究極的にはファインチューニングなしに万能な表現。

••

既存⼿法の特徴:

学習済みモデルがそのまま使えるということ

1.

深層学習モデルを学習して得る深層表現。

2.

⾃⼰教師あり(教師ラベルなし)による学習⽅法が主流。

3.

複数のモダリティを利⽤した学習も可能。

Copyright 2022 NTT CORPORATION

17

汎⽤⾳響信号表現: これまでの経緯
環境⾳分析の発展に加えて、画像分野の発展が強く影響。
• 画像分野のモデルの転⽤が⼀般的になっている状況。
• 画像分野で⾃⼰教師あり学習の「対照学習」が発展し注⽬された。

[Saeed+2021] "Contrastive learning of general-purpose audio representations.”

Copyright 2022 NTT CORPORATION

18

⾃⼰教師あり学習(SSL)とは? BYOLによる例•

⼊⼒から２つのデータ拡張結果を作り出し、オンライン側の表現からターゲット側の表現を予測する⼿法。ターゲットはオンラインの指数移動平均。

[Grill+,NeurIPS2020]

⽝に不変な表現(推論結果)

この⽝画像の表現

データ拡張に不変なコンテキスト表現の学習を期待

https://www.casualganpapers.com/self-supervised-contrastive-representation-learning/BYOL-explained.html
Copyright 2022 NTT CORPORATION

学習フレームワーク⾃ら作り出した教師信号で表現を学習する仕組み。
ラベル不要で、より⼤規模な
データからの学習を可能にする。
19

COLA: 対照学習による⼿法[Saeed+,ICASSP2021]•

⾳声の時系列性を利⽤した対照学習(Contrastive learning)。

•

切り出し位置が近いペアの表現を近づけ、遠い位置のペアを遠ざける。
•

同じクリップ=近い vs. 違うクリップ切り出し=遠い、の関係性を利⽤。

•

データ拡張を利⽤しない。

近づける・遠ざける= 表現の類似度でのロス[2] Saeed, Aaqib, David Grangier, and Neil Zeghidour. "Contrastive learning of general-purpose audio representations.”
ICASSP 2021-2021 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). IEEE, 2021.
Copyright 2022 NTT CORPORATION

20COLAによる性能の向上•

性能はそれまでの⼿法と⽐較して著しく向上。

[2] Saeed, Aaqib, David Grangier, and Neil Zeghidour. "Contrastive learning of general-purpose audio representations.”
ICASSP 2021-2021 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). IEEE, 2021.
Copyright 2022 NTT CORPORATION

21

汎⽤⾳響信号表現: その後の発展[1] 2019/05 Self-supervised audio representation learning for mobile devices,
Pre-Training Audio Representations with Self-Supervision

初出と考えられる。※発表者調べ[19] 2019/12 PANNs: Large-Scale Pretrained Audio Neural Networks for Audio Pattern Recognition (≈ GPAR, TASLP)
2021[2] 2020/10 (COLA) Contrastive Learning of General-Purpose Audio Representations (ICASSP2021)[3] 2021/03 ※ BYOL for Audio: Self-Supervised Learning for General-Purpose Audio Representation (IJCNN2021)[4] 2021/04 Multimodal Self-Supervised Learning of General Audio Representations[5] 2021/09 BigSSL: Exploring the Frontier of Large-Scale Semi-Supervised Learning for Automatic Speech Recognition (≈ GPAR)[6] 2021/10 SSAST: Self-Supervised Audio Spectrogram Transformer (≈ GPAR)[7] 2021/10 Conformer-Based Self-Supervised Learning For Non-Speech Audio Tasks (ICASSP2022)[8] 2021/10 DECAR: Deep Clustering for learning general-purpose Audio Representations

2022 [9] 2021/11 Towards Learning Universal Audio Representations (ICASSP2022)[10] 2022/03 DeLoRes: Decorrelating Latent Spaces for Low-Resource Audio Representation Learning

2021年後半から増加傾向。
※=発表者の提案[11] 2022/03 MAE-AST: Masked Autoencoding Audio Spectrogram Transformer (≈ GPAR)[12] 2022/04 ※ Masked Spectrogram Modeling using Masked Autoencoders for Learning General-purpose Audio Representation[13] 2022/04 Masked Spectrogram Prediction For Self-Supervised Audio Pre-Training (≈ GPAR)[14] 2022/04 ATST: Audio Representation Learning with Teacher-Student Transformer[15] 2022/05 Self-Supervised Learning Method Using Multiple Sampling Strategies for General-Purpose Audio Representation(ICASSP2022)[16] 2022/05 ※ Composing General Audio Representation by Fusing Multilayer Features of a Pre-trained Model (EUSIPCO2022)[17] 2022/06 BYOL-S: Learning Self-supervised Speech Representations by Bootstrapping[18] 2022/07 (Audio-MAE) Masked Autoencoders that Listen
Copyright 2022 NTT CORPORATION

22

汎⽤⾳響信号表現: 研究の枠組み
事前学習により得られた表現を転移学習して、様々な応⽤タスク=下流タスクの性能で評価。
事前学習

応⽤
下流タスク
⾳響信号
⼊⼒

事前学習⽤ 特徴抽出器
⾳響信号 (エンコーダ)
⼊⼒

事前学習済み
特徴抽出器(エンコーダ)

汎⽤
⾳響信号
表現(Vector)

下流タスク
機械学習
システム

表現学習

(教師あり,
⾃⼰教師あり)⼤規模データセット

Copyright 2022 NTT CORPORATION

様々な
下流タスク

環境⾳分類
⾳響イベント認識
⽣態系モニタリング
⾳の説明⽂⽣成
肺の⾳の分類⼼⾳の分類:

⾳声感情認識発話コマンド分類
話者識別
発話⾔語識別楽器種別分類
⾳⾼分類:

23

汎⽤⾳響信号表現: 下流タスク例【HEAR Benchmark】
4つの環境⾳タスク (Environmental sound)•
環境⾳分類 ESC-50, FSD50K•
録⾳位置分類Gunshot Triangulation•
蜂の⼥王不在検知Beehive States
5つの⾳声タスク•
⾔語識別VoxLingua Top 10 (Vo10)•
擬⾳識別Vocal Imitations (Imit)•
⾳声感情認識CREMA-D (CR-D)•
⾳声コマンド分類Speech Commands v2 (SPC)•
話者数カウントLibriCount (Cnt)
6つの⾳楽タスク (Music)•
⾳楽/⾳声分類GTZAN Music Speech (M/S)•
⾳楽ジャンル分類GTZAN (GTZ)•
⾳⾼識別NSynth Pitch (PT)•
打楽器⾳⾊またはストローク分類Mridingham
Stroke and Tonic (MTonまたはNStk)•
打楽器⾳分類Beijing Opera (Perc)
Copyright 2022 NTT CORPORATION【BYOL-A, MSM-MAE利⽤タスク】
⾳事象(環境⾳)認識タスク
ESC-50: 50環境⾳クラス分類
UrbanSound8K: 10環境⾳クラス分類

⾮意味的発話(⾳声)認識タスク
SPCV2: 35⾳声コマンドクラス分類
VC1: 1,251話者クラス分類
VF: 6⾔語クラス分類
CRM-D: 6⾳声感情クラス認識

⾳楽タスク
GTZAN: 10⾳楽ジャンルクラス認識
NSynth: 11楽器クラス分類
Surge: 88MIDIノートクラス分類

24

BYOL-A: BYOLを利⽤した⼿法[Niizumi+(NTT),IJCNN2021]•

対照学習と同時期に提案されたBYOL (Bootstrap Your Own Latent)を利⽤。

•

時系列性の前提条件を使わない。

••

不採⽤「切り出し位置が近いペアの表現を近づけ、遠い位置のペアを遠ざける」
採⽤「データ拡張に不変な表現を学習」

Copyright 2022 NTT CORPORATION[3] Niizumi, Daisuke, et al. "BYOL for audio: Self-supervised learning for general-purpose audio representation."
2021 International Joint Conference on Neural Networks (IJCNN). IEEE, 2021.

25

BYOL-Aによる性能の向上•

COLAと⽐較して更に性能を向上。

Copyright 2022 NTT CORPORATION[3] Niizumi, Daisuke, et al. "BYOL for audio: Self-supervised learning for general-purpose audio representation."
2021 International Joint Conference on Neural Networks (IJCNN). IEEE, 2021.

26

そもそも表現とは具体的に?
•

典型的には実数列のベクトル。
t=0:

BYOL-A~t=100:[Niizumi+(NTT),IJCNN2021](時間フレームごとに出⼒した場合)

t=105

t=110

ゥー、ワン!

表現ベクトル例 (t=105付近, 2048次元)[0.0, ..., 41.2, 55.1, 0.0, 975.6, 0.0, .., 0.0, 180.0, ...]

t=120

t=140
:

Copyright 2022 NTT CORPORATION

27

例) ピッチや⾳量が変わると表現は?
•

BYOL-A を使った例
à ベクトルに含まれるいくつかの次元の数値が変動している。
ピッチ+(クリップ⻑x0.8倍)

-6dB

元の⾳

+6dB

ピッチ-

(クリップ⻑x1.2倍)

Copyright 2022 NTT CORPORATION

28

可視化例 – 各⼿法の表現ベクトル

VGGish

CNN14
スパースな表現

Copyright 2022 NTT CORPORATION

BYOL-A29可視化例 – UrbanSound8Kの各表現
VGGishBYOL-A

Copyright 2022 NTT CORPORATION

CNN14

性能はどの⼿法もそれほど変わらない。

30

汎⽤⾳響信号表現: 学習⽅法
これまでご紹介してきた内容では、•

⾃⼰教師あり学習(Self-supervised learning; SSL)の⼿法
à明⽰的な汎⽤⾳響信号表現。

しかしながら、•

AudioSetなどを教師あり学習する⼿法
à ⾮明⽰的な汎⽤表現として実質的に利⽤されている。

Copyright 2022 NTT CORPORATION

31

教師あり学習による⼿法〜画像分野のImageNet学習済みモデルと似た発展

Copyright 2022 NTT CORPORATION

32

教師あり学習〜暗黙の汎⽤表現学習
⼤規模データセットによるラベルを利⽤した教師あり
学習。

•
•

VGGish (2017): VGGをベースにしたモデルでYouTube-8Mを学習。

•

AST (2021): ViTベースのモデルでImageNet事前学習
を初期値にAudioSetを学習。

評価タスクが限られる。(明⽰的な汎⽤⼿法ではない)

•

•

•

VGGishはイベント認識タスクで評価。

•

ASTはESC-50 (シーン分類), Speech commands(発話コマンド分類)で評価。

実際の応⽤研究における利⽤例が⾒られる。

[VGGish][AST][VGGish] Hershey, Shawn, et al. "CNN architectures for large-scale audio classification." 2017 ieee international conference on
acoustics, speech and signal processing (icassp). IEEE, 2017.
[AST] Gong, Yuan, Yu-An Chung, and James Glass. "AST: Audio spectrogram transformer." arXiv preprint arXiv:2104.01778 (2021).

Copyright 2022 NTT CORPORATION

33

教師あり学習〜応⽤例•

特にVGGishの利⽤例が散⾒される。

•

しかし汎⽤的な性能が確認された上での応⽤ではない。

肺の⾳の分類への応⽤例

⾳の説明⽂⽣成への応⽤例

AudioCaps: Generating Captions for Audiosin The Wild (Kim et al., NAACL 2019)
Copyright 2022 NTT CORPORATION

Y. Koizumi et al., “A Transformer-Based Audio Captioning
Model with Keyword Estimation.” (Interspeech 2020)

L. Shi et al., "Lung Sound Recognition Algorithm Based on VGGish-BiGRU," in IEEE
Access, vol. 7, pp. 139438-139449, 2019, doi: 10.1109/ACCESS.2019.2943492.

34教師あり学習〜汎⽤性能は⼗分か?
教師あり学習モデルは⼗分汎⽤に耐えるか?

••

⼀般に利⽤される最終層付近は性能が劣ることも。

•

層ごとに得意なタスクが異なる。

Copyright 2022 NTT CORPORATION

そのまま最終層を活⽤したのでは性能が出ない
タスクがある(性能はタスクに依存)- 仁泉+, “事前学習モデルの複数層特徴量の融合を⽤いた汎⽤⾳響信号表現", 信学技報 (EA2022-9) (2022).
- Niizumi, Daisuke et al. “Composing General Audio Representation by Fusing Multilayer Features of a Pre-trained Model.”ArXiv abs/2205.08138 (2022) & EUSIPCO2022.

35

教師あり学習〜汎⽤性能を向上させることも可能
性能改善⼿法 [Niizumi+(NTT),EUSIPCO2022/信学技法2022]
中間・後半層の特徴量出⼒を融合 è 汎⽤性能が向上する- 仁泉+, “事前学習モデルの複数層特徴量の融合を⽤いた汎⽤⾳響信号表現", 信学技報 (EA2022-9) (2022).
- Niizumi, Daisuke et al. “Composing General Audio Representation by Fusing Multilayer Features of a Pre-trained Model.”ArXiv abs/2205.08138 (2022) & EUSIPCO2022.
Copyright 2022 NTT CORPORATION

36

教師あり学習モデル: まとめ• ImageNet同様に、多様なラベルで事前学習することで汎⽤性が期待されている。
• 応⽤例が散⾒されるが、そのまま最終層を使うと汎⽤性能に劣ることが報告されている。
• 複数層の出⼒を組み合わせることで、汎⽤的に役⽴つものに
カスタマイズできることも報告されている。

Copyright 2022 NTT CORPORATION

37

マルチモダリティを利⽤した⼿法〜マルチモーダルな⾃⼰教師あり学習

Copyright 2022 NTT CORPORATION

38

マルチモダリティSSL
OpenL3•••••

⾳と画像の対応関係を利⽤した学習Wang et al.

Raw, Spectrogram, 画像の対応関係から学習
汎⽤⾳響信号表現として提案

Wav2CLIP••[OpenL3] Cramer, Jason, et al.
"Look, listen, and learn more:
Design choices for deep audio
embeddings." ICASSP 2019.
[Wang et al.] Wang, Luyu, et al.
"Multimodal self-supervised learning ofgeneral audio representations." arXiv
preprint arXiv:2104.12807 (2021).
[Wav2CLIP] H. -H. Wu, P.
Seetharaman, K. Kumar and J. P. Bello,"Wav2CLIP: Learning Robust Audio
Representations from Clip," ICASSP
2022.
[CLIP] Radford, Alec et al. “Learning
Transferable Visual Models From
Natural Language
Supervision.” ICML (2021).

CLIP事前学習済みモデ
ルを⾳響信号に蒸留して⾳の表現を学習。

Copyright 2022 NTT CORPORATION

39

マルチモダリティSSL: OpenL3•

⾳と画像の対応関係を利⽤。

•

対応しているペア、対応していないペアを作成しすることで、ラベルを作り出す。

•

学習後には、Audio, Videoそれぞれの表現を出⼒する学習済みモデルを得る。

[OpenL3] Cramer, Jason, et al. "Look, listen, and learn more: Design choices for deep audio embeddings." ICASSP 2019.
Copyright 2022 NTT CORPORATION

40

マルチモダリティSSL: Wang et al.
時間波形・スペクトログラム・画像(映像)の対応関係を利⽤。

[Wang et al.] Wang, Luyu, et al. "Multimodal self-supervised learning of general audio representations." arXiv preprint arXiv:2104.12807 (2021).

Copyright 2022 NTT CORPORATION

41

マルチモダリティSSL: Wav2CLIP• CLIP事前学習済みモデ
ルを⾳響信号に蒸留して⾳の表現を学習。
• Zero-shot分類、などに道を拓く。
• 類似の⼿法が複数提案されている。
★CLIPはテキストと画像の対応を取るため幅広く利⽤される重要な⼿法として注⽬されている。

トレンド: 異なるモダリティのペアデータをContrastive
learningで学習すると共通空間の表現が学習できる。

[Wav2CLIP] H. -H. Wu, P. Seetharaman, K. Kumar and J. P. Bello, "Wav2CLIP: Learning Robust Audio Representations from Clip," ICASSP 2022.
[CLIP] Radford, Alec et al. “Learning Transferable Visual Models From Natural Language Supervision.” ICML (2021).

Copyright 2022 NTT CORPORATION

42最新の汎⽤⾳響信号表現⼿法〜画像分野 Masked Image Modeling(MIM) の応⽤

Copyright 2022 NTT CORPORATION

43

汎⽤⾳響信号表現: MIMベースの⼿法[1] 2019/05 Self-supervised audio representation learning for mobile devices,
Pre-Training Audio Representations with Self-Supervision[19] 2019/12 PANNs: Large-Scale Pretrained Audio Neural Networks for Audio Pattern Recognition (≈ GPAR, TASLP)
2021[2] 2020/10 (COLA) Contrastive Learning of General-Purpose Audio Representations (ICASSP2021)[3] 2021/03 ※ BYOL for Audio: Self-Supervised Learning for General-Purpose Audio Representation (IJCNN2021)[4] 2021/04 Multimodal Self-Supervised Learning of General Audio Representations[5] 2021/09 BigSSL: Exploring the Frontier of Large-Scale Semi-Supervised Learning for Automatic Speech Recognition (≈ GPAR)[6] 2021/10 SSAST: Self-Supervised Audio Spectrogram Transformer (≈ GPAR)[7] 2021/10 Conformer-Based Self-Supervised Learning For Non-Speech Audio Tasks (ICASSP2022)[8] 2021/10 DECAR: Deep Clustering for learning general-purpose Audio Representations

2022 [9] 2021/11 Towards Learning Universal Audio Representations (ICASSP2022)[10] 2022/03 DeLoRes: Decorrelating Latent Spaces for Low-Resource Audio Representation Learning[11] 2022/03 MAE-AST: Masked Autoencoding Audio Spectrogram Transformer (≈ GPAR)[12] 2022/04 ※ Masked Spectrogram Modeling using Masked Autoencoders for Learning General-purpose Audio Representation[13] 2022/04 Masked Spectrogram Prediction For Self-Supervised Audio Pre-Training (≈ GPAR)[14] 2022/04 ATST: Audio Representation Learning with Teacher-Student Transformer[15] 2022/05 Self-Supervised Learning Method Using Multiple Sampling Strategies for General-Purpose Audio Representation(ICASSP2022)[16] 2022/05 ※ Composing General Audio Representation by Fusing Multilayer Features of a Pre-trained Model (EUSIPCO2022)[17] 2022/06 BYOL-S: Learning Self-supervised Speech Representations by Bootstrapping[18] 2022/07 (Audio-MAE) Masked Autoencoders that Listen
Copyright 2022 NTT CORPORATION

これまで、関連する5つの⼿法が提案され優位性を⽰している。

44

最新⼿法: Masked Image Modelingの応⽤
他の分野で発達したベストプラクティスが利⽤可能。

••

⾼性能なVision Transformer (ViT)。

•

⾃然⾔語処理、画像処理分野で性能を発揮している学習原理。
例) Masked Autoencoders の学習フロー

1-Q-17 ポスター
発表済み

1. ⼊⼒スペクトログラムをパッチ化。(例: 周波数ビンx時間フ
レーム = 80x208 ⼊⼒に対してパッチサイズ 16x16 で分割したときのパッチ数は 5x13。80x96 ⼊⼒の場合，パッチ数は 5x6。)
2. パッチをマスク: 75%をマスク(Masked)，25%を⾮マスク(Visible)へと分割。
3. エンコーダーにより⾮マスク(Visible)パッチを表現に変換。
4. デコーダーでマスクパッチを復元。⼊⼒には⾮マスクパッ
チ表現に加えてマスク部分にマスクトークンを付与しておく。復元結果は⼊⼒全体となるが，マスク部分のみをロス
計算に利⽤。
5. ⼊⼒信号と復元結果のMSE lossにより損失を計算して逆伝播により学習。
- Niizumi et al. "Masked Spectrogram Modeling using Masked
Autoencoders for Learning General-purpose Audio
Representation.” ArXiv abs/2204.12260 (2022)- 本研究会 1-Q-17 マスクスペクトログラムモデル による汎用音響信号表現の学習
Copyright 2022 NTT CORPORATION

45

⼿を動かしてみたい⽅へ
チュートリアルを⽤意しました。

••

CPUで動きました

https://github.com/nttcslab/composing-general-audio-repr/tree/main/tutorial

スペクトログラムに変換するレベルからの解説

Copyright 2022 NTT CORPORATION

表現を得て可視化
している様⼦46

むすび•

⾳声・⾳楽以外にも環境⾳分析の発展に⾒られるように、多様な⼀般の⾳に関するタスクへのニーズが広がっている。

•

画像分野の深層学習モデルの転⽤を中⼼として、AudioSetの事前学習済みモデルが数多く提案されている。
•

しかし、汎⽤性は必ずしも⾼くないため、応⽤に際しては注意が必要。

汎⽤⾳響信号表現として多様な⽅法で学習された⼿法が提案され、性能を伸ばしている。

••

学習⼿法、学習対象のモデル、データセット等、今後も発展が期待される。

•

⾳の課題解決の特徴量抽出ツールとして、また専⽤のモジュールへ特化も含め、これから研究素材としての応⽤が期待される技術。

Copyright 2022 NTT CORPORATION

47

予備

Copyright 2022 NTT CORPORATION

48

深層表現とは?
• 表現学習の必要性

⿇⽣ 英樹, 多層ニューラルネットワークによる深層表現の学習 (<連載解説>DeepLearning(深層学習)〔第2回〕), ⼈⼯知能, 2013, 28 巻, 4 号, p. 649-659『「内部表現の発⾒・獲得・学習」，すなわち，さまざまな情報が混在
し，雑⾳で汚れている実世界の観測情報から，本質的な情報やある課題（群）に必要な情報を抽出し，処理しやすいように表現することは，⼈⼯知能やパターン認識を始めとする知的情報処理における古くからの研究課題の⼀つである．』• 深層学習モデルを学習することで得られる内部表現
à 深層表現。
Copyright 2022 NTT CORPORATION

49

汎⽤⾳響信号表現

⾳声認識モデルを含めた⼿法⼀覧例•“✘”=汎⽤⾳響信号表現•

汎⽤⾳響信号表現はSpectrogram⼊⼒が多い。

•

⾳声認識は Inspiredby BERT ⼿法が隆盛。

Liu, Shuo, et al. "Audio self-supervised learning: A survey." arXiv preprint arXiv:2203.01205 (2022).
Copyright 2022 NTT CORPORATION

50

⾳以外の分野で進む汎⽤志向

Copyright 2022 NTT CORPORATION

Gupta, Tanmay et al. “Towards General Purpose Vision Systems.” ArXiv abs/2104.00743 (2021)

51

汎⽤⾳響信号表現: 初出論⽂•

初出は2019年の論⽂と考えられる。(発表者調べ)

Tagliasacchi, Marco, et al. "Self-supervised audio representation learning for mobile devices." arXiv preprint:
arXiv:1905.11796 (2019).

Copyright 2022 NTT CORPORATION

52