Vol.2022-MUS-134 No.60
Vol.2022-SLP-142 No.60
2022/6/18

情報処理学会研究報告
IPSJ SIG Technical Report

双方向 RNN による MFCC 及びラウドネスからの振幅スペクトログラム予測川口 翔也1

北村 大地1

概要：変分自己符号化器（variational autoencoder: VAE）は入力データの潜在的な特徴量を教師無しで学習できる DNN であり，潜在特徴量に複数クラスの相対関係を表す構造を導入することで，一定の解釈性を持たせることができる．例えば，複数楽器音の音色特徴量を表すメル周波数ケプストラム係数（mel-frequency cepstrum coeﬃcient: MFCC）の潜在特徴量を VAE で学習することで，各楽器音の特徴量を併せ持つような新しい音響信号の MFCC を新たに生成できる．我々は現在，VAE を用いて楽器音の音色を変換するシステムの構築を目指しており，その一例として，入力信号の MFCC を VAE で生成したMFCC に置き換える音色変換を検討している．このようなシステムでは，基本周波数，MFCC，及び音量変化の 3 つの音響特徴量を入力とすることを想定しているが，MFCC を置き換えた後に音響信号に戻すた
めには，前述の 3 つの音響特徴量からスペクトログラムを生成する必要があり，これは解析的な処理ではない．そこで本稿では，基本周波数，MFCC，及び音量から振幅スペクトログラムを予測する手法について検討する．特に，前述の音響特徴量を入力とする双方向再帰型ニューラルネットワークを用いた振幅スペクトログラムの予測について実験的に調査する．ピアノ及びギターを用いた実験では，両楽器において比較的高精度に振幅スペクトログラムが予測可能であることを示す．

Amplitude Spectrogram Prediction from MFCC and Loudness
Using Bidirectional RNN
Kawaguchi Shoya1

Kitamura Daichi1

1. はじめに生成モデル系の深層ニューラルネットワーク（deep neu-ral network: DNN）に基づく音色変換は様々なものが研究されている．例えば，潜在的な特徴量を教師無しで学習できる生成モデル系 DNN である変分自己符号化器（variationalauto-encoder: VAE）を用いた楽器音解析や生成が提案されている [1, 2]．Fig. 1 に，数字の手書き画像に VAE を適用したものを示す．Fig. 1 のように，潜在空間と呼ばれる空間にそれぞれの数字の集合を見ることができる．さらに空間上では，「7」と「9」の集合の間に相当する潜在変数値を入力することで「7」と「9」の中間の手書き数字が出力される．本稿では，このような各集合の相対関係の学習1

香川高等専門学校
National Institute of Technology, Kagawa Collegec 2022 Information Processing Society of Japan⃝

Fig. 1 The latent space of VAE trained with images of handwritten numbers.

を，楽器音の音色集合に対して適用することで，VAE を用いた新しい音色変換アルゴリズムの構築を目指す．以後，このシステムを「提案音生成システム」と呼ぶ．提案音生
成システムを用いることで，ギターとピアノの中間の音色等の新しい音色を持つ音響信号を生成できる．さらに新しい芸術及び音楽の発展に寄与することができると考える．
提案音生成システムを実現には，音高，音色，及び音量の1

Vol.2022-MUS-134 No.60
Vol.2022-SLP-142 No.60
2022/6/18

情報処理学会研究報告
IPSJ SIG Technical Report

3 つの特徴量から振幅スペクトログラムの予測が必要となるが，実現可能かは不明である．そこで本稿では，提案音生成システムにおいて必要な部分システムとして，前述の3 つの特徴量から DNN デコーダを用いて振幅スペクトログラムを予測する手法を提案する．DNN デコーダとして，多層パーセプトロン（multi-layer perceptron: MLP）及び再帰型ニューラルネットワーク（recurrent neural network:RNN）の 1 つであるゲート付き回帰型ユニット（gatedrecurrent unit: GRU）[3] を用いた双方向再帰型ニューラ
ルネットワーク（bidirectional RNN using GRU: BiGRU）

Fig. 2 DDSP autoencoder architecture. Red components arepart of the neural network architecture, green components are the latent representation, and yellow components are deterministic synthesizers and eﬀects [6].の 2 種類のネットワーク構造を比較し，どのようなネットワーク構造が高精度な振幅スペクトログラムの予測に効果

MFCC は，メルスペクトログラム P の各列ベクトル（各メルスペクトル）に離散コサイン変換（discrete cosine的かについて，実験的に調査する.

transform: DCT）を適用して得られる実数係数である．

2. 要素技術と類似研究

MFCC を C と表記し，この処理を次式で表す．

2.1 メル周波数ケプストラム係数

C = DCT(P ) ∈ RK×J

メル周波数ケプストラム係数（mel-frequency cepstrum(4)coeﬃcient: MFCC）[4] とは，時間周波数領域で表現され以上の変換により得られる MFCC は，音高や音量の影た音声及び楽器音等の音色の特徴量である．音色のみの特響を可能な限り排除した音色に関する K 次元の特徴量ベ徴量を可能な限り抽出しているため，音高や音量はあまりクトルとなる．これはパワースペクトルの包絡を良く表現反映されない特徴量である．

した特徴量であり，音色に関する情報を強く保持している．

MFCC を説明する前に，まずメル周波数について説明する．メル周波数とは，1000 Hz の純音に対応する音高尺度を 1000 mel（メル周波数と呼ぶ）と定義し，これを基準と2.2 類似研究 1：Diﬀerentiable digital signal processing

して人間が知覚する音高を線形な一次元軸に対応付けた尺

DNN を用いた楽器音信号の生成手法として，Diﬀeren-度である．周波数 f Hz とメル周波数 m mel の対応関係は

tiable digital signal processing（DDSP）[6] がある．Fig. 2

次式で定義される [5]．に DDSP の概要図を示す．DDSP では，入力された音響()

fm = 1127 ln 1 +700()
f= 2595 log10 1 +700

信号から，音高，音色，及び音量（Fig. 2 の F0，Z，及び(1)(2)

Loudness）の 3 つの特徴量をエンコーダで抽出する．この 3 つの特徴量はデコーダに入力され，事前に抽出済みのF0 及びその整数倍の周波数からなる複数正弦波（Fig. 2 のこのメル周波数軸上で等間隔に三角状のバンドパスフィルHarmonic audio）を駆動する変数と，白色雑音に音色を与タを複数個（K 個）構成したものをメルフィルタバンクとえる FIR フィルタの伝達関数（Fig. 2 の Filtered noise）を呼ぶ．

出力する．このようにして推論された Harmonic audio とまず，音響信号に短時間 Fourier 変換（short-time Fourier

Filtered noise を合成し，最後に必要に応じて残響を付与しtransform: STFT）を適用し複素スペクトログラム Z ∈て合成音を出力する．すべての学習可能なパラメータは，Cを得る．次に，各短時間区間のパワースペクトル（パ出力の合成音と入力の音響信号間で計算される損失関数がワースペクトログラム |Z| の各列ベクトル）に，K 個の小さくなるように最適化される．DDSP の損失関数には，メルフィルタをそれぞれ畳み込むことでメルスペクトルとmulti-scale spectral（MSS）ロス [6] が用いられている．

呼ばれる K 次元の音色の特徴量が得られる．ここで，I 及

DDSP はデコーダを通して得られるパラメータから Har-び J はそれぞれ周波数ビン数及び時間フレーム数を表し，monic audio 及び Filtered noise を駆動しており，これは行列に対する演算子 | · | は要素毎の絶対値と q 乗を表す．

入力の音響信号を正弦波とノイズで人工的に合成している

パワースペクトログラム |Z|.2 の全列ベクトルをメルスペことに対応する．このような音響信号の合成は比較的頑健クトルに変換したものをメルスペクトログラム P ∈ Rな音響信号の生成が可能である反面，どれだけパラメータ

I×J

.2.q

K×J

を正しく推定しても，非常にリアルな楽器音の再現は難しと呼び，この変換を次式で表す．

P = MelFiltering(|Z|.2 )ここで，周波数は I から K に次元圧縮されている．

c 2022 Information Processing Society of Japan⃝く，人工的な音響信号が生成されてしまうデメリットがあ(3)る．さらに，DDSP は入力音響信号の合成器（シンセサイザー）を構成することが目的であり，結果的に音色変換等2Vol.2022-MUS-134 No.60
Vol.2022-SLP-142 No.60
2022/6/18

情報処理学会研究報告
IPSJ SIG Technical Report

Fig. 4 VAE for learning disentangled pitch and timbre representations of music instrument sounds [11].
Fig. 3 Concept of regularizing VAE with perceptual metrics.
Latent spaces and variables in VAE are forced to be

持つ知覚メトリクスに基づいており，十分な主観評価データを収集するコストは非常に大きくなるという困難性があmatched to the perceptual timbre spaces structured

る．さらに，主観的な音色の尺度は個人差を多く含んでいby perceptual ratings [7].

るため，正確な音色空間が構成できない可能性も残る．

へ応用することは可能であるが，音色変換が主目的ではな

2.4 類似研究 3：VAE による音色・音高の分離表現学習

い．MFCC も GRU 等で非線形に変換されているため，本

本稿の目的に合致した既存手法として，VAE を用いて稿が目指すような音色の潜在特徴量の制御は難しい．

音色と音高が分離された表現（timbre-pitch-disentangledrepresentations）の学習法が提案されている [1, 10, 11]．こ2.3 類似研究 2：知覚的メトリクス正則化付き VAE

れらの手法ではいずれも，Fig. 4 に示すように，楽器音のVAE は学習データに潜む構造を低次元の多次元正規分

音色と音高が分離された潜在空間及び生成モデルを学習す

布に従う特徴量として潜在空間に埋め込むことができる．

ることを目的としている．このような生成モデルの学習にこの潜在空間は多次元正規分布に従うことから，Fig. 1 において VAE を用いることで，音色の潜在空間及び音高の示すように一定の解釈性や乱数からのデータ生成が可能で潜在空間を独立に獲得でき，1 章で述べた本稿の目的に合あるが，依然として潜在空間は物理的又は知覚的な構造と致したモデルを構築できる可能性がある．分離された音色結びついていないという問題がある．この問題を解決すると音高の潜在変数はデコーダの入力で結合され，楽器音信ために，楽器音の生成を目的として，知覚的メトリクスに号が再構成される仕組みである．

基づく正則化付き VAE が提案されている [7]．Fig. 3 に，しかしながら，前述のいずれの手法でも，DDSP では用

この手法の概要図を示す．Fig. 3 の右上に示す Perceptual

いられたラウドネス（時間的な音量変化）特徴量は分離さ

ratings は，過去の研究 [8, 9] で蓄積された楽器音の音色にれておらず，ラウドネスに関する特徴量は音色か音高のい関する知覚メトリクスである．即ち，複数の楽器音間の音ずれか又は両方の潜在空間に押し込められていると考えら色の類似・相違を数値的にレーティングした表形式のデーれる．音を決定づける 3 要素は音色・音高・音量であるたタである．この知覚的メトリクスを，多次元尺度構成法

め，時間的な音量変化が人間の「その楽器音らしさ」とい（multi-dimensional scaling: MDS）で低次元空間に変換す

う知覚に与える影響は無視できない可能性がある．

ることで，知覚的メトリクスに基づく音色空間 T を構成している．さらに，音響信号のスペクトルを入出力とする

VAE において，潜在空間の分布構造が先の音色空間 T の

3. 提案手法
3.1 提案音生成システム全体の説明構造と類似するよう，VAE の学習に正則化項（Fig. 3 中の提案音生成システムの全体図を Fig. 5 に示す．まず，入Rϕ,θ (z, T )）を付与している．このような正則化を導入す

力となる音響信号をエンコーダに通し，音高，音色，及び音ることで，VAE の潜在空間が知覚的メトリクスと対応付け量の 3 つの特徴量を抽出する．この 3 つの特徴量には，基られた形で学習され，音色という知覚的情報と深く結びつ

本周波数 fo ，MFCC，及びラウドネスをそれぞれ用いる．

いた解釈性の高い生成モデルを得ることができる．そのたさらに抽出された MFCC のみを VAE に入力し，MFCCめ，例えば VAE の潜在空間上で各楽器音の相関を解析すの潜在特徴量を学習する．出力部では，基本周波数，VAEることや，ある楽器から別の楽器へ連続的に音響信号を変で生成された MFCC，及びラウドネスの 3 つの特徴量をデ化させることなどが実現でき，1 章で述べた本稿の目的がコーダに入力し，新しい音響信号を生成する．

達成できる可能性がある．
しかしながら，文献 [7] の手法は主観的な音色の尺度を

c 2022 Information Processing Society of Japan
⃝

以上が提案音生成システムの概要である．学習時は Fig. 5に示す入力と出力（Original wave と Generated wave）間3

Vol.2022-MUS-134 No.60
Vol.2022-SLP-142 No.60
2022/6/18

情報処理学会研究報告
IPSJ SIG Technical Reportの損失が小さくなるように，VAE 及びデコーダをそれぞれ即ち，式 (6) で得られる正規化済みパワースペクトログラ学習する．学習後は，任意の潜在変数 z から新しい楽器音

ム |Ẑ|.2 を用いて式 (3) 及び (4) から MFCC を求める．この音響信号を生成できることが期待される．の MFCC を Ĉ と定義する．提案 DNN デコーダの入力は，3.2 本稿で扱う問題

MFCC とラウドネスを次式で結合した行列とする．
[ ]Ĉ
X = T ∈ R(K+1)×J(7)v

前節で述べたように，Fig. 5 の提案音生成システムでは，音高，VAE から生成された MFCC，及びラウドネスの 3つの特徴量から振幅スペクトログラムを生成する必要があ

ここで，v = [v1 , v2 , · · · , vJ ]T である．

る．しかしながら，MFCC は音色のみを低次元空間で表現

前述の 2 種類の提案 DNN デコーダのうち BiGRU にした特徴量であることから，音高，MFCC，及びラウドネ

つ い て 詳 細 を 説 明 す る ．BiGRU は 双 方 向 RNN（bidi-スの 3 つの特徴量から解析的に振幅スペクトログラムを求rectional RNN: BiRNN）の一種であり，MFCC の時間めることはできない．従って，3 つの特徴量から振幅スペ方向のように連続的な系列の次元を持つ入力に対して，クトログラムを予測する何らかの非線形な変換をデコーダその系列方向の再帰性を考慮した学習ができる．過去
か ら 未 来 の 方 向（ 順 方 向 ）の RNN の 出 力 を 過 去 側 かに用いる必要が生じる．
本稿では，前述の問題を取り扱うことを主目的とし，(forward)

ら順に h1(forward), h2(forward), · · · , hJとし，未来からFig. 5 に示す提案音生成システムを実装する上で必要不可

過去の方向（逆方向）の RNN の出力を未来側から順に欠なデコーダを DNN で実現する方法について実験的に検h1討する．すなわち，音高，MFCC，及びラウドネスの 3 つデコーダでは，式 (7) の X を Fig. 7 のように入力する．の特徴量から振幅スペクトログラムを高精度に予測する

具体的には，Fig. 8 に示すように，X の時間 j におけるDNN の構築を目指す．この本稿で取り扱う主目的を Fig. 6

入力ベクトル xj から 4 つの GRU を通して，時刻 j におに示す．なお，本稿で取り扱うデコーダは MFCC 及びラける出力ベクトル hj を出力する．この時，BiGRU では順ウドネスを入力とする DNN を想定している．音高の特徴方向の出力ベクトル hj

量は離散的であることから，DNN の入力に与えるのでは(backward)
hJ−jが出力され，その要素毎の積を取ったベクトルなく，各音高専用に学習した DNN を選択するために用いを時間 j の出力ベクトル hj として扱う．なお，Fig. 8 のる．すなわち，予め学習された音高依存の DNN を複数用

GRU の出力ベクトルの要素数は全て I と設定している．

意し，いずれかの DNN が入力の音高により選択される．

提案 DNN デコーダの学習では，次式の MSS ロスを損

このような方式を取ることで，DNN に基づくデコーダは音高に対する汎化性能を獲得する必要がなくなり，より高精度な振幅スペクトログラムの予測が可能になると考えら(backward)(backward), h2(backward), · · · , hJ(forward)とする．提案 DNN及び逆方向の出力ベクトル失関数に用いる．

LMSS (y, ŷ) = |y − ŷ|1 + | log y − log ŷ|1(8)れる．デコーダとして用いる DNN には，MLP 型 DNN 及IJ
ここで，y ∈ RIJ≥0 及び ŷ ∈ R≥0 はそれぞれ入力と予測のび BiGRU 型 DNN の 2 種類を取り扱い，予測精度を実験

振幅スペクトログラムをベクトル化したものであり，| · |1的に比較する．

は L1 ノルムを表す．

4. 振幅スペクトログラム予測実験

3.3 DNN に基づくデコーダ
提案 DNN デコーダの入力には，2.1 節の計算方法を用

4.1 実験条件

いた MFCC とラウドネスを用いる．この時のラウドネス

本章では，提案 DNN デコーダの振幅スペクトログラ

は DDSP の文献中の方法 [6] よりも簡易的な抽出方法としムの予測精度を確認するための実験について述べる．本て，次式で計算する．

実験で用いる楽器音信号には，musical instrument digital

vj =I
∑

interface（MIDI）音源の Roland SVC に含まれる楽器音の|zij |

(5)

i=1

うち，Table 1 に示すピアノ 4 種類及びギター 4 種類の計8 種類の楽器音を用いた．この MIDI 音源 8 種類のそれぞこ こ で ，zij は Z の 要 素 で あ り ，i = 1, 2, · · · , I 及 びれに対して 4 種類の方法で音色を変化させたデータを加算

j = 1, 2, · · · , J はそれぞれ周波数ビンのインデクス及し，合計でピアノ 20 種類及びギター 20 種類の合計 40 種

び時間フレームを示す．一方，MFCC はラウドネスの影響類の楽器音信号を生成した．音色変化の種類は，低音域強を排除するために，次式の時間フレーム毎の正規化を施し調，高周波強調，コーラス付加，及び残響付加の 4 種類とたスペクトログラムから求める．

した．用意した 40 種類の音源の内，ピアノ 18 種類及びギẑij =zijvj

c 2022 Information Processing Society of Japan⃝(6)

ター 18 種類の計 36 種類を学習データとして各 DNN の最適化に用い，残りのピアノ 2 種類及びギター 2 種類の計 44Vol.2022-MUS-134 No.60
Vol.2022-SLP-142 No.60
2022/6/18

情報処理学会研究報告IPSJ SIG Technical Report

Fig. 5 Detailed process ﬂow of the proposed sound generation system.

Fig. 6 Training process ﬂow of the proposed DNN-based timbre decoder.

Fig. 8 Data ﬂow in the multi-layer BiGRU at time frame j.
Table 1 Instrument type and name of MIDI signals used inthis experimentFig. 7 Architecture of BiRNN used as the DNN decoder.

Instrument type

Instrument name

Piano

Piano1

Piano

Piano2

Piano

Piano3

Piano

Honky-tonk

36 音を MIDI 音源から作成したが，本稿では G4 音の結果

GuitarNylon-str. Gt

のみを報告する．MIDI 音源から作成した音はサンプリンGuitar

Steel-str. Gt

種類をテストデータに用いた．音源は C3 から B5 までのグ周波数が 44.1 kHz であり，テンポを 120 bpm とした際

GuitarJazz Gt

GuitarMuted Gtの 4 分音符 1 つで構成された 1.18 s の単音の音響信号である．なお，各音響信号に適用する STFT 及び MFCC へのいた．最適化には Adam を用い，50000 エポックで各モデ変換に用いた条件を Table 2 に示す．

ルを学習した．

MLP は隠れ層 3 層と出力層で構成され，隠れ層の次元数は入力側から 1024，512，及び 512 に設定した．また，

MLP と BiGRU の全層において非線形関数に ReLU を用

c 2022 Information Processing Society of Japan⃝

4.2 実験結果
Figs. 9 及び 10 はそれぞれ，学習済みの MLP 及び BiGRU5Vol.2022-MUS-134 No.60
Vol.2022-SLP-142 No.60
2022/6/18

情報処理学会研究報告
IPSJ SIG Technical Report(a)(b)(c)Fig. 9 Example of spectrograms of piano test data: (a) input, (b) predicted by MLP,and (c) predicted by BiGRU.

(a)

(b)

(c)

Fig. 10 Example of spectrograms of guitar test data: (a) input, (b) predicted by MLP,and (c) predicted by BiGRU.
Table 2 Conditions used in STFT and MFCC calculations
Window length in STFT

23.2 ms

Shift length in STFT

11.6 ms

Window function in STFT

Hann window

Maximum frequency of mel-ﬁlter bank22.05 kHzMinimum frequency of mel-ﬁlter bank

0.00 kHz

Number of mel-ﬁlters

K = 64に対してテストデータ中のピアノ及びギターの G4 音の振幅スペクトログラムを入力した際の予測結果の例を示して謝辞 本研究の一部は公益信託小野音響学研究助成基金
及び JSPS 科研費 22H03652 及びの助成を受けた.

参考文献
[1]

[2]
[3]

いる．いずれの結果をみても，MLP を用いた振幅スペクトログラムの予測は失敗している．このような予測失敗の[4]

傾向は学習データに対しても同様であり，MLP を用いてMFCC とラウドネスのみから振幅スペクトログラムを予測[5]することが非常に困難であることを示唆している．一方，[6]

BiGRU を用いた予測では，ピアノとギターの両楽器のテストデータで調波構造や時間的な推移を正確に予測できている．これは，BiGRU が MFCC 及びラウドネスの時間方[7][8]

向の連続性を考慮しつつ学習できたことに起因している．

5. おわりに[9]

本稿では，VAE に基づく楽器音の音色変換を目的とした提案音生成システムについて説明し，その実現に必要な部[10]分システムとして，音高，音色，及び音量の 3 つの特徴量から振幅スペクトログラムを予測する DNN デコーダを提案した．今後の課題として，生成された信号の歪みに関する客観評価及び提案音生成システムの構築が挙げられる．

c 2022 Information Processing Society of Japan⃝[11]

Y. J. Luo, K. Agres, and D. Herremans, “Learning disentangled representations of timbre and pitch for musicalinstrument sounds using Gaussian mixture variational autoencoders,” in Proc. ISMIR, 2019.
R. Yu, “A tutorial on VAEs: From Bayes’ rule to losslesscompression,” arXiv: 2006.10273, 2020.
K. Cho, B. V. Merriënboer, C. Gulcehre, D. Bahdanau, F.
Bougares, H. Schwenk, and Y. Bengio, “Learning phrase
representations using RNN encoder-decoder for statisticalmachine translation,” arXiv: 1406.1078, 2014.
F. Zheng, G. Zhang, and Z. Song, “Comparison of diﬀerent implementations of MFCC,” J. Computer Science andTechnology, vol. 16, pp. 582–589, 2001.
D. O’Shaughnessy, Speech Communication: Human andMachine. Addison-Wesley, 1987.
J. Engel, L. Hantrakul, C. Gu, and A. Roberts, “Diﬀerentiable Digital Signal Processing,” in Proc. ICLR, 2020.
P. Esling, A. Chemla-RomenuSantos, and A. Bitton,“Generative timbre spaces: regularizing variational autoencoders with perceptual metrics,” in Proc. DAFX, 2018.
S. McAdams, S. Winsberg, S. Donnadieu, G. D. Seoete,and J. Krimphoﬀ, “Perceptual scaling of synthesized musical timbres: Common dimensions, speciﬁcities, and latent subject classes,” Psychological research, vol. 58, no. 3,
pp. 177-192, 1995.
S. Lakatos, “A common perceptual space for harmonic andpercussive timbres,” Perception & psychophysic, vol. 62,
no. 7, pp. 1426-1439, 2000.
Y. J. Luo, K. W. Cheuk, T. Nakano, M. Goto, and D. Herremans, “Unsupervised disentanglement of pitch and timbre for isolated musical instrument sounds,” in Proc. ISMIR, pp 700–707, 2020.
K. Tanaka, R. Nishikimi, Y. Bando, K. Yoshii, and S. Morishima, “Pitch-timbre disentanglement of musical instrument sounds based on VAE-based metric learning,” inProc. ICASSP, pp. 111–115, 2021.

6