3-5-5

スペシャル・セッション〔音楽音響と音楽関連産業〕

音楽音響信号に含まれる調波音の周波数特性とドラムの音色の転写システム∗☆中村友彦 1 ，吉井 和佳 2 ，後藤 真孝 2 ，亀岡 弘和 1
1
東大院・情報理工，2 産総研

1 はじめに既存楽曲を自由に加工するシステムの実現は，音楽信号処理の重要課題の一つであり，音楽的な専門知識のないユーザでも直感的に利用できるシステムの構築を目指し研究が進められている [1–3]．楽譜情報が利用できる場合には，音楽音響信号中の各楽器の音量を変えられるシステムや，音色とフレーズの置換が可能なシステムが提案された [1, 2]．また，楽譜情報が利用できない場合にも，音楽音響信号に含まれるバスドラムとスネアドラムの音量や音色，リズムパターンを置換可能なシステムも提案されている [3]．しかし，このシステムではドラムのみを対象としており，変換後のドラムの単音源を用意する必要があった．
我々は，より柔軟な加工と音源の用意の簡便さを目指し，ある音楽音響信号（ターゲット）と異なる音楽音響信号（リファレンス）を入力とし，楽譜情報を用いずに調波楽器音の周波数特性とドラムの音色を転写するシステムを提案する（図 1）．提案システム
では，最初にスペクトログラム上で調波楽器音が時間方向に滑らか，打楽器音が周波数方向に滑らかという性質から分離を行う調波打楽器音分離 [4] を用いて，ターゲットとリファレンスのスペクトログラムを調波楽器音成分（歌声を含む）と打楽器音成分に分離する．その後，（1）調波楽器音成分のスペクトルの周波数特性を解析し，（2）リファレンスからターゲッ
トに周波数特性を転写する．一方打楽器音成分に対しては，（a）さらに各ドラム楽器に分離し，ユーザがどのドラム楽器をどのドラム楽器に変換するかを選択した後，（b）ドラムの音色をリファレンスからターゲットに転写する．

ターゲットのボトムエンベロープに周波数インデックス ω 毎にゲイン gω を加えた時間平均と分散を，リファレンスのボトムエンベロープの時間平均と分散に近づけたい．ここで，ボトムエンベロープが ω に関して独立な正規分布に従うとすれば，この正規分布同士の距離を最小化することによって，そのような gω
を導出できる． 周波数 ω 毎のターゲットとリファレンスのボトムエンベロープの時間平均と分散をそれ(tar)
(ref)
(ref)
ぞれ (μ(tar)ω , Vω ), (μω , Vω ) とし，分布同士の距離基準として Kullback-Leibler ダイバージェンスを用いると，
(ref)(ref) 2(tar)(tar) 2(ref)μ(tar)
μ+(μ(tar)ωωω μω ) −4{Vω +(μω ) }Vωgω =22{Vω(tar) +(μ(tar)ω ) }(1)とゲインが計算できる．トップエンベロープにも同一の処理を行った後，得られたゲインをそれぞれ掛けあわせたボトム・トップエンベロープを持つように，ターゲットの振幅スペクトルを変形すれば，リファレンスの周波数特性が転写できる．

3 ドラムの音色転写モジュール

当該モジュールでは，まず打楽器音成分のスペクトログラムを，非負値行列分解 [6] と Wiener フィル
タを用いて近似的に各ドラム楽器のスペクトログラム（基底スペクトログラム）に分解する．非負値行列
分解は，振幅スペクトログラムを低次元の 2 つの非負値の行列（楽器音スペクトルのテンプレートを表す基底行列と，各楽器の音量の時間発展を表すアクティベーション行列）の積によって近似する．この分
2 調波楽器音の周波数特性転写モジュール
解後，ターゲットのどのドラムの音色をリファレンスのどのドラムの音色に変換するかを，ユーザが決定周波数特性を解析し転写するために，亀岡らによっする．これは，非負値行列分解によって得られた基底て提案された手法が利用できる [5]．この手法では，スを選択することで実現できる．この選択に従って，基ペクトルのディップとピークを通るようなエンベロー底のペア毎に変換を行うことによりリファレンスかプ（ボトムエンベロープとトップエンベロープ）を介らターゲットにドラムの音色を転写する．以下では，して振幅スペクトルを変形することにより，音高を変化させることなくスペクトルの周波数特性を変える． 各基底のペア毎にドラムの音色転写を議論する．
ここで，ボトムエンベロープは歌声の子音や楽器音
3.1 イコライジング法のアタック時の音に含まれる傾向のある平坦なスペ簡易な手法の一つは，イコライザーのように，選択クトル成分，トップエンベロープは調波楽器音のもつされたターゲットの基底と対応するリファレンスの基調波構造に相当するラインスペクトル状の成分に対底の各周波数でのパワー比をゲインとしてターゲット応する．そのため，これらのエンベロープを変形するの基底スペクトログラムを変形する方法である（以ことにより，近似的に調波楽器の周波数特性を変換で下，イコライジング法）．この方法では，基底のペアきる．
間でドラムの音色が大きく異なる場合（片方が高周当該モジュールでは，各スペクトルにボトム・トッ波帯域に，もう片方が低周波帯域にエネルギーを持プエンベロープの推定を行ったのち，ターゲットとリつ場合等）には，エネルギーの低い周波数帯域が過剰ファレンスのエンベロープを近づけるように，ターに増幅されてしまい，転写後の音質が劣化しやすく，ゲットの調波打楽器音成分の振幅スペクトルを変形す
ドラムの音色転写がユーザに知覚されにくい．
る．エンベロープの推定法と与えられたエンベロープ
3.2 切り貼り法に対する振幅スペクトルの変形法は亀岡らの方法 [5]上述の問題を避けるために，我々はリファレンスのを利用できるため，以下ではターゲットとリファレン基底スペクトログラムの各フレームでのスペクトルスのエンベロープを近づける手法を提案する．
（基底スペクトル）を，ターゲットのドラムの音量の2.1 ボトム・トップエンベロープの転写法
時間発展に合わせ切り貼りする方法（切り貼り法）をエンベロープの統計量（時間平均や分散）は，調波提案する（図 2）．異なる楽曲同士のドラムの音量の楽器音成分の全体的な周波数特性を表すと考えられ時間発展は一般に異なるため，切り貼り法を実現する．そのため，ターゲットのエンベロープの統計量をるためには，リファレンスのドラムの音量を参照しつリファレンスのエンベロープの統計量に一致させる
つ基底スペクトルを適切に切り貼りし，ターゲットのような転写を考え，リファレンスからターゲットに周ドラムの音量の時間発展に近づける必要がある．音
波数特性を転写する．
量の時間発展を表す特徴量として，非負値行列分解によって得られたアクティベーションが利用できる．
∗System for Replacement of Drum Timbres and Frequency Characteristics of Harmonic Sound in Music Acoustic
Signals by Tomohiko Nakamura (The University of Tokyo), Kazuyoshi Yoshii, Masataka Goto (National Institute ofAdvanced Industrial Science and Technology) and Hirokazu Kameoka (The University of Tokyo)

日本音響学会講演論文集- 1043 -2014年3月

䝍䞊䝀䝑䝖䛾㡢㡪ಙྕ䝸䝣䜯䝺䞁䝇䛾㡢㡪ಙྕㄪἼᴦჾ㡢䛾䝇䝨䜽䝖䝹ᡴᴦჾ㡢䛾䝇䝨䜽䝖䝻䜾䝷䝮(1) 䝪䝖䝮䞉䝖䝑䝥䜶䞁䝧䝻䞊䝥䛾ゎᯒㄪἼᴦჾ㡢䛾䝇䝨䜽䝖䝹䛸䝪䝖䝮䞉䝖䝑䝥䜶䞁䝧䝻䞊䝥䝸䝣䜯䝺䞁䝇䛾ᇶᗏ䝇䝨䜽䝖䝻䜾䝷䝮ㄪἼᡴᴦჾ㡢ศ㞳(a) 㠀㈇್⾜ิศゎ䛻䜘䜛㡢※ศ㞳ᡴᴦჾ㡢䛾䝇䝨䜽䝖䝹(1) 䝪䝖䝮䞉䝖䝑䝥䜶䞁䝧䝻䞊䝥䛾ゎᯒ(a) 㠀㈇್⾜ิศゎ䛻䜘䜛㡢※ศ㞳䝪䝖䝮䞉䝖䝑䝥䜶䞁䝧䝻䞊䝥㠀㈇್⾜ิศゎ䛾⤖ᯝ䛸ᡴᴦჾ㡢䝇䝨䜽䝖䝻䜾䝷䝮(2) ㄪἼᴦჾ㡢䝇䝨䜽䝖䝹䛾ྜᡂㄪἼᴦჾ㡢䛾䝇䝨䜽䝖䝹

㠀㈇್⾜ิศゎ䛾⤖ᯝ䛸ᡴᴦჾ㡢䝇䝨䜽䝖䝻䜾䝷䝮(b) ᡴᴦჾ㡢䝇䝨䜽䝖䝻䜾䝷䝮䛾ྜᡂ㌿෗䛥䜜䛯ㄪἼᴦჾ㡢䝸䝣䜯䝺䞁䝇䛷䛾᫬้ [frame]ㄪἼᡴᴦჾ㡢ศ㞳㌿෗䛥䜜䛯ᡴᴦჾ㡢䛹䛾䝗䝷䝮ᴦჾ䜢䛹䛾䝗䝷䝮ᴦჾ䛻ኚ᥮䛩䜛䛛䝴䞊䝄ᥦ᱌䝅䝇䝔䝮㌿෗ᚋ䛾㡢㡪ಙྕ

Fig. 1 提案システムの処理フロー．赤のモジュールが調波楽器音，青のモジュールが打楽器音を処理する．
さらに，合成時に生じうる雑音を低減するため以下の 3 つの要請を課す．離れた時刻の高いエネルギーを持つスペクトルを隣接して並べると，雑音が発生しやすいため，（i）可能な限り時間的に連続したセグメントを使用し，（ii）セグメント境界は低いエネルギーの時刻に位置させる．また，楽譜情報なしの楽器音への分離は完全に行うことは難しいため，基底スペ
クトログラムは打楽器音以外の音を含むことがある．
そのため，切り貼りする際に（iii）打楽器音以外の音を含むスペクトルの使用を避ける．
これらの要請を満たす切り貼り方法は，要請 (i), (ii),(iii) をコスト関数に含めた動的計画法により得られる．
累積コスト It (τ) は，
Ot,τ(t = 1)
It (τ) :=, (2)Ot,τ + maxτ {Cτ ,τ + It−1 (τ )} (t > 1)

Ot,τ := αD(Ũt(tar) ||Ũτ(ref) ) + βPτ ,(3)と定義できる．ここで，t, τ はそれぞれターゲットとリファレンスの時刻インデックス，α, β > 0 は各項の累積コストに対する寄与を調節するパラメータである．(3) の第 1 項は，2 つの正規化されたアクティベーション Ũt(l) := Ut(l) / maxt {Ut(l) }, (l = tar, ref) 間の一般化
I ダイバージェンスである．Pτ は，τ 番目のリファレンスの基底スペクトルが打楽器音以外の音をどの程度含むかを表し，打楽器音以外の音を含むほど大きくなる（要請 (iii)）．Cτ ,τ はリファレンスでの τ 番目から τ 番目のフレームへの遷移コストを表し，
1(τ = τ + 1).
(4)Cτ ,τ :=(ref)(ref)
c + γ(Ũτ + Ũτ ) (τ  τ + 1)と定義される．ここで，定数 c を c > 1 とすることにより，τ + 1 番目のフレームへの遷移を他の遷移よりも起こりやすくできる（要請 (i)）．τ  τ + 1 での (4)の第 2 項は，アクティベーションが低い時に離れた時刻への遷移が起こりやすいことを示しており（要請 (ii)），γ > 0 は累積コストへの寄与を調節するパラメータである．このように定義された累積コストを最小にする最適経路として，切り貼り方法が得られる．
要請 (iii) で述べた通り，分離が完全でないために，ターゲットの基底スペクトルも打楽器音以外の音を含むことがある．切り貼りして得られた基底スペク
トログラムではこの楽器音成分が失われているため，転写後の音が薄くなりやすい．ターゲットの基底スペクトルに含まれる打楽器音以外の楽器音成分を復元するために，この楽器音成分が打楽器音成分に比べ低いエネルギーを持つ傾向があることを利用する．
切り貼りによって得られた基底スペクトログラムを全て加算した打楽器音スペクトログラムに対して，フレーム毎に全周波数ビンの振幅の和が定数  よりも大きければターゲットの打楽器音スペクトルと置換する．

4 主観評価実験
提案システムの性能を評価するため主観評価実験を行った．ターゲットとリファレンスとして，RWC

日本音響学会講演論文集

䝸䝣䜯䝺䞁䝇䛾ᇶᗏ䝇䝨䜽䝖䝻䜾䝷䝮䛾䜰䜽䝔䜱䝧䞊䝅䝵䞁
最適経路 = ษ䜚㈞䜚᪉ἲษ䜚㈞䜚
ษ䜚㈞䜚ᚋ䛾䠄㌿෗䛥䜜䛯䠅ᇶᗏ䝇䝨䜽䝖䝻䜾䝷䝮䝍䞊䝀䝑䝖䛷䛾᫬้ [frame]䝍䞊䝀䝑䝖䛾ᇶᗏ䝇䝨䜽䝖䝻䜾䝷䝮䛾䜰䜽䝔䜱䝧䞊䝅䝵䞁

Fig. 2 切り貼り法による基底ペア毎のドラムの音色転写の処理
概要．

ポピュラー音楽・ジャンルデータベース [7] から 3 曲の音響信号をそれぞれ 10 s 切り出し，22.05 kHz にダウンサンプルして用いた．3 楽曲の全組み合わせ計 6ペアに関して，調波楽器音の周波数特性とドラムの音色の転写を行った．ドラムの音色転写に関しては，著者の一人がどのドラムの音色をどのドラムの音色に変換するかを選択し，イコライジング法と切り貼り法を比較した．音響信号とスペクトログラム間の変換は，512 点のハン窓，256 点のシフト長の短時間フーリエ変換と短時間逆フーリエ変換を用いた．パラメータは (α, β, γ, c, ) = (0.5, 3, 10, 3, 100) に設定し，非負値行列分解の基底数は 4 として一般化 I ダイバージェンスを距離基準として使用した．Pτ として，L2正則化付き L1 損失サポートベクターマシン [8] で得られた負の対数事後確率を用いた．サポートベクター
マシンは，RWC の楽器音データベース [7] を打楽器音とそれ以外の楽器音の 2 クラスで学習した．
主観評価の項目として，（1）「ドラムの音色がリファレンスからターゲットに適切に転写されているか」，（2）「調波楽器音の音色がリファレンスからターゲットに適切に転写されているか」を用いて，11 人の被験者により 5 段階評価（1 点を全く転写されていない，5 点を完全に転写されていた）を行った．被験者は，ターゲットとリファレンス，転写後の音楽音響信号とそれらの調波楽器音と打楽器音を何度も聞き直せた．
項目（1）に対し，標準誤差付きの平均スコアは 2.5±0.1（イコライジング法），2.8 ± 0.1（切り貼り法）であった．切り貼り法のスコアがイコライジング法に比べ平均値は高く，特に 3 節で述べたようにドラムの音色が大きく異なる場合に切り貼り法のスコアが高かった．また，項目（2）に対する標準誤差付きの平均スコアは 2.5 ± 0.1 であった．特に，高周波帯域が変化する際にスコアが上昇する傾向があった．これらの結果は，被験者がドラムの音色と周波数特性の転写を知覚したことを示しており，システムが期待通り動作していることを確認した．

5 結論
本研究では，楽譜情報なしで異なる音楽音響信号間での周波数特性とドラムの音色を転写するシステムを提案した．主観評価実験により，異なる音楽音響信号間での転写が周波数特性の転写とドラムの音色の両者について有効であることが確認された．今後は，ユーザが自由に転写度合いを調節可能なユーザインターフェースの開発や，声質の転写も課題である．

参考文献[1] K. Itoyama et al., In Proc. of ICASSP, 1, pp. I–57–I–60, 2007.
[2] N. Yasuraoka et al., In Proc. of ACM-MM, pp. 203–212, 2009.
[3] K. Yoshii et al., Trans. IPSJ, 48(3), pp. 1229–1239, 2007.
[4] H. Tachibana et al., In Proc. of ICASSP, pp. 465–468, 2012.
[5] 亀岡 弘和 他, 情処研報, 49, pp. 139–144, 8, 2006.
[6] D. Seung et al., Adv. Neural Inf. Process. Syst., 13, pp. 556–562,2001.
[7] M. Goto, In Proc. of ICA, pp. l–553–556, 2004.
[8] R. Fan et al., JMLR, vol. 9, pp. 1871–1874, 2008.

- 1044 -2014年3月