Vol.2014-MUS-104 No.11
2014/8/26

情報処理学会研究報告
IPSJ SIG Technical Report

音楽音響信号中の調波音の周波数特性およびドラムの音色の置換システム
中村 友彦1,a)

吉井 和佳2,b)

後藤 真孝3,c)

亀岡 弘和1,d)

概要：本論文では，調波楽器音の周波数特性とドラムの音色を，音楽音響信号間で楽譜を用いずに置換するシステムを提案する．このシステムでは，まず置換元の音楽音響信号（インプット）と置換先の音楽音響信号（リファレンス）の振幅スペクトルをそれぞれ調波楽器音成分と打楽器音成分のスペクトルに分離し，それぞれの成分に対して独立に処理を行う．調波楽器音成分のスペクトルの周波数特性をスペクトルの山周辺と谷周辺を通る 2 つのスペクトル包絡によって特徴付け，インプットの調波楽器音成分の振幅スペクトルを，インプットとリファレンスの調波楽器音成分のスペクトル包絡が類似するように変形する．
インプットとリファレンスの打楽器音成分のスペクトログラムは，各ドラム楽器毎のスペクトログラムに分離した後，ユーザによって指定されたインプットのドラム楽器の音色をリファレンスのドラム楽器の音色に置換する．主観評価実験により，提案するシステムが周波数特性とドラムの音色を適切に置換できることを確認した．

1. はじめに案されている．楽譜情報の代わりに事前に得られた歌詞の音素と基本周波数を用いて，音楽音響信号中の歌声の声質既存楽曲をユーザの好みに合わせ自由に編集可能なシスを単独歌唱の声質に変換する手法も提案されている [10]．

テムの実現は，音楽信号処理の重要課題の一つである．編

また，楽譜情報が利用できない場合にも，音楽音響信号に集機能として，楽曲中の楽器の音色や周波数特性を他の楽含まれる調波楽器音と打楽器音の音量を自由に調節可能な曲のものと置換することは重要である．この置換が実現でシステム [8] や，打楽器音のリズムパターンを音楽音響信きれば，例えば楽曲のドラムを他の楽曲と差し替え，ユー号に含まれるバスドラムとスネアドラムの音量や音色，リザの好みに応じて雰囲気を変換したリミックス音源をユーズムパターンを置換可能なシステム [7] も提案されている．

ザ自身が作成できる．楽曲制作過程では，オーディオエン

しかし，吉井らのシステム [7] では置換先の音源（以下，リジニアが音響信号の周波数特性を変えるイコライザ [1–5]

ファレンス）として事前にドラムの単音源を用意する必要などのエフェクタを用いてこのような編集を行うことがあがあり，リファレンスとして既存楽曲の音響信号を用いるる．しかし，エフェクタを用いた変更には高度な音響編集ことは対象としていなかった．

技術が必要である．そのため，音響編集技術や音楽の専門

我々は，より柔軟な加工と音源の用意の簡便さを目指し，知識がないユーザでも，音楽音響信号を直感的に編集でき置換元の音楽音響信号（以下，インプット）とリファレンるシステムの開発が重要である．

スとなる音楽音響信号を入力とし，楽譜情報を用いずに調このような音楽音響信号の編集システムを目指し多くの波楽器音の周波数特性とドラムの音色を置換するシステム

研究が進められている [6–10]．楽譜情報が利用できる場合を提案する（図 1）．提案システムでは，調波楽器音と打楽には，音楽音響信号中の各楽器の音量を変えられるシステ

器音の両方を処理したい場合だけでなく，調波楽器音またム [6] や，音色とフレーズの置換が可能なシステム [9] が提は打楽器音の片方だけ処理したい場合にも対応するため，

1

最初にインプットとリファレンスの音響信号を調波楽器音23a)b)c)d)

東京大学 大学院情報理工学研究科，
東京都文京区本郷 7-3-1，113-0033．
京都大学 大学院情報学研究科，
京都府京都市左京区吉田本町，606-8501．
産業技術総合研究所，茨城県つくば市梅園 1-1-1，305-8568．
nakamura@hil.t.u-tokyo.ac.jp
yoshii@kuis.kyoto-u.ac.jp
m.goto@aist.go.jp
kameoka@hil.t.u-tokyo.ac.jp

c 2014 Information Processing Society of Japan⃝

成分（歌声を含む）と打楽器音成分に分離する．この分離には，スペクトログラム上で調波楽器音が時間方向に滑らか，打楽器音が周波数方向に滑らかという性質に基づき分離を行う調波打楽器音分離 [11] を用いることができる．この調波打楽器音分離により得られたインプットとリファレ

1Vol.2014-MUS-104 No.11
2014/8/26

情報処理学会研究報告
IPSJ SIG Technical Report䜲䞁䝥䝑䝖㡢㡪ಙྕ䝸䝣䜯䝺䞁䝇㡢㡪ಙྕㄪἼᡴᴦჾ㡢ศ㞳ㄪἼᡴᴦჾ㡢ศ㞳ㄪἼᴦჾ㡢䛾䝇䝨䜽䝖䝹ᡴᴦჾ㡢䛾䝇䝨䜽䝖䝻䜾䝷䝮(1) 䝪䝖䝮䞉䝖䝑䝥䜶䞁䝧䝻䞊䝥䛾ゎᯒ(a) 㠀㈇್⾜ิศゎ䛻䜘䜛㡢※ศ㞳ㄪἼᴦჾ㡢䛾䝇䝨䜽䝖䝹ᡴᴦჾ㡢䛾䝇䝨䜽䝖䝻䜾䝷䝮

(1) 䝪䝖䝮䞉䝖䝑䝥䜶䞁䝧䝻䞊䝥䛾ゎᯒ(a) 㠀㈇್⾜ิศゎ䛻䜘䜛㡢※ศ㞳䝪䝖䝮䞉䝖䝑䝥䜶䞁䝧䝻䞊䝥

㠀㈇್⾜ิศゎ䛾⤖ᯝ䛸ᡴᴦჾ㡢䝇䝨䜽䝖䝻䜾䝷䝮ㄪἼᴦჾ㡢䛾䝇䝨䜽䝖䝹䛸䝪䝖䝮䞉䝖䝑䝥䜶䞁䝧䝻䞊䝥

㠀㈇್⾜ิศゎ䛾⤖ᯝ䛸ᡴᴦჾ㡢䝇䝨䜽䝖䝻䜾䝷䝮(b) ᡴᴦჾ㡢䝇䝨䜽䝖䝻䜾䝷䝮䛾ྜᡂ(2) ㄪἼᴦჾ㡢䝇䝨䜽䝖䝹䛾ྜᡂ࿘Ἴᩘ≉ᛶ䛜⨨᥮䛥䜜䛯ㄪἼᴦჾ㡢䛹䛾䝗䝷䝮ᴦჾ䜢䛹䛾䝗䝷䝮ᴦჾ䛻⨨᥮䛩䜛䛛㡢Ⰽ䛜⨨᥮䛥䜜䛯ᡴᴦჾ㡢䝴䞊䝄ᥦ᱌䝅䝇䝔䝮⨨᥮ᚋ䛾㡢㡪ಙྕ図 1

提案システムの処理フロー．赤のモジュールが調波楽器音，青のモジュールが打楽器音を処理する．

る．そのため，これらのエンベロープを変形することによ20

り，近似的に調波楽器音の周波数特性を変換できる．

振幅 [dB]

スペクトル10

ボトムエンベロープ

周波数特性の置換では，インプットとリファレンスの各トップエンベロープ

スペクトルにボトムエンベロープとトップエンベロープの推定をそれぞれ行う．その後，インプットとリファレンス0のエンベロープが類似するようにインプットのエンベロー
プを変形し，インプットの調波打楽器音成分の振幅スペク-10トルを変形されたエンベロープを持つように修正する．エ-20

図 20

2000

4000

6000

周波数 [Hz]8000

振幅スペクトル（青線）に対するボトムエンベロープ（緑線）とトップエンベロープ（赤線）の例．

ンスの歌声を含む調波楽器音成分と打楽器音成分のスペクンベロープの推定法と与えられたエンベロープに対する振幅スペクトルの変形法は亀岡らの方法 [12] を利用できるため，以下ではインプットのエンベロープをリファレンスのエンベロープに類似させる手法を提案する．

2.1 ボトムエンベロープとトップエンベロープの置換法

トログラムに対し処理を行う．
（1）調波楽器音成分のスペエンベロープの統計量（時間平均や分散）は，調波楽器クトルの周波数特性を解析し，（2）音高を変化させずにイ音成分全体の周波数特性を反映していると考えられる．そンプットの調波楽器音成分の周波数特性をリファレンスののため，インプットのエンベロープの統計量をリファレン

調波楽器音成分の周波数特性に置換する．一方，打楽器音

スのエンベロープの統計量に一致させるゲインを用いて，成分に対しては（a）さらに各ドラム楽器に分離し，ユーザ

インプットの調波楽器音成分の周波数特性をリファレンスがどのドラム楽器をどのドラム楽器に変換するかを選択しの調波楽器音成分の周波数特性に置換する．

た後，（b）インプットのドラムの音色をリファレンスのドラムの音色に置換する．

インプットのボトムエンベロープに周波数インデックス

ω 毎にゲイン gω を加えた時間平均と分散を，リファレン
スのボトムエンベロープの時間平均と分散に近づけたい．

2. 調波楽器音の周波数特性の置換
周波数特性を解析し置換するために，亀岡らの手法 [12]

ここで，ボトムエンベロープが ω に関して独立な正規分布に従うとすれば，この正規分布同士の距離を最小化するが利用できる．この手法では，図 2 のようにスペクトルのことによって，gω を導出できる． 周波数 ω 毎のインプッ谷周辺と山周辺を通るようなエンベロープ（以下，ボトムトとリファレンスのボトムエンベロープの時間平均と分散エンベロープとトップエンベロープ）を介して振幅スペクをそれぞれ (µω , Vω

トルを変形することにより，音高を変化させることなく周距離基準として Kullback-Leibler ダイバージェンスを用い波数特性を変える．ここで，ボトムエンベロープは歌声のると，(in)(in) (ref)子音や楽器音のアタック時の音に含まれる傾向のある平坦なスペクトル成分，トップエンベロープは調波楽器音のもつ調波構造に相当するラインスペクトル状の成分に対応す

c 2014 Information Processing Society of Japan⃝gω =µω µω(in)(ref)), (µω(ref), Vω) とし，分布同士の√(in) (ref)(in)(in)(ref)+ (µω µω )2 −4{Vω +(µω )2 }Vω
(in)

2{Vω

(in)+(µω )2 }(1)

2

Vol.2014-MUS-104 No.11
2014/8/26

情報処理学会研究報告
IPSJ SIG Technical Report䝸䝣䜯䝺䞁䝇䛾ᇶᗏ䝇䝨䜽䝖䝻䜾䝷䝮ᴦჾẖ䛻ศ㞳ᴦჾẖ䛻ศ㞳䝸䝣䜯䝺䞁䝇䛾ᡴᴦჾ㡢䛾」⣲䝇䝨䜽䝖䝻䜾䝷䝮䝸䝣䜯䝺䞁䝇䛾
䜰䜽䝔䜱䝧䞊䝅䝵䞁䜲䞁䝥䝑䝖䚷䚷䚷䛾ᡴᴦჾ㡢䛾」⣲䝇䝨䜽䝖䝻䜾䝷䝮᭱㐺⤒㊰ྛศ㞳䝇䝨䜽䝖䝻䜾䝷䝮䛾䝨䜰䛻ᑐ䛧ᡴᴦჾ㡢䛾㡢Ⰽ⨨᥮䝴䞊䝄䝗䝷䝮䛾㡢Ⰽ⨨᥮㡢Ⰽ⨨᥮ᚋ䛾
ᡴᴦჾ㡢䛾」⣲䝇䝨䜽䝖䝻䜾䝷䝮

図 3䜲䞁䝥䝑䝖䛾䜰䜽䝔䜱䝧䞊䝅䝵䞁䛹䛾䝗䝷䝮ᴦჾ䜢䛹䛾䝗䝷䝮ᴦჾ䛻⨨᥮䛩䜛䛛

ドラムの音色置換の処理フロー．

ษ䜚㈞䜚ᚋ䛾
ᇶᗏ䝇䝨䜽䝖䝻䜾䝷䝮とゲインが計算できる．トップエンベロープにも同一の処理を行った後，得られたゲインを適用したボトムエンベ

図 4

切り貼り法による基底スペクトログラムペア毎のドラムの音色置換の処理概要．

ロープとトップエンベロープを持つように，インプットの振幅スペクトルを周波数成分毎に変形する．これらの操作

ムの音色でインプットのリズムの複素スペクトログラムをによって，リファレンスのボトムエンベロープとトップエ得る．以下では，基底のペアに対するドラムの音色置換をンベロープの時間平均と分散をもつ，インプットの振幅ス議論する．

ペクトルが得られる．

3.1 イコライジング法
2.2 ステレオ音響信号への簡易な拡張

簡易な手法の一つは，イコライザのように選択されたイン上述の処理はモノラルの音楽音響信号に対する処理であプットの基底と対応するリファレンスの基底の各周波数でるが，インプットとリファレンスがステレオ音響信号の場のパワー比をゲインとして，インプットの基底スペクトログ合にも簡易に拡張できる．全チャネルにわたって平均したラムを変形する方法である（以下，イコライジング法）．周波信号（以下，代表信号）を入力された信号とみなしてボトム数インデックスとインプットの基底スペクトログラムの時エンベロープとトップエンベロープおよびゲインを推定す間インデックスをそれぞれ ω ∈ [0, W − 1], t ∈ [0, T (in) − 1]る．その後，インプットの代表信号の調波楽器音成分の振とする．インプットの基底とその複素スペクトログラムを幅スペクトルを周波数成分毎に変形するゲインを使って，Hω , Yω,t とし，対応するリファレンスの基底を Hω

インプットの各チャネルの振幅スペクトルを変形する．とすると，インプットの基底に対応する置換後の複素スペ3. ドラムの音色置換

クトログラムは(in)(synth)

ドラムの音色置換では，まず打楽器音成分のスペクトロ

Yω,tグラムを，非負値行列因子分解 [13] と Wiener フィルタを用いて近似的に各ドラム楽器のスペクトログラム（以下，(ref)

(in)

(ref)
(in) Hω(in)
Hω= Yω,t(2)と計算できる．

基底スペクトログラム）に分解する．非負値行列因子分解

この方法は，インプットの基底スペクトログラムに時不は，振幅スペクトログラムを低次元の 2 つの非負値の行列

変なゲインを適用するだけでよく高速に計算できる．しかの積，すなわち楽器音スペクトルのテンプレートを表す基

し，基底スペクトログラムのペア間でドラムの音色が大き底行列と各楽器の音量の時間発展を表すアクティベーショ

く異なる場合，例えば片方が高周波帯域，もう片方が低周ン行列の積によって近似する．ここでは簡単のため，標準波帯域にエネルギーを持つ場合には，エネルギーの低い周的な非負値行列因子分解を用いたが，non-negative matrix

波数帯域が過剰に増幅されてしまい，置換後の音質が劣化

factor deconvolution [14] などの様々な拡張手法も用いる

しドラムの音色が適切に置換されないことがある．

ことができる．この分解後，図 3 に示すようにインプットのどのドラムの音色をリファレンスのどのドラムの音色に3.2 切り貼り法置換するかを，ユーザが決定する．これは，非負値行列因3.2.1 最適経路問題としての切り貼り法

子分解によって得られたインプットとリファレンスの基

上述の問題を避けるために，我々はリファレンスの基底

底インデックスを選択することで実現できる．この選択にスペクトログラムの各フレームでのスペクトル（以下，基従って，基底のペア毎に置換を行い，リファレンスのドラ底スペクトル）を，インプットのドラムの音量の時間発展

c 2014 Information Processing Society of Japan⃝

3Vol.2014-MUS-104 No.11
2014/8/26

情報処理学会研究報告
IPSJ SIG Technical Reportに合わせ切り貼りする方法（以下，切り貼り法）を提案するとなるため，τ + 1 番目のフレームへの遷移を他の遷移より（図 4）．異なる楽曲同士のドラムの音量の時間発展は一般も起こりやすくできる（要請 (i)）．τ ̸= τ ′ + 1 での (7) の第に異なるため，切り貼り法を実現するためには，リファレ

2 項は，アクティベーションが低い時に離れた時刻への遷ンスのドラムの音量を参照しつつ基底スペクトルを適切に移が起こりやすいことを示しており（要請 (ii)），γ > 0 は切り貼りし，インプットのドラムの音量の時間発展に類似累積コストへの寄与を調節するパラメータである．このよさせる必要がある．音量の時間発展を表す特徴量として，うに定義された累積コストを最小にする最適経路として，非負値行列因子分解によって得られたアクティベーション切り貼り方法が得られる．

が利用できる．さらに，以下の 3 つの要請を課すことによ

要請 (iii) で述べた通り，音源分離が完全でないために，り置換時に生じうる雑音を低減する．離れた時刻の高いエ

インプットの基底スペクトルも打楽器音以外の音を含むこ

ネルギーを持つスペクトルを隣接して並べると，雑音が発とがある．切り貼りして得られた基底スペクトログラムで生しやすいため，（i）可能な限り時間的に連続したセグメはこの楽器音成分が失われているため，置換後の音が薄くントを使用し，（ii）セグメント境界は低いエネルギーの時なりやすい．インプットの基底スペクトルに含まれる打楽刻に位置させる．また，楽譜情報なしで各楽器音への音源器音以外の楽器音成分を復元するために，この楽器音成分分離は未だ難しい問題であるため，基底スペクトログラムが打楽器音成分に比べ低いエネルギーを持つ傾向があるこ

は打楽器音以外の音を含むことがある．そのため，切り貼とを利用する．切り貼り法によって得られた基底スペクトりする際に（iii）打楽器音以外の音を含むスペクトルの使ログラムを全て加算した打楽器音スペクトログラムに対し用を避ける．て，全周波数ビンの振幅の和が定数 ϵ よりも大きければイ

これらの要請を満たす切り貼り方法は，要請 (i), (ii), (iii)

ンプットの打楽器音スペクトルに置換する操作をフレームをコスト関数に含めた動的計画法により得られる．累積コ毎に行う．

スト It (τ ) は，
Ot,τ
It (τ ) :=O + min ′ {C ′ + I (τ ′ )}
t,τ
τ
τ ,τ
t−1

3.2.2 切り貼り法の高速化
切り貼り法で最適経路を求める際に，(3) に従って式通り(t = 1)に計算すると，インプットの打楽器音スペクトログラムの(t > 1)
(3)

フレーム数を T (in) ，リファレンスの打楽器音スペクトログ(4)である．リファレンスの音響信号が長くなれば T (ref) に関(in)Ot,τ := αDIdiv (Ũt ||Ũτ(ref) ) + βPτ

ラムのフレーム数 T (ref) として計算量は O(T (in) (T (ref) )2 )と定義できる．ここで，t, τ はそれぞれインプットとリファ

して 2 乗オーダーで計算時間が増大してしまい，ユーザがレンスの時刻インデックス，α, β > 0 は各項の累積コストシステムを使用する際のストレス要因となりうるため，計に対する寄与を調節するパラメータであり，正規化された算量の削減が必要である．

(ref)(in)と一般化 I ダイバージェ
アクティベーション Ũt , Ũt

ンスは(in)(in)Ũt :=

計算量の削減には，遠隔のフレームへの遷移コストが一様であることを利用した高速 Viterbi 法 [15] を用いることができる．t > 1 の場合に Cτ,τ ′ の定義 (7) を (3) に代入す

(ref)

Ut

(in)

maxt′ {Ut′ },Ũτ(ref) :=DIdiv (x; y) = x ln

Uτ

(ref)

maxτ ′ {Uτ ′x− (x − y)y}(5)(6)と定義される．(4) の第 1 項は，2 つの正規化されたアク

ると，It (τ ) = Ot,τ + min {1 + It−1 (τ − 1),{}}
(ref)
(ref)
′c + γ Ũτ+ ′min γ Ũτ ′ + It−1 (τ )(9)τ ̸=τ −1

ティベーション間の一般化 I ダイバージェンスである．Pτは，τ 番目のリファレンスの基底スペクトルが打楽器音以外の音をどの程度含むかを表し，打楽器音以外の音を含むが得られる．計算量の増大する原因は (9) の右辺の τ ′ に関ほど大きくなる（要請 (iii)）．Cτ ′ ,τ はリファレンスでの τ ′する最小値演算が τ に依存するためである．そこで，この番目から τ 番目のフレームへの遷移コストを表し，

1(τ = τ ′ + 1)
Cτ ′ ,τ :=(7)(ref)
c + γ(Ũ (ref)+ Ũτ ) (τ ̸= τ ′ + 1)
τ′

最小値演算を τ に依存せずに計算することを考える．
ここで，(8) から(ref)と定義される．ここで，定数 c を c > 1 とすることにより，c+γ(Ũτ(ref) + Ũτ −1 )+It−1 (τ −1) > 1+It−1 (τ −1) (10)τ ′ ̸= τ + 1 のとき
Cτ,τ ′ > Cτ,τ +1c 2014 Information Processing Society of Japan⃝(8)が常に成り立つ．そのため，It (τ ) は4

Vol.2014-MUS-104 No.11
2014/8/26

情報処理学会研究報告
IPSJ SIG Technical Report

It (τ ) = Ot,τ + min {1 + It−1 (τ − 1),

表1

項目 (1)，および周波数特性の置換による評価項目 (2) の平均(ref)c + γ(Ũτ(ref) + Ũτ −1 ) + It−1 (τ − 1),}}{(ref)c + γ Ũτ(ref) + ′min γ Ũτ ′ + It−1 (τ ′ )MOS 値と標準誤差．
置換例

τ ̸=τ −1= Ot,τ + min {1 + It−1 (τ − 1),{}}(ref)′c + γ Ũτ(ref) + minγŨ+I(τ)(11)′t−1τ′と変形できる．(11) の右辺の τ ′ に関する最小値演算は τ各置換例に対する，イコライジング法と切り貼り法による評価

τによらず計算できるため，t 毎に計算すれば十分である．
したがって，計算量は O(T (in) T (ref) ) に削減され，高速に

評価項目 (1)

評価項目 (2)

イコライジング法

切り貼り法

例12.4 ± 0.3

3.5 ± 0.3

2.5 ± 0.2

例2

3.0 ± 0.3

2.8 ± 0.2

2.4 ± 0.2

例3

2.7 ± 0.3

2.2 ± 0.4

2.3 ± 0.2

例4

2.5 ± 0.3

2.8 ± 0.3

2.5 ± 0.4

例5

2.3 ± 0.4

2.1 ± 0.3

2.5 ± 0.3

例6

1.9 ± 0.3

3.2 ± 0.3

2.7 ± 0.3

最適経路を計算できる．
ムの音色をどのドラムの音色に置換するかを選択し，イコ3.3 ステレオ音響信号への簡易な拡張ライジング法と切り貼り法を比較した．音響信号とスペク

上述の処理はモノラルの音楽音響信号に対する処理であトログラム間の変換は，512 点のハン窓，256 点のシフトるが，インプットとリファレンスがステレオ音響信号の場

長の短時間フーリエ変換と短時間逆フーリエ変換を用い合にも簡易に拡張できる．ステレオ音響信号の場合は，調た．パラメータは (α, β, γ, c, ϵ) = (0.5, 3, 10, 3, 100) に設定

波打楽器音分離を左右チャネルの音響信号に対してそれぞした．ポピュラー音楽の打楽器音の構成は，バスドラム，れ行い，得られた 2 つの打楽器音スペクトログラムに対しスネアドラム，シンバルとその他の計 4 楽器であることがて，チャネル間で基底のみを共有した非負値行列因子分解多いため，非負値行列因子分解の基底数を 4 とし，一般化を行う．その後，イコライジング法では，共有した基底をI ダイバージェンスを距離基準として使用した．Pτ には，用いて左右チャネルのインプットの打楽器音スペクトログ

L2 正則化付き L1 損失サポートベクターマシン [17] で得らラムを変形する．一方，切り貼り法では，時刻 t の左右チャれた負の対数事後確率を用いた．サポートベクターマシン

ネルのアクティベーションを 2 次元のベクトルとみなし，は，RWC の楽器音データベース [16] に収録されている打モノラルの音響信号の場合と同様に計算を行う．すなわち，楽器音とそれ以外の楽器音の 2 クラスで学習した．

チャネルインデックス l = 0, 1 とインプットとリファレン
(in)

(ref)

スの l 番目のチャネルのアクティベーション Ul,t , Ul,t

主観評価の項目を(1)を用いて，(4) と (7) をOt,τ := α2
∑

()
(in)
(ref)
DIdiv Ũl,t ; Ũl,τ+ βPτ

(2)(12)l=11Cτ ′ ,τ :=c + γ ∑ (Ũ (ref) + Ũ (ref) )ll,τ ′l,τ(in)(ref)として計算する．ここで，Ũl,t , Ũl,t(in)Ul,t(in)Ũl,t :=

maxt′ ,l′

「ドラムの音色がインプットのドラムの音色に変わったか」(in){Ul′ ,t′ }

,

(ref)

Ũl,t:=(τ = τ ′ + 1)(τ ̸= τ ′ + 1)

「調波成分の全体的な音色がインプットの調波成分の全体的な音色に変わったか」として，11 人の被験者により 5 段階 MOS 評価（1 点を全(13)く置換されていない，5 点を完全に置換されていたとする）を行った．被験者は，インプットとリファレンス，置換後の音楽音響信号とそれらの調波楽器音と打楽器音をそれぞはれ何度も聞き直せた．
(ref)Ul,t(ref)maxt′ ,l′ {Ul′ ,t′ }(14)である．

4. 主観評価実験
4.1 実験条件

4.2 結果と考察項目（1）に対し，標準誤差付きの平均スコアはイコラ
イジング法が 2.5 ± 0.1，切り貼り法が 2.8 ± 0.1 であった．
イコライジング法と切り貼り法共に MOS 値が 1 に比べて有意に高く（t 検定，有意水準 1 %），ドラムの音色置換が期待通り動作していることを確認した．切り貼り法のスコ提案システムの性能を評価するため主観評価実験を行っアがイコライジング法に比べ平均値は高く，置換例 6 例中た．インプットとリファレンスとして，RWC ポピュラー

2 例に対する MOS 値が有意に高かった（t 検定，有意水準

音楽データベースとジャンルデータベース [16] から 3 曲の5 %）．また，項目（2）に対する標準誤差付きの平均スコ音響信号をそれぞれ 10 s 切り出し，22.05 kHz にダウンサ

アは 2.5 ± 0.1 であった．この項目に対しても，MOS 値がンプルして用いた．3 楽曲の全組み合わせ計 6 ペアに関し1 に比べて有意に高く（t 検定，有意水準 1 %），調波音楽て，調波楽器音の周波数特性とドラムの音色の置換を行っ器に対する周波数特性の置換が期待通り動作していることた．ドラムの音色置換に関しては，著者の一人がどのドラを確認した．

c 2014 Information Processing Society of Japan⃝

5Vol.2014-MUS-104 No.11
2014/8/26

情報処理学会研究報告
IPSJ SIG Technical Report

置換例を聴取すると，音源分離精度が高い場合には，ド[4]ラムの音色置換について切り貼り法の方がイコライジン
グ法よりもリファレンスの音源に近い印象を受けた．これは，イコライジング法では時不変なゲインを用いるため残[5]

響やスペクトルの時間変動を扱えないが，切り貼り法はリファレンスの打楽器音スペクトルを使用するためこれらの[6]時間的な変動も扱えるためであると考えられる．一方で，調波打楽器音分離や非負値行列因子分解による分離精度が低い場合には，切り貼り法よりもイコライジング法の方がリファレンスの音源に近い印象を受けた．分離精度が低い[7]場合には，打楽器音スペクトログラムに歌声が含まれてしまう場合が多く，切り貼り法で得られた打楽器音スペクトログラムにリファレンスの歌声の一部が混入することが[8]あった．この混入は，より精度の高い音源分離手法を用いることで抑制できると考えられる．
置 換 例 は http://hil.t.u-tokyo.ac.jp/~nakamura/[9]demo/TimbreReplacement.html で試聴可能である．

5. 結論

[10]

本論文では，楽譜情報なしで異なる音楽音響信号間での周波数特性とドラムの音色を置換するシステムを提案し[11]た．ボトムエンベロープとトップエンベロープを用いたス
ペクトルの変形法 [12] を利用し，調波楽器音成分の周波数特性の置換手法を提案した．また，ドラムの音色置換については，インプットの打楽器音成分のスペクトルを時不変なゲインを用いて変形するイコライジング法と，リファレ[12]

ンスの各ドラム楽器のスペクトルを切り貼りする切り貼り法 2 種類の方法を提案した．主観評価実験により，調波音楽器の周波数特性とドラムの音色の置換について提案シス[13]

テムが適切に動作していることを確認した．
今後は，提案システムの定量評価を通してどの程度の精[14]度で置換が可能なのかや，どの打楽器により適しているのかを調べる必要がある．また，ユーザが自由に置換度合いを調節可能なユーザインターフェースの開発や，声質や音[15]高の変換も課題である．

6. 謝辞
[16]

本研究は JST CREST「OngaCREST プロジェクト」と科研費 26700020 の支援を受けた．

[17]

Regalia, P. A. and Mitra, S. K.: Tunable digitalfrequency response equalization filters, IEEE Trans.
Acoust., Speech, and Language Process., Vol. 35, No. 1,pp. 118–120 (1987).
Orfanidis, S. J.: Digital parametric equalizer design withprescribed nyquist-frequency gain, J. Audio Eng. Soc.,
Vol. 45, No. 6, pp. 444–455 (1997).
Itoyama, K., Goto, M., Komatani, K., Ogata, T. andOkuno, H. G.: Integration and Adaptation of Harmonic
and Inharmonic Models for Separating Polyphonic Musical Signals, Proc. Int. Conf. Acoust. Speech Signal Process., Vol. 1, pp. I–57–I–60 (2007).
Yoshii, K., Goto, M., Komatani, K., Ogata, T. andOkuno, H. G.: Drumix: An Audio player with real-timedrum-part rearrangement functions for active music listening, Trans. Info. Process. Soc. Japan, Vol. 48, No. 3,pp. 1229–1239 (2007).
Ono, N., Miyamoto, K., Kameoka, H. and Sagayama, S.:
A real-time equalizer of harmonic and percussive components in music signals, pp. 139–144 (2008).
Yasuraoka, N., Abe, T., Itoyama, K., Takahashi, T.,
Ogata, T. and Okuno, H. G.: Changing timbre andphrase in existing musical performances as you like: manipulations of single part using harmonic and inharmonicmodels, Proc. ACM Multimedia, pp. 203–212 (2009).
藤原 弘将，後藤真孝：混合音中の歌声スペクトル包絡推定に基づく歌声の声質変換手法，情処研報，Vol. 2010MUS-86, No. 7, pp. 1–10 (2010).
Tachibana, H., Kameoka, H., Ono, N. and Sagayama,
S.:
Comparative Evaluation of Multiple Harmonic/Percussive Sound Separation Techniques basedon Anisotropic Smoothness of Spectrogram, Proc. Int.
Conf. Acoust. Speech Signal Process., pp. 465–468(2012).
亀岡 弘和，後藤 真孝，嵯峨山茂樹：スペクトル制御エン
ベロープによる混合音中の周期および非周期成分の選択的イコライザ，情処研報，Vol. 2006-MUS-66, No. 13, pp.
77–84 (2006).
Seung, D. and Lee, L.: Algorithms for non-negative matrix factorization, Proc. Adv. Neural Inf. Process. Syst.,
Vol. 13, pp. 556–562 (2001).
Smaragdis, P.: Non-negative matrix factor deconvolution; extraction of multiple sound sources from monophonic inputs, Independent Component Analysis andBlind Signal Separation, Springer, pp. 494–499 (2004).
Nakamura, T., Nakamura, E. and Sagayama, S.: Acoustic Score Following to Musical Performances with Errors
and Arbitrary Repeats and Skips for Automatic Accompaniment, Proc. Sound and Music Computing, No. 166(2013).
Goto, M.: Development of the RWC Music Database,Proc. Int. Congress Acoust., pp. l–553–556 (2004).
Fan, R., Chang, K., Hsieh, C., Wang, X. and Lin, C.:
LIBLINEAR: A Library for Large Linear Classification,
J. Mach. Learn. Res., Vol. 9, pp. 1871–1874 (2008).

参考文献
[1]

[2]

[3]

Swamy, M. N. S. and Thyagarajan, K. S.: Digital bandpass and bandstop filters with variable center frequency
and bandwidth, Proc. IEEE, Vol. 64, No. 11, pp. 1632–1634 (1976).
Erfani, S. and Peikari, B.: Variable cut-oﬀ digital ladder filters, Int. J. Electron, Vol. 45, No. 5, pp. 535–549(1978).
Tan, E. C.: Variable lowpass wave-digital filters, Electron. Lett., Vol. 18, pp. 324–326 (1982).

c 2014 Information Processing Society of Japan⃝6