Vol. 49

No. 3

Mar. 2008

情報処理学会論文誌

楽譜情報を援用した多重奏音楽音響信号の音源分離と調波・非調波統合モデルの制約付きパラメータ推定の同時実現
糸山

克 寿†1 後 藤 真 孝†2
尾 形 哲 也†1 奥 乃

駒

谷 和
博†1

範†1

本論文では，多重奏の音楽音響信号とその楽曲に含まれるすべての単音の音高・音長・音量・発音
時刻・楽器の種類の組である楽譜情報を入力として，単音ごとの音響信号を出力する音源分離手法と，そのための制約付きモデルパラメータ推定手法について述べる．本分離手法では，Standard MIDI
File（SMF）などから抽出された楽譜情報を用いることで混合音のパワースペクトルを単音ごとに分離し，調波構造と非調波構造のそれぞれを表現する 2 つのモデルを統合した新たな重み付き混合モデ
ルを用いることで，単音に複数の調波構造が含まれることを防ぎ，かつ音高を超えた楽器音の音色類
似性を考慮することを実現する．モデルパラメータは，楽譜情報に基づいて MIDI 音源から生成した
テンプレート音によって初期化し，EM アルゴリズムを用いた最大事後確率推定により反復推定する．
さらに，モデルの過学習を防ぎ，同一楽器の単音のモデルに類似した音色を持たせるための制約条件
も同時に用いる．ポピュラー音楽の SMF を用いた評価実験で，本手法により SNR が 0.4 – 0.9 dB
向上することを確認した．

Simultanious Realization of
Score-informed Sound Source Separation of Polyphonic Musical Signals
and Constrained Parameter Estimation for
Integrated Model of Harmonic and Inharmonic Structure
Katsutoshi Itoyama,†1 Masataka Goto,†2
Kazunori Komatani,†1 Tetsuya Ogata†1and Hiroshi G. Okuno†1
This paper describes a sound sourse separation method for polyphonic sound mixtures ofmusical signals which include both harmonic instrument sounds and inharmonic instrument
sounds, and a constrained parameter estimation method by using a score which includes
pitch, duration, volume, onset time, and instrument of each note as prior information. We
separate a power spectrum of sound mixtures into each musical note by using an integrated
weighted-mixture model consisting of both harmonic-structure and inharmonic-structure tonemodels (generative models for the power spectrogram). The integrated model realize a parameter estimation method under a constraint of parameter similarity in the same musicalinstruments. We initialize model parameters using template sounds which are recorded froma MIDI tone generator. On the basis of the Maximum A Posteriori Probability estimation
using the EM algorithm, we estimated all parameters of this integrated model under several
original constraints for preventing over-training and maintaining intra-instrument consistency.
Using standard MIDI files as prior information of the model parameters, we confirmed thatthe integrated model increased the SNR by 0.4 – 0.9 dB.

1. は じ め にの要求が現れてきた．これまでのオーディオ再生技術

デジタルオーディオが普及し，価値観が多様化する

進歩し，ユーザの要求に応えてきた．たとえば，5.1

中で，より能動的に音楽を楽しみたいというユーザ

次元や 7.1 次元などの大がかりなシステムで忠実な音は，受動的な音楽の楽しみ方をより豊かにする方向に環境の再現を目指すというものや，アクティブノイズ
キャンセルなどの簡便な装置で静かな音環境を作るこ†1 京都大学大学院情報学研究科
Graduate School of Informatics, Kyoto University†2 産業技術総合研究所
National Institute of Advanced Industrial Science andTechnology (AIST)とでどこでも手軽に音楽鑑賞を楽しむというものがある．一方，能動的な音楽の楽しみ方には作曲や編曲，演奏などがある．一般的には能動的に音楽を楽しめる
1465

1466

Mar. 2008

情報処理学会論文誌のは技術や道具を持っている人に限られており，受動の13) ，時間周波数平面上での調波構造を表現するモデ的な楽しみと能動的な楽しみの間には大きなギャップ

ルのフィッティングによるもの14) ，高調波成分のパワーがあった．

エンベロープの類似性を用いるもの15) ，ステレオ信号という要求に応える研究事例とのパワーと位相の共通性を用いるもの16) などがある．

して，Yoshii らはドラムスを対象とした楽器音イコラ

これらは主に調波構造を含む楽器音のみを対象として能動的な音楽鑑賞
イザ INTER:D

2)

1)および Drumix

3)を実現した．ユー

ザは Drumix を使って楽曲中のドラムスの音量を操おり，一般の楽器音を分離することは困難であった．

(2)

音高を明示的に扱わず，一般の楽器音を対象作し，音色を置き換え，また，ドラムパターンを編集にするもの．原理的には任意の楽器音を扱うことがででき，その結果能動的な音楽鑑賞がより簡便に可能ときるが，各々の従来研究ではピアノやバイオリンなどのなった．しかし，これらのシステムはドラムスだけを楽音とドラムスなどの噪音のいずれか一方を主として対象としており，一般の楽器音に対して適用するまで扱ってきた．楽音を扱うものでは，Non-negative Ma-には至っていなかった．

trix Factorization（NMF）やその拡張である Non-

由に音量を操作できる楽器音イコライザを実現するこ

negative Tensor Factorization（NTF）を用いるもの17),18) などが，噪音を扱うものでは，Independent
Component Analysis（ICA）を用いるもの19) ，NMFとである．従来のグラフィックイコライザやパラメトを用いるもの20) ，ドラム音検出の後にスペクトル変調

リックイコライザでは，特定の周波数帯域ごとの音量を行うもの21) などがある．また，ICA などの統計的手を調整して周波数特性を変化させることはできたが，法で楽音と噪音を同時に分離するもの22)–26) があるが，楽器ごとの音量を調整することはできなかった．

発音区間や周波数成分のスパースネスが保証されない

これに対して我々の目的は，CD などによる音楽音
響信号（混合音）中のあらゆる楽器パートに対して自楽器音イコライザを実現するためには，楽曲中に含複雑な音響信号を扱うには至っていない．このようなまれるすべての楽器音を楽器パートごとに，もしくは音響信号を分離するためには楽器音認識が不可欠で，単音ごとに分離する必要があり，そのためにはどの楽

楽器音認識と音源分離を併用したもの27) などが研究

器が，どの時刻に，どの音高で演奏されているのかと事例としてあげられるが，対象がドラム音のみであり，いった，「楽譜情報」が必要となる．そこで本論文では，

調波構造を持つ音には適用されていなかったりした．

音楽音響信号とその楽曲の「楽譜情報」を入力とし，音楽音響信号を楽器パートごとに分離して出力する手

これらのアプローチは従来排他的で，双方の長所をあわせ持つ手法はこれまで存在しなかった．

法について論ずる．本論文での「楽譜情報」とは，「楽本論文で分離の対象とする音は，「調波的な音」およ曲に含まれるすべての単音の音高・音長・音量・発音

び「非調波的な音」，およびそれらを加算して得られる

時刻・楽器種類」である．インターネット上での標準音である．以下の性質を満たす音を調波的な音と呼ぶ．

MIDI ファイル（Standard MIDI File; SMF）の販売
4),5)

サービス

などによって，最新の楽曲であっても音楽音響信号に対応した SMF を入手することが容易に• 調波構造を持つ．
• 各高調波成分の相対強度が時間の経過によって変化しない．

ことが可能であるため，音楽音響信号と楽譜情報の組• 急激な F0 の変化を含まない．
具体的には，弦（ピアノ弦やギター弦など）や管内を得ることはさほど困難ではないと考える．ただし，の空気（フルートなど）の定常的な振動によって得らなっており，これらの SMF から楽譜情報を抽出する

6)–10)

音響信号と SMF とは何らかの従来法を用いてれる音が相当する．歌声は各高調波成分の相対強度が同期がとられていると仮定し，本論文では同期の問題

母音の遷移によって連続的に変化するため，本論文でについては扱わない．

は扱わない．また，パワースペクトルに調波構造を含

音楽音響信号の音源分離に関する従来研究は，以下めた周波数方向への鋭いピークが存在しない音を非調の 2 つに大別できる．

波的な音と呼ぶ．具体的には，ドラム音を想定してい( 1 ) 音高を明示的に扱うことで，調波構造を持ち，音高に依存する楽器音を対象にするもの．人間の知る1 ．ピアノが発音時にハンマで弦を叩く音のような，調波構造を含む音から調波構造を取り除くことによっ覚において，音高が変化しても変化を感じない成分（高調波成分の強度比など）を適切に扱うことができる．調波構造を表現する混合正弦波モデルを用いるもの11),12) ，SMF を基に調波構造にフィルタをかけるも

1 理想的な膜振動から得られる信号には「整数倍でない倍音構造」
が含まれるため，ドラム音の中には周波数方向への鋭いピークが存在するものがある．しかし本論文では「ドラム音には周波数方向への鋭いピークは存在しない」と仮定し，ドラム音を扱う．

Vol. 49

No. 3

多重奏音楽音響信号の音源分離て得られる音も，周波数方向への鋭いピークがほとん
ど存在しないと見なし非調波的な音に含める．
従来の音源分離に関する研究の多くは，前述のと1467て述べ，7 章で本論文のまとめを行う．

2. 問題の所在と解決へのアプローチ

おりこれらの 2 種類の音の一方のみに着目していた．

本研究の目標は，多重奏の音楽音響信号とその楽曲

Goto 28) は，混合音中の最も優勢な調波構造を抽出すの楽譜情報（各単音の音高・音長・音量・発音時刻・る手法について述べており，さらに調波構造モデルを楽器種類）が与えられたとき，音響信号のパワースペ

他の任意の関数の重み付き混合モデルに置き換えてもクトルを単音ごとに分離することである．いい換えれ調波構造の場合と同様にモデルパラメータ推定を行う

ば，我々の目標は各楽器パートのすべての単音に対しことで，パワースペクトル上の任意の構造を扱うことて，単音に対応する調波構造モデルと非調波構造モデが理論的には可能であるとも述べているが，調波構造以ルの全パラメータを推定することである．

外の構造をどのようなモデルで扱えばよいか，そのよう与えられた楽譜情報の各単音を個別に MIDI 音源でなモデルを実現するうえでどのような問題点があるか，演奏することで，音響信号中の各単音にある程度近い，といった具体的な手法については述べていなかった．

「音のサンプル」を作成できる．この音のサンプルを

我々は Goto 28) の示唆を受け，調波構造モデルと非テンプレート音と呼ぶ．分離対象の音楽音響信号とそ

調波構造モデルを統合した混合モデルを用いた音源分の楽譜情報，MIDI 音源を用いて生成したテンプレー

離手法を設計し，実現した．調波構造モデルは，音高ト音が与えられたとき，我々が解くべき課題は以下のを持つ楽器の単音の調波構造を表現するパラメトリッ

2 点である．

クモデルに基づいており，発音時刻，音長，音量，音(1)

テンプレート音と入力音響信号とのずれの吸高（F0）の時間変化，パワーエンベロープの時間変化，

収．テンプレート音と入力信号との間には必ず音響的

各高調波成分の相対強度といったパラメータで表現さな違いがあるので，テンプレート音をそのまま用いた

れる．非調波構造モデルは，ノンパラメトリックモデのでは完全に 1 つ 1 つの音を分離することはできな

ルに基づいており，調波構造では表現が難しいドラム

い．そこで，テンプレート音と入力信号との音響的差

音などのパワースペクトルをそのまま表現する．また

異を吸収する手法が必要となる．

前述のように，ピアノやギターなどの調波構造を持つ楽器音であっても，発音時には弦をハンマで叩くこと( 2 ) 奏法に独立な楽器音の音色類似性の達成．ある楽器を用いて，同一の音高，音長，音量を持つ単音をや弦を弾くことに由来する非調波成分を含んでいるの複数回にわたって演奏したとしても，奏法（ビブラーで，それらのパワースペクトルも非調波構造モデルでトのかけ方など）が異なれば異なる音色を持つ音響信

表現する．

号が生成される．単音ごとの音色の違いを表現するた

SMF などから抽出した各単音の音高，音長，音量，
発音時刻，楽器によってこれらのモデルのパラメータ

めには，音色を表現するモデルを単音ごとに作成するを初期化し，モデルパラメータの最大事後確率推定を成すると，パラメータの自由度が大きくなりすぎてし

EM アルゴリズムを用いて実現する．このパラメータ

まうため，混合音への適応によってモデルが過学習を推定における問題点は，非調波構造モデルは大きな自起こし，結果として分離性能が低下してしまう可能性

由度を持っており，あらゆるパワースペクトルを表現がある．これを防ぐためには，同一楽器の単音の間にできるため，パラメータ推定の結果，非調波構造モデ

存在する音色の類似性を満たすような，音色の表現方

ルが調波成分も含めてすべての混合音を表現してし法を実現する必要がある．

必要がある．しかし，単音ごとに独立したモデルを作まうことである．この問題を解決するため，非調波構

これらの課題を，以下のアプローチで解決する．

造モデルの形状に関する制約や同一楽器のモデルパラ
メータ類似性に関する制約を導入する．このようにし( 1 ) モデルパラメータ適応．テンプレート音で初期化した音モデルのパラメータを，モデルと入力音響て得られた調波・非調波統合モデルを用いることで，信号とのパワースペクトル上での音響的差異を最小化

混合音のパワースペクトル上での分離が可能となる．

するように更新する．すなわち，音モデルのパラメー

本論文の構成は以下のとおりである．まず，2 章でタを入力音響信号に適応させることによってテンプ

音源分離における 2 つの問題点を述べる．続いて，3 章
では調波・非調波統合モデルの定式化，4 章では統合モ

レート音と実演奏とのずれを吸収する．

(2)

同一楽器内パラメータ類似性に対する制約．

デルに基づく音源分離処理，5 章ではモデルパラメー

同一楽器の個々の単音モデル間のパラメータの類似性

タの推定処理について述べる．6 章で評価実験についを保ちつつも各単音の微小な違いを許容するような制1468

Mar. 2008

情報処理学会論文誌

約の下でモデルパラメータの更新を行う．これは，同∀k, l,



一楽器に属する各単音のモデルパラメータの平均値と現在着目している単音のモデルパラメータとの間のKullback-Leibler ダイバージェンス（以下，KLD と略す）を最小化することによる，モデルパラメータにrkl (c) = C(5)c

3.1 調波構造モデル
調波構造モデル Hkl (t, f ) は，パラメトリックな基
底関数であるガウス分布関数の重み付き線形和として，
パワーエンベロープを表現する関数 Eklm (t) と各時対する制約を与えることで達成できる．

2.1 問題の定義

刻の調波構造を表現する関数 Fkln (t, f ) を用いて以下

本論文で扱う分離問題とは，入力混合音のパワースの式で定義する．ただし，M，N は定数で，それぞれペクトル X(c, t, f ) を，k 番目の楽器，l 番目の単音

パワーエンベロープを表現するガウス分布関数の数と（以下，(k, l) 番目と記す）のパワースペクトルに分解

高調波成分を表現するガウス分布関数の数を表す．

することである．ここで，c ∈ {1, . . . , C} は左右などのチャネルの番号，t ∈ [T0 , T1 ] は時刻，f ∈ [F0 , F1 ]は周波数を表す．入力された楽譜情報から，楽曲中では K 種類の楽器が演奏されており，各々の楽器は Lk
個の単音を持つものとする．すなわち，k ∈ {1, . . . , K}

Hkl (t, f ) =Eklm (t)Fkln (t, f )

(6)

m,n

uklm −
Eklm (t) = √e
2πφkl(t−τkl −mφkl )2
2φkl 2(f −nω

(7)(t))2

た，(k, l) 番目の単音を表すモデルを Jkl (c, t, f )，(k, l)vkln − 2σ kl2kle(8)Fkln (t, f ) = √2πσkl
このモデルは，Kameoka らの調波時間構造化クラス

番目のテンプレート音のパワースペクトルを Ykl (t, f )タリング（Harmonic Temporal Clustering; HTC）14)とする．本論文で用いる楽譜情報にはチャネル間音圧で用いられる音源モデルを参考に設計した．Kameoka

であり，各々の k に対して l ∈ {1, . . . , Lk } である．ま比は含まれていないため，テンプレート音にはチャネらの HTC 音源モデルでは，ωkl (t) は時間 t に関する

ル間音圧比を設定せず，モノラル音響信号として生成多項式として定義されていたが，多項式で表現可能なする．そのため，Ykl (t, f ) には c がなく 1 チャネル

F0 時系列の集合は任意の F0 時系列の集合よりも小さとなっている．また，い．そこで本研究では，任意の F0 時系列を表現する

X0 =
=


1 

C

ために，ノンパラメトリックな関数として ωkl (t) をX(c, t, f ) dt df

定義した．uklm ，vkln は以下の条件を満たす．

c

Ykl (t, f ) dt df

(1)

k,l



∀k, l, n,∀k, l, m,となるように，Ykl (t, f ) のパワーを正規化してあるも(9)ukln = 1(10)n3.2 非調波構造モデルのとする．

非調波構造モデル Ikl (t, f ) は，ノンパラメトリック

3. 調波・非調波統合モデルな関数として，パワースペクトルの各時刻および周波

調波・非調波統合モデル Jkl (c, t, f ) は，(k, l) 番目の単音のパワースペクトルを表現するモデルである．
調波的な音のパワースペクトルを表現する調波構造モ
デル Hkl (t, f ) と非調波的な音のパワースペクトルを表現する非調波構造モデル Ikl (t, f ) との和に統合モデ
(t, f ) に，さらにチャル全体の重み wkl を乗じた Jkl

ネルごとの重み rkl (c) を乗じたもので，以下の式で定義する．
Jkl (c, t, f ) = rkl (c)Jkl(t, f )
Jkl(t, f ) = wkl



Hkl (t, f ) + Ikl (t, f )



(2)
(3)

wkl および rkl (c) は以下の各条件を満たす．
∀k, l,

uklm = 1mk,lwkl = X0(4)

数における周波数成分の強度を直接表現するように以下の式で定義する．
(I)Ikl (t, f ) = wkl Ikl(t, f )
(H)
ただし，Ikl(t, f )，wkl

(11)
(I)

および wkl は以下の各条件

を満たす．



∀k, l,

Ikl(t, f ) dt df = 1

(H)

(I)

∀k, l, wkl + wkl = 1

(12)
(13)

4. 音 源 分 離
入力パワースペクトル X(c, t, f ) を (k, l) 番目の単音へと分離するためのパワースペクトル分配関数

Skl (c, t, f ) を導入する．この関数は以下の条件を満Vol. 49

No. 3

たす．



∀c, t, f,

多重奏音楽音響信号の音源分離

Skl (c, t, f ) = 1

1469

(14)

k,l

分離された (k, l) 番目の単音のパワースペクトルは(S)

Xkl (c, t, f ) = Skl (c, t, f )X(c, t, f )(15)で表される．
ここで，どのように Skl (c, t, f ) を定めると最も良い分離が行えるかを考える．それには分離の良し悪し(S)を計る尺度が必要なので，Xkl (c, t, f ) と Jkl (c, t, f )との Kullback-Leibler Divergence (KLD) Qkl ： Qkl =(S)

Xkl (c, t, f )dt df
Jkl (c, t, f )(S)

Xkl (c, t, f )logc(16)でこの尺度を定義する．KLD は距離の公理を満たさないが，あらゆる k，l，c，t，f に対して(S)

Xkl (c, t, f ) = Jkl (c, t, f )(17)となるときに限り最小値 0 をとるので，パワースペ
クトル間の類似度として用いることができる．
このとき，Qkl を最小化するような Skl (c, t, f ) を(S)

求めることができれば，それを用いた Xkl (c, t, f )がQklに基づく最適な分離結果となる．ただし，Skl (c, t, f ) は式 (14) を満たさなければならないので，あらゆる k，l に関して同時に Qkl を最小化する必要がある．そこで，Qkl をあらゆる k，l に関して足し合わせ，式 (14) の条件に対する未定乗数 λ(S) (c, t, f )による Lagrange の未定乗数項を加えた Q ：

Q =



·

その後，Q を Skl (c, t, f ) に関して最小化することによるパワースペクトルの分離（Separation Process）と，分離パワースペクトルを用いたモデルパラメータ
推定（Model Adaptation）を交互に繰り返すことで分離処理が進められる．モデルパラメータ推定については次章で詳細を述べる．

5. パラメータ推定
分離の場合と同様に，推定されたパラメータの良し悪しを計る尺度を Skl (c, t, f )X(c, t, f ) と Jkl (c, t, f )の間の KLD である Qkl および制約条件として作用尺度を最小化するようにパラメータ推定を行う．本章

Qkl

では，パラメータ推定における各々の制約条件につい



c


MIDI 音源を用いて，テンプレート音の録音を行い，テンプレートを基にモデルパラメータを初期化する．

するいくつかの追加コストの重み付き和で定め，このk,l−

図 1 分離とモデル適応の処理の流れ
Fig. 1 Overview of separation and model adaptation.

て述べ，その後パラメータ推定方法および推定手法とλ(S) (c, t, f )EM アルゴリズムとの関連について述べる．
5.1 テンプレート音との類似性

Skl (c, t, f ) − 1 dt df(18)を最小化する．Q は Skl (c, t, f ) に関する制約条件を(k, l) 番目の単音のテンプレート音は，混合音中の(k, l) 番目の単音とは楽器個体などが異なっているものの，SMF から抽出した音高，音長，音量，楽器に満たす空間において凸関数であるので，連立方程式

よって MIDI 音源から生成した音響信号であるので，

k,l



∂Q
= 0,
∂Skl (c, t, f )



∂Q
=0
∂λ(S) (c, t, f )(19)

混合音中の (k, l) 番目の単音と「かなり」近いパワー
スペクトルを持つと考えられる．つまり，モデルとテンプレートスペクトル Ykl (t, f ) との差を同時に最小の解

Jkl (c, t, f )J (c, t, f )k,l klSkl (c, t, f ) = (20)が，Q を最小化する Skl (c, t, f ) であり，これにより統合モデルに基づく分離が行われる．
図 1 に全体の処理の流れを示す．最初に楽譜情報と化することで，混合音中の (k, l) 番目の単音から推定される理想的なパラメータに「かなり」近いパラメー
タを推定することが可能になる．
分離スペクトルとモデルとの差を KLD で定義したことと同様に，テンプレートスペクトルとモデルとの

1470
(Y )

Mar. 2008

情報処理学会論文誌

はモノラル音響信号であるので，モデルはチャネル間

畳み込むことで，周波数方向に平滑化したものであり，
Ikl(t, f ) よりも周波数方向に滑らかであるため周波数

音圧比を含まないものを用いる．

方向のピークを持たない，もしくは持っていたとして

差 Qkl

を KLD で定義する．ただし，テンプレート

Ykl (t, f )dt df (21)Jkl(t, f )
5.2 調波構造モデルへの制約
調波構造モデルのパラメータ ωkl (t) は大きい自由
(Y )

Qkl =

Ykl (t, f ) log

(t, f ) のもピークにおける周波数成分のパワーは Ikl

それより小さい．したがって，パラメータ推定時にこ˜(I)のコスト Qkl も最小化することで，非調波構造モデ
ルが調波構造を表現せず，それ以外の「非調波的な音」

度を持つため，たとえば，分離音に他の楽器音が混入のパワースペクトルだけを表現することを強制できる．

しており，本来モデルが表現すべき楽器音の音高ではなくそちらの楽器音の音高が推定されてしまった場合，

5.4 同一楽器内のパラメータ類似性
2 章で述べたように，調波・非調波統合モデル

ωkl (t) に不連続な区間が含まれてしまう．しかし，通常はこのような F0 時系列は楽器音の単音として望ま

Jkl (c, t, f ) のパラメータは，単音ごとの微小な誤差を許容しつつ，かつ同一楽器ごとの類似性を満たす必

しくなく，単音の F0 時系列は連続的に変化するべき要がある．この性質を満たすようなパラメータを推定と考える．そこで，以下の式で表現される新たなコスするために，新たに 2 つの制約を導入する．

トを導入する．

ω̃kl (t)dt(22)
ωkl (t)ω̃kl (t) は，ωkl (t) にガウシアンフィルタを畳み込む
ことで時間方向に平滑化したもので，このコストは
(ω)

Qkl =

ω̃kl (t) log

ω̃kl (t) と ωkl (t) の KLD で定義されている．ω̃kl (t)は ωkl (t) よりも「滑らか」であるため，Qkl を最小(ω)
化すると同時に Qkl を最小化することで，推定された ωkl (t) が「滑らか」であることを強制することが第 1 の制約は調波構造モデルの vkln に対する制約で，以下の式で表されるコスト関数として与えられる．

v̄kn
(v)
Qkl =
v̄kn log
(24)
vkln
n

v̄kn は楽器ごとに vkln を平均したものである．このコストは v̄kn と vkln の KLD で定義されており，これを最小化することで vkln を v̄kn へと近づけることが可能になる．すなわち，vkln の楽器ごとの類似性を強制できる．
(t, f ) に対する
第 2 の制約は非調波構造モデル Ikl

できる．

5.3 非調波構造モデルへの制約
1 章で述べたように，非調波構造モデル Ikl (t, f ) はもので，以下の式で表されるコスト関数として与えら非常に大きい自由度を持つ．そのため，このモデルは

I¯k (t, f )I¯k (t, f ) log 
dt df
(25)
Ikl (t, f )(t, f ) を平均したものである．
I¯k (t, f ) は楽器ごとに Ikl
(t, f ) の KLD で定義されこのコストは I¯k (t, f ) と Ikl
ており，これを最小化することで Ikl(t, f ) を I¯k (t, f )任意のパワースペクトルを表現することが可能で，入力パワースペクトル，および分離パワースペクトルが調波構造モデルを用いることなくこのモデルだけで表現されてしまう可能性がある．しかし，調波構造モデ

れる．
¯
(I)



Qkl =

ルが表現すべき調波構造までも非調波構造モデルが表へと近づけることができる．すなわち，Ikl(t, f ) の楽

現してしまうことは望ましくない．

器ごとの類似性を強制できる．

我々は，パワースペクトル上の調波構造に関する最5.5 基底関数への分配関数

ワースペクトルが調波構造を含むことはない．した

Jkl (c, t, f ) は Hkl (t, f ) と Ikl (t, f ) の線形結合で定義されており，さらに Hkl (t, f ) は基底関数であるガウス分布関数の線形結合で定義されている．そこで，パがって，非調波構造モデルが周波数方向に強いピーク

ラメータ推定のために，Xkl (c, t, f ) および Ykl (t, f )大の特徴は周波数方向に複数のピークを持つこと，と考える．逆に，周波数方向に強いピークを持たないパ(S)を持ちにくくさせる制約を与えることができれば，前を調波構造モデルの m 番目のパワーエンベロープの述の問題を解決できると考える．

ガウス分布，n 番目の調波構造のガウス分布（以下

この制約を実現するため，以下の式で表現される新たなコストを導入する．

I˜kl (t, f )
dt df
(23)
I˜kl (t, f ) log Ikl (t, f )
ここで，I¯kl (t, f ) は Ikl(t, f ) にガウシアンフィルタを
˜
(I)

Qkl =

(m, n) 番目と記す）および非調波構造モデルへと分配(H)(I)
する関数 Sklmn (t, f )，Skl (t, f ) を導入する．この場

合，Qkl は以下の Q
kl に置き換えられることになる．
(H)Qkl = Qkl
ただし，

(I)

+ Qkl

(26)

Vol. 49

No. 3

1471

多重奏音楽音響信号の音源分離

ストが加えられていても Q を最小化して得られる分(H)

Xklmn (c, t, f )配関数には影響しない．また，パラメータ推定に関し(H)= Sklmn (t, f )Skl (c, t, f )X(c, t, f )(I)
Xkl (c, t, f )(I)= Skl (t, f )Skl (c, t, f )X(c, t, f )(H)
Jklmn (c, t, f )(H)= rkl (c)wkl wkl Eklm (t)Fkln (t, f )(29)

Q の最小化を交互に繰り返すことで，分離とパラメー

Jkl (c, t, f ) = rkl (c)wkl wkl Ikl (t, f )(30)

タ推定を行うことができる．

(I)

(H)

Qkl

=

 

(I)

(27)
(28)

Q は，以下の式で定義される．

(H)

Xklmn (c, t, f )

Q=

(H)

Xklmn (c, t, f )

(I)

Qkl

=

J

(H)

係がある項は Qkl だけであるので，Qkl 以外の Q の項は Jkl (c, t, f ) のパラメータ推定には影響しない．したがって，分配関数およびモデルパラメータに関する

c,m,n

· log

ては，(k, l) 番目の単音のモデルパラメータ推定に関

klmn


(c, t, f )

dt df



(31)

− λ(w)

(I)

c

−

(I)

· log

(I)

Jkl (c, t, f )

dt df

(32)
·



c


である．これらの分配関数の最適な値は，Lagrangeの未定乗数項を加えることで Skl (c, t, f ) と同様に導

(H)

(H)

(I)

Skl (t, f ) =wkl wkl Eklm (t)Fkln (t, f )(33)
Jkl (c, t, f )(I)
wkl wkl Ikl (t, f )Jkl (c, t, f )λ(S) (c, t, f )Skl (c, t, f ) − 1 dt df

(35)

k,l
(Y )

(ω)

Qkl = αQkl + (1 − α)Qkl + βω Qkl

(34)

(r)
− λkl



5.6 コスト関数
推定されたパラメータの分離音に対する良し悪しを(Y )計る尺度 Qkl ，ここまでに述べた追加コスト Qkl ，
˜
¯
(ω)
(I)
(v)
(I)
Qkl ，Qkl ，Qkl ，Qkl の重み付き和，さらにモデ

ルパラメータと分配関数の Lagrange の未定乗数項の総和で定義した Qkl を，調波・非調波統合モデルの各々のパラメータに関して最小化することで，モデルパラメータの推定を行う．各々のコストに対する重みは，α，(1 − α)，βω ，βI˜，βv ，βI¯ とする．α

デルの過学習を防ぐことができると考えられる．ま(I)た，rkl (c)，wkl ，(wkl , wkl )，uklm ，vkln ，ωkl (t)，rkl (c) − C


(wHI)

− λkl

(u)

− λkl

(v)
− λkl


(H)

(I)

wkl + wkl − 1


m




uklm − 1vkln − 1

 n

(ω)

− λkl

(I)



ωkl (t) − ω̃kl (t) dt

 

− λkl






Ikl
(t, f ) dt df − 1

(SHI)

−

λkl

·

Sklmn (t, f )+Skl (t, f )−1 dt df

を最初は α = 0 に設定し，徐々に 1 に近づける
ことで，分離とパラメータ推定の繰返しにおいてモ



c

となる．

(H)


wkl − X0

˜
¯
(I)
(v)
(I)
+ βI˜Qkl + βv Qkl + βI¯Qkl

出することが可能で，それぞれSklmn (t, f ) =k,lXkl (c, t, f )Xkl (c, t, f )

Qkl

k,l



(t, f )

(H)


(I)

m,n
˜
(I)

(36)
に関しては，これらを追

(H)
(I)

Ikl
(t, f )，(Sklmn (t, f )，Skl (t, f )) の各々に関する
(r)
(wHI)
(u)
Lagrange の未定乗数を λkl ，λ(w) ，λkl
，λkl ，
(v)
(ω)
(I)
(SHI)
λkl ，λkl ，λkl ，λkl
(t, f ) とする．

加すると分離とパラメータ推定の反復を行う過程で Q(ω)

ただし，コスト Q，Qのパラメータに関する極小点がパラメータの値によっ

さらに，Qkl をすべての (k, l) に対して合計したコて変化してしまうため，パラメータの局所的な収束性

スト関数 Q を定義すると，分離とパラメータ推定のが保証されなくなる．しかしながら，本論文で実施し両方をコスト関数 Q の最小化としてとらえることがた実験においては非調波構造モデルが調波構造を表現できる．分離に関係がある項は Q
kl だけであるので，(Y )重み α がかけられていたり，Qkl などのその他のコ

かつパラメータが発散している様子は確認できなかっしたり F0 時系列が不連続になったりすることはなく，

1472

Mar. 2008

情報処理学会論文誌
表 1 本論文で用いる記号の一覧
Table 1 List of symbols.

記号

意味

備考

c
t
f
k
l
m
n
Jkl (c, t, f )Jkl(t, f )
Hkl (t, f )Eklm (t)Fkln (t, f )Ikl (t, f )X(c, t, f )Ykl (t, f )Skl (c, t, f )チャネル番号
時刻
周波数
楽器番号
単音番号
パワーエンベロープを表現するガウス分布関数の番号
調波構造を表現するガウス分布関数の番号（第 n 次倍音に相当）c ∈ {1, . . . , C}t ∈ [T0 , T1 ]f ∈ [F0 , F1 ]k ∈ {1, . . . , K}∀k, ∃Lk , l ∈ {1, . . . , Lk }m ∈ {1, . . . , M}n ∈ {1, . . . , N}(k, l) 番目の単音の調波・非調波統合モデル
チャネル間音圧比 rkl (c) を取り除いた Jkl (c, t, f )調波構造モデル
調波構造モデルのパワーエンベロープ関数
調波構造モデルの調波構造関数
非調波構造モデル
入力パワースペクトル
テンプレートスペクトル(k, l) 番目の単音へのパワースペクトル分配関数∀c, t, f,(H)

Sklmn (t, f )k,l∀k, l, t, f ,(k, l) 番目の単音，(m, n) 番目の調波構造モデルのガウス分布へのパワースペクトル分配関数

m,n

(I)
Skl (t, f )(k, l) 番目の単音の非調波構造モデルへのパワースペクトル分配関数

rkl (c)

チャネル間音圧比

wkl

調波・非調波統合モデル全体の重み(H)∀k, l,

k,lSkl (c, t, f ) = 1(H)

Sklmn (t, f ) + S (I) (t, f ) = 1crkl (c) = C

wkl = 1
(H)

(I)

wkl
uklm

調波構造モデルの重み
パワーエンベロープを表現する m 番目のガウス分布関数の重み係数∀k, l, w
kl + wkl = 1∀k, l,
uklm = 1vkln

n 次高調波成分の相対強度∀k, l,

τkl
φkl
ωkl (t)
σkl
(I)
wkl

Ikl (t, f )発音時刻
パワーエンベロープを表現するガウス分布関数の広がりを表すパラメータ
F0 時系列高調波成分を表現するガウス分布関数の広がりを表すパラメータmnvkln = 1

非調波構造モデルの重み∀k, l,

パワーを正規化した非調波構造モデル

たため，実験的には大きな問題にはならないと考える．

Ik,l(t, f ) dt df = 1

ペクトル分配関数 Skl (c, t, f )，調波・非調波統合モデ

本論文で用いる記号の一覧を，表 1 に示す．

ル Jkl (c, t, f ) をそれぞれ p(c, t, f )，p(k, l|c, t, f, θ)，

5.7 EM アルゴリズムとしての解釈

p(k, l, c, t, f |θ) に対応させ1 ，さらにモデルに関する

ここまでに述べた分離とパラメータ推定の繰返しは，制約を表現するコスト関数 Qkl ，Qkl ，Qkl ，Qkl ，

(Y )

(ω)

˜
(I)

(v)

Expectation-Maximization（EM）アルゴリズムを用¯(I)Qkl の総和を − log p(θ) に対応させると，EM アル

いた最大事後確率推定として解釈することもできる．

ゴリズムにおける E ステップ，すなわち Q(θ, θ̃) を最

観測確率密度関数 p(c, t, f ) が与えられたとき，大化する p(k, l|c, t, f, θ) の推定はコスト関数 Q を最p(c, t, f ) を近似する確率密度分布 p(k, l, c, t, f |θ) のパラメータ θ を推定する問題を考える．k，l に関する隠れ変数の分布 p(k, l|c, t, f ) および θ の事前分布

小化する Skl (c, t, f ) の導出に対応する．同様に，EMp(θ) を導入すると，θ を θ̃ へと変化させたときの対数事後確率の期待値の増加量 Q(θ, θ̃) は，デルの各パラメータの導出に対応する．

Q(θ, θ̃) =p(k, l|c, t, f, θ)p(c, t, f )k,l,c· log p(k, l, c, t, f |θ̃) dt df+ log p(θ̃)

アルゴリズムにおける M ステップ，すなわち Q(θ, θ̃)を最大化する θ̃ の推定はコスト関数を最小化するモ

6. 評 価 実 験
本手法の性能を確認するため，評価実験を行った．

6.1 実験の目的
本実験の目的は，本論文で構築した調波・非調波統(37)と表される．
ここで，入力パワースペクトル X(c, t, f )，パワース

1 ただし，入力パワースペクトルとモデルはあらゆる変数に関して積分した値が 1 になるように正規化したものを対応させる．

Vol. 49

No. 3

多重奏音楽音響信号の音源分離

合モデルの有効性を確認することである．具体的には，
以下の 3 つの条件：

(1)
(2)
(3)

調波・非調波統合モデルを用いた場合（本手法）
調波構造モデルのみを用いた場合
非調波構造モデルのみを用いた場合において楽曲の音響信号を楽器パートごとおよび単音ごとに分離し，単音ごとにに分離したパワースペク
トルとミックス前の各単音のパワースペクトルとの周波数領域での SNR を用いて 3 つの条件を比較した．
(k, l) 番目の単音に関する周波数領域での SNR は，次式で定義する．

SNRkl =
1
C(T1 − T0 )


SNRkl (c, t) dt

c

1473

表 2 実験条件
Table 2 Experimental conditions.

Frequency analysis
sampling rate
44.1 kHz
STFT
analysizing method
2,048 points Gaussian
STFT window
441 points
STFT shift
Parameters# of channels: C
2
10# of kernels in Eklm : M
20# of partials: N
0.1
βv
0.1
βω
3.5
βĪ
0.5
βĨ
MIDI sound generator
test data
YAMAHA MU2000
Roland SD-90
template sounds(38)
SNRkl (c, t)=るが，1 章で述べたように歌声は本手法で扱う対象に(S)



Xkl (c, t, f )2
(S)

(R)

Xkl (c, t, f ) − Xkl (c, t, f )

2 df

(39)

(S)

は含まれない．
テンプレート音と分離対象となる楽曲とは，異なる

ただし，Xkl (c, t, f ) は (k, l) 番目の単音の分離パ

楽器メーカの MIDI 音源で生成した．これは，分離対

ワースペクトル，Xkl (c, t, f ) は (k, l) 番目の単音の象とは確実に音色（音源波形）が異なるテンプレート

参照パワースペクトル，すなわちミックス前のパワー音を用いるためである．また周波数解析，ハイパーパ

スペクトルである．

ラメータ，用いた MIDI 音源に関する条件を表 2 に示(R)

本来，調波構造モデルでドラム音を表現することは難しいが，本実験では用いたモデル以外の条件を同一にするために，調波構造モデルのみを用いた場合でもドラムパートを含む混合音の分離を行った．また，非調波構造モデルのみを用いた場合は，式 (23) の非調

す．この表における βv などのパラメータは，実験的に最適なものを求めたものである．

6.3 実 験 結 果
表 3 に，統合モデルを用いて分離を行った場合（Integrated），調波構造モデルのみを用いて分離を行った波構造モデルを平滑化する制約を用いるとモデルが調場合（Harmonic），および非調波構造モデルのみを用

波構造を表現することができなくなるため，この制約

いて分離を行った場合（Inharmonic）に得た各単音ごは用いていない．

との分離音を周波数領域での SNR で評価し，同種の6.2 実験データ
実験には，RWC 研究用音楽データベース：ポピュ

楽器ごとに平均した結果を示す．Piano, Guitar, . . . ,Drums は楽器の種類を，1–8 などの番号は楽器に対応

ラー音楽（RWC-MDB-P-2001）29) から選んだ 10 曲

する MIDI のプログラムナンバを表す．楽器の種類は，（No.1–10）を用いた．各楽曲は開始から 30 秒の区間

MIDI のプログラムナンバを基準に，ピアノ（プログを利用した．楽曲ごとの K と Lk の値は，各楽曲のラムナンバ 1–8），ギター（プログラムナンバ 24–32）

SMF で用いられた楽器数，およびノートオンメッセー
ジ数から求める．本実験では以下の理由により，MIDIのように分類した．ドラムには，プログラムナンバー

音源から録音した音響信号を分離対象とした．

ことを指定されたトラックに属する単音を分類した．

では分類しておらず，SMF でドラムトラックである• 本実験の目的に適した音楽データベースが入手

ただし表 4 では，実験に用いた 10 曲中の 5 曲以上困難である．目的に適したデータベースとは，楽曲のに用いられている楽器パートについてのみ結果を示し

音響信号，それに同期がとられた SMF，さらに各楽器ている．すべての楽器パートにおいて，Integrated のパートの音響信号をミックスする前のマスタートラッ

SNR が最も大きくなっている．

クのすべてが利用できるものである．これは，ミック

Integrated と Inharmonic に 比べ て Harmonic の
SNR が全体的に小さな値になっており，特に Bass とス前の音響信号に対する分離後の音響信号の SNR を測定し，定量的評価を行うために必要である．

• 一般的なポピュラー音楽には歌声が含まれていDrums において SNR の低下が顕著である．Drums に関しては調波構造モデルでドラム音を表現することは

1474

情報処理学会論文誌

表 3 楽器パートごとの平均 SNR
Table 3 Average SNR of each instrument part.

Inst.
Part
Piano
GuitarBass
Ensemble
Pipe
Drums

Prog. #in MIDI
1–8
25 – 32
33 – 40
49 – 56
73 – 80—

Integrated
48.87
47.22
40.93
48.11
49.28
43.31

SNR (dB)
Harmonic Inharmonic
25.67
48.17
13.59
46.88
−22.19
40.53
31.45
47.45
26.78
49.16
−18.02
42.56

Mar. 2008

後のモデル（Initial），それを混合音に適応させたモデル（Estimated），テストデータの各単音でパラメータを初期化したモデル（Ideal）に関して，テストデータの各単音とモデルとの KLD を同種の楽器ごとに平均した結果を示す．楽器の分類は表 3 の場合と同様である．Estimated の KLD が Ideal のものに近ければ推定されたパラメータが「良い」と考えられるが，それぞれの単音に関しての KLD が非負となることは保証されていないため，必ずしも KLD は小さいほど良いと

表 4 楽器パートごとの平均 KLD
Table 4 Average KLD of each instrument part.

Inst.
Part
Piano
GuitarBass
Ensemble
Pipe
Drums

Initial402.82342.921152.2520.67504.57842.32KLD
Estimated
21.25
28.12
44.93
32.98
23.73
56.41

Ideal
12.68
13.72
25.45
13.22
13.24
25.39

いうわけではなく，KLD の大小はあくまで良し悪しの目安であることに注意する必要がある．表 4 を見ると，Estimated の KLD は Initial のものよりもかなり

Ideal に近い値を示しており，ある程度は妥当なパラメータ推定が行われたと考えられる．詳細なデータは省略するが，モデルとテストデータの単音間の KLD
が 150–200 を超える，もしくは 0 を下回ると SNR が大きく減少する傾向が見られた．
また，図 2，図 3 に，統合モデル，調波構造モデル，

困難なことが，Bass に関しては低音部を担当する楽非調波構造モデルのそれぞれを用いて分離されたピア器が多く，その基本周波数に対して周波数解像度が粗

ノ単音，スネアドラム単音のパワースペクトル（それいために正しく調波構造を表現することができなかっぞれ図 {2, 3}-{b, c, d}），該当する区間の混合音およたことが，それぞれ原因であると考えられる．これはびミックス前のピアノ単音のパワースペクトル（それIntegrated と Inharmonic の場合にも同様にあてはまぞれ図 {2, 3}-{a, e}）を示す．これらの図を見ると，る．この問題に対しては，STFT よりも周波数解像

いずれのモデルを用いて分離を行った場合でも調波構度を詳細に制御可能な連続ウェーブレット変換などを造はある程度表現されていることが分かる．しかし，周波数解析手法に採用することで対処できると考え

調波構造モデルを用いた場合では発音時刻付近に現れられる．また，Bass と Drums 以外の楽器パートでもている非調波成分が少ない点，非調波構造モデルを用

Harmonic の SNR が低下しているが，上記 2 つの楽いた場合では調波構造がミックス前のものよりも早く器パートを正しく分離することができなかった結果，減衰している点，本来の調波構造以外の周波数成分がそれ以外のパートにドラム音などが混入したためと考含まれている点などが，ミックス前の単音とは異なっえられる．

ている．これに対して，統合モデルを用いた場合では，楽器パートごとに，Integrated と Harmonic，Inte-

これら 3 つのモデルによる分離音の中では上記の点のgrated と Inharmonic のそれぞれの組において SNR の平均値が等しいという帰無仮説を立てて t 検定を行っようなミックス前の単音とのずれは最も小さい．調波

たところ，Integrated と Inharmonic 間の Pipe 以外のい原因は，調波構造モデルの高調波成分相対強度が時構造の減衰が非調波構造モデルを用いた場合よりも遅SNR に関してはすべて有意水準 0.05 で帰無仮説を棄間の経過によって変化しないように定義されており，高却することができたため，この結果は SNR の向上と次の高調波成分だけが先に減衰しないことがあげられいう点において統合モデルを用いることの有用性を示る．また，統合モデルや非調波構造モデルを用いた場合している．SNR に優位な差が現れなかった原因としには，発音時刻以外の時刻においてミックス前の単音ては，Pipe のパートの多くの単音がフルートでかつには見られない非調波成分が存在している．この非調フルートがメロディ（ボーカル）に割り当てられてお波成分は本来は他のピアノ音やドラム音の非調波成分

り，単音の音量が大きくかつ他の楽器パートとの高調であるが，非調波構造モデルが混合音に過剰に適応し波成分の重複が起こりにくいため，統合モデルを用いた結果混入したと考えられる．これは非調波構造モデ

なくても単音のパワースペクトルを容易に推定できた

ルの自由度の高さに由来しているため，非調波構造モ

ことがあげられる．

デルに構造上の制約を持たせる，もしくは何らかの事

表 4 に，テンプレートでパラメータを初期化した直前分布を用いるなどによって解決されると考えられる．

Vol. 49

No. 3

1475

多重奏音楽音響信号の音源分離

a：混合音

a：混合音

b：統合モデルを用いて分離したもの

b：統合モデルを用いて分離したもの

c：調波構造モデルを用いて分離したもの

c：調波構造モデルを用いて分離したもの

d：非調波構造モデルを用いて分離したもの

d：非調波構造モデルを用いて分離したもの

e：ミックス前のもの

e：ミックス前のもの

図 2 ピアノ単音のパワースペクトル
Fig. 2 Power spectrogram of a piano sound.

図 3 スネアドラム単音のパワースペクトル
Fig. 3 Power spectrogram of a snare drum sound.

1476

情報処理学会論文誌

7. お わ り に
本論文では，調波的な音と非調波的な音の混合音をすべての楽器パートに分離するという問題に取り組んだ．具体的な手法として，調波構造モデルと非調波構造モデルを統合したモデルを用いた多重奏の音源分離
手法と，そのためのモデル適応手法について述べた．
また，調波構造モデルと非調波構造モデルを統合する際の問題点を非調波構造モデルへの制約という形でコスト関数最小化によるパラメータ推定の枠組みを崩す
ことなく解決した．本手法の性能を示すための評価実
験では，統合モデルを用いることの有効性を確認した．
また我々は，本手法で生成した楽器パートごとの分離音を用いるアプリケーションとして，1 章で述べた
楽器音イコライザを開発した．楽器音イコライザを用いることで，ユーザは楽曲の楽器パートごとの音量バランスを自由に操作することができ，その結果として能動的な音楽鑑賞1) が可能となる．
本論文で設計した調波・非調波統合モデルは，音源分離への利用のみに限定されるものではない．たとえば，本モデルを用いて，多重音解析や楽器音認識へと応用範囲を広げることが考えられる．また，任意のパワースペクトルを表現できる非調波構造モデルの性質
上，扱う対象も音楽音響信号に限定されるものではな
く，音声や環境音へとその対象を広げることも可能である．今後は，歌声の分離など，扱える信号の対象を増やし分離性能を改善することと，SMF から得られる事前情報（各単音の音高，音長，音量，発音時刻，
楽器）が一部利用できない，もしくは利用はできるが信頼性が低いといった状況における分離手法を構築することで，分離技術の汎用的を高めることに取り組んでいく予定である．
謝辞 本研究の一部は，科学研究費補助金（基盤研
究（S），特定領域「情報爆発 IT 基盤」）
，21 世紀 COE
プログラム「知識社会基盤構築のための情報学拠点形成」，科学技術振興機構 CrestMuse プロジェクトによる支援を受けた．

参

考 文

献

1) Goto, M.: Active Music Listening Interfaces
Based on Signal Processing, Proc. ICASSP,
Vol.IV, pp.1441–1444 (2007).
2) Yoshii, K., Goto, M. and Okuno, H.G.: INTER:D: A Drum Sound Equalizer for Controlling Volume and Timbre of Drums, Proc.
EWIMT, pp.205–212 (2005).
3) Yoshii, K., Goto, M., Komatani, K., Ogata,Mar. 2008

T. and Okuno, H.G.: Drumix: An Audio
Player with Real-time Drum-part Rearrangement Functions for Active Music Listening,
IPSJ Journal, Vol.48, No.3, pp.134–144 (2007).
4) ヤマハミュージックイークラブ．http://www.
music-eclub.com/
5) internet MIDILINK. http://www.midilink.
com/6) Cano, P., Loscos, A. and Bonada, J.: ScorePerformance Matching Using HMMs, Proc.
ICMC, pp.441–444 (1999).
7) Dannenberg, R.B. and Hu, N.: Polyphonic
Audio Matching for Score Following and Intelligent Audio Editors, Proc. ICMC, pp.27–33(2003).
8) Adams, N., Marquez, D. and Wakeﬁeld, G.:
Iterative Deepening for Melody Alignment and
Retrieval, Proc. ISMIR, pp.199–206 (2005).
9) Dixon, S. and Widmer, G.: MATCH: A Music
Alignment Tool Chest, Proc. ISMIR, pp.492–
497 (2005).
10) Cont, A.: Realtime Audio to Score Alignment for Polyphonic Music Instruments Using
Sparce Non-negative Constraints and Hierarchical HMMs, Proc. ICASSP, Vol.II, pp.641–
644 (2006).
11) Virtanen, T. and Klapuri, A.: Separationof Harmonic Sound Sources Using Sinusoidal
Modeling, Proc. ICASSP, Vol.II, pp.765–768(2000).
12) Virtanen, T. and Klapuri, A.: Separation ofHarmonic Sounds Using Linear Models for
the Overtone Series, Proc. ICASSP, Vol.2,
pp.1757–1760 (2002).
13) Every, M. and Szymanski, J.: A Spectralﬁltering Approach to Music Signal Separation,
Proc. DAFx, pp.197–200 (2004).
14) Kameoka, H., Nishimoto, T. and Sagayama,S.: Harmonic-temporal Structured Clustering
via Deterministic Annealing EM Algorithm
for Audio Feature Extraction, Proc. ISMIR,
pp.115–122 (2005).
15) Viste, H. and Evangelista, G.: A Method
for Separation of Overlapping Partials Basedon Similarity of Temporal Envelopes in Multichannel Mixtures, IEEE Trans. Speech andAudio Processing, Vol.14, No.3, pp.1051–1061(2006).
16) Woodruﬀ, J., Pardo, B. and Dannenberg, R.:
Remixing Stereo Music with Score-informed
Source Separation, Proc. ISMIR, pp.314–319(2006).
17) Smaragdis, P. and Brown, J.C.: Non-negative
Matrix Factorization for Polyphonic Music

Vol. 49

No. 3

1477

多重奏音楽音響信号の音源分離

Transcription, Proc. WASPAA, pp.177–180(2003).
18) Fitzgerald, D., Cranitch, M. and Coyle, E.:
Sound Source Separation using Shifted Nonnegative Tensor Factorization, Proc. ICASSP,
Vol.V, pp.653–656 (2006).
19) Uhle, C., Dittmar, C. and Sporer, T.: Extraction of Drum Tracks from Polyphonic Music
Using Independent Subspace Analysis, Proc.
ICA, pp.834–848 (2003).
20) Helen, M. and Virtanen, T.: Separation ofDrums from Polyphonic Music Using Nonnegative Matrix Factorization and Support
Vector Machine, Proc. EUSIPCO (2005).
21) Barry, D., Fitzgerald, D., Coyle, E. and
Lawlor, B.: Drum Source Separation Using Percussive Feature Detection and Spectral Modulation, Proc. ISSC, pp.13–17 (2005).
22) Casey, M. and Westner, A.: Separation of
Mixed Audio Sources by Independent Subspace
Analysis, Proc. ICMC, pp.154–161 (2000).
23) Dubnov, S.: Extracting Sound Objects by Independent Subspace Analysis, Proc. AES 22ndInternational Conference on Virtual, Synthetic
and Entertainment Audio (2002).
24) FItzGerald, D., Coyle, E. and Lawlor, B.:
Independent Subspace Analysis Using LocallyLinear Embedding, Proc. DAFx, pp.13–17(2003).
25) Brown, J.C. and Smaragdis, P.: Independent
Component Analysis for Automatic Note Extraction from Musical Trills, J. Acoust. Soc.
Am., Vol.115, No.5, pp.2295–2306 (2004).
26) Barry, D., FitzGerald, D. and Lawlor, B.: Single Channel Source Separation Using Shorttime Independent Component Analysis, Proc.
AES (2005).
27) Yoshii, K., Goto, M. and Okuno, H.G.: DrumSound Recognition for Polyphonic Audio Signals by Adaptation and Matching of Spectrogram Templates with Harmonic Structure
Suppression, IEEE Trans. Audio, Speech, andLanguage Processing, Vol.15, No.1, pp.333–345(2007).
28) Goto, M.: A Real-time Music-scene-description
System: Predominant-F0 Estimation for Detecting Melody and Bass Lines in Real-world
Audio Signals, Speech Communication (ISCA
Journal), Vol.43, No.4, pp.311–329 (2004).
29) Goto, M., Hashiguchi, H., Nishimura, T. andOka, R.: RWC Music Database: Popular, Classical and Jazz Music Databases, Proc. ISMIR,
pp.287–288 (2002).

付

録

A.1 パラメータ更新式の導出
式 (35) のコスト関数を各パラメータで偏微分したものの零点を求めることで，J が極小になるようにパラメータを更新する式を導出する．

A.1.1 rkl (c)：各チャネルの相対強度

∂J=∂rkl (c)
 

m,n

(I)

−

+
∂J

Xkl
rkl (c)



=

(r)
∂λkl

 

(H)

X
− klmnrkl (c)





dt df
(r)

dt df +wkl −λkl = 0 (40)rkl (c) − C = 0

(41)

c

この連立方程式を解き，以下を得る．



C

(H)



rkl (c) = c(I)

Xklmn + Xkl

m,n



(H)
(I)
Xklmn + Xkl
m,n

dt df



dt df
(42)

A.1.2 wkl ：統合モデル全体の重み


∂J
=
∂wkl

 

(H)

X
− klmn
wkl

c,m,n



dt df

   X (I) −+cdt df +C−λ(w) = 0 (43)

kl

wkl


∂J
=
wkl − X0 = 0
(w)
∂λ

(44)

k,l

この連立方程式を解き，以下を得る．





wkl =

(H)

(I)

Xklmn + Xkl

dt df

(45)

m,n
(H )

(I )

A.1.3 wkl ，wkl ：調波・非調波構造モデルの
重み

∂J

=
(H)

∂wkl

    X (H) 
klmn
−

c,m,n
(wHI)

+ Cwkl − λkl
∂J
(I)

∂wkl

=

 
c

(H)

wkl

=0

(I)
Xkl
− (I)
wkl

(wHI)

(46)


dt df

=0
+ Cwkl − λkl
∂J
(H)
(I)
= wkl + wkl − 1 = 0
(wHI)
∂λkl
この連立方程式を解き，以下を得る．

(47)
(48)

1478

Mar. 2008

情報処理学会論文誌


(H)
wkl =

Xklmn dt df

m,nXklmn + Xkl



A.1.7 τkl ：発音時刻

(H)

c,m,n

c

(H)

(I)

dt df
(49)


(I)
wkl =



c,m,n

(I)

Xkl dt df

m,nXklmn + Xkl

(H)

(I)

dt df
(50)



この方程式を解き，以下を得る．



(H)

c,m,n



⇒

n (f − nωkl (t)) Xklmn
df
2
σkl

ω̃kl (t)+1−ωkl (t)





(51)

aω ωkl (t)2 + bω ωkl (t) + cω = 0(52)⎧
  2 (H)⎪⎪aω =n Xklmn df
⎪
⎪
⎪
⎨
c,m,n

(H)
2
bω = σkl βω −nf Xklmn df
⎪
⎪
⎪
⎪
c,m,n
⎪
⎩
2

(53)

∂J
=
∂uklm

−

c,n

uklm

∂J
(u)

=

∂λkl



φkl =

(55)


∂J
=
∂σkl

(H)

(56)

Xklmn dt df

c,m,n

A.1.6 vkln ：n 次倍音成分の相対強度



(H)

−

c,m

+ βv −
(v)

∂λkl

=

(65)

(H)

−Xklmn2−n2 σkl+ (f − nωkl (t))2dt df
3n2 σkl
=0
(66)

v̄kn
(v)
+ 1 − λkl = 0
vkln

vkln − 1 = 0βv v̄kn +





(H)
 c,m,n (f −nωkl (t))2 Xklmn
dt df
σkl = 

(H)

(57)

(H)

Xklmn dt df

c,m,n

Xklmn dt df(H)

Xklmn dt df

(67)

(58)

c,m



この方程式を解き，以下を得る．

c,m,n

n

βv +



Xklmn
dt df
vkln

この連立方程式を解き，以下を得る．

vkln =bφ − 4aφ cφ

c,m,n

(H)

Xklmn dt df

c,n



2

·



∂J

−bφ +

2aφ
A.1.9 σkl ：周波数方向の広がり

この連立方程式を解き，以下を得る．


∂J
=
∂vkln

m (t − τkl ) Xklmn dt df (64)この方程式を解き，以下を得る．

muklm = (63)⎧   (H)⎪a=
Xklmn dt df
⎪
φ
⎪
⎪
⎪
c,m,n  
⎪
⎪

⎨
(H)

c,m,n

(54)
uklm − 1 = 0

aφ φ2kl + bφ φkl + cφ = 0

bφ =

(u)
dt df − λkl=0(t − τkl ) (t − τkl − mφkl ) − φ2kl
dt df
φ3kl
=0
(62)
·

⎪
c,m,n
⎪
⎪
 
⎪
⎪
(H)
⎪
⎪ cφ = −(t − τkl )2 Xklmn dt df⎩

この方程式を解き，以下を得る．
√−bω + b2ω − 4aω cω
ωkl (t) =2aω
A.1.5 uklm ：パワーエンベロープの概形
(H)
Xklmn

(61)

A.1.8 Yφkl ：音長   (H)
∂J
=
Xklmn
∂φkl

⇒

cω = −σkl βω ω̃kl (t)



(H)

Xklmn dt df

c,m,n

=0

+ βω

(t − mφkl ) Xklmn dt df

c,m,n

τkl =

c,m,n
(H)

−

t − τkl − mφkl
dtdf
φ2kl
(60)

A.1.4 ωkl (t)：F0 の軌跡∂J=∂ωkl (t)(H)−Xklmn

=0

c



c




∂J
=
∂τkl

(59)

A.1.10Ikl(t, f )：非調波構造モデル




X
∂J
=
+ rkl (c)−  kl∂Ikl (t, f )Ikl (t, f )
c



(I)





I¯k
+1
+βI¯ − 
Ikl (t, f )I˜kl+βI˜ − + 1 = 0 (68)
Ikl (t, f )Vol. 49

No. 3

∂J

=
Ikl
(t, f ) dt df − 1 = 0(I)∂λkl
この方程式を解き，以下を得る．

尾形 哲也（正会員）(69)1997 年日本学術振興会特別研究員，1999 年早稲田大学大学院博士後期課程単位修得退学，同年早稲田

(I)

Ikl =

CXkl + βI¯I¯k + βI˜I˜klC1479

多重奏音楽音響信号の音源分離



(70)

大学助手．2000 年情緒交流ロボット(平成 19 年 6 月 21 日受付)

年理化学研究所脳科学総合研究センター研究員，2003(平成 19 年 12 月 4 日採録)

年京都大学大学院情報学研究科講師，2005 年同大学

(I)

Xkl dt df + βI¯ + βI˜の開発研究により博士（工学）．2001

助教授を経て，2007 年より同大学准教授．この間，
糸山 克寿（学生会員）

2001〜2003 年早稲田大学ヒューマノイド研究所客員2006 年京都大学工学部情報学科卒業，現在，京都大学大学院情報学

り同研究所准教授．2005 年より理化学研究所脳科学総研究科知能情報学専攻修士課程に在合研究センター客員研究員．研究分野は神経回路モデ

籍中．2008 年より日本学術振興会

ルおよび人間とロボットのコミュニケーション発達を特別研究員（DC1）．音楽情報処理，
音楽鑑賞インタフェース等の研究に従事．

講師，2005〜2007 年同研究所客員助教授，2007 年よ考えるインタラクション創発システム情報学．2000 年
日本機械学会論文賞，2005 年国際会議 IEA-AIE 最優
秀論文賞等受賞．著書は，身体性とコンピュータ（共後藤 真孝（正会員）

立出版），メカノクリーチャ（コロナ社）等．

1998 年早稲田大学大学院理工学研究科博士後期課程修了．博士（工奥乃学）．同年電子技術総合研究所（2001

博（正会員）

1972 年東京大学教養学部基礎科学科卒業．日本電信電話公社，NTT，

年に産業技術総合研究所に改組）に入所し，現在，主任研究員．2000 年

JST，東京理科大学を経て，2001 年から 2003 年まで科学技術振興事業団さきがけ研究 21より京都大学大学院情報学研究科知「情報と知」領域研究員，2005 年から筑波大学大学院

能情報学専攻教授．博士（工学）．こ

准教授（連携大学院）を兼任．音楽情報処理，音声言の間，スタンフォード大学客員研究員，東京大学工学部

語情報処理等に興味を持つ．2000 年 WISS2000 論文

客員助教授．人工知能，音環境理解，ロボット聴覚，音賞・発表賞，2001 年日本音響学会粟屋潔学術奨励賞・

楽情報処理の研究に従事．1990 年度人工知能学会論文

ポスター賞，2003 年インタラクション 2003 ベスト

賞，IEA/AIE-2001，2005 最優秀論文賞，IEEE/RSJ

ペーパー賞，2005 年情報処理学会論文賞，2007 年第IROS-2001，IROS-2005 Best Paper Nomination Fi-

6 回ドコモ・モバイル・サイエンス賞基礎科学部門優秀賞等 21 件受賞．電子情報通信学会，日本音響学会，

nalist，第 2 回船井情報科学振興賞等受賞．JSAI，RSJ，
ACM，IEEE，AAAI 等各会員．本学会英文図書出版

日本音楽知覚認知学会各会員．

委員．

駒谷 和範（正会員）

1998 年京都大学工学部情報工学科卒業．2000 年同大学院情報学研
究科知能情報学専攻修士課程修了．

2002 年同大学院博士後期課程修了．
京都大学博士（情報学）．同年京都大学情報学研究科助手．2007 年より助教．音声対話システムの研究に従事．情報処理学会平成 16 年度山下記念研究賞，FIT2002 ヤングリサーチャー賞等受
賞．電子情報通信学会，言語処理学会，人工知能学会，

ISCA，ACL 各会員．