論 文
音楽音響信号を対象としたメロディーとベースの音高推定
後藤 真孝†

F0 Estimation of Melody and Bass Lines in Musical Audio Signals
Masataka GOTO†

あらまし 本論文では，複数の楽器音が混在したモノラルの音楽音響信号に対して，メロディーとベースの音高（基本周波数）を推定する手法を提案する．従来の音高推定手法や音源分離手法は，たかだか三つの音の混合音
しか扱うことができず，市販の CD によるジャズやポピュラー音楽の音響信号には有効に機能しなかった．本手法は，混合音下で安定に抽出できない基本周波数成分には依存せず，意図的に制限した周波数帯域（メロディー
は中高域，ベースは低域）にある高調波成分が支持する最も優勢な音高を求める．その際，音源数を仮定せずにあらゆる音高の高調波構造が混在しているとみなして混合音をモデル化し，EM（Expectation-Maximization）
アルゴリズムにより各高調波構造が相対的にどれくらい優勢かを推定する．更に，マルチエージェントモデルを導入し，各エージェントが音高の時間的な軌跡を追跡することで，最も優勢で安定な音高の軌跡を得ることができる．本手法に基づくシステムを実装して実験した結果，市販の CD からサンプリングした実世界の音響信号に対し，メロディーとベースの音高をリアルタイムに推定できることを確認した．
キーワード

音高推定，ピッチ抽出，音源分離，EM アルゴリズム，音楽理解

1. ま え が き

性に密接に関連するベースの理解は，音楽的に訓練された人と訓練されていない人のいずれにとっても基本

本研究の最終的な目標は，実世界の複雑な音楽音響的な能力であり，それらの音高推定の実現は重要な研信号を，人間と同程度まで理解できる処理モデルを実究課題である．更に，音高推定の結果は，自動採譜，現することである．その第 1 段階として，これまでは

曲検索のための楽曲情報の自動インデキシング，計算

音楽音響信号を対象としたビートトラッキングの研究機によるライブ演奏の支援，過去の優れた演奏録音を行ってきた [1]〜[5]．そこでは，まず最初に，音楽的に対する演奏分析，CD を利用したカラオケの伴奏トに訓練されていない人でも可能な程度に音楽を理解す

ラックの自動生成等の，様々なアプリケーションにおるモデルを構築し，その後，訓練された音楽家が理解いて有用である．

できる程度まで音楽を理解するモデルへと拡張するア

多数の音源の音が混ざり合ったモノラルの音響信号

プローチの重要性を指摘した [4], [5]．そして，人間は中から，ある特定の音源の音高を推定することは，非必ずしも音響信号から楽譜に相当するシンボル情報を常に困難な課題である．従来，音高推定手法の多くは，正確に得て音楽を理解しているわけではないという見

単一音のみか，非周期的な雑音を伴った単一音を収録

地に立って，音響信号を出発点として音符等のシンボした音響信号を対象としていた [6]〜[10]．音源分離やルを抽出せずに音楽的な処理を実現してきた．

自動採譜の研究では，複数の楽器による混合音に対し

本 研 究 で は そ の 第 2 段 階 と し て ，市 販 の CDて，各音を分離したり各音に対応するシンボルを得る（compact disc）などに 収録され ている，歌声 や複処理が取り組まれてきたが [11]〜 [18]，それらはたか

数種類の楽器音を同時に含むモノラルの音楽音響信号

だか三つの楽器音や歌声が同時に鳴る演奏しか扱うこを対象に，メロディーとベースの音高（本論文では基とができず，市販の CD による複雑な音響信号に対し本周波数の意味で用いる）を推定する処理を実現する．

て音高を推定することはできなかった．CD による音

西洋音楽において楽曲の中核を担うメロディーと，調響信号からボーカル音を分離する研究 [19] も報告されているが，事前に与えたボーカル音の楽譜（パート† 電子技術総合研究所，つくば市
Electrotechnical Laboratory, Tukuba-shi, 305–8568 Japan12

電子情報通信学会論文誌 D–II譜）との DP マッチングが不可欠であり，本研究のよVol. J84–D–II No. 1 pp. 12–22 2001 年 1 月

論文／音楽音響信号を対象としたメロディーとベースの音高推定

うな入力信号の楽譜がない一般的な場合には適用でき

混合音に対して音高推定することが難しい本質的ななかった．このように，複数種類の楽器音や歌声を含理由の一つに，時間周波数領域において，ある音の周む実世界の音楽音響信号に対して，メロディーとベー

波数成分が同時に鳴っている他の音の周波数成分と重スの音高を推定する手法はまだ実現されていなかった．

複することが挙げられる．例えば，歌声，鍵盤楽器（ピ本論文では，そのような音響信号に対してメロディー

アノ等），ギター，ベースギター，ドラムス等で演奏とベースの音高推定を可能にするために，混合音中で最される典型的なポピュラー音楽では，メロディーを担も優勢な音高を推定する手法 PreFEst（Predominant-う歌声の高調波構造の一部（特に基本周波数成分）は，

F0 Estimation Method）を提案する．本手法は，各音鍵盤楽器，ギターの高調波成分やベースギターの高次の高調波構造に対応する確率分布の混合分布（重み付の高調波成分，スネアドラムの音に含まれるノイズ成き和）として混合音をモデル化する．その重みの値を分等と頻繁に重複する．そのため，各周波数成分を局

EM（Expectation-Maximization）アルゴリズム [20]

所的に追跡するような手法は，複雑な混合音に対してを用いて推定することで，基本周波数成分の存在に依は安定して機能しない．基本周波数成分が存在するこ

存せずに，最も優勢な高調波構造を求めることができとを前提に高調波構造を推定する手法もあるが，そのる．メロディーは中高域において最も優勢な高調波構造をもち，ベースは低域において最も優勢な高調波構

ような手法は，ミッシングファンダメンタル（missing
fundamental）現象（注 1）を扱えないという大きな欠点

造をもつことが多いため，これを意図的に制限した周をもつ．更に，同時に鳴っている他の音の周波数成分

波数帯域に対して適用すれば，メロディーとベースのが基本周波数成分と重複すると，有効に機能しない．

音高が推定できる．更に本手法では，マルチエージェ

メロディーとベースの音高を推定する際の主要な課

ントモデルを導入し，音高の時間的な軌跡を追跡しな

題は，以上を考慮して次の三つにまとめられる．
（ 1 ） 多数の音源の中で，どのようにしてメロディー

がら安定した推定を実現する．
提案手法をリアルタイムに実行するシステムを分散とベースに着目するか．

環境で実装し，CD による音楽音響信号を用いて実験（ 2 ） 音源数が不明な混合音に対して，どのようにを行った．その結果，単音のメロディーとベースを含して音高を推定するか．

む，ポピュラー音楽，ジャズ，クラシックの楽曲 10 曲

（ 3 ） 音高の候補が複数あるときに，どのようにしに対して，メロディーとベースの音高を推定できるこて適切な音高を選択するか．

とを確認した．

本研究では，以下の三つを仮定してこれらを解決する．

• メロディーとベースは高調波構造をもつ．ただ2. メロディーとベースの音高推定

し，基本周波数成分の有無は問わない．

本研究では，モノラルの音楽音響信号に対し，その• メロディーは中高域において最も優勢な（パ中のメロディーラインとベースラインを推定する問題

ワーの大きい）高調波構造をもち，ベースは低域におを解く．メロディーは他よりも際立って聞こえる単音

いて最も優勢な高調波構造をもつ．

の系列，ベースはアンサンブル中で最も低い単音の• メロディーとベースの音高は，発音中の時間的系列であり，その時間的な変化の軌跡をそれぞれメロな軌跡が連続する傾向をもつ．

ディーライン Dm (t)，ベースライン Db (t) と呼ぶ．時以上は多くの場合に当てはまる妥当な仮定である．

刻 t における基本周波数（F0）を Fi (t) (i = m, b)，

各課題に対応する本研究の解決法を以下に示す．

振幅を Ai (t) とすると，これらは以下のように表さ（ 1 ） メロディーを求める場合は中高域に，ベースれる．

を求める場合は低域に周波数帯域を意図的に制限し，

Dm (t) = {Fm (t), Am (t)}(1)

Db (t) = {Fb (t), Ab (t)}(2)

その帯域に含まれる周波数成分が，高調波成分として最も支持するような高調波構造の音高を推定する．その際，その帯域に基本周波数成分が含まれているかど

つまり，ここでは音符のような楽譜表現にシンボル化
することはあえて考えず，基本周波数と振幅の連続値の変化としてメロディーラインとベースラインを求める．

（注 1）：基本周波数成分が存在しない，あるいは非常に小さい場合でも，高調波成分によって基本周波数に相当する高さが知覚される現象である．
メロディー（特に歌声で起きやすい）やベースの音でも，基本周波数成分が非常に小さいことがある．

13電子情報通信学会論文誌 2001/1 Vol. J84–D–II No. 1

うかは問わない．
（ 2 ） 音源数を仮定せず，対象とするあらゆる音高

3. 優勢な音高の推定手法 PreFEstの高調波構造に対応する確率分布を考え，その混合分本研究で提案する，最も優勢な音高を推定する手法

布（重み付き和）として観測した周波数成分をモデルの処理の流れを図 1 に示す．まず，入力音響信号に対化する．そして，その重みの値を EM（Expectation-

してマルチレート信号処理を行って瞬時周波数を計算

Maximization）アルゴリズム [20] を用いて推定する．
EM アルゴリズムは，隠れ変数を含む確率モデルに対し，瞬時周波数に関連した尺度に基づいて周波数成分

して最ゆう推定を行うための反復アルゴリズムであディーライン用とベースライン用）を適用し，それぞり，局所最適解を求められる．ここで，最も大きな重れの出力に基づいて，基本周波数（本章では以下，音みの値をもつ確率分布は，その時点で最も優勢な高調

高ではなく，より正確なこの用語を用いる）の確率密波構造であるとみなせるため，あとはその音高を求め度関数を求める．そして，マルチエージェントモデル

ればよい．この手法は基本周波数成分の存在に依存しを導入し，その確率密度関数の中で有望な各ピークのないため，ミッシングファンダメンタル現象も適切に軌跡を異なるエージェントが追跡して，それぞれの信扱える．

頼度を評価する．最後に，最も信頼度の高いエージェ（ 3 ） 複数の優勢な音高があるときに，それぞれのントがもつ優勢な基本周波数の軌跡を出力する．

の候補を抽出する．次に，2 種類の帯域フィルタ（メロ

時間的な軌跡の連続性を考慮し，最も安定してパワー

3. 1 瞬時周波数の算出の大きい軌跡をもつ音高を出力とする．このような軌本手法では，まず，フィルタバンクの各出力信号に跡の追跡処理を実現するためにマルチエージェントモ

対し，位相の時間微分である瞬時周波数 [24], [25] を計

デルを導入し，複数のエージェントがそれぞれ異なる
音高を追跡することで，安定な音高推定結果を得る．
特に，メロディーの音高を推定する際に，基本周波数付近の帯域では，様々な音の周波数成分が頻繁に重なり合うため，その帯域を意図的に避けることが重要となる．このような基本周波数成分を積極的に用いない
手法は，シンギングフォルマント（singing formant）
とも関連があると考えられる．シンギングフォルマン
トとは，男性のオペラ歌唱中の母音が，スペクトル包絡の 2.8 kHz 付近に強いピークをもつ現象である（注 2）．
オーケストラの大きな伴奏音の平均エネルギー分布は

450 Hz 付近に最大値をもち，その帯域では歌声の基本
周波数成分をマスクしてしまう．しかし，シンギング
フォルマントがあることによって，高域に存在する歌
声の高調波成分が十分優勢となるため，聴衆は歌声を聞き取ることができる [21]．
更に，本研究に関連する音響心理学の知見として，
高調波構造をもつ音に関して，文献 [22] では，人間はかなり限定された帯域の情報を主に用いて音の高さの知覚を得ていることが報告され，文献 [23] では，約1.4 kHz 以下の基本周波数をもつ音の高さの知覚が，基本周波数成分でなく第 2 次以上の高調波成分によっ

図 1 優勢な音高の推定手法 PreFEst の処理の流れ
Fig. 1 Overview of our predominant-F0 estimation
method PreFEst.

て決まることが報告されている．ただし，これらは単（注 2）：ただし，本研究の適用範囲はオペラ歌唱に限定してはいない．
ポピュラー音楽等でも，メロディーの歌声が混合音中で十分聞き取りやすいように通常はミックスダウンがなされており，シンギングフォルマ
ントがなくても，中高域に存在するメロディーの高調波成分が，伴奏に対して十分優勢になっていると考えられる．

一音の知覚に関する報告である．

14

論文／音楽音響信号を対象としたメロディーとベースの音高推定

図 2 マルチレートフィルタバンクの構成
Fig. 2 Overview of multirate ﬁlter bank.

算する．ここでは，Flanagan の手法 [24] を用い，短時間フーリエ変換（STFT）の出力をフィルタバンク出力と解釈して，効率良く瞬時周波数を計算する．入力
音響信号 x(t) に対する窓関数 h(t) を用いた STFT が ∞X(ω, t) =x(τ )h(τ − t)e−jωτ dτ

(3)

−∞

= a + jb(4)で定義されるとき，瞬時周波数 λ(ω, t) は次式で求めることができる [24]．

λ(ω, t) = ω +a ∂b− b ∂a∂t∂t
2
a + b2(5)

ここで窓関数 h(t) として，最適な時間周波数の局所化を与えるガウス関数に 2 階のカーディナル B-スプラ
イン関数を畳み込んで作成した時間窓 [10] を用いる．
この瞬時周波数を計算するのに，単一の STFT のみを用いたのでは，ある周波数帯域における時間分解能
や周波数分解能が悪くなってしまう．そこで，マルチ
レートフィルタバンク [26] を構成し，リアルタイムに実行可能という制約のもとで，ある程度妥当な時間周波数分解能を得る．
設計したバイナリツリー状のフィルタバンクの構成を

図 3 周波数 ψ の周波数成分がある場合の，STFT フィル
タの中心周波数 ω からその出力の瞬時周波数 λ(ω, t)への写像の模式図．上段は周波数成分 ψ に対応する不動点 (λ(ψ, t) − ψ = 0) の周辺の写像，下段はSTFT フィルタの周波数応答を表す
Fig. 3 Sketch of the mapping from the center frequency ω of an STFT ﬁlter to the instantaneous frequency λ(ω, t) of its output when
there is a frequency component at frequencyψ.
The above graph shows the mapping
around the ﬁxed point (λ(ψ, t) − ψ = 0) corresponding to the frequency component ψ andthe below graph shows the frequency responseof STFT ﬁlters.

図 2 に示す．ツリーの各分岐後において，アンチエリ
アシングフィルタ（FIR 低域フィルタ）と 1/2 ダウンサ
ンプラーによって構成されるデシメータ（decimator）て 160 点ずつシフトするため，フレームシフト時間（1によって，音響信号をダウンサンプリングする．各デフレームシフト）は 10 ms となる．このフレームシフ

シメータの低域フィルタの遮断周波数は 0.45 fs （fsトを，すべての処理の時間単位とする．

は各分岐における標本化周波数）である．現在の実装

3. 2 周波数成分の候補の抽出

では，音響信号を標本化周波数 16 kHz，量子化ビットフィルタの中心周波数からその瞬時周波数への写像

数 16 bit で A–D 変換し，それが最終的に標本化周波に基づいて，周波数成分の候補を抽出する [8]〜[10]．

数 1 kHz までダウンサンプリングされる．STFT の窓

まず，ある STFT フィルタの中心周波数 ω からその幅は 512 点で，ツリーのそれぞれの葉において時間遅

出力の瞬時周波数 λ(ω, t) への写像を考える．その模延を補償しながら高速フーリエ変換（FFT）によって式図を図 3 に示す．横軸は，STFT の出力をフィルタ計算する．その際，FFT のフレームを 16 kHz におい

バンク出力と解釈した際の各フィルタの中心周波数を15電子情報通信学会論文誌 2001/1 Vol. J84–D–II No. 1

Fig. 4図 4 帯域フィルタ（BPF）の周波数応答
Frequency responses of bandpass ﬁlters (BPFs).

表し，上段の縦軸は，それらのフィルタ出力から求め

現在の実装で用いた BPF の周波数応答を図 4 に示

た瞬時周波数を表す．ここで，図の上段に示したよう

す．本論文では以下，対数スケールの周波数を cent のに，もし周波数 ψ の周波数成分があるときには，ψ が単位（本来は音高差（音程）を表す尺度）で表し，Hz

この写像の不動点に位置し，その周辺の瞬時周波数ので表された周波数 fHz を，次のように cent で表され値はほぼ一定となる [10]．これは，ψ を中心周波数とた周波数 fcent に変換する．

するフィルタの出力の瞬時周波数が ψ となるだけでなく，その周辺（ψ ± ∆ω の範囲）のフィルタも窓関

fcent = 1200 log2

fHz

(8)

3

440 × 2 12 −5数で決まる通過帯域内に同じ周波数成分 ψ を含むた

平均律の半音は 100 cent に，1 オクターブは 1200 cent

め，出力の瞬時周波数が ψ となるからである．つまに相当する．

(t)り，全周波数成分の瞬時周波数 Ψfは，次式によって抽出することができる [27]．
(t)Ψf = { ψ|λ(ψ, t) − ψ = 0,∂(λ(ψ, t) − ψ) < 0}∂ψ

(6)

おける STFT パワースペクトルの値として得られるた(t)め，周波数成分のパワー分布関数 Ψp (ω) を次のように定義できる．

Ψp(t) (ω) =| X(ω, t) |0

(t)
if ω ∈ Ψfotherwise(t)

波数軸が cent で表されていることを除けば Ψp (ω)と同じ関数である．ここで，次の段階の準備として，(t)
これらの周波数成分のパワーは，Ψf の各周波数に

周波数 x cent での BPF の周波数応答を BP Fi (x)(i = m, b) とし，周波数成分の パワー分布関数を
(t)Ψp (x) とする と，BPF を通過し た周波数成 分は
(t)
(t)
BP Fi (x)Ψp (x) と表せる．ただし，Ψp (x) は，周(t)

BPF を通過した周波数成分の確率密度関数 pΨ (x) を
定義する．
(t)

pΨ (x) =(t)BP Fi (x) Ψp (x)P ow(t)(9)

P ow(t) は BPF を通過した周波数成分のパワーの合計(7)

3. 3 周波数帯域の制限を表す．

P ow(t) = ∞BP Fi (x) Ψ(t)p (x) dx(10)−∞

帯域を制限する．ここでは，メロディーラインとベー

3. 4 基本周波数の確率密度関数の推定
それぞれの BPF を通過した周波数成分の候補に対スライン用に，2 種類の帯域フィルタ（BPF）を用意し，各高調波構造が相対的にどれくらい優勢かを表す

する．メロディーライン用の BPF は，典型的なメロ

基本周波数の確率密度関数を求める．そのために本手

ディーラインの主要な高調波成分の多くを通過させる

法では，周波数成分の確率密度関数 pΨ (x) が，高調波ことができ，かつ，基本周波数付近の重複が頻繁に起構造をもつ音をモデル化した確率分布（音モデル）のきる周波数帯域をある程度遮断できるように設計する．

混合分布モデル（重み付き和のモデル）から生成され抽出した周波数成分に重み付けすることで，周波数

一方，ベースライン用の BPF は，典型的なベースラ(t)たと考える．基本周波数が F の音モデルの確率密度関インの主要な高調波成分の多くを通過させることがで数を p(x|F ) とすると，その混合分布モデル p(x; θ(t) )き，かつ，他の演奏パートがベースラインよりも優勢

は次式で定義できる．

になるような周波数帯域をある程度遮断できるように
設計する．
16

p(x; θ(t) ) =

 Fhi
Fli

w(t) (F ) p(x|F ) dF

(11)

論文／音楽音響信号を対象としたメロディーとベースの音高推定

θ(t) = {w(t) (F ) | Fli <=F <= Fhi }

(12)

ここで，Fhi と Fli は，許容される基本周波数の上限と下限であり，w(t) (F ) は，次式を満たすような，音モデル p(x|F ) の重みである．

 Fhi

モデルから生成されたのかを表す隠れ変数（観測できない変数）F を導入して，EM アルゴリズムを以下のように定式化することができる．
（ 1 ） E ステップ
平均対数ゆう度の条件付き期待値 Q(θ (t) |θ(t) ) を計算する．

w(t) (F ) dF = 1

(13)

Fli

CD 等による実世界の音響信号に対して事前に音源数Q θ(t) |θ(t)

 ∞



(t)

=

を仮定することは不可能なため，このように，あらゆ



−∞







pΨ (x) EF log p x, F ; θ(t) |x; θ(t) dx

る基本周波数の可能性を同時に考慮してモデル化することが重要となる．もし，観測した確率密度関数(t)pΨ (x) がモデル p(x; θ(t) ) から生成されたかのように(t)モデルパラメータ θ(t) を推定できれば，pΨ (x) は個々の音モデルへと分解されたとみなすことができ，その(t)

重み w(t) (F ) を，基本周波数の確率密度関数 pF 0 (F )と解釈することができる．
(t)
pF 0 (F ) = w(t) (F ) (Fli <=F <= Fhi )

(14)

(16)
ここで，条件付き期待値 EF [a|b] は，条件 b により決定される確率分布をもつ隠れ変数 F に関する，a の期待値を意味する．
（ 2 ） M ステップ

Q(θ (t) |θ(t) ) を θ(t) の関数として最大化して，更新後の新しい推定値 θ(t) を得る．

θ(t) = argmax Q θ(t) |θ(t)(t)
pF 0 (F ) において，そのモデルの基本周波数 F の確率

E ステップにおいて，式 (16) よりQ θ(t) |θ(t)=−∞そのモデル p(x; θ) のパラメータ θ を推定する問題を解けばよいことがわかる．θ(t) の最ゆう推定量は，次式で定義される平均対数ゆう度を最大化することで
得られる．

 ∞
−∞

(t)



 ∞  Fhiが高くなる．
(t)以上から，確率密度関数 pΨ (x) を観測したときに，
(t)
(t)

Fli

(15)

（Expectation-Maximization）アルゴリズム [20] を用いて θ(t) を推定する．EM アルゴリズムは，E ステップ（expectation step）と M ステップ（maximizationstep）を交互に繰り返し適用することで，不完全な観(t)
測データ（この場合，pΨ (x)）から最ゆう推定を行う

おいて，パラメータ θ(t) に関して，古いパラメータを更新して新しい（よりもっともらしい）





用いる．
周波数 x において観測した各周波数成分が，どの音



(19)

で与えられる．次に，M ステップに関しては，式 (17)が，式 (13) を条件とする条件付き変分問題となっている．この問題は，Lagrange の乗数 λ を導入し，次の Euler-Lagrange の微分方程式を用いて解くことができる．

∂∂w (t)

 ∞
−∞



(t)

pΨ (x) p F |x; θ(t)log w(t) (F ) + log p(x|F ) dx

 (t)

−λ w

パラメータ推定値 θ(t) を求めていく．θ(t) の初期値には，一つ前の時刻 t − 1 における最終的な推定値を(18)が得られる．この式中の完全データの対数ゆう度はための反復アルゴリズムである．ここでは各繰返しに
推定値 θ



log p x, F ; θ(t) = log w(t) (F ) p(x|F )この最大化問題は解析的に解くことが困難なため，EM

(t)



(t)

pΨ (x)p F |x; θ(t)log p x, F ; θ(t) dF dxpΨ (x) log p(x; θ(t) ) dx

(17)

θ (t)

つまり，混合分布中において，ある音モデル p(x|F ) が優勢になればなるほど（w(t) (F ) が大きくなるほど），



これより，

w(t) (F ) =1
λ1(F ) − Fhi −Fl
i

 ∞
−∞

(t)






=0

pΨ (x) p F |x; θ(t)



(20)

dx (21)17電子情報通信学会論文誌 2001/1 Vol. J84–D–II No. 1が得られる．この式において，λ は式 (13) から λ = 1において，同時に鳴っている音の基本周波数に対応すと定まり，p(F |x; θ(t) ) はベイズの定理から，

る複数のピークが拮抗すると，それらのピークが確率

密度関数の最大値として次々に選ばれてしまうことがw(t) (F ) p(x|F )p F |x; θ(t) =

Fhi
Fli

(22)

w(t) (η) p(x|η) dη

したがって，次節で述べるように，基本周波数に対応となる．ここで，w(t) (F ) は古いパラメータ推定値
(t)

(t)

= {w (F )}）．以上から，新しいパラメータ推定値 w(t) (F ) を求める式は次のようになる．

である（θw(t) (F )

 ∞

=
−∞

あるため，このように単純に求めた結果は安定しない．
するピークの時間的な連続性を考慮する必要がある．

3. 5 マルチエージェントモデルによる基本周波数の継時的な追跡
大局的な観点から基本周波数を推定するために，基本周波数の確率密度関数の時間変化において複数のw(t)pΨ (x)

Fhi
Fli

(t)

(F ) p(x|F )w(t) (η) p(x|η) dη

dx
(23)

ピークの軌跡を継時的に追跡し（注 3），その中で最も優勢で安定した基本周波数の軌跡を選択する．その際，動的に生成・消滅するピークの軌跡を，相互の干渉も考慮しながら，並行して追跡することが不可欠となる．

式 (23) を計算するためには，音モデルの確率密度

そこで本研究では，そうした動的な追跡処理を柔軟に関数 p(x|F ) を仮定する必要がある．これは，基本周制御することを可能にする手段として，マルチエー

波数が F のときに，その高調波成分がどの周波数にジェントモデルを導入する．以前提案したマルチエー

どれくらい現れるかをモデル化したものである．本研ジェントモデル [28] では，処理中はエージェントの数

究では，メロディーライン (i = m) とベースライン(i = b) 用に，次のような高調波構造の音モデルを仮が固定されていたが，今回のモデルでは，残差駆動型

定する．

滅を動的に行う．
提案するマルチエージェントモデルは，図 5 に示す

Ni

p(x|F ) = α

アーキテクチャ [16] のようにエージェントの生成・消c(h) G(x; F + 1200 log2 h, Wi )

ように，一つの特徴検出器（salience detector）と複(24)

トは，追跡周波数の他に，追跡中の軌跡の信頼度と，数のエージェント（agent）で構成される．エージェン

h=1

G(x; m, σ) = √(x−m)2
1
−
2σ2
e
2
2πσ

(25)

ここで，α は正規化係数，Ni は考慮する高調波成分

累積ペナルティを保持し，各時刻において，以下の 5ステップ（最初の 3 ステップは図 5 と対応）によってこれらを更新していく．

の数（基本周波数成分も数える），Wi2 はガウス分布

G(x; m, σ) の分散を表す．c(h) は，第 h 次高調波成分の振幅を決める関数で，本研究では c(h) = G(h; 1, Hi )
（Hi は定数）とする．この音モデルは，実世界の音響
信号中の高調波構造と完全には一致しないが，高調波構造が相対的にどれくらい優勢かを評価する目的においては有効に機能する．ただし，音記憶を導入するな
ど，今後更に洗練させる余地は残されている．
時刻 t における出力の基本周波数 Fi (t) を決定するには，最も優勢な基本周波数，すなわち基本周波数の(t)

確率密度関数 pF 0 (F )（式 (23) を反復計算した最終的な推定値として得られる）を最大にする周波数(t)argmax pF 0 (F )

(26)

F

を求めればよい．しかし，基本周波数の確率密度関数
18

図5

マルチエージェントモデルによる基本周波数の継時的な追跡
Fig. 5 Sequential F0 tracking by multiple-agent
model.

（注 3）：本手法では，音源数を限定せずに基本周波数の確率密度関数を求めているため，適切な音源同定手法を導入することで，複数の音源を同時に追跡する問題へと拡張できる．

論文／音楽音響信号を対象としたメロディーとベースの音高推定（ 1 ） 特徴検出器は，基本周波数の確率密度関数（F0’s PDF）の中で目立つピーク（最大ピークに応じて動的に変化するしきい値を超えたピーク）を複数検出し，それらがどれくらい有望か（継時的に続いていくか）を評価する（注 4）．

表 1 パラメータの値
Table 1 Values of parameters.
Fhm = 9600 cent
Flm = 3600 cent
Nm = 16
Wm = 17 cent
Hm = 5.5

Fhb = 4800 cent
Flb = 1000 cent
Nb = 6
Wb = 17 cent
Hb = 2.7（ 2 ） エージェント同士が相互作用し，目立つピー
クをそれに近い軌跡をもつエージェントへと排他的に割り当てる．複数のエージェントが割当て候補に上がる場合には，最も信頼度の高いエージェントへと割り当てる．最も有望で目立つピークが割り当てられなかったときは，そのピークを追跡する新たなエージェ
ントを生成する．
（ 3 ） 目立つピークが割り当てられたエージェントの累積ペナルティは，リセットされる．割り当てられなかった場合には一定のペナルティを受け，基本周波数の確率密度関数の中から自分の追跡する次のピークを直接見つけようとする．それも見つからないときには，更にペナルティを受ける．そして，累積ペナルティ
が一定のしきい値を超えると，そのエージェントは消滅する．
（ 4 ） 各エージェントは，割り当てられたピークがどれくらい有望で目立つかに応じて，信頼度を増減する．
（ 5 ） 出力の基本周波数 Fi (t) は，信頼度が高く，追跡しているピークの軌跡に沿ったパワーの合計が大
きいエージェントに基づいて決定する．振幅 Ai (t) は，(t)

基本周波数 Fi (t) の高調波成分を Ψp (ω) から抽出して決定する．

4. システムの実装
音楽音響信号を入力し，推定したメロディーライン
とベースラインをリアルタイムに出力するシステム
を，提案した手法に基づいて構築した（パラメータの図 6 ウィンドウの画面表示例：ドラムスを伴うポピュラー
音楽を入力したときの周波数成分の候補（上）と対応するメロディーラインとベースラインの出力（下）Fig. 6 Scrolling-window snapshots of candidate frequency components (upper) and the corresponding melody and bass lines detected(lower) for a popular-music excerpt with drumsounds.

値を表 1 に示す）．出力形式として，視覚化のためのコンピュータグラフィックス，聴覚化のための音響信号，アプリケーションで使用するための連続的に変化する数値（タイムスタンプ付き）の 3 種類に対応した．
コンピュータグラフィックスの出力では，時間周波数
平面上をスクロールする音高の軌跡を表示するウィン
ドウと，それと同期してスクロールする周波数成分の候補を表示するウィンドウが提示される（図 6）．音響
信号の出力では，検出した Di (t)（式 (1)，式 (2)）に沿って追跡した高調波成分のパワーに基づいて，正弦波重畳モデルを用いて合成する．

本システムを分散環境で実装し，音響信号の入出力，

3. で提案した手法の計算，中間結果や出力の視覚化といったシステムを構成する各機能を，LAN（Ethernet）
上に分散した異なるプロセスとして実行できるようにした．その際，システムの拡張やアプリケーションの開発を容易にするために，RACP（Remote Audio Control Protocol）を設計し，それに基づいて実（注 4）：現在時刻を数フレーム先の時刻とみなし，ピークの軌跡をその時刻まで先読みして追跡することで実現する．

19電子情報通信学会論文誌 2001/1 Vol. J84–D–II No. 1

装した．RACP は，RMCP（Remote Music Control
Protocol）[29] を音響信号の伝送用に拡張したネットによるメロディーラインと，ベースギターやコントラワークプロトコルである．提案手法の計算はパーソ

ディーの歌声やソロ楽器が鳴っていない部分では，シナルコンピュータ（Pentium II 450 MHz CPU × 2，

ステムは伴奏音の中に含まれる優勢な音高の軌跡をLinux 2.2）上で実行され，音響信号の入出力や視覚化の処理はワークステーション（SGI Octane R10000
250 MHz CPU，Irix 6.4）上で実行される．

検出した．これは，提案手法は単に最も優勢な音高をバスによるベースラインが正しく検出された．メロ

推定するだけで，音源同定までは行っていないためである．
誤検出した箇所では，それまで追跡していたメロ

5. 実 験 結 果

ディーやベースが鳴り続けているにもかかわらず，一

表 2 に示すポピュラー音楽，ジャズ，クラシックの

時的にオブリガート等の伴奏パートの方を追跡してし楽曲 10 曲からの抜粋を用いて，システムの動作を確まうことがあった．更に，メロディーの発音直後が十認する実験を行った．入力は市販の CD からサンプリ

分優勢でないときに，他の伴奏パートの追跡からメロングしたモノラルの音響信号で，それぞれが単音のメ

ディーの追跡に戻るのが遅れてしまい，その発音直後

ロディーと複数種類の楽器音を含んでいる．

の軌跡が欠けることがあった．これらの誤検出の本質

システムの出力結果の正誤を判定するために，基準的な原因は，複数のエージェントが追跡する軌跡の中となる正解のメロディーとベースの音高を，人間が手から適切な軌跡を選ぶ際に，判断の手がかりが不足し作業で 1 フレーム（10 ms）ごとに指定するための音ていることにある．これは，優勢かどうかだけを手が高情報エディタを開発した．このエディタでは，指定かりとして判断することの限界を示唆しており，今後した音高の高調波構造に基づいて正弦波重畳モデルでの研究では，音源同定手法を導入して音源の種類も手合成した音や，それを取り除いて残った成分による背がかりに加えることで，対処していく予定である．他

景音を聞いたり，それらの周波数成分の推移を時間周の典型的な誤検出は，本来の基本周波数の半分や倍の波数平面上で見たりしながら作業できる．

値を推定してしまう誤りであった．

5. 2 マルチエージェントモデルの寄与分の評価実験

こうして作成した正解に基づき，フレームごとに，システムの出力周波数が正解と一致するかどうかを判

表 2 の性能に対し，マルチエージェントモデルが定して，システムの検出率を求めた．一致して正しい

どれくらい寄与しているかを評価するために，マルチと判定する周波数差の基準は，半音（100 cent）ずれ

エージェントモデルを無効にしたシステム（基本周波た場合には明らかな誤りであると考え，半音の半分で数の確率密度関数を最大にする周波数（式 (26)）をそある 50 cent 以下と定めた．ただし，メロディーやベーのまま出力するシステム）の検出率を評価した．そのスが鳴っていない区間は評価対象外とした．

結果を 5. 1 の結果と比較して表 3 に示す．

5. 1 システム全体の検出率の評価実験

表 3 からは，マルチエージェントモデルの導入の効システムの検出率を評価した結果を表 2 に示す．各

果は小さく，楽曲によっては性能が悪化するような副抜粋の多くの部分において，歌声や中域の単音楽器作用もあるように見える．これは，時間的な連続性をTable 220

表 2 メロディーとベースの検出率
Detection rates of the melody and bass lines.

タイトル

ジャンル

Always (Bon Jovi)
Time Goes By (Every Little Thing)
星の降る丘 (Misia)
My Heart Will Go On (Celine Dion)
Spirit of Love (Sing Like Talking)Vision of Love (Mariah Carey)
Scarborough Fair (Herbie Hancock)
On Green Dolphin Street (Miles Davis)
Autumn Leaves (Julian “Cannonball” Adderley)
Violin Concerto in D, Op. 35 (Tchaikovsky)

ポピュラー
ポピュラー
ポピュラー
ポピュラー
ポピュラー
ポピュラー
ジャズ
ジャズ
ジャズ
クラシック

検出率 [％]
メロディー
ベース
92.4
84.5
89.9
64.7
89.1
76.6
88.7
92.2
85.9
80.0
74.5
83.8
93.6
53.4
90.8
54.3
81.2
86.2
78.6
77.6

論文／音楽音響信号を対象としたメロディーとベースの音高推定

Table 3表 3 マルチエージェントモデルの有無による検出率の比較
Detection rate comparison: with or without multiple-agent model.

タイトル

AlwaysTime Goes By
星の降る丘
My Heart Will Go On
Spirit of Love
Vision of Love
Scarborough Fair
On Green Dolphin Street
Autumn Leaves
Violin Concerto in D, Op. 35

マルチエージェントモデルを無効にした場合の検出率 [％]
メロディー
ベース
87.1
79.7
82.6
55.3
86.2
71.3
88.5
89.9
81.9
64.1
76.1
80.6
92.8
52.1
88.3
54.1
87.8
82.5
78.9
71.6

マルチエージェントモデルを用いた場合の検出率 [％]
メロディー
ベース
92.4
84.5
89.9
64.7
89.1
76.6
88.7
92.2
85.9
80.0
74.5
83.8
93.6
53.4
90.8
54.3
81.2
86.2
78.6
77.6

特にベースの音高推定に効果的であることがわかる．
また，3. 5 のマルチエージェントモデルは 3. 4 までの後処理として機能しているため，今後の性能向上のためには 3. 5 の処理の改良だけでは不十分であり，破線の性能向上（3. 4 までの処理の改良）と破線から実線への改善分の増大（3. 5 の処理の改良）の両者に取り組む必要があるといえる．
図 7 連続性を考慮して評価した検出率（10 曲の平均値）
Fig. 7 Detection rates evaluated while considering
the temporal continuity (averaged rates of 10
songs).

6. む すび

本論文では，歌声や複数種類の楽器音を同時に含む
モノラルの音響信号に対して，メロディーとベースの音高（基本周波数）を推定する手法 PreFEst について述べた．本手法は，基本周波数成分の有無を問わず，考慮するためにマルチエージェントモデルを導入した

意図的に制限した周波数帯域から得られる部分情報だにもかかわらず，前述の評価基準は連続性を無視してけを利用して，最も優勢な音高の軌跡を推定できる特おり，その効果を定量的に評価できていないためであ長をもつ．音源数を仮定せずに混合音をモデル化し，る．実際にシステムの出力を観察すると，式 (26) の出

EM アルゴリズムを適用することで，各高調波構造が力では音高を瞬間的に（1〜2 フレーム）誤ることが頻

相対的にどれくらい優勢かを表す基本周波数の確率繁にあるのに対し，マルチエージェントモデルを用い密度関数を推定することができた．更に，マルチエーたシステムの出力では，そうした誤りの少ない安定しジェントモデルを導入することで，基本周波数の時間た音高が得られている．

的な連続性を考慮しながら，最も優勢で安定な音高のそこで，より的確に比較するために，一定フレーム

軌跡を得ることができた．本手法を実装したシステム

数の区間連続して正解と一致しなければ正しいと判を用いて実験した結果，CD による実世界の音響信号

定しないように，基準を変更して評価した．その比較中のメロディーとベースの音高を，リアルタイムに推評価結果を図 7 に示す．横軸が表すフレーム数の区定できることが確認された．

間，常に正解と一致し続けることを条件に検出率を求提案手法により推定した基本周波数の確率密度関数

め，その 10 曲分の平均値を，メロディー（細線）とは，混合音中の各高調波構造の情報を潜在的に含んでベース（太線）それぞれについて示した．破線はマルいる．そこで今後は，音源同定手法を導入して，複数

チエージェントモデルを無効にした場合（no agents），の音源の音高を同時に追跡する処理も実現していく予

実線はマルチエージェントモデルを用いた場合（with

定である．

agents）の結果である．この図から，マルチエージェ

謝辞

ントモデルの導入によって性能が確かに向上しており，本研究に対し有益な議論をして頂いた，赤穂昭太郎氏，速水悟氏に感謝する．
21電子情報通信学会論文誌 2001/1 Vol. J84–D–II No. 1

文
[1]

[2]

献

1998.
[18]

列計算機への実装 — AP1000 によるリアルタイム音楽情報処理，” 情処学論，vol.37, no.7, pp.1460–1468, 1996.

白土 保，“二重奏音からの基本周波数分離抽出，” 音響誌，
vol.54, no.10, pp.715–719, 1998.

[19]

柏野邦夫，村瀬 洋，“パート譜を用いたボーカル音分離

後藤真孝，村岡洋一，“音響信号を対象としたリアルタ
イムビートトラッキングシステム — コード変化検出に[20]

A.P. Dempster, N.M. Laird, and D.B. Rubin, “Max-後藤真孝，村岡洋一，“ビートトラッキングシステムの並” 音講論集，春季 2-9-1, March 1998.
システム，
imum likelihood from incomplete data via the EM

よる打楽器音を含まない音楽への対応，” 信学論（D-II），algorithm,” J. Roy. Stat. Soc. B, vol.39, no.1, pp.1–

vol.J81-D-II, no.2, pp.227–237, Feb. 1998.
[3]

M. Goto and Y. Muraoka, “Music understanding at
the beat level — Real-time beat tracking for audio
signals,” in Computational Auditory Scene Analysis,
pp.157–176, Lawrence Erlbaum Associates, 1998.

[4]

tion for musical decisions,” Speech Communication,
vol.27, no.3–4, pp.311–335, 1999.

後藤真孝，音楽音響信号を対象としたリアルタイムビート
トラッキングに関する研究，博士論文，早稲田大学理工学
部，1998.

[6]

W. Richards, ed., Natural Computation, The MIT[22]

R.J. Ritsma, “Frequencies dominant in the percep-

Press, 1988.
tion of the pitch of complex sounds,” J. Acoust. Soc.

M. Goto and Y. Muraoka, “Real-time beat tracking for drumless audio signals: Chord change detec-[5]38, 1977.
[21]

L.R. Rabiner, M.J. Cheng, A.E. Rosenberg, andAm., vol.42, no.1, pp.191–198, 1967.
[23]

R. Plomp, “Pitch of complex tones,” J. Acoust. Soc.

[24]

J.L. Flanagan and R.M. Golden, “Phase vocoder,”Am., vol.41, no.6, pp.1526–1533, 1967.
The Bell System Technical J., vol.45, pp.1493–1509,
1966.
[25]

stantaneous frequency of a signal,” Proc. IEEE,

C.A. McGonegal, “A comparative performance studyof several pitch detection algorithms,” IEEE Trans.
Acoust., Speech & Signal Process., vol.ASSP-24,

vol.80, no.4, pp.520–568, 1992.
[26]

A. Nehorai and B. Porat, “Adaptive comb ﬁltering for harmonic signal enhancement,” IEEE Trans.

vol.ASSP-35, no.3, pp.356–372, 1987.
[27]

[8]

F.J. Charpentier, “Pitch detection using the short-’97, pp.423–430, 1997.
[28]

tracking system for audio signals,” Proc. Second Intl.

116, 1986.

[10]

阿部敏彦，小林隆夫，今井 聖，“瞬時周波数に基づく雑音環境下でのピッチ推定，” 信学論（D-II），vol.J79-D-II,
no.11, pp.1771–1781, Nov. 1996.
河原英紀，片寄晴弘，R.D. Patterson，A. de Cheveigné，“瞬時周波数を用いた基本周波数の高精度の抽出について，”

M. Goto and Y. Muraoka, “Beat tracking basedon multiple-agent architecture — A real-time beatterm phase spectrum,” Proc. ICASSP ’86, pp.113–[9]

T. Abe, T. Kobayashi, and S. Imai, “The IF spectrogram: A new spectral representation,” Proc. ASVA

Acoust., Speech & Signal Process., vol.ASSP-34,
no.5, pp.1124–1138, 1986.

M. Vetterli, “A theory of multirate ﬁlter banks,”
IEEE Trans. Acoust., Speech & Signal Process.,

no.5, pp.399–418, 1976.
[7]

B. Boashash, “Estimating and interpreting the in-Conf. on Multiagent Systems, pp.103–110, 1996.
[29]

後藤真孝，根山 亮，村岡洋一，“RMCP：遠隔音楽制御用
プロトコルを中心とした音楽情報処理，” 情処学論，vol.40,
no.3, pp.1335–1345, 1999.

（平成 12 年 1 月 12 日受付，6 月 2 日再受付）

音響学音楽音響研資，H-98-116, pp.31–38, 1998.
[11]

C. Chafe and D. Jaﬀe, “Source separation and note
identiﬁcation in polyphonic music,” Proc. ICASSP’86, pp.1289–1292, 1986.

[12]

片寄晴弘，音楽感性情報処理に関する研究，博士論文，大阪大学基礎工学部，1991.

[13]

G.J. Brown and M. Cooke, “Perceptual grouping of

真孝

（正員）

musical sounds: A computational model,” J. New

1993 早大・理工・電子通信卒．1998 同大
大学院博士後期課程了．同年，電子技術総Music Research, vol.23, pp.107–132, 1994.

合研究所に入所し，現在に至る．博士（工[14]柏野邦夫，音楽音響信号を対象とする聴覚的情景分析に関する研究，博士論文，東京大学工学部，1994.

[15]

植田 護，橋本周司，“音源分離のためのブラインドデ
コンポジションアルゴリズム，” 情処学論，vol.38, no.1,[16]

中谷智広，後藤真孝，川端 豪，奥乃 博，“残差駆動型
アーキテクチャの提案と音響ストリーム分離への応用，”人

pp.146–157, 1997.

工知能誌，vol.12, no.1, pp.111–120, 1997.
[17] 柏野邦夫，村瀬 洋，“アンサンブル実演奏の自動アンミキ” 情処学音楽情報科学研報，98-MUS-24-5, pp.33–40,
サ，

22

後藤

学）．音楽情報処理，音声言語情報処理，マルチモーダルインタラクションなどに興味をもつ．1992 jus 設立 10 周年記念 UNIX
国際シンポジウム論文賞，1993 NICOGRAPH’93 CG 教育
シンポジウム最優秀賞，1997 情報処理学会山下記念研究賞，1999 平成 10 年電気関係学会関西支部連合大会奨励賞各受賞．
情報処理学会，日本音響学会，日本音楽知覚認知学会，ICMA，
ISCA 各会員．