論 文
周波数成分の重なり適応処理を用いた複数楽器の音源同定処理
木下 智義y

坂井

修一y

田中

英彦y

Musical Source Identi cation Based on Frequency Component FeaturesyyyTomoyoshi KINOSHITA , Shuichi SAKAI , and Hidehiko TANAKA

あらまし 音響信号により外界の事象を理解する聴覚的情景分析に関して，従来多くの研究がなされてきた．
特に対象を音楽に絞った場合，自動採譜等の実現を目指し，いくつかの研究例がある．その 1 つとして，筆者らはこれまでに音楽音響信号を対象とした聴覚的情景分析の処理モデル OPTIMA を提案し，その実験システムを構築した．しかしながら，その認識精度は実用上十分とは言えず，その改善が課題となっている．本論文では，従来の処理の問題点である周波数成分の重なりに対する脆弱性を改善するための新たな処理を提案する．本手法では，周波数成分が重なった時の特徴に合わせて特徴量を分類し，それに応じて重なりのある周波数成分の特徴量を適応的に変化させ，音源同定処理を行う．また，各特徴量の音源同定の際の手掛かりとしての重要度を計算し，同定処理に導入した．評価実験の結果，処理精度の向上が確認され，提案する処理の有効性が明らかになった．
キーワード

1.

聴覚的情景分析，音源同定，音源分離，自動採譜

楽器ごとの音符列と和音名を出力する．しかしながら，はじめにその処理精度は実用上十分であるとは言えず，改善が聴覚を通じて外界を理解する機能は聴覚情景分析と呼ばれる[1]．自律ロボットなどのように，人間と同等の機能を自動化する際には，聴覚情景分析の計算機上課題となっていた．

OPTIMA における音源同定処理では，各周波数成分の物理的な特徴量を抽出した上で，主成分分析，判での実現が必要となる．そのため，近年その実現を目

別分析といった統計的な処理が用いられている．ここ指して研究が進められているでは複数の単音に由来する周波数成分が重なった場合[2], [3],[5]．

聴覚情景分析のうち，処理対象を音楽に特化した場においても同様の処理を行っている．ところが，周波合を音楽情景分析と呼ぶ．音楽情景分析の機能として，数成分の重なりが起った場合，それぞれの成分が干渉

演奏の音響信号からの楽器ごとの音符列，リズム・拍

しあい，そこから得られる特徴量は大きく変動する．

の情報，あるいはより高度な機能として演奏者の意図

この変動により，音源同定に失敗する事例が多くなっ

3 種類に分類しなどの抽出が挙げられるが，この際，音響信号を楽器ている．そこで本論文では，特徴量をごとに分離する処理（音源分離）と，分離された信号

た後，周波数成分の重なりが存在した場合に，この分の音源名を同定する処理（ 音源同定）が必須である．

類に従って特徴量の再計算を行い，音源同定における

しかしながら，特に複数音を対象とした音源同定の場

誤りを軽減する新たな処理機構を提案する．

合，それぞれの音が互いに重なりあって干渉すること

音源同定を扱った他の研究では，最近のものとして，により，複雑な波形や周波数スペクトルをもつため，

柏野らによる波形レベルでのテンプレートマッチング

高精度の処理は困難であった．

を用いた手法がある[8]．この手法では，楽器の個体差

音源同定を試みた例として，筆者らは既に音楽情景を吸収するためにテンプレートのフィルタリングや位

験システムを構築した．このシステムでは，複数の異の差を吸収しているが，その精度はベンチマークデー

種楽器による演奏のモノラル音響信号を入力として，

タに対して 約分析の処理モデル OPTIMA を提案し[6], [7]，その実相トラッキングの処理を行う．これにより楽器個体間70% となっており，十分な精度とは言えない．

y 東京大学大学院工学系研究科 東京都,

Graduate School of Engineering, The University of Tokyo,

また，三輪らによる，パワーの時間変化のみから音

7-3-1 Hongo, Bunkyo-ku, Tokyo, Japan, 113-8656

電子情報通信学会論文誌

D{IIVol. J82{D{II

No. X

pp. 1{91999 年 X 月

1電子情報通信学会論文誌 '99/X Vol. J82{D{II No. X

源の推定を試みた例もある[4]．この手法では，そのA: ピアノの周波数成分

評価実験において，同定の対象となる楽器音と比較対象として用いられる基準波形は同一のものを用いてい

B: クラリネットの周波数成分

る．また，周波数成分の重なりが起りにくい音高の組合せとなっている．そのため，実際の楽器音において想定されるような，個体間の音色の差や，周波数成分

C: ピアノとクラリネットが重なった場合の周波数成分の重なりによる各成分の変形に対する頑健性には疑問が残る．
本論文では，2.で複数音を対象とした音源同定における問題点を明らかにしたのち，3.で新たな手法を提各音の基音に相当する周波数成分のパワー包絡線形状．横軸が時間を，縦軸がパワーを表す．

案する．評価実験については 4.で述べる．5.で考察をA加えた後，6.にて結論を述べる．
2.

B

複数音の演奏に対する音源同定

一般に，ピアノやクラリネットなどの弦楽器，管楽
器による楽器音は，楽器の構造から周波数成分が調波構造をもつ傾向にある．また，複数の音によって協和的なハーモニーを奏でる場合には，それぞれの音の周
波数は整数倍の関係になっている．以上の2 点により，調和的な楽器による協和的な演奏では，複数の単C

ピアノの周波数成分のパワーは，急峻な立上りの後，緩やかに減衰する．
クラリネットの場合，立上りの後は一定のパワー値を保ち，台形状の包絡線形状となる．
2 つの周波数成分が重なると，立上り部ではピアノの急峻な立上りが目立ち，定常部ではクラリネットの平坦な特徴が目立つようになる．また，立上りから定常部への過渡部
では，干渉により複雑な包絡線形状となっている．
図 1 周波数成分の重なりの影響．
Fig. 1 In uence of overlapped frequency components.

音に由来する周波数成分が同時に同周波数に存在する

Input Acoustic Signal

ことが多くなる．
周波数成分が重なりあうと，パワーの小さい成分がPreproccesses

パワーの大きい成分に埋もれる形になったり，また干Frequency Components

渉によってパワーの時間的変化等の特徴量が変動する．

1

Sound Formation

図 はピアノとクラリネットの周波数成分が重なった

Component Clusters

場合の干渉の様子を示している．

Feature Extraction

従来の処理では，このような周波数成分の変形を考Features慮した処理が行われておらず，音源同定の失敗の原因

Feature Adaptationとなっていた．そこで，本論文ではこの問題を解決す

Adapted Features

るために，周波数成分が重なった時の挙動により特徴
量を3 種類に分類し，重なりに応じて入力の特徴量をMatching
Piano
Similarities

再計算することにより上述の問題を回避する．この処
理の詳細は
3.

3. 3節にて述べる．

Hypotheses Creation
Source Nameof one Cluster

処理の構成

Violin2

7

1 つの知識ベースからなる．本論文

ではこの知識ベースを特徴量テンプレートと呼ぶ．
入力音響信号は最初に前処理（

Preprocess ）部において時間周波数解析され，次いでその結果から周波数成分が形成される．単音形成（

Clarinet

Total Result

Postprocesses

本論文で提案する処理は，図 に示すように， つの処理ブロックとOverlap Patterns...
Notes, Score or MIDI data

Feature Template
Knowledgebase

図 2 処理の構成図．
Fig. 2 Block diagram of proposed process.

Sound Formation ）部

では，前処理部において得られた周波数成分に対してに相当する．また，単音形成と同時に周波数成分の重クラスタリングを行う．ここでは，各クラスタが単音なりパターンが抽出される．続く特徴抽出（

2

Feature論文／周波数成分の重なり適応処理を用いた複数楽器の音源同定処理
表 1 特徴量テンプレートの例．
Table 1 Example of feature template database.
音源名
ピアノ
ピアノ

..
.

クラリネット

..
.

立上り
の強さ

0.317
0.539
..
.
0.258
..
.

第 1 成分
パワー値

0.487
0.555
..
.
0.634
..
.

中心
周波数

2.571
2.242
..
.
2.879
..
.

Frequency Components
Frequency

111
111
Time

111
111
111

..

Frequency

Frequency

Time

Extraction ）部では，それぞれの周波数成分から特徴

Cluster 1

重なりパターンに従い，特徴量適応（ Feature Adaptation ）部で変形される．マッチング（ Matching ）部
では，変形された特徴量と特徴量テンプレートに格納部へと送られ，単音仮説が形成される．全てのクラス

る．最後に後処理（

Postprocesses ）部にて単音データ

や楽譜が作成される．各処理部の動作に関する詳細は後述する．
特徴量テンプレートは，それぞれが1 つの単音に相当するレコード からなる．各レコード には音源名と，

表 2 周波数成分の特徴量．
Table 2 Feature of frequency components.









1

特徴量の値のリストが含まれる．表 にその例を示す．
3. 1

前処理および単音形成

前処理部においては，最初に入力信号に対して時間周波数解析を行い，続いてここから周波数成分を抽出

IIR フィルタバンク

する．これらの処理においては，と挟平面回帰法を用いた[6]．また，特徴量テンプレー

Overlap PatternFig. 3 Sound formation and extraction of overlap
patterns.

タについての音源同定が完了するまで特徴量適応部から仮説生成部の間の処理は繰り返し行われることにな

Time

Shared by Cluster 1, 2

図 3 単音形成クラスタリングと重なりパターンの抽出．

されている特徴量の間の比較を行い，類似度が計算さ

Hypotheses Creation ）Time

Cluster 2

Clusters量が得られる．この特徴量は，単音形成部で得られた

れる．この類似度は仮説生成（

Frequency.



各周波数成分のパワー値（ 各パワー値の，全成分のパワー値の総和に対する比）
各周波数成分の立上りの強さ（ 隣接するサンプル点のパワー値の差の最大値を，成分の最大パワー値で割ることで正規化したもの ）奇数次倍音と偶数次倍音のパワー総計の比
中心周波数（ 各成分の周波数値のパワーを重みとした加重平均
を，基音の周波数で割ることで正規化したもの ）パワー値の時間方向対称性（ 各周波数成分のパワー包絡線について離散正弦変換を施した場合の，偶数次と奇数次の係数の総和の比）
パワー値の時間方向振動性（ 各周波数成分のパワー包絡線について離散正弦変換を施した場合の，低次（ 6 次まで ）と高次（ 7 次以上）の係数の総和の比）
各周波数成分のパワー包絡線をパワー値の分布とみた時の，歪度と尖度トを作成する際にも，モデルとなる単音データに対して同様の処理を施す．

3. 2

特徴量抽出

続いて，単音形成クラスタリングを行う．この処理

次に，前段階で得られた周波数成分から特徴量を抽において，周波数成分は単音ごとにクラスタリングさ出する．本論文では特徴量はパワー包絡線の形状や，れる．ここでは柏野の手法

立上りの強さ，あるいは各周波数成分のパワーの比[6] を用いた．この手法で2は，調和性や複数の周波数成分の間の立上り時刻のずといった物理的な量を用いている．表 にその一覧をれを抽出し，この結果に応じて同一の単音によると考示す．

えられる周波数成分ど うしを集めてクラスタリングを

一部の高調波について，そのパワー値が小さい場合には，この周波数成分から得られた特徴量には意味が行う．
本論文ではこれに加えて周波数成分の重なりパターンを抽出した．ここで，重なりパターンとは，複数のないものとして無効化し，後述するマッチング部において類似度計算の対象から外すものとする．
特徴量の適応処理

クラスタに属する周波数成分と，この成分が属するク

3. 3

ラスタの組の集合として定義される（図 ）．

実音楽の場合，通常は同時に複数の単音が存在し ，

3

3

電子情報通信学会論文誌 '99/X Vol. J82{D{II No. X

適応処理

3. 3. 2周波数成分がただ

1 つのクラスタに属する時には前段で計算された特徴量がそのまま用いられる．一方，Categorize into feature groups
Additive feature

Preferential feature

複数の周波数成分が重なった場合には，前項による分

Fragile feature類に従って，特徴量の再計算を行う．再計算は以下のように行われる．
（

Perform
adaptation

Overlap pattern

Overlap pattern

Overlap pattern1 ） 加算特徴量

適応処理は以下のアルゴ リズムに従って行われる．
周波数成分が属するクラスタのうちIf

1 つについて，既に音源名が決定されている．
Invalid

InvalidThen

既に決定されている音源の特徴量テンプレートかCollect adapted features

ら特徴量を得，入力信号から計算された特徴量から引く．
Invalid

Else

Invalid

特徴量の再計算は行われない．

To Matching stage（
図42 ） 優先特徴量

以下に述べるようなアルゴ リズムに従って適応処理

周波数成分特徴量の適応機構．

Fig. 4 Adaptation mechanism of features.

をする．
周波数成分が属するクラスタのうちIf

1 つについて，既に音源名が決定されている
また，周波数成分のうちのいくつかは重なりあうこと

Thenが多い．これにより，それぞれの周波数成分は変形さ既に決定されている音源の特徴量テンプレートかれ，特徴量は変化してしまう．そのため，重なりのあら特徴量を得る．さらに，その値に応じて，以下る周波数成分については，その特徴量をそのまま用いのように処理を進める．
Ifて音源同定すると誤認識の原因となる．
そこで本論文では，周波数成分の重なりパターンと，なっている．

各周波数成分の性質により特徴量の変形を行うものと

4

Then

する．ここでは図 に沿ってこの流れを検討する．
特徴量の分類

3. 3. 1

まず，事前に特徴量をその特質によって入力からの特徴量は ，既に決定し ている音

3 種類に分

源によるものと判断し，特徴量を無効にしてマッチング部での類似度計算の対象から外す．

類した．以下にその分類を示す．
（

1 ） 加算特徴量（

Else

Additive feature ）特徴量の再計算は行われない．

周波数成分が重なった時に，その周波数成分から計算される特徴量も概ねそれぞれ単独の場合の和になる

:

Else

もの．
（ 例 周波数成分のパワー値）（

2 ） 優先特徴量（

入力信号から計算された特徴量と，テンプ
レ ートから得られた特徴量が 十分近い値と特徴量の再計算は行われない．

Preferential feature ）（3 ） 崩壊特徴量重なった周波数成分の特徴量のうち，最大もしくは既に特徴量が意味をなさないものとなっていると判

最小の値が全体の特徴量として得られるもの．
（例 立

断されるため，特徴量を無効にし，マッチング部での上りの強さ）

類似度計算の対象から外す．

:（

3 ） 崩壊特徴量（

Fragile feature ）周波数成分が重なった場合，得られた特徴量が意味:をなさなくなるもの．
（ 例 パワー包絡線形状の対称性）
4

3. 4

マッチング

音源同定は，適応処理を施した特徴量とテンプレー
ト中の特徴量との類似度を計算することで行う．

論文／周波数成分の重なり適応処理を用いた複数楽器の音源同定処理

Case 1: Large weight

重み値の計算3. 4. 1周波数成分の特徴量が，音源同定の手掛かりとなる
ことは示されている[6] ものの，全ての特徴量に，手掛かりとして同程度の意味があるとは限らない．実際，
クラリネットは，偶数次高調波のパワーが非常に小さ

Feature value

いという特徴があり，この点はクラリネットの同定にDistriburion of source A

Distriburion of source B

おいて他の特徴量と較べて大きな手掛かりとなる．そこで，本論文では事前に各音源ごとに，特徴量の重要

Case 2: Small weight

度を計算した．
まず，事前に特徴量テンプレートに格納されている各特徴量について，音源ごとに平均と標準偏差を計算する．続いて，以下の式に従って各特徴量の重み値をFeature value

計算する．本論文では，上付文字で特徴量の種類を，

Case1: 2 つの特徴量の分布が十分に離れている場合，この下付文字で音源の種類を表すものとする．
i
ws;t
=P

W =

s

i
s



j 0  j
jX j <
= 
i
t

i
s



(1)

i
s

1

X

(2)

jS j 0 1 2 j w
t

i 2
s;t

S;t=s

ここで，Sは音源名の集合を表す （=fPiano, Clar-, 1 1 1g ）．また，s は個々の音源を表すものとする
2 S ）．，はそれぞれ特徴量の平均値と標準偏差

inet

（s

で，P は，次式のような，標準正規分布における確率
値を表す．

P (jX j <= z) =Z z0z

Case2:

特徴は音源同定の手掛かりとして重要であると判断
し ，大きな重み値を与える．
分布が近い場合には，音源同定の手掛かりにはならないと判断する．

図 5 特徴量の分布に応じた重み値の計算．
Fig. 5 Weighting based on the distribution of feature
values.

f i 0 isd = P jX j >
= si

2

(3)

今，Dsi を音源 s の i 番目の特徴量の分布とする．上記の式により，Wsiは Dsi が他の音源の分布と離れている場合に大きな値となり，逆に近い時に小さな値とな

ここで，dis ，f iはそれぞれ i 番目の特徴量に関するた i 番目の特徴量の値を意味する．P は，前項と同様，
標準正規確率分布における確率値である．
最後に，類似度を以下の式に従って計算する．

Rs = exp

X

W log disる．例えば，D が他の音源の D と十分離れていればWsiは 1 となり，全ての音源について Dsi が 同じ 位置に分布する時には Wsiは 0 となる．こうして，大きなWsiを持つ特徴量 i は音源同定の手掛かりとして重視される（図 5 ）．こうして得られた Wsiは次段の類似度ある．

計算にて用いられる．

されている場合には，

3. 4. 2(4)

入力とテンプレートの間の距離，入力信号から得られ

p(1= 2)exp(0x =2)dx

i
s

!

i
s

i
s

類似度計算

次いで，入力信号から得られた特徴量とテンプレー

i

i
s

,
X

!

W

i
s

(5)

i

ここで，Wsiと disはこれまでの処理で得られた値でこの式において，i は各特徴量を表すが，特徴量抽出や適応処理の段階でこの特徴量が無効であると判断P

3. 5の計算から除外される．

仮説生成

マッチング処理の後，最も低い基本周波数をもつク

トから得られる特徴量の間の類似度を計算する．このラスタについて，その音源名を確定させる．この一部

類似度が音源同定の根拠として用いられる．

の音源名が確定し たデ ータは適応処理部へフィード

まず，類似度そのものの計算に先だち，各特徴量ごバックされる．フィード バック後の適応処理部では，とに入力信号の特徴量とテンプレートの特徴量の間の確定した音源の情報を用いて再度適応処理を行うこと

距離を計算する．距離は以下のように計算される．

となる．実際には音源名を一意には確定させず，複数
5電子情報通信学会論文誌 '99/X Vol. J82{D{II No. X
1st Loop

2nd Loop

Piano
?
?

Clarinet
?
?

?
?
?

Violin?
?

3rd Loop

Output

Piano
Piano
?

Piano
Clarinet
Piano

Piano
Clarinet?

Piano
Clarinet
Clarinet

Piano
Violin?

Piano
Clarinet
ViolinClarinet
Piano?

Clarinet
Piano
Piano

Clarinet
Clarinet?

Clarinet
Piano
Clarinet

Clarinet
Violin?

Clarinet
Piano
Violin各矩形がクラスタに相当する．処理がループするごとに，音源名を一つずつ与えていくが，途中，類似度の低いもの
は候補から除外される．
図 6 処理のフィードバックの例

Fig. 6 Example of process feedback.

表 3 各音源における重み値の大きい特徴量上位 3 項．

Table 3 Top three large weighted features.

音源名
ピアノ

クラリネットヴァイオリンと統合される

特徴量
基本波のパワー値の時間方向対称性
2 倍音のパワー値の時間方向対称性
基本波のパワー値分布の歪度
基本波のパワー値分布の尖度
3 倍音のパワー値の時間方向対称性
2 倍音のパワー値
基本波の立上りの強さ
2 倍音の立上りの強さ
基本波のパワー値分布の尖度

W

i
s

0.956
0.943
0.937
0.721
0.719
0.703
0.899
0.869
0.771

[6]．この統合処理により出力された単音仮説に含まれる誤りが訂正されることが期待される．
4.

評価実験

2

本論文で提案した処理を検証するために， 種類の評価実験を行った．まず，特徴量の重み値の計算を行の候補を作成してそれぞれについてフィードバックをい，その結果の妥当性を確認した．続いてベンチマー行うことになる．

クデータに対する音源同定処理の精度を計算し，適応最初に行われたマッチング処理で誤りが生じた場合

処理の有無による差を評価した．
重み値計算の評価

でも，フィードバック後の処理では前段で確定した音

4. 1

源名を用いて処理を行うため，低い類似度が与えられまず，表 にマッチング部における Wsi の計算結果

ることが期待できる．

3

を示す．

例えば，低いピアノの単音と高いクラリネットの単

この結果は，人間の通常の直感に合ったものとなっ音からなる信号を入力した場合を考える．最初の処理ている．ピアノの周波数成分は鋭く立上り，緩やかににおいて，周波数成分の重なりのために，ピアノの単減衰する．またそのパワーは立上り付近に主に分布し，音に対してピアノよりもクラリネットとの類似度の方

減衰域でのパワー値は小さなものとなっている．上表が大きな値となった場合でも，フィードバック後の処での時間方向対称性と歪度はいずれもピアノのパワー

理で「 クラリネット＋クラリネット 」よりも，「ピア

包絡線形状の非対称性を反映したものとなっている．

ノ＋クラリネット」の方に高い類似度が付与されれば，クラリネットは，偶数次の高調波のパワーが非常に小誤りを修正することができる．実際，特徴量変形部にさく，またそれぞれの成分は台形状のパワー包絡線を

2 倍音のパワー値て低い音がピアノであるとして処理を進めた場合には，もつ．従って，パワー分布の尖度や高い音に含まれるピアノの特徴を除外することができの小ささがその特徴として現れている．ヴァイオリン

るため，高い音に対するクラリネットとの類似度が大の立上りは本論文で用いた音源の中では比較的緩やか

きな値になることが予想される．

であった．それを反映して，立上りの強さの重み値が途中，候補の組合せが一定数を越えた場合には，類似度の低い候補を除外することで，組合せの爆発を最終的に，類似度の値が大きくなった候補を出力とし，単音仮説を生成する．各単音仮説は複数の単音を含み，それぞれの単音は開始時刻，継続時間，音高，

6

音源名の情報をもつ（図 ）．
後処理

OPTIMA の枠組において，仮説生成部で得られた
単音仮説は他の処理モジュールから得られる確率情報
6

4. 2

音源同定処理の評価

ここでは，ベンチマークデータとして用意したラン

防ぐ．

3. 6

7

大きなものとして得られている（図 ）．

ダムノートパターンを対象に，音源同定処理の認識精度の評価を行った．
ランダムノートパターンは，同時に立上る

3 つの単音の組の集合である．各単音の音高と音源名はランダ
ムに決定されている．また，周波数成分の重なりに応じ以下のように分類した．
クラス 1:

1 つの単音の 2 倍音の成分が，別の単音論文／周波数成分の重なり適応処理を用いた複数楽器の音源同定処理
Power

Frequency:LWK$GDSWDWLRQDQG:HLJKWPiano&ODVV

Time
Power

Frequency&ODVV



Clarinet&ODVV

Time
Power



Frequency

Violin







1RQH
:LWK:HLJKW:LWK$GDSWDWLRQ:LWK$GDSWDWLRQDQG:HLJKW&ODVV

図 7 各音源の周波数成分の標準的な形．






Fig. 7 Typical shapes of sound source's frequency
component.


&ODVV

1



の基本波と重なるような単音の組．この場合， つの単音の周波数成分の全てが別の単音の周波数成分と重3 つのクラスの中

1 つの単音の 3 倍音の成分が，別の単音
2 倍音成分と重なるような単音の組．これら 2 つの単音は基本周波数の比が 2 : 3 で，完全 5 度の関係
クラス 2:のクラス 3:

クラス

1 にもクラス 2 にも分類されないもの．この場合，周波数成分の重なりは比較的少ない．

300 パターンずつ用意し，合計 900 パターンに対して 3 音の加算合成を行ったもの
本実験では，各クラスを入力として処理を行った．入力信号とテンプレートを













図 9 音源同定も含めた認識精度．
Fig. 9 Result of whole process for random note patterns.

なし，また，認識精度として再現率と適合率の平均を用いた．すなわち，

出力中の正解数出力された単音数+ 出力中の正解数
2 21
正解中の単音数

楽器による演奏を録音したものである．また，処理対

8{10 に認識結果の精度を示す．ここで，認識精度の 95% 信頼区間は 1.5% 程度である．
図 8は，単音形成精度をクラスごとに表したもので象となる音響信号と，特徴量テンプレートの作成に用ある．単音形成精度は，音高のみを用いて正誤判定を作成するデータとして音響信号データ

NTTMSA-P1

&ODVV

では最も認識が困難になる．

になっている．



図 8 単音形成のみの認識精度．
Fig. 8 Result of note creation for random note patterns.

Time

なることになる．本論文で分類した

の単音データを用いた．この信号データは，単一の実である．図いた音響信号は，同一の音源名の場合でも別の楽器個行ったもので，本論文における処理では音源同定処理

体からのものを用いた．

の前に単音形成を行うため，音源同定処理の精度がこ

特徴量変形部での優先特徴量の変形においては，入の数値を上回ることはない．

9

力の特徴量を音源テンプレートに格納されている特徴

続いて図 は，音源同定精度を表す．ここでは，音量の分布に照らし合わせ，その平均との差が標準偏差

高と音源名の両方が正しかった場合を正解として扱っの範囲内にある場合に近い値であると判断した．

た．処理の効果をみるために，重み値処理と特徴量変

本論文では入力として用意した単音と，出力された単音の音高と音源名がともに一致した場合を正解とみ形を行った場合と行わなかった場合の4 つの場合にお4

いて精度を求めた．それぞれのグラフの意味は表 の7電子情報通信学会論文誌 '99/X Vol. J82{D{II No. X
表 4 ランダムノート実験におけるパラメータ．
Table 4 Parameters in random-note experiment.

NoneWith WeightWith Adaptation
With Adaptation and Weight

重み値
×
○
×
○

特徴量変形
×
×
○
○

2 の演
3 の演奏データに比べて，周波数

この原因として以下の点が考えられる．クラス
奏データは，クラス

成分の重なりが生じる傾向にある．逆に周波数成分が重ならない クラス

3 の演奏データには数多くの周波数成分が存在することとなる．この周波数成分の中には，周波数が近接しているものも含まれ，そのため周

1RQH:LWK:HLJKW:LWK$GDSWDWLRQ:LWK$GDSWDWLRQDQG:HLJKW&ODVV

波数成分の抽出に失敗した可能性がある．




おわりに6.




本論文では，音源同定処理に特徴量の変形処理と，
&ODVV

特徴量ごとの重み値を導入することにより，精度の向

上をみた．




図&ODVV













10におけるクラス 2 の実験は，文献 [8] におけるベンチマーク実験と同一のデータを用い，ほぼ同じ条件で行われたものである．この結果に比べても


10%

程度優れた結果が得られた．
一方で，精度自体は改善の余地を多く残しており，

図 10 音源同定処理のみの認識精度．

Fig. 10 Result of source identi cation when the pitch
is given beforehand.

今後は同定の対象となる楽器の種類等をも考慮にいれて，楽器ごとに特有の適応処理を加えるなどの改善を進める必要がある．
また，クラス通りである．

9

図 に示した数値は，音源同定処理のみならず，単音形成処理における誤りも含んだものとなっている．
そこで，あらかじめ単音の開始時刻と音高を与えることにより，音源同定処理のみの精度を計測した．その結果を図910に示す．ここで，4 つのグラフの意味は，

図 のものと同様である．
5.

に応じた特徴量の適応処理を行い，また類似度計算における特徴量ごとの重み値を導入することで，精度を81.38% へと，10% 程度となった．

70.90%

一方で，精度自体は改善の余地を多く残している．
これは，本論文では適応処理のうち，一部で「何もしない」あるいは「特徴量を無効にする」といった簡単な処理を用いたことが一因として挙げられる．また，演奏に用いたデータと，テンプレートとして用意した
データは，別の楽器個体による演奏のものを用いた．
そのため，同一の楽器であっても特徴量に若干の差が存在し，そのために誤認識を生じる例があった．

2
3 の結果よりも優れる傾向となった．

ところで，本論文で示した実験において，クラスの結果が クラス
8

謝辞

本論文は，文部省科学研究費補助金（課題番号 0907628 ）による研究成果の一部である．また，音響信号
データ NTTMSA-P1 の使用許可をいただいた NTT
文

本論文では，音源同定処理に，周波数成分の重なりから検討を進める予定である．

コミュニケーション科学基礎研究所に感謝する．

検討・考察向上させることに成功した．その効果は最大で3 の実験結果から，周波数成分抽出部

における課題が顕在化した．今後はこの点も考慮して

献[1] A. S. Bregman. Auditory scene analysis. MIT Press,
1990.
[2] Daniel P. W. Ellis. Prediction-driven computational auditory scene analysis. PhD thesis, Department of Electrical Engineering and Computer Science, M.I.T., 1996.
[3] Victor R. Lesser, S. Hamid Nawab, and Frank I.
Klassner. IPUS: An architecture for the integrated
processing and understanding of signals. Arti cialIntelligence, Vol. 77, pp. 129{171, 1995.
[4] 三輪多恵子，田所嘉昭，斎藤努，\くし形フィルタを利用した採譜のための異楽器音中のピッチ推定，" 信学論（ D-II ），Vol. J81-DII. No． 9，pp. 1965{1974，1998．
[5] 中谷智広，後藤真孝，川端豪，奥乃博，\残差駆動型アー
キテクチャの提案と音響スト リーム分離へ の応用，" 人工知能誌，Vol. 12，No. 1，pp. 111{119，1997.
[6] 柏野邦夫，中臺一博，木下智義，田中英彦，\音楽情景分
析の処理モデル OPTIMA における単音の認識，" 信学論（ D-II ），Vol. J79-DII，No. 11，pp. 1751{1761，1996.

論文／周波数成分の重なり適応処理を用いた複数楽器の音源同定処理

[7]
[8]

柏野邦夫，木下智義，中臺一博，田中英彦，\音楽情景分

析の処理モデル OPTIMA における和音の認識，" 信学論（ D-II ），Vol. J79-DII，No. 11，pp. 1762{1770，1996.
柏野邦夫，村瀬洋，\適応型混合テンプレートを用いた音
源同定 | 音楽演奏 への応用 |，" 信学論（ D-II ），Vol.

J81-DII，No. 7，pp. 1510{1517，1998.
（ 平成 xx 年 xx 月 xx 日受付）

木下

智義 （学生員）

平 7 東大・工・電子情報卒．現在同大大学院情報工学専攻博士課程在学中．聴覚的情景分析の研究に従事．情報処理学会，人工知能学会，日本音響学会，各会員．日本
学術振興会特別研究員．

坂井

修一 （正員）1958 年生．1981 年東京大学理学部情報科学科卒業．1986 年同大学院情報工学専門課程修了．工学博士．同年，電子技術総合研究所入所．1991 年 4 月より 1 年間米国

MIT 招聘研究員．1993 年 3 月より 1996
年 2 月まで RWC 超並列アーキテクチャ研究室室長．1996 年 10 月より 1998 年 3 月まで筑波大学助教授（電子・情報工学系）．1998 年 4 月より東京大学助教授（工学系研究科）．計算機システム一般，特にアーキテクチャ，並列処理，
スケジューリング問題，マルチメディアなどの研究に従事．情報処理学会論文賞（ 1990 年度），日本 IBM 科学賞（ 1991 年），

市村学術賞（ 1995 年 ），ICCD Outstanding Paper Award（ 1995 年）など受賞．情報処理学会，IEEE，ACM，各会員．

田中

英彦 （正員）1943 年生．1965 年東京大学工学部電子工学科卒業．1970 年同大学院博士課程修了．工学博士．同年東京大学工学部講師．
1971 年助教授．1978 年〜1979 年ニューヨーク市立大学客員教授，1987 年教授，現在に至る．計算機アーキテクチャ，並列処

理，人工知能，自然言語処理，分散処理，CAD 等に興味を持っている．
「 非ノイマンコンピュータ」「，情報通信システム」著．
「計，ソフトウェ
算機アーキテクチャ」「，VLSI コンピュータ I，II 」「ア指向アーキテクチャ」共著．New Generation Computing
編集長．情報処理学会，人工知能学会，日本ソフトウェア科学会，IEEE，ACM，各会員．

9