2006−MUS−66（13）2006／8／8

社団法人 情報処理学会 研究報告
IPSJ SIG Technical Report

スペクトル制御エンベロープによる混合音中の周期および非周期成分の選択的イコライザ
亀岡 弘和 ††

後藤 真孝 ††

東京大学大学院情報理工学系研究科

嵯峨山 茂樹 †††産業技術総合研究所

E-mail: † {kameoka,sagayama}@hil.t.u-tokyo.ac.jp, †† m.goto@aist.go.jp
あらまし 本報告では、多重音中に含まれる周期的および非周期的な音源成分を、2 つのスペクトル制御エ
ンベロ−プを用いた振幅スペクトル変形操作を介し、信号分離することなく選択的にイコライズする方法を提案する。本方法の目指す応用事例は、音楽音響信号の中のドラム音とそれ以外の楽器音のレベル調整や音質補正を個別に行えるインタフェ−スや、白色雑音などにより劣化した楽曲信号の音質修復などである。提案方法の動作確認のために実装した GUI を操作しながら得たいくつかの効果例を紹介する。

Selective Ampliﬁer of Periodic and Non-periodic Components
in Concurrent Audio Signals with Spectral Control Envelopes
Hirokazu Kameoka††

Masataka Goto††

Shigeki Sagayama†

Graduate School of Information Science and Technology, The University of Tokyo††
National Institute of Advanced Industrial Science and Technology (AIST)

Abstract We propose a new equalizing technique that enables a separate control of periodic andnon-periodic source components in music signals through a spectral mapping using the two spectral
control envelopes. The applications we have in mind are for example a selective ampliﬁer of drumsounds and other instruments in a polyphonic music signal and a recuperation of a degraded musicsignal with an additive white noise.

一方で我々は、特定の楽器に対する固有の知識に基づいたスペクトルの分離推定過程を経るのではなく、対象楽器を限
今日のディジタルオーディオプレイヤーソフト (例えば、 定しない汎用的な技術の実現を目指し、個別にイコライジン
iTunes や WinAmp 等) の多くには、ユーザ設定やプリセッ グする対象をより抽象化する。具体的には、ラインスペクト
ト選択などにより特定周波数帯域のフィルタゲインを調節し、 ル状の成分と平坦なスペクトル成分を、分離することなく個音質を加工できるイコライザ機能がほぼ標準的に搭載されて 別に変形（イコライジング）するために必要な方法論としている [1]。これは、必ずしもリスナは既存の楽曲を与えられた は何が考えられるか、という問題設定から出発することにしまま聴きたいだけでなく、音質を自由に加工して聴きたいと た。良く知られる通り、音声の母音や音高を持つ楽器音の定いう潜在的な欲求も持っていることを示唆すると考えられ、 常部などにおける周期的な信号は、基本周波数の整数倍の周
もしさらに自由度の高い (例えば、混合音中の特定の成分の 波数にラインスペクトル状の成分を持つ調波構造と呼ばれるみをイコライズできるような) 音質加工技術が提供できれば、 構造を持つが、一方、音声の子音や楽器音のアタック時、ドリスナはより能動的に音楽を楽しむようになる可能性がある。 ラム音などの多くに含まれる非周期的な信号は、広い帯域にそこで、本論文では、次世代音楽鑑賞用インタフェースに向 広がる平坦なスペクトル成分を持つ傾向がある。従って、もけ、新しいイコライザ機能を実現するための技術を提案する。 しこのようなイコライザが実現されれば、例えば、ドラム音
実際既に、新しい音質加工技術の一例として、INTER:D のレベル調整、古いレコードの劣化音に含まれる白色・ピン[7] や Drumix [8] と呼ぶ、楽曲音響信号の中のドラム音だけ クノイズの抑制や、ライブ音源における聴衆の歓声等の背景を選択的にイコライジングできたり、他の音に置換できるイ 音のレベル調整等、音質補正、音圧補正、ノイズリダクショ
ンタフェースが吉井らによって提案されている。彼らがとっ ンを含む広範囲な応用可能性が期待される。さらに、ある楽たのは、ドラム音とそれ以外の構成音のスペクトログラムを 曲のドラム音などのミキシングレベルを別の楽曲にリスナが精度良く分離さえできれば良いであろうという立場であった 手軽に転写する用途にも適用できる。
以上の応用可能性を踏まえ、我々は、図 1 に示すように、が、そのためにはドラム音の発音時刻の特定とスペクトログ
2 本のエン
振幅スペクトルの山頂と谷底周辺を通るようなラムの高精度な分離推定のための高度なパターン認識や信号ベロープをそれぞれ上下に操作することで帯域ごとのスペク処理技術を要し、精度向上のための試みも継続的に取り組ま
トルピークとディップのレベル差を調節し、ラインスペクト
れている [9]。
ル状と平坦な成分を個別にイコライズできる音質加工手法を

1 まえがき

−77−

50

2

45

g(ω;a) log g(ω;a)
−
−1
S(ω)
S(ω)

35

0
30

error

Amplitude (dB)

S(ω) − log S(ω)−1g(ω;a)g(ω;a)

40

1−1

log S(ω) <log g(ω;a)

25log S(ω) >log g(ω;a)

20

−2

(

1 g(ω;a) + S(ω) −22 S(ω) g(ω;a)

15

−3

−4

10
5

0

8.0
Frequency (kHz)

0
-4

-3

-2

-1

0

1

log S(ω) − log g(ω;a)

2

3

4

図 2 ス ペ ク ト ル 歪 み 尺 度 の 被 積 分 関 数 を log S(ω) −log g(ω; a) の関数と見立てた場合のグラフ。トップエン
ベロープ用の目的関数においては、log S(ω) が log g(ω; a)2より大きい場合には小さいときに比べて過大なペナルティとして課す。一方、ボトムエンベロープ用の目的関数では、
log S(ω) が log g(ω; a) より小さい場合には、大きいときに比べて過大なペナルティとして課す。

1
Amplitude (dB)

)

0

−1

(Linear Predictive Coding) で得ることはできるが、LPC エ
ンベロープの場合、パラメータが LPC 多項式の各項の係数であり、エンベロープのピークがその多項式の根に対応しているため、パラメータの動かし方がエンベロープの操作に直感的に対応しやすいとは必ずしも言い難い。その意味で、エン
ベロープの関数クラスの定義は重要な要件の一つである。
直感的操作のしやすさに留意し、エンベロープ曲線を次のような正値係数 ∀i : ai > 0 による核関数の線形和：

−2

−3

−4

0

8.0
Frequency (kHz)

図 1 スペクトル制御エンベロープを介した振幅スペクト
ル中のラインスペクトル状および平坦な成分の変形操作提案する。本手法は、振幅スペクトルの山頂周辺を通る包絡（トップエンベロープと呼ぶ）と谷底周辺を通る包絡（ボトムエンベロープと呼ぶ）を得て、それらを制御点とした各周波数における振幅スペクトルの非線形変換を介し、音量や音質の調節を可能にする。その後、加工した振幅スペクトルと元の位相スペクトルから、音質加工後の音響信号を生成する。以上のようにトップエンベロープとボトムエンベロープを介して振幅スペクトルを間接的に変形する目的のため、これらを併せてスペクトル制御エンベロープと呼ぶことにする。
以上のような振幅スペクトルの非線形変換に基づく音質加工手法は、従来のように帯域ごとに異なるゲインを決めるイ
コライザ [2, 3, 4, 5, 6] などでは実現が困難であり、対象が多重音であってもその各成分を同定・分離する必要がない利点と、高い自由度を持ちつつ直観的な変形を可能にする利点を持つ。
以上のように具体的に我々が目指すのは、制御エンベロー
プの操作を介した直感的な音質加工が可能なインタフェース
であるが、その実現のために• 制御エンベロープの適切な関数クラスの選定• 制御エンベロープの取得方法• 制御エンベロープの変換に伴う振幅スペクトル変形法
について以下で論じていく。

2 エンベロープの関数クラスの定義とその性質
制御エンベロープの操作性の良さは、エンベロープの関数
クラスの選び方に大きく関係する。例えば、スペクトルの山頂付近を通るような包絡曲線については有名な線形予測分析

g(ω; a) =Iai Ψi (ω)

(1)

i=1

を用いることにする。パラメータは係数 a = (a1 , · · · , aI )Tである。ただし、核関数 Ψi (ω) はすべての ω ∈ R において0 < Ψi (ω) < ∞(2)を満たす任意の有界関数とするが、以後 Ψi (ω) は、直感的なイメージを与えるために Gauss 分布を想定することにする。
Ψi (ω) を、ナイキスト周波数範囲内に一定間隔で並べる (なお、ある程度の滑らかさを仮定するためには、例えば各 Gauss
分布の標準偏差をその間隔と等しく定めるなどすれば良い。)
ことにすると、係数 a = (a1 , · · · , aI )T は、各帯域でのエン
ベロープの高さの調節用のパラメータに相当するため、パラメータを介したエンベロープの操作性は極めて直感的である。

3 制御エンベロープの反復推定アルゴリズム
3.1 目的関数の定義
スペクトルの山頂近くを通るトップエンベロープを得るための一つの手段としては、スペクトルの山頂近くに張りついていた方がよりペナルティが低く抑えられるような歪み尺度を導入し、それを最小とするような a を求めれば良い。従ってまず、振幅スペクトルのエンベロープ関数からの正値の誤差には過大なペナルティを、負値の誤差には過小なペナル
ティを与えるような何らかの非対称な歪み尺度を考えたい。
そのような歪み尺度の例として、LPC の枠組で導出された板
倉斎藤距離 [10] と呼ぶ尺度が広く知られており、上記の目的−78−

f (x)

負の対数関数が凸関数であることに注意すると、

f (x): convex functiont f(x1)+(1-t) f(x2)

∀ω :

I


⊥
m⊥
i (ω) = 1, ∀i, ω : 0 < mi (ω) < 1

(6)

i=1

f(tx +(1-t)x )12を満たす任意の重み関数を用い、凸不等式：x1tx1+(1-t)x2x2

図3凸不等式の概念図。

x∀ω : − logai Ψi (ω)
m⊥i (ω)S(ω)

= − log

m⊥
i (ω)

I

ai Ψi (ω)
i=1

 − logS(ω)
ai Ψi (ω)
m⊥i (ω)S(ω)

m⊥
i (ω)

を達成できる目的関数の 1 つである。ただしここでは、文献[10] においてなされているような上記尺度の物理的意味に関 が立てられる。ただし、xj wj は、xj の wj による重みつきする議論は行わない。以上より、トップエンベロープを求め 和の演算子： j wj xj を表す。凸不等式の概念図を図 3 に示るための最小化すべき目的関数はす。以上より、

 
J =


S(ω)
S(ω)
− log
− 1 dω
g(ω; a)g(ω; a)

(3)

 
J⊥ 

log S(ω) − 1 +I ai Ψi (ω)

S(ω)

i=1

である。一方、スペクトルの谷底近辺を通るボトムエンベ
ロープを得るためには、逆に振幅スペクトルのエンベロープ関数からの負値の誤差には過大なペナルティを、正値の誤差には過小なペナルティを与えるような非対称な歪み尺度を導入すれば良いが、板倉齊藤距離の要素を逆転した歪み尺度がまさにこのような尺度の 1 つとして適用できる。従って、ボトムエンベロープを求めるための最小化すべき目的関数としては− m⊥i (ω) log

ai Ψi (ω)
m⊥i (ω)S(ω)


dω

(7)

なる不等式が得られ、上式右辺は目的関数の上限値であることが分かる。この右辺は、変関数 m⊥ の汎関数であり、こ+[m⊥ ] と呼ぶ。ここで注目すべき点は、もしれを補助関数 J⊥+⊥
mi (ω) を固定すると、J⊥[m⊥ ] を最小化する ai の解析的な解は陽に与えられる (後述) ことである。従って、目的関数か g(ω; a)g(ω; a)ら直接 ai の最適化を行う代わりに、補助関数を用いて効果的
J⊥ =
− log
− 1 dω
(4)
S(ω)
S(ω)
に ai の最適化を行っていくことができる。まず、ai を固定したまま、m⊥i (ω) に関して補助関数を最小化すると、式 (7) はが 考 え ら れ る 。両 目 的 関 数 の 被 積 分 関 数 を log S(ω) − 等号が成り立つ。その等号成立状態から、両関数に含まれる
log g(ω; a) の関数と見立てたグラフ (図 2) を見てみると、 変数 ai に関して補助関数を最小化すると、自動的に目的関数
両目的関数がトップエンベロープおよびボトムエンベロープ も減少する。なぜなら、補助関数は目的関数の上限値を表し、を推定するのに適切な尺度であることが良く分かる。実際に 不等式 (7) より最小化した補助関数よりさらに目的関数は小は、上記以外の歪み尺度に基づく目的関数を考えることもで さくなっていることが保証されるからである。板倉斎藤距離+
きるが、式 (3)、(4) を採用することで次節以降に示すエレガ は下に有界なので、J⊥[m⊥ ] を m⊥i (ω) と ai に関して一方をントな反復最適化アルゴリズムを導くことができる。
固定しながら交互に最小化すれば、目的関数は停留点に収束
3.2 ボトムエンベロープの推定法
することが示される。この反復最適化の概念図を図 4 に示す。
+
まず、はじめにボトムエンベロープのパラメータ a⊥ の推[m⊥ ] を m⊥
さて、まず、条件 (6) を満たしながら J⊥i (ω) に
定方法について述べる。a⊥ は、関して最小化するには、

J⊥ =

 
I

I

ai Ψi (ω)
ai Ψi (ω)
− log
S(ω)
i=1
i=1

I 

i=1



+ log S(ω) − 1 dω

(5)ai Ψi (ω)
ai Ψi (ω)− m⊥i (ω) logS(ω)
m⊥i (ω)S(ω)
I− λ(ω)m⊥dω
i (ω) − 1

(8)

i=1
⊥
を最小化する a を求めることで得られるが、第二項の対数関 の mi (ω) に関する括弧内の偏微分数の非線形性により、解析解の求解は困難であることが分かS(ω)
る。しかしながら、この最適化問題は、勾配法やサンプリンlog(9)+ log m⊥i (ω) + 1 − λ(ω)
a
Ψ
(ω)
i
i
グアルゴリズムに頼らずとも、EM アルゴリズムのアイディアをヒントにした次に示すような工夫により、極めて効率的を 0 とする m⊥i (ω) を求めれば良い。ただし λ(ω) は Laな反復法が導けることを示す。そのためには、a に関する最grange 乗数である。式 (9) を 0 にする m⊥i (ω) は小化が解析的に行え、かつ目的関数の上限となっているような補助関数を設計することが目標となる。具体的な方策を以ai Ψi (ω) λ(ω)−1
m⊥
(10)
e
i (ω) =
下で提案する。
S(ω)−79−以上より、トップエンベロープのパラメータ a は、

 
J =

JT+[m ]
T

JT+[m ]
T

JT

JT+[m ]
T

JT

J

I

S(ω)
ai Ψi (ω)+ log
∀i ai Ψi (ω)
i=1− log S(ω) − 1 dω + P (a)(15)+[m T]

Tを最小化する a を求めることで得られるが、第一項と第二項の逆数関数と対数関数の非線形性により、これを a に関する偏微分を 0 とする a を求めるには非線形な連立方程式を解く必要があり、解析解の求解は困難であることが分かる。aに関しての最小化が解析的に行え、かつ目的関数の上限値となっているような補助関数が作れるかどうかが、前節と同様の効果的な反復最適化のための要件となる。さて、まず第一項に注目し、正領域において逆数関数が凸関数であることに注意すると、

JT

m

a

図4

任意の ai と m⊥i (ω) の組合せのときは補助関数は目的関数より大きく、補助関数にのみ含まれる変関数 m⊥i (ω)
に関して補助関数を最小化すると両者は等号で結ばれる (左図)。その状態で両者の共通の変数 ai に関して補助関数を最小化すると、当然補助関数自体は減少するが、その値よりも必ず目的関数値は小さくなっている (右図)。

で与えられ、条件 (6) より最終的に

∀ω :

I



m
i (ω) = 1, ∀i, ω : 0 < mi (ω) < 1

(16)

i=1

ai Ψi (ω)
m⊥i (ω) = ai Ψi (ω)(11) を満たす任意の重み関数を用いて凸不等式：
ai Ψi (ω)S(ω)∀i∀ω : 1=mi (ω)S(ω) m (ω)
ai Ψi (ω)
iを得る。∀i : ai > 0、ω : Ψ(ω) > 0 であるから ∀i, ω : m⊥i (ω) > 0∀iである。一方、m⊥i (ω) 固定で、補助関数の ai に関する偏微分I2m
ai Ψi (ω)
i (ω) S(ω)
=
 1

 
ai Ψi (ω)
m
Ψi (ω) m⊥(ω)
i (ω)S(ω) m
i=1
i (ω)
dω
(12)
− i
S(ω)
ai
が成り立つので、を 0 とする ai は
ai = 

J 

 
I

m⊥
i (ω)dωΨi (ω)
dω
S(ω)

i=1

(13)

S(ω)
− log S(ω)
ai Ψi (ω)
Iai Ψi (ω) − 1 dω + P (a)
+ log

2
m
i (ω)

(17)

i=1

なる不等式を得る。これでまず、各要素 ai Ψi (ω) の和の逆数で与えられる。∀i, ω : m⊥i (ω) > 0 であるから明らかに ∀i : を各要素の逆数の総和の形にした目的関数の上限汎関数を作
ai > 0 である。よって、∀i : ai の初期値を正値にすれば必ず ることができた。上式右辺を J + [m ] とする。

収束値も正値となる。式 (11) と式 (13) の反復計算における
次に、第二項の上限値を設計することが目標であるが、前a の収束先をボトムエンベロープのパラメータ a⊥ とする。 節と異なり、正の対数関数は凹関数なので、凸不等式では上
以下では、a⊥ が上記のアルゴリズムで既に求まっていること 限関数が作れない。しかしながら、任意の ω におけるを前提にする。
I
3.3 トップエンベロープの推定法
logai Ψi (ω)(18)
トップエンベロープとボトムエンベロープとをある程度以
i=1
上は近接させないという付加条件を与えるために、上記で求まったボトムエンベロープパラメータ a⊥ を用いて次のよう に対し、任意の点 t(ω) の周りの 1 次テイラー展開：I
なペナルティ関数項：

P (a) 

I

ηi a⊥
i

i=1

ai

log t(ω) +(14)を導入して、目的関数に付加する。上記項は、ai が a⊥i と比べて大きいほど、P (a) → 0 なのでペナルティの効力を小さくするが、a⊥i に近い (または小さい) ほどペナルティの効力を大きくする働きがある。また、∀i : ηi は、ペナルティの影
響力の大きさを表すものであり、実験的に定める正値のパラメータとする。

1t(ω)

ai Ψi (ω) − t(ω)

(19)

i=1

が上限となっていることを利用すれば、式 (17) の右辺のさらなる上限関数が

 
I

−80−

S(ω)
+ log t(ω) − log S(ω)
ai Ψi (ω)
i=1



I
1
ai Ψi (ω) − t(ω) − 1 dω + P (a)+t(ω) i=1
2
m
i (ω)

(20)

++
と書ける。上式を J
[m , t] とすると、すなわち、+++J  Jm  Jm , tJT++[m T, t]

(21)

+[m ]

JT

++
が成り立つ。J[m , t] は、変関数 mi (ω) と t(ω) が固定のとき、パラメータ a に関する最適解が解析的に求まる (後述) ことから目的関数最小化のための補助関数として扱える。
これを踏まえ、この補助関数を目的関数と等しくする mi (ω)と t(ω) を以下で具体的に求めることにする。
前節と同様に、まず m
i (ω) に関して式 (20) を最小化する
には

 
I

2
m
i (ω)

i=1

JT

JT++[m T, t]
JT

T

J +[m ]
T

T

JT++[m T, t ]t

JT+[m T]

JT++[m T, t ]JT++[m , t ]JT++[m T, t ]aJ +[m ]
T

T

JT

a

(22)

図 5 任意の ai と mi (ω) と t(ω) の組合せのときは補助

関数は目的関数より大きく、補助関数にのみ含まれる変関
数 m
i (ω) と t(ω) に関して補助関数を最小化すると両者は等号で結ばれる (右上図)。一方、その状態で両者の共通のパラメータである ai に関して補助関数を最小化すると、当然補助関数自体は減少するが、その値よりも必ず目的関数
値は小さくなっている (下図)。

を 0 とする m
i (ω) を求めれば良い。ただし、γ(ω) は Lagrange 乗数である。式 (22) を 0 とする m
i (ω) はγ(ω)ai Ψi (ω)
2S(ω)

T

JT

の括弧内の mi (ω) に関する偏微分：m
i (ω) =

JT++[m T, t]

m



I
S(ω)

mi (ω)−1dω−γ(ω)
ai Ψi (ω)
i=12mi (ω)S(ω)− γ(ω)
ai Ψi (ω)

T

J +[m ]

(23)で与えられ、条件 (16) より最終的にのように更新することにする。なお、∀i, ω : mi (ω) > 0 で(24) あるから明らかに ∀i : ai > 0 である。よって、∀i : ai の初期値を正値にすれば必ず収束値も正値となる。以上より、式∀i(24) と式 (25) と式 (27) の反復計算により、前節と同様なアを得る。∀i : ai > 0、ω : Ψ(ω) > 0 であるから ∀i, ω : mi (ω) > 0 イディアにより目的関数を効果的に小さくしていくことがでである。m
i (ω) が上式で与えられるとき、不等式 (17) の等 き (図 5 参照)、適当な収束判定により得られる最終的な a の+[m ] が成り立つ。一方、明らかに
号、J = J
値をトップエンベロープのパラメータ a とする。

ai Ψi (ω)
mi (ω) = ai Ψi (ω)t(ω) =

I

ai Ψi (ω)

(25)

i=1
+
++
のときに J[m ] = J[m , t] となる。従って、mi (ω) と++t(ω) が式 (24) と式 (25) で与えられるとき J = J[m , t]である。
以上で、補助関数を目的関数に等しくするステップが具現化できたので、次に mi (ω) と t(ω) が固定の下で補助関数を最小化する a を求められることを確認する。式 (20) の ai に関する偏微分：

 


ηi a⊥
Ψi (ω) m(ω)2 S(ω) 1dω − 2i− i
2t(ω)Ψi (ω)aiai(26)

を 0 と置くと、∀ω : 0 < t(ω), Ψi (ω) < ∞ であるから、⎛⎜
ai = ⎜⎝⎞1/22m
i (ω) S(ω)
dω + ηi a⊥i ⎟Ψi (ω)⎟
⎠Ψi (ω)
dω
t(ω)

(27)

 が a⊥ を下回らないようにペナルティが得られる。ただし、a項を付加したとは言え、ai が a⊥i より常に大きいことが保証されるわけではないため、ai はai∀i : ai =
a⊥
i

if 
ai  a⊥iotherwise(28)

4 振幅スペクトルの変換則
上記のようにして、トップエンベロープとボトムエンベ
ロープが効果的に得られることが分かった。ここでは、トップエンベロープ付近の成分とボトムエンベロープ付近の成分がそれぞれうまくラインスペクトル状と平坦な成分に対応するという仮定の下で、これらの 2 本の制御エンベロープを調節または他の楽曲から転写したときに、それに合わせていかにして振幅スペクトルを変換するかについて述べる。
ここで我々が決めておきたいのは、トップエンベロープを上下したときには平坦な成分はできるだけ変化させずライン
スペクトル状の成分だけを変化させられ、一方で、ボトムエン
ベロープを上下したときにはラインスペクトル状の成分はできるだけ変化させず平坦な成分だけを変化させられるような何らかの変換則である。さて、振幅 S(ω) を ε(> 0) 倍にするということは、対数振幅 log S(ω) の写像先が log S(ω) + log εである、すなわち写像関数が傾き 1 の恒等写像関数を上方向に log ε だけずらしたもので与えられるということである。
従って、対数振幅 log S(ω) の写像関数が傾き 1 の直線で与えられる場合、振幅が定数倍されることを意味する。これを踏まえると、ある ω における対数振幅 log S(ω) がトップエ
ンベロープ値付近あるいは以上であれば、元のトップエンベ
ロープ値から目標先のトップエンベロープ値までの変化分と同等の大きさの定数を log S(ω) に加え、ボトムエンベロープ値付近あるいは以下であれば、元のボトムエンベロープ値か−81−

log S(ω)
log

log g(ω; a T)g(ω; a T)g(ω; a T)

log g(ω; a T)0

T0
Time (s)

0

4.0

0

Time (s)4.0g(ω; a )TT

log g(ω; a )1 log g(ω; a T) g(ω; a )2TTlog g(ω; a )log g(ω; a T)

Amplitude (dB)log g(ω; a )g(ω; a )Frequency (kHz)log S(ω)= log S(ω)
log

8.0

Frequency (kHz)8.0

log S(ω)

T

図 6 変換元と変換先の制御エンベロープによって決定される、対数振幅 log S(ω) の写像関数。例えば、log S(ω) が変換元のトップエンベロープ周辺かそれ以上に大きい場合
は、変換先のトップエンベロープまでの変化分とほぼ等しい大きさの定数が log S(ω) に加えられる。

0

ら目標先のボトムエンベロープ値までの変化分と同等の大きさの定数を log S(ω) に加えるような写像関数を構成するのが我々の目指すところである。このような操作には、閾値処理などで log S(ω) がトップエンベロープとボトムエンベロー
プのどちらに近いかを決定し、エンベロープの変化分の定数を log S(ω) に加える (不連続な写像関数を構成する) 方法も考えられるが、中間的な成分の整合性を大きく損なわないよ
うにするには図 6 のような滑らかな写像関数を構成すれば良い。そこで、その実現方法の一例として我々は、原エンベロー
プ g(ω; a ) と g(ω; a⊥ ) を、目標エンベロープ g(ω; ā ) とg(ω; ā⊥ ) に変換するときの、log S(ω) から log S̄(ω) への変換
則を次のような写像関数：

Frequency (kHz)8.0

図 7 スペクトル制御エンベロープイコライザのグラフィ
カルユーザインタフェース。左上に表示されるスペクトロ
グラム上でクリックした場所 (赤色の破線) での切口スペク
トルが制御エンベロープとともに GUI 中央のグラフに表示
され、GUI 下部のスライダを通した制御エンベロープの操作に伴った変換の糢様が観察できる。

ベロープを介したイコライザの効果を示す実験結果例をいくつか挙げることとする。実験条件は以下のとおりとした。サンプリング周波数 16kHz のモノラルのディジタル信号を入力とし、16ms 長の Hamming 窓を 8ms ずつずらしながら短時
間 Fourier 変換を行いスペクトル系列を算出した。3 章の反復推定アルゴリズムでは、核関数にはガウス分布関数を選び、S(ω)g(ω; ā⊥ )g(ω; ā )g(ω; a⊥ )log S̄(ω) = log+ log
ガウス分布をナイキスト周波数範囲内に一様間隔で 20 個配g(ω; a⊥ )g(ω; a )g(ω; ā⊥ )i 番目のガ置したものをエンベロープ関数とした。すなわち、

log S(ω) − 12 log g(ω; a )g(ω; a⊥ )
400
×
iHz
である。また、各ガウス分
ウス分布関数の中心は


(29)
×f
α log g(ω; a ) − log g(ω; a⊥ )240Hz とした。a1 , · · · , a20 の初布の標準偏差パラメータは
1
期値は 20 S(ω)dω とした。反復アルゴリズムの収束性は実で表現することにする。ただし、f (·) は sigmoid 関数：
験的に確認され、実装では反復回数をいずれも 30 回とした。
11 (x → ∞)また、3.3 章および 4 章において導入した定数パラメータ η 、
f (x) ==(30)
0 (x → −∞)1 + e−xα はそれぞれ ηi = 100.0/i (i = 1, · · · , 20)、α = 0.2 とした。
MATLAB で以上の条件のもとで実装したグラフィカルである。特に、上式で α → 0 のとき、
ユーザインタフェースの概観図を図 7 に示す。GUI 下部に配⎧置されているトップエンベロープおよびボトムエンベロープ
g(ω; ā )⎪⎪log S(ω) + log⎪⎪
用に 6 個ずつ用意されたスライダはそれぞれ、エンベロープ⎪
g(ω; a )⎪⎨1
関数中の i = 1, 2、i = 3, 4, 5、i = 6, 7, 8、i = 9, 10, 11, 12、
if log S(ω)  2 log g(ω; a )g(ω; a⊥ )log S̄(ω) =g(ω; ā⊥ )⎪i= 13, 14, 15, 16、i = 17, 18, 19, 20 番目の核関数の重み係数⎪
log S(ω) + log⎪⎪⎪g(ω; a⊥ )に、すべてのフレームに渡って一様に乗じる正値のゲインを⎪⎩
if log S(ω) < 12 log g(ω; a )g(ω; a⊥ )調節するためのものである。このスライダを調節することに(31) より制御エンベロープに対し帯域ごとの強調や抑圧が行え、のように、先に述べた閾値に基づく変換則と等価になる。
そのたびに 4 章のマッピングを介して振幅スペクトルが変形される。また、特定時刻の短時間振幅スペクトルや全体のス
5 実 装
ペクトログラムが上記操作に伴ってどのように変形されるか以上の各要素技術を用い、スペクトル制御エンベロープを が GUI 上部で確認できるようになっている。
介した周期成分と非周期成分の選択的イコライザを実装した。
図 8 に、RWC 研究用音楽データベース [11] 収録のポピュ
スペクトル制御エンベロープは実在する物理量であるわけ ラーとジャズ音楽の各 1 曲ずつに対し、原スペクトログラム
ではないため、3 章で提案した反復推定アルゴリズム自体の とともに上記 GUI を用いて非周期成分および周期成分を強定量的な性能評価は行うことはできない代わりに、制御エン 調した変換信号のスペクトログラムを示す。各実験データの−82−

6 ま と め

8.0

Frequency (kHz)

本稿では、混合音中の周期成分および非周期成分を選択的にレベル補正や加工を施すことを目的とし、混合音スペクト
ル中のラインスペクトル状と平坦な成分を個別操作する方法
としてスペクトル制御エンベロープを介したスペクトルの変形方法を提案し、GUI を実装した。本 GUI を用い、ポピュ
ラーやジャズ音楽などに含まれるドラム音の強調および抑圧効果や、白色雑音が混入された音楽音響信号に対する雑音抑圧効果の例を示し、提案方法の基本性能を確認した。

謝
0

0

0.8

1.6

2.4

3.2

辞

本研究のインタフェース実装に関してご助言とご協力頂いた中野倫靖氏 (筑波大) に深く感謝する。

4.0

Time (s)参考文献

Frequency (kHz)

8.0

0

0

0.8

1.6

2.4

3.2

4.0

Time (s)図 9 RWC 研究用音楽データベース [11] 収録の “Jive(Piano Solo)”(中村真) に白色雑音を加えた信号のスペク
トログラム (上) と白色雑音を抑圧した変換信号のスペクト
ログラム (下)。

タイトル、アーティスト名、カタログ番号はそれぞれ以下の通りである。

• PROLOGUE, 緒方智美, RWC-MDB-P-2001 No.7
• Lounge Away, YOU Band, RWC-MDB-J-2001 No.28
左中図と左下図を見てみると、左上図の原スペクトログラムの中で垂直方向に及ぶドラム音と水平方向に及ぶボーカル音のスペクトル成分が選択的に強調および抑圧されていることが分かる。また、聴感上もほとんど劣化なくドラム音やボー
カル音の音量や音質を調節できることが確認できた。右中図
では、右上図の通り極めて小さい音量で収録されているドラ
ム音をサックスなどの音源の音量を抑えながら強調することができている。
また、白色雑音を付加した楽曲信号に対する雑音抑圧効果を確認するため、RWC 研究用音楽データベース [11] 収録の• Jive (Piano Solo), 中村真, RWC-MDB-J-2001 No.1に白色雑音を加えた信号を実験データとして非周期成分の抑圧を行った。図 9 に結果例を示す。原スペクトルの時間周波数領域に渡ってほぼ一様に分布する雑音成分が、ボトムエン
ベロープ操作を介した振幅スペクトル変換により低減されていることが分かる。

[1] Rose, J., “Audio Postproduction for Digital Video (DvExpert Series),” CMP Books, 2002.
[2] M. N. S. Swamy and K. S. Thyagarajan, “Digital
Bandpass and Bandstop Filters with Variable Center Frequency and Bandwidth,” Proc. IEEE, Vol. 64,
pp. 1632–1634, 1976.
[3] S. Erfani and B. Peikari, “Variable Cutt-oﬀ Digital
Ladder Filters,” Int. J. Electron., Vol. 44, pp. 535–
549, 1978.
[4] E. C. Tan, “Variable Lowpass Wave-digital Filters,”
Electron. Lett., Vol. 18, pp. 324–326, 1982.
[5] P. A. Regalia and S. K. Mitra, “Tunable Digital Frequency Response Equalization Filters,” IEEE Trans.
Acoust., Speech, Signal Process., ASSP-35, No. 1,
pp. 118–120, 1987.
[6] S. J. Orfanidis, “Digital Parametric Equalizer Design
with Prescribed Nyquist-frequency Gain,” Journal of
the Audio Engineering Society, Vol. 45, No. 6, pp. 444–
455, 1997.
[7] Yoshii, K., Goto, M. and Okuno, H. G., “INTER:D:
A Drum Sound Equalizerfor Controlling Volume andTimbre of Drums,” In Proc. 2nd European Workshop
on the Integration of Knowledge, Semantic and DigitalMedia Technologies (EWIMT2005), 2005.
[8] 吉井和佳, 後藤真孝, 駒谷和範, 尾形哲也, 奥乃博, “Drumix: ドラムパートのリアルタイム編集機能付きオーディ
オプレイヤー,” インタラクション 2006 論文集, 2006.
[9] Yoshii, K., Goto, M., Komatani, K., Ogata, T.,Okuno, H. G., “An Error Correction Framework basedon Drum Pattern Periodicity for Improving DrumSound Detection,” In Proc. IEEE International Conference on Acoustics, Speech and Signal Processing(ICASSP2006), 2006.
[10] 板倉文忠, “統計的手法による音声分析合成系に関する研究,” 博士論文, 名古屋大学大学院工学研究科, 1972.
[11] 後藤真孝, 橋口博樹, 西村拓一, 岡隆一, “RWC 研究用
音楽データベース: 研究目的で利用可能な著作権処理済み楽曲・楽器音データベース,” 情報処理学会論文誌,
Vol.45, No.3, pp.728–738, 2004.

−83−

8.0

Frequency (kHz)Frequency (kHz)

8.0

0

0

0.8

1.6

2.4

3.2

0

4.0

0

0.8

1.6

Time (s)

2.4

3.2

4.0

2.4

3.2

4.0

2.4

3.2

4.0

Time (s)8.0Frequency (kHz)Frequency (kHz)

8.0

0

0
0

0.8

1.6

2.4

3.2

4.0

0

0.8

1.6
Time (s)Time (s)8.0Frequency (kHz)Frequency (kHz)

8.0

0

0

0.8

1.6

2.4

3.2

4.0

0

0

Time (s)0.81.6Time (s)図 8 元のスペクトログラム (上) と非周期成分および周期成分を強調した変換信号のスペクトログラム (中、下)。上図は、RWC 研究用
音楽データベース [11] 中の、緒方智美: “PROLOGUE”(RWC-MDB-P-2001 No. 7)(左) と YOU Band: “Lounge Away (Octet)”(RWC-MDB-J-2001 No. 28)(右) に対する解析および変換結果例である。

−84−