閉曲線を利用した音色の操作方法
岩 淵勇樹†秋田純一†北川章夫†

電子楽器の発明以降，音色を生成する方法も数多く考案されている．しかしそれらの多くは音色生成のための多くの制御パラメータを必要とし，また各パラメータと音色との対応が複雑であり，直感的な音色の操作が困難である．またそれらのパラメータ操作は一次元的であり，近年普及が著しいタッチパッドなどの二次元操作デバイスを有効に利用できていない．本稿では，解析信号と呼ばれる複素平面上の閉曲線図形と音声信号との対応に着目し，閉曲線に対する形状操作等の直接操作によって周期音声信号を変化させる方式による音色の操作方法を提案する．本手法は，既存の音に対する加工によって音色の発展させる音色生成には有効である．また図形と音を対応付けることにより，視覚表現と融合した音楽パフォーマンスへの応用も考えられる．

Tone Manipulation Method Using Closed Curve
Yuuki Iwabuchi,† Junichi Akita† and Akio Kitagawa†A lot of studies on tone generation methods are proposed, however, tone generation requires
numbers of parameters, and it is diﬃcult to understand the relation between the parameters
and the generated tone. Their parameters are operated in one-dimensional interface, which
is not eﬀective for two-dimensional interface, such as touch pad. In this paper, we propose
the tone manipulation method using a kind of closed curves called the analytic signal. The
waveform of the tone is related to the corresponding analytic signal, and the manipulation for
the analytic signal can generate the modiﬁed tone. This method is adequate for tone modiﬁcation from the existing instrument’s tone. It is also expected to extend the application of
the analytic signal to visual fusion performance.

パラメータは一次元量であり，その操作はスライダや

1. は じ め にツマミ等のインタフェースによって操作されるが，こ電子楽器の発明以降，それまでの物理的な振動現象

れらのインタフェースは，マウスやタッチパッドなどを用いてきた楽器の音色は格段に生成の自由度が高の近年一般的となっている平面入力・操作デバイスをくなり，今までにない新たな音色を作ることが可能と有効に活用できているとはいえない．

なった．それに伴ってテクノ音楽等の新たな音楽分野

我々はこれまで，マウスやタッチパッド等の平面入が生まれ，それが再び新たな電子楽器の発展を促して力・操作デバイスによる音色入力インタフェースを構いる．電子楽器に向けた，楽器を演奏するための入力築するために，シルエット画像などの図形を，解析信インタフェースに関する研究は，ジェスチャ入力を用号と呼ばれる信号に変換して周期信号を生成する手法

1)

2),3)

，口の形を提案してきた5)6) ．この方式では，平面入力デバイを用いるもの4) など多くあるが，それと並んで，電子スによって描画した閉曲線図形を解析信号によって近楽器に適した音色の入力・生成方法，特にマウス操作似し，それに音色を生成するものであるが，解析信号やタッチパッド操作など GUI に適した音色入力・生の性質から，任意の閉曲線図形を解析信号で精度よく成方法を探ることは，電子音楽全体の発展のためにも近似するには限界があった．

いるもの

やユーザの表情を用いるもの

重要な課題といえる．従来のシンセサイザは，多数の以上をふまえ，本稿では，既存の音声信号をベースパラメータを必要とする．そのため，意図した音色をとし，それに対してマウスやタッチパッドなどの平面生成するためには多くの経験を要する．またこれらの操作デバイスによって波形を操作することで，新たな† 金沢大学大学院自然科学研究科
Graduate School of Natural Science & Technology,
Kanazawa University

音色の音声信号を作成する手法の提案と実装を行う．
具体的には，既存の音声信号から生成された解析信号を複素平面上の閉曲線図形とみなし，これに対して平情報処理学会 インタラクション 2011

声信号を生成・変更する手法の提案と実装を行う．

2. 音色操作のための二次元操作インタフェー
スTime

Imaginary part

(a)

(b)

は，各種パラメータをツマミやスライダ等で操作するものであるが，これは 1 次元的なインタフェースであるといえる．

Real part

Amplitude (Real)

現在利用されている多くの音色操作インタフェース

Real part

Amplitude (Real)

面操作デバイスによる図形操作によって新たな周期音

一方，計算機への入力デバイスとしては，従来からTime

Imaginary partのマウスやトラックボールのほか，近年普及してきた

(c)

(d)

タッチパッドなどがあるが，これらは二次元平面上でのポインタ移動や図形描画が可能である．これらの平面入力インタフェースに適した音色の操作方法を探ることは，より豊かな音色生成のために有用であると考図1

バイオリンの音色 s(t)(a) と対応する解析信号 s̃(t)(b)，
ハーモニカの音色 s(t)(c) と対応する解析信号 s̃(t)(d)Fig. 1 Waveforms(t)(a) and analytic signals̃(t)(b) of violin’s tone, waveforms(t)(c) and analytic signals̃(t)(d)of harmonica’s tone

えられる．これらの入力デバイスを活用する音色操作インタフェースとして最適なのは，一定領域内の 2 次

く．それを逆フーリエ変換した複素信号を一般に「解元平面上に配置された操作点を，操作するポインタに析信号」と呼び，s̃(t) と表す．

よりクリックやドラッグなどの操作ができることであs̃(t) の実部 ℜ[s(t)] は s(t) のままであるという性質ると考えられる．このような音色操作を実現したインをもち，s(t) が区分的に滑らかで常に有限値をもつ周

タフェースの例として Kaossilator

7)が挙げられるが，期信号であれば，s̃(t) は複素平面 x + iy 上の閉曲線

これは音程とエフェクトの強さの 2 つのパラメータをを描くことが導かれる．(ただし i は虚数単位)．図 1x 軸と y 軸に割り当てたものであり，2 つのパラメーに解析信号の例を示す．

タを同時に操作可能であるものの，平面上の操作と生成される音色との関係を直感的に関連付けることは容3.2 解析信号と音色の関係周期的な解析信号を複素平面上の閉曲線図形として見ると，音声信号の振幅が時間とともに変化するのに易ではない．
本稿では，以上で述べた平面操作デバイスの有効活あわせて，それに対応する解析信号の閉曲線上を対応点が移動し，音声信号の 1 周期が閉曲線上の 1 周に対用が可能なインタフェースを提案する．

応する．すなわちこの閉曲線の形状は，音声信号の周3. 音声信号の閉曲線表現と操作波数情報を除いた表現であると言うことができる．

2 の必要要件をふまえ，本稿では，音色の操作加工

閉曲線の大きさが音声信号の振幅に対応し，閉曲線を行う手法として，音色を平面上の閉曲線図形としての平行移動は，時間変化しない定数成分に対応するた取り扱い，その図形に対する変形等の操作によって音め音色は変化しない．また位相回転 (定数 eiθ 倍) は閉色の操作を行う手法の提案と実装を行う．具体的には，曲線の回転に対応するが，一般に音色は基音の位相に音色のうちの振幅の過渡的な変化を除いた，定常状態依存しない．そのため，相似な閉曲線はすべて同じ音での時間軸の周期波形を平面的操作によって操作でき色に対応することになる．

るインタフェースとして，以下で述べる「解析信号シンセサイザ」を提案する．

色と密接な関わりをもっているといえる．

3.1 解 析 信 号

 0S̃(ω) =S(ω)

4. 周期解析信号に対するインタラクティブ操作(ω < 0)(ω = 0) 2S(ω) (ω > 0)

以上のことから，閉曲線図形としての解析信号は音(1)4.1 解析信号の離散化と操作の定義
まず音声信号 s を，s0 から sn−1 までの n 個のサ

音声信号 s(t) に対して，そのフーリエ変換を S(ω)

ンプル点によって離散化する．s はこれら n 個のサとおく．式 (1) のように，S(ω) の正周波数成分の振幅ンプル点列を周期とすると周期信号であると仮定し，を 2 倍，負周波数成分の振幅を 0 倍とし，S̃(ω) とおsk+mn = sk (m は任意の整数) とする．そして，これ

Amplitude (Real)

Real part

Real part

Amplitude (Real)

閉曲線を利用した音色の操作方法

05ω

10ω15ω

05ω10ω

Imaginary partTime

Frequency

Imaginary partTime

Frequency

(a)

(b)

(c)

(a)

(b)(c)

図2n = 64, d = 10 の時の印加信号の解析信号 (a) と，それに対応する音声信号 (b) とそのスペクトル (c)Fig. 2 Analytic signal of applied signal for n = 64, d =10(a), and its corresponding waveform(b) and spectrum(c)15ω

図 3 n = 64, d = 10 としてドラッグ操作を 3 回施したときの解析信号 (a)，それに対応する時間軸波形の音声信号 (b)，およびそれのスペクトル (c)．
Fig. 3 3 times modified analytic signals for n = 64, d = 10(a), its corresponding waveform (b), and its spectrum (c)らの各サンプル点に対して解析信号 s̃0 〜s̃n−1 を求めて複素平面上に表示し，各点を制御点として滑らかに結んだ閉曲線を生成する．この閉曲線は，元の音声信号の解析信号 s̃ の近似とみなすことができる．
このうちの 1 つの制御点 s̃k をマウス等でドラッグすることで移動させる際に，s̃ には s̃k を中心とした解析信号 p̃ を印加するとする．ここで p̃ も s̃ と同様にn 個のサンプル点から成る複素平面上の信号である．
この制御点の移動先を z とおき，新たに生成される s̃′を以下のように定める．

s̃′j = s̃j + (z − s̃j )p̃j−k(2)なおこの制御点の移動中は，その移動に従って新たな

図 4 開発した解析信号シンセサイザの実行画面
Fig. 4 Screen shot of developed analytic sygnalsynthesizer

音声信号 s′ (= ℜ[s̃′ ]) が適当な周波数の周期音声信号となるよう合成する．
ここで，p̃ を，その実部が以下のようになるように定める．

するため，いわゆる加算合成方式のシンセサイザの一(pk =1 + cos 2πkn2)d種ともいえる．基本的には，制御点を閉曲線の内側に(3)「押し込める」操作によって基本周波数成分が減少・高周波数成分が増加し，曲線にねじれが生じる．また制

ここで d は 1 以上の実数で，制御点の移動の際に自由御点を閉曲線の外側に「拡げる」操作によって基本周に設定できるとする．

波数成分が増加・高周波数成分が減少し，曲線のねじ

n = 64, d = 10 の時の印加信号を図 2 に示す．実信号としては 0 に近い値が半数以上連続しており，解析信号としては円形が潰れたような形となる．
式 (3) の定義に従えば，p̃0 = 1 になり，また同時に s̃′k = z となるため，移動中の制御点は常に操作指示点 (マウスによるドラッグ操作時のマウスポインタれが解消される．
また d = 1 のときは基本周波数成分のみの加算となり，d が大きくなるにつれて加算される高周波数成分の割合が大きくなる．閉曲線図形の変化としては，dが大きいほど局所的な変化になる．

4.2 解析信号シンセサイザ等) と同位置になる．なお解析信号は線型性をもつた

4.1 節で述べた手法に従って，開発した解析信号をめ，印加解析信号を加えた後の信号もまた解析信号と用いる音色操作型のシンセサイザ☆ を図 4 に示す．開なる．

発環境は Flash CS4，開発言語は ActionScript 3.0 で音色操作の例として，正弦波波形に対応する解析信号ある．図 4 の例では，実行画面中段の左の閉曲線に(円) を最初に用意し，それにに対して，n = 64, d = 10

は 64 個の制御点があり，制御点をマウス等によるドとして 3 回の制御点移動操作を施したときの解析信号ラッグによって音色の加工が可能である．制御点移動の変化，およびそれらに対応する 1 周期分の時間軸上の際の印加信号に対する式 (3) の d の値は，10, 20,の音声信号を図 3 に示す．
本手法は，制御点の操作は特定の信号の加算に対応☆

http://butchi.jp/documents/mus85demo/

情報処理学会 インタラクション 2011

50, 100, ∞ から選択できる．なお操作する対象であなど，操作インタフェース自体としては操作しづらい

る閉曲線図形としては，あらかじめ楽器音を解析信号場合が考えられるため，この点は，操作インタフェー化したものがいくつか用意されており，プルダウンメ

スそのものとして改良・工夫を進めたい．

ニューから読み込みができる．すなわち，既存の楽器等の音色を元に，それに図形操作によって音色に加工を加える形での音色生成が可能である．

6. ま と め
本稿では，解析信号と呼ばれる複素平面上の閉曲線また生成された周期音声信号に対して，時間と共に図形と音声信号との対応に着目し，閉曲線に対する形振幅の変化を加えて音として仕上げるための機能とし状操作等の直接操作によって周期音声信号を変化させて，ADSR (Attack, Decay, Sustain, Release) エンる方式による音色の操作方法を提案し，その手法によベロープジェネレータを搭載した．生成された音色をるシンセサイザと簡易な楽器を実装した．本手法は，用いた簡易的な楽器の機能として，ソフトウェアキー意図した新規の音色の作成は困難であるものの，既存ボードのクリック，キーボードの入力，MIDI キーボーの音に対する加工によって音色の発展させる音色生成

ドからの入力によって簡易的な演奏を可能とした．には有効である．また図形と音を対応付けることによこの解析信号シンセサイザを用いて，音色の操作をり，視覚表現と融合した音楽パフォーマンスへの応用行ったところ，「とがった音」や「キンキンした音」，「滑らかな音」など，意図した音色をある程度は生成することができた．

5. 議論

本手法による音色の加工生成手法について議論を加える．
解析信号シンセサイザの，音色操作の自由度・可能性について議論する．この閉曲線図形の操作と，それに対応する音色操作との対応，すなわち音色操作の自由度や，意図した音色をどの程度生成できるかという点の定量的な評価は不十分であるものの，実際に操作をした結果からは，直感的な音色操作がある程度可能であることが示された．
本手法は，原理的には任意の周期信号を生成することができるが，「意図した音色」をゼロから生成するには必ずしも適していないと考えられる．ただし実用的には，既存の音色を，好みの音色へと微調整したい場面は音楽表現上は多く，本手法はそのような場面で有効であると言える．より豊かな音色の加工・生成のために，振幅や周波数などの過渡的な変化を効果的に設定するためのインタフェースは，今後の検討課題である．
本手法は，閉曲線を複素平面に投影しているため，時間軸の情報がなくなっている．これによって，周波数 (音高) に依存しない音色作りが可能になっている．
ただし，同じスペクトルを持つ音色も，位相が異なると閉曲線図形も変化するため，同じ音色がさまざまな形を持つことになる．
本手法は，2 次元平面上に配置された操作点を，平面操作デバイスによって操作するインタフェースであるが，複雑な音色を扱う場合は交点で操作点が重なるも考えられる．
今後は，より豊かな音色の加工・生成のために，音声信号の過渡的な変化を効果的に設定する手法の検討を進め，あわせて，閉曲線図形とその操作を映像表現とみなした，新たな映像・音楽の融合の可能性を検討したい．

参 考文献

1) A.Camurri, M.Ricchetti and R.Trocca: EyesWeb–
toward gesture and aﬀect recognition indance/music interactive systems, IEEE International Conference on Multimedia Computing
and Systems, Vol.1, pp.643–648 (1999).
2) M.Funk, K.Kuwabara and M.J.Lyons: Soniﬁcation of Facial Actions for Musical Expression,
Proceedings of NIME ’03, pp.127–131 (2003).
3) M.J.Lyons: Facial gesture interfaces forexpression and communication, Proceedings
IEEE Inteernational Conference on Systems,
Man and Cybernetics, Vol. 1, pp. 598–603(2004).
4) M.J.Lyons, M.Haehnel and N.Tetsutani: Designing, Playing, and Performing with a Visionbased Mouth Interface, Proceedings of NIME
’03, pp.116–121 (2003).
5) 岩淵勇樹，秋田純一，北川章夫：閉曲線図形に基づいた音色生成方法の検討，エンタテインメン
トコンピューティング 2008 論文集，pp.143–146(2008).
6) 岩淵勇樹，秋田純一，北川章夫：閉曲線図形の特性に基づいた音色生成の一手法，第 16 回イン
タラクティブシステムとソフトウェアに関するワークショップ (WISS2008) 論文集，pp.149–150(2008).
7) KORG: KAOSSILATOR,
http://www.korg.co.jp/Product/Dance/kaossilator/.