(57)【要約】【課題】  自然楽器を模倣して演奏表現豊かな楽音信号を生成することを課題とする。【解決手段】  演奏情報を偏微分方程式の初期値として用いてその偏微分方程式の解を演算し、その解を基に変調係数を生成する変調係数生成手段（１１１，１１２，１１３）と、変調係数に応じて楽音信号を変調する変調手段（１１３）とを有する楽音生成装置が提供される。【選択図】        図１
2006047863.tif 000002
【特許請求の範囲】
【請求項１】
演奏情報を偏微分方程式の初期値として用いてその偏微分方程式の解を演算し、その解を基に変調係数を生成する変調係数生成手段と、
前記変調係数に応じて楽音信号を変調する変調手段と
を有する楽音生成装置。
【請求項２】
前記偏微分方程式は、非線形偏微分方程式である請求項１記載の楽音生成装置。
【請求項３】
前記変調係数生成手段は、前記偏微分方程式の解を空間で離散化してノルムをとることにより変調係数を生成する請求項１又は２記載の楽音生成装置。
【請求項４】
前記変調係数生成手段は、２次元空間で離散化する請求項３記載の楽音生成装置。
【請求項５】
前記変調係数生成手段は、前記ノルムをとった値に対して頭部伝達関数を用いて音響変換を行うことにより変調係数を生成する請求項３又は４記載の楽音生成装置。
【請求項６】
前記変調手段は、１チャンネルの楽音信号を変調して２チャンネルの楽音信号を生成する請求項１〜５のいずれか１項に記載の楽音生成装置。
【請求項７】
さらに、前記演奏情報を基に楽音信号を生成する音源を有し、
前記変調手段は、前記音源により生成された楽音信号を変調する請求項１〜６のいずれか１項に記載の楽音生成装置。
【請求項８】
さらに、演奏操作に応じて演奏情報を出力する演奏操作子を有する請求項７記載の楽音生成装置。
【請求項９】
前記演奏操作子は、鍵盤である請求項８記載の楽音生成装置。
【請求項１０】
前記演奏情報は、ベロシティである請求項１〜９のいずれか１項に記載の楽音生成装置。
【請求項１１】
演奏情報を偏微分方程式の初期値として用いてその偏微分方程式の解を演算し、その解を基に変調係数を生成する変調係数生成ステップと、
前記変調係数に応じて楽音信号を変調する変調ステップと
を有する楽音生成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、楽音生成装置及び方法に関し、特に楽音信号を変調する楽音生成装置及び方法に関する。
【背景技術】
【０００２】
電子楽器は、メモリ等の記憶装置に記録された楽音情報を演奏情報に応じて読み出し、その演奏情報に基づいたピッチ、音量、エンベロープ、フィルタ特性を決定することにより、楽音を生成する。
【０００３】
この電子楽器の問題点は、演奏情報の変化に対して、発音される楽音信号が単調であり、そのため、演奏者の音楽表現が制限されてしまう。また、この電子楽器には、時間波形の情報のみであり、空間座標の概念がない。これは、現実の楽器が物理的な大きさを持っていることを考えると非現実的な音になる。線形的な処理のみでは、巧みな演奏を表現する楽音を奏でることはできない。
【０００４】
また、下記の特許文献１には、運動方程式の解を繰り返し算出し、時間的に変化する楽音波形データを生成する電子楽器が開示されている。
【０００５】
【特許文献１】特許第２７２２７２７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明の目的は、自然楽器を模倣して演奏表現豊かな楽音信号を生成することである。
【課題を解決するための手段】
【０００７】
本発明の楽音生成装置は、演奏情報を偏微分方程式の初期値として用いてその偏微分方程式の解を演算し、その解を基に変調係数を生成する変調係数生成手段と、前記変調係数に応じて楽音信号を変調する変調手段とを有する。
【０００８】
また、本発明の楽音生成装置は、演奏情報を偏微分方程式の初期値として用いてその偏微分方程式の解を演算し、その解を基に変調係数を生成する変調係数生成ステップと、前記変調係数に応じて楽音信号を変調する変調ステップとを有する。
【発明の効果】
【０００９】
演奏情報を入力とした偏微分方程式の解を基に変調係数を生成することにより、時間波形のみならず空間座標の情報を加味することができ、自然楽器の音に近いものにすることができる。よって、演奏情報の変化に柔軟に対応し、演奏表現豊かな楽音信号を生成することができる。
【発明を実施するための最良の形態】
【００１０】
図１は、本発明の実施形態による電子鍵盤楽器（楽音生成装置）の構成例を示すブロック図である。自然楽器である生ピアノは、響板を有し、音が空間的な広がりを有する。本実施形態では、響板等の発音体を模倣し、空間座標の情報を加味した楽音信号の変調を行う。
【００１１】
鍵盤１０１は、演奏者の演奏操作に応じて演奏情報（演奏イベント）を出力する演奏操作子である。鍵盤１０１の代わりに、他の演奏操作子を用いてもよい。音源システム１０２は、鍵盤１０１から出力された演奏情報を基に楽音（ＰＣＭ）信号を生成して出力する。
【００１２】
第１の処理部１１１は、鍵盤１０１から出力された演奏情報を非線形偏微分方程式の初期値として用いてその非線形偏微分方程式の解を差分法で演算する。この演奏情報は、例えばベロシティ（押鍵速度）である。第１の処理部１１１の処理の詳細は、後に式（４）を参照しながら説明する。第２の処理部１１２は、第１の演算部１１１で演算された方程式の解を空間（例えば２次元空間）で離散化してノルムをとり、離散化された各座標の乗算係数を生成する。
【００１３】
第３の処理部１１３は、ＤＳＰ（デジタルシグナルプロセッサ）等の信号処理手段であり、音源システム１０２により出力された楽音信号に対して頭部伝達関数を演算し、各座標の乗算係数をかける。具体的には、音源システム１０２から出力された楽音信号に対して、各座標に合致する頭部伝達関数を畳み込み、さらに距離に相当する到達遅延時間を考慮し遅延させ、各々の空間座標に即した音響信号を得ることができる。それらの空間座標に即した音響信号は、加算され、出力楽音信号になる。第３の処理部１１３の処理の詳細は、後に式（５）及び（６）を参照しながら説明する。
【００１４】
図２は、図１の第１〜第３の処理部１１１〜１１３の処理を理論的に説明するための図である。第１のステージ２０１は図１の第１の処理部１１１に相当し、第２のステージ２０２は図１の第２の処理部１１２に相当し、第３のステージ２０３及び演算器２０４は図１の第３の処理部１１３に相当する。
【００１５】
第１のステージ２０１は、演奏情報（例えばベロシティ）を初期値とする非線形偏微分方程式を差分法によって解法し、解ｕ（ｔ）を導出する。第２のステージ２０２は、変調係数の数を減らして演算量を削減するため、解ｕ（ｔ）に対して空間の離散化を行い、変調係数Ｍ（ｔ）を生成する。第３のステージ２０３では、生成された変調係数Ｍ（ｔ）を用いて、各座標に即した頭部伝達関数に対して振幅変調（音響変換）を行い、変調係数Ｇ（ｔ）を生成する。演算器２０４は、音源システム１０２から出力されたモノラルの１チャンネルの楽音信号ｆ（ｎ）及び変調係数Ｇ（ｔ）を基に演算し、ステレオの２チャンネルの楽音信号ｇ（ｔ）を出力する。以下、第１〜第３のステージ２０１〜２０３を詳細に説明する。
【００１６】
（１）第１のステージ２０１
第１のステージ２０１では、非線形偏微分方程式を解法する。粘性項を持つ線形な１次元波動方程式は、式（１）の様に表される。
【００１７】
【数１】
2006047863.tif 000003
【００１８】
初期値ｕ（０）に対する任意時刻の解ｕ（ｔ）の結果は、初期値ｕ（０）の大きさを変化させた場合、その大きさに相似形である。すなわち線形である。
ここで、カオス発振器として使用されるVanDerPolの常微分方程式を式（２）に示す。
【００１９】
【数２】
2006047863.tif 000004
【００２０】
この式は、以下の解を得る。
η＝０の時  線形発振
η＞０の時  非線形発振
η＜０の時  非線形減衰
【００２１】
そこで、式（１）の左辺第２項を式（２）の左辺第２項の様に拡張し、さらに２次元に拡張することによって、非線形な偏微分方程式を式（３）として提案する。ただし、非線形減衰な状態を主に使用するため左辺第２項の符号は「正」として波動方程式を拡張する。
【００２２】
【数３】
2006047863.tif 000005
【００２３】
式（３）の解を演奏情報に応じて逐次取得する方式として式（３）を時間及び空間共に離散化し、差分スキームとして解く必要がある。式（３）を差分スキームに変換したものを式（４）に示す。
【００２４】
【数４】
2006047863.tif 000006
【００２５】
ｎは離散化された時間軸、ｉ，ｊは２次元座標系、Δｔは時間の離散間隔、Δｘは空間の離散間隔を表す。
【００２６】
（２）第２のステージ２０２
第２のステージ２０２では、空間の離散化を行う。２次元非線形波動方程式（３）に対して、時間毎に空間ノルムを演算する場合について考える。これを以下の条件に置いて数値演算を行う。式（４）に対して、以下の条件で数値演算を行った。
【００２７】
時間離散        Δｔ＝０．１［ｓｅｃ］
空間離散        Δｘ＝０．１［ｍ］
群速度          ｃ＝０．５［ｍ／ｓｅｃ］
減衰率          η＝０．６
境界条件        ０  （ｔ≧０において）
初期値座標      （ｉ−１０）2＋（ｊ−５）2＜１０  （ｔ＝０において）
【００２８】
図３は、ｎ＝０の初期値ｕ（０）がδ関数の場合の各ノルムを示すグラフである。特性Ｉ１は初期値が１、特性Ｉ２は初期値が２、特性Ｉ３は初期値が３、特性Ｉ３．５は初期値が３．５である。横軸は時間を示し、縦軸は解ｕのノルムを示す。ノルムは、ベクトルの長さを示す。初期値の振幅が大きいほど、細かい不規則な信号として現れているのが観測される。空間ノルムを取っても、非線形性の性質を失っていないことが分かる。これらから、空間ノルムによって座標の離散を行うことができる。
【００２９】
現在ｕi,jn+1の大きさは、１００×１００の２次元行列となっているため、合計１００００箇所の離散座標があることになる。これでは大変演算量が多く、次に行う音響変換の際、現実的に計算ができない。そこで、ある一定の座標区間のノルムを取ることによって、非線形な振る舞いを損なうことなく、座標領域を離散化することができる。
【００３０】
図４は、１００×１００の離散座標を４×４に離散化する例を示す図である。２次元空間４０１は、響板に相当し、Ｘ軸及びＹ軸の２次元空間を４×４に分割した様子を示す。
【００３１】
（３）第３のステージ２０３
第３のステージ２０３では、音響変換を行う。図４に示す様に、０．２５ｍを１マスとする１ｍ四方の行列Ｍとなるように、解ｕi,jn+1を変換する。聴取者４０２は、２次元空間４０１の響板から楽音信号を受けることになる。
【００３２】
式（５）に示す様に、楽音信号は、頭部伝達関数ＨＲＴＦと行列Ｍの各要素との方向、距離が考慮されたインパルス応答に対して、入力信号ｆ（ｎ）が畳み込まれる。それに対して、行列Ｍの各要素が時間軸上で乗算され振幅変調される。遅延関数ｄｅｌａｙは、距離に相当する到達時間λを考慮して遅延させる。
【００３３】
【数５】
2006047863.tif 000007
【００３４】
行列Ｍの各要素によって振幅変調された信号は、式（６）に示す様に、それぞれ加算され、直接到達する音を加算することにより、出力信号ｇ（ｎ）を得る。直接到達音とは、０秒に発音され時間軸の基準となる音であり、直接到達音とそれ以外の音との関係が音響空間を生成するために不可欠である。
【００３５】
【数６】
2006047863.tif 000008
【００３６】
このような方法で、音程Ａ２，Ａ４，Ａ６の３種類の音に対して処理を行った。なお、処理を行う元の波形は正弦波合成で作成した零位相基調倍音に単純なエンベロープをつけた、原始的なピアノ模擬音である。
【００３７】
図５は、処理前の音程Ａ６の元波形を示す図である。図６（Ａ）は処理後の音程Ａ６の左チャンネルの波形を示す図、図６（Ｂ）は処理後の音程Ａ６の右チャンネルの波形を示す図である。横軸は時間を示し、縦軸は振幅を示す。条件として、λ0,0＝０．４５、ｕj1の座標はｘ＝０．２５ｍ、ｙ＝０．２５ｍ、δ関数の初期値は３．５として計算した結果の波形例を示す。
【００３８】
図５の元波形ｆ（ｎ）に対して変調することにより、図６（Ａ）及び（Ｂ）の２チャンネルの波形を得ることができる。聴取者４０２は、左耳４０３Ｌで聴こえる左チャンネルの楽音信号と右耳４０３Ｒで聴こえる右チャンネルの楽音信号を得ることができる。
【００３９】
図６（Ａ）及び（Ｂ）の波形は、図５の元波形に比べ、不規則な振幅の変化が現れているのが観測される。またそれは、左右の信号で若干異なっている。この様な不規則な振幅変化は、実際にグランドピアノを収音した際の信号にも見られる現象である。これは、実際のピアノ波形によく見られる挙動である。すなわち、本実施形態は、自然楽器の生ピアノを模倣した音を生成することができる。
【００４０】
本実施形態は、通常方式に比べ、演奏者の表現を飛躍的に向上させることができる。通常方式は、演奏情報の強弱（例えばベロシティ）に応じてフィルタ処理などにより倍音構成を変化させることによって、音色に変化をつけている。しかしながら、単純に倍音の大きさが変化するだけであり、音色変化が少なく結果的に音楽表現を狭めてしまう。
【００４１】
また、これらの処理は鍵盤毎に行われ各鍵盤の音が互いに干渉しあうことは無い。これでは、和音の様に複数音が同時に発音される場合、音にまとまりが無く綺麗な響きを得ることができない。
【００４２】
本実施形態は、演奏情報を初期値として、非線形偏微分方程式の解を得る方式であるため、演奏情報に応じて、逐次、変調係数が変化する。さらにその係数により、頭部伝達関数などの空間音響により座標変調を掛けているため、信号処理的に見れば、結果的に振幅、周波数、位相の混変調が掛かった状態といえる。この混変調は、倍音構成に側帯波を生み出し複雑な倍音構成を作り出す。その一例を図７及び図８に示す。
【００４３】
図７は変調された倍音構成を示す波形の周波数スペクトルであり、図８は図７の基音部を拡大した周波数スペクトルである。信号７００Ｌは左チャンネルの信号を示し、信号７００Ｒは右チャンネルの信号を示す。これらは、倍音構成に側帯波を生み出し複雑な倍音構成を有し、両者は若干異なる。
【００４４】
また、和音の様に複数音が同時に発音される場合において、その複数の演奏情報が非線形偏微分方程式の初期値となる為、それぞれ発音された音が互いに因果性をもち、美しい響きが得られる。
【００４５】
以上のように、本実施形態によれば、演奏情報を非線形偏微分方程式の初期値として用いてその非線形偏微分方程式の解を演算し、その解を基に変調係数を生成する。そして、その変調係数に応じて楽音信号を変調する。
【００４６】
演奏情報を入力とした偏微分方程式の解を基に変調係数を生成することにより、時間波形のみならず空間座標の情報を加味することができ、自然楽器の音に近いものにすることができる。よって、演奏情報の変化に柔軟に対応し、演奏表現豊かな楽音信号を生成することができる。
【００４７】
なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
【図面の簡単な説明】
【００４８】
【図１】本発明の実施形態による電子鍵盤楽器（楽音生成装置）の構成例を示すブロック図である。
【図２】図１の第１〜第３の処理部の処理を理論的に説明するための図である。
【図３】初期値ｕ（０）がδ関数の場合の各ノルムを示すグラフである。
【図４】１００×１００の離散座標を４×４に離散化する例を示す図である。
【図５】処理前の音程Ａ６の元波形を示す図である。
【図６】図６（Ａ）は処理後の音程Ａ６の左チャンネルの波形を示す図、図６（Ｂ）は処理後の音程Ａ６の右チャンネルの波形を示す図である。
【図７】変調された倍音構成を示す波形の周波数スペクトルを示す図である。
【図８】図７の基音部を拡大した周波数スペクトルを示す図である。
【符号の説明】
【００４９】
１０１  鍵盤
１０２  音源システム
１１１  第１の処理部
１１２  第２の処理部
１１３  第３の処理部
２０１  第１のステージ
２０２  第２のステージ
２０３  第３のステージ
２０４  演算器
【図１】
2006047863.tif 000009
【図２】
2006047863.tif 000010
【図３】
2006047863.tif 000011
【図４】
2006047863.tif 000012
【図５】
2006047863.tif 000013
【図６】
2006047863.tif 000014
【図７】
2006047863.tif 000015
【図８】
2006047863.tif 000016