(57)【特許請求の範囲】
【請求項１】
対象音波形情報を基に、対象音を構成する倍音毎の第１の周期情報及び第１の振幅情報を含む対象音情報を生成する対象音分析手段と、
基準音波形情報を基に、基準音を構成する倍音毎の第１のチャンネルの基準音情報及び第２のチャンネルの基準音情報を生成する基準音分析手段と、
前記第１のチャンネルの基準音情報及び前記第２のチャンネルの基準音情報を基に差情報を生成する差情報抽出手段と
を有する楽音情報生成装置。
【請求項２】
前記差情報は、前記基準音を構成する倍音毎の情報である請求項１記載の楽音情報生成装置。
【請求項３】
前記差情報は、時間経過に伴う情報である請求項２記載の楽音情報生成装置。
【請求項４】
さらに、前記第１の周期情報、前記第１の振幅情報及び前記差情報を基に第４の周期情報及び第４の振幅情報を生成する楽音情報生成手段を有する請求項３記載の楽音情報生成装置。
【請求項５】
さらに、前記第４の周期情報及び前記第４の振幅情報を基に生成音波形情報を生成する楽音合成手段を有する請求項４記載の楽音情報生成装置。
【請求項６】
前記対象音波形情報は第１のチャンネルの楽音波形であり、前記生成音波形情報は第２のチャンネルの楽音波形である請求項５記載の楽音情報生成装置。
【請求項７】
前記第１のチャンネルの基準音情報は第２の周期情報を含み、前記第２のチャンネルの基準音情報は第３の周期情報を含み、
前記差情報抽出手段は、前記第２の周期情報及び前記第３の周期情報を基に位相差情報を生成する位相差情報抽出手段を含む請求項６記載の楽音情報生成装置。
【請求項８】
前記第１のチャンネルの基準音情報は第２の振幅情報を含み、前記第２のチャンネルの基準音情報は第３の振幅情報を含み、
前記差情報抽出手段は、前記第２の振幅情報及び前記第３の振幅情報を基に振幅差情報を生成する振幅差情報抽出手段を含む請求項６記載の楽音情報生成装置。
【請求項９】
前記第１のチャンネルの基準音情報は第２の周期情報及び第２の振幅情報を含み、前記第２のチャンネルの基準音情報は第３の周期情報及び第３の振幅情報を含み、
前記差情報抽出手段は、
前記第２の周期情報及び前記第３の周期情報を基に位相差情報を生成する位相差情報抽出手段と、
前記第２の振幅情報及び前記第３の振幅情報を基に振幅差情報を生成する振幅差情報抽出手段とを含む請求項６記載の楽音情報生成装置。
【請求項１０】
前記楽音情報生成手段は、前記第１の周期情報及び前記位相差情報を基に第４の周期情報を生成する周期情報生成手段を含む請求項７記載の楽音情報生成装置。
【請求項１１】
前記楽音情報生成手段は、前記第１の振幅情報及び前記振幅差情報を基に第４の振幅情報を生成する振幅情報生成手段を含む請求項８記載の楽音情報生成装置。
【請求項１２】
前記楽音情報生成手段は、
前記第１の周期情報及び前記位相差情報を基に第４の周期情報を生成する周期情報生成手段と、
前記前記第１の振幅情報及び前記振幅差情報を基に第４の振幅情報を生成する振幅情報生成手段とを含む請求項９記載の楽音情報生成装置。
【請求項１３】
前記周期情報生成手段は、前記第１の周期情報、前記位相差情報及び重み情報を基に第４の周期情報を生成し、
前記振幅情報生成手段は、前記第１の振幅情報、前記振幅差情報及び重み情報を基に第４の振幅情報を生成する請求項１２記載の楽音情報生成装置。
【請求項１４】
対象音波形情報を基に、対象音を構成する倍音毎の第１の周期情報及び第１の振幅情報を含む対象音情報を生成する対象音分析ステップと、
基準音波形情報を基に、基準音を構成する倍音毎の第１のチャンネルの基準音情報及び第２のチャンネルの基準音情報を生成する基準音分析ステップと、
前記第１のチャンネルの基準音情報及び前記第２のチャンネルの基準音情報を基に差情報を生成する差情報抽出ステップと
を有する楽音情報生成方法。
【請求項１５】
請求項１４記載の楽音情報生成方法の各ステップをコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、楽音情報生成装置、方法及びプログラムに関する。
【背景技術】
【０００２】
楽音の音像について説明する。単一周波数の正弦波のステレオ信号に対して、左右の信号の位相あるいは振幅を変えることで任意の定位を与えることはできるが、広がりを持った音像を与えることはできない。例えば左チャンネルの信号に対して右チャンネルの信号の振幅を大きくすれば、その大きさに応じて信号の定位は、右へ寄る。また同様に右チャンネルの信号の位相を進み位相とすれば、信号の定位は右に寄る。ただし、位相を１８０°近く進めた（遅らせた）逆相の場合は例外的に定位が不明となり、妙な広がりを呈する場合がある。このような音像は、聴取者に不快感を与える場合が多く、特殊な音像を作る場合を除いてこの方法を用いることは少ない。
【０００３】
楽音は複数の倍音で構成されている。１つ１つの倍音は時間的に振幅及び周波数が変化する単一周波数の正弦波である。一般的に正弦波は定位を持つことはできるが、広がりを有することはないことが知られている。従って、各倍音は定位を持つことはできるが基本的にそれ自体が広がりを持つことはない。よって楽音の広がりのある音像は各倍音の定位が互いに異なり広範囲に分散することで、作られるものである。
【０００４】
図２９（Ａ）及び（Ｂ）は、楽音の音像を説明するための図である。聴取者２９０１が左スピーカ２９０２及び右スピーカ２９０３から発せられる楽音を聴く場合を説明する。定位２９１１は、楽音を構成する各倍音の定位を示す。音像２９１０は、楽音の音像を示す。図２９（Ａ）は広がりがない音像２９１０を示し、図２９（Ｂ）は広がりがある音像２９１０を示す。図２９（Ａ）では、各倍音の定位２９１１がほぼ同じ位置に集まっているため楽音の音像２９１０は小さい。これに対して、図２９（Ｂ）では、広範囲に倍音の定位２９１１が分散しており、楽音の音像２９１０は大きくなる。もし、全ての倍音の定位２９１１が１点に集まれば、その楽音の音像２９１０は広がりを持たない。
【０００５】
図３０は、楽音の音像の時間変化を示す図である。聴取者３００１が左スピーカ３００２及び右スピーカ３００３から発せられる楽音を聴く場合を説明する。定位３０１１は、楽音を構成する各倍音の定位を示す。音像３０１０は、楽音の各倍音の定位３０１１により構成される。各倍音の定位３０１１が時間的に定位３０２１に変化する様子を示す。変化後の各倍音の定位３０２１は、音像３０２０を構成する。すなわち、音像３０１０は、時間的に音像３０２０に変化する。左右チャンネルの互いに対応する倍音の振幅差あるいは位相差が時間的に変化することで、その倍音の定位が時間的に変化する。図３０では、時間経過に伴って各倍音の定位が変化することで、楽音の音像が大きくなる様子を示している。即ち、各倍音の定位が時間的に変化することで、楽音の音像が時間的に変化するのである。
【０００６】
下記の特許文献１には、ステレオオーディオ信号の差信号を基に広がり感や臨場感のある音響再生を行う音場信号再生装置が記載されている。
【０００７】
また、下記の特許文献２には、モノラル音楽を多数のマイクロフォンをもってステレオ集音し、擬似ステレオ音楽を得る方法が記載されている。
【０００８】
また、下記の特許文献３には、増幅器、遅延回路、フィルタ、差分器及び加算器を用いて、擬似ステレオ信号に振幅差を持たせる方法が記載されている。
【０００９】
【特許文献１】特開平６−１７８３９５号公報
【特許文献２】特許第２８７９４８４号公報
【特許文献３】特開平８−３３６１９９号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
ステレオ信号を生成するには、以下の２つの方法がある。第１の方法として、ステレオ信号を得るために２つのマイクでアコースティック楽器などの音を収音することが挙げられる。第２の方法として、モノラル信号の位相特性あるいは振幅特性もしくはその両方を変化させた信号と、元のモノラル信号でステレオ信号を得ることが挙げられる。
【００１１】
電子楽器において、モノラル信号であった楽音をステレオ信号の楽音に置き換えることで、楽音に質の高い広がりを与え、その結果、電子楽器の付加価値を高めることは一般的に行われている。
【００１２】
しかしながら、上記第１の方法を考えた場合、モノラル信号の元の楽器を再び収音するのが困難な場合がある。費用、時間の問題やその楽器が既に存在しない場合などである。また収音が可能であっても所望の音像のステレオ音が得られない場合がある。例えばマイクの設置場所に制限があるなどが考えられる。
【００１３】
上記第２の方法では、モノラル信号よりは広がるものの、２チャンネルで録音されたステレオ信号ほど質の高い広がりは得られないことが一般的に知られている。
【００１４】
楽音の音像は、楽音を構成する倍音の定位の有様によって変化する。倍音の定位は、その左右位相差及び左右振幅差によって決定される。従って、各倍音の左右位相差及び左右振幅差を制御することで、任意の音像を得ることができる。ところが、２チャンネル収音を行ったステレオ楽音の左右差（左右振幅差及び左右位相差）は、複雑に変動しており、任意に左右差の情報を作るのは難しい。さらに低音域の楽音は倍音の数も多く、現実問題として不可能である。
【００１５】
本発明の目的は、モノラル信号を所望の音像を持ったステレオ信号に変換することである。
【課題を解決するための手段】
【００１６】
本発明の楽音情報生成装置は、対象音波形情報を基に、対象音を構成する倍音毎の第１の周期情報及び第１の振幅情報を含む対象音情報を生成する対象音分析手段と、基準音波形情報を基に、基準音を構成する倍音毎の第１のチャンネルの基準音情報及び第２のチャンネルの基準音情報を生成する基準音分析手段と、前記第１のチャンネルの基準音情報及び前記第２のチャンネルの基準音情報を基に差情報を生成する差情報抽出手段とを有する。
また、本発明の楽音情報生成方法は、対象音波形情報を基に、対象音を構成する倍音毎の第１の周期情報及び第１の振幅情報を含む対象音情報を生成する対象音分析ステップと、基準音波形情報を基に、基準音を構成する倍音毎の第１のチャンネルの基準音情報及び第２のチャンネルの基準音情報を生成する基準音分析ステップと、前記第１のチャンネルの基準音情報及び前記第２のチャンネルの基準音情報を基に差情報を生成する差情報抽出ステップとを有する。
【発明の効果】
【００１７】
第１の周期情報及び第１の振幅情報は、モノラル楽音を構成する。そのモノラル楽音を基に、ステレオ楽音を生成することができる。ステレオ楽音の音像は、差情報を基に所望の音像に制御することができる。
【発明を実施するための最良の形態】
【００１８】
（第１の実施形態）
図１は、本発明の第１の実施形態による楽音情報生成装置の構成例を示す図である。
まず、楽音情報記憶手段１０１について説明する。楽音情報記憶手段１０１には、左右２チャンネルで構成されるステレオ楽音を合成するための、第１の周期情報１１１、第１の振幅情報１１３、位相差情報１１２、及び振幅差情報１１４が記憶されている。この構成例では、楽音情報記憶手段１０１に、１楽音分の第１の周期情報１１１、第１の振幅情報１１３、位相差情報１１２及び振幅差情報１１４が示されているが、複数楽音分持っていても良い。各情報１１１〜１１４に記された１〜Ｎの添え字は倍音の番号を表している。各情報１１１〜１１４は、楽音を構成する倍音毎の情報であり、楽音波形の時間経過に伴う情報を有する。
【００１９】
図２は、第１の周期情報１１１及び第１の振幅情報１１３を説明するための図である。横軸は時間（サンプリングポイント）を示し、縦軸は振幅を示す。波形は、ある１つの倍音の波形である。
【００２０】
まず、第１の周期情報１１１について説明する。第１の周期情報１１１は、波形の各倍音についての周期ごとの立ち上がりの０クロス時間を記憶している。時間はサンプリングポイント単位である。図２では、４周期分の波形が示されている。図中の黒丸に対応する時間が周期情報である。立ち上がりのみでなく、立ち下がりの０クロス時間を第１の周期情報１１１として記憶しても良い。また時間経過に応じた周期をそのまま記憶する、あるいは周波数を第１の周期情報１１１として記憶しても良い。
【００２１】
次に、第１の振幅情報１１３について説明する。本実施形態では各周期の各周期内の最大振幅絶対値を第１の振幅情報１１３としている。図２においては図中の矢印で示された振幅値が、各周期の第１の振幅情報１１３である。これ以外にも単位時間当たりの振幅比を第１の振幅情報１１３として記憶しても良い。この場合の振幅比とは、同じ周期で最大振幅１の正弦波の同じ位相の値に対する、振幅の比を言う。
【００２２】
次に、位相差情報１１２について説明する。位相差情報１１２は、第１の楽音と第２楽音の位相差を、各倍音について、時間経過に沿って記憶したものである。例えば、位相差情報は、第１の楽音と第２の楽音の各倍音について、周期毎の位相差を角度（ｄｅｇ）で記憶したものである。位相差情報１１２は、角度（ｄｅｇ）以外にもラジアンで表されていても良いし、周期情報のように０クロス時間差で表されていても良い。また第１の周期情報１１１が周期毎の周波数で表されている場合は、位相差情報１１２は周期毎の周波数差で表されていても良い。
【００２３】
次に、振幅差情報１１４について説明する。振幅差情報１１４は、第１の楽音と第２の楽音の振幅差または振幅比を、各倍音について時間経過に沿って記憶したものである。例えば、振幅差情報１１４は、第１の楽音と第２の楽音の各倍音について、周期毎の、絶対最大振幅値の差を記憶したものである。振幅差情報１１４は、これ以外にも単位時間当たりの振幅値の差を記憶しても良いし、あるいは周期毎の最大振幅の比を記憶しても良い。
【００２４】
図３は、各周期に対応して、第１の周期情報１１１、第１の振幅情報１１３、位相差情報１１２及び振幅差情報１１４を記憶したテーブルの例を示す図である。図３は、１倍音分の各情報である。第１の周期情報１１１及び第１の振幅情報１１３は、図２に示した倍音の情報である。このような記憶形態の他に、周期番号を変数とした関数を記憶してもよい。その関数は、周期情報合成手段１０２、振幅情報合成手段１０３、又は楽音合成手段１０４，１０５で合成する際に算出しても良い。
【００２５】
次に、周期情報合成手段１０２について説明する。周期情報合成手段１０２は、第１の周期情報１１１と位相差情報１１２を基に第２の周期情報を生成する。その詳細は、後に説明する。
【００２６】
次に、振幅情報合成手段１０３について説明する。振幅情報合成手段１０３は、第１の振幅情報１１３と振幅差情報１１４を基に第２の振幅情報を生成する。その詳細は、後に説明する。
【００２７】
次に、第１の楽音合成手段１０４について説明する。第１の楽音合成手段１０４は、第１の振幅情報１１３と第１の周期情報１１１を基に第１の楽音波形を生成する。この第１の楽音は、例えばステレオ楽音の左チャンネルの楽音波形である。すなわち、第１の周期情報１１１及び第１の振幅情報１１３は、左チャンネルの楽音の情報である。
【００２８】
次に、第２の楽音合成手段１０５について説明する。第２の楽音合成手段１０５は、振幅情報合成手段１０３の出力の第２の振幅情報と、周期情報合成手段１０２の出力の第２の周期情報とを基に第２の楽音波形を生成する。この第２の楽音は、例えばステレオ楽音の右チャンネルの楽音波形である。
【００２９】
位相差情報１１２及び振幅差情報１１４は、種々の音色の楽音に共通に使用しても、別に使用してもよい。すなわち、位相差情報１１２及び振幅差情報１１４は共通にして、種々のモノラル楽音の第１の周期情報１１１及び第１の振幅情報１１３を変えれば、種々のステレオの第１及び第２の楽音波形を生成することができる。
【００３０】
第１の楽音合成手段１０４及び第２の楽音合成手段１０５で合成された楽音は、図２７の楽音波形記憶手段２７１０に記憶する、あるいは、図２８のＤ／Ａ変換器、パワーアンプ及びスピーカなどから成る音響出力手段２７０９を経て放音しても良い。図２７及び図２８の詳細は、後に説明する。
【００３１】
以下に、周期情報合成手段１０２、振幅情報合成手段１０３、第１の楽音合成手段１０４及び第２の楽音合成手段１０５の動作を説明する。
【００３２】
図４は、周期情報合成手段１０２の処理を示すフローチャートである。周期情報合成手段１０２は、第１の周期情報１１１と位相差情報１１２を基に第２の周期情報を生成する。図中ｎは周期番号を示し、Ｎは第１の周期情報１１１及び位相差情報１１２の周期数であり、最終周期番号を示す。
【００３３】
ステップＳ４０１では、第１の周期情報１１１と位相差情報１１２を基に、第１周期の第２の周期情報を算出し、周期番号ｎを２にする。次に、ステップＳ４０２では、第１の周期情報１１１と位相差情報１１２を基に、第ｎ周期の第２の周期情報を算出する。次に、ステップＳ４０３では、周期番号ｎが最終周期番号Ｎと同じか否かを判定する。同じでなければステップＳ４０４へ進み、同じであれば処理を終了する。ステップＳ４０４では、周期番号ｎをインクリメント（１加算）する。その後、ステップＳ４０２へ戻り、同様の処理を繰り返す。これにより、第１〜第Ｎ周期の第２の周期情報を算出することができる。
【００３４】
ステップＳ４０１において、第１周期の第２の周期情報を算出する。この方法を式（１）〜（４）に記述する。
【００３５】
ｐ＝ｔ１（２）−ｔ１（１）          ・・・（１）
ａ＝ｔ１（１）／ｐ×３６０          ・・・（２）
ｂ＝ｍｏｄ｛ａ＋θ（１），３６０｝   ・・・（３）
ｔ２（１）＝ｂ／３６０×ｐ          ・・・（４）
【００３６】
上記式（１）〜（４）において、ｔ１は第１の周期情報（０クロス時間）１１１、θは位相差情報１１２、ｔ２が求める第２の周期情報を表す。その他、ｐは第１の楽音の第１周期の周期、ａは第１の楽音の第１周期の位相（°）、ｂは第２の楽音の第１周期の位相（°）、ｍｏｄは符号付剰余演算を表す。（）内の数字は周期番号を表す。
【００３７】
ステップＳ４０２において、第２〜第Ｎ周期の第２の周期情報を算出する。Ｎは最終周期番号である。この方法を式（５）〜（７）に記述する。
【００３８】
ｐ＝ｔ１（ｎ）−ｔ１（ｎ−１）                        ・・・（５）
Δθ＝θ（ｎ）−θ（ｎ−１）                          ・・・（６）
ｔ２（ｎ）＝（１＋Δθ／３６０）×ｐ＋ｔ２（ｎ−１）  ・・・（７）
【００３９】
上記式（５）〜（７）において、ｎは周期番号、ｐは第１楽音の第ｎ周期の周期、Δθは第２の楽音の第ｎ周期と前周期の位相差、他は式（１）〜（４）と同様である。
【００４０】
振幅情報合成手段１０３は、第１の振幅情報１１３と振幅差情報１１４を加算するだけである。式（８）と等価である。
Ａ２（ｎ）＝Ａ１（ｎ）＋ａ（ｎ）      ・・・（８）
【００４１】
上式においてＡ１は第１の振幅情報１１３、ａは振幅差情報１１４、Ａ２は求める第２の振幅情報であり、（）内の数は周期番号を表す。
【００４２】
図５に、第１の周期情報１１１及び位相差情報１１２を基に周期情報合成手段１０２によって算出された第２の周期情報と、第１の振幅情報１１３及び振幅差情報１１４を基に振幅情報合成手段１０３によって算出された第２の振幅情報の例を示す。
【００４３】
図６は、第２の楽音合成手段１０５の処理を示すのフローチャートである。第１の楽音合成手段１０４は、第２の楽音合成手段１０５と同様の動作をする。以下、第２の楽音合成手段１０５が、第２の周期情報と第２の振幅情報を基に第２の楽音を合成する処理を例に説明する。図中、ｋは第２の楽音のサンプルポイント、ｎは周期番号、ｔ２（ｎ＋１）は次の周期の０クロス時間（サンプルポイント）、ｗｌｅｎは第２の楽音の波形長（最終サンプルポイント）を示す。この値は図６の処理を開始する前に算出しておく。第２の周期情報、第２の振幅情報などはＮ周期分持つとする。
【００４４】
まず、ステップＳ６０１では、第ｎ周期の第２の周期情報と第２の振幅情報を基に第２の楽音の第ｋサンプルを算出する。すなわち、１サンプル分の第２の楽音を算出する。次に、ステップＳ６０２では、サンプルポイントｋをインクリメントする。次に、ステップＳ６０３では、サンプルポイントｋが次の周期の０クロス時間ｔ２（ｎ＋１）を越えたか否かを判定する。越えていなければステップＳ６０１に戻り、次のサンプルの算出を行う。越えていればステップＳ６０４へ進む。
【００４５】
ステップＳ６０４では、周期番号ｎをインクリメントする。次に、ステップＳ６０５では、周期番号ｎが最終周期番号Ｎか否かを判定する。最終周期番号Ｎでなければ、ステップＳ６０１に戻り、次のサンプルの算出を行う。最終周期番号Ｎであれば、ステップＳ６０６へ進む。
【００４６】
ステップＳ６０６では、第Ｎ周期の第２の周期情報と第２の振幅情報を基に第２の楽音の第ｋサンプルを算出する。すなわち、最終周期の第２の周期情報と第２の振幅情報から１サンプル分の第２の楽音を算出する。次に、ステップＳ６０７では、サンプルポイントｋが第２の楽音の波形長ｗｌｅｎを越えたか否かを判定する。越えていなければステップＳ６０８へ進み、越えていれば処理を終了する。
【００４７】
ステップＳ６０８では、サンプルポイントｋをインクリメントする。その後、ステップＳ６０６へ戻り、次のサンプルの算出を行う。
【００４８】
第２の楽音の波形長ｗｌｅｎを算出する式（９）を示す。
ｗｌｅｎ＝ｔ２（Ｎ）＋ｔ２（Ｎ）−ｔ２（Ｎ−１）      ・・・（９）
【００４９】
ステップＳ６０１において、第１〜第Ｎ−１周期までの波形を合成する。この処理を式（１０）〜（１２）に示す。
【００５０】
α＝｛ｋ−ｔ２（ｎ）｝／｛ｔ２（ｎ＋１）−ｔ２（ｎ）｝      ・・・（１０）
φ＝２πα                                                ・・・（１１）
ｘ（ｋ）＝Ａ２（ｎ）×ｓｉｎ（φ）                        ・・・（１２）
【００５１】
上記式（１０）〜（１２）において、ｋは求める楽音のサンプルポイント、ｎは周期番号、αは第ｎ周期の位相、φは第ｎ周期の位相（ｒａｄ）、ｘは求める第２の楽音波形、ｔ２は第２の周期情報、Ａ２は第２の振幅情報を表す。
【００５２】
次に、ステップＳ６０６において、第Ｎ周期の波形を合成する。この処理を式（１３）〜（１５）に示す。
【００５３】
αN＝｛ｋ−ｔ２（Ｎ）｝／｛ｔ２（Ｎ）−ｔ２（Ｎ−１）｝     ・・・（１３）
φN＝２πα                                               ・・・（１４）
ｘ（ｋ）＝Ａ２（Ｎ）×ｓｉｎ（φN）                       ・・・（１５）
【００５４】
上記式（１３）〜（１５）において、ｋは求める楽音のサンプルポイント、Ｎは最終周期番号、αNは最終周期Ｎの位相、φNは最終周期Ｎの位相（ｒａｄ）、ｘは求める第２の楽音波形、ｔ２は第２の周期情報、Ａ２は第２の振幅情報を表す。
【００５５】
図７に、実際に、第１の周期情報１１１、第１の振幅情報１１３、位相差情報１１２、振幅差情報１１４から作成した２チャンネルの楽音波形を示す。図中、実線で示されるのが第１の楽音７０１であり、点線で示されるのが第２の楽音７０２である。図７は、図５に示した第２の周期情報及び第２の振幅情報と一致した波形となっている。
【００５６】
本実施形態では、図２に示すように、４周期の波形について、４点の周期情報（０クロス時間）を記憶している。この場合、最終周期の周期を規定することができない。そこで、本実施形態では最終周期を、その１つ前の周期と同じとしている。これは式（９）、式（１３）からもわかる。周期情報のみ全周期数＋１の周期情報を持って、最終周期を規定しても良い。
【００５７】
以上、周期情報合成手段１０２、振幅情報合成手段１０３、楽音合成手段１０４，１０５の動作説明を終了する。
【００５８】
次に、音像が時間的に変化するステレオ楽音の合成について述べる。サンプリング周波数を４８０００Ｈｚとして、３つの倍音を持ち、波形の長さは３秒の第１の楽音を考える。これは１４４０００ポイントの長さとなる。１倍音から３倍音の周波数をそれぞれ、４４０Ｈｚ、８８０Ｈｚ、１３２０Ｈｚとすると、各周期数はそれぞれ１３２０、２６４０、３９６０である。
【００５９】
図８は上記の場合の第１の周期情報１１１を示す図、図９は上記の場合の第１の振幅情報１１３を示す図である。図８において、周期情報８０１は１倍音の第１の周期情報、周期情報８０２は２倍音の第１の周期情報、周期情報８０３は３倍音の第１の周期情報である。図９において、振幅情報９０１は１倍音の第１の振幅情報、振幅情報９０２は２倍音の第１の振幅情報、振幅情報９０３は３倍音の第１の振幅情報である。
【００６０】
もし全ての倍音の位相差情報１１２、振幅差情報１１４が０であれば、第２の楽音は第１の楽音とまったく同じ波形となり、モノラルの楽音となってしまう。各倍音の振幅差情報１１２及び位相差情報１１４は以下のとおりとする。
【００６１】
図１０は１倍音の位相差情報１１２を示す図、図１１は３倍音の振幅差情報１１４を示す図である。
【００６２】
図１０に示すように、１倍音の位相差情報１１２は第１周期から第６６０周期まで徐々に大きくなり、その位相差が９０°に達する。その後、第６６１周期から１３２０周期まで位相差は９０°のまま一定である。発音開始からの時間経過に沿って説明すると、発音開始直後から右側の位相が徐々に遅れていき、約１．５秒後にその遅れは９０°に達する。その後、約１．５秒間その遅れが保持される。ここで時間をあいまいに表記したのは位相変動により周期が変動しているためである。
【００６３】
１倍音の振幅差情報１１４は、第１周期から第１３２０周期まで０である。２倍音の位相差情報１１２と振幅差情報１１４は第１周期から２６４０周期までともに０である。３倍音の位相差情報１１２は第１周期から第３９６０周期まで０である。
【００６４】
図１１に示すように、３倍音の振幅差情報１１４は、第１周期から第１３２０周期まで０であり、第１３２１周期から第２６４０周期までは０から徐々に大きくなり、その振幅差が０．３に達する。第２６４１周期から第３９６０周期までは振幅差は０．３である。発音開始からの時間経過に沿って説明すると、発音直後から１秒間の間は倍音の動きはないが、１秒後から徐々に左側に対する右側の振幅が徐々に大きくなり２秒後にその差は０．３に達する。その後１秒間、その差が保持される。
【００６５】
図１０及び図１１は、変動のある１倍音の位相差情報１１２と、３倍音の振幅差情報１１４をそれぞれ示す。
【００６６】
図１２（Ａ）〜（Ｄ）は、各倍音の定位の動きを示す図である。聴取者１２０１が左スピーカ１２０２及び右スピーカ１２０３から発せられる楽音を聴く場合を説明する。黒丸１２１１〜１２１３は各倍音の定位を示す。定位１２１１は１倍音の定位、定位１２１２は２倍音の定位、定位１２１３は３倍音の定位を示す。点線１２１０は楽音全体の音像を示す。
【００６７】
図１２（Ａ）は、発音直後の楽音の音像１２１０を示す。まず発音開始の時点では全ての倍音の定位１２１１〜１２１３は中央に位置している。この時点ではモノラル音と同じであり、広がりは無い。
【００６８】
図１２（Ｂ）は、発音直後から１秒までの間の楽音の音像１２１０を示す。発音開始から１秒までは、１倍音は右側の位相が徐々に遅れていくので、１倍音の定位１２１１は左へ移動する。２倍音と３倍音の定位１２１２及び１２１３は動かない。１倍音の定位１２１１が移動するため、徐々に楽音全体の音像１２１０が大きくなる。
【００６９】
図１２（Ｃ）は、１秒から２秒までの間の楽音の音像１２１０を示す。１秒から２秒の間は、１倍音の位相差は、約１．５秒まで大きくなっていくので、約１．５秒まで１倍音の定位１２１１がさらに左へ移動し、その後は位相差の変化が無いためそのまま定位１２１１の移動は無くなる。２倍音の定位１２１２は動かない。３倍音は右側の振幅が左側の振幅に対して徐々に大きくなるので、その定位１２１３は右へ動いていく。１倍音の定位１２１１の他、３倍音の定位１２１３も動くためさらに楽音全体の音像１２１０が大きくなる。
【００７０】
図１２（Ｄ）は、２秒から３秒までの間の楽音の音像１２１０を示す。２秒から３秒の間は、どの倍音も振幅差変動及び位相差変動がないので、２秒の時点の定位が保持される。
【００７１】
このように各倍音の定位が、その振幅差あるいは位相差変動によって変化することで、楽音の音像が変化する。本実施形態では、第１の周期情報と位相差情報の倍音数が同じであったが、複数の倍音の第１の周期情報を用いる際に、共通の位相差情報を利用して、第２の周期情報を作成するなどしても良い。第１の振幅情報と振幅差情報についても同様である。また、倍音によっては、位相差情報と振幅差情報の双方を持たず、片方のみを有していても良い。
【００７２】
以上のように、本実施形態によれば、左右の２チャンネルで構成されるステレオの楽音を合成することができる。左右の互いに対応する倍音毎の振幅差及び／又は位相差を制御することで、所望の音像の楽音を合成することができる。また、電子楽器などにおいて、楽音の発音開始から消音までの時間経過に応じて、楽音の音像を制御することができる。
【００７３】
なお、位相差情報１１２及び振幅差情報１１４は、図１０及び図１１に示すように、時間経過に伴う情報として説明したが、時間経過にかかわらず一定値にしてもよい。また、位相差情報１１２及び振幅差情報１１４は、必ずしも両方が必要ではない。位相差情報１１２がない場合には、第１の周期情報１１１がそのまま第２の周期情報になる。また、振幅差情報１１４がない場合には、第１の振幅情報１１３がそのまま第２の振幅情報になる。
【００７４】
（第２の実施形態）
図１３は、本発明の第２の実施形態による楽音情報生成装置の構成例を示す図である。この図はそのまま楽音合成の工程図として見ても差し支えない。以下、各工程に沿って、本実施形態の動作を説明する。
【００７５】
第１の楽音情報記憶手段１３０１は、対象音波形情報１３２１及び基準音波形情報１３２２を記憶する。対象音分析手段１３０２は、対象音波形情報１３２１を基に第１の周期情報１３２６及び第１の振幅情報１３２７を算出する。基準音分析手段１３０３は、基準音波形情報１３２２を基に第２の周期情報１３２８、第３の周期情報１３３０、第２の振幅情報１３２９及び第３の振幅情報１３３１を算出する。
【００７６】
第１の周期情報１３２６及び第１の振幅情報１３２７は、対象音情報１３２３を構成する。第２の周期情報１３２８及び第２の振幅情報１３２９は、基準音左（Ｌ）チャンネル情報１３２４を構成する。第３の周期情報１３３０及び第３の振幅情報１３３１は、基準音右（Ｒ）チャンネル情報１３２５を構成する。第２の楽音情報記憶手段１３０４は、対象音情報１３２３、基準音左チャンネル情報１３２４及び基準音右チャンネル情報１３２５を記憶する。
【００７７】
位相差情報抽出手段１３０５は、第２の周期情報１３２８及び第３の周期情報１３３０を基に位相差情報１３３２を算出する。振幅差情報抽出手段１３０６は、第２の振幅情報１３２９及び第３の振幅情報１３３１を基に振幅差情報１３３３を算出する。位相重み情報供給手段１３０７は、位相重み情報１３３４を供給する。振幅重み情報供給手段１３０８は、振幅重み情報１３３５を供給する。
【００７８】
上記の情報１３２６〜１３３３に記された１〜Ｎの添え字は倍音の番号を表している。各情報１３２６〜１３３３は、楽音を構成する倍音毎の情報であり、楽音波形の時間経過に伴う情報を有する。
【００７９】
周期情報作成手段１３０９は、位相重み情報１３３４、位相差情報１３３２及び第１の周期情報１３２６を基に第４の周期情報１３３７を算出する。振幅情報作成手段１３１０は、振幅重み情報１３３５、振幅差情報１３３３及び第１の振幅情報１３２７を基に第４の振幅情報１３３８を算出する。第４の周期情報１３３７及び第４の振幅情報１３３８は、新たに作成された楽音情報１３３６を構成する。
【００８０】
楽音合成手段１３３１は、第４の周期情報１３３７及び第４の振幅情報１３３８を基に右チャンネルの楽音波形（作成音波形Ｒ）１３４０を合成する。対象音波形情報１３２１は、そのまま左チャンネルの楽音波形（作成音波形Ｌ）１３３９となる。以上より、左チャンネル波形１３３９と右チャンネル波形１３４０の２チャンネルのステレオ波形を合成することができる。
【００８１】
次に、第１の楽音情報記憶手段１３０１について説明する。対象音波形情報１３２１は、１チャンネルで構成されるモノラルの波形データである。基準音波形情報１３２２は、左右の２チャンネルで構成されるステレオの波形データである。対象音波形情報１３２１及び基準音波形情報１３２２は、同じ音程の楽音の情報である。
【００８２】
次に、対象音分析手段１３０２及び基準音分析手段１３０３について説明する。対象音分析手段１３０２及び基準音分析手段１３０３は、対象音及び基準音の分析を行う。ここでの分析は、楽音（対象音及び基準音）の倍音毎の周期情報と振幅情報を得ることである。次の手順で行う。まず、楽音から各倍音を抽出するためのＢＰＦ（バンドパスフィルタ）を設計するために、周波数分析を行う。周波数分析の結果より、ＢＰＦの通過域を規定するためのＢＰＤ（バンドパスデータ）を作成する。
【００８３】
図１４は、周波数分析の結果を示す図である。実線１４０１は１倍音の周波数ピーク、実線１４０２は２倍音の周波数ピーク、実線１４０３は３倍音の周波数ピークを表す。点線は、それぞれのＢＰＦの通過域を示す。この例では、３つの倍音の周波数ピーク１４０１〜１４０３が抽出されている。ＢＰＦの通過域は、それぞれｆ１〜ｆ２、ｆ３〜ｆ４、ｆ５〜ｆ６となる。
【００８４】
図１５は、ＢＰＤとして記憶されるテーブルの構成例を示す図である。このＢＰＤを基にＢＰＦを設計し、倍音の抽出を行う。
【００８５】
周波数分析の方法はＦＦＴ（高速フーリエ変換）など公知の技術を使用する。またＢＰＦの設計、楽音のフィルタ処理も公知の技術を使用する。
【００８６】
続いて、抽出した倍音より周期情報と振幅情報を作成する。周期情報は、倍音の０クロス時間を周期毎に検出したものとする。また、振幅情報は周期毎の振幅値を検出したものとする。
【００８７】
図１６は、周期情報と振幅情報を説明するための図であり、ＢＰＦで抽出された倍音の波形を示す。太線と矢印で示されているのが振幅値の振幅情報である。また黒丸で示されているのが０クロス時間の周期情報である。この図では横軸はサンプリングポイント単位の時間で表されている。したがって、周期情報もサンプリングポイント単位で表されることとなる。
【００８８】
図１７は、周期情報と振幅情報を示す図である。周期情報及び振幅情報は、波形の先頭から終わりに向かって周期ごとに管理される。０クロス時間及び振幅値を検出する手法は、一般に知られている技術を用いる。本実施形態では、１つの倍音について示したが、実際には全ての倍音について周期情報及び振幅情報が算出される。
【００８９】
図１８は、対象音情報１３２３、基準音左チャンネル情報１３２４、基準音右チャンネル情報１３２５のある倍音の分析結果の例を示す図である。倍音の次数（倍音番号）は、同じとする。
【００９０】
図１９は、位相差情報抽出手段１３０５の処理を示すフローチャートである。ステップＳ１９０１では、基準音左チャンネル情報１３２４の第２の周期情報１３２８と、全ての周期の振幅値を１に置き換えた基準音左チャンネル情報１３２４の第２の振幅情報（第２の振幅情報の値を全て１に置き換えたもの）を基に第１の位相差情報抽出用波形を合成する。全ての周期の振幅値を１に置き換えているので、まったく振幅変動が無く、周期のみが変動する正弦波が合成される。
【００９１】
次に、ステップＳ１９０２では、同様に、基準音右チャンネル情報１３２５の第３の周期情報１３３０と、全ての周期の振幅値を１に置き換えた基準音右チャンネル情報１３２５の第３の振幅情報（第３の振幅情報の値を全て１に置き換えたもの）を基に第２の位相差情報抽出用波形を合成する。
【００９２】
次に、ステップＳ１９０３では、第１の位相差情報抽出用波形の第ｎポイントの値を逆正弦関数によって角度（ｒａｄ）に変換し、さらにこれを角度（ｄｅｇ）に変換する。これを第１の角度情報とする。同様に、第２の位相差情報抽出用波形の第ｎポイントの値より第２の角度情報を算出する。第１の角度情報より第２の角度情報を減算し、第ｎポイントの位相差情報を得る。
【００９３】
次に、ステップＳ１９０４では、サンプリングポイントｎがＮと同じか否かを判定する。Ｎは第１及び第２の位相差情報抽出用波形の内、短いほうの波形の最終ポイントである。同じでなければステップＳ１９０５へ進み、同じであれば処理を終了する。
【００９４】
ステップＳ１９０５では、サンプリングポイントｎをインクリメントする。その後、ステップＳ１９０３へ戻り、同様の処理を繰り返す。これにより、第１ポイントから第Ｎポイントまで繰り返される。
【００９５】
以下に、ステップＳ１９０３の計算式（１６）〜１９）を示す。
ｒ１（ｎ）＝ｓｉｎ-1｛ａ１（ｎ）｝×１８０／π      ・・・（１６）
ｒ２（ｎ）＝ｓｉｎ-1｛ａ２（ｎ）｝×１８０／π      ・・・（１７）
ｒ＝ｒ                        ｛ｒ＞０，ａ（ｎ−１）≦ａ（ｎ＋１）｝
ｒ＝ａｂｓ（ｒ−９０）＋９０  ｛ｒ＞０，ａ（ｎ−１）＞ａ（ｎ＋１）｝
ｒ＝ｒ＋３６０                ｛ｒ＜０，ａ（ｎ−１）≦ａ（ｎ＋１）｝
ｒ＝１８０−ｒ                ｛ｒ＜０，ａ（ｎ−１）＞ａ（ｎ＋１）｝
ｒ＝ｒ                        ｛ｒ＝０，ａ（ｎ−１）＜ａ（ｎ＋１）｝
ｒ＝１８０                    ｛ｒ＝０，ａ（ｎ−１）≧ａ（ｎ＋１）｝
・・・（１８）
ｄｒ（ｎ）＝ｒ１（ｎ）−ｒ２（ｎ）          ｒ１（ｎ）−ｒ２（ｎ）≧０
ｄｒ（ｎ）＝ｒ１（ｎ）−ｒ２（ｎ）＋３６０  ｒ１（ｎ）−ｒ２（ｎ）＜０
・・・（１９）
【００９６】
上記式（１６）または式（１７）でｒ１またはｒ２が算出された後、それらは式（１８）によって値を補正される。これは通常逆正弦関数が−２／π〜２／πの値しか返さないため、正弦波の勾配を見て正しい位相を決定する必要があるためである。
【００９７】
上記式において、ａ１及びａ２は、第１及び第２の位相差情報抽出用波形であり、ｒ１及びｒ２は、第１及び第２の角度（ｄｅｇ）を示す。ｄｒは位相差情報である。ｎはサンプルポイントを表す。
【００９８】
図２０に、図１８に示した基準音左チャンネル情報１３２４の第２の周期情報１３２８及び基準音右チャンネル情報１３２５の第３の周期情報１３３０から抽出した位相差情報１３３２を示す。
【００９９】
次に、振幅差情報抽出手段１３０６について説明する。振幅差情報抽出手段１３０６は、互いに対応する周期の基準音左チャンネル情報１３２４の第２の振幅情報１３２９から基準音右チャンネル情報１３２５第３の振幅情報１３３１を除算して、振幅差情報１３３３を求める。これを式（２０）に示す。
ｄＡ（ｎ）＝Ａ３（ｎ）／Ａ２（ｎ）      ・・・（２０）
【０１００】
上式において、Ａ２は基準音左チャンネル情報１３２４の第２の振幅情報１３２９、Ａ３は基準音右チャンネル情報１３２５の第３の振幅情報１３３１、ｄＡは振幅差情報１３３３、ｎは周期番号を表す。
【０１０１】
図１８の分析結果では、基準音左チャンネル情報１３２４は１１周期、基準音右チャンネル情報１３２５は１２周期あるので、振幅差情報１３３３は１１周期分求まる。あるいは１２周期目の振幅差情報１３３３は０とする、あるいは１１周期目の振幅差情報と同じにするなどしても良い。
【０１０２】
次に、位相重み情報供給手段１３０７と振幅重み情報供給手段１３０８について説明する。位相重み情報供給手段１３０７は、算出された位相差情報１３３２の重み情報１３３４を供給する。重み情報１３３４は、図１８の分析結果のように、周期毎のテーブルとして記憶しておいても良いし、全周期にわたって共通の１つの値を記憶しておいても良い。振幅重み情報供給手段１３０８も同様である。また各倍音に対し共通であっても良い。また位相重み情報１３３４と振幅重み情報１３３５を共通にしても良い。本実施形態では、全倍音、全周期に渡って共通であり、位相重み情報１３３４と振幅重み情報１３３５が共通であることとする。
【０１０３】
本実施形態は、基準音波形情報１３２２のステレオ楽音の音像を、対象となる対象音波形情報１３２１のモノラル信号に移植し、基準音波形情報１３２２のステレオ信号と同様の音像を持つステレオ楽音を合成するものである。
【０１０４】
ステレオ楽音の音像は、各倍音の定位の分布によって形成される。各倍音の定位は、対応する左右チャンネルの波形の位相差及び振幅差によって決定され、これらの差が小さいほど倍音の定位は左右２つのスピーカの中央に位置する。逆に、これらの差が大きければ定位は、左あるいは右のスピーカに近い位置となる。よって、このような重み付け手段を持つことで、各倍音の位相差あるいは振幅差を制御することが可能となる。これにより合成されたステレオ楽音の音像を、基準音に対して、大きくしたり、小さくしたりすることができる。
【０１０５】
次に、周期情報作成手段１３０９について説明する。周期情報作成手段１３０９は、対象音情報１３２３の第１の周期情報１３２６と、位相差情報１３３２と、位相重み情報１３３４とを基に第４の周期情報１３３７を算出する。第４の周期情報１３３７は、対象音波形情報１３２１をステレオ波形の片側チャンネル（左チャンネル）の波形としたときにもう一方のチャンネル（右チャンネル）の楽音を合成するための周期情報である。大まかな流れとしては、第１の周期情報１３２６を第１の位相情報に変換し、これに位相差情報１３３２を加えて、第４の周期情報１３３７を算出する。
【０１０６】
図２１は、周期情報作成手段１３０９の処理を示すフローチャートである。まず、ステップＳ２１０１では、次式により、第１周期目の第４の周期情報１３３７の算出を行う。
【０１０７】
θ１（１）＝３６０×Ｃ１（１）／｛Ｃ１（２）−Ｃ１（１）｝      ・・・（２１）
θ４（１）＝ｍｏｄ｛θ１（１）＋ｄｒ（１）×ｗ，３６０｝       ・・・（２２）
Ｃ４（１）＝θ４（１）×｛Ｃ１（２）−Ｃ１（１）｝／３６０      ・・・（２３）
【０１０８】
上記式において、Ｃ１は第１の周期情報１３２６、θ１は第１の位相情報、θ４は第４の位相情報、ｄｒは位相差情報１３３２であり式（１８）で得られたものである。Ｃ４は第４の周期情報１３３７である。（）内の数字は周期番号であるが、ｄｒについてのみはサンプルポイントである。ｍｏｄは剰余演算子である。ｗは位相重み情報１３３４である。
【０１０９】
次に、ステップＳ２１０２では、第２周期から最終第Ｎ周期までの第４の周期情報１３３７の算出を行う。
【０１１０】
図２２は、ステップＳ２１０２の処理の詳細を示すフローチャートである。まず、ステップＳ２２０１では、次式により、第ｎ周期目の位相差情報を示すための位相差情報ポインタ（位置）ｐ（ｎ）を算出する。
ｐ（ｎ）＝ｒｏｕｎｄ［Ｃ１（ｎ−１）／｛Ｃ１（ｎ）−Ｃ１（ｎ−１）｝
・・・（２４）
ここで、上記式のｐはポインタ（位置）である。ｒｏｕｎｄは整数への丸め演算子である。
【０１１１】
次に、ステップＳ２２０２では、前周期のポインタから式（２４）で求めた現周期のポインタまでを微分する。これをδｄｒとする。さらにこの中の絶対最大値δｄｒmaxを抽出し、そのポインタｐδdrも抽出する。
【０１１２】
次に、ステップＳ２２０３では、絶対最大値δｄｒmax、δｄｒの１〜ｐδdr−１ポイントまでの積分値ｘ１、δｄｒのｐδdr＋１ポイント〜Ｋまでの積分値ｘ２などの条件で場合分けして、第ｎ周期と第ｎ−１周期の位相差の変化量を算出する。Ｋはδｄｒの最終ポイントである。以下にこの処理の式を示す。
【０１１３】
【数１】
0004512008.tif 000002
【０１１４】
Δｒ＝３６０−ｄｒ｛ｐ（ｎ−１）｝＋ｄｒ｛ｐ（ｎ）｝
｛δｄｒmax＞θM，ｘ１＞０，ｘ２＞０｝
Δｒ＝−［ｄｒ｛ｐ（ｎ−１）｝＋３６０−ｄｒ｛ｐ（ｎ）｝］
｛δｄｒmax＞θM，ｘ１＜０，ｘ２＜０｝
Δｒ＝ｄｒ｛ｐ（ｎ）｝−ｄｒ｛ｐ（ｎ−１）｝
｛δｄｒmax≦θM｝
・・・（２７）
【０１１５】
この処理は、位相差の変化量が３６０°に近くなった場合、適切な変化量に変更するものである。位相差の変化量が３６０°になることは、通常の安定した波形では発生しない。よって、このような特異な現象を防ぐためのものである。
【０１１６】
式（２７）のθMは位相差の最大値を規定するものであり、任意に設定してよい。本実施形態の計算では３５０°としている。またΔｒは求める変化量である。
【０１１７】
次に、ステップＳ２２０４では、０クロス時間を算出することにより、第４の周期情報Ｃ４（ｎ）を算出する。これを式（２８）に示す。
Ｃ４（ｎ）＝（１＋Δｒ／３６０）×｛Ｃ１（ｎ）−Ｃ１（ｎ−１）｝＋Ｃ４（ｎ−１）
・・・（２８）
この演算が完了すると、図２１のメインルーチンヘもどる。
【０１１８】
図２１のステップＳ２１０３では、周期番号ｎと最終周期番号Ｎとを比較し、最終周期番号Ｎまで演算が終わったか否かを判定する。終了していなければステップＳ２１０４へ進み、終了していれば処理を終了する。ステップＳ２１０４では、周期番号ｎをインクリメントする。その後、ステップＳ２１０２へ戻り、次の周期番号の周期の算出を行う。
【０１１９】
次に、振幅情報作成手段１３１０について説明する。振幅情報作成手段１３１０は、次式（２９）により、第１の振幅情報１３２７に、重み情報ｗ１で重み付けした振幅差情報１３３３を加算し、第４の振幅情報１３３８を得る。
Ａ４（ｎ）＝Ａ１（ｎ）＋ｄＡ（ｎ）×ｗ１      ・・・（２９）
【０１２０】
式（２９）のＡ４は第４の振幅情報１３３８、Ａ１は第１の振幅情報１３２７、ｄＡは振幅差情報１３３３であり、ｎは周期番号であり、ｗ１は振幅重み情報１３３５である。
【０１２１】
図２３に、上記の演算によって算出された第４の周期情報１３３７及び第４の振幅情報１３３８を示す。
【０１２２】
次に、楽音合成手段１３１１について説明する。楽音合成手段１３１１は、第４の周期情報１３３７及び第４の振幅情報１３３８を基に対象音の逆チャンネルの波形を対象音右チャンネル波形として合成する。またこの楽音合成手段１３１１は、位相差情報抽出手段１３０５において、第１の位相差抽出用波形と第２の位相差抽出用波形の合成も行う。本実施形態では、第４の周期情報１３３７及び第４の振幅情報１３３８を基に対象音の逆チャンネルの波形を合成する場合について説明する。
【０１２３】
図２４は、楽音合成手段１３１１の処理を示すフローチャートである。図中、ｋは対象音右チャンネル波形のサンプルポイント、ｎは周期番号、Ｃ４は第４の周期情報（０クロス時間）、ｗｌｅｎは対象音右チャンネル波形の波形長（最終サンプルポイント）を示す。この値は、図２４の処理を開始する前に算出しておく。周期情報、振幅情報などはＮ周期分持つとする。
【０１２４】
まず、ステップＳ２４０１では、第ｎ周期の第４の周期情報１３３７及び第４の振幅情報１３３８を基に１サンプル分の第ｋサンプルの対象音右チャンネル（Ｒｃｈ）波形を算出する。次に、ステップＳ２４０２では、サンプルポイントｋをインクリメントする。次に、ステップＳ２４０３では、サンプルポイントｋが次の周期の０クロス時間Ｃ４（ｎ＋１）を越えたか否か判定する。越えていなければ、ステップＳ２４０１へ戻り、次のサンプルの算出を行う。越えていれば、ステップＳ２４０４へ進む。
【０１２５】
ステップＳ２４０４では、周期番号ｎをインクリメントする。次に、ステップＳ２４０５では、周期番号ｎが最終周期Ｎか否かを判定する。最終周期Ｎでなければ、ステップＳ２４０１へ戻り、次のサンプルの算出を行う。最終周期Ｎであれば、ステップＳ２４０６へ進む。
【０１２６】
ステップＳ２４０６では、最終周期Ｎの第４の周期情報１３３７及び第４の振幅情報１３３８を基に１サンプル分の第ｋサンプルの対象音右チャンネル波形を算出する。次に、ステップＳ２４０７では、サンプルポイントｋが対象音右チャンネル波形の波形長ｗｌｅｎを越えたか否かを判定する。越えていなければステップＳ２４０８へ進み、越えていれば処理を終了する。ステップＳ２４０８では、サンプルポイントｋをインクリメントする。その後、ステップＳ２４０６に戻り、次のサンプルの算出を行う。
【０１２７】
対象音右チャンネル波形の波形長ｗｌｅｎを算出する式（３０）を示す。
ｗｌｅｎ＝Ｃ４（Ｎ）＋Ｃ４（Ｎ）−Ｃ４（Ｎ−１）      ・・・（３０）
【０１２８】
ステップＳ２４０１において、第１〜第Ｎ−１周期までの波形を合成する。この処理を式（３１）〜（３３）に示す。
【０１２９】
α＝｛ｋ−Ｃ４（ｎ）｝／｛Ｃ４（ｎ＋１）−Ｃ４（ｎ）｝      ・・・（３１）
φ＝２πα                                                ・・・（３２）
ｘ（ｋ）＝Ａ４（ｎ）×ｓｉｎ（φ）                        ・・・（３３）
【０１３０】
上記式（３１）〜（３３）において、ｋは求める楽音のサンプルポイント、ｎは周期番号、αはｎ周期の位相、φはｎ周期の位相（ｒａｄ）、ｘは求める対象音右チャンネル波形、Ｃ４は第４の周期情報１３３７、Ａ４は第４の振幅情報１３３８を表す。
【０１３１】
次に、ステップＳ２４０６において、第Ｎ周期の波形を合成する。この処理を式（３４）〜（３６）に示す。
【０１３２】
αN＝｛ｋ−Ｃ４（Ｎ）｝／｛Ｃ４（Ｎ）−Ｃ４（Ｎ−１）      ・・・（３４）
φN＝２πα                                               ・・・（３５）
ｘ（ｋ）＝Ａ４（Ｎ）×ｓｉｎ（φN）                       ・・・（３６）
【０１３３】
上記式（３４）〜（３６）において、ｋは求める楽音のサンプルポイント、Ｎは最終周期番号、αNは最終周期Ｎの位相、φNは最終周期Ｎの位相（ｒａｄ）、ｘは求める対象音右チャンネル波形、Ｃ４は第４の周期情報１３３７、Ａ４は第４の振幅情報１３３８を表す。
【０１３４】
図２５は、予め記憶されていた対象音２５０１と、楽音合成手段１３１１で合成した対象音右チャンネル波形２５０２を示す図である。また図２６は、基準音左チャンネル波形２６０１及び基準音右チャンネル波形２６０２を示す図である。これら２つの図を見比べると、図２５の対象音２５０１と対象音右チャンネル波形２５０２との差と、図２６の基準音左チャンネル波形２６０１と基準音右チャンネル波形２６０２との差が似通っていることがわかる。例えば、左チャンネル波形２５０１及び２６０１に対して右チャンネル波形２５０２及び２６０２の位相が徐々に進んでいる。また各周期の振幅の違いも似通っている。
【０１３５】
以上のように、対象音の各倍音に対してそれに対応する逆チャンネルの波形を合成することができる。これによって対象音を、基準音の音像を持つステレオ音に変換することができる。本実施形態では、対象音波形情報は左右の２チャンネルで構成されるステレオの波形データでも良く、この場合は左右の内どちらかのチャンネルの波形を対象音とすることとなる。
【０１３６】
基準となるステレオ信号（左右の２チャンネルから成る音）の位相差、振幅差情報を抽出し、モノラルの信号に与え、元のモノラル信号と位相差及び／又は振幅差を付与したモノラル信号とで、ステレオ信号を合成することができる。これにより、基準となるステレオ信号の音像を、モノラル信号に与えることができる。すなわち、ある楽器の音を収音したモノラル信号に、別の所望の音像を持ったステレオ信号の位相差及び／又は振幅差情報を、倍音毎に反映させることで、モノラル信号を所望の音像を持ったステレオ信号に変換することができる。
【０１３７】
なお、位相差情報１３３２及び振幅差情報１３３３は、時間経過に伴う情報として説明したが、時間経過にかかわらず一定値にしてもよい。また、位相差情報抽出手段１３０５及び振幅差情報抽出手段１３０６は、必ずしも両方が必要ではない。位相差情報抽出手段１３０５がない場合には、第１の周期情報１３２６がそのまま第４の周期情報１３３７になり、周期情報作成手段１３０９が不要になる。また、振幅差情報抽出手段１３０６がない場合には、第１の振幅情報１３２７がそのまま第４の振幅情報１３３８になり、振幅情報作成手段１３１０が不要になる。また、位相重み情報１３３４及び振幅重み情報１３３５は、必ずしも必要でない。
【０１３８】
（第３の実施形態）
図２７は、本発明の第３の実施形態による電子楽器の構成例を示すブロック図である。バス２７０１には、ＣＰＵ２７０２、外部記憶装置２７０４、ＲＯＭ２７０５、ＲＡＭ２７０６、楽音情報記憶手段２７０７及び音源２７０８が接続される。演奏手段２７０３は、ＣＰＵ２７０２に接続される。音響出力手段２７０９及び楽音波形記憶手段２７１０は、音源２７０８に接続される。
【０１３９】
楽音波形記憶手段２７１０には、第１又は第２の実施形態により生成された左右２チャンネルのステレオ楽音波形が記憶される。この電子楽器は、楽音波形記憶手段２７１０からそのステレオ楽音波形を読み出し、発音させる。
【０１４０】
演奏手段２７０３は、鍵盤及びペダルなどの演奏操作子を含む。ＣＰＵ２７０２は、演奏手段２７０３の演奏操作状況（操作された鍵番号及び操作の強さなど）の演奏情報を得ることができる。ＣＰＵ２７０２は、電子楽器全体を制御するものである。ＲＯＭ２７０５は、ＣＰＵ２７０２が処理するコンピュータプログラムを記憶する。ＲＡＭ２７０６は、演奏情報などを記憶したり、演算に使用する記憶領域である。外部記憶装置２７０４は、フレキシブルディスク、コンパクトディスク（ＣＤ）などの記録媒体である。ＣＰＵ２７０２は、これらの記録媒体より楽音情報及び楽音波形などを読み出し、楽音情報記憶手段２７０７及び楽音波形記憶手段２７１０に記憶しても良い。また、ＣＰＵ２７０２は、インターネットなどを介して上記の情報を読み出しても良い。
【０１４１】
演奏者が演奏手段２７０３を用いて演奏操作を行うと、演奏手段２７０３はＣＰＵ２７０２に演奏情報を出力する。例えば、鍵盤を押鍵すると、キーオン信号がＣＰＵ２７０２に出力される。ＣＰＵ２７０２は、演奏情報に応じた楽音情報を読み出し、演奏情報及び楽音情報を音源２７０８に与える。音源２７０８は、与えられた楽音情報と演奏情報に応じた楽音波形を楽音波形記憶手段２７１０から読み出し、楽音を合成する。この楽音合成は、読み出した楽音波形にエンベロープを与え、複数読み出した波形を加算する処理等である。この際、音源２７０８は、第１又は第２の実施形態により生成された左右２チャンネルのステレオ楽音波形を読み出す。音響出力手段２７０９は、Ｄ／Ａ変換器、パワーアンプ、スピーカ、ヘッドフォンなどで構成され、音源２７０８から出力された楽音を音響的に発生する。スピーカは、左右２チャンネルのステレオスピーカであり、音源２７０８から出力された２チャンネルのステレオ楽音を発音する。
【０１４２】
（第４の実施形態）
図２８は、本発明の第４の実施形態による電子楽器の構成例を示すブロック図である。図２８の電子楽器は、図２７の電子楽器から楽音波形記憶手段２７１０を削除したものである。本実施形態は、第１又は第２の実施形態により生成された２チャンネルのステレオ楽音波形を記憶せず、楽音情報より波形を合成する。すなわち、本実施形態の電子楽器は、第１又は第２の実施形態による楽音情報生成装置を有し、楽音波形の合成を行う。
【０１４３】
演奏手段２７０３は、鍵盤及びペダルなどの演奏操作子を含む。ＣＰＵ２７０２は、演奏手段２７０３の演奏操作状況（操作された鍵番号及び操作の強さなど）の演奏情報を得ることができる。ＣＰＵ２７０２は、電子楽器全体を制御するものである。ＲＯＭ２７０５は、ＣＰＵ２７０２が処理するコンピュータプログラムを記憶する。ＲＡＭ２７０６は、演奏情報などを記憶したり、演算に使用する記憶領域である。外部記憶装置２７０４は、フレキシブルディスク、コンパクトディスク（ＣＤ）などの記録媒体である。ＣＰＵ２７０２は、これらの記録媒体より楽音情報などを読み出し、楽音情報記憶手段２７０７に記憶しても良い。また、ＣＰＵ２７０２は、インターネットなどを介して上記の情報を読み出しても良い。
【０１４４】
演奏者が演奏手段２７０３を用いて演奏操作を行うと、演奏手段２７０３はＣＰＵ２７０２に演奏情報を出力する。例えば、鍵盤を押鍵すると、キーオン信号がＣＰＵ２７０２に出力される。ＣＰＵ２７０２は、演奏情報に応じた楽音情報を読み出し、演奏情報及び楽音情報を音源２７０８に与える。音源２７０８は、与えられた楽音情報と演奏情報に応じた楽音を合成する。すなわち、音源２７０８は、第１又は第２の実施形態による楽音合成を行い、左右２チャンネルのステレオ楽音波形を生成する。また、この楽音合成は、読み出した楽音波形にエンベロープを与え、複数読み出した波形を加算する処理等も含む。音響出力手段２７０９は、Ｄ／Ａ変換器、パワーアンプ、スピーカ、ヘッドフォンなどで構成され、音源２７０８から出力された楽音を音響的に発生する。スピーカは、左右２チャンネルのステレオスピーカであり、音源２７０８から出力された２チャンネルのステレオ楽音を発音する。
【０１４５】
第３及び第４実施形態は、ＣＰＵ２７０２を含むコンピュータがプログラムを実行することによって実現することができる。また、プログラムをコンピュータに供給するための手段、例えばかかるプログラムを記録したＣＤ−ＲＯＭ等のコンピュータ読み取り可能な記録媒体又はかかるプログラムを伝送するインターネット等の伝送媒体も本発明の実施形態として適用することができる。また、上記のプログラムを記録したコンピュータ読み取り可能な記録媒体等のコンピュータプログラムプロダクトも本発明の実施形態として適用することができる。上記のプログラム、記録媒体、伝送媒体及びコンピュータプログラムプロダクトは、本発明の範疇に含まれる。記録媒体としては、例えばフレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【０１４６】
なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
【図面の簡単な説明】
【０１４７】
【図１】本発明の第１の実施形態による楽音情報生成装置の構成例を示す図である。
【図２】第１の周期情報及び第１の振幅情報を説明するための図である。
【図３】各周期に対応して、第１の周期情報、第１の振幅情報、位相差情報及び振幅差情報を記憶したテーブルの例を示す図である。
【図４】周期情報合成手段の処理を示すフローチャートである。
【図５】第１の周期情報及び位相差情報を基に周期情報合成手段によって算出された第２の周期情報と、第１の振幅情報及び振幅差情報を基に振幅情報合成手段によって算出された第２の振幅情報の例を示す図である。
【図６】第２の楽音合成手段の処理を示すのフローチャートである。
【図７】実際に、第１の周期情報、第１の振幅情報、位相差情報、振幅差情報から作成した２チャンネルの楽音波形を示す図である。
【図８】第１の周期情報を示す図である。
【図９】第１の振幅情報を示す図である。
【図１０】１倍音の位相差情報を示す図である。
【図１１】３倍音の振幅差情報を示す図である。
【図１２】図１２（Ａ）〜（Ｄ）は各倍音の定位の動きを示す図である。
【図１３】本発明の第２の実施形態による楽音情報生成装置の構成例を示す図である。
【図１４】周波数分析の結果を示す図である。
【図１５】ＢＰＤとして記憶されるテーブルの構成例を示す図である。
【図１６】周期情報と振幅情報を説明するための図である。
【図１７】周期情報と振幅情報を示す図である。
【図１８】対象音情報、基準音左チャンネル情報、基準音右チャンネル情報のある倍音の分析結果の例を示す図である。
【図１９】位相情報抽出手段の処理を示すフローチャートである。
【図２０】図１８に示した基準音左チャンネル情報の第２の周期情報及び基準音右チャンネル情報の第３の周期情報から抽出した位相差情報を示す図である。
【図２１】周期情報作成手段の処理を示すフローチャートである。
【図２２】図２１のステップＳ２１０２の処理の詳細を示すフローチャートである。
【図２３】第４の周期情報及び第４の振幅情報を示す図である。
【図２４】楽音合成手段の処理を示すフローチャートである。
【図２５】予め記憶されていた対象音と、楽音合成手段で合成した対象音右チャンネル波形を示す図である。
【図２６】基準音左チャンネル波形及び基準音右チャンネル波形を示す図である。
【図２７】本発明の第３の実施形態による電子楽器の構成例を示すブロック図である。
【図２８】本発明の第４の実施形態による電子楽器の構成例を示すブロック図である。
【図２９】図２９（Ａ）及び（Ｂ）は楽音の音像を説明するための図である。
【図３０】楽音の音像の時間変化を示す図である。
【符号の説明】
【０１４８】
１０１  楽音情報記憶手段
１０２  周期情報合成手段
１０３  振幅情報合成手段
１０４  第１の楽音合成手段
１０５  第２の楽音合成手段
１３０１  第１の楽音情報記憶手段
１３０２  対象音分析手段
１３０３  基準音分析手段
１３０４  第２の楽音情報記憶手段
１３０５  位相差情報抽出手段
１３０６  振幅差情報抽出手段
１３０７  位相重み情報供給手段
１３０８  振幅重み情報供給手段
１３０９  周期情報作成手段
１３１０  振幅情報作成手段
１３１１  楽音合成手段
【図１】
0004512008.tif 000003
【図２】
0004512008.tif 000004
【図３】
0004512008.tif 000005
【図４】
0004512008.tif 000006
【図５】
0004512008.tif 000007
【図６】
0004512008.tif 000008
【図７】
0004512008.tif 000009
【図８】
0004512008.tif 000010
【図９】
0004512008.tif 000011
【図１０】
0004512008.tif 000012
【図１１】
0004512008.tif 000013
【図１２】
0004512008.tif 000014
【図１３】
0004512008.tif 000015
【図１４】
0004512008.tif 000016
【図１５】
0004512008.tif 000017
【図１６】
0004512008.tif 000018
【図１７】
0004512008.tif 000019
【図１８】
0004512008.tif 000020
【図１９】
0004512008.tif 000021
【図２０】
0004512008.tif 000022
【図２１】
0004512008.tif 000023
【図２２】
0004512008.tif 000024
【図２３】
0004512008.tif 000025
【図２４】
0004512008.tif 000026
【図２５】
0004512008.tif 000027
【図２６】
0004512008.tif 000028
【図２７】
0004512008.tif 000029
【図２８】
0004512008.tif 000030
【図２９】
0004512008.tif 000031
【図３０】
0004512008.tif 000032