(57)【特許請求の範囲】
【請求項１】
録音サンプリング周波数で、楽器の音をサンプリングして採取した楽音波形データを音色データメモリに記憶し、該音色データメモリから楽音波形データを読み出して楽音を生成する楽音生成方法において、
前記楽器の音を、前記録音サンプリング周波数より高い周波数でサンプリングして採取し、第１の楽音波形データとして第１のメモリに記憶し、
前記第１のメモリに記憶された第１の楽音波形データを前記録音サンプリング周波数でダウンサンプリングして得られたデータを、第２の楽音波形データとして第２のメモリに記憶し、
前記第１の楽音波形データを前記録音サンプリング周波数でダウンサンプリングすることによって失われる周波数域の周波数スペクトルに基づいたフォルマントデータを前記第１の楽音波形データから生成し、
前記第２の楽音波形データと前記生成されたフォルマントデータを対応付けて前記音色データメモリに記憶し、
楽音を生成する場合には、
前記音色データメモリに記憶された第２の楽音波形データから楽音波形サンプルを生成し、
前記音色データメモリに記憶された、前記第２の楽音波形データに対応付けられたフォルマントデータに基づいてフォルマント音を合成し、
前記生成された楽音波形サンプルに前記合成されたフォルマント音を加算して出力する
ことを特徴とする楽音生成方法。
【請求項２】
録音サンプリング周波数で、楽器の音をサンプリングして採取した楽音波形データを音色データメモリに記憶し、該音色データメモリから楽音波形データを読み出して楽音を生成する楽音生成装置において、
前記楽器の音を、前記録音サンプリング周波数より高い周波数でサンプリングして採取し、第１の楽音波形データとして第１のメモリに記憶させる第１の記憶手段と、
前記第１のメモリに記憶された第１の楽音波形データを前記録音サンプリング周波数でダウンサンプリングして得られたデータを、第２の楽音波形データとして第２のメモリに記憶させる第２の記憶手段と、
前記第１の楽音波形データを前記録音サンプリング周波数でダウンサンプリングすることによって失われる周波数域の周波数スペクトルに基づいたフォルマントデータを前記第１の楽音波形データから生成するフォルマントデータ生成手段と、
前記第２の楽音波形データと前記フォルマントデータ生成手段によって生成されたフォルマントデータを対応付けて前記音色データメモリに記憶させる第３の記憶手段と、
前記音色データメモリに記憶された第２の楽音波形データから楽音波形サンプルを生成する楽音波形サンプル生成手段と、
前記音色データメモリに記憶された、前記第２の楽音波形データに対応付けられたフォルマントデータに基づいてフォルマント音を合成する合成手段と、
前記生成された楽音波形サンプルに前記合成されたフォルマント音を加算して出力する加算手段と
を有することを特徴とする楽音生成装置。
【請求項３】
前記フォルマントデータは、当該フォルマントの中心周波数とそのレベルであり、
前記合成手段は、
ホワイトノイズを発生するホワイトノイズ発生手段と、
該ホワイトノイズ発生手段によって発生されたホワイトノイズのスペクトル特性を変更する変更手段と、
前記中心周波数の正弦波を発生する正弦波発生手段と、
前記変更手段からの出力に、前記正弦波発生手段によって発生された正弦波を乗算する乗算手段と、
該乗算手段からの出力のレベルが前記レベルになるように調整する調整手段と
からなることを特徴とする請求項２に記載の楽音生成装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、サンプリングして波形メモリに記憶した楽音波形データを読み出し、この楽音波形データに基づいて楽音を生成する楽音生成装置および楽音生成方法に関する。
【０００２】
【従来の技術】
楽器の音をサンプリングし、楽音波形データとして波形メモリに記憶し、この楽音波形データを読み出して楽音を生成する、いわゆる波形テーブル（ウェーブテーブル）音源は、従来から知られている。
【０００３】
【発明が解決しようとする課題】
上記従来の波形テーブル音源では、波形メモリの記憶容量を低減するために、当該音源システム本来のサンプリング周波数、具体的には、波形メモリに記憶された楽音波形データを読み出して楽音を生成するときの周波数よりも低い周波数で、楽音をサンプリングすることがある。以下、当該音源システム本来のサンプリング周波数を「サンプリング周波数」と言い、楽音をサンプリングして楽音波形データを生成するときのサンプリング周波数を「録音サンプリング周波数」という。
【０００４】
録音サンプリング周波数は、単位時間（１秒）当たりの楽音波形サンプル（楽音波形データを構成する個々の波形サンプル）の個数に相当するので、録音サンプリング周波数を低くすればするほど、各楽音波形データの容量は少なくなり、その結果、波形メモリの記憶容量は低減する。
【０００５】
しかし、サンプリングの定理によれば、録音サンプリング周波数は、再現可能な楽音の上限周波数（＝録音サンプリング周波数の半分）を決定づけるため（たとえば、録音サンプリング周波数を１６ＫＨｚとした場合には、８ＫＨｚまでの周波数の楽音しか再現できない）、換言すると、録音サンプリング周波数を低く抑えた場合には、高次高調波成分の失われた楽音しか再現できないため、この場合に再現される楽音の音質は劣化することになる。
【０００６】
本発明は、この点に着目してなされたものであり、録音サンプリング周波数をサンプリング周波数より低くして楽音波形データを生成した場合でも、その失われた高調波成分を回復することにより、より自然な楽音を生成することが可能な楽音生成装置および楽音生成方法を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記目的を達成するため、請求項２に記載の楽音生成装置は、録音サンプリング周波数で、楽器の音をサンプリングして採取した楽音波形データを音色データメモリに記憶し、該音色データメモリから楽音波形データを読み出して楽音を生成する楽音生成装置において、前記楽器の音を、前記録音サンプリング周波数より高い周波数でサンプリングして採取し、第１の楽音波形データとして第１のメモリに記憶させる第１の記憶手段と、前記第１のメモリに記憶された第１の楽音波形データを前記録音サンプリング周波数でダウンサンプリングして得られたデータを、第２の楽音波形データとして第２のメモリに記憶させる第２の記憶手段と、前記第１の楽音波形データを前記録音サンプリング周波数でダウンサンプリングすることによって失われる周波数域の周波数スペクトルに基づいたフォルマントデータを前記第１の楽音波形データから生成するフォルマントデータ生成手段と、前記第２の楽音波形データと前記フォルマントデータ生成手段によって生成されたフォルマントデータを対応付けて前記音色データメモリに記憶させる第３の記憶手段と、前記音色データメモリに記憶された第２の楽音波形データから楽音波形サンプルを生成する楽音波形サンプル生成手段と、前記音色データメモリに記憶された、前記第２の楽音波形データに対応付けられたフォルマントデータに基づいてフォルマント音を合成する合成手段と、前記生成された楽音波形サンプルに前記合成されたフォルマント音を加算して出力する加算手段とを有することを特徴とする。
【０００８】
好ましくは、前記フォルマントデータは、当該フォルマントの中心周波数とそのレベルであり、前記合成手段は、ホワイトノイズを発生するホワイトノイズ発生手段と、該ホワイトノイズ発生手段によって発生されたホワイトノイズのスペクトル特性を変更する変更手段と、前記中心周波数の正弦波を発生する正弦波発生手段と、前記変更手段からの出力に、前記正弦波発生手段によって発生された正弦波を乗算する乗算手段と、該乗算手段からの出力のレベルが前記レベルになるように調整する調整手段とからなることを特徴とする。
【０００９】
また、上記目的を達成するため、請求項１に記載の楽音生成方法は、録音サンプリング周波数で、楽器の音をサンプリングして採取した楽音波形データを音色データメモリに記憶し、該音色データメモリから楽音波形データを読み出して楽音を生成する楽音生成方法において、前記楽器の音を、前記録音サンプリング周波数より高い周波数でサンプリングして採取し、第１の楽音波形データとして第１のメモリに記憶し、前記第１のメモリに記憶された第１の楽音波形データを前記録音サンプリング周波数でダウンサンプリングして得られたデータを、第２の楽音波形データとして第２のメモリに記憶し、前記第１の楽音波形データを前記録音サンプリング周波数でダウンサンプリングすることによって失われる周波数域の周波数スペクトルに基づいたフォルマントデータを前記第１の楽音波形データから生成し、前記第２の楽音波形データと前記生成されたフォルマントデータを対応付けて前記音色データメモリに記憶し、楽音を生成する場合には、前記音色データメモリに記憶された第２の楽音波形データから楽音波形サンプルを生成し、前記音色データメモリに記憶された、前記第２の楽音波形データに対応付けられたフォルマントデータに基づいてフォルマント音を合成し、前記生成された楽音波形サンプルに前記合成されたフォルマント音を加算して出力することを特徴とする。
【００１０】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて詳細に説明する。
【００１１】
図１は、本発明の一実施の形態に係る楽音生成装置を適用した携帯電話機の概略構成を示すブロック図である。
【００１２】
同図に示すように、制御部１は、当該携帯電話機全体の制御を司るＣＰＵと、該ＣＰＵが実行する制御プログラムや、各種テーブルデータ等を記憶するＲＯＭと、着信メロディ等を演奏するための演奏データ（たとえば、ＭＩＤＩ（Musical Instrument Digital Interface）データからなる）、各種入力情報および演算結果等を一時的に記憶するＲＡＭとによって構成されている。
【００１３】
制御部１には、テンキーや各種情報を入力するための操作子を備えた操作入力部２と、たとえばカラー液晶ディスプレイ（ＬＣＤ）および発光ダイオード（ＬＥＤ）等を備えた表示部３と、アナログ音声信号をデジタル音声信号に変換した後圧縮し、逆に、圧縮されたデジタル音声信号を伸長した後アナログ音声信号に変換する音声ＣＯＤＥＣ５と、音声ＣＯＤＥＣ５からの出力信号を変調し、アンテナ７を介して中継局（図示せず）に伝送するとともに、アンテナ７を介して中継局から伝送されてきた信号を受信して復調し、音声ＣＯＤＥＣ５に出力する通信部４と、後述する音色データメモリ（波形メモリ）を含み、該音色データメモリから目的の楽音波形データを読み出し、各種処理を施してデジタル楽音信号を生成し、図示しないＤＡＣ（Digital-to-Analog Converter）によりアナログ楽音信号に変換して出力する波形テーブル音源６とが接続されている。
【００１４】
音声ＣＯＤＥＣ５には、該音声ＣＯＤＥＣ５から出力されたアナログ音声信号を音響に変換するためのスピーカ８と、音声をアナログ音声信号に変換するマイク９とが接続されている。
【００１５】
波形テーブル音源６には、該波形テーブル音源６から出力されたアナログ楽音信号を音響に変換するためのスピーカ１０が接続されている。
【００１６】
本発明の特徴は、波形テーブル音源６、特にその楽音信号生成処理にある。具体的には、音色データメモリには、サンプリング周波数より低い録音サンプリング周波数で採取した楽音波形サンプルが記憶されるため、この楽音波形サンプルをそのまま読み出しただけでは、録音サンプリング周波数の半分以上の周波数成分は再現できない、つまり、高次高調波成分の失われた楽音しか再現できない。この問題に対処するために、原音において、録音サンプリング周波数の半分以上の高域に出現する複数個（本実施の形態では、４個）のフォルマントを検出し、該各フォルマントのフォルマント中心周波数およびフォルマントレベルをそれぞれ抽出し、当該楽音波形サンプルに対応付けて音色データメモリに記憶しておく。そして、目的の楽音波形サンプルを読み出して、楽音を生成するときには、この楽音波形サンプルに対応付けられた各フォルマント中心周波数およびフォルマントレベルを読み出し、該各フォルマント中心周波数およびフォルマントレベルの複数フォルマントを備えたフォルマント音を近似的に生成して、目的の楽音波形サンプルに付加するようにしている。
【００１７】
このように、本発明の特徴となる楽音信号生成処理を行うべき前提として、上記複数のフォルマントを検出し、該各フォルマントのフォルマント中心周波数およびフォルマントレベルをそれぞれ抽出するとともに、サンプリング周波数よりも低い録音サンプリング周波数で楽音をサンプリングして、楽音波形サンプルを生成し、この楽音波形サンプルとこれに対応する各フォルマント中心周波数およびフォルマントレベルとからなる楽音波形データを音色データメモリに登録しておかなければならない。なお、上記複数のフォルマントを検出する処理でも、楽音波形サンプルを生成する処理でも、同一の原音をサンプリングしなければならない。ただし、両者では、サンプリングに用いるサンプリング周波数が異なり、前者は、後者の倍のサンプリング周波数でサンプリングする必要がある。このため、本実施の形態では、前者のサンプリング周波数、すなわち録音サンプリング周波数の２倍の周波数で、基となる楽音を１回のみサンプリングし、後者の処理では、それをダウンサンプリングしたものを用いるようにしている。
【００１８】
以下、このサンプリングから音色データメモリへの登録までの処理、すなわち音色データメモリ作成処理を説明する。
【００１９】
図２は、音色データメモリ作成処理の手順を示すフローチャートである。なお、本音色データメモリ作成処理は、たとえばパーソナルコンピュータ上で実行される。
【００２０】
同図において、まず、楽音波形サンプルを採取、つまり原音をサンプリングする（ステップＳ１）。
【００２１】
図３は、ステップＳ１の楽音波形サンプルの採取処理を説明するための図であり、パーソナルコンピュータ１００によってシンバル音の楽音波形サンプルを採取する方法を示している。
【００２２】
同図に示すように、まず、スティックでシンバルを叩くことにより、シンバル音を発生させ、このシンバル音をマイク１０１でアナログ楽音信号に変換する。
【００２３】
次に、録音サンプリング周波数Ｗｆｓ以下の周波数成分のみ通過させるＬＰＦ（ロウパスフィルタ）１０２により、このアナログ楽音信号に含まれる、Ｗｆｓ以上の周波数成分をカットする。このように、Ｗｆｓ以上の周波数成分をカットしたのは、基となる楽音波形サンプルを生成するためのサンプリング周波数（＝２Ｗｆｓ：録音サンプリング周波数の倍）の半分（＝Ｗｆｓ）以上の周波数成分の楽音は、前述のように再現できないので、Ｗｆｓ以上の周波数成分は必要ないからである。
【００２４】
次に、ＬＰＦ１０２からの出力信号を、サンプリング周波数２ＷｆｓのＡ／Ｄ変換器１０３によってデジタル楽音信号に変換し、このデジタル楽音信号をメモリ（たとえばＲＡＭ）１０４に記憶する。
【００２５】
以上の処理を所定時間、たとえば１秒間繰り返すと、２Ｗｆｓ個の楽音波形サンプルがメモリ１０４に記憶される。この楽音波形サンプルの時系列から１サンプルずつ間引くことによってダウンサンプリングした後の時系列サンプルが、前記音色データメモリに記憶すべき楽音波形サンプルである。
【００２６】
なお、音色データメモリには、複数の音色の楽音波形サンプルが登録されるので、シンバル音以外の楽器音についても、以上説明した方法と同様の方法によって、その基となる楽音波形サンプルを採取すればよい。
【００２７】
図２に戻り、ステップＳ１で採取された楽音波形サンプルに対して、加工・編集処理を施す（ステップＳ２）。加工・編集処理としては、たとえば、ゼロレベル（または低レベル）波形サンプルの削除処理、各楽音波形サンプルの振幅調整処理、前記ダウンサンプリング処理および基となる楽音波形サンプルの高域分析処理等を挙げることができる。
【００２８】
図４は、基となる楽音波形サンプル、ダウンサンプリング後の楽音波形サンプルおよび検出後のフォルマントの各周波数スペクトルの様子を示す図であり、（ａ）は、基となる楽音波形サンプルの周波数スペクトルの一例を示し、（ｂ）は、（ａ）の楽音波形サンプルを１／２にダウンサンプリングした後の周波数スペクトルを示し、（ｃ）は、（ａ）の楽音波形サンプルから検出した４つのフォルマントの周波数スペクトルを示している。
【００２９】
前述のように、基となる楽音波形サンプルは、原音を録音サンプリング周波数Ｗｆｓの倍の周波数でサンプリングすることによって生成されているので、その周波数スペクトルは最大、（ａ）に示すように、録音サンプリング周波数Ｗｆｓまで出現する。
【００３０】
この基となる楽音波形サンプルの時系列をダウンサンプリングフィルタによりＷｆｓ／２以上の周波数成分をカットした後に１サンプルずつ間引くことによってダウンサンプリングすると、これは、ちょうど原音を録音サンプリング周波数Ｗｆｓでサンプリングした場合に相当するので、そのダウンサンプリング後の楽音波形サンプルの周波数スペクトルは、（ｂ）に示すように、（ａ）の周波数スペクトルのうち、Ｗｆｓ／２〜Ｗｆｓの周波数成分がカットされたものとなる。このダウンサンプリング後の楽音波形サンプルを、後述するように、音色データメモリに登録する。
【００３１】
前記基となる楽音波形サンプルの時系列から選択された一部（本実施の形態では、１フレーム分）の楽音波形サンプルに対してＦＦＴ（Fast Fourier Transform）を施すと、（ａ）の周波数スペクトルに似た周波数スペクトルが得られる（（ａ）の周波数スペクトルは、上述のように、基となる楽音波形サンプルの時系列すべてから得られた周波数スペクトルとしているため）。この周波数スペクトルのうち、Ｗｆｓ／２〜Ｗｆｓの周波数域を分析することにより、４つのフォルマントを検出する。（ｃ）は、この検出されたフォルマントの周波数スペクトルを示している。そして、検出された、４つのフォルマントの各フォルマントから、その中心周波数とレベルを抽出する。具体的には、（ｃ）では、Ｆ１〜Ｆ４のフォルマント中心周波数とＬ１〜Ｌ４のフォルマントレベルが抽出される。この抽出されたフォルマント中心周波数およびフォルマントレベルが、１フレーム分の楽音波形サンプルに対応付けられて、音色データメモリに記憶される。
【００３２】
なお、本実施の形態では、フォルマント中心周波数およびフォルマントレベルは、すべての楽音波形サンプルのうち、所定の複数個の楽音波形サンプル毎に抽出するようにしたが、これに限らず、すべての楽音波形サンプルに共通のものを１組だけ抽出するようにしてもよい。
【００３３】
図２に戻り、ステップＳ２で加工・編集された楽音波形データを音色データメモリに登録する（ステップＳ３）。
【００３４】
図５は、音色データメモリのメモリマップの一例を示す図であり、本実施の形態では、１音色分の音色データは、基本音色データと楽音波形データとによって構成されている。そして、音色データメモリには、複数の音色データが登録されるため、音色データメモリの先頭アドレスには、音色番号（Ｎｏ）（たとえば、ＧＭ（General MIDI）システムフォーマットでの音色番号）を、その音色番号に対応する基本音色データが記憶されている領域の先頭アドレスに変換する変換テーブルが記憶されている。
【００３５】
１音色分の基本音色データは、その音色名、当該基本音色データのデータ長、録音サンプリング周波数Ｗｆｓ、その楽音波形データの先頭サンプルのアドレスを示す波形スタートアドレス、その楽音波形データのうち、ループ読みされる領域の先頭サンプルのアドレスを示す波形ループスタートアドレス、ループ読みされる領域の末尾サンプルのアドレスを示す波形ループエンドアドレス、その楽音波形データの末尾サンプルのアドレスを示す波形エンドアドレス、その楽音波形データのエンベロープを決定するエンベロープデータおよびその他データによって構成されている。
【００３６】
なお、本実施の形態では、基本音色データと楽音波形データは、それぞれ別の領域に記憶するようにしているため、基本音色データ中に、当該音色の楽音波形データを記憶している領域がどこからどこまでであるかを示すデータ、すなわち波形スタートアドレスおよび波形エンドアドレスを含むようにしている。しかし、基本音色データに続いて、対応する楽音波形データを記憶するように構成した場合には、基本音色データ内のデータ長から、楽音波形データの先頭アドレスは算出できるので、波形スタートアドレスを記憶しないようにしてもよい。
【００３７】
一方、１音色分の楽音波形データは、前述のように、基となる楽音波形サンプルの時系列をダウンサンプリングしたものと、１フレーム分の楽音波形サンプルに対して高域分析して抽出した、４つのフォルマントの各フォルマント中心周波数およびフォルマントレベルからなるフォルマントデータとによって構成されている。なお、１フレームとは、たとえば１０ｍｓｅｃ間の楽音波形サンプルを言い、録音サンプリング周波数Ｗｆｓであれば、Ｗｆｓ×０．０１個分の楽音波形サンプルに相当する。
【００３８】
前記ステップＳ３の音色データ登録処理では、上記図５の音色データメモリのフォーマットに適合するように、前記ダウンサンプリングされた楽音波形サンプルおよび前記抽出されたフォルマントデータからなる楽音波形データを登録する。具体的には、この楽音波形データを楽音波形データ格納領域に記憶するとともに、その基本音色データを作成して基本音色データ格納領域に記憶し、さらに、その基本音色データの先頭アドレスを、音色番号→先頭アドレス変換テーブルの、対応する位置に記憶する。
【００３９】
なお、本音色データ登録処理では、パーソナルコンピュータ１００のメモリ（前記メモリ１０４と同じであってもよい（ただし、この場合には領域は異なる必要がある）し、異なる記憶媒体であってもよい）上に、図５の音色データメモリと同容量の領域を生成し、この領域上に、上記楽音波形データを登録するようにしている。
【００４０】
続くステップＳ４では、波形採取すべき、他の音色の楽音があるか否かを判別し、あるときには、ステップＳ１に戻って、波形採取処理から繰り返す一方、ないときには、ステップＳ５に進む。
【００４１】
ステップＳ５では、上記メモリの所定領域内に登録された音色データと同じメモリマップのものを、たとえばＲＯＭからなる音色データメモリ上に生成する、すなわち音色データメモリ化する。
【００４２】
以上のように構成された携帯電話機が実行する制御処理を、まずその概要を説明し、次に図６および図７を参照して詳細に説明する。
【００４３】
本実施の形態の携帯電話機は、音色データメモリの記憶容量を低減するために、サンプリング周波数より低い録音サンプリング周波数で楽音波形サンプルを採取して、音色データメモリに記憶するとともに、これによって失われる、録音サンプリング周波数の半分から録音サンプリング周波数までの高域のフォルマントデータ（フォルマント中心周波数およびフォルマントレベル）を抽出し、当該楽音波形サンプルに対応付けて、音色データメモリに記憶する。楽音を生成するときには、音色データメモリから目的の楽音波形サンプルを読み出すとともに、この楽音波形サンプルに対応するフォルマントデータも読み出し、このフォルマントデータに基づいて近似的に生成した、複数のフォルマントを備えたフォルマント音を、先に読み出した楽音波形サンプルに付加することで、楽音信号を生成するようにしている。これにより、楽音波形サンプルを採取したときに失われた、録音サンプリング周波数の半分以上の周波数成分、つまりフォルマントが近似的に回復するので、より自然な楽音を生成することができる。
【００４４】
ここで、フォルマントデータからフォルマント音を生成する方法は、本出願人が先に出願した、特開平２−２７１３９７号公報に記載の方法をそのまま用いている。したがって、その詳細な説明は、該公報に譲るが、本発明を実施するために必要な範囲内で、後述する。
【００４５】
次に、この制御処理を詳細に説明する。なお、本発明の特徴は、上述のように、専ら楽音信号生成処理、つまり前記波形テーブル音源６での楽音信号生成処理にあるため、以下、波形テーブル音源６でなされる制御処理（楽音信号生成処理）について説明する。
【００４６】
図６は、波形テーブル音源６でなされる楽音信号生成処理の手順を示すブロック図である。なお、波形テーブル音源６は、通常ＤＳＰ（digital signal processor）によって構成されるため、その制御処理の大半は、ソフトウェアによってなされている。もちろん、波形テーブル音源６をすべてハードウェアによって構成するようにしてもよい。
【００４７】
図６において、パラメータ生成部２１には、生成すべき楽音を示すＭＩＤＩデータが入力されるとともに、音色データメモリ２５の記憶内容を読み出すメモリ読み出し部２４が接続されている。
【００４８】
パラメータ生成部２１は、ＭＩＤＩデータが入力されると、まず、そのＭＩＤＩデータを解析して、音色番号やキーコード等の情報、すなわち楽音生成用パラメータを生成するのに必要な情報を抽出する。次に、パラメータ生成部２１は、メモリ読み出し部２４を介して、音色データメモリ２５の先頭アドレスにアクセスし、その位置に記憶されている、前記音色番号→先頭アドレス変換テーブルを用いて、上記抽出した音色番号に対応する基本音色データの先頭アドレスを検索し、その位置に記憶されている、１音色分の基本音色データを読み出し、この基本音色データに基づいて楽音生成用パラメータを生成する。
【００４９】
このとき生成されるパラメータは、具体的には、波形スタートアドレス、波形エンドアドレス、波形ループアドレス（波形ループスタートアドレスおよび波形ループエンドアドレス）およびエンベロープデータである。これらのパラメータすべては、当該基本音色データに含まれるデータそのものである。
【００５０】
また、パラメータ生成部２１は、抽出した音色番号およびキーコードと、録音サンプリング周波数と、サンプリング周波数とに基づいて、１楽音波形サンプルあたりのアドレスの進み量を表すパラメータであるＦナンバ（ＦＮ）と、オクターブを示すパラメータであるＯＣＴパラメータとを生成する。
【００５１】
さらに、パラメータ生成部２１は、フォルマントデータ（フォルマント中心周波数およびフォルマントレベル）を生成する。前述のように、フォルマントデータは、１フレーム毎に異なったものが記憶されているので、１フレーム分の楽音波形サンプルの読み出しが終了すると、パラメータ生成部２１は、メモリ読み出し部２４を介して、音色データメモリ２５から、次のフレームに対応するフォルマントデータを読み出して生成すればよい。
【００５２】
各種クロック生成部２２は、供給された基本クロックを、たとえば分周することにより、複数の周波数のクロックを生成して出力する。このクロックの主なものは、波形テーブル音源６本来のサンプリング周波数Ｓｆｓのクロックであり、このクロックによって、波形テーブル音源６の各ブロック２３〜２９の動作が進行する。
【００５３】
アドレス生成部２３には、パラメータ生成部２１によって生成された、Ｆナンバ、ＯＣＴパラメータ、波形スタートアドレス、波形エンドアドレスおよび波形ループアドレスが入力され、アドレス生成部２３は、これらのパラメータに基づいて、音色データメモリ２５から読み出すべき楽音波形サンプルのアドレスを生成する。
【００５４】
なお、本発明では、録音サンプリング周波数はサンプリング周波数より低いので、アドレス生成部２３によって生成されるアドレスは、通常、小数部を含む実数値となる。すなわち、アドレス生成部２３では、音色データメモリ２５に記憶された楽音波形サンプル間の楽音波形サンプルの位置を示すアドレスが生成される。したがって、この位置の楽音波形サンプルは、後述するように、音色データメモリ２５に記憶されている楽音波形サンプルから補間して求めるようにしている。
【００５５】
アドレス生成部２３によって生成された、実数値からなるアドレスのうち、整数部は、メモリ読み出し部２４に供給され、小数部は、補間部２６に供給される。
【００５６】
メモリ読み出し部２４は、供給されたアドレスの整数部に対応する楽音波形サンプルと、この楽音波形サンプルに隣接する、所定個の楽音波形サンプルとを音色データメモリ２５から読み出して、補間部２６に出力する。ここで、所定個は、補間部２６で採用されている補間方法に応じて決まり、その補間方法が、たとえば２点による直線補間であれば、所定個とは１個であり、この場合、メモリ読み出し部２４は、供給されたアドレスの整数部に対応する楽音波形サンプルと、その次のアドレスに位置する楽音波形サンプルとを読み出して、補間部２６に出力する。
【００５７】
補間部２６は、予め設定されている補間方法により、供給されたアドレスの小数部に基づいて、音色データメモリ２５から読み出された、複数の楽音波形サンプル間を補間し、目的の楽音波形サンプルを生成する。
【００５８】
補間部２６から出力された楽音波形サンプルは、加算部２７に供給される。加算部２７には、他に、ノイズフォルマント音発生部２８から出力されたノイズフォルマント音、より詳しくは、当該楽音波形サンプルに対応する、ノイズフォルマント音の一波形サンプルが供給され、加算部２７は、補間部２６からの楽音波形サンプルと、この楽音波形サンプルに対応する、ノイズフォルマント音の波形サンプルとを加算し、その加算結果をエンベロープ発生／付与部２９に出力する。
【００５９】
エンベロープ発生／付与部２９には、前記エンベロープデータが供給され、エンベロープ発生／付与部２９は、このエンベロープデータに基づいてエンベロープを発生させ、加算部２７からの楽音波形サンプルに付与した後、前記ＤＡＣに出力する。
【００６０】
図７は、上記ノイズフォルマント音発生部２８でなされるノイズフォルマント音発生処理の手順を示すブロック図であり、本ノイズフォルマント音発生処理は、前記公報に記載の方法を適用したものである。
【００６１】
図７において、ホワイトノイズ発生部３１から発生されたホワイトノイズは、ＬＰＦ（ロウパスフィルタ）３２を通過し、これにより、そのスペクトル特性が変更された後、乗算部３３を介して、正弦波発生部３４から発生されたフォルマント中心周波数Ｆｉ（ｉは、１〜４のいずれかの整数値）の正弦波と乗算される。
【００６２】
このようにして、乗算部３３からは、フォルマント中心周波数Ｆｉを中心としたフォルマント形状のノイズ音（ノイズフォルマント音）が出力され、乗算部３５に供給される。乗算部３５には、他に、パラメータ生成部２１が生成したフォルマントレベルＬｉが供給され、乗算部３５は、乗算部３３から出力された、所定レベル、たとえば単位レベルのノイズフォルマント音を、フォルマントレベルＬｉのノイズフォルマント音に変更する。
【００６３】
乗算部３５は、このフォルマントレベルＬｉのノイズフォルマント音をアキュムレータ３６に出力する。
【００６４】
ブロック３１〜３５は、時分割動作を行い、複数（本実施の形態では、４つ）のノイズフォルマント音を発生する。つまり、本実施の形態では、１フレーム分の楽音波形サンプルに対して４つのフォルマントを検出し、この４つのフォルマントからそれぞれフォルマント中心周波数およびフォルマントレベルを抽出するようにしたので、再現するフォルマントも４つにしている。
【００６５】
アキュムレータ３６は、時分割で順次供給されてくる、４つのノイズフォルマント音を累算して、所定のタイミングで加算部２７に出力する。なお、同一フレームの楽音波形サンプルに対しては、同一のノイズフォルマント音が、アキュムレータ３６から出力される。図８は、ノイズフォルマント音のレベルの遷移を示す図であり、アキュムレータ３６からは、同図（ａ）に示すように、１フレーム毎に異なった離散値が出力される。なお、（ａ）の出力に対して、たとえばフィルタリング処理を施すことで、同図（ｂ）に示すように、連続値が出力されるようにしてもよい。また、フォルマントデータの他のデータ、すなわち、フォルマント中心周波数に対しても、（ｂ）と同様の処理を施すようにしてもよい。
【００６６】
なお、本実施の形態では、フォルマントデータは、すべての楽音波形サンプルのうち、所定の複数個の楽音波形サンプル毎に抽出して記憶し、楽音を生成するときには、当該複数個の楽音波形サンプル毎にノイズフォルマント音を生成するようにしたが、これに限らず、フォルマントデータは、すべての楽音波形サンプルに共通のものを１組だけ抽出して記憶し、楽音を生成するときには、すべての楽音波形サンプルに共通のノイズフォルマント音を生成するようにしてもよい。この場合には、ノイズフォルマント音を付加すべき楽音のレベルを検出し、この検出レベルに応じて、ノイズフォルマント音に含まれるフォルマントの中心周波数やレベルを変更するようにした方が望ましい。また、検出する対象は、楽音のレベルに限らず、他の特性であってもよい。
【００６７】
一般的に、自然音を周波数軸上で見た場合、８ＫＨｚ付近よりも下の周波数のスペクトルは、その音そのものを認識する情報、つまり、ピアノやバイオリンの音、人声など、その音が何であるかを知るための情報を含んでいる。一方、およそ８ＫＨｚ以上から１６ＫＨｚ（可聴上限）のスペクトルは、その音の自然さを醸し出す情報を含むことが多い。仮に、この領域のスペクトルが完全に失われたとしても、その音が何であるかを認識できるものの、自然さは大いに欠けてしまう。本実施の形態のようにして、自然さを醸し出す情報、つまり８ＫＨｚから１６ＫＨｚまでの周波数スペクトルを近似的に回復するようにすれば、より自然な楽音を生成することができる。
【００６８】
また、本実施の形態では、本発明の楽音生成装置を携帯電話機、特にその音源装置に適用したが、これは、電子鍵盤楽器等に設けられる通常の音源装置では、サンプリング周波数より低い録音サンプリング周波数で楽音をサンプリングして、再現される楽音を劣化させてまで、音色データメモリ（波形メモリ）の記憶容量を低減する必要はないからである。したがって、逆に言えば、サンプリング周波数より低い録音サンプリング周波数で楽音をサンプリングする必要のある装置であれば、携帯電話機に限らない。
【００６９】
このように、本実施の形態では、サンプリング周波数より低い録音サンプリング周波数でサンプリングして、楽音波形データを生成したときに失われた周波数成分、すなわち録音サンプリング周波数の半分以上の周波数成分を、当該周波数域のフォルマントに応じたフォルマントデータであって、音色データメモリに記憶されたものに基づいて、前記失われたフォルマントに近似するフォルマントを備えたフォルマント音を合成し、前記生成された楽音波形データに加算することで、近似的に回復するようにしたので、より自然な楽音を生成することができる。
【００７０】
なお、上述した実施の形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給し、そのシステムまたは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、本発明の目的が達成されることは言うまでもない。
【００７１】
この場合、記憶媒体から読出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００７２】
プログラムコードを供給するための記憶媒体としては、たとえば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。
【００７３】
また、コンピュータが読出したプログラムコードを実行することにより、上述した実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳなどが実際の処理の一部または全部を行い、その処理によって上述した実施の形態の機能が実現される場合も含まれることは言うまでもない。
【００７４】
【発明の効果】
以上説明したように、請求項１または３に記載の発明によれば、録音サンプリング周波数で、楽器の音をサンプリングして採取した楽音波形データを音色データメモリに記憶し、該音色データメモリから楽音波形データを読み出して楽音を生成するときに、前記録音サンプリング周波数でサンプリングしたことによって失われた周波数域のフォルマントに応じたフォルマントデータであって、音色データメモリに記憶されたものに基づいて、前記失われたフォルマントに近似するフォルマントを備えたフォルマント音が合成され、前記読み出された楽音に、前記合成されたフォルマント音が加算されるので、楽器の音を録音サンプリング周波数でサンプリングしたときに失われた周波数域のフォルマントが近似的に回復され、したがって、より自然な楽音を生成することができる。
【図面の簡単な説明】
【図１】  本発明の一実施の形態に係る楽音生成装置を適用した携帯電話機の概略構成を示すブロック図である。
【図２】  音色データメモリ作成処理の手順を示すフローチャートである。
【図３】  図２の楽音波形サンプルの採取処理を説明するための図である。
【図４】  基となる楽音波形サンプル、ダウンサンプリング後の楽音波形サンプルおよび検出後のフォルマントの各周波数スペクトルの様子を示す図である。
【図５】  音色データメモリのメモリマップの一例を示す図である。
【図６】  図１の波形テーブル音源でなされる楽音信号生成処理の手順を示すブロック図である。
【図７】  図６のノイズフォルマント音発生部でなされるノイズフォルマント音発生処理の手順を示すブロック図である。
【図８】  ノイズフォルマント音のレベルの遷移を示す図である。
【符号の説明】
６  波形テーブル音源（楽音波形サンプル生成手段）、２５  音色データメモリ、  ２８  ノイズフォルマント音発生部（合成手段）、  ３１  加算部（加算手段）、１０４  メモリ（第１のメモリ、第２のメモリ）
【図１】
0004012410.tif 000002
【図２】
0004012410.tif 000003
【図３】
0004012410.tif 000004
【図４】
0004012410.tif 000005
【図５】
0004012410.tif 000006
【図６】
0004012410.tif 000007
【図７】
0004012410.tif 000008
【図８】
0004012410.tif 000009