(57)【要約】【課題】  音符に対応したピッチに到達した後の区間においても、歌唱音のピッチに変化を与えることができ、自然な歌唱音を得ることができるようにする。【解決手段】  制御点設定処理６４１では、制御点Ａ、Ｂ、Ｃの相対的な位置を定めるデータに従い、音符データが示す音符毎に、歌唱音のピッチの軌道の通過点となる制御点を設定する。ピッチデータ生成処理６４２では、隣接する２種類の制御点間の区間毎に定められた演算方法に従い、制御点設定処理６４１により設定された各制御点を通過する軌道を求め、該軌道に沿ってピッチを変化させるピッチデータを生成し、ピッチデータトラック７１に格納する。【選択図】      図２
2006330615.tif 000002
【特許請求の範囲】
【請求項１】
１つの音符の区間内において歌唱音のピッチの軌道の通過点となる３種類の制御点の相対的な位置を定めるデータに従い、曲を構成する音符毎に、歌唱音のピッチの軌道の通過点となる制御点を設定する制御点設定手段と、
前記制御点設定手段によって設定された各制御点を通過する軌道を求め、該軌道に沿ってピッチを変化させるピッチデータを生成して記憶手段に格納するピッチデータ生成手段と、
前記ピッチデータを前記記憶手段から読み出し、歌唱音を合成する音源に出力する出力手段と
を具備することを特徴とする歌唱合成装置。
【請求項２】
前記ピッチデータ生成手段は、隣接する２種類の制御点間の区間毎に定められた演算方法に従い、前記制御点設定手段によって設定された各制御点を通過する軌道を求めることを特徴とする請求項１に記載の歌唱合成装置。
【請求項３】
擬似乱数を発生し、発生した擬似乱数に従って、前記制御点設定手段により設定される制御点のピッチまたは時刻を分散させる手段を具備することを特徴とする請求項１または２に記載の歌唱合成装置。
【請求項４】
前記制御点設定手段は、対象とする音符が最初の音符である場合またはその音符の前に所定時間長より長い休符がある場合に、当該音符の最初の制御点よりも前に１つ以上の追加の制御点を設定し、前記ピッチデータ生成手段は、この追加の制御点と当該音符の最初の制御点を結ぶ軌道を求めることを特徴とする請求項１〜３のいずれか１の請求項に記載の歌唱合成装置。
【請求項５】
前記制御点設定手段は、対象とする音符が最初の音符である場合またはその音符の前に所定時間長より長い休符がある場合に、当該音符の最初の制御点については、前記制御点の相対的な位置を定めるデータに従って定められる位置とは異なる位置に設定することを特徴とする請求項４に記載の歌唱合成装置。
【請求項６】
前記制御点設定手段は、対象とする音符が最後の音符である場合またはその音符の後に所定時間長より長い休符がある場合に、当該音符の最後の制御点の後に１つ以上の追加の制御点を設定し、前記ピッチデータ生成手段は、この追加の制御点と当該音符の最後の制御点を結ぶ軌道を求めることを特徴とする請求項１〜５のいずれか１の請求項に記載の歌唱合成装置。
【請求項７】
操作手段と、
前記操作手段に対する操作に従って、前記３種類の制御点の相対的な位置を定めるデータを変化させる手段を具備することを特徴とする請求項１〜６のいずれか１の請求項に記載の歌唱合成装置。
【請求項８】
操作手段と、
前記操作手段に対する操作に従って、前記３種類の制御点の相対的な位置を定めるデータまたは前記隣接する２種類の制御点間の区間の軌道の演算方法を変化させる手段を具備することを特徴とする請求項２〜６のいずれか１の請求項に記載の歌唱合成装置。
【請求項９】
歌唱音のピッチの軌道の通過点となる３種類の制御点について定められた音符との相対的な位置を示すデータに従い、曲を構成する音符毎に、歌唱音のピッチの軌道の通過点となる少なくとも１種類の制御点を設定する制御点設定処理と、
前記制御点設定手段によって設定された各制御点を通過する軌道を求め、該軌道に沿ってピッチを変化させるピッチデータを記憶手段に格納するピッチデータ生成処理と、
前記ピッチデータを前記記憶手段から読み出し、歌唱音を合成する音源に出力する出力処理と
をコンピュータに実行させることを特徴とする歌唱合成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、歌唱音の合成を行う歌唱合成装置および歌唱合成プログラムに関する。
【背景技術】
【０００２】
歌詞データと音符データとを記憶し、音符データの読出に対応して歌詞データを読み出し、歌詞データに対応した音韻を発音させて歌詞を歌唱させる歌唱合成装置が各種提案されている。この種の歌唱合成装置は、人間らしい自然な歌唱音を合成する機能が求められる。人間の歌唱音を観察すると、歌唱音のピッチは、音符データ通りに階段状に変化するのではなく、ある音符に対応した発声から次の音符に対応した発声へと移行する際に、曲線を描いて連続的に変化する。この変化が歌唱の人間らしさの一因となっていると考えられる。そこで、従来から、歌唱合成装置において、合成される歌唱音のピッチに人間らしい変化を与えるための検討がなされてきた。例えば特許文献１は、連続した２つの音符に対応した歌唱音を合成する場合に、各音符に対応したピッチ間を直線で結び、この直線の前後にオーバシュート部を設けたピッチ曲線を求め、このピッチ曲線に従ってピッチが変化する歌唱音を合成する装置を提案している。
【特許文献１】特開２００３−３２３１８８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上述した特許文献１に開示の歌唱合成装置は、合成される歌唱音のピッチが音符に対応するピッチに到達した後、歌唱音のピッチに変化がないため、同じ音色が連続することとなり、ブザー音に似た人工的な歌声になりやすいという問題があった。
【０００４】
この発明は、以上説明した事情に鑑みてなされたものであり、合成される歌唱音のピッチが音符に対応したピッチに到達した後の区間においても、ピッチに変化を与えることができ、自然な歌唱音を得ることができる歌唱合成装置および歌唱合成プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
この発明は、１つの音符の区間内において歌唱音のピッチの軌道の通過点となる３種類の制御点の相対的な位置を定めるデータに従い、曲を構成する音符毎に、歌唱音のピッチの軌道の通過点となる制御点を設定する制御点設定手段と、隣接する２種類の制御点間の区間毎に定められた演算方法に従い、前記制御点設定手段によって設定された各制御点を通過する軌道を求め、該軌道に沿ってピッチを変化させるピッチデータを生成して記憶手段に格納するピッチデータ生成手段と、前記ピッチデータを前記記憶手段から読み出し、歌唱音を合成する音源に出力する出力手段とを具備することを特徴とする歌唱合成装置およびコンピュータを前記歌唱合成装置として機能させる歌唱合成プログラムを提供する。
かかる発明によれば、音符毎に制御点が設定され、制御点を通過する軌道に沿って、合成される歌唱音のピッチを変化させることができるので、合成される歌唱音のピッチが音符に対応したピッチに到達した後の区間においても、ピッチに変化を与えることができ、自然な歌唱音を得ることができる。
【発明を実施するための最良の形態】
【０００６】
以下、図面を参照し、この発明の実施の形態を説明する。
＜第１実施形態＞
図１は、この発明の第１実施形態である歌唱合成装置の構成を示すブロック図である。この歌唱合成装置は、音声を合成して出力する機能を有するパーソナルコンピュータなどのコンピュータに対し、歌唱合成プログラムをインストールしたものである。図１において、ＣＰＵ１は、この歌唱合成装置の各部を制御する制御中枢である。ＲＯＭ２は、ローダなど、この歌唱合成装置の基本的な動作を制御するための制御プログラムを記憶した読み出し専用メモリである。表示部３は、装置の動作状態や入力データおよび操作者に対するメッセージなどを表示するための装置である。操作部４は、ユーザからコマンドや各種の情報を受け取るための手段であり、キーボードやマウスなどの各種の操作子により構成されている。インタフェース群５は、ネットワークを介して他の装置との間でデータ通信を行うためのネットワークインタフェースや、磁気ディスクやＣＤ−ＲＯＭなどの外部記憶媒体との間でデータの授受を行うためのドライバなどにより構成されている。ＨＤＤ（ハードディスク装置）６は、各種のプログラムやデータベースなどの情報を記憶するための不揮発性記憶装置である。ＲＡＭ７は、ＣＰＵ１によってワークエリアとして使用される揮発性メモリである。ＣＰＵ１は、操作部４を介して与えられる指令に従い、ＨＤＤ６内のプログラムをＲＡＭ７にロードして実行する。
【０００７】
フォルマント音源８は、ＣＰＵ１による制御の下、歌唱音を合成する音源である。このフォルマント音源８には、歌唱音のフォルマントを特定する情報として、フォルマント中心周波数データＦＦｒｅｑ、フォルマントレベルデータＦｌｅｖｅｌおよびフォルマント形状データＦＳｈａｐｅが与えられ、また、歌唱音のピッチを指定するピッチデータＰＩＴＣＨが与えられる。フォルマント音源８は、これらのデータにより指定されたフォルマントおよびピッチを有する歌唱音を合成し、サウンドシステム９から出力する。
【０００８】
ＨＤＤ６に記憶される情報として、曲編集プログラム６１と、曲データ６２と、音韻データベース６３と、歌唱合成プログラム６４がある。曲データ６２は、曲を構成する一連の音符を表す音符データと、音符に合わせて発声する歌詞を表す歌詞データとからなるデータであり、曲毎に編集されてＨＤＤ６に格納される。曲編集プログラム６１は、曲データを編集するためにＣＰＵ１によって実行されるプログラムである。好ましい態様において、この曲編集プログラム６１は、ピアノの鍵盤の画像からなるＧＵＩ（グラフィカルユーザインタフェース）を表示部３に表示させる。ユーザは、表示部３に表示された鍵盤における所望の鍵の画像を操作部４の操作により指定し、また、その音符に合わせて発声する歌詞を操作部４の操作により入力することができる。曲編集プログラム６１は、このようにして、音符とその音符に合わせて発声する歌詞に関する情報をユーザから操作部４を介して受け取り、音符毎に音符データと歌詞データとを曲データ６２としてＨＤＤ６内に格納する。
【０００９】
１個の音符に対応した音符データは、音符の発生時刻、音高、音符の長さを示す各情報を含んでいる。歌詞データは、音符に合わせて発音すべき歌詞を音符毎に定義したデータである。曲データ６２は、曲の開始からの発生順序に合わせて、個々の音符に対応した音符データと歌詞データとを時系列的に並べたものであり、曲データ６２内において音符データと歌詞データは音符単位で対応付けられている。
【００１０】
歌唱合成プログラム６４は、この曲データ６２に従って、フォルマント音源８に歌唱音を合成させる処理をＣＰＵ１に実行させるプログラムである。好ましい態様において、歌唱合成プログラム６４および曲編集プログラム６１は、例えばインターネット内のサイトからインタフェース群５の中の適当なものを介してダウンロードされ、ＨＤＤ６にインストールされる。また、他の態様において、歌唱合成プログラム６４等は、ＣＤ−ＲＯＭ、ＭＤなどのコンピュータ読み取り可能な記憶媒体に記憶された状態で取引される。この態様では、インタフェース群５の中の適当なものを介して記憶媒体から歌唱合成プログラム６４等が読み出され、ＨＤＤ６にインストールされる。音韻データベース６３は、歌唱合成プログラム６４によって参照される音韻データのグループの集合体である。音韻データベース６３では、発生する音声の種類、例えば、男声、女声、あるいは特定の歌手等ごとに音韻データのグループが用意されている。歌唱合成プログラム６４による歌唱合成の際、ユーザは、操作部４の操作により、発声させたい声質に応じて使用する音韻データのグループを選択することができる。各グループを構成する音韻データは、各音韻をフォルマント合成するためのパラメータであり、各音韻対応に、その音韻を発生するための各フォルマントの形状を指定するフォルマント形状データＦＳｈａｐｅ、各フォルマントの中心周波数をそれぞれ指定するフォルマント中心周波数データＦＦｒｅｑ、各フォルマントの出力レベルをそれぞれ指定するフォルマントレベルデータＦＬｅｖｅｌからなっている。
【００１１】
図２は歌唱合成プログラム６４の処理内容を示している。歌唱合成プログラム６４は、大別して、歌唱合成スコア生成処理６４Ａと歌唱合成スコア出力処理６４Ｂとにより構成されている。歌唱合成スコア生成処理６４Ａは、ユーザによって指定された曲データ６２と、音韻データベース６３内においてユーザによって指定されたグループの音韻データとに基づき、ピッチデータトラック７１および音韻データトラック７２からなる歌唱合成スコア７０をＲＡＭ７内のワークエリアに生成する処理である（図１参照）。ここで、ピッチデータトラック７１は、歌唱音のピッチを指定するピッチデータＰＩＴＣＨを曲の開始点からの時間経過に従って時系列的に並べたデータストリームである。また、音韻データトラック７２は、歌唱音のフォルマントを特徴付けるフォルマント形状データＦＳｈａｐｅ、フォルマント中心周波数データＦＦｒｅｑおよびフォルマントレベルデータＦＬｅｖｅｌを曲の開始点からの時間経過に従って時系列的に並べたデータストリームである。
【００１２】
歌唱合成スコア生成処理６４Ａは、ピッチデータトラック７１を生成するための処理として、制御点設定処理６４１と、ピッチデータ生成処理６４２とを有している。本実施形態では、歌唱音の表情を豊かなものにするため、音符に対応したピッチに到達した以降における歌唱音のピッチを、ある軌道に沿って変化させ、このピッチの時間的変化を持った歌唱音をフォルマント音源８に生成させる。このように歌唱音のピッチを変化させるため、制御点設定処理６４１では、音符毎に、合成される歌唱音のピッチの軌跡の目標通過点として、基本的には３個の制御点Ａ、ＢおよびＣ、例外的にはそれらのうちの２個または１個の制御点を定める。ここで、制御点Ａは、歌唱音のピッチが音符に対応したピッチに到達した後、最初に通過すべき目標通過点、制御点Ｂは、２番目に通過すべき目標通過点、制御点Ｃは最後に通過すべき目標通過点である。
【００１３】
このような制御点を音符毎に定めるため、本実施形態では、制御点Ａ、Ｂ、Ｃに関するデータが予め用意されている。ここで、制御点ＡおよびＢに関するデータは、音符の開始時刻（ノートオンタイミング）から制御点ＡまたはＢまでの経過時間を示す情報と、制御点ＡまたはＢのピッチと平均律により決められる音符のピッチとの音高差を示すセント値とを含む。また、制御点Ｃに関するデータは、制御点Ｃから音符の終了時刻（ノートオフタイミング）までの残り時間を示す情報と、制御点Ｃのピッチと平均律により決められる音符のピッチとの音高差を示すセント値とを含む。制御点設定処理６４１では、音符毎に、その音符の音符データと、これらの制御点Ａ、ＢおよびＣに関するデータとに基づき、制御点Ａ、ＢおよびＣのタイミングとピッチを定める。
【００１４】
ピッチデータ生成処理６４２では、これらの制御点Ａ、ＢおよびＣを通過するピッチの軌道を求め、この軌道に沿ってピッチを変化させるピッチデータを生成し、このピッチデータをピッチデータトラック７１に格納する。本実施形態では、制御点ＡおよびＢ間と、制御点ＢおよびＣ間と、制御点Ｃおよび次の音符の制御点Ａ間について、各区間のピッチの軌道を求めるための関数が予め定義されている。ピッチデータ生成処理６４２では、これらの関数を利用し、各制御点を通過するピッチの軌道を求める。
【００１５】
歌唱合成スコア生成処理６４Ａは、音韻データトラック７２を生成するための処理として、音韻抽出処理６４３と、音韻データ生成処理６４４とを有している。音韻抽出処理６４３は、歌詞データ６２Ｂが示す歌詞から音韻を順次抽出する処理である。音韻データ生成処理６４４は、音韻データベース６３内の音韻データのうちユーザによって指定されたグループのものの中から、音韻抽出処理６４３により抽出された音韻を合成するための音韻データ、具体的にはフォルマント形状データＦＳｈａｐｅ、フォルマント中心周波数データＦＦｒｅｑおよびフォルマントレベルデータＦＬｅｖｅｌを読み出し、音韻データトラック７２に格納する。
【００１６】
歌唱合成スコア出力処理６４Ｂは、以上説明した歌唱合成スコア生成処理６４Ａにより生成されたピッチデータトラック７１および音韻データトラック７２の同期再生を行い、ピッチデータＰＩＴＣＨと、音韻データであるフォルマント形状データＦＳｈａｐｅ、フォルマント中心周波数データＦＦｒｅｑおよびフォルマントレベルデータＦＬｅｖｅｌをフォルマント音源８に供給する処理である。さらに詳述すると、歌唱合成スコア出力処理６４Ｂでは、曲の進行に合わせて各音符に対応したピッチデータＰＩＴＣＨおよび音韻データをピッチデータトラック７１および音韻データトラック７２から読み出してフォルマント音源８に供給する。また、歌唱合成スコア出力処理６４Ｂでは、母音のみからなる音節は、音符のノートオンタイミングにおいてフォルマント音源８から出力され、子音および母音からなる音節は、音符のノートオンタイミングにおいて母音部分がフォルマント音源８から出力されるように、各音韻データのフォルマント音源８への供給タイミングが制御される。
以上が歌唱合成プログラムの処理内容の概略である。なお、歌唱合成プログラムの詳細、特に制御点設定処理６４１およびピッチデータ生成処理６４２の詳細については、説明の重複を避けるため、本実施形態の動作説明において明らかにする。
【００１７】
次に本実施形態の動作を説明する。なお、以下では、本実施形態の特徴である歌唱合成の動作を説明し、他の動作の説明は省略する。ＣＰＵ１は、操作部４を介して所定の指示が与えられることにより、ＨＤＤ６内の歌唱合成プログラム６４をＲＡＭ７にロードして実行する。この歌唱合成プログラム６４の実行過程において、歌唱合成の対象である曲データ６２と、合成に用いる音韻データのグループとが操作部４の操作により指定され、歌唱合成開始の指示がユーザから与えられると、まず、歌唱合成スコア生成処理６４Ａの実行が開始され、それから少し遅れて歌唱合成スコア出力処理６４Ｂの実行が開始される。
【００１８】
歌唱合成スコア生成処理６４Ａでは、制御点設定処理６４１およびピッチデータ生成処理６４２の実行により音符データ６２Ａからピッチデータトラック７１が生成され、音韻抽出処理６４３および音韻データ生成処理６４４の実行により歌詞データ６２Ｂから音韻データトラック７２が生成される。
【００１９】
歌唱合成スコア出力処理６４Ｂでは、歌唱合成スコア生成処理６４Ａにより生成されたピッチデータトラック７１および音韻データトラック７２の同期再生が行われ、ピッチデータＰＩＴＣＨと、音韻データがフォルマント音源８に供給される。この結果、音韻データによって特徴付けられるフォルマントを有し、かつ、ピッチデータＰＩＴＣＨにより指定されるピッチを有する歌唱音がフォルマント音源８により順次合成され、サウンドシステム９から出力される。
【００２０】
本実施形態では、フォルマント音源８により合成される歌唱音のピッチを制御するための手段として、制御点設定処理６４１およびピッチデータ生成処理６４２が実行される。このため、フォルマント音源８により合成される歌唱音のピッチの変化の態様は、以下説明するように本実施形態特有のものとなる。
【００２１】
図３（ａ）〜（ｃ）は制御点設定処理６４１およびピッチデータ生成処理６４２の実行例を示している。図３（ａ）は、音符データ６２Ａの内容を例示するものである。この図において、横軸は時間であり、縦軸は音符のピッチである。この図に示すように、音符データ６２Ａによって表される一連の音符Ｎ０〜Ｎ４のピッチは、階段状に変化する。制御点設定処理６４１では、これらの音符Ｎ０〜Ｎ４に制御点が設定され、ピッチデータ生成処理６４２では各制御点を通過するピッチの軌道が求められ、この軌道に沿ってピッチを変化させるピッチデータが生成される。図３（ｂ）は、音符Ｎ１に対して制御点Ａ、Ｂ、Ｃが設定され、これらの制御点間を結ぶピッチの軌道が決定された様子を示している。図３（ｂ）に示す例において、制御点ＡおよびＣのピッチは、音符のピッチよりも僅かに高いピッチとされ、制御点Ｂのピッチは音符のピッチよりも低いピッチとされている。
【００２２】
制御点設定処理６４１では、１つの音符に対し、基本的に３つの制御点Ａ、Ｂ、Ｃが設定される。しかし、音符の符長が第１の閾値より短い場合には、最後の制御点Ｃが消去され、制御点ＡおよびＢのみが設定される。さらに、音符の符長が第１の閾値よりも短い第２の閾値よりも短く、２つの制御点を設定するに値しない場合には、制御点Ａのみがその音符に設定される。図３（ｃ）には、符長が長い音符Ｎ１およびＮ４に３つの制御点Ａ、Ｂ、Ｃが設定され、第１の閾値よりも短い符長の音符Ｎ３に２つの制御点Ａ、Ｂが設定され、第２の閾値よりも短い符長の音符Ｎ２に１つの制御点Ａが設定された例が示されている。
【００２３】
ピッチデータ生成処理６４２においては、制御点ＡおよびＢ間、制御点ＢおよびＣ間、最後の制御点（通常は制御点Ｃ、例外的に制御点ＢまたはＡ）および後続音符の制御点Ａ間の各区間についてピッチの軌道の演算方法が定められており、この演算方法に従って各区間の軌道が演算される。この制御点間の軌道の演算方法には各種の態様が考えられる。図３（ｂ）では、制御点ＡおよびＢ間を結ぶ直線をピッチの軌道とする第１の態様が破線で示され、制御点ＡおよびＢ間を結ぶ緩やかな谷をピッチの軌跡とする第２の態様が実線で示されている。
【００２４】
第１の態様では、例えば時刻ｔにおける制御点ＡおよびＢ間の軌道上のピッチｐを、次式により求めることができる。
ｐ＝ｐＡ＋（（ｐＢ−ｐＡ）／（ｔＢ−ｔＡ））（ｔ−ｔＡ）      ……（１）
ここで、ｐＡは制御点Ａのピッチ、ｐＢは制御点Ｂのピッチ、ｔＡは制御点Ａの時刻、ｔＢは制御点Ｂの時刻である。
【００２５】
第２の態様では、制御点ＡおよびＢ間の軌道上のピッチＰを、次式により求めることができる。
ｐ＝ｐＡ＋（（ｐＢ−ｐＡ）／（ｔＢ−ｔＡ））（ｔ−ｔＡ）
−ｖ１ｓｉｎ２（π（ｔ−ｔＡ）/（ｔＢ−ｔＡ））          ……（２）
ここで、ｖ１は谷の深さを表すパラメータである。
制御点ＢおよびＣ間のピッチの軌道も同様であり、この軌道は制御点間を結ぶ直線としてもよいし、曲線としてもよい。
本実施形態では、実際の人間の歌唱音におけるピッチの振る舞いに合わせ、制御点ＡおよびＢ間の軌道は谷とし、制御点ＢおよびＣ間の軌道は直線としている。
【００２６】
音符の切り換わり部分におけるピッチの軌道は、先行する音符の最後の制御点（通常は制御点Ｃ）と後続の音符の最初の制御点Ａとを結ぶ直線または曲線とされる。図３（ｃ）に示す例では、音符Ｎ０から音符Ｎ１への切り換わり部分におけるピッチの軌道として、先行する音符Ｎ０の最後の制御点Ｃと後続の音符Ｎ１の最初の制御点Ａを結ぶ曲線が採用されている。実際の歌声のピッチの動きを観察すると、この音符の切り換わり部分のピッチの軌道は、図４に実線で示すように撓んでいることが多い。そこで、好ましい態様におけるピッチデータ生成処理６４２では、先行する音符の最後の制御点（通常は制御点Ｃ、例外的に制御点ＢまたはＡ）と後続の最初の制御点との間の区間の軌道を次のようにして求める。
【００２７】
すなわち、時刻をｔ、先行する音符の最後の制御点の時刻をｔＣ、同制御点のピッチをｐＣ、後続の音符の最初の制御点Ａの時刻をｔＡ、同制御点のピッチをｐＡとした場合、ｔ≦（ｔＡ＋ｔＣ）／２の区間は式（３）に従い、ｔ＞（ｔＡ＋ｔＣ）／２の区間は式（４）に従って音符の切り換わり部分のピッチｐを求めるのである。
ｐ＝（ｐＡ＋ｐＣ）／２
−（（ｐＡ−ｐＣ）／２）（１−２（ｔ−ｔＣ）／（ｔＡ−ｔＣ））α）……（３）
ｐ＝（ｐＡ＋ｐＣ）／２
＋（（ｐＡ−ｐＣ）／２）（２（ｔ−ｔＣ）／（ｔＡ−ｔＣ）−１）α）……（４）
【００２８】
上記式（３）および（４）において、αはピッチ変化の撓み具合を調整するためのパラメータである。このパラメータαが１である場合、制御点間の軌道は図４に破線で示すように直線となる。また、パラメータαが１より小さい正の数である場合、図４に実線で示すように、前半のｔ≦（ｔＡ＋ｔＣ）／２の区間の軌道は下方に撓んだ曲線となり、後半のｔ＞（ｔＡ＋ｔＣ）／２の区間の軌道は上方に撓んだ曲線となる。好ましい態様では、この曲線が音符の切り換わり部分のピッチの軌道として採用される。なお、パラメータαが１より大きい正の数である場合は、逆に、前半の区間の軌道は上方に撓んだ曲線となり、後半の区間の軌道は下方に撓んだ曲線となる。
【００２９】
音符の切り換わり部分のピッチの軌道に、前述した制御点ＡおよびＢ間の軌道に適用したような谷（図３（ｂ）参照）を設けてもよい。この態様によれば、音程が上がるときに、歌声の音程が一旦下がってから上昇したり、音程が下がるときに、歌声の音程が一旦下がりすぎてから再度上がる現象を歌唱合成において再現することができる。
【００３０】
ところで、実際の歌唱では、歌いだしの部分、すなわち、最初の音符または所定時間長以上の休符の後の音符に対応した歌唱部分において、特別なピッチの動きをする場合が多い。この現象を再現するため、本実施形態における制御点設定処理６４１では、対象とする音符の前の音符がない場合または対象とする音符の前に所定時間長以上の休符がある場合に、図５に示すように、対象とする音符の最初の制御点Ａの前に１つ以上の追加の制御点（図５では制御点Ｐ、Ｑ）を配置する。そして、ピッチデータ生成処理６４２では、この追加の制御点と、対象とする音符の最初の制御点Ａとを結ぶ軌道を求め、この軌道に沿ってピッチを変化させるピッチデータを生成する。この場合、各制御点間を結ぶ軌道は、破線で示すように直線にしてもよく、あるいは実線で示すように曲線にしてもよい。なお、歌いだし部分の歌詞の存在しない期間は、歌詞から音韻データを生成することができないので、無音から歌いだしの歌詞に対応する音韻に遷移する音韻データを音韻データ生成処理６４４において生成し、音韻データトラック７２に格納する。
【００３１】
図５に示す例では、制御点Ｐは、最初の音符のノートオンタイミングよりも所定時間だけ前の位置に配置され、そのピッチは最初の音符に対応したピッチｐＳよりも所定量だけ低いピッチとされている。また、制御点Ｑは、最初の音符のノートオンタイミングに近い位置に配置され、制御点Ｑのピッチは、制御点Ｐよりもピッチが高く、かつ、制御点Ａよりは制御点Ｐに近いピッチとされている。この場合、歌いだし部分における合成歌唱音のピッチは、最初の音符のノートオンタイミングの手前の制御点Ｐのある時刻から徐々に上昇を開始し、制御点Ｑのあるノートオンタイミング近くの時刻以降になると、それまでよりも急峻なスロープを描いて、制御点Ａのあるピッチまで上昇する。このように、本態様によれば、歌いだし部分の特別なニュアンスを歌唱合成において再現することができる。
【００３２】
歌いだしの場合には、追加の制御点Ｐ、Ｑを配置することに加えて、歌いだしの音符の最初の制御点Ａを通常とは異なった位置に配置するようにすると、歌いだしの場合の特別なニュアンスを歌唱合成において再現することができる。例えば歌いだしの部分においては、歌声の音程が音符に対応した正しい音程に到達するまで若干の時間がかかる場合が多い。そこで、好ましい態様では、これを再現するために、歌いだし部分の最初の音符については、特別に、制御点Ａのピッチを音符に対応したピッチよりも低く設定する。このようにすることで、より自然な歌いまわしを歌唱合成において再現することができる。
【００３３】
同様に、実際の歌唱では、歌い終わりの部分、すなわち、曲の最後の音符または所定時間長以上の休符の前の音符に対応した歌唱部分においても、ピッチが最後にだら下がりになる等、特別なピッチの動きをする場合が多い。この現象を再現するため、本実施形態における制御点設定処理６４１では、対象とする音符の後に音符がない場合または対象とする音符の後に所定時間長以上の休符がある場合に、図６に示すように、対象とする音符の最後の制御点Ｃの後に１つ以上の追加の制御点（図６では制御点Ｒ、Ｓ）を配置する。そして、ピッチデータ生成処理６４２では、この追加の制御点と、対象とする音符の最後の制御点Ｃとを結ぶ軌道を求め、この軌道に沿ってピッチを変化させるピッチデータを生成する。この場合、各制御点間を結ぶ軌道は、破線で示すように直線にしてもよく、あるいは実線で示すように曲線にしてもよい。音韻データは、歌い終わりの部分の最後の音符に合わせて発声される音韻のものを引き続いて採用し、音韻データトラック７２に格納すればよい。
【００３４】
図６に示す例では、制御点Ｓは、最後の音符のノートオフタイミングよりも所定時間だけ後の位置に配置され、そのピッチは最後の音符に対応したピッチｐＥよりも所定量だけ低いピッチとされている。また、制御点Ｒは、最後の音符のノートオフタイミングに近い位置に配置され、制御点Ｒのピッチは、制御点Ｓよりもピッチが高く、かつ、最後の音符の最後の制御点Ｃよりは制御点Ｓに近いピッチとされている。この場合、歌い終わり部分における合成歌唱音のピッチは、最後の音符の最後の制御点Ｃの時刻からノートオフタイミングの近くの制御点Ｒのある時刻に掛けて下降し、それ以降は、それまでよりも緩やかなスロープを描いて、制御点Ｓのあるピッチまで下降する。このように、本態様によれば、歌い終わり部分の特別なニュアンスを歌唱合成において再現することができる。
【００３５】
以上説明したように、本実施形態によれば、歌唱音のピッチの軌道の通過点となる１〜３個の制御点を、音符データが示す音符毎に設定し、隣接する２種類の制御点間の区間毎に定められた軌道の演算方法に従い、各制御点を通過する軌道を求め、該軌道に沿って合成歌唱音のピッチを変化させるようにしたので、合成される歌唱音のピッチに対し、音符に対応するピッチに到達した後の区間においても変化を与えることができ、人間の歌唱に近い自然な歌唱を再現することができる。また、本実施形態によれば、音符の切り換わり部分において、先行する音符の最後の制御点と後続の音符の最初の制御点との間の区間のピッチの軌道に所望の変化を持たせることができるので、音符の切り換わり部分について自然な歌唱を再現することができる。また、本実施形態によれば、歌いだし部分については最初の音符の前に追加の制御点を配置し、歌い終わり部分については最後の音符の後に追加の制御点を配置し、これらの制御点を通過する軌道に従って合成歌唱音のピッチを変化させるようにしたので、歌いだし部分および歌い終わり部分の特別なニュアンスを歌唱合成において再現することができる。
【００３６】
＜第２実施形態＞
次に図７を参照し、この発明の第２実施形態について説明する。本実施形態は、上記第１実施形態に変形を加えたものである。本実施形態では、上記第１実施形態における歌唱合成スコア生成処理６４Ａに対し、擬似乱数生成処理６４５が追加されている。本実施形態では、制御点設定処理６４１により制御点の設定を行うときに、それに先立って擬似乱数生成処理６４５により擬似乱数を発生する。そして、この擬似乱数により各制御点の時刻またはピッチを、制御点の相対的位置を示すデータによる定まる位置から分散させる。
【００３７】
本実施形態では、ある音符の制御点Ａ、Ｂ、Ｃ、次の音符の制御点Ａ、Ｂ、Ｃという具合に、設定対象である制御点が進む度に、擬似乱数が発生され、この擬似乱数により各制御点の発生時刻またはピッチに揺らぎが与えられる。従って、制御点の位置が分散し、ピッチの変化の態様が画一的なものではなくなり、単調さのない自然な歌唱音を合成することができる。
【００３８】
さらに本実施形態では、擬似乱数生成処理６４５に加えて、制御点の種類毎に、分散化に用いる擬似乱数の範囲を変え、制御点の分散の程度を調整する乗算処理Ｍ１〜Ｍ７が設けられている。ここで、制御点の分散の程度は、操作部４の操作により、制御点の種類毎に設定することができる。従って、本実施形態によれば、ユーザは、制御点の種類毎に分散の程度を調整して、自分の好みにあった歌唱音を合成することができる。
【００３９】
本実施形態には、次のような変形例が考えられる。すなわち、曲の最初の音符および長い休符の後の音符の制御点の分散の程度を、それ以外の音符の制御点の分散の程度とは独立に、操作部４の操作により調整することができるように構成するのである。この態様によれば、歌いだしの部分の歌いまわしが画一的になるのを防止し、自然な歌唱音を合成することができる。
【００４０】
＜第３実施形態＞
次に図８を参照し、この発明の第３実施形態について説明する。本実施形態も、上記第１実施形態に変形を加えたものである。本実施形態では、上記第１実施形態におけるＨＤＤ６にパラメータデータベース６５が格納されている。このパラメータデータベース６５は、“通常”、“鋭く”、“滑らかに”といった各種の歌いまわし毎に、制御点ＡおよびＢ間の谷の深さｖ１、音符の切り換わり部分のピッチの変化の撓み具合を決定するパラメータα、各制御点の音符に対する位置を決定するためのパラメータ、制御点間を結ぶ曲線の関数等、ピッチの軌道を決定するためのパラメータのセットを定義したものである。本実施形態では、操作部４の操作により歌いまわしの種類の選択が行われると、その種類に対応したパラメータのセットがパラメータデータベース６５から読み出され、歌唱合成スコア生成処理６４Ａに与えられる。そして、歌唱合成スコア生成処理６４Ａでは、このパラメータデータベース６５から読み出されたパラメータのセットに基づいて、制御点の設定や制御点間を結ぶピッチの軌道の演算が行われる。
【００４１】
本実施形態によれば、ユーザは、各パラメータの意味を知らなくても、自分の好みの歌いまわしを選択する操作をするのみにより、そのような歌いまわしのためのパラメータが自動的に選択され、歌唱合成に用いられる。従って、ユーザは、自分の好みの歌いまわしの合成歌唱音を簡単に取得することができる。
【００４２】
＜他の実施形態＞
以上、この発明の第１〜第３実施形態を説明したが、この発明には、これ以外にも各種の実施形態が考えられる。例えば次の通りである。
（１）上記第１実施形態において、制御点Ａ、Ｂ、Ｃの相対的位置を定義するデータや、制御点間を結ぶ軌道を決定する各種のパラメータを、ユーザが操作部４の操作により調整することができるように構成してもよい。
（２）歌唱音の合成を行う音源は、フォルマント音源でなくてもよい。例えば、様々な音韻の波形のサンプルデータを記憶したメモリ、または、様々な音韻の調和成分のスペクトル包絡と非調和成分のスペクトルを記憶したメモリを備え、指定された音韻のサンプルデータをこのメモリから読み出して歌唱音を合成する構成の音源を歌唱合成装置に用いてもよい。
（３）操作部４の操作により与えられる要求に応じて、ピッチデータ生成処理６４２により得られたピッチの軌道を表示部３に表示するようにしてもよい。また、この表示を確認したユーザが、操作部４の操作により、所望の音符の所望の制御点の位置を修正することができるように構成してもよい。
【図面の簡単な説明】
【００４３】
【図１】この発明の第１実施形態である歌唱合成装置の構成を示すブロック図である。
【図２】同実施形態における歌唱合成処理の内容を示す図である。
【図３】同実施形態における制御点設定処理およびピッチデータ生成処理の実行例を示す図である。
【図４】同実施形態における音符の切り換わり部分におけるピッチの変化の態様を例示する波形図である。
【図５】同実施形態における歌いだし部分におけるピッチの変化の態様を例示する波形図である。
【図６】同実施形態における歌い終わり部分におけるピッチの変化の態様を例示する波形図である。
【図７】この発明の第２実施形態である歌唱合成装置の特徴部分の構成を示すブロック図である。
【図８】この発明の第３実施形態である歌唱合成装置の特徴部分の構成を示すブロック図である。
【符号の説明】
【００４４】
１……ＣＰＵ、４……操作部、６……ＨＤＤ、７……ＲＡＭ、８……フォルマント音源、６３……音韻データベース、６４……歌唱合成プログラム、７０……歌唱合成スコア、７１……ピッチデータトラック、７２……音韻データトラック、６２Ａ……音符データ、６４１……制御点設定処理、６４２……ピッチデータ生成処理、６４Ａ……歌唱合成スコア生成処理、６４Ｂ……歌唱合成スコア出力処理。
【図１】
2006330615.tif 000003
【図２】
2006330615.tif 000004
【図３】
2006330615.tif 000005
【図４】
2006330615.tif 000006
【図５】
2006330615.tif 000007
【図６】
2006330615.tif 000008
【図７】
2006330615.tif 000009
【図８】
2006330615.tif 000010