(57)【要約】【課題】従来よりも少ない情報量にて、より自然な合成音を生成することができる楽音合成制御データ等を提供する。【解決手段】図１に示すシステムエクスクルーシブメッセージにおいては、音声を合成するために必要な発話タイミング、発音時間長、ピッチ、音量、音素の情報がまとめて定義されている。音声合成装置は、外部シーケンサから該メッセージを受け取ると、“Ｎｕｍｂｅｒ  ｏｆ  Ｐｒｏｓｏｄｉｃ  ＰｉｔｃｈＢｅｎｄ  Ｃｈａｎｇｅ”や“Ｐｒｏｓｏｄｉｃ  ＰｉｔｃｈＢｅｎｄ”等を参照し、各ピッチベンド値の間を直線補間する一方、“Ｎｕｍｂｅｒ  ｏｆ  Ｐｒｏｓｏｄｉｃ  Ｖｏｌｕｍｅ”や“Ｐｒｏｓｏｄｉｃ  Ｖｏｌｕｍｅ”等を参照し、ボリューム値の間を直線補間する。音声合成装置は、このようにして得られたピッチ、音量をつけて音声を合成する。【選択図】        図１
2004294795.tif 000002
【特許請求の範囲】
【請求項１】
楽音合成装置に与えられる楽音合成制御データであって、
発音時間の長さを規定する発音時間長情報と、
前記発音時間を所定分割した場合に得られる前記発音時間内における各位置のうちのいずれかの位置と当該位置での音高値とを規定した複数の情報対であって、規定した各位置における音高値の間が前記楽音合成装置によって補間される複数の第１の情報対と、
前記各位置のうちのいずれかの位置と当該位置での音量値とを規定した複数の情報対であって、規定した各位置における音量値の間が前記楽音合成装置によって補間される複数の第２の情報対と
を備えることを特徴とする楽音合成制御データ。
【請求項２】
発音初期時における音高値を規定した初期音高情報と発音初期時における音量値を規定する初期音量情報とをさらに備えることを特徴とする請求項１に記載の楽音合成制御データ。
【請求項３】
当該楽音合成制御データは、音声合成用の楽音合成制御データであり、発音すべき音声に係る音素情報をさらに備えることを特徴とする請求項１に記載の楽音合成制御データ。
【請求項４】
請求項１〜３のいずれか１の請求項に記載の楽音合成制御データを記録したことを特徴とする記録媒体。
【請求項５】
楽音合成装置に与える楽音合成制御データを作成する装置であって、
発音時間の長さを規定した発音時間長情報を生成し、前記発音時間を所定分割した場合に得られる前記発音時間内における各位置のうちのいずれかの位置と当該位置での音高値とを規定した複数の情報対であって、規定した各位置における音高値の間が前記楽音合成装置によって補間される複数の第１の情報対を生成し、
前記各位置のうちのいずれかの位置と当該位置での音量値とを規定した複数の情報対であって、規定した各位置における音量値の間が前記楽音合成装置によって補間される複数の第２の情報対を生成することにより、前記発音時間長情報、前記複数の第１の情報対、前記複数の第２の情報対を備える楽音合成制御データを作成するデータ作成装置。
【請求項６】
楽音合成装置に与える楽音合成制御データを作成するコンピュータに、
発音時間の長さを規定した発音時間長情報を生成する第１の生成機能と、
前記発音時間を所定分割した場合に得られる前記発音時間内における各位置のうちのいずれかの位置と当該位置での音高値とを規定した複数の情報対であって、規定した各位置における音高値の間が前記楽音合成装置によって補間される複数の第１の情報対を生成する第２の生成機能と、
前記各位置のうちのいずれかの位置と当該位置での音量値とを規定した複数の情報対であって、規定した各位置における音量値の間が前記楽音合成装置によって補間される複数の第２の情報対を生成する第３の生成機能とを実現させるためのプログラム。
【請求項７】
請求項１に記載の楽音合成制御データを受信し、受信した前記楽音合成制御データから前記複数の第１の情報対及び前記複数の第２の情報対を取得し、取得した第１の情報対に規定されている前記各位置における音高値の間を補間することにより楽音合成に用いる音高を求めると共に、取得した第２の情報対に規定されている前記各位置における音量値の間を補間することにより楽音合成に用いる音量を求めることを特徴とする楽音合成装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、音声や楽器音などの楽音の合成に用いて好適な楽音合成制御データ、該データを記録した記録媒体、データ作成装置、プログラム及び楽音合成装置に関する。
【０００２】
【従来の技術】
一般に、音声には、人体の構造（例えば、声道等）により所定のフォルマントが存在し、これによって音声特有の音色が特徴づけられている。
電子楽器分野においては、この音声により近い音色を得るべく、その固有のフォルマントに従って音声を合成することが行われている。
【０００３】
しかしながら、一般に音声は楽器音よりも立ち上がりが遅い。このため、例えば楽器音の発音と歌唱音の発音とを同時に開始させたとしても、聴感上は歌唱音がやや遅れて開始されたように聞こえてしまう。
かかる事情に鑑み、楽器音のノートオン（発音）に伴って発生させる歌唱音については、楽器音のノートオンを伴わない歌唱音よりも短時間で立ち上げることにより、楽器音のノートオンに伴う歌唱音を適正なタイミングで発音させる技術が提案されている（例えば、特許文献１参照）。
【０００４】
【特許文献１】
特開平１０−４９１６９号公報（第５−６頁、第１３図）
【０００５】
【発明が解決しようとする課題】
かかる技術によれば上記問題を解消することができるが、音に固有のフォルマントに従って音声を合成する技術においては、更に根本的な問題として人間がしゃべったが如く自然な韻律の変化（すなわち音高（ピッチ）と音量の自然な変化）を合成音に与えるためには、膨大な量の情報が必要になるという問題がある。
以下、かかる問題について図７〜図１０を参照しながら詳細に説明する。
【０００６】
図７は、従来の音声合成システム３０の構成を示す図である。
音声合成システム３０は、外部シーケンサ２０と、この外部シーケンサ２０と通信ケーブル等によって接続された音声合成装置１０とを備える。
外部シーケンサ２０は、ＭＩＤＩ（Ｍｕｓｉｃａｌ  Ｉｎｓｔｒｕｍｅｎｔ  Ｄｉｇｉｔａｌ  Ｉｎｔｅｒｆａｃｅ）規格に準拠した音声合成に必要となる楽音制御データ（以下、ＭＩＤＩデータ）を生成する。
音声合成装置１０は、音声合成部１１や音声辞書１２等を備え、外部シーケンサ２０から上記ＭＩＤＩデータを受け取り、このＭＩＤＩデータに従って音声を合成する。
【０００７】
ここで、図８は、外部シーケンサ２０から音声合成装置１０に時々刻々転送されるＭＩＤＩデータを例示した図である。なお、音声を合成するために最低限必要な情報は、発話タイミング、発音時間長、ピッチ、音量、音素を示す情報である。従って、図８では、これらの情報に関するＭＩＤＩデータであるノートオン／ノートオフメッセージ、ピッチベンドメッセージ、コントロールメッセージ、システムエクスクルーシブメッセージを例示している。
【０００８】
ノートオン／ノートオフメッセージは、発音又は消音を指示するノートオン／ノートオフ情報、発音すべき音高を示すノートナンバ情報、発音の音量を示すベロシティ情報や、発話するタイミングを示すタイミング情報、発音時間長を示す時間長情報等によって構成される。
ピッチベンドメッセージは、発音時間内における上記音高（ピッチ）の細かな変動を指示するピッチベンド情報等によって構成される。
コントロールメッセージは、発音時間内における上記音量の細かな変化を指示するボリューム情報等によって構成される。
システムエクスクルーシブメッセージは、各電子楽器メーカ等が固有に設定することができるメッセージであり、音声合成システム３０においては音素を一意に特定するため音素情報（例えば、音素番号）等によって構成される。
【０００９】
これらＭＩＤＩデータを構成する各情報について、発話するタイミング、発音時間長、ピッチ、音量、音素を示す情報に分類すれば次の通りとなる。
・発話タイミング、発音時間長  →  タイミング情報＋時間長情報
・ピッチ                      →  ノートナンバ情報＋ピッチベンド情報
・音量                        →  ベロシティ情報＋ボリューム情報
・音素                        →  音素情報
【００１０】
図７に戻り、音声合成装置１０の音声合成部１１は、このようなＭＩＤＩデータを外部シーケンサ２０から順次受け取ると、該ＭＩＤＩデータに含まれる音素情報を抽出し、この音素情報を検索キーとして音声辞書１２を検索することにより、該当する音素データを読み出す。そして、音声合成部１１は、読み出した音素データに対し、ピッチベンド情報等に示されるピッチやボリューム情報等に示されるボリューム等を付加して音声を合成する。
【００１１】
図９は、外部シーケンサ２０から音声合成装置１０へ転送されるＭＩＤＩデータの時間的な流れを模式的に示した図である。なお、図中の黒丸は、該当する情報が転送されるタイミングを示しており、図中Ａ、Ｂ、Ｃ、Ｄは、それぞれ音素情報、ノートオン／ノートオフ情報、ピッチベンド情報、ボリューム情報の様子を示し、図中Ｅは、合成波形の発生状態を示している。
図９においては、「まじ」という音声を発声させるために、音素情報“ｍａ（ま）”と“ｄｚｉ（じ）”がシステムエクスクルーシブメッセージに含められて外部シーケンサ２０から音声合成装置１０へ転送される（図９に示すＡ参照）。ただし、実際の発音は、ノートオンメッセージが転送された位置（時刻）から開始するため、この発音開始位置よりも前に該システムエクスクルーシブメッセージが転送される。
【００１２】
一方、ノートオン情報を含むノートオンメッセージは、発音開始時に外部シーケンサ２０から音声合成装置１０へ転送される（図９に示すＢ参照）。このノートオンメッセージには、発音の開始を指示するノートオン情報のほか、発音開始位置でのピッチの値を示すノートナンバ情報や該発音開始位置での音量の値を示すベロシティ情報が含まれる。音声合成装置１０は、このノートオンメッセージに従って当該メッセージを受け取った時点より発音を開始し、ノートオフメッセージを受け取ると発音を停止する。
【００１３】
さらに、発音開始位置から発音停止位置までの間における細かなピッチ変動は、音声合成装置１０がピッチベンドメッセージに含まれるピッチベンド情報に従って制御する一方（図９に示すＣ参照）、発音開始位置から発音停止位置までの間における細かな音量変化は、音声合成装置１０がコントロールメッセージに含まれるボリューム情報に従って制御する（図９に示すＤ参照）。ここで、これらピッチベンド情報、ボリューム情報を含む各メッセージは、あるメッセージが転送されてから対応する次のメッセージが転送されるまでの間、図９に示すＣ、Ｄに実線で描くように一定の値に保たれるため、実際のピッチ及び音量は、一定のピッチ変動、音量変化を示すことになる。
【００１４】
ここで、図１０は、実際の音声波形とそれを分析することによって得られるピッチ及び音量の軌跡を示した図である。
図１０（ａ）〜（ｃ）に示すように、実際の音声においては、ピッチ及び音量の変化が極めて激しいことがわかる。このように極めて細かなピッチ変動及び音量変化を、上述したピッチベンドメッセージ及びコントロールメッセージを用いて実現するためには、ピッチ変動、音量変化を指定するこれらのメッセージを外部シーケンサ２０から音声合成装置１０へ非常に短い時間間隔で転送し続ける必要がある。なお、長い時間間隔でこれらのメッセージを転送したとすれば、ピッチ、音量の変化は図９のＣ、Ｄに示す如く階段状になってしまい、聴感上不自然な合成音声を生成することになるであろう。
【００１５】
本発明は、以上説明した事情を鑑みてなされたものであり、従来よりも少ない情報量にて、より自然な合成音の生成を可能とする楽音合成制御データ、該データを記録した記録媒体、データ作成装置、プログラム及び楽音合成装置を提供することを目的とする。
【００１６】
【課題を解決するための手段】
上述した問題を解決するため、本発明に係る楽音合成制御データは、楽音合成装置に与えられるデータであって、発音時間の長さを規定する発音時間長情報と、
前記発音時間を所定分割した場合に得られる前記発音時間内における各位置のうちのいずれかの位置と当該位置での音高値とを規定した複数の情報対であって、規定した各位置における音高値の間が前記楽音合成装置によって補間される複数の第１の情報対と、前記各位置のうちのいずれかの位置と当該位置での音量値とを規定した複数の情報対であって、規定した各位置における音量値の間が前記楽音合成装置によって補間される複数の第２の情報対とを備えることを特徴とする。
【００１７】
かかる楽音合成制御データには、発音時間内における音高値の変動を表す第１の情報対と、発音時間内における音量値の変動を表す第２の情報対とが含まれている。このように、細かな音高変動を与えるための情報及び細かな音量変化を与えるための情報を楽音合成制御データに新たに定義することにより、従来必要であった膨大な量の情報（例えば、細かなピッチ変動を与えるためのピッチベンド情報及び細かな音量変化を与えるためのボリューム情報）を大幅に低減することが可能となる。
【００１８】
なお、上記楽音合成制御データは、発音初期時における音高値を規定した初期音高情報と発音初期時における音量値を規定する初期音量情報とをさらに備える態様が好ましい。
【００１９】
また、上記楽音合成制御データを音声合成に適用した場合には、該楽音合成制御データに発音すべき音声に係る音素情報を含めるようにしても良い。
【００２０】
また、上記楽音合成制御データを提供する態様として、該楽音合成制御データを所定の記録媒体に記録し、かかる記録媒体を通じて提供するようにしても良い。
【００２１】
また、本発明に係る楽音合成装置は、上述した楽音合成制御データを受信し、受信した前記楽音合成制御データから前記複数の第１の情報対及び前記複数の第２の情報対を取得し、取得した第１の情報対に規定されている前記各位置における音高値の間を補間することにより楽音合成に用いる音高を求めると共に、取得した第２の情報対に規定されている前記各位置における音量値の間を補間することにより楽音合成に用いる音量を求めることを特徴とする。
【００２２】
また、本発明に係るデータ作成装置は、楽音合成装置に与える楽音合成制御データを作成する装置であって、発音時間の長さを規定した発音時間長情報を生成し、前記発音時間を所定分割した場合に得られる前記発音時間内における各位置のうちのいずれかの位置と当該位置での音高値とを規定した複数の情報対であって、規定した各位置における音高値の間が前記楽音合成装置によって補間される複数の第１の情報対を生成し、前記各位置のうちのいずれかの位置と当該位置での音量値とを規定した複数の情報対であって、規定した各位置における音量値の間が前記楽音合成装置によって補間される複数の第２の情報対を生成することにより、前記発音時間長情報、前記複数の第１の情報対、前記複数の第２の情報対を備える楽音合成制御データを作成することを特徴とする。
【００２３】
また、本発明に係るプログラムは、楽音合成装置に与える楽音合成制御データを作成するコンピュータに、発音時間の長さを規定した発音時間長情報を生成する第１の生成機能と、前記発音時間を所定分割した場合に得られる前記発音時間内における各位置のうちのいずれかの位置と当該位置での音高値とを規定した複数の情報対であって、規定した各位置における音高値の間が前記楽音合成装置によって補間される複数の第１の情報対を生成する第２の生成機能と、前記各位置のうちのいずれかの位置と当該位置での音量値とを規定した複数の情報対であって、規定した各位置における音量値の間が前記楽音合成装置によって補間される複数の第２の情報対を生成する第３の生成機能とを実現させることを特徴とする。
【００２４】
【発明の実施の形態】
以下、本発明に係る実施の形態について図面を参照しながら説明する。
【００２５】
Ａ．本実施形態
図１は、本実施形態に係るシステムエクスクルーシブメッセージ（楽音合成制御データ）のフォーマットを例示した図である。図１においては、システムエクスクルーシブメッセージの先頭部分に付加されるステータス（０ｘＦ０）や電子楽器メーカに固有のＩＤ、及び該メッセージの終端部分に付加されるステータス（０ｘＦ７）等は除かれており、必要なデータ部分のみが示されている。
【００２６】
図１に示すシステムエクスクルーシブメッセージにおいては、音声を合成するために必要な発話タイミング、発音時間長、ピッチ、音量、音素の情報がまとめて定義されている。外部シーケンサは、このように定義したシステムエクスクルーシブメッセージを、図２に黒丸で示すように実際の発音開始位置よりも少し手前で音声合成装置に送る。
【００２７】
かかるシステムエクスクルーシブメッセージを新たに定義することにより、人間がしゃべったが如く自然な韻律の変化を合成音声に与えるために従来必要であった膨大な量の情報（具体的には、細かなピッチ変動を与えるためのピッチベンド情報及び細かな音量変化を与えるためのボリューム情報）を大幅に低減することが可能となる。
以下、本実施形態に係るシステムエクスクルーシブメッセージについて詳説する。
【００２８】
図１に示す“Ｃｈａｎｎｅｌ”は、ＭＩＤＩのチャネル番号（０ｘ００−０ｘ０Ｆ）を示す情報であり、そのメッセージがどのチャンネル（パート）に対してのメッセージなのかをチャネル番号により判別するための情報である。
“Ｄｅｌａｙ  Ｔｉｍｅ”（タイミング情報）は、当該メッセージを受け取ってから、実際に発音を開始するまでの時間（複数バイトで示す場合にはそれぞれ（０ｘ００−０ｘ７Ｆ））を示す情報であり、単位としては例えば１０ｍｓ＝１ｔｉｃｋとしたときのｔｉｃｋ数が用いられる。
【００２９】
“Ｎｏｔｅ  Ｎｕｍｂｅｒ”は、ノート番号（０ｘ００−０ｘ７Ｆ）を示す情報であり、通常のノートオンメッセージに含まれるノートナンバ情報（前掲図８参照）と同じものである。
“Ｖｅｌｏｃｉｔｙ”は、ベロシティ値（０ｘ００−０ｘ７Ｆ）を示す情報であり、通常のノートオンメッセージに含まれるベロシティ情報（前掲図８参照）と同じものである。
つまり、“Ｎｏｔｅ  Ｎｕｍｂｅｒ”及び“Ｖｅｌｏｃｉｔｙ”は、それぞれ発音初期時における音高値を規定する情報（初期音高情報）及び発音初期時における音量値を規定する情報（初期音量情報）といえる。
【００３０】
“Ｇａｔｅ  Ｔｉｍｅ”（発音時間長情報）は、発音時間の長さ（複数バイトで示す場合にはそれぞれ（０ｘ００−０ｘ００７Ｆ））を示す情報である。単位としては、上記“Ｄｅｌａｙ  Ｔｉｍｅ”と同様、例えば１０ｍｓ＝１ｔｉｃｋとしたときのｔｉｃｋ数が用いられる。ここで、図３に“Ｄｅｌａｙ  Ｔｉｍｅ”と“Ｇａｔｅ  Ｔｉｍｅ”との関係を示す。
音声合成装置は、本システムエクスクルーシブメッセージを受け取ってから、“Ｄｅｌａｙ  Ｔｉｍｅ”に示される時間だけ待った後に発音を開始し、“Ｇａｔｅ  Ｔｉｍｅ”に示される時間だけ発音を行う。
【００３１】
“Ｎｕｍｂｅｒ  ｏｆ  Ｐｈｏｎｅｔｉｃ  Ｓｙｍｂｏｌ”は、音素記号をＳＡＭＰＡ（Ｓｐｅｅｃｈ  Ａｓｓｅｓｓｍｅｎｔ  Ｍｅｔｈｏｄｓ  Ｐｈｏｎｅｔｉｃ  Ａｌｐｈａｂｅｔ；０ｘ００−０ｘ７ＦのＡＳＣＩＩ記号のみで発音記号を表現できるようにしたもの）で表現した時のその文字数（０ｘ００−０ｘ７Ｆ）を示す情報である。
この“Ｎｕｍｂｅｒ  ｏｆ  Ｐｈｏｎｅｔｉｃ  Ｓｙｍｂｏｌ”に続く“Ｐｈｏｎｅｔｉｃ  Ｓｙｍｂｏｌ  Ｐｏｓｉｔｉｏｎ  １”、“Ｐｈｏｎｅｔｉｃ  Ｓｙｍｂｏｌ  １”〜“Ｐｈｏｎｅｔｉｃ  Ｓｙｍｂｏｌ  Ｐｏｓｉｔｉｏｎ  ｎ”、“Ｐｈｏｎｅｔｉｃ  Ｓｙｍｂｏｌ  ｎ”は、それぞれ音素記号の時間位置と、それぞれの音素記号をＳＡＭＰＡで表現した時の１文字目〜ｎ文字までのコード（０ｘ００−０ｘ７Ｆ）を示す情報である。
【００３２】
各音素記号の時間位置は、“Ｇａｔｅ  Ｔｉｍｅ”によって規定される発音時間の長さを“Ｎｕｍｂｅｒ  ｏｆ  Ｐｈｏｎｅｔｉｃ  Ｓｙｍｂｏｌ”の数で分割したときの分割点の番号で指定される。
なお、本実施形態においては、１つのＭＩＤＩデータが７ｂｉｔであること等を考慮し、上記発音時間を１２８等分する。ここで、上記発音時間を１２８等分する旨の情報については、本システムエクスクルーシブメッセージ内に入れ込んでも良いし、これとは別のメッセージに含めて送るようにしても良い。また、発音時間の分割の割合は任意であり、等間隔で音素記号を割り当てるときは、“Ｐｈｏｎｅｔｉｃ  Ｓｙｍｂｏｌ  Ｐｏｓｉｔｉｏｎ”を省略することもできる（この点については、以下に説明する“Ｐｒｏｓｏｄｉｃ  ＰｉｔｃｈＢｅｎｄ  Ｃｈａｎｇｅ  Ｐｏｓｉｔｉｏｎ”、“Ｐｒｏｓｏｄｉｃ  Ｖｏｌｕｍｅ  Ｐｏｓｉｔｉｏｎ”も同様である）。
これらにより、発音すべき音声に係る音素情報（音素の種類や音素数、音素の発音時間等）を定義する。なお、本実施形態では、ＳＡＭＰＡを利用して音素記号を表現する態様を例示しているが、音声合成システムに固有の音素記号等を用いるようにしても良い。
【００３３】
“Ｎｕｍｂｅｒ  ｏｆ  Ｐｒｏｓｏｄｉｃ  ＰｉｔｃｈＢｅｎｄ  Ｃｈａｎｇｅ”は、以下に説明する“Ｐｒｏｓｏｄｉｃ  ＰｉｔｃｈＢｅｎｄ”の個数を示す情報である（０ｘ００−０ｘ７Ｆ）。“Ｐｒｏｓｏｄｉｃ  ＰｉｔｃｈＢｅｎｄ”は、“Ｐｒｏｓｏｄｉｃ  ＰｉｔｃｈＢｅｎｄ  Ｃｈａｎｇｅ  Ｐｏｓｉｔｉｏｎ”と“Ｐｒｏｓｏｄｉｃ  ＰｉｔｃｈＢｅｎｄ  Ｃｈａｎｇｅ  ＬＳＢ”及び“Ｐｒｏｓｏｄｉｃ  ＰｉｔｃｈＢｅｎｄ  Ｃｈａｎｇｅ  ＭＳＢ”とからなる情報対である。
“Ｐｒｏｓｏｄｉｃ  ＰｉｔｃｈＢｅｎｄ  Ｃｈａｎｇｅ  Ｐｏｓｉｔｉｏｎ”は、“Ｐｈｏｎｅｔｉｃ  Ｓｙｍｂｏｌ  Ｐｏｓｉｔｉｏｎ”と同様に、“Ｇａｔｅ  Ｔｉｍｅ”によって規定される発音時間内においてピッチベンドの値を変更等する時間位置を指定するための情報である（０ｘ００−０ｘ７Ｆ）。
【００３４】
一方、“Ｐｒｏｓｏｄｉｃ  ＰｉｔｃｈＢｅｎｄ  Ｃｈａｎｇｅ  ＬＳＢ（Ｐｒｏｓｏｄｉｃ  ＰｉｔｃｈＢｅｎｄ  Ｃｈａｎｇｅのロー側バイトの値を表す）”及び“Ｐｒｏｓｏｄｉｃ  ＰｉｔｃｈＢｅｎｄ  Ｃｈａｎｇｅ  ＭＳＢ（Ｐｒｏｓｏｄｉｃ  ＰｉｔｃｈＢｅｎｄ  Ｃｈａｎｇｅのハイ側バイトの値を表す）”は、通常ピッチベンドメッセージに含まれるピッチベンド情報（前掲図８参照）と同じものであり、対応する“Ｐｒｏｓｏｄｉｃ  ＰｉｔｃｈＢｅｎｄ  Ｃｈａｎｇｅ  Ｐｏｓｉｔｉｏｎ”によって指定された時間位置におけるピッチベンドの値（音高値）を示す情報である（０ｘ００−０ｘ７Ｆ）。上述した場合を例に説明すると、“Ｐｒｏｓｏｄｉｃ  ＰｉｔｃｈＢｅｎｄ  Ｃｈａｎｇｅ  ＬＳＢ  １”及び“Ｐｒｏｓｏｄｉｃ  ＰｉｔｃｈＢｅｎｄ  Ｃｈａｎｇｅ  ＭＳＢ  １”は、“Ｐｒｏｓｏｄｉｃ  ＰｉｔｃｈＢｅｎｄ  Ｃｈａｎｇｅ  Ｐｏｓｉｔｉｏｎ  １”におけるピッチベンドの値を示し、・・・、“Ｐｒｏｓｏｄｉｃ  ＰｉｔｃｈＢｅｎｄ  Ｃｈａｎｇｅ  ＬＳＢ  ｎ”及び“Ｐｒｏｓｏｄｉｃ  ＰｉｔｃｈＢｅｎｄ  Ｃｈａｎｇｅ  ＭＳＢ  ｎ”は、“Ｐｒｏｓｏｄｉｃ  ＰｉｔｃｈＢｅｎｄ  Ｃｈａｎｇｅ  Ｐｏｓｉｔｉｏｎ  ｎ”におけるピッチベンドの値を示すことになる。
【００３５】
図４は、“Ｐｒｏｓｏｄｉｃ  ＰｉｔｃｈＢｅｎｄ  Ｃｈａｎｇｅ  Ｐｏｓｉｔｉｏｎ”と“Ｐｒｏｓｏｄｉｃ  ＰｉｔｃｈＢｅｎｄ  Ｃｈａｎｇｅ  ＬＳＢ”及び“Ｐｒｏｓｏｄｉｃ  ＰｉｔｃｈＢｅｎｄ  Ｃｈａｎｇｅ  ＭＳＢ”との関係を例示した図である。なお、図４及びこの説明では、便宜上、“Ｐｒｏｓｏｄｉｃ  ＰｉｔｃｈＢｅｎｄ  Ｃｈａｎｇｅ  Ｐｏｓｉｔｉｏｎ”を“Ｐｏｓｉｔｉｏｎ”と表記し、“Ｐｒｏｓｏｄｉｃ  ＰｉｔｃｈＢｅｎｄ  Ｃｈａｎｇｅ  ＬＳＢ”及び“Ｐｒｏｓｏｄｉｃ  ＰｉｔｃｈＢｅｎｄ  Ｃｈａｎｇｅ  ＭＳＢ”を“ＰｉｔｃｈＢｅｎｄ”と表記する。
さて、この図４においては、（Ｐｏｓｉｔｉｏｎ，ＰｉｔｃｈＢｅｎｄ）＝（８，０）、（１６，３００）、・・・、（１２０，０）の場合が示されている。このように定義された情報が音声合成装置に与えられると、当該合成音声装置は発音時間内における合成音声のピッチが、図４に直線で示す変化をするように各ピッチベンド値の間を補間（直線補間）する。
【００３６】
図１に戻り、“Ｎｕｍｂｅｒ  ｏｆ  Ｐｒｏｓｏｄｉｃ  Ｖｏｌｕｍｅ”は、これに続く“Ｐｒｏｓｏｄｉｃ  Ｖｏｌｕｍｅ”の個数を示す情報である（０ｘ００−０ｘ７Ｆ）。この“Ｐｒｏｓｏｄｉｃ  Ｖｏｌｕｍｅ”は、“Ｐｒｏｓｏｄｉｃ  Ｖｏｌｕｍｅ  Ｐｏｓｉｔｉｏｎ”と“Ｐｒｏｓｏｄｉｃ  Ｖｏｌｕｍｅ”とからなる情報対である。
“Ｐｒｏｓｏｄｉｃ  Ｖｏｌｕｍｅ  Ｐｏｓｉｔｉｏｎ”は、上記“Ｇａｔｅ  Ｔｉｍｅ”によって規定される発音時間内において音量値の変更等する時間位置を指定するための情報である（０ｘ００−０ｘ７Ｆ）。
一方、“Ｐｒｏｓｏｄｉｃ  Ｖｏｌｕｍｅ”は、通常コントロールメッセージに含まれるボリューム情報（前掲図８参照）と同じものであり、対応する“Ｐｒｏｓｏｄｉｃ  Ｖｏｌｕｍｅ  Ｐｏｓｉｔｉｏｎ”によって指定された時間位置における音量値を示す情報である（０ｘ００−０ｘ７Ｆ）。
【００３７】
なお、“Ｐｒｏｓｏｄｉｃ  Ｖｏｌｕｍｅ  Ｐｏｓｉｔｉｏｎ”は、上記“Ｐｒｏｓｏｄｉｃ  ＰｉｔｃｈＢｅｎｄ  Ｃｈａｎｇｅ  Ｐｏｓｉｔｉｏｎ”に対応し、“Ｐｒｏｓｏｄｉｃ  Ｖｏｌｕｍｅ”は、上記“Ｐｒｏｓｏｄｉｃ  ＰｉｔｃｈＢｅｎｄ  Ｃｈａｎｇｅ  ＬＳＢ”及び“Ｐｒｏｓｏｄｉｃ  ＰｉｔｃｈＢｅｎｄ  Ｃｈａｎｇｅ  ＭＳＢ”に対応する。これら“Ｐｒｏｓｏｄｉｃ  Ｖｏｌｕｍｅ  Ｐｏｓｉｔｉｏｎ”、“Ｐｒｏｓｏｄｉｃ  Ｖｏｌｕｍｅ”の意味するところは、上述した“Ｐｒｏｓｏｄｉｃ  ＰｉｔｃｈＢｅｎｄ  Ｃｈａｎｇｅ  Ｐｏｓｉｔｉｏｎ”、“Ｐｒｏｓｏｄｉｃ  ＰｉｔｃｈＢｅｎｄ  Ｃｈａｎｇｅ  ＬＳＢ”及び“Ｐｒｏｓｏｄｉｃ  ＰｉｔｃｈＢｅｎｄ  Ｃｈａｎｇｅ  ＭＳＢ”と同様に説明することができるため割愛する。
【００３８】
ここで、図５は、本実施形態に係る音声合成システム３００の構成を示す図である。
外部シーケンサ（データ作成装置）２００は、上記フォーマットを有するエクスクルーシブメッセージを作成する機能を有する。外部シーケンサ２００は、この機能によって該エクスクルーシブメッセージを作成すると、本メッセージに上記フォーマットを有するエクスクルーシブメッセージであることを示す識別ＩＤ等を付加し、これを通信ケーブル等を介して音声合成装置１００に転送する。
【００３９】
音声合成装置１００は、上記システムエクスクルーシブメッセージを受信する通信部（図示略）や、音声合成部１１０、音声辞書１２０等を備える。
音声合成部１１０には、上記システムエクスクルーシブメッセージを判別・解釈し、該メッセージに従った処理を行う解釈処理部１１１が設けられている。この解釈処理部１１１は、受信手段を介して上記システムエクスクルーシブメッセージを受け取ると、このメッセージに付加されている識別ＩＤ等を参照し、上記フォーマットを有するシステムエクスクルーシブメッセージであるか否かを判断する。解釈処理部１１１は、受け取ったメッセージが該システムエクスクルーシブメッセージであると判断すると、このメッセージに含まれる“Ｄｅｌａｙ  Ｔｉｍｅ”、“Ｇａｔｅ  Ｔｉｍｅ”、“Ｎｏｔｅ  Ｎｕｍｂｅｒ”、“Ｖｅｌｏｃｉｔｙ”、“Ｎｕｍｂｅｒ  ｏｆ  Ｐｈｏｎｅｔｉｃ  Ｓｙｍｂｏｌ”、“Ｐｈｏｎｅｔｉｃ  Ｓｙｍｂｏｌ  ”等を参照し、発話するタイミング、発音時間長、発音開始時におけるピッチ及び音量、音素等を特定する。
【００４０】
さらに、解釈処理部１１１は、該メッセージに含まれる“Ｎｕｍｂｅｒ  ｏｆ  Ｐｒｏｓｏｄｉｃ  ＰｉｔｃｈＢｅｎｄ  Ｃｈａｎｇｅ”及び“Ｐｒｏｓｏｄｉｃ  ＰｉｔｃｈＢｅｎｄ”を参照して各ピッチベンド値の間を補間する一方、“Ｎｕｍｂｅｒ  ｏｆ  Ｐｒｏｓｏｄｉｃ  Ｖｏｌｕｍｅ”及び“Ｐｒｏｓｏｄｉｃ  Ｖｏｌｕｍｅ”を参照して各ボリューム値の間を補間する。
直線補間を行うことによって得られるピッチの例を図６に示す。図６においては黒丸で各ピッチベンド値を示しており、詳細には時間軸上において先頭４つの黒丸が“ｍａ（ま）”の音声に対応するピッチベンド値を示し、これに続く７つの黒丸が“ｄＺｉ（じ）”の音声に対応するピッチベンド値を示す。なお、補間の方法は直線補間に限られない。
【００４１】
この図６に示すピッチと前掲図１０に示す実際の音声のピッチを比較して明らかなように、上記直線補間を行うことで、実際の音声のピッチにかなり近似したピッチを得ることが可能となる。なお、前述したピッチベンドメッセージは、次のメッセージが転送されるまでの間、前のピッチベンド値が維持されるという性質を有する（解決しようとする課題の項参照）。よって、ピッチベンドメッセージを利用してこのようなピッチを得ようとすれば、大量のメッセージが必要になることは言及するまでもなく明らかであろう。なお、音量については、上記ピッチと同様に説明することができるため、説明を割愛する。
【００４２】
以上説明したように、本実施形態によれば、上記の如く音声を合成するために必要な発話タイミング、発音時間長、ピッチ、音量、音素の情報をまとめて定義したシステムエクスクルーシブメッセージを新たに定義することにより、人間がしゃべったが如く自然な韻律の変化を合成音声に与えるために、従来必要であった膨大な量の情報（具体的には、細かなピッチ変動を与えるためのピッチベンド情報及び細かな音量変化を与えるためのボリューム情報）を大幅に低減することが可能となる。なお、かかるシステムエクスクルーシブメッセージには、音高を示すノートナンバ情報も含まれるため、合成音声による歌唱も可能である。
【００４３】
Ｂ．変形例
以上この発明の一実施形態について説明したが、上記実施形態はあくまで例示であり、本発明の趣旨から逸脱しない範囲で様々な変形を加えることができる。変形例としては、例えば以下のようなものが考えられる。
【００４４】
（変形例１）
上述した本実施形態では、音声合成システムに適用した場合について説明したが、例えば上述したシステムエクスクルーシブメッセージから音素情報を除いた（或いは無視した）、楽器音の合成システムにも適用可能である。
【００４５】
（変形例２）
また、本実施形態では、ＭＩＤＩ規格に準拠した音声合成システムを想定し、システムエクスクルーシブメッセージを利用してピッチや音量の細かな変動を表したが、本発明はこれに限定する趣旨ではない。すなわち、本発明は、ピッチや音量の細かな変動を規定することができるあらゆる楽音合成制御データに適用可能である。
【００４６】
（変形例３）
また、本実施形態では、自然な韻律をもった合成音声を得るためにピッチ変動や音量変化を示す情報について上記のように定義したが、本発明はこれに限らず、発音時間内に細かな変化を示すあらゆる情報に適用可能である。
【００４７】
（変形例４）
また、本実施形態では、音声合成の信号処理方法や音声辞書の単位などについて特に限定しなかったが、これらについては音声合成装置の設計等に応じて適宜設定すればよい。
【００４８】
（変形例５）
また、本実施形態では、外部シーケンサによって生成された上記システムエクスクルーシブメッセージを直接音声合成装置に供給する態様を例示したが、例えば該システムエクスクルーシブメッセージを記録媒体（例えばＣＤ−ＲＯＭ等）を介して音声合成装置に供給する、あるいは該システムエクスクルーシブメッセージを備えたサーバからインターネット等を介して音声合成装置に供給するようにしても良い。また、外部シーケンサに実装されている上記システムエクスクルーシブメッセージの作成機能をソフトウェアによって実現しても良い。
【００４９】
【発明の効果】
以上説明したように、本発明によれば、従来よりも少ない情報量にて、より自然な合成音を生成することが可能となる。
【図面の簡単な説明】
【図１】本実施形態に係る本システムエクスクルーシブメッセージのフォーマットを例示した図である。
【図２】同実施形態に係るＭＩＤＩデータの時間的な流れを模式的に示した図である。
【図３】同実施形態に係る“Ｄｅｌａｙ  Ｔｉｍｅ”と“Ｇａｔｅ  Ｔｉｍｅ”との関係を例示した図である。
【図４】同実施形態に係る“Ｐｒｏｓｏｄｉｃ  ＰｉｔｃｈＢｅｎｄ  Ｃｈａｎｇｅ  Ｐｏｓｉｔｉｏｎ”と“Ｐｒｏｓｏｄｉｃ  ＰｉｔｃｈＢｅｎｄ  Ｃｈａｎｇｅ  ＬＳＢ”及び“Ｐｒｏｓｏｄｉｃ  ＰｉｔｃｈＢｅｎｄ  Ｃｈａｎｇｅ  ＭＳＢ”との関係を例示した図である。
【図５】同実施形態に係る音声合成システムの構成を示す図である。
【図６】同実施形態に係る直線補間を行うことによって得られるピッチの例を示した図である。
【図７】従来の音声合成システムの構成を示した図である。
【図８】従来における外部シーケンサから音声合成装置に転送されるＭＩＤＩデータを例示した図である。
【図９】従来におけるＭＩＤＩデータの時間的な流れを模式的に示した図である。
【図１０】実際の音声波形とそれを分析することによって得られるピッチ及び音量の軌跡を示した図である。
【符号の説明】
３００・・・音声合成システム、２００・・・外部シーケンサ、１００・・・音声合成装置、１１０・・・音声合成部、１１１・・・解釈処理部、１２０・・・音声辞書。
【図１】
2004294795.tif 000003
【図２】
2004294795.tif 000004
【図３】
2004294795.tif 000005
【図４】
2004294795.tif 000006
【図５】
2004294795.tif 000007
【図６】
2004294795.tif 000008
【図７】
2004294795.tif 000009
【図８】
2004294795.tif 000010
【図９】
2004294795.tif 000011
【図１０】
2004294795.tif 000012