(57)【要約】【課題】楽曲シーケンスデータと音声再生シーケンスデータを同期して再生することができるシーケンスデータ交換フォーマットを提供する。【解決手段】ファイル１はチャンク構造となっており、内部に管理用の情報を含むコンテンツ・インフォ・チャンク２、オプショナル・データ・チャンク３及び音声再生用のＨＶトラックチャンク４を含む。ＨＶトラックチャンク４に含まれる音声再生シーケンスデータは、（１）合成される音声の読みを示すテキスト情報と音声表現を指定する韻律記号とからなるテキスト記述型、（２）合成される音声を示す音素情報と韻律制御情報とからなる音素記述型、又は、（３）再生される音声を示すフレーム時間毎のフォルマント制御情報からなるフォルマントフレーム記述型のいずれかを選択することができる。ＨＶトラックチャンク４は、ＳＭＡＦファイル中にスコアトラックチャンクなどと同様に含ませることができる。【選択図】  図１
2004170618.tif 000002
【特許請求の範囲】
【請求項１】
音源を用いて音声を再生させる音声再生シーケンスデータのデータ交換フォーマットであって、
管理用の情報を含むコンテンツデータチャンクと、音声再生シーケンスデータを含むトラックチャンクを有し、
前記音声再生シーケンスデータは、音声の再生を指示する音声再生イベントと、その音声再生イベントを実行するタイミングを先行する音声再生イベントからの経過時間により指定するデュレーションとの組が時間順に配置されているものであることを特徴とするシーケンスデータのデータ交換フォーマット。
【請求項２】
楽曲を再生させるための楽曲シーケンスデータと音声を再生させるための音声再生シーケンスデータとを含むシーケンスデータのデータ交換フォーマットであって、
前記楽曲シーケンスデータは、演奏イベントデータとその演奏イベントを実行するタイミングを先行する演奏イベントからの経過時間により指定するデュレーションデータとの組が時間順に配置されたものであり、
前記音声再生シーケンスデータは、音声の再生を指示する音声再生イベントデータとその音声再生イベントを実行するタイミングを先行する音声再生イベントからの経過時間により指定するデュレーションデータとの組が時間順に配置されたものであり、
前記楽曲シーケンスデータと前記音声再生シーケンスデータの再生を同時に開始させることにより、当該楽曲と当該音声とを同じ時間軸上で再生することができるようになされていることを特徴とするシーケンスデータのデータ交換フォーマット。
【請求項３】
前記楽曲シーケンスデータと前記音声再生シーケンスデータはそれぞれ異なるチャンクに含まれていることを特徴とする請求項２記載のシーケンスデータのデータ交換フォーマット。
【請求項４】
前記音声再生イベントデータは、（１）合成される音声の読みを示すテキスト情報と音声表現を指定する韻律記号とからなるテキスト記述型の情報、（２）合成される音声を示す音素情報と韻律制御情報とからなる音素記述型の情報、又は、（３）再生される音声を示すフレーム時間毎のフォルマント制御情報からなるフォルマントフレーム記述型の情報、の再生を指示するデータであることを特徴とする請求項１乃至３のいずれかに記載のシーケンスデータのデータ交換フォーマット。
【請求項５】
音声の再生を指示する音声再生イベントデータと、その音声再生イベントを実行するタイミングを先行する音声再生イベントからの経過時間により指定するデュレーションデータとの組により構成されているシーケンスデータに基づいて音声を再生する音声再生装置であって、
テキスト情報及び韻律記号と音素情報及び韻律制御情報との対応を記録した辞書を参照して、テキスト情報及び韻律記号に対応する音素情報及び韻律制御情報を取得する第１の手段と、
音素情報及び韻律制御情報とフォルマント制御情報との対応を記録した辞書を参照して、音素情報及び韻律制御情報に対応するフォルマント制御情報を取得する第２の手段と、
フォルマント制御情報をフレーム毎に音源部に出力する出力手段とを有し、
前記音声再生イベントデータが合成される音声の読みを示すテキスト情報と韻律記号とからなるテキスト記述型の情報の再生を指示するデータであるときは、前記第１の手段、前記第２の手段及び前記出力手段を用いて当該音声を再生し、
前記音声再生イベントデータが合成される音声に対応する音素情報と韻律制御情報を含む音素記述型の情報の再生を指示するデータであるときは、前記第２の手段と前記出力手段を用いて当該音声を再生し、
前記音声再生イベントデータがフレーム毎のフォルマント制御情報の再生を指示するデータであるときは、前記出力手段を用いて当該音声を再生する
ことを特徴とする音声再生装置。
【請求項６】
音声の再生を指示する音声再生イベントデータと、その音声再生イベントを実行するタイミングを先行する音声再生イベントからの経過時間により指定するデュレーションデータとの組により構成されているシーケンスデータに基づいて音声を再生する音声再生装置であって、
音素情報及び韻律制御情報とフォルマント制御情報との対応を記憶した辞書を参照して、音素情報及び韻律制御情報に対応するフォルマント制御情報を取得する手段と、
フォルマント制御情報をフレーム毎に音源部に出力する出力手段とを有し、
前記音声再生イベントデータが合成される音声に対応する音素情報と韻律制御情報を含む音素記述型の情報の再生を指示するデータであるときは、前記取得する手段と前記出力手段とを用いて当該音声を再生し、
前記音声再生イベントデータがフレーム毎のフォルマント制御情報の再生を指示するデータであるときは、前記出力手段を用いて当該音声を再生する
ことを特徴とする音声再生装置。
【請求項７】
音声の再生を指示する音声再生イベントデータと、その音声再生イベントを実行するタイミングを先行する音声再生イベントからの経過時間により指定するデュレーションデータとの組により構成されているシーケンスデータに基づいて音声を再生する音声再生装置であって、
フォルマント制御情報をフレーム毎に音源部に出力する出力手段を有し、
前記音声再生イベントデータがフレーム毎のフォルマント制御情報の再生を指示するデータであるときに、前記出力手段を用いて当該音声を再生することを特徴とする音声再生装置。
【請求項８】
シーケンスデータを蓄積し、クライアント装置からの要求に応じて対応するシーケンスデータを配信するサーバー装置であって、
前記シーケンスデータは、
楽曲シーケンスデータを含むチャンクと音声再生シーケンスデータを含むチャンクを有し、
前記楽曲シーケンスデータは、演奏イベントデータとその演奏イベントを実行するタイミングを先行する演奏イベントからの経過時間により指定するデュレーションデータとの組が時間順に配置されたものであり、
前記音声再生シーケンスデータは、音声の再生を指示する音声再生イベントデータとその音声再生イベントを実行するタイミングを先行する音声再生イベントからの経過時間により指定するデュレーションデータとの組が時間順に配置されたものである
ことを特徴とするサーバー装置。
【請求項９】
前記音声再生イベントデータは、（１）合成される音声の読みを示すテキスト情報と韻律記号とからなるテキスト記述型の情報、（２）合成される音声を示す音素情報と韻律制御情報とからなる音素記述型の情報、又は、（３）再生される音声を示すフレーム時間毎のフォルマント制御情報からなるフォルマントフレーム記述型の情報、の再生を指示するデータであり、
クライアント装置からの要求に応じて、前記（１）〜（３）のうちのいずれかの音声再生イベントデータを含む音声再生シーケンスデータを選択して、当該クライアント装置に配信することを特徴とする請求項８記載のサーバー装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、シーケンスデータのデータ交換フォーマット、音声再生装置及びサーバー装置に関する。
【０００２】
【従来の技術】
音源を用いて音楽を表現するためのデータを頒布したり、相互に利用したりするためのデータ交換フォーマットとして、ＳＭＦ（Ｓｔａｎｄａｒｄ  ＭＩＤＩ  ｆｉｌｅ  ｆｏｒｍａｔ）やＳＭＡＦ（Ｓｙｎｔｈｅｔｉｃ  Ｍｕｓｉｃ  Ｍｏｂｉｌｅ  Ａｐｐｌｉｃａｔｉｏｎ  Ｆｏｒｍａｔ）などが知られている。ＳＭＡＦは、携帯端末などにおいてマルチメディアコンテンツを表現するためのデータフォーマット仕様である（非特許文献１参照）。
【０００３】
図１５を参照しつつＳＭＡＦについて説明する。
この図において、１００はＳＭＡＦファイルであり、チャンクとよばれるデータの塊が基本構造となっている。チャンクは固定長（８バイト）のヘッダ部と任意長のボディ部とからなり、ヘッダ部は、さらに、４バイトのチャンクＩＤと４バイトのチャンクサイズに分けられる。チャンクＩＤはチャンクの識別子に用い、チャンクサイズはボディ部の長さを示している。ＳＭＡＦファイルは、それ自体及びそれに含まれる各種データも全てチャンク構造となっている。
この図に示すように、ＳＭＡＦファイル１００の中身は、管理用の情報が格納されているコンテンツ・インフォ・チャンク（Ｃｏｎｔｅｎｔｓ  Ｉｎｆｏ  Ｃｈｕｎｋ）１０１と、出力デバイスに対するシーケンスデータを含む１つ以上のトラックチャンク１０２〜１０８とからなる。シーケンスデータは出力デバイスに対する制御を時間を追って定義したデータ表現である。１つのＳＭＡＦファイル１００に含まれる全てのシーケンスデータは時刻０で同時に再生を開始するものと定義されており、結果的に全てのシーケンスデータが同期して再生される。
シーケンスデータはイベントとデュレーションの組み合わせで表現される。イベントは、シーケンスデータに対応する出力デバイスに対する制御内容のデータ表現であり、デュレーションは、イベントとイベントとの間の経過時間を表現するデータである。イベントの処理時間は実際には０ではないが、ＳＭＡＦのデータ表現としては０とみなし、時間の流れは全てデュレーションで表わすようにしている。あるイベントを実行する時刻は、そのシーケンスデータの先頭からのデュレーションを積算することで一意に決定することができる。イベントの処理時間は、次のイベントの処理開始時刻に影響しないことが原則である。従って、値が０のデュレーションを挟んで連続したイベントは同時に実行すると解釈される。
【０００４】
ＳＭＡＦでは、前記出力デバイスとして、ＭＩＤＩ（ｍｕｓｉｃａｌ  ｉｎｓｔｒｕｍｅｎｔ  ｄｉｇｉｔａｌ  ｉｎｔｅｒｆａｃｅ）相当の制御データで発音を行う音源デバイス１１１、ＰＣＭデータの再生を行うＰＣＭ音源デバイス（ＰＣＭデコーダ）１１２、テキストや画像の表示を行うＬＣＤなどの表示デバイス１１３などが定義されている。
トラックチャンクには、定義されている各出力デバイスに対応して、スコアトラックチャンク１０２〜１０５、ＰＣＭオーディオトラックチャンク１０６、グラフィックストラックチャンク１０７及びマスタートラックチャンク１０８がある。ここで、マスタートラックチャンクを除くスコアトランクチャンク、ＰＣＭオーディオトラックチャンク及びグラフィックストラックチャンクは、それぞれ最大２５６トラックまで記述することが可能である。
図示する例では、スコアトラックチャンク１０２〜１０５は音源デバイス１１１を再生するためのシーケンスデータを格納し、ＰＣＭトラックチャンク１０６はＰＣＭ音源デバイス１１２で発音されるＡＤＰＣＭやＭＰ３、ＴｗｉｎＶＱ等のｗａｖｅデータをイベント形式で格納し、グラフィックトラックチャンク１０７は背景画や差込静止画、テキストデータと、それらを表示デバイス１１３で再生するためのシーケンスデータを格納している。また、マスタートラックチャンク１０８にはＳＭＡＦシーケンサ自身を制御するためのシーケンスデータが格納されている。
【０００５】
一方、音声合成の手法として、ＬＰＣなどのフィルタ合成方式や複合正弦波音声合成法などの波形合成方式がよく知られている。複合正弦波音声合成法（ＣＳＭ法）は、複数の正弦波の和により音声信号をモデル化し音声合成を行う方式であり、簡単な合成法でありながら良質な音声を合成することができる。（非特許文献２参照）。
また、音源を用いて音声合成させることにより、歌声を発生させる音声合成装置も提案されている（特許文献１参照）。
【０００６】
【非特許文献１】
ＳＭＡＦ仕様書  Ｖｅｒ．  ３．０６  ヤマハ株式会社、［平成１４年１０月１８日検索］、インターネット＜ＵＲＬ：  ｈｔｔｐ：／／ｓｍａｆ．ｙａｍａｈａ．ｃｏ．ｊｐ＞
【非特許文献２】
嵯峨山茂樹、板倉文忠、「複合正弦波音声合成方式の検討と合成器の試作」、日本音響学会、音声研究会資料、資料番号Ｓ８０−１２（１９８０−５）、ｐ．９３−１００、（１９８０．５．２６）
【特許文献１】
特開平９−５０２８７号公報
【０００７】
【発明が解決しようとする課題】
上述のように、ＳＭＡＦは、ＭＩＤＩ相当のデータ（楽曲データ）、ＰＣＭオーディオデータ、テキストや画像の表示データなどの各種シーケンスデータを含み、全シーケンスを時間的に同期して再生することができる。
しかしながら、ＳＭＦやＳＭＡＦには音声（人の声）を表現することについては、定義されていない。
そこで、ＳＭＦなどのＭＩＤＩイベントを拡張して音声を合成することも考えられるが、この場合は、音声部分のみ一括して取り出して音声合成するときに処理が複雑になるという問題点がある。
【０００８】
そこで本発明は、柔軟性があり、かつ、楽曲シーケンスなどと音声再生シーケンスとを同期して再生させることが可能なシーケンスデータのデータ交換フォーマット、該データ交換フォーマットのファイルを再生することができる音声再生装置及び該データ交換フォーマットのデータを配信することができるサーバー装置を提供することを目的としている。
【０００９】
【課題を解決するための手段】
上記目的を達成するために、本発明のシーケンスデータのデータ交換フォーマットは、音源を用いて音声を再生させる音声再生シーケンスデータのデータ交換フォーマットであって、管理用の情報を含むコンテンツデータチャンクと、音声再生シーケンスデータを含むトラックチャンクを有し、前記音声再生シーケンスデータは、音声の再生を指示する音声再生イベントと、その音声再生イベントを実行するタイミングを先行する音声再生イベントからの経過時間により指定するデュレーションとの組が時間順に配置されているものである。
また、本発明の他のシーケンスデータのデータ交換フォーマットは、楽曲を再生させるための楽曲シーケンスデータと音声を再生させるための音声再生シーケンスデータとを含むシーケンスデータのデータ交換フォーマットであって、前記楽曲シーケンスデータは、演奏イベントデータとその演奏イベントを実行するタイミングを先行する演奏イベントからの経過時間により指定するデュレーションデータとの組が時間順に配置されたものであり、前記音声再生シーケンスデータは、音声の再生を指示する音声再生イベントデータとその音声再生イベントを実行するタイミングを先行する音声再生イベントからの経過時間により指定するデュレーションデータとの組が時間順に配置されたものであり、前記楽曲シーケンスデータと前記音声再生シーケンスデータの再生を同時に開始させることにより、当該楽曲と当該音声とを同じ時間軸上で再生することができるようになされているものである。
さらに、前記楽曲シーケンスデータと前記音声再生シーケンスデータはそれぞれ異なるチャンクに含まれているものである。
そして、前記音声再生イベントデータは、（１）合成される音声の読みを示すテキスト情報と音声表現を指定する韻律記号とからなるテキスト記述型の情報、（２）合成される音声を示す音素情報と韻律制御情報とからなる音素記述型の情報、又は、（３）再生される音声を示すフレーム時間毎のフォルマント制御情報からなるフォルマントフレーム記述型の情報、の再生を指示するデータとされているものである。
【００１０】
さらにまた、本発明の音声再生装置は、音声の再生を指示する音声再生イベントデータと、その音声再生イベントを実行するタイミングを先行する音声再生イベントからの経過時間により指定するデュレーションデータとの組により構成されているシーケンスデータに基づいて音声を再生する音声再生装置であって、テキスト情報及び韻律記号と音素情報及び韻律制御情報との対応を記録した辞書を参照して、テキスト情報及び韻律記号に対応する音素情報及び韻律制御情報を取得する第１の手段と、音素情報及び韻律制御情報とフォルマント制御情報との対応を記録した辞書を参照して、音素情報及び韻律制御情報に対応するフォルマント制御情報を取得する第２の手段と、フォルマント制御情報をフレーム毎に音源部に出力する出力手段とを有し、前記音声再生イベントデータが合成される音声の読みを示すテキスト情報と韻律記号とからなるテキスト記述型の情報の再生を指示するデータであるときは、前記第１の手段、前記第２の手段及び前記出力手段を用いて当該音声を再生し、前記音声再生イベントデータが合成される音声に対応する音素情報と韻律制御情報を含む音素記述型の情報の再生を指示するデータであるときは、前記第２の手段と前記出力手段を用いて当該音声を再生し、前記音声再生イベントデータがフレーム毎のフォルマント制御情報の再生を指示するデータであるときは、前記出力手段を用いて当該音声を再生するものである。
又は、前記第２の手段と前記出力手段を有するもの、もしくは、前記出力手段を有するものである。
【００１１】
さらにまた、本発明のサーバー装置は、シーケンスデータを蓄積し、クライアント装置からの要求に応じて対応するシーケンスデータを配信するサーバー装置であって、前記シーケンスデータは、楽曲シーケンスデータを含むチャンクと音声再生シーケンスデータを含むチャンクを有し、前記楽曲シーケンスデータは、演奏イベントデータとその演奏イベントを実行するタイミングを先行する演奏イベントからの経過時間により指定するデュレーションデータとの組が時間順に配置されたものであり、前記音声再生シーケンスデータは、音声の再生を指示する音声再生イベントデータとその音声再生イベントを実行するタイミングを先行する音声再生イベントからの経過時間により指定するデュレーションデータとの組が時間順に配置されたものとされている。
そして、前記音声再生イベントデータは、（１）合成される音声の読みを示すテキスト情報と韻律記号とからなるテキスト記述型の情報、（２）合成される音声を示す音素情報と韻律制御情報とからなる音素記述型の情報、又は、（３）再生される音声を示すフレーム時間毎のフォルマント制御情報からなるフォルマントフレーム記述型の情報、の再生を指示するデータであり、クライアント装置からの要求に応じて、前記（１）〜（３）のうちのいずれかの音声再生イベントデータを含む音声再生シーケンスデータを選択して、当該クライアント装置に配信するようになされている。
【００１２】
【発明の実施の形態】
図１は、本発明における音声再生シーケンスデータのデータ交換フォーマットの一実施の形態を示す図である。この図において、１は本発明のデータ交換フォーマットを有するファイルである。このファイル１は、前述したＳＭＡＦファイルと同様に、チャンク構造を基本としており、ヘッダ部とボディ部とを有する（ファイルチャンク）。
前記ヘッダ部には、ファイルを識別するためのファイルＩＤ（チャンクＩＤ）と後続するボディ部の長さを示すチャンクサイズが含まれている。
ボディ部はチャンク列であり、図示する例では、コンテンツ・インフォ・チャンク（Ｃｏｎｔｅｎｔｓ  Ｉｎｆｏ  Ｃｈｕｎｋ）２、オプショナル・データ・チャンク（Ｏｐｔｉｏｎａｌ  Ｄａｔａ  Ｃｈｕｎｋ）３、及び、音声再生シーケンスデータを含むＨＶ（Ｈｕｍａｎ  Ｖｏｉｃｅ）トラックチャンク４が含まれている。なお、図１には、ＨＶトラックチャンク４として、ＨＶトラックチャンク＃００の一つのみが記載されているが、ファイル１中に複数個のＨＶトラックチャンク４を含ませることができる。
また、本発明においては、前記ＨＶトラックチャンク４に含まれる音声再生シーケンスデータとして、３つのフォーマットタイプ（ＴＳｅｑ型、ＰＳｅｑ型、ＦＳｅｑ型）が定義されている。これらについては後述する。
前記コンテンツ・インフォ・チャンク２には、含まれているコンテンツのクラス、種類、著作権情報、ジャンル名、曲名、アーティスト名、作詞／作曲者名などの管理用の情報が格納されている。また、前記著作権情報やジャンル名、曲名、アーティスト名、作詞／作曲者名などの情報を格納するオプショナル・データ・チャンク３を設けても良い。
【００１３】
図１に示した音声再生シーケンスデータのデータ交換フォーマットは、それ単独で音声を再生することができるが、前記ＨＶトラックチャンク４をデータチャンクの一つとして前述したＳＭＡＦファイルに含ませることができる。
図２は、上述したＨＶトラックチャンク４をデータチャンクの一つとして含む本発明のシーケンスデータのデータ交換フォーマットを有するファイルの構造を示す図である。このファイルは、ＳＭＡＦファイルを音声再生シーケンスデータを含むように拡張したものであるということができる。なお、この図において、前記図１５に示したＳＭＡＦファイル１００と同一の要素には同一の番号を付す。
この図に示すように、前述した音声再生シーケンスデータのデータ交換フォーマットにおけるＨＶトラックチャンク４を、前述したスコアトラックチャンク１０２〜１０５、ＰＣＭオーディオトラックチャンク１０６、グラフィックストラックチャンク１０７などと共に、ＳＭＡＦファイル１００中に格納することにより、楽曲の演奏や画像、テキストの表示と同期して音声を再生することが可能となり、例えば、楽音に対し、音源が歌うコンテンツなどを実現することができるようになる。
【００１４】
図３は、前記図２に示した本発明のデータ交換フォーマットのファイルを作成するシステム及び該データ交換フォーマットファイルを利用するシステムの概略構成の一例を示す図である。
この図において、２１はＳＭＦやＳＭＡＦなどの楽曲データファイル、２２は再生される音声に対応するテキストファイル、２３は本発明によるデータ交換フォーマットのファイルを作成するためのデータ・フォーマット制作ツール（オーサリング・ツール）、２４は本発明のデータ交換フォーマットを有するファイルである。
オーサリング・ツール２３は、再生する音声の読みを示す音声合成用テキストファイル２２を入力して、編集作業などを行い、それに対応する音声再生シーケンスデータを作成する。そして、ＳＭＦやＳＭＡＦなどの楽曲データファイル２１に該作成した音声再生シーケンスデータを加えて、本発明のデータ交換フォーマット仕様に基づくファイル（前記図２に示したＨＶトラックチャンクを含むＳＭＡＦファイル）２４を作成する。
【００１５】
作成されたファイル２４は、シーケンスデータに含まれているデュレーションにより規定されるタイミングで音源部２７に制御パラメータを供給するシーケンサ２６と、シーケンサ２６から供給される制御パラメータに基づいて音声を再生出力する音源部２７を有する利用装置２５に転送され、そこで、楽曲などとともに音声が同期して再生されることとなる。
図４は前記音源部２７の概略構成の一例を示す図である。
この図に示した例では、音源部２７は、複数のフォルマント生成部２８と１個のピッチ生成部２９を有しており、前記シーケンサ２６から出力されるフォルマント制御情報（各フォルマントを生成するためのフォルマント周波数、レベルなどのパラメータ）及びピッチ情報に基づいて各フォルマント生成部２８で対応するフォルマント信号を発生し、これらをミキシング部３０で加算することにより対応する音声合成出力が生成される。なお、各フォルマント生成部２８はフォルマント信号を発生させるためにその元となる基本波形を発生させるが、この基本波形の発生には、例えば、周知のＦＭ音源の波形発生器を利用することができる。
【００１６】
前述のように、本発明においては、前記ＨＶトラックチャンク４に含まれる音声再生シーケンスデータに３つのフォーマットタイプを用意し、これらを任意に選択して用いることができるようにしている。以下、これらについて説明する。
再生する音声を記述するためには、再生する音声に対応する文字情報、言語に依存しない発音情報、音声波形そのものを示す情報など抽象度が異なる各種の段階の記述方法があるが、本発明においては、（ａ）テキスト記述型（ＴＳｅｑ型）、（ｂ）音素記述型（ＰＳｅｑ型）及び（ｃ）フォルマント・フレーム記述型（ＦＳｅｑ型）の３通りのフォーマットタイプを定義している。
【００１７】
まず、図５を参照して、これら３つのフォーマットタイプの相違について説明する。
（ａ）テキスト記述型（ＴＳｅｑ型）
ＴＳｅｑ型は、発音すべき音声をテキスト表記により記述するフォーマットであり、それぞれの言語による文字コード（テキスト情報）とアクセントなどの音声表現を指示する記号（韻律記号）とを含む。このフォーマットのデータはエディタなどを用いて直接作成することができる。再生するときは、図５の（ａ）に示すように、ミドルウェア処理により、該ＴＳｅｑ型のシーケンスデータを、まず、ＰＳｅｑ型に変換し（第１のコンバート処理）、次に、ＰＳｅｑ型をＦＳｅｑ型に変換（第２のコンバート処理）して、前記音源部２７に出力することとなる。
ここで、ＴＳｅｑ型からＰＳｅｑ型へ変換する第１のコンバート処理は、言語に依存する情報である文字コード（例えば、ひらがなやカタカナなどのテキスト情報）と韻律記号と、それに対応する言語に依存しない発音を示す情報（音素）と韻律を制御するための韻律制御情報を格納した第１の辞書を参照することにより行われ、ＰＳｅｑ型からＦＳｅｑ型への変換である第２のコンバート処理は、各音素及び韻律制御情報とそれに対応するフォルマント制御情報（各フォルマントを生成するためのフォルマントの周波数、帯域幅、レベルなどのパラメータ）を格納した第２の辞書を参照することにより行われる。
（ｂ）音素記述型（ＰＳｅｑ型）
ＰＳｅｑ型は、ＳＭＦで定義するＭＩＤＩイベントに類似する形式で発音すべき音声に関する情報を記述するものであり、音声記述としては言語依存によらない音素単位をベースとする。図５の（ｂ）に示すように、前記オーサリング・ツールなどを用いて実行されるデータ制作処理においては、まずＴＳｅｑ型のデータファイルを作成し、これを第１のコンバート処理によりＰＳｅｑ型に変換する。このＰＳｅｑ型を再生するときは、ミドルウェア処理として実行される第２のコンバート処理によりＰＳｅｑ型のデータファイルをＦＳｅｑ型に変換して、音源部２７に出力する。
（ｃ）フォルマント・フレーム記述型（ＦＳｅｑ型）
ＦＳｅｑ型は、フォルマント制御情報をフレーム・データ列として表現したフォーマットである。図５の（ｃ）に示すように、データ制作処理において、ＴＳｅｑ型→第１のコンバート処理→ＰＳｅｑ型→第２のコンバート処理→ＦＳｅｑ型への変換を行う。また、サンプリングされた波形データから通常の音声分析処理と同様の処理である第３のコンバート処理によりＦＳｅｑ型のデータを作成することもできる。再生時には、該ＦＳｅｑ型のファイルをそのまま前記音源部に出力して再生することができる。
このように、本発明においては、抽象度の異なる３種類のフォーマットタイプを定義し、個々の場合に応じて、所望のタイプを選択することができるようにしている。また、音声を再生するために実行する前記第１のコンバート処理及び前記第２のコンバート処理をミドルウェア処理として実行させることにより、アプリケーションの負担を軽減することができる。
【００１８】
次に、前記ＨＶトラックチャンク４（図１）の内容について詳細に説明する。
前記図１に示したように、各ＨＶトラックチャンク４には、このＨＶトラックチャンクに含まれている音声再生シーケンスデータが前述した３通りのフォーマットタイプのうちのどのタイプであるかを示すフォーマットタイプ（Ｆｏｒｍａｔ  Ｔｙｐｅ）、使用されている言語種別を示す言語タイプ（Ｌａｎｇｕａｇｅ  Ｔｙｐｅ）及びタイムベース（Ｔｉｍｅｂａｓｅ）をそれぞれ指定するデータが記述されている。
フォーマットタイプ（Ｆｏｒｍａｔ  Ｔｙｐｅ）の例を表１に示す。
【表１】
2004170618.tif 000003
【００１９】
言語タイプ（Ｌａｎｇｕａｇｅ  Ｔｙｐｅ）の例を表２に示す。
【表２】
2004170618.tif 000004
なお、ここでは、日本語（０ｘ００；０ｘは１６進を表わす。以下、同じ。）と韓国語（０ｘ０１）のみを示しているが、中国語、英語などその他の言語についても同様に定義することができる。
【００２０】
タイムベース（Ｔｉｍｅｂａｓｅ）は、このトラックチャンクに含まれるシーケンスデータチャンク内のデュレーション及びゲートタイムの基準時間を定めるものである。この実施の形態では、２０ｍｓｅｃとされているが任意の値に設定することができる。
【表３】
2004170618.tif 000005
【００２１】
前述した３通りのフォーマットタイプのデータの詳細についてさらに説明する。
（ａ）Ｔｓｅｑ型（フォーマットタイプ＝０ｘ００）
前述のように、このフォーマットタイプは、テキスト表記によるシーケンス表現（ＴＳｅｑ：ｔｅｘｔ  ｓｅｑｕｅｎｃｅ）を用いたフォーマットであり、シーケンスデータチャンク５とｎ個（ｎは１以上の整数）のＴＳｅｑデータチャンク（ＴＳｅｑ＃００〜ＴＳｅｑ＃ｎ）６，７，８を含んでいる（図１）。シーケンスデータに含まれる音声再生イベント（ノートオンイベント）でＴＳｅｑデータチャンクに含まれるデータの再生を指示する。
【００２２】
（ａ−１）シーケンスデータチャンク
シーケンスデータチャンクは、ＳＭＡＦにおけるシーケンスデータチャンクと同様に、デュレーションとイベントの組み合わせを時間順に配置したシーケンスデータを含む。図６の（ａ）はシーケンスデータの構成を示す図である。ここで、デュレーションは、イベントとイベントの間の時間を示している。先頭のデュレーション（Ｄｕｒａｔｉｏｎ  １）は、時刻０からの経過時間を示している。図６の（ｂ）は、イベントがノートメッセージである場合に、デュレーションとノートメッセージに含まれるゲートタイムの関係を示す図である。この図に示すように、ゲートタイムはそのノートメッセージの発音時間を示している。なお、図６で示したシーケンスデータチャンクの構造は、ＰＳｅｑ型及びＦＳｅｑ型におけるシーケンスデータチャンクにおいても同様である。
このシーケンスデータチャンクでサポートされるイベントとしては、次の３通りのイベントがある。なお、以下に記述する初期値は、イベント指定がないときのデフォルト値である。
（ａ−１−１）ノートメッセージ「０ｘ９ｎ  ｋｋ  ｇｔ」
ここで、ｎ：チャンネル番号（０ｘ０［固定］）、ｋｋ：ＴＳｅｑデータ番号（０ｘ００〜０ｘ７Ｆ）、ｇｔ：ゲートタイム（１〜３バイト）である。
ノートメッセージは、チャンネル番号ｎで指定されるチャンネルのＴＳｅｑデータ番号ｋｋで指定されるＴＳｅｑデータチャンクを解釈し発音を開始するメッセージである。なお、ゲートタイムｇｔが「０」のノート・メッセージについては発音を行わない。
（ａ−１−２）ボリューム「０ｘＢｎ  ０ｘ０７  ｖｖ」
ここで、ｎ：チャンネル番号（０ｘ０［固定］）、ｖｖ：コントロール値（０ｘ００〜０ｘ７Ｆ）である。なお、チャンネルボリュームの初期値は０ｘ６４である。
ボリュームは、指定チャンネルの音量を指定するメッセージである。
（ａ−１−３）パン「０ｘＢｎ  ０ｘ０Ａ  ｖｖ」
ここで、ｎ：チャンネル番号（０ｘ０［固定］）、ｖｖ：コントロール値（０ｘ００〜０ｘ７Ｆ）である。なお、パンポット初期値は、０ｘ４０（センター）である。
パンメッセージは、指定チャンネルのステレオ音場位置を指定するメッセージである。
【００２３】
（ａ−２）ＴＳｅｑデータチャンク（ＴＳｅｑ＃００〜ＴＳｅｑ＃ｎ）
ＴＳｅｑデータチャンクは、音声合成用の情報として、言語や文字コードに関する情報、発音する音の設定、（合成する）読み情報を表記したテキストなどを含んだ、しゃべり用フォーマットでありタグ形式で書かれている。このＴＳｅｑデータチャンクは、ユーザーによる入力を容易にするためテキスト入力となっている。
タグは、”＜”（０ｘ３Ｃ）で始まり制御タグと値が続く形式であり、ＴＳｅｑデータチャンクはタグの列で構成されている。ただし、スペースは含まず、制御タグ及び値に”＜”は使用することはできない。また、制御タグは必ず１文字とする。制御タグとその有効値に例を下の表４に示す。
【００２４】
【表４】
2004170618.tif 000006
【００２５】
前記制御タグのうちのテキストタグ「Ｔ」について、さらに説明する。
テキストタグ「Ｔ」に後続する値は、全角ひらがな文字列で記述された読み情報（日本語の場合）と音声表現を指示する韻律記号（Ｓｈｉｆｔ−ＪＩＳコード）からなる。文末にセンテンス区切り記号がないときは、”。”で終わるのと同じ意味とする。
以下に示すのは韻律記号であり、読み情報の文字の後につく。
”、”（０ｘ８１４１）：センテンスの区切り（通常のイントネーション）。
”。”（０ｘ８１４２）：センテンスの区切り（通常のイントネーション）。
”？”（０ｘ８１４８）：センテンスの区切り（疑問のイントネーション）。
”’”（０ｘ８１６６）：ピッチを上げるアクセント（変化後の値はセンテンス区切りまで有効）。
”＿”（０ｘ８１５１）：ピッチを下げるアクセント（変化後の値はセンテンス区切りまで有効）。
”ー”（０ｘ８１５Ｂ）：長音（直前の語を長く発音する。複数でより長くなる。）
【００２６】
図７の（ａ）は、ＴＳｅｑデータチャンクのデータの一例を示す図であり、（ｂ）はその再生時間処理について説明するための図である。
最初のタグ「＜ＬＪＡＰＡＮＥＳＥ」で言語が日本語であることを示し、「＜ＣＳ−ＪＩＳ」で文字コードがシフトＪＩＳであること、「＜Ｇ４」で音色選択（プログラムチェンジ）、「＜Ｖ１０００」で音量の設定、「＜Ｎ６４」で音の高さを指定している。「＜Ｔ」は合成用テキストを示し、「＜Ｐ」はその値により規定されるｍｓｅｃ単位の無音期間の挿入を示している。
図７の（ｂ）に示すように、このＴＳｅｑデータチャンクのデータは、デュレーションにより指定されるスタート時点から１０００ｍｓｅｃの無音期間をおいた後に、「い’やーーー、き＿ょーわ’さ＿むい＿ねー。」と発音され、その後１５００ｍｓｅｃの無音期間をおいた後に「こ’のままい＿ったら、は’ちが＿つわ、た’いへ’ん＿やねー。」と発音される。ここで、「’」、「＿」、「ー」に応じてそれぞれに対応するアクセントや長音の制御が行われる。
【００２７】
このように、ＴＳｅｑ型は、各国語それぞれに特化した発音をするための文字コードと音声表現（アクセントなど）をタグ形式で記述したフォーマットであるため、エディタなどを用いて直接作成することができる。従って、ＴＳｅｑデータチャンクのファイルはテキストベースで容易に加工することができ、例えば、記述されている文章からイントネーションを変更したり、語尾を加工することで方言に対応するといったことを容易に行うことができる。また、文章中の特定単語だけを入れ替えることも容易にできる。さらに、データ・サイズが小さいという長所がある。
一方、このＴＳｅｑ型データチャンクのデータを解釈し音声合成をするための処理負荷が大きくなる、より細かいピッチ制御ができにくい、フォーマットを拡張し複雑な定義を増やせば、ユーザ・フレンドリーでなくなってしまう、言語（文字）コードに依存する（例えば、日本語の場合にはＳｈｉｆｔ−ＪＩＳが一般であるが、他国語の場合には、それに応じた文字コードでフォーマットを定義する必要がある。）などという短所がある。
【００２８】
（ｂ）ＰＳｅｑ型（フォーマットタイプ＝０ｘ０１）
このＰＳｅｑ型は、ＭＩＤＩイベントに類似する形式の音素によるシーケンス表現（ＰＳｅｑ：ｐｈｏｎｅｍｅ  ｓｅｑｕｅｎｃｅ）を用いたフォーマットタイプである。この形式は、音素を記述するようにしているので言語依存がない。音素は発音を示す文字情報により表現することができ、例えば、複数の言語に共通にアスキーコードを用いることができる。
前記図１に示したように、このＰＳｅｑ型は、セットアップ・データ・チャンク９、ディクショナリ・データ・チャンク１０及びシーケンス・データ・チャンク１１を含んでいる。シーケンスデータ中の音声再生イベント（ノートメッセージ）で指定されたチャンネルの音素と韻律制御情報の再生を指示する。
【００２９】
（ｂ−１）セットアップ・データ・チャンク（Ｓｅｔｕｐ  Ｄａｔａ  Ｃｈｕｎｋ）（オプション）
音源部分の音色データなどを格納するチャンクであり、イクスクルーシブ・メッセージの並びを格納する。この実施の形態では、含まれているイクスクルーシブ・メッセージは、ＨＶ音色パラメータ登録メッセージである。
ＨＶ音色パラメータ登録メッセージは「０ｘＦ０  Ｓｉｚｅ  ０ｘ４３  ０ｘ７９  ０ｘ０７  ０ｘ７Ｆ  ０ｘ０１ＰＣ  ｄａｔａ  ．．．  ０ｘＦ７」というフォーマットであり、ＰＣ：プログラム番号（０ｘ０２〜０ｘ０Ｆ）、ｄａｔａ：ＨＶ音色パラメータである。
このメッセージは、該当するプログラム番号ＰＣのＨＶ音色パラメータを登録する。
【００３０】
ＨＶ音色パラメータを次の表５に示す。
【表５】
2004170618.tif 000007
【００３１】
表５に示すように、ＨＶ音色パラメータとしては、ピッチシフト量、第１〜第ｎ（ｎは２以上の整数）の各フォルマントに対するフォルマント周波数シフト量、フォルマントレベルシフト量及びオペレータ波形選択情報が含まれている。前述のように、処理装置内には、各音素とそれに対応するフォルマント制御情報（フォルマントの周波数、帯域幅、レベルなど）を記述したプリセット辞書（第２の辞書）が記憶されており、ＨＶ音色パラメータは、このプリセット辞書に記憶されているパラメータに対するシフト量を規定している。これにより、全ての音素について同様のシフトが行われ、合成される音声の声質を変化させることができる。
なお、このＨＶ音色パラメータにより、０ｘ０２〜０ｘ０Ｆに対応する数（すなわち、プログラム番号の数）の音色を登録することができる。
【００３２】
（ｂ−２）ディクショナリデータチャンク（Ｄｉｃｔｉｏｎａｒｙ  Ｄａｔａ  Ｃｈｕｎｋ）（オプション）
このチャンクには、言語種別に応じた辞書データ、例えば、前記プリセット辞書と比較した差分データやプリセット辞書で定義していない音素データなどを含む辞書データを格納する。これにより、音色の異なる個性のある音声を合成することが可能となる。
【００３３】
（ｂ−３）シーケンスデータチャンク（Ｓｅｑｕｅｎｃｅ  Ｄａｔａ  Ｃｈｕｎｋ）
前述のシーケンスデータチャンクと同様に、デュレーションとイベントの組み合わせを時間順に配置したシーケンスデータを含む。
このＰＳｅｑ型におけるシーケンスデータチャンクでサポートするイベント（メッセージ）を次に列挙する。読み込み側は、これらのメッセージ以外は無視する。また、以下に記述する初期設定値は、イベント指定がないときのデフォルト値である。
【００３４】
（ｂ−３−１）ノートメッセージ「０ｘ９ｎ  Ｎｔ  Ｖｅｌ  Ｇａｔｅｔｉｍｅ  Ｓｉｚｅ  ｄａｔａ  ．．．」
ここで、ｎ：チャンネル番号（０ｘ０［固定］）、Ｎｔ：ノート番号（絶対値ノート指定：０ｘ００〜０ｘ７Ｆ，相対値ノート指定：０ｘ８０〜０ｘＦＦ）、Ｖｅｌ：ベロシティ（０ｘ００〜０ｘ７Ｆ）、Ｇａｔｅｔｉｍｅ：ゲートタイム長（Ｖａｒｉａｂｌｅ）、Ｓｉｚｅ：データ部のサイズ（可変長）である。
このノートメッセージにより、指定チャンネルの音声の発音が開始される。
なお、ノート番号のＭＳＢは、解釈を絶対値と相対値とに切り替えるフラグである。ＭＳＢ以外の７ビットはノート番号を示す。音声の発音はモノラルのみであるため、ゲートタイムが重なる場合は後着優先として発音する。オーサリング・ツールなどでは、重なりのあるデータは作られないように制限を設けることが望ましい。
【００３５】
データ部は、音素とそれに対する韻律制御情報（ピッチベンド、ボリューム）を含み、次の表６に示すデータ構造からなる。
【表６】
2004170618.tif 000008
【００３６】
表６に示すように、データ部は、音素の数ｎ（＃１）、例えばアスキーコードで記述した個々の音素（音素１〜音素ｎ）（＃２〜＃４）、及び、韻律制御情報からなっている。韻律制御情報はピッチベンドとボリュームであり、ピッチベンドに関して、その発音区間を音素ピッチベンド数（＃５）により規定されるＮ個の区間に区切り、それぞれにおけるピッチベンドを指定するピッチベンド情報（音素ピッチベンド位置１，音素ピッチベンド１（＃６〜＃７）〜音素ピッチベンド位置Ｎ，音素ピッチベンドＮ（＃９〜＃１０））と、ボリュームに関して、その発音区間を音素ボリューム数（＃１１）により規定されるＭ個の区間に区切り、それぞれにおけるボリュームを指定するボリューム情報（音素ボリューム位置１，音素ボリューム１（＃１２，＃１３）〜音素ボリューム位置Ｍ，音素ボリュームＭ（＃１５，＃１６））からなっている。
【００３７】
図８は、前記韻律制御情報について説明するための図である。ここでは、発音する文字情報が「ｏｈａｙｏｕ」である場合を例にとって示している。また、この例では、Ｎ＝Ｍ＝１２８としている。この図に示すように、発音する文字情報（「ｏｈａｙｏｕ」）に対応する区間を１２８（＝Ｎ＝Ｍ）の区間に区切り、各点におけるピッチとボリュームを前記ピッチベンド情報及びボリューム情報で表現して韻律を制御するようにしている。
【００３８】
図９は、前記ゲートタイム長（Ｇａｔｅｔｉｍｅ）とディレイタイム（Ｄｅｌａｙ  Ｔｉｍｅ（＃０））との関係を示す図である。この図に示すように、ディレイタイムにより、実際の発音をデュレーションで規定されるタイミングよりも遅らせることができる。なお、Ｇａｔｅ  ｔｉｍｅ  ＝  ０  は、禁止とする。
【００３９】
（ｂ−３−２）プログラムチェンジ「０ｘＣｎ  ｐｐ」
ここで、ｎ：チャンネル番号（０ｘ０［固定］）、ｐｐ：プログラム番号（０ｘ００〜０ｘＦＦ）である。また、プログラム番号の初期値は０ｘ００とされている。
このプログラムチェンジメッセージにより指定されたチャンネルの音色が設定される。ここで、チャンネル番号は、０ｘ００：男声プリセット音色、０ｘ０１：女声プリセット音色、０ｘ０２〜０ｘ０Ｆ：拡張音色である。
【００４０】
（ｂ−３−３）コントロールチェンジ
コントロールチェンジメッセージとしては、次のものがある。
（ｂ−３−３−１）チャンネルボリューム「０ｘＢｎ  ０ｘ０７  ｖｖ」
ここで、ｎ：チャンネル番号（０ｘ０［固定］）、ｖｖ：コントロール値（０ｘ００〜０ｘ７Ｆ）である。また、チャンネルボリュームの初期値は０ｘ６４とされている。
このチャンネルボリュームメッセージは、指定チャンネルの音量を指定するものであり、チャンネル間の音量バランスを設定することを目的としている。
（ｂ−３−３−２）パン「０ｘＢｎ  ０ｘ０Ａ  ｖｖ」
ここで、ｎ：チャンネル番号（０ｘ０［固定］）、ｖｖ：コントロール値（０ｘ００〜０ｘ７Ｆ）である。パンポットの初期値は０ｘ４０（センター）とされている。
このメッセージは、指定チャンネルのステレオ音場位置を指定する。
【００４１】
（ｂ−３−３−３）エクスプレッション「０ｘＢｎ  ０ｘ０Ｂ  ｖｖ」
ここで、ｎ：チャンネル番号（０ｘ０［固定］）、ｖｖ：コントロール値（０ｘ００〜０ｘ７Ｆ）である。このエクスプレッションメッセージの初期値は０ｘ７Ｆ（最大値）とされている。
このメッセージは、指定チャンネルのチャンネル・ボリュームで設定した音量の変化を指定する。これは曲中で音量を変化させる目的で使用される。
【００４２】
（ｂ−３−３−４）ピッチベンド「０ｘＥｎ  ｌｌ  ｍｍ」
ここで、ｎ：チャンネル番号（０ｘ０［固定］）、ｌｌ：ベンド値ＬＳＢ（０ｘ００〜０ｘ７Ｆ）、ｍｍ：ベンド値ＭＳＢ（０ｘ００〜０ｘ７Ｆ）である。ピッチベンドの初期値はＭＳＢ０ｘ４０、ＬＳＢ０ｘ００とされている。
このメッセージは、指定チャンネルのピッチを上下に変化させる。変化幅（ピッチ・ベンド・レンジ）の初期値は±２半音であり、０ｘ００／０ｘ００で下方向へのピッチ・ベンドが最大となる。０ｘ７Ｆ／０ｘ７Ｆで上方向へのピッチ・ベンドが最大となる。
【００４３】
（ｂ−３−３−５）ピッチベンド・センシティビティ「０ｘ８ｎ  ｂｂ」
ここで、ｎ：チャンネル番号（０ｘ０［固定］）、ｂｂ：データ値（０ｘ００〜０ｘ１８）である。このピッチベンド・センシティビティの初期値は０ｘ０２である。
このメッセージは、指定チャンネルのピッチ・ベンドの感度設定を行う。単位は半音である。例えば、ｂｂ＝０１のときは±１半音（変化範囲は計２半音）となる。
【００４４】
このように、ＰＳｅｑ型のフォーマットタイプは、発音を示す文字情報で表現した音素単位をベースとし、ＭＩＤＩイベントに類似する形式で音声情報を記述したものであり、データ・サイズはＴＳｅｑ型よりは大きいがＦＳｅｑ型よりは小さくなる。
これにより、ＭＩＤＩと同様に時間軸上の細かいピッチやボリュームをコントロールすることができる、音素ベースで記述しているため言語依存性がない、音色（声質）を細かく編集することができる、ＭＩＤＩと類似した制御ができ、従来のＭＩＤＩ機器へ追加実装し易いという長所を有している。
一方、文章や単語レベルの加工ができない、処理側において、ＴＳｅｑ型よりは軽いものの、フォーマットを解釈し音声合成するための処理負荷がかかるという短所を有している。
【００４５】
（ｃ）フォルマント・フレーム記述（ＦＳｅｑ）型（フォーマットタイプ＝０ｘ０２）
フォルマント制御情報（各フォルマントを生成するための、フォルマント周波数やゲインなどのパラメータ）をフレーム・データ列として表現したフォーマットである。すなわち、一定時間（フレーム）の間は、発音する音声のフォルマントなどは一定であるとし、各フレーム毎に発音する音声に対応するフォルマント制御情報（各々のフォルマント周波数やゲインなど）を更新するシーケンス表現（ＦＳｅｑ：ｆｏｒｍａｎｔ  ｓｅｑｕｅｎｃｅ）を用いる。シーケンスデータに含まれるノートメッセージにより指定されたＦＳｅｑデータチャンクのデータの再生を指示する。
このフォーマットタイプは、シーケンスデータチャンクとｎ個（ｎは以上の整数）のＦＳｅｑデータチャンク（ＦＳｅｑ＃００〜ＦＳｅｑ＃ｎ）を含んでいる。
【００４６】
（ｃ−１）シーケンスデータチャンク
前述のシーケンスデータチャンクと同様に、デュレーションとイベントの組を時間順に配置したシーケンスデータを含む。
以下に、このシーケンスデータチャンクでサポートするイベント（メッセージ）を列挙する。読み込み側は、これらのメッセージ以外は無視する。また、以下に記述する初期設定値は、イベント指定がないときのデフォルト値である。
（ｃ−１−１）ノート・メッセージ「０ｘ９ｎ  ｋｋ  ｇｔ」
ここで、ｎ：チャンネル番号（０ｘ０［固定］）、ｋｋ：ＦＳｅｑデータ番号（０ｘ００〜０ｘ７Ｆ）、ｇｔ：ゲートタイム（１〜３バイト）である。
このメッセージは、指定チャンネルのＦＳｅｑデータ番号のＦＳｅｑデータチャンクを解釈し発音を開始するメッセージである。なお、ゲートタイムが”０”のノート・メッセージは発音を行わない。
【００４７】
（ｃ−１−２）ボリューム「０ｘＢｎ  ０ｘ０７  ｖｖ」
ここで、ｎ：チャンネル番号（０ｘ０［固定］）、ｖｖ：コントロール値（０ｘ００〜０ｘ７Ｆ）である。なお、チャンネルボリュームの初期値は０ｘ６４である。
このメッセージは、指定チャンネルの音量を指定するメッセージである。
【００４８】
（ｃ−１−３）パン「０ｘＢｎ  ０ｘ０Ａ  ｖｖ」
ここで、ｎ：チャンネル番号（０ｘ０［固定］）、ｖｖ：コントロール値（０ｘ００〜０ｘ７Ｆ）である。なお、パンポットの初期値は０ｘ４０（センター）である。
このメッセージは、指定チャンネルのステレオ音場位置を指定するメッセージである。
【００４９】
（ｃ−２）ＦＳｅｑデータチャンク（ＦＳｅｑ＃００〜ＦＳｅｑ＃ｎ）
ＦＳｅｑデータチャンクは、ＦＳｅｑフレーム・データ列で構成する。すなわち、音声情報を所定時間長（例えば、２０ｍｓｅｃ）を有するフレーム毎に切り出し、それぞれのフレーム期間内の音声データを分析して得られたフォルマント制御情報（フォルマント周波数やゲインなど）を、それぞれのフレームの音声データを表わすフレーム・データ列として表現したフォーマットである。
表７にＦＳｅｑのフレーム・データ列を示す。
【００５０】
【表７】
2004170618.tif 000009
【００５１】
表７において、＃０〜＃３は音声合成に用いる複数個（この実施の形態においては、ｎ個）のフォルマントの波形の種類（サイン波、矩形波など）を指定するデータである。＃４〜＃１１は、フォルマントレベル（振幅）（＃４〜＃７）と中心周波数（＃８〜＃１１）によりｎ個のフォルマントを規定するパラメータである。＃４と＃８が第１フォルマント（＃０）を規定するパラメータ、以下同様に、＃５〜＃７と＃９〜＃１１は第２フォルマント（＃１）〜第ｎフォルマント（＃３）を規定するパラメータである。また、＃１２は無声／有声を示すフラグなどである。
図１０は、フォルマントのレベルと中心周波数を示す図であり、この実施の形態においては、第１〜第ｎフォルマントまでのｎ個のフォルマントのデータを用いるようにしている。前記図４に示したように、各フレーム毎の第１〜第ｎフォルマントに関するパラメータとピッチ周波数に関するパラメータは、前記音源部２７のフォルマント生成部とピッチ生成部に供給され、そのフレームの音声合成出力が前述のようにして生成出力される。
【００５２】
図１１は、前記ＦＳｅｑデータチャンクのボディ部のデータを示す図である。前記表７に示したＦＳｅｑのフレームデータ列のうち、＃０〜＃３は、各フォルマントの波形の種類を指定するデータであり、各フレームごとに指定する必要はない。従って、図１１に示すように、最初のフレームについては、前記表７に示した全てのデータとし、後続するフレームについては、前記表７における＃４以降のデータだけでよい。ＦＳｅｑデータチャンクのボディ部を図１１のようにすることにより、総データ数を少なくすることができる。
【００５３】
このように、ＦＳｅｑ型は、フォルマント制御情報（各々のフォルマント周波数やゲインなど）をフレーム・データ列として表現したフォーマットであるため、ＦＳｅｑ型のファイルをそのまま音源部に出力することにより音声を再生することができる。従って、処理側は音声合成処理の必要がなく、ＣＰＵは所定時間ごとにフレームを更新する処理を行うのみでよい。なお、既に格納されている発音データに対し、一定のオフセットを与えることで音色（声質）を変更することができる。
ただし、ＦＳｅｑ型のデータは文章や単語レベルの加工がしづらく、音色（声質）を細かく編集したり、時間軸上の発音長やフォルマント変位を変更することができない。さらに、時間軸上のピッチやボリュームを制御することはできるが、元のデータのオフセットで制御することとなるため、制御しにくいのに加え、処理負荷が増大するという短所がある。
【００５４】
次に、上述したシーケンスデータのデータ交換フォーマットを有するファイルを利用するシステムについて説明する。
図１２は、上述した音声再生シーケンスデータを再生する音声再生装置の一つである携帯通信端末に対し、上述したデータ交換フォーマットのファイルを配信するコンテンツデータ配信システムの概略構成を示す図である。
この図において、５１は携帯通信端末、５２は基地局、５３は前記複数の基地局を統括する移動交換局、５４は複数の移動交換局を管理するとともに公衆網などの固定網やインターネット５５とのゲートウエイとなる関門局、５６はインターネット５５に接続されたダウンロードセンターのサーバーコンピュータである。
コンテンツデータ制作会社５７は、前記図３に関して説明したように、専用のオーサリング・ツールなどを用い、ＳＭＦやＳＭＡＦなどの楽曲データ及び音声合成用テキストファイルから本発明のデータ交換フォーマットを有するファイルを作成し、サーバーコンピュータ５６に転送する。
サーバーコンピュータ５６には、コンテンツデータ制作会社５７により制作された本発明のデータ交換フォーマットを有するファイル（前記ＨＶトラックチャンクを含むＳＭＡＦファイルなど）が蓄積されており、携帯通信端末５１や図示しないコンピュータなどからアクセスするユーザーからのリクエストに応じて、対応する前記音声再生シーケンスデータを含む楽曲データなどを配信する。
【００５５】
図１３は、音声再生装置の一例である前記携帯通信端末５１の一構成例を示すブロック図である。
この図において、６１はこの装置全体の制御を行う中央処理装置（ＣＰＵ）、６２は各種通信制御プログラムや楽曲再生のためのプログラムなどの制御プログラムおよび各種定数データなどが格納されているＲＯＭ、６３はワークエリアとして使用されるとともに楽曲ファイルや各種アプリケーションプログラムなどを記憶するＲＡＭ、６４は液晶表示装置（ＬＣＤ）などからなる表示部、６５はバイブレータ、６６は複数の操作ボタンなどを有する入力部、６７は変復調部などからなりアンテナ６８に接続される通信部である。
また、６９は、送話マイク及び受話スピーカに接続され、通話のための音声信号の符号化および復号を行う機能を有する音声処理部、７０は前記ＲＡＭ６３などに記憶された楽曲ファイルに基づいて楽曲を再生するとともに、音声を再生して、スピーカ７１に出力する音源部、７２は前記各構成要素間のデータ転送を行うためのバスである。
ユーザーは、前記携帯通信端末５１を用いて、前記図１２に示したダウンロードセンターのサーバー５６にアクセスし、前記３つのフォーマットタイプのうちの所望のタイプの音声再生シーケンスデータを含む本発明のデータ交換フォーマットのファイルをダウンロードして前記ＲＡＭ６３などに格納し、そのまま再生したり、あるいは、着信メロディとして使用することができる。
【００５６】
図１４は、前記サーバーコンピュータ５６からダウンロードして前記ＲＡＭ６３に記憶した本発明のデータ交換フォーマットのファイルを再生する処理の流れを示すフローチャートである。ここでは、ダウンロードしたファイルが、前記図２に示したフォーマットにおいて、スコアトラックチャンクとＨＶトラックチャンクを有するファイルであるとして説明する。
楽曲の再生の開始指示があったとき、或いは、着信メロディとして使用する場合は着信が発生して処理が開始されると、ダウンロードしたファイルに含まれている音声部（ＨＶトラックチャンク）と楽曲部（スコアトラックチャンク）を分離する（ステップＳ１）。そして、音声部については、そのフォーマットタイプが（ａ）ＴＳｅｑ型であるときには、ＴＳｅｑ型をＰＳｅｑ型に変換する第１のコンバート処理とＰＳｅｑ型をＦＳｅｑ型に変換する第２のコンバート処理を実行してＦＳｅｑ型に変換し、（ｂ）ＰＳｅｑ型であるときには、前記第２のコンバート処理を行ってＦＳｅｑ型に変換し、（ｃ）ＦＳｅｑ型であるときにはそのままというように、フォーマットタイプに応じた処理を行ってＦＳｅｑ型のデータに変換し（ステップＳ２）、各フレームのフォルマント制御データをフレーム毎に更新して前記音源部７０に供給する（ステップＳ３）。一方、楽曲部については、音源部に所定のタイミングで楽音発生パラメータを供給する（ステップＳ４）。これにより、音声と楽曲が合成して（ステップＳ５）、出力される（ステップＳ６）。
【００５７】
前記図３に関して説明したように、本発明のデータ交換フォーマットは、ＳＭＦやＳＭＡＦなどの既存の楽曲データ２１に音声合成用テキストデータ２２に基づいて作成した音声再生シーケンスデータを付け加えることにより制作することができるため、上述のように着信メロディなどに利用した場合に多種のエンターテイメント性のあるサービスを提供することが可能となる。
【００５８】
また、上記においてはダウンロードセンターのサーバーコンピュータ５６からダウンロードした音声再生シーケンスデータを再生するものであったが、音声再生装置で上述した本発明のデータ交換フォーマットのファイルを作成することもできる。
前記携帯通信端末５１において、発声したいテキストに対応する前記ＴＳｅｑ型のＴＳｅｑデータチャンクを入力部６６から入力する。例えば、「＜Ｔお’っはよー、げ＿んき？」と入力する。そして、これをそのまま、あるいは、前記第１、第２のコンバート処理を行って、前述の３つのフォーマットタイプのうちのいずれかの音声再生シーケンスデータとし、本発明のデータ交換フォーマットのファイルへ変換して保存する。そして、そのファイルをメールに添付して相手端末に送信する。
このメールを受信した相手方の携帯通信端末では、受信したファイルのタイプを解釈し、対応した処理を行ってその音源部を用いて当該音声を再生する。
このように、携帯通信端末で、データを送信する前に加工することで、多種のエンターテイメント性のあるサービスを提供することが可能となる。この場合、それぞれの加工方法で、サービスに最適な音声合成用フォーマット種類を選択する。
【００５９】
さらにまた、近年では、携帯通信端末においてＪａｖａ（ＴＭ）によるアプリケーションプログラムをダウンロードして実行することができるようになっている。そこで、Ｊａｖａ（ＴＭ）アプリケーションプログラムを用いてより多彩な処理を行わせることができる。
すなわち、携帯通信端末上で、発声したいテキストを入力する。そして、Ｊａｖａ（ＴＭ）アプリケーションプログラムにより、入力されたテキストデータを受け取り、該テキストに合致した画像データ（例えば、しゃべっている顔）を貼付け、本発明のデータ交換フォーマットのファイル（ＨＶトラックチャンクとグラフィックストラックチャンクを有するファイル）へ変換し、Ｊａｖａ（ＴＭ）アプリケーションプログラムからＡＰＩ経由で本ファイルをミドルウエア（シーケンサ、音源や画像を制御するソフトウエアモジュール）に送信する。ミドルウエアは送られたファイル・フォーマットを解釈し、音源で音声を再生しながら表示部で画像を同期して表示する。
このように、Ｊａｖａ（ＴＭ）アプリケーションのプログラミングにより、多種のエンターテイメント性のあるサービスを提供することができる。この場合、それぞれの加工方法で、サービスに最適な音声合成用フォーマット種類を選択する。
【００６０】
なお、上述した実施の形態においては、ＨＶトラックチャンクに含まれる音声再生シーケンスデータのフォーマットを３つの型に応じて異なるフォーマットとしていたが、これに限られることはない。例えば、前記図１に示したように、（ａ）ＴＳｅｑ型と（ｃ）ＦＳｅｑ型は、いずれも、シーケンスデータチャンクとＴＳｅｑあるいはＦＳｅｑデータチャンクを有するものであり、基本的な構造は同一であるので、これらを統一し、データチャンクのレベルで、ＴＳｅｑ型のデータチャンクであるのかＦＳｅｑ型のデータチャンクであるのかを識別するようにしてもよい。
また、上述した各表に記載したデータの定義は、何れも一例に過ぎないものであり、任意に変更することができる。
【００６１】
【発明の効果】
以上説明したように、本発明の音声再生シーケンスデータのデータ交換フォーマットによれば、音声再生のためのシーケンスを表現することができるとともに、異なるシステムや装置の間で音声再生シーケンスデータを頒布したり交換することが可能となる。
また、楽曲シーケンスデータと音声再生シーケンスデータを各々異なるチャンクに含むようにした本発明のシーケンスデータのデータ交換フォーマットによれば、１つのフォーマット・ファイルで音声再生シーケンスと楽曲シーケンスの同期を取って再生することができる。
また、楽曲シーケンスデータと音声再生シーケンスデータを独立に記述することができ、一方のみを取り出して再生させることが容易にできる。
また、３つのフォーマットタイプを選択することができる本発明のデータ交換フォーマットによれば、音声再生の用途や処理側の負荷を考慮し、最も適切なフォーマットタイプを選択することができる。
【図面の簡単な説明】
【図１】本発明における音声再生シーケンスデータのデータ交換フォーマットの一実施の形態を示す図である。
【図２】ＨＶトラックチャンクをデータチャンクの一つとして含むＳＭＡＦファイルの例を示す図である。
【図３】本発明のデータ交換フォーマットを作成するシステム及び該データ交換フォーマットファイルを利用するシステムの概略構成の一例を示す図である。
【図４】音源部の概略構成の一例を示す図である。
【図５】（ａ）ＴＳｅｑ型、（ｂ）ＰＳｅｑ型、及び、（ｃ）ＦＳｅｑ型の３通りのフォーマットタイプの違いについて説明するための図である。
【図６】（ａ）はシーケンスデータの構成、（ｂ）はデュレーションとゲートタイムの関係を示す図である。
【図７】（ａ）はＴＳｅｑデータチャンクの一例を示す図であり、（ｂ）はその再生時間処理について説明するための図である。
【図８】韻律制御情報について説明するための図である。
【図９】ゲートタイムとディレイタイムとの関係を示す図である。
【図１０】フォルマントのレベルと中心周波数を示す図である。
【図１１】ＦＳｅｑデータチャンクのボディ部のデータを示す図である。
【図１２】音声再生装置の一つである携帯通信端末に対し本発明のデータ交換フォーマットのファイルを配信するコンテンツデータ配信システムの概略構成の一例を示す図である。
【図１３】携帯通信端末の一構成例を示すブロック図である。
【図１４】本発明のデータ交換フォーマットのファイルを再生する処理の流れを示すフローチャートである。
【図１５】ＳＭＡＦの概念を説明するための図である。
【符号の説明】
１  本発明のデータ交換フォーマットを有するファイル、２  コンテンツ・インフォ・チャンク、３  オプショナル・データ・チャンク、４  ＨＶトラックチャンク、５，１１，１２  シーケンスデータチャンク、６〜８  ＴＳｅｑデータチャンク、９  セットアップデータチャンク、１０  ディクショナリデータチャンク、１３〜１５  ＦＳｅｑデータチャンク、２１  楽曲データ、２２  テキストファイル、２３  オーサリング・ツール、２４  本発明のデータ交換フォーマットを有するファイル、２５  利用装置、２６  シーケンサ、２７  音源部、２８  フォルマント生成部、２９  ピッチ生成部、３０  ミキシング部、５１  携帯通信端末、５２  基地局、５３  移動交換局、５４  関門局、５５  インターネット、５６  ダウンロードサーバー、５７  コンテンツデータ制作会社
【図１】
2004170618.tif 000010
【図２】
2004170618.tif 000011
【図３】
2004170618.tif 000012
【図４】
2004170618.tif 000013
【図５】
2004170618.tif 000014
【図６】
2004170618.tif 000015
【図７】
2004170618.tif 000016
【図８】
2004170618.tif 000017
【図９】
2004170618.tif 000018
【図１０】
2004170618.tif 000019
【図１１】
2004170618.tif 000020
【図１２】
2004170618.tif 000021
【図１３】
2004170618.tif 000022
【図１４】
2004170618.tif 000023
【図１５】
2004170618.tif 000024