(57)【要約】【課題】データ処理装置の計測処理量に応じて合成音の生成音数を動的に変化させることにより、データ処理装置の性能の上限まで合成音の生成を可能とするデータ処理装置を提供すること。【解決手段】本発明のデータ処理装置は、データ処理装置の全体の処理量を計測して計測処理量を生成する処理量計測部１０８と、処理量計測部１０８からの前記計測処理量に基づいて楽譜データの複数の音符データのいずれかを選択する楽譜データ選択部１０９と、楽譜データ選択部１０９により選択された前記音符データを合成音に変換する合成音生成手段と、を具備する。【選択図】　　　図１
2004021114.tif 000002
【特許請求の範囲】
【請求項１】
楽曲を再生するのに必要な複数の音符データを有する楽譜データから複数の音を生成し、かつ、データの音声符号化又は画像符号化などの他の処理も行なうことが可能なデータ処理装置において、前記データ処理装置の全体の処理量を計測して計測処理量を生成する処理量計測手段と、前記処理量計測手段からの前記計測処理量に基づいて前記楽譜データの複数の音符データのいずれかを選択する楽譜データ選択手段と、前記楽譜データ選択手段により選択された前記音符データを合成音に変換する合成音生成手段と、を具備することを特徴とするデータ処理装置
【請求項２】
前記楽譜データの複数の音符データをグループ化し優先順位を決定して記録してある場合に、前記グループ化した音符データの単位で処理を行なうか否かを選択する楽譜データグループ別選択手段を具備することを特徴とする請求項１記載のデータ処理装置。
【請求項３】
前記楽譜データの複数の音符データをグループ化し優先順位を決定して記録してある場合に、前記グループ化した音符データの単位で処理を行なうか否かを選択する楽譜データグループ別選択手段と、前記音符データの単位で処理を行なうか否かを選択する楽譜データパート別選択手段と、を具備することを特徴とする請求項１記載のデータ処理装置。
【請求項４】
現在生成中の合成音がいくつの音かを記録する同時発音数記録手段と、合成音生成中にデータ処理装置の全体の処理量が変化しても合成する音数を変更しない手段と、を具備することを特徴とする請求項１記載のデータ処理装置。
【請求項５】
現在出力している合成音のパワーを計測するパワー計測手段と、前記合成音のパワーの増減が可能であるパワー補正手段と、を具備し、パワー補正手段は、前記計測処理量に応じて同時発音する音数が減少させる時に合成音のパワーが変わらないようにすることを特徴とする請求項１記載のデータ処理装置。
【請求項６】
使用している情報通信端末装置の電池残量を計測する電池残量計測手段と、前記電池残量計測手段により計測された前記電池残量に応じて発音する音符データを選択して合成音の生成処理を行なう手段と、を具備することを特徴とする請求項１記載のデータ処理装置。
【請求項７】
動作を実行する命令から全体の処理量を推定する処理量推定手段と、前記処理量推定手段により推定された前記処理量に基づいて動作を実行する命令から発音する音符データを選択し合成音の生成処理を行なう手段と、を具備することを特徴とする請求項１記載のデータ処理装置。
【請求項８】
請求項１から請求項７のいずれかに記載のデータ処理装置を具備することを特徴とする情報通信端末装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、パーソナルコンピュータ又は携帯電話端末装置などにおいて、楽曲を再生するのに必要な複数の音符データを処理するデータ処理装置に関する。
【０００２】
【従来の技術】
従来、データ処理装置として、ＭＩＤＩデータなどの音符データから合成音を生成する手段と、画像符号化データから復号処理を行ない画像データを出力する手段と、音声符号化データから復号処理を行ない音声データを出力する手段とを具備するものが知られている。
【０００３】
従来のデータ処理装置について、図１９及び図２０を参照しながら説明する。図１９は、従来のデータ処理装置の構成を示すブロック図である。図２０は、従来のデータ処理装置の動作を説明するための図である。
【０００４】
図１９に示すように、従来のデータ処理装置１９００は、スケジュール管理部１９０１、入力データスイッチ部１９０２、演算方法データ記録部１９０３、演算部１９０４及び出力データスイッチ部１９０５を具備している。
【０００５】
スケジュール管理部１９０１は、例えば、画像処理を第１の時刻から第２の時刻まで行なうというようにデータ処理装置１９００の内部動作のスケジューリングを行なうものである。入力データスイッチ部１９０２は、データ処理装置１９００に送信されてきた各種のデータの中の適当なデータを演算部１９０４に渡すものである。
【０００６】
演算方法データ記録部１９０３は、例えば、合成音生成方法、画像処理方法及び音声符号化方法などの処理方法を実施するためのデータを記録したものである。演算方法データ記録部１９０３は、メモリ又はハードディスクなどの記録媒体で構成されている。演算方法データ記録部１９０３に記録されているデータは、例えば、コンピュータプログラムである。
【０００７】
演算部１９０４は、入力データスイッチ部１９０２から得たデータを演算方法データ記録部１９０３に記録されたデータに基づいて処理するものである。出力データスイッチ部１９０５は、演算部１９０４で処理されたデータを適当な外部装置に出力するためにデータパスを切り替えるものである。画像表示部１９０６は、画像を表示するもので、液晶又はブラウン管など構成されている。音声出力部１９０７は、音声を出力するものである。音声出力部１９０７は、ディジタルアナログ変換器、アンプ及びスピーカで構成されている。
【０００８】
楽譜データＳ１０１は、合成音を再生するための複数の音符データを有している。楽譜データＳ１０１は、例えば、ＭＩＤＩ信号である。画像データＳ１０２は、画像を符号化し圧縮したデータである。音声データＳ１０３は、音声を符号化し圧縮したデータである。動作指示信号Ｓ１０４は、現時刻にどのような処理を行なうかを指示するものである。選択入力データＳ１０５は、現時刻で処理を行なうために必要なデータであり、画像データＳ１０２、音声データＳ１０３又は楽譜データＳ１０１のいずれかである。演算処理方法信号Ｓ１０６は、例えば、画像伸長処理方法などを示したものである。出力データＳ１０７は、選択入力データＳ１０５を伸長処理したものである。出力画像データＳ１０８は、画像データＳ１０２を伸長処理したものである。出力音声データＳ１０９は、音声データＳ１０２又は楽譜データＳ１０１を伸長処理したものである。
【０００９】
次に、従来のデータ処理装置１９００の動作について、図１９を用いて説明する。
【００１０】
スケジュール管理部１９０１は、現時刻に画像伸長処理、音声伸長処理又は楽譜データ伸長処理のいずれかを行なうかを決定し、動作指示信号Ｓ１０４を出力する。動作指示信号Ｓ１０４は、画像処理、音声伸長処理又は楽譜データ伸長処理のしずれかを行なうかを指示する。
【００１１】
入力データスイッチ部１９０２は、動作指示信号Ｓ１０４の内容から画像データＳ１０２、音声データＳ１０３又は楽譜データＳ１０１のうちの適当なデータを選択入力信号Ｓ１０５として演算部１９０４に出力する。例えば、動作指示信号Ｓ１０４の内容が画像伸長処理を示すものであれば、画像データＳ１０２を選択出力信号Ｓ１０５として出力する。演算方法データ記録部１９０３は動作指示信号Ｓ１０４の内容から適当な処理方法を演算処理方法信号Ｓ１０６として演算部１９０４に出力する。
【００１２】
演算部１９０４は、選択入力信号Ｓ１０５を演算処理方法信号Ｓ１０６で示された手順で演算して演算結果を出力データＳ１０７として出力データスイッチ部１９０５に出力する。出力データスイッチ部１９０５は、動作指示信号Ｓ１０４から出力データＳ１０５がどのようなデータかを判断して、適当な外部機器に出力する。例えば、画像伸長処理の場合には出力データＳ１０５を出力画像データＳ１０８として画像表示部１９０６に出力する。画像表示部１９０６は、出力画像データＳ１０８を基に画像を生成し表示する。音声出力部１９０７は、出力音声データＳ１０９を基に音を生成する。
【００１３】
なお、音声出力データＳ１０９は、音声伸長処理及び楽譜データ伸長処理で生成されたデータであり、音声伸長処理及び楽譜データ伸長処理の双方が行なわれた場合にはそれらの出力を加算したものである。
【００１４】
次に、従来のデータ処理装置１９００の各処理について、図２０を用いて説明する。
【００１５】
音声データ、画像データ及び楽譜データの伸長処理はフレームという区切られた時間で繰り返し行なう。１フレームは、約２０ｍｓｅｃである。仮に処理Ａを楽譜データ伸長処理とし、処理Ｂを画像伸長処理とし、処理Ｃを音声伸長処理とする。処理Ａ、処理Ｂ及び処理Ｃの処理時間の総計は１フレーム以内に収めなければならないから、この制約によって各処理の性能の上限が定められる。例えば楽譜データ伸長処理の場合には、同時に発音できる合成音の数などが挙げられる。これを同時発音数と呼ぶ。各処理の性能的制約は、各種処理の輻輳動作の最高値から決定される。例えば、１フレームが２０ｍｓｅｃであり、処理Ａ、処理Ｂ及び処理Ｃが輻輳動作する場合においては、処理Ｂが６ｍｓｅｃの処理時間を必要とし、処理Ｃが６ｍｓｅｃの処理時間を必要とする場合に、処理Ａに許される処理時間は８ｍｓｅｃに固定される。
【００１６】
【発明が解決しようとする課題】
しかしながら、従来のデータ処理装置においては、各処理に割り当てられた処理時間が固定であるため、輻輳動作する手段がない場合にはデータ処理装置の性能が十分に発揮できないという問題がある。
【００１７】
本発明は、かかる点に鑑みてなされたものであり、データ処理装置の処理量に応じて合成音の生成音数を動的に変化させることにより、データ処理装置の性能の上限まで合成音の生成を可能とするデータ処理装置を提供することを目的とする。
【００１８】
【課題を解決するための手段】
本発明のデータ処理装置は、楽曲を再生するのに必要な複数の音符データを有する楽譜データから複数の音を生成し、かつ、データの音声符号化又は画像符号化などの他の処理も行なうことが可能なデータ処理装置において、前記データ処理装置の全体の処理量を計測して計測処理量を生成する処理量計測手段と、前記処理量計測手段からの前記計測処理量に基づいて前記楽譜データの複数の音符データのいずれかを選択する楽譜データ選択手段と、前記楽譜データ選択手段により選択された前記音符データを合成音に変換する合成音生成手段と、を具備する構成を採る。
【００１９】
この構成によれば、計測処理量に応じて楽譜データ伸長処理に割り当てる処理量を動的に変化させるから、同時発音数を動的に変化させることが可能となり、合成音の生成処理においては処理能力を最大限に利用できる。
【００２０】
本発明のデータ処理装置は、前記構成において、前記楽譜データの複数の音符データをグループ化し優先順位を決定して記録してある場合に、前記グループ化した音符データの単位で処理を行なうか否かを選択する楽譜データグループ別選択手段を具備する構成を採る。
【００２１】
この構成によれば、前記効果に加えて、発音するパートの追加及び削除を音楽的に意味のあるグループ別に行なうことにより、処理能力に応じて音楽的に違和感のない合成音の生成ができる。
【００２２】
本発明のデータ処理装置は、前記構成において、前記楽譜データの複数の音符データをグループ化し優先順位を決定して記録してある場合に、前記グループ化した音符データの単位で処理を行なうか否かを選択する楽譜データグループ別選択手段と、前記音符データの単位で処理を行なうか否かを選択する楽譜データパート別選択手段と、を具備する構成を採る。
【００２３】
この構成によれば、前記効果に加えて、発音するパートの追加及び削除をまず音楽的に意味のあるグループ別に行なった後にパート単位で行なうことにより、処理能力を最大限に活かし、かつ、音楽的な違和感を最小限にとどめる合成音の生成ができる。
【００２４】
本発明のデータ処理装置は、前記構成において、現在生成中の合成音がいくつの音かを記録する同時発音数記録手段と、合成音生成中にデータ処理装置の全体の処理量が変化しても合成する音数を変更しない手段と、を具備する構成を採る。
【００２５】
この構成によれば、前記効果に加えて、処理量の変動による合成音の同時発音数の増加を防ぐことができ、音楽的に違和感のない合成音の生成処理ができる。
【００２６】
本発明のデータ処理装置は、前記構成において、現在出力している合成音のパワーを計測するパワー計測手段と、前記合成音のパワーの増減が可能であるパワー補正手段と、を具備し、パワー補正手段が、前記計測処理量に応じて同時発音する音数が減少させる時に合成音のパワーが変わらないようにする構成を採る。
【００２７】
この構成によれば、前記効果に加えて、計測処理量に応じて同時発音数を動的に変化した場合に、現フレームの音圧を前のフレームと同じ音圧と同じに補正することが可能となり、音楽的な違和感を最小限に留める合成音の生成ができる。
【００２８】
本発明のデータ処理装置は、前記構成において、使用している情報通信端末装置の電池残量を計測する電池残量計測手段と、前記電池残量計測手段により計測された前記電池残量に応じて発音する音符データを選択して合成音の生成処理を行なう手段と、を具備する構成を採る。
【００２９】
この構成によれば、前記効果に加えて、電池残量に基づいて同時発音数を抑えることにより、情報通信端末装置の電池残量をセーブ可能な合成音の生成処理ができる。
【００３０】
本発明のデータ処理装置は、前記構成において、動作を実行する命令から全体の処理量を推定する処理量推定手段と、前記処理量推定手段により推定された前記処理量に基づいて動作を実行する命令から発音する音符データを選択し合成音の生成処理を行なう手段と、を具備する構成を採る。
【００３１】
この構成によれば、前記効果に加えて、輻輳条件から同時発音数を予め予測しその予測値を超えないように同時発音数に制限をかけることにより、処理量の変動による合成音の同時発音数の増加を防ぐことができ、音楽的に違和感のない合成音生成処理ができる。
【００３２】
本発明の情報通信端末装置は、前記データ処理装置を具備する構成を採る。
【００３３】
この構成によれば、前記効果を有する情報通信端末装置を得ることができる。
【００３４】
【発明の実施の形態】
本発明の骨子は、データ処理装置の処理量を計測して計測処理量を生成し、この計測処理量に応じて合成音の生成音数を動的に変化させることにより、データ処理装置の性能の上限まで合成音の生成を可能とすることである。
【００３５】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【００３６】
（実施の形態１）
図１は、本発明の実施の形態１に係るデータ処理装置の構成を示すブロック図である。
【００３７】
図１に示すように、データ処理装置１００は、スケジュール管理部１０１、入力データスイッチ部１０２、演算方法データ記録部１０３、演算部１０４、出力データスイッチ部１０５、処理量計測部１０８及び楽譜データ選択部１０９を具備している。データ処理装置１００は、楽曲を再生するのに必要な複数の音符データを有する楽譜データから複数の音を生成し、かつ、データの音声符号化又は画像符号化などの他の処理も行なうことが可能なものである。
【００３８】
入力データスイッチ部１０２の入力端子は、スケジュール管理部１０１及び楽譜データ選択部１０９の出力端子に接続されている。演算方法データ記録部１０３の入力端子は、スケジュール管理部１０１の出力端子に接続されている。演算部１０４の入力端子は、入力データスイッチ部１０２及び演算方法データ記録部１０３の出力端子に接続されている。出力データスイッチ部１０５の入力端子は、スケジュール管理部１０１及び演算部１０４の出力端子に接続されている。出力データスイッチ部１０５の２つの出力端子は、画像表示部１０６及び音声出力部１０７の入力端子に接続されている。楽譜データ選択部１０９の入力端子は、処理量計測部１０８の出力端子に接続されている。
【００３９】
スケジュール管理部１０１は、例えば、画像処理を第１の時刻から第２の時刻まで行なうというようにデータ処理装置１００の内部動作のスケジューリングを行なうものである。入力データスイッチ部１０２は、データ処理装置１００に送信されてきた各種データの中の適当なデータを演算部１０４に渡すものである。演算方法データ記録部１０３は、例えば、合成音生成方法、画像処理方法又は音声符号化方法などの処理方法を実施するためのデータを記録したものである。演算方法データ記録部１０３は、メモリ又はハードディスクなどで構成されている。演算方法データ記録部１０３に記録されているデータは、例えば、コンピュータプログラムである。
【００４０】
演算部１０４は、入力データスイッチ部１０２から得たデータを演算方法データ記録部１０３に記録されたデータに基づいて処理するものである。出力データスイッチ部１０５は、演算部１０４で処理されたデータを適当な外部装置に出力するためにデータパスを切り替えるものである。処理量計測部１０８は、データ処理装置１００の全体の処理量を計測するものである。楽譜データ選択部１０９は、処理量計測部１０８の結果に基づいて何音まで合成音生成が可能かを判断し、楽譜データ内の優先順位を基にどの合成音を生成するかを判断し、その分の楽譜データを入力データスイッチ部１０２に出力するものである。画像表示部１０６は、画像を表示するものである。画像表示部１０６は、液晶又はブラウン管などで構成されている。音声出力部１０７は、音声を出力するものである。音声出力部１０７は、ディジタルアナログ変換器、アンプ及びスピーカで構成されている。
【００４１】
楽譜データＳ１０１は、合成音を再生するためのデータである。画像データＳ１０２は、画像を符号化し圧縮したデータである。音声データＳ１０３は、音声を符号化し圧縮したデータである。動作指示信号Ｓ１０４は、現時刻にどのような処理を行なうかを指示するものである。選択入力データＳ１０５は、現時刻で処理を行なうために必要なデータであり、選択楽譜データＳ１１１、画像データＳ１０２又は音声データＳ１０３のいずれかである。演算処理方法信号Ｓ１０６は、例えば、画像伸長処理方法などを示したものである。出力データＳ１０７は、選択入力データＳ１０５を伸長処理したものである。出力画像データＳ１０８は、画像データ１０１を伸長処理したものである。出力音声データＳ１０９は、音声データＳ１０３又は楽譜データＳ１０２を伸長処理したものである。処理量データＳ１１０はフレームの先頭時刻から現時点までの時刻を計測した数値である。選択楽譜データＳ１１１は、楽譜データ選択部１０９によって生成されるものであり、楽譜データＳ１０１から適当なパートを削除したものである。
【００４２】
次に、本発明の実施の形態１に係るデータ処理装置１００の動作について、図１を参照して説明する。
【００４３】
仮に、データ処理装置１００が画像伸長処理、音声伸長処理及び楽譜データ伸長処理の順番で処理を行なうものとする。
【００４４】
まず、画像伸長処理、音声伸長処理を行なう手順について説明する。スケジュール管理部１０１は、現時刻に画像伸長処理又は音声伸長処理のいずれかを行なうかを決定し、動作指示信号Ｓ１０４を出力する。動作指示信号Ｓ１０４の内容は、画像処理又は音声伸長処理のいずれかを行うかを指示する。入力データスイッチ部１０２は、動作指示信号Ｓ１０４の内容から画像データＳ１０２又は音声データＳ１０３の内の適当なデータを選択入力信号Ｓ１０５として演算部１０４に出力する。例えば、動作指示信号Ｓ１０４の内容が画像伸長処理を示すものであれば、入力データスイッチ部１０２は、画像データＳ１０２を選択出力信号１０５として出力する。
【００４５】
演算方法データ記録部１０３は、動作指示信号Ｓ１０４の内容から適当な処理方法を演算処理方法信号Ｓ１０６として演算部１０４に出力する。演算部１０４は、選択入力信号Ｓ１０５を演算処理方法信号Ｓ１０６で示された手順で演算し、演算結果を出力データＳ１０７として出力データスイッチ部１０５に出力する。出力データスイッチ部１０５は、動作指示信号Ｓ１０４から出力データＳ１０７がどのようなデータかを判断し、適当な外部機器に出力する。例えば、画像伸長処理の場合には、出力データスイッチ部１０５は、出力データＳ１０７を出力画像データＳ１０８として画像表示部１０６に出力する。画像表示部１０６は、出力画像データＳ１０８を基に画像を生成し表示する。音声出力部１０７は、出力音声データＳ１０９を基に音を生成する。なお、次に楽譜データ伸長処理がある場合に、出力音声データＳ１０９は音声伸長処理と楽譜伸長処理との出力を加算したものである。
【００４６】
次に、楽譜データ伸長処理を行なう手順について説明する。スケジュール管理部１０１は、現時刻に楽譜データ伸長処理を行なうことを決定し、動作指示信号Ｓ１０４を出力する。動作指示信号Ｓ１０４の内容は、楽譜データ伸長処理を行なうというものである。次に、処理量計測部１０８は、フレームの先頭から現時刻までの経過時間を処理量データＳ１１０として楽譜データ選択部１０９に出力する。楽譜データ選択部１０９は、処理量データＳ１１０から何音までの合成音生成が可能かを検出する。この検出の方法は、例えば、１音を生成するのに必要な時間が固定の場合に、残り時間で何音を生成できるかを計算するものである。仮に、１音を生成するのに１ｍｓｅｃ必要であり、フレームの残り時間が８ｍｓｅｃの場合は８音の生成を実行する。次に、楽譜データ選択部１０９は、楽譜データＳ１０１の優先順位情報を考慮して楽譜データＳ１０１から選択して選択楽譜データＳ１１１を生成し、入力データスイッチ部１０２に出力する。
【００４７】
図２及び図３を用いて選択楽譜データＳ１１１の生成方法を説明する。図２は、楽譜データＳ１０１を説明するための図である。図３は、選択楽譜データＳ１１１を説明するための図である。
【００４８】
楽譜データＳ１０１は、パート、優先順位情報及び音符情報から構成されている。パートとは、合成音の１音を示す単位である。優先順位情報とは、パートの重要度を示すものであり、重要度はその楽譜データＳ１０１が示す楽曲の特徴から決定される。例えば、メロディを示すパートは優先度が高いなどである。仮に、楽譜データ選択部１０９が８音まで合成音の生成が可能だと判断した場合に、楽譜データＳ１０１から優先度の高いパートを８個選択する。図２の例では、パートＡ、Ｂ、Ｃ、Ｄ、Ｆ、Ｇ、Ｈ、Ｊを選択する。これらのパートＡ、Ｂ、Ｃ、Ｄ、Ｆ、Ｇ、Ｈ、Ｊを再合成し、選択楽譜データＳ１１１を生成する。この時に優先順位情報は削除される。
【００４９】
入力データスイッチ部１０２は、動作指示信号Ｓ１０４の内容から選択楽譜データＳ１１１を選択入力信号Ｓ１０５として演算部１０４に出力する。演算方法データ記録部１０３は、動作指示信号Ｓ１０４から合成音生成方法のデータを演算処理方法信号Ｓ１０６として演算部１０４に出力する。演算部１０４は、選択入力信号Ｓ１０５を演算処理方法信号Ｓ１０６で示された手順で演算し、演算結果を出力データＳ１０７として出力データスイッチ部１０５に出力する。出力データスイッチ部１０５は、動作指示信号Ｓ１０４から出力データＳ１０７が合成音であることを判断し、音声出力部１０７に出力する。音声出力部１０７は、出力音声データＳ１０９を基に音を生成する。なお、前に音声伸長処理がある場合に、出力音声データＳ１０９は、音声伸長処理と楽譜伸長処理の出力を加算したものである。
【００５０】
次に、図４を用いて画像伸長処理、音声伸長処理及び楽譜データ伸長処理が輻輳している場合の動作タイミングの説明を行なう。
【００５１】
音声データ、画像データ及び楽譜データの伸長処理はフレームという区切られた時間で繰り返し行なう。１フレームは２０ｍｓｅｃ程度である。仮に、処理Ａを楽譜データ伸長処理とし、処理Ｂを画像伸長処理とし、処理Ｃを音声伸長処理とする。処理Ａ及び処理Ｂ及び処理Ｃの処理時間の総計は、１フレーム以内に収めなければならないため、この制約によって各処理の性能の上限が定められる。例えば、楽譜データ伸長処理の場合には、同時に発音できる合成音の数などが挙げられる。これを同時発音数と呼ぶ。各処理の性能的制約は、各種処理の輻輳動作の最高値から決定される。例えば、１フレームが２０ｍｓｅｃであり、処理Ａ、処理Ｂ及び処理Ｃが輻輳動作する場合において、処理Ｂが６ｍｓｅｃの処理時間を必要とし、処理Ｃが６ｍｓｅｃｍｓｅｃの処理時間を必要とする場合に、処理Ａに許される処理時間は８ｍｓｅｃに固定される。
【００５２】
次に、図５を用いて楽譜データ伸長処理のみが行なわれる場合について説明を行なう。
【００５３】
図４の例では楽譜データ伸長処理に割り当てられた処理時間は８ｍｓｅｃであったが、この場合は１フレームの全体を楽譜データ伸長処理に用いることが可能である。これは、処理量計測部１０８が楽譜伸長処理に２０ｍｓｅｃ割り当てることが可能だという情報を楽譜データ選択部１０９に送信しているためである。
【００５４】
このように、本実施の形態１によれば、処理量計測部１０８が計測した計測処理書に応じて楽譜データ伸長処理に割り当てる処理量を動的に変化させるから、同時発音数を動的に変化させることが可能となり、合成音の生成処理においては処理能力を最大限に利用できる。
【００５５】
（実施の形態２）
次に、本発明の実施の形態２について、図面を参照して詳細に説明する。図６は、本発明の実施の形態２に係るデータ処理装置の構成を示すブロック図である。本発明の実施の形態２においては、本発明の実施の形態１と同じ構成要素には同じ参照符号が付されている。
【００５６】
図６に示すように、本発明の実施の形態２に係るデータ処理装置６００は、スケジュール管理部１０１、入力データスイッチ部１０２、演算方法データ記録部１０３、演算部１０４、出力データスイッチ部１０５、処理量計測部１０８及び楽譜データグループ別選択部６０１を具備している。
【００５７】
すなわち、本発明の実施の形態２に係るデータ処理装置６００は、本発明の実施の形態１に係るデータ処理装置１００において楽譜データ選択部１０９の代わりに楽譜データグループ別選択部６０１を有している。楽譜データグループ別選択部６０１の入力端子は、処理量計測部１０８の出力端子に接続されている。楽譜データグループ別選択部６０１の出力端子は、入力データスイッチ部１０２の入力端子に接続されている。
【００５８】
スケジュール管理部１０１、入力データスイッチ部１０２、演算方法データ記録部１０３、演算部１０４、出力データスイッチ部１０５、処理量計測部１０８、画像表示部１０６及び音声出力部１０７は前記記載のものと同じである。
【００５９】
楽譜データグループ別選択部６０１は、処理量計測部１０８の結果に基づいて何音まで合成音の生成が可能かを判断し、楽譜データ内の優先順位を基にどの合成音を生成するかをグループ別で判断し、その分の楽譜データを入力データスイッチ部１０２に出力するものである。
【００６０】
画像データＳ１０２、音声データＳ１０３、動作指示信号Ｓ１０４、選択入力Ｓデータ１０５、演算処理方法信号Ｓ１０６、出力データＳ１０７、出力画像データＳ１０８、出力音声データＳ１０９、処理量データＳ１１０及び選択楽譜データＳ１１１は、前記記載のものと同じものである。
【００６１】
グループ化楽譜データＳ６０１は、パートを意味のあるグループ別に分類し、各グループ別に優先順位を示したものである。
【００６２】
次に、本発明の実施の形態２に係るデータ処理装置６００の動作について、図６を参照して説明する。仮に、データ処理装置６００が画像伸長処理、音声伸長処理及び楽譜データ伸長処理の順番で処理を行なうものとする。
【００６３】
画像伸長処理及び音声伸長処理を行なう手順については、本発明実施の形態１と同じなので説明を省略する。
【００６４】
次に、楽譜データ伸長処理を行なう手順について説明する。スケジュール管理部１０１は、現時刻に楽譜データ伸長処理を行なうことを決定し、動作指示信号Ｓ１０４を出力する。動作指示信号Ｓ１０４の内容は、楽譜データ伸長処理を行なうというものである。次に、処理量計測部１０８は、フレームの先頭から現時刻までの経過時間を処理量データＳ１１０として楽譜データグループ別選択部６０１に出力する。
【００６５】
楽譜データグループ別選択部６０１は、処理量データＳ１１０から何音までの合成音の生成が可能かを検出する。この検出の方法は、例えば、１音を生成するのに必要な時間が固定の場合に、残り時間で何音の生成できるかを計算する。仮に１音を生成するのに１ｍｓｅｃ必要であり、フレームの残り時間が８ｍｓｅｃの場合には８音の生成を実行する。次に、楽譜データグループ別選択部６０１は、グループ化楽譜データＳ６０１のグループ別優先順位情報を基にしてグループ化楽譜データＳ６０１から選択楽譜データＳ１１１を生成し、入力データスイッチ部１０２に出力する。
【００６６】
図７及び図８を用いて選択楽譜データＳ１１１の生成方法を説明する。図７はグループ化楽譜データＳ６０１を説明するためのものである。図８は、選択楽譜データＳ１１１を説明するためのものである。
【００６７】
グループ化楽譜データＳ６０１は、パート、グループ情報、グループ別優先順位情報及び音符情報で構成されている。パートとは、合成音の１音を示す単位である。グループ情報とは、パートがどのグループに属しているかを示すものである。例えば、ピアノの音色で３音のコードを弾いている場合に、それらのパートは同じグループに属する。グループ別優先順位情報とは、グループの重要度を示すものであり、重要度はその楽譜データＳ１０１が示す楽曲の特徴から決定される。例えば、メロディを示すパートは優先度が高いなどである。仮に、楽譜データグループ別選択部６０１が８音まで合成音生成が可能だと判断した場合に、優先順位の高いグループから順番に同時発音数が８音を超えないようにグループを選択する。図７の例では、グループ１、グループ２までが選択される。グループ３まで含めると同時発音数が８音を超えてしまうのでグループ３は選択されない。これらのグループ１、２を再合成し、選択楽譜データＳ１１１を生成する。このときグループ情報及びグループ別優先順位情報は削除される。
【００６８】
入力データスイッチ部１０２は、動作指示信号Ｓ１０４の内容から選択楽譜データＳ１１１を選択入力信号１０５として演算部１０４に出力する。演算方法データ記録部１０３は、動作指示信号Ｓ１０４から合成音生成方法のデータを演算処理方法信号Ｓ１０６として演算部１０４に出力する。演算部１０４は、選択入力信号Ｓ１０５を演算処理方法信号Ｓ１０６で示された手順で演算し、演算結果を出力データＳ１０７として出力データスイッチ部１０５に出力する。出力データスイッチ部１０５は、動作指示信号Ｓ１０４から出力データＳ１０７が合成音であることを判断し、音声出力部１０７に出力する。音声出力部１０７は、出力音声データＳ１０９を基に音を生成する。なお、前に音声伸長処理がある場合に、出力音声データ１０９は、音声伸長処理と楽譜伸長処理との出力を加算したものである。
【００６９】
このように、本実施の形態２によれば、処理量計測部１０８が計測した計測処理書に応じて楽譜データ伸長処理に割り当てる処理量を動的に変化させるから、同時発音数を動的に変化させることが可能となり、合成音の生成処理においては処理能力を最大限に利用できる。また、本実施の形態２によれば、発音するパートの追加及び削除を音楽的に意味のあるグループ別に行なうことにより、処理能力に応じて音楽的に違和感のない合成音の生成ができる。
【００７０】
（実施の形態３）
次に、本発明の実施の形態３について、図面を参照して詳細に説明する。図９は、本発明の実施の形態３に係るデータ処理装置の構成を示すブロック図である。本発明の実施の形態３においては、本発明の実施の形態２と同じ構成要素には同じ参照符号が付されている。
【００７１】
図９に示すように、本発明の実施の形態３に係るデータ処理装置９００は、スケジュール管理部１０１、入力データスイッチ部１０２、演算方法データ記録部１０３、演算部１０４、出力データスイッチ部１０５、処理量計測部１０８及び楽譜データパート別選択部９０１を具備している。
【００７２】
すなわち、本発明の実施の形態３に係るデータ処理装置９００は、本発明の実施の形態２に係るデータ処理装置６００において楽譜データグループ別選択部６０１の代わりに楽譜データパート別選択部９０１を有している。楽譜データパート別選択部９０１の入力端子は、処理量計測部１０８の出力端子に接続されている。楽譜データパート別選択部９０１の出力端子は、入力データスイッチ部１０２の入力端子に接続されている。
【００７３】
スケジュール管理部１０１、入力データスイッチ部１０２、演算方法データ記録部１０３、演算部１０４、出力データスイッチ部１０５、処理量計測部１０８、画像表示部１０６及び音声出力部１０７は、前記記載のものと同じである。
【００７４】
楽譜データパート別選択部９０１は、処理量計測部１０８の結果に基づいて、何音まで合成音の生成が可能かを判断し、楽譜データ内の優先順位を基にどの合成音を生成するかをパート別で判断し、その分の楽譜データを入力データスイッチ部１０２に出力するものである。
【００７５】
画像データＳ１０２、音声データＳ１０３、動作指示信号Ｓ１０４、選択入力データＳ１０５、演算処理方法信号Ｓ１０６、出力データＳ１０７、出力画像データＳ１０８、出力音声データＳ１０９、処理量データＳ１１０、選択楽譜データＳ１１１及びグループ化楽譜データＳ６０１は、前記記載のものと同じである。
【００７６】
次に、本発明の実施の形態３に係るデータ処理装置９００の動作について、図９を参照して説明する。仮に、データ処理装置９００が画像伸長処理、音声伸長処理及び楽譜データ伸長処理の順番で処理を行なうものとする。
【００７７】
画像伸長処理及び音声伸長処理を行なう手順については、本発明実施の形態１と同じなので説明を省略する。
【００７８】
次に、楽譜データ伸長処理を行なう手順について説明する。スケジュール管理部１０１は、現時刻に楽譜データ伸長処理を行なうことを決定し、動作指示信号Ｓ１０４を出力する。動作指示信号Ｓ１０４の内容は、楽譜データ伸長処理を行なうというものである。次に、処理量計測部１０８は、フレームの先頭から現時刻までの経過時間を処理量データＳ１１０として楽譜データパート別選択部９０１に出力する。楽譜データパート選択部９０１は、処理量データＳ１１０から何音までの合成音の生成が可能かを検出する。この検出の方法は、例えば、１音を生成するのに必要な時間が固定の場合に、残り時間で何音を生成できるかを計算する。仮に、１音を生成するのに１ｍｓｅｃ必要であり、フレームの残り時間が８ｍｓｅｃの場合には８音を生成を実行する。次に、楽譜データパート別選択部９０１は、グループ化楽譜データＳ６０１のグループ別優先順位情報を基にしてグループ化楽譜データＳ６０１から選択楽譜データＳ１１１を生成し、入力データスイッチ部１０２に出力する。
【００７９】
図７及び図１０を用いて選択楽譜データ１１１生成方法を説明する。図７はグループ化楽譜データＳ６０１を説明するためのものである。図１０は選択楽譜データ１１１を説明するためのものである。
【００８０】
仮に、楽譜データパート選択部１０９が８音まで合成音の生成が可能だと判断した場合に、まず、優先順位の高いグループから順番に同時発音数が８音を超えないようにグループを選択する。図７の例では、グループ１、グループ２までが選択される。グループ３まで含めると同時発音数が８音を超えてしまうのでグループ３は選択されない。次に、同時発音数が８音を超えないように、選択されなかったグループの中で一番優先順の高いグループからパート単位で選択する。この場合には、グループ３の中から３パート分選択される。選択方法は、例えばパート番号の若い順又はそのグループの中での最高音程を優先するなどの方法が考えられる。今回は、パート番号の若い順とし、グループ３内のパートＧ、Ｈ、Ｉを選択するものとする。これらのグループ１、２及びパートＧ、Ｈ、Ｉを再合成し、選択楽譜データ１１１を生成する。この時にグループ情報及びグループ別優先順位情報は削除される。
【００８１】
入力データスイッチ部１０２は、動作指示信号Ｓ１０４の内容から選択楽譜データＳ１１１を選択入力信号Ｓ１０５として演算部１０４に出力する。演算方法データ記録部１０３は、動作指示信号Ｓ１０４から合成音生成方法を実施するためのデータを演算処理方法信号Ｓ１０６として演算部１０４に出力する。演算部１０４は、選択入力信号Ｓ１０５を演算処理方法信号Ｓ１０６で示された手順で演算し、演算結果を出力データＳ１０７として出力データスイッチ部１０５に出力する。出力データスイッチ部１０５は、動作指示信号Ｓ１０４から出力データＳ１０７が合成音であることを判断し、音声出力部１０７に出力する。音声出力部１０７は、出力音声データＳ１０９を基に音を生成する。なお、前に音声伸長処理がある場合に、出力音声データＳ１０９は、音声伸長処理と楽譜伸長処理との出力を加算したものである。
【００８２】
このように、本発明の実施の形態３によれば、処理量計測部１０８が計測した計測処理書に応じて楽譜データ伸長処理に割り当てる処理量を動的に変化させるから、同時発音数を動的に変化させることが可能となり、合成音の生成処理においては処理能力を最大限に利用できる。また、本発明の実施の形態３によれば、発音するパートの追加及び削除をまず音楽的に意味のあるグループ別に行なった後にパート単位で行なうことにより、処理能力を最大限に活かし、かつ、音楽的な違和感を最小限にとどめる合成音の生成ができる。
【００８３】
（実施の形態４）
次に、本発明の実施の形態４について、図面を参照して詳細に説明する。図１１は、本発明の実施の形態４に係るデータ処理装置の構成を示すブロック図である。本発明の実施の形態４においては、本発明の実施の形態１と同じ構成要素には同じ参照符号が付されている。
【００８４】
図１１に示すように、本発明の実施の形態４に係るデータ処理装置１１００は、スケジュール管理部１０１、入力データスイッチ部１０２、演算方法データ記録部１０３、演算部１０４、出力データスイッチ部１０５、処理量計測部１０８、楽譜データ選択部１０９及び同時発音数記録部１１０１を具備している。
【００８５】
すなわち、本発明の実施の形態４に係るデータ処理装置１１００は、本発明の実施の形態１に係るデータ処理装置１００において同時発音数記録部１１０１を追加してなる。同時発音数記録部１１０１の入力端子は、処理量計測部１０８の出力端子に接続されている。同時発音数記録部１１０１の出力端子は、楽譜データ選択部９０１の入力端子に接続されている。
【００８６】
スケジュール管理部１０１、入力データスイッチ部１０２、演算方法データ記録部１０３、演算部１０４、出力データスイッチ部１０５、処理量計測部１０８、画像表示部１０６、音声出力部１０７及び楽譜データ選択部１０９は、前記記載のものと同じである。同時発音数記録部１１０１は、過去の同時発音数を記録したものである。
【００８７】
楽譜データＳ１０１、画像データＳ１０２、音声データＳ１０３、動作指示信号Ｓ１０４、選択入力データＳ１０５、演算処理方法信号Ｓ１０６、出力データＳ１０７、出力画像データＳ１０８、出力音声データＳ１０９、処理量データＳ１１０及び選択楽譜データＳ１１１は、前記記載のものと同じである。補正処理量データＳ１１０１は、処理量データＳ１１０から算出される同時発音数及び過去の同時発音数とのうちの小さい方の値である。
【００８８】
次に、本発明の実施の形態４に係るデータ処理装置１１００の動作について、図１１を参照して説明する。仮に、データ処理装置１１００が画像伸長処理、音声伸長処理及び楽譜データ伸長処理の順番で処理を行なうものとする。
【００８９】
画像伸長処理及び音声伸長処理を行なう手順については、本発明の実施の形態１と同じなので説明を省略する。
【００９０】
次に、楽譜データ伸長処理を行なう手順について説明する。スケジュール管理部１０１は、現時刻に楽譜データ伸長処理を行なうことを決定し、動作指示信号Ｓ１０４を出力する。動作指示信号Ｓ１０４の内容は、楽譜データ伸長処理を行なうというものである。次に、処理量計測部１０８は、フレームの先頭から現時刻までの経過時間を処理量データＳ１１０として同時発音数記録部１１０１に出力する。
【００９１】
同時発音数記録部１１０１は、自身が記録している過去の同時発音数と処理量データＳ１１０から算出される同時発音数とを比較し、小さい方の値を選択し補正処理量データＳ１１０１として楽譜データ選択部１０９に送信するものである。例えば、過去の同時発音数が８音であり、処理量データＳ１１０から算出される同時発音数が１０音である場合に、同時発音数記録部１１０１は、８音分の処理量に相当する時間が合成音生成に割り当てられることを楽譜データ選択部１０９に示す。また、過去の同時発音数より処理量データＳ１１０から算出される同時発音数の方が少ない場合には、同時発音数記録部１１０１は、処理量データＳ１１０をそのまま補正処理量データＳ１１０１として出力し、それに相当する同時発音数を新たに過去の同時発音数として記録する。
【００９２】
楽譜データ選択部１０９は、補正処理量データ１１０１から何音までの合成音の生成が可能かを検出する。この検出の方法は、例えば、１音を生成するのに必要な時間が固定の場合に、残り時間で何音を生成できるかを計算する。仮に、１音を生成するのに１ｍｓｅｃ必要であり、フレームの残り時間が８ｍｓｅｃの場合には８音の生成を実行する。次に、楽譜データ選択部１０９は、楽譜データＳ１０１の優先順位情報を基にして楽譜データＳ１０１から選択楽譜データＳ１１１を生成し、入力データスイッチ部１０２に出力する。
【００９３】
選択楽譜データＳ１１１を生成する方法は、本発明の実施の形態１における方法と同じなので省略する。
【００９４】
入力データスイッチ部１０２は、動作指示信号Ｓ１０４の内容から選択楽譜データＳ１１１を選択入力信号Ｓ１０５として演算部１０４に出力する。演算方法データ記録部１０３は、動作指示信号Ｓ１０４から合成音生成方法を実施するためのデータを演算処理方法信号Ｓ１０６として演算部１０４に出力する。演算部１０４は、選択入力信号Ｓ１０５を演算処理方法信号Ｓ１０６で示された手順で演算し、演算結果を出力データＳ１０７として出力データスイッチ部１０５に出力する。出力データスイッチ部１０５は、動作指示信号Ｓ１０４から出力データＳ１０７が合成音であることを判断し、音声出力部１０７に出力する。音声出力部１０７は、出力音声データＳ１０９を基に音を生成する。なお、前に音声伸長処理がある場合に、出力音声データＳ１０９は、音声伸長処理と楽譜伸長処理との出力を加算したものである。
【００９５】
このように、本発明の実施の形態４によれば、処理量計測部１０８が計測した計測処理書に応じて楽譜データ伸長処理に割り当てる処理量を動的に変化させるから、同時発音数を動的に変化させることが可能となり、合成音の生成処理においては処理能力を最大限に利用できる。また、本発明の実施の形態４によれば、処理量の変動による合成音の同時発音数の増加を防ぐことができ、音楽的に違和感のない合成音の生成処理ができる。
【００９６】
（実施の形態５）
次に、本発明の実施の形態５について、図面を参照して詳細に説明する。図１２は、本発明の実施の形態５に係るデータ処理装置の構成を示すブロック図である。本発明の実施の形態５においては、本発明の実施の形態１と同じ構成要素には同じ参照符号が付されている。
【００９７】
図１２に示すように、本発明の実施の形態５に係るデータ処理装置１２００は、スケジュール管理部１０１、入力データスイッチ部１０２、演算方法データ記録部１０３、演算部１０４、出力データスイッチ部１０５、処理量計測部１０８、楽譜データ選択部１０９、パワー計測部１２０１及びパワー補正部１２０２を具備している。
【００９８】
すなわち、本発明の実施の形態５に係るデータ処理装置１２００は、本発明の実施の形態１に係るデータ処理装置１００においてパワー計測部１２０１及びパワー補正部１２０２を追加してなる。パワー計測部１２０１の入力端子は、スケジュール管理部１０１、出力データスイッチ部１０５及び処理量計測部１０８の出力端子に接続されている。パワー補正部１２０２の入力端子は、出力データスイッチ部１０５及びパワー計測部１２０１の出力端子に接続されている。パワー補正部１２０２の出力端子は、音声出力部１０７の入力端子に接続されている。
【００９９】
スケジュール管理部１０１、入力データスイッチ部１０２、演算方法データ記録部１０３、演算部１０４、出力データスイッチ部１０５、処理量計測部１０８、画像表示部１０６、音声出力部１０７及び楽譜データ選択部１０９は、前記記載のものと同じである。
【０１００】
パワー計測部１２０１は、出力音声データＳ１０９が合成音である場合の１フレーム当たりのパワーを計測し、特に同時発音数に変化があった場合には変化する前とのパワーの差分を計算しパワー補正値Ｓ１２０１として出力するものである。パワー補正部１２０２は、パワー補正値Ｓ１２０１に基づいて出力音声データＳ１０９のフレーム当たりのパワーを補正するものである。
【０１０１】
楽譜データＳ１０１、画像データＳ１０２、音声データＳ１０３、動作指示信号Ｓ１０４、選択入力データＳ１０５、演算処理方法信号Ｓ１０６、出力データＳ１０７、出力画像データＳ１０８、出力音声データＳ１０９、処理量データＳ１１０及び選択楽譜データＳ１１１は、前記記載のものと同じである。
【０１０２】
パワー補正値Ｓ１２０１は、現フレームの合成音出力のパワーをどれだけ補正すればよいかを示す信号である。補正出力音声データＳ１２０２は、パワー補正部１２０２がパワー補正値１２０１に基づいて出力音声データＳ１０９のゲインを補正したものである。
【０１０３】
次に、本発明の実施の形態５に係るデータ処理装置１２００の動作について、図１２を参照して説明する。仮に、データ処理装置１２００が画像伸長処理、音声伸長処理及び楽譜データ伸長処理の順番で処理を行なうものとする。
【０１０４】
画像伸長処理及び音声伸長処理を行なう手順については、本発明の実施の形態１と同じなので説明を省略する。
【０１０５】
次に、楽譜データ伸長処理を行なう手順について説明する。スケジュール管理部１０１は、現時刻に楽譜データ伸長処理を行なうことを決定し、動作指示信号Ｓ１０４を出力する。動作指示信号Ｓ１０４の内容は、楽譜データ伸長処理を行なうというものである。次に、処理量計測部１０８は、フレームの先頭から現時刻までの経過時間を処理量データＳ１１０として楽譜データ選択部１０９に出力する。
【０１０６】
楽譜データ選択部１０９は、処理量データＳ１１０から何音までの合成音の生成が可能かを検出する。この検出の方法は、例えば、１音を生成するのに必要な時間が固定の場合に、残り時間で何音を生成できるかを計算する。仮に、１音を生成するのに１ｍｓｅｃ必要であり、フレームの残り時間が８ｍｓｅｃの場合には８音の生成を実行する。次に、楽譜データ選択部１０９は、楽譜データＳ１０１の優先順位情報を基にして楽譜データＳ１０１から選択楽譜データＳ１１１を生成し、入力データスイッチ部１０２に出力する。
【０１０７】
選択楽譜データＳ１１１を生成する方法は、本発明の実施の形態１における方法と同じなので省略する。
【０１０８】
入力データスイッチ部１０２は、動作指示信号１０４の内容から選択楽譜データＳ１１１を選択入力信号Ｓ１０５として演算部１０４に出力する。演算方法データ記録部１０３は、動作指示信号Ｓ１０４から合成音生成方法を実施するためのデータを演算処理方法信号Ｓ１０６として演算部１０４に出力する。演算部１０４は、選択入力信号Ｓ１０５を演算処理方法信号Ｓ１０６で示された手順で演算し、演算結果を出力データＳ１０７として出力データスイッチ部１０５及びパワー計測部１２０１に出力する。
【０１０９】
パワー計測部１２０１は、処理量データＳ１１０により処理内容が変わる。まず、処理量データＳ１１０が前フレームと同じである場合に、現フレームのパワーを計算し内部に記憶し、また、パワー補正値Ｓ１２０１を１として出力する。また、処理量データＳ１１０が前フレームと異なる場合に、パワー計測部１２０１は、現フレームのパワーを計算し、前フレームのパワーを現フレームのパワーで割ることによりパワー補正値Ｓ１２０１を算出して出力する。
【０１１０】
出力データスイッチ部１０５は、動作指示信号Ｓ１０４から出力データＳ１０７が合成音であることを判断し、パワー補正部１２０２に出力する。パワー補正部１２０２は、出力音声データＳ１０９に対してパワー補正値Ｓ１２０１を乗算し、補正出力音声データＳ１２０２として音声出力部１０７に出力する。音声出力部１０７は、補正出力音声データＳ１２０２を基に音を生成する。
【０１１１】
処理中に処理量データ１１０が変動する場合について、図１３及び図１４を用いて説明する。
【０１１２】
図１３のＮフレーム目は音声伸長処理と楽譜データ伸長処理しかないが、（Ｎ＋１）フレーム目は音声伸長処理と楽譜データ伸長処理に加えて画像伸長処理が加わる。この場合に、楽譜データ伸長処理の処理時間が画像伸長処理に掛かる処理時間分だけ減ることが図１３から分かる。この場合に、合成音の処理音数が減り、合成音の１フレーム当たりのパワーが減少する。
【０１１３】
（Ｎ＋１）フレーム目でのパワー補正方法を図１４を用いて説明する。（Ｎ＋１）フレーム目はＮフレーム目より１フレーム当たりのパワーが減少している。仮に、１フレーム当たりのパワーを１フレーム中の各サンプルの二乗値の総和で求めるとし、Ｎフレーム目のパワーが１００００であり、Ｎ＋１フレーム目のパワーが８０００だった場合、パワー補正値１２０１は１００００÷８０００＝１．２５となる。
【０１１４】
したがって、現フレームのパワーを１．２５倍すれば１フレーム当たりのパワーが前フレームと同等になることが分かるので、出力音声データＳ１０９の１フレーム当たりのパワーをパワー補正部１２０２で１．２５倍になるように補正し、補正出力音声データＳ１２０２として出力する。なお、前に音声伸長処理がある場合に、補正出力音声データＳ１２０２は音声伸長処理と楽譜伸長処理との出力を加算したものである。
【０１１５】
このように、本発明の実施の形態５によれば、処理量計測部１０８が計測した計測処理書に応じて楽譜データ伸長処理に割り当てる処理量を動的に変化させるから、同時発音数を動的に変化させることが可能となり、合成音の生成処理においては処理能力を最大限に利用できる。また、本発明の実施の形態５によれば、計測処理量に応じて同時発音数を動的に変化した場合に、現フレームの音圧を前のフレームと同じ音圧と同じに補正することが可能となり、音楽的な違和感を最小限に留める合成音の生成ができる。
【０１１６】
（実施の形態６）
次に、本発明の実施の形態６について、図面を参照して詳細に説明する。図１５は、本発明の実施の形態６に係るデータ処理装置の構成を示すブロック図である。本発明の実施の形態６においては、本発明の実施の形態１と同じ構成要素には同じ参照符号が付されている。
【０１１７】
図１５に示すように、本発明の実施の形態６に係るデータ処理装置１５００は、スケジュール管理部１０１、入力データスイッチ部１０２、演算方法データ記録部１０３、演算部１０４、出力データスイッチ部１０５、処理量計測部１０８、楽譜データ選択部１０９及び電池残量監視部１５０１を具備している。
【０１１８】
すなわち、本発明の実施の形態６に係るデータ処理装置１５００は、本発明の実施の形態１に係るデータ処理装置１００において電池残量監視部１５０１を追加してなる。電池残量監視部１５０１の入力端子は、処理量計測部１０８の出力端子に接続されている。電池残量監視部１５０１の出力端子は、楽譜データ選択部１０９の入力端子に接続されている。
【０１１９】
スケジュール管理部１０１、入力データスイッチ部１０２、演算方法データ記録部１０３、演算部１０４、出力データスイッチ部１０５、処理量計測部１０８、画像表示部１０６、音声出力部１０７及び楽譜データ選択部１０９は、前記記載のものと同じである。
【０１２０】
楽譜データＳ１０１、画像データＳ１０２、音声データＳ１０３、動作指示信号Ｓ１０４、選択入力データＳ１０５、演算処理方法信号Ｓ１０６、出力データＳ１０７、出力画像データＳ１０８、出力音声データＳ１０９、処理量データＳ１１０及び選択楽譜データＳ１１１は、前記記載のものと同じである。電池残量補正処理量データＳ１５０１は、電池の残量から処理量データＳ１１０に適当な補正を加えたものである。
【０１２１】
次に、本発明の実施の形態６に係るデータ処理装置１５００の動作について、図１５を参照して説明する。仮に、データ処理装置１５００が画像伸長処理、音声伸長処理及び楽譜データ伸長処理の順番で処理を行なうものとする。
【０１２２】
画像伸長処理及び音声伸長処理を行なう手順については、本発明の実施の形態１と同じなので説明を省略する。
【０１２３】
次に楽譜データ伸長処理を行なう手順について説明する。スケジュール管理部１０１は、現時刻に楽譜データ伸長処理を行なうことを決定し、動作指示信号Ｓ１０４を出力する。動作指示信号Ｓ１０４の内容は、楽譜データ伸長処理を行なうというものである。次に、処理量計測部１０８は、フレームの先頭から現時刻までの経過時間を処理量データＳ１１０として電池残量監視部１５０１に出力する。電池残量監視部１５０１は、通信情報端末装置の電池残量から処理量データＳ１１０に適当な補正を加えて、電池残量補正処理量データＳ１５０１として出力するものである。
【０１２４】
電池残量監視部１５０１による処理量データＳ１１０の補正方法を図１６を用いて説明する。
【０１２５】
図１６は、データ処理装置１５００における電池残量と補正係数の関係を説明するための図である。電池残量補正処理量データＳ１５０１は、処理量データＳ１１０を補正係数で割ることにより求められる。
【０１２６】
図１６に示すように、電池残量が５０％以上である場合に、補正係数は１．０であるので、電池残量補正処理量データＳ１５０１は処理量データＳ１１０と同じである。電池残量が３０％である場合、補正係数は０．７となるので、電池残量補正処理量データＳ１５０１は処理量データＳ１１０を０．７で割った値となる。処理量データＳ１１０は、楽譜伸長処理以外の処理に使用した時間を示しており、この場合に、電池残量補正処理量データＳ１５０１は擬似的に楽譜伸長処理以外の処理に使用した時間を増加させ、楽譜データ伸長処理に使用できる時間を擬似的に短くしている。
【０１２７】
楽譜データ選択部１０９は、補正処理量データＳ１５０１から何音までの合成音の生成が可能かを検出する。この検出の方法は、例えば、１音を生成するのに必要な時間が固定である場合に、残り時間で何音を生成できるかを計算する。仮に、１音を生成するのに１ｍｓｅｃ必要であり、フレームの残り時間が８ｍｓｅｃである場合には８音の生成を実行する。次に、楽譜データ選択部１０９は、楽譜データＳ１０１の優先順位情報を基にして楽譜データＳ１０１から選択楽譜データＳ１１１を生成し、入力データスイッチ部１０２に出力する。
【０１２８】
選択楽譜データＳ１１１を生成する方法は、本発明の実施の形態１における方法と同じであるので省略する。
【０１２９】
入力データスイッチ部１０２は、動作指示信号Ｓ１０４の内容から選択楽譜データＳ１１１を選択入力信号Ｓ１０５として演算部１０４に出力する。演算方法データ記録部１０３は、動作指示信号Ｓ１０４から合成音生成方法を実施するためのデータを演算処理方法信号Ｓ１０６として演算部１０４に出力する。演算部１０４は、選択入力信号Ｓ１０５を演算処理方法信号Ｓ１０６で示された手順で演算し、演算結果を出力データＳ１０７として出力データスイッチ部１０５に出力する。出力データスイッチ部１０５は、動作指示信号Ｓ１０４から出力データＳ１０７が合成音であることを判断し、音声出力部１０７に出力する。音声出力部１０７は、出力音声データＳ１０９を基に音を生成する。なお、前に音声伸長処理がある場合に、出力音声データＳ１０９は、音声伸長処理と楽譜伸長処理との出力を加算したものである。
【０１３０】
このように、本発明の実施の形態６によれば、処理量計測部１０８が計測した計測処理書に応じて楽譜データ伸長処理に割り当てる処理量を動的に変化させるから、同時発音数を動的に変化させることが可能となり、合成音の生成処理においては処理能力を最大限に利用できる。また、本発明の実施の形態６によれば、電池残量に基づいて同時発音数を抑えることにより、情報通信端末装置の電池残量をセーブ可能な合成音の生成処理ができる。
【０１３１】
（実施の形態７）
次に、本発明の実施の形態７について、図面を参照して詳細に説明する。図１７は、本発明の実施の形態７に係るデータ処理装置の構成を示すブロック図である。本発明の実施の形態７においては、本発明の実施の形態１と同じ構成要素には同じ参照符号が付されている。
【０１３２】
図１７に示すように、本発明の実施の形態７に係るデータ処理装置１７００は、スケジュール管理部１０１、入力データスイッチ部１０２、演算方法データ記録部１０３、演算部１０４、出力データスイッチ部１０５、処理量計測部１０８、楽譜データ選択部１０９及び初期化機能付同時発音数記録部１７０１を具備している。
【０１３３】
すなわち、本発明の実施の形態７に係るデータ処理装置１７００は、本発明の実施の形態１に係るデータ処理装置１００において初期化機能付同時発音数記録部１７０１を追加してなる。初期化機能付同時発音数記録部１７０１の入力端子は、処理量計測部１０８の出力端子に接続されている。初期化機能付同時発音数記録部１７０１の出力端子は、楽譜データ選択部１０９の入力端子に接続されている。
【０１３４】
スケジュール管理部１０１、入力データスイッチ部１０２、演算方法データ記録部１０３、演算部１０４、出力データスイッチ部１０５、処理量計測部１０８、画像表示部１０６、音声出力部１０７及び楽譜データ選択部１０９は、前記記載のものと同じである。初期化機能付同時発音数記録部１７０１は、輻輳条件信号１７０１を基に同時発音数の初期設定を行ない、かつ、フレーム毎の同時発音数を記録したものである。
【０１３５】
楽譜データＳ１０１、画像データＳ１０２、音声データＳ１０３、動作指示信号Ｓ１０４、選択入力データＳ１０５、演算処理方法信号Ｓ１０６、出力データＳ１０７、出力画像データＳ１０８、出力音声データＳ１０９、処理量データＳ１１０及び選択楽譜データＳ１１１は、前記記載と同じなので説明を省略する。輻輳条件信号Ｓ１７０１は、今からデータ処理装置１７００が行なう処理について、どの処理が輻輳するかを示すものである。
【０１３６】
次に、本発明の実施の形態７に係るデータ処理装置１７００の動作について、図１７を参照して説明する。仮に、データ処理装置１７００が画像伸長処理、音声伸長処理及び楽譜データ伸長処理の順番で処理を行なうものとする。
【０１３７】
画像伸長処理及び音声伸長処理を行なう手順については、本発明の実施の形態１と同じなので説明を省略する。
【０１３８】
次に、楽譜データ伸長処理を行なう手順について説明する。まず、初期化機能付同時発音数記録部１７０１は、輻輳条件信号Ｓ１７０１から処理量データＳ１１０がどのような値になるかを予測する。
【０１３９】
初期化機能付同時発音数記録部１７０１による処理量データＳ１１０の予測の方法について、図１８を用いて説明する。
【０１４０】
図１８は、初期化機能付同時発音記録部１７０１内に記録されているテーブルデータを説明するための図である。初期化機能付同時発音記録部１７０１は、輻輳条件信号Ｓ１７０１に対応する処理量データＳ１１０予測値を予測処理量データとして内部に記録する。
【０１４１】
次に、スケジュール管理部１０１は、現時刻に楽譜データ伸長処理を行なうことを決定し、動作指示信号Ｓ１０４を出力する。動作指示信号Ｓ１０４の内容は、楽譜データ伸長処理を行なうというものである。次に、処理量計測部１０８は、フレームの先頭から現時刻までの経過時間を処理量データＳ１１０として初期化機能付同時発音数記録部１７０１に出力する。
【０１４２】
初期化機能付同時発音数記録部１７０１は、第一回目の処理と、それ以降の処理で処理内容が変更される。初期化機能付同時発音数記録部１７０１は、第一回目の処理の場合に、予測処理量データと処理量データＳ１１０とを比較して、値が大きい方のデータ、すなわち、楽譜データ伸長処理時間が短くなるデータを選択し補正処理量データＳ１１０１として楽譜データ選択部１０９に送信する。また、初期化機能付同時発音数記録部１７０１は、この時の補正処理量データＳ１１０１を過去の同時発音数として内部に記録する。これ以降に、初期化機能付同時発音数記録部１７０１は、自身が記録している過去の同時発音数と、処理量データＳ１１０から算出される同時発音数とを比較し、小さい方の値を選択して補正処理量データＳ１１０１として楽譜データ選択部１０９に送信する。
【０１４３】
例えば、過去の同時発音数が８音であり、処理量データＳ１１０から算出される同時発音数が１０音である場合に、初期化機能付同時発音数記録部１７０１は、８音分の処理量に相当する時間が合成音生成に割り当てられることを楽譜データ選択部１０９に示す。また、初期化機能付同時発音数記録部１７０１は、過去の同時発音数より処理量データＳ１１０から算出される同時発音数の方が少ない場合は処理量データＳ１１０をそのまま補正処理量データＳ１１０１として出力し、それに相当する同時発音数を新たに過去の同時発音数として記録する。
【０１４４】
楽譜データ選択部１０９は、補正処理量データＳ１１０１から何音までの合成音の生成が可能かを検出する。この検出の方法は、例えば、１音を生成するのに必要な時間が固定である場合に、残り時間で何音を生成できるかを計算する。仮に、１音を生成するのに１ｍｓｅｃ必要であり、フレームの残り時間が８ｍｓｅｃである場合には８音の生成を実行する。次に、楽譜データ選択部１０９は、楽譜データ１０１の優先順位情報を基にして楽譜データＳ１０１から選択楽譜データＳ１１１を生成し、入力データスイッチ部１０２に出力する。
【０１４５】
選択楽譜データＳ１１１を生成する方法は、本発明の実施の形態１における方法と同じである。
【０１４６】
入力データスイッチ部１０２は、動作指示信号Ｓ１０４の内容から選択楽譜データＳ１１１を選択入力信号Ｓ１０５として演算部１０４に出力する。演算方法データ記録部１０３は、動作指示信号Ｓ１０４から合成音生成方法を実施するためのデータを演算処理方法信号Ｓ１０６として演算部１０４に出力する。演算部１０４は、選択入力信号Ｓ１０５を演算処理方法信号Ｓ１０６で示された手順で演算し、演算結果を出力データＳ１０７として出力データスイッチ部１０５に出力する。出力データスイッチ部１０５は、動作指示信号Ｓ１０４から出力データＳ１０７が合成音であることを判断し、音声出力部１０７に出力する。音声出力部１０７は、出力音声データＳ１０９を基に音を生成する。なお、前に音声伸長処理がある場合に、出力音声データＳ１０９は、音声伸長処理と楽譜伸長処理との出力を加算したものである。
【０１４７】
このように、本発明の実施の形態７によれば、処理量計測部１０８が計測した計測処理書に応じて楽譜データ伸長処理に割り当てる処理量を動的に変化させるから、同時発音数を動的に変化させることが可能となり、合成音の生成処理においては処理能力を最大限に利用できる。また、本実施の形態７によれば、輻輳条件から同時発音数を予め予測しその予測値を超えないように同時発音数に制限をかけることにより、処理量の変動による合成音の同時発音数の増加を防ぐことができ、音楽的に違和感のない合成音生成処理ができる。
【０１４８】
なお、本発明は、情報通信端末装置に適用することができる。
【０１４９】
【発明の効果】
以上説明したように、本発明によれば、データ処理装置の計測処理量に応じて合成音の生成音数を動的に変化させることにより、データ処理装置の性能の上限まで合成音の生成を可能とする。
【図面の簡単な説明】
【図１】本発明の実施の形態１に係るデータ処理装置の構成を示すブロック図
【図２】本発明の実施の形態１に係るデータ処理装置においてパート別優先順位が記録された楽譜データを説明するための図
【図３】本発明の実施の形態１に係るデータ処理装置において再合成された選択楽譜データを説明するための図
【図４】本発明の実施の形態１に係るデータ処理装置の動作を説明するための図
【図５】本発明の実施の形態１に係るデータ処理装置の他の動作を説明するための図
【図６】本発明の実施の形態２に係るデータ処理装置の構成を示すブロック図
【図７】本発明の実施の形態２、３に係るデータ処理装置においてグループ別の優先順位が記録されたグループ化楽譜データを説明するための図
【図８】本発明の実施の形態２に係るデータ処理装置において再合成された選択楽譜データを説明するための図
【図９】本発明の実施の形態３に係るデータ処理装置の構成を示すブロック図
【図１０】本発明の実施の形態３に係るデータ処理装置において再合成された選択楽譜データを説明するための図
【図１１】本発明の実施の形態４に係るデータ処理装置の構成を示すブロック図
【図１２】本発明の実施の形態５に係るデータ処理装置の構成を示すブロック図
【図１３】本発明の実施の形態５に係るデータ処理装置の動作を説明するための図
【図１４】本発明の実施の形態５に係るデータ処理装置の一部の動作を説明するための図
【図１５】本発明の実施の形態６に係るデータ処理装置の構成を示すブロック図
【図１６】本発明の実施の形態６に係るデータ処理装置における電池残量と補正係数の関係を説明するための図
【図１７】本発明の実施の形態７に係るデータ処理装置の構成を示すブロック図
【図１８】本発明の実施の形態７に係るデータ処理装置におけるテーブルデータを説明するための図
【図１９】従来のデータ処理装置の構成を示すブロック図
【図２０】従来のデータ処理装置の動作を説明するための図
【符号の説明】
１００、６００、９００、１１００、１２００、１５００、１７００　データ処理装置
１０１　スケジュール管理部
１０２　入力データスイッチ部
１０３　演算方法データ記録部
１０４　演算部
１０５　出力データスイッチ部
１０６　画像表示部
１０７　音声出力部
１０８　処理量計測部
１０９　楽譜データ選択部
６０１　楽譜データグループ別選択部
９０１　楽譜データパート別選択部
１１０１　同時発音数記録部
１２０１　パワー計測部
１２０２　パワー補正部
１５０１　電池残量監視部
１７０１　初期化機能付同時発音数記録部
【図１】
2004021114.tif 000003
【図２】
2004021114.tif 000004
【図３】
2004021114.tif 000005
【図４】
2004021114.tif 000006
【図５】
2004021114.tif 000007
【図６】
2004021114.tif 000008
【図７】
2004021114.tif 000009
【図８】
2004021114.tif 000010
【図９】
2004021114.tif 000011
【図１０】
2004021114.tif 000012
【図１１】
2004021114.tif 000013
【図１２】
2004021114.tif 000014
【図１３】
2004021114.tif 000015
【図１４】
2004021114.tif 000016
【図１５】
2004021114.tif 000017
【図１６】
2004021114.tif 000018
【図１７】
2004021114.tif 000019
【図１８】
2004021114.tif 000020
【図１９】
2004021114.tif 000021
【図２０】
2004021114.tif 000022