(57)【特許請求の範囲】
【請求項１】
互いに結合されている複数の情報処理機構と、各情報処理機構から出力される処理結果を合成する合成機構と、制御機構とを有し、
前記複数の情報処理機構の各々は、
画像処理又は音処理を含む多種多様な情報処理のうち自らが行うべき処理の動作起点を定めるための同期クロックの数を計測する同期用カウンタと、この同期用カウンタによる計測値に基づいて前記処理を行う処理手段とを具えるものであり、
前記制御機構は、
すべての前記情報処理機構が具える前記同期用カウンタに対して同一のタイミングで前記同期クロックの計測の契機を与えるとともに前記同期用カウンタの計測値を初期値に戻すためのリセット信号を各同期用カウンタに個別的に供給するものであり、
前記合成機構は、
前記処理結果を出力するための情報出力機構の種類によって定まる出力単位で当該処理結果を合成するものである、
情報処理システム。
【請求項２】
前記複数の情報処理機構の各々が具える前記同期用カウンタは、第１カウンタと、この第１カウンタによる計測値の自然数倍の分の１の周期で計測値を出力する第２カウンタとを含むものであり、
前記処理手段は、前記第１カウンタと前記第２カウンタの計測値に基づいて所定の処理を行うものである、
請求項１記載の情報処理システム。
【請求項３】
前記複数の情報処理機構の各々が、自らの処理の動作起点を他の情報処理機構の動作起点と同一になるように構成されている、
請求項２記載の情報処理システム。
【請求項４】
前記複数の情報処理機構の各々が具える前記処理手段が、前記動作起点からの時間の経過を前記同期用カウンタによる計測値によって検出し、この検出結果に基づいて所定の処理を行うように構成されている、
請求項３記載の情報処理システム。
【請求項５】
前記制御機構は、各情報処理機構が具える前記同期用カウンタと同一機能を有する制御用カウンタを具えており、
この制御用カウンタによる計測値に基づいて前記リセット信号を出力するように構成されている、
請求項１記載の情報処理システム。
【請求項６】
前記合成機構は、複数の情報処理機構における処理状況に関わらず、該当する情報処理機構の処理結果を所定のタイミングで合成するように構成されている、
請求項１記載の情報処理システム。
【請求項７】
前記複数の情報処理機構の各々が具える処理手段が、他の情報処理機構が具える処理手段とは独立に、合成対象となる画像データと音データの少なくとも一方のデータを生成する処理を行うように構成されている、
請求項４記載の情報処理システム。
【請求項８】
前記合成機構から出力される合成結果を次段の前記制御機構の入力とすることで複数段のカスケード接続を可能にする、
請求項１記載の情報処理システム。
【請求項９】
互いに結合されている複数の情報処理機構と、各情報処理機構から出力される処理結果をそれを出力するための情報出力機構の種類によって定まる出力単位で合成する合成機構とが接続されたネットワークに接続可能に構成され、制御機構を具えた情報処理システムであって、
各情報処理機構が、画像処理又は音処理を含む多種多様な情報処理のうち自らが行うべき処理の動作起点を調整する調整機構と、同期クロックの数を計測する同期用カウンタと、前記調整機構により調整された動作起点及び前記同期用カウンタの計測値に基づいて前記処理を実行する処理手段とを具えるものであり、
前記制御機構は、すべての前記情報処理機構が具える前記同期用カウンタに対して同一のタイミングで前記同期クロックの計測の契機を与えるとともに前記計測値を初期値に戻すためのリセット信号を各同期用カウンタに個別的に供給するように構成されていることを特徴とする、
情報処理システム。
【請求項１０】
互いに結合され各々所定の同期クロックの計測数に応じて画像処理又は音処理を含む多種多様な情報処理のうち自らが行うべき処理を行う複数の情報処理機構の動作を制御する方法であって、
すべての前記情報処理機構に対して同一のタイミングで前記同期クロックの計測の契機を与える段階と、
いずれかの前記情報処理機構に対して当該情報処理機構における前記同期クロックの計測数を初期値に戻すためのリセット信号を個別的に供給する段階と、
各情報処理機構から出力される処理結果を、それを出力するための情報出力機構の種類によって定まる出力単位で合成する段階とを有することを特徴とする、
情報処理方法。
【請求項１１】
前記複数の情報処理機構のうちいくつかの情報処理機構が画像データの再生処理を実行し、他のいくつかの情報処理機構で音データの再生処理を実行するとともに、これらの情報処理機構の処理結果をそれぞれ所定のタイミングで合成することを特徴とする、
請求項１０記載の情報処理方法。
【請求項１２】
互いに結合され各々所定の同期クロックの計測数に応じて画像処理又は音処理を含む多種多様な情報処理のうち自らが行うべき処理を行う複数の情報処理機構と、各情報処理機構から出力される情報処理結果をそれを出力するための情報出力機構の種類によって定まる出力単位で合成する合成機構とが接続されたコンピュータに、
すべての前記情報処理機構に対して同一のタイミングで前記同期クロックの計測の契機を与える処理と、
いずれかの前記情報処理機構に対して当該情報処理機構における前記同期クロックの計測数を初期値に戻すためのリセット信号を個別的に供給する処理と、
各情報処理機構から出力される処理結果を前記合成機構に合成させる処理とを実行させるためのコンピュータプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、共同処理を行うことによって大画面を構成する画像を高画質で提供したり、オーケストラのような複数種類の音を高音質で提供することを可能にする統合型の情報処理技術に関する。
【０００２】
【発明の背景】
情報処理装置の高性能化に伴い、これを用いて高画質の画像の提供を行ったり、高音質の音楽の提供を行ったりする機会が増えてきている。しかしながら、パーソナルコンピュータなどの情報処理装置は、付属のディスプレイ装置に動画を表示させることを前提とした画像処理能力しか持ち合わせていないし、音楽を再生するに際しても、出力できるスピーカの数が限られている。そのため、通常の情報処理の形態で、高画質の画像の提供を行ったり、高音質の音楽の提供を行おうとすると、情報処理装置が具える処理能力を大きく超えてしまい、画像処理の場合には、フィルムによる映像よりも画質が劣化するおそれがある。また、１秒あたりのコマ数が低下し、これによっても画質が劣化するおそれがある。音楽の場合は、音の途切れが生じてしまうおそれがある。
複数の情報処理装置による分散処理を採用すれば、上記の処理能力の問題は解消できる可能性がある。しかしながら、複数の情報処理装置で連携して情報処理を行う場合は、専用の同期手段を設けて処理の同期を正確にとるようにしないと、分散処理したことの弊害のみが現れ、高画質の画像、高音質の音を生成するという観点からは、逆効果となる。
【０００３】
本発明は、簡易な構成によって、高画質の画像、高品位の音、その他の高度の情報処理を行うことができる情報処理システムを提供することを、その主たる課題とする。
本発明の他の課題は、高画質の画像、高品位の音、その他の高度の情報処理を簡易に行うための情報処理方法を提供することにある。
本発明の他の課題は、このような情報処理方法をコンピュータに実行させるためのコンピュータプログラムを提供することにある。
【０００４】
【課題を解決するための手段】
本発明が提供する情報処理システムは、互いに結合されている複数の情報処理機構と、各情報処理機構から出力される処理結果を合成する合成機構と、制御機構とを有する。
複数の情報処理機構の各々は、画像処理又は音処理を含む多種多様な情報処理のうち自らが行うべき所要の処理の動作起点を定めるための同期クロックの数を計測する同期用カウンタと、この同期用カウンタによる計測値に基づいて前記処理を行う処理手段とを具えるものであり、前記制御機構は、すべての前記情報処理機構が具える前記同期用カウンタに対して同一のタイミングで前記同期クロックの計測の契機を与えるとともに前記計測値を初期値に戻すためのリセット信号を各同期用カウンタに個別的に供給するものであり、前記合成機構は、前記処理結果を出力するための情報出力機構の種類によって定まる出力単位で当該処理結果を合成するものである。
「結合」は「疎結合」、すなわち、同期が正確かどうかを問わず、相互に通信できる形態で結合されていることで足りる。
【０００５】
複数の情報処理機構の各々が具える前記同期用カウンタは、第１カウンタと、この第１カウンタによる計測値の自然数倍の分の１の周期で計測値を出力する第２カウンタを含む。例えば、フレーム単位の同期を第１カウンタの計測値でとり、詳細動作の同期を第２カウンタの計測値でとる、というような使用形態が可能になる。この場合、処理手段は、第１カウンタと第２カウンタの少なくとも一方の計測値に基づいて所定の処理を行うように構成する。
【０００６】
前記複数の情報処理機構の各々は、例えば、自らの処理の動作起点を他の情報処理機構の動作起点と同一になるように構成されている。好ましくは、各々の情報処理機構が自律的に動作起点を調整するようにする。
また、複数の情報処理機構の各々が具える前記処理手段は、前記動作起点からの時間の経過を前記同期用カウンタによる計測値によって検出し、この検出結果に基づいて所定の処理を行うように構成する。ある実施の形態では、これらの処理手段は、他の情報処理機構が具える処理手段とは独立に、合成対象となる画像データと音データの少なくとも一方のデータを生成する処理を行うように構成される。
【０００７】
本発明の情報処理システムは、以下のような変形例も可能である。
制御機構が、例えば各情報処理機構が具える前記同期用カウンタと同一機能を有する制御用カウンタとを具えるものであり、この制御用カウンタによる計測値に基づいて前記リセット信号を出力するような構成。
合成機構が、複数の情報処理機構における処理状況に関わらず、該当する情報処理機構の処理結果を所定のタイミングで合成するような構成。
合成機構から出力される合成結果を次段の前記制御機構の入力とすることで複数段のカスケード接続を可能にする構成。
【０００８】
本発明の他の構成に係る情報処理システムは、互いに結合されている複数の情報処理機構と、各情報処理機構から出力される処理結果をそれを出力するための情報出力機構の種類によって定まる出力単位で合成する合成機構とが接続されたネットワークに接続可能に構成され、制御機構を具えた情報処理システムである。
この情報処理システムにおいて、各情報処理機構は、画像処理又は音処理を含む多種多様な情報処理のうち自らが行うべき所要の処理の動作起点を調整する調整機構と、同期クロックの数を計測する同期用カウンタと、前記調整機構により調整された動作起点及び前記同期用カウンタによる計測値に基づいて前記処理を実行する処理手段とを具えるものであり、前記制御機構は、すべての前記情報処理機構が具える前記同期用カウンタに対して同一のタイミングで前記同期クロックの計測の契機を与えるとともに前記計測値を初期値に戻すためのリセット信号を各同期用カウンタに個別的に供給するように構成されているものである。
【０００９】
本発明が提供する情報処理方法は、互いに結合され各々所定の同期クロックの計測数に応じて画像処理又は音処理を含む多種多様な情報処理のうち自らが行うべき処理を行う複数の情報処理機構の動作を制御する方法であって、すべての前記情報処理機構に対して同一のタイミングで前記同期クロックの計測の契機を与える段階と、いずれかの前記情報処理機構に対して当該情報処理機構における前記同期クロックの計測数を初期値に戻すためのリセット信号を個別的に供給する段階と、各情報処理機構から出力される処理結果を、それを出力するための情報出力機構の種類によって定まる出力単位で合成する段階とを有することを特徴とする。
このような情報処理方法において、前記複数の情報処理機構のうちいくつかの情報処理機構が画像データの再生処理を実行し、他のいくつかの情報処理機構で音データの再生処理を実行するとともに、これらの情報処理機構の処理結果をそれぞれ所定のタイミングで合成するようにすることも可能である。
【００１０】
本発明が提供するコンピュータプログラムは、互いに結合され各々所定の同期クロックの計測数に応じて画像処理又は音処理を含む多種多様な情報処理のうち自らが行うべき処理を行う複数の情報処理機構と、各情報処理機構から出力される情報処理結果をそれを出力するための情報出力機構の種類によって定まる出力単位で合成する合成機構とが接続されたコンピュータに、すべての前記情報処理機構に対して同一のタイミングで前記同期クロックの計測の契機を与える処理と、いずれかの前記情報処理機構に対して当該情報処理機構における前記同期クロックの計測数を初期値に戻すためのリセット信号を個別的に供給する処理と、各情報処理機構から出力される処理結果を前記合成機構に合成させる処理とを実行させるためのコンピュータプログラムである。
【００１１】
【発明の実施の形態】
以下、本発明の情報処理システムを統合型情報処理システムに適用した場合の実施形態を説明する。
（全体構成）
この実施形態による統合型情報処理システムは、図１に示すように、４つの情報処理ユニット２０ａ〜２０ｄを通信線を介して疎結合するとともに、これらの情報処理ユニット２０ａ〜２０ｄの入力側に、制御ユニット１０を接続し、さらに、各情報処理ユニット２０ａ〜２０ｄの出力側に合成ユニット３０を接続して構成される。
「疎結合」という表現は、データの受け渡し等はできるが、ユニット間の処理の同期までは完全にとられていないという意味で使用している。
【００１２】
制御ユニット１０は、外部から入力された処理対象のデータを、各情報処理ユニット２０ａ〜２０ｄに分配して供給する。また、各情報処理ユニット２０ａ〜２０ｄに対してその動作起点と処理のタイミングを決めるためのタイミング情報を供給する。タイミング情報としては、処理開始の合図となるトリガ、垂直同期クロックＶsync、処理単位用クロック（例えば画像処理の場合はドット単位のクロック）Ｐclk、リセット信号ＶＣＴresetがある。垂直同期クロックＶsyncのブランキングパルスでトリガを兼ねる場合もある。
【００１３】
各情報処理ユニット２０ａ〜２０ｄは、それぞれ制御ユニット１０から供給されたタイミング情報及びデータに基づいて、それぞれ独自の時間軸で時系列にデータ処理することにより、フレーム信号Ａ，Ｂ，Ｃ，Ｄを生成する。フレーム信号Ａは情報処理ユニット２０ａから出力され、フレーム信号Ｂは情報処理ユニット２０ｂから出力され、フレーム信号Ｃは情報処理ユニット２０ｃから出力され、フレーム信号Ｄは情報処理ユニット２０ｄから出力させる。
各フレーム信号Ａ，Ｂ，Ｃ，Ｄは、合成ユニット３０の出力側に接続される所定のディスプレイ装置に画像を表示させるための信号、あるいは合成ユニットの出力側に接続される所定のスピーカから音を出力させるための信号である。
各情報処理ユニット２０ａ〜２０ｄ間では、処理負担のバランスをとるため、疎結合された通信線を介して相互にデータの授受を行えるようになっている。また、動作起点を相互に調整するための信号を送信しあう機能をも具えている。
【００１４】
合成ユニットは、各情報処理ユニット２０ａ〜２０ｄから出力されるフレーム信号Ａ，Ｂ，Ｃ，Ｄを統合して合成信号４０を出力する。「統合」は、フレーム信号Ａ，Ｂ，Ｃ，Ｄを集約して、これらをディスプレイ装置又はスピーカの出力単位（通常はフレーム単位）で単純合成したり、分割領域毎に合成したり、時間をずらして合成したりすることをいう。
【００１５】
（制御ユニット）
次に、各ユニットの詳細を説明する。まず、図２の要部構成図を参照して、制御ユニット１０について説明する。
制御ユニット１０は、マスタ・タイミング・ジェネレータ（以下、「ＭＴＧ」）１１と、ＣＰＵ（central processing unit）１２と、制御用カウンタ１３とを具えている。また、図示を省略したが、データを分配するデマルチプレクサを具えており、外部から入力されたデータを、各情報処理ユニット２０ａ〜２０ｄに分配して供給できるようになっている。分配の形態は、本システムを使用するアプリケーションに応じて種々の形態がある。例えば最終的に合成すべきデータを４分割する形態、最終的に合成すべきデータを重ね合わせたり、複数の画面の表示を時間をずらすフリップアニメーションを行えるようにしたりする形態等がある。
【００１６】
ＭＴＧ１１は、本システムで使用するすべてのタイミング情報、すなわち、処理開始の合図となるトリガ、垂直同期クロックＶsync、処理単位クロックＰclk、リセット信号ＶＣＴresetを生成し、これらをＣＰＵ１２の制御のもとで、各情報処理ユニット２０ａ〜２０ｄ及び制御用カウンタ１３に同じタイミングで供給するものである。これらのタイミング情報は、共通のクロック源の分周により生成する。そのため、時間的なずれが生じないようになっている。
【００１７】
ＣＰＵ１２は、制御用プログラムＰ１を読み込んで実行することにより、処理対象となるデータの分配制御を行うとともに、制御用カウンタ１３のカウント値をもとにＭＴＧ１１からのタイミング情報の発出を制御する。具体的には、すべての情報処理ユニット２０ａ〜２０ｄに対して、同一の垂直同期クロックＶsync及び処理単位クロックＰclkを同時に供給させる。また、リセット信号ＶＣＴresetをどの情報処理ユニットにどのタイミングで送出するべきかを決定し、決定したタイミングでリセット信号ＶＣＴresetを該当する情報処理ユニットに個別的に供給させる。
同一の垂直同期クロックＶsyncをすべての情報処理ユニット２０ａ〜２０ｄに同時に供給することにより、少なくとも各情報処理ユニット２０ａ〜２０ｄの処理タイミングについては、正確に同期がとられる。各情報処理ユニット２０ａ〜２０ｄで何を何時処理させるかは、本システムに入力されるデータの内容、各情報処理ユニット２０ａ〜２０ｄにロードされるコンテンツプログラム、アプリケーションプログラムの内容に基づくリセット信号ＶＣＴresetの発出タイミングで決まる。
【００１８】
（情報処理ユニット）
情報処理ユニット２０ａ〜２０ｄは、すべて同じ構成のものである。以後、これらを特に区別する場合以外は、代表して情報処理ユニット２０ａについて説明する。
情報処理ユニット２０ａの構成は、図３に示すとおりであり、画像処理、音処理等の情報処理を行うことができるプロセッサユニット２１と、処理タイミングを計測するための同期用カウンタ２２と、処理タイミングをより詳細に計測するためのサブ同期用カウンタ２３と、サブ同期用カウンタ２３が計測するクロックを発生させるクロック発振器ＣＴとを具えている。
本実施形態では、同期用カウンタ２２は、制御ユニット１０から供給される垂直同期クロックＶsyncの数をカウントアップしていき、リセット信号ＶＣＴresetによって、カウント値がリセットされるようにすることで、現在の処理タイミングがどのフレーム（相対的に何番目のフレームか）についての処理のどのタイミングかを検出できるようにする。リセット後は、再度カウントアップを開始する。
サブ同期用カウンタ２３は、クロック発振器ＣＴから供給される、同期クロックＶsyncの周期の自然数倍分の１の周期のサブ垂直同期クロックＳＶsyncの数をカウントアップしていき、リセット信号ＶＣＴresetによって、カウント値がリセットされるようにする。音処理を考慮して、本実施形態では、サブ垂直同期クロックＳＶsyncは、音のサンプリング周波数である４８ｋＨzの自然倍数、例えば７６８ｋＨｚ程度にする。サブ同期用カウンタ２３も、リセット後は、再度カウントアップを開始する。
【００１９】
同期用カウンタ２２とサブ同期用カウンタ２３は、選択的に駆動され、逐次、プロセッサユニット２１の該当処理を実現する部分に供給される。どのカウンタをどのタイミングで駆動させるかは、処理すべきデータの内容に応じて制御ユニット１０から最初に通知される。音処理の場合には、音切れ防止のため、通常はサブ同期用カウンタ２３の使用が選択される。画像処理と音処理とを合わせて行う場合は、両カウンタを併用し、各々のカウント値をそれを識別する情報と共に、プロセッサユニット２１の該当する処理を実現する部分に伝達するようにする。
【００２０】
情報処理ユニット２０ａにおけるリセット信号ＶＣＴreset、垂直同期クロックＶsync、同期用カウンタ２２（制御用カウンタ１３）のカウント値、サブ垂直同期クロックＳＶsync、サブ同期用カウンタ２３のカウント値の関係を図４に示す。
同期用カウンタ２２のカウント値は、垂直同期クロックＶsyncがイネーブルになる度にインクリメントされ、リセット信号ＶＣＴresetが入力された時点（リセット信号ＶＣＴresetが垂直同期クロックＶsyncの同期でのみ発出される場合）又は入力された後の最初の垂直同期クロックＶsyncがイネーブルになった時点（最初の立ち下がり時）で、初期値（通常は「０」）にリセットされる。これを繰り返す。
【００２１】
プロセッサユニット２１では、通信線を介して事前に他の情報処理ユニットのプロセッサユニットとの間で、カウンタ値がゼロの場合を絶対時間でゼロとする旨を取り決めておき、さらに、このゼロの時点と、上記のカウント値とのオフセット（時間経過を表す）を事前に調整しておくことで、現在、自分が全体の何番目のフレーム信号についての情報処理を行うべきかを定める。疎結合のみでは、全システムで同一フレームについての情報処理を行うというような絶対時間に依存する協調動作ができないが、本実施形態のように、リセット信号ＶＣＴreset、垂直同期クロックＶsync、同期用カウンタ２２のカウント値、サブ垂直同期クロックＳＶsync、サブ同期用カウンタ２３のカウント値を用いた仕組みを採用することで、それが可能となる。
【００２２】
（合成ユニット）
各情報処理ユニット２０ａ〜２０ｄには、同一の垂直同期クロックＶsync、サブ垂直同期クロックＳＶsyncが同じタイミングで供給されているので、結局、制御プログラムＰ１からの指示（リセット信号ＶＣＴreset等による指示）に従い、フレーム信号が、本システムで唯一絶対化された時間軸で、該当する情報処理ユニットから出力される。そのため、合成ユニット３０では、これらのフレーム信号を単純に合成し、これをディスプレイ装置又はスピーカに出力するだけで、正確な統合処理の結果が得られる。
【００２３】
例えば、図５に示すように、各情報処理ユニット２０ａ〜２０ｄに同じタイミングでリセット信号ＶＣＴresetを供給し、情報処理ユニット２０ａからはフレーム信号Ａ、情報処理ユニット２０ｂからはフレーム信号Ｂ、情報処理ユニット２０ｃからはフレーム信号Ｃ、情報処理ユニット２０ｄからはフレーム信号Ｄを出力させ、これらのフレーム信号Ａ〜Ｄを合成ユニット３０で合成することにより、図５右側に示した複数パターンの統合処理の結果がシステムで共通の時間軸上で得られる。
図５右側の統合処理の結果は、その最上段が領域合成の例、その次の段は、各情報処理ユニット２０ａ〜２０ｄが、それぞれピクセル単位でずれている同一の画像を持っており（そのような画像を生成するためのデータが分配されることが前提となる）、これらの画像に対し、画面毎にαブレンディングを行うことにより、加算平均を行う、シーンアンチェリアス処理の例である。フレーム信号に奥行きを表すＺ情報や透明度を表すα値が含まれる場合は、より遠い位置にある画像から順にαブレンディングを行うことで、奥行きのある表現の画像合成も可能になる。図５右側の最下段は、フリップアニメーションを表現する場合の統合処理の例を示すものである。
【００２４】
また、各情報処理ユニット２０ａ〜２０ｄに同じタイミングでリセット信号ＶＣＴresetを供給する形態では、図６のように、フレーム信号Ａでは描画対象となる画像の輪郭を描画し、フレーム信号Ｂ及びフレーム信号Ｃでは、その画像の色・模様を描画し、フレーム信号Ｄではその画像の一部のオブジェクトを描画し、これらを合成した画像を出力することもできる。いくつかのフレーム信号にα値を適切に含めておくことで、複数のフレーム信号の合成による多種多様の色表現も実現可能になる。
【００２５】
さらに、各情報処理ユニット２０ａ〜２０ｄにそれぞれ専用のコンテンツ及びそれを用いた詳細画像処理の手順を割り当てておき、各情報処理ユニット２０ａ〜２０ｄに異なるタイミングでリセット信号ＶＣＴresetを供給することで、図７に示すように、時点々で異なるオブジェクトをそれぞれ該当する位置に出現させる画像を表現することもできる。
【００２６】
さらに、個々の情報処理ユニット２０ａ〜２０ｄにそれぞれ異なる楽器による楽曲データの生成処理の実行を割り当て、各情報処理ユニット２０ａ〜２０ｄに同じタイミングでリセット信号ＶＣＴresetを供給することで、複数種類の楽器を統合した多重奏を表現することができるし、一部の情報処理ユニットについては画像処理の実行を割り当て、他の情報処理ユニットに音処理の実行を割り当てて、音処理の開始タイミングが画像処理の開始タイミングよりも数フレーム分遅れるようにリセット信号ＶＣＴresetを供給することで、画像の描画が済んだ状態で、音楽が流れるというような表現も可能になる。
【００２７】
本実施形態のように、同一の垂直同期クロックＶsync及びサブ垂直同期クロックＳＶsyncで処理タイミングですべての情報処理ユニット２０ａ〜２０ｄの処理タイミングを規定する手法では、このような分散形態を採用した場合であっても、協働処理を行う際の時間軸が唯一絶対化されるので、このような多種多様な統合処理が可能になるのである。
【００２８】
そして、このような実施形態では、画像と音の同期が容易になるので、例えば画像の変化にあわせてオーケストラのような複合音をタイミングを合わせて再生するデジタル映画を容易に実現することができる。
また、その際に、合成ユニット３０における統合処理が単純化されるので、統合型情報処理システム１全体の構成が簡略化され、低コスト化も実現可能になる。
【００２９】
（プロセッサユニット）
次に、上記のような統合情報処理を実現するための各情報処理ユニット２０ａ〜２０ｄのプロセッサユニット２１の構成を具体的に説明する。
プロセッサユニット２１は、画像処理と音処理とを行えるもので、例えば図８のように、メインバスＢ１とサブバスＢ２の２本のバスを有し、これらのバスＢ１，Ｂ２がバスインタフェース２２１を介して互いに接続され又は切り離されるようになっている。メインバスＢ１には、ＣＰＵコアと密結合された第１ＶＰＵ（vector processing unit：０）２１２、単独で存在する第２ＶＰＵ（ＶＰＵ１）２１３、第１ＶＰＵ２１２及び第２ＶＰＵ２１３の調停器として機能するＧＩＦ（graphical symsthzer interface）２１４などで構成されるメインＣＰＵ２１１と、メインメモリ２１５と、ＭＰＥＧ（Moving Picture Experts Group）デコーダ（ＭＤＥＣ）２１６と、メインＤＭＡＣ（direct memory access controller）２１７とが接続され、さらに、ＧＩＦ２１４を介してＧＳ（graphical symsthzer）２１８が接続される。ＧＳ２１８は、フレームメモリ２１９と協働で画像描画処理を行うものである。ＣＲＴＣ（CRT controller）２２０は、描画処理の結果をビデオ出力信号OUT-1として図示しないディスプレイ装置に出力するものである。
【００３０】
メインＣＰＵ１０は、起動時にサブバスＢ２上のＲＯＭ２２４から、バスインタフェース２２１を介して起動プログラムを読み込み、その起動プログラムを実行してオペレーティングシステムを動作させる。また、入力インタフェース２３０を介して制御ユニット１０から入力されるプログラム、コンテンツ、データを読み出し、これをメインメモリ２１５に記憶させる。さらに、同期用カウンタ２２、及び／又は、サブ同期用カウンタ２３のカウント値、処理単位クロックPclkを入力インタフェース２３０を介して逐次受け取り、このプロセッサユニット全体の処理のタイミングを定める。これにより、プログラム等の内容で定まる所要の処理を実行できるようになる。
【００３１】
メインＣＰＵ２１１と第１ＶＰＵ２１２は、例えば、細かな操作を必要とする処理対象、例えばポリゴンについての頂点座標の演算を行うものであり、第２ＶＰＵ２１３は簡単な形状のポリゴンの頂点座標の演算、透視変換、平行光源計算を行うものである。これらの２種類のＶＰＵ２１２，２１３により、ポリゴン定義情報を記述したディスプレイリストが生成され、このディスプレイリストが、ＧＩＦ２１４を介してＧＳ２１８に転送される。ポリゴン定義情報は、描画領域を設定するための情報と、描画されるポリゴンの情報とからなる。ＧＩＦ２１４は、このディスプレイリストをＧＳ２１８に転送する際に衝突しないように調停（Arbiter）する。例えばディスプレイリストを優先度の高いものから順に調べ、上位のものからＧＳ２１８に転送する。ＧＳ２１８は、ＧＩＦ２１４から通知されるディスプレイリストに基づいてフレームメモリ２１９にポリゴンを描画する。そして、この描画内容をＣＲＴＣ２２０を介してディスプレイ装置に出力する。
【００３２】
メインＤＭＡＣ２１７は、メインバスＢ１に接続されている各回路を対象としてＤＭＡ転送制御を行うとともに、バスインタフェース２２１の状態に応じて、サブバスＢ２に接続されている各回路を対象としてＤＭＡ転送制御を行う。ＭＤＥＣ２１６は、メインＣＰＵ２１１と並列に動作し、ＭＰＥＧ（Moving Picture Experts Group）方式あるいはＪＰＥＧ（Joint Photographic Experts Group）方式等で圧縮されたデータを伸張する。
【００３３】
サブバスＢ２には、サブＣＰＵ２２２、サブメモリ２２３、サブＤＭＡＣ２２５、オペレーティングシステムなどのプログラムが記憶されているＲＯＭ２２４、サウンドメモリ２２８に蓄積された音データを読み出してオーディオ出力としてスピーカに出力する音声処理装置（ＳＰＵ（sound processing unit））２２７、他のデータの受け渡しや動作開始の起点調整を行うための通信制御部（ＡＴＭ）２２６、及び入力インタフェース２３０が接続されている。
【００３４】
サブＣＰＵ２２２は、ＲＯＭ２２４に記憶されているプログラムに従って各種動作を行う。サブＤＭＡＣ２２５は、バスインタフェース２２１がメインバスＢ１とサブバスＢ２を切り離している状態においてのみ、サブバスＢ２に接続されている各回路を対象としてＤＭＡ転送などの制御を行う。
【００３５】
（運用形態）
本実施形態の統合型情報処理システム１の運用形態を説明する。
まず、統合処理の対象となるデータ（音、画像等）が入力されると、制御ユニット１０が、情報処理ユニット２０ａ〜２０ｄ及び合成ユニット３０へトリガを供給する。これを受けた情報処理ユニット２０ａ〜２０は、同期用カウンタ２２及びサブ同期用カウンタ２３をリセットさせ、統合処理の前段階として、システム全体での時間合わせを行う。また、各情報処理ユニット２０ａ〜２０ｄのプロセッサユニット２１間で、それぞれ自らが行うべき処理の動作起点（前述のオフセットとそれに対応する処理内容の割当）を調整する。
【００３６】
その後、制御ユニット１０を通じて各情報処理ユニット２０ａ〜２０ｄにデータを分配入力する。
データは、それぞれに割り当てられた形態でデータ処理され、フレーム信号として出力され、合成ユニット３０で合成される。合成ユニット３０における統合処理は、垂直同期クロックＶsync、サブ垂直同期クロックＳＶsyncのカウント値で定まる時間軸で行われる。
なお、一の情報処理ユニットからのフレーム信号が欠けていた場合、合成ユニット３０は、欠けているフレーム信号を無視して統合処理を行う。統合された情報は、ディスプレイ装置、スピーカを通じて出力される。
【００３７】
なお、統合型情報処理システム１は、それ自体で、上記のようにして運用することが可能であるが、これを複数段のカスケード接続にして、多段統合型情報処理システムとして運用することも可能である。この場合は、前段の合成ユニットの出力が次段の制御ユニットへの入力データとなる。また、垂直同期クロックＶsync、サブ垂直同期クロックＳＶsync、リセット信号ＶＣＴresetは、最入力に位置する制御ユニットが統括的に管理することになり、最終的な統合処理の結果は、最終段の合成ユニットが担当することになる。
【００３８】
このように、本実施形態の統合型情報処理システム１では、複数の情報処理ユニットの処理タイミングを垂直同期クロックＶsync及びサブ垂直同期クロックＳＶsyncによって唯一絶対化された時間軸に適合させるとともに、各情報処理ユニットの動作をリセット信号ＶＣＴresetで個別的で制御するようにしたので、画像処理であれば大画面の画像、高画質の画像が容易に得られ、音処理であれば、高音質の音が容易に得られる利点がある。
また、個々の情報処理ユニットは、独立した情報処理手段なので、各々に異なる処理形態を割り当てて実行させることで、多種多様な表現形態を実現することができる。
【００３９】
以上の説明では、制御ユニット１０、情報処理ユニット２０ａ〜２０ｄ、及び合成ユニット３０を用いた統合型情報処理システム１を例に挙げたが、本発明の情報処理システムは、互いに疎結合されている複数の情報処理機構、各情報処理機構から出力される情報処理結果をそれを出力するための情報出力機構の種類によって定まる出力単位で合成する合成機構を備えることにより実現が可能なので、必ずしも上記の実施形態の例に限定されるものではない。
例えば、広域ネットワークに設けられている複数のノード（情報処理機構ないし装置）のいずれかを上記の制御ユニット１０に代わる制御機構、他のいずれかを、上記の情報処理ユニット２０ａ〜２０ｄに代わる情報処理機構及び上記の合成ユニット３０に代わる合成機構を用いた構成も本発明によれば、実現可能である。
また、上記の広域ネットワークに、コンピュータを接続し、このコンピュータに、所定のコンピュータプログラムを読み込ませて実行させることにより、そのコンピュータを、情報処理機構、例えば上記の情報処理ユニット２０ａ〜２０ｄを制御するための制御機構として動作させるようにすることも可能である。
【００４０】
【発明の効果】
以上のように、本発明によれば、複数の情報処理ユニットによる分散処理を正確なタイミングで制御することができるようになる。そのため、これらの分散処理の結果を統合することで、高画質画像又は高音質の音を容易に得ることができるようになる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る統合型情報処理システムの全体構成図。
【図２】制御ユニットの要部構成図。
【図３】情報処理ユニットの構成図。
【図４】本実施形態によるリセット信号、各種同期クロック、同期用カウンタの関係を示したタイミングチャート。
【図５】画像合成の例を示した説明図。
【図６】他の画像合成の例を示した説明図。
【図７】他の画像合成の例を示した説明図。
【図８】本実施形態によるプロセッサユニットの詳細構成図。
【符号の説明】
１  統合型情報処理ユニット
１０  制御ユニット
１１  ＭＴＧ（マスタ・タイミング・ユニット）
１２  制御ユニットのＣＰＵ
１３  制御用カウンタ
２０ａ〜２０ｄ  情報処理ユニット
２１  プロセッサユニット
２２  同期用カウンタ
２３  サブ同期用カウンタ
２４  クロック発振器
３０  合成ユニット
４０  合成画像
【図１】
0003853637.tif 000002
【図２】
0003853637.tif 000003
【図３】
0003853637.tif 000004
【図４】
0003853637.tif 000005
【図５】
0003853637.tif 000006
【図６】
0003853637.tif 000007
【図７】
0003853637.tif 000008
【図８】
0003853637.tif 000009