(57)【要約】【課題】グラフィックデータの表示スピードを向上させる。【解決手段】動画を構成する画像データを分割した各分割画像データの処理を異なる画像処理部に割り当てて並列に処理する画像処理装置であって、前記画像データに合成させるグラフィックデータのうち時間経過とともに移動するグラフィックデータを抽出する抽出手段と、前記抽出手段により抽出されたグラフィックデータが移動することにより前後のフレームで前記分割画像データの境界をまたぐ場合、前記グラフィックデータを少なくとも前後のフレームで前記境界と交差する位置で分割する分割手段と、前記グラフィックデータの移動情報に基づいて、前記分割手段により分割された複数の分割グラフィックデータの生成順番を前記画像処理部のグラフィック生成手段に対して決定する決定手段と、を有することによって課題を解決する。【選択図】図１
2015210375.tif 000002
【特許請求の範囲】
【請求項１】
動画を構成する画像データを分割した各分割画像データの処理を異なる画像処理部に割り当てて並列に処理する画像処理装置であって、
前記画像データに合成させるグラフィックデータのうち時間経過とともに移動するグラフィックデータを抽出する抽出手段と、
前記抽出手段により抽出されたグラフィックデータが移動することにより前後のフレームで前記分割画像データの境界をまたぐ場合、前記グラフィックデータを少なくとも前後のフレームで前記境界と交差する位置で分割する分割手段と、
前記グラフィックデータの移動情報に基づいて、前記分割手段により分割された複数の分割グラフィックデータの生成順番を前記画像処理部のグラフィック生成手段に対して決定する決定手段と、
を有する画像処理装置。
【請求項２】
前記決定手段は、一の分割画像データを処理する画像処理部のグラフィック生成手段が他の分割画像データの領域にある前記分割グラフィックデータを生成する場合、前記分割グラフィックデータのうち次フレームで前記一の分割画像データの領域に移動してくる分割グラフィックデータから優先して生成するように前記グラフィック生成手段に対する前記生成順番を決定する請求項１に記載の画像処理装置。
【請求項３】
前記一の分割画像データを処理する画像処理部のグラフィック生成手段に対して前記生成順番での生成命令を通知する際に、前記他の分割画像データの領域から前記一の分割画像データの領域に移動してくる分割グラフィックデータを生成した場合は保持させる保持命令を付加する保持命令付加手段を更に有する請求項２に記載の画像処理装置。
【請求項４】
前記一の分割画像データを処理する画像処理部のグラフィック生成手段により前記保持命令が付加された生成命令に係る分割グラフィックデータが生成された場合、前記生成された分割グラフィックデータを、前記一の分割画像データを処理する画像処理部の記憶領域と、前記他の分割画像データを処理する画像処理部の記憶領域とに格納して管理する管理手段を更に有する請求項３に記載の画像処理装置。
【請求項５】
前記抽出手段は、ユーザーの指示により生成されたグラフィックデータのイメージ情報に含まれる前記移動情報に基づいて前記移動するグラフィックデータを抽出する請求項１乃至４の何れか１項に記載の画像処理装置。
【請求項６】
前記分割手段は、前記移動情報に含まれる前記グラフィックデータの移動量情報と移動方向情報とに基づいて前記抽出されたグラフィックデータが前後のフレームで前記境界と交差する位置を特定し、前記グラフィックデータを少なくとも前記特定した位置で分割する請求項１乃至５の何れか１項に記載の画像処理装置。
【請求項７】
前記決定手段は、前記移動情報に含まれる前記グラフィックデータの移動量情報と移動方向情報とに基づいて次フレームにおける前記分割された複数の分割グラフィックデータの表示位置を特定することにより、前記グラフィック生成手段に対して前記生成順番を決定する請求項１乃至６の何れか１項に記載の画像処理装置。
【請求項８】
前記グラフィック生成手段は、前記生成順番での生成命令を受け付けた際に、前記グラフィック生成手段が属する画像処理部の記憶領域に前記生成命令に係る分割グラフィックデータが既に格納されている場合は、前記生成命令に係る分割グラフィックデータを生成しない請求項１乃至７の何れか１項に記載の画像処理装置。
【請求項９】
動画を構成する画像データを分割した各分割画像データの処理を異なる画像処理部に割り当てて並列に処理する画像処理装置が実行する制御方法であって、
前記画像データに合成させるグラフィックデータのうち時間経過とともに移動するグラフィックデータを抽出する抽出ステップと、
前記抽出ステップにより抽出されたグラフィックデータが移動することにより前後のフレームで前記分割画像データの境界をまたぐ場合、前記グラフィックデータを少なくとも前後のフレームで前記境界と交差する位置で分割する分割ステップと、
前記グラフィックデータの移動情報に基づいて、前記分割ステップにより分割された複数の分割グラフィックデータの生成順番を前記画像処理部のグラフィック生成手段に対して決定する決定ステップと、
を含む制御方法。
【請求項１０】
動画を構成する画像データを分割した各分割画像データの処理を異なる画像処理部に割り当てて並列に処理する画像処理装置を制御するコンピュータに、
前記画像データに合成させるグラフィックデータのうち時間経過とともに移動するグラフィックデータを抽出する抽出ステップと、
前記抽出ステップにより抽出されたグラフィックデータが移動することにより前後のフレームで前記分割画像データの境界をまたぐ場合、前記グラフィックデータを少なくとも前後のフレームで前記境界と交差する位置で分割する分割ステップと、
前記グラフィックデータの移動情報に基づいて、前記分割ステップにより分割された複数の分割グラフィックデータの生成順番を前記画像処理部のグラフィック生成手段に対して決定する決定ステップと、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データを分割した各分割画像データに合成させるグラフィックデータを複数のグラフィック生成手段により生成させる技術に関するものである。
【背景技術】
【０００２】
現在、デジタルテレビでは、ＦｕｌｌＨＤ（１９２０ｘ１０８０）が一般的な解像度となっている。しかし、４Ｋ２Ｋ（４０９６ｘ２１６０）やスーパーハイビジョン（７６８０ｘ４３２０）といった、より高解像度な画像データの規格化が進み、それらの高解像度画像データを表示することが可能なデバイスが提供され始めている。
【０００３】
高解像度画像データの受信処理、画像処理及び表示デバイスへの出力処理には、より広帯域な画像入出力インタフェースやメモリインタフェースが必要とされ、演算量も増大することから、１つの画像処理ＬＳＩチップでは処理しきれない場合がある。そこで、高解像度画像データの受信処理、画像処理及び出力処理を行うために、高解像度画像データを空間で分割し、分割した画像データ単位で画像処理を行う方法がよく用いられている。例えば、高解像度画像データを左右半分に分割し、分割された各画像データの画像処理を２つの画像処理ＬＳＩチップで並列に行うことがある。
【０００４】
また、画像処理ＬＳＩチップが処理するのは画像データだけではない。即ち、画像処理ＬＳＩチップは、表示されている画像データに関する情報、設定メニュー、Ｗｅｂ画面及び写真等のグラフィックデータを生成し、画像データに重畳して出力する機能も備えている。画像データの高解像度化に伴い、重畳させるグラフィックデータも高解像度になり、グラフィックデータ生成処理における演算量が増大する。そのため、高解像度画像データの画像処理と同様に、複数の画像処理ＬＳＩチップが備えるグラフィック生成部を用いてグラフィックデータを生成している。
【０００５】
画像処理ＬＳＩチップが画像データに重畳するグラフィックデータは、画像データと異なり表示領域が一定でない。例えば、グラフィックデータは、画像データの全面に表示される場合もあれば、画像データの右半分だけに表示される場合もある。更に、グラフィックデータの生成処理における負荷も、グラフィックデータ全体で一定でない。例えば、グラフィックデータ内に、写真等の複雑な画像がある領域と、文字だけの領域とが存在する場合、文字だけの領域に比べて画像のある領域のグラフィックデータの生成処理における負荷は大きくなる。従って、高速にグラフィックデータを生成するためには、グラフィックデータを生成する複数のグラフィック生成部間で処理負荷が均一になるように処理をさせる必要がある。そして、複数の画像処理ＬＳＩチップで構成される画像処理システムが備えるグラフィックデータ生成処理能力を最大限に使うことが必要になる。
【０００６】
特許文献１では、グラフィックデータを矩形に分割した画像ブロックの画像形成に係る処理負荷を推定し、処理負荷が均一になるように、複数の処理ユニットに処理を分散させることにより、分散処理の高速化を図る技術が開示されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１０−１６２７４５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１に開示されている技術では、グラフィックデータの処理負荷を推定する処理が必要となる。更に、この技術では、その推定結果だけでなく、グラフィックデータの表示領域も加味して、グラフィックデータ生成処理を割り当てる処理も必要となる。そのため、グラフィックデータ生成処理の割り当てを決定するための処理負荷が大きくなってしまい、グラフィックデータの表示スピードを低下させてしまうという問題がある。
【０００９】
また、この技術では、ある時点での空間情報、即ち、各画像処理チップに割り当てた空間における担当領域を示す情報とグラフィックの表示位置を示す情報とを用いて、矩形に分割したグラフィックデータの生成割り当てを決めることになる。そのため、この技術では、時間軸の情報、即ち、時間の経過前後のグラフィックデータを考えた場合、無駄なグラフィックデータの生成が行われることがある。より具体的には、複数の画像処理チップで構成される画像処理システム内において、同一のグラフィックデータの生成が必要以上に行われることがある。また、複数の画像処理チップで構成される画像処理システム内において、グラフィックデータの生成の代わりに、画像処理チップ間で必要以上にグラフィックデータのメモリ転送が発生してしまうことがある。そのため、複数の画像処理チップで構成される画像処理システムが備えるグラフィック生成処理能力を効率的に使えていないという問題がある。また、その結果、グラフィックデータの表示スピードを低下させてしまうことになる。
【００１０】
例えば、空間が領域分割されて一の画像処理チップに割り当てられた担当領域と、他の画像処理チップに割り当てられた担当領域との境界を平行移動するグラフィックデータを考える。時間の経過とともに平行移動するグラフィックデータが、次のフレームで変化するのは表示位置のみである。即ち、各画像処理チップは、一旦、生成したグラフィックデータを保持しておけば、例えば次のフレームで前記グラフィックデータを表示する必要がある場合であっても、再度前記グラフィックデータを生成する必要がない。しかし、自身の担当領域におけるグラフィックデータの生成を終えた画像処理チップが、他の画像処理チップの担当領域におけるグラフィックデータの生成を行う際、次のフレームで自身の担当領域に侵入してくるグラフィックデータ以外のグラフィックデータを生成したとする。その場合、自身の担当領域におけるグラフィックデータの生成を終えた画像処理チップは、次のフレームにおいて自身の担当領域に侵入してくるグラフィックデータを生成する必要がある。また、仮に前記画像処理チップが、次のフレームで自身の担当領域に侵入してくるグラフィックデータを生成したとしても、生成したグラフィックデータを他の画像処理チップのメモリに転送する際に自身のメモリから消去してしまうと、次のフレームで再度同一のグラフィックデータを生成する必要がある。
【００１１】
そこで、本発明は、グラフィックデータを効率的に生成してグラフィックデータの表示スピードを向上させることを目的とする。
【課題を解決するための手段】
【００１２】
そこで、本発明は、動画を構成する画像データを分割した各分割画像データの処理を異なる画像処理部に割り当てて並列に処理する画像処理装置であって、前記画像データに合成させるグラフィックデータのうち時間経過とともに移動するグラフィックデータを抽出する抽出手段と、前記抽出手段により抽出されたグラフィックデータが移動することにより前後のフレームで前記分割画像データの境界をまたぐ場合、前記グラフィックデータを少なくとも前後のフレームで前記境界と交差する位置で分割する分割手段と、前記グラフィックデータの移動情報に基づいて、前記分割手段により分割された複数の分割グラフィックデータの生成順番を前記画像処理部のグラフィック生成手段に対して決定する決定手段と、を有する。
【発明の効果】
【００１３】
本発明によれば、グラフィックデータを効率的に生成してグラフィックデータの表示スピードを向上させることができる。
【図面の簡単な説明】
【００１４】
【図１】画像処理システムの構成の一例を示す図である。
【図２】グラフィックデータの分割の一例を示す図（その１）である。
【図３】グラフィックデータの分割の一例を示す図（その２）である。
【図４】グラフィックデータの分割の一例を示す図（その３）である。
【図５】生成グラフィック管理部が管理する管理テーブルの一例を示す図である。
【発明を実施するための形態】
【００１５】
以下、本発明を実施するための形態について図面を用いて説明する。
＜実施形態１＞
図１は、本実施形態における画像処理システムの構成の一例を示す図である。本実施形態における画像処理システムは、高解像度映像を構成する高解像度画像データを２つの画像データ（分割画像データ）に分割し、分割された各画像データの画像処理を２つの画像処理チップで並列に行う。図１に示す画像処理システムは、画像を処理する画像処理装置の一例である。
【００１６】
図１において、画像処理チップＡ１０１は、画像処理及びグラフィック生成処理を実行し、画像データにグラフィックデータを重畳した後、表示デバイスに出力する機能を有する。図１に示すように、画像処理チップＡ１０１は、画像データを受信する受信部１０２、画像データに対して所定の処理を施す画像処理部１０３、グラフィックデータ生成処理を制御するプロセッサ１０７、グラフィックデータ生成処理を行うグラフィック生成部１０６、画像データにグラフィックデータを重畳する合成部１０４及び表示デバイスに対して画像データを出力する出力部１０５を備える。メモリ１０８は、画像処理チップＡ１０１に対応するメモリ（記憶領域）である。また、プロセッサ１０７は、移動グラフィック抽出部１０９、グラフィック分割部１１０、順番決定部１１１及び保持命令付加部１１２を備える。また、グラフィック生成部１０６は、生成グラフィック管理部１１３を備える。
【００１７】
本実施形態における画像処理システムは、高解像度画像データを処理するため、画像処理チップＡ１０１と、画像処理チップＡ１０１と同等の画像処理チップＢ１２１との２つのチップを備える。画像処理チップＡ１０１は、表示デバイスの左半分の表示領域を担当する。即ち、画像処理チップＡ１０１は、表示デバイスの左半分の表示領域に表示される画像データ（以下、左側画像データと称す）１３０に対して画像処理を施し、画像処理後の左側画像データ１３１とグラフィックデータとを合成した後、表示デバイスに対して出力する。より具体的には、受信部１０２は、左側画像データ１３０を受信すると、左側画像データ１３０を画像処理部１０３に出力する。画像処理部１０３は、左側画像データ１３０に対して、ＩＰ（インタレース・プログレッシブ）変換やエッジ強調等の画像処理を施し、画像処理後の左側画像データ１３１を合成部１０４に出力する。合成部１０４は、メモリ１０８からグラフィックデータを読み出し、画像処理後の左側画像データ１３１に重畳することにより、左側表示画像データ１３９を生成する。そして、合成部１０４は、左側表示画像データ１３９を出力部１０５に出力する。出力部１０５は、表示デバイスに左側表示画像データ１３９を出力することにより、左側表示画像データ１３９を表示させる。図１において、左側表示画像データ１３９における領域Ｃ、Ｄ、Ｅは、画像処理後の左側画像データ１３１に対して重畳するように合成されたグラフィックデータである。
【００１８】
同様に、画像処理チップＢ１２１は、表示デバイスの右半分の表示領域を担当する。即ち、画像処理チップＢ１２１は、表示デバイスの右半分の表示領域に表示される画像データ（以下、右側画像データと称す）１３２に画像処理を施す。そして、画像処理チップＢ１２１は、画像処理後の右側画像データ１３３とグラフィックデータとを合成した後、右側表示画像データ１４０として表示デバイスに対して出力する。図１において、右側表示画像データ１４０における領域Ｆは、画像処理後の右側画像データ１３３に対して重畳するように合成されたグラフィックデータである。
【００１９】
メモリ１２４は、画像処理チップＢ１２１に対応するメモリ（記憶領域）である。即ち、画像処理後の右側画像データ１３３に合成されるグラフィックデータは、メモリ１２４から読み出されたグラフィックデータである。なお、画像処理チップＢ１２１における受信部１０２、画像処理部１０３、合成部１０４及び出力部１０５は夫々、画像処理チップＡ１０１における受信部１０２、画像処理部１０３、合成部１０４及び出力部１０５と同様の構成である。グラフィック生成部１２２は、生成グラフィック管理部１２５を備える。
【００２０】
表示デバイスは、左側表示画像データ１３９と右側表示画像データ１４０とを合わせて、１つの高解像度画像データとして表示する。本実施形態では、説明の便宜上、メモリ１０８及び１２４は、グラフィックデータを格納するためのメモリであるとしているが、実際には、画像処理チップＡ１０１及び画像処理チップＢ１２１の画像処理部１０３が動画データを構成する各画像データを格納するためのフレームメモリとしても使用される。
【００２１】
リモコンやキーボード等を介して入力されるユーザー指示１５１が画像処理チップＡ１０１のプロセッサ１０７に入力される。グラフィックデータとしては、表示されている画像データに関する情報、設定メニュー、Ｗｅｂ画面、及び、写真等が挙げられ、表示サイズや表示位置は様々である。グラフィックデータは、高解像度画像データを分割した両方の画像領域の境界をまたいで表示される場合もあれば、片側の画像領域のみに表示される場合もある。また、グラフィックデータは、ユーザーによりリモコン等で見やすい位置に移動されて表示される場合や、平行移動されて表示される場合もある。
【００２２】
プロセッサ１０７は、ユーザー指示１５１から生成するグラフィックデータを確定し、グラフィック生成部１０６及び１２２が解釈可能なグラフィック生成命令に変換する。グラフィック生成命令としては、例えば、連続する同一記号の列を記号列の長さを示す数字で置き換えるランレングス命令等が一例として挙げられる。グラフィックデータの特性、例えば、図形であるのか、文字であるのか、又は、写真であるのかに応じて、部分毎に適切な命令フォーマットに切り替えながらグラフィック生成命令に変換するということも、効率的なグラフィックデータ生成のために一般的に行われている。また、グラフィックデータをいくつかの矩形に分割し、分割単位毎にグラフィック生成命令を生成する方法も公知である。以降の説明では、分割された各グラフィックデータのことを、分割グラフィックデータと称す。
【００２３】
グラフィック生成部１０６及び１２２は、グラフィック生成命令を受け付けると、ビットマップデータ等のグラフィックデータを生成する。グラフィック生成部１０６及び１２２は、グラフィック生成命令の仕様変更に柔軟に対応するために、プロセッサとファームウェアとで構成される場合もあれば、高速なグラフィックデータ生成を至上命題とし、フルハードで構成される場合もある。
【００２４】
画像処理チップＡ１０１のプロセッサ１０７は、画像処理システム全体のグラフィックデータ生成処理を制御する。即ち、画像処理チップＡ１０１のプロセッサ１０７は、画像処理チップＡ１０１のグラフィック生成部１０６、及び、画像処理チップＢ１２１のグラフィック生成部１２２を制御することにより、グラフィックデータを生成する。なお、画像処理チップＢ１２１のプロセッサ１２３は、本実施形態では使用されないため停止している。
【００２５】
グラフィック生成部１０６及び１２２は、夫々、生成したグラフィックデータを、一旦、自身が属している画像処理チップに対応するメモリに格納する。その後、グラフィック生成部１０６及び１２２は、夫々、生成したグラフィックデータを合成する画像データの領域が自身が属さない他の画像処理チップが担当する領域である場合、前記生成したグラフィックデータを前記他の画像処理チップに対応するメモリに転送する。例えば、画像処理チップＢ１２１のグラフィック生成部１２２は、領域Ｆ及び領域Ｅの分割グラフィックデータ１３６及び１３７を生成し、メモリ１２４に格納する。ここで、領域Ｅの分割グラフィックデータ１３７は、画像処理後の左側画像データ１３１に合成される分割グラフィックデータである。そのため、領域Ｅの分割グラフィックデータ１３７は、画像処理チップＢ１２１のメモリ１２４から画像処理チップＡ１０１のメモリ１０８に領域Ｅの分割グラフィックデータ１３８として転送されることになる。
【００２６】
画像処理チップＡ１０１のプロセッサ１０７と画像処理チップＢ１２１のグラフィック生成部１２２との通信には、ＰＣＩバスやシリアル通信等、複数チップで並列処理を行う場合の一般的な通信用ルートが用いられる。同様に、画像処理チップＡ１０１と画像処理チップＢ１２１とは、画像処理等で相手側にあるデータを参照するために、一般的にＰＣＩＥｘｐｒｅｓｓ等の高速なデータ転送用バスで接続されており、相手側のメモリにアクセスすることができる。即ち、画像処理チップＡ１０１は、画像処理チップＢ１２１に対応するメモリ１２４にアクセスすることができる。同様に、画像処理チップＢ１２１は、画像処理チップＡ１０１に対応するメモリ１０８にアクセスすることができる。領域Ｅの分割グラフィックデータ１３８のメモリ１２４からメモリ１０８への転送は、上記ルートを用いて行われる。
【００２７】
移動グラフィック抽出部１０９、グラフィック分割部１１０、順番決定部１１１及び保持命令付加部１１２は、プロセッサ１０７内部にハードウェアとして実装されてもよいし、プロセッサ１０７が不図示のＨＤ（ＨａｒｄＤｉｓｋ）から読み出したプログラムを実行することにより実現されるソフトウェアとして実装されてもよい。
【００２８】
移動グラフィック抽出部１０９は、プロセッサ１０７がユーザー指示１５１に基づいて表示すると決定したグラフィックデータの中から、時間経過とともに平行移動するグラフィックデータを抽出する。そして、移動グラフィック抽出部１０９は、平行移動するグラフィックデータの情報を、グラフィック分割部１１０と順番決定部１１１とに通知する。より具体的には、プロセッサ１０７は、表示するグラフィックデータを、一旦、ＳＶＧ（スケーラブル・ベクター・グラフィックス）等のベクターイメージ言語で表現する。ＳＶＧでは、平行移動するグラフィックデータが、グラフィック情報と移動情報とに分けて表現される。なお、移動情報には、後述する移動量情報と移動方向情報とが含まれる。従って、移動グラフィック抽出部１０９は、プロセッサ１０７が生成したベクターイメージ情報から、平行移動するグラフィックデータを抽出することができる。また、移動グラフィック抽出部１０９は、ベクターイメージ情報から、平行移動するグラフィックデータの単位時間当たりの移動量情報と移動方向情報とを抽出することができる。これにより、移動グラフィック抽出部１０９は、表示画像データ上を平行移動するグラフィックデータの動きを特定することができ、平行移動するグラフィックデータの時間に応じた位置を求めることができる。
【００２９】
グラフィック分割部１１０は、生成されたグラフィックデータを、グラフィック生成部１０６及び１２２が生成する単位となる複数の矩形の領域に分割する。グラフィック分割部１１０は、グラフィックデータを分割する際、グラフィックデータが分割された画像データの境界をまたぐ場合、少なくともその境界でグラフィックデータを分割するようにする。更に、グラフィック分割部１１０は、移動グラフィック抽出部１０９が抽出した平行移動するグラフィックデータが分割された画像データの境界をまたいで移動する場合、少なくとも時間的に前後のフレームで前記グラフィックデータが前記境界をまたぐ位置、即ち、交差する位置において分割するようにする。
【００３０】
図２を用いて、グラフィックデータの分割の一例について説明する。表示画像データ２０１は、図１の左側表示画像データ１３９に相当する。表示画像データ２０２は、図１の右側表示画像データ１４０に相当する。図２では、画像データに領域Ｃ、Ｄ、Ｅ、Ｆに分割された分割グラフィックデータが重畳されている。ここで、"Ｃ"、"Ｄ"、"Ｅ"、"Ｆ"といった文字情報は、分割グラフィックデータの各々に割り当てられる固有のＩＤである。異なる時間においても同一のグラフィックデータである場合は、割り当てられるＩＤは同一である。一方、異なるグラフィックデータである場合は、新たなＩＤが割り当てられる。なお、ここではＩＤを文字情報としたがこれに限る必要はなく、例えば、"１"、"２"、"３"といった数字であってもよい。
【００３１】
図２において、表示画像データ２０１及び２０２は、例えば現フレームである時間Ｔでの表示画像データである。そして、表示画像データ２０３及び２０４は、次フレームの時間Ｔ＋１での表示画像データである。図２から、グラフィックデータが前後のフレーム間で右方向へ平行移動していることがわかる。グラフィック分割部１１０は、時間Ｔでは、少なくとも表示画像データ２０１及び２０２の境界で、グラフィックデータの領域Ｅと領域Ｆとを分割する。また、グラフィック分割部１１０は、グラフィックデータの移動量情報と移動方向情報とから、時間Ｔから時間Ｔ＋１までの間に、グラフィックデータの領域Ｅが表示画像データ２０３及び２０４の境界をまたぐ領域であると特定する。そして、グラフィック分割部１１０は、少なくとも表示画像データ２０３及び２０４の境界で、グラフィックデータの領域Ｄと領域Ｅとを分割する。即ち、グラフィックデータが領域Ｃ、Ｄ、Ｅ、Ｆに分割される場合、領域Ｅと領域Ｆとは、表示画像データ２０１及び２０２の境界に基づいて分割され、領域Ｄと領域Ｅとは、表示画像データ２０３及び２０４の境界に基づいて分割される。従って、時間Ｔにおける表示画像データ２０１の領域分割の境界と、時間Ｔ＋１における表示画像データ２０４の領域分割の境界とに、領域Ｅの分割グラフィックデータの端がくるようになる。
【００３２】
順番決定部１１１は、グラフィック分割部１１０により分割された複数の領域の分割グラフィックデータを、どの順番で各画像処理チップのグラフィック生成部に生成させるかを決定する。順番決定部１１１は、以下のルールに従って、グラフィック生成部による分割グラフィックデータの生成順番を決定する。ここでは説明の便宜上、不図示の画像処理チップＣに属するグラフィック生成部Ｃが分割グラフィックデータを生成する場合を例に説明する。
【００３３】
ルール１：グラフィック生成部Ｃは、自身が属する画像処理チップＣの担当画像領域にある分割グラフィックデータを生成する。その際、順番決定部１１１は、グラフィック生成部Ｃが画像処理チップＣの担当画像領域の画像境界から領域分割境界への方向順に分割グラフィックデータを生成するように生成順番を決定する。なお、ここでいう画像境界とは、図２の表示画像データ２０１でいうと左端を意味し、表示画像データ２０２でいうと右端を意味する。また、領域分割境界とは、図２でいうと表示画像データ２０１及び２０２の境界を意味する。
ルール２：順番決定部１１１は、グラフィック生成部Ｃが画像処理チップＣとは異なる他の画像処理チップの担当画像領域にある分割グラフィックデータを生成する場合、今後、画像処理チップＣの担当画像領域に平行移動してくる分割グラフィックデータから優先して生成するように生成順番を決定する。
ルール３：順番決定部１１１は、グラフィック生成部Ｃが上記以外の画像処理チップの担当画像領域にある分割グラフィックデータを生成する場合、ルール１と同じ方向、即ち、グラフィック生成部Ｃの担当画像領域の画像境界から領域分割境界への方向順に分割グラフィックデータを生成するように生成順番を決定する。
更に、順番決定部１１１は、ルール２で順番を決定した分割グラフィックデータの情報を保持命令付加部１１２へ通知する。
【００３４】
上述したルールについて、図２及び図３を用いてより具体的に説明する。上述したように、図２における表示画像データ２０１及び２０２は、時間Ｔでの表示画像データを示しており、表示画像データ２０３及び２０４は、時間Ｔ＋１での表示画像データを示している。領域Ｃ、Ｄ、Ｅ、Ｆに分割されたグラフィックデータは、右方向へ平行移動するグラフィックデータである。表示画像データ２０１上の矢印２０１１、及び、表示画像データ２０２上の矢印２０２１は、各画像領域の画像境界から領域分割境界への方向を示している。順番決定部１１１は、表示画像データ２０１の画像領域を担当する画像処理チップに属するグラフィック生成部に対して、ルール１から領域Ｃ、Ｄ、Ｅ、そして、ルール３から領域Ｆという分割グラフィックデータの生成順番を決定する。即ち、順番決定部１１１は、前記グラフィック生成部対して、領域Ｃ、Ｄ、Ｅ、Ｆという順番で分割グラフィックデータを生成するように生成順番を決定する。
【００３５】
また、順番決定部１１１は、表示画像データ２０２の画像領域を担当する画像処理チップに属するグラフィック生成部に対して、ルール１から領域Ｆ、ルール２から領域Ｅ、そして、ルール３から領域Ｄ、Ｃという分割グラフィックデータの生成順番を決定する。即ち、順番決定部１１１は、前記グラフィック生成部対して、領域Ｆ、Ｅ、Ｄ、Ｃという順番で分割グラフィックデータを生成するように生成順番を決定する。更に、順番決定部１１１は、ルール２を適用して領域Ｅの生成順番を決定したため、その情報を保持命令付加部１１２へ通知する。
【００３６】
図３において、表示画像データ３０１及び３０２は、例えば現フレームである時間Ｔでの表示画像データを示しており、表示画像データ３０３及び３０４は、次フレームの時間Ｔ＋１での表示画像データを示している。領域Ｅ、Ｆ、Ｇ、Ｈに分割されたグラフィックデータは、右方向へ平行移動するグラフィックデータである。また、領域Ｃ、Ｄに分割されたグラフィックデータと、領域Ｉ、Ｊに分割されたグラフィックデータとは、時間Ｔと時間Ｔ＋１とにおいて同じ表示領域に重畳されているが、異なるグラフィックデータである。表示画像データ３０１上の矢印３０１１、及び、表示画像データ３０２上の矢印３０２１は、各画像領域の画像境界から領域分割境界への方向を示している。順番決定部１１１は、表示画像データ３０１の画像領域を担当する画像処理チップに属するグラフィック生成部に対して、ルール１から領域Ｅ、Ｆ、Ｃ、Ｇという分割グラフィックデータの生成順番を決定する。順番決定部１１１は、ルール３を適用する際、領域Ｄ、Ｈのどちらの分割グラフィックデータの生成順番を先にしてもよい。ここでは、順番決定部１１１は、前記グラフィック生成部に対して、領域Ｅ、Ｆ、Ｃ、Ｇ、Ｄ、Ｈという順番で分割グラフィックデータを生成するように生成順番を決定する。
【００３７】
また、順番決定部１１１は、表示画像データ３０２の画像領域を担当する画像処理チップに属するグラフィック生成部に対して、ルール１から領域Ｈ、Ｄ、ルール２から領域Ｇ、そして、ルール３から領域Ｃ、Ｆ、Ｅという分割グラフィックデータの生成順番を決定する。即ち、順番決定部１１１は、前記グラフィック生成部対して、領域Ｈ、Ｄ、Ｇ、Ｃ、Ｆ、Ｅという順番で分割グラフィックデータを生成するように生成順番を決定する。更に、順番決定部１１１は、ルール２を適用して領域Ｇの生成順番を決定したため、その情報を保持命令付加部１１２へ通知する。
【００３８】
プロセッサ１０７は、分割されたグラフィックデータの領域単位で、即ち、分割グラフィックデータ毎に、ＳＶＧ等のベクターイメージ言語をグラフィック生成命令に変換する。そして、プロセッサ１０７は、順番決定部１１１が決定した生成順番で各分割グラフィックデータを生成するようグラフィック生成部１０６及び１２２へ通知する。より具体的には、プロセッサ１０７は、グラフィック生成部１０６に対して、各分割グラフィックデータの生成命令を生成させる順番で生成命令１５２として通知する。同様に、プロセッサ１０７は、グラフィック生成部１２２に対して、各分割グラフィックデータの生成命令を生成させる順番で生成命令１５３として通知する。なお、上述した生成命令には、分割グラフィックデータに割り当てられたＩＤと、分割グラフィックデータが重畳されて表示される表示画像データ上の座標情報とが含まれている。更に、保持命令付加部１１２は、順番決定部１１１からの通知で得た分割グラフィックデータの生成順番情報に基づいて、上述のルール２で生成順番が決定された分割グラフィックデータの生成命令に、生成した分割グラフィックデータを保持させておく保持命令を付加する。例えば図２の場合、保持命令付加部１１２は、表示画像データ２０２の画像領域を担当する画像処理チップＢ１２１のグラフィック生成部１２２への領域Ｅの分割グラフィックデータの生成命令１５３に対して、領域Ｅの分割グラフィックデータを生成したら保持させる保持命令を付加する。これにより、一度生成された分割グラフィックデータが後に必要となった場合でも再度生成する必要がないため、グラフィックデータの生成効率を向上させることができ、結果として、グラフィックデータの表示スピードを向上させることができる。
【００３９】
グラフィック生成部１０６及び１２２は、分割グラフィックデータ毎に生成命令を受け付けると、図５を用いて後述する生成グラフィック管理部１１３及び１２５が管理する管理テーブルを参照し、その結果に基づいて、分割グラフィックデータを生成する。生成グラフィック管理部１１３及び１２５は、それぞれが属する画像処理チップのメモリに格納されるグラフィックデータ及び管理テーブルを更新する。
【００４０】
図５を用いて、上述した生成グラフィック管理部１１３及び１２５が管理する管理テーブルについて説明する。図５は、生成グラフィック管理部１１３及び１２５が管理する管理テーブルの一例を示す図である。図５に示す管理テーブルには、生成グラフィック管理部１１３及び１２５の各々が属する画像処理チップのメモリに存在する生成済みの分割グラフィックデータの情報が登録される。即ち、生成グラフィック管理部１１３は、画像処理チップＡ１０１のメモリ１０８に存在する生成済みの分割グラフィックデータの情報を自身の管理テーブルに管理する。また、生成グラフィック管理部１２５は、画像処理チップＢ１２１のメモリ１２４に存在する生成済みの分割グラフィックデータの情報を自身の管理テーブルに管理する。生成グラフィック管理部１１３及び１２５は、生成命令に含まれて送られてきた分割グラフィックデータに割り当てられたＩＤを用いて、生成された分割グラフィックデータの情報を管理テーブルで管理する。また、生成グラフィック管理部１１３及び１２５は、生成された分割グラフィックデータの付随情報として、生成された分割グラフィックデータが格納されているメモリアドレスやデータサイズ情報等も併せて管理テーブルに登録する。
【００４１】
グラフィック生成部１０６及び１２２は、自身が属する画像処理チップが担当する画像領域に重畳される分割グラフィックデータの生成命令をプロセッサ１０７から受け付けると、前記生成命令に含まれるＩＤに基づいて管理テーブルを参照する。そして、グラフィック生成部１０６及び１２２は、管理テーブルに一致するＩＤが登録されていた場合は、受け付けた生成命令における分割グラフィックデータを生成せず、生成完了通知１５４及び１５５をプロセッサ１０７に送る。一方、グラフィック生成部１０６及び１２２は、管理テーブルに一致するＩＤが登録されていなかった場合は、受け付けた生成命令における分割グラフィックデータを生成し、自身が属する画像処理チップのメモリに格納するとともに、生成完了通知１５４及び１５５をプロセッサ１０７に送る。この際、生成グラフィック管理部１１３及び１２５は、自身が管理している管理テーブルを更新する。より具体的には、生成グラフィック管理部１１３及び１２５は、生成された分割グラフィックデータの情報を管理テーブルに追加して更新する。
【００４２】
グラフィック生成部１０６及び１２２は、自身が属する画像処理チップが担当する画像領域以外の他の画像領域に重畳される分割グラフィックデータの生成命令をプロセッサ１０７から受け付けた場合、受け付けた生成命令における分割グラフィックデータを生成する。そして、グラフィック生成部１０６及び１２２は、生成した分割グラフィックデータを、一旦、自身が属する画像処理チップのメモリへ格納するとともに、前記他の画像領域を担当する画像処理チップのメモリへ転送する。そして、グラフィック生成部１０６及び１２２は、生成完了通知１５４及び１５５をプロセッサ１０７に送る。その後、生成グラフィック管理部１１３及び１２５は、メモリ容量には限りがあるため、自身が属する画像処理チップのメモリから、生成された分割グラフィックデータを消去する。しかし、生成グラフィック管理部１１３及び１２５は、生成された分割グラフィックデータの生成命令に保持命令付加部１１２による保持命令が付加されていた場合、前記生成された分割グラフィックデータは今後自身が属する画像処理チップが担当する画像領域で使われるためメモリから消去せず、前記生成された分割グラフィックデータの情報を管理テーブルに追加して更新する。また、生成グラフィック管理部１１３及び１２５は、自身が属する画像処理チップのメモリ内に存在する使われなくなった分割グラフィックデータの消去や管理テーブルに登録されている情報の消去等を行ったりもする。ここで、生成グラフィック管理部１１３及び１２５は、ユーザーの指示に基づいて使用されない分割グラフィックデータ等を特定してもよいし、メモリ内に所定時間以上格納され続けている分割グラフィックデータ等を使用されないものと特定するようにしてもよい。このようにして、生成グラフィック管理部１１３及び１２５は、画像処理チップのメモリをより有効に活用することができる。
【００４３】
上述した一連の処理について、図１、２を用いてより具体的に説明する。ここでは、図２における時間Ｔの場合、即ち、表示画像データ２０１及び２０２が表示される場合を例に説明する。グラフィック生成部１０６は、領域Ｃの分割グラフィックデータ１３４を生成してメモリ１０８へ格納すると、生成完了通知１５４をプロセッサ１０７に送る。次に、グラフィック生成部１０６は、領域Ｄの分割グラフィックデータ１３５を生成してメモリ１０８へ格納すると、生成完了通知１５４を１０７プロセッサに送る。その後、グラフィック生成部１０６は、次の領域Ｅの分割グラフィックデータの生成を開始する。
【００４４】
グラフィック生成部１２２は、領域Ｆの分割グラフィックデータ１３６を生成してメモリ１２４へ格納すると、生成完了通知１５５をプロセッサ１０７に送る。この段階で、まだ、全ての分割グラフィックデータの生成が完了していない場合、グラフィック生成部１２２は、自身が属する画像処理チップＢ１２１とは異なる他の画像処理チップの担当画像領域の分割グラフィックデータの生成を開始する。即ち、図２の場合、グラフィック生成部１２２は、画像処理チップＡ１０１の担当画像領域における領域Ｅの分割グラフィックデータ１３７の生成を開始する。領域Ｅの分割グラフィックデータ１３７は、画像処理チップＡ１０１の担当画像領域で重畳されるため、グラフィック生成部１２２は、領域Ｅの分割グラフィックデータ１３７を生成してメモリ１２４へ格納した後、メモリ１０８へ領域Ｅの分割グラフィックデータ１３８として転送する。その際、生成グラフィック管理部１２５は、メモリ１２４へ格納した領域Ｅの分割グラフィックデータ１３７を消去しない。グラフィック生成部１２２は、領域Ｅの分割グラフィックデータ１３８のメモリ１０８への転送を完了させると、生成完了通知１５５をプロセッサ１０７に送る。その後、グラフィック生成部１２２は、次の領域Ｄの分割グラフィックデータの生成を開始する。
【００４５】
プロセッサ１０７は、グラフィック生成部１０６及び１２２から、全ての分割グラフィックデータの生成完了通知を受け取ると、グラフィック生成部１０６及び１２２に対して、グラフィックデータ生成の中止を指示し、合成部１０４に対して、グラフィックデータの重畳開始を指示する。生成中止命令１５６は、プロセッサ１０７がグラフィック生成部１０６に対して、グラフィックデータ生成の中止を指示する命令である。生成中止命令１５７は、プロセッサ１０７がグラフィック生成部１２２に対して、グラフィックデータ生成の中止を指示する命令である。
【００４６】
次に、図２における時間Ｔ＋１の場合、即ち、表示画像データ２０３及び２０４が表示される場合を例に説明する。グラフィック生成部１０６は、メモリ１０８に領域Ｃの分割グラフィックデータが既に存在するため、再度、領域Ｃの分割グラフィックデータを生成せず、生成完了通知１５４をプロセッサ１０７に送る。同様に、グラフィック生成部１０６は、メモリ１０８に領域Ｄの分割グラフィックデータが既に存在するため、再度、領域Ｄの分割グラフィックデータを生成せず、生成完了通知１５４をプロセッサ１０７に送る。グラフィック生成部１２２は、メモリ１２４に領域Ｆの分割グラフィックデータが既に存在するため、再度、領域Ｆの分割グラフィックデータを生成せず、生成完了通知１５５をプロセッサ１０７に送る。同様に、グラフィック生成部１２２は、メモリ１２４に領域Ｅの分割グラフィックデータが既に存在するため、再度、領域Ｅの分割グラフィックデータを生成せず、生成完了通知１５５をプロセッサ１０７に送る。
【００４７】
プロセッサ１０７は、グラフィック生成部１０６及び１２２から、全ての分割グラフィックデータの生成完了通知を受け付けると、グラフィック生成部１０６及び１２２に対して、グラフィックデータ生成の中止を指示し、合成部１０４に対して、グラフィックデータの重畳開始を指示する。このように、時間Ｔにおいて、グラフィック生成部１２２が、自身が属さない画像処理チップＡ１０１の担当画像領域における領域Ｅの分割グラフィックデータを生成してメモリ１２４に保持している。そのため、時間Ｔ＋１において、グラフィック生成部１２２は、再度、領域Ｅの分割グラフィックデータ生成及びメモリ転送を行なう必要がない。これにより、同一の分割グラフィックデータの生成が必要以上に行われたり、必要以上に画像処理チップ間でメモリ転送が行われたりすることを抑止することができる。即ち、画像処理チップの処理負荷を軽減させることが可能になるとともに、グラフィックデータの表示スピードを向上させることが可能になる。
【００４８】
次に、図４を用いて、画像データを４つの画像領域に分割し、４つの画像領域を４つの別々の画像処理チップに割り当てて画像処理を行う画像処理システムの処理例について説明する。図４に示すように、１つの高解像度画像データを田の字型で４つに分割する場合を例に説明する。図４において、表示画像データ４０１、４０２、４０３、４０４は、例えば現フレームである時間Ｔでの表示画像データを示している。そして、表示画像データ４０５、４０６、４０７、４０８は、次フレームの時間Ｔ＋１での表示画像データを示している。また、図４には、領域Ｃ、Ｄ、Ｅ、Ｆ、Ｇ、Ｈ、Ｉ、Ｊ、Ｋ、Ｌ、Ｍ、Ｎに分割された分割グラフィックデータが示されている。また、時間Ｔから時間Ｔ＋１までの間に、図４に示すグラフィックデータが右に平行移動していることがわかる。
【００４９】
時間Ｔにおいて表示画像データ４０２の画像領域を担当する画像処理チップに属するグラフィック生成部による分割グラフィックデータの生成順番について説明する。ここで、矢印４０２１は、上述したルール１でいう画像境界から領域分割境界への方向を示している。他の画像領域における矢印４０１１、４０３１、４０４１も同様である。順番決定部１１１は、前記グラフィック生成部に対して、ルール１から領域Ｆ、Ｊという分割グラフィックデータの生成順番を決定する。次に、順番決定部１１１は、前記グラフィック生成部に対して、ルール２から領域Ｅ、Ｉという分割グラフィックデータの生成順番を決定する。更に、順番決定部１１１は、前記グラフィック生成部に対して、ルール３から領域Ｎ、Ｍ、Ｄ、Ｈ、Ｌ、Ｃ、Ｇ、Ｋという分割グラフィックデータの生成順番を決定する。即ち、順番決定部１１１は、前記グラフィック生成部に対して、領域Ｆ、Ｊ、Ｅ、Ｉ、Ｎ、Ｍ、Ｄ、Ｈ、Ｌ、Ｃ、Ｇ、Ｋという順番で分割グラフィックデータを生成するように生成順番を決定する。
【００５０】
前記グラフィック生成部は、順番決定部１１１により決定された生成順番に従い、自身が属する画像処理チップとは異なる画像処理チップが画像処理を担当する表示画像データ４０１の画像領域における領域Ｅ、Ｉの分割グラフィックデータを生成する。この場合、前記グラフィック生成部は、生成した領域Ｅ、Ｉの分割グラフィックデータを自身が属する画像処理チップのメモリに保持し続けるとともに、表示画像データ４０１の画像領域を担当する画像処理チップのメモリへ転送する。そのため、時間Ｔ＋１における表示画像データ４０６の画像領域、即ち、次フレームの同一画像領域で分割グラフィックデータを生成する際、前記グラフィック生成部が属する画像処理チップのメモリには、既に領域Ｅ、Ｆの分割グラフィックデータが存際する。従って、前記グラフィック生成部は、再度、領域Ｅ、Ｆの分割グラフィックデータを生成せずにすむ。
【００５１】
仮に、上述したルール２が設定されておらず、時間Ｔにおいて、前記グラフィック生成部が、領域Ｆ、Ｊ、Ｍ、Ｎ、Ｉ、Ｅ、・・・という順番で分割グラフィックデータを生成する場合を考える。そして、時間Ｔにおいて、前記グラフィック生成部が、領域Ｆ、Ｊ、Ｍまでの分割グラフィックデータを生成したとする。この場合、時間Ｔ＋１において、前記グラフィック生成部は、領域Ｅ、Ｉの分割グラフィックデータを生成する必要がある。そのため、その分の生成時間が必要になってしまう。また、前記グラフィック生成部が属する画像処理チップのメモリに、他の画像処理チップのメモリに格納されている領域Ｅ、Ｉの分割グラフィックデータを転送するとしても、その分の転送時間が必要になってしまう。このように、上述したルール２を適用することにより、不必要に分割グラフィックデータが再生成されたり、不必要に画像処理チップ間で分割グラフィックデータが転送されたりすることを抑止すること可能になる。なお、ここでは表示画像データ４０２の画像領域を例に説明したが、他の画像領域においても同様である。
【００５２】
以上、本実施形態によれば、複数の画像処理チップを備える画像処理システムにおいて、各画像処理チップの担当領域の領域分割境界、即ち、画像データが領域分割された境界を平行移動するグラフィックデータがある場合でも、無駄なグラフィックデータ生成や無駄なメモリ転送を抑止することができる。これは、ある時点での空間情報、即ち、各画像処理チップに割り当てた空間における担当領域を示す情報とグラフィックデータの表示位置を示す情報とだけでなく、時間軸の情報、即ち、時間的に前後のグラフィックデータも考慮して、分割グラフィックデータの生成順番を決定するようにしたためである。また、生成された分割グラフィックデータをメモリ上に保持する仕組みを設けたためである。従って、本実施形態によれば、グラフィックデータの生成効率を向上させることができ、グラフィックデータの表示スピード、即ち、更新レートを速くすることができるようになる。
【００５３】
＜その他の実施形態＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【００５４】
なお、グラフィックデータの分割単位に関して、グラフィックデータの大きさ、グラフィック生成部の処理能力、グラフィック生成部とプロセッサとの間の通信のオーバーヘッド、メモリ転送時の帯域・レイテンシ等の様々な要因によって、最適な分割単位は変化する。従って、本発明において、グラフィックデータの分割単位は、特に限定されるものではない。また、上述の実施形態では、平行移動するグラフィックデータの例として、右方向へ移動するグラフィックデータを用いて説明したが、本発明は、上下左右そして斜め方向への移動にも対応することができ、移動方向を限定するものではない。
【００５５】
以上、上述した各実施形態によれば、グラフィックデータを効率的に生成してグラフィックデータの表示スピードを向上させることができる。
【００５６】
以上、本発明の好ましい形態について詳述したが、本実施形態は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【符号の説明】
【００５７】
１０１：画像処理チップＡ、１０２：受信部、１０３：画像処理部、１０４：合成部、１０５：出力部、１０６、１２２：グラフィック生成部、１０７：プロセッサ、１０８、１２４：メモリ、１０９：移動グラフィック抽出部、１１０：グラフィック分割部、１１１：順番決定部、１１２：保持命令付加部、１１３、１２５：生成グラフィック管理部
【図１】
2015210375.tif 000003
【図２】
2015210375.tif 000004
【図３】
2015210375.tif 000005
【図４】
2015210375.tif 000006
【図５】
2015210375.tif 000007