(57)【特許請求の範囲】
【請求項１】
画素値を記憶する画素値記憶部と、
複数のフレーム画像に共通で用いられる、当該フレーム画像に含まれる各画素の画素値を前記画素値記憶部から取得するか否かを示す取得管理データを記憶する取得管理データ記憶部と、
前記複数のフレーム画像について、前記取得管理データに基づいて、当該フレーム画像に含まれる前記各画素について前記画素値記憶部から画素値を取得するか否かを決定する取得決定部と、
前記画素値記憶部から画素値を取得することが決定される画素の画素値を前記画素値記憶部から取得する画素値取得部と、
前記各画素の画素値を決定する画素値決定部と、を含み、
前記画素値記憶部は、前記画素値記憶部から画素値を取得することが決定される画素の画素値を記憶し、
前記画素値決定部は、前記画素値記憶部から画素値を取得することが決定される画素については、前記画素値記憶部から取得される画素値を当該画素の画素値として決定し、
前記画素値決定部は、前記画素値記憶部から画素値を取得しないことが決定される画素については、所定値を当該画素の画素値として決定する、
ことを特徴とする画像生成装置。
【請求項２】
前記取得管理データは、それぞれ複数の前記画素に対応付けられる個別取得管理データを複数含み、
前記取得決定部は、前記個別取得管理データに基づいて、当該個別取得管理データに対応付けられる複数の画素の画素値を前記画素値記憶部から取得するか否かを決定し、
前記画素値決定部は、前記画素値記憶部から画素値を取得しないことが決定される、前記個別取得管理データに対応付けられる複数の画素についてはすべて、所定値を当該複数の画素の画素値として決定する、
ことを特徴とする請求項１に記載の画像生成装置。
【請求項３】
前記個別取得管理データは、前記フレーム画像内の矩形領域を占める複数の画素に対応付けられる、
ことを特徴とする請求項２に記載の画像生成装置。
【請求項４】
前記画素値記憶部は、画素値及びアルファ値を記憶し、
前記画素値決定部は、前記画素値記憶部から画素値を取得することが決定される画素については、前記画素値記憶部から取得される画素値及びアルファ値を当該画素の画素値及びアルファ値として決定し、
前記画素値決定部は、前記画素値記憶部から画素値を取得しないことが決定される画素については、所定値を当該画素の画素値及びアルファ値として決定し、
前記画素値決定部により画素値及びアルファ値が決定されるフレーム画像と他の画像とを重畳することにより重畳画像を生成する画像生成部、をさらに含む、
ことを特徴とする請求項１から３のいずれか一項に記載の画像生成装置。
【請求項５】
前記取得管理データは、前記フレーム画像内の所与の領域を占める画素については前記画素値記憶部から画素値を取得しないことを示す、
ことを特徴とする請求項１から４のいずれか一項に記載の画像生成装置。
【請求項６】
画素値を画素値記憶部に記憶させる画素値記憶ステップと、
複数のフレーム画像に共通で用いられる、当該フレーム画像に含まれる各画素の画素値を前記画素値記憶部から取得するか否かを示す取得管理データを取得管理データ記憶部に記憶させる取得管理データ記憶ステップと、
前記複数のフレーム画像について、前記取得管理データに基づいて、当該フレーム画像に含まれる前記各画素について前記画素値記憶部から画素値を取得するか否かを決定する取得決定ステップと、
前記画素値記憶部から画素値を取得することが決定される画素の画素値を前記画素値記憶部から取得する画素値取得ステップと、
前記各画素の画素値を決定する画素値決定ステップと、を含み、
前記画素値記憶ステップでは、前記画素値記憶部から画素値を取得することが決定される画素の画素値を前記画素値記憶部に記憶させ、
前記画素値決定ステップでは、前記画素値記憶部から画素値を取得することが決定される画素については、前記画素値記憶部から取得される画素値を当該画素の画素値として決定し、
前記画素値決定ステップでは、前記画素値記憶部から画素値を取得しないことが決定される画素については、所定値を当該画素の画素値として決定する、
ことを特徴とする画像生成方法。
【請求項７】
画素値を画素値記憶部に記憶させる画素値記憶手順、
複数のフレーム画像に共通で用いられる、当該フレーム画像に含まれる各画素の画素値を前記画素値記憶部から取得するか否かを示す取得管理データを取得管理データ記憶部に記憶させる取得管理データ記憶手順、
前記複数のフレーム画像について、前記取得管理データに基づいて、当該フレーム画像に含まれる前記各画素について前記画素値記憶部から画素値を取得するか否かを決定する取得決定手順、
前記画素値記憶部から画素値を取得することが決定される画素の画素値を前記画素値記憶部から取得する画素値取得手順、
前記各画素の画素値を決定する画素値決定手順、をコンピュータに実行させ、
前記画素値記憶手順では、前記画素値記憶部から画素値を取得することが決定される画素の画素値を前記画素値記憶部に記憶させ、
前記画素値決定手順では、前記画素値記憶部から画素値を取得することが決定される画素については、前記画素値記憶部から取得される画素値を当該画素の画素値として決定し、
前記画素値決定手順では、前記画素値記憶部から画素値を取得しないことが決定される画素については、所定値を当該画素の画素値として決定する、
ことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像生成装置、画像生成方法及びプログラムに関する。
【背景技術】
【０００２】
ゲームのプレイ状況を表す背景画像と、文字、図形、又は、記号などの二次元オブジェクトによってゲームにおけるユーザインタフェースが表された前景画像とを、重畳させた重畳画像を、所定のフレームレートで生成してフレームバッファに描画することがある。【０００３】
また、光学系を含むヘッドマウントディスプレイによる立体視ができるよう、歪み補正された左眼用画像及び右眼用画像をそれぞれユーザの左眼の円形視野範囲と右眼の円形視野範囲に含む矩形の三次元画像を生成してフレームバッファに描画することがある。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
例えば上述の前景画像において、二次元オブジェクトが配置されるべき領域がデザイナー等により予め定められており、当該領域外の画素には無色透明を表す画素値が設定されることが予め定められていることがある。【０００５】
また例えば、上述した矩形の三次元画像では、円形視野範囲外の画素には黒色を表す画素値が設定されることが予め定められている。【０００６】
ここで例えば、無色透明を表す画素値や黒色を表す画素値などといった所定値が画素値として設定されることが予め定められている画素についてまで他の画素と同サイズの記憶容量をフレームバッファに確保する必要はない。例えば１つの画素の色及び透過度を記憶するために３２ビットの記憶容量が必要である画像において、画素値として所定値が設定されることが予め定められている画素についてまで３２ビットの記憶容量をフレームバッファに確保する必要はない。【０００７】
本発明は上記実情に鑑みてなされたものであって、その目的の一つは、画素値として所定値が設定されることが予め定められている画素の画素値を記憶するためのフレームバッファの記憶容量を節約できる画像生成装置、画像生成方法及びプログラムを提供することにある。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明に係る画像生成装置は、画素値を記憶する画素値記憶部と、画像に含まれる各画素の画素値を前記画素値記憶部から取得するか否かを示す取得管理データを記憶する取得管理データ記憶部と、前記取得管理データに基づいて、前記各画素について前記画素値記憶部から画素値を取得するか否かを決定する取得決定部と、前記画素値記憶部から画素値を取得することが決定される画素の画素値を前記画素値記憶部から取得する画素値取得部と、前記各画素の画素値を決定する画素値決定部と、を含み、前記画素値記憶部は、前記画素値記憶部から画素値を取得することが決定される画素の画素値を記憶し、前記画素値決定部は、前記画素値記憶部から画素値を取得することが決定される画素については、前記画素値記憶部から取得される画素値を当該画素の画素値として決定し、前記画素値決定部は、前記画素値記憶部から画素値を取得しないことが決定される画素については、所定値を当該画素の画素値として決定する。【０００９】
本発明の一態様では、前記取得管理データは、それぞれ複数の前記画素に対応付けられる個別取得管理データを複数含み、前記取得決定部は、前記個別取得管理データに基づいて、当該個別取得管理データに対応付けられる複数の画素の画素値を前記画素値記憶部から取得するか否かを決定し、前記画素値決定部は、前記画素値記憶部から画素値を取得しないことが決定される、前記個別取得管理データに対応付けられる複数の画素についてはすべて、所定値を当該複数の画素の画素値として決定する。【００１０】
この態様では、前記個別取得管理データは、前記画像内の矩形領域を占める複数の画素に対応付けられていてもよい。【００１１】
また、本発明の一態様では、前記画素値記憶部は、画素値及びアルファ値を記憶し、前記画素値決定部は、前記画素値記憶部から画素値を取得することが決定される画素については、前記画素値記憶部から取得される画素値及びアルファ値を当該画素の画素値及びアルファ値として決定し、前記画素値決定部は、前記画素値記憶部から画素値を取得しないことが決定される画素については、所定値を当該画素の画素値及びアルファ値として決定し、前記画素値決定部により画素値及びアルファ値が決定される画像と他の画像とを重畳することにより重畳画像を生成する画像生成部、をさらに含む。【００１２】
また、本発明の一態様では、前記取得管理データは、前記画像内の所与の領域を占める画素については前記画素値記憶部から画素値を取得しないことを示す。【００１３】
また、本発明に係る画像生成方法は、画素値を画素値記憶部に記憶させる画素値記憶ステップと、画像に含まれる各画素の画素値を前記画素値記憶部から取得するか否かを示す取得管理データを取得管理データ記憶部に記憶させる取得管理データ記憶ステップと、前記取得管理データに基づいて、前記各画素について前記画素値記憶部から画素値を取得するか否かを決定する取得決定ステップと、前記画素値記憶部から画素値を取得することが決定される画素の画素値を前記画素値記憶部から取得する画素値取得ステップと、前記各画素の画素値を決定する画素値決定ステップと、を含み、前記画素値記憶ステップでは、前記画素値記憶部から画素値を取得することが決定される画素の画素値を前記画素値記憶部に記憶させ、前記画素値決定ステップでは、前記画素値記憶部から画素値を取得することが決定される画素については、前記画素値記憶部から取得される画素値を当該画素の画素値として決定し、前記画素値決定ステップでは、前記画素値記憶部から画素値を取得しないことが決定される画素については、所定値を当該画素の画素値として決定する。【００１４】
また、本発明に係るプログラムは、画素値を画素値記憶部に記憶させる画素値記憶手順、画像に含まれる各画素の画素値を前記画素値記憶部から取得するか否かを示す取得管理データを取得管理データ記憶部に記憶させる取得管理データ記憶手順、前記取得管理データに基づいて、前記各画素について前記画素値記憶部から画素値を取得するか否かを決定する取得決定手順、前記画素値記憶部から画素値を取得することが決定される画素の画素値を前記画素値記憶部から取得する画素値取得手順、前記各画素の画素値を決定する画素値決定手順、をコンピュータに実行させ、前記画素値記憶手順では、前記画素値記憶部から画素値を取得することが決定される画素の画素値を前記画素値記憶部に記憶させ、前記画素値決定手順では、前記画素値記憶部から画素値を取得することが決定される画素については、前記画素値記憶部から取得される画素値を当該画素の画素値として決定し、前記画素値決定手順では、前記画素値記憶部から画素値を取得しないことが決定される画素については、所定値を当該画素の画素値として決定する。
【図面の簡単な説明】
【００１５】
【図１】本発明の一実施形態に係る画像処理装置の構成の一例を示す図である。
【図２】前景画像に対応付けられる取得管理データのデータ構造の一例を模式的に示す図である。
【図３】三次元画像に対応付けられる取得管理データのデータ構造の一例を模式的に示す図である。
【図４】本発明の一実施形態に係る画像処理装置の機能の一例を示す機能ブロック図である。
【図５】本発明の一実施形態に係る画像処理装置で行われる処理の流れの一例を示すフロー図である。
【図６】本発明の一実施形態に係る画像処理装置で行われる処理の流れの一例を示すフロー図である。
【発明を実施するための形態】
【００１６】
以下、本発明の一実施形態について、図面を参照しながら説明する。
【００１７】
図１は、本発明の一実施形態に係る画像処理装置１０の構成の一例を示す図である。本実施形態に係る画像処理装置１０は、例えば、ゲームコンソール、携帯型ゲーム端末、パーソナルコンピュータ等である。図１に示すように、本実施形態に係る画像処理装置１０は、プロセッサ１２、記憶部１４、操作部１６、表示部１８、を含んでいる。
【００１８】
プロセッサ１２は、画像処理装置１０にインストールされるプログラムに従って動作するＣＰＵ等のプログラム制御デバイスである。本実施形態に係るプロセッサ１２には、ＣＰＵから供給されるグラフィックスコマンドやデータに基づいてフレームバッファに画像を描画するＧＰＵ（Graphics Processing Unit）も含まれている。
【００１９】
記憶部１４は、ＲＯＭやＲＡＭ等の記憶素子やハードディスクドライブなどである。また、本実施形態に係る記憶部１４には、ＧＰＵにより画像が描画されるフレームバッファの領域が確保されている。
【００２０】
操作部１６は、キーボードやマウス、あるいはゲームコンソールのコントローラ等であって、ユーザの操作入力を受け付けて、その内容を示す信号をプロセッサ１２に出力する。
【００２１】
表示部１８は、液晶ディスプレイ等の表示デバイスであって、プロセッサ１２の指示に従って各種の画像を表示する。また表示部１８は、ヘッドマウントディスプレイ（ＨＭＤ）であってもよい。
【００２２】
以下、図２及び図３に例示する取得管理データ２０を用いた、本実施形態に係る画像処理装置１０における画像に含まれる画素の画素値を記憶するためのフレームバッファの記憶容量の節約の一例について説明する。
【００２３】
図２は、本実施形態に係る取得管理データ２０の一例を模式的に示す図である。
【００２４】
ここでは例えば、所定のフレームレートで（例えば１／６０秒毎に）背景画像と前景画像とを重畳した重畳画像が生成されることとする。ここで背景画像は例えば、仮想三次元空間内に配置されたゲームキャラクタを表す仮想三次元オブジェクトを当該仮想三次元空間内の視点から見たゲームのプレイ状況を表すフレーム画像であってもよい。また前景画像は例えば、ゲームにおけるユーザインタフェースの情報を表すフレーム画像であってもよい。ここで前景画像は、文字、図形、又は、記号である二次元オブジェクトを表すフレーム画像であってもよい。そして図２に示す取得管理データ２０は、当該前景画像に対応付けられる取得管理データ２０の一例である。
【００２５】
例えば仮想三次元空間内に配置された仮想三次元オブジェクトを当該仮想三次元空間内の視点から見たゲームのプレイ状況はグラフィックスにより表現されることが多いため、その表現が多少ぼけても気にならない可能性が高い。一方で、文字、図形、又は、記号である二次元オブジェクトが配置されたフレーム画像については、解像度が低いと、ぼけてしまうため、ユーザはその内容を読み取りにくい。
【００２６】
このことを踏まえ、以下の説明では例えば、背景画像よりも前景画像の方が、解像度が高いこととする。そして例えば、前景画像の解像度となるよう背景画像をリサイズした上で、前景画像とリサイズ後の背景画像とを重畳させることで、重畳画像が生成されることとする。以下の説明では例えば、前景画像とリサイズ後の背景画像に対してアルファブレンド処理を実行することにより重畳画像が生成されることとする。
【００２７】
また以下の説明では例えば、記憶部１４内に、背景画像の画素値が記憶されるフレームバッファの領域と、前景画像の画素値及びアルファ値が記憶されるフレームバッファの領域と、が別に設けられる。以下、背景画像の画素値が記憶されるフレームバッファを背景フレームバッファと呼び、前景画像の画素値及びアルファ値が記憶されるフレームバッファを前景フレームバッファと呼ぶこととする。
【００２８】
ここで例えば、背景フレームバッファに記憶される１つの画素の画素値のサイズは２４ビットであることとする。また例えば、前景フレームバッファに記憶される１つの画素の画素値のサイズは２４ビットでアルファ値のサイズは８ビットであることとする。そのため、１つの画素の画素値及びアルファ値を記憶するための前景フレームバッファの記憶容量は３２ビットとなる。なお、１つの画素の赤成分、緑成分、青成分の画素値のサイズがそれぞれ８ビットであってもよい。
【００２９】
図２に示す取得管理データ２０には、複数の個別取得管理データ２２が含まれている。図２に示す１つの個別取得管理データ２２は、前景画像をそれぞれ複数の画素が属する複数の画素ブロックに分割した際の１つの画素ブロックに対応付けられる。ここで例えば、１つの画素ブロックに属する画素の数は１４０００であり、当該画素ブロックに属する画素の画素値のサイズの合計は５６キロバイトであることとする。
【００３０】
また例えば、当該画素ブロックは前景画像内の矩形領域を占める複数の画素であってもよい。また図２に示されている、取得管理データ２０に含まれるそれぞれの個別取得管理データ２２の位置は、前景画像内における当該個別取得管理データ２２に対応付けられる画素ブロックの位置に対応付けられている。
【００３１】
図２に示す取得管理データ２０は、例えば、前景フレームバッファから画素値及びアルファ値を取得するか否かを示すデータである。ここで例えば、取得管理データ２０に含まれる１つの個別取得管理データ２２は、例えば前景フレームバッファから画素値及びアルファ値を取得するか否かを示す１ビットのフラグであってもよい。そして例えば、前景フレームバッファから画素値及びアルファ値を取得することを示す個別取得管理データ２２には値として１が設定されてもよい。また、前景フレームバッファから画素値及びアルファ値を取得しないことを示す個別取得管理データ２２には値として０が設定されてもよい。
【００３２】
以下、値として１が設定された個別取得管理データ２２を第１種個別取得管理データ２２ａと呼び、値として０が設定された個別取得管理データ２２を第２種個別取得管理データ２２ｂと呼ぶこととする。図２の例では、ハッチが付されている個別取得管理データ２２が第１種個別取得管理データ２２ａに相当し、ハッチが付されていない個別取得管理データ２２が第２種個別取得管理データ２２ｂに相当する。
【００３３】
図２の例では、例えばデザイナー等により、前景画像にユーザインタフェースの情報を配置できる領域が予め設定されており、当該領域外の画素には無色透明を表す画素値などといった所定値が設定されることが予め定められていることとする。このような場合には例えば、図２に示すように、前景画像にユーザインタフェース等の情報を配置できる領域に対応付けられる個別取得管理データ２２として、第１種個別取得管理データ２２ａが設定される。図２の例では左下の矩形領域に対応付けられる個別取得管理データ２２として第１種個別取得管理データ２２ａが設定されている。そして当該矩形領域以外の画素に対応付けられる個別取得管理データ２２として第２種個別取得管理データ２２ｂが設定されている。
【００３４】
ここで図２の例では例えば、第１種個別取得管理データ２２ａに対応付けられる画素については、当該画素の画素値及びアルファ値が記憶されている前景フレームバッファへのアクセスが行われる。ここでは例えば、１つの第１種個別取得管理データ２２ａに対応付けられる１４０００画素については、当該１４０００画素のそれぞれについての画素値及びアルファ値が記憶されている前景フレームバッファへのアクセスが行われる。そして当該１４０００画素のそれぞれについての、当該画素の画素値及びアルファ値が取得される。そして当該１４０００画素については、取得された画素値及びアルファ値が当該画素の画素値及びアルファ値として決定される。
【００３５】
一方、第２種個別取得管理データ２２ｂに対応付けられる画素については、前景フレームバッファへのアクセスは行われない。そして当該第２種個別取得管理データ２２ｂに対応付けられる１４０００画素のすべてについて、所定値が当該画素の画素値及びアルファ値として決定される。ここで例えば無色透明を表す画素値及びアルファ値が当該画素の画素値及びアルファ値として決定されてもよい。このようにすれば第２種個別取得管理データ２２ｂに対応付けられる画素については重畳画像に背景画像の内容が表れることとなる。
【００３６】
図３は、本実施形態に係る取得管理データ２０の別の一例を模式的に示す図である。
【００３７】
ここでは例えば、所定のフレームレートで（例えば１／６０秒毎に）三次元画像が生成されることとする。当該三次元画像は、例えば、光学系を含むヘッドマウントディスプレイによる立体視ができるよう、歪み補正された左眼用画像及び右眼用画像をそれぞれユーザの左眼の円形視野範囲と右眼の円形視野範囲に含む矩形の画像である。そして図３に示す取得管理データ２０は、当該三次元画像に対応付けられる取得管理データ２０の一例である。
【００３８】
図３に示す取得管理データ２０には、複数の個別取得管理データ２２が含まれている。図３に示す１つの個別取得管理データ２２は、三次元画像をそれぞれ複数の画素が属する複数の画素ブロックに分割した際の１つの画素ブロックに対応付けられる。
【００３９】
また例えば、当該画素ブロックは前景画像内の矩形領域を占める複数の画素であってもよい。また図３に示されている、取得管理データ２０に含まれるそれぞれの個別取得管理データ２２の位置は、前景画像内における当該個別取得管理データ２２に対応付けられる画素ブロックの位置に対応付けられている。
【００４０】
図３に示す取得管理データ２０は、例えば、フレームバッファから画素値を取得するか否かを示すデータである。ここで例えば、取得管理データ２０に含まれる１つの個別取得管理データ２２は、例えばフレームバッファから画素値を取得するか否かを示す１ビットのフラグであってもよい。そして例えば、フレームバッファから画素値を取得することを示す個別取得管理データ２２には値として１が設定され、フレームバッファから画素値を取得しないことを示す個別取得管理データ２２には値として０が設定されてもよい。
【００４１】
図３の例でも、値として１が設定された個別取得管理データ２２を第１種個別取得管理データ２２ａと呼び、値として０が設定された個別取得管理データ２２を第２種個別取得管理データ２２ｂと呼ぶこととする。図３の例でも、ハッチが付されている個別取得管理データ２２が第１種個別取得管理データ２２ａに相当し、ハッチが付されていない個別取得管理データ２２が第２種個別取得管理データ２２ｂに相当する。
【００４２】
また図３には、三次元画像におけるユーザの左眼の円形視野範囲と右眼の円形視野範囲にそれぞれ対応付けられる円形の視野領域２４が２つ示されている。本実施形態では例えば、当該視野領域２４は、三次元画像内の所与の領域に対応付けられることとする。そして図３の例では含まれる画素のすべてが視野領域２４外である画素ブロックに対応付けられる個別取得管理データ２２が第２種個別取得管理データ２２ｂとして設定される。そして含まれる画素の一部又は全部が視野領域２４内である画素ブロックに対応付けられる個別取得管理データ２２が第１種個別取得管理データ２２ａとして設定される。
【００４３】
図３の例では、第１種個別取得管理データ２２ａに対応付けられる画素については、当該画素の画素値が記憶されているフレームバッファへのアクセスが行われる。ここでは例えば、１つの第１種個別取得管理データ２２ａに対応付けられる複数の画素については、当該複数の画素のそれぞれについての画素値が記憶されているフレームバッファへのアクセスが行われる。そして当該複数の画素のそれぞれについての、当該画素の画素値が取得される。そして当該複数の画素については、取得された画素値が当該画素の画素値として決定される。
【００４４】
一方、第２種個別取得管理データ２２ｂに対応付けられる画素については、当該画素の画素値が記憶されているフレームバッファへのアクセスは行われない。当該画素については所定値が当該画素の画素値として決定される。ここで例えば黒色を表す画素値が当該画素の画素値として決定されてもよい。このようにすれば三次元画像内の視野領域２４の外の領域については黒色となる。
【００４５】
三次元画像では、円形視野範囲外の領域内の画素の画素値として、例えば黒色を表す画素値などといった所定値が設定されることが予め定められている。そのため上述のようにして含まれる画素のすべてが視野領域２４外である画素ブロックに対応付けられる第２種個別取得管理データ２２ｂに対応付けられる画素については、黒色を表す画素値が当該画素の画素値として決定されても問題はない。
【００４６】
本実施形態では、図２に示す取得管理データ２０においても図３に示す取得管理データ２０においても、第１種個別取得管理データ２２ａに対応付けられる画素の画素値を記憶するためのフレームバッファの記憶容量が確保される。一方で、第２種個別取得管理データ２２ｂに対応付けられる画素の画素値を記憶するためのフレームバッファの記憶容量は確保されない。そして本実施形態では例えば、第２種個別取得管理データ２２ｂに対応付けられる画素の画素値を記憶するためのフレームバッファの記憶容量に相当する記憶部１４内の領域については、例えばフレームバッファとしての用途以外に利用可能となる。
【００４７】
なお取得管理データ２０そのものについては、記憶部１４においてフレームバッファとして確保されている領域に記憶されてもよいし、記憶部１４においてフレームバッファとして確保されている領域外に記憶されてもよい。
【００４８】
以上のようにして本実施形態によれば、画素値として所定値が設定されることが予め定められている画素の画素値を記憶するためのフレームバッファの記憶容量を節約できることとなる。例えば図２を参照して説明した例では、前景画像に含まれるすべての画素の画素値及びアルファ値が前景フレームバッファに記憶される場合と比較して、記憶部１４に前景フレームバッファとして確保される領域のサイズが節約できることとなる。また例えば図３を参照して説明した例では、三次元画像に含まれるすべての画素の画素値がフレームバッファに記憶される場合と比較して、記憶部１４にフレームバッファとして確保される領域のサイズが節約できることとなる。
【００４９】
なお取得管理データ２０を記憶するための記憶容量が記憶部１４に必要ではあるが、取得管理データ２０の記憶に必要な記憶部１４の記憶容量は、画素値の記憶に必要な記憶部１４の記憶容量に比べて小さい。そのため取得管理データ２０が記憶部１４においてフレームバッファとして確保されている領域に記憶されたとしても全体としてはフレームバッファの記憶容量を節約できることとなる。
【００５０】
また例えば、図２を参照して説明した例において、前景フレームバッファに画素値のみが記憶されアルファ値が記憶されなくてもよい。そしてこの場合に例えば、リサイズ後の背景画像に前景画像を上書きすることで重畳画像が生成されるようにしてもよい。
【００５１】
以下、取得管理データ２０を用いた画素値の決定を中心に、本実施形態に係る画像処理装置１０の機能及び本実施形態に係る画像処理装置１０で実行される処理についてさらに説明する。
【００５２】
図４は、本実施形態に係る画像処理装置１０で実装される機能の一例を示す機能ブロック図である。なお、本実施形態に係る画像処理装置１０で、図４に示す機能のすべてが実装される必要はなく、また、図４に示す機能以外の機能が実装されていても構わない。
【００５３】
図４に示すように、画像処理装置１０には、機能的には例えば、取得管理データ記憶部３０、画素値記憶部３２、取得決定部３４、画素値取得部３６、画素値決定部３８、画像生成部４０、表示制御部４２、が含まれる。取得管理データ記憶部３０、画素値記憶部３２は、記憶部１４を主として実装される。取得決定部３４、画素値取得部３６、画素値決定部３８、画像生成部４０は、プロセッサ１２を主として実装される。表示制御部４２は、プロセッサ１２及び表示部１８を主として実装される。画像処理装置１０は、本実施形態における、画像を生成する画像生成装置としての役割を担うこととなる。
【００５４】
以上の機能は、コンピュータである画像処理装置１０にインストールされた、以上の機能に対応する指令を含むプログラムをプロセッサ１２で実行することにより実装されてもよい。このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどを介して画像処理装置１０に供給されてもよい。
【００５５】
取得管理データ記憶部３０は、本実施形態では例えば、画像に含まれる各画素の画素値を画素値記憶部３２から取得するか否かを示す取得管理データ２０を記憶する。
【００５６】
ここで取得管理データ２０は、それぞれ複数の画素に対応付けられる個別取得管理データ２２を複数含んでいてもよい。そして、図２を参照して説明したように、個別取得管理データ２２が画像内の矩形領域を占める複数の画素に対応付けられていてもよい。図２及び図３の例では、１つの個別取得管理データ２２は、画像内の矩形領域内の複数の画素（画素ブロック）に対応付けられている。なお、１つの個別取得管理データ２２が、１つの画素に対応付けられていてもよい。
【００５７】
また取得管理データ２０は、画像内の所与の領域を占める画素については画素値記憶部３２から画素値を取得しないことを示していてもよい。例えば図２の例のように、二次元オブジェクトが配置できる領域外の所与の領域を占める画素に対応付けられる個別取得管理データ２２が、画素値記憶部３２にアクセスしないことを示していてもよい。また例えば図３の例のように、視野領域２４に対応付けられる所与の円形視野範囲の外の所与の領域を占める画素に対応付けられる個別取得管理データ２２が、画素値記憶部３２にアクセスしないことを示していてもよい。
【００５８】
画素値記憶部３２は、本実施形態では例えば、画素値を記憶する。ここで例えば、画素値記憶部３２は、取得決定部３４によって画素値記憶部３２から画素値を取得することが決定される画素の画素値を記憶してもよい。
【００５９】
また画素値記憶部３２が、画素値記憶部３２から画素値を取得することが決定される画素の画素値及びアルファ値を記憶してもよい。
【００６０】
また本実施形態では例えば、画素値記憶部３２から画素値を取得しないことが決定される画素の画素値を記憶するためのフレームバッファの記憶容量は画素値記憶部３２に確保されない。
【００６１】
例えば、図２を参照した説明における前景画像の画素の画素値及びアルファ値が記憶される前景フレームバッファや図３を参照した説明における三次元画像の画素の画素値が記憶されるフレームバッファとして確保される領域が、画素値記憶部３２に相当する。
【００６２】
取得決定部３４は、本実施形態では例えば、取得管理データ２０に基づいて、画像に含まれる各画素について画素値記憶部３２から画素値を取得するか否かを決定する。ここで取得決定部３４は、個別取得管理データ２２に基づいて、当該個別取得管理データ２２に対応付けられる複数の画素の画素値を画素値記憶部３２から取得するか否かを決定してもよい。例えば、第１種個別取得管理データ２２ａに対応付けられる画素については、画素値記憶部３２から画素値を取得することが決定されてもよい。また、第２種個別取得管理データ２２ｂに対応付けられる画素については、画素値記憶部３２から画素値を取得しないことが決定されてもよい。
【００６３】
画素値取得部３６は、本実施形態では例えば、画素値記憶部３２から画素値を取得することが決定される画素の画素値を画素値記憶部３２から取得する。
【００６４】
画素値決定部３８は、本実施形態では例えば、画像に含まれる各画素の画素値を決定する。ここで画素値決定部３８は、例えば、画素値記憶部３２から画素値を取得することが決定される画素については、画素値記憶部３２から取得される画素値を当該画素の画素値として決定する。また画素値決定部３８は、例えば、画素値記憶部３２から画素値を取得しないことが決定される画素については、所定値を当該画素の画素値として決定する。
【００６５】
ここで画素値決定部３８が、画素値及びアルファ値を決定してもよい。例えば画素値記憶部３２から画素値を取得することが決定される画素については、画素値記憶部３２から取得される画素値及びアルファ値を当該画素の画素値及びアルファ値として決定してもよい。また例えば、画素値記憶部３２から画素値を取得しないことが決定される画素については、当該画素の画素値及びアルファ値として所定値を決定してもよい。図２を参照して説明した例では、当該所定値は無色透明を表す画素値及びアルファ値である。また図３を参照して説明した例では、当該所定値は黒色を表す画素値である。
【００６６】
また画素値決定部３８が、画素値記憶部３２から画素値を取得しないことが決定される、第２種個別取得管理データ２２ｂに対応付けられる複数の画素についてはすべて、所定値を当該複数の画素の画素値として決定してもよい。ここで第２種個別取得管理データ２２ｂに対応付けられる複数の画素についてはすべて、所定値が当該複数の画素の画素値及びアルファ値として決定されてもよい。
【００６７】
画像生成部４０は、本実施形態では例えば、画素値決定部３８により決定される画素値に基づく画像を生成する。ここで画像生成部４０は、画素値決定部３８により画素値及びアルファ値が決定される画像と他の画像とを重畳することにより重畳画像を生成してもよい。例えば図２を参照して説明したように、画像生成部４０は、画素値決定部３８により画素値が決定される前景画像と、背景フレームバッファに画素の画素値が記憶されている背景画像と、を重畳することにより、重畳画像を生成してもよい。また前景画像とリサイズ後の背景画像とを重畳することにより重畳画像が生成されてもよい
【００６８】
また例えば、画素値決定部３８が、重畳画像に含まれる各画素の画素値を決定してもよい。ここで例えば、前景画像における画素のアルファ値に基づくアルファブレンド処理が実行されてもよい。例えば前景画像に含まれる画素のアルファ値と、当該画素の画素値と、当該画素に対応付けられる背景画像内の画素の画素値とに基づいて、当該画素に対応付けられる重畳画像内の画素の画素値が決定されてもよい。そして画像生成部４０が、このようにして決定される画素値に基づいて重畳画像を生成してもよい。
【００６９】
また図３を参照して説明したように、画像生成部４０は、三次元画像を生成してもよい。
【００７０】
表示制御部４２は、本実施形態では例えば、画像生成部４０が生成する画像を表示部１８に表示させる。ここで例えば図２を参照して説明した重畳画像がディスプレイに表示されるようにしてもよい。また例えば図３を参照して説明した三次元画像がＨＭＤに表示されるようにしてもよい。
【００７１】
ここで、本実施形態に係る画像処理装置１０で行われる処理の流れの一例を、図５に例示するフロー図を参照しながら説明する。本処理例に示す処理は、図２を参照して説明した例に相当する。
【００７２】
なお本処理例では、所定のフレームレートで、当該フレームにおける取得管理データ２０が取得管理データ記憶部３０に記憶されることとする。また本処理例では、所定のフレームレートで、背景フレームバッファに当該フレームにおける背景画像の画素値が記憶されることとする。また所定のフレームレートで、前景フレームバッファに当該フレームにおける第１種個別取得管理データ２２ａに対応付けられる前景画像の画素の画素値及びアルファ値が記憶されることとする。
【００７３】
まず取得決定部３４が、取得管理データ記憶部３０から、当該フレームにおける取得管理データ２０を取得する（Ｓ１０１）。
【００７４】
そして取得決定部３４が、Ｓ１０１に示す処理で取得された取得管理データ２０に含まれる個別取得管理データ２２のうちから、当該フレームにおいて、Ｓ１０３〜Ｓ１０７に示す処理が未実行である個別取得管理データ２２を１つ選択する（Ｓ１０２）。
【００７５】
そして取得決定部３４が、Ｓ１０２に示す処理で選択された個別取得管理データ２２に設定されている値を確認する（Ｓ１０３）。
【００７６】
ここで値が１であることが確認されたとする。すなわち、当該個別取得管理データ２２が第１種個別取得管理データ２２ａであることが確認されたとする。この場合は、画素値取得部３６が、画素値記憶部３２にアクセスして、当該第１種個別取得管理データ２２ａに対応付けられる画素ブロックに属する複数の画素のそれぞれについての画素値及びアルファ値を取得する（Ｓ１０４）。
【００７７】
そして画素値決定部３８が、当該画素ブロックに属する複数の画素のそれぞれについて、Ｓ１０４に示す処理で取得された当該画素の画素値及びアルファ値を、前景画像に含まれる当該画素の画素値及びアルファ値として決定する（Ｓ１０５）。
【００７８】
一方、Ｓ１０３に示す処理で値が０であることが確認されたとする。すなわち、当該個別取得管理データ２２が第２種個別取得管理データ２２ｂであることが確認されたとする。この場合は、画素値決定部３８が、当該第２種個別取得管理データ２２ｂに対応付けられる画素ブロックに属するすべての画素について、前景画像に含まれる当該画素の画素値及びアルファ値として所定値を決定する（Ｓ１０６）。ここでは例えば当該画素の画素値及びアルファ値として無色透明を表す画素値及びアルファ値が決定される。
【００７９】
そして画素値決定部３８が、当該画素ブロックに属する複数の画素に対応付けられる重畳画像内の複数の画素についての画素値を決定する（Ｓ１０７）。ここで例えば、Ｓ１０５又はＳ１０６に示す処理で決定された前景画像に含まれる画素の画素値及びアルファ値と、当該画素に対応付けられる背景画像の画素の画素値と、に基づいて、重畳画像における当該画素の画素値が決定されてもよい。
【００８０】
そして画素値決定部３８が、当該フレームにおいてすべての個別取得管理データ２２についてＳ１０３〜Ｓ１０７に示す処理が実行されたか否かを確認する（Ｓ１０８）。
【００８１】
当該フレームにおいてすべての個別取得管理データ２２についてＳ１０３〜Ｓ１０７に示す処理が実行されていない場合は（Ｓ１０８：Ｎ）、Ｓ１０２に示す処理に戻る。
【００８２】
当該フレームにおいてすべての個別取得管理データ２２についてＳ１０３〜Ｓ１０７に示す処理が実行された場合は（Ｓ１０８：Ｙ）、画像生成部４０が、当該フレームにおける重畳画像を生成する（Ｓ１０９）。ここでは例えば、Ｓ１０７に示す処理で決定された画素値に基づいて当該重畳画像は生成される。
【００８３】
そして表示制御部４２が、Ｓ１０９に示す処理で生成された重畳画像を表示部１８に表示させて（Ｓ１１０）、Ｓ１０１に示す処理に戻る。
【００８４】
本処理例では、Ｓ１０１〜Ｓ１１０に示す処理が所定のフレームレートで繰り返し実行されることとなる。
【００８５】
なお以上の処理例において、所定のフレームレートで、当該フレームにおける取得管理データ２０が取得管理データ記憶部３０に記憶されなくてもよい。例えばすべてのフレームにおいて共通の取得管理データ２０が用いられるようにしてもよい。この場合はＳ１１０に示す処理が終了した際にＳ１０２に示す処理に戻り、次のフレームにおける処理が実行されるようにしてもよい。
【００８６】
次に、本実施形態に係る画像処理装置１０で行われる処理の流れの別の一例を、図６に例示するフロー図を参照しながら説明する。本処理例に示す処理は、図３を参照して説明した例に相当する。
【００８７】
なお本処理例では、所定のフレームレートで、当該フレームにおける取得管理データ２０が取得管理データ記憶部３０に記憶されることとする。また本処理例では、所定のフレームレートで、フレームバッファに当該フレームにおける第１種個別取得管理データ２２ａに対応付けられる三次元画像の画素の画素値が記憶されることとする。
【００８８】
まず取得決定部３４が、取得管理データ記憶部３０から、当該フレームにおける取得管理データ２０を取得する（Ｓ２０１）。
【００８９】
そして取得決定部３４が、Ｓ２０１に示す処理で取得された取得管理データ２０に含まれる個別取得管理データ２２のうちから、当該フレームにおいて、Ｓ２０３〜Ｓ２０６に示す処理が未実行である個別取得管理データ２２を１つ選択する（Ｓ２０２）。
【００９０】
そして取得決定部３４が、Ｓ２０２に示す処理で選択された個別取得管理データ２２に設定されている値を確認する（Ｓ２０３）。
【００９１】
ここで値が１であることが確認されたとする。すなわち、当該個別取得管理データ２２が第１種個別取得管理データ２２ａであることが確認されたとする。この場合は、画素値取得部３６が、画素値記憶部３２にアクセスして、当該第１種個別取得管理データ２２ａに対応付けられる画素ブロックに属する複数の画素のそれぞれについての画素値を取得する（Ｓ２０４）。
【００９２】
そして画素値決定部３８が、当該画素ブロックに属する複数の画素のそれぞれについて、Ｓ２０４に示す処理で取得された当該画素の画素値を、三次元画像に含まれる当該画素の画素値として決定する（Ｓ２０５）。
【００９３】
一方、Ｓ２０３に示す処理で値が０であることが確認されたとする。すなわち、当該個別取得管理データ２２が第２種個別取得管理データ２２ｂであることが確認されたとする。この場合は、画素値決定部３８が、当該第２種個別取得管理データ２２ｂに対応付けられる画素ブロックに属するすべての画素について、三次元画像に含まれる当該画素の画素値として所定値を決定する（Ｓ２０６）。ここでは例えば当該画素の画素値として黒色を表す画素値が決定される。
【００９４】
そして画素値決定部３８が、当該フレームにおいてすべての個別取得管理データ２２についてＳ２０３〜Ｓ２０６に示す処理が実行されたか否かを確認する（Ｓ２０７）。
【００９５】
当該フレームにおいてすべての個別取得管理データ２２についてＳ２０３〜Ｓ２０６に示す処理が実行されていない場合は（Ｓ２０７：Ｎ）、Ｓ２０２に示す処理に戻る。
【００９６】
当該フレームにおいてすべての個別取得管理データ２２についてＳ２０３〜Ｓ２０６に示す処理が実行された場合は（Ｓ２０７：Ｙ）、画像生成部４０が、当該フレームにおける三次元画像を生成する（Ｓ２０８）。ここでは例えば、Ｓ２０５又はＳ２０６に示す処理で決定された画素値に基づいて当該三次元画像は生成される。
【００９７】
そして表示制御部４２が、Ｓ２０８に示す処理で生成された三次元画像を表示部１８に表示させて（Ｓ２０９）、Ｓ２０１に示す処理に戻る。
【００９８】
本処理例では、Ｓ２０１〜Ｓ２０９に示す処理が所定のフレームレートで繰り返し実行されることとなる。
【００９９】
なお以上の処理例において、所定のフレームレートで、当該フレームにおける取得管理データ２０が取得管理データ記憶部３０に記憶されなくてもよい。例えばすべてのフレームにおいて共通の取得管理データ２０が用いられるようにしてもよい。この場合はＳ２０９に示す処理が終了した際にＳ２０２に示す処理に戻り、次のフレームにおける処理が実行されるようにしてもよい。
【０１００】
なお、本発明は上述の実施形態に限定されるものではない。
【０１０１】
また、上記の具体的な文字列や数値及び図面中の具体的な文字列や数値は例示であり、これらの文字列や数値には限定されない。
【図１】
0006947939.tif 000002
【図２】
0006947939.tif 000003
【図３】
0006947939.tif 000004
【図４】
0006947939.tif 000005
【図５】
0006947939.tif 000006
【図６】
0006947939.tif 000007