(57)【要約】【課題】各視点位置について画素単位での深度値を効率的に導出することが可能な多視点データ生成装置、方法及びプログラムを提供する。【解決手段】所定の領域内に含まれた各画素の画素インデックス毎に、各視点位置に応じたＣＧオブジェクトの色情報群と深度値群とを生成し、この深度値群に基づいて視点位置と深度値との関係を近似化した近似関数を導出し、この近似関数のパラメータを配列した深度パラメータ配列の状態で深度値群を取り扱う。【選択図】        図３
2009080578.tif 000002
【特許請求の範囲】
【請求項１】
複数のカメラが配置された各視点位置に関する情報と、当該各カメラが撮影するフレーム領域の画素数と、を少なくとも含んだ多視点カメラ情報を受け付ける第１受付手段と、
ＣＧオブジェクトの形状及び色彩を表す形状データを受け付ける第２受付手段と、
前記フレーム領域のうち、所定の領域内に含まれた各画素の画素インデックスを順次生成する画素インデックス生成手段と、
前記多視点カメラ情報及び形状データに基づいて、前記ＣＧオブジェクトの前記フレーム領域内における前記各視点位置に応じた色情報群を、前記画素インデックス毎に生成する色情報生成手段と、
前記多視点カメラ情報及び形状データに基づいて、前記ＣＧオブジェクトの前記フレーム領域内における前記各視点位置に応じた深度値群を、前記画素インデックス毎に生成する深度値生成手段と、
前記各視点位置と前記深度値群との関係を近似化した近似関数を画素インデックス毎に導出し、この近似関数のパラメータを配列した深度パラメータ配列を生成する深度パラメータ配列生成手段と、
前記画素インデックス毎の前記色情報群と深度パラメータ配列とに基づいて、前記視点位置数に応じた視差画像分の多視点データを生成する多視点データ生成手段と、
を備えたことを特徴とする多視点データ生成装置。
【請求項２】
前記深度パラメータ配列生成手段は、前記画素インデックス毎に、前記各視点位置と前記深度値群に含まれる各深度値との関係を、前記視点位置を変数とした関数で定義し、この関数を近似化することで前記近似関数を導出することを特徴とする請求項１に記載の多視点データ生成装置。
【請求項３】
前記視点位置毎に確保された描画用の描画用フレームについて、当該各描画用フレームに含まれた画素単位で前記深度値を記憶する深度値記憶手段と、
前記視点位置毎に確保された描画用の描画用フレームについて、当該各描画用フレームに含まれた画素単位で前記色情報を記憶する色情報記憶手段と、
を更に備え、
前記多視点データ生成手段は、
前記近似関数に前記深度パラメータ配列を代入し、前記各視点位置と復元深度値との組を前記画素インデックス毎に復元する復元手段と、
前記各画素インデックスに応じた視点位置毎の復元深度値と、前記深度値記憶手段に記憶された前記視点位置及び画素インデックスに対応する画素の深度値とを比較し、当該復元深度値が前記深度値記憶手段に記憶された深度値より手前側を表すと判定した場合に、この復元深度値を、当該復元深度値の画素インデックス及び視点位置に対応する描画用フレームの画素と対応付けて前記深度値記憶手段に記憶するとともに、この復元深度値の画素インデックス及び視点位置に対応する前記色情報群に含まれた色情報を、当該画素インデックス及び視点位置に対応する描画用フレームの画素と対応付けて前記色情報記憶手段に記憶する奥行き判定手段と、
前記色情報記憶手段に記憶された前記描画用フレームに基づいて、前記多視点データを生成する生成手段と、
を備えたことを特徴とする請求項１又は２に記載の多視点データ生成装置。
【請求項４】
統合データ記憶手段と、
前記画素インデックス毎に、当該画素インデックスに対応する前記色情報群と深度パラメータ配列とを関係付けた統合データを、当該統合データを識別するための識別情報と関係付けて前記統合データ記憶手段に記憶する記憶制御手段と、
を更に備えたことを特徴とする請求項１に記載の多視点データ生成装置。
【請求項５】
前記視点位置毎に確保された描画用の描画用フレームについて、当該各描画用フレームに含まれた画素単位で前記深度値を記憶する深度値記憶手段と、
前記視点位置毎に確保された描画用の描画用フレームについて、当該各描画用フレームに含まれた画素単位で前記色情報を記憶する色情報記憶手段と、
を更に備え、
前記多視点データ生成手段は、
前記フレーム領域のうち、一部又は全ての領域を指示する表示属性情報の入力を受け付ける第３受付手段と、
読出対象となる読出識別情報の入力を受け付ける第４受付手段と、
前記統合データ記憶手段に記憶された統合データから、前記読出識別情報と一致する前記識別情報の統合データを参照し、前記表示属性情報で指示された領域に含まれた各画素の画素インデックス毎に、前記色情報群及び深度パラメータ配列を順次読み出す読出手段と、
前記近似関数に前記深度パラメータ配列を代入し、前記各視点位置と復元深度値との組を前記画素インデックス毎に復元する復元手段と、
前記各画素インデックスに応じた視点位置毎の復元深度値と、前記深度値記憶手段に記憶された前記視点位置及び画素インデックスに対応する画素の深度値とを比較し、当該復元深度値が前記深度値記憶手段に記憶された深度値より手前側を表すと判定した場合に、この復元深度値を、当該復元深度値の画素インデックス及び視点位置に対応する描画用フレームの画素と対応付けて前記深度値記憶手段に記憶するとともに、この復元深度値の画素インデックス及び視点位置に対応する前記色情報群に含まれた色情報を、当該画素インデックス及び視点位置に対応する描画用フレームの画素と対応付けて前記色情報記憶手段に記憶する奥行き判定手段と、
前記色情報記憶手段に記憶された前記描画用フレームに基づいて、前記多視点データを生成する生成手段と、
を備えたことを特徴とする請求項４に記載の多視点データ生成装置。
【請求項６】
前記深度値記憶手段は、初期状態において前記描画用フレームに含まれる各画素に無限遠の奥行きを表す深度値を対応付けて記憶し、
前記色情報記憶手段は、初期状態において前記描画用フレームに含まれる各画素に前記描画用フレームの背景色を表す色情報を対応付けて記憶することを特徴とする請求項３又は５に記載の多視点データ生成装置。
【請求項７】
前記復元深度値と、前記深度値記憶手段に記憶された深度値との間の奥行きに関する前後関係を判定するための奥行き判定条件式を記憶する判定式記憶手段を更に備え、
前記奥行き判定手段は、前記各画素インデックスに応じた視点位置毎の復元深度値と、当該視点位置及び画素インデックスに対応する前記深度値記憶手段に記憶された描画用フレームの画素の深度値とを前記奥行き判定式に代入し、当該奥行き判定条件式の算出結果に基づいて判定を行うことを特徴とする請求項３又は５に記載の多視点データ生成装置。
【請求項８】
多視点データ生成装置で実行される多視点データ生成方法であって、
第１受付手段が、複数のカメラが配置された各視点位置に関する情報と、当該各カメラが撮影するフレーム領域の画素数とを少なくとも含んだ多視点カメラ情報を受け付ける第１受付ステップと、
第２受付手段が、ＣＧオブジェクトの形状及び色彩を表す形状データを受け付ける第２受付ステップと、
画素インデックス生成手段が、前記フレーム領域のうち、所定の領域内に含まれた各画素の画素インデックスを順次生成する画素インデックス生成ステップと、
色情報生成手段が、前記多視点カメラ情報及び形状データに基づいて、前記ＣＧオブジェクトの前記フレーム領域内における前記各視点位置に応じた色情報群を、前記画素インデックス毎に生成する色情報生成ステップと、
深度値生成手段が、前記多視点カメラ情報及び形状データに基づいて、前記ＣＧオブジェクトの前記フレーム領域内における前記各視点位置に応じた深度値群を、前記画素インデックス毎に生成する深度値生成ステップと、
深度パラメータ配列生成手段が、前記各視点位置と前記深度値群との関係を近似化した近似関数を画素インデックス毎に導出し、この近似関数のパラメータを配列した深度パラメータ配列を生成する深度パラメータ配列生成ステップと、
多視点データ生成手段が、前記画素インデックス毎の前記色情報群と深度パラメータ配列とに基づいて、前記視点位置数に応じた視差画像分の多視点データを生成する多視点データ生成ステップと、
を含むことを特徴とする多視点データ生成方法。
【請求項９】
コンピュータを、
複数のカメラが配置された各視点位置に関する情報と、当該各カメラが撮影するフレーム領域の画素数と、を少なくとも含んだ多視点カメラ情報を受け付ける第１受付手段と、
ＣＧオブジェクトの形状及び色彩を表す形状データを受け付ける第２受付手段と、
前記フレーム領域のうち、所定の領域内に含まれた各画素の画素インデックスを順次生成する画素インデックス生成手段と、
前記多視点カメラ情報及び形状データに基づいて、前記ＣＧオブジェクトの前記フレーム領域内における前記各視点位置に応じた色情報群を、前記画素インデックス毎に生成する色情報生成手段と、
前記多視点カメラ情報及び形状データに基づいて、前記ＣＧオブジェクトの前記フレーム領域内における前記各視点位置に応じた深度値群を、前記画素インデックス毎に生成する深度値生成手段と、
前記各視点位置と前記深度値群との関係を近似化した近似関数を画素インデックス毎に導出し、この近似関数のパラメータを配列した深度パラメータ配列を生成する深度パラメータ配列生成手段と、
前記画素インデックス毎の前記色情報群と深度パラメータ配列とに基づいて、前記視点位置数に応じた視差画像分の多視点データを生成する多視点データ生成手段と、
して機能させることを特徴とする多視点データ生成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、多視点データを生成する多視点データ生成装置、方法及びプログラムに関する。
【背景技術】
【０００２】
映像機器や家庭用ゲーム機等のＣＧ（コンピュータグラフィック）描画装置では、ＣＧレンダリングをリアルタイムに行うことで、キャラクタ等の３次元のＣＧ画像を描画することが一般に行われている。また、ＣＧ画像そのものを画像として用意し、描画時にその画像を、ＣＧ画像の形状を形作る板ポリゴンにテクスチャマッピングする「スプライト」と呼ばれる技術が知られている（例えば、非特許文献１参照）。このスプライトを用いることで、３次元のキャラクタ等を構成する多くのポリゴンを描画処理することなく高速に描画することが可能であるため、複雑な形状を有する場合に特に有用な手法となっている。
【０００３】
ところで、液晶ディスプレイ上にレンチキュラーシートを重ねることで水平方向に視差のある映像を表示することが可能な、１次元インテグラルイメージング方式の３次元ディスプレイが知られている（例えば、非特許文献２参照）。この３次元ディスプレイにおいても、上述した描画装置と同様にＣＧ画像の描画を行うが、各画素について複数のＣＧ画像を描画する必要がある。また、観察者に立体感を与えるスプライトを描画するためには、視点毎に異なるテクスチャ画像を板ポリゴンにテクスチャマッピングする必要があり、種々の技術が提案されている（例えば、特許文献１参照）。以下、視点毎に異なるテクスチャ画像を描画する技術を「多視点スプライト」という。
【０００４】
上記した多視点スプライトにより、観察者に立体感を与える映像（立体映像）を描画することが可能となる。しかし、板ポリゴンに視点毎に異なるテクスチャ画像を貼り付けるのみでは、ポリゴンを描画する際の奥行き判定において、板ポリゴンの深度値が用いられ、立体画像に対応するオブジェクトの実際の深度値が用いられないことがある。そのため、特定の多視点スプライトと他の多視点スプライトとの間、ポリゴンオブジェクトと多視点スプライトとの間で、奥行き判定が正常に行われないという問題があった。
【０００５】
上記したスプライトについては、色情報に加えて板ポリゴンが描画される深度値からの差分である深度値をスプライトの画素単位で保持し、板ポリゴン描画時に画素単位で深度値の補正を行い、正しい奥行き判定を実現する「深度スプライト」と呼ばれる技術が知られている（例えば、非特許文献３参照）。多視点スプライトにおいても、各視点についてのテクスチャ画像の画素単位で色情報と深度値を保持し、深度スプライトと同様の方法により奥行き判定を行うことが考えられる。
【０００６】
また、従来、深度値の導出手法として、代表となる１つの視点についてレンダリングを行うことで、色情報バッファと深度値バッファとを作成する。そして、この深度値バッファについて、新たな視点位置からスクリーン上の各画素方向に光線追跡処理を行い、最も近い深度バッファ上の画素位置と深度値とを求めることで、新たな視点位置に対応する各画素についての深度値バッファの作成が行われている（例えば、非特許文献４参照）。これは、レリーフマッピングと呼ばれる手法である（例えば、非特許文献５参照）。
【０００７】
【非特許文献１】川西裕幸訳、リアルタイムレンダリング第二版（日本語版）、株式会社ボーンデジタル、pp.269−283、2006
【非特許文献２】福島、平山、“鑑賞者参加型の３次元映像ディスプレイ”，情報処理，Vol.47，  No.4，  pp.368-373(2006)
【特許文献１】特開２００４−５２２８号公報
【非特許文献３】川西裕幸訳、“リアルタイムレンダリング第二版（日本語版）”、株式会社ボーンデジタル、pp.285-287(2006)
【非特許文献４】宮沢篤ほか、“アミューズメント向けリアルタイム＆インタラクティブ３次元コンピュータステレオグラフィの試作と評価”、２００６年映像情報メディア学会  立体映像技術時限研究会、2006年10月17日
【非特許文献５】Fabio  Policarpo,  et  al,  “Real-Time  Relief  Mapping  on  Arbitrary  Polygonal  Surfaces”,  ACM  I3D,  2005．
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、非特許文献３の技術を多視点データに適用した場合、各視点位置について画素単位での深度値を格納する必要があるため、深度値を格納するためのメモリ量が多くなるという問題がある。また、非特許文献４の技術では、描画時に各視点画像の各画素について深度値を得るために高次関数方程式の解を求める必要があり、処理が煩雑となり演算処理量が多くなるという問題がある。また、代表となる１視点からの深度値バッファを作成するため、その視点からは陰に隠れてしまい、正確に復元できない形状が存在するという問題がある。
【０００９】
本発明は上記に鑑みてなされたものであって、各視点位置について画素単位での深度値を効率的に導出することが可能な多視点データ生成装置、方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
上述した課題を解決し、目的を達成するために、本発明は、複数のカメラが配置された各視点位置に関する情報と、当該各カメラが撮影するフレーム領域の画素数と、を少なくとも含んだ多視点カメラ情報を受け付ける第１受付手段と、ＣＧオブジェクトの形状及び色彩を表す形状データを受け付ける第２受付手段と、前記フレーム領域のうち、所定の領域内に含まれた各画素の画素インデックスを順次生成する画素インデックス生成手段と、前記多視点カメラ情報及び形状データに基づいて、前記ＣＧオブジェクトの前記フレーム領域内における前記各視点位置に応じた色情報群を、前記画素インデックス毎に生成する色情報生成手段と、前記多視点カメラ情報及び形状データに基づいて、前記ＣＧオブジェクトの前記フレーム領域内における前記各視点位置に応じた深度値群を、前記画素インデックス毎に生成する深度値生成手段と、前記各視点位置と前記深度値群との関係を近似化した近似関数を画素インデックス毎に導出し、この近似関数のパラメータを配列した深度パラメータ配列を生成する深度パラメータ配列生成手段と、前記画素インデックス毎の前記色情報群と深度パラメータ配列とに基づいて、前記視点位置数に応じた視差画像分の多視点データを生成する多視点データ生成手段と、を備えたことを特徴とする。
【００１１】
また、本発明は、多視点データ生成装置で実行される多視点データ生成方法であって、第１受付手段が、複数のカメラが配置された各視点位置に関する情報と、当該各カメラが撮影するフレーム領域の画素数とを少なくとも含んだ多視点カメラ情報を受け付ける第１受付ステップと、第２受付手段が、ＣＧオブジェクトの形状及び色彩を表す形状データを受け付ける第２受付ステップと、画素インデックス生成手段が、前記フレーム領域のうち、所定の領域内に含まれた各画素の画素インデックスを順次生成する画素インデックス生成ステップと、色情報生成手段が、前記多視点カメラ情報及び形状データに基づいて、前記ＣＧオブジェクトの前記フレーム領域内における前記各視点位置に応じた色情報群を、前記画素インデックス毎に生成する色情報生成ステップと、深度値生成手段が、前記多視点カメラ情報及び形状データに基づいて、前記ＣＧオブジェクトの前記フレーム領域内における前記各視点位置に応じた深度値群を、前記画素インデックス毎に生成する深度値生成ステップと、深度パラメータ配列生成手段が、前記各視点位置と前記深度値群との関係を近似化した近似関数を画素インデックス毎に導出し、この近似関数のパラメータを配列した深度パラメータ配列を生成する深度パラメータ配列生成ステップと、多視点データ生成手段が、前記画素インデックス毎の前記色情報群と深度パラメータ配列とに基づいて、前記視点位置数に応じた視差画像分の多視点データを生成する多視点データ生成ステップと、を含むことを特徴とする。
【００１２】
また、本発明は、コンピュータを、複数のカメラが配置された各視点位置に関する情報と、当該各カメラが撮影するフレーム領域の画素数と、を少なくとも含んだ多視点カメラ情報を受け付ける第１受付手段と、ＣＧオブジェクトの形状及び色彩を表す形状データを受け付ける第２受付手段と、前記フレーム領域のうち、所定の領域内に含まれた各画素の画素インデックスを順次生成する画素インデックス生成手段と、前記多視点カメラ情報及び形状データに基づいて、前記ＣＧオブジェクトの前記フレーム領域内における前記各視点位置に応じた色情報群を、前記画素インデックス毎に生成する色情報生成手段と、前記多視点カメラ情報及び形状データに基づいて、前記ＣＧオブジェクトの前記フレーム領域内における前記各視点位置に応じた深度値群を、前記画素インデックス毎に生成する深度値生成手段と、前記各視点位置と前記深度値群との関係を近似化した近似関数を画素インデックス毎に導出し、この近似関数のパラメータを配列した深度パラメータ配列を生成する深度パラメータ配列生成手段と、前記画素インデックス毎の前記色情報群と深度パラメータ配列とに基づいて、前記視点位置数に応じた視差画像分の多視点データを生成する多視点データ生成手段と、して機能させることを特徴とする。
【発明の効果】
【００１３】
本発明によれば、各視点位置について画素単位での深度値を、近似関数のパラメータを配列した深度パラメータ配列の状態で取り扱うため、使用するメモリ量を削減できるとともに、演算処理量にかかる負荷を抑えることが可能となり、各視点位置について画素単位での深度値の効率的に導出することができる。
【発明を実施するための最良の形態】
【００１４】
以下に添付図面を参照して、多視点データ生成装置、方法及びプログラムの最良な実施形態を詳細に説明する。
【００１５】
［第１の実施形態］
図１は、本実施形態に係る多視点データ生成装置１００のハードウェア構成を示したブロック図である。図１に示したように、多視点データ生成装置１００は、制御部１、操作部２、表示部３、ＲＯＭ（Read  Only  Memory）４、ＲＡＭ（Random  Access  Memory）５、記憶部６、通信部７等を備え、各部はバス８により接続されている。なお、後述する多視点データ生成装置２００、３００についても、多視点データ生成装置１００と同様のハードウェア構成を備えるものとする。
【００１６】
制御部１は、ＣＰＵ（Central  Processing  Unit）やＧＰＵ（Graphics  Processing  Unit）等の演算装置からなり、ＲＡＭ５の所定領域を作業領域として、ＲＯＭ４又は記憶部６に予め記憶された各種制御プログラムとの協働により各種処理を実行し、多視点データ生成装置１００を構成する各部の動作を統括的に制御する。また、制御部１は、ＲＯＭ４又は記憶部６に予め記憶された所定のプログラムとの協働により、後述する各機能部の機能を実現させる。
【００１７】
操作部２は、マウスやキーボード等の入力デバイスであって、ユーザから操作入力された情報を指示信号として受け付け、その指示信号を制御部１に出力する。
【００１８】
表示部３は、ＬＣＤ（Liquid  Crystal  Display）等の表示デバイスと、レンチキュラーレンズ等の光線制御素子と、を有し、後述する表示制御部１７の制御により所定の視点数分の立体映像を表示する３次元表示装置である。
【００１９】
図２は、表示部３の構造を概略的に示した斜視図である。ここでは、視点数ｎ＝９の場合を例として説明する。図２に示したように、表示部３では、サブ画素３０１がマトリクス状に配列された表示面の前面に、光線制御素子として光学開口が垂直方向に延びるシリンドリカルレンズからなるレンチキュラー板３０３が配置されている。
【００２０】
表示面には、縦横比が３：１のサブ画素３０１が横方向に直線状に１行に並び、各サブ画素３０１は同一行内で横方向に赤（Ｒ）、緑（Ｇ）、青（Ｂ）が交互に並ぶように配列されている。一方、垂直方向にも直線上に一列に並んでおり、これも同一列内でＲ、Ｇ、Ｂが交互に並ぶように配列されている。サブ画素行の縦周期（３Ｐｐ）は、サブ画素３０１の横周期Ｐｐの３倍である。
【００２１】
一般的なカラー画像表示装置においては、横に並んだＲＧＢの３つのサブ画素３０１で１実効画素、即ち、輝度と色とが任意に設定できる最小単位が構成されることから、サブ画素は縦横比が３：１となっている。図２の表示面では、縦に並んだＲＧＢの３つのサブ画素３０１で１実効画素３０２（黒枠で示される）が構成される。
【００２２】
光線制御素子であるレンチキュラー板３０３のシリンドリカルレンズは、実効画素３０２のほぼ正面に配置される。なお、シリンドリカルレンズの水平ピッチ（Ｐｓ）は、表示面内に配列されたサブ画素の横周期（Ｐｐ）の９倍となっている。このような構成により、シリンドリカルレンズ越しに拡大されて見えるサブ画素が、水平位置の観察位置の変動に応じて切り替わる。すなわち、実効画素３０２に表示される視差画像の見え方が切り替わることで、観察者に立体映像を視認させることができる。
【００２３】
図１に戻り、ＲＯＭ４は、多視点データ生成装置１００の制御にかかるプログラムや各種設定情報等を書き換え不可能に記憶する。
【００２４】
ＲＡＭ５は、ＳＤＲＡＭ等の揮発性記憶デバイスであって、制御部１の作業エリアやビデオメモリとして機能する。具体的には、後述する多視点フレーム深度値保持部５１、多視点フレーム色情報保持部５２として機能する他、多視点データの生成に係る処理時において各種変数やパラメータの値を一時記憶するバッファ等の役割を果たす。
【００２５】
記憶部６は、磁気的又は光学的に記録可能な記憶媒体を有し、多視点データ生成装置１００の制御にかかるプログラムや各種情報を書き換え可能に記憶する。具体的に、記憶部６は、後述する奥行き判定条件式６１等を記憶している。
【００２６】
通信部７は、外部装置との間で通信を行うインターフェイスであって、受信した各種情報を制御部１に出力し、また、制御部１から出力される各種情報を外部装置へと送信する。
【００２７】
図３は、制御部１とＲＯＭ４又は記憶部６に予め記憶された所定のプログラムとの協働により実現される、多視点データ生成装置１００の機能的構成を示した図である。同図に示したように、多視点データ生成装置１００は、フレーム画素インデックス生成部１１、多視点色情報生成部１２、多視点深度値生成部１３、多視点深度パラメータ配列生成部１４、多視点深度値復元部１５、多視点奥行き判定部１６、表示制御部１７を備えている。また、ＲＡＭ５により多視点フレーム深度値保持部５１、多視点フレーム色情報保持部５２の機能が実現されている。また、記憶部６に奥行き判定条件式６１が記憶されている。
【００２８】
多視点データ生成装置１００では、多視点データの生成に先立ち、後述する多視点カメラ情報９１が、フレーム画素インデックス生成部１１、多視点色情報生成部１２及び多視点深度値生成部１３に入力されるようになっている。また、後述する形状データ９２が、多視点色情報生成部１２及び多視点深度値生成部１３に入力されるようになっている。なお、多視点カメラ情報９１及び形状データ９２の入力に係る態様は、特に問わないものとする。例えば、通信部７を介して外部装置から入力される態様としてもよい。また、多視点カメラ情報９１及び形状データ９２を記憶部６に予め記憶しておき、当該記憶部６から読み出されることで、各機能部に入力される態様としてもよい。
【００２９】
まず、図４〜６を参照して、多視点カメラ情報９１について説明する。図４は、多視点カメラ情報９１の一例を示した図である。立体映像を提示するための多視点データの生成には、各フレームについて複数の視点からＣＧ画像を描画する必要がある。そのため、多視点カメラ情報９１には各視点位置に対応する複数のカメラに関する情報（カメラ情報）が含まれている。なお、本実施形態では、水平方向は平行射影レンズシフトカメラ、垂直方向は透視射影カメラが用いられるものとするが、これに限らず、３次元ディスプレイの仕様に応じて変更することが可能であるものとする。
【００３０】
図４に示したように、多視点カメラ情報９１には、総視点数に対応するカメラの総数Ｎｃが定義されている。また、カメラの撮影位置を表すカメラ視点位置Ｃｎ、カメラの向きを示すための注視点位置Ｌｎ、カメラの天地（上下）方向を表す上方向ベクトルＵｎが、カメラ毎に定義されている。
【００３１】
また、多視点カメラ情報９１には、フレームの縦方向の画素数Ｆｈｅｉｇｈｔと、横方向の画素数Ｆｗｉｄｔｈと、がフレーム画素数として定義されている。また、全てのカメラで共通の垂直方向の画角Ａと、水平方向の画角サイズＷが定義されている。なお、水平方向の画角サイズＷは、フレームの水平方向に射影される幅を表すものである。
【００３２】
図５、６は、多視点カメラ情報９１に含まれた各情報を説明するための図である。ここで、図５は、カメラの真上方向から見たＸＺ平面について表した図である。また、図６は、カメラの横方向から見たＹＺ平面について表した図である。
【００３３】
図５、６では、Ｎｃ台のカメラのうち、ｍ番目とｎ番目の２つのカメラのカメラ視点位置Ｃｍ、Ｃｎと、各カメラの撮影領域となるフレームとの関係を示している。この例では、フレームがＸＹ平面上に存在する場合を想定ており、その中心位置を原点Ｏとしている。また、各カメラの視点位置はＸＺ平面に存在するものとし、夫々Ｃｍ＝（Ｃｍｘ，０，Ｄ）、Ｃｎ＝（Ｃｎｘ，０，Ｄ）となっている。ここで、「Ｄ」はフレームとカメラとの距離のＺ成分を表している。つまり、フレームの垂直方向の画角サイズは、２×Ｄｔａｎ（Ａ／２）で表される。
【００３４】
カメラ視点位置Ｃｍ、Ｃｎと、フレームとの配置関係から導き出される、水平方向（Ｘ軸方向）の画角サイズＷは、平行射影レンズシフトカメラを用いることから、図５のように表される。また、垂直方向（Ｙ軸方向）の画角Ａは、透視射影カメラを用いることから、図６のように表される。なお、全てのカメラの注視点位置Ｌｎを原点Ｏとし、全てのカメラの上方向ベクトルをＵ０＝Ｕ１…Ｕｍ＝Ｕｎ…＝Ｕ（０，１，０）としている。
【００３５】
次に、図７を参照して、形状データ９２について説明する。図７は、形状データ９２の一例を概念的に示した図である。図７に示したように、形状データ９２には、多角形からなるポリゴンの集合により表されるＣＧオブジェクト９２１、ＣＧオブジェクト９２１のポリゴン表面にマッピングされるテクスチャ画像９２２、ＣＧオブジェクト９２１の基準スケールとなる基準フレーム９２３等が定義されている。
【００３６】
図７の例では、基準フレーム９２３はＸＹ平面上に存在しており、その四隅の点をＢ０、Ｂ１、Ｂ２、Ｂ３で表している。また、ＣＧオブジェクト９２１は、基準フレーム９２３上の３次元空間に存在しており、その形状はＺ軸方向に凸形となっている。
【００３７】
ここで、ＣＧオブジェクト９２１が表す立体形状、テクスチャ画像９２２が表す表面画像は、表示部３により提示させる立体映像に対応するものである。なお、ＣＧオブジェクト９２１の形状やテクスチャ画像９２２の色彩、模様は任意に設定することができるものとする。また、形状データ９２により定義される立体物は１つに限らず、複数個分の立体物が定義された態様としてもよい。また、入力される形状データの個数は１つに限らず、複数個の形状データが順次入力される態様としてもよい。この場合、形状データの入力毎に後述する多視点色情報生成処理、多視点深度値生成処理が行われるものとする。
【００３８】
図３に戻り、フレーム画素インデックス生成部１１は、多視点カメラ情報９１を入力とし、多視点カメラ情報９１に基づいて、フレームに含まれた各画素の座標成分（インデックス）を順次生成し、フレーム画素インデックスＦｉ（Ｆｉ＝（Ｐｘ，Ｐｙ））として多視点色情報生成部１２及び多視点深度値生成部１３に順次出力する。
【００３９】
具体的に、フレーム画素インデックス生成部１１は、上述した多視点カメラ情報９１に定義されたフレームの画素数（Ｆｗｉｄｔｈ，Ｆｈｅｉｇｈｔ）を参照し、このフレームに含まれる全画素分のインデックスを順次生成し、出力する。例えば、（Ｆｗｉｄｔｈ，Ｆｈｅｉｇｈｔ）＝（３２０，２４０）の場合には、フレームの左上に相当する（Ｐｘ，Ｐｙ）＝（０，０）から、フレームの右下に相当する（Ｐｘ，Ｐｙ）＝（３１９，２３９）まで順に、（Ｐｘ，Ｐｙ）＝（０，０），…，（３１９，０），（０，１），…，（３１９，１），…，（０，２３９），…，（３１９，２３９）を、フレーム画素インデックスＦｉとして１つずつ出力する。
【００４０】
多視点色情報生成部１２は、多視点カメラ情報９１、形状データ９２及びフレーム画素インデックスＦｉを入力とし、これら各情報に基づいて、フレーム画素インデックスＦｉを、形状データ９２に定義された基準フレーム９２３上に写像したフレーム画素インデックス対応点Ｆｐを導出する。
【００４１】
また、多視点色情報生成部１２は、フレーム画素インデックス対応点Ｆｐと各カメラ視点位置Ｃｎとを結ぶ直線が、形状データ９２に定義されたＣＧオブジェクト９２１のポリゴン面と交わる交点Ｑｎを夫々導出する。
【００４２】
また、多視点色情報生成部１２は、導出した各交点Ｑｎ、即ち各カメラ視点位置Ｃｎについての色情報（多視点色情報）Ｃｏｌｏｒ（ｎ）を求め、入力されたフレーム画素インデックスＦｉと対応付けて多視点奥行き判定部１６に出力する。
【００４３】
以下、図８、９を参照して、多視点色情報生成部１２の動作について説明する。ここで図８は、多視点色情報生成部１２により実行される多視点色情報生成処理の手順を示したフローチャートである。また、図９は、図７で示した形状データ９２に、多視点色情報生成処理を施した結果を説明するための図である。なお、ここで説明する多視点色情報生成処理は、一般的なレイトレーシング処理を各視点位置のカメラについて行うものである。
【００４４】
まず、多視点色情報生成部１２は、形状データ９２の基準フレーム９２３に基づいて、フレーム画素インデックスＦｉを、基準フレーム９２３上に写像した座標Ｆｐ（Ｆｐ＝（Ｆｘ，Ｆｙ，Ｆｚ））を導出する（ステップＳ１１）。以下、座標Ｆｐを、フレーム画素インデックス対応点Ｆｐという。
【００４５】
例えば、形状データ９２が図９で示した状態にある場合、基準フレーム９２３面はＸＹ平面に存在するため、フレーム画素インデックス対応点Ｆｐのｚ成分（Ｆｚ）は０となる。このような場合、フレーム画素インデックス対応点Ｆｐは下記（１）式を用いることで導出することができる。
【００４６】
【数１】
2009080578.tif 000003
【００４７】
次いで、多視点色情報生成部１２は、カメラ視点位置Ｃｎを計数するための変数ｎに０を代入し、変数ｎの初期化を行う（ステップＳ１２）。
【００４８】
続いて、多視点色情報生成部１２は、多視点カメラ情報９１と形状データ９２とに基づいて、変数ｎの値に対応するカメラ視点位置Ｃｎとフレーム画素インデックス対応点Ｆｐとを結ぶ直線が、形状データ９２に定義されたＣＧオブジェクト９２１のポリゴン面と、の交わる交点Ｑｎ（Ｑｎ＝（Ｑｎｘ，Ｑｎｙ，Ｑｎｚ））を導出する（ステップＳ１３）。
【００４９】
図９を用いてステップＳ１３の処理を説明する。図９に示したように、カメラ視点位置Ｃｎと、フレーム画素インデックス対応点Ｆｐと、が図中示した位置に存在しているとする。この時、多視点色情報生成部１２は、カメラ視点位置Ｃｎとフレーム画素インデックス対応点Ｆｐとを結んだ直線と、ＣＧオブジェクト９２１を構成するポリゴン面と、の交点を求め、交点Ｑｎとする。なお、交点が複数存在する場合には、カメラ視点位置Ｃｎとフレーム画素インデックス対応点Ｆｐとの距離が最も小さくなる交点を１つ求め、この点をＱｎとする。
【００５０】
図８に戻り、多視点色情報生成部１２は、形状データ９２に定義されたテクスチャ画像９２２を、ステップＳ１３で導出した交点Ｑｎの位置についてサンプリングし、このＱｎの位置に応じた色情報、即ち、カメラ視点位置Ｃｎに応じた色情報Ｃｏｌｏｒ（ｎ）を導出する（ステップＳ１４）。ここで、色情報は赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各成分から構成されるものとする。即ち、Ｃｏｌｏｒ（ｎ）＝（ＣｏｌｏｒＲ（ｎ）、ＣｏｌｏｒＧ（ｎ）、ＣｏｌｏｒＢ（ｎ））である。
【００５１】
次いで、多視点色情報生成部１２は、変数ｎの値を１加算し（ステップＳ１５）、変数ｎの値がカメラ総数Ｎｃに到達したか否かを判定する（ステップＳ１６）。ここで、ｎ＜Ｎｃと判定した場合には（ステップＳ１６；Ｎｏ）、ステップＳ１３へと再び戻り、次の視点位置について交点Ｑｎを導出する。
【００５２】
また、ステップＳ１６において、ｎ＝Ｎｃと判定した場合には（ステップＳ１６；Ｙｅｓ）、多視点色情報生成部１２は、フレーム画素インデックスＦｉと、各カメラ視点位置Ｃｎについての色情報Ｃｏｌｏｒ（ｎ）と、を対応付けた（Ｆｉ，（Ｃｏｌｏｒ（０），Ｃｏｌｏｒ（１），…，Ｃｏｌｏｒ（Ｎｃ−１））を多視点奥行き判定部１６に出力し（ステップＳ１７）、本処理を終了する。以下、各カメラ視点位置Ｃｎについての色情報Ｃｏｌｏｒ（ｎ）の集合を、多視点色情報という。
【００５３】
図３に戻り、多視点深度値生成部１３は、多視点カメラ情報９１、形状データ９２及びフレーム画素インデックスＦｉを入力とし、これら各情報に基づいて、上述したフレーム画素インデックス対応点Ｆｐを導出する。
【００５４】
また、多視点深度値生成部１３は、フレーム画素インデックス対応点Ｆｐと、各カメラ視点位置Ｃｎとを結ぶ直線が、形状データ９２に定義されたＣＧオブジェクト９２１のポリゴン面と交わる交点Ｑｎを導出する。
【００５５】
また、多視点深度値生成部１３は、導出した各交点Ｑｎについての深度値ｄｎを求め、フレーム画素インデックスＦｉと対応付けて多視点深度パラメータ配列生成部１４に出力する。
【００５６】
以下、図１０を参照して、多視点深度値生成部１３の動作について説明する。図１０は、多視点深度値生成部１３により実行される多視点深度値生成処理の手順を示したフローチャートである。なお、ここで説明する多視点深度値生成処理は、上述した多視点色情報生成処理と同様、一般的なレイトレーシング処理を各視点位置のカメラについて行うものである。
【００５７】
まず、多視点深度値生成部１３は、形状データ９２に基づいて、フレーム画素インデックスＦｉを、形状データ９２に定義された基準フレーム９２３上に写像した座標Ｆｐ、即ち、フレーム画素インデックス対応点Ｆｐを導出する（ステップＳ２１）。ここで、フレーム画素インデックス対応点Ｆｐの導出方法は、上述した多視点色情報生成部１２の方法と同様であるため詳細な説明は省略する。
【００５８】
次いで、多視点深度値生成部１３は、カメラ視点位置Ｃｎを計数するための変数ｎに０を代入し、変数ｎの初期化を行う（ステップＳ２２）。
【００５９】
続いて、多視点深度値生成部１３は、多視点カメラ情報９１と形状データ９２とに基づいて、変数ｎの値に対応するカメラ視点位置Ｃｎとフレーム画素インデックス対応点Ｆｐとを結ぶ直線が、形状データ９２に定義されたポリゴン面と交わる点を導出し、この点を交点Ｑｎとする（ステップＳ２３）。なお、交点が複数存在する場合には、カメラ視点位置Ｃｎと、フレーム画素インデックス対応点Ｆｐとの距離が最も小さくなる交点を１つ求め、この点を交点Ｑｎとする。
【００６０】
次に、多視点深度値生成部１３は、形状データ９２に定義された基準フレーム９２３上の３次元空間における交点Ｑｎの深度値ｄｎを、奥行き判定の基準となる基準軸に基づいて導出する（ステップＳ２４）。
【００６１】
例えば、形状データ９２が図９で示した状態である場合、Ｚ軸を基準にＣＧオブジェクト９２１の奥行きを表すことができる。この場合、ＱｎのＺ成分が深度値となるため、Ｑｎ＝（Ｑｎｘ，Ｑｎｙ，Ｑｎｚ）のＺ成分の符号を反転した「−Ｑｎｚ」が深度値ｄｎとして導出される。この場合、視点に近い点は深度値が小さく、視点から遠ざかるほど深度値が大きくなる。
【００６２】
図１０に戻り、多視点深度値生成部１３は、変数ｎの値を１増やし（ステップＳ２５）、変数ｎの値がカメラ総数Ｎｃに到達したか否かを判定する（ステップＳ２６）。ここで、ｎ＜Ｎｃと判定した場合には（ステップＳ２６；Ｎｏ）、ステップＳ２３へと再び戻り、次の視点位置について交点Ｑｎを導出する。
【００６３】
また、ステップＳ２６において、ｎ＝Ｎｃと判定した場合には（ステップＳ２６；Ｙｅｓ）、多視点深度値生成部１３は、フレーム画素インデックスＦｉと、各交点Ｑｎに応じた深度値、即ち、各カメラ視点位置Ｃｎについての深度値ｄｎと、を対応付けた（Ｆｉ，（ｄ０，ｄ１，…，ｄＮｃ−１））を多視点深度パラメータ配列生成部１４に出力し（ステップＳ２７）、本処理を終了する。以下、各カメラ視点位置Ｃｎについての深度値ｄｎの集合を、多視点深度値という。
【００６４】
なお、上述したステップＳ２１、Ｓ２３の処理により導出されるフレーム画素インデックス対応点Ｆｐ及び交点Ｑｎは、上述した多視点色情報生成処理のステップＳ１１、Ｓ１３で導出されるフレーム画素インデックス対応点Ｆｐ及び交点Ｑｎと同値となる。そのため、何れか一方の処理で求めたフレーム画素インデックス対応点Ｆｐ及び交点Ｑｎを、他方の処理で利用する態様としてもよい。
【００６５】
図３に戻り、多視点深度パラメータ配列生成部１４は、多視点深度値生成部１３から出力されたフレーム画素インデックスＦｉと多視点深度値との組みを入力とし、各カメラ視点位置Ｃｎと多視点深度値に含まれた一連の深度値ｄｎとが表すグラフを、関数Ｄ（ｎ）で定義する。
【００６６】
また、多視点深度パラメータ配列生成部１４は、関数Ｄ（ｎ）を近似式で表した関数Ｅ（ｎ）を導出し、この関数Ｅ（ｎ）に含まれる各パラメータの組を深度パラメータ配列とし、フレーム画素インデックスＦｉと対応付けて多視点深度値復元部１５に出力する。
【００６７】
以下、図１１、１２を参照して、多視点深度パラメータ配列生成部１４の動作について説明する。図１１は、多視点深度パラメータ配列生成部１４により実行される深度パラメータ配列生成処理の手順を示したフローチャートである。
【００６８】
まず、多視点深度パラメータ配列生成部１４は、多視点深度値に含まれた一連の深度値ｄｎを、各カメラ視点位置に対応する視点インデックスｎを変数とした関数Ｄ（ｎ）で定義する（ステップＳ３１）。次いで、多視点深度パラメータ配列生成部１４は、ステップＳ３１で定義した関数Ｄ（ｎ）の近似式となる関数Ｅ（ｎ）を導出し、関数Ｅ（ｎ）を構成するパラメータの組みを生成する（ステップＳ３２）。
【００６９】
図１２は、深度パラメータ配列生成処理のステップＳ３１、Ｓ３２の処理を説明するための図である。図１２において、縦軸は深度値を表しており、横軸はカメラ視点位置Ｃｎ（０≦ｎ≦Ｎｃ−１）を表している。ここで、多視点深度値に含まれた深度値ｄｎの配列が、図中白丸で示した状態にあるものとする。ステップＳ３１の処理では、これら白丸の各点をｎの昇順に結ぶことで表されるグラフを、各カメラ視点位置を表す視点インデックスｎを変数とした関数Ｄ（ｎ）で定義する（図中、白丸を結ぶ破線に対応）。
【００７０】
続くステップＳ３２の処理では、関数Ｄ（ｎ）の近似式となる関数Ｅ（ｎ）のパラメータの組みを求める。例えば、関数Ｅ（ｎ）を、複数の制御点Ｐｎ＝（ｔ（ｎ），ｒ（ｎ））の接続から構成される区分１次式、つまり折れ線関数であるとすると、関数Ｅ（ｎ）のパラメータは、（ｔ（ｎ），ｒ（ｎ））となる。
【００７１】
図１２の実線で示したグラフは、制御点Ｐｎの個数を４とした場合の関数Ｅ（ｎ）を示しており、各制御点Ｐ１〜Ｐ４の成分を（ｔ（０），ｒ（０）），（ｔ（１），ｒ（１）），（ｔ（２），ｒ（２）），（ｔ（３），ｒ（３））としている。ここで、ｔ（ｎ）は視点インデックスであって、各カメラ視点位置Ｃｎに対応するものである。また、ｒ（ｎ）はｔ（ｎ）に対応する深度値ｄｎを表すものである。
【００７２】
図１２では、制御点Ｐ１のｔ（０）をカメラ視点位置Ｃ０（ｔ（０）＝０）、制御点Ｐ２のｔ（１）をカメラ視点位置Ｃ２（ｔ（１）＝２）、制御点Ｐ３のｔ（２）をカメラ視点位置ＣＮｃ−３（ｔ（２）＝Ｎｃ−３）、制御点Ｐ４のｔ（３）をカメラ視点位置ＣＮｃ−１（ｔ（３）＝Ｎｃ−１）としている。つまり、Ｎｃ−１個あった深度値ｄｎの組みが表すグラフを、４つの制御点の接続で構成した折れ線関数で近似した例を示している。
【００７３】
なお、深度パラメータ配列（ｔ（ｎ），ｒ（ｎ））の各値の導出方法は特に問わないものとするが、例えば、次の方法を用いることができる。まず、制御点の個数Ｎｐを予め定めておき、ｔ（０），ｔ（１），…，ｔ（Ｎｐ−１）を視点インデックス０から視点インデックスＮｃ−１の間で割当てる。次いで、ｒ（０）＝Ｄ（０）、ｒ（Ｎｐ−１）＝Ｄ（Ｎｃ−１）とし、ｒ（１）からｒ（Ｎｐ−２）までを、下記（２）式を満たす値を採用する。ここで、ｋは０以上の整数である。
【００７４】
【数２】
2009080578.tif 000004
【００７５】
なお、ｔ（ｎ）のカメラ視点位置への割り当て方法は、特に問わないものとする。例えば、各深度値の変化量が微量な範囲では等間隔に割り当てる態様としてもよいし、深度値ｄｎの変化の強弱に応じて割り当てる個数を変化させる態様としてもよい。
【００７６】
図１１に戻り、ステップＳ３３では、多視点深度パラメータ配列生成部１４は、フレーム画素インデックスＦｉと、深度パラメータ配列（ｔ（ｎ），ｒ（ｎ））と、を対応付けた（Ｆｉ，（ｔ（０），ｒ（０））、（ｔ（１），ｒ（１）），…）を多視点深度値復元部１５に出力し（ステップＳ３３）、本処理を終了する。
【００７７】
このように、本深度パラメータ配列生成処理では、各カメラ視点位置Ｃｎについての深度値ｄｎを、関数Ｅ（ｎ）のパラメータの組みに変換することで、各視点位置について画素単位での深度値を少ないデータ量で表すことができる。
【００７８】
なお、本実施形態では、関数Ｄ（ｎ）の近似式を表す関数Ｅ（ｎ）を１次式の集合としたが、これに限らず、ベジェ関数やスプライン関数を用いる態様としてもよく、次数も２次、３次等の高次の関数を用いることとしてもよい。
【００７９】
図３に戻り、多視点深度値復元部１５は、多視点深度パラメータ配列生成部１４から出力されたフレーム画素インデックスＦｉと深度パラメータ配列との組を入力とし、各カメラ視点位置を表す視点インデックスｎについて、関数Ｅ（ｎ）の値を配列した深度値配列を生成する。
【００８０】
また、多視点深度値復元部１５は、生成した深度値配列を、フレーム画素インデックスＦｉと対応付けて多視点奥行き判定部１６に出力する。
【００８１】
以下、図１３を参照して、多視点深度値復元部１５の動作について説明する。図１３は、多視点深度値復元部１５により実行される深度値復元処理の手順を示したフローチャートである。
【００８２】
まず、多視点深度値復元部１５は、入力された深度パラメータ配列（ｔ（ｎ），ｒ（ｎ））に基づき、各カメラ視点位置Ｃｎに対応する各視点インデックスｎについて関数Ｅ（ｎ）の値を算出し、その値を配列した深度値配列（Ｅ（０），Ｅ（１），…，Ｅ（Ｎｃ−１））を生成する（ステップＳ４１）。
【００８３】
次いで、多視点深度値復元部１５は、フレーム画素インデックスＦｉと、深度値配列（Ｅ（０），Ｅ（１），…，Ｅ（Ｎｃ−１））と、を対応付けた（Ｆｉ，（Ｅ（０），Ｅ（１），…，Ｅ（Ｎｃ−１）））を、多視点奥行き判定部１６に出力し（ステップＳ４２）、本処理を終了する。
【００８４】
図３に戻り、多視点奥行き判定部１６は、フレーム画素インデックスＦｉに対応付けられた多視点色情報と、深度値配列と、を入力とし、各カメラ視点位置Ｃｎについて、深度値配列に含まれた深度値Ｅ（ｎ）と、多視点フレーム深度値保持部５１に保持された深度値との関係を後述する奥行き判定条件式６１に代入し、その真偽を判定する。
【００８５】
また、多視点奥行き判定部１６は、奥行き判定条件式６１による判定結果が真であった場合に、入力された深度値Ｅ（ｎ）を、当該深度値Ｅ（ｎ）のフレーム画素インデックスＦｉ及びカメラ視点位置Ｃｎに対応する後述する描画用フレームの画素と対応付けて多視点フレーム深度値保持部５１に保持（記憶）させる。また、多視点奥行き判定部１６は、この深度値Ｅ（ｎ）のフレーム画素インデックスＦｉ及びカメラ視点位置Ｃｎに対応する多視点色情報に含まれた色情報を、当該色情報のフレーム画素インデックスＦｉ及びカメラ視点位置Ｃｎに対応する描画用フレームの画素と対応付けて多視点フレーム色情報保持部５２に保持（記憶）させる。
【００８６】
ここで、多視点フレーム深度値保持部５１は、フレームバッファにおけるＺバッファに相当するバッファ領域であって、カメラ視点位置Ｃｎ毎に確保された描画用フレームについて、各描画用フレームに含まれるフレーム画素インデックスＦｉに対応する画素単位で深度値を保持（記憶）する。また、多視点フレーム色情報保持部５２は、フレームバッファにおけるカラーバッファに相当するバッファ領域であって、カメラ視点位置Ｃｎ毎に確保された描画用フレームについて、各描画用フレームに含まれるフレーム画素インデックスＦｉに対応する画素単位で色情報を保持（記憶）する。
【００８７】
以下、図１４を参照して、多視点奥行き判定部１６の動作について説明する。図１４は、多視点奥行き判定部１６により実行される奥行き判定処理の手順を示したフローチャートである。
【００８８】
なお、本処理の前提として、多視点フレーム深度値保持部５１の各描画用フレームに含まれる全ての画素に対し、無限遠点を示す深度値が予め保持されているものとする。また、多視点フレーム色情報保持部５２の各描画用フレームに含まれる全ての画素に対し、描画時の背景色（例えば、透明）を示す色情報が予め保持されているものとする。
【００８９】
まず、多視点奥行き判定部１６は、カメラ視点位置Ｃｎを計数するための変数ｎに０を代入する（ステップＳ５１）。次いで、多視点奥行き判定部１６は、多視点フレーム深度値保持部５１に保持されたカメラ視点位置Ｃｎに対応する描画用フレームの、フレーム画素インデックスＦｉに対応する画素の深度値を読み出し、変数ｕに代入する（ステップＳ５２）。
【００９０】
続いて、多視点奥行き判定部１６は、今回処理の対象となったフレーム画素インデックスＦｉのカメラ視点位置Ｃｎに対応する深度値Ｅ（ｎ）と、変数ｕと、を奥行き判定条件式６１に代入し（ステップＳ５３）、この奥行き判定条件式６１の条件を満たすか否かを判定する（ステップＳ５４）。
【００９１】
ここで、奥行き判定条件式６１は、変数ｎの値に対応するカメラ視点位置Ｃｎから見た、変数ｕと深度値Ｅ（ｎ）との奥行きに関する前後関係を判定するための関係式である。例えば、多視点フレーム深度値保持部５１に保持される値が小さいほど、画素がカメラ視点位置に近いことを表すのであれば、奥行き判定条件式６１は「Ｅ（ｎ）＜ｕ」とすればよい。なお、本実施形態では、奥行き判定条件式６１として「Ｅ（ｎ）＜ｕ」の条件式を用いるものとするが、この例に限らないものとする。
【００９２】
ステップＳ５４において、奥行き判定条件式６１が偽、即ち、「Ｅ（ｎ）≧ｕ」の場合には（ステップＳ５４；Ｎｏ）、ステップＳ５７の処理に直ちに移行する。一方、ステップＳ５４において、奥行き判定条件式６１が真、即ち、「Ｅ（ｎ）＜ｕ」の場合には（ステップＳ５４；Ｙｅｓ）、ステップＳ５５の処理へと移行する。
【００９３】
続くステップＳ５５では、多視点奥行き判定部１６は、多視点フレーム深度値保持部５１のカメラ視点位置Ｃｎに対応する描画用フレームの、フレーム画素インデックスＦｉに対応する画素の深度値にＥ（ｎ）を代入し、この値を保持させる（ステップＳ５５）。
【００９４】
次いで、多視点奥行き判定部１６は、多視点フレーム色情報保持部５２のカメラ視点位置Ｃｎに対応する描画用フレームの、フレーム画素インデックスＦｉに対応する画素の色情報にＣｏｌｏｒ（ｎ）を代入し、この値を保持させる（ステップＳ５６）。
【００９５】
続いて、多視点奥行き判定部１６は、変数ｎの値を１加算し（ステップＳ５７）、変数ｎの値がカメラ総数Ｎｃに到達したか否かを判定する（ステップＳ５８）。ここで、ｎ＜Ｎｃと判定した場合には（ステップＳ５８；Ｎｏ）、ステップＳ５２へと再び戻る。また、ステップＳ５８において、ｎ＝Ｎｃと判定した場合には（ステップＳ５８；Ｙｅｓ）、本処理を終了する。
【００９６】
図３に戻り、表示制御部１７は、多視点フレーム色情報保持部５２に保持された各カメラ視点位置に対応する描画用フレームの画素単位の色情報に基づいて、カメラ視点位置Ｃｎの数に応じた視差画像分、即ち、フレーム全体分の多視点データを生成する。
【００９７】
また、表示制御部１７は、生成した多視点データを３次元表示装置である表示部３に表示させることで、形状データ９２に応じた立体映像の提示を行う。
【００９８】
次に、図１５を用いて、多視点データ生成装置１００の各機能部により実行される多視点データ生成処理について説明する。ここで、図１５は、多視点データ生成処理の手順を示したフローチャートである。
【００９９】
まず、多視点カメラ情報９１と形状データ９２とが入力されると、フレーム画素インデックス生成部１１は、多視点カメラ情報９１に含まれたフレームの画素数に関する情報に基づいて、フレーム画素インデックスＦｉを生成し、多視点色情報生成部１２及び多視点深度値生成部１３に出力する（ステップＳ６１）。
【０１００】
次いで、多視点色情報生成部１２は、多視点カメラ情報９１と、形状データ９２と、フレーム画素インデックスＦｉと、に基づいて、図８で説明した多視点色情報生成処理を実行し、フレーム画素インデックスＦｉと多視点色情報とを組みにした情報を、多視点奥行き判定部１６に出力する（ステップＳ６２）。
【０１０１】
また、多視点深度値生成部１３は、多視点カメラ情報９１と、形状データ９２と、フレーム画素インデックスＦｉと、に基づいて、図１０で説明した多視点深度値生成処理を実行し、フレーム画素インデックスＦｉと多視点深度値とを組みにした情報を、多視点深度パラメータ配列生成部１４に出力する（ステップＳ６３）。
【０１０２】
続いて、多視点深度パラメータ配列生成部１４は、多視点深度値生成部１３から入力された情報に基づいて、図１１で説明した深度パラメータ配列生成処理を実行し、フレーム画素インデックスＦｉと深度パラメータ配列とを組みにした情報を、多視点深度値復元部１５に出力する（ステップＳ６４）。
【０１０３】
次に、多視点深度値復元部１５は、多視点深度パラメータ配列生成部１４から入力された情報に基づいて、図１３で説明した深度値復元処理を実行し、フレーム画素インデックスＦｉと深度値配列とを組みにした情報を、多視点奥行き判定部１６に出力する（ステップＳ６５）。
【０１０４】
次いで、多視点奥行き判定部１６は、多視点深度値復元部１５から入力された情報に基づいて、図１４で説明した奥行き判定処理を実行し、カメラ視点位置Ｃｎ毎のフレームについて、各フレーム画素インデックスＦｉに対応する画素の深度値を多視点フレーム深度値保持部５１に保持させるとともに、各フレーム画素インデックスＦｉに対応する画素の色情報を多視点フレーム色情報保持部５２に保持させる（ステップＳ６６）。
【０１０５】
そして、表示制御部１７は、多視点フレーム色情報保持部５２に保持されたカメラ視点位置Ｃｎ毎の描画用フレームに含まれた画素単位の色情報を元に、カメラ視点位置Ｃｎの総数に応じた多視点データを生成する（ステップＳ６７）。そして、表示制御部１７は、この多視点データを表示部３に表示させることで形状データ９２に応じた立体映像を提示し（ステップＳ６８）、本処理を終了する。
【０１０６】
以上のように、本実施形態によれば、ＣＧオブジェクト９２１の形状データ９２に対し、各視点位置について画素単位での深度値を、近似式である関数Ｅ（ｎ）のパラメータを配列した深度パラメータ配列の状態で取り扱う。これにより、使用するメモリ量を削減できるとともに、演算処理量にかかる負荷を抑えることが可能となり、各視点位置について画素単位での深度値を効率的に導出することができる。
【０１０７】
また、深度パラメータ配列から深度値を復元した後、各視点位置について画素単位での奥行き判定を行い、この判定結果より得られた各視点位置について画素単位での色情報に基づいて描画した多視点データを表示部３に表示する。これにより、高精度な立体映像を提示することができるとともに、近似の精度を視認により確認することが可能である。
【０１０８】
［第２の実施形態］
次に、第２の実施形態の多視点データ生成装置について説明する。なお、上述した第１の実施形態と同様の構成については、同一の符号を付与しその説明を省略する。
【０１０９】
第１の実施形態では、入力された多視点カメラ情報９１及び形状データ９２に基づいて、フレーム単位の多視点データを生成する態様を説明した。本実施形態では、スプライト単位の多視点データを生成する多視点データ生成装置２００について説明する。
【０１１０】
図１６は、制御部１とＲＯＭ４又は記憶部６に予め記憶された所定のプログラムとの協働により実現される、多視点データ生成装置２００の機能的構成を示した図である。図１６に示したように、多視点データ生成装置２００は、スプライト画素インデックス生成部２１、多視点色情報生成部２２、多視点深度値生成部２３、多視点深度パラメータ配列生成部２４、統合多視点スプライトデータ保持制御部２５を備えている。また、ＲＡＭ５により統合多視点スプライトデータ保持部５３の機能が実現されている。
【０１１１】
多視点データ生成装置２００では、多視点カメラ情報９３が、スプライト画素インデックス生成部２１、多視点色情報生成部２２及び多視点深度値生成部２３に入力されるようになっている。また、形状データ９２が、多視点色情報生成部２２及び多視点深度値生成部２３に入力されるようになっている。
【０１１２】
ここで、多視点カメラ情報９３には、フレーム画素数（Ｆｗｉｄｔｈ、Ｆｈｅｉｇｈｔ）に替えて、スプライト領域の縦方向の画素数Ｓｈｅｉｇｈｔと、横方向の画素数Ｓｗｉｄｔｈと、を定義したスプライト画素数（Ｓｗｉｄｔｈ、Ｓｈｅｉｇｈｔ）が含まれているものとする。なお、フレーム＝スプライト領域とした場合には、第１の実施形態で用いる多視点カメラ情報９１と同様となることは言うまでもない。
【０１１３】
スプライト画素インデックス生成部２１は、多視点カメラ情報９３を入力とし、多視点カメラ情報９３に基づいて、スプライト領域上に存在する各画素のインデックスを生成し、スプライト画素インデックスＳｉ（Ｓｉ＝（Ｓｘ，Ｓｙ））として順次出力する。
【０１１４】
具体的に、スプライト画素インデックス生成部２１は、上述した多視点カメラ情報９３に含まれたスプライト領域の画素数（Ｓｗｉｄｔｈ，Ｓｈｅｉｇｈｔ）を参照し、スプライト領域に含まれた全画素の成分（スプライト画素インデック）を順次出力する。例えば、（Ｓｗｉｄｔｈ，Ｓｈｅｉｇｈｔ）＝（２００，１００）の場合には、スプライト領域の左上に相当する（Ｓｘ，Ｓｙ）＝（０，０）から、フレームの右下に相当する（Ｓｘ，Ｓｙ）＝（１９９，９９）まで順に、（Ｓｘ，Ｓｙ）＝（０，０），…，（１９９，０），（０，１），…，（１９９，１），…，（０，９９），…，（１９９，９９）を１つずつ出力する。
【０１１５】
多視点色情報生成部２２は、上述した多視点色情報生成部１２と同様の機能を有し、多視点カメラ情報９３、形状データ９２及びスプライト画素インデックスＳｉに基づいて、スプライト画素インデックスＳｉを、形状データ９２に定義された基準フレーム９２３上に写像したスプライト画素インデックス対応点Ｓｐを導出する。
【０１１６】
また、多視点色情報生成部２２は、スプライト画素インデックス対応点Ｓｐと、各カメラ視点位置Ｃｎとを結ぶ直線が、形状データ９２に定義されたＣＧオブジェクト９２１のポリゴン面と交わる交点Ｑｎを夫々導出する。
【０１１７】
また、多視点色情報生成部２２は、導出した各Ｑｎについての色情報Ｃｏｌｏｒ（ｎ）、即ち、多視点色情報を求め、スプライト画素インデックスＳｉと対応付けて統合多視点スプライトデータ保持制御部２５に出力する。
【０１１８】
なお、多視点色情報生成部２２により実行される多視点色情報生成処理は、第１の実施形態で説明した多視点色情報生成部１２の多視点色情報生成処理と同様であるため、その説明は省略する。
【０１１９】
多視点深度値生成部２３は、上述した多視点深度値生成部１３と同様の機能を有し、多視点カメラ情報９３、形状データ９２及びスプライト画素インデックスＳｉに基づいて、スプライト画素インデックス対応点Ｓｐを導出する。
【０１２０】
また、多視点深度値生成部２３は、スプライト画素インデックス対応点Ｓｐと、各カメラ視点位置Ｃｎとを結ぶ直線が、形状データ９２に定義されたＣＧオブジェクト９２１のポリゴン面と交わる交点Ｑｎを導出する。
【０１２１】
また、多視点深度値生成部１３は、導出した各交点Ｑｎについての深度値ｄｎ、即ち、多視点深度値を求め、スプライト画素インデックスＳｉと対応付けて多視点深度パラメータ配列生成部２４に出力する。
【０１２２】
なお、多視点深度値生成部２３により実行される多視点深度値生成処理は、第１の実施形態で説明した多視点深度値生成部１３の多視点深度値生成処理と同様であるため、その説明は省略する。
【０１２３】
多視点深度パラメータ配列生成部２４は、上述した多視点深度パラメータ配列生成部１４と同様の機能を有し、スプライト画素インデックスＳｉと多視点深度値との組みを入力とし、多視点深度値に含まれた一連の深度値ｄｎが表すグラフを、関数Ｄ（ｎ）で定義した後、この関数Ｄ（ｎ）を近似式で表わした関数Ｅ（ｎ）を導出する。
【０１２４】
また、多視点深度パラメータ配列生成部２４は、関数Ｅ（ｎ）に含まれる各パラメータの組を深度パラメータ配列とし、スプライト画素インデックスＳｉと対応付けて統合多視点スプライトデータ保持制御部２５に出力する。
【０１２５】
なお、多視点深度パラメータ配列生成部２４により実行される多視点深度パラメータ生成処理は、第１の実施形態で説明した多視点深度パラメータ配列生成部１４の多視点深度パラメータ生成処理と同様であるため、その説明は省略する。
【０１２６】
統合多視点スプライトデータ保持制御部２５は、多視点色情報生成部２２から出力されたスプライト画素インデックスＳｉと多視点色情報との組みと、多視点深度パラメータ配列生成部２４から出力されたスプライト画素インデックスＳｉと深度パラメータ配列とを入力とする。
【０１２７】
また、統合多視点スプライトデータ保持制御部２５は、所与の多視点スプライト名９４に対し、各スプライト画素インデックスＳｉと、対応する多視点色情報及び深度パラメータ配列と、を関係付けた統合多視点スプライトデータを、統合多視点スプライトデータ保持部５３に保持させる。ここで、統合多視点スプライトデータ保持部５３は、ＲＡＭ５の所定の記憶領域（ビデオメモリ等）である。なお、本実施形態では、ＲＡＭ５が統合多視点スプライトデータ保持部５３として機能する態様としたが、これに限らず、記憶部６が統合多視点スプライトデータ保持部５３として機能する態様としてもよい。また、多視点スプライト名９４は、通信部７を介し外部から入力される態様としてもよいし、統合多視点スプライトデータ保持制御部２５による統合多視点スプライトデータの生成時に自動的に付与される態様としてもよい。
【０１２８】
図１７は、統合多視点スプライトデータ保持部５３に保持された統合多視点スプライトデータ５３１のデータ構造を模式的に示した図である。図１７に示したように、統合多視点スプライトデータ５３１は、多視点スプライト名５３１１、スプライト画素インデックステーブル５３１２、多視点色情報テーブル５３１３、多視点深度パラメータ配列テーブル５３１４から構成されている。
【０１２９】
ここで、多視点スプライト名５３１１は、多視点スプライト名９４に対応するものであって、この統合多視点スプライトデータ５３１を識別するための識別情報となるものである。そのため、多視点スプライト名５３１１には、統合多視点スプライトデータ５３１毎に固有の文字列が付与されることが好ましい。
【０１３０】
スプライト画素インデックステーブル５３１２は、各スプライト画素インデックスＳｉが格納されるテーブルである。また、多視点色情報テーブル５３１３は、多視点色情報Ｃｏｌｏｒ（ｎ）が格納されるテーブルである。また、多視点深度パラメータ配列テーブル５３１４は、深度パラメータ配列（ｔ（ｎ），ｒ（ｎ））が格納されるテーブルである。
【０１３１】
多視点色情報テーブル５３１３、多視点深度パラメータ配列テーブル５３１４に格納された多視点色情報Ｃｏｌｏｒ（ｎ）、深度パラメータ配列（ｔ（ｎ），ｒ（ｎ））は、夫々、スプライト画素インデックステーブル５３１２に格納された、対応するスプライト画素インデックスＳｉと関係付けて記憶されている。
【０１３２】
つまり、スプライト画素インデックステーブル５３１２に格納されたスプライト画素インデックスＳｉから、当該スプライト画素インデックスＳｉに対応する多視点色情報Ｃｏｌｏｒ（ｎ）及び深度パラメータ配列（ｔ（ｎ），ｒ（ｎ））を、多視点色情報テーブル５３１３及び多視点深度パラメータ配列テーブル５３１４から夫々読み出すことが可能となっている。なお、図１７中に示した矢印は、一のスプライト画素インデックスＳｉに対応する、多視点色情報Ｃｏｌｏｒ（ｎ）と深度パラメータ配列（ｔ（ｎ），ｒ（ｎ））とを示したものである。
【０１３３】
次に、図１８を用いて、多視点データ生成装置２００の各機能部により実行される統合多視点スプライトデータ保存処理について説明する。ここで、図１８は、多視点データ生成処理の手順を示したフローチャートである。
【０１３４】
まず、多視点カメラ情報９３と形状データ９２とが入力されると、スプライト画素インデックス生成部２１は、多視点カメラ情報９３に含まれたスプライトの画素数に関する情報に基づいて、スプライト画素インデックスＳｉを順次生成し、多視点色情報生成部２２及び多視点深度値生成部２３に出力する（ステップＳ７１）。
【０１３５】
次いで、多視点色情報生成部２２は、多視点カメラ情報９３と、形状データ９２と、スプライト画素インデックスＳｉと、に基づいて、図８で説明した多視点色情報生成処理と同様の処理をスプライト画素インデックスＳｉについて実行し、スプライト画素インデックスＳｉと多視点色情報とを組みにした情報を、統合多視点スプライトデータ保持制御部２５に出力する（ステップＳ７２）。
【０１３６】
また、多視点深度値生成部２３は、多視点カメラ情報９３と、形状データ９２と、スプライト画素インデックスＳｉと、に基づいて、図１０で説明した多視点深度値生成処理と同様の処理をスプライト画素インデックスＳｉについて実行し、この処理で得られた多視点深度値を、スプライト画素インデックスＳｉと対応付けて多視点深度パラメータ配列生成部２４に出力する（ステップＳ７３）。
【０１３７】
続いて、多視点深度パラメータ配列生成部２４は、多視点深度値生成部２３から入力された情報に基づいて、図１１で説明した深度パラメータ配列生成処理と同様の処理をスプライト画素インデックスＳｉについて実行し、この処理で得られた深度パラメータ配列を、スプライト画素インデックスＳｉと対応付けて統合多視点スプライトデータ保持制御部２５に出力する（ステップＳ７４）。
【０１３８】
次に、統合多視点スプライトデータ保持制御部２５は、多視点色情報生成部２２及び多視点深度パラメータ配列生成部２４から入力された、スプライト画素インデックスＳｉと多視点色情報及び深度パラメータ配列との組を、多視点スプライト名９４に関連付け、統合多視点スプライトデータ保持部５３に統合多視点スプライトデータとして記憶させた後（ステップＳ７５）、本処理を終了する。
【０１３９】
以上のように、本実施形態によれば、ＣＧオブジェクト９２１の形状データ９２に対し、各視点位置について画素単位での深度値を、近似式である関数Ｅ（ｎ）のパラメータを配列した深度パラメータ配列の状態で取り扱う。これにより、使用するメモリ量を削減できるとともに、演算処理量にかかる負荷を抑えることが可能となり、各視点位置について画素単位での深度値を効率的に導出することができる。
【０１４０】
また、一の多視点スプライト名に対し、スプライト画素インデックスＳｉと多視点色情報及び深度パラメータ配列との組を関連付けた統合多視点スプライトデータを、統合多視点スプライトデータ保持部５３に保持する。これにより、メモリ量及び演算処理量を増加させることなく、各視点位置について画素単位での深度値を効率的に保持することができる。
【０１４１】
［第３の実施形態］
次に、第３の実施形態の多視点データ生成装置について説明する。なお、上述した第１、２の実施形態と同様の構成については、同一の符号を付与しその説明を省略する。
【０１４２】
本実施形態では、第２の実施形態の多視点データ生成装置２００で生成された多視点スプライトデータを用いて、立体映像表示のための多視点データを生成する多視点データ生成装置３００について説明する。
【０１４３】
図１９は、制御部１とＲＯＭ４又は記憶部６に予め記憶された所定のプログラムとの協働により実現される、多視点データ生成装置３００の機能的構成を示した図である。図１９に示したように、多視点データ生成装置３００は、画素インデックス生成部３１、多視点色情報読出部３２、多視点深度パラメータ配列読出部３３、多視点深度値復元部１５、多視点奥行き判定部１６、表示制御部１７を備えている。また、ＲＡＭ５により、多視点フレーム深度値保持部５１、多視点フレーム色情報保持部５２、統合多視点スプライトデータ保持部５３の機能が実現されている。また、記憶部６に奥行き判定条件式６１が記憶されている。
【０１４４】
多視点データ生成装置３００では、多視点データの生成に先立ち、多視点カメラ情報９１が、画素インデックス生成部３１、多視点色情報読出部３２及び多視点深度パラメータ配列読出部３３に入力されるようになっている。
【０１４５】
また、特定の統合多視点スプライトデータを、統合多視点スプライトデータ保持部５３から読み出すための指示情報として多視点スプライト名９４が、多視点色情報読出部３２及び多視点深度パラメータ配列読出部３３に入力されるようになっている。なお、多視点スプライト名９４は、通信部７を介して外部から入力される態様としてもよいし、多視点スプライト名９４を記憶部６に予め記憶しておき、当該記憶部６から読み出されることで、各機能部に入力される態様としてもよい。
【０１４６】
また、多視点スプライトデータを表示させる際の属性を定義した多視点スプライト表示属性情報９５が、画素インデックス生成部３１に入力されるようになっている。ここで、図２０を用いて、多視点スプライト表示属性情報９５について説明する。
【０１４７】
図２０は、多視点スプライト表示属性情報９５の一例を示した図である。図２０に示したように、多視点スプライト表示属性情報９５には、フレーム内における多視点スプライトの相対的な表示位置（スプライト領域）を表した表示相対位置（Ｓｏｆｆｓｅｔｘ，Ｓｏｆｆｓｅｔｙ）が定義されている。なお、本実施形態では、多視点スプライト表示属性情報９５に表示相対位置のみが含まれるものとしたが、これに限らず、多視点スプライトの表示サイズ（スケーリングパラメータ）や、アフィン変換のためのパラメータを含んだ態様としてもよい。
【０１４８】
図１９に戻り、画素インデックス生成部３１は、多視点カメラ情報９１と多視点スプライト表示属性情報９５とに基づいて、スプライト画素インデックスＳｉと、当該スプライト画素インデックスＳｉに対応するフレーム画素インデックスＦｉと、を対応付けた画素インデックスＧｉを生成し、多視点色情報読出部３２及び多視点深度パラメータ配列読出部３３に出力する。
【０１４９】
具体的に、画素インデックス生成部３１は、多視点カメラ情報９１に含まれたフレーム画素数（Ｆｗｉｄｔｈ，Ｆｈｅｉｇｈｔ）と、多視点スプライト表示属性情報９５の表示相対位置（Ｓｏｆｆｓｅｔｘ，Ｓｏｆｆｓｅｔｙ）と、に基づいて、スプライト画素インデックスＳｉと、当該スプライト画素インデックスＳｉに対応するフレーム画素インデックスＦｉと、を対応付けた画素インデックスＧｉ＝（（Ｐｘ，Ｐｙ）、（Ｓｘ，Ｓｙ））を、スプライト領域の全画素について順次出力する。ここで、フレーム内に含まれる画素のうち、スプライト領域の画素と対応しない画素については、フレーム画素インデックスＦｉを出力しないものとする。
【０１５０】
例えば、図２１に示したように、フレーム画素数が（Ｆｗｉｄｔｈ，Ｆｈｅｉｇｈｔ）＝（３２０，２４０）であり、多視点スプライト表示属性情報９５に（Ｓｏｆｆｓｅｔｘ，Ｓｏｆｆｓｅｔｙ）＝（２００，１００）が定義されていたとする。この場合、画素インデックス生成部３１は、画素インデックスＧｉ＝（（Ｐｘ，Ｐｙ）、（Ｓｘ，Ｓｙ））として、（（Ｐｘ，Ｐｙ）、（Ｓｘ，Ｓｙ））＝（（２００，１００），（０，０）），（（２０１，１００），（１，０）），（（２０２，１００），（２，０）），…，（（３１９，１００），（１１９，０）），（（２００，１０１），（０，１）），…，（（２００，２３９），（０，１３９）），…，（（３１９，２３９），（１１９，１３９））を順次出力する。
【０１５１】
図１９に戻り、多視点色情報読出部３２は、統合多視点スプライトデータ保持部５３から、多視点スプライト名９４に対応する統合多視点スプライトデータ５３１を参照し、画素インデックス生成部３１から入力された画素インデックスＧｉ＝（（Ｐｘ，Ｐｙ），（Ｓｘ，Ｓｙ））の、（Ｓｘ，Ｓｙ）に対応する多視点色情報Ｃｏｌｏｒ（ｎ）を、多視点色情報テーブル５３１３から読み出す。
【０１５２】
また、多視点色情報読出部３２は、読み出した多視点色情報Ｃｏｌｏｒ（ｎ）を、画素インデックスＧｉの（Ｐｘ，Ｐｙ）、即ち（Ｓｘ，Ｓｙ）に対応するフレーム画素インデックスＦｉと対応付け、多視点奥行き判定部１６に出力する。
【０１５３】
多視点深度パラメータ配列読出部３３は、統合多視点スプライトデータ保持部５３から、多視点スプライト名９４に対応する統合多視点スプライトデータ５３１を参照し、画素インデックス生成部３１から入力された画素インデックスＧｉ＝（（Ｐｘ，Ｐｙ），（Ｓｘ，Ｓｙ））の、（Ｓｘ，Ｓｙ）に対応する深度パラメータ配列（ｔ（ｎ），ｒ（ｎ））を、多視点深度パラメータ配列テーブル５３１４から読み出す。
【０１５４】
また、多視点深度パラメータ配列読出部３３は、読み出した深度パラメータ配列（ｔ（ｎ），ｒ（ｎ））を、画素インデックスＧｉの（Ｐｘ，Ｐｙ）、即ち（Ｓｘ，Ｓｙ）に対応するフレーム画素インデックスＦｉと対応付け、多視点深度値復元部１５に出力する。
【０１５５】
多視点深度値復元部１５では、多視点深度パラメータ配列読出部３３から入力されたフレーム画素インデックスＦｉと深度パラメータ配列（ｔ（ｎ），ｒ（ｎ））との組に基づいて深度値配列を生成し、画素インデックスＧｉと対応付けて多視点奥行き判定部１６に出力する。なお、多視点深度値復元部１５により実行される多視点深度値復元処理は、第１の実施形態で説明した多視点深度値復元成処理と同様であるため、その説明は省略する。
【０１５６】
多視点奥行き判定部１６は、多視点色情報読出部３２及び多視点深度値復元部１５から入力されたフレーム画素インデックスＦｉと、多視点色情報Ｃｏｌｏｒ（ｎ）及び深度パラメータ配列（ｔ（ｎ），ｒ（ｎ））とに基づいて、フレーム画素インデックスＦｉに対応する画素毎に各カメラ視点位置Ｃｎについての奥行きを判定する。なお、多視点奥行き判定部１６により実行される奥行き判定処理は、第１の実施形態で説明した奥行き判定処理と同様であるため、その説明は省略する。
【０１５７】
表示制御部１７は、上述した各機能部により、全てのフレーム画素インデックスＦｉ（スプライト画素インデックスＳｉ分を含む）の組みが処理されると、各カメラ視点位置に対応する描画用フレームの画素単位の色情報に基づいて、カメラ視点位置Ｃｎの数に応じた視差画像分、即ち、スプライト領域の多視点データ（多視点スプライトデータ）を含むフレーム全体分の多視点データを生成する。
【０１５８】
また、表示制御部１７は、生成した多視点データを３次元表示装置である表示部３に表示させることで、スプライト領域に対応する部分に立体映像（多視点スプライトデータ）を描画した状態でフレーム全体を提示する。
【０１５９】
次に、図２２を用いて、多視点データ生成装置３００の各機能部により実行される多視点データ生成処理について説明する。ここで、図２２は、多視点データ生成処理の手順を示したフローチャートである。
【０１６０】
まず、多視点カメラ情報９１、多視点スプライト名９４及び多視点スプライト表示属性情報９５が入力されると、画素インデックス生成部３１は、多視点カメラ情報９１と多視点スプライト表示属性情報９５とに基づいて、スプライト画素インデックスＳｉと、当該スプライト画素インデックスＳｉに対応するフレーム画素インデックスＦｉと、を対応付けた画素インデックスＧｉを生成し、多視点色情報読出部３２及び多視点深度パラメータ配列読出部３３に出力する（ステップＳ８１）。
【０１６１】
次いで、多視点色情報読出部３２は、統合多視点スプライトデータ保持部５３に保持された、多視点スプライト名９４に対応する統合多視点スプライトデータ５３１を参照し、画素インデックスＧｉに含まれたスプライト画素インデックスＳｉに対応する多視点色情報を、多視点色情報テーブル５３１３から読み出す（ステップＳ８２）。
【０１６２】
続いて、多視点色情報読出部３２は、ステップＳ８２で読み出した多視点色情報を、画素インデックスＧｉに含まれたフレーム画素インデックスＦｉと対応付けて多視点奥行き判定部１６に出力する（ステップＳ８３）。
【０１６３】
また、多視点深度パラメータ配列読出部３３は、統合多視点スプライトデータ保持部５３に保持された、多視点スプライト名９４に対応する統合多視点スプライトデータ５３１を参照し、画素インデックスＧｉに含まれたスプライト画素インデックスＳｉに対応する深度パラメータ配列を、多視点深度パラメータ配列テーブル５３１４から読み出す（ステップＳ８４）。
【０１６４】
続いて、多視点深度パラメータ配列読出部３３は、ステップＳ８４で読み出した深度パラメータ配列を、画素インデックスＧｉに含まれたフレーム画素インデックスＦｉと対応付けて多視点深度値復元部１５に出力する（ステップＳ８５）。
【０１６５】
次に、多視点深度値復元部１５は、多視点深度パラメータ配列読出部３３から入力された情報に基づいて、図１３で説明した深度値復元処理を実行し、画素インデックスＧｉに含まれたフレーム画素インデックスＦｉと深度値配列とを組みにした情報を、多視点奥行き判定部１６に出力する（ステップＳ８６）。
【０１６６】
次いで、多視点奥行き判定部１６は、多視点深度値復元部１５から入力された情報に基づいて、図１４で説明した奥行き判定処理を実行する。ここで、多視点奥行き判定部１６は、多視点フレーム深度値保持部５１に記憶された深度値よりも手前側を表すと判定した深度値Ｅ（ｎ）を、多視点フレーム深度値保持部５１に記憶された対応する描画用フレームの画素に対応付けて保持させる。また、多視点奥行き判定部１６は、この深度値Ｅ（ｎ）のフレーム画素インデックスＦｉ及びカメラ視点位置Ｃｎに対応する色情報を、多視点フレーム色情報保持部５２に記憶された対応する描画用フレームの画素に対応付けて保持させる（ステップＳ８７）。
【０１６７】
そして、表示制御部１７は、各カメラ視点位置に対応する描画用フレームの画素単位の色情報に基づいて、カメラ視点位置Ｃｎの数に応じた視差画像、即ち、スプライト領域分の多視点スプライトデータを含んだフレーム全体分の多視点データを生成する（ステップＳ８８）。そして、表示制御部１７は、この多視点データを表示部３に表示させることで、フレーム全体を当該フレームのスプライト領域に対応する部分に立体映像を描画した状態で提示し（ステップＳ８９）、本処理を終了する。
【０１６８】
なお、複数の統合多視点スプライトデータに対し、本処理を行った場合には、奥行き判定が行われた上で、正しく重なり合った複数個のスプライトが立体画像としてフレーム内に提示されることになる。
【０１６９】
以上のように、本実施形態によれば、一の多視点スプライト名に対し、スプライト画素インデックスＳｉと多視点色情報及び深度パラメータ配列との組を関連付けた多視点スプライトデータを、統合多視点スプライトデータ保持部５３から読み出し、各視点位置について画素単位での深度値を、近似式である関数Ｅ（ｎ）のパラメータを配列した深度パラメータ配列の状態で取り扱う。これにより、使用するメモリ量を削減できるとともに、演算処理量にかかる負荷を抑えることが可能となり、各視点位置について画素単位での深度値を効率的に導出することができる。
【０１７０】
また、深度パラメータ配列から深度値を復元した後、各視点位置について画素単位での奥行き判定を行い、この判定結果より得られた各視点位置について画素単位での色情報に基づいて描画した多視点データを表示部３に表示する。これにより、高精度な立体映像を提示することができるとともに、近似の精度を視認により確認することが可能である。
【０１７１】
以上、発明の実施の形態について説明したが、本発明はこれに限定されるものではなく、本発明の主旨を逸脱しない範囲での種々の変更、置換、追加などが可能である。
【０１７２】
例えば、先に述べた多視点データ生成装置１００、２００、３００における各処理を実行するプログラムを、インストール可能な形式又は実行可能な形式でＣＤ−ＲＯＭ、フロッピー（Ｒ）ディスク（ＦＤ）、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録して提供する態様としてもよい。 
【０１７３】
また、多視点データ生成装置１００、２００、３００における各処理を実行するプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。 
【０１７４】
この場合には、プログラムは、多視点データ生成装置１００、２００、３００において上記記録媒体から読み出して実行することによりＲＡＭ５上にロードされ、上記ソフトウェア構成で説明した各部がＲＡＭ５上に生成される。
【図面の簡単な説明】
【０１７５】
【図１】多視点データ生成装置の構成を示した図である。
【図２】表示部の構造を示した図である。
【図３】多視点データ生成装置の機能的構成の一例を示した図である。
【図４】多視点カメラ情報を説明するための図である。
【図５】多視点カメラ情報を説明するための図である。
【図６】多視点カメラ情報を説明するための図である。
【図７】形状データを説明するための図である。
【図８】多視点色情報生成処理の手順を示したフローチャートである。
【図９】多視点色情報生成処理を説明するための図である。
【図１０】多視点深度値生成処理の手順を示したフローチャートである。
【図１１】深度パラメータ配列生成処理の手順を示したフローチャートである。
【図１２】深度パラメータ配列生成処理を説明するための図である。
【図１３】深度値復元処理の手順を示したフローチャートである。
【図１４】奥行き判定処理の手順を示したフローチャートである。
【図１５】多視点データ生成処理の手順を示したフローチャートである。
【図１６】多視点データ生成装置の機能的構成の一例を示した図である。
【図１７】統合多視点スプライトデータのデータ構造を示した図である。
【図１８】統合多視点スプライトデータ保存処理の手順を示したフローチャートである。
【図１９】多視点データ生成装置の機能的構成の一例を示した図である。
【図２０】多視点スプライト表示属性情報の一例を示した図である。
【図２１】フレームとスプライト領域との関係を示した図である。
【図２２】多視点データ生成処理の手順を示したフローチャートである。
【符号の説明】
【０１７６】
１００  多視点データ生成装置
２００  多視点データ生成装置
３００  多視点データ生成装置
１  制御部
２  操作部
３  表示部
３０１  サブ画素
３０２  実効画素
３０３  レンチキュラー板
４  ＲＯＭ
５  ＲＡＭ
６  記憶部
７  通信部
８  バス
１１  フレーム画素インデックス生成部
１２  多視点色情報生成部
１３  多視点深度値生成部
１４  多視点深度パラメータ配列生成部
１５  多視点深度値復元部
１６  多視点奥行き判定部
１７  表示制御部
２１  スプライト画素インデックス生成部
２２  多視点色情報生成部
２３  多視点深度値生成部
２４  多視点深度パラメータ配列生成部
２５  統合多視点スプライトデータ保持制御部
３１  画素インデックス生成部
３２  多視点色情報読出部
３３  多視点深度パラメータ配列読出部
５１  多視点フレーム深度値保持部
５２  多視点フレーム色情報保持部
５３  統合多視点スプライトデータ保持部
５３１  統合多視点スプライトデータ
５３１１  多視点スプライト名
５３１２  スプライト画素インデックステーブル
５３１３  多視点色情報テーブル
５３１４  多視点深度パラメータ配列テーブル
６１  奥行き判定条件式
９１  多視点カメラ情報
９２  形状データ
９２１  ＣＧオブジェクト
９２２  テクスチャ画像
９２３  基準フレーム
９３  多視点カメラ情報
９４  多視点スプライト名
９５  多視点スプライト表示属性情報
【図１】
2009080578.tif 000005
【図２】
2009080578.tif 000006
【図３】
2009080578.tif 000007
【図４】
2009080578.tif 000008
【図５】
2009080578.tif 000009
【図６】
2009080578.tif 000010
【図７】
2009080578.tif 000011
【図８】
2009080578.tif 000012
【図９】
2009080578.tif 000013
【図１０】
2009080578.tif 000014
【図１１】
2009080578.tif 000015
【図１２】
2009080578.tif 000016
【図１３】
2009080578.tif 000017
【図１４】
2009080578.tif 000018
【図１５】
2009080578.tif 000019
【図１６】
2009080578.tif 000020
【図１７】
2009080578.tif 000021
【図１８】
2009080578.tif 000022
【図１９】
2009080578.tif 000023
【図２０】
2009080578.tif 000024
【図２１】
2009080578.tif 000025
【図２２】
2009080578.tif 000026