(57)【要約】【課題】自然な立体感と高い解像度を両立させることのできる新しい立体視の方式の提供と、新しい立体視の方式による立体視画像生成の高速化を実現すること。【解決手段】表示面２２の画素ＰＥ毎に視線Ｖと画素別視点ＣＭを設定し、画素ＰＥに対する視線Ｖと画素別視点ＣＭとから、画素別視線方向軌跡を算出する。そして、画素別視線方向軌跡と、奥行情報モデルとの交点のうち、最も視点寄りに位置する交点である対象交点をニュートン法による収束計算処理により算出し、平面視画像の対象交点に対応するドットの色情報を該画素の色情報とすることで、立体視画像を生成する。【選択図】図３０
2007200307.tif 000002
【特許請求の範囲】
【請求項１】
画素を配置した画素パネルと、該画素パネルの各画素の射出光線に指向性を与える光学素子群とを備えた立体視映像表示装置に表示させる三次元仮想空間の立体視画像を、前記三次元仮想空間を所与の視点から見た平面視画像である基準画像と、前記視点位置を基準とする該基準画像の各ドットの奥行値情報とに基づいて生成する画像生成装置であって、
前記画素パネルの各画素の色情報について、１）当該画素及び当該画素の射出光線に指向性を与える光学素子を通過する光線の方向と、前記三次元仮想空間における前記視点位置とに基づいて、前記三次元仮想空間における前記光線の方向に対応する方向を求める方向算出ステップと、２）前記方向算出ステップで求められた方向と、前記奥行値情報とに基づく所定の収束計算処理により、前記三次元仮想空間中の当該方向における最も視点寄りの物体の色情報を表すドットを前記基準画像の中から判定するドット判定ステップとを実行し、前記ドット判定ステップにより判定された前記基準画像のドットの色情報を当該画素の色情報とすることで、立体視画像を生成する画像生成装置。
【請求項２】
前記ドット判定ステップは、前記基準画像を構成するドットの奥行値の微分値である奥行微分情報を算出する奥行微分情報算出ステップを含み、前記方向算出ステップで求められた方向と、前記奥行値情報と、前記奥行微分情報算出ステップで算出された奥行微分情報とに基づき、ニュートン法による所定の収束計算処理により前記三次元仮想空間中の当該方向における最も視点寄りの物体の色情報を表すドットを前記基準画像の中から判定するステップであることを特徴とする請求項１に記載の画像生成装置。
【請求項３】
前記ドット判定ステップによる判定処理の前に、前記基準画像の各ドットの奥行値の微分値である奥行微分情報を算出する奥行微分情報算出ステップを実行し、
前記ドット判定ステップでは、前記方向算出ステップで求められた方向と、前記奥行値情報とに加えて前記奥行微分情報算出ステップで算出された奥行微分情報とを用いて、ニュートン法による所定の収束計算処理により前記三次元仮想空間中の当該方向における最も視点寄りの物体の色情報を表すドットを前記基準画像の中から判定する、
ことを特徴とする請求項１に記載の画像生成装置。
【請求項４】
前記奥行微分情報算出ステップは、前記基準画像の各ドットについて、当該ドットの奥行値と、当該ドットに隣接する隣接ドットの奥行値との差分を算出して微分値を求めることで前記奥行微分情報を算出するステップであることを特徴とする請求項２又は３に記載の画像生成装置。
【請求項５】
前記ドット判定ステップは、前記方向算出ステップで求められた方向における最も前記視点寄りのドット位置を初期位置として前記所定の集束計算処理を行う請求項１〜４の何れか一項に記載の画像生成装置。
【請求項６】
前記立体視映像表示装置は、所定の想定観察位置における一の光学素子に対する視角を対光学素子視角λ、前記一の光学素子により指向性が与えられる一の画素に対する視角を対画素視角σ、前記画素パネル中の立体視画像描画領域に対する視角を対描画領域視角Φとしたとき、λ：σ＝ｎ：ｍ（但し、ｎは自然数、ｍはΦ／λ未満の自然数）が成立しないことを特徴とする請求項１〜５の何れか一項に記載の画像生成装置。
【請求項７】
前記立体視映像表示装置は、一の光学素子の水平方向幅をＬ、前記一の光学素子により指向性が与えられる一の画素の水平方向幅をＳ、前記画素パネル中の立体視画像描画領域の水平方向幅をＲとしたとき、Ｌ：Ｓ＝ｏ：ｐ（但し、ｏは自然数、ｐはＲ／Ｌ未満の自然数）が成立しないことを特徴とする請求項１〜６の何れか一項に記載の画像生成装置。
【請求項８】
画素を配置した画素パネルと、該画素パネルの各画素の射出光線に指向性を与える光学素子群とを備えた立体視映像表示装置に表示させる三次元仮想空間の立体視画像を、前記三次元仮想空間を所与の視点から見た平面視画像である基準画像と、前記視点位置を基準とする該基準画像の各ドットの奥行値情報とに基づいてコンピュータに生成させるためのプログラムであって、
前記画素パネルの各画素の色情報について、１）当該画素及び当該画素の射出光線に指向性を与える光学素子を通過する光線の方向と、前記三次元仮想空間における前記視点位置とに基づいて、前記三次元仮想空間における前記光線の方向に対応する方向を求める方向算出ステップと、２）前記方向算出ステップで求められた方向と、前記奥行値情報とに基づく所定の収束計算処理により、前記三次元仮想空間中の当該方向における最も視点寄りの物体の色情報を表すドットを前記基準画像の中から判定するドット判定ステップとを前記コンピュータに実行させ、前記ドット判定ステップにより判定された前記基準画像のドットの色情報を当該画素の色情報とすることで、立体視画像を生成するように前記コンピュータに実行させるためのプログラム。
【請求項９】
前記ドット判定ステップは、前記基準画像を構成するドットの奥行値の微分値である奥行微分情報を算出する奥行微分情報算出ステップを含み、前記方向算出ステップで求められた方向と、前記奥行値情報と、前記奥行微分情報算出ステップで算出された奥行微分情報とに基づき、ニュートン法による所定の収束計算処理により前記三次元仮想空間中の当該方向における最も視点寄りの物体の色情報を表すドットを前記基準画像の中から判定するステップであることを特徴とする請求項８に記載のプログラム。
【請求項１０】
前記ドット判定ステップによる判定処理の前に、前記基準画像の各ドットの奥行値の微分値である奥行微分情報を算出する奥行微分情報算出ステップを前記コンピュータに実行させ、
前記ドット判定ステップでは、前記方向算出ステップで求められた方向と、前記奥行値情報とに加えて前記奥行微分情報算出ステップで算出された奥行微分情報とを用いて、ニュートン法による所定の収束計算処理により前記三次元仮想空間中の当該方向における最も視点寄りの物体の色情報を表すドットを前記基準画像の中から判定する、
ように前記コンピュータを実行させるための請求項８に記載のプログラム。
【請求項１１】
前記奥行微分情報算出ステップは、前記基準画像の各ドットについて、当該ドットの奥行値と、当該ドットに隣接する隣接ドットの奥行値との差分を算出して微分値を求めることで前記奥行微分情報を算出するステップであることを特徴とする請求項９又は１０に記載のプログラム。
【請求項１２】
前記ドット判定ステップは、前記方向算出ステップで求められた方向における最も前記視点寄りのドット位置を初期位置として前記所定の集束計算処理を行うステップである請求項８〜１１の何れか一項に記載のプログラム。
【請求項１３】
請求項８〜１２の何れか一項に記載のプログラムを記憶したコンピュータ読み取り可能な情報記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画素を配置した画素パネルと、該画素パネルの各画素の射出光線に指向性を与える光学素子群とを備えた立体視映像表示装置に表示させる三次元仮想空間の立体視画像を生成する画像生成装置等に関する。
【背景技術】
【０００２】
従来から知られているとおり、ＬＣＤ等のフラットパネルディスプレイとレンズアレイ（例えば、レンチキュラレンズアレイや蝿の目レンズアレイ）やバリアアレイ（例えば、パララックスバリアアレイやピンホールアレイ）等の光学素子群を組み合わせることで立体視映像表示装置を作成することができる。その方式には、多眼方式（２眼を含む）や超多眼方式、ＩＰ（Integral Photography）方式、光線再生法等が知られており、例えば非特許文献１や非特許文献２に開示されている。
【非特許文献１】高木康博，「６４眼式三次元カラーディスプレイとコンピュータ合成した三次元物体の表示」，３次元画像コンファレンス２００２講演論文集，３次元画像コンファレンス２００２実行委員会，２００２年７月４日，ｐ．８５−８８
【非特許文献２】尾西明洋、武田勉、谷口英之、小林哲郎，「光線再生法による三次元動画ディスプレイ」，３次元画像コンファレンス２００１講演論文集，３次元画像コンファレンス２００１実行委員会，２００１年７月４日，ｐ．１７３−１７６
【発明の開示】
【発明が解決しようとする課題】
【０００３】
多眼方式では、図５１に示すように、立体視画像が表示された表示面の各画素から射出され、光学素子群（同図では、レンチキュラレンズアレイ）により指向性が与えられた光線が、設定された複数（同図では、４つ）の視点位置に集まるように設計されている。そして、解像度は光学素子のピッチに依存し、視点（ビュー）の数は画素ピッチと光学素子のピッチとの比に依存している。そのため、視点数が少ない多眼方式においては、各視点での解像度は比較的高いが、視点数が少ないため自然な立体感が得られないという欠点があった。
【０００４】
そこで、多眼方式を改良し、左右両目の視差の内側にも非常に多くの視点を設定することで自然な立体感を得られるようにしたものが、図５２に示す超多眼方式である。しかし、超多眼方式では、視点数を非常に多くした結果、解像度の低下が著しいという欠点があり、満足な解像度を得るためには非常に高解像度の画素パネルを用いる必要があった。即ち、解像度と視点数とがトレードオフの関係にあった。
【０００５】
また、多眼方式及び超多眼方式では、想定した複数の視点位置それぞれから描画を行う（画像を生成する）こととしていた。このため、光学素子のピッチと画素ピッチとが正確に合うように設計を行う必要があった。
【０００６】
ＩＰ（Integral Photography）方式及び光線再生法では、図５３、５４に示すように、各画素から射出され、光学素子群により指向性を与えられた光線が、物体のサンプリングされた点群に集まるように設計されており、これを、更に遠くの視点から観察することによって立体視を実現している。図５３はＩＰ方式の場合を示しており、図５４は光線再生法の場合を示している。
【０００７】
そして、解像度は、物体のサンプリング点の数に依存し、各サンプリング点の視線数は、そのサンプリング点に集まる光線の数に依存している。つまり、サンプリング点の数が少ない程、各サンプリング点に多くの光線を集めることができる。即ち自然な立体感の再現が可能となるが、サンプリング点が少ないために解像度が低くなる。また、解像度を高くするためサンプリング点の数を増加させると、各サンプリング点には少数の光線しか集めることができず、自然な立体視が不可能となる。
【０００８】
特に、ＩＰ方式では、図５３に示すように、自然な距離感を観察できる位置が描画面（立体視画像の表示面）に平行な結像面に限られ、それ以外の位置での物体の距離感は不自然に観察される。一方、光線再生法は、ＩＰ方式に比較して自由な距離で結像を行うことができるものである。
【０００９】
また、ＩＰ方式には、レンズアレイを用いるものとピンホールアレイを用いるものとがあるが、図５３に示したように、レンズアレイを用いた場合には、描画面と結像面との間の距離がレンズの焦点距離に依存する。即ち、図５５に示すように、レンズの焦点面と表示面との間の距離をＡ、レンズの焦点面と結像面との間の距離をＢ、レンズの焦点距離をＦとすると、良く知られているように、次式の関係があるため、結像位置（描画面からの距離）を同時に２つ以上設定することができない。
（１／Ａ）＋（１／Ｂ）＝（１／Ｆ）
【００１０】
一方、光線再生法は、図５４に示すように、レンズアレイでなくピンホールアレイを用いていることで、結像距離を同時に２つ以上設定することができる（同図では、２つ）が、ピンホールアレイを用いているために画面が暗く、点列が並んだような映像となってしまう欠点がある。
【００１１】
また、ＩＰ方式及び光線再生法では、原理上、非常に多くの光線を集める必要があるため、サンプリング点が疎ら、即ち解像度の低いものが一般的である。つまり、満足な解像度を得るためには、超多眼方式の場合と同様に、非常に高解像度な画素パネルを用いる必要があった。即ち、多眼方式や超多眼方式とは尺度が異なるが、解像度と視点数とがトレードオフの関係にあったといえる。
【００１２】
また、ＩＰ方式及び光線再生法では、各結像位置と各光学素子の位置関係、或いは、各結像位置と各画素との位置関係によって視線（視点）の位置及び方向を決定していた。具体的には、光学素子群を先に用意し、視線を結像位置と各光学素子の位置関係で決定する場合には、光学素子群に合わせて画素の配置を決定せねばならず、また、画素パネルを先に用意し、視線を各結像位置と各画素との位置関係で決定する場合には、画素パネルに合わせて光学素子群の配置を決定せねばならない。何れにしても、光学素子のピッチと画素のピッチを合わせる設計を行う必要があった。
【００１３】
何れの方式にせよ、従来の立体視映像表示装置では、光学素子群の光学素子ピッチと画素パネルの画素ピッチとを合わせる必要があり、光学素子群と画素パネルのどちらのピッチを他方に合わせて決定するかは、主に、両者のコスト関係によって決定される。
【００１４】
例えば、古くから知られている、立体視画像を印刷した印刷物（紙やプラスチックカード等）とレンチキュラレンズアレイ等の光学素子を組み合わせた立体視用の印刷加工物においては、立体視画像が印刷された印刷物の印刷面に光学素子群（レンズアレイやバリアアレイ等）を貼付等して装着されており、印刷物に印刷された立体視画像の各ドットの反射光線が光学素子群によって指向性が与えられることで立体視が実現される。このような印刷加工物の場合には、印刷する立体視画像のドットの配置変更が容易であるため、光学素子群に合わせて印刷する立体視画像のドットのピッチが決定される。また、コンピュータのディスプレイ等を画素パネルとして用いる場合には、その画素ピッチに合わせた専用の光学素子群（例えば、レンチキュラレンズアレイ）を設計・製作して用いていた。
【００１５】
本発明は上述した課題に鑑みて為されたものであり、その第１の目的は、従来の立体視の方式のような視点の数と映像解像度とのトレードオフの関係を打破し、自然な立体感と高い解像度を両立させることのできる新しい立体視の方式を提供するとともに、画素パネルと光学素子群のどちらか一方を他方に合わせて専用に設計しなくてはならないといった制約を排除することである。また、第２の目的は、新しい立体視の方式による立体視画像生成の処理速度の低下を最小限に抑えると共に、奥行画像を利用することで、一般的な平面視用のＣＧツールや写真等から、簡易的な立体視画像の生成を可能にすることである。
【課題を解決するための手段】
【００１６】
以上の課題を解決するための手段を以下説明するが、本発明の立体視の方式は、従来の多眼式及び超多眼式の発展形と考えられるので、主に、多眼式及び超多眼式と比較対照してそれらからの優位性について述べる。
【００１７】
立体視映像表示装置の画素パネルに表示することのできる情報量は一定であるため、従来では、解像度と視点数がトレードオフの関係にあるのは当然の前提と考えられていた。つまり、自然な立体感と高い解像度とを両立させるためには、解像度と視点数以外の要素を導入する必要がある。そこで、本発明では、像の正確さという要素を導入した。
【００１８】
従来の立体視の方式は、各視点で視認される映像（像）を念頭において立体視画像を生成している。即ち、先ず各視点の映像となる画像（以下、「個別視点画像」という）を生成し、生成した個別視点画像をインターリーブ処理等することで立体視画像を生成するという過程を経る。各視点で視認される映像となる画像を基にして立体視画像が生成されるため、各視点の映像は当然に正確な像となる。
【００１９】
本発明によって生成される立体視画像を立体視した場合、各視点で視認される映像は、従来の映像に比べて若干正確さに劣る。しかし、以下の実施形態において詳述する原理の通りに、本発明によって生成される立体視画像は十分に像として視認できる明確性を有している。
【００２０】
本発明によって従来方式では実現できなかった、視点の数及び当該各視点での映像解像度の両者の向上を図ることができたとする点、視点の数の増加に伴う処理負担の増加から立体視画像の生成速度が低下することを防止できたとする点を、以下、各発明に沿って説明する。
【００２１】
上記課題を解決するための第１の発明は、
画素を配置した画素パネル（例えば、図２の画素パネル２０）と、該画素パネルの各画素の射出光線に指向性を与える光学素子群（例えば、図２のレンズ板３０）とを備えた立体視映像表示装置（例えば、図２の立体視映像表示装置２００Ａ、図２３の立体視映像表示装置２００）に表示させる三次元仮想空間の立体視画像を、前記三次元仮想空間を所与の視点から見た平面視画像である基準画像（例えば、図２６の平面視画像データ４６２）と、前記視点位置を基準とする該基準画像の各ドットの奥行値情報（例えば、図２７の奥行画像データ４７２）とに基づいて生成する画像生成装置（例えば、図２３の立体視画像生成装置１）であって、
前記画素パネルの各画素の色情報について、１）当該画素及び当該画素の射出光線に指向性を与える光学素子を通過する光線（例えば、代表光線ＰＲ）の方向と、前記三次元仮想空間における前記視点位置（例えば、画素別視点ＣＭ）とに基づいて、前記三次元仮想空間における前記光線の方向に対応する方向を求める方向算出ステップ（例えば、図３１のステップＳ３９）と、２）前記方向算出ステップで求められた方向と、前記奥行値情報とに基づく所定の収束計算処理により、前記三次元仮想空間中の当該方向における最も視
点寄りの物体の色情報を表すドットを前記基準画像の中から判定するドット判定ステップ（例えば、図３１のステップＳ３９〜Ｓ４９）とを実行し、前記ドット判定ステップにより判定された前記基準画像のドットの色情報を当該画素の色情報とすることで、立体視画像を生成する画像生成装置である。
【００２２】
また、第８の発明は、
画素を配置した画素パネル（例えば、図２の画素パネル２０）と、該画素パネルの各画素の射出光線に指向性を与える光学素子群（例えば、図２のレンズ板３０）とを備えた立体視映像表示装置（例えば、図２の立体視映像表示装置２００Ａ、図２３の立体視映像表示装置２００）に表示させる三次元仮想空間の立体視画像を、前記三次元仮想空間を所与の視点から見た平面視画像である基準画像（例えば、図２６の平面視画像データ４６２）と、前記視点位置を基準とする該基準画像の各ドットの奥行値情報（例えば、図２７の奥行画像データ４７２）とに基づいてコンピュータに生成させるためのプログラム（例えば、図２３の立体視画像生成プログラム４１０）であって、
前記画素パネルの各画素の色情報について、１）当該画素及び当該画素の射出光線に指向性を与える光学素子を通過する光線（例えば、代表光線ＰＲ）の方向と、前記三次元仮想空間における前記視点位置（例えば、画素別視点ＣＭ）とに基づいて、前記三次元仮想空間における前記光線の方向に対応する方向を求める方向算出ステップ（例えば、図３１のステップＳ３９）と、２）前記方向算出ステップで求められた方向と、前記奥行値情報とに基づく所定の収束計算処理により、前記三次元仮想空間中の当該方向における最も視点寄りの物体の色情報を表すドットを前記基準画像の中から判定するドット判定ステップ（例えば、図３１のステップＳ３９〜Ｓ４９）とを前記コンピュータに実行させ、前記ドット判定ステップにより判定された前記基準画像のドットの色情報を当該画素の色情報とすることで、立体視画像を生成するように前記コンピュータに実行させるためのプログラムである。
【００２３】
この第１又は第８の発明によれば、画素パネルの各画素の色情報について、１）当該画素及び当該画素の射出光線に指向性を与える光学素子を通過する光線の方向と、三次元仮想空間における視点位置とに基づいて、三次元仮想空間における光線の方向に対応する方向が求められ、求められた方向と、奥行値情報とに基づく所定の収束計算処理により、三次元仮想空間中の当該方向における最も視点寄りの物体の色情報を表すドットが基準画像の中から判定される。そして、判定された基準画像のドットの色情報を当該画素の色情報とすることで、立体視画像が生成される。
【００２４】
従って、生成された立体視画像が上記立体視映像表示装置に表示された場合、画素パネルの各画素には、当該画素の上記光線の方向に基づいた三次元仮想空間の色情報が表されるため、該光線の数ほどに視点がある、即ち画素の数ほどに視点があるといえる。故に、従来の多眼方式のように、想定する視点位置に観察者の目が位置しなくてはならないといったことがなく、超多眼方式のように、一定の領域内に観察者が位置すればどの位置に目があっても良好に立体視することができる。
【００２５】
一方、画素パネルの各画素の上記光線は画素毎に別個な方向ではある。しかし、その光線の方向を辿った場合、観察者の左目及びその左目の位置近傍を通過する光線はほぼ均一な方向となる。従って、観察者が視認する像は、その目の位置から見た正確な色情報ではないものの、一定の明確性を有して視認される。そして、画素面の位置における像の解像度は光学素子１つの幅程度となるため、超多眼式のような著しい解像度の劣化には至らない。
【００２６】
また、三次元仮想空間を所与の視点から見た平面視画像である基準画像と、視点位置を基準とする基準画像の各ドットの奥行値情報とに基づいて、上記立体視画像を生成することができる。従って、例えば、専用のレンダラを使わなくとも、既存の高品位なＣＧツールで作成した画像を容易に立体化することができ、汎用性の高い画像生成装置を提供することができる。また、実写画像から立体視画像を作成する場合に、一箇所の視点位置からの撮影で済ませることができるため、容易に立体視画像を生成することができる。
【００２７】
また、各画素の色情報を設定する基準画像のドットを所定の収束計算処理によって判定するため、三次元仮想空間に複数の物体が存在するような場合に、上記光線と各物体との交差判定を逐次行う必要がなく、立体視画像を高速に生成することが可能となる。
【００２８】
尚、以上のように１視点からの平面視画像とそれに対応する奥行値情報とから立体視画像を生成した場合、左右に回り込んだ視点からの情報がないため、大きく左右に回り込んで観察した場合の画像が、不自然なものとなることがある。しかしながら、想定される観察範囲がそれほど広くない場合、即ち、左右両眼視差の内部ないし外部近傍のみである場合には、その影響は少なく、実用上問題のない立体視画像を得ることができる。
【００２９】
第２の発明は、第１の発明の画像生成装置であって、
前記ドット判定ステップは、前記基準画像を構成するドットの奥行値の微分値である奥行微分情報を算出する奥行微分情報算出ステップ（例えば、図３２のステップＳ５１、Ｓ５７）を含み、前記方向算出ステップで求められた方向と、前記奥行値情報と、前記奥行微分情報算出ステップで算出された奥行微分情報とに基づき、ニュートン法による所定の収束計算処理により前記三次元仮想空間中の当該方向における最も視点寄りの物体の色情報を表すドットを前記基準画像の中から判定するステップであることを特徴とする画像生成装置である。
【００３０】
また、第９の発明は、第８の発明のプログラムであって、
前記ドット判定ステップは、前記基準画像を構成するドットの奥行値の微分値である奥行微分情報を算出する奥行微分情報算出ステップ（例えば、図３２のステップＳ５１、Ｓ５７）を含み、前記方向算出ステップで求められた方向と、前記奥行値情報と、前記奥行微分情報算出ステップで算出された奥行微分情報とに基づき、ニュートン法による所定の収束計算処理により前記三次元仮想空間中の当該方向における最も視点寄りの物体の色情報を表すドットを前記基準画像の中から判定するステップであることを特徴とするプログラムである。
【００３１】
この第２又は第９の発明によれば、ドット判定ステップにおいて、基準画像を構成するドットの奥行微分情報が算出される。そして、方向算出ステップで求められた方向と、奥行値情報と、算出された奥行微分情報とに基づいて、ニュートン法による所定の収束計算処理が行われ、三次元仮想空間中の当該方向における最も視点寄りの物体の色情報を表すドットが基準画像の中から判定される。
【００３２】
ニュートン法は、解への収束が初期値に依存するアルゴリズムではあるが、二次収束性を有することを特徴としているため、高速に解を求めることが可能となる。従って、最も視点寄りの物体の色情報を表すドットを基準画像の中から短時間で判定することができるため、立体視画像生成の高速化が実現できる。
【００３３】
第３の発明は、第１の発明の画像生成装置であって、
前記ドット判定ステップによる判定処理の前に、前記基準画像の各ドットの奥行値の微分値である奥行微分情報を算出する奥行微分情報算出ステップ（例えば、図３１のステップＳ２７）を実行し、
前記ドット判定ステップでは、前記方向算出ステップで求められた方向と、前記奥行値情報とに加えて前記奥行微分情報算出ステップで算出された奥行微分情報とを用いて、ニュートン法による所定の収束計算処理により前記三次元仮想空間中の当該方向における最も視点寄りの物体の色情報を表すドットを前記基準画像の中から判定する、
ことを特徴とする画像生成装置である。
【００３４】
また、第１０の発明は、第８の発明のプログラムであって、
前記ドット判定ステップによる判定処理の前に、前記基準画像の各ドットの奥行値の微分値である奥行微分情報を算出する奥行微分情報算出ステップ（例えば、図３１のステップＳ２７）を前記コンピュータに実行させ、
前記ドット判定ステップでは、前記方向算出ステップで求められた方向と、前記奥行値情報とに加えて前記奥行微分情報算出ステップで算出された奥行微分情報とを用いて、ニュートン法による所定の収束計算処理により前記三次元仮想空間中の当該方向における最も視点寄りの物体の色情報を表すドットを前記基準画像の中から判定する、
ように前記コンピュータを実行させるためのプログラムである。
【００３５】
この第３又は第１０の発明によれば、ドット判定ステップによる判定処理の前に、基準画像の各ドットの奥行微分情報が算出される。そして、ドット判定ステップでは、方向算出ステップで求められた方向と、奥行値情報とに加えて、前もって算出された奥行微分情報を用いたニュートン法による所定の収束計算処理が行われ、三次元仮想空間中の当該方向における最も視点寄りの物体の色情報を表すドットが基準画像の中から判定される。
【００３６】
ドットの判定処理を行う前に、予め全ての画素についての奥行微分情報を算出しておくことで、ニュートン法による収束計算処理において奥行微分情報を逐次算出する必要がなくなる。
【００３７】
第４の発明は、第２又は第３の発明の画像生成装置であって、
前記奥行微分情報算出ステップは、前記基準画像の各ドットについて、当該ドットの奥行値と、当該ドットに隣接する隣接ドットの奥行値との差分を算出して微分値を求めることで前記奥行微分情報を算出するステップであることを特徴とする画像生成装置である。
【００３８】
また、第１１の発明は、第９又は第１０の発明のプログラムであって、
前記奥行微分情報算出ステップは、前記基準画像の各ドットについて、当該ドットの奥行値と、当該ドットに隣接する隣接ドットの奥行値との差分を算出して微分値を求めることで前記奥行微分情報を算出するステップであることを特徴とするプログラムである。
【００３９】
この第４又は第１１の発明によれば、基準画像の各ドットについて、当該ドットの奥行値と、当該ドットに隣接する隣接ドットの奥行値との差分が微分値として求められることで、奥行微分情報が算出される。
【００４０】
なお、以上各発明の集束計算処理であるが、集束計算を行うに当たっての初期値を次のようにしてもよい。すなわち、第５の発明として、第１〜第４の何れか一の発明の画像生成装置の前記ドット判定ステップを、前記方向算出ステップで求められた方向における最も前記視点寄りのドット位置を初期位置として前記所定の集束計算処理を行うステップとして構成してもよい。また、第１２の発明として、第８〜第１１の何れか一の発明のプログラムにおいて、前記ドット判定ステップを、前記方向算出ステップで求められた方向における最も前記視点寄りのドット位置を初期位置として前記所定の集束計算処理を行うステップとして構成してもよい。
【００４１】
ここで、「最も前記視点寄りのドット位置」とは、画素面に平行で、奥行モデルの最高点を通る平面と、方向算出ステップで求められた方向との交点の位置である。
【００４２】
第６の発明は、第１〜第５の何れか一の発明の画像生成装置であって、
前記立体視映像表示装置は、所定の想定観察位置における一の光学素子に対する視角を対光学素子視角λ、前記一の光学素子により指向性が与えられる一の画素に対する視角を対画素視角σ、前記画素パネル中の立体視画像描画領域に対する視角を対描画領域視角Φとしたとき、λ：σ＝ｎ：ｍ（但し、ｎは自然数、ｍはΦ／λ未満の自然数）が成立しないことを特徴とする画像生成装置である。
【００４３】
また、第７の発明は、第１〜第６の何れか一の発明の画像生成装置であって、
前記立体視映像表示装置は、一の光学素子の水平方向幅をＬ、前記一の光学素子により指向性が与えられる一の画素の水平方向幅をＳ、前記画素パネル中の立体視画像描画領域の水平方向幅をＲとしたとき、Ｌ：Ｓ＝ｏ：ｐ（但し、ｏは自然数、ｐはＲ／Ｌ未満の自然数）が成立しないことを特徴とする画像生成装置である。
【００４４】
この第６又は第７の発明によれば、レンズのレンズピッチと表示装置の画素ピッチとが合わない（いわゆる「ピッチが合わない」）場合における立体視画像生成が実現される。従って、画素パネルと光学素子群のどちらか一方を他方に合わせて専用に設計しなくてはならないといった制約を排除することができるようになる。
【００４５】
第１３の発明は、第８〜第１２の何れか一の発明のプログラムを記憶したコンピュータ読み取り可能な情報記憶媒体（例えば、図２３の記憶部４００）である。
【００４６】
この第１３の発明によれば、第８〜第１２の何れか一の発明と同様の作用効果を奏する情報記憶媒体が実現される。
【発明の効果】
【００４７】
本発明によれば、像の正確さを立体視に支障のない程度に劣化させることで、画素パネルの全画素数に相当する視点がありながらも、映像の解像度を光学素子１つ分の幅程度に保つことができる新たな立体視の方式を実現できるとともに、画素パネルと光学素子群のどちらか一方を他方に合わせて専用に設計しなくてはならないといった制約を排除することができる。また、新しい立体視の方式による立体視画像生成の処理速度を高速化することができる。
【発明を実施するための最良の形態】
【００４８】
以下、図面を参照して本発明の好適な実施形態を説明する。尚、各図面では、光線の方向を明確に示すために敢えてハッチングを描いていない。また、以下では、光学素子群としてレンチキュラレンズアレイを用いた立体視映像表示装置に表示させる立体視画像を生成する場合について説明するが、本発明の適用がこれに限定されるものではない。
【００４９】
１．立体視画像の生成原理
立体視画像の生成方法には、（Ｉ）正確な３次元モデルをレンダリングすると同時に作成する方法、（II）１視点からの平面視画像と奥行画像とから立体視画像を作成する方法、（III）２眼又は多眼分の画像を作成し、それらから中間視点のものを補間して作成する方法などがある。本実施形態では、方法（Ｉ），（II）に基づき立体視画像を生成する場合を例に挙げて以下説明する。
【００５０】
先ず、方法（Ｉ）に基づき立体視画像を生成する場合について説明する。
図１は、本実施形態における立体視画像生成の概要を示す図であり、表示面２２に対する垂直断面図を示している。同図に示すように、本実施形態では、表示面２２の画素ＰＥ毎に、（１）該画素ＰＥの代表点（例えば、画素ＰＥの中心）と該画素ＰＥに対応するレンズ（光学素子）の主点とを通過した後の光線の逆方向を視線方向とする視線Ｖを決定し、（２）決定した視線Ｖの視線方向にある物体の色情報を該画素ＰＥの色情報とする（レンダリング）、ことで立体視画像を生成する。
【００５１】
（１）視線Ｖの決定
視線Ｖは、立体視画像を表示させることとなる立体視映像表示装置の構成パラメータ（後述するように、画素パネルとレンズ板との相対的な配置関係や画素パネルの画素ピッチ、レンズ板のレンズピッチや焦点距離等）と、想定した観察者の位置（以下、「想定観察位置」という）とに基づいて決定する。具体的には、画素ＰＥ毎に、立体視映像表示装置の構成パラメータ及び想定観察位置に基づいて該画素ＰＥに対応するレンズ（光学素子）を決定し、該画素ＰＥの代表点と決定した該画素ＰＥに対応するレンズの主点とを通過した後の光線（代表光線）を算出する。そして、その代表光線ＰＲと位置は同じで方向を逆にした視線を該画素の視線Ｖとして決定する。尚、想定観察位置は、立体視映像表示装置の表示面に対する相対的な観察者の視点の位置とする。
【００５２】
ここで、本実施形態で扱う立体視映像表示装置について説明する。本実施形態では、レンチキュラ方式の立体視映像表示装置に表示させる立体視画像を生成する。レンチキュラ方式の立体視映像表示装置とは、光学素子群としてレンチキュラレンズアレイを用いた立体視映像表示装置であり、平面液晶ディスプレイ等のフラットパネルディスプレイの表示面から一定の距離にレンチキュラレンズアレイが装着され、観察者がレンチキュラレンズアレイを介して表示面に表示された画像を見る（観察する）ことで、観察者に立体視を認識せしめる表示装置である。
【００５３】
図２は、垂直レンチキュラ方式の立体視映像表示装置２００Ａの概略構造を示す図である。同図（ａ）は、立体視映像表示装置２００Ａの表示面に対する横方向（水平走査方向）断面図を示し、同図（ｂ）は、観察者側から見た平面図を示している。
【００５４】
同図によれば、立体視映像表示装置２００Ａは、主に、バックライト１０と、画素パネル２０と、レンズ板３０とを備えて構成される。バックライト１０、画素パネル２０及びレンズ板３０は、それぞれ板状体であって互いに平行に配置されている。
【００５５】
バックライト１０は光を出射し、その光は画素パネル２０とレンズ板３０とを通過して立体視映像表示装置２００Ａの外に進行する。即ち、観察者は、レンズ板３０を介して画素パネル２０に表示される画像を見ることになる。
【００５６】
画素パネル２０は、画素（ピクセル）が一定の配列で配置されたカラー表示可能なディスプレイであり、レンズ板３０と組み合わせることで立体視が可能となるものであれば種類は問わない。例えば、カラーフィルタ方式の液晶ディスプレイ、プラズマディスプレイ、無機ＥＬディスプレイ或いは有機ＥＬディスプレイ等がある。また、カラーフィルタを用いないものでも、単色発光素子を配列した有機ＥＬディスプレイやＬＥＤディスプレイのように、赤（Ｒ）、緑（Ｇ）及び青（Ｂ）等の単色に自発光する素子を配置したディスプレイであっても適用可能である。また、いわゆる同色に発光する画素が配置されたモノクロディスプレイであっても構わず、更には、Ｒ（赤），Ｇ（緑），Ｂ（青）以外の色の画素を持ったディスプレイであっても構わない。また、画素の配置については、格子状は勿論、画素の代表点の座標を求めることが可能なものであれば、デルタ配列やその他の配列であっても構わない。
【００５７】
レンズ板３０は、一方の面が、断面半円筒状（蒲鉾型）若しくはこれと光学的に等価な光学素子であるマイクロレンズ（以下、単に「レンズ」という）３２が連接して成る凹凸面であり、他方の面が略平面状のレンチキュラレンズアレイである。レンズ板３０の各レンズ３２は、表示面２２の各画素ＰＥから射出される光線（射出光線）に指向性を与える働きをする。
【００５８】
また、レンズ板３０は、平面が画素パネル２０の表示面２２に対向し、且つ、レンズ板３０の主点面と表示面２２との間の距離Ｇが各レンズ３２の焦点距離Ｆにほぼ一致するように配置されている。尚、この距離Ｇは、焦点距離Ｆに完全に一致せず、ある程度の誤差があっても良い。例えば図４９（ａ）は、Ｇ＝Ｆ、とした状態であり、特定の方向から見ると、１つの画素ＰＥがレンズ３２いっぱいに広がって観察される。また、距離Ｇが焦点距離Ｆから少し離れた位置、即ち同図（ｂ）、（ｃ）に示す状態でも、特定の方向から見ると、１つの画素ＰＥがレンズ３２いっぱいに広がって観察される。しかし、距離Ｇが焦点距離Ｆからこれ以上離れた位置になると、レンズ３２がその隣の画素ＰＥをも映してしまうため、立体視の画質が損なわれる。即ち、画素パネル２０のサブピクセル単位での画素ピッチの長さをＳ、レンズ板３０のレンズピッチの長さをＬとすると、距離Ｇが次式（１）を満たすように配置されていれば、そうでない場合よりも画質の良い立体視を実現することができる。
（Ｌ−Ｓ）・Ｆ／Ｌ≦Ｇ≦（Ｌ＋Ｓ）・Ｆ／Ｌ      ・・・（１）
【００５９】
尚、ＩＰ方式では、像を一定距離Ｃに結像させるため、距離Ｇが焦点距離Ｆよりも長くなっている。つまり、次式が成立する。この点において、本実施形態における方式は、ＩＰ方式とは原理的に異なる。
１／Ｇ＋１／Ｃ＝１／Ｆ、即ち、Ｇ＝（Ｃ・Ｆ）／（Ｃ−Ｆ）＞Ｆ
また、光線再生法では、複数の距離で結像させるため、光学素子にレンズを用いることができず、ピンホールを用いている。この点において、本方式は光線再生法とも原理的に異なる。
【００６０】
表示パネル２０及びレンズ板３０をこのように配置させることで、各レンズ３２の焦点が画素パネル２０の表示面２２の一点に位置し、該焦点が位置する画素ＰＥがレンズ３２によって拡大されて見えることになる。尚、光学的にほぼ等価であるとみなせる場合には、レンズ板３０の凹凸面を画素パネル２０の表示面２２に対向するように配置しても良い。
【００６１】
また、レンズ板３０は、図２（ｂ）に示すように、各レンズ３２の主点線３６（主点の集合。レンチキュラレンズ板のマイクロレンズは断面円筒形状（蒲鉾型）であるため、主点の集合は直線となる）の方向が画素パネル２０の縦方向の画素配列方向（鉛直走査方向）に一致するように配置される。同図（ｂ）において、線３２ａはレンズ板３０の各レンズ３２の端部を示している。
【００６２】
ところで、従来のレンチキュラ方式の立体視映像表示装置では、レンズ板のレンズピッチと画素パネルの画素ピッチとが合う（以下、単に「ピッチが合う」という）ように設計される。即ち、ｎ眼式の場合には次式（２）が成立する。
Ｌ＝ｎ・Ｓ      ・・・（２）
【００６３】
しかし、本実施形態では、レンズ板３０は、レンズピッチが画素パネル２０の画素ピッチと合わない（以下、単に「ピッチが合わない」という）ように設計されている。即ち、次式（３）が成立しない。
Ｌ＝ｎ・Ｓ      ・・・（３）
但し、ｎは自然数である。
【００６４】
ところで、実際に観察者が立体視映像表示装置に表示された立体視画像を見る場合には、その観察者の視点は表示面２２から有限距離に位置する。即ち、図３に示すように、表示面２２の場所によって観察者の視点の視線方向が異なり、このため、レンズ３２と画素ＰＥとの対応関係がずれることになる。つまり、実質的なレンズピッチＬEは次式（４）で与えられる。尚、同図は、本実施形態の立体視映像表示装置の表示面に対する横方向断面図を示している。
ＬE＝Ｌ×（Ｄ＋Ｆ）／Ｄ      ・・・（４）
但し、Ｄは、観察者の視点と表示面との間の距離である。
【００６５】
従って、厳密には、次式（５）が成立することが「ピッチが合う」状態であり、成立しないことが「ピッチが合わない」状態であるといえる。
ＬE＝ｎ・Ｓ      ・・・（５）
【００６６】
また、「ピッチが合う／合わない」ことは、実際（或いは、想定した）の観察者の視点から見た１つの画素ＰＥに対する視角（対画素視角）σと、この画素ＰＥの射出光線に指向性を与える１つのレンズ３２に対する視角（対レンズ視角）λとによっても表現される。対画素視角σは式（６ａ）で与えられ、対レンズ視角λは次式（６ｂ）で与えられる。
ｔａｎσ＝Ｓ／（Ｄ＋Ｆ）      ・・・（６ａ）
ｔａｎλ＝Ｌ／Ｄ      ・・・（６ｂ）
【００６７】
そして、次式（７）が成立することが「ピッチが合う」状態であり、成立しないことが「ピッチが合わない」状態である。
λ＝ｎ・σ      ・・・（７）
但し、ｎは自然数である。
【００６８】
つまり、式（７）が成立するのは、対レンズ視角λのｍ倍が対画素視角σのｎ倍に一致する、即ちレンズピッチＬEのｍ倍が画素ピッチＳのｎ倍に一致する場合であり、その場合が「ピッチが合う」状態であるといえる。
【００６９】
尚、式（７）の条件は、従来の多眼式或いは超多眼式の立体視において、各視点間の距離を人間の両眼距離と一致させる必要を考慮しない場合の条件である。各視点間の距離を人間の両眼距離と一致させるためには、図５０に示すように、観察距離Ｄと、両眼距離Ｅと、画素ピッチＳと、レンズの焦点距離Ｆとの間に次式（８）が成立する必要がある。
Ｅ／Ｄ＝Ｓ／Ｆ      ・・・（８）
即ち、従来の各視点間の距離を人間の両眼距離と一致させた多眼式の場合には、式（７）及び式（８）を同時に満たす必要がある。そのため、従来の多眼式では、正確なレンズ設計が必要であった。
【００７０】
このように、従来の多眼式では、水平方向で一定の長さ毎に同じ視点の繰り返しが発生している。また、これらの多眼式では、予め設定されたｎ個の視点（個別視点）に基づく画像（個別視点画像）を生成し、それらの画像を視点の繰り返しパターンに合わせて再配置（インターリーブ）することで立体視画像を生成している。
【００７１】
しかしながら、本実施形態の画像生成方法では、以上のような同じ視点の繰り返しが発生しない場合にこそ、良い立体視画像が得られることを特徴としている。ここで、水平方向に同じ視点の繰り返しが発生する条件とは、前述の対画素視角σと対レンズ視角λとの間に、次式（９）の関係が成立することであるといえる。
λ：σ＝ｎ：ｍ      ・・・（９）
但し、ｎ、ｍは自然数である。
【００７２】
つまり、式（９）が成立しないときが、「同じ視点の繰り返しが発生しない」、即ち「ピッチが合わない状態となる。但し、この同じ視点の繰り返しは、少なくとも立体視画像の画像表示領域内で発生しなければ良いので、それを考慮した「同じ視点の繰り返しが発生しない」、即ち「ピッチが合わない」条件は、式（９）において、「ｍがΦ／λ未満の自然数」であることである。但し、Φは、実際の（或いは想定した）観察者の視点から見た表示面２２中の立体視画像が表示される領域（立体視画像表示領域）に対する視角（対表示領域視角）である。
【００７３】
しかし、本実施形態は、ピッチが合っていない（即ち、式（７）及び式（８）が成立しない）立体視映像表示装置とし、この立体視映像表示装置に表示させる立体視画像を生成するものとする。つまり、従来のレンチキュラ方式の立体視映像表示装置では、立体視可能とするためにはレンズピッチと画素ピッチが合うように設計する必要があるが、本実施形態は、ピッチが合っていない立体視映像表示装置において立体視を可能ならしめる。従って、個々のディスプレイの画素ピッチに合ったレンチキュラレンズ板を製造する必要が無くなり、既製のレンチキュラレンズ板を種々のディスプレイに適用できることとなって、レンズ板のコストを大幅に下げるという効果が得られる。また、選択可能な複数のレンズ板から最も目的に合ったものを選ぶこともできる。更には、斜めレンチキュラ方式を採用する場合に、斜めの角度θも自由に設定できる。具体的には、新たなレンズを製造することなく、画素パネルに対するレンズ板の斜めの配置角度θを調節するだけで、モアレや色縞を軽減することができる。
【００７４】
続いて、表示面２２の各画素ＰＥの視線Ｖの決定方法を説明するが、その前に、表示面２２の座標系を図６に示すように定義する。即ち、表示面２２の水平走査方向（横方向）に沿った方向をｘ軸方向とし、鉛直走査方向（縦方向）に沿った方向をｙ軸方向とし、表示面２２から観察者側へ垂直に向かう方向をｚ軸正方向とする。
【００７５】
先ず、本方式おける視線Ｖの決定方法の内、最も基本となる方法について説明する。この方法は、観察者の視線が表示面２２の「正面」（表示面２２の中心Ｏを通過する観察視線方向が表示面２２に対して垂直となる位置）で、且つ「無限遠」にあると想定した方法であり、非立体視画像の描画方法でいえば「平行投影」に相当する。また、ここでは、立体視映像表示装置が上述した垂直／斜めレンチキュラ方式のそれぞれである場合の視線Ｖの決定方法について説明する。尚、以下では、１つの画素ＰＥについての視線Ｖの決定方法を説明するが、他の画素ＰＥについても勿論同様に決定できる。
【００７６】
立体視映像表示装置が垂直レンチキュラ方式である場合の視線Ｖの決定方法を、図５を参照して説明する。図５は、垂直レンチキュラ方式の立体視映像表示装置２００Ａの概略三面図であり、同図（ａ）は、ｘ−ｚ平面に平行な断面図（水平走査方向断面図）を示し、同図（ｂ）は、ｙ−ｚ平面に平行な断面図（鉛直走査方向断面図）を示し、同図（ｃ）は、ｘ−ｙ平面図を示している。
【００７７】
先ず、視線Ｖを決定する画素（以下、「対象画素」という）ＰＥに対応するレンズ３２を決定する。図５（ａ）において、レンズ板３０の各レンズ３２を画素パネル２０の表示面２２に平行投影して（即ち、各レンズ３２の端部３２ａを通過する表示面２２に垂直な直線によって）、表示面２２を各レンズ３２の投影領域に分割する。そして、対象画素ＰＥの代表点（ここでは、画素の中心とする）が属する投影領域のレンズ３２を対象画素ＰＥに対応するレンズ３２とする。但し、同図（ａ）は、対象画素ＰＥの代表点を通過する断面図である。
【００７８】
同図（ａ）では、表示面２２は、レンズ３２−１の投影領域２６−１と、レンズ３２−２の投影領域２６−２と、・・・、に分割される。そして、対象画素ＰＥの代表点は投影領域２６−１に属しているので、対象画素ＰＥに対応するレンズ３２はレンズ３２−１となる。
【００７９】
次いで、対象画素ＰＥの代表点と、対象画素ＰＥに対応するレンズ３２の主点とを通過した後の光線（以下、「代表光線」という）ＰＲを算出し、その代表光線ＰＲと位置は同じで方向を逆にした視線を対象画素ＰＥの視線Ｖとする。具体的には、対象画素ＰＥに対応するレンズ３２−１の主点線３６の内、ｙ座標が対象画素ＰＥの代表点のｙ座標に等しい点を算出し、これを代表主点３６ａとする。そして、対象画素ＰＥの代表点と、この代表主点３６ａとを通過した後の代表光線ＰＲを算出し、この代表光線ＰＲと位置は同じで方向を逆にした視線を対象画素ＰＥに対応する視線Ｖとする。ここでは、簡明のため、対象画素ＰＥの代表点から対象画素ＰＥに対応するレンズ３２の代表主点に向かう方向を代表光線ＰＲの方向とする。
【００８０】
以上説明した方法は、観察者の視点が無限遠にあることを想定したものだが、実際の立体視画像の観察時には、観察者の視点は無限遠ではないため、後述する方法に対して、特に近距離から観察した場合、遠近法（パース）の掛かり具合に違和感を感じることがある。しかし、各視線Ｖの決定方法が簡単であるため、計算負荷を軽減することができる等といった利点がある。
【００８１】
次に、上述した方法に比較してより自然な立体視が可能となる視線Ｖの決定方法を説明する。この方法は、観察者の視点を一定の位置に想定した描画方法であり、非立体画像の描画方法でいえば「透視投影」に相当する。
【００８２】
ここでは、想定観察位置４０を、図６に示すように、立体視映像表示装置の表示面２２に対して「正面」に設定する。「正面」の想定観察位置４０とは、表示面２２の中心Ｏを通過する観察視線方向が、表示面２２に対して垂直となる位置である。以下、この想定観察位置４０と表示面２２との間の距離Ｄを「想定観察距離Ｄ」という。そして、想定観察位置４０を「正面且つ有限距離の定位置」とした場合の視線Ｖの決定方法を、垂直レンチキュラ方式の立体視映像表示装置に適用した場合について説明する。
【００８３】
図７は、垂直レンチキュラ方式の立体視映像表示装置２００Ａの部分概略斜視図である。また、図８は、立体視映像表示装置２００Ａの概略三面図であり、同図（ａ）は、図７のｘ−ｚ平面に平行なＡ−Ａ位置での断面図（水平走査方向断面図）を示し、図８（ｂ）は、図７のｙ−ｚ平面に平行なＢ−Ｂ位置での断面図（鉛直方向断面図）を示し、図８（ｃ）は、ｘ−ｙ平面図を示している。尚、レンズ板３０及び画素パネル２０は、レンズ板３０の各レンズ３２の焦点距離Ｆを隔てて平行配置されている。
【００８４】
先ず、対象画素ＰＥに対応するレンズ３２を決定する。具体的には、図８（ａ）において、想定観察位置４０からレンズ板３０の各レンズ３２を画素パネル２０の表示面２２に投影して（即ち、想定観察位置４０から各レンズ３２の端部へと向かう直線によって）、表示面２２を各レンズ３２の投影領域に分割する。そして、対象画素ＰＥの代表点がどの投影領域に属するかによって対応するレンズ３２を決定する。但し、同図（ａ）は、対象画素ＰＥの代表点を通過する断面図である。
【００８５】
同図（ａ）では、表示面２２は、レンズ３２−７の投影領域２６−７と、レンズ３２−８の投影領域２６−８と、レンズ３２−９の投影領域２６−９と、・・・、に分割される。そして、対象画素ＰＥの代表点は投影領域２６−７に属しているので、この対象画素ＰＥに対応するレンズ３２はレンズ３２−７となる。
【００８６】
次に、対象画素ＰＥの代表点と、対象画素ＰＥに対応するレンズ３２の主点とを通過した後の代表光線を算出し、算出した代表光線と位置は同じで方向を逆にした視線を対象画素の視線Ｖとする。具体的には、図８（ｂ）において、対象画素ＰＥの代表点と想定観察位置４０とを結ぶ直線ＬＮ１と、レンズ板３０の主点面（各レンズ３２の主点を含む面。表示面２２に平行な平面である）３５との交点のｙ座標を算出する。算出したｙ座標を「ｙ１」とする。但し、同図（ｂ）は、対象画素ＰＥの代表点を通過する断面図である。次いで、対象画素ＰＥに対応するレンズ３２−１の主点線３６の内、ｙ座標が「ｙ１」である点を算出し、これを代表主点３６ｃとする。そして、対象画素ＰＥの代表点と、この代表主点３６ｃとを通過した後の代表光線ＰＲを算出し、この代表光線ＰＲと位置は同じで方向を逆にした視線を対象画素ＰＥに対応する視線Ｖとする。
【００８７】
以上、想定観察位置が「正面且つ無限遠」及び「正面且つ有限距離の定位置」のそれぞれである場合の、表示面２２の各画素ＰＥの視線Ｖの決定方法を説明した。尚、以上では、各レンズ３２に入射する光線は屈折を起こさない（即ち、対象画素ＰＥの代表点から対象画素ＰＥに対応するレンズ３２の代表主点に向かう方向が代表光線ＰＲの方向に一致する）ものとして説明したが、厳密には、図９に示すように、屈折作用によって、代表光線ＰＲは、対象画素ＰＥの代表点と対象画素ＰＥに対応するレンズ３２の代表主点とを結ぶ直線に対してｙ座標位置が僅かにずれて一致しない。そこで、このずれを算出して補正することにより、各画素ＰＥの視線Ｖを正確に求めることとすればより好適である。
【００８８】
また、各画素ＰＥに対するレンズ３２の決定を、図７、８を参照して説明したように、想定観察位置４０を「有限距離の定位置」として行うことで、遠近法（パース）の掛かり具合が自然になること以外にも、想定観察位置４０周辺での観察範囲が広くなるという効果を得ることができる。
【００８９】
このように、各画素に対応する視線Ｖを決定した後、図１０に示すように、決定した視線Ｖを基に、仮想カメラに相当する画素別視点ＣＭを画素ＰＥ毎に設定する。尚、ここでは、画素ＰＥに該画素ＰＥに対応する画素別視点ＣＭを設定するが、画素別視点ＣＭを特に設定せず、全画素ＰＥについての視線Ｖに共通なｚ方向の描画範囲を設定し、各視線Ｖについて描画を行うこととしても良い。
【００９０】
図１０は、画素別視点ＣＭの設定を説明するための図であり、表示面２２の一部横方向断面図を示している。同図に示すように、各画素ＰＥ（ＰＥ１，ＰＥ２，・・・）の画素別視点ＣＭ（ＣＭ１，ＣＭ２，・・・）は、その視線方向が対応する視線Ｖ（Ｖ１，Ｖ２，・・・）となるように設定する。また、各画素別視点ＣＭと表示面２２との間の距離は、例えば同図に示すように、表示面２２に平行な同一平面上に位置するように設定する。
【００９１】
同図では、画素ＰＥ１，ＰＥ２，・・・、のそれぞれの視線Ｖは視線Ｖ１，Ｖ２，・・・、である。従って、画素ＰＥ１の画素別視点ＣＭは、視線Ｖ１がその視線方向の画素別視点ＣＭ１となる。また、画素ＰＥ２の画素別視点ＣＭは、視線Ｖ２がその視線方向の画素別視点ＣＭ２となる。更に、画素ＰＥ３，ＰＥ４，・・・、についても同様に、それぞれの画素別視点ＣＭは、視線Ｖ３，Ｖ４，・・・、がその視線方向の画素別視点ＣＭ３，ＣＭ４，・・・、となる。
【００９２】
（２）レンダリング
各画素ＰＥの画素別視点ＣＭを設定した後、設定した各画素別視点ＣＭを基に三次元仮想空間をレンダリングすることで立体視画像を生成する。具体的には、画素ＰＥ毎に、該画素ＰＥに対応する画素別視点ＣＭの視線方向のオブジェクト空間の色情報（ＲＧＢ値やα値等）を算出し、算出した色情報を該画素ＰＥの色情報とすることで立体視画像を生成する。
【００９３】
図１１は、色情報の算出を説明する図であり、表示面２２の一部横方向断面図を示している。同図に示すように、表示面２２の各画素ＰＥについて、対応する画素別視点ＣＭの視線方向のオブジェクト空間の色情報を算出し、算出した色情報を該画素ＰＥの色情報とする。色情報の算出方法としては、例えば画素別視点ＣＭからその視線方向に沿った光線を基に決定する、いわゆるレイトレーシング法等によって実現される。
【００９４】
同図では、画素ＰＥ１，ＰＥ２，・・・、のそれぞれの画素別視点は画素別視点ＣＭ１，ＣＭ２，・・・、である。従って、画素ＰＥ１の色情報は、画素別視点ＣＭ１の視線方向のオブジェクト空間の色情報となり、また、画素ＰＥ２の色情報は、画素別視点ＣＭ２の視線方向のオブジェクト空間の色情報となる。更に、画素ＰＥ３，ＰＥ４，・・・、のそれぞれについても同様に、対応する画素別視点ＣＭ３，ＣＭ４，・・・、の視線方向のオブジェクト空間の色情報が該画素ＰＥ３，ＰＥ４，・・・、の色情報となる。
【００９５】
このように、本実施形態では、表示面の画素ＰＥ毎に、（１）視線Ｖを決定し、（２）決定した視線Ｖの視線方向の色情報を該画素ＰＥの色情報とする（レンダリングする）、ことで立体視画像を生成する。
【００９６】
尚、このように生成した画像を立体視画像として本実施形態の立体視映像表示装置に表示させた場合、観察者によって視認される映像は、従来の立体視映像と比べて若干正確さに欠く像となる。
【００９７】
図１２は、本実施形態の立体視映像が若干正確さに欠けることを説明するための図であり、表示面２２の横方向一部断面図を示している。同図において、観察者の右目ＥＹ１から立体視映像表示装置を見ると、レンズ３２−１を介して画素ＰＥ１が見え、レンズ３２−２を介して画素ＰＥ２が見え、レンズ３２−３を介して画素ＰＥ３が見える。
【００９８】
ところで、画素ＰＥ１の色情報は、画素別視点ＣＭ１の視線方向のオブジェクト空間の色情報であり、画素ＰＥ２の色情報は、画素別視点ＣＭ２の視線方向のオブジェクト空間の色情報であり、また、画素ＰＥ３の色情報は、画素別視点ＣＭ３の視線方向のオブジェクト空間の色情報である。即ち、右目ＥＹ１と画素別視点ＣＭ１，ＣＭ２，ＣＭ３とは一致しないため、観察者によって認識される各画素ＰＥの色情報は、その位置から見た正確な色情報とはならない。
【００９９】
しかしながら、画素別視点ＣＭ１，ＣＭ２，ＣＭ３の位置は右目ＥＹ１の近傍であり、また、それらの視線方向は、右目ＥＹ１がレンズ３２−１，３２−２，３２−３を介して画素ＰＥ１，ＰＥ２，ＰＥ３を見る視線方向とは僅かにずれる程度である。このため、観察者の右目ＥＹ１で視認される像（色情報）は、その位置から見た正確な像（色情報）ではないものの、一定の明確性を有して視認される。
【０１００】
また、本実施形態によれば、視点（ビュー）の数が極めて多く、自然な立体視が可能となる。このことを、従来の多眼方式の立体視と比較した図１３、１４を参照して説明する。
【０１０１】
図１３は、従来の多眼方式の立体視の概略（イメージ）を示す図であり、３眼式の場合を示している。同図上側に示すように、従来の３眼式の立体視では、オブジェクト空間において、適当な距離を隔てて３つの個別視点１，２，３を設定し、個別視点１，２，３のそれぞれから見たオブジェクト空間の個別視点画像１，２，３を生成する。そして、これら３つの個別視点画像１，２，３をインターリーブ処理することで立体視画像を生成する。尚、同図において、立体視画像の各画素の数字は対応する個別視点画像（個別視点）の番号を表している。また、各画素別視点ＣＭの位置及び視線方向は、概略図（イメージ図）であるために大凡であり、正確なものではない。
【０１０２】
そして、同図下側に示すように、生成した立体視画像を従来の３眼式の立体視映像表示装置に表示させて適視位置１，２，３のそれぞれから見ると、適視位置１では個別視点画像１が見え、適視位置２では個別視点画像２が見え、適視位置３では個別視点画像３が見える。より詳細には、適視位置１をほぼ中心とする適視範囲１では個別視点画像１が見え、適視位置２をほぼ中心とする適視範囲２では個別視点画像２が見え、適視位置３をほぼ中心とする個別視点適視範囲３では画像３が見える。但し、同図において、適視範囲は概略図（イメージ図）であるために大凡のものであり、正確なものではない。
【０１０３】
即ち、観察者ＯＢが、右目ＥＹ１が適視位置２にほぼ一致し、左目ＥＹ２が適視位置１にほぼ一致する位置で立体視画像を見ると、右目ＥＹ１では個別視点画像２が見え、左目ＥＹ２では個別視点画像１が見えることで立体視映像を認識する。つまり、右目ＥＹ１を個別視点２とし、左目ＥＹ２を個別視点１としてオブジェクト空間を見た状態に相当する。
【０１０４】
また、観察者ＯＢの位置が、立体視画像に対して右方向へ移動すると、右目ＥＹ１或いは左目ＥＹ２が適視範囲の境界部分を通過する際に、該右目ＥＹ１或いは左目ＥＹ２で見える画像が急に切り換わる。具体的には、例えば右目ＥＹ１が適視範囲２と適視範囲３との境界部分を通過する際に、右目ＥＹ１に見える画像が個別視点画像２から個別視点画像３に切り換わる。また、左目ＥＹ２が適視範囲１と適視範囲２との境界部分を通過する際に、左目ＥＹ２に見える画像が個別視点画像１から個別画像２に切り換わる。
【０１０５】
これは、従来の多眼方式の立体視では、ｎ個の個別視点から見た各個別視点画像をインターリーブ処理して立体視画像を生成し、これを、ピッチが合うように設計されたｎ眼式の立体視映像表示装置に表示させることで立体視を実現しているためである。即ち、従来の立体視映像表示装置では、立体視画像を、レンチキュラレンズ板によって各個別視点画像に分離しているためである。
【０１０６】
図１４は、本実施形態の立体視の概要（イメージ）を示す図である。本実施形態では、上述のように、画素ＰＥ毎に画素別視点ＣＭを設定し、各画素別視点ＣＭの視線方向のオブジェクト空間の色情報を対応する画素ＰＥの色情報とすることで立体視画像を生成している。即ち、同図上側に示すように、画素数に等しい画素別視点ＣＭ１，ＣＭ２，・・・を設定し、設定した画素別視点ＣＭ１，ＣＭ２，・・・、のそれぞれの視線方向の色情報を画素ＰＥ１，ＰＥ２，・・・、の色情報として立体視画像を生成している。尚、同図において、立体視画像の各画素ＰＥの数字は、対応する画素別視点ＣＭの番号を表している。
【０１０７】
このように生成された立体視画像を、例えば図２に示した本実施形態の立体視映像表示装置２００Ａに表示させ、観察者ＯＢが、同図下側に示す位置で立体視画像を見る。すると、左目ＥＹ２には、画素ＰＥ１，ＰＥ２，ＰＥ３，・・・、から構成される画像Ａが見え、右目ＥＹ１には、画素ＰＥ１１，ＰＥ１２，ＰＥ１３，・・・、から構成される画像Ｂが見える。つまり、左目ＥＹ２を、画素別視点ＣＭ１，ＣＭ２，・・・，ＣＭ１０、から成る視点群とし、右目ＥＹ１を、画素別視点ＣＭ１１，ＣＭ１２，・・・，ＣＭ２０、から成る視点群としてオブジェクト空間を見ている状態に相当する。
【０１０８】
そして、観察者ＯＢの位置が、立体視画像に対して少し右方向に移動すると、観察者の左目ＥＹ２に見える画像が、画像Ａの一部の画素ＰＥが隣の画素ＰＥに入れ替わった画像Ａ2に変化し、右目ＥＹ１に見える画像が、画素Ｂの一部の画素ＰＥが隣の画素ＰＥに入れ替わった画像Ｂ2に変化する。
【０１０９】
このように、本実施形態では、立体視画像を見る観察者の位置（観察位置）が変化すると、この変化に伴って右目ＥＹ１及び左目ＥＹ２のそれぞれに見える画像が少しずつ変化する。詳細には、幾つかの画素がその近隣の画素に入れ替わった画像に変化する。従って、観察者ＯＢの右目ＥＹ１及び左目ＥＹ２のそれぞれに見える画像が少しずつ変化することで、認識される映像が少しずつ変化する。
【０１１０】
このため、例えば図１３に示した従来の多眼方式の立体視映像のように、適視範囲の境界部分で見える画像が急に切り変わる（即ち、認識される立体視映像が急に変化する）といった現象が生じず、観察位置の変化に伴って少しずつ変化する自然な立体視映像を実現できるとともに、観察者により視認される像の明確性が一定以上に保たれる。
【０１１１】
尚、上述のように、観察者ＯＢの右目ＥＹ１及び左目ＦＹ２の各目に見える画像は、実際の画像とは若干正確さに欠く映像となる。しかし、各目が各画素を見る視線方向は、図１４下側に示すように、該画素の画素別視点ＣＭの視線方向にほぼ沿った方向となっている。即ち、左目ＥＹ２が画像Ａの各画素ＰＥ１，ＰＥ２，・・・、を見る視線方向は、これら各画素ＰＥ１，ＰＥ２，・・・、に対応する画素別視点ＣＭ１，ＣＭ２，・・・、の視線方向にほぼ沿った方向となっている。また、右目ＥＹ１についても同様に、画像Ｂの各画素ＰＥ１１，ＰＥ１２，・・・、を見る視線方向は、これら各画素ＰＥ１１，ＰＥ１２，・・・、に対応する画素別視点ＣＭ１１，ＣＭ１２，・・・、の視線方向にほぼ沿った方向となっている。このため、観察者に視認される映像は、若干正確さに欠くものの、像として視認できる明確性を有したものとなる。また、前述のように、観察者の位置が変化しても、視認される像の明確性が一定以上に保たれる。
【０１１２】
また、本実施形態において観察者に認識される立体視映像は、従来の多眼方式の立体視映像と同程度の解像度が得られる。例えば図２に示す立体視映像表示装置２００Ａでは、レンズピッチＬはサブピクセル単位での画素ピッチＳの３〜４倍である。従って、かかる立体視映像表示装置２００では、画素パネル２０の解像度の１／３〜１／４程度の解像度、即ち、従来の３〜４眼式の立体視映像と同程度の解像度が得られることになる。
【０１１３】
このように、本実施形態による立体視では、認識される立体視映像の正確さが僅かに欠けるけれども、従来の多眼方式の立体視映像と同程度の解像度を有しつつ、且つ、視点（ビュー）の数が膨大になったような自然な立体視映像を実現できる。
【０１１４】
以上、方法（I）に基づき本実施形態の立体視画像を生成する方法について説明した。次に、方法（II）に基づき１視点からの平面視画像とその奥行画像とから本実施形態の立体視画像を生成する方法について説明する。ここで、方法（II）は、ａ）専用のレンダラを使わなくとも、既存の高品位なＣＧツールで作成した画像を容易に立体化できる、ｂ）実写画像から立体視画像を作成する場合に、一箇所の視点位置からの撮影で済ませることができる、ｃ）奥行画像の作成は、ＣＧツールで描画する場合には容易に作成できる、ｄ）実写画像に対応する奥行画像を取得する場合、距離画像カメラ等が必要となり、その精度や解像度は現状では不十分だが、今後向上が期待できる、などの理由からその研究が盛んに進められている。
【０１１５】
例えば、特開２０００−７８６１１号公報に記載されるように、平面視画像と奥行画像とから２眼式の立体視画像を生成する場合、奥行画像の奥行値に基づいて、平面視画像をそれぞれ左右方向にずらすことにより、左目用の視差画像と、右目用の視差画像とを生成し、生成した視差画像をインターリーブして立体視画像を生成する。ここでいう奥行画像とは、平面視画像の対応する位置の奥行値を、白黒の階調で表す画像データである。画素毎の奥行値が既知であれば、平面視画像の各画素が視差画像のどの位置に変換されるかはスクリーンの大きさ、観察者の観察距離及び両眼間の距離から一義的に求まる。
【０１１６】
例えば、図１５に示すように、先ず、平面視画像のドットの位置Ｐ０から観察者の視線方向に垂直に伸ばした線と、奥行値とが交差する位置Ｐ１を該画素を表示させたい位置として決定する。次いで、左目用の視差画像を生成する場合は、想定観察位置４０に相当する左目用視点カメラと位置Ｐ１とを結ぶ延長線と表示面とが交差する点を左目用の画素移動位置Ｐ２とする。一方、右目用の視差画像を生成する場合は、想定観察位置４０に相当する右目用視点カメラと位置Ｐ１とを結ぶ線の延長線と表示面とが交差する点を右目用の画素移動位置Ｐ３とする。このように、平面視画像の各画素に対して、奥行値に基づき表示させたい位置を決定し、当該位置と、各左右視点カメラの位置とに基づいて、当該画素の移動位置を決定することにより、左目用の視差画像と、右目用の視差画像とを生成する。そして、生成した２つの視差画像をインターリーブすることにより、２眼式の立体視画像を生成することができる。
【０１１７】
一方、本実施形態では、表示面の各画素毎に、（１）該画素の代表点（例えば、画素の中心）及び該画素の射出光線に指向性を与える光学素子（例えば、レンズ）の代表点を通過する光線の方向と、前記三次元仮想空間における前記視点位置とに基づいて、前記三次元仮想空間における前記光線の方向に対応する方向を決定し、（２）決定した方向と奥行画像とに基づき、前記三次元仮想空間中の当該方向における最も手前の物体の色情報を表しているドットを平面視画像の中から判定し、判定した基準画像のドットの色情報を該画素の色情報とすることで立体視画像を生成する。尚、（１）の光線の方向に対応する方向の決定方法は、上述した方法（I）と略重複した説明となるため、以下では、主に（２）決定した方向と奥行画像とに基づき色情報を決定する方法について詳細に説明する。
【０１１８】
まず、原理の概要について説明する。
例えば、図１６に示すように、表示面の位置Ｐ１２の画素に着目した場合、該画素に対する視線Ｖと画素別視点ＣＭ１１とを方法（I）の場合と同様に決定する。次いで、決定した視線Ｖに対応する方向の軌跡（図中、位置Ｐ１２と画素別視点ＣＭとを通過する線、以下、「画素別視線方向軌跡」と呼ぶ）と、奥行値とが交差する位置Ｐ１１を該画素を表示したい位置として決定する。そして、位置Ｐ１１から表示面に対して垂直に伸ばした線と、表示面との交点Ｐ１０の位置を取得し、取得した位置に対応する平面視画像のドットの色情報を、位置Ｐ１２の画素の色情報として求める。
【０１１９】
次に、画素別視線方向軌跡と、奥行値との交点が複数ある場合について説明する。例えば、表示面の位置Ｐ２４の画素に着目した場合、画素別視線方向軌跡と奥行値とは、交点Ｐ２１，交点Ｐ２２及び交点Ｐ２３で交差する。この場合、観察者の最も手前の交点、即ち、個別視点ＣＭ２２に最も近い交点Ｐ２１を、該画素を表示させたい位置として決定する。そして、交点Ｐ２１から表示面に対して垂直に伸ばした線と、表示面との交点Ｐ２０の位置を取得し、取得した位置に対応する平面視画像のドットの色情報を、位置Ｐ２４の画素の色情報として求める。
【０１２０】
このように、表示面の各画素に対する視線Ｖと画素別視点ＣＭとを決定し、視線Ｖの方向と該画素及び画素別視点ＣＭとから画素別視線方向軌跡を求め、画素別視線方向軌跡と奥行値とが交差する点のうち、画素別視点ＣＭに最も近い交点の位置を該画素を表示させたい位置として決定する。そして、決定した位置から表示面に対して垂直に伸ばした線と、表示面との交点の位置を取得し、取得した位置に対応する平面視画像のドットの色情報を該画素の色情報とすることにより、立体視画像を生成することができる。
【０１２１】
次に、具体的な平面視画像とその奥行画像とに基づいて、立体視画像を生成する方法について説明する。尚、以下では説明の簡便のため平面視画像がグレースケール画像（モノクロ画像）である場合を例として説明する。図１７（ａ）は、平面視画像の対応する位置の奥行値を、白黒の階調で表す奥行画像であり、同図（ｄ）は、基準となる平面視画像である。同図（ｂ）は、奥行画像の奥行値に基づき生成される奥行情報モデルであり、あるスキャンライン（例えば、Ｙ＝ｙ0）におけるＺ値をｘｚ座標に変換したものである。この奥行情報モデルは、Ｚ値が大きいほど観察者に近い距離にあることを示し、１ドットは１ピクセルに対応している。尚、奥行画像は、観察者の視点が無限遠であることを想定した平行投影法により作成された画像である。
【０１２２】
同図（ｃ）は、表示面２２に対する垂直断面を簡略的に示した図であり、画素ＰＥ１，ＰＥ２の代表点から射出される代表光線ＰＲ１，ＰＲ２と、奥行情報モデルとの交点Ｘ１，Ｘ２と、同図（ｄ）に示す平面視画像との対応関係を示す図である。同図（ｃ）に示すように、画素ＰＥ１から射出された代表光線ＰＲ１（即ち、視線Ｖと逆方向の光線であり、画素別視線方向軌跡と等価の光線）と、奥行情報モデルとから交点Ｘ１（ｚ1，ｘ1）が決定する。この交点Ｘ１の位置に対応する平面視画像のドットの色情報を取得する。即ち、交点Ｘ１（ｚ1，ｘ1）から、対応する平面視画像の位置座標（ｘ1，ｙ0）が決定され、この位置座標におけるドットから取得される色情報を画素ＰＥ１の色情報として求める。同様に、画素ＰＥ２から射出された代表光線ＰＲ２と、奥行情報モデルとの交点Ｘ２（ｚ2，ｘ2）から、対応する平面視画像の位置座標（ｘ2，ｙ0）が決定する。そして、平面視画像の位置座標（ｘ2，ｙ0）のドットから取得される色情報を画素ＰＥ２の色情報として求める。
【０１２３】
更に、画素別視線方向軌跡と、奥行情報モデルの奥行値との交点が複数ある場合の色情報の求め方について詳細に説明する。図１８は、表示面２２に対する垂直断面を簡略的に示した図であり、当該垂直断面に応じたスキャンラインにおける奥行情報モデルを示している。また、表示面２２の黒丸（●）は各画素の代表点を示し、各代表点のｘ座標と、奥行値のｘ座標はそれぞれ一致しているものとする。つまり、１画素は、１ピクセルに対応している。本方式では、各画素の代表点から射出される代表光線の方向を、レンズ及び画素の位置関係から算出し、これを視線Ｖの方向とする。尚、図中レンズの記載は省略している。
【０１２４】
図１９は、図１８に示した各画素のうち画素ＰＥ１，ＰＥ２，ＰＥ３に着目し、該画素ＰＥ１〜ＰＥ３に対応する代表光線ＰＲ１〜ＰＲ３を示した図である。代表光線ＰＲ１〜ＰＲ３は、３つの典型的パターンを示している。つまり、代表光線ＰＲ１は、画素ＰＥ１から左斜め上方向に射出するパターンであり、代表光線ＰＲ２は、画素ＰＥ２から右斜め上方向に射出するパターンであり、代表光線ＰＲ３は、画素ＰＥ３から垂直上方向に射出するパターンを示している。先ず、代表光線が左斜め上方向に射出するパターン、即ち、画素別視線方向軌跡の傾きが負となる場合における画素ＰＥ１の色情報の求め方について説明する。
【０１２５】
図２０は、画素別視線方向軌跡をＶ１とし、Ｖ１と奥行情報モデルとの交点を示す図である。尚、レンズ及び画素は省略している。先ず、画素別視線方向軌跡Ｖ１と、奥行情報モデルの全ての線分との交差判定を行い、各交点（図中では、３つの交点）を求める。そして、全交点の中から奥行値（Ｚ値）が最も大きい交点（即ち、画素別視点ＣＭから最も手前の交点、以下、「対象交点」と呼ぶ）を色情報を求めるための交点として取得する。そして、図１７（ｃ）、（ｄ）を用いて説明した方法と同様に平面視画像のドットのうち対象交点の位置に応じたドットの色情報を取得し、これを画素ＰＥ１の色情報とする。同図においては、交点Ｘ１が対象交点となる。
【０１２６】
同様に、画素ＰＥ２の色情報を求める場合も、画素ＰＥ２に対する画素別視線方向軌跡Ｖ２と、奥行情報モデルの全ての線分と交差判定を行い、求められた全交点のうちＺ値が最も大きい対象交点を取得する。そして、平面視画像のドットのうち対象交点の位置に対応するドットの色情報を取得して、これを画素ＰＥ２の色情報とする。また、画素ＰＥ３の色情報を求める場合は、視線Ｖは画素ＰＥ３に対して垂直方向であるため、平面視画像のドットのうち画素ＰＥ３の位置に対応するドットの色情報を取得し、これを画素ＰＥ３の色情報とする。
【０１２７】
以上のように、各画素の色情報を求める場合、各画素に対する画素別視線方向軌跡と、奥行情報モデルの全ての線分との交差判定を行う必要があり、三次元仮想空間の色情報を求めるのに時間を要することが懸念された。つまり、本実施形態では、画素パネルの各画素には、当該画素毎の光線の方向に基づいた三次元仮想空間の色情報が表されるため、当該光線の数ほどに視点がある、即ち画素の数ほどに視点があるといえる。従って、視点の数の増加に伴い、画素毎の計算処理に多大な時間を要するという問題がある。
【０１２８】
リアルタイムに動画像を生成して立体視映像装置に表示させる場合、毎フレーム単位で立体視画像を生成する必要がある。従って、時間的な制約が極めて大きく、毎フレーム単位で立体視画像を生成できない場合、立体視映像表示装置に動画像を表示できない事態（いわゆる処理落ち）が起こり得た。そこで、本発明者は、各画素に対する画素別視線方向軌跡と、奥行値情報とに基づいた収束計算処理により、対象交点を短時間で求める方法を発明した。
【０１２９】
以下、対象交点を求める方法について説明する。
今、あるスキャンラインにおける奥行情報モデルの奥行値（Ｚ値）が、関数ｚ＝ｆz（ｘ）で表され、一の画素における画素別視線方向軌跡が、関数ｚ＝ａｘ＋ｂ（ａ、ｂは定数）で表されるものとする。但し、「ｘ」は、画素パネル２０の画素のｘ座標（画素位置）を示している。
【０１３０】
また、簡単のため、関数ｚ＝ｆz（ｘ）と関数ｚ＝ａｘ＋ｂとは、１点でのみ交差するものとする。この場合における関数ｚ＝ｆz（ｘ）及び関数ｚ＝ａｘ＋ｂのグラフの一例を、図２１に示す。
【０１３１】
ここで、ｆ（ｘ）＝ｆz（ｘ）−（ａｘ＋ｂ）とおくと、関数ｚ＝ｆz（ｘ）と関数ｚ＝ａｘ＋ｂとの交点に対応する画素位置ｘmは、方程式ｆ（ｘ）＝０の解として求めることができるため、数値計算によりｆ（ｘ）＝０の解を求める問題に帰着する。
【０１３２】
ここで、ｆ（ｘ）＝０の解を求めることは、一般的に容易ではない。しかし、公知の手法に基づいて近似解を求めることは可能である。そこで、本実施形態では、ニュートン法と呼ばれる手法を用いて、ｆ（ｘ）＝０の近似解を算出する。
【０１３３】
図２２は、ニュートン法による近似解算出の原理を示す図である。
先ず、任意の画素位置ｘ＝ｘ0を初期値に設定し、関数ｆ（ｘ）上の点（ｘ0，ｆ（ｘ0））における接線がｘ軸と交差する点をｘ1として算出する。
【０１３４】
次いで、関数ｆ（ｘ）上の点（ｘ1，ｆ（ｘ1））における接線がｘ軸と交差する点をｘ2として算出する。以下、同様の手順を繰り返してｘ3，ｘ4，ｘ5，・・・を算出していくと、初期値が適切である限り、ｘnは最終的に解であるｘmに収束する。ここで、ｘnの更新式は、次式（１０）のように定式化される。
ｘn+1＝ｘn−ｆ（ｘn）／ｆ´（ｘn）      ・・・（１０）
【０１３５】
尚、ニュートン法では、次式（１１）の条件が満たされた時点で計算を終了するのが一般的である。
｜（ｘn+1−ｘn）／ｘn｜＜ε      ・・・（１１）
但し、εは、計算精度を決める定数である。
【０１３６】
式（１０）から明らかなように、ｘnを更新する際には、ｆ´（ｘn）を求める必要がある。ここで、ｆ´（ｘn）＝ｆz´（ｘn）−ａであり、画素別視線方向軌跡の傾きである「ａ」の値は定まっているため、ｆz´（ｘn）を求めれば良いことになる。
【０１３７】
この場合、ｆz´（ｘn）を逐次算出しても良いが、予め平面視画像の全てのドットについて、奥行値の微分値（以下、「奥行微分値」と呼ぶ。）を算出しておくことにすれば至便である。
【０１３８】
奥行値を与える関数ｚ＝ｆz（ｘ）が数式として与えられていれば、当該関数を微分することで得られる微分関数ｚ´＝ｆz´（ｘ）から奥行微分値を算出することができる。しかし、一般の画像では、奥行値を与える関数ｚ＝ｆz（ｘ）を数式化できないため、奥行微分値を与える関数を求めることは困難である。そこで、各ドットについて、当該ドットの奥行値と当該ドットに隣接する隣接ドットの奥行値との差分を算出して奥行差分値とし、これを奥行微分値の代わりにする。
【０１３９】
以上のように、本実施形態では、ニュートン法を用いて各画素の画素別視線方向軌跡と奥行値との対象交点を求める。ニュートン法は、解の収束性が初期値に依存するアルゴリズムではあるが、二次収束性を有することを特徴としているため、初期値が適切であれば、解を高速に求めることが可能となる。従って、対象交点を短時間で求めることができるため、立体視画像生成の高速化を実現できる。
【０１４０】
２．立体視画像生成装置
次に、上述した原理に基づく立体視画像生成装置について説明する。かかる立体視画像生成装置は、動画の立体視を実現する立体視画像を生成するものである。
【０１４１】
２−１．構成
図２３は、本実施形態における立体視画像生成装置１の構成を示すブロック図である。
立体視画像生成装置１は、入力部１００と、立体視映像表示装置２００と、処理部３００と、記憶部４００とを備えて構成される。
【０１４２】
入力部１００は、ユーザによる操作指示を受け付け、操作に応じた操作信号を処理部３００に出力する。この機能は、例えばボタンスイッチやレバー、ジョイスティック、ダイヤル、マウス、トラックボール、キーボード、タブレット、タッチパネル、各種センサ等の入力装置によって実現される。
【０１４３】
立体視映像表示装置２００は、立体視画像生成部３２０により生成された立体視画像を表示して観察者に立体視映像を認識せしめる表示装置である。本実施形態では、例えば図２に示した垂直レンチキュラ方式の立体視映像表示装置により実現される。
【０１４４】
処理部３００は、立体視画像生成装置１全体の制御や画像生成等の各種演算処理を行う。この機能は、例えばＣＰＵ（ＣＩＳＣ型、ＲＩＳＣ型）、ＡＳＩＣ（ゲートアレイ等）等の演算装置やその制御プログラムにより実現される。特に、本実施形態では、処理部３００は、三次元仮想空間であるオブジェクト空間を設定するオブジェクト空間設定部３１０と、オブジェクト空間設定部３１０により設定されたオブジェクト空間の立体視画像を生成する立体視画像生成部３２０とを含む。
【０１４５】
立体視画像生成部３２０は、画素別視点設定部３２２と、レンダリング部３２４と、モデル生成部３２５と、色情報設定部３２６とを含み、記憶部４００に記憶されている立体視画像生成プログラム４１０に従った処理を実行することで、オブジェクト空間設定部３１０により設定されたオブジェクト空間の立体視画像を生成し、生成した立体視画像を立体視映像表示装置２００に表示させる。
【０１４６】
画素別視点設定部３２２は、表示装置データ４３０及び想定観察位置データ４４０を参照してオブジェクト空間に画素別視点ＣＭを設定する。具体的には、立体視映像表示装置２００の表示面２２の画素ＰＥ毎に、表示装置データ４３０及び想定観察位置データ４４０を参照して対応するレンズ３２を決定する。そして、該画素ＰＥの代表点と、該画素ＰＥに対応するレンズ３２の主点（詳細には、代表主点）とを通過した後の代表光線ＰＲを算出し、この代表光線ＰＲと位置は同じで方向を逆にした視線を該画素ＰＥの視線Ｖとする。このとき、画素ＰＥに対応するレンズ３２及び視線Ｖの決定は、立体視映像表示装置２００に応じた方法で行う。即ち、図７、８を参照して説明したように行う。
【０１４７】
そして、画素別視点設定部３２２は、各画素ＰＥについて、算出した視線Ｖを視線方向とする画素別視点ＣＭを設定する。また、画素別視点ＣＭの位置は、立体視画像生成部３２０によって決定された設定基準位置を基に設定する。具体的には、例えば図１１に示したように、表示面２２に平行な同一面上に各画素別視点ＣＭを設定する。
【０１４８】
ここで、表示装置データ４３０とは、立体視映像表示装置２００の構成パラメータのデータである。図２４に、表示装置データ４３０のデータ構成の一例を示す。表示装置データ４３０は、立体視映像表示装置２００を構成する画素パネル２０の画素ピッチ４３１と、レンズ板３０のレンズピッチ４３２及び焦点距離４３３と、画素パネル２０に対するレンズ板３０の配置角度４３４及び配置基準位置４３５とを格納する。
【０１４９】
配置角度４３４は、画素パネル２０の画素ピッチ方向とレンズ板３０のレンズピッチ方向とが成す角度θの値を格納する。即ち、配置角度４３４は、立体視映像表示装置２００が垂直／斜めレンチキュラ方式の何れであるかを示すデータであり、垂直レンチキュラ方式の場合には、θ＝０゜となり、斜めレンチキュラ方式の場合には、θ＝０゜以外となる。配置基準位置４３５は、レンズ板３０の配置位置であり、画素パネル２０の基準位置からのレンズ板３０の水平方向に対するずれの大きさｄｘを格納する。尚、この表示装置データ４３０は、固定的なデータとして予め記憶されていることとするが、入力部１００からのユーザ入力に従って設定されることとしても良い。
【０１５０】
また、想定観察位置データ４４０とは、想定観察位置４０のデータであり、具体的には、立体視映像表示装置２００の画素パネル２０の表示面と、想定した観察者の視点（想定観察位置）４０との間の想定観察距離Ｄの値を格納する。或いは、想定した観察者の視点（想定観察位置）４０の位置座標を格納することとしても良い。尚、この想定観察位置データ４４０は、固定的なデータとして予め記憶されていることとするが、入力部１００からのユーザ入力によって設定されることとしても良い。想定観察位置データ４４０をユーザ入力により設定できるようにすることで、想定視点位置を変更したい場合にも容易に対応できる。また、入力装置としてヘッドトラッキング装置を用いて、観察位置が自動的にフィードバック（入力）されるようにしても良い。
【０１５１】
また、画素別視点設定部３２２によって設定された各画素ＰＥの画素別視点ＣＭのデータは画素別視点データ４５０に格納される。図２５に、画素別視点データ４５０のデータ構成の一例を示す。画素別視点データ４５０は、立体視映像表示装置２００の画素パネル２０の画素４５１と、画素別視点ベクトル４５２とを対応付けて格納している。画素別視点ベクトル４５２には、対応する画素別視点ＣＭを表すデータとして視線Ｖのデータが、正規化されたベクトルとして格納される。また、実際の計算時には、視線Ｖのデータは、画素別視線方向軌跡の関数ｚ＝ａｘ＋ｂに変換して用いられる。そのため、予めａ、ｂの値を計算して求めておき、これらを画素別視点データ４５０に格納しておいても良い。
【０１５２】
レンダリング部３２４は、オブジェクト空間設定部３１０により設定されたオブジェクト空間に１つの仮想カメラを設定し、該仮想カメラの視点に基づきＺバッファ法等によりレンダリングを行って、レンダリングデータ４６０を生成する。
【０１５３】
モデル生成部３２５は、レンダリング部３２４により生成されたレンダリングデータ４６０に基づいて、平面視画像の各ドットの奥行値の情報である奥行情報モデル４７０と、奥行微分値の情報である奥行微分情報モデル４８０とを生成する。尚、レンダリングをＺバッファ法によって行った場合には、隠面消去のために各ドットの奥行値がＺバッファに残る。そのため、このＺバッファの値を利用して奥行情報モデル４７０を求めることとしても良い。
【０１５４】
色情報設定部３２６は、色情報設定プログラム４２０に従って色情報設定処理を実行して、三次元仮想空間の立体視画像の色情報を設定する。具体的には、各画素ＰＥについて、画素別視点データ４５０から画素ＰＥと、画素ＰＥに対する画素別視点（視線Ｖのデータ）とを取得して画素別視線方向軌跡を算出し、この画素別視線方向軌跡と、画素ＰＥの位置に応じたスキャンラインにおける奥行情報モデル４７０との交点のうち、Ｚ値が最大となる対象交点を収束計算処理により算出する。そして、算出された対象交点の位置に応じた画素位置を取得し、当該画素位置に対応する平面視画像のドットの色情報を画素ＰＥの色情報として求める。求められた各画素ＰＥの色情報は、色情報設定部３２６により立体視画像データ５００の該当位置に書き込まれる。
【０１５５】
記憶部４００は、処理部３００に立体視画像生成装置１を統合的に制御させるためのシステムプログラムやデータ等を記憶するとともに、処理部３００の作業領域として用いられ、処理部３００が各種プログラムに従って実行した演算結果や入力部１００から入力される入力データ等を一時的に記憶する。この機能は、例えば各種ＩＣメモリやハードディスク、フロッピー（登録商標）ディスク、ＣＤ−ＲＯＭ、ＤＶＤ、ＭＯ、ＲＡＭ、ＶＲＡＭ等によって実現される。
【０１５６】
特に、本実施形態では、記憶部４００は、処理部３００を立体視画像生成部３２０として機能させるための立体視画像生成プログラム４１０と、表示装置データ４３０と、想定観察位置データ４４０と、画素別視点データ４５０と、レンダリングデータ４６０と、奥行情報モデル４７０と、奥行微分情報モデル４８０と、画素別対応ドットデータ４９０と、立体視画像データ５００とを記憶している。また、立体視画像生成プログラム４１０は、立体視画像生成部３２０を色情報設定部３２６として機能させるための色情報設定プログラム４２０をサブルーチンとして含んでいる。
【０１５７】
レンダリングデータ４６０は、レンダリング部３２４により生成されるデータであり、平面視画像データ４６２を含んでいる。図２６に、平面視画像データ４６２の一例を示す。平面視画像データ４６２は、色情報（例えば、ＲＧＢ値、α値）を記憶した画像データであり、基準画像の一種である。
【０１５８】
奥行情報モデル４７０は、モデル生成部３２５により生成されるデータであり、平面視画像の各ドットの奥行値をスキャンライン毎に格納した奥行画像データ４７２を含んでいる。図２７に、図２６の平面視画像データ４６２に対する奥行画像データ４７２を示す。図２７（ｂ）は、同図（ａ）に示す奥行画像のスキャンラインＡ−Ａにおける奥行値をｘｚ座標に変換したモデル図である。同図（ａ）において、Ｚ値が大きい（明るい）ほど観察者に近い位置であることを示している。
【０１５９】
奥行微分情報モデル４８０は、モデル生成部３２５により生成されるデータであり、平面視画像の各ドットの奥行微分値をスキャンライン毎に格納した奥行微分画像データ４８２を含んでいる。図２８に、図２６の平面視画像データ４６２に対する奥行微分画像データ４８２を示す。図２８（ｂ）は、同図（ａ）に示す奥行微分画像のスキャンラインＢ−Ｂにおける奥行微分値をｘｚ座標に変換したモデル図である。
【０１６０】
画素別対応ドットデータ４９０は、各画素ＰＥについて、色情報を設定する平面視画像のドットを記憶したデータであり、そのデータ構成の一例を、図２９に示す。画素別対応ドットデータ４９０は、立体視映像表示装置２００の画素パネル２０の画素４９１と、当該画素に対応する平面視画像のドットである対応ドット４９２とを格納する。
【０１６１】
立体視画像データ５００は、立体視画像生成部３２０により生成される１フレーム分の画像データ（詳細には、各画素の色情報）を格納する。
【０１６２】
２−２．処理の流れ
次に、処理の流れを説明する。
図３０は、本実施形態における立体視画像生成処理の流れを示すフローチャートである。この処理は、１フレーム毎に立体視画像を生成して表示させる、即ちリアルタイムな動画の立体視を実現させる処理であり、立体視画像生成部３２０が記憶部４００の立体視画像生成プログラム４１０を実行することで実現される。
【０１６３】
先ず、立体視画像生成部３２０は、画素別視点ＣＭの設定位置の基準となる基準位置（設定基準位置）を決定する（ステップＳ１１）。次いで、立体視画像生成部３２０は、表示面２２の各画素ＰＥを対象としてループＡの処理を実行することで、各画素ＰＥの画素別視点ＣＭをオブジェクト空間に設定する。
【０１６４】
ループＡでは、画素別視点設定部３２２は、表示装置データ４３０及び想定観察位置データ４４０を参照して、処理対象となっている画素ＰＥ（以下、「該画素」という）に対応するレンズ３２を決定する（ステップＳ１３）。
【０１６５】
次いで、画素別視点設定部３２２は、該画素ＰＥの代表点と、該画素ＰＥ及び観察位置に対応するレンズ３２の主点（代表主点）とを通過した後の光線（代表光線）ＰＲを算出し、その代表光線ＰＲと位置は同じで方向を逆にしたベクトルを視線Ｖとする（ステップＳ１５）。そして、画素別視点設定部３２２は、その視線Ｖの方向を視線方向とする画素別視点ＣＭを設定し（ステップＳ１７）、画素別視点データ４５０として記憶させる。ループＡはこのように実行される。
【０１６６】
表示面２２の全画素ＰＥを処理対象としてループＡの処理を行うと、立体視画像生成部３２０は、続いて、１フレーム毎にループＢの処理を実行する。
【０１６７】
ループＢでは、先ず、オブジェクト空間設定部３１０は、オブジェクト空間を設定し（ステップＳ１９）、設定したオブジェクト空間に仮想カメラを設定する（ステップＳ２１）。そして、レンダリング部３２４は、設定された仮想カメラに基づきＺバッファ法によるレンダリングを行って、レンダリングデータ４６０を生成する（ステップＳ２３）。
【０１６８】
次いで、モデル生成部３２５は、生成されたレンダリングデータ４６０に基づいて、平面視画像の各ドットの奥行値の情報である奥行情報モデル４７０を生成する（ステップＳ２５）。
【０１６９】
また、モデル生成部３２５は、ステップＳ２５で生成した奥行情報モデル４７０に基づいて、平面視画像の各ドットの奥行微分値の情報である奥行微分情報モデル４８０を生成する（ステップＳ２７）。具体的には、モデル生成部３２５は、各ドットについて、当該ドットの奥行値と、当該ドットに隣接する隣接ドットの奥行値との差分を算出して奥行差分値を求め、それを奥行微分値とみなすことで、奥行微分情報モデル４８０を生成する。尚、奥行値を与える関数ｚ＝ｆz（ｘ）が予め数式として与えられている場合は、モデル生成部３２５は、当該関数を微分した微分関数ｚ´＝ｆz´（ｘ）から各ドットの奥行微分値を算出することで、奥行微分情報モデル４８０を生成する。
【０１７０】
続いて、色情報設定部３２６は、処理対象となっている画素ＰＥ（該画素）の色情報を設定する色情報設定処理（図３１参照）を実行する（ステップＳ２９）。そして、表示面２２の全画素ＰＥを対象とした色情報設定処理が終了すると、立体視画像生成部３２０は、立体視画像データ５００に格納されている１フレーム分の画像データを、立体視画像として立体視映像表示装置２００に表示させる（ステップＳ３１）。
【０１７１】
このように、１フレーム毎にループＢの処理を繰り返し実行することで、動画の立体視が実現される。そして、例えば入力部１００から立体視画像の生成終了指示が入力される等して立体視画像の生成終了が指示されると、立体視画像生成部３２０はループＢを終了し、本実施形態における立体視画像生成処理は終了となる。なお、画像の生成に時間がかかる場合や、生成した動画像を後で再利用したい場合などには、その出力先を、立体視映像表示装置２００に代えて、ハードディスク等の記憶媒体としても良い。また、処理時間に余裕がある場合には、立体視映像表示装置２００と記憶媒体の両方に出力を行っても良い。
【０１７２】
次に、図３１を参照して、色情報設定処理の流れについて説明する。
先ず、色情報設定部３２６は、表示面２２の各画素ＰＥに対してループＣの処理を実行する。
【０１７３】
ループＣでは、色情報設定部３２６は、該画素に対する画素別視線方向軌跡の傾きが垂直であるか否かを判定する（ステップＳ３３）。画素別視線方向軌跡の傾きが垂直である場合（ステップＳ３３；Ｙｅｓ）、即ち、図１９のＰＥ３と同様である場合、色情報設定部３２６は、当該画素位置のｘｙ座標に対応する平面視画像のドットを該画素の対応ドット４９２として画素別対応ドットデータ４９０に記憶させ、当該ドットの色情報を該画素の色情報として設定する（ステップＳ３５）。
【０１７４】
一方、該画素に対する画素別視線方向軌跡の傾きが垂直でない場合（ステップＳ３３；Ｎｏ）、色情報設定部３２６は、該画素のｘ座標を画素位置ｘ0として取得する（ステップＳ３７）。そして、色情報設定部３２６は、該画素の視線方向と画素別視点ＣＭとに基づいて画素別視線方向軌跡ｚ＝ａｘ＋ｂを算出し、奥行情報モデル４７０から取得される画素位置ｘ0に対応する平面視画像のドットの奥行値「ｆz（ｘ0）」と、画素別視線方向軌跡から取得される画素位置ｘ0に対応する平面視画像のドットの奥行値「ａｘ0＋ｂ」との差「ｆ（ｘ0）＝ｆz（ｘ0）−（ａｘ0＋ｂ）」をＺaとする（ステップＳ３９）。但し、この場合は、初期値ｘ0を該画素のｘ座標としているので、ｚ＝ａｘ＋ｂが該画素を通過する直線であることにより、「ａｘ0＋ｂ＝０」となる。即ち、「ｆ（ｘ0）＝ｆz（ｘ0）」をＺaとすれば良い。
【０１７５】
また、色情報設定部３２６は、奥行微分情報モデル４８０から取得される画素位置ｘ0に対応する平面視画像のドットの奥行微分値「ｆz´（ｘ0）」と、画素別視線方向軌跡の傾き「ａ」との差「ｆ´（ｘ0）＝ｆz´（ｘ0）−ａ」をＺdとする（ステップＳ４１）。そして、色情報設定部３２６は、「ｘd＝ｘ0−Ｚa／Ｚd」によりｘdを算出した後（ステップＳ４３）、ループＤの処理を所定回数実行する。
【０１７６】
尚、ここでは、ニュートン法による収束計算処理を行う際の初期値として、該画素の画素位置ｘ0を与えるものとして説明するが、この値は適宜変更可能である。例えば、画素面に平行で、奥行モデルの最高点を通る平面と、該画素の画素別視線方向軌跡の交点とを求め、このｘ座標を探索の初期位置としても良い。このようにすることで、奥行情報モデルと画素別視線方向軌跡の交点が複数あった場合に、最も手前の交点を取得できる可能性が高くなり、より精確な立体視画像を得ることが出来る。
また、ループＤの処理を所定回数実行するのではなく、式（１１）の条件が満たされるまで実行することにしても良い。
【０１７７】
ループＤでは、色情報設定部３２６は、奥行情報モデル４７０から取得される画素位置ｘdに対応する平面視画像のドットの奥行値「ｆz（ｘd）」と、画素別視線方向軌跡から取得される画素位置ｘdに対応する平面視画像のドットの奥行値「ａｘd＋ｂ」との差「ｆ（ｘd）＝ｆz（ｘd）−（ａｘd＋ｂ）」をＺaとする。また、色情報設定部３２６は、奥行微分情報モデル４８０から取得される画素位置ｘdに対応する平面視画像のドットの奥行微分値「ｆz´（ｘd）」と、画素別視線方向軌跡の傾き「ａ」との差「ｆ´（ｘd）＝ｆz´（ｘd）−ａ」をＺdとする（ステップＳ４５）。
【０１７８】
そして、色情報設定部３２６は、「ｘd←ｘd−Ｚa／Ｚd」に従ってｘdを更新する（ステップＳ４７）。ループＤは、このように実行される。
【０１７９】
ループＤの処理を終了すると、色情報設定部３２６は、画素位置ｘdのｘｙ座標に対応する平面視画像のドットを該画素の対応ドット４９２として画素別対応ドットデータ４９０に記憶させ、当該ドットの色情報を該画素の色情報として設定して（ステップＳ４９）、次の画素へと処理を移行する。
【０１８０】
このように、各画素毎にループ処理を繰り返して実行することで、１フレーム分の立体視画像の色情報を設定することができる。尚、これらの処理は、１画素毎或いは数画素毎に、並列化して行っても良い。
【０１８１】
２−３．作用効果
以上のように、本実施形態によれば、表示面２２の画素ＰＥ毎に画素別視点ＣＭを設定し、設定した画素別視点ＣＭの視線方向のオブジェクト空間の色情報を該画素ＰＥの色情報とすることで立体視画像を生成している。
【０１８２】
従って、画素ＰＥの数程度の画素別視点ＣＭが設定される、即ち画素ＰＥの数程度の視点（ビュー）が存在するため、従来の多眼方式の立体視のように、想定する観察位置（個別視点）に目が位置しなくてはならないといった必要が無く、従来の超多眼方式のように、一定の領域内であればどの位置に目があっても立体視可能となる。
【０１８３】
また、各画素ＰＥの画素別視点ＣＭは、想定観察位置４０を基に該画素ＰＥに対応するレンズ３２を決定し、該画素ＰＥの代表点と該画素ＰＥに対応するレンズ３２の主点とを通過した後の光線（代表光線）ＰＲの逆方向が視線方向となるように決定している。従って、観察者がレンズ３２を介して視認する各画素ＰＥに対応する画素別視点ＣＭの視線方向は、観察者の視線方向にほぼ沿った方向となり、このため、観察者によって視認される像（色情報）は、その位置から見た正確な像（色情報）ではないものの、十分に視認できる程度の明確性を持つ。
【０１８４】
また、像の解像度は、レンズ板３０で分離される程度の解像度となるため、従来の多眼方式の立体視と同程度の解像度となり、従来の超多眼方式のような著しい解像度の劣化は生じない。
【０１８５】
更に、本実施形態は、ピッチが合っていない立体視映像表示装置に表示させる立体視画像を生成するものである。言い換えれば、ピッチが合っていない立体視映像表示装置でも立体視を可能ならしめる。従って、ディスプレイ毎にピッチが合ったレンチキュラレンズ板を製造する必要が無く、１つのレンチキュラレンズ板を画素ピッチが異なる他のディスプレイに適用して立体視映像表示装置を製作できるため、立体視映像表示装置の製造にかかるコストを大幅に削減できる。
【０１８６】
また、本実施形態では、各画素の画素別視線方向軌跡と奥行値との対象交点を求める際にニュートン法による収束計算処理を行うが、ニュートン法は二次収束性を有するアルゴリズムであるため、対象交点を短時間で求めることが可能となる。従って、立体視画像生成の高速化を実現することができる。
【０１８７】
更に、予め平面視画像の全てのドットについて奥行微分値を算出・記憶しておくため、ニュートン法の計算において奥行微分値を逐次算出する必要がない。
【０１８８】
また、最近のＧＰＵ（Graphics Processing Unit）には、数画素単位で並列処理のできる機能が搭載されているものも多い。本実施形態の方法においても、それらのＧＰＵを用いれば、図３１の色情報設定処理を並列化することができ、高速に描画を行うことができる。
【０１８９】
この場合、各画素についての処理は、同程度の時間で完了することが望ましい。というのは、処理が早く完了した画素が、処理時間が最もかかる画素を待たなければならないためである。
【０１９０】
しかしながら、本実施形態では、ニュートン法の繰り返し回数を、全ての画素について同じ回数かほぼ同じ回数とすることで、各画素についての処理時間を同程度に揃えることができる。即ち、画素毎に並列処理を行う場合に適していると言える。
【０１９１】
３．変形例
尚、本発明の適用は上述した実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲で適宜変更可能である。例えば、次の変形例が挙げられる。
【０１９２】
３−１．奥行微分値の算出
本実施形態では、色情報設定処理を行う前に、予め平面視画像の全てのドットの奥行微分値を算出し、奥行微分情報モデルを生成しておくものとして説明した。しかし、奥行微分情報モデルを予め生成しておくのではなく、色情報設定処理においてニュートン法による収束計算処理を行う際に、奥行微分値を逐次算出するようにしても良い。
【０１９３】
図３２は、この場合における色情報設定処理の流れを示すフローチャートである。但し、図３１の色情報設定処理と同一のステップには、同一の符号を付している。
図３２の色情報設定処理では、ステップＳ３９においてＺaを取得した後に、奥行情報モデル４７０に基づいて、画素位置ｘ0に対応する平面視画像のドットの奥行値と、当該ドットに隣接する隣接ドットの奥行値との差分Ｚsを算出する（ステップＳ５１）。
【０１９４】
そして、「ｘd＝ｘ0−Ｚa／（Ｚs−ａ）」によりｘdを算出した後（ステップＳ５３）、ループＥの処理を所定回数実行する。
ループＥでは、先ず、奥行情報モデル４７０から取得される画素位置ｘdに対応する平面視画像のドットの奥行値「ｆz（ｘd）」と、画素別視線方向軌跡から取得される画素位置ｘdに対応する平面視画像のドットの奥行値「ａｘd＋ｂ」との差「ｆ（ｘd）＝ｆz（ｘd）−（ａｘd＋ｂ）」をＺaとする（ステップＳ５５）。
【０１９５】
次いで、奥行情報モデル４７０に基づいて、画素位置ｘdに対応する平面視画像のドットの奥行値と、当該ドットに隣接する隣接ドットの奥行値との差分Ｚsを算出する（ステップＳ５７）。そして、「ｘd←ｘd−Ｚa／（Ｚs−ａ）」に従ってｘdを更新する（ステップＳ５９）。ループＥは、このように実行される。
【０１９６】
３−２．収束計算処理
本実施形態では、ニュートン法による収束計算処理により対象交点を求めるものとして説明したが、はさみうち法、二分法、割線法等による収束計算処理により対象交点を求めるようにしても良い。この場合は、収束計算処理において奥行微分値は不要であるため、奥行微分情報モデルを生成する必要はない。
【０１９７】
３−３．カラー画像
上述した実施形態では、平面視画像とその奥行画像とから立体視画像を生成する場合の例として、平面視画像がグレースケール画像である場合について説明を行ったが、本発明の適用可能なものがこれに限定されるものではない。例えば、平面視画像がＲＧＢ値（赤緑青の３原色の輝度値）を有するカラー画像であっても良く、この場合、各サブピクセル毎に、視線Ｖを決定して画素別視点を設定し、各サブピクセルに対する画素別視線方向軌跡と、奥行情報モデルとの交差判定を行う。そして、各サブピクセル毎の対象交点を取得して、平面視画像から対象交点に応じたサブピクセルの色情報を該サブピクセルの色情報とする。従って、この場合は、奥行画像データはサブピクセル毎に奥行値を有していることが好適である。もちろん、各サブピクセルが、所属しているピクセル毎に、奥行データを共有している形式であっても、（画質は若干低下するが、）立体視画像を生成することができる。
【０１９８】
３−４．斜めレンチキュラ方式の立体視映像表示装置
上述した実施形態では、光学素子群として垂直レンチキュラ方式を用いた立体視映像表示装置の場合を説明したが、これを斜めレンチキュラ方式の立体視映像表示装置に適用しても良い。
【０１９９】
図３３は、斜めレンチキュラ方式の立体視映像表示装置２００Ｂの概略構造を示す図である。同図（ａ）は、立体視映像表示装置２００Ｂの表示面に対する横方向（水平走査方向）断面図を示し、同図（ｂ）は、観察者側から見た平面図を示している。
【０２００】
斜めレンチキュラ方式の立体視映像表示装置では、画素パネル２０の画素配列方向に対してレンズ板３０の主点線３６の方向（レンズ３２の端部３２ａ）が斜めに配置されるため、レンズ板３０を介して画素パネル２０を見たときに視認される映像に生じるモアレを分散させて目立たなくさせることが知られている。
【０２０１】
同図によれば、立体視映像表示装置２００Ｂは、上述した垂直レンチキュラ方式の立体視映像表示装置２００Ａと同様に、主に、板状体であって互いに平行配置されたバックライト１０と、画素パネル２０と、レンズ板３０とを備えて構成される。
【０２０２】
そして、斜めレンチキュラ方式の立体視映像表示装置２００Ｂでは、レンズ板３０は、同図（ｂ）に示すように、主点線３６の方向が画素パネル２０の縦方向の画素配列方向（鉛直走査方向）に対して角度θを成すように配置されている。従って、同図（ａ）に示す断面図におけるレンズピッチ（画素パネル２０の画素ピッチ方向に沿ったレンズの幅）Ｍは、次式（１２）で与えられる。
Ｍ＝Ｌ／ｃｏｓθ      ・・（１２）
【０２０３】
また、レンズ板３０は、同図（ａ）に示す断面図におけるレンズピッチＭと画素パネル２０の画素ピッチＳとが合わないように配置されている。即ち、次式（１３）が成立しない。
Ｍ＝ｎ・Ｓ      ・・・（１３）
但し、ｎは自然数である。
【０２０４】
次に、斜めレンチキュラ方式における表示面２２の各画素ＰＥの視線Ｖの決定方法を、図３４、３５を参照して説明する。図３４は、斜めレンチキュラ方式の立体視映像表示装置２００Ｂの部分概略斜視図である。また、図３５は、立体視映像表示装置２００Ｂの概略三面図であり、同図（ａ）は、図３４のｘ−ｚ平面に平行なＣ−Ｃ位置での断面図（横方向断面図）を示し、図３５（ｂ）は、図３４のｙ−ｚ平面に平行なＤ−Ｄ位置での断面図（縦方向断面図）を示し、図３５（ｃ）は、ｘ−ｙ平面図を示している。尚、画素パネル２０及びレンズ板３０は、レンズ板３０の各レンズ３２の焦点距離Ｆを隔てて平行配置されている。
【０２０５】
先ず、図３５（ｂ）において、対象画素ＰＥの代表点と想定観察位置４０とを結ぶ直線ＬＮ２と、レンズ板３０の主点面３５との交点のｙ座標を算出する。算出したｙ座標を「ｙ２」とする。但し、同図（ｂ）は、対象画素ＰＥの代表点を通過する断面図である。
【０２０６】
次いで、図３５（ａ）において、想定観察位置４０から各レンズ３２を表示面２２に投影して、表示面２２を各レンズ３２の投影領域に分割する。そして、対象画素ＰＥの代表点がどの投影領域に属するかによって対応するレンズ３２を決定する。但し、同図（ａ）は、ｙ座標が先に算出した「ｙ２」である断面図である。
【０２０７】
同図（ａ）では、表示面２２は、レンズ３２−１０の投影領域２６−１０と、レンズ３２−１１の投影領域２６−１１と、レンズ３２−１２の投影レンズ３２−１２と、・・・、に分割される。そして、対象画素ＰＥの代表点は投影領域２６−１０に属しているので、この対象画素ＰＥに対応するレンズ３２はレンズ３２−１０となる。
【０２０８】
続いて、対象画素ＰＥに対応するレンズ３２の主点線３６の内、ｙ座標が「ｙ２」である点を算出し、これを代表主点３６ｄとする。そして、対象画素ＰＥの代表点と、この代表主点３６ｄとを通過した後の代表光線ＰＲを算出し、この代表光線ＰＲと位置は同じで方向を逆にした視線を対象画素ＰＥの視線Ｖとする。そして、決定した視線Ｖに基づき奥行情報モデルとの交差判定を行うことにより、各画素に対する色情報を設定して、立体視画像データを生成する。
【０２０９】
３−５．レンズ板
また、上述した実施形態では、光学素子群としてレンチキュラレンズアレイを用いた立体視映像表示装置の場合を説明したが、これを、（３−５−１）蝿の目レンズアレイを用いた立体視映像表示装置としても良いし、（３−５−２）パララックスバリアアレイを用いた立体視映像表示装置としても良いし、（３−５−３）ピンホールアレイを用いた立体視映像表示装置としても良い。この場合、表示面２２の各画素ＰＥの視線Ｖは次のように決定する。
【０２１０】
３−５−１．蝿の目レンズアレイ
蝿の目レンズアレイとは、図３６に示すように、格子状の単位レンズが縦横に連続して配置された（連接された）レンズアレイ（レンズ板）のことである。蝿の目レンズアレイを用いた立体視映像表示装置では、蝿の目レンズアレイは、単位レンズの横方向の連接方向が画素パネル２０の画素ピッチ方向（水平走査方向）と平行になるように配置される。またこのとき、蝿の目レンズアレイは、単位レンズのレンズピッチと画素パネル２０の画素ピッチとが合わないように設計されている。即ち、単位レンズのレンズピッチをＬとすると、式（９）が成立しない。
【０２１１】
図３７は、蝿の目レンズアレイを用いた立体視映像表示装置２００Ｃでの視線Ｖの決定方法を説明するための図であり、立体視映像表示装置２００Ｃの概略三面図を示している。同図（ａ）は、対象画素ＰＥの代表点を通るｘ−ｚ平面に平行な水平走査方向断面図を示し、同図（ｂ）は、対象画素ＰＥの代表点を通るｙ−ｚ平面に平行な鉛直走査方向断面図を示し、同図（ｃ）は、ｘ−ｙ平面図を示している。尚、想定観察位置４０は「正面」である。
【０２１２】
先ず、同図（ａ）、（ｂ）に示すように、想定観察位置４０から、蝿の目レンズアレイで実現されるレンズ板６０の各単位レンズ６２を画素パネル２０の表示面２２に投影して（即ち、想定観察位置４０から各単位レンズ６２の端部へ向かう直線によって）、表示面２２を各単位レンズ６２の投影領域に分割する。そして、対象画素ＰＥの代表点が属する投影領域の単位レンズ６２−１を、該対象画素ＰＥに対応する単位レンズとする。そして、対象画素ＰＥの代表点と、対象画素ＰＥに対応する単位レンズ６２−１の主点（単位レンズの中心）とを通過した後の光線（代表光線）ＰＲと位置は同じで方向を逆にした視線を対象画素ＰＥの視線Ｖとする。
【０２１３】
尚、同図では、レンズ板６０を、単位レンズ６２の横方向の連接方向が画素パネル２０の画素ピッチ方向と平行になるように配置することとしたが、これを、図３８に示すように、蝿の目レンズアレイの横方向の連接方向と画素パネル２０の画素ピッチ方向とが角度θを成すよう、斜めに配置することとしても良い。
【０２１４】
また、蝿の目レンズを構成する単位レンズを、格子形状（四角形）ではなく、例えば三角形や、図３９に示す六角形等の多角形としても良い。何れの場合も、表示面２２の各画素ＰＥの視線Ｖの決定方法は、図３７に示した場合と同様である。
【０２１５】
３−５−２．パララックスバリアアレイ
パララックスバリアアレイとは、図４０に示すように、光を遮蔽する遮光板（バリア）に光を透過させるためのスリット状のバリア開口部（光学素子）が等間隔で多数設けられたものである。即ち、スリット状のバリア開口部を有する単位パララックスバリアを連接させたバリアアレイであり、バリア開口部によって画素パネル２０の各画素ＰＥから射出される光線（射出光線）に指向性を与える。これによって、レンチキュラレンズアレイを用いた立体視映像表示装置と同様に立体視映像を認識させることが可能となる。尚、同図中、黒い或いは灰色の部分がバリア部分（遮光部分）である。このとき、パララックスバリアアレイは、バリア開口部が画素パネル２０の鉛直走査方向と平行になるように配置される。また、パララックスバリアアレイは、単位パララックスバリアのピッチをＬとしたとき、上述した式（９）が成立しない（即ち、ピッチが合わない）ように設計されている。
【０２１６】
従って、この場合、各画素ＰＥの視線Ｖの決定は、上述した実施形態におけるレンチキュラレンズアレイの場合と同様に実現できる。具体的には、パララックスバリアアレイを、バリア開口部が画素パネル２０の鉛直走査方向と平行になるように配置した場合には、上述した実施形態における垂直レンチキュラ方式の立体視映像表示装置２００に相当する。また、パララックスバリアアレイを、バリア開口部が画素パネル２０の鉛直走査方向に対して角度θを成すように斜めに配置した場合には、斜めレンチキュラ方式の立体視映像表示装置２００Ｂに相当する。
【０２１７】
また、パララックスバリアアレイを、図４１に示すように、バリア開口部が斜めに形成された斜めパララックスバリアとしても良い。このような斜めパララックスバリアを用いた場合は、上述したパララックスバリアアレイ（図４０参照）を画素パネル２０に対して斜めに配置した場合に相当する。
【０２１８】
また、パララックスバリアアレイを、図４２に示すように、横方向に連接された複数の単位パララックスバリアが、縦方向に所定量ずつずらして階段状に配置された階段パララックスバリアアレイとしても良い。このような階段パララックスバリアを用いた立体視映像表示装置では、階段パララックスバリアは、バリア開口部が画素パネル２０の鉛直走査方向と平行になるように配置される。
【０２１９】
３−５−３．ピンホールアレイ
ピンホールアレイとは、図４３に示すように、光を遮断する遮断板（バリア）に光を透過させる孔状のピンホール（光学素子）が等間隔で多数設けられたものである。即ち、ピンホールを有する格子状の単位ピンホールバリアを縦横に連続して配置させた（連接させた）バリアアレイであり、ピンホールによって画素パネル２０の各画素ＰＥの射出光線に指向性を与える。尚、同図中、灰色の部分が遮光部分（バリア部分）である。このとき、ピンホールアレイは、単位ピンホールバリアの横方向が画素パネル２０の画素ピッチ方向（水平走査方向）と平行になるように配置される。また、ピンホールアレイは、単位ピンホールバリアのピッチをＬとすると、式（９）が成立しないように設計されている。
【０２２０】
そして、ピンホールアレイを用いた立体視映像表示装置では、次のように画素パネル２０の各画素ＰＥの視線Ｖが決定される。即ち、想定観察位置４０からピンホールアレイの各単位ピンホールバリアを画素パネル２０の表示面２２に投影して、表示面２２を各単位ピンホールバリアの投影領域に分割する。そして、各画素ＰＥの代表点が属する投影領域の単位ピンホールバリアを該画素ＰＥに対応する単位ピンホールバリアとする。そして、各画素ＰＥについて、該画素ＰＥの代表点と、該画素ＰＥに対応する単位ピンホールバリアのピンホールを通過した後の光線（代表光線）と位置は同じで方向を逆にした視線を該画素ＰＥの視線Ｖとする。
【０２２１】
また、ピンホールアレイを構成する単位ピンホールバリアを、格子形状（四角形）ではなく、三角形や、例えば図４４に示す六角形等の多角形としても良い。何れの場合も、各画素ＰＥの視線Ｖの決定方法は、上述した格子形状の場合と同様である。
【０２２２】
尚、パララックスバリアアレイやピンホールアレイは、通常、単位バリアを示す境界線が明示されていないが、バリアアレイ上の任意の点から最も距離の近いスリット或いはピンホールを求め、そのスリット或いはピンホールによってバリア板を領域分割することで、単位バリア毎の境界線を設定することができる。
【０２２３】
３−６．立体視映像表示装置を別装置とする
また、上述した実施形態では、立体視映像表示装置２００は、立体視画像生成装置１の一部として説明したが、立体視映像表示装置２００を別装置として構成し、生成した立体視画像を、接続されている立体視映像表示装置２００に出力して表示させることとしても良い。
【０２２４】
図４５は、立体視映像表示装置を別装置とした立体視画像生成装置３の構成を示すブロック図である。立体視画像生成装置３は、入力部１００と、処理部３００と、記憶部４００とを備えて構成される。かかる立体視画像生成装置３では、接続される立体視映像表示装置２００に合わせて表示装置データ４３０を設定する必要がある。
【０２２５】
従って、立体視画像生成部３２０は、画像生成の際には、先ず、例えばユーザにより入力部１００から入力された立体視映像表示装置２００の型番（詳細には、画素パネル２０やその上面に配置されているレンズ板３０の型番）に基づいて、記憶部４００に記憶されている画素パネルデータ５１０及びレンズ板データ５２０のそれぞれから適切なデータを選択し、表示装置データ４３０として設定する。
【０２２６】
画素パネルデータ５１０とは、立体視映像表示装置２００に用いられ得る画素パネル２０の物理パラメータを格納したデータテーブルである。図４６に、画素パネルデータ５１０のデータ構成の一例を示す。画素パネルデータ５１０は、立体視映像表示装置２００に用いられ得る画素パネル２０の種類（種別）毎に、その型番５１１と、画素ピッチ５１２とを対応付けて格納している。
【０２２７】
また、レンズ板データ５２０とは、立体視映像表示装置２００に用いられ得るレンズ板３０の物理パラメータを格納したデータテーブルである。図４７に、レンズ板データ５２０のデータ構成の一例を示す。レンズ板データ５２０は、立体視映像表示装置２００に用いられ得るレンズ板３０の種類（種別）毎に、その型番５２１と、レンズピッチ５２２と、焦点距離５２３と、配置角度５２４と、配置基準位置５２５とを対応付けて格納している。
【０２２８】
また、入力部１００を、立体視画像生成装置と別装置としても良い。例えば、図４８に示すように、入力部１００及び立体視映像表示装置２００を立体視映像生成装置と別装置とする。即ち、立体視画像生成装置５は、処理部３００と、記憶部４００とを備えて構成される。このような構成には、例えば携帯電話機等の通信端末装置のディスプレイに立体視画像を表示させたい場合等が考えられる。即ち、入力部１００及び立体視映像表示装置２００を備えた通信端末装置等の外部装置７から、レンズピッチＬやディスプレイ（画素パネル２０）に対する光学素子群（レンズ板３０）の配置角度θ、焦点距離Ｆ等のレンズに関する情報と、画素ピッチＳ等のディスプレイに関する情報と、想定観察位置４０等の観察者に関する情報とを立体視画像生成装置５に送信する。そして、立体視画像生成装置５では、受信したそれらの情報に基づいて立体視画像を生成し、生成した立体視画像を外部装置７に送信する、或いは、生成した画像を蓄積記憶した後、動画として外部装置７に送信する。
【０２２９】
３−７．画像データの保存
画像データを、予め記憶媒体等に保存しておいても良い。具体的には、平面視画像データ４６２及び奥行画像データ４７２を、予め作成して記憶媒体等に保存しておく。そして、それらのデータを記憶媒体等からフレーム毎に読み出して奥行微分画像データ４８２を求め、立体視画像を生成するようにする。また、奥行微分画像データ４８２についても、予め作成して記憶媒体等に保存しておくこととしても良い。
【０２３０】
また、平面視画像データ４６２及び奥行画像データ４７２を保存する際に、動画像データとして圧縮をかけた状態で保存しておいても良い。この場合は、動画像データをフレーム毎に読み出して展開することで、平面視画像データ４６２及び奥行画像データ４７２を再現する。そして、奥行微分画像データ４８２を求めて、立体視画像を生成するようにする。また、奥行微分画像データ４８２についても、予め作成した上で、動画像データとして圧縮をかけた状態で記憶媒体等に保存しておくこととしても良い。
【０２３１】
このような構成とすることで、画素パネルやレンズ板の構成が異なる様々なディスプレイに対しても、予め作成・保存された平面視画像データ４６２及び奥行画像データ４７２を流用して、高速に立体視画像を生成することができるようになる。
【０２３２】
３−８．印刷加工物
また、上述した実施形態では、フラットパネルディスプレイ等の画素パネル２０を備えた立体視映像表示装置に表示させる立体視画像を生成する場合を説明したが、画素パネル２０の代わりに立体視画像が印刷された紙やプラスチックカード等の印刷物を用いた印刷加工物についても同様に適用可能である。かかる印刷加工物では、立体視画像が印刷された印刷物の印刷面に、光学素子群（レンズアレイやピンホールアレイ等）が貼付等によって装着されており、印刷されている画像の各ドットの反射光線が光学素子群によって指向性が与えられることで、立体視が実現される。
【０２３３】
このような立体視用の印刷加工物に印刷する画像を生成する場合、従来の方法では、従来の多眼式の立体視映像表示装置の場合と同様に、一定数の視点を設定してその視点毎に画像（画素別視点）を生成し、それらの画像を一定のパターンに応じて再配置（インターリーブ）することで印刷する画像を生成している。
【０２３４】
印刷加工物では、既製の光学素子に合わせて、生成・印刷する立体視画像の解像度（即ち、画像の各ドットの位置や大きさ）を自由に設定・変更できる。また、生成・印刷する立体視画像の解像度を大きくすることで、視点が比較的多い場合であっても、視認される立体視映像の解像度を充分な大きさにすることができる。但しその場合、立体視画像のデータサイズが、解像度に比例して大きなものとなってしまうという問題はある。
【０２３５】
このような印刷加工物に本実施形態を適用する場合には、印刷の対象である立体視画像の各ドットを画素パネル２０の各画素ＰＥとして扱うことで、上述した実施形態と同様に立体視画像を生成できる。具体的には、印刷加工物における立体視画像の印刷領域の大きさ、及び、印刷する立体視画像の解像度が決まっていれば、印刷対象の立体視画像の各ドットの位置及び大きさは一意に決まる。このため、立体視画像の各ドットを、上述した実施形態における表示パネル２０の各画素ＰＥと同様に扱うことができる。
【０２３６】
つまり、例えば光学素子群としてレンチキュラレンズアレイを用いる場合には、先ず、立体視画像のドット毎に対応するレンズ（光学素子）を決定する。次いで、各ドットについて、該ドットの代表点（例えば、中心）と、該ドットに対応するレンズの主点とを通過した後の光線（代表光線ＰＲ）を算出し、その光線と位置が同じで方向が逆の視線を該ドットの視線Ｖとして決定する。その後、各ドットについて、画素別視線方向軌跡と、奥行情報モデルとに基づいた収束計算処理により対象交点を取得し、平面視画像から対象交点に対応する画ドットの色情報を該ドットの色情報とすることで、立体視画像を生成する。
【０２３７】
また、印刷加工物は、光学素子群としてレンズアレイを用いている場合には、印刷されている立体視画像の各ドットのピッチをＳとすると、印刷面とレンズアレイの主点面との間の距離Ｇが上式（１）を満たすように構成されることで、より画質の良い立体視を実現できる。
【０２３８】
本実施形態の描画方法によれば、従来の方法よりも低い解像度で、即ち従来の方法よりも小さい画像データサイズで、上述した作用効果を奏する立体視印刷加工物に印刷する立体視画像を生成することができる。
【０２３９】
３−９．投影法
本実施形態では、平行投影法により生成された平面視画像及び奥行画像に基づいて立体視画像を生成する例について説明したが、これに限らず、透視投影法により生成された平面視画像及び奥行画像に基づいて立体視画像を生成する構成であっても良い。この場合、平面視画像及び奥行画像を生成する場合に用いるのと同じ射影変換行列によって、画素別視線ベクトルを射影変換しておくことで、上述した平行投影法による場合と同様に、立体視画像を生成することができる。
【０２４０】
３−１０．多眼式への適用
本実施形態では、レンズと画素のピッチが合わない方式による立体視画像生成について説明したが、レンズと画素のピッチを合わせた方式、即ち多眼式や超多眼式における立体視画像生成に適用しても良いことは勿論である。最近では、多眼式や超多眼式のような視点ベースの立体視方式においても、設定される視点の数が多くなってきている傾向にあるため、かかる場合に上述した立体視画像生成方法を用いることで、高速な描画が期待できる。また、ＩＰ方式においても、上述した立体視画像生成方法を適用することで、高速な描画を期待できる。
【図面の簡単な説明】
【０２４１】
【図１】実施形態における立体視画像生成の概要図。
【図２】垂直レンチキュラ方式の立体視映像表示装置の概略構成図。
【図３】「ピッチが合う／合わない」ことの説明図。
【図４】表示面に対する座標系設定の説明図。
【図５】垂直レンチキュラ方式の立体視映像表示装置における想定観察位置が「正面且つ無限遠」での視線決定の説明図。
【図６】想定観察位置が「正面」の状態を示す図。
【図７】垂直レンチキュラ方式の立体視映像表示装置における想定観察位置が「有限距離の定位置」での視線決定の説明図。
【図８】垂直レンチキュラ方式の立体視映像表示装置における想定観察位置が「有限距離の定位置」での視線決定の説明図。
【図９】レンズ板による屈折作用の説明図。
【図１０】画素別視点設定の説明図。
【図１１】画素の色情報算出の説明図。
【図１２】視認される画素の色情報が若干正確さに欠けることの説明図。
【図１３】従来の多眼方式（ｎ眼式）の立体視の概要図。
【図１４】本実施形態での立体視の概要図。
【図１５】平面視画像と奥行画像とから２眼式の立体視画像を生成する説明図。
【図１６】画素の色情報算出の説明図。
【図１７】平面視画像と奥行画像とに基づく画素の色情報算出の説明図。
【図１８】表示面と奥行情報モデルとの関係の説明図。
【図１９】表示面と各画素と奥行情報モデルとの関係の説明図。
【図２０】奥行情報モデルと画素別視線方向軌跡との交点の説明図。
【図２１】奥行情報モデルと画素別視線方向軌跡との交点の説明図。
【図２２】ニュートン法による対象交点算出の説明図。
【図２３】立体視画像生成装置の構成図。
【図２４】表示装置データのデータ構成例。
【図２５】画素別視点データのデータ構成例。
【図２６】平面視画像データの一例を示す図。
【図２７】奥行画像データの一例を示す図。
【図２８】奥行微分画像データの一例を示す図。
【図２９】画素別対応ドットデータの一例を示す図。
【図３０】立体視画像生成処理の流れを示すフローチャート。
【図３１】色情報設定処理の流れを示すフローチャート。
【図３２】変形例における色情報設定処理の流れを示すフローチャート。
【図３３】斜めレンチキュラ方式の立体視映像表示装置の概略構成図。
【図３４】斜めレンチキュラ方式の立体視映像表示装置における想定観察位置が「有限距離の定位置」での視線決定の説明図。
【図３５】斜めレンチキュラ方式の立体視映像表示装置における想定観察位置が「有限距離の定位置」での視線決定の説明図。
【図３６】蝿の眼レンズアレイの平面図。
【図３７】蝿の目レンズアレイを用いた立体視映像表示装置における視線決定の説明図。
【図３８】蝿の眼レンズアレイを斜め配置した場合の平面図。
【図３９】単位レンズを六角形とした蝿の眼レンズアレイの平面図。
【図４０】パララックスバリアの平面図。
【図４１】斜めパララックスバリアの平面図。
【図４２】階段パララックスバリアの平面図。
【図４３】ピンホールバリアの平面図。
【図４４】単位ピンホールバリアを六角形としたピンホールバリアの平面図。
【図４５】立体視映像表示装置を別装置とした立体視画像生成装置の構成図。
【図４６】画素パネルデータの一例を示す図。
【図４７】レンズ板データの一例を示す図。
【図４８】入力部及び立体視映像表示装置を別装置（外部装置）とした立体視画像生成装置の構成図。
【図４９】適切な画素パネルとレンズ板との間の距離の説明図。
【図５０】両眼距離を考慮した場合の説明図。
【図５１】多眼式の立体視の概念図。
【図５２】超多眼式の立体視の概念図。
【図５３】ＩＰ方式の立体視の概念図。
【図５４】光線再生法の立体視の概念図。
【図５５】表示面と結像面との間の距離がレンズの焦点距離に依存することの説明図。
【符号の説明】
【０２４２】
１、３、５    立体視画像生成装置
１００      入力部
３００      処理部
３１０    オブジェクト空間設定部
３２０    立体視画像生成部
３２２  画素別視点設定部
３２４  レンダリング部
３２５  モデル生成部
３２６  色情報設定部
４００      記憶部
４１０    立体視画像生成プログラム
４２０    色情報設定プログラム
４３０    表示装置データ
４４０    想定観察位置データ
４５０    画素別視点データ
４６０    レンダリングデータ
４６２  平面視画像データ
４７０    奥行情報モデル
４７２  奥行画像データ
４８０    奥行微分情報モデル
４８２  奥行微分画像データ
４９０    画素別対応ドットデータ
５００    立体視画像データ
２００      立体視映像表示装置
１０      バックライト
２０      画素パネル
２２    表示面
３０      レンズ板（レンチキュラレンズ板）
３２    レンズ（マイクロレンズ）
４０      想定観察位置
ＰＥ          画素
Ｖ            視線
ＣＭ          画素別視点
【図１】
2007200307.tif 000003
【図２】
2007200307.tif 000004
【図３】
2007200307.tif 000005
【図４】
2007200307.tif 000006
【図５】
2007200307.tif 000007
【図６】
2007200307.tif 000008
【図７】
2007200307.tif 000009
【図８】
2007200307.tif 000010
【図９】
2007200307.tif 000011
【図１０】
2007200307.tif 000012
【図１１】
2007200307.tif 000013
【図１２】
2007200307.tif 000014
【図１３】
2007200307.tif 000015
【図１４】
2007200307.tif 000016
【図１５】
2007200307.tif 000017
【図１６】
2007200307.tif 000018
【図１７】
2007200307.tif 000019
【図１８】
2007200307.tif 000020
【図１９】
2007200307.tif 000021
【図２０】
2007200307.tif 000022
【図２１】
2007200307.tif 000023
【図２２】
2007200307.tif 000024
【図２３】
2007200307.tif 000025
【図２４】
2007200307.tif 000026
【図２５】
2007200307.tif 000027
【図２９】
2007200307.tif 000028
【図３０】
2007200307.tif 000029
【図３１】
2007200307.tif 000030
【図３２】
2007200307.tif 000031
【図３３】
2007200307.tif 000032
【図３４】
2007200307.tif 000033
【図３５】
2007200307.tif 000034
【図３６】
2007200307.tif 000035
【図３７】
2007200307.tif 000036
【図３８】
2007200307.tif 000037
【図３９】
2007200307.tif 000038
【図４０】
2007200307.tif 000039
【図４１】
2007200307.tif 000040
【図４２】
2007200307.tif 000041
【図４３】
2007200307.tif 000042
【図４４】
2007200307.tif 000043
【図４５】
2007200307.tif 000044
【図４６】
2007200307.tif 000045
【図４７】
2007200307.tif 000046
【図４８】
2007200307.tif 000047
【図４９】
2007200307.tif 000048
【図５０】
2007200307.tif 000049
【図５１】
2007200307.tif 000050
【図５２】
2007200307.tif 000051
【図５３】
2007200307.tif 000052
【図５４】
2007200307.tif 000053
【図５５】
2007200307.tif 000054
【図２６】
2007200307.tif 000055
【図２７】
2007200307.tif 000056
【図２８】
2007200307.tif 000057