(57)【要約】【課題】複数の視点から立体視可能な立体画像を効率よく生成することが可能な立体画像生成プログラム及び立体画像生成システムを提供する。【解決手段】  複数の視点から立体視可能な立体画像を生成する立体画像生成プログラムであって、３次元シーンを入力する第１のステップと、３次元シーンに基づいて立体画像を構成する画素の情報を生成する第２のステップとを有する。そして、第２のステップは、画素の位置情報と画素に対応する各視点の位置情報とに基づいて、画素の情報を生成する。【選択図】  図１
2006163547.tif 000002
【特許請求の範囲】
【請求項１】
複数の視点から立体視可能な立体画像を生成する立体画像生成プログラムであって、
３次元シーンを入力する第１のステップと、
前記３次元シーンに基づいて前記立体画像を構成する画素の情報を生成する第２のステップとを有し、
前記第２のステップは、前記画素の位置情報と前記画素に対応する前記各視点の位置情報とに基づいて、前記画素の情報を生成することを特徴とする立体画像生成プログラム。
【請求項２】
前記画素の情報は、レイトレーシング法を用いて生成されることを特徴とする請求項１に記載の立体画像生成プログラム。
【請求項３】
前記各視点の位置情報は、立体表示デバイスの特性に応じた情報であることを特徴とする請求項１又は２に記載の立体画像生成プログラム。
【請求項４】
立体表示デバイスの特性に応じて、前記立体画像の画素配列を設定するステップを有することを特徴とする請求項１から３のいずれか１つに記載の立体画像生成プログラム。
【請求項５】
前記３次元シーンの複雑さに基づいて、生成する前記画素の情報を決定するステップを有することを特徴とする請求項１から４のいずれか１つに記載の立体画像生成プログラム。
【請求項６】
複数の視点から立体視可能な立体画像を生成する立体画像生成システムであって、
３次元シーンを入力する入力手段と、
前記３次元シーンに基づいて前記立体画像を構成する画素の情報を生成する画素生成手段とを有し、
前記画素生成手段は、前記画素の位置情報と、前記画素に対応する前記各視点の位置情報とに基づいて、前記画素の情報を生成することを特徴とする立体画像生成システム。
【請求項７】
複数の視点から立体視可能な立体画像を生成する立体画像生成装置であって、
３次元シーンを入力する入力部と、
前記３次元シーンに基づいて前記立体画像を構成する画素の情報を生成する画素生成部とを有し、
前記画素生成部は、前記画素の位置情報と、前記画素に対応する前記各視点の位置情報とに基づいて、前記画素の情報を生成することを特徴とする立体画像生成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、多眼式立体画像表示装置に関し、特にコンピュータグラフィックス（ＣＧ）を利用した多眼合成画像生成装置に関する。
【背景技術】
【０００２】
従来、立体画像を表示する手法として様々な方式が提案されている。その手法の中でも、左右両眼に視差のある画像を表示して観察者に立体視を行わせる両眼視差を用いた立体画像表示方法が広く利用されており、特に、異なる２つの視点位置で取得／生成された画像を表示する２眼式立体表示方式が多く提案及び実用化されている。
【０００３】
また、近年はさらに視域を広げ滑らかな運動視差での多眼式立体画像表示方式も提案されている。
【０００４】
例えば、特許文献１に記載されている画像処理装置では、立体写真アダプタを有するカメラを用いて撮影されたステレオ画像の奥行き分布を示す視差マップを抽出し、この視差マップとステレオ画像とに基づいて、実際には撮影していない複数視点からの被写体の多視点画像シーケンスを作成し、作成した多視点画像シーケンスを所定の光学部材に応じた画素配列に合成して多眼合成画像を作成する。そして、作成した多眼合成画像を印刷装置より印刷してレンチキュラー板等の光学部材を用いて観察することで滑らかな運動視差を観察できる立体写真システムが提案されている。
【０００５】
一方、立体ディスプレイの分野においても上記２眼式立体画像方式が多数に実用化されている。近年は、滑らかな運動視差を表現できる多眼式や、さらに観察者の瞳に２つ以上の視差画像が同時に入るような超多眼状態を実現することで観察者の疲労感・違和感を軽減する可能性がある超多眼式の立体ディスプレイの提案が行われている（非特許文献１参照）。
【０００６】
上述した立体画像表示方式はいずれも多数の視点位置で取得／生成された２次元画像を特定の光学系に対応した画素配列に並び替えた多眼合成画像を作成する。そして、その多眼合成画像を特定の光学系を介して観察することで、立体像として知覚することができる立体画像表示方式である。ここで、光学系としてレンチキュラー板を利用した場合の画像配列への並び替えについて、図１２、図１３を用いて説明する。
【０００７】
図１２は４台のカメラを用いて多眼式立体表示方式における２次元画像を取得している様子を模式的に表している。４台のカメラ１２０１〜１２０４の光学中心が基線１２０５上に互いに平行視するよう、所定間隔で整列されている。ここで、各カメラ位置で取得した２次元画像の各画素を、図１３に示すようなレンチキュラー板を利用して観察した場合に立体視できるよう画素配列で並び替えて多眼合成画像を生成する。
【０００８】
例えば、ｊ番目視点の画素値をＰｊｍｎ（ただし、ｍ、ｎはそれぞれ水平、垂直方向の画素配列のインデックス）としたとき、ｊ番目の画像データは以下のような２次元配列として表される。
【数１】
2006163547.tif 000003
【０００９】
観察する光学系としてレンチキュラー板を適用しているため、合成するための画素配列はそれぞれの視点の画像を垂直方向に１ライン毎に短冊状に分解し、視点位置の逆順に視点数分並べ替えたものになる。したがって、多眼合成画像は以下に示すようなストライプ状の画像となる。
【数２】
2006163547.tif 000004
【００１０】
なお、視点Iが左端（図１３のI）、IVが右端（図１３のIV）の画像を表す。ここで、視点位置をカメラ配置順の逆にするのはレンチキュラー板により観察する際、レンチキュラーの１ピッチ内で画像が左右逆に観察されるためである。
【００１１】
この多眼合成画像は、元の各視点位置での２次元画像がＨ×ｖのサイズのＮ視点画像である場合、Ｘ（＝Ｎ×Ｈ）×ｖのサイズとなる。次に、この多眼合成画像に対して、レンチキュラー板とピッチを合せる。１ピッチにＲＰｄｐｉの画素がＮ画素分存在するので、１ピッチＮ／ＲＰｉｎｃｈとなるが、レンチキュラー板のピッチがＲＬｉｎｃｈであるので、画像を水平方向にＲＬ×ＲＰ／Ｎ倍してピッチを合せる。また、垂直方向の画素数は、そのとき（ＲＬ×ＲＰ／Ｎ）×Ｙ画素となる必要があるので、垂直方向に（ＲＬ×ＲＰ×Ｙ）／（Ｎ×ｖ）倍にして倍率を合せる。
【００１２】
したがって、多眼合成画像にこのような水平・垂直方向の変倍処理を行った画像を生成し、印刷し、図１３のような印刷結果１３０１にレンチキュラー板１３０２を重ね合わせて観察することで立体像として観察することができる。
【００１３】
図１２では撮影するカメラ台数を４台としたが、よりカメラ台数が多い場合や１台のカメラを移動させて撮影した場合、さらには、上記特許文献１に記載のように、カメラにステレオアダプタを装着してステレオ画像を入力し、そのステレオ画像から対応点抽出を行い、対応点抽出結果から奥行きを表す視差マップを作成し、作成した視差マップをフォワードマッピングすることで撮影していない位置での新規視点２次元画像を作成した場合でも同様に多眼合成画像を生成することができる。
【００１４】
一方、３次元コンピュータグラフィックスのように全て計算機中に作成した３次元空間では、仮想的なカメラを図１２の１２０１〜１２０４のようにレイアウトし、各位置での２次元画像を生成した後、上述のように２次元画像を合成することで多眼合成画像を作成することが可能である。
【特許文献１】特開２００１−３４６２２６（段落００４７〜００８８、図３等）
【非特許文献１】梶木、吉川、本田“収束化光源列（ＦＬＡ）による超多眼立体ディスプレイ”、三次元画像コンファレンス９６論文集、ｐｐ１０８−１１３、１９９６
【発明の開示】
【発明が解決しようとする課題】
【００１５】
しかしながら、上記従来例では多眼立体表示方式の多眼合成画像を生成する際、所定の視点位置における２次元画像を生成した後に、特定の光学系に応じた表示方式に対応する画素配列に並び替えを行って多眼合成画像を生成している。
【００１６】
つまり、一旦作成した２次元画像を保持しておくための一時記憶領域が必要であり、視点数が増大することで、２次元画像を記憶するための記憶容量も増大するといった問題があった。
【００１７】
また、一旦各視点位置の２次元画像を生成してから立体画像を生成するため、立体映像として動画表示を行う場合は、フレーム間の間隔が２次元画像の生成時間に依存してしまうという問題があった。
【００１８】
さらに、２次元画像生成時間を削減させるためには２次元画像生成装置を複数かつ並列に組み合わせて各視点の２次元画像を生成する方式を取らざるを得ず、装置が大規模となり、また高価な装置となってしまうという課題があった。
【００１９】
本発明の例示的な目的の１つは、複数の視点から立体視可能な立体画像を効率よく生成することが可能な立体画像生成プログラム及び立体画像生成システムを実現することにある。
【課題を解決するための手段】
【００２０】
本発明の１つの観点としての立体画像生成プログラムは、複数の視点から立体視可能な立体画像を生成する立体画像生成プログラムであって、３次元シーンを入力する第１のステップと、３次元シーンに基づいて立体画像を構成する画素の情報を生成する第２のステップとを有する。そして、第２のステップは画素の位置情報と画素に対応する各視点の位置情報とに基づいて、画素の情報を生成することを特徴とする。
【発明の効果】
【００２１】
本発明によれば、従来のように複数の視点における複数の２次元画像を生成及び保持せずに、立体視可能な立体画像を構成する画素の情報を３次元シーンに基づいて生成している。
【００２２】
このため、画像情報の記憶領域を低減させることができるとともに、処理及び装置の簡略化を実現でき、効率よく立体画像を生成できる。
【発明を実施するための最良の形態】
【００２３】
以下に本発明の実施例について説明する。
【実施例１】
【００２４】
図１は、本発明の実施例１における多眼合成画像生成装置（立体画像生成装置）を用いた立体写真プリントシステムの機能構成を示すブロック図である。
【００２５】
多眼合成画像生成装置１００は、３次元モデルが配置された３次元空間および立体像を再生する特定の光学系などの情報を用いて多眼合成画像（立体画像）を生成する装置で、例えば、汎用のパーソナルコンピュータにより構成される。
【００２６】
操作入力装置１０１は、操作者が多眼合成画像生成装置１００に対する操作コマンドを指示したり、３次元空間中の３次元モデルを移動させたりするポインティングデバイスで、マウスやジョイスティック等で構成される。
【００２７】
２次元表示装置１０２は３次元空間を２次元に投影した２次元画像を表示するＣＲＴや液晶ディスプレイなどで構成され、この表示結果を操作者が観察しながら３次元モデルを３次元空間中に配置する。
【００２８】
印刷装置１０３は多眼合成画像装置１００で生成された多眼合成画像を印刷する。なお、多眼合成画像装置１００、操作入力装置１０１、印刷装置１０３はＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）等のインターフェースを用いることにより接続される。
【００２９】
次に多眼合成画像生成装置１００の内部ブロック構成について説明する。３次元モデル記憶部１００１は一般的な３次元モデル作成ソフトなどによって作成された３次元モデルが記憶されており、該３次元モデルは頂点、反射特性、テクスチャなどから構成される。
【００３０】
３次元空間管理部１００２は操作者がどのような３次元空間中に、どのような３次元モデルを配置しているか、光源やカメラがどの位置に配置されているかなどの３次元空間における管理を行う。
【００３１】
２次元画像生成部１００３は現在の３次元空間を特定のカメラ位置における２次元画像を生成し、２次元画像表示装置１０２に該２次元画像を表示する。
【００３２】
多眼合成画像生成部１０４０は最終的に立体像を観察する光学系に応じて多眼合成画像を生成する。生成された多眼合成画像は、印刷装置１０３へ出力され、その印刷結果に対して所定の光学系（レンチキュラー板等の立体表示デバイス）を用いることで立体像を観察できる。
【００３３】
次に多眼合成画像生成部１０４０の内部構成について詳細に説明する。多眼合成画像情報設定部１０４１は、生成された多眼合成画像を観察する光学系から決定される視点情報や画素配列などを設定する。つまり、レンチキュラー板等の立体表示デバイスの光学特性に基づいて該多眼合成画像の視点情報や画素配列を設定する。
【００３４】
視点位置設定部１０４２は、多眼合成画像情報設定部１０４１で設定された視点情報などから、現在作成すべき多眼合成画像に応じた視点位置を設定する。
【００３５】
視線算出部１０４３は、多眼合成画像情報設定部１０４１および視点位置設定部１０４２で設定された生成されるべき多眼合成画像の視点位置及び画素配列から現在の視点位置と生成すべき画素とを結ぶ視線を算出する。
【００３６】
交差検出部１０４４では、視線算出部１０４３で算出された視線と３次元空間管理部１００２内に記憶されている３次元モデル（３次元シーン）とが交差するか否かを判定する。
【００３７】
画素値算出部（画素生成部）１０４５は、交差検出部１０４４において視線と３次元モデルが交差したか否かなどの情報に基づいて、特定の画素の画素値（多眼合成画像を構成する画素の情報）を多眼合成画像記憶部１０４６の所定の画素位置に設定する。そして、多眼合成画像記憶部１０４６に記憶された多眼合成画像は最終的に印刷装置１０３へ出力される。
【００３８】
また、図２に示すように本実施例の多眼合成装置１００は汎用パーソナルコンピュータ２００にて構成される。ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、キーボード２０４及びマウス２０５、インターフェース（Ｉ／Ｆ）２０６、表示部としての２次元表示装置２０７、表示コントローラ２０８、ハードディスク（ＨＤ）２０９及びフロッピー（登録商標）ディスク（ＦＤ）２１０、ディスクコントローラ２１１、ネットワークコントローラ２１２がシステムバス２１３を介して互いに通信可能に接続された構成となっている。
【００３９】
そして、システムバス２１３がネットワークコントローラ２１２を介してネットワーク２１４と接続される。ＣＰＵ２０１はＲＯＭ２０２又はＨＤ２０９に記憶されたソフトウェア、若しくはＦＤ２１０により供給されるソフトウェアを実行することで、システムバス２１３に接続された各構成部を統括的に制御する。
【００４０】
つまり、ＣＰＵ２０１は所定の処理プログラムをＲＯＭ２０２、ＨＤ２０９又はＦＤ２１０から読み出して実行することで、本実施例での各機能を実現するための制御を行う。
【００４１】
ＲＡＭ２０３はＣＰＵ２０１の主記憶部若しくはワークエリア等として機能する。Ｉ／Ｆ２０６はキーボード２０４やマウス２０５のようなポインティングデバイスなどからの指示入力を制御する。表示コントローラ２０８は２次元表示装置２０７の表示、例えば、ＧＵＩ表示などを制御する。ディスクコントローラ２１１は、ブートプログラム、種々のアプリケーション、変種ファイル、ユーザーファイル、ネットワーク管理プログラム、及び本実施例における上記処理プログラム等を記憶するＨＤ２０９ならびにＦＤ２１０とのアクセスを制御する。ネットワークコントローラ２１２はネットワーク２１４上の機器と双方向にデータの通信を行う。
【００４２】
以上の各部の動作により、多眼合成画像を生成することができる。なお、本実施例では多眼合成画像生成装置１００は上述の構成を有するコンピュータとしたが、これに限定されることなく、他にも本処理に特化した専用処理ボードやチップであってもよい。
【００４３】
次に、図３〜図５を用いて本実施例の多眼合成画像生成装置１００の処理について詳細に説明する。ここでは、４つの視点位置で取得された画像情報を合成して多眼合成画像を生成する。
【００４４】
図４は基線４０１に視点（光学中心）４０２が配置されている状態を表している。また、図５は図４におけるI〜IVの４つの視点で取得された画像情報を合成して得られる多眼合成画像の画素配列を表したものである。ただし、図４において、画像を撮像する画像面は、視点（光学中心）の全面に表している（４０３）。この図４の多眼合成画像を図１３のようにレンチキュラー板を介して立体像を観察する場合について説明する。
【００４５】
まず、生成されるべき多眼合成画像のスキャンラインを画素配列の先頭に設定する。つまり、多眼合成画像の注目スキャンラインを図５におけるスキャンライン５０１に設定する（Ｓ３００）。
【００４６】
次に、注目合成画素をステップ３００で設定したスキャンラインの先頭、すなわち図５における多眼合成画像の最初の画素５０２に注目合成画素を設定する（Ｓ３０１）。
【００４７】
そして、設定した注目合成画素に用いるための必要な視点位置をセットする。例えば、図１３のように多眼合成画像はレンチキュラー板を介して観察する場合、レンチキュラー板の光学特性に基づいて生成すべき該多眼合成画像の各画素における視点位置の並びは視点位置IVから始まるため、ここでは視点位置をIVと設定する（Ｓ３０２）。
【００４８】
決定した視点位置において計算すべき画素位置を決定し、その画素の画素値を算出する。具体的には、図４において、視点（光学中心）IVとその視線と交差する最も視点寄りの３次元モデル情報と光源情報から画素の画素値を算出する（Ｓ３０３）。
【００４９】
ここで、多眼合成画像を構成する特定の画素に対して画素値を算出する手法としては、例えば、Foley, van Dam, Feiner, Hughes “Computer Graphics : principles and practice 2nd ed.” Addison-Wesley 1996 に記載のレイトレーシング法を適用することができる。以下に画素値の算出手法について、図６を用いて説明する。
【００５０】
レイトレーシング法によるレンダリングは、視点６０１と注目画素６０２とから求められる視線６０３が最も視点側にある図形６０４との交点６０５を求め、その交点６０５における輝度値を求めるだけでなく、視線６０３が交差した図形の性質によって交点６０５から視線の反射光・屈折光に相当する直線６０６を飛ばし、各交点の反射光・屈折光に相当する直線について各々新たに図形の交点を求めていき、新たな交点における輝度値を求め、更にその交点から反射光・屈折光に相当する光線を飛ばしていく、という二分木処理を繰り返し行う。そして、二分木を構成するレイの各々の交点における輝度値を所定の割合で加算していき、スクリーン上の各画素における輝度値を求めていく。
【００５１】
さらに、各交点における輝度値を求める際に、与えられた光源６０７からの光線ベクトルを遮る図形があるかどうかを判定することにより、表示された図形に影付けを行って、よりリアルなレンダリングを行うことも可能である。
【００５２】
このレイトレーシング処理手法の流れを図７のフローチャートを用いて説明する。
【００５３】
先ず、現在の視点（光学中心）と注目画素を通る視線を算出し（Ｓ７０１）、現在の三次元空間中に存在する三次元モデルの中で第１の３次元モデルへ設定する（Ｓ７０２）。この３次元モデルは、複数の三角形パッチなどの集合として定義されているモデルである。
【００５４】
ステップ７０１で算出した視線に対して、交差した物体（三角形パッチ）が存在したか否かを示す変数をクリアし、また、交差した物体（三角形パッチ）までの距離を表す変数を無限大と設定しておく（Ｓ７０３）。
【００５５】
さらに、ステップＳ７０１で算出した視線が注目した３次元モデルの何れかの三角形パッチと交差するか否か、交差した場合は視線までの距離が最も近いか否かを判定し（Ｓ７０４）、どちらも満たした場合は、交差した注目する３次元モデルの三角形パッチおよびその距離を各変数へ記憶する（Ｓ７０５）。
【００５６】
そして、対象としている３次元空間中に配置されている３次元モデルの全てについて視線との交差を行ったか否かを判断し（Ｓ７０６）、行っていない場合はステップ７０７へ進んで、注目する３次元モデルを次の３次元モデル（第２の３次元モデル）へ設定し（Ｓ７０７）、ステップ７０４に戻る。
【００５７】
対象としている３次元モデル全てについて視線との交差を行ったら、現在設定されている視線に対して交差する物体が存在したかどうかを所定の変数Ｏｂｊ＿ｉｎｔを参照して判断する（Ｓ７０８）。
【００５８】
交差した物体が存在しない場合（Ｏｂｊ＿ｉｎｔ＝＝ｎｕｌｌ）には、所定の多眼合成画像の画素を背景色として設定し（Ｓ７０９）、存在した場合は交差した３次元モデルに属する三角形パッチの各頂点に設定されている反射・屈折特性から画素値を算出し、算出した画素値を多眼合成画像の画素の画素値（画素の色情報）として設定する（Ｓ７１０）。その後、本処理を終了して図３に戻る。
【００５９】
図３のステップ３０４では合成画素に必要な全ての視点位置での処理のループさせるための分岐を行い、計算すべき視点位置があればステップ３０５にて次の視点位置へ移動し、再度ステップ３０３にて新しい視点位置での必要な画素の計算を行う。
【００６０】
同様に、ステップ３０６では多眼スキャンライン中における全ての合成画素を算出させるための分岐を行い、計算すべき合成画素があればステップ３０７にて次の立体画素へ移動させ、再度ステップ３０２にて新しい合成画素での計算を行う。
【００６１】
また、ステップ３０８では、多眼合成画像中の全てのスキャンライン中におけるスキャンラインを算出させるための分岐を行い、計算すべきスキャンラインがあればステップ３０９にて次のスキャンラインへ移動させ、再度ステップ３００にて新しいスキャンラインの計算を行う。
【００６２】
以上の処理の流れに従って、作成された多眼合成画像が図１における印刷装置１０３にて印刷され、その印刷結果を所定の光学系を介して観察することで滑らかな運動視差を再現したな立体像を観察することが可能となる。
【００６３】
このように本実施例では、様々な多眼立体表示方式に対応した画素配列からなる多眼合成画像を生成する際に、その多眼合成画像画素内の対応する視点位置における所定の画素のみの画素値を算出し、これを視点位置毎に順次算出して多眼合成画像の画素を算出し、この処理を多眼合成画像の画素全てにおいて繰り返していくことで多眼合成画像を生成する。
【００６４】
すなわち、複数の視点位置において２次元画像を撮影し、撮影された２次元画像を多眼合成画像に合成する従来の立体画像生成方法に比べ、本実施例では入力された３次元シーンに基づいて多眼合成画像を構成する画素の位置情報と、画素に対応する各視点の位置情報とに基づいて、該画素値（画素の情報）を３次元シーンから直接に生成しているので、各視点位置における２次元画像を一旦作成・記憶する必要がない。
【００６５】
したがって、各視点位置における２次元画像を一旦記憶させておくための一時記憶容量を削減することが可能となるとともに、多眼合成画像を生成する処理及び装置（システム）構成を簡略化することが可能となる。
【００６６】
さらには、印刷装置１０３において該多眼合成画像を印刷する際、多眼合成画像を１スキャンラインあるいは数スキャンライン単位で３次元シーンから直接に生成して印刷装置１０３へ出力することができるので、印刷処理を円滑かつ迅速に行うことができる。
【実施例２】
【００６７】
図８は、本発明の実施例２における多眼合成画像生成装置（立体画像生成装置）を用いた立体ディスプレイシステムの機能構成を示すブロック図である。上記実施例１は多眼合成画像生成装置を立体写真プリントシステムへ適用したが、本実施例では立体ディスプレイシステムに多眼合成画像生成装置を適用している。
【００６８】
図８において、上記図１の符号と同一の部分は実施例１と同様の動作を行うので説明は省略する。また、物理的な構成例も実施例１（図２参照）と同一で構成可能であるためここでは説明を省略する。
【００６９】
本実施例においては、操作入力装置１０１と２次元画像表示装置１０２、多眼合成画像生成装置８００および立体ディスプレイ装置８０２により構成されている立体ディスプレイシステムであり、多眼合成画像生成装置８００は３次元モデル記憶部１００１、３次元空間管理部１００２、２次元画像生成部１００３および多眼合成画像生成部８０１から構成されており、多眼合成画像生成部８０１より生成された多眼合成画像が立体ディスプレイ装置８０２へ出力され、立体像が提示される。
【００７０】
立体ディスプレイ装置８０２は、例えば、図９のようにレンチキュラー板９０１に液晶ディスプレイ部９０２が位置しており、液晶ディスプレイ部９０２はガラス基板９０２１、９０２３と、該ガラス基板９０２１、９０２３の間に配置される表示画素部９０２２とで構成されている。レンチキュラー板９０１の焦点面に液晶の表示画素部９０２２が配置されている。
【００７１】
そして、この表示画素部に所定の撮影位置（視点位置）で取得・生成された２次元画像のストライプ画像を描画することで、観察者の左右両眼に視差のある画像を提示することで立体視可能である。
【００７２】
このようなレンチキュラー板を利用した立体表示方式以外の方式として、例えば、パララックス・バリア法（Ｈ．Ｋａｐｌａｎ、“Ｔｈｅｏｒｙ ｏｆ Ｐａｒａｌｌａｘ Ｂａｒｒｉｅｒｓ”、 Ｊ．ＳＭＰＴＥ，Ｖｏｌ５０， Ｎｏ．７、ｐｐ．１１−２１、１９５２）の原理を用いた方式などがある。この場合は合成画像を表示し、このストライプ画像から所定の距離だけ離れた位置に設けられる所定の開口部を有するスリット（パララックス・バリア）を介することで、観察者に視差のある画像を提示することで立体視を得るものもある。
【００７３】
特開平３−１１９８８９号に記載された立体ディスプレイ装置では、このパララックス・バリアを透過型液晶素子などにより電子的に形成し、パララックス・バリアの形状や位置などを電子的に制御して変化するようにしている。
【００７４】
また、特開２００４−００７５６６号記載の立体画像表示装置においては、マトリクス状に多眼合成画像を形成し、その全面にマトリクス配列に対応した開口マスクを置き、横方向のレンチキュラレンズなどを利用して各画素水平列が対応するマスクの水平列のみに入射するようにすることで、多眼合成画像の解像度劣化を目立たせなくするため方式も開示されている。
【００７５】
なお、多眼合成画像の画素配列は、該多眼合成画像の表示光学系（立体表示デバイス）の特性によって決定されるので、その表示光学系に応じて明確に多眼合成画像の画素配列が決定でされるものであれば適用可能である。
【００７６】
次に、本実施例における多眼合成画像生成装置８００内の各機能ブロックについて説明する。図１の符号と同様の構成は上記実施例１と機能内容が同様であるため、説明を省略する。
【００７７】
３次元空間複雑度算出部８００１は、１視点あたりどの程度の描画時間が必要であるかを概略推定するため、現在の３次元空間の複雑さを算出する。多眼合成画像走査方法設定部８００２は、三次元空間複雑度算出部８００１において判定された現在の３次元空間の複雑さを基準として、立体ディスプレイに出力する多眼合成画像のスキャンラインの走査方法を制御する。
【００７８】
多眼合成画像情報設定部１０４１では、多眼合成画像走査方法定部８００２で設定された走査方法と立体ディスプレイ装置８０２の立体表示方式に従った画素配列に応じて作成すべき視点位置、合成画素（画素の位置情報）などを設定する。それ以降の機能ブロックにおける処理は、図１と同様である。
【００７９】
上述の処理の流れを図１０のフローチャートを用いて説明する。なお、図３と同一符号の処理は同様であるので、図３に示した処理とは異なるステップ１００１およびステップＳ１００１の処理のみ説明する。
【００８０】
まず、現在の３次元空間の複雑さ（複雑度）を算出する（Ｓ１００１）。本実施例では、例えば、３次元空間において存在する３次元モデルの個数、存在する３次元モデルを構成する三角形パッチ等の多角形の形状及び個数等を算出し、該個数等が所定値よりも大きいか否かで３次元空間の複雑さを判別する。そして、立体ディスプレイ装置８０２に出力する多眼合成画像を更新するためのスキャンラインを設定する（Ｓ１００２）。
【００８１】
現在の３次元空間が複雑であると判定された場合、図１１（ａ）に示すように多眼合成画像に対して１スキャンライン飛ばしで描画するようなインターレーススキャン方式を選択・設定する。このインターレーススキャン方式を用いることで、多眼合成画像１画像の生成時間を短縮することが可能となる。
【００８２】
また、３次元空間に存在する３次元モデルに動きがある場合と無い場合とで３次元空間の複雑度を判別してスキャン方式を選択・設定することも可能である。例えば、３次元空間における３次元モデルにあまり動きが無く、３次元空間において存在する３次元モデルの個数が少ない（若しくは３次元モデルを構成する三角形パッチ等の多角形の個数が少ない）場合には図１１（ｂ）のような特定の画素単位でスキャンを実行する。
【００８３】
さらに、図１１（ｃ）に示すように、多眼合成画像の特定の領域のみを描画領域に設定してスキャンを実行することも可能であり、このような場合は、操作入力装置８０１によって操作された３次元モデルを基準として、その領域周辺を変更領域とすることで設定可能である。
【００８４】
このように本実施例では、上記実施例１と同様に、立体ディスプレイシステムにおいても、多眼合成画像を３次元シーンから直接に生成し、各視点位置における２次元画像を一旦生成・記憶する必要がない。
【００８５】
さらには、立体ディスプレイ装置８０２に表示する画像が静止画のみならず動画像であっても、本実施例では様々なスキャン方式を適用することができるので、立体映像表示のフレームレートを向上させることができる。
【００８６】
このように、上記実施例１、２の立体写真プリントシステムや立体ディスプレイシステムなどの多様な立体表示方式に対応した様々な画素配列を有する多眼合成画像を、その画素配列及び視点位置等の定義を変更するだけで容易に生成することができる。
【００８７】
なお、上記実施例１、２のレイトレーシング法によるレンダリングは、最も単純な手法を説明したが、視線と３次元空間中の物体との交差の有無を検出するための様々な高速化手法、例えば、複雑な３次元モデルの概略形状を利用して交差計算を行う方法や、３次元モデルの階層構造を生成してその情報を利用する手法、さらには３次元空間をその空間中に存在するモデル（物体）に応じて分割することで計算効率を向上させる手法などを適用することも可能である。
【００８８】
また、装置のみならず複数の機器から構成されるシステムに適用可能であり、さらには１つの機器から構成される装置に適用してもよい。また、上記実施例の機能を実現するソフトウェアのプログラムコードを記憶した記憶媒体をシステムあるいは装置に適用し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても実現可能である。
【００８９】
また、コンピュータが読み出したプログラムコードを実行することにより、上記実施例の機能が実現されるだけではなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳなどが実際の処理の一部または全部を行い、その処理によって実現される場合も含まれる。
【００９０】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、次のプログラムコードの指示に基づき、その拡張機能を拡張ボードや拡張ユニットに備わるＣＰＵなどが処理を行って実際の処理の一部または全部を行い、その処理によっても実現可能である。
【図面の簡単な説明】
【００９１】
【図１】本発明の実施例１に係る多眼合成画像生成装置の構成ブロック図。
【図２】本発明の実施例１に係る多眼合成画像生成装置の構成を示す図。
【図３】本発明の実施例１に係る多眼合成画像生成装置の動作フローチャート図。
【図４】本発明の実施例１に係る３次元空間中のモデル、カメラなどの配置図。
【図５】本発明の実施例１に係る多眼合成画像の画素配列の説明図。
【図６】本発明に係るレイトレーシング法の原理図を示す図。
【図７】本発明に係るレイトレーシング法による画素値算出処理におけるフローチャート図。
【図８】本発明の実施例２に係る多眼合成画像生成装置の構成ブロック図。
【図９】従来の立体ディスプレイにおけるレンチキュラー板を用いた方式の構成例を示す図。
【図１０】本発明の実施例２に係る多眼合成画像生成装置の動作フローチャート図。
【図１１】本発明の実施例２に係る多眼合成画像生成における走査方式を説明する図。
【図１２】従来の多眼立体画像撮影を説明するための模式図。
【図１３】従来の多眼立体画像表示方式としてレンチキュラー板を用いた模式図。
【符号の説明】
【００９２】
１００      多眼合成画像生成装置
１０４０    多眼合成画像生成部
１０４１    多眼合成画像情報設定部
１０４２    視点位置設定部
１０４３    視線算出部
１０４４    交差検出部
１０４５    画素値算出部
１０４６    多眼合成画像記憶部
【図１】
2006163547.tif 000005
【図２】
2006163547.tif 000006
【図３】
2006163547.tif 000007
【図４】
2006163547.tif 000008
【図５】
2006163547.tif 000009
【図６】
2006163547.tif 000010
【図７】
2006163547.tif 000011
【図８】
2006163547.tif 000012
【図９】
2006163547.tif 000013
【図１０】
2006163547.tif 000014
【図１１】
2006163547.tif 000015
【図１２】
2006163547.tif 000016
【図１３】
2006163547.tif 000017