(57)【特許請求の範囲】
【請求項１】
要素レンズを２次元に配置したレンズアレイと画像表示手段とを備える立体表示装置に表示する表示対象としての３次元形状モデルを仮想的な撮影カメラである仮想カメラで撮影して、前記立体表示装置用の表示画像を生成する立体像生成装置であって、
前記要素レンズの焦点距離と、前記要素レンズの間隔と、前記画像表示手段の画素間隔とが入力されるパラメータ入力手段と、
前記要素レンズの間隔を前記画像表示手段の画素間隔で除算して予め設定された定数を乗じた値に基づいて前記要素レンズ間の画素数を算出すると共に、前記要素レンズの間隔に対して整数分の１となる画素サイズを有する正規化画像において、前記要素レンズの間隔を前記要素レンズ間の画素数で除算することで前記正規化画像の画素サイズを算出する正規化画像画素サイズ算出手段と、
前記画像表示手段の画素間隔を前記正規化画像の画素サイズで除算することで、前記正規化画像の画素座標を算出する正規化画像画素位置算出手段と、
前記レンズアレイから前記仮想カメラの位置までを示すように予め設定した距離と前記正規化画像の画素サイズとを乗算して前記要素レンズの焦点距離で除算した値に基づいて前記仮想カメラの位置を算出し、前記正規化画像における要素画像の画素位置から前記要素レンズの中心位置までの単位ベクトルの逆方向を前記仮想カメラの撮影方向として算出し、前記仮想カメラの撮影方向を用いて前記仮想カメラの姿勢を算出する仮想カメラ位置・姿勢算出手段と、
前記仮想カメラ位置・姿勢算出手段が算出した仮想カメラの位置および姿勢に基づいて、前記３次元形状モデルを仮想平面に正射影することで、前記３次元形状モデルを前記仮想カメラで撮影した仮想撮影画像を生成する仮想撮影画像生成手段と、
所定の座標変換式により前記仮想撮影画像の画素の画素値を前記正規化画像の画素に割り当てることで、前記正規化画像を生成する正規化画像生成手段と、
前記正規化画像生成手段が生成した正規化画像から前記表示画像を生成する表示画像生成手段と、
を備えることを特徴とする立体像生成装置。
【請求項２】
前記仮想撮影画像において、前記要素レンズの中心位置に対応する画素を結んだ線分の中点で囲われるフィルタ適用領域が複数設定され、当該フィルタ適用領域毎に低域通過フィルタ処理を施す第１の折返し雑音低減手段、
をさらに備えることを特徴とする請求項１に記載の立体像生成装置。
【請求項３】
前記仮想カメラの姿勢を示す行列を用いて、前記仮想撮影画像に前記フィルタ適用領域を設定するフィルタ適用領域設定手段、
をさらに備えることを特徴とする請求項２に記載の立体像生成装置。
【請求項４】
要素レンズを２次元に配置したレンズアレイと画像表示手段とを備える立体表示装置に表示する表示対象としての３次元形状モデルを仮想的な撮影カメラである仮想カメラで撮影して、前記立体表示装置用の表示画像を生成するために、コンピュータを、
前記要素レンズの焦点距離と、前記要素レンズの間隔と、前記画像表示手段の画素間隔とが入力されるパラメータ入力手段、
前記要素レンズの間隔を前記画像表示手段の画素間隔で除算して予め設定された定数を乗じた値に基づいて前記要素レンズ間の画素数を算出すると共に、前記要素レンズの間隔に対して整数分の１となる画素サイズを有する正規化画像において、前記要素レンズの間隔を前記要素レンズ間の画素数で除算することで前記正規化画像の画素サイズを算出する正規化画像画素サイズ算出手段、
前記画像表示手段の画素間隔を前記正規化画像の画素サイズで除算することで、前記正規化画像の画素座標を算出する正規化画像画素位置算出手段、
前記レンズアレイから前記仮想カメラの位置までを示すように予め設定した距離と前記正規化画像の画素サイズとを乗算して前記要素レンズの焦点距離で除算した値に基づいて前記仮想カメラの位置を算出し、前記正規化画像における要素画像の画素位置から前記要素レンズの中心位置までの単位ベクトルの逆方向を前記仮想カメラの撮影方向として算出し、前記仮想カメラの撮影方向を用いて前記仮想カメラの姿勢を算出する仮想カメラ位置・姿勢算出手段、
前記仮想カメラ位置・姿勢算出手段が算出した仮想カメラの位置および姿勢に基づいて、前記３次元形状モデルを仮想平面に正射影することで、前記３次元形状モデルを前記仮想カメラで撮影した仮想撮影画像を生成する仮想撮影画像生成手段、
所定の座標変換式により前記仮想撮影画像の画素の画素値を前記正規化画像の画素に割り当てることで、前記正規化画像を生成する正規化画像生成手段、
前記正規化画像生成手段が生成した正規化画像から前記表示画像を生成する表示画像生成手段、
として機能させることを特徴とする立体像生成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、インテグラル方式、レンチキュラ方式等の立体表示方式において、表示対象となる３次元形状モデルから立体像を生成する技術に関する。
【背景技術】
【０００２】
近年、立体表示装置の研究開発が進み、インテグラル方式およびレンチキュラ方式等、特殊なメガネを用いなくても観察者に立体像を視認させることが可能な裸眼方式の立体表示装置が開発されている。例えば、インテグラル方式の立体表示装置は、高精細画像表示パネルと、その前面に配置された２次元レンズアレイとを備え、高精細画像表示パネルに要素画像を表示すると立体像が再生される。この要素画像の各画素からの光線は、その画素位置と、レンズアレイの要素レンズの位置とから決まる方向に出射される。つまり、一つの要素レンズから要素画像の画素数だけの光線が出射されることになる。ここで、要素レンズの間隔が要素画像の画素サイズの整数倍という条件を満たす場合には、各要素レンズから出射される光線の方向が有限になるため、同一方向の光線を集めることで正射影画像として表すことができる。すなわち、立体表示装置から出射される光線群は、有限枚の正射影画像で表すことができる。
【０００３】
ここで、コンピュータグラフィックス（ＣＧ）やレンジセンサーで得られる３次元形状モデルをインテグラル方式の立体像に変換する技術が提案されている（例えば、非特許文献１，２）。これら非特許文献１，２に記載の技術は、３次元形状モデルをインテグラル方式の立体像に変換する基本的な手法である。例えば、非特許文献１に記載の技術は、コンピュータグラフィックスの３次元形状モデルを被写体とし、３次元仮想空間内にレンズアレイ、奥行き制御用のレンズを設置し、光線追跡法により、被写体のインテグラル立体像を生成するものである。
【０００４】
つまり、非特許文献１，２に記載の技術において、正射影を用いることができると、レンズアレイの要素レンズ数の光線を１回レンダリングするだけで、３次元形状モデルから表示画像を生成することができる。この場合、非特許文献１，２に記載の技術において、中心射影を用いた場合よりも、少ない演算量で３次元形状モデルから表示画像を生成することができる。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】Athineos,Spyros S,:“Physical modeling of a microlens array setup for use in computer generated IP”、Proceedings of the SPIE,Volume 5664,pp.472-479(2005).
【非特許文献２】Huy Hoang Tran,et al:”Interactive 3D Navigation System for Image-guided Surgery”,Journal of Virtual Reality,8(1),pp.9-16(2009)
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、非特許文献１，２に記載の技術は、要素レンズの間隔が要素画像の画素サイズの整数倍という条件を満たさない場合、要素レンズごとに光線の方向が異なるため、その光線群を有限枚の正射影画像で表すことができない。この正射影が表示画像を少ない演算量で生成するために有効な手段であることから、前記した条件を満たさない場合でも正射影によって表示画像を生成したいという強い要望がユーザからされている。
【０００７】
そこで、本発明は、前記した問題を解決し、要素レンズの間隔が要素画像の画素サイズの整数倍という条件を満たさない場合でも、正射影により表示画像を生成できる立体像生成装置およびそのプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
前記した課題を解決するため、本願第１発明に係る立体像生成装置は、要素レンズを２次元に配置したレンズアレイと画像表示手段とを備える立体表示装置に表示する表示対象としての３次元形状モデルを仮想的な撮影カメラである仮想カメラで撮影して、前記立体表示装置用の表示画像を生成する立体像生成装置であって、パラメータ入力手段と、正規化画像画素サイズ算出手段と、正規化画像画素位置算出手段と、仮想カメラ位置・姿勢算出手段と、仮想撮影画像生成手段と、正規化画像生成手段と、表示画像生成手段と、を備えることを特徴とする。
【０００９】
かかる構成によれば、立体像生成装置は、パラメータ入力手段によって、前記要素レンズの焦点距離と、前記要素レンズの間隔と、前記画像表示手段の画素間隔とが入力される。また、立体像生成装置は、正規化画像画素サイズ算出手段によって、前記要素レンズの間隔を前記画像表示手段の画素間隔で除算して予め設定された定数を乗じた値に基づいて前記要素レンズ間の画素数を算出すると共に、前記要素レンズの間隔に対して整数分の１となる画素サイズを有する正規化画像において、前記要素レンズの間隔を前記要素レンズ間の画素数で除算することで前記正規化画像の画素サイズを算出する。そして、立体像生成装置は、正規化画像画素位置算出手段によって、前記画像表示手段の画素間隔を前記正規化画像の画素サイズで除算することで、前記正規化画像の画素座標を算出する。このようにして、立体像生成装置は、画素サイズが要素レンズの間隔に対して整数分の１となる正規化画像を用意する。
【００１０】
また、立体像生成装置は、仮想カメラ位置・姿勢算出手段によって、前記レンズアレイから前記仮想カメラの位置までを示すように予め設定した距離と前記正規化画像の画素サイズとを乗算して前記要素レンズの焦点距離で除算した値に基づいて前記仮想カメラの位置を算出し、前記正規化画像における要素画像の画素位置から前記要素レンズの中心位置までの単位ベクトルの逆方向を前記仮想カメラの撮影方向として算出し、前記仮想カメラの撮影方向を用いて前記仮想カメラの姿勢を算出する。つまり、立体像生成装置は、仮想カメラ位置・姿勢算出手段によって、要素レンズの中心位置から正規化画像における要素画像の画素位置に向かう単位ベクトルを仮想カメラの撮影方向として算出する。また、立体像生成装置は、仮想カメラ位置・姿勢算出手段によって、仮想カメラの撮影方向を示す単位ベクトルおよびレンズアレイの平面の縦方向（レンズアレイの行の並びと直交する方向）を示す単位ベクトルから、仮想カメラの姿勢を算出する。
【００１１】
また、立体像生成装置は、仮想撮影画像生成手段によって、前記仮想カメラ位置・姿勢算出手段が算出した仮想カメラの位置および姿勢に基づいて、前記３次元形状モデルを仮想平面に正射影することで、前記３次元形状モデルを前記仮想カメラで撮影した仮想撮影画像を生成する。そして、立体像生成装置は、正規化画像生成手段によって、所定の座標変換式により前記仮想撮影画像の画素の画素値を前記正規化画像の画素に割り当てることで、前記正規化画像を生成する。つまり、前記した正射影によって、正規化画像の画素と、仮想撮影画像の画素とが直線上に並ぶので、立体像生成装置は、この直線に従って仮想撮影画像の画素の画素値を、用意した正規化画像の各画素に割り当てる。従って、立体像生成装置は、正規化画像上に要素画像を形成することになる。
さらに、立体像生成装置は、表示画像生成手段によって、前記正規化画像生成手段が生成した正規化画像から前記表示画像を生成する。
【００１２】
また、本願第２発明に係る立体像生成装置は、前記仮想撮影画像において、前記要素レンズの中心位置に対応する画素を結んだ線分の中点で囲われるフィルタ適用領域が複数設定され、当該フィルタ適用領域毎に低域通過フィルタ処理を施す第１の折返し雑音低減手段をさらに備えることを特徴とする。
【００１３】
ここで、立体表示装置の観察者は、レンズアレイを介して立体像を見る。これは、レンズアレイの要素レンズの間隔に応じて立体像をサンプリングするのと等価である。このため、レンズアレイでは、サンプリングに起因する折返し雑音（折返し歪）が発生してしまう。
そこで、立体像生成装置は、第１の折返し雑音低減手段によって、仮想撮影画像（正射影画像）の要素レンズの中心に対応する画素をサンプル点とみなし、そのサンプル点を中心としたフィルタ適用領域毎に低域通過フィルタ処理を施す。これによって、立体像生成装置は、レンズアレイでのサンプリングに起因する折返し雑音を低減することができる。
【００１４】
また、本願第３発明に係る立体像生成装置は、前記仮想カメラの姿勢を示す行列を用いて、前記仮想撮影画像に前記フィルタ適用領域を設定するフィルタ適用領域設定手段、をさらに備えることを特徴とする。
【００１５】
かかる構成によれば、立体像生成装置は、要素レンズの配置により決まるフィルタ適用領域を、人手によらずに設定することができる。
【００１８】
また、前記した課題を解決するため、本願第４発明に係る立体像生成プログラムは、要素レンズを２次元に配置したレンズアレイと画像表示手段とを備える立体表示装置に表示する表示対象としての３次元形状モデルを仮想的な撮影カメラである仮想カメラで撮影して、前記立体表示装置用の表示画像を生成するために、コンピュータを、パラメータ入力手段、正規化画像画素サイズ算出手段、正規化画像画素位置算出手段、仮想カメラ位置・姿勢算出手段、仮想撮影画像生成手段、正規化画像生成手段、表示画像生成手段、として機能させることを特徴とする
【００１９】
かかる構成によれば、立体像生成プログラムは、パラメータ入力手段によって、前記要素レンズの焦点距離と、前記要素レンズの間隔と、前記画像表示手段の画素間隔とが入力される。また、立体像生成プログラムは、正規化画像画素サイズ算出手段によって、前記要素レンズの間隔を前記画像表示手段の画素間隔で除算して予め設定された定数を乗じた値に基づいて前記要素レンズ間の画素数を算出すると共に、前記要素レンズの間隔に対して整数分の１となる画素サイズを有する正規化画像において、前記要素レンズの間隔を前記要素レンズ間の画素数で除算することで前記正規化画像の画素サイズを算出する。そして、立体像生成プログラムは、正規化画像画素位置算出手段によって、前記画像表示手段の画素間隔を前記正規化画像の画素サイズで除算することで、前記正規化画像の画素座標を算出する。このようにして、立体像生成プログラムは、画素サイズが要素レンズの間隔に対して整数分の１となる正規化画像を用意する。
【００２０】
また、立体像生成プログラムは、仮想カメラ位置・姿勢算出手段によって、前記レンズアレイから前記仮想カメラの位置までを示すように予め設定した距離と前記正規化画像の画素サイズとを乗算して前記要素レンズの焦点距離で除算した値に基づいて前記仮想カメラの位置を算出し、前記正規化画像における要素画像の画素位置から前記要素レンズの中心位置までの単位ベクトルの逆方向を前記仮想カメラの撮影方向として算出し、前記仮想カメラの撮影方向を用いて前記仮想カメラの姿勢を算出する。つまり、立体像生成プログラムは、仮想カメラ位置・姿勢算出手段によって、要素レンズの中心位置から正規化画像における要素画像の画素位置に向かう単位ベクトルを仮想カメラの撮影方向として算出する。また、立体像生成プログラムは、仮想カメラ位置・姿勢算出手段によって、仮想カメラの撮影方向を示す単位ベクトルおよびレンズアレイの平面の縦方向（レンズアレイの行の並びと直交する方向）を示す単位ベクトルから、仮想カメラの姿勢を算出する。
【００２１】
また、立体像生成プログラムは、仮想撮影画像生成手段によって、前記仮想カメラ位置・姿勢算出手段が算出した仮想カメラの位置および姿勢に基づいて、前記３次元形状モデルを仮想平面に正射影することで、前記３次元形状モデルを前記仮想カメラで撮影した仮想撮影画像を生成する。そして、立体像生成プログラムは、正規化画像生成手段によって、所定の座標変換式により前記仮想撮影画像の画素の画素値を前記正規化画像の画素に割り当てることで、前記正規化画像を生成する。つまり、前記した正射影によって、正規化画像の画素と、仮想撮影画像の画素とが直線上に並ぶので、立体像生成プログラムは、この直線に従って仮想撮影画像の画素の画素値を、用意した正規化画像の各画素に割り当てる。従って、立体像生成プログラムは、正規化画像上に要素画像を形成することになる。
さらに、立体像生成プログラムは、表示画像生成手段によって、前記正規化画像生成手段が生成した正規化画像から前記表示画像を生成する。
【発明の効果】
【００２２】
本願発明は、以下のような優れた効果を奏する。
本願第１，４発明は、画素サイズが要素レンズの間隔に対して整数分の１となる正規化画像を用意する。そして、本願第１，４発明は、要素レンズの中心を仮想撮影画像の画素に対応させた正射影を行って、仮想撮影画像の画素の画素値を正規化画像の各画素に割り当てる。これによって、本願第１，４発明は、要素レンズの間隔が要素画像の画素サイズの整数倍という条件を満たさない場合でも正射影により表示画像を生成できるので、その演算量を少なくすることができる。
【００２３】
本願第２発明は、レンズアレイでのサンプリングに起因する折返し雑音を低減できるので、表示画像を高品質にすることができる。
本願第３発明は、要素レンズの配置により決まるフィルタ適用領域を人手によらずに適切に設定できるので、正確な低域通過フィルタ処理を可能とする。
【図面の簡単な説明】
【００２４】
【図１】本発明における立体表示装置の概略を示す概略図であり、（ａ）は立体像を表示する様子を示す図であり、（ｂ）はレンズアレイと画像表示パネルの表示面との位置関係を示す図である。
【図２】本発明の実施形態に係る立体像生成装置の構成を示すブロック図である。
【図３】本発明における立体表示装置のモデル化を示す概念図であり、要素画像と、画像表示パネルと、レンズアレイのピンホールとの位置関係を示す図である。
【図４】本発明において、正規化画像と、レンズアレイのピンホールとの位置関係を示す図である。
【図５】図２の仮想カメラ撮影手段の構成を示すブロック図である。
【図６】本発明において、仮想カメラによる撮影を説明する説明図であり、レンズアレイと、正規化画像と、３次元形状モデルとの位置関係を示す図である。
【図７】本発明において、仮想カメラによる撮影を説明する説明図であり、レンズアレイ上のサンプル点と、正規化画像との位置関係を示す図である。
【図８】本発明において、仮想カメラによる撮影を説明する説明図であり、正規化画像と、レンズアレイと、仮想カメラとの位置関係を示す図である。
【図９】図２の第１のフィルタによる低域通過フィルタ処理を説明する説明図である。
【図１０】図２の第２のフィルタによる表示画像の生成を説明する説明図である。
【図１１】図２の立体表示装置の全体動作を示すフローチャートである。
【図１２】図５の仮想カメラ撮影手段の動作を示すフローチャートである。
【図１３】本発明において、動的３次元形状モデルのインテグラル立体映像を生成する立体映像生成システムの構成を示す図である。
【図１４】本発明の実施例を説明する画像であり、（ａ）は比較例における撮影画像であり、（ｂ）は実施例における撮影画像であり、（ｃ）は（ａ）の拡大画像であり、（ｄ）は（ｂ）の拡大画像である。
【発明を実施するための形態】
【００２５】
［立体表示装置の概略］
以下、本発明の実施形態について、適宜図面を参照しながら詳細に説明する。なお、各実施形態において、同一の機能を有する手段には同一の符号を付し、説明を省略した。
まず、本発明の実施形態に係る立体像生成装置１（図２参照）の前提として、本発明における立体表示装置２の概略について説明する。
【００２６】
図１（ａ）および図１（ｂ）に示すように、立体表示装置２は、立体像生成装置１が生成した表示画像Ｉ（複数の要素画像Ｇを縦横に配置した画像）をインテグラル方式によって表示するものであり、液晶ディスプレイ等の画像表示パネル（画像表示手段）２１と、要素レンズＬＰを２次元に配置したレンズアレイＬＡとを備える。
まず、立体表示装置２は、画像表示パネル２１の表示面に、立体像生成装置１が生成した表示対象（３次元形状モデル）の表示画像Ｉを表示する。このとき、要素画像Ｇに対応する要素レンズＬＰは一意に決まる。そして、立体表示装置２は、要素レンズＬＰにより要素画像Ｇを空中に投影して立体像Ｚを形成する。つまり、観察者Ａは、レンズアレイＬＡの要素レンズＬＰを通して、それぞれの要素画像Ｇを観視することで、立体像Ｚを視認することができる。
このように、立体表示装置２で表示するための表示映像Ｉが必要になる。そこで、本発明の実施形態に係る立体像生成装置１を用いて、この表示映像Ｉを生成する。
【００２７】
［立体像生成装置の構成］
以下、図２を参照し、本発明の実施形態に係る立体像生成装置１の構成について説明する。
図２に示すように、立体像生成装置１は、立体表示装置２に表示する表示対象としての３次元形状モデルを仮想カメラで撮影して、立体表示装置２の表示画像を生成するものであり、立体表示装置モデル化手段（パラメータ入力手段）１１と、正規化画像設定手段（正規化画像画素サイズ算出手段）１２と、フィルタ用パラメータ設定手段（フィルタ適用領域設定手段）１３と、仮想カメラ撮影手段１４と、第１のフィルタ（第１の折返し雑音低減手段）１５と、正規化画像生成手段１６と、表示画像生成手段１７とを備える。
【００２８】
立体表示装置モデル化手段１１は、立体表示装置２をモデル化するためのパラメータ（Ｆ，ＲＨ，ＲＶ，Ｐ）が入力されると共に、これらパラメータを正規化画像設定手段１２に出力する。これらパラメータは、図３で示すように定義される。
【００２９】
Ｆ：要素レンズＬＰの焦点距離（画像表示パネル２１とレンズアレイＬＡとの距離）
ＲＨ：レンズアレイＬＡにおける要素レンズＬＰの水平方向の間隔
ＲＶ：レンズアレイＬＡにおける要素レンズＬＰの垂直方向の間隔
Ｐ：画像表示パネル２１の画素間隔
【００３０】
本実施形態では、要素レンズＬＰが一行毎にオフセットしており、要素レンズＬＰの垂直方向の間隔ＲＶが要素レンズＬＰの水平方向の間隔ＲＨの√３／２倍であるとして説明する。
また、要素レンズＬＰの水平方向の間隔ＲＨおよび要素レンズＬＰの垂直方向の間隔ＲＶが要素画像Ｇの画素間隔の整数倍でないこととして説明する。
また、立体表示装置２において、要素レンズＬＰの中心位置をピンホールＨとみなしている。つまり、要素レンズＬＰの中心位置がピンホールＨの位置となる。
【００３１】
ここで、要素レンズＬＰの水平方向の間隔ＲＨおよび要素レンズＬＰの垂直方向の間隔ＲＶが要素画像Ｇの画素間隔の整数倍でないため、仮想カメラ（正射影カメラ）を用いて撮影しても、要素画像Ｇの画素位置で光線を直接取得することができない。そこで、図４に示すように、仮想カメラで撮影する過程（計算過程）において、要素画像Ｇの画素間隔を定義し、要素レンズＬＰの水平方向の間隔ＲＨおよび要素レンズＬＰの垂直方向の間隔ＲＶが要素画像Ｇの画素間隔の整数倍になるような画像面を用意する。以後、この画像面における画像を正規化画像Ｉ’とする。
【００３２】
また、物理的な位置を示す世界座標を定義する。この世界座標は、レンズアレイＬＡの中央に位置する要素レンズＬＰのレンズ中心（ピンホール）を原点として、レンズアレイＬＡの横方向をＸ軸、縦方向をＹ軸およびレンズアレイ面の鉛直方向をＺ軸とする。
さらに、要素画像Ｇ全体の画像座標として(ｉ，ｊ)を定義する。この画像座標の原点は前記した世界座標の原点に最も近い画素であるとする。
【００３３】
正規化画像設定手段１２は、正規化画像Ｉ’において、下記の式（１）で表されるように、要素レンズＬＰの水平方向の間隔ＲＨおよび要素レンズＬＰの垂直方向の間隔ＲＶを要素レンズＬＰ間の画素数Ｍで除算することで、正規化画像Ｉ’の水平方向の画素サイズＰＨおよび正規化画像Ｉ’の垂直方向の画素サイズＰＶを算出する。
【００３４】
【数１】
0005452801.tif 000002
【００３５】
そして、正規化画像設定手段１２は、これらパラメータ（Ｆ，ＲＨ，ＲＶ，Ｐ，ＰＨ，ＰＶ）をフィルタ用パラメータ設定手段１３に出力する。このとき、正規化画像設定手段１２は、下記の式（２）で表されるように、要素レンズＬＰの水平方向の間隔ＲＨを画像表示パネル２１の画素間隔Ｐで除算して定数Ｋを乗じた値に基づいて、要素レンズＬＰ間の画素数Ｍを算出する。
【００３６】
【数２】
0005452801.tif 000003
【００３７】
ここで、式（２）において、“＜ａ＞”は、ａを四捨五入して整数化することを意味する。つまり、“＜ＲＨ／Ｐ＞”は、図３での要素レンズＬＰ間の画素数となり、後記する第２のフィルタ１７ａにおける低域通過フィルタ処理のため、その値をＫ倍する。ここで、定数Ｋは任意の値に設定できる。さらに、定数Ｋが２を超えた偶数で設定されると、正規化画像Ｉ’の画素サイズは、画像表示パネル２１の画素サイズの１／２以下、かつ、要素レンズＬＰの水平方向の間隔ＲＨおよび要素レンズＬＰの垂直方向の間隔ＲＶに対して整数分の１となる。これによって、後記する第２のフィルタ１７ａによる低域通過フィルタ処理を容易に適用することができる。
【００３８】
フィルタ用パラメータ設定手段１３は、正規化画像設定手段１２からパラメータ（Ｆ，ＲＨ，ＲＶ，Ｐ，ＰＨ，ＰＶ）が入力されると共に、予め設定された定数Ｎが入力される。この定数Ｎは、レンズアレイＬＡのピンホール数を一定倍してサンプリングすることを示す値である。そして、フィルタ用パラメータ設定手段１３は、後記するローカル座標（ｕ，ｖ）の原点（０，０）として、後記する式（８）を用いて、仮想撮影画像（仮想カメラＶｃの画像）上にフィルタ適用領域ＡＲ（図９参照）を設定する。
【００３９】
その後、フィルタ用パラメータ設定手段１３は、パラメータ（Ｆ，ＲＨ，ＲＶ，Ｐ，ＰＨ，ＰＶ）を仮想カメラ撮影手段１４に出力すると共に、設定したフィルタ適用領域ＡＲを第１のフィルタ１５に出力する。
なお、フィルタ適用領域ＡＲは、後記する第１のフィルタ１５が低域フィルタ処理を行う範囲を示すものであり、その詳細は後記する。
【００４０】
仮想カメラ撮影手段１４は、仮想カメラＶｃ（図６参照）で表示対象を仮想的に撮影することで、仮想撮影画像を生成するものである。このため、図５に示すように、仮想カメラ撮影手段１４は、正規化画像画素位置算出手段１４１と、ピンホール位置算出手段１４２と、仮想カメラ位置・姿勢算出手段１４３と、仮想撮影画像生成手段１４４とを備える。
【００４１】
正規化画像画素位置算出手段１４１は、フィルタ用パラメータ設定手段１３からパラメータ（Ｆ，ＲＨ，ＲＶ，Ｐ，ＰＨ，ＰＶ）が入力される。ここで、式（１）を用いると、正規化画像Ｉ’の（世界座標）を下記の式（３）で表すことができる。
【００４２】
【数３】
0005452801.tif 000004
【００４３】
従って、正規化画像画素位置算出手段１４１は、下記の式（４）で表されるように、画像表示パネル２１の画素間隔Ｐを、正規化画像Ｉ’の水平方向の画素サイズＰＨおよび正規化画像Ｉ’の垂直方向の画素サイズＰＶのそれぞれで除算することで、正規化画像Ｉ’の画素座標を算出する。つまり、表示画像Ｉの画素座標は、式（４）を用いて、正規化画像Ｉ’の画素位置に変換できる。
なお、式（４）において、（ｉ’，ｊ’）が正規化画像Ｉ’の画素座標を示す。
【００４４】
【数４】
0005452801.tif 000005
【００４５】
そして、正規化画像画素位置算出手段１４１は、パラメータ（Ｆ，ＲＨ，ＲＶ，Ｐ，ＰＨ，ＰＶ）と、算出した正規化画像Ｉ’の画素座標とをピンホール位置算出手段１４２に出力する。
【００４６】
ピンホール位置算出手段１４２は、正規化画像画素位置算出手段１４１からパラメータ（Ｆ，ＲＨ，ＲＶ，Ｐ，ＰＨ，ＰＶ）と、算出した正規化画像Ｉ’の画素座標とが入力される。そして、ピンホール位置算出手段１４２は、下記の式（５）を用いて、水平方向にｎ番目で垂直方向にｍ番目のピンホールＨの位置を算出する。
なお、式（５）において、“％”は剰余演算を示す記号であり、Ｈ（ｎ，ｍ）はピンホールＨの位置である。
【００４７】
【数５】
0005452801.tif 000006
【００４８】
そして、ピンホール位置算出手段１４２は、正規化画像Ｉ’の画素座標と、ピンホールＨの位置と、パラメータ（Ｆ，ＲＨ，ＲＶ，Ｐ，ＰＨ，ＰＶ）とを仮想カメラ位置・姿勢算出手段１４３に出力する。
【００４９】
仮想カメラ位置・姿勢算出手段１４３は、ピンホール位置算出手段１４２から正規化画像Ｉ’の画素座標と、ピンホールＨの位置と、パラメータ（Ｆ，ＲＨ，ＲＶ，Ｐ，ＰＨ，ＰＶ）とが入力される。そして、仮想カメラ位置・姿勢算出手段１４３は、後記する単位ベクトルを生成してから、仮想カメラＶｃの位置および姿勢を算出する。
ここで、ピンホール位置Ｈ(ｎ，ｍ)に対応する要素画像Ｇの画素をＩ’ｎ，ｍ（ｕ，ｖ）として表す。また、この(ｕ，ｖ)は、Ｈ(ｎ，ｍ)を原点とする正規化画像Ｉ’上のローカル画像座標とする。
【００５０】
まず、仮想カメラ位置・姿勢算出手段１４３は、図６に示すように、正規化画像Ｉ’においてピンホール位置をＨ（０，０）とし、このＨ（０，０）に対応する要素画像Ｇの画素Ｉ’０，０（ｕ，ｖ）の画素毎に、下記の式（６）を用いて、当該画素Ｉ’０，０（ｕ，ｖ）からピンホールＨ（０，０）の位置までの単位ベクトル（ｉｘ，ｉｙ，ｉｚ）を生成する。
ここで、画素Ｉ’０，０（ｕ，ｖ）＝（ＸＰ，ＹＰ，−Ｆ）＝（ｕＰＨ，ｖＰＶ，−Ｆ）となる。また、ピンホール位置Ｈ（０，０）＝(ＸＲ，ＹＲ，０)=(０，０，０)となる。
なお、この単位ベクトルは、その延長線上に、画素Ｉ’０，０（ｕ，ｖ）が視認される方向を示している。
【００５１】
【数６】
0005452801.tif 000007
【００５２】
次に、仮想カメラ位置・姿勢算出手段１４３は、生成した単位ベクトルと、距離Ｌｅｎｇｔｈ（図８参照）とに基づいて、仮想カメラＶｃの位置および姿勢を算出する。具体的には、仮想カメラ位置・姿勢算出手段１４３は、下記の式（７）で表されるように、距離Ｌｅｎｇｔｈと正規化画像Ｉ’の画素サイズ（ＰＨ，ＰＶ）とを乗算して要素レンズの焦点距離Ｆで除算した値に基づいて仮想カメラＶｃの位置を算出する。
【００５３】
【数７】
0005452801.tif 000008
【００５４】
なお、距離Ｌｅｎｇｔｈは、レンズアレイＬＡの原点から仮想カメラＶｃまでの距離である（例えば、２メートル）。
また、仮想カメラＶｃは、表示対象を撮影する仮想的な撮影カメラであり、観察者Ａが立体表示装置２を観視する際の視距離を表すことになる。このとき、仮想カメラＶｃから立体表示装置２までの距離が距離Ｌｅｎｇｔｈと等しいこととする。さらに、仮想カメラＶｃは、レンズアレイＬＡの原点から、表示対象である３次元形状モデルよりも離れているものとする。
【００５５】
そして、仮想カメラ位置・姿勢算出手段１４３は、生成した単位ベクトルの逆方向ｒｚ（図６参照）を仮想カメラＶｃの撮影方向として算出する。さらに、仮想カメラ位置・姿勢算出手段１４３は、仮想カメラＶｃに写る画像と、レンズアレイＬＡのピンホールＨとの対応関係を導くために、仮想カメラＶｃの姿勢を求める。具体的には、仮想カメラ位置・姿勢算出手段１４３は、単位ベクトルの逆方向ｒｚと、世界座標系のＹ軸との両方に直交する単位ベクトルを仮想カメラＶｃの横軸ｒｘとして求める。次に、仮想カメラ位置・姿勢算出手段１４３は、ｒｚとｒｘの両方に直交する単位ベクトルを、仮想カメラＶｃの縦軸ｒｙとして求める。つまり、（ｎ，ｍ）＝(０，０)の要素レンズＬＰにおいて、その要素画像Ｇのある画素(ｕ，ｖ)の世界座標を（ＸＰ，ＹＰ，−Ｆ）とすると、仮想カメラＶｃの姿勢を示す行列Ｒは、以下の式（８）で表すことができる。
【００５６】
【数８】
0005452801.tif 000009
【００５７】
その後、仮想カメラ位置・姿勢算出手段１４３は、算出した仮想カメラＶｃの位置および姿勢を仮想撮影画像生成手段１４４に出力する。
【００５８】
仮想撮影画像生成手段１４４は、仮想カメラ位置・姿勢算出手段１４３から仮想カメラＶｃの位置および姿勢が入力されると共に、この仮想カメラＶｃの位置および姿勢に基づいて、表示対象を仮想平面に正射影することで、表示対象を仮想カメラＶｃで撮影した仮想撮影画像を生成する。
【００５９】
＜仮想カメラによる撮影＞
以下、図６〜図９を参照し、仮想カメラＶｃによる撮影を詳細に説明する（適宜図５参照）。
なお、図６では、説明を簡易にするために、３次元形状モデル（表示対象）Ｏｂｊの一部表面のみを図示した。
また、図７では、“●”と“△”とがサンプル点を示しており、“●”はピンホールＨでのサンプル点であり、“△”は“●”以外で増やしたサンプル点である。また、図７において、“■”は、それぞれの要素画像Ｇの中で、ピンホールＨに対して同じ相対位置となる計算対象の画素である。つまり、仮想撮影画像生成手段１４４は、各要素画像Ｇの画素位置を、ピンホールＨを原点とするローカル座標（ｕ，ｖ）によって表すことができる。
また、図７および図８では、仮想カメラの画素数は、レンズアレイＬＡの“●”および“△”をあわせたサンプル点と同数としている。また、図８では、光線のそれぞれを矢印で図示している。
【００６０】
具体的には、この仮想撮影画像生成手段１４４は、図６に示すように、単位ベクトルの逆方向ｒｚに存在するピンホールＨを中心に、レンズアレイＬＡ全体のピンホールＨを含んだ画角で、仮想配置された立体表示装置２を仮想的に撮影する。すなわち、この仮想撮影画像生成手段１４４は、単位ベクトルの逆方向ｒｚに存在するピンホールＨの位置を仮想撮影画像の中心として、要素画像Ｇの各画素位置と仮想カメラＶｃの光学主点とを結んだ直線上に存在する３次元形状モデルＯｂｊの表面の色を仮想平面（仮想カメラＶｃの焦点位置）に正射影することで仮想撮影画像を生成する。
【００６１】
このとき、仮想撮影画像生成手段１４４は、図７および図８に示すように、仮想カメラＶｃによる撮影において、レンズアレイＬＡのピンホールを通過する光線を一括してサンプリングする。ここでは、仮想撮影画像生成手段１４４は、後記する第１のフィルタを適用するために、レンズアレイＬＡのピンホールＨの数をＮ倍した数の光線をサンプリングする（例えば、Ｎ＝４）。そして、仮想撮影画像生成手段１４４は、各要素画像Ｇのローカル座標（ｕ，ｖ）に位置する画素に対応する光線を取得する。このように、仮想撮影画像においては、要素レンズＬＰの間隔が要素画像Ｇの画素サイズの整数倍を満たすことになるので、各要素レンズＬＰから出射される光線の方向が有限になり、同一方向の光線を集めることが可能となる。すなわち、仮想撮影画像生成手段１４４は、出射される光線群を有限枚の仮想撮影画像で表すことができる。
【００６２】
言い換えるなら、前記した行列Ｒを用いて（式（８）参照）、レンズアレイＬＡのピンホールＨを、仮想撮影画像の画像面に正射影することができる。この場合、ピンホールの３次元位置を(ＸＲ，ＹＲ,０)とすると、その仮想撮影画像上に正射影される点の画像座標(ｋ，ｌ)は、下記の式（９）および式（１０）を用いて求められる。
【００６３】
【数９】
0005452801.tif 000010
【００６４】
【数１０】
0005452801.tif 000011
【００６５】
なお、ここで、(Ｗ’，Ｈ’)は、仮想撮影画像の縦横の大きさであり、(Ｋ，Ｌ)は、仮想撮影画像の画素数である。この場合、図７のサンプル点“●”と“△”を仮想撮影画像に投影すると、その投影点は、図９に示すようになる。
【００６６】
以上のように、仮想撮影画像生成手段１４４は、式（９）および式（１０）を用いて、レンズアレイＬＡ面上の任意の点を仮想カメラＶｃに正射影することができる。その後、仮想撮影画像生成手段１４４は、生成した仮想撮影画像を第１のフィルタ１５に出力する。
【００６７】
＜レンズアレイでのサンプリングに起因する折返し雑音の低減＞
以下、図９を参照し、第１のフィルタ１５による、レンズアレイＬＡでのサンプリングに起因する折返し雑音の低減について説明する（適宜図２参照）。
ここで、フィルタ用パラメータ設定手段１３が、仮想撮影画像において、図９に示すようなフィルタ適用領域ＡＲを設定した例で説明する。つまり、このフィルタ適用領域ＡＲは、あるピンホールＨ１に対応する画素を中心として、そのピンホールＨ１に隣接する他のピンホールＨに対応する画素を結んだ線分（図９の一点鎖線）の中点ＣＰ１〜４で囲われる領域（例えば、ひし形）となる。すなわち、このフィルタ適用領域ＡＲの形状は、要素レンズＬＰの配置および仮想カメラＶｃの姿勢に依存することになる。
【００６８】
第１のフィルタ１５は、フィルタ用パラメータ設定手段１３からフィルタ適用領域ＡＲが入力され、仮想カメラ撮影手段１４から仮想撮影画像が入力される。そして、第１のフィルタ１５は、仮想撮影画像においてフィルタ適用領域ＡＲ内に低域通過フィルタ処理を施す。具体的には、第１のフィルタ１５は、低域通過フィルタ処理として、フィルタ適用領域ＡＲ内に存在する全ての画素値の平均値を算出し、その平均値をフィルタ適用領域ＡＲの中央に位置する“●”画素の画素値とする。また、第１のフィルタ１５は、低域通過フィルタ処理として、平均値を求める代わりに、重み付け加算値又はメディアン値を求めてもよい。その後、第１のフィルタ１５は、低域通過フィルタ処理を施した仮想撮影画像を正規化画像生成手段１６に出力する。
【００６９】
なお、フィルタ用パラメータ設定手段１３は、ピンホールＨ１以外の他のピンホールＨに対応する画素ついても、フィルタ適用領域ＡＲを同様に設定する。そして、第１のフィルタ１５は、そのフィルタ適用領域ＡＲ毎に低域通過フィルタ処理を施すことは言うまでもない。
【００７０】
正規化画像生成手段１６は、第１のフィルタ１５から仮想撮影画像が入力され、所定の座標変換式によって、この仮想撮影画像の画素の画素値を正規化画像Ｉ’の画素に割り当てることで、正規化画像Ｉ’を生成する。具体的には、正規化画像生成手段１６は、低域通過フィルタ処理を施した仮想撮影画像のサンプル点（図９の“●”）を、正規化画像Ｉ’の計算対象画素（図７の“■”）に割り当てる。ことのき、正規化画像生成手段１６では、位置が(ｎ，ｍ)で表されるピンホールＨの仮想撮影画像上での画素座標を得る必要がある。このため、正規化画像生成手段１６は、前記した式（５）によってレンズアレイＬＡ面上の物理的な位置Ｈ(ｎ，ｍ)を求め、式（９）および式（１０）を用いて仮想撮影画像の画像座標を得る。また、この座標に対応する正規化画像Ｉ’の画素座標は、式（１１）で表される。この場合、式（１１）の左辺第１項は、ピンホールＨの位置を示すことになる。
【００７１】
【数１１】
0005452801.tif 000012
【００７２】
その後、立体像生成装置１では、要素画像Ｇの各画素をローカル座標（ｕ，ｖ）としてそれぞれ指定して、仮想カメラ撮影手段１４による仮想カメラでの撮影処理、第１のフィルタ１５による低域通過フィルタ処理、および、正規化画像生成手段１６による画素値の割り当て処理を、要素画像Ｇの全ての画素に対して実行する。従って、立体像生成装置１では、要素画像Ｇの画素数だけこれら処理を繰り返せばよく、従来のように画像内に存在する全画素に対して処理を繰り返し行う必要がない。
このようにして、正規化画像生成手段１６は、正規化画像Ｉ’の全画素値を得ることができる。その後、正規化画像生成手段１６は、生成した正規化画像Ｉ’を表示画像生成手段１７に出力する。
【００７３】
表示画像生成手段１７は、正規化画像生成手段１６から正規化画像Ｉ’が入力され、この正規化画像Ｉ’から表示画像Ｉを生成する。このため、図２に示すように、表示画像生成手段１７は、第２のフィルタ（第２の折返し雑音低減手段）１７ａを備える。
【００７４】
＜画像表示パネルでのサンプリングに起因する折返し雑音の低減＞
以下、図１０を参照し、第２のフィルタ１７ａによる、画像表示パネル２１でのサンプリングに起因する折返し雑音の低減について説明する（適宜図２参照）。
第２のフィルタ１７ａは、正規化画像Ｉ’が画像表示パネル２１で表示する表示画像Ｉの縦横にそれぞれＭ倍の画素を持つので、正規化画像Ｉ’に対して低域通過フィルタ処理を施す。具体的には、図１０に示すように、第２のフィルタ１７ａは、低域通過フィルタ処理として、表示画像Ｉの１画素の画素値を、その表示画像Ｉの１画素に対応する領域に含まれる正規化画像Ｉ’の全ての画素の平均値とする処理を行う。さらに、第２のフィルタ１７ａは、低域通過フィルタ処理として、平均値を求める代わりに、重み付け加算値又はメディアン値を求めてもよい。
【００７５】
つまり、第２のフィルタ１７ａは、前記した式（４）で座標変換できることから、下記の式（１２）で表される低域通過フィルタ処理を行うことで、表示画像Ｉを生成する。そして、第２のフィルタ１７ａは、生成した表示画像Ｉを立体像生成装置１（図１参照）に出力する。
【００７６】
【数１２】
0005452801.tif 000013
【００７７】
なお、式（１１）において、Ｉ’（ｉ’＋ｓ，ｊ’＋ｔ）が正規化画像Ｉ’の画素（ｉ’＋ｓ，ｊ’＋ｔ）の画素値を示しており、Ｉ（ｉ，ｊ）が表示画像Ｉの画素（ｉ，ｊ）の画素値を示している。また、Ｄは、Σの条件を満たすＩ（ｉ’＋ｓ，ｊ’＋ｔ）の数であり、総和に寄与した画素の数となる。さらに、ｓおよびｔは、０から要素レンズＬＰ間の画素数の半分までの整数値である。
【００７８】
［立体像生成装置の動作］
以下、図１１を参照し、図２の立体像生成装置１の全体動作を説明する（適宜図２参照）。
立体像生成装置１は、立体表示装置モデル化手段１１によって、立体表示装置２のパラメータ（Ｆ，ＲＨ，ＲＶ，Ｐ）が入力される（ステップＳ１）。
【００７９】
また、立体像生成装置１は、正規化画像設定手段１２によって、正規化画像Ｉ’の設定を行う（ステップＳ２）。つまり、立体像生成装置１は、正規化画像設定手段１２によって、式（１）および式（２）を用いて、正規化画像Ｉ’の水平方向の画素サイズＰＨおよび正規化画像Ｉ’の垂直方向の画素サイズＰＶを算出する
【００８０】
また、立体像生成装置１は、フィルタ用パラメータ設定手段１３によって、フィルタ用パラメータを設定する（ステップＳ３）。つまり、立体像生成装置１は、フィルタ用パラメータ設定手段１３において、仮想カメラＶｃの姿勢を表す行列Ｒを用いて仮想撮影画像上でのフィルタ適用領域ＡＲを設定する。
【００８１】
また、立体像生成装置１は、仮想カメラ撮影手段１４によって、仮想カメラＶｃによる撮影を行って、仮想撮影画像を生成する（ステップＳ４）。この仮想カメラ撮影手段１４の動作は、その詳細を後記する。
【００８２】
また、立体像生成装置１は、第１のフィルタ１５によって、仮想撮影画像に対して低域通過フィルタ処理を施す（ステップＳ５）。つまり、立体像生成装置１は、第１のフィルタ１５によって、仮想撮影画像において、フィルタ適用領域ＡＲ内に存在する全ての画素値の平均値、重み付け加算値、又は、メディアン値を求め、その値をフィルタ適用領域ＡＲ内に存在する全画素の画素値とする。
【００８３】
また、立体像生成装置１は、正規化画像生成手段１６によって、式（５）、式（９）、式（１０）および式（１１）を用いて、仮想撮影画像の画素の画素値を正規化画像Ｉ’の画素に割り当てることで、正規化画像Ｉ’を生成する（ステップＳ６）。
【００８４】
その後、立体像生成装置１は、正規化画像生成手段１６によって、要素画像Ｇの全画素に対して、仮想カメラ撮影手段１４による仮想カメラでの撮影処理、第１のフィルタ１５による低域通過フィルタ処理、および、正規化画像生成手段１６による画素値の割り当て処理を実行したか否かを判定する（ステップＳ７）。
【００８５】
ここで、要素画像Ｇの全画素で処理を実行していない場合（ステップＳ７でＮｏ）、立体像生成装置１は、ステップＳ４の処理に戻る。
一方、要素画像Ｇの全画素で処理を実行した場合（ステップＳ７でＹｅｓ）、立体像生成装置１は、ステップＳ８の処理に進む。
【００８６】
また、立体像生成装置１は、第２のフィルタ１７ａによって、正規化画像Ｉ’に対して低域通過フィルタ処理を施す（ステップＳ８）。つまり、立体像生成装置１は、第２のフィルタ１７ａによって、低域通過フィルタ処理として、表示画像Ｉの画素の画素値を、その画素に対応する正規化画像Ｉ’の全ての画素の平均値、重み付け加算値、又は、メディアン値とする処理を行う。
【００８７】
以下、図１２を参照し、図５の仮想カメラ撮影手段１４の動作を説明する（適宜図５参照）。
仮想カメラ撮影手段１４は、正規化画像画素位置算出手段１４１によって、式（３）および式（４）を用いて、正規化画像Ｉ’の画素位置を算出する（ステップＳ４１）。
【００８８】
また、仮想カメラ撮影手段１４は、ピンホール位置算出手段１４２によって、式（５）を用いて、ピンホールＨの位置を算出する（ステップＳ４２）。
【００８９】
また、仮想カメラ撮影手段１４は、仮想カメラ位置・姿勢算出手段１４３によって、正規化画像Ｉ’において、画素Ｉ’０，０（ｕ，ｖ）からピンホールＨ（０，０）の位置までの単位ベクトルを生成する。そして、仮想カメラ撮影手段１４は、仮想カメラ位置・姿勢算出手段１４３によって、生成した単位ベクトルと、距離Ｌｅｎｇｔｈとに基づいて、仮想カメラＶｃの位置および姿勢を算出する（ステップＳ４３）。
【００９０】
また、仮想カメラ撮影手段１４は、仮想撮影画像生成手段１４４によって、仮想カメラＶｃの位置および姿勢に基づいて、表示対象を仮想平面に正射影することで、表示対象を仮想カメラＶｃで撮影した仮想撮影画像を生成する（ステップＳ４４）。
【００９１】
以上のように、本発明の実施形態に係る立体像生成装置１は、正規化画像設定手段１２によって、画素サイズが要素レンズＬＰの間隔に対して整数分の１となる正規化画像Ｉ’を用意する。そして、立体像生成装置１は、仮想カメラ撮影手段１４によって、要素レンズＬＰの中心が仮想撮影画像の画素に対応するような正射影を行い、仮想撮影画像の画素の画素値を、用意した正規化画像Ｉ’の各画素に割り当てる。これによって、立体像生成装置１は、要素レンズＬＰの間隔が要素画像Ｇの画素サイズの整数倍という条件を満たさない場合でも、正射影により表示画像Ｉを生成できるので、その演算量を少なくすることができる。より具体的には、立体像生成装置１は、画像内に存在する全画素に対して射影変換を行う従来技術と比べて、１／要素レンズＬＰの数だけ演算量を少なくすることができる。
【００９２】
また、立体像生成装置１は、第１のフィルタ１５によって、レンズアレイＬＡでのサンプリングに起因する折返し雑音を低減するので、表示画像Ｉを高品質にすることができる。このとき、立体像生成装置１は、フィルタ用パラメータ設定手段１３によって、フィルタ適用領域を人手によらずに設定することができ、正確な低域通過フィルタ処理を可能とする。そして、立体像生成装置１は、第２のフィルタ１７ａによって、画像表示パネル２１でのサンプリングに起因する折返し雑音を低減するので、立体画像を高品質にすることができる。
【００９３】
ここで、射影変換を行う従来技術（例えば、特開２００９−１７５８６６号公報）でも、折返し雑音低減フィルタを用いているが、仮想カメラの位置又は撮影方向を変える毎に、要素画像で１画素ずつ演算を行うため、その演算量が多くなってしまう。しかし、立体像生成装置１では、第１のフィルタ１５および第２のフィルタ１７ａが正射影に適用可能なため、従来の折返し雑音低減フィルタに比べて、折返し雑音の低減に必要な演算量も少なくすることができる。
【００９４】
なお、本発明の実施形態では、立体像生成装置１は、第１のフィルタ１５および第２のフィルタ１７ａを備えることとして説明したが、何れか一方だけを備えてもよく、両方を備えなくともよい。
ここで、第１のフィルタ１５のみを備える場合、立体像生成装置１は、レンズアレイＬＡでのサンプリングに起因する折返し雑音を低減するので、実用上十分な品質の表示画像Ｉを得ることができる。このように第１のフィルタ１５のみを備える場合（つまり、第２のフィルタ１７ａを備えない場合）、立体像生成装置１は、表示画像生成手段１７によって、正規化画像Ｉ’の中心画素を表素画像の画素とすることで、表素画像を生成してもよい。
また、第２のフィルタ１７ａのみを備える場合、立体像生成装置１は、画像表示パネル２１でのサンプリングに起因する折返し雑音を低減するので、実用上十分な品質の表示画像Ｉを得ることができる。
【００９５】
なお、本発明の実施形態では、インテグラル方式に適用する例を説明したが、本発明は、これに限定されない。例えば、表示画像Ｉの垂直方向を１画素とすることで、本発明は、レンチキュラ方式にも適用することができる。
【００９６】
なお、本発明において、第２のフィルタ１７ａは、正規化画像Ｉ’における要素画像Ｇの画素サイズと、画像表示パネル２１の画素サイズとの比が整数でない場合、内挿処理を施してサンプリング位置に応じた表示画像Ｉの画素値を計算してもよい。
【００９７】
なお、本発明の実施形態では、本発明に係る立体像生成装置を独立した装置として説明したが、本発明では、一般的なコンピュータを、前記した各手段として機能させる立体像生成プログラムによって実現することもできる。この立体像生成プログラムは、通信回線を介して配布しても良く、ＣＤ−ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布しても良い。
【００９８】
［動的３次元形状モデルへの応用］
以下、図１３を参照して、立体像生成装置１を用いて、動的３次元形状モデルの立体像（インテグラル立体映像）を生成する手法について説明する。
【００９９】
図１３に示すように、立体映像生成システムＳは、３次元モデリング装置３と、立体像生成装置１とを備える。
３次元モデリング装置３は、複数のカメラを、表示対象を取り囲むように配置し、その複数のカメラ画像から動的な３次元形状モデルを生成するものである。この３次元モデリング装置３は、例えば、特許第４０１４１４０号公報で開示されている３次元モデリング装置を用いることができる。
【０１００】
これによって、立体映像生成システムＳは、３次元モデリング装置３において、複数のカメラ画像から映像フレームごとに動的３次元形状モデルを生成し、立体像生成装置１において、動的３次元形状モデルからインテグラル立体像を生成する。これによって、立体像生成装置１は、映像フレームごとにインテグラル立体像を生成することで、動画像（インテグラル立体映像）を生成することができる。
【実施例】
【０１０１】
以下、実施例として、図１４を参照して、第１のフィルタ１５による折返し雑音を低減する効果について説明する（適宜図２参照）。
この実施例では、図２の立体像生成装置１において、第２のフィルタ１７ａを備えない構成とし（以後、「立体像生成装置１Ｂ」とする）、この立体像生成装置１Ｂで表示画像Ｉを生成した。そして、立体表示装置２に表示画像Ｉを表示させて、立体表示装置２のレンズアレイＬＡを通して観察される立体像Ｚをデジタルカメラ（不図示）で撮影した。また、比較例として、従来の立体像生成装置で同じ表示対象の立体像Ｚを生成して、立体表示装置２のレンズアレイＬＡを通して観察される立体像Ｚをデジタルカメラで撮影した。
【０１０２】
比較例における撮影画像を図１４（ａ）に示し、その拡大画像を図１４（ｃ）に示す。図１４（ａ）の撮影画像では、部分的に値の極端に異なるスポット的ノイズが、視点移動によりざらざらした状態で観察された。また、図１４（ｃ）の拡大画像では、図１４（ａ）の撮影画像に対応するように、ざらつきが感じられた。
【０１０３】
また、実施例における撮影画像を図１４（ｂ）に示し、その拡大画像を図１４（ｄ）に示す。図１４（ｂ）の撮影画像では、図１４（ａ）に比べて、スポット的ノイズが低減していることがわかった。また、図１４（ｄ）の拡大画像では、図１４（ｃ）に比べて、低域通過フィルタ処理により高域（ざらつき）が除去されていることがわかった。以上より、立体像生成装置１Ｂでは、第１のフィルタ１５によって、実用上十分な品質の表示画像Ｉが得られることがわかった。
【符号の説明】
【０１０４】
１  立体像生成装置
１１  立体表示装置モデル化手段（パラメータ入力手段）
１２  正規化画像設定手段（正規化画像画素サイズ算出手段）
１３  フィルタ用パラメータ設定手段（フィルタ適用領域設定手段）
１４  仮想カメラ撮影手段
１４１  正規化画像画素位置算出手段
１４２  ピンホール位置算出手段
１４３  仮想カメラ位置・姿勢算出手段
１４４  仮想撮影画像生成手段
１５  第１のフィルタ（第１の折返し雑音低減手段）
１６  正規化画像生成手段
１７  表示画像生成手段
１７ａ  第２のフィルタ（第２の折返し雑音低減手段）
２  立体表示装置
２１  画像表示パネル（画像表示手段）
ＬＡ  レンズアレイ
ＬＰ  要素レンズ
【図１】
0005452801.tif 000014
【図２】
0005452801.tif 000015
【図３】
0005452801.tif 000016
【図４】
0005452801.tif 000017
【図５】
0005452801.tif 000018
【図６】
0005452801.tif 000019
【図７】
0005452801.tif 000020
【図８】
0005452801.tif 000021
【図９】
0005452801.tif 000022
【図１０】
0005452801.tif 000023
【図１１】
0005452801.tif 000024
【図１２】
0005452801.tif 000025
【図１３】
0005452801.tif 000026
【図１４】
0005452801.tif 000027