(57)【特許請求の範囲】
【請求項１】
光学素子が２次元状に配列された光学素子アレイ及び撮像素子を備えるインテグラルフォトグラフィ方式の立体撮像装置を用いて、２眼立体画像を生成する２眼立体画像生成装置であって、
前記２眼立体画像を観察する観察者の両眼に対応した視点位置を決定する視点位置決定手段と、
前記視点位置と、予め設定された前記光学素子アレイに関する光学素子情報と、予め設定された前記撮像素子に関する撮像素子情報とに基づいて、前記視点位置から前記光学素子の光学主点を通過する直線が交わる前記撮像素子の右眼用画素位置及び左眼用画素位置を算出する画素位置算出手段と、
前記撮像素子の全画素のうち前記右眼用画素位置及び前記左眼用画素位置の画素を駆動する撮像素子制御手段と、
駆動された前記右眼用画素位置及び前記左眼用画素位置の画素の画素値を取得して、前記２眼立体画像の画素の画素値として割り当てる画素値割当手段と、
を備え、
前記画素値割当手段は、前記２眼立体画像として前記観察者の両眼視差を表した視差画像を生成し、生成した前記視差画像を偏光メガネ方式の立体表示装置に出力することを特徴とする２眼立体画像生成装置。
【請求項２】
光学素子が２次元状に配列された光学素子アレイと、撮像素子と、前記光学素子アレイ及び被写体の間に配置され、２眼立体画像を観察する観察者の両眼に対応した２個の開口を有する遮蔽手段とを備えるインテグラルフォトグラフィ方式の立体撮像装置を用いて、２眼立体画像を生成する２眼立体画像生成装置であって、
前記観察者の両眼に対応した視点位置を決定する視点位置決定手段と、
前記視点位置と、予め設定された前記光学素子アレイに関する光学素子情報と、予め設定された前記撮像素子に関する撮像素子情報とに基づいて、前記視点位置から前記光学素子の光学主点を通過する直線が交わる前記撮像素子の右眼用画素位置及び左眼用画素位置を算出する画素位置算出手段と、
前記撮像素子の右眼用画素位置及び左眼用画素位置に前記被写体からの光線が前記開口を通過して入射するように、前記遮蔽手段を駆動する開口位置制御手段と、
前記右眼用画素位置及び前記左眼用画素位置の画素の画素値を取得して、前記２眼立体画像の画素の画素値として割り当てる画素値割当手段と、
を備え、
前記画素値割当手段は、前記２眼立体画像として前記観察者の両眼視差を表した視差画像を生成し、生成した前記視差画像を偏光メガネ方式の立体表示装置に出力することを特徴とする２眼立体画像生成装置。
【請求項３】
光学素子が２次元状に配列された光学素子アレイ及び撮像素子を備えるインテグラルフォトグラフィ方式の立体撮像装置を用いて、２眼立体画像を生成する２眼立体画像生成装置であって、
前記２眼立体画像を観察する観察者の両眼に対応した視点位置を決定する視点位置決定手段と、
前記視点位置と、予め設定された前記光学素子アレイに関する光学素子情報と、予め設定された前記撮像素子に関する撮像素子情報とに基づいて、前記視点位置から前記光学素子の光学主点を通過する直線が交わる前記撮像素子の右眼用画素位置及び左眼用画素位置を算出する画素位置算出手段と、
前記撮像素子の全画素のうち前記右眼用画素位置及び前記左眼用画素位置の画素を駆動する撮像素子制御手段と、
駆動された前記右眼用画素位置及び前記左眼用画素位置の画素の画素値を取得して、前記２眼立体画像の画素の画素値として割り当てる画素値割当手段と、
を備え、
前記画素値割当手段は、前記２眼立体画像として前記観察者の両眼視差を表した視差画像を生成し、生成した前記視差画像を時分割メガネ方式の立体表示装置に出力することを特徴とする２眼立体画像生成装置。
【請求項４】
光学素子が２次元状に配列された光学素子アレイと、撮像素子と、前記光学素子アレイ及び被写体の間に配置され、２眼立体画像を観察する観察者の両眼に対応した２個の開口を有する遮蔽手段とを備えるインテグラルフォトグラフィ方式の立体撮像装置を用いて、２眼立体画像を生成する２眼立体画像生成装置であって、
前記観察者の両眼に対応した視点位置を決定する視点位置決定手段と、
前記視点位置と、予め設定された前記光学素子アレイに関する光学素子情報と、予め設定された前記撮像素子に関する撮像素子情報とに基づいて、前記視点位置から前記光学素子の光学主点を通過する直線が交わる前記撮像素子の右眼用画素位置及び左眼用画素位置を算出する画素位置算出手段と、
前記撮像素子の右眼用画素位置及び左眼用画素位置に前記被写体からの光線が前記開口を通過して入射するように、前記遮蔽手段を駆動する開口位置制御手段と、
前記右眼用画素位置及び前記左眼用画素位置の画素の画素値を取得して、前記２眼立体画像の画素の画素値として割り当てる画素値割当手段と、
を備え、
前記画素値割当手段は、前記２眼立体画像として前記観察者の両眼視差を表した視差画像を生成し、生成した前記視差画像を時分割メガネ方式の立体表示装置に出力することを特徴とする２眼立体画像生成装置。
【請求項５】
前記視点位置決定手段は、
前記観察者が視点画像に含まれるように視点位置検出カメラの撮像範囲を制御する視点位置検出制御手段と、
前記視点位置検出カメラで撮像された視点画像から前記視点位置を検出する視点位置検出手段と、
を備えることを特徴とする請求項１から請求項４の何れか一項に記載の２眼立体画像生成装置。
【請求項６】
コンピュータを、請求項１から請求項５の何れか一項に記載の２眼立体画像生成装置として機能させるための２眼立体画像生成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本願発明は、インテグラルフォトグラフィ（ＩＰ：Integral Photography）方式の立体撮像装置を用いて、２眼立体画像を生成する２眼立体画像生成装置及びそのプログラムに関する。
【背景技術】
【０００２】
従来のインテグラルフォトグラフィ方式では、１台のカメラで複数の微小レンズが配列されたレンズアレイを通して被写体を撮像する。このとき、カメラがレンズアレイの焦平面を撮像するため、レンズアレイを構成する各微小レンズは、微小なカメラと同じ働きをする。その結果、レンズアレイ越しに被写体を撮像した画像は、微小レンズの位置に応じた微小画像（要素画像）が並んだ要素画像群となる。この要素画像群は、被写体からの光線情報を記録した画像であり、記録できる光線数がカメラの解像度に依存する。このため、ＩＰ方式での撮像には、高解像度のカメラが必要となる。
【０００３】
また、従来から、コンピュータグラフィックス（ＣＧ）を用いて、ＩＰ方式の要素画像群を生成する技術が研究されている。この従来技術では、計算機内で仮想３次元空間を生成し、３次元の被写体及び背景（セット）を実世界と同様に再現し、その仮想３次元空間において被写体からの光線を追跡することで、要素画像群を生成する。ＣＧによる要素画像を生成する手法として、下記の特許文献１，２及び非特許文献１，２に記載の手法が知られている。これらの要素画像生成手法は、被写体からの光線を制御する奥行き制御レンズを通して、被写体からの光線を追跡するものである。これら手法では、要素画像群の画素数の回数だけ観察者側からカメラで撮像する必要がある。すなわち、非特許文献１の要素画像生成手法は、１画素毎に光線追跡法を用いるので、１画素毎に撮像を行うカメラと同等であり、撮像回数が要素画像群の画素数と同じになる。
【０００４】
そこで、さらなる高速化のため、従来技術として、ＣＧオブジェクトを正射影によるカメラで撮像し、これらの画像を要素画像群に変換する手法も知られている（特許文献３、非特許文献３）。このような要素画像変換手法では、カメラで撮像する回数が要素画像を形成する画素数で済む。
【０００５】
また、特許文献４に記載の手法では、２眼立体カメラで撮像した画像にＩＰ方式の解像度特性などを付加することで、擬似的にＩＰ立体画像に変換したものを２眼立体画像として観察できるようにしている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許第４５６７４２２号公報
【特許文献２】再表００/０５９２３５号公報（特願２０００−６０８６２１号）
【特許文献３】特開２０１１−２３４１４２号公報
【特許文献４】特開２０１５−１０４１０７号公報
【非特許文献】
【０００７】
【非特許文献１】Spyros S. Athineos et al.,“Physical modeling of a microlens array setup for use in computer generated ＩＰ,”Proc.of SPIE-IS&T Electronic Imaging,Vol.5664 pp.472-479,2005
【非特許文献２】中島勧 et al.,“Integral Photographyの原理を用いた３Ｄディスプレイの画像高速作成法”,映像情報メディア学会 Vol. 54, No. 3, pp.420-425 (2000)
【非特許文献３】M.Katayama et al.,“A method for converting three-dimensional models into auto-stereoscopic images based on integral photography” ,Proc of SPIE-IS&T Vol.6805 68050Z-1 68050Z-8
【発明の概要】
【発明が解決しようとする課題】
【０００８】
ＩＰ方式では、表示画面から離れる程に解像度が低下するので、表示画面の手前又は奥に位置する立体像がぼけることになる。このとき、立体像のぼけ具合は、実際に撮像を行わないとわからない。しかし、ＩＰ方式では、レンズアレイや奥行制御レンズを適切な位置に配置しなければ、撮像を行うことができない。その結果、ＩＰ方式では、立体像で所望のぼけ具合を得るために撮像を繰り返し行うことになり、非常に手間を要してしまう。
【０００９】
一方、２眼立体方式は、一般的なＩＰ方式のみならず、従来の要素画像変換手法と比較しても、立体画像を短い時間で生成できる。そこで、例えば、ＩＰ方式における立体像のぼけを確認するために、撮像時間を短縮できることから、２眼立体方式の利用を検討する。
【００１０】
そもそも、ＩＰ方式は、２眼立体方式と比べて、運動視差の再現、及び、立体画像の解像度特性に大きな違いがある。観察者が特定の位置で動かずに観察するという条件であれば、運動視差の影響がなくなる。つまり、前記した条件の元であれば、ＩＰ方式は、２眼立体方式と比べて、立体画像の解像度特性のみに大きな違いが残る。このことから、ＩＰ立体画像から２眼立体画像を生成することで、映像制作者は立体表示装置でＩＰ立体画像のぼけを確認できる。
【００１１】
そこで、本願発明は、ＩＰ立体画像から２眼立体画像を効率よく生成できる２眼立体画像生成装置及びそのプログラムを提供することを課題とする。
【課題を解決するための手段】
【００１２】
前記した課題に鑑みて、本願発明に係る２眼立体画像生成装置は、光学素子が２次元状に配列された光学素子アレイ及び撮像素子を備えるインテグラルフォトグラフィ方式の立体撮像装置を用いて、２眼立体画像を生成する２眼立体画像生成装置であって、視点位置決定手段と、画素位置算出手段と、撮像素子制御手段と、画素値割当手段と、を備える構成とした。
【００１３】
かかる構成によれば、２眼立体画像生成装置は、視点位置決定手段によって、２眼立体画像を観察する観察者の両眼に対応した視点位置を決定する。
２眼立体画像生成装置は、画素位置算出手段によって、視点位置と、予め設定された光学素子アレイに関する光学素子情報と、予め設定された撮像素子に関する撮像素子情報とに基づいて、視点位置から光学素子の光学主点を通過する直線が交わる撮像素子の右眼用画素位置及び左眼用画素位置を算出する。
【００１４】
２眼立体画像生成装置は、撮像素子制御手段によって、撮像素子の全画素のうち右眼用画素位置及び左眼用画素位置の画素を駆動する。
２眼立体画像生成装置は、画素値割当手段によって、駆動された右眼用画素位置及び左眼用画素位置の画素の画素値を取得して、前記２眼立体画像の画素の画素値として割り当てる。そして、画素値割当手段は、２眼立体画像として観察者の両眼視差を表した視差画像を生成し、生成した視差画像を偏光メガネ方式又は時分割メガネ方式の立体表示装置に出力する。
このように、２眼立体画像生成装置は、撮像素子の全画素のうち、２眼立体画像の生成に必要な右眼用画素位置及び左眼用画素位置の画素のみを扱うので、演算量を抑えることができる。
【００１５】
また、前記した課題に鑑みて、本願発明に係る２眼立体画像生成装置は、光学素子が２次元状に配列された光学素子アレイと、撮像素子と、光学素子アレイ及び被写体の間に配置され、２眼立体画像を観察する観察者の両眼に対応した２個の開口を有する遮蔽手段とを備えるインテグラルフォトグラフィ方式の立体撮像装置を用いて、２眼立体画像を生成する２眼立体画像生成装置であって、視点位置決定手段と、画素位置算出手段と、開口位置制御手段と、画素値割当手段と、を備える構成とした。
【００１６】
かかる構成によれば、２眼立体画像生成装置は、視点位置決定手段によって、観察者の両眼に対応した視点位置を決定する。
２眼立体画像生成装置は、画素位置算出手段によって、視点位置と、予め設定された光学素子アレイに関する光学素子情報と、予め設定された撮像素子に関する撮像素子情報とに基づいて、視点位置から光学素子の光学主点を通過する直線が交わる撮像素子の右眼用画素位置及び左眼用画素位置を算出する。
【００１７】
２眼立体画像生成装置は、開口位置制御手段によって、撮像素子の右眼用画素位置及び左眼用画素位置に被写体からの光線が開口を通過して入射するように、遮蔽手段を駆動する。
２眼立体画像生成装置は、画素値割当手段によって、右眼用画素位置及び左眼用画素位置の画素の画素値を取得して、２眼立体画像の画素の画素値として割り当てる。そして、画素値割当手段は、２眼立体画像として観察者の両眼視差を表した視差画像を生成し、生成した視差画像を偏光メガネ方式又は時分割メガネ方式の立体表示装置に出力する。
このように、２眼立体画像生成装置は、撮像素子の全画素のうち、２眼立体画像の生成に必要な右眼用画素位置及び左眼用画素位置の画素のみを扱うので、演算量を抑えることができる。
【発明の効果】
【００１８】
本願発明によれば、以下のような優れた効果を奏する。
本願発明に係る２眼立体画像生成装置は、撮像素子の全画素のうち、２眼立体画像の生成に必要な右眼用画素位置及び左眼用画素位置の画素のみを扱うので、演算量が抑えられ、効率よく２眼立体画像を生成することができる。
【図面の簡単な説明】
【００１９】
【図１】本願発明の第１実施形態に係る２眼立体画像生成システムの全体構成図である。
【図２】図１の視点位置決定手段の構成を示すブロック図である。
【図３】図１の画素位置算出手段の構成を示すブロック図である。
【図４】本願発明の第１実施形態において、画素位置の算出を説明する説明図であり、（ａ）はＩＰ撮像装置の光学系を表し、（ｂ）は仮想的な光学系を表す。
【図５】本願発明の第１実施形態において、撮像素子の駆動を説明する説明図である。
【図６】図１の画素値割当手段の構成を示すブロック図である。
【図７】本願発明の第１実施形態において、レンチキュラ方式の立体表示装置に対応した２眼立体画像の生成を説明する説明図である。
【図８】本願発明の第１実施形態において、ＩＰ方式の立体表示装置に対応した２眼立体画像の生成を説明する説明図である。
【図９】本願発明の第１実施形態において、２眼立体画像に含まれる右眼用画像領域及び左眼用画像領域を説明する説明図である。
【図１０】図１の２眼立体画像生成装置の動作を示すフローチャートである。
【図１１】本願発明の第２実施形態に係る２眼立体画像生成システムの全体構成図である。
【図１２】本願発明の第２実施形態において、遮蔽手段の制御を説明する説明図であり、ＩＰ撮像装置が凸レンズを備えない場合を表す。
【図１３】本願発明の第２実施形態において、遮蔽手段の制御を説明する説明図であり、ＩＰ撮像装置が凸レンズを備える場合を表す。
【図１４】図１１の２眼立体画像生成装置の動作を示すフローチャートである。
【図１５】視点位置決定手段の変形例を示すブロック図である。
【発明を実施するための形態】
【００２０】
以下、本願発明の各実施形態について、適宜図面を参照しながら詳細に説明する。なお、各実施形態において、同一の手段及び部材には同一の符号を付し、説明を省略した。
【００２１】
（第１実施形態）
［２眼立体画像生成システムの全体構成］
図１を参照し、本願発明の第１実施形態に係る２眼立体画像生成システム１の構成について説明する。
２眼立体画像生成システム１は、ＩＰ方式の立体撮像装置（以下、ＩＰ撮像装置）１０を用いて、被写体９０の２眼立体画像を生成するものである。図１のように、２眼立体画像生成システム１は、ＩＰ撮像装置１０と、２眼立体画像生成装置２０とを備える。本実施形態では、ＩＰ撮像装置１０が、２眼立体画像生成装置２０を内蔵することとした。
【００２２】
ＩＰ撮像装置１０は、被写体９０を撮像するものであり、凸レンズ１０１と、レンズアレイ（光学素子アレイ）１０２と、撮像素子１０３とを備える。
凸レンズ１０１は、例えば、被写体９０からの光線をレンズアレイ１０２に集光する対物レンズである。
レンズアレイ１０２は、凸レンズ（光学素子）１０２ａが２次元状（例えば、縦横又は樽積状）に配列されたものである。このレンズアレイ１０２を通過した光線が、撮像素子１０３に入射する。
撮像素子１０３は、レンズアレイ１０２を通過した光線を撮像するものである。本実施形態では、撮像素子１０３は、２眼立体画像生成装置２０から入力された制御信号に従って、所定位置の画素１０３ａのみを駆動し、駆動した画素１０３ａのみで撮像を行う。そして、撮像素子１０３は、その撮像画像を２眼立体画像生成装置２０に出力する。
なお、ＩＰ撮像装置１０は、一般的な構成のため、これ以上の説明を省略する。
【００２３】
［２眼立体画像生成装置の構成］
以下、２眼立体画像生成装置２０の構成について説明する。
２眼立体画像生成装置２０は、ＩＰ撮像装置１０を用いて、被写体９０の２眼立体画像を生成するものである。図１のように、２眼立体画像生成装置２０は、視点位置決定手段２０１と、画素位置算出手段２０２と、撮像素子制御手段２０３と、画素値割当手段２０４と、を備える。
【００２４】
視点位置決定手段２０１は、２眼立体画像を観察する観察者の両眼に対応した視点位置を決定するものである。図２のように、視点位置決定手段２０１は、視点位置記憶手段２０１１を備える。そして、視点位置決定手段２０１は、視点位置記憶手段２０１１に記憶された視点位置を読み出して、画素位置算出手段２０２に出力する。
視点位置記憶手段２０１１は、視点位置を予め記憶するメモリ、ＨＤＤ（Hard Disk Drive）等の一般的な記憶装置である。この視点位置は、例えば、２眼立体画像生成システム１の利用者が手動で設定する。
【００２５】
画素位置算出手段２０２は、視点位置と、レンズアレイ情報と、撮像素子情報とに基づいて、視点位置から凸レンズ１０２ａの光学主点を通過する直線が交わる撮像素子１０３の右眼用画素位置及び左眼用画素位置を算出するものである。図３のように、画素位置算出手段２０２は、撮像素子情報記憶手段２０２１と、撮像用レンズアレイ情報記憶手段２０２２と、画素位置演算手段２０２３とを備える。
【００２６】
撮像素子情報記憶手段２０２１は、ＩＰ撮像装置１０が備える撮像素子１０３に関する撮像素子情報を予め記憶するメモリ、ＨＤＤ等の一般的な記憶装置である。例えば、撮像素子情報としては、撮像素子１０３の画素間隔、画素数があげられる。この撮像素子情報は、例えば、２眼立体画像生成システム１の利用者が手動で設定する。
【００２７】
撮像用レンズアレイ情報記憶手段２０２２は、ＩＰ撮像装置１０が備えるレンズアレイ１０２に関するレンズアレイ情報を予め記憶するメモリ、ＨＤＤ等の一般的な記憶装置である。このレンズアレイ情報としては、例えば、レンズアレイ１０２を構成する凸レンズ１０２ａの焦点距離、間隔、個数、配列があげられる。このレンズアレイ情報は、例えば、２眼立体画像生成システム１の利用者が手動で設定する。
【００２８】
画素位置演算手段２０２３は、視点位置決定手段２０１から入力された視点位置と、撮像素子情報記憶手段２０２１に記憶された撮像素子情報と、撮像用レンズアレイ情報記憶手段２０２２に記憶されたレンズアレイ情報とを参照し、観察者の右眼及び左眼に画像として寄与する撮像素子１０３の画素位置を右眼用画素位置及び左眼用画素位置として算出する。
【００２９】
＜右眼用画素位置及び左眼用画素位置の算出＞
図４を参照し、画素位置算出手段２０２（画素位置演算手段２０２３）による右眼用画素位置及び左眼用画素位置の算出について説明する（適宜図１，図３参照）。
まず、画素位置算出手段２０２は、撮像素子情報記憶手段２０２１の撮像素子情報、及び、撮像用レンズアレイ情報記憶手段２０２２のレンズアレイ情報を取得する。
【００３０】
このレンズアレイ情報及び撮像素子情報により、画素位置算出手段２０２は、図４（ａ）に示すＩＰ撮像装置１０の光学系を、図４（ｂ）のように、仮想的な光学系としてシミュレートできる。図４（ａ）では、図１のＩＰ撮像装置１０を４ｆ光学系として図示した。
また、図４（ａ）のレンズアレイ１０５は、凸レンズ１０１，１０４の効果によって、レンズアレイ１０２の位置が光学的にシフトしたものである。このレンズアレイ１０５が、ＩＰ方式の立体表示装置（以下、ＩＰ表示装置）におけるレンズアレイと等価である。このため、レンズアレイ１０５を観察者が観察する位置が、図４（ｂ）で左側に図示した両眼９１の位置になる。そして、ＩＰ撮像装置１０において、両眼９１の位置に対応するのが、図４（ｂ）で右側に図示した両眼９２の位置（視点位置）になる。
【００３１】
この左眼９２Ｌに届く光線は、図４（ｂ）に破線で図示した左眼用画素位置の画素１０３Ｌからの光線である。また、右眼９２Ｒに届く光線は、図４（ｂ）に実線で図示した右眼用画素位置の画素１０３Ｒからの光線である。これら光線群は、観察者の両眼９２と凸レンズ１０２ａの主点αとを結ぶ直線を描く。すなわち、画素位置算出手段２０２は、これら直線の延長線が撮像素子１０３と交わる位置を、左眼用画素位置及び右眼用画素位置として算出する。
【００３２】
その後、画素位置算出手段２０２は、算出した右眼用画素位置及び左眼用画素位置を、撮像素子制御手段２０３及び画素値割当手段２０４に出力する。このとき、画素位置算出手段２０２は、奥行反転を防ぐために、要素画像毎に、左眼用画素位置及び右眼用画素位置を、要素画像の中心座標を基準として点対称に変換してもよい。
【００３３】
図１に戻り、２眼立体画像生成装置２０の構成について、説明を続ける。
撮像素子制御手段２０３は、撮像素子１０３の全画素のうち、画素位置算出手段２０２から入力された右眼用画素位置及び左眼用画素位置の画素を駆動するものである。
【００３４】
例えば、２眼立体画像を生成する際、右眼用画素位置及び左眼用画素位置の画素を要素画像毎に駆動するので、駆動する画素数が要素画像の総数の２倍になる。このとき、図５のように、右眼用画素位置が撮像素子１０３で画素１０３ａ同士の間に位置することもある（左眼用画素位置の画素も同様）。
【００３５】
そこで、右眼用画素位置及び左眼用画素位置の画素の画素値を、撮像素子１０３の中で最も近い位置の画素の画素値で近似してもよい。この場合、駆動する画素数が要素画像の総数の２倍となる。
さらに、右眼用画素位置及び左眼用画素位置の画素の画素値を、撮像素子１０３で周囲４近傍の画素１０３aの画素値で補間してもよい。この場合、駆動する画素数が要素画像の総数の８倍となる。
【００３６】
その後、撮像素子制御手段２０３は、右眼用画素位置及び左眼用画素位置の画素を駆動する制御信号を生成し、生成した制御信号をＩＰ撮像装置１０（撮像素子１０３）に出力する。この制御信号に応じて、撮像素子１０３で撮像された撮像画像が、画素値割当手段２０４に入力される。
【００３７】
画素値割当手段２０４は、撮像素子１０３より入力された撮像画像の各画素の画素値を取得して、２眼立体画像の画素の画素値として割り当てることで、２眼立体映像を生成するものである。図６のように、画素値割当手段２０４は、表示装置情報記憶手段２０４１と、２眼立体画像生成手段２０４２とを備える。
【００３８】
表示装置情報記憶手段２０４１は、立体表示装置の方式を表した表示装置情報を予め記憶するメモリ、ＨＤＤ等の一般的な記憶装置である。つまり、本実施形態では、画素値割当手段２０４は、立体表示装置の方式に対応した２眼立体画像を生成する。
この表示装置情報は、例えば、偏光メガネ方式（時分割メガネ方式）、時分割メガネ方式、レンチキュラ方式、ＩＰ方式の何れかを表す。ここで、レンチキュラ方式及びＩＰ方式の場合、これら方式の立体表示装置で２眼立体画像を表示することを意味する。
【００３９】
２眼立体画像生成手段２０４２は、表示装置情報記憶手段２０４１に記憶された表示装置情報を参照し、立体表示装置の方式に対応した２眼立体画像を生成するものである。以下、立体表示装置の方式毎に詳細に説明する。
【００４０】
＜偏光メガネ方式＞
偏光メガネ方式では、例えば、縦偏光の右眼用画像と、横偏光の左眼用画像とを表示する。観察者は、右眼用画像（縦偏光）のみを透過させる偏光フィルタが右眼用レンズに貼られ、左眼用画像（横偏光）のみ透過させる偏光フィルタが左眼用レンズに貼られた偏光メガネを着用し、右眼用画像及び左眼用画像を観察する。従って、観察者は、右眼用画像を右眼のみで観察し、左眼用画像を左眼のみで観察することになる。これにより、両眼視差による立体像が得られる。
【００４１】
ここで、２眼立体画像生成手段２０４２は、撮像素子１０３より入力された撮像画像から、画素位置算出手段２０２から入力された右眼用画素位置の画素の画素値を取得し、右眼用画像の画素の画素値として割り当てる（左眼用画素位置も同様）。そして、２眼立体画像生成手段２０４２は、生成した右眼用画像及び左眼用画像を、２眼立体画像として偏光メガネ方式の立体表示装置に出力する。
【００４２】
＜時分割メガネ方式＞
時分割メガネ方式では、例えば、フレーム毎に左眼用画像と右眼用画像とを切り替えて表示する。観察者は、右眼用画像の表示中に右眼側シャッタが開き、左眼用画像の表示中に左眼側シャッタが開くメガネを着用し、右眼用画像及び左眼用画像を観察する。従って、観察者は、右眼用画像を右眼のみで観察し、左眼用画像を左眼のみで観察することになる。これにより、両眼視差による立体像が得られる。
【００４３】
ここで、２眼立体画像生成手段２０４２は、偏光メガネ方式と同様の手法で２眼立体画像を生成する。
立体表示装置がハイビジョンに対応する場合、２眼立体画像それぞれの画素数はハイビジョンで規定された画素数（１９２０×１０８０）に等しくする必要がある。例えば、２眼立体画像の画素数がハイビジョンの画素数未満の場合、２眼立体画像生成手段２０４２は、補間処理によって２眼立体画像を拡大する。一方、２眼立体画像の画素数がハイビジョンの画素数を超える場合、２眼立体画像生成手段２０４２は、２眼立体画像を縮小する。
その後、２眼立体画像生成手段２０４２は、生成した２眼立体画像を、時分割メガネ方式の立体表示装置に出力する。
【００４４】
＜レンチキュラ方式＞
図７のように、レンチキュラレンズ３０１と表示素子３０２とを備える立体表示装置３０を無限大の視距離で正面から観察した場合を考える。この場合、レンチキュラレンズ３０１の背面に位置する表示素子３０２に表示された要素画像（縦長の長方形画像）の左半分のうち、何れか１画素の光線が観察者の右眼に入射する（左眼も同様）。つまり、要素画像の位置及び観察者の視距離によって、要素画像内で右眼用画像領域と左眼用画像領域との割合（境目）が異なる。
【００４５】
従って、２眼立体画像生成手段２０４２は、観察者の両眼９２の瞳孔中心を結ぶ線分の中点βと、各レンチキュラレンズ３０１の主点γとを結ぶ直線の延長線が表示素子３０２に交わる位置を、右眼用画像領域及び左眼用画像領域の境界として求める。そして、２眼立体画像生成手段２０４２は、撮像素子１０３より入力された撮像画像において、画素位置算出手段２０２から入力された右眼用画素位置の画素の画素値を取得し、右眼用画像領域の画素の画素値として割り当てる（左眼用画像領域も同様）。その後、２眼立体画像生成手段２０４２は、右眼用画像領域及び左眼用画像領域が含まれる要素画像群を、２眼立体画像として立体表示装置３０に出力する。
【００４６】
＜ＩＰ方式＞
図８のように、凸レンズ４０１ａが配列されたレンズアレイ４０１と、表示素子４０２とを備えるＩＰ表示装置４０を正面から観察した場合を考える。ここで、２眼立体画像生成手段２０４２は、中点βと凸レンズ４０１ａの主点γとを通過する直線が表示素子４０２に交わる位置を、右眼用画像領域及び左眼用画像領域の境界として求める。そして、２眼立体画像生成手段２０４２は、撮像素子１０３より入力された撮像画像において、画素位置算出手段２０２から入力された右眼用画素位置の画素の画素値を取得し、右眼用画像領域の画素の画素値として割り当てる（左眼用画像領域も同様）。
【００４７】
例えば、左眼用に再構成した要素画像群が図９（ａ）であり、右眼用に再構成した要素画像群が図９（ｂ）の場合を考える。この場合、２眼立体画像生成手段２０４２は、図９（ｃ）のように、左側が右眼用画像となり、右側が左眼用画像となった要素画像群を生成する。その後、生成した要素画像群を、２眼立体画像としてＩＰ表示装置４０に出力する。
なお、図９では、右眼用画像領域を斜線で図示し、左眼用画像領域をドットで図示した。
【００４８】
［２眼立体画像生成装置の動作］
図１０を参照し、２眼立体画像生成装置２０の動作について説明する（適宜図１参照）。
図１０のように、２眼立体画像生成装置２０は、視点位置決定手段２０１によって、２眼立体画像を観察する観察者の両眼に対応した視点位置を決定する（ステップＳ１）。
２眼立体画像生成装置２０は、画素位置算出手段２０２によって、撮像素子１０３の画素位置（右眼用画素位置及び左眼用画素位置）を算出する（ステップＳ２）。
【００４９】
２眼立体画像生成装置２０は、撮像素子制御手段２０３によって、撮像素子１０３の全画素のうち、画素位置算出手段２０２が算出した画素位置（右眼用画素位置及び左眼用画素位置）の画素を駆動する（ステップＳ３）。
２眼立体画像生成装置２０は、画素値割当手段２０４によって、撮像素子１０３から入力された撮像画像の各画素の画素値を２眼立体画像の画素の画素値として割り当てる（ステップＳ４）。このように、２眼立体画像生成装置２０は、２眼立体映像を生成する。
【００５０】
以上のように、本願発明の第１実施形態に係る２眼立体画像生成装置２０は、２眼立体画像の生成に必要な右眼用画素位置及び左眼用画素位置の画素のみをＩＰ撮像装置１０に駆動させるので、演算量が抑えられ、効率よく２眼立体画像を生成することができる。
【００５１】
（第２実施形態）
［２眼立体画像生成システムの全体構成］
図１１を参照し、本願発明の第２実施形態に係る２眼立体画像生成システム１Ｂについて、第１実施形態と異なる点を説明する。
【００５２】
第１実施形態では、撮像素子１０３が右眼用画素位置及び左眼用画素位置の画素のみを駆動する（図１）。一方、第２実施形態では、撮像素子１０３が、遮蔽手段１０６の開口１０６ａを通過した光線のみを撮像する点が、第１実施形態と異なる。
【００５３】
図１１のように、２眼立体画像生成システム１Ｂは、ＩＰ撮像装置１０Ｂと、２眼立体画像生成装置２０Ｂとを備える。
ＩＰ撮像装置１０Ｂは、凸レンズ１０１と、レンズアレイ１０２と、撮像素子１０３と、遮蔽手段１０６とを備える。
なお、凸レンズ１０１、レンズアレイ１０２及び撮像素子１０３は、第１実施形態と同様のため、説明を省略する。
【００５４】
遮蔽手段１０６は、凸レンズ１０１に入射した被写体９０からの光線を制御（遮蔽）するものである。本実施形態では、遮蔽手段１０６は、凸レンズ１０１とレンズアレイ１０２との間であって、被写体９０の側に配置されている。さらに、遮蔽手段１０６は、ブロック矢印で図示した前後方向（奥行方向）に移動する。
【００５５】
また、遮蔽手段１０６は、観察者の両眼に対応した２個の開口１０６ａを有する。この開口１０６ａの間隔は、観察者の瞳孔間隔に比例する。例えば、開口１０６ａの間隔は、成人の一般的な瞳孔間隔（６５ｍｍ）に比例する値としてもよい。
【００５６】
なお、ＩＰ撮像装置１０Ｂと立体表示装置との間では、画素サイズは異なるが画素数が同一となる関係があるため、比例という表現を用いた。例えば、ＩＰ撮像装置１０Ｂが、
画素間隔が１０μｍで１９２０×１０８０画素の撮像素子１０３と、レンズ間隔が１００μｍのレンズアレイ１０２とを備えることとする。また、例えば、立体表示装置が、画素間隔が１００μｍで１９２０×１０８０画素の表示素子と、レンズ間隔が１ｍｍのレンズアレイとを備えることとする。この場合、立体表示装置は、ＩＰ撮像装置１０Ｂに対して、大きさが１０倍の光学系を用いることになる。
【００５７】
また、遮蔽手段１０６の奥行方向の位置は、観察者の視距離に比例して制御される。つまり、遮蔽手段１０６は、ＩＰ撮像装置１０Ｂからの制御信号に従って、前後方向に移動するか開口１０６ａの間隔を変更すると共に、開口１０６ａの径（開口径）を駆動する。
【００５８】
この遮蔽手段１０６は、開口１０６ａが形成された箇所以外、光線を遮蔽するものであればその素材や構造が制限されない。例えば、遮蔽手段１０６は、開口１０６ａの位置で光線を透過させ、他の位置で光線を遮蔽する液晶素子を、前後方向に敷設されたレール上を移動させる駆動機構に搭載してもよい。
【００５９】
［２眼立体画像生成装置の構成］
以下、２眼立体画像生成装置２０Ｂの構成について説明する。
図１１のように、２眼立体画像生成装置２０Ｂは、視点位置決定手段２０１と、画素位置算出手段２０２と、画素値割当手段２０４Ｂと、開口位置制御手段２０５とを備える。
なお、視点位置決定手段２０１及び画素位置算出手段２０２は、第１実施形態と同様のため、説明を省略する。
【００６０】
先に開口位置制御手段２０５を説明し、その後、画素値割当手段２０４Ｂを説明する。
開口位置制御手段２０５は、撮像素子１０３の右眼用画素位置及び左眼用画素位置に被写体９０からの光線が開口１０６ａを通過して入射するように、遮蔽手段１０６を駆動するものである。本実施形態では、開口位置制御手段２０５は、視点位置決定手段２０１から入力された視点位置と、撮像素子情報記憶手段２０２１の撮像素子情報と、撮像用レンズアレイ情報記憶部２０２２のレンズアレイ情報とを参照し、遮蔽手段１０６を駆動制御する。
【００６１】
＜遮蔽手段の制御＞
図１２，図１３を参照し、遮蔽手段１０６の制御について説明する（適宜図１１参照）。
説明を簡単にするために、図１２のように、ＩＰ撮像装置１０Ｂが凸レンズ１０１を備えない場合について考える。ここでは、凸レンズ１０２ａの主点のみに被写体９０からの光線が通過するピンホールモデルを適用する。
【００６２】
なお、図１２では、図面を見やすくするため、遮蔽手段１０６が備える２個の開口１０６ａのみを図示した。
また、視域がθであり、凸レンズ１０２ａの焦点距離がｆ０であり、レンズアレイ１０２から視域が形成される開始点までの距離がＬ１であり、Ｌ１から開口１０６ａまでの距離がＬｘであり、２個の開口１０６ａの間隔がＨｐである。
【００６３】
開口位置制御手段２０５は、予め設定された参照パラメータを参照し、以下の式（１）又は式（２）を用いて、距離Ｌｘ又は間隔Ｈｐの何れか一方を算出する。
Ｌｘ＝Ｌ×Ｈｐ／ＰＤ−Ｌ１  …式（１）
Ｈｐ＝ＰＤ×（Ｌｘ＋Ｌ１）／Ｌ  …式（２）
【００６４】
距離Ｌｘを算出した場合、開口位置制御手段２０５は、間隔Ｈｐを変更しない一方、開口１０６ａが距離Ｌｘに位置するように、開口１０６ａを前後方向に移動させる。
間隔Ｈｐを算出した場合、開口位置制御手段２０５は、距離Ｌｘを変更しない一方、開口１０６ａが間隔Ｈｐとなるように、開口１０６ａ同士の距離を変更する。
なお、何れの場合も、被写体９０からの光線が開口１０６ａを通過する（図１２に太線で図示した光線が開口１０６ａに重なる）ことになる。
【００６５】
ここで、距離Ｌｘを算出する場合、参照パラメータとして、間隔Ｈｐを予め設定しておく。一方、間隔Ｈｐを算出する場合、参照パラメータとして、距離Ｌｘを予め設定しておく。この他、参照パラメータとして、例えば、視距離Ｌ、観察者の両眼間隔ＰＤ、観察者の瞳孔径Ｐも予め設定しておく。
【００６６】
次に、開口位置制御手段２０５は、以下の式（３）又は式（４）を用いて、開口１０６ａの径Ｓを算出する。そして、開口位置制御手段２０５は、算出した径Ｓとなるように開口１０６ａの開口径を変更する。
つまり、間隔Ｈｐを算出した場合には式（３）を用いて、距離Ｌｘを算出した場合には式（４）を用いる。
Ｓ＝Ｐ×Ｈｐ／ＰＤ  …式（３）
Ｓ＝Ｐ×（Ｌｘ＋Ｌ１）／Ｌ  …式（４）
【００６７】
図１３のように、実際にはＩＰ撮像装置１０Ｂが凸レンズ１０１を備えるので、レンズアレイ１０２が凸レンズ１０１の焦平面に位置する場合を考える。この場合、０＜Ｌｘ＜（ｆ１−Ｌ１）を満たす必要がある。なお、図１３では、凸レンズ１０１の焦点距離がｆ１である。
その後、開口位置制御手段２０５は、遮蔽手段１０６を前後方向に移動させ又は開口１０６ａの間隔を変更し、開口１０６ａの径を変更する制御信号を生成し、生成した制御信号を遮蔽手段１０６に出力する。
【００６８】
図１１に戻り、画素値割当手段２０４Ｂについて説明する。
画素値割当手段２０４Ｂは、撮像素子１０３より入力された撮像画像の各画素の画素値を取得して、２眼立体画像の画素の画素値として割り当てることで、２眼立体映像を生成するものである。
【００６９】
前記したように、遮蔽手段１０６の開口部１０６ａを通過した光線のみが撮像素子１０３に入射するため、撮像素子１０３からの撮像画像には、左眼用画素位置及び右眼用画素位置の画素のみが画素値を持ち、それ以外の画素の画素値が０（ゼロ）となる。すなわち、撮像素子１０３は、全画素の画素値を画素値割当手段２０４Ｂに出力することになる。
【００７０】
他の点、画素値割当手段２０４Ｂは、第１実施形態と同様のため、これ以上の説明を省略する。
なお、２眼立体画像生成装置２０Ｂは、第１実施形態と同様、撮像素子制御手段２０３（図１）をさらに備え、撮像素子制御手段２０３が駆動した画素のみで撮像された撮像画像を画素値割当手段２０４Ｂに出力してもよい。
【００７１】
［２眼立体画像生成装置の動作］
図１４を参照し、２眼立体画像生成装置２０Ｂの動作について説明する（適宜図１１参照）。
ステップＳ１，Ｓ２の処理は、第１実施形態と同様のため、説明を省略する。
【００７２】
２眼立体画像生成装置２０Ｂは、開口位置制御手段２０５によって、被写体９０からの光線が開口１０６ａを通過して撮像素子１０３に入射するように、遮蔽手段１０６を駆動する（ステップＳ５）。
２眼立体画像生成装置２０Ｂは、画素値割当手段２０４Ｂによって、撮像素子１０３より入力された撮像画像の各画素の画素値を２眼立体画像の画素の画素値として割り当てる（ステップＳ４Ｂ）。
【００７３】
以上のように、本願発明の第２実施形態に係る２眼立体画像生成装置２０Ｂは、２眼立体画像の生成に必要な右眼用画素位置及び左眼用画素位置の画素のみをＩＰ撮像装置１０に撮像させるので、演算量が抑えられ、効率よく２眼立体画像を生成することができる。
【００７４】
以上、本願発明の各実施形態を詳述してきたが、本願発明は前記した実施形態に限られるものではなく、本願発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【００７５】
（変形例１）
図１５を参照し、視点位置決定手法の変形例について説明する。
図１５のように、視点位置決定手段２０１は、視点位置検出カメラ２０１２と、視点位置検出制御手段２０１３と、視点位置検出手段２０１４とを備える。
【００７６】
視点位置検出カメラ２０１２は、観察者の視点位置を検出するために、観察者を撮像する一般的な撮像カメラである。この視点位置検出カメラ２０１２は、観察者の両眼が含まれる視点画像を視点位置検出制御手段２０１３に出力する。また、視点位置検出カメラ２０１２は、視点位置検出制御手段２０１３から入力された制御信号に従って、その撮像範囲（ズーム）及びフレームレートを変更する。
【００７７】
視点位置検出制御手段２０１３は、観察者が視点画像に含まれるように視点位置検出カメラ２０１２の撮像範囲（ズーム）及びフレームレートを制御するものである。また、視点位置検出制御手段２０１３は、視点位置検出カメラ２０１２から入力された視点画像を視点位置検出手段２０１４に出力する。
【００７８】
例えば、視点位置検出制御手段２０１３は、連続する視点画像のフレーム間差分によって、観察者の移動速度を求める。そして、視点位置検出制御手段２０１３は、観察者の移動速度に応じて、視点位置検出カメラ２０１２の撮像範囲及びフレームレートを制御する。すなわち、視点位置検出制御手段２０１３は、観察者の移動速度が遅くなる程、視点位置検出カメラ２０１２の撮像範囲を狭くし、フレームレートを低くする。一方、視点位置検出制御手段２０１３は、観察者の移動速度が速くなる程、視点位置検出カメラ２０１２の撮像範囲を広くし、フレームレートを高くする。その後、視点位置検出制御手段２０１３は、撮像範囲及びフレームレートの制御信号を視点位置検出カメラ２０１２に出力する。
なお、視点位置検出制御手段２０１３は、視点位置検出カメラ２０１２の撮像範囲又はフレームレートの一方のみを制御してもよい。
【００７９】
視点位置検出手段２０１４は、視点位置検出制御手段２０１３より入力された視点画像から、視点位置を検出するものである。例えば、視点位置検出手段２０１４は、視点画像に、既知の顔検出処理や瞳孔検出処理を施すことで、観察者の視点位置を検出する。そして、視点位置検出手段２０１４は、検出した視点位置を画素位置算出手段２０２に出力する。
【００８０】
（その他変形例）
前記した各実施形態では、画像（静止画）を扱うこととして説明したが、本願発明は、これに限定されない。つまり、２眼立体画像生成装置は、２眼立体映像（動画）を生成することもできる。
【００８１】
前記した各実施形態では、偏光メガネ方式、時分割メガネ方式、レンチキュラ方式、又は、ＩＰ方式の立体表示装置で２眼立体画像を表示することとして説明したが、本願発明は、これに限定されない。
【００８２】
前記した各実施形態では、２眼立体画像生成装置を独立したハードウェアとして説明したが、本願発明は、これに限定されない。例えば、コンピュータが備えるＣＰＵ、メモリ、ハードディスク等のハードウェア資源を、２眼立体画像生成装置として協調動作させる
２眼立体画像生成プログラムで実現することもできる。このプログラムは、通信回線を介して配布してもよく、ＣＤ−ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。
【符号の説明】
【００８３】
１，１Ｂ  ２眼立体画像生成システム
１０，１０Ｂ  ＩＰ撮像装置（立体撮像装置）
２０，２０Ｂ  ２眼立体画像生成装置
１０１  凸レンズ
１０２  レンズアレイ（光学素子アレイ）
１０３  撮像素子
１０６  遮蔽手段
１０６ａ  開口
２０１  視点位置決定手段
２０２  画素位置算出手段
２０３  撮像素子制御手段
２０４，２０４Ｂ  画素値割当手段
２０５  開口位置制御手段
【図１】
0006684118.tif 000002
【図２】
0006684118.tif 000003
【図３】
0006684118.tif 000004
【図４】
0006684118.tif 000005
【図５】
0006684118.tif 000006
【図６】
0006684118.tif 000007
【図７】
0006684118.tif 000008
【図８】
0006684118.tif 000009
【図９】
0006684118.tif 000010
【図１０】
0006684118.tif 000011
【図１１】
0006684118.tif 000012
【図１２】
0006684118.tif 000013
【図１３】
0006684118.tif 000014
【図１４】
0006684118.tif 000015
【図１５】
0006684118.tif 000016