(57)【要約】【課題】立体画像情報を演算処理することにより、立体像の奥行きが被写体と比較して過度に圧縮されることのないように補正することができる立体画像奥行き補正装置およびそのプラグラムを提供する。【解決手段】立体画像奥行き補正装置１は、第１要素画像群の光線を分配する分配手段１１と、撮像素子から光学素子アレイ１０２に対して逆に辿る経路に従って、分配手段１１で分配された光線を第１仮想光学素子アレイ１０２Ａを通した光線に変換する第１要素画像変換手段１２と、光学素子アレイ１０２から対物光学系１０１に対して逆に辿る経路に従って、第１要素画像変換手段１２で変換された光線を仮想対物光学系１０１Ａを通した光線に変換する奥行き復元手段１３と、奥行き復元手段１３で変換された光線を、第２仮想光学素子アレイ１０３Ｂを通した光線に変換する第２要素画像変換手段１４と、各光線を統合する統合手段と、を備えている。【選択図】図１
2015226088.tif 000002
【特許請求の範囲】
【請求項１】
被写体の奥行き位置を制御するための対物光学系と、複数の光学素子が二次元状に配列された光学素子アレイと、前記光学素子アレイによって生成される光学像を撮像するための撮像素子と、を備える立体画像撮影装置によって撮影された第１要素画像群から、再生時における立体像の奥行き位置を補正した第２要素画像群を生成する立体画像奥行き補正装置であって、
前記第１要素画像群の光線を要素画像ごとに分配する分配手段と、
光線追跡手法を用いて前記第１要素画像群の光線が前記撮像素子から前記光学素子アレイに対して逆に辿る経路を算出し、当該経路に従って、前記分配手段によって分配された光線を、仮想空間上に配置された第１仮想光学素子アレイを通した光線に変換する第１要素画像変換手段と、
前記光線追跡手法を用いて前記第１要素画像群の光線が前記光学素子アレイから前記対物光学系に対して逆に辿る経路を算出し、当該経路に従って、前記第１要素画像変換手段によって変換された光線を、前記仮想空間上に前記第１仮想光学素子アレイと離間して配置された仮想対物光学系を通した光線に変換することで、前記再生時における立体像の奥行き位置を復元する奥行き復元手段と、
前記奥行き復元手段によって変換された光線を、前記仮想空間上に前記仮想対物光学系と離間して配置された第２仮想光学素子アレイを通した光線に変換する第２要素画像変換手段と、
前記第２要素画像変換手段によって変換された要素画像ごとの光線を統合することで、前記第２要素画像群を生成する統合手段と、
を備えることを特徴とする立体画像奥行き補正装置。
【請求項２】
前記奥行き復元手段は、対物光学系の屈折作用を考慮して前記第１要素画像群の光線が前記光学素子アレイから前記対物光学系に対して逆に辿る経路を算出し、当該経路に従って、前記第１要素画像変換手段によって変換された光線を、前記仮想空間上に前記第１仮想光学素子アレイと離間して配置された仮想対物光学系を通した光線に変換することで、前記再生時における立体像の奥行き位置を復元することを特徴とする請求項１に記載の立体画像奥行き補正装置。
【請求項３】
前記奥行き復元手段は、対物光学系の回折作用を考慮して前記第１要素画像群の光線が前記光学素子アレイから前記対物光学系に対して逆に辿る経路を算出し、当該経路に従って、前記第１要素画像変換手段によって変換された光線を、前記仮想空間上に前記第１仮想光学素子アレイと離間して配置された仮想対物光学系を通した光線に変換することで、前記再生時における立体像の奥行き位置を復元することを特徴とする請求項１に記載の立体画像奥行き補正装置。
【請求項４】
コンピュータを、請求項１から請求項３のいずれか一項に記載の立体画像奥行き補正装置として機能させるための立体画像奥行き補正プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体像を表示するための画像を取得および表示する技術に係り、特に、ＩＰ （Integral Photography;インテグラルフォトグラフィ）方式の立体像を表示するための画像を生成する立体画像奥行き補正装置およびそのプログラムに関する。
【背景技術】
【０００２】
従来、特殊な立体メガネを用いることなく任意の視点から立体画像を自由に見ることができる立体画像方式の一つとしてＩＰが知られている（例えば非特許文献１参照）。
【０００３】
ここで、図９を参照しながらＩＰ方式に基づく立体画像の撮影方法について説明する。図９に示すように、立体画像撮影装置２は、対物光学系１０１と、光学素子アレイ１０２と、撮像素子１０３とから構成されている。ここで、対物光学系１０１は、被写体の奥行き位置を制御するためのものである。また、光学素子アレイ１０２は、例えば複数の微小な凸レンズから構成されている。そして、撮像素子１０３は、例えば通常の写真フィルムや、ＣＣＤ（charge Coupled Device）等の動画像を撮像可能な素子から構成されている。
【０００４】
立体画像撮影装置２は、図９の矢印で示す撮影方向から、対物光学系１０１および光学素子アレイ１０２を通して被写体Ｔを撮影する。その際、光学素子アレイ１０２の後方（図９では右方）の撮像素子１０３には、光学素子アレイ１０２を構成する凸レンズの個数と同じ個数だけ被写体Ｔの像t１が結像する。なお、図９におけるｘｃは被写体Ｔの角柱の大きさ（高さ）を、ｚｃは光学素子アレイ１０２から被写体Ｔの角柱までの距離を、ｐｃは光学素子アレイ１０２を構成する凸レンズのピッチを、ｄｃは光学素子アレイ１０２から撮像素子１０３までの距離を、ｋｃは被写体Ｔの微小な像t１の大きさを示している。
【０００５】
次に、図１０を参照しながらＩＰ方式に基づく立体画像の表示方法について説明する。図１０に示す立体画像表示装置３は、光学素子アレイ１１２と、表示素子１１３とから構成されている。ここで、光学素子アレイ１１２は、前記した光学素子アレイ１０２と同様に、例えば複数の微小な凸レンズから構成されている。また、表示素子１１３は、例えば液晶パネル等の情報表示デバイスから構成されている。
【０００６】
立体画像表示装置３は、図１０に示すように、表示素子１１３によって、撮像素子１０３（図９参照）で撮像された像ｔ１に対応する像t２を表示する。これにより、図１０に示すように、被写体Ｔが存在した位置と同じ位置に、被写体Ｔの立体像Ｔ２が生成される。なお、図１０におけるｘrは立体像Ｔ２の角柱の大きさ（高さ）を、ｚrは光学素子アレイ１１２から立体像Ｔ２の角柱までの距離を、ｐrは光学素子アレイ１１２を構成する凸レンズのピッチを、ｄrは光学素子アレイ１１２から表示素子１１３までの距離を、ｋrは被写体Ｔの微小な像t２の大きさを示している。
【０００７】
なお、図９に示す撮像素子１０３で取得した画像を、そのまま図１０に示す表示素子１１３に出力すると、立体像Ｔ２の水平および垂直方向が被写体Ｔに対して１８０度反転した状態で表示されてしまう。そのため、ここでは撮像素子１０３で取得した画像の全体を１８０度反転させた状態で表示素子１１３に表示するものとする。
【先行技術文献】
【非特許文献】
【０００８】
【非特許文献１】F.Okano,J.Arai,H.Hoshino and I.Yuyama, ”Three-dimensional video system based on integral photography”, Opt.Eng.,38, 1072-1077(1999)
【発明の概要】
【発明が解決しようとする課題】
【０００９】
ここで、図９に示すように被写体Ｔの奥行き位置を制御する対物光学系１０１を用いた場合、被写体Ｔと被写体Ｔの実像Ｔ１との幾何学的な関係は、対物光学系１０１の水平および垂直方向の倍率（横倍率）をｍとすると、奥行き方向の倍率（縦倍率）はｍ２となる。そのため、ｍ＜１とした場合、被写体Ｔの実像Ｔ１は奥行き方向が過度に圧縮された状態となる。その結果、奥行きが過度に圧縮された立体像Ｔ２が表示されることになる。
【００１０】
例えば、図１１に示すように、被写体Ｔの３つの物点Ａ，Ｂ，Ｃと、それに対応する実像Ｔ１の３つの像点Ａ，Ｂ，Ｃを考えた場合、像点Ａ，Ｂ，Ｃの水平および垂直方向の位置はｍ倍（ただしｍ＜１とする）となるが、像点Ａ，Ｂ，Ｃの奥行き方向の位置はｍ２倍となり、水平および垂直位置よりも詰まって圧縮された状態となる。
【００１１】
本発明はかかる点に鑑みてなされたものであって、対物光学系を用いて取得した立体画像情報を演算処理することにより、再生時における立体像の奥行きが被写体と比較して過度に圧縮されることのないように補正することができる立体画像奥行き補正装置およびそのプラグラムを提供することを課題とする。
【課題を解決するための手段】
【００１２】
前記課題を解決するために本発明に係る立体画像奥行き補正装置は、被写体の奥行き位置を制御するための対物光学系と、複数の光学素子が二次元状に配列された光学素子アレイと、前記光学素子アレイによって生成される光学像を撮像するための撮像素子と、を備える立体画像撮影装置によって撮影された第１要素画像群から、再生時における立体像の奥行き位置を補正した第２要素画像群を生成する立体画像奥行き補正装置であって、分配手段と、第１要素画像変換手段と、奥行き復元手段と、第２要素画像変換手段と、統合手段と、を備える構成とした。
【００１３】
このような構成を備える立体画像奥行き補正装置は、分配手段によって、前記第１要素画像群の光線を要素画像ごとに分配する。また、立体画像奥行き補正装置は、第１要素画像変換手段によって、光線追跡手法を用いて前記第１要素画像群の光線が前記撮像素子から前記光学素子アレイに対して逆に辿る経路を算出し、当該経路に従って、前記分配手段によって分配された光線を、仮想空間上に配置された第１仮想光学素子アレイを通した光線に変換する。また、立体画像奥行き補正装置は、奥行き復元手段によって、前記光線追跡手法を用いて前記第１要素画像群の光線が前記光学素子アレイから前記対物光学系に対して逆に辿る経路を算出し、当該経路に従って、前記第１要素画像変換手段によって変換された光線を、前記仮想空間上に前記第１仮想光学素子アレイと離間して配置された仮想対物光学系を通した光線に変換することで、前記再生時における立体像の奥行き位置を復元する。
【００１４】
また、立体画像奥行き補正装置は、第２要素画像変換手段によって、前記奥行き復元手段により変換された光線を、前記仮想空間上に前記仮想対物光学系と離間して配置された第２仮想光学素子アレイを通した光線に変換する。そして、立体画像奥行き補正装置は、統合手段によって、前記第２要素画像変換手段により変換された要素画像ごとの光線を統合することで、前記第２要素画像群を生成する。このように、立体画像奥行き補正装置は、予め立体画像撮影装置において対物光学系を通して撮影された第１要素画像群を構成する各光線を、光線追跡法を用いて立体画像撮影装置における光線の経路とは反対の経路で逆伝搬させることで、対物光学系によって奥行きが圧縮される前の奥行きを保持した第２要素画像群を生成することができる。
【００１５】
また、前記課題を解決するために本発明に係る立体画像奥行き補正プログラムは、コンピュータを、前記した立体画像奥行き補正装置として機能させることとした。
【発明の効果】
【００１６】
本発明によれば、立体画像の撮影時において、被写体の奥行き位置を制御する対物光学系の水平および垂直方向の倍率ｍがｍ＜１である場合であっても、被写体と比較して奥行きが過度に圧縮されないように立体画像情報を補正することができる。そのため、立体画像の再生時において、より自然な立体視が可能となる。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施形態に係る立体画像奥行き補正装置の全体構成を示すブロック図である。
【図２】本発明による立体画像の奥行き状態を模式的に示す説明図であり、像点と光学素子アレイの位置関係を示す図である。
【図３】本発明による立体画像の奥行き補正方法を模式的に示す説明図であり、（ａ）は、像点Ａの要素画像を取得する様子を示す図、（ｂ）は、像点Ａの要素画像情報を逆伝搬して像点Ａ’を生成する様子を示す図である。
【図４】本発明による立体画像の奥行き補正方法を模式的に示す説明図であり、逆伝搬の際の光線方向を示す図である。
【図５】本発明による立体画像の奥行き補正方法を模式的に示す説明図であり、（ａ）は、像点Ｂの要素画像を取得する様子を示す図、（ｂ）は、像点Ｂの要素画像情報を逆伝搬して像点Ｂ’を生成する様子を示す図である。
【図６】本発明による立体画像の奥行き補正方法を模式的に示す説明図であり、（ａ）は、像点Ｃの要素画像を取得する様子を示す図、（ｂ）は、像点Ｃの要素画像情報を逆伝搬して像点Ｃ’を生成する様子を示す図である。
【図７】本発明による立体画像の奥行き補正方法を模式的に示す説明図であり、（ａ）は、仮想光学素子アレイと仮想撮像素子の位置関係を示す図、（ｂ）は、第２仮想撮像素子に対して画素情報を割り当てる様子を示す図である。
【図８】本発明の他の実施形態に係る立体画像奥行き補正装置の全体構成を示すブロック図である。
【図９】従来のＩＰ方式に基づく立体画像の撮影方法を模式的に示す説明図である。
【図１０】従来のＩＰ方式に基づく立体画像の表示方法を模式的に示す説明図である。
【図１１】従来のＩＰ方式に基づく立体画像の奥行き状態を模式的に示す説明図であり、対物光学系を通して像点が生成される様子を示す図である。
【発明を実施するための形態】
【００１８】
［立体画像奥行き補正装置］
以下、本発明の実施形態に係る立体画像奥行き補正装置について、図１〜図７を参照しながら説明する。なお、以下の説明において、同一の名称および符号については原則として同一の手段を示しており、詳細説明を適宜省略する。
【００１９】
立体画像奥行き補正装置１は、立体画像情報における立体像Ｔ２（図１０参照）の奥行き位置を補正するものである。立体画像奥行き補正装置１は、具体的には図１に示すように、立体画像撮影装置２によって撮影されて入力された第１要素画像群から、再生時における立体像Ｔ２の奥行き位置を補正した第２要素画像群を生成し、立体画像表示装置３に対して出力する。なお、図１における立体画像撮影装置２および立体画像表示装置３は、図９および図１０に示す構成と同様のものを用いることができる。
【００２０】
立体画像奥行き補正装置１は、例えば、ＣＰＵ(Central Processing Unit)等の演算装置と、メモリ、ハードディスク等の記憶装置(記憶手段)と、マウスやキーボード等の外部から情報の入力を検出する入力装置と、ＬＡＮ(Local Area Network)等の通信回線を介して各種情報の送受信を行うインタフェース装置と、ＬＣＤ(Liquid Crystal Display)等の表示装置を備えたコンピュータと、このコンピュータにインストールされたプログラムとから構成される。この立体画像奥行き補正装置１は、ハードウェア装置とソフトウェアとが協働し、前記したハードウェア資源がプログラムによって制御されることにより、図１に示す各手段が実現される。
【００２１】
（立体画像奥行き補正装置の具体的な構成）
以下、立体画像奥行き補正装置１の具体的な構成について、図１を参照しながら説明する。立体画像奥行き補正装置１は、図１に示すように、分配手段１１と、第１要素画像変換手段１２と、奥行き復元手段１３と、第２要素画像変換手段１４と、統合手段１５と、を備えている。立体画像奥行き補正装置１は、これらの手段を通じて、後記する＜光線の逆伝搬と新たな像点の生成＞の処理を行う。
【００２２】
分配手段１１は、入力された要素画像群の光線を要素画像ごとに分配するものである。分配手段１１は、具体的には、外部の立体画像撮影装置２から入力された第１要素画像群の光線を要素画像の数だけ分配し、図１に示すように、分配した各要素画像の光線情報を第１要素画像変換手段１２の第１仮想光学素子光線入射状態算出手段１２ａに対して出力する。ここで、前記した光線情報とは、例えば要素画像群の各画素の位置と輝度値とからなる情報を意味している。
【００２３】
なお、ここでは図１に示すように、分配手段１１によって分配された要素画像をｍ（−Ｍ≦ｍ≦Ｍ）で識別することとする。後記する第１要素画像変換手段１２、奥行き復元手段１３および第２要素画像変換手段１４は、この分配された例えば（２Ｍ＋１）個の要素画像ごとに機能する。そして、分配された要素画像ｍは、図１に示すように、その後第１要素画像変換手段１２および奥行き復元手段１３における処理を経ることで、後記するように被写体Ｔとほぼ同様の奥行きを保持した実像Ｔ１を構成する光線に変換される。
【００２４】
そして、前記した実像Ｔ１の光線は、後記するように第２要素画像変換手段１４において、仮想の光学素子アレイ（第２仮想光学素子アレイ１０２Ｂ）に入射することで、当該第２仮想光学素子アレイ１０２Ｂを構成する凸レンズの個数に応じて再分配されることになる。なお、ここでは図１に示すように、第２仮想光学素子アレイ１０２Ｂに入射することで再分配された要素画像をｎ（−Ｎ≦ｎ≦Ｎ）で識別することとする。後記する第２要素画像変換手段１４は、この分配された例えば（２Ｎ＋１）個の要素画像ごとに機能する。そして、再分配された要素画像ｎは、図１に示すように、その後統合手段１５によって統合され、第２要素画像群が生成されることになる。
【００２５】
第１要素画像変換手段１２は、要素画像の光線を、仮想の光学素子アレイ（第１仮想光学素子アレイ１０２Ａ）を通した光線に変換するものである。第１要素画像変換手段１２は、具体的には、光学素子アレイ１０２の屈折作用を考慮して、第１要素画像群の光線が撮像素子１０３から光学素子アレイ１０２に対して逆に辿る経路を算出する。なお、第１要素画像変換手段１２には、第１仮想光学素子アレイ１０２Ａを構成する凸レンズ（仮想光学素子）のピッチ、焦点距離、開口幅（レンズ径）等、前記した経路算出に必要な情報が予め入力されている。また、第１仮想光学素子アレイ１０２Ａを構成する凸レンズ（仮想光学素子）のピッチ、焦点距離、開口幅（レンズ径）等の条件は、前記した立体画像撮影装置２（図９参照）の光学素子アレイ１０２と同様の条件に設定される。
【００２６】
ここで、光学素子アレイ１０２の屈折作用を考慮した光線追跡手法としては、例えばスネルの法則および以下の参考文献１に記載されたマトリクス法を利用することができる。
【００２７】
参考文献１：E. Hecht, ”Optics”, Addison Wesley, 2002
【００２８】
そして、第１要素画像変換手段１２は、当該経路に従って、分配手段１１によって分配された光線を、仮想空間上に配置された第１仮想光学素子アレイ１０２Ａを通した光線に変換する。なお、仮想空間上に配置された第１仮想光学素子アレイ１０２Ａの詳細については後記する（図２〜図７参照）。
【００２９】
ここで、前記した第１要素画像変換手段１２における処理は、より詳細には図１に示すように、第１仮想光学素子光線入射状態算出手段１２ａにおける処理と、第１仮想光学素子光線出射状態算出手段１２ｂにおける処理とに分けることができる。
【００３０】
第１仮想光学素子光線入射状態算出手段１２ａは、前記した光線追跡手法を用いて、第１要素画像群の光線が撮像素子１０３から光学素子アレイ１０２に対して逆に辿る経路を算出し、要素画像の光線が仮想空間上に配置された第１仮想撮像素子１０３Ａから第１仮想光学素子アレイ１０２Ａに入射する際の光線情報を算出する。そして、第１仮想光学素子光線入射状態算出手段１２ａは、図１に示すように、その光線情報を第１仮想光学素子光線出射状態算出手段１２ｂに対して出力する。
【００３１】
続いて、第１仮想光学素子光線出射状態算出手段１２ｂは、前記した光線追跡手法を用いて、要素画像の光線が仮想空間上に配置された第１仮想光学素子アレイ１０２Ａから出射する際の光線情報を算出する。そして、第１仮想光学素子光線出射状態算出手段１２ｂは、図１に示すように、その光線情報を奥行き復元手段１３の仮想対物光学系光線入射状態算出手段１３ａに対して出力する。
【００３２】
奥行き復元手段１３は、要素画像の光線を、仮想の対物光学系（仮想対物光学系１０１Ａ）を通した光線に変換することで、被写体Ｔとほぼ同様の奥行きを保持した実像Ｔ１を構成する光線を復元するものである。奥行き復元手段１３は、具体的には、対物光学系１０１の屈折作用を考慮して、例えば前記したスネルの法則および前記した参考文献１に記載されたマトリクス法を利用して、第１要素画像群の光線が光学素子アレイ１０２から対物光学系１０１に対して逆に辿る経路を算出する。なお、奥行き復元手段１３には、仮想対物光学系１０１Ａの焦点距離、開口幅（レンズ径）等、前記した経路算出に必要な情報が予め入力されている。
【００３３】
そして、奥行き復元手段１３は、当該経路に従って、第１要素画像変換手段１２によって変換された光線を、仮想空間上に配置された仮想対物光学系１０１Ａを通した光線に変換する。なお、仮想空間上に配置された仮想対物光学系１０１Ａの詳細については後記する（図２〜図７参照）。
【００３４】
ここで、奥行き復元手段１３における処理は、より詳細には図１に示すように、仮想対物光学系光線入射状態算出手段１３ａにおける処理と、仮想対物光学系光線出射状態算出手段１３ｂにおける処理とに分けることができる。
【００３５】
仮想対物光学系光線入射状態算出手段１３ａは、前記した光線追跡手法を用いて、第１要素画像群の光線が光学素子アレイ１０２から対物光学系１０１に対して逆に辿る経路を算出し、要素画像の光線が仮想空間上に配置された第１仮想光学素子アレイ１０２Ａから仮想対物光学系１０１Ａに入射する際の光線情報を算出する。そして、仮想対物光学系光線入射状態算出手段１３ａは、図１に示すように、その光線情報を仮想対物光学系光線出射状態算出手段１３ｂに対して出力する。
【００３６】
続いて、仮想対物光学系光線出射状態算出手段１３ｂは、前記した光線追跡手法を用いて、要素画像の光線が仮想空間上に配置された仮想対物光学系１０１Ａから出射する際の光線情報を算出する。そして、仮想対物光学系光線出射状態算出手段１３ｂは、図１に示すように、その光線情報を第２要素画像変換手段１４の第２仮想光学素子光線入射状態算出手段１４ａに対して出力する。
【００３７】
第２要素画像変換手段１４は、要素画像の光線を、仮想の光学素子アレイ（第２仮想光学素子アレイ１０２Ｂ）を通した光線に変換するものである。第２要素画像変換手段１４は、具体的には、第２仮想光学素子アレイ１０２Ｂの屈折作用を考慮して、例えば前記したスネルの法則および前記した参考文献１に記載されたマトリクス法を利用して、第１要素画像群の光線が対物光学系１０１から第２仮想光学素子アレイ１０２Ｂに対して逆に辿る経路を算出する。なお、第２要素画像変換手段１４には、予め第２仮想光学素子アレイ１０２Ｂを構成する凸レンズ（仮想光学素子）のピッチ、焦点距離、開口幅（レンズ径）等、前記した経路算出に必要な情報が予め入力されている。また、第２仮想光学素子アレイ１０２Ｂを構成する凸レンズ（仮想光学素子）のピッチ、焦点距離、開口幅（レンズ径）等の条件は、前記した第１仮想光学素子アレイ１０２Ａと対応させる必要はなく、任意の条件に設定することができる。
【００３８】
すなわち、立体画像撮影装置２から入力された要素画像の光線は、第１要素画像変換手段１２および奥行き復元手段１３における処理を経ることで、後記するように被写体Ｔとほぼ同様の奥行きを保持した実像Ｔ１を構成する光線に変換される。そして、第２要素画像変換手段１４は、後記するように、このように実際の空間と同様の状況が再現された状態で仮想空間上に第２仮想光学素子アレイ１０２Ｂを配置するため、当該第２仮想光学素子アレイ１０２Ｂの条件を第１仮想光学素子アレイ１０２Ａの条件に対応させなくても処理が可能となる。
【００３９】
そして、第２要素画像変換手段１４は、当該経路に従って、奥行き復元手段１３によって変換された光を、仮想空間上に配置された第２仮想光学素子アレイ１０２Ｂを通した光線に変換する。なお、仮想空間上に配置された第２仮想光学素子アレイ１０２Ｂの詳細については後記する（図２〜図７参照）。
【００４０】
ここで、第２要素画像変換手段１４における処理は、より詳細には図１に示すように、第２仮想光学素子光線入射状態算出手段１４ａにおける処理と、第２仮想光学素子光線出射状態算出手段１４ｂにおける処理と、輝度レベル算出手段１４ｃにおける処理とに分けることができる。
【００４１】
第２仮想光学素子光線入射状態算出手段１４ａは、前記した光線追跡手法を用いて、第１要素画像群の光線が対物光学系１０１から第２仮想光学素子アレイ１０２Ｂに対して逆に辿る経路を算出し、要素画像の光線が仮想空間上に配置された仮想対物光学系１０１Ａから第２仮想光学素子アレイ１０２Ｂに入射する際の光線情報を算出する。そして、第２仮想光学素子光線入射状態算出手段１４ａは、図１に示すように、その光線情報を第２仮想光学素子光線出射状態算出手段１４ｂに対して出力する。
【００４２】
続いて、第２仮想光学素子光線出射状態算出手段１４ｂは、前記した光線追跡手法を用いて、要素画像の光線が仮想空間上に配置された第２仮想光学素子アレイ１０２Ｂから出射する際の光線情報を算出する。そして、第２仮想光学素子光線出射状態算出手段１４ｂは、図１に示すように、その光線情報を輝度レベル算出手段１４ｃに対して出力する。
【００４３】
続いて、輝度レベル算出手段１４ｃは、第２仮想光学素子光線出射状態算出手段１４ｂから入力された光線情報に基づいて各光線の輝度レベルを算出し、当該輝度を、仮想空間上に配置された第２仮想撮像素子１０３Ｂの画素に割り当てる。そして、輝度レベル算出手段１４ｃは、図１に示すように、その光線情報を統合手段１５に対して出力する。
【００４４】
統合手段１５は、分配手段１１によって分配された要素画像を統合するものである。統合手段１５は、具体的には、第２要素画像変換手段１４によって変換された要素画像ごとの光線を統合することで、第２要素画像群を生成する。そして、統合手段１５は、図１に示すように、その第２要素画像群を外部の立体画像表示装置３に対して出力する。
【００４５】
以上のような構成を備える立体画像奥行き補正装置１は、予め立体画像撮影装置２において対物光学系１０１を通して撮影された第１要素画像群を構成する各光線を、光線追跡法を用いて立体画像撮影装置２における光線の経路とは反対の経路で逆伝搬させることで、対物光学系１０１によって奥行きが圧縮される前の奥行きを保持した第２要素画像群を生成することができる。従って、立体画像奥行き補正装置１によれば、立体画像の撮影時において、被写体Ｔの奥行き位置を制御する対物光学系１０１の水平および垂直方向の倍率ｍがｍ＜１である場合であっても、被写体Ｔと比較して奥行きが過度に圧縮されないように立体画像情報を補正することができる。そのため、立体画像の再生時において、より自然な立体視が可能となる。
【００４６】
（立体画像奥行き補正装置１における演算処理の概要）
以下、本発明に係る立体画像奥行き補正装置１による演算処理の概要について、図２〜図７を参照しながら説明する。以下では、前記した図１１と同様に、被写体Ｔの３つの物点Ａ，Ｂ，Ｃと、それに対応する実像Ｔ１の３つの像点Ａ，Ｂ，Ｃを考慮した場合について説明する。また、以下の説明では、図２に示すように、立体画像撮影装置２において、実像Ｔ１の像点Ａの位置に光学素子アレイ１０２を配置した場合について説明する。ただし、図２に示す光学素子アレイ１０２の位置は一例であり、これに限定されない。
【００４７】
＜光線の逆伝搬と新たな像点の生成＞
立体画像撮影装置２において、物点Ａ，Ｂ，Ｃからの光線は、図３（ａ）、図５（ａ）および図６（ａ）に示すように、対物光学系１０１および光学素子アレイ１０２を介して伝搬され、それぞれ像点Ａ，Ｂ，Ｃを形成する。そして、撮像素子１０３によって、像点Ａ，Ｂ，Ｃに対応する要素画像が撮像される。
【００４８】
これに対して、立体画像奥行き補正装置１は、図３（ｂ）、図５（ｂ）および図６（ｂ）に示すように、予め入力された立体画像撮影装置２の対物光学系１０１、光学素子アレイ１０２等の設定条件を示す情報に基づいて、第１要素画像変換手段１２および奥行き復元手段１３によって、仮想空間上にそれぞれ離間して配置された仮想対物光学系１０１Ａ、第１仮想光学素子アレイ１０２Ａ、第１仮想撮像素子１０３Ａを設定する。そして、第１要素画像変換手段１２および奥行き復元手段１３によって、像点Ａ，Ｂ，Ｃに対応する要素画像の光を立体画像撮影装置２における光線の方向とは逆の方向に逆伝搬させる演算処理を行う。なお、仮想対物光学系１０１Ａ、第１仮想光学素子アレイ１０２Ａ、第１仮想撮像素子１０３Ａは実際には存在せず、立体画像奥行き補正装置１が演算処理を行うために、設定されたように取り扱われる仮想的なものである。
【００４９】
立体画像奥行き補正装置１は、図３（ｂ）、図５（ｂ）および図６（ｂ）に示すように、撮像素子１０３上に生成された像点Ａ，Ｂ，Ｃに対応する要素画像の情報を元に、対物光学系１０１および光学素子アレイ１０２の屈折作用を考慮し、幾何学的な光線を逆伝搬することで像点Ａ’，Ｂ’，Ｃ’を生成する。
【００５０】
立体画像奥行き補正装置１は、具体的には第１要素画像変換手段１２の第１仮想光学素子光線入射状態算出手段１２ａによって、前記した光線追跡手法を用いて、像点Ａ，Ｂ，Ｃに対応する要素画像の光線が撮像素子１０３から光学素子アレイ１０２に対して逆に辿る経路を算出し、像点Ａ，Ｂ，Ｃが仮想空間上に配置された第１仮想撮像素子１０３Ａから第１仮想光学素子アレイ１０２Ａに入射する際の光線情報を算出し、その光線情報を第１仮想光学素子光線出射状態算出手段１２ｂに対して出力する。
【００５１】
続いて、立体画像奥行き補正装置１は、第１要素画像変換手段１２の第１仮想光学素子光線出射状態算出手段１２ｂによって、前記した光線追跡手法を用いて、像点Ａ，Ｂ，Ｃに対応する要素画像の光線が仮想空間上に配置された第１仮想光学素子アレイ１０２Ａから出射する際の光線情報を算出し、その光線情報を奥行き復元手段１３の仮想対物光学系光線入射状態算出手段１３ａに対して出力する。
【００５２】
なお、実際には図４に示すように、例えば物点Ａの光線は（１）、（２）という経路を進行して像点Ａに対応する要素画像の画素ａが生成するが、当該要素画像が生成された時点で（１）、（２）の経路情報が失われる。そのため、前記した第１仮想光学素子光線入射状態算出手段１２ａおよび第１仮想光学素子光線出射状態算出手段１２ｂは、図４に示すように、画素ａの光線を、対応する第１仮想光学素子アレイ１０２Ａの光学素子の主点を通る（３）の方向に逆伝搬させた光線情報を算出する。また、第１仮想光学素子光線入射状態算出手段１２ａおよび第１仮想光学素子光線出射状態算出手段１２ｂは、その他の物点の光線についても、同様の方法で逆伝搬させた光線情報を算出する。
【００５３】
続いて、立体画像奥行き補正装置１は、奥行き復元手段１３の仮想対物光学系光線入射状態算出手段１３ａによって、前記した光線追跡手法を用いて、像点Ａ，Ｂ，Ｃに対応する要素画像の光線が光学素子アレイ１０２から対物光学系１０１に対して逆に辿る経路を算出し、像点Ａ，Ｂ，Ｃに対応する要素画像の光線が仮想空間上に配置された第１仮想光学素子アレイ１０２Ａから仮想対物光学系１０１Ａに入射する際の光線情報を算出し、その光線情報を仮想対物光学系光線出射状態算出手段１３ｂに対して出力する。
【００５４】
続いて、立体画像奥行き補正装置１は、奥行き復元手段１３の仮想対物光学系光線出射状態算出手段１３ｂによって、前記した光線追跡手法を用いて、像点Ａ，Ｂ，Ｃに対応する要素画像の光線が仮想空間上に配置された仮想対物光学系１０１Ａから出射する際の光線情報を算出し、その光線情報を第２要素画像変換手段１４の第２仮想光学素子光線入射状態算出手段１４ａに対して出力する。
【００５５】
続いて、立体画像奥行き補正装置１は、図７（ａ）に示すように、第２要素画像変換手段１４によって、予め入力された第２仮想光学素子アレイ１０２Ｂおよび第２仮想撮像素子１０３Ｂ等の設定条件を示す情報に基づいて、仮想空間上にそれぞれ離間して配置された第２仮想光学素子アレイ１０２Ｂおよび第２仮想撮像素子１０３Ｂを設定する。なお、第２仮想光学素子アレイ１０２Ｂおよび第２仮想撮像素子１０３Ｂは実際には存在せず、立体画像奥行き補正装置１が演算処理を行うために、設定されたように取り扱われる仮想的なものである。また、図７（ａ）では、像点Ａ’の位置に第２仮想光学素子アレイ１０２Ｂを配置した場合について説明するが、一例であり当該第２仮想光学素子アレイ１０２Ｂの位置はこれに限定されない。
【００５６】
立体画像奥行き補正装置１は、具体的には第２要素画像変換手段１４の第２仮想光学素子光線入射状態算出手段１４ａによって、前記した光線追跡手法を用いて、像点Ａ，Ｂ，Ｃに対応する要素画像の光線が対物光学系１０１から第２仮想光学素子アレイ１０２Ｂに対して逆に辿る経路を算出するとともに、像点Ａ，Ｂ，Ｃに対応する要素画像の光線が仮想空間上に配置された仮想対物光学系１０１Ａから第２仮想光学素子アレイ１０２Ｂに入射する際の光線情報を算出し、その光線情報を第２仮想光学素子光線出射状態算出手段１４ｂに対して出力する。
【００５７】
続いて、立体画像奥行き補正装置１は、第２要素画像変換手段１４の第２仮想光学素子光線出射状態算出手段１４ｂによって、前記した光線追跡手法を用いて、像点Ａ，Ｂ，Ｃに対応する要素画像の光線が仮想空間上に配置された第２仮想光学素子アレイ１０２Ｂから出射する際の光線情報を算出し、その光線情報を輝度レベル算出手段１４ｃに対して出力する。
【００５８】
続いて、立体画像奥行き補正装置１は、図７（ｂ）に示すように、第２要素画像変換手段１４の輝度レベル算出手段１４ｃによって、第２仮想光学素子アレイ１０２Ｂの屈折作用を考慮して、逆伝搬させた光線によって生成された像点Ａ’，Ｂ’，Ｃ’の輝度レベルを算出し、当該輝度を第２仮想撮像素子１０３Ｂの画素に割り当てる。より具体的には、第２要素画像変換手段１４は、第２仮想撮像素子１０３Ｂの画素に対して、逆伝搬させた光線に対応する前記第１要素画像群の輝度レベルを割り当てる。以上の処理により、立体画像奥行き補正装置１は、像点Ａ’，Ｂ’，Ｃ’に対応する要素画像を生成する。
【００５９】
以上のような演算処理により、立体画像奥行き補正装置１は、図２に示すように、対物光学系１０１を通ることで被写体Ｔの物点Ａ，Ｂ，Ｃに対して過度に圧縮された像点Ａ，Ｂ，Ｃの奥行きを、図７に示すように、対物光学系１０１を通る前の正常な奥行きに戻すことができる。すなわち、図７に示す像点Ａ’，Ｂ’，Ｃ’等からなる実像Ｔ１の奥行きは、図２に示す物点Ａ，Ｂ，Ｃからなる被写体Ｔとほぼ同様の奥行きを保持している。
【００６０】
［立体画像奥行き補正プログラム］
ここで、前記した立体画像奥行き補正装置１は、一般的なコンピュータを、前記した各手段および各部として機能させるプログラムにより動作させることで実現することができる。このプログラムは、通信回線を介して配布することも可能であるし、ＣＤ−ＲＯＭ等の記録媒体に書き込んで配布することも可能である。
【００６１】
以上、本発明に係る立体画像奥行き補正装置およびそのプログラムについて、発明を実施するための形態により具体的に説明したが、本発明の趣旨はこれらの記載に限定されるものではなく、特許請求の範囲の記載に基づいて広く解釈されなければならない。また、これらの記載に基づいて種々変更、改変等したものも本発明の趣旨に含まれることはいうまでもない。
【００６２】
また、立体画像奥行き補正装置１は、前記したように、第１要素画像変換手段１２、奥行き復元手段１３および第２要素画像変換手段１４において、光の幾何学的な伝搬をシミュレートすることで光を逆伝搬する処理を行っているが、例えば光学素子アレイ１０２や対物光学系１０１の回折作用を考慮し、波動光学的に光を逆伝搬する処理を行っても構わない。この場合、波動光学的に光線を逆伝搬する手法として例えば以下の参考文献２に記載されたような一般的なフレネル近似を用いて要素画像ごとの光波を計算すればよい。
【００６３】
参考文献２：特開２０１１−９０３１８号公報
【００６４】
以下、波動光学的に光を逆伝搬する場合の立体画像奥行き補正装置１Ａの具体的な構成について、図８を参照しながら説明する。立体画像奥行き補正装置１Ａは、図８に示すように、分配手段１６と、第１要素画像変換手段１７と、奥行き復元手段１８と、第２要素画像変換手段１９と、統合手段２０と、を備えている。また、図８に示すように、第１要素画像変換手段１７は光波計算手段１７ａおよび位相シフト手段１７ｂを、奥行き復元手段１８は光波計算手段１８ａおよび位相シフト手段１８ｂを、第２要素画像変換手段１９は光波計算手段１９ａ、位相シフト手段１９ｂおよび光波計算手段１９ｃを、それぞれ備えている。
【００６５】
分配手段１６は、入力された映像信号における第１要素画像群を要素画像ごとに分配するものである。
【００６６】
光波計算手段１７ａは、要素画像の光波をフレネル近似することで、第１仮想光学素子アレイ１０２Ａ（図７参照）の仮想光学素子に入射する光波を演算するものである。光波計算手段１７ａは、第１仮想光学素子アレイ１０２Ａのｍ番目の仮想光学素子に到達する光波に相当する信号として、一般的なフレネル近似を用いて、以下の式（１）により要素画像ごとの光波（Ｒｉ，ｍ（ｘｏ，ｍ，ｙｏ，ｍ））を演算する。
【００６７】
【数１】
2015226088.tif 000003
【００６８】
ここで、ｘｓ，ｍ，ｘｏ，ｍは、それぞれ画像全体（第１要素画像群）におけるｍ番目の要素画像の中心のｘ座標、第１仮想光学素子アレイ１０２Ａのｍ番目の仮想光学素子の光軸中心からのｘ座標である。また、ｙｓ，ｍ，ｙｏ，ｍは、それぞれ画像全体（第１要素画像群）におけるｍ番目の要素画像の中心のｙ座標、第１仮想光学素子アレイ１０２Ａのｍ番目の仮想光学素子の光軸中心からのｙ座標である。また、ｄ１は、第１要素画像群から第１仮想光学素子アレイ１０２Ａまでの距離、ｋは、波数２π／λ（λは波長）である。この要素画像ごとの光波（Ｒｉ，ｍ（ｘｏ，ｍ，ｙｏ，ｍ））は、図８に示すように、位相シフト手段１７ｂに出力される。ｄ１として、第１仮想光学素子アレイ１０２Ａの仮想光学素子の焦点距離を用いても良い。
【００６９】
位相シフト手段１７ｂは、光波計算手段１７ａから入力された要素画像の光波（Ｒｉ，ｍ（ｘｏ，ｍ，ｙｏ，ｍ））から、位相を第１仮想光学素子アレイ１０２Ａ（図７参照）の仮想光学素子に相当する位相分だけシフトさせた光波を演算するものである。位相シフト手段１７ｂは、以下の式（２）に示すように、仮想光学素子に相当する位相分だけ光波（Ｒｉ，ｍ（ｘｏ，ｍ，ｙｏ，ｍ））をシフトさせることで、仮想光学素子から出射する光波に相当する信号（光波Ｒｏ，ｍ（ｘｏ，ｍ，ｙｏ，ｍ））を演算する。この要素画像ごとの光波（Ｒｏ，ｍ（ｘｏ，ｍ，ｙｏ，ｍ））は、図８に示すように、光波計算手段１８ａに出力される。
【００７０】
【数２】
2015226088.tif 000004
【００７１】
光波計算手段１８ａは、位相シフト手段１７ｂで変換された光波をフレネル近似することで、仮想対物光学系１０１Ａに入射する光波を演算するものである。光波計算手段１８ａは、仮想対物光学系１０１Ａに到達する光波に相当する信号として、一般的なフレネル近似を用いて、以下の式（３）により要素画像ごとの光波（Ｒｄ，ｍ（ｘ３，ｍ，ｙ３，ｍ））を演算する。
【００７２】
【数３】
2015226088.tif 000005
【００７３】
ここで、d２は、第１仮想光学素子アレイ１０２Aから仮想対物光学系１０１Ａまでの距離である。この要素画像ごとの光波（Ｒｄ，ｍ（ｘ３，ｍ，ｙ３，ｍ））は、図８に示すように、位相シフト手段１８ｂに出力される。
【００７４】
位相シフト手段１８ｂは、光波計算手段１８ａで変換された光波の位相を仮想対物光学系１０１Ａ（図７参照）に相当する位相分だけシフトさせた光波を演算するものである。位相シフト手段１８ｂは、以下の式（４）に示すように、仮想対物光学系１０１Ａに相当する位相分だけ光波（Ｒｄ，ｍ（ｘ３，ｍ，ｙ３，ｍ））をシフトさせることで、仮想対物光学系１０１Ａから出射する光波に相当する信号（光波Ｒｅ，ｍ（ｘ３，ｍ，ｙ３，ｍ））を演算する。
【００７５】
【数４】
2015226088.tif 000006
【００７６】
ここで、ｘ３，ｙ３は、仮想対物光学系１０１Ａの光学中心からの距離である。また、第１仮想光学素子アレイ１０２Ａの仮想光学素子のピッチをＰとすると、ｘ３＝ｘ３，ｍ＋ｍＰ，ｙ３＝ｙ３，ｍ＋ｍＰの関係が成り立つ。この位相シフト手段１８ｂで演算された要素画像ごとの光波（Ｒｅ，ｍ（ｘ３，ｍ，ｙ３，ｍ））は、図８に示すように、光波計算手段１９ａに出力される。
【００７７】
光波計算手段１９ａは、位相シフト手段１８ｂから入力された要素画像ごとの光波（Ｒｅ，ｍ（ｘ３，ｍ，ｙ３，ｍ））から、第２仮想光学素子アレイ１０２Ｂ（図７参照）の仮想光学素子に入射する光波を演算するものである。光波計算手段１９ａは、第２仮想光学素子アレイ１０２Ｂのｎ番目の仮想光学素子に到達する光波に相当する信号として、一般的なフレネル近似を用いて、以下の式（５）により要素画像ごとの光波（Ｒｐ，ｎ，ｍ（ｘｐ，ｎ，ｙｐ，ｎ））を演算する。
【００７８】
【数５】
2015226088.tif 000007
【００７９】
ここで、ｘｐ，ｎ，ｙｐ，ｎは、それぞれｎ番目の第２仮想光学素子アレイ１０２Ｂの仮想光学素子の光学中心からのｘ座標およびｙ座標である。また、ｄ３は、仮想対物光学系１０１Ａと第２仮想光学素子アレイ１０２Ｂとの距離である。この第２仮想光学素子アレイ１０２Ｂの仮想光学素子ごとの光波（Ｒｐ，ｎ，ｍ（ｘｐ，ｎ，ｙｐ，ｎ））は、図８に示すように、位相シフト手段１９ｂに出力される。なお、前記した式（５）では、位相シフト手段１８ｂから入力された要素画像ごとの光波から、第２仮想光学素子アレイ１０２Ｂの仮想光学素子に入射する光波のうち、第２仮想光学素子アレイ１０２Ｂのｎ番目の仮想光学素子に入射する光波の算出を示しているが、第２仮想光学素子アレイ１０２Ｂを構成する他の仮想光学素子に入射する光波の算出についても、同様に行う。従って、第１要素画像群のある一つの要素画像だけでなく、第１要素画像群から発せられ、第２仮想光学素子アレイ１０２Bのｎ番目の仮想光学素子に入射する全ての光波を考慮する。
【００８０】
位相シフト手段１９ｂは、光波計算手段１９ａで変換された光波（Ｒｐ，ｎ，ｍ（ｘｐ，ｎ，ｙｐ，ｎ））から、位相を第２仮想光学素子アレイ１０２Ｂ（図７参照）の仮想光学素子に相当する位相分だけシフトさせた光波を演算するものである。位相シフト手段１９ｂは、以下の式（６）に示すように、仮想光学素子に相当する位相分だけ光波（Ｒｐ，ｎ，ｍ（ｘｐ，ｎ，ｙｐ，ｎ））をシフトさせることで、仮想光学素子から出射する光波に相当する信号（光波Ｒｒ，ｎ，ｍ（ｘｐ，ｎ，ｙｐ，ｎ））を演算する。
【００８１】
【数６】
2015226088.tif 000008
【００８２】
ここで、ｆ２は、第２仮想光学素子アレイ１０２Ｂの仮想光学素子の焦点距離である。この仮想光学素子ごとの光波（Ｒｒ，ｎ，ｍ（ｘｐ，ｎ，ｙｐ，ｎ））は、図８に示すように、光波計算手段１９ｃに出力される。なお、前記した式（６）では、第２仮想光学素子アレイ１０２Ｂのｎ番目の仮想光学素子から出射する光波の算出を示しているが、第２仮想光学素子アレイ１０２Ｂを構成する他の仮想光学素子から出射する光波の算出についても、同様に行う。
【００８３】
光波計算手段１９ｃは、第２仮想光学素子アレイ１０２Ｂ（図７参照）の仮想光学素子ごとの光波をフレネル近似することで、仮想光学素子から出射し、第２仮想撮像素子１０３Ｂに到達する光波を演算するものである。光波計算手段１９ｃは、以下の式（７）により、第２仮想光学素子アレイ１０２Ｂのｎ番目の仮想光学素子から出射されて第２仮想撮像素子１０３Ｂに到達する光波（Ｒｓ，ｎ，ｍ（ｘｓ，ｎ，ｙｓ，ｎ））を演算する。
【００８４】
【数７】
2015226088.tif 000009
【００８５】
ここで、ｘｓ，ｎ，ｙｓ，ｎは、それぞれ要素画像の中心からのｘ座標およびｙ座標、ｄ４は、第２仮想光学素子アレイ１０２Ｂから第２仮想撮像素子１０３Ｂまでの距離である。ｄ４として、第２仮想光学素子アレイ１０２Ｂの仮想光学素子の焦点距離を用いても良い。この光波計算手段１９ｃで演算された光波（Ｒｓ，ｎ，ｍ（ｘｓ，ｎ，ｙｓ，ｎ））は、図８に示すように、統合手段２０に出力される。なお、前記した式（７）では、第２仮想光学素子アレイ１０２Ｂのｎ番目の仮想光学素子から出射されて第２仮想撮像素子１０３Ｂに到達する光波の算出を示しているが、第２仮想光学素子アレイ１０２Ｂを構成する他の仮想光学素子から出射する光波の算出についても、同様に行う。また、上記の段落００６６から段落００８５では、第１要素画像群の内、ｍ番目の要素画像について、第２仮想撮像素子１０３Ｂに到達する光波の算出処理を示したが、第１要素画像群の他の要素画像についても、同様の処理を行う。
【００８６】
統合手段２０は、光波計算手段１９ｃから出力された要素画像ごとの光波から、その光波電力の総和を演算することで、第２要素画像群を生成するものである。統合手段２０は、第１要素画像群の各要素画像（−Ｍ〜Ｍ）として発せられた光波の電力の総和を、以下の式（８）により演算することで、第２要素画像群の一つの要素画像（式（８）ではｎ番目の要素画像）の電力を求め、その電力に比例した映像信号を出力する。
【００８７】
【数８】
2015226088.tif 000010
【００８８】
以上のような演算処理により、立体画像奥行き補正装置１Ａは、立体画像の撮影時において、被写体Ｔの奥行き位置を制御する対物光学系１０１の水平および垂直方向の倍率ｍがｍ＜１である場合であっても、被写体Ｔと比較して奥行きが過度に圧縮されないように立体画像情報を補正することができる。そのため、立体画像の再生時において、より自然な立体視が可能となる。
【００８９】
なお、立体画像撮影装置２から入力された要素画像の光線は、第１要素画像変換手段１７および奥行き復元手段１８における処理を経ることで、被写体Ｔとほぼ同様の奥行きを保持した実像Ｔ１を構成する光線に変換される。そして、第２要素画像変換手段１９は、このように実際の空間と同様の状況が再現された状態で仮想空間上に第２仮想光学素子アレイ１０２Ｂを配置する。従って、立体画像奥行き補正装置１Ａにおいても、第２仮想光学素子アレイ１０２Ｂの条件（個数等）を第１仮想光学素子アレイ１０２Ａの条件に対応させる必要はなく、例えば第１仮想光学素子アレイ１０２Ａが１００個の仮想光学素子からなり、第２仮想光学素子アレイ１０２Ｂが２００個の仮想光学素子からなる場合であっても処理は可能である。
【符号の説明】
【００９０】
１，１Ａ  立体画像奥行き補正装置
２  立体画像撮影装置
３  立体画像表示装置
１１，１６  分配手段
１２，１７  第１要素画像変換手段
１２ａ  第１仮想光学素子光線入射状態算出手段
１２ｂ  第１仮想光学素子光線出射状態算出手段
１３，１８  奥行き復元手段
１３ａ  仮想対物光学系光線入射状態算出手段
１３ｂ  仮想対物光学系光線出射状態算出手段
１４，１９  第２要素画像変換手段
１４ａ  第２仮想光学素子光線入射状態算出手段
１４ｂ  第２仮想光学素子光線出射状態算出手段
１５，２０  統合手段
１７ａ，１８ａ，１９ａ，１９ｃ  光波計算手段
１７ｂ，１８ｂ，１９ｂ  位相シフト手段
１０１  対物光学系
１０１Ａ  仮想対物光学系
１０２  光学素子アレイ
１０２Ａ  第１仮想光学素子アレイ
１０２Ｂ  第２仮想光学素子アレイ
１０３  撮像素子
１０３Ａ  第１仮想撮像素子
１０３Ｂ  第２仮想撮像素子
１１２  光学素子アレイ
１１３  表示素子
Ｆ１  対物光学系の焦点
Ｆ２  仮想対物光学系の焦点
Ｔ  被写体
Ｔ１  実像
Ｔ２  立体像
t１，t２  微小な像
【図１】
2015226088.tif 000011
【図２】
2015226088.tif 000012
【図３】
2015226088.tif 000013
【図４】
2015226088.tif 000014
【図５】
2015226088.tif 000015
【図６】
2015226088.tif 000016
【図７】
2015226088.tif 000017
【図８】
2015226088.tif 000018
【図９】
2015226088.tif 000019
【図１０】
2015226088.tif 000020
【図１１】
2015226088.tif 000021