(57)【要約】【課題】ＩＰ方式で撮影された要素画像群を立体像として表示する際の空間歪みを抑える空間歪み補正装置を提供する。【解決手段】空間歪み補正装置１は、立体画像撮影装置が撮影した要素画像群に対して、立体画像表示装置と同配列の仮想要素光学系群を介した波動光学演算を行うことで、仮想要素光学系群からの距離が異なる予め設定された距離平面ごとの平面光強度分布を算出する平面光強度分布算出手段３０と、平面光強度分布を距離に対応付けて体積光強度分布として記憶する体積光強度分布記憶手段４０と、空間歪み情報に基づいて、体積光強度分布の座標を補正する空間位置補正手段５０と、補正された体積光強度分布の距離平面ごとに、仮想要素光学系群を介した波動光学演算により、仮想要素光学系群の後側焦平面上において、補正後の要素画像群を生成する補正要素画像群生成手段６０と、を備えることを特徴とする。【選択図】図１
2014060648.tif 000002
【特許請求の範囲】
【請求項１】
インテグラルフォトグラフィ方式により立体画像撮影装置が撮影した映像信号である要素画像群を立体画像表示装置において表示する際に生じる立体像の空間歪みを抑えるように、前記立体画像表示装置が用いる要素画像群を補正する空間歪み補正装置であって、
前記立体画像撮影装置が撮影した要素画像群を入力し、当該要素画像群に対して、前記立体画像表示装置の要素光学系のピッチおよび焦点距離が同じ仮想要素光学系を２次元状に配列した仮想要素光学系群を介した波動光学演算を行うことで、当該仮想要素光学系群からの距離が異なる予め設定された距離平面ごとの光強度分布である平面光強度分布を算出する平面光強度分布算出手段と、
この平面光強度分布算出手段で算出された距離平面ごとの平面光強度分布を、距離に対応付けて、前記立体像を表示する立体像空間上の体積光強度分布として記憶する体積光強度分布記憶手段と、
前記立体画像撮影装置および前記立体画像表示装置のそれぞれの要素光学系のピッチの比率、焦点距離の比率、および、要素画像の大きさの比率で特定される空間歪み情報に基づいて、前記体積光強度分布記憶手段に記憶されている立体像空間上の体積光強度分布の座標を補正する空間位置補正手段と、
この空間位置補正手段で補正された体積光強度分布の距離平面ごとに、前記仮想要素光学系群を介して、波動光学演算を行うことで、前記仮想要素光学系群の後側焦平面上において、補正後の要素画像群を生成する補正要素画像群生成手段と、
を備えることを特徴とする空間歪み補正装置。
【請求項２】
前記平面光強度分布算出手段は、
前記入力された要素画像群を、前記立体画像表示装置の要素画像の大きさで分割する分割手段と、
この分割手段で分割された要素画像ごとに、当該要素画像の画素値を光波として、前記仮想要素光学系の焦点距離だけ伝搬演算することで、前記仮想要素光学系に伝搬する光波を算出する第１光波算出手段と、
この第１光波算出手段で算出された前記仮想要素光学系に伝搬した要素画像ごとの光波を、前記仮想要素光学系の位相分だけシフトさせる第１位相シフト手段と、
この第１位相シフト手段で位相シフトされた光波を、前記予め設定された距離平面ごとに伝搬演算することで、前記距離平面ごとの要素画像の光波を算出する第２光波算出手段と、
前記距離平面ごとに、前記第２光波算出手段で算出された要素画像の光波を、前記要素画像群分だけ結合して前記平面光強度分布とする結合手段と、を備え、
前記補正要素画像群生成手段は、
前記空間位置補正手段で補正された体積光強度分布の距離平面ごとの平面光強度分布を、前記仮想要素光学系群まで伝搬演算することで、当該仮想要素光学系群に伝搬する光波を算出する第３光波算出手段と、
この第３光波算出手段で算出された前記仮想要素光学系群に伝搬した光波を、前記仮想要素光学系の位相分だけシフトさせる第２位相シフト手段と、
この第１位相シフト手段で位相シフトされた光波を、前記仮想要素光学系ごとに、当該仮想要素光学系の焦点距離まで伝搬演算することで、当該焦点距離における光波を算出する第４光波算出手段と、
この第４光波算出手段で算出された前記仮想要素光学系ごとの光波を、前記距離平面分だけ加算することで、補正後の要素画像の光波を算出する加算手段と、
この加算手段で算出された補正後の要素画像の光波を画素値として、要素画像分連結することで、補正後の要素画像群を生成する連結手段と、
を備えることを特徴とする請求項１に記載の空間歪み補正装置。
【請求項３】
前記立体画像撮影装置の要素光学系のピッチをｐｃ、焦点距離をｄｃ、要素画像の大きさをｋｃとし、前記立体画像表示装置の要素光学系のピッチをｐｒ、焦点距離をｄｒ、要素画像の大きさをｋｒとしたとき、補正前の前記立体像空間の座標（ｘｒ，ｙｒ，ｚｒ）と、
【数１】
2014060648.tif 000020
により算出した補正後の座標（ｘｃ，ｙｃ，ｚｃ）とを対応付けて前記空間歪み情報として生成する空間歪み情報算出手段をさらに備えることを特徴とする請求項１または請求項２に記載の空間歪み補正装置。
【請求項４】
前記立体画像撮影装置が、要素光学系より被写体側に他の光学系を有し、前記被写体と前記他の光学系との距離をＬ１、前記他の光学系を介して結像する実像と前記他の光学系との距離をＬ２、前記他の光学系の焦点距離をｆとしたとき、
前記立体画像撮影装置の要素光学系のピッチをｐｃ、焦点距離をｄｃ、要素画像の大きさをｋｃとし、前記立体画像表示装置の要素光学系のピッチをｐｒ、焦点距離をｄｒ、要素画像の大きさをｋｒとしたとき、補正前の前記立体像空間の座標（ｘｒ，ｙｒ，ｚｒ）と、
【数２】
2014060648.tif 000021
により算出した補正後の座標（ｘｃ′，ｙｃ′，ｚｃ′）とを対応付けて前記空間歪み情報として生成する空間歪み情報算出手段をさらに備えることを特徴とする請求項１または請求項２に記載の空間歪み補正装置。
【請求項５】
インテグラルフォトグラフィ方式により立体画像撮影装置が撮影した映像信号である要素画像群を立体画像表示装置において表示する際に生じる立体像の空間歪みを抑えるように、前記立体画像表示装置が用いる要素画像群を補正するために、コンピュータを、
前記立体画像撮影装置が撮影した要素画像群を入力し、当該要素画像群に対して、前記立体画像表示装置の要素光学系のピッチおよび焦点距離が同じ仮想要素光学系を２次元状に配列した仮想要素光学系群を介した波動光学演算を行うことで、当該仮想要素光学系群からの距離が異なる予め設定された距離平面ごとの光強度分布である平面光強度分布を算出し、距離に対応付けて、前記立体像を表示する立体像空間上の体積光強度分布として体積光強度分布記憶手段に記憶させる平面光強度分布算出手段、
前記立体画像撮影装置および前記立体画像表示装置のそれぞれの要素光学系のピッチの比率、焦点距離の比率、および、要素画像の大きさの比率で特定される空間歪み情報に基づいて、前記体積光強度分布記憶手段に記憶されている立体像空間上の体積光強度分布の座標を補正する空間位置補正手段、
この空間位置補正手段で補正された体積光強度分布の距離平面ごとに、前記仮想要素光学系群を介して、波動光学演算を行うことで、前記仮想要素光学系群の後側焦平面上において、補正後の要素画像群を生成する補正要素画像群生成手段、
として機能させるための空間歪み補正プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、インテグラルフォトグラフィ方式により被写体を撮影した要素画像群を、立体像として表示させる際に生じる空間歪みを防止するために、要素画像群を補正する空間歪み補正装置およびそのプログラムに関する。
【背景技術】
【０００２】
従来、任意の視点から自由に立体像を視認することが可能な立体像表示方式の一つとして、平面状に配列された凸レンズ群（レンズアレイ）あるいはピンホール群（空間フィルタ）を利用したインテグラルフォトグラフィ（Integral Photography：以下ＩＰ）方式が知られている（例えば、特許文献１等）。
【０００３】
ここで、図１２を参照して従来のＩＰ方式について説明する。図１２（ａ）はＩＰ方式における撮影の仕組みを示し、図１２（ｂ）はＩＰ方式における立体像の表示の仕組みを示している。
図１２（ａ）に示すように、立体画像撮影装置１００は、矢印で示す撮影方向Ａから、例えば、微小な凸レンズ等の光学素子である要素光学系（以下、要素レンズ）で構成された光学素子アレイ（以下、要素レンズ群）１０１を介して被写体Ｈを撮影する。ここで、撮影方向Ａは、立体画像撮影装置１００が要素レンズ群１０１の前方（図１２（ａ）では左方）に配置された被写体Ｈを撮影する方向である。このとき、要素レンズ群１０１の後方（図１２（ａ）では右方）の撮影板１０２には、要素レンズ群１０１を構成する要素レンズの個数と同じ個数だけ被写体Ｈの像（要素画像）が要素画像群１０３として結像する。ここで、撮影板１０２は、基板上に配設された複数の撮像素子を備えて構成された情報取得デバイスである。各撮像素子は、例えば、ＣＣＤ（Charge Coupled Device）撮像素子である。
【０００４】
また、図１２（ｂ）に示すように、立体画像表示装置２００は、一平面状に凸レンズ等の要素レンズを配列した要素レンズ群２０１と表示板（表示素子）２０２により構成され、表示板２０２に、図１２（ａ）に示した立体画像撮影装置１００の撮影板１０２により撮影された要素画像群２０３を表示する。そして、観察者Ｏが、観察方向Ｂとして、要素レンズ群２０１を介して表示板２０２を見ると、被写体Ｈに対応した立体像Ｍが視認される。ここで、表示板２０２は、例えば液晶パネル等の情報表示デバイスである。
なお、図１２（ａ），（ｂ）では、要素レンズ群１０１，２０１として、微小な光学素子アレイを用いているが、微小開口アレイ（空間フィルタ）を用いてもよい。
【０００５】
ここで、図１２（ａ）において、被写体Ｈの大きさ（高さ）をｘｃ、要素レンズ群１０１から被写体Ｈまでの距離をｚｃ、要素レンズ群１０１から撮影板１０２の撮影面までの距離をｄｃ、要素レンズ群１０１を構成する要素レンズの中心間隔（ピッチ）をｐｃ、撮影板１０２で撮影される被写体の像（要素画像）の大きさ（高さ）をｋｃとする。
【０００６】
また、図１２（ｂ）において、立体像Ｍの大きさ（高さ）をｘｒ、要素レンズ群２０１から立体像Ｍまでの距離をｚｒ、要素レンズ群２０１から表示板２０２の表示面までの距離をｄｒ、要素レンズ群２０１を構成する要素レンズの中心間隔（ピッチ）をｐｒ、表示板２０２に表示される個々の像（要素画像）の大きさ（高さ）をｋｒとする。
なお、図１２中、（＋），（−）は、それぞれｘｙｚ座標の正方向、負方向を示す。
この場合、非特許文献１に記載されているように、ｘｃとｘｒとの関係は、以下の式（１）の関係を有する。なお、図１２には示していないが、被写体Ｈの大きさ（幅）ｙｃと立体像Ｍの大きさ（幅）ｙｒとの関係は、式（１）と同様に式（２）の関係を有する。また、ｚｃとｚｒとの関係は、以下の式（３）の関係を有する。
【０００７】
【数１】
2014060648.tif 000003
【０００８】
この式（１）〜式（３）からも分かるように、γ（要素画像の大きさの比）とα（要素レンズのピッチの比）とが等しくない場合、立体像Ｍの大きさｘｒ（ｙｒ）は、被写体Ｈの大きさｘｃ（ｙｃ）に対して非線形に歪みが生じ、要素レンズ群２０１から立体像Ｍまでの距離ｚｒは、要素レンズ群１０１から被写体Ｈまでの距離ｚｃに対して非線形に歪みが生じることになる。
【０００９】
なお、図１２で説明したＩＰ方式により被写体Ｈを撮影し、立体像Ｍとして表示させた場合、例えば、図１２（ａ）では、撮影方向Ａに対して、被写体Ｈの円柱が角柱よりも手前に存在し、図１２（ｂ）では、観察方向Ｂに対して、立体像Ｍの角柱が円柱よりも手前に視認される、いわゆる逆視現象が発生する。
この逆視現象を解決する手法は、すでに一般的な技術として開示されている（例えば、特許文献１参照）。ここで、逆視現象を解決する一手法である特許文献１に開示されている立体画像奥行き変換装置について、図１３を参照して簡単に説明しておく。
【００１０】
図１３（ａ）は、図１２（ａ）で取得した要素画像群３０３、第１の仮想的な要素レンズ群３０１、仮想的に生成される立体像Ｍ１、第２の仮想的な要素レンズ群３１１、第２の仮想的な要素レンズ群３１１により生成される要素画像群３１３（仮想的に生成された立体像Ｍ１の像）を示す図である。ここで、要素画像群３１３は、光学的に生成されるものではなく、立体画像奥行き変換装置３００における演算処理により生成される。
【００１１】
図１３（ｂ）に示した立体画像表示装置２００は、図１２（ｂ）に示した立体画像表示装置２００と同じものであって、表示する要素画像群のみが異なっている。すなわち、図１３（ｂ）に示した立体画像表示装置２００は、図１３（ａ）で演算処理により生成された要素画像群２０３（つまり図１３（ａ）における要素画像群３１３）を表示する。このように、立体画像表示装置２００は、立体画像奥行き変換装置３００において奥行きが変換された要素画像群２０３を表示することで、観察方向Ｂから見て、立体像Ｍ２として、円柱が角柱に対して手前に観察されることとなる。この立体像Ｍ２は、図１２（ａ）における被写体Ｈの奥行き関係と等価である。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】特開２００７−１１４４８３号公報
【非特許文献】
【００１３】
【非特許文献１】J.Arai, M.Okui, M.Kobayashi, and F.Okano:"Geometrical effects of positional errors in integral photography", J. Opt. Soc. Am. A，Vol. 21，pp.951-958，2004
【発明の概要】
【発明が解決しようとする課題】
【００１４】
従来のＩＰ方式を用いて立体像を表示させる手法では、前記した式（１）〜式（３）で説明したように、立体画像撮影装置と立体画像表示装置との間で、要素画像の大きさの比と光学素子のピッチの比とが異なった場合、立体像の大きさや再生位置（レンズからの距離）が非線形に歪んでしまう。
そのため、立体像を表示する立体像空間は、被写体を撮影した被写体空間に対して歪みを持ち、立体像は、元の被写体に対して歪んだ形状で表示されてしまうという問題がある。
【００１５】
本発明は、このような問題に鑑みてなされたものであり、ＩＰ方式により撮影された被写体の要素画像群を補正することで、表示時における立体像の空間歪みを抑えることが可能な空間歪み補正装置およびそのプログラムを提供することを課題とする。
【課題を解決するための手段】
【００１６】
本発明は、前記課題を解決するために創案されたものであり、まず、請求項１に記載の空間歪み補正装置は、インテグラルフォトグラフィ方式により立体画像撮影装置が撮影した映像信号である要素画像群を立体画像表示装置において表示する際に生じる立体像の空間歪みを抑えるように、前記立体画像表示装置が用いる要素画像群を補正する空間歪み補正装置であって、平面光強度分布算出手段と、体積光強度分布記憶手段と、空間位置補正手段と、補正要素画像群生成手段と、を備える構成とした。
【００１７】
かかる構成において、空間歪み補正装置は、平面光強度分布算出手段によって、立体画像撮影装置が撮影した映像信号である要素画像群を入力する。そして、空間歪み補正装置は、平面光強度分布算出手段によって、入力した要素画像群から、立体画像表示装置の要素光学系のピッチおよび焦点距離が同じ仮想要素光学系を２次元状に配列した仮想要素光学系群を介して、フレネル近似等の波動光学演算を行うことで、当該仮想要素光学系群からの距離が異なる予め設定された距離平面ごとの光強度分布である平面光強度分布を算出し、距離に対応付けて、立体像を表示する立体像空間上の体積光強度分布として体積光強度分布記憶手段に記憶させる。
【００１８】
このように、立体画像表示装置と同じ要素光学系を仮想的に空間上に配置して、要素画像群に対して波動光学演算を行うことで、生成された体積光強度分布は、立体画像表示装置が立体像を表示する立体像空間を仮想的に示したものとなる。
【００１９】
そして、空間歪み補正装置は、空間位置補正手段によって、立体画像撮影装置および立体画像表示装置のそれぞれの要素光学系のピッチの比率、焦点距離の比率、および、要素画像の大きさの比率で特定される空間歪み情報に基づいて、体積光強度分布記憶手段に記憶されている立体像空間上の体積光強度分布の座標を補正する。これによって、仮想的に再現された立体像空間から空間歪みが除去された被写体空間が仮想的に再現されることになる。
【００２０】
そして、空間歪み補正装置は、補正要素画像群生成手段によって、空間位置補正手段で補正された体積光強度分布の距離平面ごとに、仮想要素光学系群を介して、フレネル近似等の波動光学演算を行うことで、仮想要素光学系群の後側焦平面上において、補正後の要素画像群を生成する。このように、仮想的に再現した立体像空間の歪みを除去した空間上の体積光強度分布から要素画像群を生成することで、立体画像表示装置で立体像を表示する際に生じる空間歪が予め除去されていることになる。
【００２１】
また、請求項２に記載の空間歪み補正装置は、請求項１に記載の空間歪み補正装置において、前記平面光強度分布算出手段が、分割手段と、第１光波算出手段と、第１位相シフト手段と、第２光波算出手段と、結合手段と、を備え、前記補正要素画像群生成手段が、第３光波算出手段と、第２位相シフト手段と、第４光波算出手段と、加算手段と、連結手段と、を備える構成とした。
【００２２】
かかる構成において、空間歪み補正装置は、平面光強度分布算出手段の分割手段によって、入力された要素画像群を、立体画像表示装置の要素画像の大きさで分割する。
そして、空間歪み補正装置は、第１光波算出手段によって、分割手段で分割された要素画像ごとに、当該要素画像の画素値を光波として、仮想要素光学系の焦点距離だけ伝搬演算することで、仮想要素光学系に伝搬する光波を算出する。ここで、光波とは、映像信号を光の波動として扱った場合の振幅と位相を複素数で表したものであって、画素値を振幅とし、予め定めた位相を付加したものである。ただし、位相は必ずしも付加する必要はない。
【００２３】
そして、空間歪み補正装置は、第１位相シフト手段によって、第１光波算出手段で算出された仮想要素光学系に伝搬した要素画像ごとの光波を、仮想要素光学系の位相分だけシフトさせる。さらに、空間歪み補正装置は、第２光波算出手段によって、第１位相シフト手段で位相シフトされた光波を、予め設定された距離平面ごとに伝搬演算することで、距離平面ごとの要素画像の光波を算出する。
【００２４】
そして、空間歪み補正装置は、結合手段によって、距離平面ごとに、第２光波算出手段で算出された要素画像の光波を、要素画像群分だけ結合して平面光強度分布とする。
これによって、要素画像群から、複数の平面光強度分布で構成された体積光強度分布が生成され、立体像空間に光強度分布が展開されることになる。
【００２５】
また、空間歪み補正装置は、補正要素画像群生成手段の第３光波算出手段によって、空間位置補正手段で補正された体積光強度分布の距離平面ごとの平面光強度分布を、仮想要素光学系群まで伝搬演算することで、当該仮想要素光学系群に伝搬する光波を算出する。
そして、空間歪み補正装置は、第２位相シフト手段によって、第３光波算出手段で算出された仮想要素光学系群に伝搬した光波を、仮想要素光学系の位相分だけシフトさせる。さらに、空間歪み補正装置は、第４光波算出手段によって、第１位相シフト手段で位相シフトされた光波を、仮想要素光学系ごとに、当該仮想要素光学系の焦点距離まで伝搬演算することで、当該焦点距離における光波を算出する。
【００２６】
そして、空間歪み補正装置は、加算手段によって、第４光波算出手段で算出された仮想要素光学系ごとの光波を、距離平面分だけ加算することで、補正後の要素画像の光波を算出する。
そして、空間歪み補正装置は、連結手段によって、補正後の要素画像の光波を画素値として、要素画像分連結することで、補正後の要素画像群を生成する。
これによって、立体像空間上で空間位置が補正された光強度分布が、再度、要素画像群として、平面上に再投影されることになる。
【００２７】
さらに、請求項３に記載の空間歪み補正装置は、請求項１または請求項２に記載の空間歪み補正装置において、立体画像撮影装置の要素光学系のピッチをｐｃ、焦点距離をｄｃ、要素画像の大きさをｋｃとし、立体画像表示装置の要素光学系のピッチをｐｒ、焦点距離をｄｒ、要素画像の大きさをｋｒとしたとき、補正前の立体像空間の座標（ｘｒ，ｙｒ，ｚｒ）と、
【数２】
2014060648.tif 000004
により算出した補正後の座標（ｘｃ，ｙｃ，ｚｃ）とを対応付けて空間歪み情報として生成する空間歪み情報算出手段をさらに備える構成とした。なお、ここでは、補正後のｘｃ座標，ｙｃ座標を算出する際に、補正後のｚｃ座標を用いているが、まず、補正後のｚｃ座標を算出し、このｚｃ座標を用いて補正後のｘｃ座標，ｙｃ座標を算出すればよい。
【００２８】
かかる構成において、空間歪み補正装置は、空間歪み情報算出手段によって、要素画像の大きさの比γと要素光学系のピッチの比αとが等しくない場合に生じる非線形な空間の歪みをこの演算式により補正し、補正前の空間座標（ｘｒ，ｙｒ，ｚｒ）と補正後の空間座標（ｘｃ，ｙｃ，ｚｃ）とを対応付けることで、空間歪み情報を生成する。
【００２９】
また、請求項４に記載の空間歪み補正装置は、請求項１または請求項２に記載の空間歪み補正装置において、立体画像撮影装置が、要素光学系より被写体側に他の光学系を有し、被写体と他の光学系との距離をＬ１、他の光学系を介して結像する実像と他の光学系との距離をＬ２、他の光学系の焦点距離をｆとしたとき、立体画像撮影装置の要素光学系のピッチをｐｃ、焦点距離をｄｃ、要素画像の大きさをｋｃとし、立体画像表示装置の要素光学系のピッチをｐｒ、焦点距離をｄｒ、要素画像の大きさをｋｒとしたとき、補正前の立体像空間の座標（ｘｒ，ｙｒ，ｚｒ）と、
【数３】
2014060648.tif 000005
により算出した補正後の座標（ｘｃ′，ｙｃ′，ｚｃ′）とを対応付けて空間歪み情報として生成する空間歪み情報算出手段をさらに備える構成とした。なお、ここでは、補正後のｘｃ′座標，ｙｃ′座標を算出する際に、補正後のｚｃ′座標を用いているが、まず、補正後のｚｃ′座標を算出し、このｚｃ′座標を用いて補正後のｘｃ′座標，ｙｃ′座標を算出すればよい。
【００３０】
かかる構成において、空間歪み補正装置は、空間歪み情報算出手段によって、要素画像の大きさの比γと要素光学系のピッチの比αとが等しくない場合に生じる非線形な空間の歪みに加え、要素光学系よりも前段階で発生する他の光学系によって生じる光学歪みをこの演算式により補正し、補正前の空間座標（ｘｒ，ｙｒ，ｚｒ）と補正後の空間座標（ｘｃ，ｙｃ，ｚｃ）とを対応付けることで、空間歪み情報を生成する。
【００３１】
また、請求項５に記載の空間歪み補正プログラムは、インテグラルフォトグラフィ方式により立体画像撮影装置が撮影した映像信号である要素画像群を立体画像表示装置において表示する際に生じる立体像の空間歪みを抑えるように、前記立体画像表示装置が用いる要素画像群を補正するために、コンピュータを、平面光強度分布算出手段、空間位置補正手段、補正要素画像群生成手段、として機能させる構成とした。
【００３２】
かかる構成において、空間歪み補正プログラムは、平面光強度分布算出手段によって、立体画像撮影装置が撮影した映像信号である要素画像群を入力する。そして、空間歪み補正プログラムは、平面光強度分布算出手段によって、入力した要素画像群に対して、立体画像表示装置の要素光学系のピッチおよび焦点距離が同じ仮想要素光学系を２次元状に配列した仮想要素光学系群を介したフレネル近似等の波動光学演算を行うことで、当該仮想要素光学系群からの距離が異なる予め設定された距離平面ごとの光強度分布である平面光強度分布を算出し、距離に対応付けて、立体像を表示する立体像空間上の体積光強度分布として体積光強度分布記憶手段に記憶させる。
【００３３】
そして、空間歪み補正プログラムは、空間位置補正手段によって、立体画像撮影装置および立体画像表示装置のそれぞれの要素光学系のピッチの比率、焦点距離の比率、および、要素画像の大きさの比率で特定される空間歪み情報に基づいて、体積光強度分布記憶手段に記憶されている立体像空間上の体積光強度分布の座標を補正する。
そして、空間歪み補正プログラムは、補正要素画像群生成手段によって、空間位置補正手段で補正された体積光強度分布の距離平面ごとに、仮想要素光学系群を介して、フレネル近似等の波動光学演算を行うことで、仮想要素光学系群の後側焦平面上において、補正後の要素画像群を生成する。
【発明の効果】
【００３４】
本発明は、以下に示す優れた効果を奏するものである。
請求項１，２，５に記載の発明によれば、ＩＰ方式により立体画像撮影装置で撮影された要素画像群を、立体像空間に展開して歪みを補正した後、要素画像群を再生成するため、立体画像表示装置で表示する際の立体像の歪みを抑えることができる。
請求項３に記載の発明によれば、立体画像撮影装置と立体画像表示装置とで、要素画像の大きさの比や光学素子のピッチの比が異なる場合であっても、光学素子の情報を設定するだけで、どの程度の空間歪が発生するのかを演算によって求めることができるため、任意の立体画像表示装置において、歪みのない立体像を表示させることが可能になる。
請求項４に記載の発明によれば、立体画像撮影装置と立体画像表示装置との関係で発生する空間歪み以外に、立体画像撮影装置内部の光学系において歪みが発生する場合であっても、その発生する歪みを演算によって求め、補正することができる。これによって、立体画像表示装置において、歪みのない立体像を表示させることができる。
【図面の簡単な説明】
【００３５】
【図１】本発明の実施形態に係る空間歪み補正装置の構成を示すブロック図である。
【図２】図１の空間歪み補正装置の平面光強度分布算出手段の構成を示すブロック図である。
【図３】図１の空間歪み補正装置の補正要素画像群生成手段の構成を示すブロック図である。
【図４】被写体空間と立体像空間との関係を模式的に示した図である。
【図５】図２の平面光強度分布算出手段が生成する光強度分布を説明するための説明図である。
【図６】図２の平面光強度分布算出手段における光強度分布を生成するまでの光波を説明するための説明図である。
【図７】図１の空間歪み補正装置の体積光強度分布記憶手段に記憶する体積光強度分布を説明するための説明図である。
【図８】図１の空間歪み補正装置の空間位置補正手段における体積光強度分布を補正する概念を示す図である。
【図９】図１の空間歪み補正装置の補正要素画像群生成手段における補正要素画像群を生成する概念を説明するための説明図である。
【図１０】図１の空間歪み補正装置の動作を示すフローチャートである。
【図１１】立体画像撮影装置における光学歪みを説明するための説明図である。
【図１２】従来のＩＰ方式における被写体の撮影と立体像の表示を説明するための説明図である。
【図１３】従来のＩＰ方式における逆視現象を解消させる手法を説明するための説明図である。
【発明を実施するための形態】
【００３６】
以下、本発明の実施形態について図面を参照して説明する。
［空間歪み補正装置の構成］
最初に、図１を参照して、本発明の実施形態に係る空間歪み補正装置の構成について説明する。空間歪み補正装置１は、立体画像表示装置２００においてＩＰ方式により立体像を表示する際に、空間歪みが生じないように、立体画像撮影装置１００で撮影された要素画像群を補正するものである。
【００３７】
この空間歪み補正装置１は、ＩＰ方式を用いた立体画像撮影装置１００が撮影した映像信号である要素画像群を入力し、補正した要素画像群（補正要素画像群）を出力する。この補正要素画像群は、ＩＰ方式を用いた立体画像表示装置２００において、立体像を表示する際の要素画像群として使用される。
【００３８】
立体画像撮影装置１００は、被写体を要素画像群として撮影する一般的なＩＰ方式を用いた撮影装置であって、例えば、図１２に示した立体画像撮影装置１００である。また、立体画像表示装置２００は、要素画像群を立体像として表示する一般的な表示装置であって、例えば、図１２に示した立体画像表示装置２００である。
なお、空間歪み補正装置１に入力される要素画像群は、実際の被写体を撮影した映像信号である必要はなく、コンピュータグラフィックス等、計算機（不図示）によって、立体画像撮影装置１００を模式的に再現して生成されたものであっても構わない。
【００３９】
また、空間歪み補正装置１は、外部から光学素子情報を入力する。この光学素子情報は、立体画像撮影装置１００および立体画像表示装置２００が備える光学素子である要素光学系（以下、要素レンズ）の特性および配置を示す情報である。
具体的には、光学素子情報は、立体画像撮影装置１００に関連する情報として、図１２（ａ）に示した立体画像撮影装置１００の要素レンズ群１０１から撮影板１０２の撮影面までの距離（要素レンズの焦点距離）ｄｃ、要素レンズ群１０１を構成する要素レンズの中心間隔（ピッチ）ｐｃ、撮影板１０２で撮影される被写体の要素画像の大きさｋｃ、および、要素レンズの配置位置を含んでいる。
【００４０】
また、光学素子情報は、立体画像表示装置２００に関連する情報として、図１２（ｂ）に示した立体画像表示装置２００の要素レンズ群２０１から表示板２０２の表示面までの距離（要素レンズの焦点距離）ｄｒ、要素レンズ群２０１を構成する要素レンズの中心間隔（ピッチ）ｐｒ、表示板２０２に表示される要素画像の大きさｋｒ、および、要素レンズの配置位置を含んでいる。
【００４１】
空間歪み補正装置１は、この光学素子情報に基づいて、要素画像群を補正するため、ここでは、空間歪み情報算出手段１０と、空間歪み情報記憶手段２０と、平面光強度分布算出手段３０と、体積光強度分布記憶手段４０と、空間位置補正手段５０と、補正要素画像群生成手段６０と、を備える。
【００４２】
空間歪み情報算出手段１０は、被写体を撮影した空間（被写体空間）と、立体像を表示する空間（立体像空間）との空間歪みを算出するものである。ここで、被写体空間とは、被写体を含んだ仮想的な３次元座標空間である。また、立体像空間は、要素画像群を立体像として表示した際の仮想的な３次元座標空間である。この被写体空間および立体像空間は、空間歪みが存在していなければ同一の空間であるが、現実には、空間歪みが存在しているため、図４に示すように、図４（ｂ）の立体像空間は、図４（ａ）の被写体空間に対して歪んだ空間となる。
そこで、空間歪み情報算出手段１０は、被写体空間内の座標と、立体像空間内の座標との対応を空間歪み情報として算出する。
【００４３】
具体的には、空間歪み情報算出手段１０は、前記式（１）〜式（３）の逆演算となる以下の式（４）〜式（６）により、立体像空間内の座標（ｘｒ，ｙｒ，ｚｒ）が、どの被写体空間内の座標（ｘｃ，ｙｃ，ｚｃ）に対応するのかを算出する。
【００４４】
【数４】
2014060648.tif 000006
【００４５】
なお、ここでは、式（４），式（５）において、補正後のｘｃ座標，ｙｃ座標を算出する際に、補正後のｚｃ座標を用いているが、まず、式（６）を用いて補正後のｚｃ座標を算出し、このｚｃ座標を用いて式（４），式（５）により補正後のｘｃ座標，ｙｃ座標を算出すればよい。
【００４６】
この空間歪み情報算出手段１０が算出する立体像空間の範囲は、後記する体積光強度分布記憶手段４０に記憶される体積光強度分布を含む範囲とする。この体積光強度分布の範囲については、平面光強度分布算出手段３０の説明において併せて説明することとする。
この空間歪み情報算出手段１０は、被写体空間内の座標と立体像空間内の座標とを対応付けて空間歪み情報として空間歪み情報記憶手段２０に書き込む。
なお、この空間歪み情報算出手段１０は、要素画像群を補正するたびに空間歪み情報を算出する必要はなく、立体画像撮影装置１００および立体画像表示装置２００の光学素子情報に変更があった場合にのみ算出すれよい。
【００４７】
空間歪み情報記憶手段２０は、空間歪み情報算出手段１０で算出された空間歪み情報を記憶するもので、ハードディスク等の一般的な記憶装置である。この空間歪み情報は、空間位置補正手段５０によって参照される。
【００４８】
平面光強度分布算出手段３０は、入力された映像信号である要素画像群から、光学素子情報で示される立体画像表示装置２００の要素レンズのピッチおよび焦点距離が同じ仮想要素レンズ（仮想要素光学系）を２次元状に仮想配置した仮想要素レンズ群（仮想要素光学系群）を介して、波動光学演算を行うことで、仮想要素レンズ群からの距離が異なる、予め設定された距離平面ごとの光強度分布である平面光強度分布を算出するものである。
【００４９】
この平面光強度分布算出手段３０は、異なる距離平面ごとに平面光強度分布を算出し、距離に対応付けて体積光強度分布記憶手段４０に書き込む。
すなわち、平面光強度分布算出手段３０は、一平面で構成される要素画像群から、複数の距離平面によって異なる光強度分布を生成することで、要素画像群を立体像として表示した際の光強度分布に相当する空間（立体像空間）を再現させる。
この平面光強度分布算出手段３０は、予め定めた複数の距離平面における光強度分布を算出し、体積光強度分布として、体積光強度分布記憶手段４０に書き込んだ後、体積光強度分布を生成した旨を、空間位置補正手段５０に通知する。
【００５０】
ここで、図５を参照して、平面光強度分布算出手段３０が距離平面ごとに算出する光強度分布について説明する。
図５に示すように、平面光強度分布算出手段３０は、要素画像群Ｇの画像面に対して、立体画像表示装置２００における要素レンズ群と表示面までの距離ｄｒ（図１２参照）と同じ距離だけ仮想的に離間して配置した仮想要素レンズ群Ｖを介して、波動光学演算を行うことで、任意の距離Ｌ１，Ｌ２，…，Ｌｎごとの光強度分布ｔ１，ｔ２，…，ｔｎを求める。
【００５１】
ここで、距離Ｌ１，Ｌ２，…，Ｌｎは、予め定めた複数の距離であって、その数および間隔は任意に定めることができる。なお、距離平面を多く設定すれば、それだけ歪み補正の効果を高めることができるが、演算量は増加する。そこで、距離平面の数および間隔は、要素画像群Ｇの画素数等に応じて定めることが好ましい。
【００５２】
なお、図５に示すように、ある要素画像の画像領域ｋｒの光波は、対応する仮想要素レンズ（仮想的な開口〔仮想ピンホール〕）ＶＬを介して拡がりを持って距離平面に到達する。例えば、要素画像の画像領域ｋｒが光波として距離Ｌ１の距離平面において拡がる範囲ｗ１は、以下の式（７）で表される。
【００５３】
【数５】
2014060648.tif 000007
【００５４】
また、仮想要素レンズ群Ｖから最も離れた距離Ｌｎに到達する要素画像の画像領域ｋｒの範囲ｗｎについても、式（７）と同様に求めることができる。
すなわち、平面光強度分布算出手段３０が算出する光強度分布（体積光強度分布）は、奥行き方向であるｚ方向においては、仮想要素レンズ群Ｖに最も近い距離Ｌ１から、仮想要素レンズ群Ｖから最も遠い距離Ｌｎの範囲に生成され、ｘｙ方向においては、仮想要素レンズ群Ｖから最も遠い距離Ｌｎにおいて要素画像群Ｇの光波が拡がる範囲、すなわち、要素画像群Ｇの大きさよりも上下左右にそれぞれｗｎ／２分だけ大きい範囲に生成される。
【００５５】
ここで、さらに図２を参照して、空間歪み補正装置１の平面光強度分布算出手段３０の構成について説明する。
図５で説明した光強度分布（体積光強度分布）を生成するため、平面光強度分布算出手段３０は、分割手段３１と、要素画像変換手段３２と、結合手段３３と、を備える。
【００５６】
分割手段３１は、光学素子情報に基づいて、映像信号として入力される要素画像群を要素画像単位の光波に分割するものである。すなわち、分割手段３１は、要素画像群を、光学素子情報のうちの要素レンズの配置位置に対応する要素画像ごとに分割し、要素画像の各画素において、画素値を振幅とし、予め定めた位相を付加することで、要素画像の画素値を、振幅と位相との複素数で表した光波情報（以下、単に光波という）とする。ただし、位相は必ずしも付加する必要はない。
【００５７】
なお、分割手段３１は、要素画像群を立体画像表示装置２００が扱う要素画像の大きさで分割する。立体画像撮影装置１００と立体画像表示装置２００とで、要素画像の大きさ（サイズ、解像度）が異なる場合には、分割手段３１は、立体画像表示装置２００の要素画像の大きさに合うように、ダウンコンバート、アップコンバート等の画像変換処理を行う。
この分割手段３１は、分割した要素画像ごとの光波を、要素画像変換手段３２に出力する。
【００５８】
要素画像変換手段３２は、波動光学演算を行うことで、分割手段３１から入力される要素画像ごとの光波を、予め設定された距離平面における光波に変換するものである。ここでは、要素画像変換手段３２は、光波算出手段３２ａと、位相シフト手段３２ｂと、光波算出手段３２ｃと、を備える。
【００５９】
光波算出手段（第１光波算出手段）３２ａは、要素画像の光波をフレネル近似することで、仮想要素レンズに伝搬する光波を算出するものである。すなわち、光波算出手段３２ａは、図６に示すように、ｍ番目の要素画像の光波（ｇｓ，ｍ（ｘｓ，ｍ，ｙｓ，ｍ））から、ｍ番目の要素画像に対応する位置に仮想的に配置した仮想要素レンズＶｍに到達する光波（Ｒｉ，ｍ（ｘｏ，ｍ，ｙｏ，ｍ））を、以下の式（８）により、フレネル近似を用いて計算する。
【００６０】
【数６】
2014060648.tif 000008
【００６１】
ここで、ｘｓ，ｍ、ｘｏ，ｍは、それぞれ画像全体（要素画像群Ｇ）におけるｍ番目の要素画像の中心を原点とするｘ座標、仮想要素レンズ群Ｖのｍ番目の仮想要素レンズＶｍの光軸中心を原点とするｘ座標である。また、ｙｓ，ｍ、ｙｏ，ｍは、それぞれ画像全体（要素画像群Ｇ）におけるｍ番目の要素画像の中心を原点とするｙ座標、仮想要素レンズ群Ｖのｍ番目の仮想要素レンズＶｍの光軸中心を原点とするｙ座標である。また、ｆは仮想要素レンズＶｍの焦点距離（図６中、距離ｄｒに相当）、ｋは波数２π／λ（λは予め定めた光の波長）である。また、式（８）中、積分範囲となる要素画像（ｍ）は、図６に示す要素画像ｍの画像領域ｋｒである。
この光波算出手段３２ａは、要素画像ごとの光波（Ｒｉ，ｍ（ｘｏ，ｍ，ｙｏ，ｍ））を、位相シフト手段３２ｂに出力する。
【００６２】
位相シフト手段（第１位相シフト手段）３２ｂは、光波算出手段３２ａから入力された要素画像の光波（Ｒｉ，ｍ（ｘｏ，ｍ，ｙｏ，ｍ））の位相を、仮想要素レンズの位相分だけシフトさせるものである。すなわち、位相シフト手段３２ｂは、図６に示すように、仮想要素レンズＶｍに伝搬する光波（Ｒｉ，ｍ（ｘｏ，ｍ，ｙｏ，ｍ））を、仮想要素レンズＶｍにおいて変化する位相分だけ、以下の式（９）によりシフトさせることで、仮想要素レンズＶｍから出射する光波（Ｒｏ，ｍ（ｘｏ，ｍ，ｙｏ，ｍ））を算出する。
【００６３】
【数７】
2014060648.tif 000009
【００６４】
この位相シフト手段３２ｂは、要素画像ごとの光波（Ｒｏ，ｍ（ｘｏ，ｍ，ｙｏ，ｍ））を、光波算出手段３２ｃに出力する。
【００６５】
光波算出手段（第２光波算出手段）３２ｃは、位相シフト手段３２ｂから入力された要素画像ごとの光波（Ｒｏ，ｍ（ｘｏ，ｍ，ｙｏ，ｍ））をフレネル近似することで、予め設定された距離平面における光波を算出するものである。すなわち、光波算出手段３２ｃは、図６に示すように、仮想要素レンズＶｍから出射される光波（Ｒｏ，ｍ（ｘｏ，ｍ，ｙｏ，ｍ））から、仮想要素レンズＶｍから距離Ｌだけ離間した予め定めた距離平面Ｔに到達する光波（Ｒｄ，ｍ（ｘｄ，ｍ，ｙｄ，ｍ））を、以下の式（１０）により、フレネル近似を用いて計算する。
【００６６】
【数８】
2014060648.tif 000010
【００６７】
ここで、ｘｄ，ｍは、仮想要素レンズ群Ｖのｍ番目の仮想要素レンズＶｍの光軸中心を原点とした距離平面Ｔのｘ座標である。また、ｙｄ，ｍは、仮想要素レンズ群Ｖのｍ番目の仮想要素レンズＶｍの光軸中心を原点とした距離平面Ｔのｙ座標である。また、Ｌは、仮想要素レンズ群Ｖから距離平面Ｔまでの距離である。また、式（１０）中、積分範囲となる要素画像（ｍ）の拡がる範囲ｗは、図６に示す要素画像の画像領域ｋｒが光波として距離平面Ｔにおいて拡がる範囲ｗである。この範囲ｗは、前記した式（７）と同様の計算により求められる。
この光波算出手段３２ｃは、距離平面Ｔに到達する要素画像ごとの光波（Ｒｄ，ｍ（ｘｄ，ｍ，ｙｄ，ｍ））を、結合手段３３に出力する。
【００６８】
結合手段３３は、要素画像変換手段３２で変換された予め設定された距離平面における要素画像ごとの光波を、当該距離平面において要素画像群の要素画像分だけ結合して平面光強度分布を生成するものである。すなわち、結合手段３３は、図６に示すように、仮想要素レンズ群Ｖから、予め定めた距離Ｌに設定した距離平面Ｔに到達する要素画像ごとの光波（Ｒｄ，ｍ（ｘｄ，ｍ，ｙｄ，ｍ））を、距離平面Ｔの領域内で加算する。
より具体的には、結合手段３３は、要素画像ごとの光波（Ｒｄ，ｍ（ｘｄ，ｍ，ｙｄ，ｍ））を、要素画像の数（ここでは、−Ｍ≦ｍ≦Ｍの〔２Ｍ＋１〕個とする）だけ、以下の式（１１）により加算する。
【００６９】
【数９】
2014060648.tif 000011
【００７０】
ここで、ｘｐ，ｍは、予め定めた距離平面Ｔの中心を原点としたｘ座標である。また、ｙｐ，ｍは、予め定めた距離平面Ｔの中心を原点としたｙ座標である。
そして、結合手段３３は、以下の式（１２）により、式（１１）で算出した予め定めた距離平面Ｔに到達する光波を２乗することで、距離平面Ｔにおける光強度分布（平面光強度分布）ｔ（ｘｐ，ｍ，ｙｐ，ｍ）を算出する。
【００７１】
【数１０】
2014060648.tif 000012
【００７２】
この結合手段３３は、算出した平面光強度分布を、距離平面に対応付けて体積光強度分布記憶手段４０（図１参照）に書き込む。
以上説明した平面光強度分布算出手段３０は、仮想要素レンズ群からの距離を順次設定し直して、図５で説明したように、複数の距離平面に対応する平面光強度分布を算出する。すなわち、平面光強度分布算出手段３０は、図５に示すように、仮想要素レンズ群Ｖからの距離Ｌ１，Ｌ２，…，Ｌｎに対応する光強度分布ｔ１，ｔ２，…，ｔｎを算出する。
この平面光強度分布算出手段３０で生成された光強度分布ｔ１，ｔ２，…，ｔｎは、図７に示すように、距離ごとに配列されることで、空間上における体積光強度分布として表すことができる。
【００７３】
これによって、体積光強度分布記憶手段４０には、複数の距離平面における光強度分布で構成される体積光強度分布が記憶される。この体積光強度分布は、要素画像群を立体画像表示装置で表示させる際の立体像空間において、光強度を分布させた状態に相当する。
すなわち、この体積光強度分布には、空間歪みが発生していることになる。
図１に戻って、空間歪み補正装置１の全体構成について説明を続ける。
【００７４】
体積光強度分布記憶手段４０は、平面光強度分布算出手段３０で算出された距離平面ごとの光強度分布を、距離に対応付けて、体積光強度分布として記憶するもので、ハードディスク等の一般的な記憶装置である。この体積光強度分布は、空間位置補正手段５０によって補正され、補正要素画像群生成手段６０によって参照される。
【００７５】
空間位置補正手段５０は、平面光強度分布算出手段３０によって算出された距離平面ごとの光強度分布で構成される体積光強度分布を、空間歪み情報記憶手段２０に記憶されている空間歪み情報に基づいて補正するものである。
すなわち、空間位置補正手段５０は、体積光強度分布記憶手段４０に記憶されている体積光強度分布の座標空間（立体像空間）の各座標を、空間歪み情報記憶手段２０に記憶されている空間歪み情報で補正することで、被写体空間の座標に変換する。
【００７６】
具体的には、空間位置補正手段５０は、体積光強度分布の座標空間（立体像空間）の座標（ｘｒ，ｙｒ，ｚｒ）を、前記式（４）〜式（６）によって予め変換し対応付けられている被写体空間の座標（ｘｃ，ｙｃ，ｚｃ）に変更する。
これによって、空間位置補正手段５０は、図８に示すように、平面光強度分布算出手段３０によって算出された空間歪みを持った補正前の体積光強度分布（図８（ａ））から、空間歪みを補正した体積光強度分布（図８（ｂ））を生成する。なお、図８（ａ）は、補正前の体積光強度分布における空間歪みを、座標上の縦線および横線の間隔や傾きによって模式的に表し、図８（ｂ）は、空間歪みが補正され、座標上の縦線および横線が垂直および水平に補正された状態を模式的に表している。
ここでは、空間位置補正手段５０は、体積光強度分布の座標位置を補正した補正体積光強度分布を体積光強度分布記憶手段４０に書き込み、補正が完了した旨を補正要素画像群生成手段６０に通知する。
【００７７】
補正要素画像群生成手段６０は、空間位置補正手段５０で補正された補正体積光強度分布を、光学素子情報で示される立体画像表示装置２００の要素レンズのピッチおよび焦点距離が同じ仮想要素レンズ（仮想要素光学系）で構成される仮想要素レンズ群（仮想要素光学系群）を介して、波動光学演算を行うことで、立体画像表示装置２００の表示面に相当する位置における要素画像群を生成するものである。
【００７８】
すなわち、補正要素画像群生成手段６０は、図９に示すように、補正後の体積光強度分布における光強度のデータ（例えば、点ａのデータ）を、仮想要素レンズ群Ｖを介して対応する画像上の点のデータ（例えば、点ａ′のデータ）として割り当てる。なお、図９では、ある点のデータのみについて画像上に割り当てているが、補正後の体積光強度分布全体に亘って割り当てを行う。これによって、補正された要素画像群（補正要素画像群Ｇ′）が生成されることになる。
【００７９】
ここで、図３を参照（適宜図１参照）して、補正要素画像群生成手段６０の構成について説明する。図３に示すように、補正要素画像群生成手段６０は、要素画像逆変換手段６１と、連結手段６２と、を備える。
【００８０】
要素画像逆変換手段６１は、補正後の体積光強度分布から、光学素子情報で示される立体画像表示装置２００の要素レンズの配置位置に対応する要素画像を生成するものである。
すなわち、要素画像逆変換手段６１は、図５で説明した要素画像の画像領域ｋｒに対応する仮想要素レンズＶＬを介して拡がりを持った距離平面ごとの光強度分布を、要素画像群を構成する画像面に逆変換することで、画像領域ｋｒに相当する要素画像を生成する。なお、平面光強度分布算出手段３０においては、距離Ｌ１，Ｌ２，…，Ｌｎは予め定めたものであったが、要素画像逆変換手段６１では、補正後の体積光強度分布において、光強度が割り当てられた距離（ｚ座標）における平面（ｘｙ平面）が、逆変換を行うために対象とする距離平面となる。
ここで、要素画像逆変換手段６１は、光波算出手段６１ａと、位相シフト手段６１ｂと、光波算出手段６１ｃと、加算手段６１ｄと、を備える。
【００８１】
光波算出手段（第３光波算出手段）６１ａは、補正後の体積光強度分布で示される距離（距離平面）ごとに、フレネル近似により、光強度分布を有する光波が、仮想要素レンズ群に伝搬する光波を計算するものである。
すなわち、光波算出手段６１ａは、ある距離平面における要素画像分の光波（Ｒｐ（ｘｐ，ｙｐ））から、距離Ｌだけ離間した仮想要素レンズ群に到達する光波（Ｒｏ（ｘｏ，ｙｏ））を、以下の式（１３）により、フレネル近似を用いて計算する。
【００８２】
【数１１】
2014060648.tif 000013
【００８３】
ここで、ｘｐ、ｘｏは、予め定めた距離平面の中心を原点としたｘ座標である。また、ｙｐ、ｙｏは、予め定めた距離平面の中心を原点としたｙ座標である。また、式（１３）中、積分範囲となる「距離平面の領域」は、体積光強度分布記憶手段４０に記憶されている体積光強度分布を構成する平面光強度分布の水平（ｘ方向）、垂直（ｙ方向）の範囲である。
なお、要素画像分の光波（Ｒｐ（ｘｐ，ｙｐ））は、体積光強度分布記憶手段４０に記憶されている体積光強度分布の光強度を１／２乗したものである（前記式（１２）の逆演算）。
この光波算出手段６１ａは、算出した距離平面ごとの仮想要素レンズ群に到達する光波（Ｒｏ（ｘｏ，ｙｏ））を、位相シフト手段６１ｂに出力する。
【００８４】
位相シフト手段（第２位相シフト手段）６１ｂは、光波算出手段６１ａから入力された距離平面ごとの光波（Ｒｏ（ｘｏ，ｙｏ））の位相を、仮想要素レンズの位相分だけシフトさせるものである。すなわち、位相シフト手段６１ｂは、光波（Ｒｏ（ｘｏ，ｙｏ））を、仮想要素レンズにおいて変化する位相分だけ、以下の式（１４）によりシフトさせることで、光波（Ｒｉ（ｘｏ，ｙｏ））を算出する。
【００８５】
【数１２】
2014060648.tif 000014
【００８６】
ここで、ｆは仮想要素レンズの焦点距離である。
この位相シフト手段６１ｂは、距離平面ごとの光波（Ｒｉ（ｘｏ，ｙｏ））を、光波算出手段６１ｃに出力する。
【００８７】
光波算出手段（第４光波算出手段）６１ｃは、位相シフト手段６１ｂから入力された距離平面ごとの光波（Ｒｉ（ｘｏ，ｙｏ））を仮想要素レンズごとにフレネル近似することで、仮想要素レンズの焦点距離に到達する、距離平面に対応した要素画像ごとの光波を算出するものである。すなわち、光波算出手段６１ｃは、仮想要素レンズから逆方向に伝搬される光波（Ｒｉ（ｘｏ，ｙｏ））から、仮想要素レンズの焦点距離だけ離間した要素画像群Ｇの画像面（後側焦平面）に到達する距離平面ごとの要素画像ｍの光波（ｇ′ｓ，ｍ（ｘｓ，ｍ，ｙｓ，ｍ））を、以下の式（１５）により、フレネル近似を用いて計算する。
【００８８】
【数１３】
2014060648.tif 000015
【００８９】
ここで、ｘｓ，ｍ、ｘｉ，ｍは、それぞれ画像全体（要素画像群）におけるｍ番目の要素画像の中心を原点とするｘ座標、仮想要素レンズ群のｍ番目の仮想要素レンズの光軸中心を原点とするｘ座標である。また、ｙｓ，ｍ、ｙｉ，ｍは、それぞれ画像全体（要素画像群）におけるｍ番目の要素画像の中心を原点とするｙ座標、仮想要素レンズ群のｍ番目の仮想要素レンズの光軸中心を原点とするｙ座標である。また、ｆは仮想要素レンズの焦点距離、ｋは波数２π／λ（λは波長）である。また、式（１５）中、積分範囲となる「要素画像（ｍ）」は、図６に示す要素画像ｍの画像領域ｋｒである。
この光波算出手段６１ｃは、算出した距離平面に対応した要素画像の光波（ｇ′ｓ，ｍ（ｘｓ，ｍ，ｙｓ，ｍ））を、加算手段６１ｄに出力する。
【００９０】
加算手段６１ｄは、光波算出手段６１ｃから入力された仮想要素レンズごとの要素画像の光波を距離平面分だけ加算することで、補正後の要素画像の光波を算出する。すなわち、加算手段６１ｄは、以下の式（１６）により、個々の距離平面からの光波として算出した距離平面ごとの要素画像の光波（ｇ′ｓ，ｍ（ｘｓ，ｍ，ｙｓ，ｍ））を、距離平面分だけ加算して、要素画像の光波（ｇｓ，ｍ（ｘｓ，ｍ，ｙｓ，ｍ））を算出する。
【００９１】
【数１４】
2014060648.tif 000016
【００９２】
ここで、加算範囲となる「距離平面」は、空間位置補正手段５０によって補正された体積光強度分布の距離平面の数である。
この加算手段６１ｄは、要素画像の光波（ｇｓ，ｍ（ｘｓ，ｍ，ｙｓ，ｍ））を、連結手段６２に出力する。
【００９３】
連結手段６２は、要素画像逆変換手段６１で生成された個々の要素画像の光波を連結し、要素画像群として構成するものである。
この連結手段６２は、個々の要素画像の光波である画素ごとの強度の値を画素値とし、要素画像分連結することで、補正後の要素画像群（補正要素画像群）を生成する。
【００９４】
以上説明したように、空間歪み補正装置１は、ＩＰ方式で撮影（生成）された要素画像群を補正することで、被写体空間と立体像空間の歪みを解消し、立体像として表示される像の歪みを抑えることができる。
この空間歪み補正装置１は、一般的なコンピュータを前記した各手段として機能させるプログラム（空間歪み補正プログラム）により動作させることができる。
【００９５】
なお、ここでは、空間歪み補正装置１に空間歪み情報算出手段１０を備える構成としたが、この空間歪み情報算出手段１０は、空間歪み補正装置１とは別体の空間歪み予測装置（不図示）の一構成とし、空間歪み補正装置１から省略してもよい。すなわち、空間歪み補正装置１は、空間歪み情報記憶手段２０に、空間歪み予測装置（不図示）によって予測された空間歪み情報を予め記憶しておく構成としてもよい。
また、ここでは、光波の伝搬を演算する波動光学演算として、フレネル近似の式を用いたが、ホイヘンス・フレネルの原理による積分や、フランフォーファ近似による積分等を用いて演算することとしてもよい。
【００９６】
［空間歪み補正装置の動作］
次に、図１０を参照（構成については、適宜図１〜図３参照）して、本発明の実施形態に係る空間歪み補正装置の動作について説明する。なお、ここでは、空間歪み情報算出手段１０が、被写体を撮影した空間（被写体空間）と立体像を表示する空間（立体像空間）との空間歪みを、予め、光学素子情報から算出し、空間歪み情報として、空間歪み情報記憶手段２０に書き込んでいるものとする。
【００９７】
まず、空間歪み補正装置１は、平面光強度分布算出手段３０によって、要素画像群に対して仮想的に配置した仮想要素レンズか群から、予め定めた複数の距離平面までの距離の１つを初期値として設定する（ステップＳ１）。
【００９８】
そして、空間歪み補正装置１は、平面光強度分布算出手段３０によって、要素画像群の光波が、仮想要素レンズ群を介してステップＳ１で設定した距離に対応する距離平面に到達した際の平面光強度分布を、波動光学演算により算出する（ステップＳ２）。
【００９９】
すなわち、空間歪み補正装置１は、平面光強度分布算出手段３０の分割手段３１によって、要素画像群を、光学素子情報で特定される要素画像ごとに分割する。
そして、空間歪み補正装置１は、平面光強度分布算出手段３０の光波算出手段３２ａによって、それぞれの要素画像の光波をフレネル近似して、仮想要素レンズに到達する光波を算出する。また、空間歪み補正装置１は、平面光強度分布算出手段３０の位相シフト手段３２ｂによって、仮想要素レンズに到達する光波の位相を仮想要素レンズの位相分だけシフトさせる。さらに、空間歪み補正装置１は、平面光強度分布算出手段３０の光波算出手段３２ｃによって、位相シフトした光波をフレネル近似して、設定された距離平面における要素画像ごとの光波を算出する。
【０１００】
そして、空間歪み補正装置１は、平面光強度分布算出手段３０の結合手段３３によって、設定された距離平面に到達した要素画像ごとの光波を要素画像分だけ結合し、距離平面における光強度分布（平面光強度分布）を算出する。
そして、空間歪み補正装置１は、平面光強度分布算出手段３０（結合手段３３）によって、ステップＳ２で生成された平面光強度分布を、体積光強度分布記憶手段４０に書き込む（ステップＳ３）。この平面光強度分布が、異なる距離平面ごとに生成されることで、体積光強度となる。
【０１０１】
ここで、空間歪み補正装置１は、予め定めたすべての距離平面について平面光強度分布が生成されていない場合、すなわち、予め定めた体積光強度分布（立体像空間）が生成されていない場合（ステップＳ４でＮｏ）、ステップＳ１に戻って、新たな距離平面について平面光強度分布を生成する。
【０１０２】
一方、予め定めたすべての距離平面について平面光強度分布が生成された場合（ステップＳ４でＹｅｓ）、空間歪み補正装置１は、空間位置補正手段５０によって、体積光強度分布記憶手段４０に記憶された体積光強度分布を、空間歪み情報記憶手段２０に記憶されている空間歪み情報に基づいて補正する（ステップＳ５）。
【０１０３】
すなわち、空間位置補正手段５０は、空間歪み情報で示される立体像空間から被写体空間への座標の対応関係に基づいて、体積光強度分布の各光強度が分布している座標を変換する。これによって、空間歪みを持った体積光強度分布が、被写体空間の分布に補正されることになる。
【０１０４】
その後、空間歪み補正装置１は、補正要素画像群生成手段６０によって、補正された体積光強度分布が存在する距離（距離平面）の１つを初期値をして設定する（ステップＳ６）。
【０１０５】
そして、空間歪み補正装置１は、補正要素画像群生成手段６０の要素画像逆変換手段６１によって、波動光学演算により、ステップＳ５で補正された体積光強度分布を光波として、要素画像群の画像面に到達する個々の要素画像の光波を算出する（ステップＳ７）。
【０１０６】
すなわち、空間歪み補正装置１は、要素画像逆変換手段６１の光波算出手段６１ａによって、補正後の体積光強度分布で示される距離（距離平面）ごとに、フレネル近似により、光強度分布を有する光波が、仮想要素レンズ群に到達する光波を計算する。また、空間歪み補正装置１は、要素画像逆変換手段６１の位相シフト手段６１ｂによって、仮想要素レンズに到達する光波の位相を仮想要素レンズの位相分だけシフトさせる。さらに、空間歪み補正装置１は、要素画像逆変換手段６１の光波算出手段６１ｃによって、位相シフトした光波をフレネル近似して、要素画像群の画像面における距離平面に対応した要素画像ごとの光波を算出する。
そして、空間歪み補正装置１は、補正された体積光強度分布（補正された立体像空間）のすべての距離平面に対応する要素画像の光波が生成されていない場合（ステップＳ８でＮｏ）、ステップＳ６に戻って、新たな距離平面について要素画像の光波を算出する。
【０１０７】
一方、補正された体積光強度分布のすべての距離平面に対応する要素画像の光波が生成された場合（ステップＳ８でＹｅｓ）、空間歪み補正装置１は、要素画像逆変換手段６１の加算手段６１ｄによって、距離平面に対応する要素画像の光波を、距離平面分だけ加算することで、補正後の要素画像の光波を算出し、連結手段６２によって連結することで、要素画像群を生成する（ステップＳ９）。
以上の動作によって、空間歪み補正装置１は、ＩＰ方式で撮影（生成）された要素画像群を補正し、立体像として表示される像の歪みを抑えることができる。
【０１０８】
以上、本発明の実施形態に係る空間歪み補正装置の構成および動作について説明したが、本発明はこれに限定されるものではない。
ここでは、空間歪み補正装置１に入力される要素画像群を、図１２に示した立体画像撮影装置１００で撮影したものとして説明した。しかし、立体画像撮影装置は、図１１の立体画像撮影装置１００Ｂに示すように、奥行きを制御する奥行き制御レンズ（ここでは、凸レンズ）１１０等の光学系を介して、被写体Ｈの実像Ｈ２を撮影する構成を持つもの（例えば、文献：Opt. Engineering, vol.38, pp.1072-1077, 1999）が存在する。なお、ここで、要素レンズ群１０１や撮影板１０２は、図１２で説明したものと同様のものである。この場合、前記した式（１）〜式（３）による歪み以外に、被写体の実像を生成する際の光学系の空間歪みが発生する。
【０１０９】
図１１に示した立体画像撮影装置１００Ｂにおいて、要素レンズ群１０１から距離Ｌ３だけ離れた位置に奥行き制御レンズ１１０が配置され、奥行き制御レンズ１１０から距離Ｌ１だけ離れた位置に被写体Ｈが存在していたとすると、被写体Ｈの実像Ｈ２は、以下の式（１７）で表される、奥行き制御レンズ１１０から被写体Ｈの反対方向に距離Ｌ２だけ離れた位置に生成される。ただし、ｆは、奥行き制御レンズ１１０の焦点距離である。
【０１１０】
【数１５】
2014060648.tif 000017
【０１１１】
また、立体画像撮影装置１００Ｂは、被写体Ｈの実像Ｈ２を撮影するため、要素レンズ群１０１から、奥行き制御レンズ１１０方向に距離Ｌ４だけ離間した位置に実像Ｈ２を生成する。すなわち、実像Ｈ２は、Ｌ２＝Ｌ３＋Ｌ４で表される奥行き制御レンズ１１０と要素レンズ群１０１との間に生成される。このＬ２を用いると、Ｌ１は、以下の式（１８）で表される。
【０１１２】
【数１６】
2014060648.tif 000018
【０１１３】
このような立体画像撮影装置１００Ｂを用いた場合、Ｌ４を図１２に示した要素レンズ群１０１から被写体までの距離ｚｃと考えればよい。また、被写体空間における被写体Ｈのｘ座標の値をｘ１としたとき、被写体Ｈの実像Ｈ２が生成される空間では、ｘ座標の値ｘ２は、ｘ２＝ｘ１・Ｌ２／Ｌ１の関係を有している。そこで、この被写体Ｈの被写体空間におけるｘ１を、図４（ａ）に示した被写体空間のｘｃと考えればよい。ｙ座標については、ｘ座標と同様である。
【０１１４】
よって、図１１に示した立体画像撮影装置１００Ｂにおいて実像Ｈ２を撮影した場合、空間歪み補正装置１の空間歪み情報算出手段１０（図１参照）は、前記した式（４）〜式（６）に対して、さらに、光学系の歪みを考慮して、以下の式（１９）〜式（２１）によって、立体像空間内の座標（ｘｒ，ｙｒ，ｚｒ）が、どの被写体空間内の座標（ｘｃ′，ｙｃ′，ｚｃ′）に対応するのかを算出する。
【０１１５】
【数１７】
2014060648.tif 000019
【０１１６】
ここで、Ｌ１は、被写体Ｈと光学系（奥行き制御レンズ１１０）との距離、Ｌ２は、光学系（奥行き制御レンズ１１０）を介して結像する実像Ｈ２と光学系（奥行き制御レンズ１１０）との距離である。それ以外の変数は、前記した式（４）〜式（６）と同じである。なお、ここでは、式（１９），式（２０）において、補正後のｘｃ′座標，ｙｃ′座標を算出する際に、補正後のｚｃ′座標を用いているが、まず、式（２１）を用いて補正後のｚｃ′座標を算出し、このｚｃ′座標を用いて式（１９），式（２０）により補正後のｘｃ′座標，ｙｃ′座標を算出すればよい。
これによって、空間歪み補正装置１は、光学素子に基づく空間歪みに、さらに、他の光学系の歪みが加わって撮影された要素画像群に対して、その歪みを補正した要素画像分を生成することができる。
【符号の説明】
【０１１７】
１      空間歪み補正装置
１０    空間歪み情報算出手段
２０    空間歪み情報記憶手段
３０    平面光強度分布算出手段
３１    分割手段
３２    要素画像変換手段
３２ａ  光波算出手段（第１光波算出手段）
３２ｂ  位相シフト手段（第１位相シフト手段）
３２ｃ  光波算出手段（第２光波算出手段）
３３    結合手段
４０    体積光強度分布記憶手段
５０    空間位置補正手段
６０    補正要素画像群生成手段
６１    要素画像逆変換手段
６１ａ  光波算出手段（第３光波算出手段）
６１ｂ  位相シフト手段（第２位相シフト手段）
６１ｃ  光波算出手段（第４光波算出手段）
６１ｄ  加算手段
６２    連結手段
【図１】
2014060648.tif 000022
【図２】
2014060648.tif 000023
【図３】
2014060648.tif 000024
【図４】
2014060648.tif 000025
【図５】
2014060648.tif 000026
【図６】
2014060648.tif 000027
【図７】
2014060648.tif 000028
【図８】
2014060648.tif 000029
【図９】
2014060648.tif 000030
【図１０】
2014060648.tif 000031
【図１１】
2014060648.tif 000032
【図１２】
2014060648.tif 000033
【図１３】
2014060648.tif 000034