(57)【特許請求の範囲】
【請求項１】
複数の要素光学素子または複数の要素ピンホールが二次元状に配列された撮像光学要素アレイと、複数の撮像素子から構成される撮像素子アレイと、を用いて撮影により被写体が存在する空間の空間情報として得られる撮影要素画像群の画素情報に欠落している空間情報を補間する空間情報補間装置であって、
記憶手段と、
前記撮像光学要素アレイを構成する各光学要素の配置情報を外部から取得して前記記憶手段に格納する撮像光学要素アレイ配置情報取得手段と、
前記撮像素子アレイを構成する各撮像素子の配置情報を外部から取得して前記記憶手段に格納する撮像素子アレイ配置情報取得手段と、
前記撮像素子アレイを構成する各撮像素子において前記被写体を撮影した映像信号として取得される撮影要素画像群の画素情報を各撮像素子に対応してそれぞれ受け付け、前記受け付けたそれぞれの撮影要素画像群の画素情報を予め取得された前記撮像素子の配置情報で特定される位置に合わせて並べて前記撮像素子間の間隙を含めて前記各撮影要素画像群の画素情報を統合して統合撮影要素画像群の画素情報を生成する統合手段と、
前記撮像素子の配置情報に基づいて並べた前記統合撮影要素画像群と、予め取得された前記光学要素の配置情報で特定される位置に仮想的な光学要素が二次元状に配列されて構成される第１および第２仮想光学要素アレイと、仮想的な画素が配列された仮想撮像素子と、を仮想空間上にそれぞれ離間させて配置し、前記仮想空間上における幾何光学的演算により前記統合撮影要素画像群の画素情報に対応付けた補間要素画像群の画素情報を前記仮想撮像素子上に生成する補間要素画像群生成手段とを備え、
前記補間要素画像群生成手段は、
統合前の前記撮影要素画像群において空間情報が欠落していた画素については、前記補間要素画像群において前記撮影要素画像群の画素情報が正しく対応付けられている画素を用いて補間処理を行うことを特徴とする空間情報補間装置。
【請求項２】
前記統合手段は、
前記撮像素子アレイを構成する各撮像素子で取得される撮影要素画像群の画素情報が展開可能な記憶領域を前記記憶手段において統合メモリとして確保し、前記撮像素子アレイを構成する撮像素子の配置情報に含まれる、隣接する前記撮像素子間の間隙の距離情報にしたがって、前記間隙に対応して要素画像群の画素情報が展開可能な記憶領域を前記統合メモリに含める統合メモリ確保手段と、
前記撮像素子アレイを構成する各撮像素子で取得される撮影要素画像群の画素に対応した画素情報を空間情報として前記統合メモリに割り当てて書き込む空間情報割当手段と、
前記統合メモリにおいて前記撮影要素画像群の画素に対応した画素情報が割り当てられていないメモリ領域に、所定の輝度情報を仮の画素情報として割り当てて書き込むと共に、当該画素情報が仮のものであることを識別するための識別符号を割り当てる仮輝度情報及び識別符号割当手段と、を備え、
前記補間要素画像群生成手段は、
前記統合メモリの情報を参照し、前記幾何光学的演算により検出された統合撮影要素画像群の画素に前記識別符号が割り当てられている場合に、当該画素は統合前に空間情報が欠落していた画素であるものとして前記補間処理を行うことを特徴とする請求項１に記載の空間情報補間装置。
【請求項３】
前記補間要素画像群生成手段は、
前記統合メモリと同じ大きさの記憶領域であって、前記仮想撮像素子上の画素の画素情報を記憶する記憶領域を前記記憶手段において補間要素画像メモリとして確保する補間要素画像メモリ確保手段と、
前記補間要素画像メモリの所定位置に画素情報を割り当てられる前記仮想撮像素子上の任意の画素に対応して、前記幾何光学的演算により検出した前記統合撮影要素画像群の画素について前記統合メモリ上の位置を検出し、当該位置に記憶されている画素情報を統合撮影要素画像群の画素情報として前記補間要素画像メモリに割り当てて書き込むと共に、前記統合メモリ上で検出した位置に前記識別符号が記憶されている場合、当該識別符号を前記補間要素画像メモリの前記所定位置に割り当てる対応画素検出及び割当手段と、
前記統合メモリに記憶された前記統合撮影要素画像群の画素情報が前記補間要素画像メモリに書き込まれた後に当該補間要素画像メモリを参照して、前記識別符号が割り当てられている画素について前記補間処理を行う補間処理手段と、
を備えることを特徴とする請求項２に記載の空間情報補間装置。
【請求項４】
前記仮輝度情報及び識別符号割当手段は、
前記統合メモリにおいて前記空間情報割当手段によって前記画素情報が割り当てられていないメモリ領域に、前記仮の画素情報および前記識別符号を示す１つの情報として、前記撮像素子で取得される撮影要素画像群の画素の輝度値の中で予め定められた最低輝度値または最高輝度値を割り当てることを特徴とする請求項２または請求項３に記載の空間情報補間装置。
【請求項５】
前記補間要素画像群生成手段は、
統合前の前記撮影要素画像群において空間情報が欠落していた画素に対応して前記補間要素画像群において前記補間処理を実行した後に、前記仮想撮像素子上に生成された補間要素画像群の空間情報を提示した場合の立体像の奥行きが、前記被写体の奥行きと等しくなるように前記補間要素画像群の空間情報を補正する奥行き補正手段をさらに備えることを特徴とする請求項１から請求項４のいずれか一項に記載の空間情報補間装置。
【請求項６】
複数の要素光学素子または複数の要素ピンホールが二次元状に配列された撮像光学要素アレイと、複数の撮像素子から構成される撮像素子アレイと、を用いて撮影により被写体が存在する空間の空間情報として得られる撮影要素画像群の画素情報に欠落している空間情報を補間するために、記憶手段を備えたコンピュータを、
前記撮像光学要素アレイを構成する各光学要素の配置情報を外部から取得して前記記憶手段に格納する撮像光学要素アレイ配置情報取得手段、
前記撮像素子アレイを構成する各撮像素子の配置情報を外部から取得して前記記憶手段に格納する撮像素子アレイ配置情報取得手段、
前記撮像素子アレイを構成する各撮像素子において前記被写体を撮影した映像信号として取得される撮影要素画像群の画素情報を各撮像素子に対応してそれぞれ受け付け、前記受け付けたそれぞれの撮影要素画像群の画素情報を予め取得された前記撮像素子の配置情報で特定される位置に合わせて並べて前記撮像素子間の間隙を含めて前記各撮影要素画像群の画素情報を統合して統合撮影要素画像群の画素情報を生成する統合手段、
前記撮像素子の配置情報に基づいて並べた前記統合撮影要素画像群と、予め取得された前記光学要素の配置情報で特定される位置に仮想的な光学要素が二次元状に配列されて構成される第１および第２仮想光学要素アレイと、仮想的な画素が配列された仮想撮像素子と、を仮想空間上にそれぞれ離間させて配置し、前記仮想空間上における幾何光学的演算により前記統合撮影要素画像群の画素情報に対応付けた補間要素画像群の画素情報を前記仮想撮像素子上に生成する補間要素画像群生成手段、
として機能させるための空間情報補間プログラムであって、
前記補間要素画像群生成手段は、
統合前の前記撮影要素画像群において空間情報が欠落していた画素については、前記補間要素画像群において前記撮影要素画像群の画素情報が正しく対応付けられている画素を用いて補間処理を行うことを特徴とする空間情報補間プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＩＰ等の３次元映像について、レンズアレイや空間フィルタを通して被写体が存在する空間の情報を取得する技術に係り、特に、空間情報に欠落が生じた場合に、欠落した空間情報の補間を行う空間情報補間装置およびそのプログラムに関する。
【背景技術】
【０００２】
従来、レンズアレイや空間フィルタを通して、被写体が存在する空間の情報を取得する手法のうち、複数の微小な光学素子または複数の要素ピンホールが二次元状に配列された撮像光学要素アレイを用いて立体画像を撮像および表示する装置として、インテグラルフォトグラフィ（ＩＰ：Integral Photography）方式が知られている。
【０００３】
ＩＰ方式に基づく通常の空間情報取得装置について図１６および図１７を参照して説明する。図１６および図１７は、鉛直方向下向きに見たときの装置の概念図である。まず、図１６に示すように、一平面状に凸レンズを配列したレンズ群１１２と、撮像板１１３と、を空間情報取得装置１１０が備えている。なお、レンズ群１１２を構成するレンズは紙面に垂直な方向（レンズ群１１２の高さ方向）にも配列されているが、図１６ではレンズ群１１２を水平方向の一列（一次元）で示している。また、レンズの個数は一例である。また、撮像板１１３は、板状で紙面に垂直な方向に広がりを有すると共に、紙面に沿った厚みを有しているが、図１６ではレンズ群１１２の列に平行な直線で示している。
【０００４】
この空間情報取得装置１１０では、矢印で示す撮影方向１１４からレンズ群１１２を通して被写体１１１を撮影する。撮像板１１３には、レンズ群１１２を構成する凸レンズと同じ数だけ被写体１１１の像、例えば像１１５が撮影される。個々の凸レンズで取得される像を要素画像（撮影要素画像）、複数の凸レンズで取得される像の集まりを要素画像群（撮影要素画像群）という。図１６では、被写体がレンズ群１１２によって撮像板１１３上に結像する位置に被写体の像をそれぞれ模式的に示す。撮像板１１３上に結像する被写体の像を構成する画素（要素画素）には、当該画素の位置に応じて輝度等の画素情報が記録される。なお、個々の凸レンズで取得される撮影要素画像の映像信号が集積され、ＩＰ方式で提示されると、被写体１１１に対応した立体像を再構築することができる。
【０００５】
図１６に示す空間情報取得装置１１０で取得された空間情報を表示する空間情報表示装置１２０の一例を図１７に示す。ここで、空間情報は、被写体が存在する空間が画像として表示されたときの当該画像の輝度等の画素情報を示す。図１７に示すように、一平面状に凸レンズを配列したレンズ群１２２と、表示素子１２３と、を空間情報表示装置１２０が備えている。なお、レンズ群１２２を図１７では水平方向の一列（一次元）で示している。また、表示素子１２３は、紙面に垂直な方向に広がった表示面を有すると共に、紙面に沿った厚みを有しているが、図１７ではレンズ群１２２の列に平行な直線で示している。
【０００６】
表示素子１２３には、図１６の空間情報取得装置１１０の撮像板１１３により撮影された像１１５に対応する画像１２５を表示する。この結果、図１７に示すように、観察者Ｈは、被写体が存在した場所と同様な位置に生成された立体像を観察することができる。ただし、図１６に示すように、矢印で示す撮影方向１１４から見た場合は、被写体１１１の円柱が角柱に対して手前に存在するが、図１７に示すように、被写体１１１に対応する立体像１２１では、矢印で示す観察方向１２４から見て、角柱が円柱の手前に生成される。したがって、この場合には、被写体と比較して奥行きが反転した逆視像が生成されている。逆視像では、被写体において実際は凸状である箇所が、凹状のように見えてしまう。そのため、提示される立体像の凹凸が正常になるように、例えば、空間情報取得装置１１０で取得した像の奥行きを予め反転しておいてから、空間情報表示装置１２０の表示素子１２３に表示することも一般的に行われている。
【０００７】
図１６および図１７では、光学要素アレイとして微小な光学素子アレイ（レンズ群）を用いて、被写体が存在する空間の情報を取得および表示する動作を説明したが、光学要素アレイとして微小なピンホールアレイを用いてもよいし、ピンホールアレイを有する空間フィルタを使用してもよい。
【０００８】
ＩＰ方式に基づく通常の空間情報取得装置１１０において、被写体の大きさと、再生される立体像の大きさとの対応関係は、例えば装置に依存して決まる。ここで、図１６に示すように、被写体１１１の角柱の大きさをｘc、レンズ群１１２から被写体１１１の角柱までの距離をｚc、レンズ群１１２から像１１５が撮影される面までの距離をｄc、レンズ群１１２を構成する凸レンズピッチをｐc、レンズ群１１２を構成する凸レンズにより生成される被写体の像の大きさをｋcとする。
【０００９】
図１６において、ｘc（＋）は、ｘ方向（ここでは高さ方向、つまり紙面に垂直な方向）の長さであって、被写体の角柱の底面を基準にした正の値を示す。ｚc（−）は、ｚ方向（撮影方向および観察方向、つまり図１６において横方向）の長さであって、レンズ群１１２の配置面を基準にした負の値を示す。ｄc（＋）はｚ方向の長さであってレンズ群１１２の配置面を基準にした正の値を示す。
【００１０】
また、図１７に示すように、立体像１２１の角柱の大きさをｘr、レンズ群１２２から立体像１２１の角柱までの距離をｚr、レンズ群１２２から画像１２５が表示される面までの距離をｄr、レンズ群１２２を構成する凸レンズピッチをｐr、表示素子１２３に表示される個々の像の大きさをｋrとする。
【００１１】
図１７において、ｘr（＋）は、ｘ方向（紙面に垂直な方向）の長さであって、被写体の像である角柱の底面を基準にした正の値を示す。ｚr（＋）は、ｚ方向（水平方向、つまり図１７において横方向）の長さであって、レンズ群１２２の配置面を基準にした正の値を示す。ｄc（−）はｚ方向の長さであってレンズ群１２２の配置面を基準にした負の値を示す。
【００１２】
なお、図１６に示す各パラメータの添え字ｃは、被写体から空間情報を取得する側に関係することを表し、図１７に示す各パラメータの添え字ｒは、空間情報の提示側（像の再構築側）に関係することを表す。以下、本明細書中では、正負の符号（＋），（−）を省略して各パラメータを表記する。
【００１３】
この場合、図１６に示すｘcと図１７に示すｘrとの関係は、非特許文献１により式（１）で表わされる。
【００１４】
【数１】
0005852465.tif 000002
【００１５】
式（１）中のパラメータαは、次の式（２ａ）で表されるように、空間情報の取得側の凸レンズピッチをｐcに対する提示側の凸レンズピッチｐrの比率（拡大率または縮小率）を表す。式（１）中のパラメータγは、次の式（２ｃ）で表されるように、空間情報の取得側の像の大きさｋcに対する提示側の画像の大きさｋrの比率を表す。ここで、次の式（２ｂ）により、空間情報の取得側の距離ｄc（＋）に対する提示側の距離ｄr（−）の符号を含む比率としてパラメータβを定義する。
【００１６】
【数２】
0005852465.tif 000003
【００１７】
また、図１６に示すｚcと図１７に示すｚrとの関係は、非特許文献１により式（３）で表わされる。なお、式（３）の右辺は、空間情報の取得側に関係するパラメータ（ｚc，ｄc）と、比率を示すパラメータα，β，γとで表され、式（３）の左辺は空間情報の提示側のパラメータｚrのみで表されている。
【００１８】
【数３】
0005852465.tif 000004
【先行技術文献】
【非特許文献】
【００１９】
【非特許文献１】J. Opt. Soc. Am. A, 2004, vol.21, p.951-958
【発明の概要】
【発明が解決しようとする課題】
【００２０】
インテグラルフォトグラフィ方式において、高い空間分解能で空間情報を取得するためには、空間情報取得装置１１０の撮像板１１３（図１６参照）として、多画素高精細な撮像素子が必要となる。そこで、例えば図１８に示す空間情報取得装置１３０のように、複数の撮像素子１３１を用いて撮像素子アレイ１３２を構成し、撮像素子アレイ１３２とレンズ群１１２とにより、空間情報を取得することが考えられる。なお、撮像素子アレイ１３２を構成する撮像素子は紙面に垂直な方向にも配列されているが、図１８では、撮像素子アレイ１３２を、一画素の列とした撮像素子１３１ａ，１３１ｂ，１３１ｃで示している。この場合、撮像素子１３１ａで取得される撮影要素画像群の映像信号、撮像素子１３１ｂで取得される撮影要素画像群の映像信号、撮像素子１３１ｃで取得される撮影要素画像群の映像信号が集積され、ＩＰ方式で提示されると、被写体１１１に対応した立体像を再構築することができる。
【００２１】
図１６および図１７を参照して説明したように、レンズ群、撮像素子および表示素子を用いることで、被写体が存在する空間の情報の取得および表示が可能となる。そして、図１８を参照して説明したように、複数の撮像素子から構成される撮像素子アレイを用いることで、被写体が存在する空間の情報を、高い空間分解能で取得することが可能である。
【００２２】
しかしながら、図１８に示すように、撮像素子アレイ１３２を用いる場合、例えば隣接する撮像素子１３１ａと撮像素子１３１ｂとの画素間に、間隙１３３が生じる。したがって、このような間隙１３３が生じている撮像素子アレイ１３２を用いて、被写体が存在する空間の情報を取得すると、取得した空間情報に欠落が生じてしまう。つまり、もしも間隙１３３が生じていなければ本来は取得できたはずの空間情報を取得することができなくなってしまう。
【００２３】
本発明は、以上のような問題点に鑑みてなされたものであり、撮像素子アレイで取得された空間情報の欠落を補間することのできる空間情報補間装置及びそのプログラムを提供することを課題とする。
【課題を解決するための手段】
【００２４】
本発明は、前記課題を解決するために創案されたものであり、まず、請求項１に記載の空間情報補間装置は、複数の要素光学素子または複数の要素ピンホールが二次元状に配列された撮像光学要素アレイと、複数の撮像素子から構成される撮像素子アレイと、を用いて撮影により被写体が存在する空間の空間情報として得られる撮影要素画像群の画素情報に欠落している空間情報を補間する空間情報補間装置であって、記憶手段と、撮像光学要素アレイ配置情報取得手段と、撮像素子アレイ配置情報取得手段と、統合手段と、補間要素画像群生成手段とを備えることとした。
【００２５】
かかる構成によれば、空間情報補間装置は、撮像光学要素アレイ配置情報取得手段によって、前記撮像光学要素アレイを構成する各光学要素の配置情報を外部から取得して前記記憶手段に格納する。そして、空間情報補間装置は、撮像素子アレイ配置情報取得手段によって、前記撮像素子アレイを構成する各撮像素子の配置情報を外部から取得して前記記憶手段に格納する。そして、空間情報補間装置は、統合手段によって、前記撮像素子アレイを構成する各撮像素子において前記被写体を撮影した映像信号として取得される撮影要素画像群の画素情報を各撮像素子に対応してそれぞれ受け付け、前記受け付けたそれぞれの撮影要素画像群の画素情報を予め取得された前記撮像素子の配置情報で特定される位置に合わせて並べて前記撮像素子間の間隙を含めて前記各撮影要素画像群の画素情報を統合して統合撮影要素画像群の画素情報を生成する。ここで、撮像素子アレイにおいて隣接する撮像素子間に間隙が生じている場合には、それが反映され、統合撮影要素画像群に欠落が生じる。そして、空間情報補間装置は、補間要素画像群生成手段によって、前記撮像素子の配置情報に基づいて並べた前記統合撮影要素画像群と、予め取得された前記光学要素の配置情報で特定される位置に仮想的な光学要素が二次元状に配列されて構成される第１および第２仮想光学要素アレイと、仮想的な画素が配列された仮想撮像素子と、を仮想空間上にそれぞれ離間させて配置し、前記仮想空間上における幾何光学的演算により前記統合撮影要素画像群の画素情報に対応付けた補間要素画像群の画素情報を前記仮想撮像素子上に生成する。ここで、補間要素画像群生成手段が利用する統合撮影要素画像群には、隣接する撮像素子間の間隙の位置が既に反映されているので、補間要素画像群生成手段は、隣接する撮像素子間の間隙の位置が反映された補間要素画像群の画素情報を生成することができる。そして、この補間要素画像群生成手段は、統合前の前記撮影要素画像群において空間情報が欠落していた画素については、前記補間要素画像群において前記撮影要素画像群の画素情報が正しく対応付けられている画素を用いて補間処理を行う。したがって、空間情報補間装置は、撮像素子アレイで取得された空間情報の欠落を補間することができる。
【００２６】
また、請求項２に記載の空間情報補間装置は、請求項１に記載の空間情報補間装置において、前記統合手段が、統合メモリ確保手段と、空間情報割当手段と、仮輝度情報及び識別符号割当手段と、を備えることとした。
【００２７】
かかる構成によれば、空間情報補間装置は、統合メモリ確保手段によって、前記撮像素子アレイを構成する各撮像素子で取得される撮影要素画像群の画素情報が展開可能な記憶領域を前記記憶手段において統合メモリとして確保し、前記撮像素子アレイを構成する撮像素子の配置情報に含まれる、隣接する前記撮像素子間の間隙の距離情報にしたがって、前記間隙に対応して要素画像群の画素情報が展開可能な記憶領域を前記統合メモリに含める。そして、空間情報補間装置は、空間情報割当手段によって、前記撮像素子アレイを構成する各撮像素子で取得される撮影要素画像群の画素に対応した画素情報を空間情報として前記統合メモリに割り当てて書き込む。そして、空間情報補間装置は、仮輝度情報及び識別符号割当手段によって、前記統合メモリにおいて前記撮影要素画像群の画素に対応した画素情報が割り当てられていないメモリ領域に、所定の輝度情報を仮の画素情報として割り当てて書き込むと共に、当該画素情報が仮のものであることを識別するための識別符号を割り当てる。そして、空間情報補間装置は、前記補間要素画像群生成手段が、前記統合メモリの情報を参照し、前記幾何光学的演算により検出された統合撮影要素画像群の画素に前記識別符号が割り当てられている場合に、当該画素は統合前に空間情報が欠落していた画素であるものとして前記補間処理を行う。したがって、空間情報補間装置は、補間要素画像群生成手段が、統合撮影要素画像群の画素を検出するための演算処理において、統合メモリにおいて空間情報として割り当てられた画素と割り当てられていない画素とを同様に検出しつつ、識別符号によって空間情報が欠落していた画素については、統合メモリに割り当てられている仮輝度値を用いずに、補間処理を行うことが可能となる。
【００２８】
また、請求項３に記載の空間情報補間装置は、請求項２に記載の空間情報補間装置において、前記補間要素画像群生成手段が、補間要素画像メモリ確保手段と、対応画素検出及び割当手段と、補間処理手段と、を備えることとした。
【００２９】
かかる構成によれば、空間情報補間装置は、補間要素画像メモリ確保手段によって、前記統合メモリと同じ大きさの記憶領域であって、前記仮想撮像素子上の画素の画素情報を記憶する記憶領域を前記記憶手段において補間要素画像メモリとして確保する。そして、空間情報補間装置は、対応画素検出及び割当手段によって、前記補間要素画像メモリの所定位置に画素情報を割り当てられる前記仮想撮像素子上の任意の画素に対応して、前記幾何光学的演算により検出した前記統合撮影要素画像群の画素について前記統合メモリ上の位置を検出し、当該位置に記憶されている画素情報を統合撮影要素画像群の画素情報として前記補間要素画像メモリに割り当てて書き込むと共に、前記統合メモリ上で検出した位置に前記識別符号が記憶されている場合、当該識別符号を前記補間要素画像メモリの前記所定位置に割り当てる。そして、空間情報補間装置は、補間処理手段によって、前記統合メモリに記憶された前記統合撮影要素画像群の画素情報が前記補間要素画像メモリに書き込まれた後に当該補間要素画像メモリを参照して、前記識別符号が割り当てられている画素について前記補間処理を行う。
【００３０】
また、請求項４に記載の空間情報補間装置は、請求項２または請求項３に記載の空間情報補間装置において、前記仮輝度情報及び識別符号割当手段が、前記統合メモリにおいて前記空間情報割当手段によって前記画素情報が割り当てられていないメモリ領域に、前記仮の画素情報および前記識別符号を示す１つの情報として、前記撮像素子で取得される撮影要素画像群の画素の輝度値の中で予め定められた最低輝度値または最高輝度値を割り当てることとした。
【００３１】
かかる構成によれば、空間情報補間装置は、仮の画素情報と識別符号とを別々の情報として扱う場合に比べて、必要な記憶容量を低減することができる。
【００３２】
また、請求項５に記載の空間情報補間装置は、請求項１から請求項４のいずれか一項に記載の空間情報補間装置において、前記補間要素画像群生成手段が、奥行き補正手段をさらに備えることとした。
【００３３】
かかる構成によれば、空間情報補間装置は、奥行き補正手段によって、統合前の前記撮影要素画像群において空間情報が欠落していた画素に対応して前記補間要素画像群において前記補間処理を実行した後に、前記仮想撮像素子上に生成された補間要素画像群の空間情報を提示した場合の立体像の奥行きが、前記被写体の奥行きと等しくなるように前記補間要素画像群の空間情報を補正する。したがって、空間情報を提示する際に、被写体と同様の奥行きを再現した自然な立体像を提示することができる。
【００３４】
また、請求項６に記載の空間情報補間プログラムは、複数の要素光学素子または複数の要素ピンホールが二次元状に配列された撮像光学要素アレイと、複数の撮像素子から構成される撮像素子アレイと、を用いて撮影により被写体が存在する空間の空間情報として得られる撮影要素画像群の画素情報に欠落している空間情報を補間するために、記憶手段を備えたコンピュータを、撮像光学要素アレイ配置情報取得手段、撮像素子アレイ配置情報取得手段、統合手段、補間要素画像群生成手段、として機能させるための空間情報補間プログラムであることとした。
【００３５】
かかる構成によれば、空間情報補間プログラムは、撮像光学要素アレイ配置情報取得手段によって、前記撮像光学要素アレイを構成する各光学要素の配置情報を外部から取得して前記記憶手段に格納する。そして、空間情報補間プログラムは、撮像素子アレイ配置情報取得手段によって、前記撮像素子アレイを構成する各撮像素子の配置情報を外部から取得して前記記憶手段に格納する。そして、空間情報補間プログラムは、統合手段によって、前記撮像素子アレイを構成する各撮像素子において前記被写体を撮影した映像信号として取得される撮影要素画像群の画素情報を各撮像素子に対応してそれぞれ受け付け、前記受け付けたそれぞれの撮影要素画像群の画素情報を予め取得された前記撮像素子の配置情報で特定される位置に合わせて並べて前記撮像素子間の間隙を含めて前記各撮影要素画像群の画素情報を統合して統合撮影要素画像群の画素情報を生成する。そして、空間情報補間プログラムは、補間要素画像群生成手段によって、前記撮像素子の配置情報に基づいて並べた前記統合撮影要素画像群と、予め取得された前記光学要素の配置情報で特定される位置に仮想的な光学要素が二次元状に配列されて構成される第１および第２仮想光学要素アレイと、仮想的な画素が配列された仮想撮像素子と、を仮想空間上にそれぞれ離間させて配置し、前記仮想空間上における幾何光学的演算により前記統合撮影要素画像群の画素情報に対応付けた補間要素画像群の画素情報を前記仮想撮像素子上に生成する。この補間要素画像群生成手段は、統合前の前記撮影要素画像群において空間情報が欠落していた画素については、前記補間要素画像群において前記撮影要素画像群の画素情報が正しく対応付けられている画素を用いて補間処理を行う。
【発明の効果】
【００３６】
本発明は、以下に示す効果を奏するものである。
請求項１に記載の発明によれば、空間情報補間装置は、インテグラルフォトグラフィ方式において複数の撮像素子により空間情報を取得する際に、隣接する撮像素子間の間隙により生じる空間情報の欠落を補間した状態で補間要素画像群を生成することができる。
【００３７】
請求項２に記載の発明によれば、空間情報補間装置は、撮像素子で取得される撮影要素画像群の画素と、空間情報が欠落していた画素と、を区別して統合メモリに割り当てて書き込むので、補間すべき画素を容易に検出することができる。
請求項３に記載の発明によれば、空間情報補間装置は、統合メモリの情報を参照することで、空間情報が欠落していた画素を容易に検出して補間処理を行うことができる。
【００３８】
請求項４に記載の発明によれば、空間情報補間装置は、仮の画素情報と識別符号とを１つの情報として統合メモリに割り当てるので、別々の情報として扱う場合に比べて、必要な記憶容量を低減することができる。
【００３９】
請求項５に記載の発明によれば、空間情報補間装置は、被写体の奥行きと等しくなるように補間要素画像群の空間情報を補正するので、空間情報を提示する際に、被写体と同様の奥行きを再現した自然な立体像を提示することができる。
【００４０】
請求項６に記載の発明によれば、空間情報補間プログラムをインストールされたコンピュータは、このプログラムに基づいた各機能を実現することで、空間情報補間装置と同等の効果を奏することができる。
【図面の簡単な説明】
【００４１】
【図１】本発明の第１実施形態に係る空間情報補間装置の構成を模式的に示すブロック図である。
【図２】本発明の第１実施形態に係る空間情報補間装置が備える統合手段の構成を模式的に示すブロック図である。
【図３】図２に示す統合メモリ確保手段の動作を模式的に示す概念図であって、（ａ）は撮像素子アレイ、（ｂ）は（ａ）に対応した統合メモリを示している。
【図４】本発明の第１実施形態に係る空間情報補間装置が備える補間要素画像群生成手段の構成を模式的に示すブロック図である。
【図５】図４に示す対応画素検出及び割当手段の動作を模式的に示す概念図である。
【図６】図４に示す対応画素検出及び割当手段の効果を模式的に示す概念図である。
【図７】図４に示す対応画素検出及び割当手段による演算処理の過程で仮想レンズアレイ間に生成される中間像を模式的に示す概念図である。
【図８】図４に示す補間処理手段で補間処理を実行した後の補間要素画像メモリの情報から生成される再生像を模式的に示す概念図である。
【図９】本発明の第２実施形態に係る空間情報補間装置が備える補間要素画像群生成手段の構成を模式的に示すブロック図である。
【図１０】図９に示す第２対応画素検出及び割当手段の動作を模式的に示す概念図である。
【図１１】図９に示す第２対応画素検出及び割当手段による演算処理の過程で仮想レンズアレイ間に生成される中間像を模式的に示す概念図である。
【図１２】図９に示す第２対応画素検出及び割当手段で割り当てた第２補間要素画像メモリの情報により提示される再生像を模式的に示す概念図である。
【図１３】図９に示す反転処理情報生成手段において再生像の奥行きを反転させるための第３補間要素画像メモリの情報を生成する動作を模式的に示す概念図である。
【図１４】図９に示す反転処理情報生成手段の処理で生成された第３補間要素画像メモリの情報により提示される再生像を模式的に示す概念図である。
【図１５】図９に示す反転処理情報生成手段で第３補間要素画像メモリの情報を左右反転させた情報により提示される再生像を模式的に示す概念図である。
【図１６】従来の空間情報取得装置の配置例を模式的に示す概念図である。
【図１７】従来の空間情報提示装置の配置例を模式的に示す概念図である。
【図１８】従来の複数の撮像素子を用いた空間情報取得装置の一例を模式的に示す概念図である。
【発明を実施するための形態】
【００４２】
以下、本発明の空間情報補間装置を実施するための形態について、図面を参照して詳細に説明する。なお、各図面に示される部材等のサイズや位置関係等は、説明を明確にするため誇張していることがある。
【００４３】
（第１実施形態）
［空間情報補間装置の概要]
図１に示す第１実施形態に係る空間情報補間装置２は、空間情報取得装置１を用いて撮影により被写体が存在する空間の空間情報として得られる撮影要素画像群の画素情報に欠落している空間情報を補間するものである。
【００４４】
空間情報取得装置１は、複数の微小な光学素子または複数の微小なピンホールが二次元状に配列された撮像光学要素アレイと、複数の撮像素子４０から構成される撮像素子アレイ１４０（図３（ａ）参照）と、を備える。
以下では、撮像光学要素アレイが、図１６に示すような一平面状に凸レンズを配列したレンズ群１１２と同様な撮像光学素子アレイであって、図５の第１および第２仮想レンズアレイ３１，３２と等価な大きさを有しているものとする。また、撮像素子の数は、複数であれば特に限定されないが、以下では一例として４個であるものとして説明する。
【００４５】
撮像素子アレイ１４０は、図３（ａ）に正面視で示すように、例えば、２行２列の配置で４つの矩形の撮像素子４０を備える。１行目の２つの撮像素子４０Ａ，４０Ｂと、２行目の２つの撮像素子４０Ｃ，４０Ｄとは、間に間隙４１をあけて離間させて図示しない基板上に配設されている。１列目の２つの撮像素子４０Ａ，４０Ｃと、２列目の２つの撮像素子４０Ｂ，４０Ｄとは、間に間隙４２をあけて離間させて図示しない基板上に配設されている。なお、間隙４１は、１行目の撮像素子４０の画素と、２行目の撮像素子４０の画素との間の間隔を示し、間隙４２は、１列目の撮像素子４０の画素と、２列目の撮像素子４０の画素との間の間隔を示す。
【００４６】
空間情報取得装置１は、インテグラルフォトグラフィ（ＩＰ）方式で被写体を撮影することで、被写体が存在する空間の空間情報を取得する。この空間情報取得装置１で取得される空間情報は、図１８に示すような複数の撮像素子を用いた従来の空間情報取得装置１３０によって撮影された撮影要素画像群の映像信号である。なお、図３（ａ）に示す撮像素子アレイ１４０は、撮像素子４０Ａ，４０Ｂ，４０Ｃ，４０Ｄの配設箇所では、撮影した被写体の空間情報を取得することができるが、間隙４１，４２の箇所では、被写体の空間情報を取得することはできない。
【００４７】
空間情報補間装置２には、空間情報取得装置１から、撮像素子アレイ１４０の撮像素子４０Ａ，４０Ｂ，４０Ｃ，４０Ｄでそれぞれ取得される撮影要素画像群の映像信号が入力される。なお、空間情報補間装置２は、外部から入力される撮影要素画像群の映像信号をそのまま処理に用いてもよいし、入力される撮影要素画像群の映像信号を空間情報補間装置２内に蓄積しておき、処理の際に装置内部から読み出すようにしてもよい。
【００４８】
［空間情報補間装置の構成]
空間情報補間装置２は、例えば、ＣＰＵ（Central Processing Unit）等の演算手段と、メモリ、ハードディスク等の記憶手段と、外部との間で各種情報の送受信を行うインタフェースとを備えたコンピュータと、このコンピュータにインストールされたプログラムとから構成され、図１に示すように、記憶手段２１と、処理手段２２とを備えている。
【００４９】
記憶手段２１は、処理手段２２による処理を行う前に予め格納された制御プログラムや各種情報、また、処理手段２２の処理によって補間処理等の準備のために事前に取得したデータや、補間処理等のメインの処理の演算結果等を記憶するものであって、一般的なハードディスクやメモリから構成される。記憶手段２１には、後記する統合メモリ５１ａや補間要素画像メモリ６１ａ等のための記憶領域が確保される。なお、記憶内容は同じ記憶手段に記憶されていてもよいし、それぞれ他の記憶手段に分散記憶されていてもよい。
【００５０】
処理手段２２は、図１に示すように、撮像光学素子アレイ配置情報取得手段３と、撮像素子アレイ配置情報取得手段４と、統合手段５と、補間要素画像群生成手段６と、を備えている。
【００５１】
＜撮像光学素子アレイ配置情報取得手段＞
撮像光学素子アレイ配置情報取得手段（撮像光学要素アレイ配置情報取得手段）３は、撮像光学素子アレイ（例えばレンズ群１１２：図１６参照）を構成する個々の要素光学素子の配置情報を外部から取得して記憶手段２１に格納するものである。撮像光学素子アレイ配置情報取得手段３は、補間要素画像群生成手段６が補間処理等を行うことができるように事前に要素光学素子の配置情報を取得する。
【００５２】
撮像光学素子アレイを構成する個々の要素光学素子の配置情報は、例えばマウス、キーボード、ディスクドライブ装置等の入力装置１１から入力され、撮像光学素子アレイ配置情報取得手段３によって、記憶手段２１に書き込まれる。また、補間要素画像群生成手段６が補間処理等を行う際には、撮像光学素子アレイ配置情報取得手段３は、記憶手段２１から、撮像光学素子アレイを構成する個々の要素光学素子の配置情報を読み出して補間要素画像群生成手段６に出力する。
【００５３】
本実施形態では、空間情報取得装置１で取得した空間情報を表示するために想定される表示装置（例えば空間情報表示装置１２０：図１７参照）で使用する光学要素アレイ（例えばレンズ群１２２：図１７参照）が、一例として、撮像光学素子アレイと同じものであるとする。このような光学要素アレイを表示レンズアレイ１２２Ａ（図８参照）と表記する。撮像光学素子アレイ配置情報取得手段３では、この表示装置で想定される表示レンズアレイ１２２Ａにおける凸レンズ（要素光学素子）のピッチ、焦点距離、開口幅（レンズ径）の情報を取得する。
【００５４】
なお、想定される表示装置で使用する光学要素アレイが、要素ピンホールを二次元状に配列して構成されている場合には、要素ピンホールのピッチ、開口幅（ピンホール径）、要素ピンホールから撮像面までの距離の情報を取得する。
【００５５】
＜撮像素子アレイ配置情報取得手段＞
撮像素子アレイ配置情報取得手段４は、撮像素子アレイ１４０を構成する各撮像素子４０の配置情報を外部から取得して記憶手段２１に格納するものである。撮像素子アレイ配置情報取得手段４は、統合手段５や補間要素画像群生成手段６が処理を行うことができるように事前に、撮像素子アレイ１４０を構成する各撮像素子４０の配置情報を取得する。
【００５６】
撮像素子アレイ１４０を構成する各撮像素子４０の配置情報は、例えばマウス、キーボード、ディスクドライブ装置等の入力装置１１から入力され、撮像素子アレイ配置情報取得手段４によって、記憶手段２１に書き込まれる。また、統合手段５や補間要素画像群生成手段６が処理を行う際には、撮像素子アレイ配置情報取得手段４は、記憶手段２１から、撮像素子アレイ１４０を構成する各撮像素子４０の配置情報を読み出して統合手段５や補間要素画像群生成手段６に出力する。撮像素子アレイ配置情報取得手段４では、撮像素子アレイ１４０を構成する個々の撮像素子４０の位置情報、隣接する撮像素子の画素間の間隙４１，４２の距離情報を取得する。
【００５７】
＜統合手段＞
統合手段５は、撮像素子アレイを構成する各撮像素子において被写体を撮影した映像信号として取得される撮影要素画像群の画素情報を各撮像素子に対応してそれぞれ受け付け、受け付けたそれぞれの撮影要素画像群の画素情報を予め取得された撮像素子の配置情報で特定される位置に合わせて並べて前記撮像素子間の間隙を含めて各撮影要素画像群の画素情報を統合して統合撮影要素画像群の画素情報を生成するものである。
本実施形態では、統合手段５は、空間情報取得装置１から入力される撮影要素画像群について、撮像素子アレイ１４０を構成する個々の撮像素子４０Ａ，４０Ｂ，４０Ｃ，４０Ｄで取得される撮影要素画像群を統合する。
【００５８】
統合手段５は、図２に示すように、統合メモリ確保手段５１と、空間情報割当手段５２と、仮輝度情報及び識別符号割当手段５３とを備えている。
【００５９】
≪統合メモリ確保手段≫
統合メモリ確保手段５１は、撮像素子アレイ１４０を構成する各撮像素子４０で取得される撮影要素画像群の画素情報のすべてが展開可能な記憶領域を記憶手段２１において統合メモリ５１ａ（図３（ｂ）参照）として確保するものである。この際に、統合メモリ確保手段５１は、撮像素子アレイ配置情報取得手段４で取得した、隣接する撮像素子の画素間の間隙４１，４２の距離情報にしたがって、間隙４１，４２の部分の情報も記憶可能な領域のメモリを確保する。なお、図３（ｂ）の詳細な説明については後記する。
【００６０】
≪空間情報割当手段≫
空間情報割当手段５２は、撮像素子アレイ１４０を構成する各撮像素子４０で取得される撮影要素画像群の画素に対応した画素情報を空間情報として統合メモリ５１ａに割り当てて書き込むものである。
統合メモリ５１ａに割り当てられる空間情報は、撮影要素画像群の画素の位置情報と、輝度等の画素情報とを含んでいる。なお、画素の輝度を例えば８ビットの情報で表した場合、０〜２５５のいずれかの値が当該画素の空間情報として含まれることになる。
【００６１】
≪仮輝度情報及び識別符号割当手段≫
仮輝度情報及び識別符号割当手段５３は、統合メモリ５１ａにおいて撮影要素画像群の画素に対応した画素情報が割り当てられていないメモリ領域に、所定の輝度情報を仮の画素情報として割り当てて書き込むと共に、当該画素情報が仮のものであることを識別するための識別符号を割り当てるものである。
【００６２】
ここで、仮の画素情報として割り当てられる輝度は、任意の値でよく、例えば固定値でもよいし、乱数でもよい。すなわち、画素の輝度を例えば８ビットの情報で表した場合、０〜２５５のいずれかの値をとることになる。また、識別符号も、任意の値でよい。例えば、１ビットの情報で表した場合、識別符号を割り当てるという条件判定が満たされた場合、Ｆ＝１を設定し、そうでない場合Ｆ＝０に設定しておく。または、Ｆの設定値を入れ替えてもよい。
【００６３】
≪処理の具体例≫
ここで、統合手段５による処理の具体例として、撮像素子アレイ１４０の配置と、統合メモリ５１ａに割り当てられて書き込まれる情報の対応関係について、図３（ａ）および図３（ｂ）を参照（適宜図２参照）して説明する。図３（ａ）は、撮像素子アレイ１４０を構成する各撮像素子４０の配置の模式図であり、図３（ｂ）は、統合メモリ確保手段５１により確保された、統合メモリ５１ａの記憶領域を模式的に示す概念図である。
【００６４】
図３（ｂ）に示すように、統合メモリ５１ａは、撮像素子アレイ１４０を構成する撮像素子４０Ａ，４０Ｂ，４０Ｃ，４０Ｄの配置に対応して、例えば、２行２列の配置で４つの記憶領域５０Ａ，５０Ｂ，５０Ｃ，５０Ｄを備える。１行目の２つの記憶領域５０Ａ，５０Ｂと、２行目の２つの記憶領域５０Ｃ，５０Ｄとの間には、図３（ａ）の間隙４１に対応して記憶領域５０Ｅを備える。１列目の２つの記憶領域５０Ａ，５０Ｃと、２列目の２つの記憶領域５０Ｂ，５０Ｄとの間には、図３（ａ）の間隙４２に対応して記憶領域５０Ｆを備える。
【００６５】
空間情報割当手段５２は、図３（ａ）に示す撮像素子４０Ａにより取得された撮影要素画像群の画素情報を、図３（ｂ）に示す記憶領域５０Ａに割り当てて書き込む。撮像素子４０Ｂ〜４０Ｄについても、記憶領域５０Ｂ〜５０Ｄにそれぞれ同様に割り当てて書き込む。
仮輝度情報及び識別符号割当手段５３は、撮像素子アレイ１４０の間隙４１，４２に相当する部分の空間情報として、仮輝度値及び識別符号を、記憶領域５０Ｅ，５０Ｆに割り当てる。これにより、統合撮影要素画像群の画素情報が生成されたことになる。
なお、図３（ｂ）の例では、記憶領域５０Ｅ，５０Ｆの交差点には記憶領域５０Ｅ，５０Ｆのいずれかがあるものとして仮輝度値及び識別符号を割り当て、二重に割り当てることはしない。
【００６６】
図１を参照して、空間情報補間装置２の構成の説明を続ける。
［補間要素画像群生成手段の概要］
補間要素画像群生成手段６は、統合手段５で生成された統合撮影要素画像群を基に、この統合撮影要素画像群の画素情報に対応付けた補間要素画像群の画素情報を、仮想的な画素が配列された仮想撮像素子４００（図６参照）上に生成する演算処理を行うものである。
補間要素画像群生成手段６は、この演算処理のために、撮像光学素子アレイ配置情報取得手段３によって予め取得された表示レンズアレイ１２２Ａ（図８参照）における凸レンズ（要素光学素子）の配置情報に基づいて並べた前記統合撮影要素画像群を利用する。加えて、補間要素画像群生成手段６は、撮像素子アレイ配置情報取得手段４によって予め取得された撮像素子アレイ１４０（図３（ａ）参照）の撮像素子４０の配置情報で特定される位置に仮想的な光学要素が二次元状に配列されて構成される第１および第２仮想レンズアレイ３１，３２（図５参照）を利用する。
【００６７】
補間要素画像群生成手段６は、統合撮影要素画像群と、第１および第２仮想レンズアレイ３１，３２（図５参照）と、仮想撮像素子４００（図６参照）とを仮想空間上にそれぞれ離間させて配置し、この仮想空間上における幾何光学的演算により、補間要素画像群の画素情報を生成する。なお、幾何光学的演算の説明については後記する。補間要素画像群生成手段６は、統合前の撮影要素画像群において空間情報が欠落していた画素については、補間要素画像群において撮影要素画像群の画素情報が正しく対応付けられている画素を用いて補間処理を行う。
【００６８】
［補間要素画像群生成手段による処理手順の概要］
補間要素画像群生成手段６は、補間要素画像群の画素情報を生成する演算処理のために、図６に示すように、統合撮影要素画像群と、第１および第２仮想レンズアレイ３１，３２と、仮想撮像素子４００とを予め定められた相対位置に配置することを前提とする。なお、図６の説明については後記する。
補間要素画像群生成手段６は、仮想撮像素子４００上の任意の画素から射出される光線を基準にして第１および第２仮想レンズアレイ３１，３２を介して統合撮影要素画像群に到達する光路についての幾何光学的演算により、統合撮影要素画像群の特定の画素（撮像素子アレイ１４０の画素または間隙が対応）を検出する。
【００６９】
補間要素画像群生成手段６は、検出された画素の画素情報を光線の始点となる画素に割り当てて仮想撮像素子４００上に記録することで、統合撮影要素画像群の画素情報に対応付けられた補間要素画像群の画素情報を仮想撮像素子４００上に生成する。
ただし、補間要素画像群生成手段６は、仮想撮像素子４００上の画素から射出される光線に対応して検出された統合撮影要素画像群の画素が、統合前の撮影要素画像群において空間情報が欠落していた画素である場合、仮想撮像素子４００上に割り当てない。この場合、補間要素画像群生成手段６は、補間要素画像群において撮影要素画像群の画素情報が正しく対応付けられている画素に割り当てられている画素情報を用いて、補間処理により生成した画素情報を、光線の始点となる画素に割り当てる。
【００７０】
［補間要素画像群生成手段の構成例］
補間要素画像群生成手段６の構成例について、図４を参照して説明する。
補間要素画像群生成手段６は、図４に示すように、補間要素画像メモリ確保手段６１と、対応画素検出及び割当手段６２と、補間処理手段６３とを備えている。
【００７１】
＜補間要素画像メモリ確保手段＞
補間要素画像メモリ確保手段６１は、統合メモリ５１ａ（図３（ｂ）参照）と同じ大きさの記憶領域であって、仮想撮像素子４００（図６参照）上の画素の画素情報を記憶する記憶領域を記憶手段２１において補間要素画像メモリ（図示せず）として確保する。以下では、統合メモリ５１ａと区別するために、補間要素画像メモリ６１ａと表記する。
【００７２】
＜対応画素検出及び割当手段＞
≪対応画素検出及び割当手段の概要≫
対応画素検出及び割当手段６２は、補間要素画像メモリ６１ａに対応する統合メモリ５１ａ上の位置を検出し、統合メモリ５１ａの当該位置に記憶されている統合要素画像群の画素情報を補間要素画像メモリ６１ａに割り当てて書き込むものである。
【００７３】
≪対応画素検出及び割当手段による動作≫
ここでは、対応画素検出及び割当手段６２が行う幾何光学的演算による動作について図５を参照して説明する。図５は、第１仮想レンズアレイ３１と第２仮想レンズアレイ３２が、仮想的な３次元空間に配置された様子を模式的に示す概念図である。この仮想的な３次元空間は、ｘ方向（紙面に垂直な方向）と、ｙ方向（紙面に沿った幅方向）と、ｚ方向（紙面に沿った奥行き方向）に対応している。図５に示す第１および第２仮想レンズアレイ３１，３２は、空間情報取得装置１の図示しない撮像光学素子アレイと等価な大きさを有している。
【００７４】
第１仮想レンズアレイ３１に対応付けて、統合メモリ５１ａの情報が図５に示されている。図５では、仮想的な３次元空間において統合メモリ５１ａの情報が配置されたｚ方向（紙面に沿った奥行き方向）の位置（ｘ1ｙ1平面）を特定して示している。この統合メモリ５１ａの情報は、そのすべてが提示されたときに統合撮影要素画像群となる。よって、統合メモリ５１ａの情報とは、統合撮影要素画像群の画素情報を意味する。また、統合撮影要素画像群の画素情報とは、統合撮影要素画像群の要素画像を構成する要素画素に対応したそれぞれの画素情報（位置、輝度）を表す。
【００７５】
また、第２仮想レンズアレイ３２に対応付けて、補間要素画像メモリ６１ａの情報が図５に示されている。図５では、仮想的な３次元空間において補間要素画像メモリ６１ａの情報が配置されたｚ方向（紙面に沿った奥行き方向）の位置（ｘ2ｙ2平面）を特定して示している。補間要素画像メモリ６１ａの情報は、対応画素検出及び割当手段６２の処理においては、仮想撮像素子４００上に記録した情報を意味する。補間要素画像メモリ６１ａの情報とは、対応画素検出及び割当手段６２の処理の途中で更新され、処理が終了した時点において、統合撮影要素画像群の画素情報が、補間要素画像メモリ６１ａ内の記憶領域の適所に移送された情報となる。なお、第１実施形態では、補間処理手段６３が処理を終了するまで補間要素画像メモリ６１ａの更新が行われるので、この時点まで補間要素画像群の画素情報は更新されながら生成される。
【００７６】
図５のｚ方向（紙面に沿った奥行き方向）において、統合メモリ５１ａの情報から第１仮想レンズアレイ３１までの距離ｄ1と、第２仮想レンズアレイ３２から補間要素画像メモリ６１ａの情報までの距離ｄ2とは、空間情報取得装置１の図示しない撮像光学素子アレイを構成する光学素子の焦点距離に相当する。また、第１仮想レンズアレイ３１から第２仮想レンズアレイ３２までの距離Ｌは、任意に設定することができる。なお、図５のＬ（＋）は第１仮想レンズアレイ３１の配置面を基準にした正の値を示す。
【００７７】
補間要素画像メモリ６１ａの情報として、図５の位置（ｈ2，ｖ2）で特定される情報（ここでは、点Ｐ2（ｈ2，ｖ2）の情報という）に対して、統合メモリ５１ａの情報を割り当てる手順は、以下の（ａ１）〜（ａ６）の通りである。
【００７８】
（ａ１）点Ｐ2（ｈ2，ｖ2）を始点として、点Ｐ2（ｈ2，ｖ2）から最も近距離にある、第２仮想レンズアレイ３２を構成する光学素子ｇ2を検出し、点Ｐ2（ｈ2，ｖ2）と光学素子ｇ2の主点Ｐ20とを通る直線ｈ2を演算処理により求めて設定する。
（ａ２）直線ｈ2と第１仮想レンズアレイ３１との交点Ｐ11を検出する。
（ａ３）交点Ｐ11から最も近距離にある、第１仮想レンズアレイ３１を構成する光学素子ｇ1を検出し、光学素子ｇ1の主点Ｐ10を検出する。
（ａ４）光学素子ｇ1の主点Ｐ10を通る直線であって、直線ｈ2と傾きが等しい直線ｈ１を演算処理により求めて設定する。
（ａ５）直線ｈ１と、ｘ1ｙ1平面（統合メモリ５１ａの情報）とが交差する位置（ｈ1，ｖ1）で特定される情報（ここでは、点Ｐ1（ｈ1，ｖ1）の情報という）を検出する。そして、統合メモリ５１ａの情報のうち、点Ｐ1（ｈ1，ｖ1）の情報を、補間要素画像メモリ６１ａの情報Ｐ2（ｈ2，ｖ2）として割り当てて書き込む。
（ａ６）ただし、統合メモリ５１ａ上の点Ｐ1（ｈ1，ｖ1）に、仮輝度と共に識別符号が割り当てられている場合、仮輝度と識別符号を併せて補間要素画像メモリ６１ａの情報Ｐ2（ｈ2，ｖ2）に割り当てて書き込む。
【００７９】
図４を参照して、補間要素画像群生成手段６の構成例の説明を続ける。
＜補間処理手段＞
補間処理手段６３は、統合メモリ５１ａに記憶された統合撮影要素画像群の画素情報が補間要素画像メモリ６１ａに割り当てられた後に当該補間要素画像メモリ６１ａを参照して、識別符号が割り当てられている画素について補間処理を行うものである。
例えば補間処理として、識別符号が付与されている画素の周囲の画素情報から、線型内挿により補間する手法が挙げられるが、その他の高次の内挿法を適用してもよい。
【００８０】
補間処理手段６３が処理を終了すると、補間要素画像メモリ６１ａの更新も終了する。よって、この時点で補間要素画像群の画素情報は更新が終了する。この生成された補間要素画像群の画素情報を用いて、通常の空間情報表示装置１２０（図１７参照）で提示すれば、空間情報取得装置１（図１参照）にて撮影した被写体に対応した立体像を再構築することができる。また、この生成された補間要素画像群の画素情報を、出力装置１２（図１参照）に出力してもよい。出力装置１２は、例えばＬＣＤ（Liquid Crystal Display）等の表示装置から構成される。
【００８１】
［空間情報補間装置による処理の詳細］
ここでは、空間情報補間装置２の補間要素画像群生成手段６による演算処理について詳細に説明する。
図６は、図５に示した仮想的な３次元空間の配置を２次元で簡略に示し、撮像素子の配置と、メモリ空間の配置とも対応させた概念図である。図５と同じ構成には同じ符号を付し、詳細な説明を適宜省略する。
【００８２】
図６において、例えば、統合メモリ５１ａの情報は、撮像素子アレイ１４０を構成する撮像素子の配置（実空間）に対応して割り当てられた記憶領域（メモリ空間）に格納されている。図６において、撮像素子アレイ１４０を構成する撮像素子を太い実線で示し、太い実線の一部を削除することで撮像素子アレイ１４０に間隙があることを示した。なお、撮像素子の個数やレンズアレイのレンズの個数は一例である。また、撮像素子を示す太い実線に沿って、つまり画素に沿って、画素に対応したメモリ空間の記憶領域を矩形で示した。
【００８３】
また、図６において、補間要素画像メモリ６１ａの情報は、仮想撮像素子４００が実際には存在しないがあたかも実空間に存在するかのような配置に対応して割り当てられた記憶領域（メモリ空間）に格納されている。図６において、仮想撮像素子４００を太い実線で示した。また、仮想撮像素子４００を示す太い実線に沿って、つまり画素に沿って、画素に対応したメモリ空間の記憶領域を矩形で示した。
【００８４】
対応画素検出及び割当手段６２は、図６に示すように、補間要素画像メモリ６１ａの基準とする所定位置（例えば図６の（ｈ2，ｖ2））に画素情報を割り当てられる仮想撮像素子４００上の任意の画素に対応して、幾何光学的演算により検出した統合撮影要素画像群の画素について統合メモリ５１ａ上の位置（例えば図６の（ｈ1，ｖ1））を検出する。対応画素検出及び割当手段６２は、この統合メモリ５１ａ上で検出した位置（例えば図６の（ｈ1，ｖ1））に記憶されている画素情報（点Ｐ1（ｈ1，ｖ1）の情報）を、統合撮影要素画像群の画素情報として補間要素画像メモリ６１ａに割り当てる。
【００８５】
撮像素子アレイ１４０の隣接する撮像素子間に間隙が生じていると、統合メモリ５１ａでは、間隙から欠落していて実際には存在しない画素に沿って、画素に対応したメモリ空間の記憶領域において、ある範囲の情報が連続して欠落する。この記憶領域における連続した画素にそれぞれ対応した、欠落した情報を図６では一例としてｅ1，ｅ2，ｅ3の位置に塗りつぶしで示した。なお、欠落は３画素分とは限らない。
【００８６】
本発明の比較例として、例えば統合メモリ５１ａ上で、図６に示す欠落したｅ2の情報を内挿処理により補間する場合、ｅ2の周囲のｅ1とｅ3の情報も欠落しているために、内挿処理の精度が劣化する。
【００８７】
一方で、本発明の実施形態に係る空間情報補間装置２の補間要素画像メモリ６１ａ上では、対応画素検出及び割当手段６２の演算処理により、連続して欠落していた情報が、図６に示すように、補間要素画像メモリ６１ａ上の記憶領域の分散した位置（図６において例えばｅc1，ｅc2，ｅc3で表す位置）に割り当てられることになる。したがって、補間要素画像メモリ６１ａ上では、欠落した情報の周囲に、正しく割り当てられた情報が存在するそのため、欠落した情報を内挿処理により高い精度で補間することが可能となる。
【００８８】
以上の理由から、補間要素画像群生成手段６の補間処理手段６３は、補間要素画像メモリ６１ａ上の情報を用いて、識別符号が付与されている画素について補間処理を行うこととした。
【００８９】
続いて、補間処理手段６３で補間処理を実行した後の補間要素画像メモリ６１ａ上の情報を用いて、従来の空間情報提示装置で空間情報を提示した場合の立体像の位置について図７および図８を参照して説明する。
図７は、図６の概念図に対応した概念図であり、図６と同じ構成には同じ符号を付し、詳細な説明を適宜省略する。図７において、例えば、統合メモリ５１ａの情報を表すために、撮像素子アレイを直線で示し、この直線に沿って統合要素画像群を示した。なお、ここでは間隙を無視している。また、図７において、補間要素画像メモリ６１ａ上の情報を表すために、仮想撮像素子を直線で示し、この直線に沿って補間要素画像群を示した。
図７は、対応画素検出及び割当手段６２による演算処理の過程で第１および第２仮想レンズアレイ３１，３２間に生成される中間像を模式的に示す概念図である。
【００９０】
この仮想的な中間像は、図１の空間情報取得装置１が、図１６に示す被写体１１１を撮影した場合に生成される立体像に対応している。統合メモリ５１ａの情報（統合撮影要素画像群）が第１仮想レンズアレイ３１により結像されると、仮想的な中間像が生成される。そして、この仮想的な中間像が第２仮想レンズアレイにより変化を受けて、いわば再撮影されたように変換されて仮想撮像素子４００上に補間要素画像メモリ６１ａ上の情報として記録される。このとき、被写体１１１から、図１の空間情報取得装置１の図示しない撮像光学素子アレイまでの距離をｚcとすると（図１６参照）、第１仮想レンズアレイ３１から中間像までの距離ｚc2は、次の式（４）で表わされる。
【００９１】
【数４】
0005852465.tif 000005
【００９２】
図８は、補間処理手段６３で補間処理を実行した後の補間要素画像メモリ６１ａ上の情報から生成される再生像を模式的に示す概念図である。図８において、表示レンズアレイ１２２Ａを備える空間情報表示装置の表示素子を、表示レンズアレイ１２２Ａの列に平行な直線で簡略化して示しているが、この表示素子は、紙面に垂直な方向に広がった表示面を有すると共に、紙面に沿った厚みを有している。この表示素子に、補間処理手段６３で補間処理を実行した後の補間要素画像メモリ６１ａ上の情報、つまり補間要素画像群を表示すると、図８に示すように再生像が生成される。ここで、表示レンズアレイ１２２Ａから、表示素子において補間要素画像群が表示される面までの距離をｄrとすると、表示レンズアレイ１２２Ａから再生像までの距離ｚrは、図７および図８の幾何学的な関係から、次の式（５）で表わすことができる。
【００９３】
【数５】
0005852465.tif 000006
【００９４】
以上説明したように、第１実施形態に係る空間情報補間装置２は、インテグラルフォトグラフィ方式において複数の撮像素子４０により空間情報を取得する際に、隣接する撮像素子４０間の間隙により生じる空間情報の欠落を補間した状態で補間要素画像群を生成することができる。
また、空間情報補間装置２は、統合撮影要素画像群の画素情報を第１および第２仮想レンズアレイ３１，３２を介した光路を用いた幾何光学的演算処理により仮想撮像素子４００上に対応付けるので、仮想撮像素子４００上において画素情報が正しく対応付けられている画素を補間処理に用いることができる。
【００９５】
（第２実施形態）
本発明の第２実施形態に係る空間情報補間装置は、第１実施形態と比べて補間要素画像群生成手段６の機能が異なっているので、図１の構成と同じ構成には同じ符号を付して説明を省略する。図９は、本発明の第２実施形態に係る空間情報補間装置が備える補間要素画像群生成手段の構成を模式的に示すブロック図である。
図９に示す補間要素画像群生成手段６Ａは、図４の構成に、奥行き補正手段６４が追加されている点が相違しているので、以下では相違点のみを説明する。
【００９６】
奥行き補正手段６４は、統合前の撮影要素画像群において空間情報が欠落していた画素に対応して補間要素画像群において補間処理を実行した後に、仮想撮像素子４００（図６参照）上に生成された補間要素画像群の空間情報を提示した場合の立体像（再生像：図８参照）の奥行きが、被写体１１１（図１６参照）の奥行きと等しくなるように補間要素画像群の空間情報を補正するものである。
【００９７】
前記した式（５）に示すように、表示レンズアレイ１２２Ａから再生像までの距離ｚrは、図１６の被写体１１１から、図１の空間情報取得装置１の図示しない撮像光学素子アレイまでの距離ｚcとは異なっている。距離が異なっていたとしても、映像を提示するときの１つの演出効果として好ましい場合もある。例えば、被写体を凹面鏡や凸面鏡を介して拡大したような映像効果を用いる場合には、スケール変換は問題にはならない。
第２実施形態では、被写体のスケール変換をしない映像演出を行う場合を想定する。
【００９８】
そこで、奥行き補正手段６４は、被写体から撮像光学素子アレイまでの距離ｚcと、表示レンズアレイ１２２Ａから再生像までの距離ｚrとが等しくなるようにするために、補間要素画像メモリ６１ａ上の情報を更新する。
このために、奥行き補正手段６４は、図９に示すように、第２補間要素画像メモリ確保手段６４１と、第２対応画素検出及び割当手段６４２と、反転処理情報生成手段６４３とを備えている。
【００９９】
＜第２補間要素画像メモリ確保手段＞
第２補間要素画像メモリ確保手段６４１は、補間要素画像メモリ確保手段６１と同様の機能を有し、補間要素画像メモリ６１ａと同じ大きさの領域を有する第２補間要素画像メモリ（図示せず）を確保する。以下では、確保した領域を第２補間要素画像メモリ７１ａと表記する。
【０１００】
第２対応画素検出及び割当手段６４２は、第２補間要素画像メモリ７１ａに対応する補間要素画像メモリ６１ａ上の位置を検出し、補間要素画像メモリ６１ａの当該位置に記憶されている補間要素画像群の画素情報を第２補間要素画像メモリ７１ａに割り当てるものである。つまり、第２対応画素検出及び割当手段６４２は、対応画素検出及び割当手段６２と同様の機能を有するが、補間要素画像メモリ６１ａの情報と、第２補間要素画像メモリ７１ａの情報との間で対応画素の検出および割当を行う点が相違している。
【０１０１】
第２対応画素検出及び割当手段６４２が行う幾何光学的演算による動作について図１０を参照して説明する。図１０は、第３仮想レンズアレイ３３と第４仮想レンズアレイ３４が、仮想的な３次元空間に配置された様子を模式的に示す概念図である。図１０の見方は、図５と同様である。第３仮想レンズアレイ３３に対応付けて、補間要素画像メモリ６１ａの情報が図１０に示されている。また、第４仮想レンズアレイ３４に対応付けて、第２補間要素画像メモリ７１ａの情報が図１０に示されている。
【０１０２】
図１０において、第３仮想レンズアレイ３３に関係して添字に３を付して図示される距離、位置、座標軸等を表す記号は、図５において、第１仮想レンズアレイ３１に関係して添字に１を付して図示される距離、位置、座標軸等を表す記号と同様な記号を表している。図１０において、第４仮想レンズアレイ３４に関係して添字に４を付して図示される距離、位置、座標軸等を表す記号は、図５において、第２仮想レンズアレイ３２に関係して添字に２を付して図示される距離、位置、座標軸等を表す記号と同様な記号を表している。したがって、詳細な説明は省略する。
【０１０３】
第２対応画素検出及び割当手段６４２は、図１０に示すように、補間要素画像メモリ６１ａの情報、第３仮想レンズアレイ３３、第４仮想レンズアレイ３４を用いて、補間要素画像メモリ６１ａの情報を第２補間要素画像メモリ７１ａに割り当てる。
【０１０４】
第２補間要素画像メモリ７１ａの情報として、図１０の位置（ｈ4，ｖ4）で特定される情報（ここでは、点Ｐ4（ｈ4，ｖ4）の情報という）に対して、補間要素画像メモリ６１ａの情報を割り当てる手順は、以下の（ｂ１）〜（ｂ５）の通りである。
【０１０５】
（ｂ１）点Ｐ4（ｈ4，ｖ4）を始点として、点Ｐ4（ｈ4，ｖ4）から最も近距離にある、第４仮想レンズアレイ３４を構成する光学素子ｇ4を検出し、点Ｐ4（ｈ4，ｖ4）と光学素子ｇ4の主点Ｐ40とを通る直線ｈ4を演算処理により求めて設定する。
（ｂ２）直線ｈ4と第３仮想レンズアレイ３３との交点Ｐ31を検出する。
（ｂ３）交点Ｐ31から最も近距離にある、第３仮想レンズアレイ３３を構成する光学素子ｇ3を検出し、光学素子ｇ3の主点Ｐ30を検出する。
（ｂ４）光学素子ｇ3の主点Ｐ30を通る直線であって、直線ｈ4と傾きが等しい直線ｈ3を演算処理により求めて設定する。
（ｂ５）直線ｈ3と、ｘ3ｙ3平面（補間要素画像メモリ６１ａの情報）とが交差する位置（ｈ3，ｖ3）で特定される情報（ここでは、点Ｐ3（ｈ3，ｖ3）の情報という）を検出する。そして、補間要素画像メモリ６１ａの情報のうち、点Ｐ3（ｈ3，ｖ3）の情報を、第２補間要素画像メモリ７１ａの情報Ｐ4（ｈ4，ｖ4）として割り当てて書き込む。
【０１０６】
続いて、第２対応画素検出及び割当手段６４２で処理を実行した後の第２補間要素画像メモリ７１ａ上の情報を用いて、従来の空間情報提示装置で空間情報を提示した場合の立体像の位置について図１１および図１２を参照して説明する。
【０１０７】
図１１は、図７の概念図と同様の形式の概念図である。図１１において、例えば、補間要素画像メモリ６１ａの情報を表すために、仮想撮像素子を直線で示し、この直線に沿って補間処理後の補間要素画像群を示した。また、図１１において、第２補間要素画像メモリ７１ａ上の情報を表すために、仮想撮像素子を直線で示し、この直線に沿って更新後の補間要素画像群を示した。つまり、図１１は、第２対応画素検出及び割当手段６４２による演算処理の過程で第３および第４仮想レンズアレイ３３，３４間に生成される中間像２を模式的に示す概念図である。この仮想的な中間像２は、図７の仮想的な中間像と比べて、奥行きの方向（図１１において水平方向）が反転し、左右の方向（図１１において垂直方向）が反転した像になっている。
【０１０８】
このとき、図１０および図１１に示すように、補間要素画像メモリ６１ａの情報から第３仮想レンズアレイ３３までの距離をｄ3、第４仮想レンズアレイ３４から第２補間要素画像メモリ７１ａの情報までの距離をｄ4とすれば、第３仮想レンズアレイ３３から中間像２までの距離ｚr2は、次の式（６）で表わされる。
【０１０９】
【数６】
0005852465.tif 000007
【０１１０】
式（６）のｄrは、図８に示すように、表示レンズアレイ１２２Ａから、表示素子において画像が表示される面までの距離ｄrを示す。また、式（６）のｚrは、前記式（５）で表され、図８に示すように、補間処理を実行した後の補間要素画像メモリ６１ａ上の情報を用いたときに、表示レンズアレイ１２２Ａから、生成される再生像までの距離を示している。一方、図１２は、図８に対応しており、第２補間要素画像メモリ７１ａの情報を提示している点が相違している。すなわち、図１２は、第２対応画素検出及び割当手段６４２で割り当てた第２補間要素画像メモリ７１ａの情報により提示される再生像を模式的に示す概念図である。なお、図１２においても、表示レンズアレイ１２２Ａから、表示素子において画像が表示される面までの距離はｄrである。
【０１１１】
図１２において、表示レンズアレイ１２２Ａから再生像までの距離ｚr3は、図１１および図１２の幾何学的な関係から、次の式（７）で表わすことができる。
【０１１２】
【数７】
0005852465.tif 000008
【０１１３】
ここで、図１１に示す補間要素画像メモリ６１ａの情報から第３仮想レンズアレイ３３までの距離ｄ3と、図１２に示す第２補間要素画像メモリ７１ａの情報から表示レンズアレイまでの距離ｄrと、図１１に示す第４仮想レンズアレイ３４から第２補間要素画像メモリ７１ａの情報までの距離ｄ4との関係を、ｄ3＝ｄ4＝−ｄrに設定すれば、前記式（７）で示す距離ｚr3は、次の式（８）で表わされることになる。
【０１１４】
【数８】
0005852465.tif 000009
【０１１５】
ここで、式（８）の右辺の距離ｚrは、前記式（５）に示すように、距離ｄ1（統合メモリ５１ａの情報から第１仮想レンズアレイまでの距離）と、距離ｄ2（第２仮想レンズアレイ３２から補間要素画像メモリ６１ａの情報までの距離）とに関係付けられている。そこで、これら距離ｄ1と距離ｄ2とを等しい距離に設定すれば、式（５）より、距離ｚrは式（９）で表わされる。
【０１１６】
【数９】
0005852465.tif 000010
【０１１７】
前記式（８）は、距離Ｌ2（第３および第４仮想レンズアレイ３３，３４間の距離）と関係付けられており、一方、前記式（９）は、距離Ｌ（第１および第２仮想レンズアレイ３１，３２間の距離）と関係付けられている。そこで、これら距離Ｌ2と距離Ｌとを等しい距離に設定すれば、式（８）と式（９）より、距離ｚr3は式（１０）で表わされる。
【０１１８】
【数１０】
0005852465.tif 000011
【０１１９】
ここで、距離ｚcは、被写体１１１から、図１の空間情報取得装置１の図示しない撮像光学素子アレイまでの距離（図１６参照）である。よって、図１２において、表示レンズアレイ１２２Ａから再生像までの距離ｚr3と、被写体から撮像光学素子アレイまでの距離とは等しくなる。ただし、距離ｚcは負の値（図１６参照）であって、距離ｚr3は正の値（図１２参照）である。よって、図１２に示す再生像は、被写体に比して奥行きが反転する逆視像となっている。つまり、撮影時に図１６において右から撮像光学素子アレイを介して見た被写体の奥行き（例えば凸形状）ではなく、あたかも撮影時に左から見た被写体と同じ奥行き（例えば凹形状）を持った像が、図１２において右から表示レンズアレイ１２２Ａを介して見た再生像として観察されることになる。
【０１２０】
図９に戻って、奥行き補正手段６４の構成の説明を続ける。
＜反転処理情報生成手段＞
反転処理情報生成手段６４３は、立体像として表示されたときに被写体の凹凸が反転した再生像となる要素画像群を構成する個々の要素画像をそれぞれ点対称に反転させる演算処理を行って、被写体の凹凸と同じ再生像となる要素画像群を反転処理情報として生成するものである。この反転処理情報生成手段６４３は、従来公知なので、簡単に説明する。
【０１２１】
図１３は、反転処理情報生成手段６４３において再生像の奥行きを反転させるための第３補間要素画像メモリの情報を生成する動作を模式的に示す概念図である。
反転処理情報生成手段６４３は、第２補間要素画像メモリ確保手段６４１と同様の機能を有し、第２補間要素画像メモリ７１ａと同じ大きさの領域を有する第３補間要素画像メモリ（図示せず）を確保する。以下では、確保した領域を第３補間要素画像メモリ７２ａと表記する。図１３に示す第５仮想レンズアレイ３５は、図１３に示すように、第２補間要素画像メモリ７１ａの情報に対して、要素画像ごとに（仮想レンズごとに）反転処理を行い、第３補間要素画像メモリ７２ａの情報を生成する。
【０１２２】
続いて、反転処理情報生成手段６４３で第５仮想レンズアレイ３５を介した処理を実行した後の第３補間要素画像メモリ７２ａ上の情報を用いて、従来の空間情報提示装置で空間情報を提示した場合の立体像の位置について図１４を参照して説明する。図１４は、図１２に対応しており、第３補間要素画像メモリ７２ａの情報を提示している点が相違している。
【０１２３】
図１４において、表示レンズアレイ１２２Ａから再生像までの距離ｚr3と、被写体から撮像光学素子アレイまでの距離ｚcとは等しくなり、かつ、距離ｚr3も距離ｚcと同様に負の値となる（ｚr3＝ｚc）。よって、図１４に示す再生像は、被写体の凹凸と同じ再生像となっている。
【０１２４】
＜第２実施形態の変形例＞
図１４の再生像は、被写体１１１（図１６参照）と比較した場合の左右関係が異なっている。ここで、左右は、図１４において、観察者が、白抜き矢印で示す観察方向から再生像を観察する向きを正面としたときの左右を示す（図１４において上が、左右の右を表す）。具体的には、撮影時に図１６において右から撮像光学素子アレイを介して見た被写体の円柱は右手前にあるが、図１４において右から表示レンズアレイ１２２Ａを介して見たときに再生像の円柱は左手前に観察されることになる。被写体と比較した場合の左右関係が異なっていたとしても、映像を提示するときの１つの演出効果として好ましい場合もある。また、例えば、鏡に映った被写体を撮影するという特殊な方法を採用すれば、提示するときに、被写体と等価な再生像が生成されることになる。
第２実施形態の変形例では、被写体と等価な再生像が生成されるように演算処理を行う場合を想定する。
【０１２５】
反転処理情報生成手段６４３は、図１４の再生像を表示してしまう要素画像情報を補正するために、第３補間要素画像メモリ７２ａの情報全体を左右に反転する処理を行うこととした。この反転処理情報生成手段６４３にて、第３補間要素画像メモリ７２ａの情報全体を左右に反転する処理を実行した後の第３補間要素画像メモリ７２ａ上の情報を用いて、従来の空間情報提示装置で空間情報を提示した場合の立体像の位置を図１５に示す。図１５に示すように、反転処理情報生成手段６４３の処理の結果、被写体と等価な再生像が生成されることになる。
【０１２６】
以上、各実施形態について説明したが、本発明はこれらに限定されるものではなく、その趣旨を変えない範囲でさまざまに実施することができる。例えば、仮輝度情報及び識別符号割当手段５３は、統合メモリ５１ａにおいて画素情報が割り当てられていないメモリ領域に、仮の画素情報および識別符号を割り当てるものとして説明したが、仮の画素情報および識別符号を１つの情報として割り当てることもできる。
【０１２７】
この場合、空間情報取得装置１の撮像素子アレイ１４０を構成する撮像素子４０で取得される撮影要素画像群の画素の輝度値の中で予め定められた最低輝度値または最高輝度値を割り当てる。例えば、画素の輝度を８ビットの情報で表した場合、０〜２５５のいずれかの値をとることになるが、空間情報が欠落した画素については、２５５または０を、仮の画素情報（輝度）として割り当てるようにする。これにより、統合メモリ５１ａにおいて、２５５または０を、仮の画素情報（輝度）および識別符号として扱い、それ以外の画素情報を、撮像素子４０で取得された情報があるものとして識別することができる。その結果、空間情報補間装置は、仮の画素情報と識別符号とを別々の情報として扱う場合に比べて、必要な記憶容量を低減することができる。
【０１２８】
また、対応画素検出及び割当手段６２の処理手順（ａ６）において、仮輝度と共に識別符号が割り当てられている場合、仮輝度と識別符号を併せて補間要素画像メモリ６１ａの情報に割り当てることとしたが、これに限定されない。例えば、仮の画素情報（輝度）と識別符号とが別々の情報であるとき、統合メモリ５１ａに割り当てられている仮輝度値を補間要素画像メモリ６１ａに割り当てることはしなくてもよい。
【０１２９】
また、各実施形態では、第１〜第５仮想光学要素アレイを構成する光学要素を要素レンズとして説明したが、ピンホールに置き換えてもよい。この場合、要素レンズの焦点距離に対応する距離は任意の距離とすることができる。
【０１３０】
また、空間情報補間装置は、前記した各手段を演算回路によって実現することも可能であるし、中央処理装置（ＣＰＵ：Central Processing Unit）、主記憶装置（ＲＡＭ：Random Access Memory）等を備えた一般的な計算機を、前記した各手段として機能させるプログラム（空間情報補間プログラム）により動作させることで実現することも可能である。このプログラム（補間プログラム）は、通信回線を介して提供することも可能であるし、ＣＤ−ＲＯＭ等の記録媒体に書き込んで配布することも可能である。
【符号の説明】
【０１３１】
１      空間情報取得装置
２      空間情報補間装置
３      撮像光学素子アレイ配置情報取得手段（撮像光学要素アレイ配置情報取得手段）
４      撮像素子アレイ配置情報取得手段
５      統合手段
６，６Ａ  補間要素画像群生成手段
１１    入力装置
１２    出力装置
２１    記憶手段
２２    処理手段
３１    第１仮想レンズアレイ（第１仮想光学要素アレイ）
３２    第２仮想レンズアレイ（第２仮想光学要素アレイ）
３３    第３仮想レンズアレイ（第３仮想光学要素アレイ）
３４    第４仮想レンズアレイ（第４仮想光学要素アレイ）
３５    第５仮想レンズアレイ（第５仮想光学要素アレイ）
４０Ａ，４０Ｂ，４０Ｃ，４０Ｄ，４０  撮像素子
４１    間隙
５１    統合メモリ確保手段
５１ａ  統合メモリ
５２    空間情報割当手段
５３    仮輝度情報及び識別符号割当手段
６１    補間要素画像メモリ確保手段
６１ａ  補間要素画像メモリ
６２    対応画素検出及び割当手段
６３    補間処理手段
６４    奥行き補正手段
７１ａ  第２補間要素画像メモリ
７２ａ  第３補間要素画像メモリ
１２２Ａ  表示レンズアレイ
１４０  撮像素子アレイ
６４１  第２補間要素画像メモリ確保手段
６４２  第２対応画素検出及び割当手段
６４３  反転処理情報生成手段
【図１】
0005852465.tif 000012
【図２】
0005852465.tif 000013
【図３】
0005852465.tif 000014
【図４】
0005852465.tif 000015
【図５】
0005852465.tif 000016
【図６】
0005852465.tif 000017
【図７】
0005852465.tif 000018
【図８】
0005852465.tif 000019
【図９】
0005852465.tif 000020
【図１０】
0005852465.tif 000021
【図１１】
0005852465.tif 000022
【図１２】
0005852465.tif 000023
【図１３】
0005852465.tif 000024
【図１４】
0005852465.tif 000025
【図１５】
0005852465.tif 000026
【図１６】
0005852465.tif 000027
【図１７】
0005852465.tif 000028
【図１８】
0005852465.tif 000029