(57)【要約】【課題】インテグラルフォトグラフィによる高精細な空間像を得る。【解決手段】撮影装置は、撮像面間に間隙を有して、少なくとも水平方向または垂直方向のいずれか一方向に配設される複数の撮像素子と、これら複数の撮像素子の撮像面それぞれに対応させて、間隙を有して設けられる複数のレンズアレイとを備える。【選択図】図１
2014081519.tif 000002
【特許請求の範囲】
【請求項１】
撮像面間に間隙を有して、少なくとも水平方向または垂直方向のいずれか一方向に配設される複数の撮像素子と、
前記複数の撮像素子の前記撮像面それぞれに対応させて、間隙を有して設けられる複数のレンズアレイと、
を備えることを特徴とする撮影装置。
【請求項２】
前記撮像面間の間隙の大きさは、前記撮像素子の画素ピッチの正整数倍であり、
前記レンズアレイ間の間隙の大きさは、前記レンズアレイのレンズピッチの正整数倍である、
ことを特徴とする請求項１記載の撮影装置。
【請求項３】
前記複数の撮像素子が生成する複数の第１の要素画像群データを前記撮像素子の配置に対応させて合成することにより、第２の要素画像群データを生成する画像処理部、
をさらに備えることを特徴とする請求項１または２いずれか記載の撮影装置。
【請求項４】
前記画像処理部は、前記複数の第１の要素画像群データを合成する際に、前記撮像面間の間隙に対応する画素から前記レンズアレイ間の間隙に対応する画素を除く画素の画素値を画素の内挿処理により求め、前記レンズアレイ間の間隙に対応する要素画像を要素画像の内挿処理により求め、前記複数の第１の要素画像群データと前記画素値と前記要素画像とを合成して前記第２の要素画像群データを生成する、
ことを特徴とする請求項３記載の撮影装置。
【請求項５】
撮像面間に間隙を有して、少なくとも水平方向または垂直方向のいずれか一方向に配設される複数の撮像素子と、
前記複数の撮像素子の前記撮像面に対応させて設けられるレンズアレイと、
を備えることを特徴とする撮影装置。
【請求項６】
表示面間に間隙を有して、少なくとも水平方向または垂直方向のいずれか一方向に配設される複数の表示素子と、
前記複数の表示素子の前記表示面それぞれに対応させて、間隙を有して設けられる複数のレンズアレイと、
を備えることを特徴とする表示装置。
【請求項７】
前記表示面間の間隙の大きさは、前記表示素子の画素ピッチの正整数倍であり、
前記レンズアレイ間の間隙の大きさは、前記レンズアレイのレンズピッチの正整数倍である、
ことを特徴とする請求項６記載の表示装置。
【請求項８】
第１の要素画像群データを前記表示素子の配置に対応させて分割することによって複数の第２の要素画像群データを生成し、前記複数の第２の要素画像群データを前記複数の表示素子に供給する画像処理部、
をさらに備えることを特徴とする請求項６または７いずれか記載の表示装置。
【請求項９】
表示面間に間隙を有して、少なくとも水平方向または垂直方向のいずれか一方向に配設される複数の表示素子と、
前記複数の表示素子の前記表示面に対応させて設けられるレンズアレイと、
を備えることを特徴とする表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影装置および表示装置に関する。
【背景技術】
【０００２】
空間像再生方式の一つとして、インテグラルフォトグラフィが知られている（例えば、特許文献１参照）。このインテグラルフォトグラフィを適用した撮影装置は、レンズアレイを通して入射される被写体からの光束を撮影してインテグラル画像を生成する。そして、インテグラルフォトグラフィを適用した表示装置は、インテグラル画像を表示部に表示させることによって光束を発生させ、この光束をレンズアレイに通すことによって空間像を生成する。つまり、インテグラルフォトグラフィは、実際の被写体から到来する光束と同様の光束を表示装置に発生させる再生方式である。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−２２８５７０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
インテグラルフォトグラフィによる空間像の解像度は、表示装置がレンズアレイを通して出射する光線数に依存する。そして、表示装置が出射する光線数、すなわちインテグラル画像に記録される光線数は、撮影装置の解像度に依存する。よって、インテグラルフォトグラフィによる空間像を高精細化する一つの方法として、撮影装置の解像度を高めることが有効である。
【０００５】
本発明は、上記事情を考慮してなされたものであり、インテグラルフォトグラフィによる高精細な空間像を得る、撮影装置及び表示装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
［１］上記の課題を解決するため、本発明の一態様である撮影装置は、撮像面間に間隙を有して、少なくとも水平方向または垂直方向のいずれか一方向に配設される複数の撮像素子と、前記複数の撮像素子の前記撮像面それぞれに対応させて、間隙を有して設けられる複数のレンズアレイと、を備えることを特徴とする。
［２］上記［１］記載の撮影装置において、前記撮像面間の間隙の大きさは、前記撮像素子の画素ピッチの正整数倍であり、前記レンズアレイ間の間隙の大きさは、前記レンズアレイのレンズピッチの正整数倍である、ことを特徴とする。
［３］上記［１］または［２］いずれか記載の撮影装置において、前記複数の撮像素子が生成する複数の第１の要素画像群データを前記撮像素子の配置に対応させて合成することにより、第２の要素画像群データを生成する画像処理部、をさらに備えることを特徴とする。
［４］上記［３］記載の撮影装置において、前記画像処理部は、前記複数の第１の要素画像群データを合成する際に、前記撮像面間の間隙に対応する画素から前記レンズアレイ間の間隙に対応する画素を除く画素の画素値を画素の内挿処理により求め、前記レンズアレイ間の間隙に対応する要素画像を要素画像の内挿処理により求め、前記複数の第１の要素画像群データと前記画素値と前記要素画像とを合成して前記第２の要素画像群データを生成する、ことを特徴とする。
［５］上記の課題を解決するため、本発明の一態様である撮影装置は、撮像面間に間隙を有して、少なくとも水平方向または垂直方向のいずれか一方向に配設される複数の撮像素子と、前記複数の撮像素子の前記撮像面に対応させて設けられるレンズアレイと、を備えることを特徴とする。
【０００７】
［６］上記の課題を解決するため、本発明の一態様である表示装置は、表示面間に間隙を有して、少なくとも水平方向または垂直方向のいずれか一方向に配設される複数の表示素子と、前記複数の表示素子の前記表示面それぞれに対応させて、間隙を有して設けられる複数のレンズアレイと、を備えることを特徴とする。
［７］上記［６］記載の表示装置において、前記表示面間の間隙の大きさは、前記表示素子の画素ピッチの正整数倍であり、前記レンズアレイ間の間隙の大きさは、前記レンズアレイのレンズピッチの正整数倍である、ことを特徴とする。
［８］上記［６］または［７］いずれか記載の表示装置において、第１の要素画像群データを前記表示素子の配置に対応させて分割することによって複数の第２の要素画像群データを生成し、前記複数の第２の要素画像群データを前記複数の表示素子に供給する画像処理部、をさらに備えることを特徴とする。
［９］上記の課題を解決するため、本発明の一態様である表示装置は、表示面間に間隙を有して、少なくとも水平方向または垂直方向のいずれか一方向に配設される複数の表示素子と、前記複数の表示素子の前記表示面に対応させて設けられるレンズアレイと、を備えることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、インテグラルフォトグラフィによる高精細な空間像を得ることができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の第１実施形態である撮影装置を適用した撮影表示システムの概略の構成を示す構成図である。
【図２】図１に示したマルチレンズ撮像アレイをＸ軸方向に見た場合の側面図である。
【図３】図１に示したマルチレンズ撮像アレイを被写体側からＺ軸方向に見た場合の、マルチレンズ撮像部における撮像面間の間隙を模式的に示す図（ＸＹ平面図）である。
【図４】図１に示したマルチレンズ撮像アレイを被写体側からＺ軸方向に見た場合の、マルチレンズ撮像部における撮像用レンズアレイ間の間隙を模式的に示す図（ＸＹ平面図）である。
【図５】図３に示した撮像面間の間隙と、図４に示した撮像用レンズアレイ間の間隙とを、ともに示した図である。
【図６】本発明の第２実施形態である撮影装置を適用した撮影表示システムの概略の構成を示す構成図である。
【図７】本発明の第３実施形態におけるマルチレンズ撮像アレイをＸ軸方向に見た場合の側面図である。
【図８】本発明の第４実施形態である表示装置を適用した撮影表示システムの概略の構成を示す構成図である。
【図９】図８に示したマルチレンズ表示アレイをＸ軸方向に見た場合の側面図である。
【図１０】図８に示したマルチレンズ表示アレイを空間像側からＺ軸の逆方向に見た場合の、マルチレンズ表示部における表示面間の間隙を模式的に示す図（ＸＹ平面図）である。
【図１１】図８に示したマルチレンズ表示アレイを空間像側からＺ軸の逆方向に見た場合の、マルチレンズ表示部における表示用レンズアレイ間の間隙を模式的に示す図（ＸＹ平面図）である。
【図１２】図１０に示した表示面間の間隙と、図１１に示した表示用レンズアレイ間の間隙とを共に示した図である。
【図１３】本発明の第５実施形態である表示装置を適用した撮影表示システムの概略の構成を示す構成図である。
【図１４】本発明の第６実施形態におけるマルチレンズ表示アレイをＸ軸方向に見た場合の側面図である。
【図１５】本発明の第７実施形態である撮影装置および表示装置を適用した撮影表示システムの概略の構成を示す構成図である。
【図１６】図１５に示したマルチレンズ表示アレイをＸ軸方向に見た場合の側面図である。
【発明を実施するための形態】
【００１０】
以下、本発明を実施するための形態について、図面を参照して詳細に説明する。
［第１の実施の形態］
図１は、本発明の第１実施形態である撮影装置を適用した撮影表示システムの概略の構成を示す構成図である。同図に示すように、撮影表示システム１は、マルチレンズ撮像アレイ１０と、画像処理装置（画像処理部）２０と、投影装置６０と、拡散板７０と、表示用レンズアレイ８０とを含んで構成される。撮影表示システム１において、撮影装置は、マルチレンズ撮像アレイ１０と、画像処理装置２０とを含む。
【００１１】
図１には、マルチレンズ撮像アレイ１０によって撮影される被写体Ｓが表されている。また、同図には、相互に直交する３本の軸（Ｘ軸、Ｙ軸、およびＺ軸）が表されている。Ｘ軸およびＹ軸は、マルチレンズ撮像アレイ１０に含まれる複数の撮像素子の撮像面それぞれの水平方向および垂直方向にそれぞれ平行な軸である。Ｚ軸は、マルチレンズ撮像アレイ１０の各撮像素子の撮像面に垂直に交わる軸である。つまり、Ｚ軸は、撮影装置の主光軸に平行な軸である。
【００１２】
マルチレンズ撮像アレイ１０は、例えば９個のマルチレンズ撮像部１００を含んで構成される。詳しくは後述するが、各マルチレンズ撮像部１００は、撮像用レンズアレイ（レンズアレイ）および前記の撮像素子を備える。図１に示すように、マルチレンズ撮像アレイ１０は、９個のマルチレンズ撮像部１００それぞれにおける撮像素子の撮像面がＸ軸およびＹ軸を含む平面（ＸＹ平面）に平行となるよう、マルチレンズ撮像部１００間に所定の間隙を設けて、９個のマルチレンズ撮像部１００をＸ軸方向およびＹ軸方向それぞれに３個ずつ配設して構成される。本実施形態では、これら９個のマルチレンズ撮像部１００それぞれの符号に二次元座標を表す添字（２桁の数字）を付して、各マルチレンズ撮像部１００を区別する（以下、同様の記載をする場合がある）。
【００１３】
なお、マルチレンズ撮像アレイ１０は、９個に限定されることなく複数のマルチレンズ撮像部１００を含んでもよい。また、マルチレンズ撮像アレイ１０は、マルチレンズ撮像部１００間に所定の間隙を設けて、複数のマルチレンズ撮像部１００を、少なくともＸ軸方向またはＹ軸方向のいずれか一方向に配設して構成してもよい。
【００１４】
マルチレンズ撮像部１００は、被写体Ｓから到来する光束を撮像用レンズアレイに通し、この撮像用レンズアレイを通過した光束を撮像素子で光電変換させて要素画像群データ（第１の要素画像群データ）を生成する。要素画像は、要素レンズからの光束から得られる画像である。よって、要素画像群は、撮像用レンズアレイからの光束から得られる画像群である。マルチレンズ撮像アレイ１０は、９個のマルチレンズ撮像部１００を同時に動作させて９個の要素画像群データを生成し、これら９個の要素画像群データを要素画像群データセット（複数の第１の要素画像群データ）として画像処理装置２０に供給する。この要素画像群データセットは、１フレームに相当する要素画像群のデータセットである。
【００１５】
画像処理装置２０は、マルチレンズ撮像アレイ１０が供給する要素画像群データセットを取り込む。画像処理装置２０は、要素画像群データセットが有する９個の要素画像群データを９個（３個×３個）のマルチレンズ撮像部１００の配置に対応させて合成することにより、１フレーム分の要素画像群データを生成する。具体的に、画像処理装置２０は、９個の要素画像群データを合成する際に、例えば、撮像面間の間隙に対応する画素から撮像用レンズアレイ間の間隙に対応する画素を除く画素（補間画素）の画素値（補間画素値）を、画素の内挿処理により求める。また、画像処理装置２０は、撮像用レンズアレイ間の間隙に対応する要素画像（補間要素画像）のデータ（補間要素画像データ）を、要素画像の内挿処理により求める。そして、画像処理装置２０は、９個の要素画像群データと、画素の内挿処理により求めた補間画素値と、要素画像の内挿処理により求めた補間要素画像データとを合成することにより、１フレーム分の要素画像群データを生成する。画像処理装置２０は、その１フレーム分の要素画像群データをインテグラル画像データ（第２の要素画像群データ）として投影装置６０に供給する。画像処理装置２０が要素画像群データセットを合成してインテグラル画像データを得る処理（合成処理）の詳細については後述する。画像処理装置２０は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）を搭載した演算処理装置、例えば、コンピュータ装置により実現される。
【００１６】
撮影表示システム１は、表示装置を含む。この表示装置は、投影装置６０と、拡散板７０と、表示用レンズアレイ８０とを含む。この表示装置は、本実施形態である撮影装置が生成したインテグラル画像データを取り込み、このインテグラル画像データをインテグラルフォトグラフィで表示する。
【００１７】
投影装置６０は、画像処理装置２０が供給するインテグラル画像データを取り込む。投影装置６０は、インテグラル画像データを画像光に変換し、この画像光を拡散板７０に向けて投射する。投影装置６０は、例えば、プロジェクタ装置により実現される。
【００１８】
拡散板７０は、光透過性および光拡散性をともに有する平板である。拡散板７０は、投影装置６０によって投影された画像光を一方の面（投影装置６０側の面）から拡散させながら透過させて他方の面に到達させる。これにより、拡散板７０の他方の面にインテグラル画像を表出させる。
【００１９】
表示用レンズアレイ８０は、複数の要素レンズを、各光軸が平行となるようにして規則的（例えば、正方格子状）に二次元配列させて構成した要素レンズ群である。各要素レンズは、例えば凸レンズである。表示用レンズアレイ８０は、各要素レンズの焦平面が拡散板７０の他方の面に一致する位置に設けられる。拡散板７０の他方の面に表示されたインテグラル画像からの光束を、表示用レンズアレイ８０を通すことによって、被写体Ｓに対応する空間像が生成される。
【００２０】
撮影表示システム１において、９個の撮像用レンズアレイ１００が有する複数の要素レンズと画素との位置関係は、表示用レンズアレイ８０が有する複数の要素レンズと画素との位置関係に等しい。
【００２１】
図２は、図１に示したマルチレンズ撮像アレイ１０をＸ軸方向に見た場合の側面図である。図２には、マルチレンズ撮像アレイ１０が備える９個のマルチレンズ撮像部１００のうち、マルチレンズ撮像部１００１１，１００１２，１００１３が基板部１０３に固定された様子が示されている。図１および図２を併せ参照すると、９個のマルチレンズ撮像部１００１１，１００１２，１００１３，１００２１，１００２２，１００２３，１００３１，１００３２，１００３３は、基板部１０３の平面に固定されている。
【００２２】
図２において、マルチレンズ撮像部１００１１は、撮像用レンズアレイ１０１１１と、撮像素子１０２１１とを備える。同様に、マルチレンズ撮像部１００１２は、撮像用レンズアレイ１０１１２と、撮像素子１０２１２とを備える。また、マルチレンズ撮像部１００１３は、撮像用レンズアレイ１０１１３と、撮像素子１０２１３とを備える。また、同図には示されていないが、マルチレンズ撮像部１００２１，１００２２，１００２３，１００３１，１００３２，１００３３についても、同図と同様に、撮像用レンズアレイおよび撮像素子を備える。
【００２３】
撮像用レンズアレイ１０１は、複数の要素レンズを、各光軸が平行となるようにして規則的に二次元配列させて構成した要素レンズ群である。撮像用レンズアレイ１０１をＺ軸方向からみた場合、複数の要素レンズは、正方格子状に二次元配列されている。撮像用レンズアレイ１０１の各要素レンズは、例えば、屈折率分布型（ＧＲａｄｉｅｎｔ  ＩＮｄｅｘ  Ｌｅｎｓｅｓ；ＧＲＩＮ）レンズにより実現される。
【００２４】
具体的に、撮像用レンズアレイ１０１の要素レンズとして、以下に示す仕様の屈折率分布型レンズを用いる。すなわち、屈折率分布型レンズの光軸方向の長さをＬ、その屈折率分布型レンズの蛇行周期をＰとし、下記の式（１）を満たす仕様の屈折率分布型レンズを要素レンズとして用いる。ただし、式（１）において、ｎは正整数である。
【００２５】
【数１】
2014081519.tif 000003
【００２６】
式（１）を満たす仕様の屈折率分布型レンズを要素レンズとして用いることにより、この屈折率分布型レンズの一方の端面から十分遠方に存在する被写体Ｓの正立実像を、他方の端面上またはこの端面の外側に現出させることができる。屈折率分布型レンズの一方の端面から十分遠方に存在する被写体Ｓの正立実像を他方の端面上に現出させるためには、下記の式（２）を満たす仕様の屈折率分布型レンズを用いる。ただし、式（２）において、ｎは正整数である。
【００２７】
【数２】
2014081519.tif 000004
【００２８】
図２は、式（２）においてｎが１である屈折率分布型レンズを用いてマルチレンズ撮像部１００を構成した例を模式的に示している。要素レンズとして、式（２）を満たす屈折率分布型レンズを用いることにより、要素画像間のクロストークを抑制することができる。
【００２９】
撮像素子１０２は、撮像用レンズアレイ１０１の各要素レンズから得られる光束を光電変換して要素画像群データを生成する。撮像素子１０２は、例えば、ＣＣＤ（Ｃｈａｒｇｅｄ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）イメージセンサ、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等の固体撮像素子により実現される。
【００３０】
マルチレンズ撮像部１００において、撮像用レンズアレイ１０１は、各要素レンズの焦平面が撮像素子１０２の撮像面に一致するように設けられる。例えば、式（２）を満たす仕様の屈折率分布型レンズを撮像用レンズアレイ１０１の要素レンズとして用いた場合、この屈折率分布型レンズの焦平面を、この屈折率分布型レンズにおける被写体Ｓ側と反対側の端面に一致させることができる。したがって、この場合、図２に示したように、撮像用レンズアレイ１０１の被写体Ｓ側と反対側の端面を撮像素子１０２の撮像面に接触させてマルチレンズ撮像部１００を構成することができる。このように構成したマルチレンズ撮像部１００を用いることにより、集光レンズや拡散板を含まない撮影装置を実現することができる。よって、その撮影装置によれば、集光レンズおよび拡散板を含まない分画質劣化を抑えることができ、また、小型化を実現することができる。
【００３１】
図３は、図１に示したマルチレンズ撮像アレイ１０を被写体Ｓ側からＺ軸方向に見た場合の、マルチレンズ撮像部１００における撮像面間の間隙を模式的に示す図（ＸＹ平面図）である。同図は、マルチレンズ撮像アレイ１０において相互に隣り合う４個のマルチレンズ撮像部１００１１，１００２１，１００１２，１００２２を示している。また、同図は、各マルチレンズ撮像部１００において、ＸＹ平面内で正方格子状に配列された撮像用レンズアレイと、撮像面の画素とを示している。
【００３２】
なお、図３では、要素レンズに対する画素の密度を低く、つまり要素レンズに対して画素を大きく示しているが、これは説明の便宜上のためであり、実際は、要素レンズに対する画素の密度はさらに高い。また、同図における撮像用レンズアレイは、要素レンズをＸ軸方向およびＹ軸方向に隙間なく配列したものであり、この場合、Ｘ軸方向およびＹ軸方向それぞれにおけるレンズピッチは要素レンズの直径に等しい。レンズピッチとは、隣接する要素レンズの中心点間の大きさである。また、同図における撮像素子は、画素を隙間なく格子状に配列したものであり、この場合、Ｘ軸方向およびＹ軸方向それぞれにおける画素ピッチは画素幅に等しい。画素ピッチとは、隣接する画素の中心点間の大きさである。
【００３３】
図３に示すように、ＸＹ平面において、マルチレンズ撮像部１００１１の撮像面とマルチレンズ撮像部１００２１の撮像面との間、およびマルチレンズ撮像部１００１２の撮像面とマルチレンズ撮像部１００２２の撮像面との間には、Ｘ軸方向の間隙が設けられている。これらＸ軸方向の間隙の大きさＰＸは、撮像面におけるＸ軸方向の画素ピッチの正整数倍である。同図は、Ｘ軸方向の間隙の大きさＰＸが撮像面におけるＸ軸方向の画素ピッチの８倍であることを示している。
【００３４】
同様に、ＸＹ平面において、マルチレンズ撮像部１００１１の撮像面とマルチレンズ撮像部１００１２の撮像面との間、およびマルチレンズ撮像部１００２１の撮像面とマルチレンズ撮像部１００２２の撮像面との間には、Ｙ軸方向の間隙が設けられている。これらＹ軸方向の間隙の大きさＰＹは、撮像面におけるＹ軸方向の画素ピッチの正整数倍である。同図は、Ｙ軸方向の間隙の大きさＰＹが撮像面におけるＹ軸方向の画素ピッチの８倍であることを示している。
【００３５】
なお、Ｘ軸方向の間隙の大きさＰＸとＹ軸方向の間隙の大きさＰＹとは、等しくてもよいし等しくなくてもよい。
【００３６】
図４は、図１に示したマルチレンズ撮像アレイ１０を被写体Ｓ側からＺ軸方向に見た場合の、マルチレンズ撮像部１００における撮像用レンズアレイ間の間隙を模式的に示す図（ＸＹ平面図）である。図４に示すように、ＸＹ平面において、マルチレンズ撮像部１００１１の撮像用レンズアレイとマルチレンズ撮像部１００２１の撮像用レンズアレイとの間、およびマルチレンズ撮像部１００１２の撮像用レンズアレイとマルチレンズ撮像部１００２２の撮像用レンズアレイとの間には、Ｘ軸方向の間隙が設けられている。これらＸ軸方向の間隙の大きさＬＸは、撮像用レンズアレイのレンズピッチの正整数倍である。同図は、Ｘ軸方向の間隙の大きさＬＸが撮像用レンズアレイのレンズピッチの２倍であることを示している。
【００３７】
同様に、ＸＹ平面において、マルチレンズ撮像部１００１１の撮像用レンズアレイとマルチレンズ撮像部１００１２の撮像用レンズアレイとの間、およびマルチレンズ撮像部１００２１の撮像用レンズアレイとマルチレンズ撮像部１００２２の撮像用レンズアレイとの間には、Ｙ軸方向の間隙が設けられている。これらＹ軸方向の間隙の大きさＬＹは、撮像用レンズアレイのレンズピッチの正整数倍である。同図は、Ｙ軸方向の間隙の大きさＬＹが撮像用レンズアレイのレンズピッチの２倍であることを示している。
【００３８】
なお、Ｘ軸方向の間隙の大きさＬＸとＹ軸方向の間隙の大きさＬＹとは、等しくてもよいし等しくなくてもよい。
【００３９】
図５は、図３に示した撮像面間の間隙と、図４に示した撮像用レンズアレイ間の間隙とを、ともに示した図である。図５に示すように、ＸＹ平面において隣り合って配設される４個のマルチレンズ撮像部１００１１，１００２１，１００１２，１００２２における、Ｘ軸方向の撮像面間の間隙および撮像用レンズアレイ間の間隙は同一でない。同様に、Ｙ軸方向の撮像面間の間隙および撮像用レンズアレイ間の間隙は同一でない。図２および図５によれば、９個のマルチレンズ撮像部１００は、マルチレンズ撮像部１００間における、撮像素子１０２の撮像面間の間隙の大きさが撮像面における画素ピッチの正整数倍、且つ撮像用レンズアレイ１０１間の間隙の大きさがレンズピッチの正整数倍を満たすよう、基板部１０３の平面に固定される。
【００４０】
ここで、画像処理装置２０による要素画像群データセットの合成処理について説明する。画像処理装置２０は、マルチレンズ撮像アレイ１０から要素画像群データセットを取り込み、この要素画像群データセットが有する９個の要素画像群データを、図３に示す画素ピッチの正整数倍分の間隙を設けて自装置に内蔵する記憶部に記憶させる。この記憶部は、例えばマルチレンズ撮像アレイ１０が撮像する少なくとも１フレーム分の画像データを記憶可能なフレームメモリである。つまり、記憶部には、撮像素子１０２の撮像面の配置に対応して、９個の要素画像群データが記憶される。
【００４１】
そして、画像処理装置２０は、図４に示す撮像用レンズアレイ間の間隙（レンズピッチの２倍）に対応する補間要素画像データを、隣接する要素画像または周辺の要素画像の内挿処理により求める。撮像用レンズアレイ１０１における複数の要素レンズは、撮影装置の主光軸に対して直角である平面（ＸＹ平面）上に配列されるため、各要素画像における視線方向は、要素レンズの並びに応じて徐々に変化する。つまり、隣り合う要素画像間、または、注目する要素画像とこの周辺の要素画像との間では、画像の相関が強い確率が高い。このような統計的な性質を利用し、画像処理装置２０は、撮像用レンズアレイ１０１間の間隙に対応する要素画像の領域に隣接する要素画像または周辺の要素画像から視線方向を変えた補間要素画像を生成し、補間要素画像データを記憶部における前記の要素画像の領域に記憶させる。
【００４２】
そして、画像処理装置２０は、図３に示す撮像面間の間隙（撮像面の画素ピッチの８倍）に対応する画素から補間要素画像の画素を除く画素である補間画素の画素値を、隣接する画素または周辺の画素の内挿処理により求める。例えば、画像処理装置２０は、注目する画素に対する周辺の画素を線形補間することによって補間画素を求める。具体的に、例えば、注目する画素に隣接する４画素から補間画素を求める場合、画像処理装置２０は、それら４画素の画素値の平均値を計算することにより補間画素の画素値を求める。
【００４３】
以上説明したとおり、第１実施形態である撮影装置は、撮像面間に間隙を有して、少なくともＸ軸方向またはＹ軸方向のいずれか一方向に配設される複数の撮像素子１０２と、これら複数の撮像素子１０２の撮像面それぞれに対応させて、間隙を有して設けられる複数の撮像用レンズアレイ１０１とを備える。
【００４４】
この構成により、所定の解像度を有するマルチレンズ撮像部１００を用いて、前記の解像度よりも極めて高い解像度を有する撮影装置を実現することができる。
【００４５】
ここで、撮像面間の間隙の大きさは、撮像素子１０２の画素ピッチの正整数倍であり、撮像用レンズアレイ１０１間の間隙の大きさは、撮像用レンズアレイ１０１のレンズピッチの正整数倍である。
また、第１実施形態である撮影装置は、複数の撮像素子１０２が生成する要素画像群データセットを撮像素子１０２の配置に対応させて合成することにより、インテグラル画像データを生成する画像処理装置２０をさらに備える。
【００４６】
ここで、画像処理装置２０は、要素画像群データセットを合成する際に、撮像素子１０２の撮像面間の間隙に対応する画素から撮像用レンズアレイ１０１間の間隙に対応する画素を除く補間画素の画素値を画素の内挿処理により求める。そして、画像処理装置２０は、撮像用レンズアレイ１０１間の間隙に対応する補間要素画像のデータを要素画像の内挿処理により求める。そして、画像処理装置２０は、要素画像群データセットと補間画素値と補間要素画像データとを合成してインテグラル画像データを生成する。
【００４７】
このように、撮像素子１０２間に画素ピッチの正整数倍の間隙を設けるとともに、撮像用レンズアレイ１０１間をレンズピッチの正整数倍の間隙を設けることにより、画像処理装置２０は、撮像素子１０１で取得された画素データを、１フレーム分のインテグラル画像データの対応する画素にそのまま適用することができる。そして、画像処理装置２０は、補間要素画像データを周辺の要素画像の内挿処理によって得ることができ、補間画素値を周辺の画素の内挿処理によって得ることができる。つまり、画像処理装置２０は、比較的簡易に要素画像群データセットを合成して１フレーム分のインテグラル画像データを得ることができる。
【００４８】
以上により、本発明の第１実施形態である撮影装置は、インテグラルフォトグラフィによって高精細な空間像を得るためのインテグラル画像データを生成することができる。
【００４９】
［第２の実施の形態］
第１実施形態における画像処理装置２０は、マルチレンズ撮像アレイ１０から要素画像群データセットを取り込み、この要素画像群データセットが有する複数の要素画像群データを合成することによって１フレーム分のインテグラル画像データを生成する例であった。本発明の第２実施形態は、マルチレンズ撮像アレイ１０から要素画像群データセットを取り込んだ画像処理装置が、その要素画像群データセットが有する複数の要素画像群データを所定のグループごとに合成することにより、フレームを領域分割した複数の分割インテグラル画像データを生成する例である。
【００５０】
図６は、本発明の第２実施形態である撮影装置を適用した撮影表示システムの概略の構成を示す構成図である。なお、第２実施形態において第１実施形態と同一の構成については、同一の符号を付してその説明を省略する。同図に示すように、撮影表示システム１ａは、マルチレンズ撮像アレイ１０と、画像処理装置（画像処理部）２０ａと、３台の投影装置６０（６０−１，６０−２，６０−３）と、拡散板７０と、表示用レンズアレイ８０とを含んで構成される。撮影表示システム１ａにおいて、撮影装置は、マルチレンズ撮像アレイ１０と、画像処理装置２０ａとを含む。
【００５１】
画像処理装置２０ａは、マルチレンズ撮像アレイ１０が供給する要素画像群データセットを取り込む。画像処理装置２０ａは、要素画像群データセットが有する９個の要素画像群データを９個のマルチレンズ撮像部１００の配置に対応させて、１フレームを例えばＸ軸方向に３分割して得られる分割領域ごとに合成することにより、３個の分割インテグラル画像データを生成する。
【００５２】
具体的に、画像処理装置２０ａは、マルチレンズ撮像部１００１１，１００１２，１００１３が供給する３個の要素画像群データを、マルチレンズ撮像部１００１１，１００１２，１００１３の配置に対応させて合成することにより、第１の分割インテグラル画像データを生成する。また、画像処理装置２０ａは、マルチレンズ撮像部１００２１，１００２２，１００２３が供給する３個の要素画像群データを、マルチレンズ撮像部１００２１，１００２２，１００２３の配置に対応させて合成することにより、第２の分割インテグラル画像データを生成する。また、画像処理装置２０ａは、マルチレンズ撮像部１００３１，１００３２，１００３３が供給する３個の要素画像群データを、マルチレンズ撮像部１００３１，１００３２，１００３３の配置に対応させて合成することにより、第３の分割インテグラル画像データを生成する。画像処理装置２０ａが３個の分割インテグラル画像データを生成する際に実行する内挿処理については、第１実施形態における内挿処理と同様であるため、ここでの説明を省略する。
【００５３】
画像処理装置２０ａは、第１の分割インテグラル画像データを投影装置６０−１、第２の分割インテグラル画像データを投影装置６０−２、第３の分割インテグラル画像データを投影装置６０−３に供給する。画像処理装置２０ａは、ＣＰＵを搭載した演算処理装置、例えば、コンピュータ装置により実現される。
【００５４】
なお、画像処理装置２０ａは、３個に限定されることなく複数の分割インテグラル画像データを生成してもよい。また、１フレームを分割する方向もＸ軸方向に限ることなく、Ｙ軸方向としてもよい。また、各分割領域の面積は、同一でもよいし同一でなくてもよい。
【００５５】
撮影表示システム１ａは、表示装置を含む。この表示装置は、投影装置６０−１，６０−２，６０−３と、拡散板７０と、表示用レンズアレイ８０とを含む。この表示装置は、本実施形態である撮影装置が生成した３個の分割インテグラル画像データを取り込み、これら３個の分割インテグラル画像データをインテグラルフォトグラフィで表示する。
【００５６】
投影装置６０−１，６０−２，６０−３は、それぞれ、画像処理装置２０ａが供給する第１の分割インテグラル画像データ、第２の分割インテグラル画像データ、第３の分割インテグラル画像データそれぞれを取り込む。投影装置６０−１，６０−２，６０−３は、第１の分割インテグラル画像データ、第２の分割インテグラル画像データ、第３の分割インテグラル画像データを第１の画像光、第２の画像光、第３の画像光に変換し、これら画像光を拡散板７０に向けて投射する。各投影装置６０は、拡散板７０に投影される画像光が重ならないように配置される。各投影装置６０は、例えば、プロジェクタ装置により実現される。
【００５７】
拡散板７０は、投影装置６０−１，６０−２，６０−３によって投影された第１の画像光、第２の画像光、第３の画像光を、一方の面（投影装置６０側の面）の領域Ｄ１，Ｄ２，Ｄ３から拡散させながら透過させて他方の面に到達させる。これにより、拡散板７０の他方の面に１フレーム分のインテグラル画像を表出させる。拡散板７０の他方の面に表示されたインテグラル画像からの光束を、表示用レンズアレイ８０を通すことによって、被写体Ｓに対応する空間像が生成される。
【００５８】
撮影表示システム１ａにおいて、９個の撮像用レンズアレイ１００が有する複数の要素レンズと画素との位置関係は、表示用レンズアレイ８０が有する複数の要素レンズと画素との位置関係に等しい。
【００５９】
このように構成したことにより、第２実施形態における撮影表示システム１ａによれば、撮影装置は、インテグラルフォトグラフィによって高精細な空間像を得るためのインテグラル画像データを生成することができる。また、表示装置は、所定の解像度を有する投影装置６０を用いて、前記の解像度よりも極めて高い解像度の空間像を得ることができる。
【００６０】
［第３の実施の形態］
第１実施形態および第２実施形態におけるマルチレンズ撮像アレイ１０は、マルチレンズ撮像部１００間に所定の間隙を設けて、例えば９個のマルチレンズ撮像部１００をＸ軸方向およびＹ軸方向それぞれに３個ずつ配設して構成した例であった。本発明の第３実施形態は、９個の撮像用レンズアレイ１０１に代えて１個の撮像用レンズアレイを用いた例である。つまり、本実施形態は、１個の撮像用レンズアレイと９個の撮像素子１０２とを含んで構成したマルチレンズ撮像アレイを撮影装置に用いる例である。
【００６１】
図７は、本実施形態におけるマルチレンズ撮像アレイをＸ軸方向に見た場合の側面図である。同図には、マルチレンズ撮像アレイ１０ａが備える９個の撮像素子１０２のうち、撮像素子１０２１１，１０２１２，１０２１３が基板部１０３に固定され、撮像素子１０２１１，１０２１２，１０２１３の撮像面に撮像用レンズアレイ１０４が設けられた様子が示されている。
【００６２】
撮像用レンズアレイ１０４は、複数の要素レンズを、各光軸が平行となるようにして規則的に二次元配列させて構成した要素レンズ群である。撮像用レンズアレイ１０４をＺ軸方向からみた場合、複数の要素レンズは、正方格子状に二次元配列されている。撮像用レンズアレイ１０４の各要素レンズは、例えば、第１実施形態において用いた屈折率分布型（ＧＲａｄｉｅｎｔ  ＩＮｄｅｘ  Ｌｅｎｓｅｓ；ＧＲＩＮ）レンズにより実現される。
【００６３】
第１実施形態および第２実施形態におけるマルチレンズ撮像アレイ１０は、９個のマルチレンズ撮像部１００を、撮像面間に画素ピッチの正整数倍の大きさの間隙を設けるとともに、撮像用レンズアレイ１０１間にレンズピッチの正整数倍の大きさの間隙を設けて構成した。これに対し、本実施形態におけるマルチレンズ撮像アレイ１０ａは、１個の撮像用レンズアレイ１０４を用いているため、マルチレンズ撮像アレイ１０に対して構造が簡単である。通常、撮像素子を大型化するよりも撮像用レンズアレイの面積を大きくする方が、容易に製造可能であり、また低いコストで実現できる。よって、本実施形態である撮影装置は、第１実施形態および第２実施形態における撮影装置に対して、構造が簡単であり、また低いコストで実現される。
【００６４】
［第４の実施の形態］
図８は、本発明の第４実施形態である表示装置を適用した撮影表示システムの概略の構成を示す構成図である。同図に示すように、撮影表示システム２は、撮像用レンズアレイ５１０と、拡散板５２０と、撮影装置５３０と、画像処理装置（画像処理部）３０と、マルチレンズ表示アレイ４０とを含んで構成される。撮影表示システム２において、表示装置は、画像処理装置３０と、マルチレンズ表示アレイ４０とを含む。
【００６５】
図８には、撮影装置５３０によって撮影される被写体Ｓが表されている。また、同図には、相互に直交する３本の軸（Ｘ軸、Ｙ軸、およびＺ軸）が表されている。Ｘ軸およびＹ軸は、マルチレンズ表示アレイ４０に含まれる複数の表示素子の表示面それぞれの水平方向および垂直方向にそれぞれ平行な軸である。Ｚ軸は、マルチレンズ表示アレイ４０の各表示素子の表示面に垂直に交わる軸である。つまり、Ｚ軸は、表示装置の主光軸に平行な軸である。
【００６６】
撮像用レンズアレイ５１０は、複数の要素レンズを、各光軸が平行となるようにして規則的（例えば、正方格子状）に二次元配列させて構成した要素レンズ群である。各要素レンズは、例えば凸レンズである。
【００６７】
拡散板５２０は、光透過性および光拡散性をともに有する平板である。拡散板５２０は、その一方の面が撮像用レンズアレイ５１０の各要素レンズの焦平面に一致する位置に設けられる。拡散板５２０は、撮像用レンズアレイ５１０からの光束を一方の面（撮像用レンズアレイ５１０側の面）から拡散させながら透過させて他方の面に到達させる。これにより、拡散板５２０の他方の面に１フレーム分の要素画像群を表出させる。
【００６８】
撮影装置５３０は、拡散板５２０の他方の面に表出した１フレーム分の要素画像群を撮影してインテグラル画像データ（第１の要素画像群データ）を生成し、このインテグラル画像データを画像処理装置３０に供給する。
【００６９】
撮像用レンズアレイ５１０と拡散板５２０と撮影装置５３０とは、インテグラルフォトグラフィによる撮影システムを構成する。
【００７０】
マルチレンズ表示アレイ４０は、例えば９個のマルチレンズ表示部４００を含んで構成される。詳しくは後述するが、各マルチレンズ表示部４００は、表示素子および表示用レンズアレイ（レンズアレイ）を備える。図８に示すように、マルチレンズ表示アレイ４０は、９個のマルチレンズ表示部４００それぞれにおける表示素子の表示面がＸ軸およびＹ軸を含む平面（ＸＹ平面）に平行となるよう、マルチレンズ表示部４００間に所定の間隙を設けて、９個のマルチレンズ表示部４００をＸ軸方向およびＹ軸方向それぞれに３個ずつ配設して構成される。
【００７１】
なお、マルチレンズ表示アレイ４０は、９個に限定されることなく複数のマルチレンズ表示部４００を含んでもよい。また、マルチレンズ表示アレイ４０は、マルチレンズ表示部４００間に所定の間隙を設けて、複数のマルチレンズ表示部４００を、少なくともＸ軸方向またはＹ軸方向のいずれか一方向に配設して構成してもよい。
【００７２】
マルチレンズ表示アレイ４０は、９個のマルチレンズ表示部４００を同時に動作させる。マルチレンズ表示アレイ４０は、画像処理装置３０が供給する要素画像群データセットを取り込み、この要素画像群データセットが有する９個の要素画像群データを、それぞれ９個の表示素子に表示させ、表示された９個の要素画像群からの光束を、それぞれ９個の表示用レンズアレイに通して空間に放射する。
【００７３】
画像処理装置３０は、撮影装置５３０が供給するインテグラル画像データを取り込む。画像処理装置３０は、インテグラル画像データを９個（３個×３個）のマルチレンズ表示部４００の配置に対応させて分割することにより、１フレーム分の領域が９分割された９個の要素画像群データを生成する。具体的に、画像処理装置３０は、例えば、インテグラル画像データから表示面間の間隙に対応する画素の画素値を削除することによってインテグラル画像データを分割する。そして、画像処理装置３０は、９個の要素画像群データを１フレーム分の要素画像群データセットとしてマルチレンズ表示アレイ４０に供給する。画像処理装置３０がインテグラル画像データを分割して要素画像群データセットを得る処理（分割処理）の詳細については後述する。画像処理装置３０は、ＣＰＵを搭載した演算処理装置、例えば、コンピュータ装置により実現される。
【００７４】
撮影表示システム２において、撮像用レンズアレイ５１０が有する複数の要素レンズと画素との位置関係は、９個の表示用レンズアレイ４０２が有する複数の要素レンズと画素との位置関係に等しい。
【００７５】
図９は、図８に示したマルチレンズ表示アレイ４０をＸ軸方向に見た場合の側面図である。図９には、マルチレンズ表示アレイ４０が備える９個のマルチレンズ表示部４００のうち、マルチレンズ表示部４００１１，４００１２，４００１３が基板部４０３に固定された様子が示されている。図８および図９を併せ参照すると、９個のマルチレンズ表示部４００１１，４００１２，４００１３，４００２１，４００２２，４００２３，４００３１，４００３２，４００３３は、基板部４０３の平面に固定されている。
【００７６】
図９において、マルチレンズ表示部４００１１は、表示素子４０１１１と、表示用レンズアレイ４０２１１とを備える。同様に、マルチレンズ表示部４００１２は、表示素子４０１１２と、表示用レンズアレイ４０２１２とを備える。また、マルチレンズ表示部４００１３は、表示素子４０１１３と、表示用レンズアレイ４０２１３とを備える。また、同図には示されていないが、マルチレンズ表示部４００２１，４００２２，４００２３，４００３１，４００３２，４００３３についても、同図と同様に、表示用レンズアレイおよび表示素子を備える。
【００７７】
表示素子４０１は、取り込んだ要素画像群データに基づいて要素画像群を表示面に表示させる。表示素子４０１は、例えば液晶表示デバイスにより実現される。
【００７８】
表示用レンズアレイ４０２は、複数の要素レンズを、各光軸が平行となるようにして規則的に二次元配列させて構成した要素レンズ群である。表示用レンズアレイ４０２をＺ軸方向からみた場合、複数の要素レンズは、正方格子状に二次元配列されている。表示用レンズアレイ４０２の各要素レンズは、例えば、第１実施形態において用いた屈折率分布型（ＧＲａｄｉｅｎｔ  ＩＮｄｅｘ  Ｌｅｎｓｅｓ；ＧＲＩＮ）レンズにより実現される。
【００７９】
マルチレンズ表示部４００において、表示用レンズアレイ４０２は、各要素レンズの焦平面が表示素子４０１の表示面に一致するように設けられる。例えば、前述の式（２）を満たす仕様の屈折率分布型レンズを表示用レンズアレイ４０２の要素レンズとして用いた場合、この屈折率分布型レンズの焦平面を、この屈折率分布型レンズにおける空間像側と反対側の端面に一致させることができる。したがって、この場合、図９に示したように、表示用レンズアレイ４０２の空間像側と反対側の端面を表示素子４０１の表示面に接触させてマルチレンズ表示部４００を構成することができる。このように構成したマルチレンズ表示部４００を用いることにより、投射レンズや拡散板を含まない表示装置を実現することができる。よって、その表示装置によれば、投射レンズおよび拡散板を含まない分画質劣化を抑えることができ、また、小型化を実現することができる。
【００８０】
図１０は、図８に示したマルチレンズ表示アレイ４０を空間像側からＺ軸の逆方向に見た場合の、マルチレンズ表示部４００における表示面間の間隙を模式的に示す図（ＸＹ平面図）である。同図は、マルチレンズ表示アレイ４０において相互に隣り合う４個のマルチレンズ表示部４００１１，４００２１，４００１２，４００２２を示している。また、同図は、各マルチレンズ表示部４００において、ＸＹ平面内で正方格子状に配列された表示用レンズアレイと、表示面の画素とを示している。
【００８１】
なお、図１０では、要素レンズに対する画素の密度を低く、つまり要素レンズに対して画素を大きく示しているが、これは説明の便宜上のためであり、実際は、要素レンズに対する画素の密度はさらに高い。また、同図における表示用レンズアレイは、要素レンズをＸ軸方向およびＹ軸方向に隙間なく配列したものであり、この場合、Ｘ軸方向およびＹ軸方向それぞれにおけるレンズピッチは要素レンズの直径に等しい。また、同図における表示素子は、画素を隙間なく格子状に配列したものであり、この場合、Ｘ軸方向およびＹ軸方向それぞれにおける画素ピッチは画素幅に等しい。
【００８２】
図１０に示すように、ＸＹ平面において、マルチレンズ表示部４００１１の表示面とマルチレンズ表示部４００２１の表示面との間、およびマルチレンズ表示部４００１２の表示面とマルチレンズ表示部４００２２の表示面との間には、Ｘ軸方向の間隙が設けられている。これらＸ軸方向の間隙の大きさＱＸは、表示面におけるＸ軸方向の画素ピッチの正整数倍である。同図は、Ｘ軸方向の間隙の大きさＱＸが表示面におけるＸ軸方向の画素ピッチの８倍であることを示している。
【００８３】
同様に、ＸＹ平面において、マルチレンズ表示部４００１１の表示面とマルチレンズ表示部４００１２の表示面との間、およびマルチレンズ表示部４００２１の表示面とマルチレンズ表示部４００２２の表示面との間には、Ｙ軸方向の間隙が設けられている。これらＹ軸方向の間隙の大きさＱＹは、表示面におけるＹ軸方向の画素ピッチの正整数倍である。同図は、Ｙ軸方向の間隙の大きさＱＹが表示面におけるＹ軸方向の画素ピッチの８倍であることを示している。
【００８４】
なお、Ｘ軸方向の間隙の大きさＱＸとＹ軸方向の間隙の大きさＱＹとは、等しくてもよいし等しくなくてもよい。
【００８５】
図１１は、図８に示したマルチレンズ表示アレイ４０を空間像側からＺ軸の逆方向に見た場合の、マルチレンズ表示部４００における表示用レンズアレイ間の間隙を模式的に示す図（ＸＹ平面図）である。図１１に示すように、ＸＹ平面において、マルチレンズ表示部４００１１の表示用レンズアレイとマルチレンズ表示部４００２１の表示用レンズアレイとの間、およびマルチレンズ表示部４００１２の表示用レンズアレイとマルチレンズ表示部４００２２の表示用レンズアレイとの間には、Ｘ軸方向の間隙が設けられている。これらＸ軸方向の間隙の大きさＭＸは、表示用レンズアレイのレンズピッチの正整数倍である。同図は、Ｘ軸方向の間隙の大きさＭＸが表示用レンズアレイのレンズピッチの２倍であることを示している。
【００８６】
同様に、ＸＹ平面において、マルチレンズ表示部４００１１の表示用レンズアレイとマルチレンズ表示部４００１２の表示用レンズアレイとの間、およびマルチレンズ表示部４００２１の表示用レンズアレイとマルチレンズ表示部４００２２の表示用レンズアレイとの間には、Ｙ軸方向の間隙が設けられている。これらＹ軸方向の間隙の大きさＭＹは、表示用レンズアレイのレンズピッチの正整数倍である。同図は、Ｙ軸方向の間隙の大きさＭＹが表示用レンズアレイのレンズピッチの２倍であることを示している。
【００８７】
なお、Ｘ軸方向の間隙の大きさＭＸとＹ軸方向の間隙の大きさＭＹとは、等しくてもよいし等しくなくてもよい。
【００８８】
図１２は、図１０に示した表示面間の間隙と、図１１に示した表示用レンズアレイ間の間隙とを共に示した図である。図１２に示すように、ＸＹ平面において隣り合って配設される４個のマルチレンズ表示部４００１１，４００２１，４００１２，４００２２における、Ｘ軸方向の表示面間の間隙および表示用レンズアレイ間の間隙は同一でない。同様に、Ｙ軸方向の表示面間の間隙および表示用レンズアレイ間の間隙は同一でない。図９および図１２によれば、９個のマルチレンズ表示部４００は、マルチレンズ表示部４００間における、表示素子４０１の表示面間の間隙の大きさが表示面における画素ピッチの正整数倍、且つ表示用レンズアレイ４０２間の間隙の大きさがレンズピッチの正整数倍を満たすよう、基板部４０３の平面に固定される。
【００８９】
ここで、画像処理装置３０によるインテグラル画像データの分割処理について説明する。画像処理装置３０は、撮影装置５３０からインテグラル画像データを取り込み、このインテグラル画像データを自装置に内蔵する記憶部に記憶させる。この記憶部は、少なくとも１フレーム分の画像データを記憶可能なフレームメモリである。そして、画像処理装置３０は、図１０に示すマルチレンズ表示部４００の表示面間の間隙（画素ピッチの８倍）に対応する画素をインテグラル画像から除くことにより、９個の要素画像群データを取得する。
【００９０】
以上説明したとおり、第４実施形態である表示装置は、表示面間に間隙を有して、少なくともＸ軸方向またはＹ軸方向のいずれか一方向に配設される複数の表示素子４０１と、これら複数の表示素子４０１の表示面それぞれに対応させて、間隙を有して設けられる複数の表示用レンズアレイ４０２とを備える。
【００９１】
この構成により、所定の解像度を有するマルチレンズ表示部４００を用いて、前記の解像度よりも極めて高い解像度を有する表示装置を実現することができる。
【００９２】
ここで、表示面間の間隙の大きさは、表示素子４０１の画素ピッチの正整数倍であり、表示用レンズアレイ４０２間の間隙の大きさは、表示用レンズアレイ４０２のレンズピッチの正整数倍である。
また、第４実施形態である表示装置は、１フレーム分のインテグラル画像データを表示素子４０１の配置に対応させて分割することにより、複数の要素画像群データを生成する画像処理装置３０をさらに備える。
【００９３】
以上により、本発明の第４実施形態である表示装置は、インテグラルフォトグラフィによって高精細な空間像を得ることができる。
【００９４】
［第５の実施の形態］
第４実施形態における画像処理装置３０は、撮影装置５３０からインテグラル画像データを取り込み、このインテグラル画像データを分割することによって要素画像群データセットを生成する例であった。本発明の第５実施形態は、撮影領域が異なる複数の撮影装置から複数の分割インテグラル画像データを取り込んだ画像処理装置が、それら複数の分割インテグラル画像データそれぞれを分割することにより要素画像群データセットを生成する例である。
【００９５】
図１３は、本発明の第５実施形態である表示装置を適用した撮影表示システムの概略の構成を示す構成図である。同図に示すように、撮影表示システム２ａは、撮像用レンズアレイ５１０と、拡散板５２０と、３台の撮影装置５３０（５３０−１，５３０−２，５３０−３）と、画像処理装置（画像処理部）３０ａと、マルチレンズ表示アレイ４０とを含んで構成される。撮影表示システム２ａにおいて、表示装置は、画像処理装置３０ａと、マルチレンズ表示アレイ４０とを含む。
【００９６】
撮影装置５３０−１，５３０−２，５３０−３は、拡散板５２０に表出した１フレーム分のインテグラル画像をＸ軸方向に３分割して得られる分割領域Ｅ１，Ｅ２，Ｅ３を撮影して３個の分割インテグラル画像データを生成し、これら３個の分割インテグラル画像データを画像処理装置３０ａに供給する。
【００９７】
撮像用レンズアレイ５１０と拡散板５２０と撮影装置５３０−１，５３０−２，５３０−３とは、インテグラルフォトグラフィによる撮影システムを構成する。
【００９８】
画像処理装置３０ａは、撮影装置５３０−１，５３０−２，５３０−３が供給する３個の分割インテグラル画像データを取り込む。画像処理装置３０ａは、３個の分割インテグラル画像データを９個（３個×３個）のマルチレンズ表示部４００の配置に対応させて分割することにより、１フレーム分の領域が９分割された９個の要素画像群データを生成する。具体的に、画像処理装置３０ａは、撮影装置５３０−１が供給する第１の分割インテグラル画像データを取り込み、この第１の分割インテグラル画像データを、マルチレンズ表示部４００１１，４００１２，４００１３の配置に対応させて分割することにより３個の要素画像群データを生成する。また、画像処理装置３０ａは、撮影装置５３０−２が供給する第２の分割インテグラル画像データを取り込み、この第２のインテグラル画像データを、マルチレンズ表示部４００２１，４００２２，４００２３の配置に対応させて分割することにより３個の要素画像群データを生成する。また、画像処理装置３０ａは、撮影装置５３０−３が供給する第３のインテグラル画像データを取り込み、この第３の分割インテグラル画像データを、マルチレンズ表示部４００３１，４００３２，４００３３の配置に対応させて分割することにより３個の要素画像群データを生成する。画像処理装置３０ａが３系統の要素画像群データを生成する際に実行する分割処理については、第４実施形態における分割処理と同様であるため、ここでの説明を省略する。
【００９９】
画像処理装置３０ａは、ＣＰＵを搭載した演算処理装置、例えば、コンピュータ装置により実現される。
【０１００】
なお、撮影装置５３０の台数は３台に限定されることなく複数であってよい。また、１フレームを分割する方向もＸ軸方向に限ることなく、Ｙ軸方向としてもよい。また、各分割領域の面積は、同一でもよいし同一でなくてもよい。これに合わせて、画像処理装置３０ａは、３個に限定されることなく複数の分割インテグラル画像データを取り込んで要素画像群データセットを生成してもよい。
【０１０１】
撮影表示システム２ａにおいて、撮像用レンズアレイ５１０が有する複数の要素レンズと画素との位置関係は、９個の表示用レンズアレイ４０２が有する複数の要素レンズと画素との位置関係に等しい。
【０１０２】
［第６の実施の形態］
第４実施形態および第５実施形態におけるマルチレンズ表示アレイ４０は、マルチレンズ表示部４００間に所定の間隙を設けて、例えば９個のマルチレンズ表示部４００をＸ軸方向およびＹ軸方向それぞれに３個ずつ配設して構成した例であった。本発明の第６実施形態は、９個の表示用レンズアレイ４０２に代えて１個の表示用レンズアレイを用いた例である。つまり、本実施形態は、１個の表示用レンズアレイと９個の表示素子４０１とを含んで構成したマルチレンズ表示アレイを表示装置に用いる例である。
【０１０３】
図１４は、本実施形態におけるマルチレンズ表示アレイをＸ軸方向に見た場合の側面図である。同図には、マルチレンズ表示アレイ４０ａが備える９個の表示素子４０１のうち、表示素子４０１１１，４０１１２，４０１１３が基板部４０３に固定され、表示素子４０１１１，４０１１２，４０１１３の表示面に表示用レンズアレイ４０４が設けられた様子が示されている。
【０１０４】
表示用レンズアレイ４０４は、複数の要素レンズを、各光軸が平行となるようにして規則的に二次元配列させて構成した要素レンズ群である。表示用レンズアレイ４０４をＺ軸方向からみた場合、複数の要素レンズは、正方格子状に二次元配列されている。表示用レンズアレイ４０４の各要素レンズは、例えば、第１実施形態において用いた屈折率分布型（ＧＲａｄｉｅｎｔ  ＩＮｄｅｘ  Ｌｅｎｓｅｓ；ＧＲＩＮ）レンズにより実現される。
【０１０５】
第４実施形態および第５実施形態におけるマルチレンズ表示アレイ４０は、９個のマルチレンズ表示部４００を、表示面間に画素ピッチの正整数倍の大きさの間隙を設けるとともに、表示用レンズアレイ４０２間にレンズピッチの正整数倍の大きさの間隙を設けて構成した。これに対し、本実施形態におけるマルチレンズ撮像アレイ４０ａは、１個の表示用レンズアレイ４０４を用いているため、マルチレンズ表示アレイ４０に対して構造が簡単である。通常、表示素子を大型化するよりも表示用レンズアレイの面積を大きくする方が、容易に製造可能であり、また低いコストで実現できる。よって、本実施形態である表示装置は、第４実施形態および第５実施形態における表示装置に対して、構造が簡単であり、また低いコストで実現される。
【０１０６】
［第７の実施の形態］
図１５は、本発明の第７実施形態である撮影装置および表示装置を適用した撮影表示システムの概略の構成を示す構成図である。同図に示すように、撮影表示システム３は、マルチレンズ撮像アレイ１０と、画像処理装置（画像処理部）９０と、マルチレンズ表示アレイ４０ｂとを含んで構成される。撮影表示システム３において、撮影装置は、マルチレンズ撮像アレイ１０を含む。また、表示装置は、マルチレンズ表示アレイ４０ｂを含む。
【０１０７】
マルチレンズ表示アレイ４０ｂは、例えば９個のマルチレンズ表示部４１０を含んで構成される。詳しくは後述するが、各マルチレンズ表示部４１０は、表示素子および表示用レンズアレイ（レンズアレイ）を備える。図１５に示すように、マルチレンズ表示アレイ４０ｂは、９個のマルチレンズ表示部４１０それぞれにおける表示素子の表示面がＸ軸およびＹ軸を含む平面（ＸＹ平面）に平行となるよう、マルチレンズ表示部４１０間に所定の間隙を設けて、９個のマルチレンズ表示部４１０をＸ軸方向およびＹ軸方向それぞれに３個ずつ配設して構成される。
【０１０８】
マルチレンズ表示アレイ４０ｂは、９個のマルチレンズ表示部４１０を同時に動作させる。マルチレンズ表示アレイ４０ｂは、画像処理装置９０が供給する要素画像群データセットを取り込み、この要素画像群データセットが有する９個の要素画像群データを、それぞれ９個の表示素子に表示させ、表示された９個の要素画像群からの光束を、それぞれ９個の表示用レンズアレイに通して空間に放射する。
【０１０９】
画像処理装置９０は、マルチレンズ撮像アレイ１０が供給する要素画像群データセットを取り込む。画像処理装置９０は、要素画像群データセットが有する９個の要素画像群データを９個（３個×３個）のマルチレンズ撮像部１００の配置に対応付けて、自装置に内蔵する記憶部に記憶させる。この記憶部は、例えばマルチレンズ撮像アレイ１０が撮像する少なくとも１フレーム分の画像データを記憶可能なフレームメモリである。また、画像処理装置９０は、記憶部に記憶された９個の要素画像群データを読み出し、これら９個の要素画像群データを９個（３個×３個）のマルチレンズ表示部４００の配置に対応付けてマルチレンズ表示アレイ４０に供給する。具体的に、画像処理装置９０は、マルチレンズ撮像部１００１１，１００２１，１００３１，１００１２，１００２２，１００３２，１００１３，１００２３，１００３３から取得した要素画像群データを、マルチレンズ表示部４１０１１，４１０２１，４１０３１，４１０１２，４１０２２，４１０３２，４１０１３，４１０２３，４１０３３に供給する。画像処理装置９０は、ＣＰＵを搭載した演算処理装置、例えば、コンピュータ装置により実現される。
【０１１０】
図１６は、図１５に示したマルチレンズ表示アレイ４０ｂをＸ軸方向に見た場合の側面図である。図１６には、マルチレンズ表示アレイ４０ｂが備える９個のマルチレンズ表示部４１０のうち、マルチレンズ表示部４１０１１，４１０１２，４１０１３が基板部４０３に固定された様子が示されている。図１５および図１６を併せ参照すると、９個のマルチレンズ表示部４１０１１，４１０１２，４１０１３，４１０２１，４１０２２，４１０２３，４１０３１，４１０３２，４１０３３は、基板部４０３の平面に固定されている。
【０１１１】
図１６において、マルチレンズ表示部４１０１１は、表示素子４０１１１と、表示用レンズアレイ４１２１１とを備える。同様に、マルチレンズ表示部４１０１２は、表示素子４０１１２と、表示用レンズアレイ４１２１２とを備える。また、マルチレンズ表示部４１０１３は、表示素子４０１１３と、表示用レンズアレイ４１２１３とを備える。また、同図には示されていないが、マルチレンズ表示部４１０２１，４１０２２，４１０２３，４１０３１，４１０３２，４１０３３についても、同図と同様に、表示用レンズアレイおよび表示素子を備える。
【０１１２】
表示用レンズアレイ４１２は、複数の要素レンズを、各光軸が平行となるようにして規則的に二次元配列させて構成した要素レンズ群である。表示用レンズアレイ４０２をＺ軸方向からみた場合、複数の要素レンズは、正方格子状に二次元配列されている。表示用レンズアレイ４１２の各要素レンズは、例えば凸レンズにより実現される。そして、表示用レンズアレイ４１２は、各要素レンズの焦平面が表示素子４０１の表示面に一致するように設けられる。
【０１１３】
撮影表示システム３において、９個の撮像用レンズアレイ１００が有する複数の要素レンズと画素との位置関係は、９個の表示用レンズアレイ４１２が有する複数の要素レンズと画素との位置関係に等しい。
【０１１４】
このように構成したマルチレンズ表示部４１０を用いることによっても、投射レンズや拡散板を含まない表示装置を実現することができる。よって、その表示装置によれば、投射レンズおよび拡散板を含まない分画質劣化を抑えることができ、また、小型化を実現することができる。
【０１１５】
［その他の実施の形態］
上述した第１実施形態から第７実施形態は、撮像用レンズアレイ１０１，１０４，５１０および表示用レンズアレイ８０，４０２，４０４，４１２を、正方格子状に要素レンズを配列して構成した例とした。これらレンズアレイにおける要素レンズの配列パターンは、正方格子配列に限定されることなく、例えば、デルタ配列としてもよい。デルタ状に要素レンズを隙間なく配列した場合、要素レンズの直径をＤとすると、例えば、Ｘ軸方向のレンズピッチは行ごとにＤであり、隣接する行間においてはＤ／２である。また、Ｙ軸方向のレンズピッチは、（√３）×Ｄ／２である。デルタ配列によって構成されるレンズアレイは正方格子配列によって構成されるレンズアレイよりも要素レンズの密度が高い。よって、デルタ配列によって構成されるレンズアレイを用いた撮影表示システムは、内挿処理を実行した場合に、高画質の補間要素画像および補間画素を得ることができる。
【０１１６】
また、第１実施形態から第７実施形態において、撮像用レンズアレイの要素レンズと表示用レンズアレイの要素レンズとの組み合わせを、以下のようにしてもよい。すなわち、撮像側または表示側いずれか一方を屈折率分布型レンズとし、他方を凸レンズとする。または、いずれか一方を凸レンズとし、他方を凹レンズとする。または、撮像側および表示側の両方を凸レンズまたは屈折率分布型レンズとし、画像処理装置において各要素画像の奥行きを反転させる画像処理を実行してもよい。
【０１１７】
また、上述した各実施形態における画像処理装置２０，２０ａ，３０，３０ａ，９０の一部の機能をコンピュータで実現するようにしてもよい。この場合、その機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録し、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませて、このコンピュータシステムが実行することによって実現してもよい。なお、このコンピュータシステムとは、オペレーティング・システム（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ；ＯＳ）や周辺装置のハードウェアを含むものである。また、コンピュータ読み取り可能な記録媒体とは、フレキシブルディスク、光磁気ディスク、光ディスク、メモリカード等の可搬型記録媒体、コンピュータシステムに備えられる磁気ハードディスクやソリッドステートドライブ等の記憶装置のことをいう。さらに、コンピュータ読み取り可能な記録媒体とは、インターネット等のコンピュータネットワーク、および電話回線や携帯電話網を介してプログラムを送信する場合の通信回線のように、短時間の間、動的にプログラムを保持するもの、さらには、その場合のサーバ装置やクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持するものを含んでもよい。また上記のプログラムは、前述した機能の一部を実現するためのものであってもよく、さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせにより実現するものであってもよい。
【０１１８】
以上、本発明の実施の形態について図面を参照して詳述したが、具体的な構成はその実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【０１１９】
１，１ａ，２，２ａ，３  撮影表示システム
１０，１０ａ  マルチレンズ撮像アレイ
２０，２０ａ，３０，３０ａ  画像処理装置（画像処理部）
４０，４０ａ，４０ｂ  マルチレンズ表示アレイ
６０，６０−１，６０−２，６０−３  投影装置
７０  拡散板
８０  表示用レンズアレイ
１００１１，１００２１，１００３１，１００１２，１００２２，１００３２，１００１３，１００２３，１００３３  マルチレンズ撮像部
１０１１１，１０１１２，１０１１３  撮像用レンズアレイ
１０２１１，１０２１２，１０２１３  撮像素子
１０３  基板部
１０４  撮像用レンズアレイ
４００１１，４００２１，４００３１，４００１２，４００２２，４００３２，４００１３，４００２３，４００３３  マルチレンズ表示部
４０１１１，４０１１２，４０１１３  表示素子
４０２１１，４０２１２，４０２１３  表示用レンズアレイ
４０３  基板部
４０４  表示用レンズアレイ
４１０１１，４１０２１，４１０３１，４１０１２，４１０２２，４１０３２，４１０１３，４１０２３，４１０３３  マルチレンズ表示部
４１２１１，４１２１２，４１２１３  表示用レンズアレイ
５１０  撮像用レンズアレイ
５２０  拡散板
５３０、５３０−１，５３０−２，５３０−３  撮影装置
【図１】
2014081519.tif 000005
【図２】
2014081519.tif 000006
【図３】
2014081519.tif 000007
【図４】
2014081519.tif 000008
【図５】
2014081519.tif 000009
【図６】
2014081519.tif 000010
【図７】
2014081519.tif 000011
【図８】
2014081519.tif 000012
【図９】
2014081519.tif 000013
【図１０】
2014081519.tif 000014
【図１１】
2014081519.tif 000015
【図１２】
2014081519.tif 000016
【図１３】
2014081519.tif 000017
【図１４】
2014081519.tif 000018
【図１５】
2014081519.tif 000019
【図１６】
2014081519.tif 000020