(57)【要約】【課題】インテグラルフォトグラフィによる高精細な空間像を得る。【解決手段】撮影装置は、画素ピッチの非整数倍の大きさのレンズピッチを有して第１平面上に配設される複数のレンズと、これら複数のレンズそれぞれに対応して、第１平面と異なる第２平面上に、所定の基準位置から離れるにしたがって、対応するレンズの光軸と撮像面の中心軸との小数画素間隔のずれを整数画素間隔に補正して配設される複数の撮像部と、を備える。【選択図】図１
2014107752.tif 000002
【特許請求の範囲】
【請求項１】
画素ピッチの非整数倍の大きさのレンズピッチを有して第１平面上に配設される複数のレンズと、
前記複数のレンズそれぞれに対応して、前記第１平面と異なる第２平面上に、所定の基準位置から離れるにしたがって、対応する前記レンズの光軸と撮像面の中心軸との小数画素間隔のずれを整数画素間隔に補正して配設される複数の撮像部と、
を備えることを特徴とする撮影装置。
【請求項２】
前記複数の撮像部が撮像して得た複数の要素画像データを、前記複数の撮像部の配置に対応させて合成することにより要素画像群データを生成する画像処理部、
をさらに備えることを特徴とする請求項１記載の撮影装置。
【請求項３】
前記画像処理部は、前記複数の要素画像データを合成する際に、前記撮像部と前記レンズとの対において前記撮像部の前記撮像面から外側に出る前記レンズの部分に対応する画素の画素値を、画素の内挿処理を実行することにより求める、
ことを特徴とする請求項２記載の撮影装置。
【請求項４】
前記画像処理部は、前記要素画像群データを拡大または縮小させる、
ことを特徴とする請求項２または３いずれか記載の撮影装置。
【請求項５】
画素ピッチの非整数倍の大きさのレンズピッチを有して第１平面上に配設される複数のレンズと、
前記複数のレンズそれぞれに対応して、前記第１平面と異なる第２平面上に、所定の基準位置から離れるにしたがって、対応する前記レンズの光軸と表示面の中心軸との小数画素間隔のずれを整数画素間隔に補正して配設される複数の表示部と、
を備えることを特徴とする表示装置。
【請求項６】
要素画像群データを前記表示部の配置に対応させて分割することによって複数の要素画像データを生成し、前記複数の要素画像データを前記複数の表示部に供給する画像処理部、
をさらに備えることを特徴とする請求項５記載の表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影装置および表示装置に関する。
【背景技術】
【０００２】
空間像再生方式の一つとして、インテグラルフォトグラフィが知られている（例えば、特許文献１参照）。このインテグラルフォトグラフィを適用した撮影装置は、レンズアレイを通して入射される被写体からの光束を撮影することによってインテグラル画像を生成する。そして、インテグラルフォトグラフィを適用した表示装置は、インテグラル画像を表示部に表示させることによって光束を発生させ、この光束をレンズアレイに通すことによって空間像を生成する。つまり、インテグラルフォトグラフィは、実際の被写体から到来する光束と同様の光束を表示装置に発生させる再生方式である。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−２２８５７０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
インテグラルフォトグラフィによる空間像の解像度は、撮影装置の解像度に依存する。よって、インテグラルフォトグラフィによる空間像を高精細化する一つの方法として、撮影装置の解像度を高めることが有効である。
【０００５】
本発明は、上記事情を考慮してなされたものであり、インテグラルフォトグラフィによる高精細な空間像を得る、撮影装置及び表示装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
［１］上記の課題を解決するため、本発明の一態様である撮影装置は、画素ピッチの非整数倍の大きさのレンズピッチを有して第１平面上に配設される複数のレンズと、前記複数のレンズそれぞれに対応して、前記第１平面と異なる第２平面上に、所定の基準位置から離れるにしたがって、対応する前記レンズの光軸と撮像面の中心軸との小数画素間隔のずれを整数画素間隔に補正して配設される複数の撮像部と、を備えることを特徴とする。
［２］上記［１］記載の撮影装置において、前記複数の撮像部が撮像して得た複数の要素画像データを、前記複数の撮像部の配置に対応させて合成することにより要素画像群データを生成する画像処理部、をさらに備えることを特徴とする。
［３］上記［２］記載の撮影装置において、前記画像処理部は、前記複数の要素画像データを合成する際に、前記撮像部と前記レンズとの対において前記撮像部の前記撮像面から外側に出る前記レンズの部分に対応する画素の画素値を、画素の内挿処理を実行することにより求める、ことを特徴とする。
［４］上記［２］または［３］いずれか記載の撮影装置において、前記画像処理部は、前記要素画像群データを拡大または縮小させる、ことを特徴とする。
【０００７】
［５］上記の課題を解決するため、本発明の一態様である表示装置は、画素ピッチの非整数倍の大きさのレンズピッチを有して第１平面上に配設される複数のレンズと、前記複数のレンズそれぞれに対応して、前記第１平面と異なる第２平面上に、所定の基準位置から離れるにしたがって、対応する前記レンズの光軸と表示面の中心軸との小数画素間隔のずれを整数画素間隔に補正して配設される複数の表示部と、を備えることを特徴とする。
［６］上記［５］記載の表示装置において、要素画像群データを前記表示部の配置に対応させて分割することによって複数の要素画像データを生成し、前記複数の要素画像データを前記複数の表示部に供給する画像処理部、をさらに備えることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、インテグラルフォトグラフィによる高精細な空間像を得ることができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の第１実施形態である撮影装置を適用した撮影表示システムの概略の構成を示す構成図である。
【図２】図１に示したカメラアレイを被写体側から見た場合の正面図である。
【図３】カメラアレイにおけるカメラの概略の機能構成を示すブロック図である。
【図４】図１に示した表示用レンズアレイの正面図である。
【図５】カメラアレイが有する１８台のカメラそれぞれについて、ＸＹ平面内での撮像レンズおよび撮像部のずれを模式的に示す図である。
【図６】本発明の第２実施形態である撮影装置を適用した撮影表示システムの概略の構成を示す構成図である。
【図７】本発明の第３実施形態である表示装置を適用した撮影表示システムの概略の構成を示す構成図である。
【図８】プロジェクタアレイにおけるプロジェクタの概略の機能構成を示すブロック図である。
【図９】本発明の第４実施形態である表示装置を適用した撮影表示システムの概略の構成を示す構成図である。
【図１０】本発明の第５実施形態である撮影装置および表示装置を適用した撮影表示システムの概略の構成を示す構成図である。
【図１１】本発明の第５実施形態の第１変形例である撮影装置および表示装置を適用した撮影表示システムの概略の構成を示す構成図である。
【図１２】本発明の第５実施形態の第２変形例である撮影装置および表示装置を適用した撮影表示システムの概略の構成を示す構成図である。
【図１３】デルタ配列されたカメラを模式的に示す正面図である。
【図１４】本発明の第５実施形態における撮影表示システムと、同実施形態の第２変形例における撮影表示システムとについての限界解像度特性グラフを示した図である。
【発明を実施するための形態】
【００１０】
以下、本発明を実施するための形態について、図面を参照して詳細に説明する。
［第１の実施の形態］
本発明の第１実施形態は、カメラ装置（以下、カメラ）をアレイ状に配列させたカメラアレイを用いてインテグラルフォトグラフィによる撮影装置を実現する例である。
【００１１】
図１は、第１実施形態である撮影装置を適用した撮影表示システムの概略の構成を示す構成図である。同図に示すように、撮影表示システム１は、カメラアレイ１０と、画像処理装置（画像処理部）２０と、投影装置２１０と、拡散板２２０と、表示用レンズアレイ２３０とを含んで構成される。撮影表示システム１において、撮影装置は、カメラアレイ１０と、画像処理装置２０とを含む。
【００１２】
図１には、カメラアレイ１０によって撮影される被写体Ｓが表されている。また、同図には、相互に直交する３本の軸（Ｘ軸、Ｙ軸、およびＺ軸）が表されている。Ｘ軸およびＹ軸は、それぞれ、カメラアレイ１０が有する複数のカメラに備えられた撮像部の撮像面の水平方向および垂直方向それぞれに平行な軸である。Ｚ軸は、カメラアレイ１０の各カメラが備える撮像部の撮像面に垂直に交わる軸である。つまり、Ｚ軸は、撮影装置の主光軸に平行な軸である。
【００１３】
カメラアレイ１０は、複数のカメラを二次元配列させて構成される。本実施形態において、カメラアレイ１０は、例えば１８台のカメラを正方格子状に配設して構成される。図１に示すように、カメラアレイ１０は、各カメラに備えられた撮像部の撮像面がＸ軸およびＹ軸を含む平面（ＸＹ平面）に平行な一面上に、１８台のカメラをＸ軸方向に６台、Ｙ軸方向に３台、マトリクス状に配設して構成される。この１８台という台数は、同図を簡略化して説明を簡単にするための例である。実際には、カメラアレイ１０は、１８台に限定されることなくさらに多くのカメラを二次元配列させて構成してもよい。
【００１４】
カメラが備える撮像レンズは、インテグラルフォトグラフィにおける撮像用レンズアレイの要素レンズに相当する。カメラは、被写体Ｓから到来する光束を取り込み、この光束を撮像部で光電変換させることによって要素画像データを生成する。カメラアレイ１０は、１８台のカメラを同時に動作させて１８個の要素画像データを生成し、これら１８個の要素画像データを、要素画像データセットとして画像処理装置２０に供給する。
【００１５】
画像処理装置２０は、カメラアレイ１０が供給する要素画像データセットを取り込む。画像処理装置２０は、要素画像データセットが有する１８個の要素画像データを１８個（６個×３個）のカメラの配置に対応させて合成することにより、１フレーム分の要素画像群データを生成する。具体的に、画像処理装置２０は、１８個の要素画像データを合成する際に、例えば、撮像部と撮像レンズとの対において撮像部の撮像面から外側に出る撮像レンズの部分に対応する画素（補間画素）の画素値（補間画素値）を、画素の内挿処理を実行することによって求める。そして、画像処理装置２０は、１８個の要素画像データと、画素の内挿処理により求めた補間画素値とを合成することにより、１フレーム分の要素画像群データを生成し記憶する。
【００１６】
画像処理装置２０は、記憶された１８個の要素画像データについて、個体差を除去または低減するための補正処理を実行してもよい。例えば、画像処理装置２０は、要素画像間の色の属性（例えば、色相、彩度、明度）の誤差、および輝度の誤差をなくすための画像処理を実行する。画像処理装置２０は、１フレーム分の要素画像群データを、インテグラル画像データとして投影装置２１０に供給する。画像処理装置２０が要素画像データセットを合成してインテグラル画像データを得る処理（合成処理）の詳細については後述する。画像処理装置２０は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）を搭載した演算処理装置、例えば、コンピュータ装置により実現される。
【００１７】
撮影表示システム１は、表示装置を含む。この表示装置は、投影装置２１０と、拡散板２２０と、表示用レンズアレイ２３０とを含む。この表示装置は、本実施形態である撮影装置が生成したインテグラル画像データを取り込み、このインテグラル画像データをインテグラルフォトグラフィで表示する。
【００１８】
投影装置２１０は、画像処理装置２０が供給するインテグラル画像データを取り込む。投影装置２１０は、インテグラル画像データを画像光に変換し、この画像光を拡散板２２０に向けて投射する。投影装置２１０は、例えば、プロジェクタ装置により実現される。
【００１９】
拡散板２２０は、光透過性および光拡散性をともに有する平板である。拡散板２２０は、投影装置２１０によって投影された画像光を一方の面（投影装置２１０側の面）から拡散させながら透過させて他方の面に到達させる。これにより、拡散板２２０の他方の面にインテグラル画像を表出させる。
【００２０】
表示用レンズアレイ２３０は、複数の要素レンズを、各光軸が平行となるようにして規則的に二次元配列させて構成した要素レンズ群である。本実施形態において、表示用レンズアレイ２３０は、カメラの台数と同数（１８個）の要素レンズをＸ軸方向に６個、Ｙ軸方向に３個、マトリクス状に配列させて構成される。つまり、表示用レンズアレイ２３０が有する要素レンズの個数とカメラアレイ１０が有するカメラの台数とは同数である。また、表示用レンズアレイ２３０における要素レンズの配列は、カメラアレイ１０におけるカメラ１１の配列と相対的に同一である。各要素レンズは、例えば凸レンズである。表示用レンズアレイ２３０は、各要素レンズの焦平面が拡散板２２０の他方の面に一致する位置に設けられる。拡散板２２０の他方の面に表示されたインテグラル画像からの光束を、表示用レンズアレイ２３０を通すことによって、被写体Ｓに対応する空間像が生成される。
【００２１】
撮影表示システム１において、カメラアレイ１０が有する１８台のカメラそれぞれが備える撮像部の撮像面をマトリクス状に並べて得られる解像度と、投影装置２１０が備える表示部の解像度とは等しい。また、カメラアレイ１０における１８個の撮像レンズのレンズピッチと、表示用レンズアレイ２３０における要素レンズのレンズピッチとは、相対的に等しい比率となる小数画素分である。レンズピッチとは、隣接する要素レンズの中心点間の大きさである。小数画素分とは、画素ピッチの非整数倍の大きさである。画素ピッチとは、隣接する画素の中心点間の大きさである。
【００２２】
図２は、図１に示したカメラアレイ１０を被写体Ｓ側から見た場合の正面図である。図２には、カメラアレイ１０が備える１８個のカメラ１１が、Ｘ軸方向に６台、Ｙ軸方向に３台、マトリクス状に配設された様子が簡略化して表されている。本実施形態では、これら１８台のカメラそれぞれの符号１１に、ハイフン「−」を介して二次元座標を表す添字（２桁の数字）を付することにより、各カメラ１１を区別する。
【００２３】
従来技術では、撮像レンズの光軸と撮像部の撮像面の中心軸とが一致するカメラ１１を有するカメラアレイ１０および表示用レンズアレイ２３０について、それぞれのレンズピッチが小数画素分である場合、カメラアレイ１０が出力する１８個の要素画像データを、表示用レンズアレイ２３０のレンズピッチに一致させて合成しようとすると、要素画像間に重複する領域（要素画像重複領域）が生ずる。これに対し、本実施形態では、各カメラ１１の撮像レンズの光軸と、撮像部の中心軸とを相対的に所定方向にずらすことにより、要素画像重複領域が発生しないという効果が得られる。
【００２４】
図３は、カメラアレイ１０におけるカメラ１１の概略の機能構成を示すブロック図である。同図に示すように、カメラ１１は、撮像レンズ１１１と、撮像部１１２と、出力部１１３と、位置調整部１１４とを備える。
【００２５】
撮像レンズ１１１は、取り込んだ光束を撮像部１１２の撮像面に結像させるレンズ光学系である。撮像レンズ１１１は、例えば、屈折率分布型（ＧＲａｄｉｅｎｔ  ＩＮｄｅｘ  Ｌｅｎｓｅｓ；ＧＲＩＮ）レンズにより実現される。具体的に、撮像レンズ１１１として、以下に示す仕様の屈折率分布型レンズを用いる。すなわち、屈折率分布型レンズの光軸方向の長さをＬ、その屈折率分布型レンズの蛇行周期をＰとし、下記の式（１）を満たす仕様の屈折率分布型レンズを撮像レンズ１１１として用いる。ただし、式（１）において、ｎは正整数である。
【００２６】
【数１】
2014107752.tif 000003
【００２７】
式（１）を満たす仕様の屈折率分布型レンズを撮像レンズ１１１として用いることにより、この屈折率分布型レンズの一方の端面から十分遠方に存在する被写体Ｓの正立実像を、他方の端面上またはこの端面の外側に現出させることができる。屈折率分布型レンズの一方の端面から十分遠方に存在する被写体Ｓの正立実像を他方の端面上に現出させるためには、下記の式（２）を満たす仕様の屈折率分布型レンズを用いる。ただし、式（２）において、ｎは正整数である。
【００２８】
【数２】
2014107752.tif 000004
【００２９】
撮像レンズ１１１として、式（２）を満たす屈折率分布型レンズを用いることにより、カメラアレイ１０が生成する要素画像間のクロストークを抑制することができる。
【００３０】
撮像部１１２は、撮像レンズ１１１により得られる光束を光電変換することによって要素画像データを生成し、この要素画像データを出力部１１３に供給する。撮像部１１２は、例えば、ＣＣＤ（Ｃｈａｒｇｅｄ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）イメージセンサ、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等の固体撮像素子により実現される。
【００３１】
撮像レンズ１１１は、その焦平面が撮像部１１２の撮像面に一致するように設けられる。例えば、式（２）を満たす仕様の屈折率分布型レンズを撮像レンズ１１１として用いた場合、この屈折率分布型レンズの焦平面を、この屈折率分布型レンズにおける被写体Ｓ側と反対側の端面に一致させることができる。したがって、この場合、撮像レンズ１１１の被写体Ｓ側と反対側の端面を撮像部１１２の撮像面に接触させてカメラ１１を構成することができる。これにより、カメラ１１を小型化することができる。
【００３２】
出力部１１３は、撮像部１１２が供給する要素画像データを取り込み、この要素画像データを、画像処理装置２０の入力部に対応する電気的特性で送信する。
【００３３】
位置調整部１１４は、撮像レンズ１１１の光軸Ａに垂直な面（ＸＹ平面）内における任意の方向に、撮像レンズ１１１と撮像部１１２との位置関係を変更する光軸ずらし調整部である。具体的に、位置調整部１１４は、撮像レンズ１１１に対する撮像部１１２の位置を、例えば、撮像部１１２の中心軸Ｂが撮像レンズ１１１の光軸Ａに一致した状態を基準として、光軸Ａに対して垂直なＸ軸方向およびＹ軸方向またはいずれか一方向に任意の大きさだけ変位させる。位置調整部１１４に対する位置の変位の指定は、例えば、マニュアル操作、または、外部の制御装置からの指令による。変位の指定には、ずらし方向（Ｘ軸方向およびＹ軸方向またはいずれか一方向）およびずらし量の指定が含まれる。
【００３４】
すなわち、１８台のカメラ１１を有するカメラアレイ１０は、画素ピッチの非整数倍の大きさのレンズピッチを有してＺ軸に直交する第１平面上に配設される１８個の撮像レンズ１１１を備える。また、カメラアレイ１０は、第１平面と平行な第２平面上に配設される１８個の撮像部１１２を備える。これにおいて、各カメラ１１の位置調整部１１４は、カメラアレイ１０における当該カメラ１１の位置に応じて、撮像部１１２の位置を調整する。例えば、１８個の撮像部１１２の撮像面を結合して得られる一枚の撮像面において、あらかじめ、各カメラ１１の光軸Ａが貫く画素の位置を求め、各カメラ１１についての小数画素のずれ量を求めておく。そして、各カメラ１１について、小数画素のずれ量に応じた光軸Ａと撮像部１１２の中心軸Ｂとの変位量を求めておく。位置調整部１１４は、これらの変位量を用いて調整を行う。これにより、撮像レンズ１１１と撮像部１１２との位置関係は、第１平面における所定の基準位置（例えば、カメラアレイ１０における中心位置）からＸ軸方向において撮像レンズ１１１の光軸Ａが離れるにしたがって、撮像レンズ１１１の光軸Ａと撮像面の中心軸ＢとのＸ軸方向における小数画素間隔のずれを整数画素間隔に補正することができる。また、上記の基準位置からＹ軸方向において撮像レンズ１１１の光軸Ａが離れるにしたがって、撮像レンズ１１１の光軸Ａと撮像面の中心軸ＢとのＹ軸方向における小数画素間隔のずれを整数画素間隔に補正することができる。
【００３５】
図４は、図１に示した表示用レンズアレイ２３０の正面図である。図４は、表示用レンズアレイ２３０に、拡散板２２０に表出する画像の画素を重ね合わせた状態を模式的に示している。同図では、要素レンズに対する画素の密度を低く、つまり要素レンズに対して画素を大きく示しているが、これは説明の便宜のためであり、実際は、要素レンズに対する画素の密度はさらに高い。また、同図における表示用レンズアレイ２３０は、要素レンズをＸ軸方向およびＹ軸方向に隙間なく配列したものであり、この場合、Ｘ軸方向およびＹ軸方向それぞれにおけるレンズピッチは要素レンズの直径に等しい。また、同図における画素は、互いに隙間なく格子状に配列されたものであり、この場合、Ｘ軸方向およびＹ軸方向それぞれにおける画素ピッチは画素幅に等しい。同図に示すとおり、表示用レンズアレイ２３０におけるレンズピッチは、画素ピッチの非整数倍の大きさである。すなわち、表示用レンズアレイ２３０におけるレンズピッチは、小数画素分である。
【００３６】
図５は、カメラアレイ１０が有する１８台のカメラ１１それぞれについて、ＸＹ平面内での撮像レンズ１１１および撮像部１１２のずれを模式的に示す図である。同図において、２個×２個の小ブロックを含む矩形は、撮像部１１２の撮像面の外形を表す。また、撮像面に含まれる小ブロックは、画素を表す。また、円形は、撮像レンズ１１１の外形を表す。同図では、撮像レンズ１１１に対する撮像部１１２の画素の密度を低く、つまり撮像レンズ１１２に対して画素を大きく示しているが、これは説明の便宜のためであり、実際は、撮像レンズ１１１に対する画素の密度はさらに高い。
【００３７】
ここで、各カメラ１１における、撮像レンズ１１１および撮像部１１２の位置の変位量について説明する。１８台のカメラ１１それぞれが備える撮像部１１２の撮像面を連結して得られる面上に、１８個の撮像レンズ１１１を表示用レンズアレイ２３０の要素レンズと同一の配列により設けた位置関係において、各撮像レンズ１１１の中心位置に対応する画素の第１の座標と、各撮像面の中心位置に対応する画素の第２の座標とを求める。そして、カメラ１１ごとに得られる、撮像レンズ１１１における第１の座標と撮像面における第２の座標とのずれを、Ｘ軸方向およびＹ軸方向それぞれの成分として取得し、変位量とする。
【００３８】
撮像レンズ１１１の光軸と撮像部１１２の中心軸との図５の位置関係を有するように調整されたカメラアレイ１０から要素画像データセットを取り込んだ画像処理装置２０は、要素画像重複領域を生じさせないで１８個の要素画像データを合成することができる。
【００３９】
次に、画像処理装置２０による要素画像データセットの合成処理について説明する。画像処理装置２０は、カメラアレイ１０から要素画像データセットを取り込み、この要素画像データセットが有する１８個の要素画像データを、１８台のカメラ１１の配置に対応させ連結させて、自装置に内蔵する記憶部に記憶させる。この記憶部は、例えばカメラアレイ１０が撮像する少なくとも１フレーム分の画像データを記憶可能なフレームメモリである。
【００４０】
そして、画像処理装置２０は、撮像部１１２と撮像レンズ１１１との対において撮像部１１２の撮像面から外側に出る撮像レンズ１１１の部分に対応する画素（補間画素）の画素値（補間画素値）を、隣接する画素または周辺の画素の内挿処理により求める。または、画像処理装置２０は、当該要素画像の周辺の一つまたは複数の要素画像に基づいて、内挿処理等により補間画素値を求める。そして、画像処理装置２０は、１８個の要素画像データと、画素の内挿処理により求めた補間画素値とを合成することにより、１フレーム分の要素画像群データ、すなわちインテグラル画像データを生成する。
【００４１】
以上説明したとおり、第１実施形態である撮影装置は、画素ピッチの非整数倍の大きさのレンズピッチを有して第１平面上に配設される１８個の撮像レンズ１１１と、第１平面において所定の基準位置から第１平面上のＸ軸およびＹ軸それぞれの方向に離れるにしたがって、１８個の撮像レンズ１１１それぞれの光軸Ａと１８個の撮像レンズ１１１それぞれに対応する撮像面の中心軸ＢとのＸ軸およびＹ軸それぞれの方向における小数画素間隔のずれを整数画素間隔に補正するよう、第１平面と平行な第２平面上に配設される１８個の撮像部１１２と、を備える。
【００４２】
このように構成することにより、撮像レンズ１１１の光軸と撮像部１１２の中心軸との位置関係を図５に示したように調整されたカメラアレイ１０を実現することができる。そして、このカメラアレイ１０が生成する１８個の要素画像データから１フレーム分のインテグラル画像を生成する場合、要素画像重複領域を生じさせないで１８個の要素画像データを連結することができる。そして、表示側では、表示部の画素ピッチの非整数倍の大きさのレンズピッチを有する表示レンズアレイ２３０を用いて、インテグラルフォトグラフィによる空間像を得ることができる。
【００４３】
第１実施形態である撮影装置は、カメラ１１の撮像レンズ１１１を要素レンズとして構成したインテグラルフォトグラフィによる撮影装置である。第１実施形態である撮像装置によれば、従来の撮像用レンズアレイを用いて構成された撮影装置に対して、各要素画像の解像度を格段に高めることができる。
【００４４】
また、第１実施形態である撮影装置は、１８台のカメラ１１の並びに応じて、撮像レンズ１１１の光軸と撮像部１１２の中心軸とをずらして構成したカメラアレイ１０が撮像して得た１８個の要素画像データを、１８台のカメラ１１の配置に対応させて合成することにより要素画像群データを生成する画像処理装置２０をさらに備える。このように構成したことにより、画像処理装置２０は、要素画像重複領域を生じさせることなく、１８個の要素画像データを合成することができる。
【００４５】
ここで、画像処理装置２０は、１８個の要素画像データを合成する際に、撮像部１１２と撮像レンズ１１１との対において撮像部１１２の撮像面から外側に出る撮像レンズ１１１の部分に対応する画素の補間画素値を、画素の内挿処理を実行することにより求める。
【００４６】
このように構成したことにより、画像処理装置２０は、補間画素値を周辺の画素の内挿処理によって得ることができる。つまり、画像処理装置２０は、比較的簡易に要素画像データセットを合成して１フレーム分のインテグラル画像データを得ることができる。
【００４７】
以上により、本発明の第１実施形態である撮影装置は、インテグラルフォトグラフィによって高精細な空間像を得るためのインテグラル画像データを生成することができる。
【００４８】
［第１実施形態の第１の変形例］
第１実施形態の第１変形例は、第１実施形態に対して、カメラアレイ１０が有する複数のカメラ１１それぞれが備える撮像部１１２の撮像面をマトリクス状に並べて得られる解像度と、投影装置２１０が備える表示部の解像度とが等しくない例である。
【００４９】
画像処理装置２０は、カメラアレイ１０から取り込んだ要素画像データセットを複数のカメラ１１の配置に対応させて合成することによって生成した要素画像群データを、この要素画像群データの解像度が、投影装置２１０における表示部の解像度に一致するよう、拡大または縮小いずれかの画像処理を行って、インテグラル画像データを生成する。
【００５０】
［第１実施形態の第２の変形例］
第１実施形態の第２変形例は、第１実施形態に対して、カメラアレイ１０における複数の撮像レンズ１１１のレンズピッチと、表示用レンズアレイ２３０のレンズピッチとが相対的に等しい比率であり、且つ各レンズピッチが画素ピッチの整数倍となる例である。
【００５１】
第２変形例におけるカメラアレイ１０が有する複数のカメラ１１は、それぞれ、撮像レンズ１１１の光軸と撮像部１１２の中心軸とを一致させている。
【００５２】
画像処理装置２０は、要素画像データセットが有する複数の要素画像データを複数のカメラ１１の配置に対応させて連結することにより、１フレーム分のインテグラル画像データを生成する。第２変形例においては、画像処理装置２０は、画素の内挿処理を実行しない。
【００５３】
［第１実施形態の第３の変形例］
第１実施形態の第３変形例は、第１実施形態に対して、カメラアレイ１０が有する複数のカメラ１１それぞれが備える撮像部１１２の撮像面をマトリクス状に並べて得られる解像度と、投影装置２１０が備える表示部の解像度とが等しくない例である。また、第３変形例は、第１実施形態に対して、カメラアレイ１０における複数の撮像レンズ１１１のレンズピッチと表示用レンズアレイ２３０のレンズピッチとが相対的に等しい比率であり、且つ各レンズピッチが画素ピッチの整数倍となる例である。
【００５４】
第３変形例におけるカメラアレイ１０が有する複数のカメラ１１は、それぞれ、撮像レンズ１１１の光軸と撮像部１１２の中心軸とを一致させている。
【００５５】
画像処理装置２０は、カメラアレイ１０から取り込んだ要素画像データセットを複数のカメラ１１の配置に対応させて連結することによって生成した要素画像群データを、この要素画像群データの解像度が、投影装置２１０における表示部の解像度に一致するよう、拡大または縮小いずれかの画像処理を行って、インテグラル画像データを生成する。第３変形例においては、画像処理装置２０は、画素の内挿処理を実行しない。
【００５６】
［第１実施形態の第４の変形例］
第１実施形態の第４変形例は、第１実施形態に対して、カメラアレイ１０におけるカメラ１１の配列が、表示用レンズアレイ２３０における要素レンズの配列と異なる例である。
【００５７】
第４変形例は、図２に示したカメラアレイ１０から、離散的にカメラ１１を削除して構成されるカメラアレイを用いるものである。例えば、本変形例では、カメラアレイとして、同図に示したカメラアレイ１０から、Ｘ軸方向およびＹ軸方向に一台おきにカメラ１１を削除した構成とする。具体的に、本変形例におけるカメラアレイは、同図のカメラアレイ１０から、カメラ１１−２１，１１−４１，１１−６１，１１−１２，１１−３２，１１−５２，１１−２３，１１−４３，１１−６３を削除して構成される。
【００５８】
画像処理装置２０は、上記のカメラアレイが供給する要素画像データセットを取り込む。そして、画像処理装置２０は、要素画像データセットが有する９個の要素画像データを合成する際に、例えば、要素画像間の間隙に対応する要素画像（補間要素画像）のデータ（補間要素画像データ）を、要素画像の内挿処理により求める。
【００５９】
カメラアレイ１０における各カメラ１１は、撮影装置の主光軸に対して直角である平面（ＸＹ平面）上に配列されるため、各要素画像における視線方向は、撮像レンズ１１１の並びに応じて徐々に変化する。つまり、隣り合う要素画像間、または、注目する要素画像とこの周辺の要素画像との間では、画像の相関が強い確率が高い。このような統計的な性質を利用し、画像処理装置２０は、補間要素画像の領域に隣接する要素画像または周辺の要素画像から視線方向を変えた補間要素画像を生成する。
【００６０】
画像処理装置２０は、９個の要素画像データと、要素画像の内挿処理により求めた補間要素画像と、補間画素値とを合成することにより、１フレーム分のインテグラル画像データを生成する。
【００６１】
第４変形例によれば、カメラアレイを構成するときのカメラ１１の密度を低くすることができ、カメラアレイのコストを低減することができる。
【００６２】
［第２の実施の形態］
第１実施形態における画像処理装置２０は、カメラアレイ１０から要素画像データセットを取り込み、この要素画像データセットが有する複数の要素画像データを合成することによって１フレーム分のインテグラル画像データを生成する例であった。本発明の第２実施形態は、カメラアレイ１０から要素画像データセットを取り込んだ画像処理装置が、その要素画像データセットが有する複数の要素画像データを所定のグループごとに合成することにより、フレームを領域分割した複数の分割インテグラル画像データを生成する例である。
【００６３】
図６は、本発明の第２実施形態である撮影装置を適用した撮影表示システムの概略の構成を示す構成図である。なお、第２実施形態において第１実施形態と同一の構成については、同一の符号を付してその説明を省略する。同図に示すように、撮影表示システム１ａは、カメラアレイ１０と、画像処理装置（画像処理部）２０ａと、３台の投影装置２１０−１，２１０−２，２１０−３と、拡散板２２０と、表示用レンズアレイ２３０とを含んで構成される。撮影表示システム１ａにおいて、撮影装置は、カメラアレイ１０と、画像処理装置２０ａとを含む。
【００６４】
画像処理装置２０ａは、カメラアレイ１０が供給する要素画像データセットを取り込む。画像処理装置２０ａは、１フレームを例えばＸ軸方向に３分割して得られる分割領域ごとに、要素画像データセットが有する１８個の要素画像データを１８台のカメラ１１の配置に対応させて合成することにより、３個の分割インテグラル画像データを生成する。
【００６５】
具体的に、画像処理装置２０ａは、カメラ１１−１１，１１−２１，１１−１２，１１−２２，１１−１３，１１−２３が供給する６個の要素画像データを、カメラ１１−１１，１１−２１，１１−１２，１１−２２，１１−１３，１１−２３の配置に対応させて合成することにより、第１の分割インテグラル画像データを生成する。また、画像処理装置２０ａは、カメラ１１−３１，１１−４１，１１−３２，１１−４２，１１−３３，１１−４３が供給する６個の要素画像群データを、カメラ１１−３１，１１−４１，１１−３２，１１−４２，１１−３３，１１−４３の配置に対応させて合成することにより、第２の分割インテグラル画像データを生成する。また、画像処理装置２０ａは、カメラ１１−５１，１１−６１，１１−５２，１１−６２，１１−５３，１１−６３が供給する６個の要素画像群データを、カメラ１１−５１，１１−６１，１１−５２，１１−６２，１１−５３，１１−６３の配置に対応させて合成することにより、第３の分割インテグラル画像データを生成する。画像処理装置２０ａが３個の分割インテグラル画像データを生成する際に実行する内挿処理については、第１実施形態における内挿処理と同様であるため、ここでの説明を省略する。
【００６６】
なお、画像処理装置２０ａは、画像処理装置２０と同様に、要素画像データ間の個体差を除去または低減するための補正処理を実行してもよい。
【００６７】
画像処理装置２０ａは、第１の分割インテグラル画像データを投影装置２１０−１、第２の分割インテグラル画像データを投影装置２１０−２、第３の分割インテグラル画像データを投影装置２１０−３に供給する。画像処理装置２０ａは、ＣＰＵを搭載した演算処理装置、例えば、コンピュータ装置により実現される。
【００６８】
なお、画像処理装置２０ａは、３個に限定されることなく複数の分割インテグラル画像データを生成してもよい。また、１フレームを分割する方向もＸ軸方向に限ることなく、Ｙ軸方向としてもよい。また、各分割領域の面積は、同一でもよいし同一でなくてもよい。
【００６９】
撮影表示システム１ａは、表示装置を含む。この表示装置は、投影装置２１０−１，２１０−２，２１０−３と、拡散板２２０と、表示用レンズアレイ２３０とを含む。この表示装置は、本実施形態である撮影装置が生成した３個の分割インテグラル画像データを取り込み、これら３個の分割インテグラル画像データをインテグラルフォトグラフィで表示する。
【００７０】
投影装置２１０−１，２１０−２，２１０−３は、それぞれ、画像処理装置２０ａが供給する第１の分割インテグラル画像データ、第２の分割インテグラル画像データ、第３の分割インテグラル画像データそれぞれを取り込む。投影装置２１０−１，２１０−２，２１０−３は、第１の分割インテグラル画像データ、第２の分割インテグラル画像データ、第３の分割インテグラル画像データを第１の画像光、第２の画像光、第３の画像光に変換し、これら画像光を拡散板２２０に向けて投射する。投影装置２１０−１，２１０−２，２１０−３は、拡散板２２０に投影される画像光が重ならないように配置される。投影装置２１０−１，２１０−２，２１０−３は、例えば、プロジェクタ装置により実現される。
【００７１】
拡散板２２０は、投影装置２１０−１，２１０−２，２１０−３によって投影された第１の画像光、第２の画像光、第３の画像光を、一方の面（投影装置２１０側の面）の領域Ｄ１，Ｄ２，Ｄ３から拡散させながら透過させて他方の面に到達させる。これにより、拡散板２２０の他方の面に１フレーム分のインテグラル画像を表出させる。拡散板２２０の他方の面に表示されたインテグラル画像からの光束を、表示用レンズアレイ２３０を通すことによって、被写体Ｓに対応する空間像が生成される。
【００７２】
このように構成したことにより、第２実施形態における撮影表示システム１ａによれば、撮影装置は、第１実施形態と同様に、インテグラルフォトグラフィによって高精細な空間像を得るためのインテグラル画像データを生成することができる。また、表示装置は、所定の解像度を有する投影装置２１０を用いて、前記の解像度よりも極めて高い解像度の空間像を得ることができる。
【００７３】
［第３の実施の形態］
図７は、本発明の第３実施形態である表示装置を適用した撮影表示システムの概略の構成を示す構成図である。同図に示すように、撮影表示システム２は、撮像用レンズアレイ２４０と、拡散板２５０と、撮影装置２６０と、画像処理装置（画像処理部）３０と、プロジェクタアレイ４０とを含んで構成される。撮影表示システム２において、表示装置は、画像処理装置３０と、プロジェクタアレイ４０とを含む。
【００７４】
図７には、撮影装置２６０によって撮影される被写体Ｓが表されている。また、同図には、相互に直交する３本の軸（Ｘ軸、Ｙ軸、およびＺ軸）が表されている。Ｘ軸およびＹ軸は、プロジェクタアレイ４０に含まれる複数の表示素子の表示面それぞれの水平方向および垂直方向にそれぞれ平行な軸である。Ｚ軸は、プロジェクタアレイ４０の各表示素子の表示面に垂直に交わる軸である。つまり、Ｚ軸は、表示装置の主光軸に平行な軸である。
【００７５】
撮像用レンズアレイ２４０は、複数の要素レンズを、各光軸が平行となるようにして規則的（例えば、正方格子状）に二次元配列させて構成した要素レンズ群である。各要素レンズは、例えば凸レンズである。
【００７６】
拡散板２５０は、光透過性および光拡散性をともに有する平板である。拡散板２５０は、その一方の面が撮像用レンズアレイ２４０の各要素レンズの焦平面に一致する位置に設けられる。拡散板２５０は、撮像用レンズアレイ２４０からの光束を一方の面（撮像用レンズアレイ２４０側の面）から拡散させながら透過させて他方の面に到達させる。これにより、拡散板２５０の他方の面に１フレーム分の要素画像群を表出させる。
【００７７】
撮影装置２６０は、拡散板２５０の他方の面に表出した１フレーム分の要素画像群を撮影してインテグラル画像データを生成し、このインテグラル画像データを画像処理装置３０に供給する。
【００７８】
撮像用レンズアレイ２４０と拡散板２５０と撮影装置２６０とは、インテグラルフォトグラフィによる撮影システムを構成する。
【００７９】
プロジェクタアレイ４０は、複数のプロジェクタを二次元配列させて構成される。本実施形態において、プロジェクタアレイ４０は、例えば１８台のプロジェクタを正方格子状に配設して構成される。図７に示すように、プロジェクタアレイ４０は、各プロジェクタに備えられた表示部の表示面がＸ軸およびＹ軸を含む平面（ＸＹ平面）に平行となるよう、１８台のプロジェクタをＸ軸方向に６台、Ｙ軸方向に３台、マトリクス状に配設して構成される。この１８台という台数は、同図を簡略化して説明を簡単にするための例である。実際には、プロジェクタアレイ４０は、１８台に限定されることなくさらに多くのプロジェクタを二次元配列させて構成してもよい。
【００８０】
プロジェクタが備える投射レンズは、インテグラルフォトグラフィにおける表示用レンズアレイの要素レンズに相当する。
【００８１】
プロジェクタアレイ４０は、１８台のプロジェクタを同時に動作させる。プロジェクタアレイ４０は、画像処理装置３０が供給する要素画像データセットを取り込む。プロジェクタアレイ４０が有する１８台のプロジェクタは、要素画像データセットが有する１８個の要素画像データをそれぞれ表示部に表示させ、表示された１８個の要素画像からの光束を、それぞれ１８個の投射レンズを通して空間に放射する。
【００８２】
画像処理装置３０は、撮影装置２６０が供給するインテグラル画像データを取り込む。画像処理装置３０は、インテグラル画像データを１８個（６個×３個）のプロジェクタの配置に対応させて分割することにより、１フレーム分の領域が１８分割された１８個の要素画像データを生成する。画像処理装置３０が生成する１８個の要素画像データは、それぞれ整数画素数分の幅および高さを有する。そして、画像処理装置３０は、１８個の要素画像データを１フレーム分の要素画像データセットとしてプロジェクタアレイ４０に供給する。画像処理装置３０がインテグラル画像データを分割して要素画像データセットを得る処理（分割処理）の詳細については後述する。画像処理装置３０は、ＣＰＵを搭載した演算処理装置、例えば、コンピュータ装置により実現される。
【００８３】
撮影表示システム２において、撮像用レンズアレイ２４０が有する１８個の要素レンズと画素との位置関係は、１８台のプロジェクタが有する１８個の投射レンズと画素との位置関係に等しい。また、撮影装置２６０が備える撮像部の解像度と、プロジェクタアレイ４０が有する１８台のプロジェクタそれぞれが備える表示部の表示面をマトリクス状に並べて得られる解像度とは等しい。また、撮像用レンズアレイ２４０における要素レンズのレンズピッチと、プロジェクタアレイ４０における１８個の投射レンズのレンズピッチとは、相対的に等しい比率となる小数画素分である。
【００８４】
図８は、プロジェクタアレイ４０におけるプロジェクタの概略の機能構成を示すブロック図である。同図に示すように、プロジェクタ４１は、入力部４１１と、表示部４１２と、投射レンズ４１３と、位置調整部４１４とを備える。
【００８５】
入力部４１１は、画像処理装置３０が供給する要素画像データを取り込み、この要素画像データを表示部４１２に供給する。
【００８６】
表示部４１２は、入力部４１１が供給する要素画像データを取り込んで要素画像を表示面に表示させる。表示部４１２は、例えば液晶表示デバイスにより実現される。
【００８７】
投射レンズ４１３は、表示部４１２の表示面に表示された要素画像からの光束を通過させて外部に投射するレンズ光学系である。投射レンズ４１３は、例えば、第１実施形態において用いた屈折率分布型（ＧＲａｄｉｅｎｔ  ＩＮｄｅｘ  Ｌｅｎｓｅｓ；ＧＲＩＮ）レンズにより実現される。投射レンズ４１３は、焦平面が表示部４１２の表示面に一致するように設けられる。例えば、前述の式（２）を満たす仕様の屈折率分布型レンズを投射レンズ４１３として用いた場合、この屈折率分布型レンズの焦平面を、この屈折率分布型レンズにおける空間像側と反対側の端面に一致させることができる。したがって、この場合、投射レンズ４１３の空間像側と反対側の端面を表示部４１２の表示面に接触させてプロジェクタ４１を構成することができる。これにより、プロジェクタ４１を小型化することができる。
【００８８】
位置調整部４１４は、投射レンズ４１３の光軸Ｃに垂直な面（ＸＹ平面）内における任意の方向に、投射レンズ４１３と表示部４１２との位置関係を変更する光軸ずらし調整部である。具体的に、位置調整部４１４は、投射レンズ４１３に対する表示部４１２の位置を、例えば、表示部４１２の中心軸Ｄが投射レンズ４１３の光軸Ｃに一致した状態を基準として、光軸Ｃに対して垂直なＸ軸方向およびＹ軸方向またはいずれか一方向に任意の大きさだけ変位させる。位置調整部４１４に対する位置の変位の指定は、例えば、マニュアル操作、または、外部の制御装置からの指令による。変位の指定には、ずらし方向（Ｘ軸方向およびＹ軸方向またはいずれか一方向）およびずらし量の指定が含まれる。
【００８９】
すなわち、１８台のプロジェクタ４１を有するプロジェクタアレイ４０は、画素ピッチの非整数倍の大きさのレンズピッチを有してＺ軸に直交する第１平面上に配設される１８個の投射レンズ４１３を備える。また、プロジェクタアレイ４０は、第１平面において所定の基準位置（例えば、プロジェクタアレイ４０における中心位置）からＸ軸およびＹ軸それぞれに沿って離れるにしたがい、投射レンズ４１３の光軸Ｃと表示面の中心軸ＤとのＸ軸方向およびＹ軸方向における小数画素間隔のずれを整数画素間隔に補正するよう、第１平面と平行な第２平面上に配設される１８個の表示部４１２を備える。
【００９０】
ここで、各プロジェクタ４１における、投射レンズ４１３および表示部４１２の位置の変位量について説明する。１８台のプロジェクタ４１それぞれが備える表示部４１２の表示面を連結して得られる面上に、１８個の投射レンズ４１３を撮像用レンズアレイ２４０の要素レンズと同一の配列により設けた位置関係において、各投射レンズ４１３の中心位置に対応する画素の第１の座標と、各表示面の中心位置に対応する画素の第２の座標とを求める。そして、プロジェクタ４１ごとに得られる、投射レンズ４１３における第１の座標と表示面における第２の座標とのずれを、Ｘ軸方向およびＹ軸方向それぞれの成分として取得し、変位量とする。
【００９１】
次に、画像処理装置３０によるインテグラル画像データの分割処理について説明する。画像処理装置３０は、撮影装置２６０からインテグラル画像データを取り込み、このインテグラル画像データを自装置に内蔵する記憶部に記憶させる。この記憶部は、少なくとも１フレーム分の画像データを記憶可能なフレームメモリである。そして、画像処理装置３０は、インテグラル画像データを１８個（６個×３個）のプロジェクタ４１の配置に対応させて分割することにより、それぞれ整数画素数分の幅および高さを有する１８個の要素画像データを取得する。
【００９２】
以上説明したとおり、第４実施形態である表示装置は、画素ピッチの非整数倍の大きさのレンズピッチを有して第１平面上に配設される１８個の投射レンズ４１３と、第１平面において所定の基準位置から第１平面上のＸ軸およびＹ軸それぞれの方向に離れるにしたがって、１８個の投射レンズ４１３それぞれの光軸Ｃと１８個の投射レンズ４１３それぞれに対応する表示面の中心軸ＤとのＸ軸およびＹ軸それぞれの方向における小数画素間隔のずれを整数画素間隔に補正するよう、第１平面と平行な第２平面上に配設される１８個の表示部４１２と、を備える。
【００９３】
つまり、第３実施形態である表示装置は、プロジェクタ４１の投射レンズ４１３を要素レンズとして構成したインテグラルフォトグラフィによる表示装置である。よって、第３実施形態である表示装置によれば、従来の表示用レンズアレイを用いて構成された表示装置に対して、各要素画像の解像度を格段に高めることができる。
【００９４】
また、第３実施形態である表示装置は、要素画像群データを表示部４１２の配置に対応させて分割することによって１８個の要素画像データを生成し、１８個の要素画像データを１８個の表示部４１２に供給する画像処理装置３０をさらに備える。つまり、画像処理装置３０は、１フレーム分のインテグラル画像データを、整数画素数分の幅および高さを有する１８個の要素画像データに分割する処理だけで、要素画像データセットを生成することができる。
【００９５】
以上により、本発明の第３実施形態である表示装置は、インテグラルフォトグラフィによって高精細な空間像を得ることができる。
【００９６】
［第４の実施の形態］
第３実施形態における画像処理装置３０は、撮影装置２６０からインテグラル画像データを取り込み、このインテグラル画像データを分割することによって要素画像データセットを生成する例であった。本発明の第４実施形態は、撮影領域が異なる複数の撮影装置から複数の分割インテグラル画像データを取り込んだ画像処理装置が、それら複数の分割インテグラル画像データそれぞれを分割することにより要素画像データセットを生成する例である。
【００９７】
図９は、本発明の第４実施形態である表示装置を適用した撮影表示システムの概略の構成を示す構成図である。同図に示すように、撮影表示システム２ａは、撮像用レンズアレイ２４０と、拡散板２５０と、３台の撮影装置２６０−１，２６０−２，２６０−３と、画像処理装置（画像処理部）３０ａと、プロジェクタアレイ４０とを含んで構成される。撮影表示システム２ａにおいて、表示装置は、画像処理装置３０ａと、プロジェクタアレイ４０とを含む。
【００９８】
撮影装置２６０−１，２６０−２，２６０−３は、拡散板２５０に表出した１フレーム分のインテグラル画像をＸ軸方向に３分割して得られる分割領域Ｅ１，Ｅ２，Ｅ３を撮影して３個の分割インテグラル画像データを生成し、これら３個の分割インテグラル画像データを画像処理装置３０ａに供給する。
【００９９】
撮像用レンズアレイ２４０と拡散板２５０と撮影装置２６０−１，２６０−２，２６０−３とは、インテグラルフォトグラフィによる撮影システムを構成する。
【０１００】
画像処理装置３０ａは、撮影装置２６０−１，２６０−２，２６０−３が供給する３個の分割インテグラル画像データを取り込む。画像処理装置３０ａは、３個の分割インテグラル画像データを１８個（６個×３個）のプロジェクタ４０の配置に対応させて分割することにより、１フレーム分の領域が１８分割された１８個の要素画像データを生成する。
【０１０１】
具体的に、画像処理装置３０ａは、撮影装置２６０−１が供給する第１の分割インテグラル画像データを取り込み、この第１の分割インテグラル画像データを、プロジェクタ４１−１１，４１−２１，４１−１２，４１−２２，４１−１３，４１−２３の配置に対応させて分割することにより６個の要素画像データを生成する。また、画像処理装置３０ａは、撮影装置２６０−２が供給する第２の分割インテグラル画像データを取り込み、この第２の分割インテグラル画像データを、プロジェクタ４１−３１，４１−４１，４１−３２，４１−４２，４１−３３，４１−４３の配置に対応させて分割することにより６個の要素画像データを生成する。また、画像処理装置３０ａは、撮影装置２６０−３が供給する第３の分割インテグラル画像データを取り込み、この第３の分割インテグラル画像データを、プロジェクタ４１−５１，４１−６１，４１−５２，４１−６２，４１−５３，４１−６３の配置に対応させて分割することにより６個の要素画像データを生成する。画像処理装置３０ａが３系統の要素画像データを生成する際に実行する分割処理については、第３実施形態における分割処理と同様であるため、ここでの説明を省略する。
【０１０２】
画像処理装置３０ａは、ＣＰＵを搭載した演算処理装置、例えば、コンピュータ装置により実現される。
【０１０３】
なお、撮影装置２６０の台数は３台に限定されることなく複数であってよい。また、１フレームを分割する方向もＸ軸方向に限ることなく、Ｙ軸方向としてもよい。また、各分割領域の面積は、同一でもよいし同一でなくてもよい。これに合わせて、画像処理装置３０ａは、３個に限定されることなく複数の分割インテグラル画像データを取り込んで要素画像データセットを生成してもよい。
【０１０４】
撮影表示システム２ａにおいて、撮像用レンズアレイ２４０が有する複数の要素レンズと画素との位置関係は、１８台のプロジェクタ４１が有する１８個の投射レンズ４１３と画素との位置関係に等しい。
【０１０５】
［第５の実施の形態］
図１０は、本発明の第５実施形態である撮影装置および表示装置を適用した撮影表示システムの概略の構成を示す構成図である。同図に示すように、撮影表示システム３は、カメラアレイ１０と、画像処理装置（画像処理部）５０と、プロジェクタアレイ４０ａとを含んで構成される。撮影表示システム３において、撮影装置は、カメラアレイ１０を含む。また、表示装置は、プロジェクタアレイ４０ａを含む。
【０１０６】
プロジェクタアレイ４０ａは、第３実施形態におけるプロジェクタアレイ４０と同様の構成を有しているが、１８台のプロジェクタ４１それぞれが備える投射レンズ４１３は、カメラアレイ１０におけるカメラ１１の各撮像レンズ１１１が凸レンズであり且つ画像処理装置５０が各カメラ１１からの要素画像データを１８０度反転させる処理を実行しない場合は、前記の式（２）を満たす仕様の屈折率分布型レンズまたは凹レンズである。また、各投射レンズ４１３は、カメラ１１の各撮像レンズ１１１が凸レンズであり且つ画像処理装置５０が各カメラ１１からの要素画像データを１８０度反転させる処理を実行する場合は、凸レンズである。
【０１０７】
撮影表示システム３は、撮像用レンズアレイに代えてカメラアレイ１０、表示用レンズアレイに代えてプロジェクタアレイ４０ａを用いて構成される、インテグラルフォトグラフィによる撮影表示システムである。カメラアレイ１０が有するカメラ１１およびプロジェクタアレイ４０ａが有するプロジェクタ４１は、同数であり、相対的に同一の配列である。
【０１０８】
画像処理装置５０は、カメラアレイ１０が供給する要素画像データセットを取り込む。画像処理装置５０は、要素画像データセットが有する１８個の要素画像データを１８個（６個×３個）のカメラ１１の配置に対応付けて、自装置に内蔵する記憶部に記憶させる。この記憶部は、例えばカメラアレイ１０が撮像する少なくとも１フレーム分の画像データを記憶可能なフレームメモリである。画像処理装置５０は、記憶部に記憶された１８個の要素画像データについて、個体差を除去または低減するための補正処理を実行する。例えば、画像処理装置５０は、要素画像間の色の属性（例えば、色相、彩度、明度）の誤差、および輝度の誤差をなくすための画像処理を実行する。また、画像処理装置５０は、記憶部に記憶された１８個の要素画像データを読み出し、これら１８個の要素画像データを１８個（６個×３個）のプロジェクタ４１の配置に対応付けてプロジェクタアレイ４０ａに供給する。
【０１０９】
具体的に、画像処理装置５０は、カメラ１１−１１，１１−２１，１１−３１，１１−４１，１１−５１，１１−６１，１１−１２，１１−２２，１１−３２，１１−４２，１１−５２，１１−６２，１１−１３，１１−２３，１１−３３，１１−４３，１１−５３，１１−６３から取得した要素画像データを、プロジェクタ４１−１１，４１−２１，４１−３１，４１−４１，４１−５１，４１−６１，４１−１２，４１−２２，４１−３２，４１−４２，４１−５２，４１−６２，４１−１３，４１−２３，４１−３３，４１−４３，４１−５３，４１−６３に供給する。画像処理装置５０は、ＣＰＵを搭載した演算処理装置、例えば、コンピュータ装置により実現される。
【０１１０】
撮影表示システム３において、カメラアレイ１０における１８台のカメラ１１の配列パターンと、プロジェクタアレイ４０ａにおける１８台のプロジェクタ４１の配列パターンとは、同一である。
【０１１１】
以上により、本発明の第５実施形態における撮影表示システムは、インテグラルフォトグラフィによって高精細な空間像を得るためのインテグラル画像データを生成することができる。また、この撮影表示システムは、インテグラルフォトグラフィによって高精細な空間像を得ることができる。
【０１１２】
［第５実施形態の第１の変形例］
第５実施形態の第１変形例は、第５実施形態に対し、カメラアレイ１０が撮像用レンズアレイ越しに被写体を撮像し、プロジェクタアレイ４０ａがインテグラルフォトグラフィによる画像光を表示用レンズアレイ越しに投射する例である。
【０１１３】
図１１は、第５実施形態の第１変形例である撮影装置および表示装置を適用した撮影表示システムの概略の構成を示す構成図である。同図に示すように、撮影表示システム３ａは、撮像用レンズアレイ２４０と、カメラアレイ１０と、画像処理装置（画像処理部）５０と、プロジェクタアレイ４０ａと、表示用レンズアレイ２３０とを含んで構成される。撮影表示システム３ａにおいて、撮影装置は、撮像用レンズアレイ２４０とカメラアレイ１０を含む。また、表示装置は、プロジェクタアレイ４０ａと表示用レンズアレイ２３とを含む。
【０１１４】
撮像用レンズアレイ２４０は、カメラアレイ１０の撮影範囲をカバーするよう設けられる。撮像用レンズアレイ２４０とカメラアレイ１０とのＺ軸方向の位置関係として、カメラアレイ１０は、撮像用レンズアレイ２４０の焦平面を撮像する位置に設けられる。
【０１１５】
表示用レンズアレイ２３０は、プロジェクタアレイ４０ａの投射範囲をカバーするよう設けられる。カメラアレイ１０における各カメラ１１と撮像用レンズアレイの要素レンズとの位置関係と、プロジェクタアレイ４０ａにおける各プロジェクタ４１と表示用レンズアレイ２３０の要素レンズとの位置関係は同一である。
【０１１６】
撮影表示システム３ａとして奥行き情報の反転を防ぐため、撮像用レンズアレイ２４０の要素レンズおよび表示用レンズアレイ２３０の要素レンズは、例えば、凸レンズおよび凹レンズの組み合わせとする。
【０１１７】
カメラアレイ１０において、各カメラ１１は、当該カメラ１１の撮像領域が他のカメラ１１の撮像領域にできるだけ重複しないように配置される。
【０１１８】
本変形例では、一枚の撮像用レンズアレイ２４０を１８台のカメラ１１が撮影することによって、カメラ１台あたりが取得する光線の空間的な情報量を増加させ、１８台のプロジェクタ４１が出力した画像光を一枚の表示用レンズアレイ２３０を通して投射することによって、プロジェクタ１台あたりが再生する光線の空間的な情報量を増加させる。
【０１１９】
［第５実施形態の第２の変形例］
図１２は、第５実施形態の第２変形例である撮影装置および表示装置を適用した撮影表示システムの概略の構成を示す構成図である。同図に示すように、撮影表示システム３ｂは、撮像用レンズアレイ２４０と、拡散板２５０と、カメラアレイ１０と、画像処理装置（画像処理部）５０と、プロジェクタアレイ４０ａと、拡散板２２０と、表示用レンズアレイ２３０とを含んで構成される。撮影表示システム３ｂにおいて、撮影装置は、撮像用レンズアレイ２４０と拡散板２５０とカメラアレイ１０を含む。また、表示装置は、プロジェクタアレイ４０ａと拡散板２２０と表示用レンズアレイ２３とを含む。
【０１２０】
拡散板２５０は、撮像用レンズアレイ２４０のカメラアレイ１０側の焦平面上に設けられる。また、拡散板２２０は、表示用レンズアレイ２３０のプロジェクタアレイ４０ａ側の焦平面上に設けられる。
【０１２１】
第５実施形態の第１変形例では、カメラアレイ１０は撮像用レンズアレイ２４０から到来する光束を撮像したが、本変形例では、カメラアレイ１０は拡散板２５０に表出したインテグラル画像を撮像する。また、第５実施形態の第１変形例では、表示用レンズアレイ２３０は、プロジェクタアレイ４０ａが投射した画像光をそのまま要素レンズを通して投射させたが、本変形例では、表示用レンズアレイ２３０は、プロジェクタアレイ４０ａが拡散板２２０に表出させた画像に基づく光束を、要素レンズを通して投射させる。
【０１２２】
カメラアレイ１０における各カメラと撮像用レンズアレイの要素レンズとの位置関係と、プロジェクタアレイ４０ａにおける各プロジェクタと表示用レンズアレイ２３０の要素レンズとの位置関係は同一である。
【０１２３】
なお、カメラアレイ１０において、１８台のカメラ１１それぞれは、当該カメラ１１の撮像領域が他のカメラ１１の撮像領域にできるだけ重複しないように配置される。これにおいて、例えば、拡散板２５０のカメラアレイ１０側の表示面を、カメラアレイ１０の各カメラ１１の配置に対応させて１８個の撮影範囲ブロックに区分する。そして、カメラ１１ごとに、撮像レンズ１１１および撮像部１１２の位置のずれ量を調整したカメラアレイ１０を用いる。同様に、拡散板２２０のプロジェクタアレイ４０ａ側の表示面を、プロジェクタアレイ４０ａの各プロジェクタ４１の配置に対応させて１８個の投影範囲ブロックに区分する。そして、プロジェクタ４１ごとに、表示部４１２および投射レンズ４１３の位置のずれ量を調整したプロジェクタアレイ４０ａを用いる。
【０１２４】
このように構成することにより、撮影表示システム３ｂの表示用レンズアレイ２３０の焦平面上に再生されるインテグラル画像は、撮影表示システム３のプロジェクタアレイ４０ａの投射レンズの焦平面上に再生されるインテグラル画像よりも精細度が高い。一方、再生されるインテグラル画像の位置が前記の位置から離れるにしたがって、その精細度の違いは小さくなり、所定の距離を境に両者の精細度が逆転する。
【０１２５】
例えば、撮影表示システム３ｂにおける表示用レンズアレイ２３０のレンズピッチおよび焦点距離それぞれを１ミリメートル（ｍｍ）、プロジェクタアレイ４０ａの台数を表示用レンズアレイ２３０のレンズ個数の半分とした場合、撮影表示システム３ｂのプロジェクタアレイ４０ａの各プロジェクタ４１は、表示用レンズアレイ２３０において対応する４個の要素レンズの背面に要素画像を表示するために使われる。一方、撮影表示システム３におけるプロジェクタアレイ４０ａの配列ピッチおよび焦点距離それぞれを２（ｍｍ）とする。両者を比較すると、撮影表示システム３におけるプロジェクタアレイ４０ａの各プロジェクタの投射レンズピッチと撮影表示システム３ｂのレンズアレイ２３０のレンズピッチのみが異なり、表示するための画素ピッチおよび各レンズから再生される光線の角度は等しい。この場合、インテグラル方式による再生像の解像度は図１４に示す限界解像度特性グラフのようになる。同図において、横軸は焦平面から再生像までの距離（単位はメートル）であり、縦軸は限界解像度（単位はｃｙｃｌｅｓ  ｐｅｒ  ｄｅｇｒｅｅ；ｃｐｄ）である。また、同図において、実線の限界解像度特性グラフは撮影表示システム３ｂについてのグラフであり、破線の限界解像度特性グラフは撮影表示システム３についてのグラフである。
【０１２６】
また、カメラアレイ１０が有するカメラ１１の台数とプロジェクタアレイ４０ａが有するプロジェクタ４１の台数とが同一でない場合、カメラ１１における画素位置とプロジェクタ４１における画素位置との対応関係をあらかじめ求めておく。そして、画像処理装置５０は、その対応関係を参照テーブル化し、この参照テーブルを画像処理装置５０に記憶させておく。画像処理装置５０は、記憶された参照テーブルを参照することによって、拡散板２５０上の画素値を拡散板２２０上に再現させる。
【０１２７】
［その他の実施の形態］
上述した第１実施形態から第５実施形態、および変形例は、カメラ１１およびプロジェクタ４１を正方格子状に配列した例とした。これらの配列パターンは、正方格子配列に限定されることなく、例えば、図１３に示すデルタ配列としてもよい。同図はカメラアレイの例である。同図に示すように、撮像レンズをデルタ状に隙間なく配列したカメラアレイ１０ａにおいて、撮像レンズの直径をＤとすると、例えば、Ｘ軸方向のレンズピッチは行ごとにＤであり、隣接する行間においてはＤ／２である。また、Ｙ軸方向のレンズピッチは、（√３）×Ｄ／２である。
【０１２８】
また、第１実施形態から第５実施形態、および変形例において、撮像用レンズ１１１と投射レンズ４１３との組み合わせを以下のようにしてもよい。すなわち、撮像側または表示側いずれか一方を屈折率分布型レンズとし、他方を凸レンズとする。または、いずれか一方を凸レンズとし、他方を凹レンズとする。または、撮像側および表示側の両方を凸レンズまたは屈折率分布型レンズとし、画像処理装置において各要素画像の奥行きを反転させる画像処理を実行してもよい。
【０１２９】
また、上述した各実施形態における画像処理装置２０，２０ａ，３０，３０ａ，５０の一部の機能をコンピュータで実現するようにしてもよい。この場合、その機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録し、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませて、このコンピュータシステムが実行することによって実現してもよい。なお、このコンピュータシステムとは、オペレーティング・システム（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ；ＯＳ）や周辺装置のハードウェアを含むものである。また、コンピュータ読み取り可能な記録媒体とは、フレキシブルディスク、光磁気ディスク、光ディスク、メモリカード等の可搬型記録媒体、コンピュータシステムに備えられる磁気ハードディスクやソリッドステートドライブ等の記憶装置のことをいう。さらに、コンピュータ読み取り可能な記録媒体とは、インターネット等のコンピュータネットワーク、および電話回線や携帯電話網を介してプログラムを送信する場合の通信回線のように、短時間の間、動的にプログラムを保持するもの、さらには、その場合のサーバ装置やクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持するものを含んでもよい。また上記のプログラムは、前述した機能の一部を実現するためのものであってもよく、さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせにより実現するものであってもよい。
【０１３０】
以上、本発明の実施の形態について図面を参照して詳述したが、具体的な構成はその実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【０１３１】
１，１ａ，２，２ａ，３，３ａ，３ｂ  撮影表示システム
１０，１０ａ  カメラアレイ
１１−１１，１１−２１，１１−３１，１１−４１，１１−５１，１１−６２，１１−１２，１１−２２，１１−３２，１１−４２，１１−５２，１１−６２，１１−１３，１１−２３，１１−３３，１１−４３，１１−５３，１１−６３  カメラ
２０，２０ａ，３０，３０ａ，５０  画像処理装置（画像処理部）
４０，４０ａ  プロジェクタアレイ
４１  プロジェクタ
１１１  撮像レンズ
１１２  撮像部
１１３  出力部
１１４  位置調整部
２１０−１，２１０−２，２１０−３  投影装置
２２０  拡散板
２３０  表示用レンズアレイ
２４０  撮像用レンズアレイ
２５０  拡散板
２６０−１，２６０−２，２６０−３  撮影装置
４１１  入力部
４１２  表示部
４１３  投射レンズ
４１４  位置調整部
【図１】
2014107752.tif 000005
【図２】
2014107752.tif 000006
【図３】
2014107752.tif 000007
【図４】
2014107752.tif 000008
【図５】
2014107752.tif 000009
【図６】
2014107752.tif 000010
【図７】
2014107752.tif 000011
【図８】
2014107752.tif 000012
【図９】
2014107752.tif 000013
【図１０】
2014107752.tif 000014
【図１１】
2014107752.tif 000015
【図１２】
2014107752.tif 000016
【図１３】
2014107752.tif 000017
【図１４】
2014107752.tif 000018