"異なる複数の撮影用マイクロレンズに対応して配列された複数の撮像画素から出力された複数の画像信号に基づいて、1つの画素データが生成された画像データを入力する入力手段と、前記画像データに基づいて三次元情報を有する表示用画像データを生成する生成手段と、複数の表示画素が二次元状に配列され、前記表示用画像データに応じて前記複数の表示画素から光束を射出する表示手段と、前記複数の表示画素から射出された光束が合成されて三次元像を形成する複数のマイクロレンズが二次元状に配列されたマイクロレンズアレイとを備えることを特徴とする画像表示装置。請求項1に記載の画像表示装置において、前記複数のマイクロレンズのそれぞれは前記複数の表示画素に対応して配列され、前記生成手段は、複数のマイクロレンズに対応して配列された前記複数の表示画素から射出された光束を合成して前記三次元像の1つの画素が構成されるように前記表示用画像データを生成することを特徴とする画像表示装置。請求項2に記載の画像表示装置において、前記生成手段は、前記光束を射出する前記複数の表示画素の配列関係が前記1つの画素データに対応した前記複数の撮像画素の配列関係と等価となるように、前記表示用画像データを生成することを特徴とする画像表示装置。請求項3に記載の画像表示装置において、前記生成手段は、前記1つの画素データに対応した前記複数の撮像画素の配列関係と、前記複数の表示画素の配列関係とが、互いに点対称となるように前記表示用画像データを生成することを特徴とする画像表示装置。請求項1乃至4の何れか一項に記載の画像表示装置において、前記生成手段は、前記三次元像が前記マイクロレンズの近傍に再現され、前記三次元像の奥行き方向の倍率が前記マイクロレンズの配列面の方向の倍率よりも圧縮さるように、前記表示用画像データを生成することを特徴とする画像表示装置。請求項5に記載の画像表示装置において、前記生成手段は、前記奥行き方向の倍率が前記マイクロレンズの配列面の方向の倍率の二乗の倍数となるように、前記表示用画像データを生成することを特徴とする画像表示装置。請求項1乃至6の何れか一項に記載の画像表示装置において、前記生成手段は、前記1つの画素データに対応した前記複数の撮像画素の配列関係を、前記マイクロレンズの疑似光軸を基準として正規化して、前記表示用画像データを生成することを特徴とする画像表示装置。請求項7に記載の画像表示装置において、前記マイクロレンズのF値は、前記撮影用マイクロレンズのF値よりも大きいことを特徴とする画像表示装置。請求項1乃至8のいずれか一項に記載の画像表示装置において、前記マイクロレンズにより形成された前記三次元像を観察する観察光学系をさらに備えることを特徴とする画像表示装置。請求項9に記載の画像表示装置において、前記観察光学系は虚像レンズにより構成され、前記虚像レンズは、前記虚像レンズとその焦点距離と間に前記三次元像面が形成されるように配置されることを特徴とする画像表示装置。しかしながら、従来の表示装置では、三次元画像として撮影した画像を投射して表示するので、正立像として表示させるために屈折率分布レンズ等を用いる必要があるという問題がある。請求項1に記載の発明による画像表示装置は、異なる複数の撮影用マイクロレンズに対応して配列された複数の撮像画素から出力された複数の画像信号に基づいて、1つの画素データが生成された画像データを入力する入力手段と、画像データに基づいて三次元情報を有する表示用画像データを生成する生成手段と、複数の表示画素が二次元状に配列され、表示用画像データに応じて複数の表示画素から光束を射出する表示手段と、複数の表示画素から射出された光束が合成されて三次元像を形成する複数のマイクロレンズが二次元状に配列されたマイクロレンズアレイとを備えることを特徴とする。本発明によれば、立体形状を有する被写体の像を空中に立体像として表示できる。本実施の形態のデジタルカメラは、任意の焦点位置が設定された画像データを生成可能に構成されている。このデジタルカメラによって立体形状を有する被写体を撮影した場合には、生成される画像データは立体形状に関する情報立体情報が含まれる。本実施の形態のデジタルカメラは、このような立体情報を含む画像データに対応する画像を、三次元の立体像空中像としてユーザにより観察可能に表示させる。以下、詳細に説明する。図1は、実施の形態によるデジタルカメラの構成を示す図である。デジタルカメラ1は、撮影レンズL1を有する交換レンズ2が着脱可能に構成されている。デジタルカメラ1は、撮像ユニット100,制御回路101,A/D変換回路102,メモリ103,操作部108,メモリカードインタフェース109および表示装置110を備える。撮像ユニット100は、多数のマイクロレンズ120が二次元状に配列されたマイクロレンズアレイ12および撮像素子13を備える。なお、以下の説明においては、z軸を撮影レンズL1の光軸に平行となるように設定し、z軸と直交する平面内でx軸とy軸とが互いに直交する方向に設定されているものとする。撮影レンズL1は、複数の光学レンズ群から構成され、被写体からの光束をその焦点面近傍に結像する。なお、図1では撮影レンズL1を説明の都合上1枚のレンズで代表して表している。撮影レンズL1の背後には、光軸と垂直な面内で2次元状にマイクロレンズアレイ12と撮像素子13とが順に配置される。撮像素子13は、複数の光電変換素子を備えたCCDやCMOSイメージセンサによって構成される。撮像素子13は、撮像面上に結像されている被写体像を撮像し、制御回路101により制御されて被写体像に応じた光電変換信号画像信号をA/D変換回路102へ出力する。なお、撮像ユニット100の詳細については説明を後述する。A/D変換回路102は、撮像素子13が出力する画像信号にアナログ的な処理をしてからデジタル画像信号に変換する回路である。制御回路101は、CPUやメモリその他の周辺回路によって構成される。制御回路101は、制御プログラムに基づいて、デジタルカメラ1を構成する各部から入力される信号を用いて所定の演算を行い、デジタルカメラ1の各部に対する制御信号を送出して、撮影動作を制御する。また、制御回路101は、後述するように絞り値入力ボタンの操作に応じて操作部108から入力した操作信号に基づいて、ユーザにより選択された合成画像の絞り値を決定する。制御回路101は、画像積算部105、画像パターン生成部106および表示制御部107を機能的に備える。画像積算部105は、絞り値入力ボタンの操作に応じて決定された合成画像の絞り値に対応する合成画素所属テーブルを用いて、画像信号から合成画像データを生成する。画像パターン生成部106は、後述するように画像積算部105で生成された合成画像データから、後述する表示装置110に三次元情報を有する空中像を表示するために表示用画像データを作成する。表示制御部107は、表示装置110の駆動を制御し、画像パターン生成部106で生成された表示用画像データを表示装置110へ出力して、対応する三次元情報を有する空中像を表示装置110に表示させる。なお、画像積算部105および画像パターン生成部106については詳細を後述する。メモリ103は、A/D変換回路102によりデジタル変換された画像信号や、画像処理、画像圧縮処理および表示用画像データ作成処理の途中や処理後のデータを一時的に格納するために使用される揮発性記憶媒体である。メモリカードインタフェース109は、メモリカード109aが着脱可能なインタフェースである。メモリカードインタフェース109は、制御回路101の制御に応じて、画像データをメモリカード109aに書き込んだり、メモリカード109aに記録されている画像データを読み出すインタフェース回路である。メモリカード109aはコンパクトフラッシュ登録商標やSDカードなどの半導体メモリカードである。操作部108は、ユーザの操作を受け付けて、操作内容に応じた各種の操作信号を制御回路101へ出力する。操作部108は、絞り値入力ボタン,電源ボタン,レリーズボタン,その他の設定メニューの表示切換ボタン、設定メニュー決定ボタン等を含む。絞り値入力ボタンは合成画像の絞り値Fを入力する際にユーザにより操作される。ユーザにより絞り値入力ボタンが操作され絞り値Fが選択されると、操作部108は操作信号を制御回路101へ出力する。表示装置110は、制御回路101の命令に基づいて、再生モードにおいてメモリカード109aに記録されている画像データに基づいて制御回路101で作成された表示データの表示を行う。また、表示装置110は、デジタルカメラ1の各種動作を設定するためのメニュー画面が表示される。なお、表示装置110の詳細については、説明を後述する。次に、撮像ユニット100の構成について詳細に説明する。撮像ユニット100は、上述したようにマイクロレンズアレイ12と撮像素子13とを有する。マイクロレンズアレイ12は、二次元状に配列された複数のマイクロレンズ120により構成される。撮像素子13には、上記の各マイクロレンズ120を通過した光を受光する画素配列130が、マイクロレンズ120に対応した配置パターンで配置されている。各々の画素配列130は、二次元状に配列された複数の光電変換素子131以下、撮像画素131と呼ぶにより構成される。図2aにマイクロレンズアレイ12に配列されるマイクロレンズ120のXY平面での平面図を示す。図2aに示すように、マイクロレンズアレイ12は、XY平面上で、たとえば六角形に形成された複数のマイクロレンズ120がハニカム配列されている。なお、図2aはマイクロレンズアレイ12に設けられた複数のマイクロレンズ120のうちの一部のマイクロレンズ120を示す。図2bは、撮影レンズL1の光軸方向z軸方向における、マイクロレンズアレイ12と撮像素子13との位置関係を説明する図である。図2bに示すように、撮像素子13はマイクロレンズ120の焦点距離fだけ離れた位置に配置される。すなわち、複数の撮像画素131を有する画素配列130は、各画素配列130のそれぞれに対応するマイクロレンズ120の焦点距離fだけ離れた位置に設けられている。なお、図2bにおいては、マイクロレンズアレイ12に設けられた複数のマイクロレンズ120と、撮像素子13に設けられた複数の画素配列130および複数の撮像画素131の一部を示す。上述した構成を有する撮像素子13から出力された画像信号を用いて、画像積算部105は合成画像データを作成する。画像積算部105は、あるマイクロレンズ120に対応して設けられた画素配列130に含まれる撮像画素131のうち、所定の撮像画素131以後、基点画素132図3と呼ぶから出力される画像信号以後、基点信号と呼ぶと、基点画素132に対応するマイクロレンズ120および近傍に設けられたマイクロレンズ120に対応する画素配列130に含まれる撮像画素131から出力された画像信号とを合成する。その結果、画像積算部105は、1画素に相当する合成画像信号を生成する。画像積算部105は、各マイクロレンズ120に対応する基点画素の全てに対して上記の処理を行い、生成されたそれぞれの合成画像信号を加算して合成画像データを生成する。画像積算部105は、上述したように合成画像信号を生成する際に、合成画素所属テーブルを参照する。合成画素所属テーブルは、基点信号に合成するための画像信号を出力する撮像画素131が、どのマイクロレンズ120に対応する画素配列130のどの位置に配置されているかを示している。以下、画像積算部105が、撮像画素131から出力された画像信号を用いて合成画像信号を生成する処理について説明する。図3に各マイクロレンズ120、すなわち各画素配列130に対応して設けられる基点画素132を示す。図3では、複数のマイクロレンズ120のうちの一部のマイクロレンズ120を示し、複数の撮像画素131のうちの基点画素132を代表して示す。図3では、基点画素132はマイクロレンズ120の擬似光軸に対応して配置される。なお、本実施の形態では、擬似光軸を、撮影レンズL1の瞳から入射する光束の中心と、マイクロレンズ120の主面との交点として説明する。図3においては、マイクロレンズ120の幾何学的中心と擬似光軸とが一致している場合を示している。また、以下の説明では、基点画素132に対応するマイクロレンズ120を基点マイクロレンズ121と呼ぶこととする。-合成画像信号の生成-まず、図4aに示す被写体の像がマイクロレンズ120の頂点に結像する場合、すなわち焦点面Sがマイクロレンズ120の頂点に存在する場合の合成画像の生成原理について説明する。この場合の被写体からの光束r1~r7は、マイクロレンズ120に対応して設けられた画素配列130の撮像画素131に入射する。画像積算部105は、図4aに示す撮像画素131のうち斜線を施した撮像画素131から出力された画像信号を積算することにより、合成画像データの1画素に相当する合成画像信号を生成する。画像積算部106は、この処理を全てのマイクロレンズ120に対応する画素配列130について行うことにより、合成画像データを生成する。次に、ある焦点面結像面に結像した被写体の像について合成画像信号を生成する場合の原理を説明する。図4bに示すように、焦点面Sがマイクロレンズ120の頂点から離れた位置に存在する場合、被写体からの光束r1~r5はそれぞれ異なる複数のマイクロレンズ120に入射する。このため、画像積算部105は、合成画像信号を生成するために、基点マイクロレンズ121の近傍に配置されたマイクロレンズ120に対応して配置された撮像画素131からの画像信号をも用いる必要がある。なお、図4bでは、各光束r1~r5の主光線を代表して示している。画像積算部105は、合成画像の絞り値Fに応じて決定される積算領域に含まれる撮像画素131から出力される画像信号を全て積算することにより合成画像データにおける1画素合成画像の結像領域に相当する合成画像信号を生成する。なお、積算領域は直径をDとする円で表される。積算領域の直径Dは、絞り値入力ボタン108aの操作に応じて決定された絞り値合成画像データの絞り値Fと、マイクロレンズ120の焦点距離fとを用いて以下の式1により表される。D=f/F1図5は、積算領域Rsと撮像画素131との関係を示す。上述したように、画像積算部106は、円形領域として表された積算領域Rsに被覆される全ての撮像画素131から出力された画像信号を積算する。図5においては、積算される画像信号を出力する撮像画素131に斜線を付して示している。マイクロレンズ120は、マイクロレンズアレイ12を構成するレンズの1つなので、マイクロレンズ120の配列により許容される各マイクロレンズ120の直径よりも積算領域Rsを大きくすることはできない。したがって、合成画像データで許容される最大の絞り値Fmaxは、以下の式2で表される。なお、式2においてsは撮像画素131の一辺の大きさを示す。また、合成画像データにおける最小の絞り値Fminはマイクロレンズ120のF値となる。Fmax=f/s2画像積算部105によって、基点画素132を含む画素配列130から出力された画像信号が積算された合成画像信号、すなわち積算値は以下の式3で表される。なお、式3においては、Pは撮像画素131から出力される画像信号の出力値を示す。また、式3のiは合成画像の絞り値Fのときに積算領域Rsに被覆される撮像画素131を示し、0は基点画素132が含まれる画素配列130に対応して配置されるマイクロレンズ120であること、すなわち基点マイクロレンズ121であることを表している。3上述したように、画像積算部105は、基点マイクロレンズ121の近傍に設けられたマイクロレンズ120に対応する画素配列130に含まれる撮像画素131から出力される画像信号も用いて積算を行う。すなわち、画像積算部105は、合成画像の絞り値Fよって決まる積算領域Rsに被覆される撮像画素131の集合Fiに含まれる全ての撮像画素131であって、基点マイクロレンズ121を含む近傍のマイクロレンズ120に対応して配置された撮像画素131からの画素信号の出力値を積算する。この場合、出力値Pは以下の式4で表される。なお、式4のtは、基点マイクロレンズ121を含む近傍のマイクロレンズ120を表す。4図6は、画像積算部105によって1つの合成画像信号を生成する際に用いられた画像信号を出力した撮像画素131と、基点マイクロレンズ121および近傍に隣接するマイクロレンズ120a~120fとの関係を示す。なお、図6では、合成画像信号の生成に用いられる画像信号を出力していない撮像画素131については表示を省略している。図6に示す基点マイクロレンズ121と隣接するマイクロレンズ120a~120fに分散する各撮像画素131を集めると、図5に示す合成画像の絞り値Fにより規定される領域、すなわち積算領域Rsで被覆される複数の撮像画素131を構成することになる。画像積算部105が上述した処理を行って画像信号を積算する際には、基点信号に加える画像信号を出力する撮像画素131が何れのマイクロレンズ120に対応する画素配列130のどの位置に配置されているかが重要となる。そのため、式3、4においてiで示される撮像画素131がどのマイクロレンズ120a~120fに対応して設けられているか、すなわち撮像画素131の分散を示すテーブルが合成画素所属テーブルとして所定の格納領域に格納されている。そして、画像積算部105は合成画像信号を生成する際にこの合成画素所属テーブルを参照する。なお、合成画素所属テーブルは以下の式5で表されるものとする。t=Tdi5以下、合成画素所属テーブルの作成原理について説明する。図10は、マイクロレンズアレイ12において、光点LPから発し、撮像画素131の受光面で切り取られる光束LFの光断面LFDを示す。図10に示すように、光点LPから広がる光束LFは、その前段の撮像レンズL1によって、広がり角の制限を受ける。そのため、各マイクロレンズ120にそれぞれ入射した光束LFは、マイクロレンズ120の被覆領域の外にはみ出すことはない図10では、光断面LFDc、LFDeは一部被覆領域外にとび出しているように作図されている。これは、撮像画素131の受光面が撮像レンズL1の瞳と光学的に共役であることによっても説明できる。撮像レンズL1を介して撮影をおこなう場合、マイクロレンズ120が被覆する領域の中に撮影瞳像、つまり光の境界ができ、その外側には光束LFは入射しない。上記の点を前提として説明する。図10のマイクロレンズアレイ12で、光束LFの光断面LFDa~LFDe総称する場合にはLFDに対応する撮像画素131a~131eへの入射光量を積算すれば、光点LPからの光束LFのうち、撮影レンズL1の瞳に制限された光束LFの全輻射量が得られる。したがって、画像積算部105は、画像信号を積算する際に、光点LPのz軸方向の座標に対する、撮像画素131の受光素子面の光断面LFDを演算すればよいことになる。逆に、表示素子を設け光束LFの各光断面LFDに対応するそれぞれの表示素子から光を出射すれば、入射と同じ方向に進む光束LFは必ず存在するから、光点LPは光束LFの集積点となる。上記のように、光点LPから広がる光束LFの角度は撮影レンズL1の瞳、すなわち、撮像レンズL1のF値で決まる。なお、表示系などのように、撮像レンズL1が存在しない場合には、マイクロレンズ120のF値で開口の最大が規定される。したがって、マイクロレンズ120の被覆領域の中心部だけ使えば、開口を制限できる。図11を用いて、いくつ、あるいは、どのマイクロレンズ120といずれの光断面LFDとが対応するかについて、光点LPからの光束LFの広がりをマイクロレンズ120上に投影することにより説明する。なお、図11においては、説明の都合上、マイクロレンズ120が正方配列の場合を示す。また、図11では、光点LPから広がる光束LFは、光点LPのz軸方向の位置がマイクロレンズ120の焦点距離fの場合と、その二倍の2fの場合とについて示している。図11においては、光点LPの位置がfの場合の光束LFの広がりを破線で示し、2fの場合を一点鎖線で示す。光点LPがマイクロレンズ120の焦点距離fの位置にあると、光束LPの広がりはマイクロレンズ120で規定されているので、ひとつのマイクロレンズ120内に光束LFが入射する。以上により、ひとつの光点LPに対応するマイクロレンズ120が決まる。光点LPの位置がマイクロレンズ120の焦点距離fのときは、光束LFはそのマイクロレンズ120の直下の領域全体に円形開口の光として広がる。このため、正方領域に内接する円の内部に含まれるすべての撮像画素131からの画像信号を選択すればよい。光点LPの位置の絶対値が焦点距離fより小さい場合には、光束LFはマイクロレンズ120の直下の領域内で収束せずに広がる。しかし、入射光束LFの広がり角の制限を受けているために、光断面LFDは被覆領域にとどまる。ここで光点LPの位置が2fにある場合について説明する。図12に、この場合に関係するマイクロレンズ120を示す。図12aに示すように、関係するマイクロレンズ120は自身、すなわち基点マイクロレンズ121とそれに隣接する8個のマイクロレンズ120である。マイクロレンズ120による開口の制限を考えるとしたとき、図12aにおいて斜線で示す被覆領域のなかに光断面LFDは存在することになる。この場合、各マイクロレンズ120による光断面LFDは、図12bの斜線で示す領域となる。図12bに示すように、ひとつの基点マイクロレンズ121の被覆領域が分割され、隣接するマイクロレンズ120に配分されている。分割され配分された被覆領域部分領域を積算した場合の全領域は、ひとつのマイクロレンズ120の開口領域になる。そのため、どのような位置の光点LPでも光断面LFDの全領域の大きさは同じになるので、部分領域を積算して全領域を算出する場合には、それぞれの部分領域が所属するマイクロレンズ120が決まればよいことになる。図11において、光点LPの位置と、倍率つまり基点マイクロレンズ121に隣接するマイクロレンズ120との個数と関係について示したが、これを仮想的な開口領域に適用する。本実施の形態では、倍率で縮小したマイクロレンズ120の配列で開口領域を分割し、これで定義されたマイクロレンズ120の中の同じ位置に開口領域の断片を配するという方法をとる。開口領域に外接する正方形を倍率2で縮小し、マイクロレンズ120の配列で開口領域を分割領域分割した場合を例に説明する。図13は、上記の領域分割を基点マイクロレンズ121に展開した場合の光断面LFDを示している。同様の領域分割を倍率に応じて行うと、倍率、すなわち光点LPに対する光断面LFDのパターンが得られる。具体的には、マイクロレンズ120の径マイクロレンズの一辺の大きさをgとするとき、gm幅の格子で開口領域が分割される。倍率は、光点LPの高さ位置yとマイクロレンズの焦点距離fとの比m=yfで表すことができる。比mには負の符号も存在する。比mの符合が負の場合には、マイクロレンズ120より撮像素子13側に光点LPがあるものとする。上記の例では、光点LPはあるマイクロレンズ120のレンズ中心軸である疑似光軸上に存在するものとして説明したが、実際には偏心していても計算上問題はない。レンズ中心上しか演算できないとすると、合成画像の二次元的な分解能はマイクロレンズ120の個数と等しくなるが、通常これではまったく不十分である。その理由は、マイクロレンズ120に被覆される撮像画素131の数を100とすると、合成画像の分解能は画素数の1/100になるためである。このため、100万画素の合成画像を得るためには、1億個の撮像画素131が必要となる。そこで、偏心位置での合成を行い、マイクロレンズ120内に複数の光点LPが対応可能となるようにする。マイクロレンズ120による被覆領域とマイクロレンズ120の個数との積は、ほぼ撮像画素131の全画素数に等しくなるから、ひとつのマイクロレンズ120内で偏心した複数の点のそれぞれを基点にして合成することは、撮像画素131からの画像信号を重畳して使用することに等しい。すなわち、各偏心した光点LPからの光束LFが重畳して撮像画素131上に存在している。ただし、倍率が1倍のときには、この演算は、単なる内挿作業になって、分解能向上には実質的に寄与しない。これは、マイクロレンズ120頂点近辺に結像すれば、光学的に奥行き方向の情報が失われることを示している。図14は、基点マイクロレンズ121の疑似光軸に対して左に偏心した光点LPについての分割領域を表したものある。基点マイクロレンズ121レンズ径をgとするの中心、すなわち疑似光軸から図14の左方向へpだけ偏心して、光点LPの高さ位置が2fの場合について説明する。なお、図14においては、点O1は偏心した光点LP、点O2は疑似光軸を示す。この場合、図13に示すマイクロレンズ120を図中の右方向へpだけずらし、開口領域を分割すれば、図14に示す場合の分割領域が得られる。マイクロレンズ120を16個に分割するとすれば、レンズ中心疑似光軸の座標を0,0として、x軸y軸に対して、それぞれ-g2、-g4、0、g4、g2の位置のパターンとそれによる分割領域および、全領域の積算をおこなえば、ひとつのマイクロレンズ120に対して16点の光点群を得ることができる。-合成画素所属テーブルの作成処理-画像積算部105は、画像信号を積算する際には、合成画素所属テーブルを参照する。上述したように、この合成画素所属テーブルは、基点信号に合成するための画像信号を出力する撮像画素131が、基点マイクロレンズ121および近傍に設けられたマイクロレンズ120に対応する画素配列130のどの位置に配置されているかを特定する。画像積算部105は、合成画像の焦点位置yと合成画像の絞り値F被写界深度とが決定されると、基点信号に合成するための画像信号を出力する撮像画素131についての合成画素所属テーブルを作成する。上述したように、何れのマイクロレンズ120に対応する何れの撮像画素131からの画像信号が基点信号に積算されるかは、合成画像の焦点位置により決定される。図6aは、合成画像の焦点位置焦点面yがマイクロレンズアレイ12に対して被写体側に存在する場合を示している。また、図6bは、合成画像の焦点位置焦点面yがマイクロレンズアレイ12に対して撮像素子13側に存在する場合を示している。図6aおよび図6bに示すように、マイクロレンズ120aに対応する撮像画素131に関して、焦点面の位置に応じて基点信号に積算される画像信号を出力する撮像画素131の配置が異なっている。他のマイクロレンズ120b~120fおよび基点マイクロレンズ121についても同様に異なっている。以下、画像積算部105による合成画素所属テーブルの作成処理について詳細に説明する。合成画像の焦点面がマイクロレンズアレイ12から距離yの位置に存在する、すなわち焦点距離がyであるとする。さらに、基点マイクロレンズ121からn番目のマイクロレンズ120の擬似光軸を通過する光束は、以下の式6で示すように、基点マイクロレンズ121の擬似光軸から距離xの位置に入射する。なお、dは各マイクロレンズ120の配列ピッチを示す。x=fnd/y6撮像画素131が対応するマイクロレンズ120により結像される光束を受光することを考慮すると、合成画像の焦点位置yにおける被写体からの光のうち撮像素子13の撮像面において各マイクロレンズ120により照射される光の幅lは、以下の式7により表される。l=fd/y7上記の光の幅lは、撮像素子13の二次元平面上においては、幅lの輪状の領域以後、輪帯と呼ぶで表わされる。したがって、基点マイクロレンズ121からn番目の位置に配置されたマイクロレンズ120において、合成画像の絞り値Fにより規定された光束はこの輪帯lで示される領域内に入射する。式7に示すように、合成画像の焦点位置yが大きくなるほど輪帯lの幅は小さくなる。本実施の形態においては、それぞれのマイクロレンズ120のxy平面における形状は図3に示すように六角形であり、マイクロレンズアレイ12上にハニカム配列されている。図7に、ある合成画像の絞り値Fに対応する積算領域Rsのうち、n=1の場合の輪帯l1およびn=2の場合の輪帯l2を示す。図7に示すように、n=1の場合の輪帯l1は基点マイクロレンズ121およびマイクロレンズ120a~120fにより区分されそれぞれ部分領域Rpa~Rpgを形成する。すなわち、各部分領域Rpa~Rpgはそれぞれ異なるマイクロレンズ120により被覆されている。したがって、画像積算部105は、輪帯l1の各部分領域Rpa~Rpgに含まれる撮像画素131からの画像信号の出力値Pisを算出する。そして、画像積算部105は、同様にして、積算領域Rs、すなわちすべての輪帯lについて積算すればよいことになる。基点マイクロレンズ121および各マイクロレンズ120a~120fに関して、隣接するマイクロレンズ120との関係は基本的に同様である。したがって、画像積算部105は、輪帯l1を構成している部分領域Rpa~Rpgのそれぞれに含まれる各撮像画素131について、ある撮像画素131がいずれの部分領域Rpに属するかを決定する。基点画素132に対して、積算される画像信号を出力する撮像画素131が含まれる積算領域Rsの径をD=f/Fとする。また、各マイクロレンズ120のx軸方向水平方向の配列ピッチd、換言すると六角形形状の各マイクロレンズ120のそれぞれに内接する円の径を、積算領域Rsの径の最大値Dmaxに等しいものとする。さらに、合成画像の焦点位置焦点距離をマイクロレンズ120の仮想屈曲面を基準としてyとする。この場合に、マイクロレンズアレイ12における各マイクロレンズ120の配列ピッチdを投射倍率であるf/y倍して積算領域Rs上に投影した領域は、各マイクロレンズ120によって輪帯lが分割された部分領域Rpのそれぞれに相当することになる。したがって、画像積算部105は、部分領域Rpに含まれる撮像画素131の位置と、部分領域Rpに対応するマイクロレンズ120とを対応付けして、基点画素132の合成画素所属テーブルとして上記の式5を作成する。なお、部分領域Rpに対応するマイクロレンズ120の位置は、基点マイクロレンズ121の位置を基準とした相対位置として特定される。上述のような合成画素所属テーブルを参照して生成された合成画像データは、異なる焦点位置、すなわち立体形状を有する被写体の立体情報を含むことになる。本実施の形態のデジタルカメラ1は、上記のようにして生成された立体情報を有する合成画像データに基づいて、三次元情報を有する二次元の表示用画像データを生成して、三次元画像の表示が可能に構成された表示装置100に表示用画像データに対応する表示用画像を表示させる。そして、ユーザは表示装置100を介して三次元の表示用画像を空中像として観察する。図8を参照して、上述のようにして生成された三次元情報を含む表示用画像を表示するための表示装置110について説明する。図8はz軸方向における表示装置110の構成を模式的に示す図である。図8aに示すように、表示装置110は、表示器111と、表示用マイクロレンズアレイ112と、虚像レンズ113とを備える。表示器111は、たとえばバックライトを有する液晶表示器や有機EL表示器等により構成され、二次元状に配列された複数の表示画素配列114を有する。これら複数の表示画素配列114のそれぞれは、二次元状に配列された複数の表示画素115を有する。表示画素115は、上述した表示制御部107により制御されて、後述するように表示用画像データに対応して発光する。表示用マイクロレンズアレイ112は、二次元状に配列された複数の表示用マイクロレンズ116により構成される。表示用マイクロレンズアレイ112は、z軸方向ユーザ観察者側に、表示用マイクロレンズ116の焦点距離f’だけ表示画素115から離れた位置に配置される。また、各表示用マイクロレンズ116は、複数の表示画素配列114に対応した配置パターンで配置されている。各表示用マイクロレンズ116は、画像データに応じて表示画素115から射出される光をz軸方向のユーザ観察者側の所定の像面に結像する。虚像レンズ113は、たとえば大口径のフレネルレンズや回折等を利用した平面レンズにより構成され、xy平面上で表示器111の全面を覆う大きさを有する。虚像レンズ113は、ユーザが虚像レンズ113を観察することにより表示器111に表示される画像を虚像として観察可能となる位置に配置される。すなわち、虚像レンズ113は、z軸方向において、上述した表示用マイクロレンズ116による像面Qが、虚像レンズ113の焦点位置Pよりも内側となる位置に配置される。換言すると、像面Qが虚像レンズ113から虚像レンズ113の焦点位置Pまでの間に位置するように、虚像レンズ113が配置される。図8bに示すように、上述した表示装置110のz軸方向における表示用マイクロレンズアレイ112と表示画素115との位置関係は、図4に示す撮像ユニット100のz軸方向におけるマイクロレンズアレイ12と撮像画素131との位置関係と等価と見なすことができる。図4bに示すように、ある焦点位置Sからの被写体光が複数の撮像画素131へ入射した場合、画像パターン生成部106は、図6aに示す撮像画素131の入射光の配列パターンと同様の配列パターンで表示画素115が発光するように表示用画像データを生成する。この場合、図8bに示すように、表示画素115からの光束r1~r5は表示用マイクロレンズ116を介して焦点位置S’に像を結ぶ。合成画像データの各画素のそれぞれに関して、式5で表されるマイクロレンズ120と撮像画素131との対応関係が表示用マイクロレンズ116と表示画素115とによって再現されると、表示器111から射出した光は合成画像データの各画素で異なる焦点位置Sに対応した焦点位置S’に像を結ぶ。その結果、合成画像データの立体情報に対応する三次元情報を有する表示用画像が立体形状を有する空中像として形成されることになる。この場合、空中像では、被写体の実際の奥行き方向の距離が、その距離感を保ったまま表示用画像で縮小して再現されることになる。すなわち、空中像では被写体の実際の距離の逆数が圧縮されることになる。なお、図8bにおいても、表示画素115からの光束r1~r5の主光線を示している。画像パターン生成部106は、各撮像画素131から出力された画像信号を用いて、上述のような表示用画像に対応する表示用画像データを生成する。このとき、画像パターン生成部106は、合成画素所属テーブルに基づいて、ある撮像画素131から出力された画像信号に対応した強度で発光させる表示画素115を決定する。換言すると、画像パターン生成部106は、各撮像画素131から出力された画像信号を、撮像画素131の配置位置に対応して配置された表示画素115に割り当てる。但し、表示画素115からの光の進行方向は撮影時とは逆であるしたがって、合成画素所属テーブルに記録されたマイクロレンズ120と撮像画素131との位置関係をそのまま表示用画像データを生成する際の位置関係に用いると、観察される空中像の遠近が逆転することになる。このため、画像パターン生成部106は、合成画素所属テーブルに記録された撮像画素131を、基点マイクロレンズ121を中心として点対称とした位置、すなわち等価な位置に表示画素115を割り当てる。この結果、撮影時の像面が空中像として観察される。まず、画像パターン生成部106は、複数の表示用マイクロレンズ116のうちの1つの表示用マイクロレンズ116に対応する撮像ユニット100の基点マイクロレンズ121を検出する。なお、表示用マイクロレンズ116と基点マイクロレンズ121との対応関係を示すデータは、予め所定の記録領域に格納されているものとする。そして、画像パターン生成部106は、検出した基点マイクロレンズ121の合成画素所属テーブルを参照して、合成画像信号を形成する画像信号を出力した撮像画素131と、その撮像画素131の撮像素子13上での位置とを検出する。撮像画素131とその位置とを検出すると、画像パターン生成部106は、検出した位置に基づいて、撮像画素131からの画像信号を割り当てる表示画素115が表示用マイクロレンズ116に対してどの位置に配置されているかを検出する。そして、画像パターン生成部106は、検出された表示画素115に撮像画素131から出力された画像信号を割り当てる。すなわち、画像パターン生成部106は、図9aに示す撮像画素131aからの画像信号に対応して発光するべき表示画素115として、図9bに示す表示画素115aを割り当てる。マイクロレンズ120および撮像画素131の間の配列と、表示用マイクロレンズ116および表示画素115の間の配列とが等価と見なせない場合には、画像パターン生成部106は、表示用マイクロレンズ116の擬似光軸からの相対位置に正規化した位置に配置された表示画素115に画像信号を割り当てる。その結果、複数の表示画素115から射出された光束r1~r5に基づいて、表示用画像データの1つの画素データを構成することになる。なお、上述したように表示装置110は虚像表示を行う。このため、画像パターン生成部106は、合成画像データに対して上下方向y軸方向に反転するように表示用画像データを生成する。すなわち、画像パターン生成部106は、撮像画素131からの画像信号を表示用マイクロレンズ116の擬似光軸を基準として上下方向y軸方向に対称な位置に配置された表示画素115に割り当てる。たとえば、画像パターン生成部106は、図9aに示す撮像画素131bから出力された画像信号を、図9bに示す表示画素115に割り当てる。画像パターン生成部106は、以上の処理を全ての表示用マイクロレンズ116に対して行う。もし、同一の表示画素115に複数の撮像素子131から出力された画像信号を割り当てる場合には、画像パターン生成部106は、複数の画像信号を重畳加算する。その結果、画像パターン生成部106は表示用画像データを生成する。画像パターン生成部106は生成した表示用画像データを表示制御部107を介して表示装置110へ出力する。この表示用画像データに基づいて各表示画素115が発光すると、表示用マイクロレンズ116によって三次元情報に応じてレリーフのようになった三次元像面が形成される。この三次元像面は、虚像レンズ113によって所定の大きさに投影されることにより、ユーザによって三次元の空中画として観察される。換言すると、表示器111と表示用マイクロレンズ116により形成される三次元像面は、撮影レンズL1で立体の被写体を撮影した場合の結像面と光学的に等価となる。そのため、予定像面近傍に結像した立体の被写体の像が虚像レンズ113によって三次元空中像として復元することになる。その結果、ユーザは三次元空中像として立体的に表示装置110によって観察することができる。以上で説明した実施の形態によるデジタルカメラ1によれば、以下の作用効果が得られる。1画像積算部105は、撮像素子13から出力された画像信号を用いて複数の焦点位置に関する情報を有する合成画像データを生成し、画像パターン生成部106は、合成画像データに基づいて三次元情報を有する表示用画像データを生成する。表示器111は、複数の表示画素115が二次元状に配列され、複数の表示画素115は表示用画像データに応じて複数の表示画素から光束を射出する。そして、表示用マイクロレンズアレイ112には、複数の表示画素115から射出された光束が合成されて三次元像を形成する複数の表示用マイクロレンズ116が二次元状に配列され、虚像レンズ113は表示用マイクロレンズ116により形成された三次元像を観察可能に構成する。その結果、ステレオ型やレンチキュラー方式のように右眼と左目との視差による錯覚を利用した立体表示を行うことなく、ユーザは立体形状を有する被写体の像を画面上に三次元の空中像として観察することができる。したがって、錯覚に基づくものではなく、実際に三次元に再現された空中像を観察するので、従来の立体画像の表示で問題となっていた立体酔いや小児の視覚形成機能の阻害等の生理的な悪影響を防ぐことができる。さらに、専用のメガネ等を用いることなく観察できるので、長時間の観察が可能になる。また、ホログラム方式を用いる場合には、表示の冗長度が1000:1以上あるので、たとえば10万画素の解像度を有する立体像を再現するためには、表示器は10億画素以上の画素を有する必要がある。これに対して、本実施の形態の表示装置110では、画像の解像度に対する冗長度が100~1000倍程度の画素数で三次元の空中像を表示できる。さらに、三次元画像として撮影した画像を投射して表示する際に、正立像として表示させるための屈折率分布レンズ等の構成を用いることなく、簡易な構成で三次元の空中像を再現できる。2複数の表示用マイクロレンズ116のそれぞれは複数の表示画素115に対応して配列されるようにし、画像パターン生成部106は、三次元像の1つの画素が複数の表示用マイクロレンズ116に対応して配列された複数の表示画素115から射出された光束で形成されるように表示用画像データを生成するようにした。換言すると、画像パターン成部106は、光束を射出する複数の表示画素115の配列関係が、合成画像データの1つの画素データに対応した複数の撮像画素131の配列関係と等価となるように、表示用画像データを生成する。その結果、各撮像画素131から出力された画像信号を、対応する表示画素115に割り当てることによって、三次元情報を有する表示用画像データを用意に生成することができる。3虚像レンズ113は、虚像レンズ113とその焦点距離と間に表示用マイクロレンズ116によって三次元像面が形成されるように配置するようにした。したがって、画像パターン生成部106により生成された二次元の表示画像用データを、簡易な構成で三次元の空中像として観察することができる。以上で説明した実施の形態のデジタルカメラ1を、以下のように変形できる。1画像積算部105により生成された合成画像データに基づいて、画像パターン生成部106が生成した表示用画像データを表示装置110に表示させるものに代えて、デジタルカメラ1とは異なる外部の表示装置たとえばパーソナルコンピュータ、テレビ等が備えるモニタに表示させてもよい。この場合、外部の表示装置は、デジタルカメラ1で生成され、メモリカード109aに記録された合成画像データを読み込む。そして、表示装置は、読み込んだ合成画像データを用いて、画像パターン生成部105と同様の処理を行って表示用画像データを生成し、モニタに出力する。この場合、表示装置が備えるモニタも、実施の形態の表示装置110と同様に、三次元空中像が観察可能に構成されている必要がある。すなわち、図8に示すように、複数の表示画素が二次元状に配置された表示器と、表示画素からの光束を結像するためのマイクロレンズが二次元状に複数配列されたマイクロレンズアレイと、マイクロレンズにより結像された三次元像を虚像としてユーザが観察するための虚像レンズとを備えていればよい。また、表示装置がデジタルカメラ1から多視点画像ファイルを読み込む際には、たとえばLANケーブルや無線通信等のインタフェースを用いるものでもよい。2上述したデジタルカメラ1や外部の表示装置が有する表示器が、虚像レンズ113を備えていなくてもよい。この場合も、表示用画像データの生成については、実施の形態と同様にして行う。ただし、画像パターン生成部106は、合成画像データに対して上下方向y軸方向に反転するように表示用画像データを生成する処理は行わない。このとき表示された像面は、厳密な意味での三次元像の再現ではない。撮影されたときと同じく焦点付近に撮影レンズ1で圧縮された像面の再現である。距離と焦点距離の逆数に関して線形な関係を持っているから、距離が遠ざかれば、立体はほとんど再現されなくなり、逆に近いものは同じ奥行きでも大きく表現されることになる。実際の被写体よりも近い位置に事物を立体で表現するとき、眼が光学装置でありそれがある像面で展開されることを考えると、表現される事物は実際よりも奥行きが圧縮されるはずである。したがって、表示装置110は、この考えに基づき図15で示すように一点鎖線で示す像面PL1を表現するにあたり、レンズアレイ近傍に、破線で示すように像面PL1を圧縮した像面PL2で表す。像面PL1が実際の位置とは異なるところに現れるときには、それに応じて奥行きは調整されてもかまわない。表示画面は一般に撮影をおこなったデジタルカメラ1の撮像素子131の撮像面積よりも大きい。たとえばデジタルカメラ1の撮像素子サイズをいわゆるフルサイズとすると、その大きさは35×24mmで、通常の20インチサイズ40.6×30.5のテレビのモニタの110に満たない.便宜上10倍としても、後述するように被写体の撮影倍率が12050mmレンズで1mの位置として、そのまま撮像すると、倍率は12になる。三次元画像では、二次元表示とは違って10倍の大きさの被写体を10倍の距離に表示するのと、等倍かつ等距離で表示するのと、110倍で110の距離に表示するのとでは、表示内容が大きく異なる。後者のほうが相対的に奥行きが大きくなり、立体感が強まる。次に表示の奥行きについて述べることにする。表示装置110に装備した表示用マイクロレンズアレイ112によって奥行き方向の高さを圧縮する。入力部材であるデジタルカメラ1の撮像素子13のサイズと表示器111のサイズとの比率をkとする。以下、撮影倍率被写体の大きさと被写体像の大きさの比がk倍を超える場合と、k倍以下の場合とに分けて説明する。撮影倍率をnとする。撮影倍率がk倍を超えるとき、すなわち、被写体がデジタルカメラ1から一定以上はなれた位置にあるとき、被写体は1n倍の大きさで撮像素子13によって二次元的に取得され、表示器111上にkn倍の大きさで表示されることになる。nkであるから、被写体は実際よりも小さく、つまり表示器111の表示面よりも向うに被写体があるとみなされるように表示されることになる。本発明の表示装置110では、表示用マイクロレンズアレイ112面の近傍に立体像が表示される。この表示面までの距離をdとし、撮影時の被写体までの距離をyとすると、奥行き方向の倍率は以下の式8により表される。8表示される像はkn倍であるので、換言すると2倍ということもできる。撮影倍率50倍、表示器111の大きさを撮像素子13の10倍とすると、奥行き方向の倍率は25倍であり、奥行き方向に20cmの物体はデジタルカメラ1上では80μm、表示器111上では8mmの像面高さとなる。表示用マイクロレンズアレイ112のF値と、デジタルカメラ1での撮影時のマイクロレンズアレイ12のF値が等しい場合には、表示器111のサイズが10倍となる。このため、表示器111では800μm程度の像面高さしか得られない。そこで表示用マイクロレンズ116のF値を大きくして整合性をとる。しかし、デジタルカメラ1のマイクロレンズ120のF値が4のときに表示用マイクロレンズ116のF値を40にするのは非現実的である。したがって、表示用マイクロレンズ116を、たとえばF=8、16程度の値となるようにする。この結果、空中像の奥行きの距離が多少減殺されるものの、立体感自体はそこなわれることなく得られる。これは、人間の知覚における立体感は相対的かつ、定性的なものであるからである。表示用マイクロレンズ116のF値の増加が、空中像の奥行きの増大につながることの説明をする。図16の焦点位置と表示用画素115の面との関係に示すように、光像の高さをy、表示用マイクロレンズ116の中心疑似光軸からの距離座標をx、表示用マイクロレンズ116の間隔をd、その焦点距離をfとすると、以下の式9で示す関係が成立する。y/nd=f/x9なお、nは整数で隣接を表し、n=1で隣の表示用マイクロレンズ116、n=2でさらに隣の表示用マイクロレンズ116を表すものとする。上記の式9は、デジタルカメラ1にも、表示装置110にも等しく有効である。式9に示す関係により、表示器111によって再現される空中像の光像の高さyは、表示用マイクロレンズ116の焦点距離fに比例する。撮像素子13のサイズに対する表示器111のサイズが10倍の比率になっている場合では、焦点距離fも10倍になる。このため、F値が等しければ10倍の表示器111のサイズで10倍の大きさの空中像が10倍の高さyに表現されることになる。これより、さらに高さyを強調するためには表示用マイクロレンズ116の焦点距離を20倍、30倍等にする、つまり表示用マイクロレンズ116のF値を2倍、3倍にすればよい。ここで、倍率がnk>1のときについて説明する。近いところに被写体がある場合の立体感は、遠いところとは多少異なる。近いところで倍率の小さいもの、つまり近接撮影においては、観察者は映像が等倍であることを望まない。たとえば、蜜蜂の近接撮影像を考えると、観察者は、蜜蜂が実際の大きさで表示器111、あるいは空中に立体で表示されることを期待していない。蜜蜂が空中像として表示される際、鳩ほどの大きさで、かつ多少離れたところにあることが、画像として自然である。その理由は、等倍で表示された場合、小さく表示された蜂は、観察者にはアブか蜂か判別がつかないからである。さらには、こうした事物が常に拡大された映像で提供されてきたことにもよる。たとえば、等倍でデジタルカメラ1によって、50mmの撮影レンズL1で被写体が撮影されたとすると、像面での奥行きは、等倍であるからそのまま保存される。この等倍で保存された被写体を、上記した10倍の大きさの表示器111に出力すると、500mmの位置に20cmの大きさの蜂が表示される。表示器111の観察位置が、1mであれば、観察者には奥行きが4倍で感知されることになるので、立体感が誇張されることになる。以上のように立体感は、撮影された画像もしくは表示される画像の倍率によってかなり変化する。しかし、上述のように、人間の持つ奥行き感は曖昧であり、絶対値ではなく対象の奥行きに関する順序性が、立体感を決める基準となっている。本発明では、奥行きの量の絶対値は、撮影倍率により変化するが相対的な関係は完全に保持されるために、観察者に対して明確な立体感を提供することができる。また、完全に立体像を提供し、視差によって立体感を得るステレオ方式とは根本的に異なるために、人の視覚へ負荷が小さく、いわゆる立体酔いなどの現象は惹起されない。また、本発明の特徴を損なわない限り、本発明は上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。説明に用いた実施の形態および変形例は、それぞれを適宜組合わせて構成しても構わない。"