"結像光学系の焦点面近傍に二次元状に配置された複数の正レンズと、前記複数の正レンズの各々の後側に配置され、二次元状に配列された光電変換機能を有する複数の画素からなる撮像素子とを備え、前記画素毎に前記結像光学系の射出瞳の異なる領域からの光束を受光する撮像装置に適用される画像合成方法であって、前記撮像素子の画素出力に基づき、前記結像光学系の任意の像面における像の画像データを合成することを特徴とする画像合成方法。請求項1に記載の画像合成方法において、前記合成は、前記任意の像面の位置に応じて異なる合成方法で、前記像の画像データを合成することを特徴とする画像合成方法。請求項2に記載の画像合成方法において、前記合成は、前記画素出力と、前記任意の像面の位置に応じて決まる重み付け係数とを加重加算して前記像の画像データを合成することを特徴とする画像合成方法。請求項2又は請求項3に記載の画像合成方法において、前記合成は、任意の絞り値に応じた重み付け係数を用いて、前記絞り値に応じた前記像の画像データを合成することを特徴とする画像合成方法。請求項1~請求項4の何れか一項に記載の画像合成方法において、前記複数の画素は、互いに異なる分光感度特性を有する複数種類の画素をモザイク状に配置してなり、前記合成は、前記複数種類の画素のうち最も配置密度の高い第1色成分の画素出力に基づいて前記任意の像面に関する第1色成分の画像データを合成するとともに、第2色成分の画素出力に基づいて前記任意の像面に関する第2色成分の画像データを合成し、合成された前記画像データの同じ位置における第1色成分に関する値と第2色成分との差を求め、この差に基づいて画像データを合成することを特徴とする画像合成方法。請求項2に記載の画像合成方法において、前記画素出力に基づいて、前記正レンズ毎に前記任意の像面の位置に応じた拡大率の個別画像データを作成し、隣接する前記正レンズに関する前記個別画像データどうしを所定量ずつずらして重ね合わせるとともに、対応する位置の個別画像データに関しては所定の重みで加重加算して前記画像データを作成することを特徴とする画像合成方法。結像光学系の焦点面近傍に二次元状に配置された複数の正レンズと、前記複数の正レンズの各々の後側に配置され、二次元状に配列された光電変換機能を有する複数の画素からなる撮像素子とを備え、前記画素毎に前記結像光学系の射出瞳の異なる領域からの光束を受光することを特徴とする撮像装置。請求項7に記載の撮像装置において、前記結像光学系の任意の像面を指定像面として指定する像面位置指定手段と、前記撮像素子の画素出力に基づき、前記結像光学系の前記指定像面における像の画像データを合成する合成手段とを備えたことを特徴とする撮像装置。請求項8に記載の撮像装置において、前記合成手段は、前記指定像面の位置に応じて異なる合成方法で、前記像の画像データを合成することを特徴とする撮像装置。請求項9に記載の撮像装置において、前記合成手段は、前記画素出力と、前記指定像面の位置に応じて決まる重み付け係数とを加重加算して前記像の画像データを合成することを特徴とする撮像装置。請求項9又は請求項10に記載の撮像装置において、前記合成手段は、要求される任意の絞り値に応じた重み付け係数を用いて、前記絞り値に応じた前記指定像面の像の画像データを合成することを特徴とする撮像装置。請求項7~請求項11の何れか一項に記載の撮像装置において、前記複数の画素は、互いに異なる分光感度特性を有する複数種類の画素をモザイク状に配置してなり、前記合成手段は、前記複数種類の画素のうち最も配置密度の高い第1色成分の画素出力に基づいて前記指定像面に関する第1色成分の画像データを合成するとともに、第2色成分の画素出力に基づいて前記指定像面に関する第2色成分の画像データを合成し、合成された前記画像データの同じ位置における第1色成分に関する値と第2色成分との差を求め、この差に基づいて画像データを合成することを特徴とする撮像装置。請求項7~請求項12の何れか一項に記載の撮像装置において、前記合成手段は、要求される分解能に応じて間引き処理又は補間処理を行うことを特徴とする撮像装置。請求項13に記載の撮像装置において、前記合成手段は、前記指定像面の位置が前記撮像素子の共役面近傍であるときの前記補間処理に、前記指定像面と前記撮像素子との間の結像関係を反映することを特徴とする撮像装置。請求項7~請求項15の何れか一項に記載の撮像装置において、前記正レンズの後側に設けられた画素配列を構成する画素は、光電変換素子と、その上に設けられたマイクロレンズとからなることを特徴とする撮像装置。請求項15に記載の撮像装置において、前記マイクロレンズの光軸は、前記正レンズの光軸に対する前記マイクロレンズの光軸の位置に応じて偏移していることを特徴とする撮像装置。しかし、カメラの被写界中の物体は静止しているとは限らず、同一被写界の任意の距離にピントの合った画像を得ることができるのは、或る限られた撮影条件の下のみである。そこで本発明は、1回の撮影で得られたデータから撮影後に任意の距離の面、又は任意の距離の物体にピントの合った画像を合成することのできる画像合成方法を提供することを目的とする。また、本発明は、この画像合成方法を実現するために好適な撮像装置を提供することを目的とする。本発明の画像合成方法は、結像光学系の焦点面近傍に二次元状に配置された複数の正レンズと、前記複数の正レンズの各々の後側に配置され、二次元状に配列された光電変換機能を有する複数の画素からなる撮像素子とを備え、前記画素毎に前記結像光学系の射出瞳の異なる領域からの光束を受光する撮像装置に適用される画像合成方法であって、前記撮像素子の画素出力に基づき、前記結像光学系の任意の像面における像の画像データを合成することを特徴とする。なお、前記合成は、前記任意の像面の位置に応じて異なる合成方法で、前記像の画像データを合成するものであってもよい。また、前記合成は、前記画素出力と、前記任意の像面の位置に応じて決まる重み付け係数とを加重加算して前記像の画像データを合成するものであってもよい。また、前記合成は、任意の絞り値に応じた重み付け係数を用いて、前記絞り値に応じた前記像の画像データを合成するものであってもよい。また、前記複数の画素は、互いに異なる分光感度特性を有する複数種類の画素をモザイク状に配置してなり、前記合成は、前記複数種類の画素のうち最も配置密度の高い第1色成分の画素出力に基づいて前記任意の像面に関する第1色成分の画像データを合成するとともに、第2色成分の画素出力に基づいて前記任意の像面に関する第2色成分の画像データを合成し、合成された前記画像データの同じ位置における第1色成分に関する値と第2色成分との差を求め、この差に基づいて画像データを合成するものであってもよい。また、本発明の画像合成方法においては、前記画素出力に基づいて、前記正レンズ毎に前記任意の像面の位置に応じた拡大率の個別画像データを作成し、隣接する前記正レンズに関する前記個別画像データどうしを所定量ずつずらして重ね合わせるとともに、対応する位置の個別画像データに関しては所定の重みで加重加算して前記画像データを作成してもよい。また、本発明の撮像装置は、結像光学系の焦点面近傍に二次元状に配置された複数の正レンズと、前記複数の正レンズの各々の後側に配置され、二次元状に配列された光電変換機能を有する複数の画素からなる撮像素子とを備え、前記画素毎に前記結像光学系の射出瞳の異なる領域からの光束を受光することを特徴とする。なお、本発明の撮像装置においては、前記結像光学系の任意の像面を指定像面として指定する像面位置指定手段と、前記撮像素子の画素出力に基づき、前記結像光学系の前記指定像面における像の画像データを合成する合成手段とが備えられてもよい。また、前記合成手段は、前記指定像面の位置に応じて異なる合成方法で、前記像の画像データを合成するものであってもよい。また、前記合成手段は、前記画素出力と、前記指定像面の位置に応じて決まる重み付け係数とを加重加算して前記像の画像データを合成するものであってもよい。また、前記合成手段は、要求される任意の絞り値に応じた重み付け係数を用いて、前記絞り値に応じた前記指定像面の像の画像データを合成するものであってもよい。また、本発明の何れかの撮像装置において、前記複数の画素は、互いに異なる分光感度特性を有する複数種類の画素をモザイク状に配置してなり、前記合成手段は、前記複数種類の画素のうち最も配置密度の高い第1色成分の画素出力に基づいて前記指定像面に関する第1色成分の画像データを合成するとともに、第2色成分の画素出力に基づいて前記指定像面に関する第2色成分の画像データを合成し、合成された前記画像データの同じ位置における第1色成分に関する値と第2色成分との差を求め、この差に基づいて画像データを合成するものであってもよい。また、前記合成手段は、要求される分解能に応じて間引き処理又は補間処理を行うものであってもよい。また、前記合成手段は、前記指定像面の位置が前記撮像素子の共役面近傍であるときの前記補間処理に、前記指定像面と前記撮像素子との間の結像関係を反映するものであってもよい。また、前記正レンズの後側に設けられた画素配列を構成する画素は、光電変換素子と、その上に設けられたマイクロレンズとからなってもよい。また、前記マイクロレンズの光軸は、前記正レンズの光軸に対する前記マイクロレンズの光軸の位置に応じて偏移していてもよい。本発明によれば、1回の撮影で得られたデータから撮影後に任意の距離にピントの合った画像を合成することのできる画像合成方法が実現する。また、本発明によれば、この画像合成方法を実現するために好適な撮像装置が実現する。[第1実施形態]以下、第1実施形態を説明する。本実施形態は、撮像装置及びそれを用いた画像合成方法の実施形態である。先ず、本撮像装置の構成を説明する。図1は、本撮像装置の構成図である。図1に示すように、本撮像装置には、撮影レンズ結像光学系に対応11、マイクロレンズアレイ複数の正レンズに対応12、撮像素子13、駆動回路14、演算処理回路合成手段に対応15、メモリ16、制御回路17、ユーザインタフェース18などが備えられる。撮影レンズ11は、被写界からの光束をその焦点面近傍に結像する。その焦点面近傍に、マイクロレンズアレイ12と撮像素子13とが順に配置される。なお、図1では、マイクロレンズアレイ12と撮像素子13との間隔が広く描かれているが、実際は狭い。撮影レンズ11の焦点面近傍に入射した結像光束は、撮像素子13において電気信号に変換される。この撮像素子13は駆動回路14によって駆動され、撮像素子13からの出力信号は、この駆動回路14を介して演算処理回路15に取り込まれる。演算処理回路15は、その出力信号に基づき被写界の画像データを合成する。合成された画像データは、メモリ16に格納される。また、以上の駆動回路14、演算処理回路15、メモリ16は、制御回路17によって制御される。制御回路17は、ユーザインタフェース18を介してユーザから入力された指示に従ってその制御を行う。ユーザは、ユーザインタフェース18を介して本撮像装置に対し撮影のタイミングを指定することができる。本実施形態では、どの被写体位置距離にピントの合った画像を合成するのか、また、どの絞り値に対応した画像を合成するのかを、撮影後にユーザが指定することができる勿論、撮影前や撮影中に指定してもよい。以下、指定された被写体位置を指定像面と称し、指定された絞り値を指定絞り値と称す。次に、本撮像装置の光学系部分を簡単に説明する。マイクロレンズアレイ12は、正のパワーを有した複数のマイクロレンズMLを二次元状に並べてなる。図1では、マイクロレンズMLの縦方向の数及び横方向の数配置密度は、それぞれ5個となっているが、これらの数は、本撮像装置の画像データに必要な分解能に応じて適宜設定される。撮像素子13は、各マイクロレンズMLを通過した光を受光する画素配列130を、マイクロレンズMLに対応した配置パターンで配置してなる。ここで、画素配列130は、光電変換素子受光部の開口がそのまま画素を形成する場合は勿論、各光電変換素子上に集光用マイクロレンズを設け、このマイクロレンズの開口が画素を形成する場合がある。これ以降は、光電変換素子を画素と表現し、マイクロレンズMLを通過した光を受光する複数の光電変換素子を画素配列と呼ぶことにする。個々の画素配列130の縦方向の画素数及び横方向の画素数はそれぞれ3個以上である。図1では、画素配列130の縦方向の画素数及び横方向の画素数画素密度は、それぞれ5個となっているが、これらの数は、本撮像装置のユーザが指定可能な像面撮影距離の必要数に応じて適宜設定される例えば、7×7=49個でもよい。ここで、これらの画素配列130は、個々のマイクロレンズMLを個別に透過した部分光束を個別に受ける必要がある。つまり、互いに隣接する画素配列130の間のクロストークは抑えられる必要がある。そこで、マイクロレンズアレイ12と撮像素子13との間には、図2に示すような仕切部材22が設けられることが望ましい。或いは、仕切部材22の代わりに、撮影レンズ11の後側に、図3に示すように、適当な大きさの円形開口を有した絞り部材11Aが配置されてもよい。本撮像装置においては、この絞り部材11Aの開口のサイズは、可変である必要は無い。なぜなら、本撮像装置の撮影レンズ11の絞り値の変更は、演算処理回路15における演算によって行われるからである。なお、以下の説明では、これら仕切部材22や絞り部材11Aについては言及せず、図示も省略する。次に、本撮像装置の光学系部分を詳細に説明する。図4は、本撮像装置の光学系部分を光軸撮影レンズ11の光軸を含む面で切断してできる断面図である。図4において斜線で示す光束は、光軸近傍に配置された画素配列130の中央の画素cに入射する光束である。図4に示すように、画素cに入射する光束は、撮影レンズ11の瞳上の中心近傍の部分領域Cを透過した光束である。この画素cの隣接画素bに入射する光束は、撮影レンズ11の瞳上の部分領域Cの隣接領域Bを透過した光束である。このように、同一画素配列130内の画素a,b,c,d,eに入射する各光束は、撮影レンズ11の瞳上の互いに異なる部分領域A,B,C,D,Eを個別に透過した各光束である。なお、図4では、マイクロレンズMLの前側の距離Lの位置において、マイクロレンズMLの配置ピッチPと同等の幅を持つ領域E0を通過した光が、マイクロレンズMLの後側の画素c上に導かれることを示した。このとき、画素cに入射する光束は、深度L内で径が略Pの柱状の光束となる。同様に、画素cの周囲の画素a,b,c,d,eに入射する各光束も、深度L内で径が略Pの柱状の光束となる。このとき、本撮像装置は、深度L内の任意の面に形成された像の画像データを、少なくとも分解能Pで合成することができる。つまり、深度Lは、本撮像装置が少なくとも分解能Pで画像データを合成可能な範囲である。よって、以下では深度Lを、合成範囲という。次に、個々のマイクロレンズMLの設計例を説明する。図5は、マイクロレンズMLを介して画素cに入射する光束の詳細を拡大して示す図である。図5において、符号Dは、マイクロレンズMLの有効径マイクロレンズMLの配置ピッチPより若干小さい値であり、符号Pdは、画素配列130の画素ピッチである。図5に明らかなように、合成範囲Lの前端における幅Pの領域E0は、マイクロレンズMLのパワーによって、マイクロレンズMLの後側の画素cに投影される。図5において、符号Fdで示す光束の広がりは、撮影レンズ11の瞳上の部分領域Cを透過した光束の広がりに対応する。よって、この光束の広がりFdは、撮影レンズ11の開放F値F0と瞳の1方向の分割数瞳上の1方向の部分領域の数とに応じた値に設定されている。例えば、撮影レンズ11の開放F値F0=4,画素配列130の1方向の画素数n=5,であるときには、瞳の1方向の分割数=n=5,であるので、光束の広がりFd=F0×n=4×5=20,に設定されるなお、光束の広がりの単位はF値。以上の説明では、光束の幾何学的な広がりしか考慮しなかったが、実際には、回折による広がりも持っている。以下では、回折による広がりを考慮する。図6は、マイクロレンズMLを介して画素cに入射する光束の回折による広がりを説明する図である。図6中に曲線で示すように、仮に画素c上の1点から発した光はLの距離位置で図示の回折による広がりを持つ。逆に、Lの位置で図示の広がりを持つ領域が、回折によるボケの広がりを意味することになる。このため、画素cに投影される領域E0の縁部は、図7に示すように、明確にはならずにぼける。同様に、撮影レンズ11の瞳上の部分領域A,B,C,D,E,の境界も、ぼける。この境界を或る程度明確にするためには、回折による光束の広がりを或る程度抑える必要がある。以下、具体的に示す。先ず、この回折による光束の広がりぼけAは、マイクロレンズMLの有効径Dが小さいほど顕著になり、例えば、光の波長を約0.5μmとすると、式1で表される。A≒L/D1一方、回折による光束の広がりAをF値の単位で表したものをFaとおくと、それは式2で表される。Fa≒L/A≒D2式1,2より、回折による光束の広がりFaは、式3のとおり、殆どマイクロレンズMLの有効径Dのみによって表されることがわかる。Fa≒D3そして、上述した境界を明確にするためには、この回折による光束の広がりFaは、撮影レンズ11の開放F値F0例えばF0=4と比較して十分に小さく、例えば2/5以下、つまり式4を満たすことが望ましい。Fa>104したがって、マイクロレンズMLの有効径Dは、式5を満たすことが望ましい。D>10μm5なお、上述した境界をさらに明確にするためには、マイクロレンズMLの有効径Dは、式6を満たすことが望ましい。D>20μm6以上の条件マイクロレンズMLに対する条件を考慮した本撮像装置の仕様の例を、以下に示す。撮影レンズ11の焦点距離f=9mm,撮影レンズ11の開放F値F0=4,画素配列130の1方向の画素数n=5,マイクロレンズMLの配置ピッチP=15μm,マイクロレンズMLの有効径D=配置ピッチPと略同じ≒15μm,マイクロレンズアレイ12のサイズ=8.8×6.6mm,マイクロレンズMLの配置数=586×440,合成範囲L=n×F=300μm,撮影距離に換算した合成範囲=無限遠方~270mmなお、以上の説明では、図8aに示すように、画素cの共役面がマイクロレンズMLの前側の有限位置に設定されていたが、画素cの共役面は、図8bに示すように、マイクロレンズMLの前側の無限遠方であってもよいし、図8cに示すように、マイクロレンズMLの後側であってもよい。図8aの場合、合成範囲Lは、マイクロレンズMLの前側の有限範囲となったが、図8bの場合、合成範囲Lは、マイクロレンズMLの両側にまたがる有限範囲となり、図8cの場合、合成範囲Lは、マイクロレンズMLの後側の有限範囲となる。以下、合成範囲LがマイクロレンズMLの前側の有限範囲である図8aとして説明する。次に、画像合成方法を説明する。この合成に必要な各処理は、演算処理回路15図1参照によって行われる。図9、図10は、画像合成の原理を説明する図である。これらの図9,図10において、符号Ia,Ib,Ic,Id,Ieで示すのは、画素配列130内に1方向に並ぶ5つの画素a,b,c,d,eが個別に形成する画像データの概念である。先ず、図9に示すように、指定像面の高さマイクロレンズアレイ12からの距離Zが0である場合を考える。Z=0の面にピントの合った像が形成されている場合は、像I0において、あるマイクロレンズの直上部分から射出した光束は、直ぐにマイクロレンズアレイ12に入射して、同一画素配列130内の画素a,b,c,d,eには、像I0上の同一箇所の光が入射する。このとき、画像データIa,Ib,Ic,Id,Ieの間では、互いに同じ位置に像I0が現れる。よって、これらの画像データIa,Ib,Ic,Id,Ieを重ね合わせれば、指定像面Z=0の画像データを得ることができる。なお、ここでは、或る1方向に並ぶ5つの画素a,b,c,d,eのみに着目し、それら5つの画素による5つの画像データIa,Ib,Ic,Id,Ieを重ね合わせるとしたが、実際は、各方向に並ぶ25個の画素による25個の画像データを重ね合わせる必要がある。次に、図10に示すように、指定像面の高さZが0ではない場合を考える。この面に形成される像I’の各位置から射出した光束は、発散した後にマイクロレンズアレイ12に入射するので、像I’上の同一箇所から射出した各角度の光線は、角度により互いに異なるマイクロレンズMLに入射する。よって、同一のマイクロレンズMLに対応する画素配列130内の画素a,b,c,d,eは、像I’上の少しずつ異なった箇所の光を受ける。このとき、画像データIa,Ib,Ic,Id,Ieの間では、互いにずれた位置に像I’が現れる。このずれ量は、指定像面の高さZに依存する。よって、これらの画像データIa,Ib,Ic,Id,Ieを、高さZに応じた画像サイズに変更してマイクロレンズピッチずつずらして重ね合わせれば、指定像面Z≠0の画像データを得ることができる。なお、ここでは、或る1方向に並ぶ5つの画素a,b,c,d,eのみに着目し、それら5つの画素による5つの画像データIa,Ib,Ic,Id,Ieを重ね合わせるとしたが、実際は、各方向に並ぶ25個の画素による25個の画像データを重ね合わせる必要がある。以上のことから、本撮像装置では、25個の画素による25個の画像データを、指定像面の高さZに応じた量だけ画像のサイズを変更してから、画像を縦横反転し、隣接するマイクロレンズに関するこれらの画像を所定量ずつずらして重ね合わせ、同じ位置に来た画素又は画素補間値を、重みを付けて加算合成すれば、その指定像面の全体の画像が得られる。次に、画像合成の方法を詳しく説明する。図11は、指定像面が合成範囲内の特定の面Z=0であるときの合成方法を説明する図であり、図12は、指定像面が合成範囲内の特定の面Z=h1であるときの合成方法を説明する図であり、図13は、指定像面が合成範囲内の上記以外の或る面Z=h2であるときの合成方法を説明する図である。これらの図11、図12、図13には、撮像素子13の5つの画素a,b,c,d,eに入射する各光線マイクロレンズMLの中心を通る主光線のみを示した。また、各図中の各要素には、光軸と垂直な面内における座標を示すための添え字1,2,3,を付した。図11、図12、図13において点線で示すのは、合成後の画像データの最小単位仮想画素であり、仮想画素の幅は、マイクロレンズMLの配置ピッチPと同じである。先ず、図11に示すように、指定像面が合成範囲内の特定の面Z=0である場合について説明する。この面の座標x5マイクロレンズML5に対向する幅Pの領域からの射出光束光線r1,r2,r3,r4,r5は、画素a5,b5,c5,d5,e5に個別に入射する。よって、画素a5の出力値Outa5、画素b5の出力値Outb5、画素c5の出力値Outc5、画素d5の出力値Outd5、画素e5の出力値Oute5の和をとれば、その座標x5における仮想画素の画素値L5が求まる式1。L5=Outa5Outb5Outc5Outd5Oute51同様に、座標x5に隣接する座標x6における仮想画素の画素値L6は、式1’により求めることができる。L6=Outa6Outb6Outc6Outd6Oute61’したがって、各座標x1,x2,x3,における各仮想画素の画素値L1,L2,L3,は、式1によりそれぞれ求めることができる。Li=OutaiOutbiOutciOutdiOutei1この式1は、図9に示した画像データIa,Ib,Ic,Id,Ieをそのまま重ね合わせることを示している。この式1よって、指定像面Z=0の画像データが合成される。なお、式1は、ユーザによる指定絞り値が開放開口サイズ最大であったときに採用される式である。仮に、ユーザによる指定絞り値が最大開口サイズ最小であったときには、光線r1,r2,r3,r4,r5からなる光束を、光線r3のみからなる光束に制限すればよいので、式1に代えて式2を採用すればよい。Li=Outci2また、ユーザによる指定絞り値が中間値開口サイズ中間であったときには、光線r1,r2,r3,r4,r5からなる光束を、光線r2,r3,r4のみからなる光束に制限すればよいので、式1に代えて式3を採用すればよい。Li=OutbiOutciOutdi3なお、ここでは、或る1方向に並ぶ5つの画素a,b,c,d,eのみに着目し、それら5つの画素の出力値の和をとったが、実際は、2方向に並ぶ25個の画素の出力値の和をとる必要がある但し、和に加えるべき画素の数は、指定絞り値に応じて増減する。。次に、図12に示すように、指定像面が、合成範囲内の上記以外の或る面Z=h1である場合について説明する。この面の座標x5マイクロレンズML5に対向する領域からの射出光束光線r1,r2,r3,r4,r5は、画素a3,b4,c5,d6,e7に個別に入射する。よって、画素a3の出力値Outa3、画素b4の出力値Outb4、画素c5の出力値Outc5、画素d6の出力値Outd6、画素e7の出力値Oute7の和より正確には入射角に依存した重み付け和をとれば、その座標x5における仮想画素の画素値L5が求まる式4。L5=Outa3Outb4十Outc5Outd6Oute74同様に、座標x5に隣接する座標x6における仮想画素の画素値L6は、式4’により求めることができる。L6=Outa4Outb5Outc6Outd7Oute84’したがって、各座標x1,x2,x3,における各仮想画素の画素値L1,L2,L3,は、式4によりそれぞれ求めることができる。Li=Outai2Outbi1OutciOutdi1Outei24この式4は、図10に示した画像データIa,Ib,Ic,Id,Ieを指定像面の高さZに応じた量ここでは仮想画素1つ分だけずらして重ね合わせることを示している。これによって、指定像面Z=h1の画像データが合成される。なお、この式4は、ユーザによる指定絞り値が開放開口サイズ最大であったときに採用される式である。仮に、ユーザによる指定絞り値が最大開口サイズ最小であったときには、光線r1,r2,r3,r4,r5からなる光束を、光線r3のみからなる光束に制限すればよいので、式4に代えて式5を採用すればよい。Li=Outci5また、ユーザによる指定絞り値が中間値開口サイズ中間であったときには、光線r1,r2,r3,r4,r5からなる光束を、光線r2,r3,r4のみからなる光束に制限すればよいので、式4に代えて式6を採用すればよい。Li=Outbi1OutciOutdi16なお、ここでは、或る1方向に並ぶ5つの画素a,b,c,d,eのみに着目し、それら5つの画素の出力値の和をとったが、実際は、2方向に並ぶ25個の画素の出力値の和をとる必要がある但し、和に加えるべき画素の数は、指定絞り値に応じて増減する。。次に、図13に示すように、指定像面が、合成範囲内の上記以外の或る面Z=h2である場合について説明する。この面の座標x5マイクロレンズML5に対向する領域からの射出光束光線r1,r2,r3,r4,r5は、複数の画素にまたがって入射する。例えば、光線r1に着目すると、画素a3,b3にまたがって入射する。このとき、光線r1の光量は、画素a3の出力値Outa3と画素b3の出力値Outb3との重み付け和によって求まる式7。Outa3×q1Outb3×q27ここで、重み係数q1,q2の和は、指定像面の高さZに依存して決まる定数である。したがって、各座標x1,x2,x3,における各仮想画素の画素値L1,L2,L3,は、複数の出力値の重み付け和、しかも、指定像面の高さZに依存して決まる重み係数による重み付け和によって求める必要がある但し、和に加えるべき画素の数は、指定絞り値に応じて増減する。以上のことから、本撮像装置では、指定像面の画像データを合成するに当たり、指定像面が特定の限られた面でなくとも、複数の出力値の重み付け和をとることで、画像の合成ができる。因みに、指定像面が図11、図12に示した特定の面Z=0,Z=h1である場合にも、主光線以外の光線まで考慮し、それに関係する全ての出力値の重み付け和をとれば、より高い精度で合成を行うことができる。次に、重み係数の具体例を説明する。図14、図15、図16には、座標x5に位置する仮想画素の画素値L5を求めるときの重み係数の例を示した。ここでは、ユーザによる指定絞り値が開放である場合の例を説明する。また、簡単のため、1方向に並ぶ5つの画素a,b,c,dのみに着目する。図14は、指定像面が合成範囲内の特定の面Z=0であるときの例であり、図15は、指定像面が合成範囲内の別の特定の面Z=h1であるときの例であり、図16は、指定像面が合成範囲内の一般の面Z=h2であるときの例である。図14、図15、図16において、各画素に対応付けられたバーの長さが、各画素の出力値にかかる重み係数の値相対値を示している。重みの最適な値は、実験的に求めることができる。因みに、図14の例に倣って指定像面の画像データを一括で求めるときには、以下の演算式を採用すればよい。また、図15の例に倣って指定像面の画像データを一括で求めるときには、以下の演算式を採用すればよい。因みに、これらの演算式において、重み係数w1,w2,w3,w4,w5の値は、図14、図15の各バーの長さに相当する。但し、図14、図15に示した例は、ユーザによる指定絞り値を開放開口サイズ最大としたときの例であるので、仮に、ユーザによる設定絞り値が中間値開口サイズ中間であるときには、重み係数w1,w2,w3,w4,w5のうち係数w1,w5の値は、極めて小さい値に設定される。また、ユーザによる指定絞り値が最大開口サイズ最小であるときには、重み係数w1,w2,w3,w4,w5のうち係数w1,w2,w4,w5の値は、極めて小さい値に設定される。以上のことから、本撮像装置では、撮像素子13の全画素の出力値からなる出力値ベクトルに対し、重み係数マトリクスを乗算することにより、指定像面の画像データを合成する。この出力値ベクトルの縦方向のサイズは、撮像素子13の全画素数に一致する。また、重み係数マトリクスの横方向のサイズは、出力値ベクトルの縦方向のサイズに一致する。また、重み係数マトリクスの縦方向のサイズは、合成すべき画像データの仮想画素の画素数に一致する。そして、この重み係数マトリクスの内容は、ユーザによる指定像面の高さZと、ユーザによる指定絞り値とに応じて決定される。この決定は、演算処理回路15によって適宜行われる。なお、この決定にかかる処理を簡単にするために、予め複数種類の重み係数マトリクスがメモリ16図1参照に格納されてもよい。その場合、演算処理回路15は、それら重み係数マトリクスのうち1つを、ユーザによる指定像面及び指定絞り値に応じて選択使用すればよい。また、本撮像装置においては、画像データの分解能をユーザが指定できるように構成されていてもよい。分解能の指定は、像面の指定や、絞り値の指定と同様、ユーザインタフェース18を介して行われる。また、画像データの分解能の設定は、画素配列130の出力値及び/又は画像データの仮想画素の画素値を、演算処理回路15が必要に応じて補間処理又は間引き処理をすることによって行われる。実際的には、指定像面の位置マイクロレンズアレイ面からの距離が決まると、それに応じて各マイクロレンズ下の画素配列の画像サイズを変更距離が離れる程拡大し、隣接するマイクロレンズに関するこれらの画像データを反転した後に相互に所定量ずつずらして加算合成して全体画像を作成するのが効率的である。この場合、指定絞り値絞り条件に応じて加算合成の重みを変更する。[第2実施形態]以下、第2実施形態を説明する。本実施形態は、画像データの分解能を高めるときの画像合成方法の一例である。但し、本合成方法が適用できるのは、指定像面が合成範囲Lの前端近傍であるときZ≒Lのときのみである。本合成方法では、図17に示すとおり、仮想画素の幅を、マイクロレンズMLの配置ピッチPよりも狭い幅ω例えばω=P/2に設定する。この幅ωの仮想画素の画素値を求めるために、先ず、画素配列130内の画素補間が行われる。図17aの右方に示した棒状のグラフは、画素配列130内に並ぶ5つの画素の出力値の分布を示している。これら5つの画素の出力値に補間処理を施すと、曲線で示すような滑らかな分布が得られる。よって、例えば、図17bに実線で示すように、画素配列130内に5つ以上以下、9つとするの画素が並べられたときと同等の9個の画素値が得られる。一方、幅ωの仮想画素からの射出光束は、図17bに点線で示すような光量分布で9つの画素上に入射する。この光量分布の分布曲線Wは、仮想画素と画素配列130との間の結像関係から、仮想画素の座標X,Y,Zと、仮想画素の幅ωと、射出光束の立体角度Ωとに依存する。したがって、この分布曲線WX,Y,Z,ω,Ωに応じた重み係数を、前述の9つの画素値に乗算して和をとれば、仮想画素からの射出光束の光量を高精度に求めることができる。そして、このような重み付け和を、仮想画素から各角度で射出する各光束についてそれぞれ行い、さらにそれらの和又は重み付け和をとれば、仮想画素の画素値が求まる。さらに、この演算を指定像面の全ての仮想画素についてそれぞれ行えば、分解能ωで指定像面の画像データを合成することができる。ここで、以上の本合成方法においても、演算の基礎となるデータは第1実施形態のそれと同じつまり撮像素子13の全画素の画素出力である。したがって、本合成方法に基づき重み係数マトリクスを決定しておけば、第1実施形態と同様に、出力値ベクトルに重み係数マトリクスを乗算するだけで、指定像面の画像データを一括で求めることができる。但し、本合成方法では、分解能を高めた分だけ仮想画素の数が増えた分だけ、重み係数マトリクスの縦方向のサイズも増大する。[第3実施形態]以下、第3実施形態を説明する。本実施形態は、第1実施形態の撮像装置及び画像合成方法を1部変更したものである。ここでは、変更点のみ説明する。本撮像装置の撮像素子13の個々の画素配列130には、図18aに示すようなカラーフィルタアレイが設けられている。カラーフィルタアレイは、画素配列130の画素に入射する可視光を赤色成分のみに制限するフィルタR、緑色成分のみに制限するフィルタG、青色成分のみに制限するフィルタBをベイヤ配列してなる。ベイヤ配列は、画素配列130上に市松状に並ぶ各画素にフィルタGを設け、その間隙の各画素に、フィルタR,Bを交互に設ける配列である。以下、フィルタGの設けられた画素をG画素、フィルタRの設けられた画素をR画素、フィルタBの設けられた画素をB画素という。本合成方法では、このベイヤ配列に応じて、図18b,cに示すように、公知の補間方法で画素補間を行う。すなわち、12個のG画素の画素出力を補間して画素配列130の全体の25個のG画素の画素値を得る。また、6個のR画素の画素出力を補間して画素配列130の全体の25個のR画素の画素値を得る。また、6個のB画素の画素出力を補間して画素配列130の全体の25個のB画素の画素値を得る。この各面に、前の実施形態で説明した処理を行えば、カラー画像が得られる。なお、本合成方法の手順では、画素補間を色成分毎に独立して行ったので、配置密度の低いR画素の補間誤差と、B画素の補間誤差とが、配置密度の高いG画素の補間誤差よりも大きくなる傾向にある。それを改善し、更に画質を向上させるには、先ず、密度の高い緑色G色に関して、指定像面に関する全画像データの合成を行っておき、ついで赤色R面のデータは補間せずに前記指定像面へ投影し、投影された位置にあるGの値若しくはGの補間値との差分Cr=R-Gを作成し、しかる後に、Crとして補間を行うことが好ましい。こうしてCrの全画像データが得られたら、R=CrGにより、赤色R色の全画像データが得られる。青色の画像データB面も同様にして形成される。なお、本撮像装置のカラーフィルタアレイには、ベイヤ配列を適用したが、他の配列、例えば、ストライプ状にフィルタGを配置すると共にフィルタCの列の間の列にフィルタR,Bを交互に配置するものなどが適用されてもよい。[その他]なお、画素配列130の各画素を構成する光電変換素子受光部の間隙には、転送部などが配置されることが多いので、その間隙はあまり小さくならない。よって、そのままでは、間隙に入射する光線がロスになってしまう。そこで、本撮像装置においては、図19aに示すように、各画素への集光率を高めるために、画素ピッチと同等の径を持つマイクロレンズML’を光電変換素子受光部上に設けてもよい。なお、画素配列130の縁部の画素への集光率は、他の画素への集光率よりも低くなりがちなので、図19bに矢印で示すように、画素配列130の縁部では、画素を構成するこの2層目のマイクロレンズの光軸を光電変換素子受光部中心から若干内側にずらしておくと、その画素への集光率を、中心の画素への集光率に近づけることができるので好ましい。また、本撮像装置においては、図20に示すように、マイクロレンズアレイ12の直前にフィールドレンズFLを配置してもよい。フィールドレンズFLを配置すれば、像高の高い位置に配置されたマイクロレンズMLに入射する光束の角度が抑えられるので好ましい。また、本撮像装置においては、複数の区分的な画素配列130を二次元状に配置した撮像素子13が用いられたが図1参照が、全体に一様に画素を配列した通常の撮像素子を用意し、その必要な部分を選択的に使うようにしてもよい。また、本撮像装置には、モニタなどの表示部が備えられてもよい。その場合、合成した画像データや、その画像データに付随する情報などを表示部に表示させてもよい。また、本撮像装置は、像面及び絞り値をユーザに指定させるタイミングは、撮影後、意図によって自由に変更できることが大きな利点であったが、勿論、撮影前の指定を反映するようにしてもよい。また、上記説明では、指定像面が1つの場合であったが、複数であってもよい。撮影後、任意のピント面を多数自在に再現できる点が、本発明の特徴である。因みに、複数の指定像面の画像データは、三次元の画像を表すので、本発明は、三次元撮像装置として使うことができる。また、本撮像装置は、像面の代わりに撮影ポイントを指定させてもよい。その場合、本撮像装置は、撮影ポイント指定点の輝度データのみを合成すればよい。その他、ユーザが指定可能な項目に、撮影範囲が加えられてもよい。その場合、本撮像装置は、指定された撮像範囲内の画像データのみを合成すればよい。また、本撮像装置では、画像合成に関わる全ての処理を演算処理回路15が実行しているが、その処理の一部又は全部は、撮像装置の外部のコンピュータが実行してもよい。その場合、コンピュータには、予め、画像合成のためのプログラムがインストールされる。"