(57)【要約】【課題】１回の撮影で得られたデータから撮影後に任意の距離にピントの合った画像を合成する。【解決手段】結像光学系（１１）の焦点面近傍に二次元状に配置された複数の正レンズ（１２）と、前記複数の正レンズの各々の後側に配置され、二次元状に配列された光電変換機能を有する複数の画素（ａ，ｂ，ｃ，ｄ，ｅ）からなる撮像素子（１３）とを備え、前記画素毎に前記結像光学系（１１）の射出瞳の異なる領域からの光束を受光する撮像装置に適用される画像合成方法であって、前記撮像素子（１３）の画素出力に基づき、前記結像光学系の任意の像面における像の画像データを合成する。各画素（ａ，ｂ，ｃ，ｄ，ｅ）が形成する各画像データ（Ｉａ，Ｉｂ，Ｉｃ，Ｉｄ，Ｉｅ）を、その面の高さに応じた量ずつずらして重ね合わせれば、像（Ｉ’）の画像データを合成することができる。【選択図】      図１０
2011217411.tif 000002
【特許請求の範囲】
【請求項１】
結像光学系の焦点面近傍に二次元状に配置された複数の正レンズと、
前記複数の正レンズの各々の後側に配置され、二次元状に配列された光電変換機能を有する複数の画素からなる撮像素子と
を備え、前記画素毎に前記結像光学系の射出瞳の異なる領域からの光束を受光する撮像装置に適用される画像合成方法であって、
前記撮像素子の画素出力に基づき、前記結像光学系の任意の像面における像の画像データを合成する
ことを特徴とする画像合成方法。
【請求項２】
請求項１に記載の画像合成方法において、
前記合成は、
前記任意の像面の位置に応じて異なる合成方法で、前記像の画像データを合成する
ことを特徴とする画像合成方法。
【請求項３】
請求項２に記載の画像合成方法において、
前記合成は、
前記画素出力と、前記任意の像面の位置に応じて決まる重み付け係数とを加重加算して前記像の画像データを合成する
ことを特徴とする画像合成方法。
【請求項４】
請求項２又は請求項３に記載の画像合成方法において、
前記合成は、
任意の絞り値に応じた重み付け係数を用いて、前記絞り値に応じた前記像の画像データを合成する
ことを特徴とする画像合成方法。
【請求項５】
請求項１〜請求項４の何れか一項に記載の画像合成方法において、
前記複数の画素は、
互いに異なる分光感度特性を有する複数種類の画素をモザイク状に配置してなり、
前記合成は、
前記複数種類の画素のうち最も配置密度の高い第１色成分の画素出力に基づいて前記任意の像面に関する第１色成分の画像データを合成するとともに、第２色成分の画素出力に基づいて前記任意の像面に関する第２色成分の画像データを合成し、合成された前記画像データの同じ位置における第１色成分に関する値と第２色成分との差を求め、この差に基づいて画像データを合成する
ことを特徴とする画像合成方法。
【請求項６】
請求項２に記載の画像合成方法において、
前記画素出力に基づいて、前記正レンズ毎に前記任意の像面の位置に応じた拡大率の個別画像データを作成し、隣接する前記正レンズに関する前記個別画像データどうしを所定量ずつずらして重ね合わせるとともに、対応する位置の個別画像データに関しては所定の重みで加重加算して前記画像データを作成する
ことを特徴とする画像合成方法。
【請求項７】
結像光学系の焦点面近傍に二次元状に配置された複数の正レンズと、
前記複数の正レンズの各々の後側に配置され、二次元状に配列された光電変換機能を有する複数の画素からなる撮像素子と
を備え、前記画素毎に前記結像光学系の射出瞳の異なる領域からの光束を受光する
ことを特徴とする撮像装置。
【請求項８】
請求項７に記載の撮像装置において、
前記結像光学系の任意の像面を指定像面として指定する像面位置指定手段と、
前記撮像素子の画素出力に基づき、前記結像光学系の前記指定像面における像の画像データを合成する合成手段と
を備えたことを特徴とする撮像装置。
【請求項９】
請求項８に記載の撮像装置において、
前記合成手段は、
前記指定像面の位置に応じて異なる合成方法で、前記像の画像データを合成する
ことを特徴とする撮像装置。
【請求項１０】
請求項９に記載の撮像装置において、
前記合成手段は、
前記画素出力と、前記指定像面の位置に応じて決まる重み付け係数とを加重加算して前記像の画像データを合成する
ことを特徴とする撮像装置。
【請求項１１】
請求項９又は請求項１０に記載の撮像装置において、
前記合成手段は、
要求される任意の絞り値に応じた重み付け係数を用いて、前記絞り値に応じた前記指定像面の像の画像データを合成する
ことを特徴とする撮像装置。
【請求項１２】
請求項７〜請求項１１の何れか一項に記載の撮像装置において、
前記複数の画素は、
互いに異なる分光感度特性を有する複数種類の画素をモザイク状に配置してなり、
前記合成手段は、
前記複数種類の画素のうち最も配置密度の高い第１色成分の画素出力に基づいて前記指定像面に関する第１色成分の画像データを合成するとともに、第２色成分の画素出力に基づいて前記指定像面に関する第２色成分の画像データを合成し、合成された前記画像データの同じ位置における第１色成分に関する値と第２色成分との差を求め、この差に基づいて画像データを合成する
ことを特徴とする撮像装置。
【請求項１３】
請求項７〜請求項１２の何れか一項に記載の撮像装置において、
前記合成手段は、
要求される分解能に応じて間引き処理又は補間処理を行う
ことを特徴とする撮像装置。
【請求項１４】
請求項１３に記載の撮像装置において、
前記合成手段は、
前記指定像面の位置が前記撮像素子の共役面近傍であるときの前記補間処理に、前記指定像面と前記撮像素子との間の結像関係を反映する
ことを特徴とする撮像装置。
【請求項１５】
請求項７〜請求項１５の何れか一項に記載の撮像装置において、
前記正レンズの後側に設けられた画素配列を構成する画素は、
光電変換素子と、その上に設けられたマイクロレンズとからなる
ことを特徴とする撮像装置。
【請求項１６】
請求項１５に記載の撮像装置において、
前記マイクロレンズの光軸は、
前記正レンズの光軸に対する前記マイクロレンズの光軸の位置に応じて偏移している
ことを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、同一被写界の任意の距離にピントの合った画像を得るための画像合成方法及び撮像装置に関する。
【背景技術】
【０００２】
一般のカメラ（特許文献１）による撮影後に、同一被写界の任意の距離にピントの合った画像を得るためには、カメラの撮影レンズの焦点をずらしながら繰り返し撮影を行い、撮影距離の異なる複数枚の画像データを取得しておく必要がある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−２１１４１８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、カメラの被写界中の物体は静止しているとは限らず、同一被写界の任意の距離にピントの合った画像を得ることができるのは、或る限られた撮影条件の下のみである。
【０００５】
そこで本発明は、１回の撮影で得られたデータから撮影後に任意の距離の面、又は任意の距離の物体にピントの合った画像を合成することのできる画像合成方法を提供することを目的とする。
【０００６】
また、本発明は、この画像合成方法を実現するために好適な撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の画像合成方法は、結像光学系の焦点面近傍に二次元状に配置された複数の正レンズと、前記複数の正レンズの各々の後側に配置され、二次元状に配列された光電変換機能を有する複数の画素からなる撮像素子とを備え、前記画素毎に前記結像光学系の射出瞳の異なる領域からの光束を受光する撮像装置に適用される画像合成方法であって、前記撮像素子の画素出力に基づき、前記結像光学系の任意の像面における像の画像データを合成することを特徴とする。
【０００８】
なお、前記合成は、前記任意の像面の位置に応じて異なる合成方法で、前記像の画像データを合成するものであってもよい。
【０００９】
また、前記合成は、前記画素出力と、前記任意の像面の位置に応じて決まる重み付け係数とを加重加算して前記像の画像データを合成するものであってもよい。
【００１０】
また、前記合成は、任意の絞り値に応じた重み付け係数を用いて、前記絞り値に応じた前記像の画像データを合成するものであってもよい。
【００１１】
また、前記複数の画素は、互いに異なる分光感度特性を有する複数種類の画素をモザイク状に配置してなり、前記合成は、前記複数種類の画素のうち最も配置密度の高い第１色成分の画素出力に基づいて前記任意の像面に関する第１色成分の画像データを合成するとともに、第２色成分の画素出力に基づいて前記任意の像面に関する第２色成分の画像データを合成し、合成された前記画像データの同じ位置における第１色成分に関する値と第２色成分との差を求め、この差に基づいて画像データを合成するものであってもよい。
【００１２】
また、本発明の画像合成方法においては、前記画素出力に基づいて、前記正レンズ毎に前記任意の像面の位置に応じた拡大率の個別画像データを作成し、隣接する前記正レンズに関する前記個別画像データどうしを所定量ずつずらして重ね合わせるとともに、対応する位置の個別画像データに関しては所定の重みで加重加算して前記画像データを作成してもよい。
【００１３】
また、本発明の撮像装置は、結像光学系の焦点面近傍に二次元状に配置された複数の正レンズと、前記複数の正レンズの各々の後側に配置され、二次元状に配列された光電変換機能を有する複数の画素からなる撮像素子とを備え、前記画素毎に前記結像光学系の射出瞳の異なる領域からの光束を受光することを特徴とする。
【００１４】
なお、本発明の撮像装置においては、前記結像光学系の任意の像面を指定像面として指定する像面位置指定手段と、前記撮像素子の画素出力に基づき、前記結像光学系の前記指定像面における像の画像データを合成する合成手段とが備えられてもよい。
【００１５】
また、前記合成手段は、前記指定像面の位置に応じて異なる合成方法で、前記像の画像データを合成するものであってもよい。
【００１６】
また、前記合成手段は、前記画素出力と、前記指定像面の位置に応じて決まる重み付け係数とを加重加算して前記像の画像データを合成するものであってもよい。
【００１７】
また、前記合成手段は、要求される任意の絞り値に応じた重み付け係数を用いて、前記絞り値に応じた前記指定像面の像の画像データを合成するものであってもよい。
【００１８】
また、本発明の何れかの撮像装置において、前記複数の画素は、互いに異なる分光感度特性を有する複数種類の画素をモザイク状に配置してなり、前記合成手段は、前記複数種類の画素のうち最も配置密度の高い第１色成分の画素出力に基づいて前記指定像面に関する第１色成分の画像データを合成するとともに、第２色成分の画素出力に基づいて前記指定像面に関する第２色成分の画像データを合成し、合成された前記画像データの同じ位置における第１色成分に関する値と第２色成分との差を求め、この差に基づいて画像データを合成するものであってもよい。
【００１９】
また、前記合成手段は、要求される分解能に応じて間引き処理又は補間処理を行うものであってもよい。
【００２０】
また、前記合成手段は、前記指定像面の位置が前記撮像素子の共役面近傍であるときの前記補間処理に、前記指定像面と前記撮像素子との間の結像関係を反映するものであってもよい。
【００２１】
また、前記正レンズの後側に設けられた画素配列を構成する画素は、光電変換素子と、その上に設けられたマイクロレンズとからなってもよい。
【００２２】
また、前記マイクロレンズの光軸は、前記正レンズの光軸に対する前記マイクロレンズの光軸の位置に応じて偏移していてもよい。
【発明の効果】
【００２３】
本発明によれば、１回の撮影で得られたデータから撮影後に任意の距離にピントの合った画像を合成することのできる画像合成方法が実現する。
【００２４】
また、本発明によれば、この画像合成方法を実現するために好適な撮像装置が実現する。
【図面の簡単な説明】
【００２５】
【図１】本撮像装置の構成図である。
【図２】クロストーク防止用の仕切部材を示す図である。
【図３】絞り部材１１Ａを示す図である。
【図４】本撮像装置の光学系部分を光軸を含む面で切断してできる断面図である。
【図５】画素ｃに入射する光束の詳細を拡大して車す図である。
【図６】画素ｃに入射する光束の回折による広がりを説明する図である。
【図７】画素ｃに投影される領域Ｅ0の縁のぼけの様子を示す概念図である。
【図８】マイクロレンズＭＬによる画素ｃの共役面の位置のバリエーションを示す図である。
【図９】画像合成の原理を説明する図である（Ｚ＝０の例）。
【図１０】画像合成の原理を説明する図である（Ｚ≠０の例）。
【図１１】指定像面が合成範囲内の特定の面（Ｚ＝０）であるときの合成方法を説明する図である。
【図１２】指定像面が合成範囲内の特定の面（Ｚ＝ｈ1）であるときの合成方法を説明する図である。
【図１３】指定像面が合成範囲内の一般の面（Ｚ＝ｈ2）であるときの合成方法を説明する図である。
【図１４】指定像面が合成範囲内の特定の面（Ｚ＝０）であるときの重み係数の例を示す図である。
【図１５】指定像面が合成範囲内の別の特定の面（Ｚ＝ｈ1）であるときの重み係数の例を示す図である。
【図１６】指定像面が合成範囲内の一般の面（Ｚ＝ｈ2）であるときの重み係数の例を示す図である。
【図１７】第２実施形態の画像合成方法を説明する図である。
【図１８】第３実施形態の撮像装置及び画像合成方法を説明する図である。
【図１９】マイクロレンズＭＬ’を設けた画素配列１３０を示す図である。
【図２０】フィールドレンズＦＬを配置した撮像装置を示す図である。
【発明を実施するための形態】
【００２６】
［第１実施形態］
以下、第１実施形態を説明する。本実施形態は、撮像装置及びそれを用いた画像合成方法の実施形態である。
【００２７】
先ず、本撮像装置の構成を説明する。
【００２８】
図１は、本撮像装置の構成図である。図１に示すように、本撮像装置には、撮影レンズ（結像光学系に対応）１１、マイクロレンズアレイ（複数の正レンズに対応）１２、撮像素子１３、駆動回路１４、演算処理回路（合成手段に対応）１５、メモリ１６、制御回路１７、ユーザインタフェース１８などが備えられる。
【００２９】
撮影レンズ１１は、被写界からの光束をその焦点面近傍に結像する。その焦点面近傍に、マイクロレンズアレイ１２と撮像素子１３とが順に配置される。なお、図１では、マイクロレンズアレイ１２と撮像素子１３との間隔が広く描かれているが、実際は狭い。
【００３０】
撮影レンズ１１の焦点面近傍に入射した結像光束は、撮像素子１３において電気信号に変換される。この撮像素子１３は駆動回路１４によって駆動され、撮像素子１３からの出力信号は、この駆動回路１４を介して演算処理回路１５に取り込まれる。演算処理回路１５は、その出力信号に基づき被写界の画像データを合成する。合成された画像データは、メモリ１６に格納される。
【００３１】
また、以上の駆動回路１４、演算処理回路１５、メモリ１６は、制御回路１７によって制御される。制御回路１７は、ユーザインタフェース１８を介してユーザから入力された指示に従ってその制御を行う。
【００３２】
ユーザは、ユーザインタフェース１８を介して本撮像装置に対し撮影のタイミングを指定することができる。本実施形態では、どの被写体位置（距離）にピントの合った画像を合成するのか、また、どの絞り値に対応した画像を合成するのかを、撮影後にユーザが指定することができる（勿論、撮影前や撮影中に指定してもよい）。以下、指定された被写体位置を「指定像面」と称し、指定された絞り値を「指定絞り値」と称す。
【００３３】
次に、本撮像装置の光学系部分を簡単に説明する。
【００３４】
マイクロレンズアレイ１２は、正のパワーを有した複数のマイクロレンズＭＬを二次元状に並べてなる。図１では、マイクロレンズＭＬの縦方向の数及び横方向の数（配置密度）は、それぞれ５個となっているが、これらの数は、本撮像装置の画像データに必要な分解能に応じて適宜設定される。
【００３５】
撮像素子１３は、各マイクロレンズＭＬを通過した光を受光する画素配列１３０を、マイクロレンズＭＬに対応した配置パターンで配置してなる。
【００３６】
ここで、画素配列１３０は、光電変換素子受光部の開口がそのまま「画素」を形成する場合は勿論、各光電変換素子上に集光用マイクロレンズを設け、このマイクロレンズの開口が「画素」を形成する場合がある。これ以降は、光電変換素子を「画素」と表現し、マイクロレンズＭＬを通過した光を受光する複数の光電変換素子を「画素配列」と呼ぶことにする。
【００３７】
個々の画素配列１３０の縦方向の画素数及び横方向の画素数はそれぞれ３個以上である。図１では、画素配列１３０の縦方向の画素数及び横方向の画素数（画素密度）は、それぞれ５個となっているが、これらの数は、本撮像装置のユーザが指定可能な像面（撮影距離）の必要数に応じて適宜設定される（例えば、７×７＝４９個でもよい）。
【００３８】
ここで、これらの画素配列１３０は、個々のマイクロレンズＭＬを個別に透過した部分光束を個別に受ける必要がある。つまり、互いに隣接する画素配列１３０の間のクロストークは抑えられる必要がある。
【００３９】
そこで、マイクロレンズアレイ１２と撮像素子１３との間には、図２に示すような仕切部材２２が設けられることが望ましい。
【００４０】
或いは、仕切部材２２の代わりに、撮影レンズ１１の後側に、図３に示すように、適当な大きさの円形開口を有した絞り部材１１Ａが配置されてもよい。
【００４１】
本撮像装置においては、この絞り部材１１Ａの開口のサイズは、可変である必要は無い。なぜなら、本撮像装置の撮影レンズ１１の絞り値の変更は、演算処理回路１５における演算によって行われるからである。
【００４２】
なお、以下の説明では、これら仕切部材２２や絞り部材１１Ａについては言及せず、図示も省略する。
【００４３】
次に、本撮像装置の光学系部分を詳細に説明する。
【００４４】
図４は、本撮像装置の光学系部分を光軸（撮影レンズ１１の光軸）を含む面で切断してできる断面図である。図４において斜線で示す光束は、光軸近傍に配置された画素配列１３０の中央の画素ｃに入射する光束である。
【００４５】
図４に示すように、画素ｃに入射する光束は、撮影レンズ１１の瞳上の中心近傍の部分領域Ｃを透過した光束である。この画素ｃの隣接画素ｂに入射する光束は、撮影レンズ１１の瞳上の部分領域Ｃの隣接領域Ｂを透過した光束である。
【００４６】
このように、同一画素配列１３０内の画素ａ，ｂ，ｃ，ｄ，ｅに入射する各光束は、撮影レンズ１１の瞳上の互いに異なる部分領域Ａ，Ｂ，Ｃ，Ｄ，Ｅを個別に透過した各光束である。
【００４７】
なお、図４では、マイクロレンズＭＬの前側の距離Ｌの位置において、マイクロレンズＭＬの配置ピッチＰと同等の幅を持つ領域Ｅ0を通過した光が、マイクロレンズＭＬの後
側の画素ｃ上に導かれることを示した。
【００４８】
このとき、画素ｃに入射する光束は、深度Ｌ内で径が略Ｐの柱状の光束となる。同様に、画素ｃの周囲の画素ａ，ｂ，ｃ，ｄ，ｅに入射する各光束も、深度Ｌ内で径が略Ｐの柱状の光束となる。
【００４９】
このとき、本撮像装置は、深度Ｌ内の任意の面に形成された像の画像データを、少なくとも分解能Ｐで合成することができる。つまり、深度Ｌは、本撮像装置が少なくとも分解能Ｐで画像データを合成可能な範囲である。よって、以下では深度Ｌを、「合成範囲」という。
【００５０】
次に、個々のマイクロレンズＭＬの設計例を説明する。
【００５１】
図５は、マイクロレンズＭＬを介して画素ｃに入射する光束の詳細を拡大して示す図である。図５において、符号Ｄは、マイクロレンズＭＬの有効径（マイクロレンズＭＬの配置ピッチＰより若干小さい値）であり、符号Ｐｄは、画素配列１３０の画素ピッチである。図５に明らかなように、合成範囲Ｌの前端における幅Ｐの領域Ｅ0は、マイクロレンズ
ＭＬのパワーによって、マイクロレンズＭＬの後側の画素ｃに投影される。
【００５２】
図５において、符号Ｆｄで示す光束の広がりは、撮影レンズ１１の瞳上の部分領域Ｃを透過した光束の広がりに対応する。よって、この光束の広がりＦｄは、撮影レンズ１１の開放Ｆ値（Ｆ０）と瞳の１方向の分割数（瞳上の１方向の部分領域の数）とに応じた値に設定されている。例えば、
・撮影レンズ１１の開放Ｆ値Ｆ０＝４，
・画素配列１３０の１方向の画素数ｎ＝５，
であるときには、
・瞳の１方向の分割数＝ｎ＝５，
であるので、
・光束の広がりＦｄ＝Ｆ０×ｎ＝４×５＝２０，
に設定される（なお、光束の広がりの単位はＦ値）。
【００５３】
以上の説明では、光束の幾何学的な広がりしか考慮しなかったが、実際には、回折による広がりも持っている。以下では、回折による広がりを考慮する。
【００５４】
図６は、マイクロレンズＭＬを介して画素ｃに入射する光束の回折による広がりを説明する図である。
【００５５】
図６中に曲線で示すように、仮に画素ｃ上の１点から発した光はＬの距離位置で図示の回折による広がりを持つ。逆に、Ｌの位置で図示の広がりを持つ領域が、回折によるボケの広がりを意味することになる。
【００５６】
このため、画素ｃに投影される領域Ｅ0の縁部は、図７に示すように、明確にはならず
にぼける。同様に、撮影レンズ１１の瞳上の部分領域Ａ，Ｂ，Ｃ，Ｄ，Ｅ，・・の境界も、ぼける。この境界を或る程度明確にするためには、回折による光束の広がりを或る程度抑える必要がある。以下、具体的に示す。
【００５７】
先ず、この回折による光束の広がり（ぼけ）Ａは、マイクロレンズＭＬの有効径Ｄが小さいほど顕著になり、例えば、光の波長を約０．５μｍとすると、式（１）で表される。
【００５８】
Ａ≒Ｌ／Ｄ  ・・・（１）
一方、回折による光束の広がりＡをＦ値の単位で表したものをＦａとおくと、それは式（２）で表される。
【００５９】
Ｆａ≒Ｌ／Ａ≒Ｄ  ・・・（２）
式（１），（２）より、回折による光束の広がりＦａは、式（３）のとおり、殆どマイクロレンズＭＬの有効径Ｄのみによって表されることがわかる。
【００６０】
Ｆａ≒Ｄ  ・・・（３）
そして、上述した境界を明確にするためには、この回折による光束の広がりＦａは、撮影レンズ１１の開放Ｆ値Ｆ０（例えばＦ０＝４）と比較して十分に小さく、例えば２／５以下、つまり式（４）を満たすことが望ましい。
【００６１】
Ｆａ＞１０・・・（４）
したがって、マイクロレンズＭＬの有効径Ｄは、式（５）を満たすことが望ましい。
【００６２】
Ｄ＞１０μｍ・・・（５）
なお、上述した境界をさらに明確にするためには、マイクロレンズＭＬの有効径Ｄは、式（６）を満たすことが望ましい。
【００６３】
Ｄ＞２０μｍ  ・・・（６）
以上の条件（マイクロレンズＭＬに対する条件）を考慮した本撮像装置の仕様の例を、以下に示す。
・撮影レンズ１１の焦点距離ｆ＝９ｍｍ，
・撮影レンズ１１の開放Ｆ値Ｆ０＝４，
・画素配列１３０の１方向の画素数ｎ＝５，
・マイクロレンズＭＬの配置ピッチＰ＝１５μｍ，
・マイクロレンズＭＬの有効径Ｄ＝配置ピッチＰと略同じ≒１５μｍ，
・マイクロレンズアレイ１２のサイズ＝８．８×６．６ｍｍ，
・マイクロレンズＭＬの配置数＝５８６×４４０，
・合成範囲Ｌ＝ｎ×Ｆ＝３００μｍ，
・撮影距離に換算した合成範囲＝無限遠方〜２７０ｍｍ
なお、以上の説明では、図８（ａ）に示すように、画素ｃの共役面がマイクロレンズＭＬの前側の有限位置に設定されていたが、画素ｃの共役面は、図８（ｂ）に示すように、マイクロレンズＭＬの前側の無限遠方であってもよいし、図８（ｃ）に示すように、マイクロレンズＭＬの後側であってもよい。
【００６４】
図８（ａ）の場合、合成範囲Ｌは、マイクロレンズＭＬの前側の有限範囲となったが、図８（ｂ）の場合、合成範囲Ｌは、マイクロレンズＭＬの両側にまたがる有限範囲となり、図８（ｃ）の場合、合成範囲Ｌは、マイクロレンズＭＬの後側の有限範囲となる。
【００６５】
以下、合成範囲ＬがマイクロレンズＭＬの前側の有限範囲である（図８（ａ））として説明する。
【００６６】
次に、画像合成方法を説明する。この合成に必要な各処理は、演算処理回路１５（図１参照）によって行われる。
【００６７】
図９、図１０は、画像合成の原理を説明する図である。これらの図９，図１０において、符号Ｉａ，Ｉｂ，Ｉｃ，Ｉｄ，Ｉｅで示すのは、画素配列１３０内に１方向に並ぶ５つの画素ａ，ｂ，ｃ，ｄ，ｅが個別に形成する画像データの概念である。
【００６８】
先ず、図９に示すように、指定像面の高さ（マイクロレンズアレイ１２からの距離）Ｚが０である場合を考える。
【００６９】
Ｚ＝０の面にピントの合った像が形成されている場合は、像Ｉ0において、あるマイクロレンズの直上部分から射出した光束は、直ぐにマイクロレンズアレイ１２に入射して、同一画素配列１３０内の画素ａ，ｂ，ｃ，ｄ，ｅには、像Ｉ0上の同一箇所の光が入射する。
【００７０】
このとき、画像データＩａ，Ｉｂ，Ｉｃ，Ｉｄ，Ｉｅの間では、互いに同じ位置に像Ｉ0が現れる。よって、これらの画像データＩａ，Ｉｂ，Ｉｃ，Ｉｄ，Ｉｅを重ね合わせれば、指定像面（Ｚ＝０）の画像データを得ることができる。
【００７１】
なお、ここでは、或る１方向に並ぶ５つの画素ａ，ｂ，ｃ，ｄ，ｅのみに着目し、それら５つの画素による５つの画像データＩａ，Ｉｂ，Ｉｃ，Ｉｄ，Ｉｅを重ね合わせるとしたが、実際は、各方向に並ぶ２５個の画素による２５個の画像データを重ね合わせる必要がある。
【００７２】
次に、図１０に示すように、指定像面の高さＺが０ではない場合を考える。
【００７３】
この面に形成される像Ｉ’の各位置から射出した光束は、発散した後にマイクロレンズアレイ１２に入射するので、像Ｉ’上の同一箇所から射出した各角度の光線は、角度により互いに異なるマイクロレンズＭＬに入射する。よって、同一のマイクロレンズＭＬに対応する画素配列１３０内の画素ａ，ｂ，ｃ，ｄ，ｅは、像Ｉ’上の少しずつ異なった箇所の光を受ける。
【００７４】
このとき、画像データＩａ，Ｉｂ，Ｉｃ，Ｉｄ，Ｉｅの間では、互いにずれた位置に像Ｉ’が現れる。このずれ量は、指定像面の高さＺに依存する。よって、これらの画像データＩａ，Ｉｂ，Ｉｃ，Ｉｄ，Ｉｅを、高さＺに応じた画像サイズに変更してマイクロレンズピッチずつずらして重ね合わせれば、指定像面（Ｚ≠０）の画像データを得ることができる。
【００７５】
なお、ここでは、或る１方向に並ぶ５つの画素ａ，ｂ，ｃ，ｄ，ｅのみに着目し、それら５つの画素による５つの画像データＩａ，Ｉｂ，Ｉｃ，Ｉｄ，Ｉｅを重ね合わせるとしたが、実際は、各方向に並ぶ２５個の画素による２５個の画像データを重ね合わせる必要がある。
【００７６】
以上のことから、本撮像装置では、２５個の画素による２５個の画像データを、指定像面の高さＺに応じた量だけ画像のサイズを変更してから、画像を縦横反転し、隣接するマイクロレンズに関するこれらの画像を所定量ずつずらして重ね合わせ、同じ位置に来た画素又は画素補間値を、重みを付けて加算合成すれば、その指定像面の全体の画像が得られる。
【００７７】
次に、画像合成の方法を詳しく説明する。
【００７８】
図１１は、指定像面が合成範囲内の特定の面（Ｚ＝０）であるときの合成方法を説明する図であり、図１２は、指定像面が合成範囲内の特定の面（Ｚ＝ｈ1）であるときの合成
方法を説明する図であり、図１３は、指定像面が合成範囲内の上記以外の或る面（Ｚ＝ｈ2）であるときの合成方法を説明する図である。
【００７９】
これらの図１１、図１２、図１３には、撮像素子１３の５つの画素ａ，ｂ，ｃ，ｄ，ｅに入射する各光線（マイクロレンズＭＬの中心を通る主光線のみ）を示した。また、各図中の各要素には、光軸と垂直な面内における座標を示すための添え字（１，２，３，・・・）を付した。
【００８０】
図１１、図１２、図１３において点線で示すのは、合成後の画像データの最小単位（仮想画素）であり、仮想画素の幅は、マイクロレンズＭＬの配置ピッチＰと同じである。
【００８１】
先ず、図１１に示すように、指定像面が合成範囲内の特定の面（Ｚ＝０）である場合について説明する。
【００８２】
この面の座標ｘ5（マイクロレンズＭＬ5に対向する幅Ｐの領域）からの射出光束（光線ｒ1，ｒ2，ｒ3，ｒ4，ｒ5）は、画素ａ5，ｂ5，ｃ5，ｄ5，ｅ5に個別に入射する。よって、画素ａ5の出力値Ｏｕｔ（ａ5）、画素ｂ5の出力値Ｏｕｔ（ｂ5）、画素ｃ5の出力値Ｏｕｔ（ｃ5）、画素ｄ5の出力値Ｏｕｔ（ｄ5）、画素ｅ5の出力値Ｏｕｔ（ｅ5）の和をとれば、その座標ｘ5における仮想画素の画素値Ｌ（５）が求まる（式（１））。
【００８３】
Ｌ（５）＝Ｏｕｔ（ａ5）＋Ｏｕｔ（ｂ5）＋Ｏｕｔ（ｃ5）＋Ｏｕｔ（ｄ5）＋Ｏｕｔ（ｅ5）  ・・・（１）
同様に、座標ｘ5に隣接する座標ｘ6における仮想画素の画素値Ｌ（６）は、式（１’）により求めることができる。
【００８４】
Ｌ（６）＝Ｏｕｔ（ａ6）＋Ｏｕｔ（ｂ6）＋Ｏｕｔ（ｃ6）＋Ｏｕｔ（ｄ6）＋Ｏｕｔ（ｅ6）  ・・・（１’）
したがって、各座標ｘ1，ｘ2，ｘ3，・・・における各仮想画素の画素値Ｌ（１），Ｌ（２），Ｌ（３），・・・は、式（１”）によりそれぞれ求めることができる。
【００８５】
Ｌ（ｉ）＝Ｏｕｔ（ａi）＋Ｏｕｔ（ｂi）＋Ｏｕｔ（ｃi）＋Ｏｕｔ（ｄi）＋Ｏｕｔ（ｅi）  ・・・（１”）
この式（１”）は、図９に示した画像データＩａ，Ｉｂ，Ｉｃ，Ｉｄ，Ｉｅをそのまま重ね合わせることを示している。この式（１”）よって、指定像面（Ｚ＝０）の画像データが合成される。
【００８６】
なお、式（１”）は、ユーザによる指定絞り値が開放（開口サイズ最大）であったときに採用される式である。
【００８７】
仮に、ユーザによる指定絞り値が最大（開口サイズ最小）であったときには、光線ｒ1，ｒ2，ｒ3，ｒ4，ｒ5からなる光束を、光線ｒ3のみからなる光束に制限すればよいので、式（１”）に代えて式（２）を採用すればよい。
【００８８】
Ｌ（ｉ）＝Ｏｕｔ（ｃi）・・・（２）
また、ユーザによる指定絞り値が中間値（開口サイズ中間）であったときには、光線ｒ1，ｒ2，ｒ3，ｒ4，ｒ5からなる光束を、光線ｒ2，ｒ3，ｒ4のみからなる光束に制限すればよいので、式（１”）に代えて式（３）を採用すればよい。
【００８９】
Ｌ（ｉ）＝Ｏｕｔ（ｂi）＋Ｏｕｔ（ｃi）＋Ｏｕｔ（ｄi）  ・・・（３）
なお、ここでは、或る１方向に並ぶ５つの画素ａ，ｂ，ｃ，ｄ，ｅのみに着目し、それら５つの画素の出力値の和をとったが、実際は、２方向に並ぶ２５個の画素の出力値の和をとる必要がある（但し、和に加えるべき画素の数は、指定絞り値に応じて増減する。）。
【００９０】
次に、図１２に示すように、指定像面が、合成範囲内の上記以外の或る面（Ｚ＝ｈ1）である場合について説明する。
【００９１】
この面の座標ｘ5（マイクロレンズＭＬ5に対向する領域）からの射出光束（光線ｒ1，ｒ2，ｒ3，ｒ4，ｒ5）は、画素ａ3，ｂ4，ｃ5，ｄ6，ｅ7に個別に入射する。よって、画素ａ3の出力値Ｏｕｔ（ａ3）、画素ｂ4の出力値Ｏｕｔ（ｂ4）、画素ｃ5の出力値Ｏｕｔ（ｃ5）、画素ｄ6の出力値Ｏｕｔ（ｄ6）、画素ｅ7の出力値Ｏｕｔ（ｅ7）の和（より正確には入射角に依存した重み付け和）をとれば、その座標ｘ5における仮想画素の画素値Ｌ（５）が求まる（式（４））。
【００９２】
Ｌ（５）＝Ｏｕｔ（ａ3）＋Ｏｕｔ（ｂ4）十Ｏｕｔ（ｃ5）＋Ｏｕｔ（ｄ6）＋Ｏｕｔ（ｅ7）・・・（４）
同様に、座標ｘ5に隣接する座標ｘ6における仮想画素の画素値Ｌ（６）は、式（４’）により求めることができる。
【００９３】
Ｌ（６）＝Ｏｕｔ（ａ4）＋Ｏｕｔ（ｂ5）＋Ｏｕｔ（ｃ6）＋Ｏｕｔ（ｄ7）＋Ｏｕｔ（ｅ8）  ・・・（４’）
したがって、各座標ｘ1，ｘ2，ｘ3，・・・における各仮想画素の画素値Ｌ（１），Ｌ（２），Ｌ（３），・・・は、式（４”）によりそれぞれ求めることができる。
【００９４】
Ｌ（ｉ）＝Ｏｕｔ（ａi-2）＋Ｏｕｔ（ｂi-1）＋Ｏｕｔ（ｃi）＋Ｏｕｔ（ｄi+1）＋Ｏｕｔ（ｅi+2）  ・・・（４”）
この式（４”）は、図１０に示した画像データＩａ，Ｉｂ，Ｉｃ，Ｉｄ，Ｉｅを指定像面の高さＺに応じた量（ここでは仮想画素１つ分）だけずらして重ね合わせることを示している。これによって、指定像面（Ｚ＝ｈ1）の画像データが合成される。
【００９５】
なお、この式（４”）は、ユーザによる指定絞り値が開放（開口サイズ最大）であったときに採用される式である。
【００９６】
仮に、ユーザによる指定絞り値が最大（開口サイズ最小）であったときには、光線ｒ1，ｒ2，ｒ3，ｒ4，ｒ5からなる光束を、光線ｒ3のみからなる光束に制限すればよいので、式（４”）に代えて式（５）を採用すればよい。
【００９７】
Ｌ（ｉ）＝Ｏｕｔ（ｃi）・・・（５）
また、ユーザによる指定絞り値が中間値（開口サイズ中間）であったときには、光線ｒ1，ｒ2，ｒ3，ｒ4，ｒ5からなる光束を、光線ｒ2，ｒ3，ｒ4のみからなる光束に制限すればよいので、式（４”）に代えて式（６）を採用すればよい。
【００９８】
Ｌ（ｉ）＝Ｏｕｔ（ｂi-1）＋Ｏｕｔ（ｃi）＋Ｏｕｔ（ｄi+1）  ・・・（６）
なお、ここでは、或る１方向に並ぶ５つの画素ａ，ｂ，ｃ，ｄ，ｅのみに着目し、それら５つの画素の出力値の和をとったが、実際は、２方向に並ぶ２５個の画素の出力値の和をとる必要がある（但し、和に加えるべき画素の数は、指定絞り値に応じて増減する。）。
【００９９】
次に、図１３に示すように、指定像面が、合成範囲内の上記以外の或る面（Ｚ＝ｈ2）である場合について説明する。
【０１００】
この面の座標ｘ5（マイクロレンズＭＬ5に対向する領域）からの射出光束（光線ｒ1，ｒ2，ｒ3，ｒ4，ｒ5）は、複数の画素にまたがって入射する。
【０１０１】
例えば、光線ｒ1に着目すると、画素ａ3，ｂ3にまたがって入射する。このとき、光線ｒ1の光量は、画素ａ3の出力値Ｏｕｔ（ａ3）と画素ｂ3の出力値Ｏｕｔ（ｂ3）との重み付け和によって求まる（式（７））。
【０１０２】
Ｏｕｔ（ａ3）×ｑ1＋Ｏｕｔ（ｂ3）×ｑ2  ・・・（７）
ここで、重み係数ｑ1，ｑ2の和は、指定像面の高さＺに依存して決まる定数である。
【０１０３】
したがって、各座標ｘ1，ｘ2，ｘ3，・・・における各仮想画素の画素値Ｌ（１），Ｌ（２），Ｌ（３），・・・は、複数の出力値の重み付け和、しかも、指定像面の高さＺに依存して決まる重み係数による重み付け和によって求める必要がある（但し、和に加えるべき画素の数は、指定絞り値に応じて増減する）。
【０１０４】
以上のことから、本撮像装置では、指定像面の画像データを合成するに当たり、指定像面が特定の限られた面でなくとも、複数の出力値の重み付け和をとることで、画像の合成ができる。
【０１０５】
因みに、指定像面が図１１、図１２に示した特定の面（Ｚ＝０，Ｚ＝ｈ1）である場合にも、主光線以外の光線まで考慮し、それに関係する全ての出力値の重み付け和をとれば、より高い精度で合成を行うことができる。
【０１０６】
次に、重み係数の具体例を説明する。
【０１０７】
図１４、図１５、図１６には、座標ｘ5に位置する仮想画素の画素値Ｌ（５）を求めるときの重み係数の例を示した。ここでは、ユーザによる指定絞り値が開放である場合の例を説明する。また、簡単のため、１方向に並ぶ５つの画素ａ，ｂ，ｃ，ｄのみに着目する。
【０１０８】
図１４は、指定像面が合成範囲内の特定の面（Ｚ＝０）であるときの例であり、図１５は、指定像面が合成範囲内の別の特定の面（Ｚ＝ｈ1）であるときの例であり、図１６は、指定像面が合成範囲内の一般の面（Ｚ＝ｈ2）であるときの例である。
【０１０９】
図１４、図１５、図１６において、各画素に対応付けられたバーの長さが、各画素の出力値にかかる重み係数の値（相対値）を示している。重みの最適な値は、実験的に求めることができる。
【０１１０】
因みに、図１４の例に倣って指定像面の画像データを一括で求めるときには、以下の演算式を採用すればよい。
【０１１１】
【数１】
2011217411.tif 000003
【０１１２】
また、図１５の例に倣って指定像面の画像データを一括で求めるときには、以下の演算式を採用すればよい。
【０１１３】
【数２】
2011217411.tif 000004
【０１１４】
因みに、これらの演算式において、重み係数ｗ１，ｗ２，ｗ３，ｗ４，ｗ５の値は、図１４、図１５の各バーの長さに相当する。但し、図１４、図１５に示した例は、ユーザによる指定絞り値を開放（開口サイズ最大）としたときの例であるので、仮に、ユーザによる設定絞り値が中間値（開口サイズ中間）であるときには、重み係数ｗ１，ｗ２，ｗ３，ｗ４，ｗ５のうち係数ｗ１，ｗ５の値は、極めて小さい値に設定される。また、ユーザによる指定絞り値が最大（開口サイズ最小）であるときには、重み係数ｗ１，ｗ２，ｗ３，ｗ４，ｗ５のうち係数ｗ１，ｗ２，ｗ４，ｗ５の値は、極めて小さい値に設定される。
【０１１５】
以上のことから、本撮像装置では、撮像素子１３の全画素の出力値からなる出力値ベクトルに対し、重み係数マトリクスを乗算することにより、指定像面の画像データを合成する。
【０１１６】
この出力値ベクトルの縦方向のサイズは、撮像素子１３の全画素数に一致する。また、重み係数マトリクスの横方向のサイズは、出力値ベクトルの縦方向のサイズに一致する。また、重み係数マトリクスの縦方向のサイズは、合成すべき画像データの仮想画素の画素数に一致する。
【０１１７】
そして、この重み係数マトリクスの内容は、ユーザによる指定像面の高さＺと、ユーザによる指定絞り値とに応じて決定される。この決定は、演算処理回路１５によって適宜行われる。
【０１１８】
なお、この決定にかかる処理を簡単にするために、予め複数種類の重み係数マトリクスがメモリ１６（図１参照）に格納されてもよい。その場合、演算処理回路１５は、それら重み係数マトリクスのうち１つを、ユーザによる指定像面及び指定絞り値に応じて選択使用すればよい。
【０１１９】
また、本撮像装置においては、画像データの分解能をユーザが指定できるように構成されていてもよい。分解能の指定は、像面の指定や、絞り値の指定と同様、ユーザインタフェース１８を介して行われる。また、画像データの分解能の設定は、画素配列１３０の出力値（及び／又は画像データの仮想画素の画素値）を、演算処理回路１５が必要に応じて補間処理又は間引き処理をすることによって行われる。
【０１２０】
実際的には、指定像面の位置（マイクロレンズアレイ面からの距離）が決まると、それに応じて各マイクロレンズ下の画素配列の画像サイズを変更（距離が離れる程拡大）し、隣接するマイクロレンズに関するこれらの画像データを反転した後に相互に所定量ずつずらして加算合成して全体画像を作成するのが効率的である。この場合、指定絞り値（絞り条件）に応じて加算合成の重みを変更する。
【０１２１】
［第２実施形態］
以下、第２実施形態を説明する。本実施形態は、画像データの分解能を高めるときの画像合成方法の一例である。但し、本合成方法が適用できるのは、指定像面が合成範囲Ｌの前端近傍であるとき（Ｚ≒Ｌのとき）のみである。
【０１２２】
本合成方法では、図１７に示すとおり、仮想画素の幅を、マイクロレンズＭＬの配置ピッチＰよりも狭い幅ω（例えばω＝Ｐ／２）に設定する。この幅ωの仮想画素の画素値を求めるために、先ず、画素配列１３０内の画素補間が行われる。
【０１２３】
図１７（ａ）の右方に示した棒状のグラフは、画素配列１３０内に並ぶ５つの画素の出力値の分布を示している。これら５つの画素の出力値に補間処理を施すと、曲線で示すような滑らかな分布が得られる。よって、例えば、図１７（ｂ）に実線で示すように、画素配列１３０内に５つ以上（以下、９つとする）の画素が並べられたときと同等の９個の画素値が得られる。
【０１２４】
一方、幅ωの仮想画素からの射出光束は、図１７（ｂ）に点線で示すような光量分布で９つの画素上に入射する。
【０１２５】
この光量分布の分布曲線Ｗは、仮想画素と画素配列１３０との間の結像関係から、仮想画素の座標（Ｘ，Ｙ，Ｚ）と、仮想画素の幅ωと、射出光束の立体角度Ωとに依存する。
【０１２６】
したがって、この分布曲線Ｗ（Ｘ，Ｙ，Ｚ，ω，Ω）に応じた重み係数を、前述の９つの画素値に乗算して和をとれば、仮想画素からの射出光束の光量を高精度に求めることができる。
【０１２７】
そして、このような重み付け和を、仮想画素から各角度で射出する各光束についてそれぞれ行い、さらにそれらの和（又は重み付け和）をとれば、仮想画素の画素値が求まる。
【０１２８】
さらに、この演算を指定像面の全ての仮想画素についてそれぞれ行えば、分解能ωで指定像面の画像データを合成することができる。
【０１２９】
ここで、以上の本合成方法においても、演算の基礎となるデータは第１実施形態のそれと同じ（つまり撮像素子１３の全画素の画素出力）である。したがって、本合成方法に基づき重み係数マトリクスを決定しておけば、第１実施形態と同様に、出力値ベクトルに重み係数マトリクスを乗算するだけで、指定像面の画像データを一括で求めることができる。
【０１３０】
但し、本合成方法では、分解能を高めた分だけ（仮想画素の数が増えた分だけ）、重み係数マトリクスの縦方向のサイズも増大する。
【０１３１】
［第３実施形態］
以下、第３実施形態を説明する。本実施形態は、第１実施形態の撮像装置及び画像合成方法を１部変更したものである。ここでは、変更点のみ説明する。
【０１３２】
本撮像装置の撮像素子１３の個々の画素配列１３０には、図１８（ａ）に示すようなカラーフィルタアレイが設けられている。
【０１３３】
カラーフィルタアレイは、画素配列１３０の画素に入射する可視光を赤色成分のみに制限するフィルタＲ、緑色成分のみに制限するフィルタＧ、青色成分のみに制限するフィルタＢをベイヤ配列してなる。ベイヤ配列は、画素配列１３０上に市松状に並ぶ各画素にフィルタＧを設け、その間隙の各画素に、フィルタＲ，Ｂを交互に設ける配列である。
【０１３４】
以下、フィルタＧの設けられた画素を「Ｇ画素」、フィルタＲの設けられた画素を「Ｒ画素」、フィルタＢの設けられた画素を「Ｂ画素」という。
【０１３５】
本合成方法では、このベイヤ配列に応じて、図１８（ｂ），（ｃ）に示すように、公知の補間方法で画素補間を行う。
【０１３６】
すなわち、１２個のＧ画素の画素出力を補間して画素配列１３０の全体の２５個のＧ画素の画素値を得る。また、６個のＲ画素の画素出力を補間して画素配列１３０の全体の２５個のＲ画素の画素値を得る。また、６個のＢ画素の画素出力を補間して画素配列１３０の全体の２５個のＢ画素の画素値を得る。この各面に、前の実施形態で説明した処理を行えば、カラー画像が得られる。
【０１３７】
なお、本合成方法の手順では、画素補間を色成分毎に独立して行ったので、配置密度の低いＲ画素の補間誤差と、Ｂ画素の補間誤差とが、配置密度の高いＧ画素の補間誤差よりも大きくなる傾向にある。それを改善し、更に画質を向上させるには、先ず、密度の高い緑色（Ｇ色）に関して、指定像面に関する全画像データの合成を行っておき、ついで赤色（Ｒ面）のデータは補間せずに前記指定像面へ投影し、投影された位置にあるＧの値（若しくはＧの補間値）との差分Ｃｒ＝Ｒ−Ｇを作成し、しかる後に、Ｃｒとして補間を行うことが好ましい。こうしてＣｒの全画像データが得られたら、Ｒ＝Ｃｒ＋Ｇにより、赤色（Ｒ色）の全画像データが得られる。青色の画像データ（Ｂ面）も同様にして形成される。
【０１３８】
なお、本撮像装置のカラーフィルタアレイには、ベイヤ配列を適用したが、他の配列、例えば、ストライプ状にフィルタＧを配置すると共にフィルタＣの列の間の列にフィルタＲ，Ｂを交互に配置するものなどが適用されてもよい。
［その他］
なお、画素配列１３０の各画素を構成する光電変換素子受光部の間隙には、転送部などが配置されることが多いので、その間隙はあまり小さくならない。よって、そのままでは、間隙に入射する光線がロスになってしまう。
【０１３９】
そこで、本撮像装置においては、図１９（ａ）に示すように、各画素への集光率を高めるために、画素ピッチと同等の径を持つマイクロレンズＭＬ’を光電変換素子受光部上に設けてもよい。
【０１４０】
なお、画素配列１３０の縁部の画素への集光率は、他の画素への集光率よりも低くなりがちなので、図１９（ｂ）に矢印で示すように、画素配列１３０の縁部では、画素を構成するこの２層目のマイクロレンズの光軸を光電変換素子受光部中心から若干内側にずらしておくと、その画素への集光率を、中心の画素への集光率に近づけることができるので好ましい。
【０１４１】
また、本撮像装置においては、図２０に示すように、マイクロレンズアレイ１２の直前にフィールドレンズＦＬを配置してもよい。フィールドレンズＦＬを配置すれば、像高の高い位置に配置されたマイクロレンズＭＬに入射する光束の角度が抑えられるので好ましい。
【０１４２】
また、本撮像装置においては、複数の区分的な画素配列１３０を二次元状に配置した撮像素子１３が用いられたが（図１参照）が、全体に一様に画素を配列した通常の撮像素子を用意し、その必要な部分を選択的に使うようにしてもよい。
【０１４３】
また、本撮像装置には、モニタなどの表示部が備えられてもよい。その場合、合成した画像データや、その画像データに付随する情報などを表示部に表示させてもよい。
【０１４４】
また、本撮像装置は、像面及び絞り値をユーザに指定させるタイミングは、撮影後、意図によって自由に変更できることが大きな利点であったが、勿論、撮影前の指定を反映するようにしてもよい。
【０１４５】
また、上記説明では、指定像面が１つの場合であったが、複数であってもよい。撮影後、任意のピント面を多数自在に再現できる点が、本発明の特徴である。因みに、複数の指定像面の画像データは、三次元の画像を表すので、本発明は、三次元撮像装置として使うことができる。
【０１４６】
また、本撮像装置は、像面の代わりに撮影ポイントを指定させてもよい。その場合、本撮像装置は、撮影ポイント（指定点）の輝度データのみを合成すればよい。
【０１４７】
その他、ユーザが指定可能な項目に、「撮影範囲」が加えられてもよい。その場合、本撮像装置は、指定された撮像範囲内の画像データのみを合成すればよい。
【０１４８】
また、本撮像装置では、画像合成に関わる全ての処理を演算処理回路１５が実行しているが、その処理の一部又は全部は、撮像装置の外部のコンピュータが実行してもよい。その場合、コンピュータには、予め、画像合成のためのプログラムがインストールされる。
【符号の説明】
【０１４９】
１１  撮影レンズ
１２  マイクロレンズアレイ
１３  撮像素子アレイ
ＭＬ  マイクロレンズ
１３０  撮像素子
１４  駆動回路
１５  演算処理回路
１６  メモリ
１７  制御回路
１８  ユーザインタフェース
２２  仕切り部材
１１Ａ  絞り部材
ａ，ｂ，ｃ，ｄ，ｅ  画素
【図１】
2011217411.tif 000005
【図２】
2011217411.tif 000006
【図３】
2011217411.tif 000007
【図４】
2011217411.tif 000008
【図５】
2011217411.tif 000009
【図６】
2011217411.tif 000010
【図７】
2011217411.tif 000011
【図８】
2011217411.tif 000012
【図９】
2011217411.tif 000013
【図１０】
2011217411.tif 000014
【図１１】
2011217411.tif 000015
【図１２】
2011217411.tif 000016
【図１３】
2011217411.tif 000017
【図１４】
2011217411.tif 000018
【図１５】
2011217411.tif 000019
【図１６】
2011217411.tif 000020
【図１７】
2011217411.tif 000021
【図１８】
2011217411.tif 000022
【図１９】
2011217411.tif 000023
【図２０】
2011217411.tif 000024
【手続補正書】
【提出日】平成23年8月10日(2011.8.10)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
結像光学系の焦点面近傍に二次元状に配置された複数の正レンズと、
前記複数の正レンズの各々に対して複数個ずつ画素を配列した撮像素子とを備え、
前記結像光学系の射出瞳の異なる領域からの光束を前記複数個の画素で個別に受光する撮像装置において１回の撮影で得られたデータに適用される画像合成方法であって、
前記１回の撮影で得られたデータの前記複数個の画素から選択した複数画素の画素値を加算することにより、前記結像光学系の任意の像面における像の画素の画素値を求めて前記結像光学系の任意の像面における像の画像データを合成し、
前記合成において、前記複数個の画素から選択する複数画素を変えることにより、前記結像光学系の異なる像面における像の画素の画素値を求めて、前記結像光学系の異なる像面における像の画像データを合成する
ことを特徴とする画像合成方法。
【請求項２】
前記加算の際に、前記1回の撮影で得られたデータの前記複数個の画素から選択した複数画素の画素値に所定の重み係数を乗算した値を加算する
ことを特徴とする請求項１に記載の画像合成方法。
【請求項３】
結像光学系の焦点面近傍に二次元状に配置された複数の正レンズと、
前記複数の正レンズの各々の後側に複数個ずつ画素を配列した撮像素子とを備え、
前記結像光学系の射出瞳の異なる領域からの光束を前記複数個の画素で個別に受光する撮像装置に適用される画像合成方法であって、
前記撮像素子の画素出力に基づき、前記結像光学系の任意の像面における像の画像データを合成する合成手順を含み、
前記合成手順では、
前記複数個の画素が個別に形成する複数個の画像データを、前記任意の像面の位置に応じてずらして重ね合わせることにより、前記像の画像データを合成する
ことを特徴とする画像合成方法。
【請求項４】
結像光学系の焦点面近傍に二次元状に配置された複数の正レンズと、
前記複数の正レンズの各々に対して複数個ずつ画素を配列した撮像素子とを備え、
前記結像光学系の射出瞳の異なる領域からの光束を前記複数個の画素で個別に受光する撮像装置であって、
前記撮像装置において１回の撮影で得られたデータに適用される合成手段を備え、
前記合成手段は、
前記１回の撮影で得られたデータの前記複数個の画素から選択した複数画素の画素値を加算することにより、前記結像光学系の任意の像面における像の画素の画素値を求めて前記結像光学系の任意の像面における像の画像データを合成し、
前記合成において、前記複数個の画素から選択する複数画素を変えることにより、前記結像光学系の異なる像面における像の画素の画素値を求めて、前記結像光学系の異なる像面における像の画像データを合成する
ことを特徴とする撮像装置。
【請求項５】
前記合成手段は、
前記加算の際に、前記1回の撮影で得られたデータの前記複数個の画素から選択した複数画素の画素値に所定の重み係数を乗算した値を加算する
ことを特徴とする請求項４に記載の撮像装置。
【請求項６】
結像光学系の焦点面近傍に二次元状に配置された複数の正レンズと、
前記複数の正レンズの各々の後側に複数個ずつ画素を配列した撮像素子とを備え、
前記結像光学系の射出瞳の異なる領域からの光束を前記複数個の画素で個別に受光する撮像装置であって、
前記撮像素子の画素出力に基づき、前記結像光学系の任意の像面における像の画像データを合成する合成手段を備え、
前記合成手段は、
前記複数個の画素が個別に形成する複数個の画像データを、前記任意の像面の位置に応じてずらして重ね合わせることにより、前記像の画像データを合成する
ことを特徴とする撮像装置。
【請求項７】
結像光学系と、
前記結像光学系の焦点面近傍に複数のマイクロレンズを所定のピッチで二次元状に配置したマイクロレンズアレイと、
前記マイクロレンズのそれぞれに対して複数の受光部を有し、前記結像光学系の射出瞳の異なる領域を通過する光束を該受光部ごとに受光して受光信号を出力する受光部アレイと、
前記受光部アレイから出力される受光信号に基づいて、前記結像光学系の光路中の任意の位置を像面とする画像を合成する演算部とを備え、
前記演算部は、
前記任意の位置と、前記任意の位置に任意に設定された領域の大きさと、所望の絞りに対応する前記任意に設定された大きさの領域に入射する光束の立体角度と、前記各マイクロレンズの複数の受光部から出力される受光信号とに基づいて、前記任意に設定された大きさの領域に入射する光束の光量を求めることにより、前記結像光学系の光路中の任意の位置を像面とする画像を合成する
ことを特徴とする撮像装置。
【請求項８】
請求項７に記載の撮像装置において、
前記合成する画像の画素は、前記任意に設定された大きさの領域に対応する
ことを特徴とする撮像装置。
【請求項９】
請求項７に記載の撮像装置において、
前記演算部は、
前記任意の位置と、前記任意に設定された領域の大きさと、前記立体角度をパラメータとする窓関数と、前記各マイクロレンズの複数の受光部から出力される受光信号とに基づいて、前記任意に設定された大きさの領域に入射する光束の光量を求める
ことを特徴とする撮像装置。
【請求項１０】
請求項７に記載の撮像装置において、
前記演算部は、
前記各マイクロレンズの前記複数の受光部から出力する複数の受光信号について補間処理をすることにより、前記各マイクロレンズの前記複数の受光部からの受光信号より数の多い受光信号を求め、前記求めた前記複数の受光部からの受光信号より数の多い受光信号に基づき、前記任意に設定された大きさの領域に入射する光束の光量を求める
ことを特徴とする撮像装置。
【請求項１１】
結像光学系と、
前記結像光学系の焦点面近傍に複数のマイクロレンズを所定のピッチで二次元状に配置したマイクロレンズアレイと、
前記マイクロレンズのそれぞれに対して複数の受光部を有し、前記結像光学系の射出瞳の異なる領域を通過する光束を該受光部ごとに受光して受光信号を出力する受光部アレイと、
前記受光部アレイから出力される受光信号に基づいて、前記結像光学系の光路中の任意の位置を像面とする画像を合成する演算部とを備え、
前記演算部は、
前記各マイクロレンズの前記複数の受光部から出力する複数の受光信号について補間処理をすることにより、前記各マイクロレンズの前記複数の受光部からの受光信号より数の多い受光信号を得る
ことを特徴とする撮像装置。
【請求項１２】
結像光学系と、
前記結像光学系の焦点面近傍に複数のマイクロレンズを所定のピッチで二次元状に配置したマイクロレンズアレイと、
前記マイクロレンズのそれぞれに対して複数の受光部を有し、前記結像光学系の射出瞳の異なる領域を通過する光束を該受光部ごとに受光して受光信号を出力する受光部アレイと、
前記受光部アレイから出力される受光信号に基づいて、前記結像光学系の光路中の任意の位置を像面とする画像を合成する演算部とを備え、
前記演算部は、
前記各マイクロレンズの複数の受光信号を反転し、隣接するマイクロレンズの前記反転した複数の受光信号を前記任意の位置に応じた所定量ずらして重ね合わせて前記画像を合成する
ことを特徴とする撮像装置。
【請求項１３】
結像光学系と、
前記結像光学系の焦点面近傍に複数のマイクロレンズを所定のピッチで二次元状に配置したマイクロレンズアレイと、
前記マイクロレンズのそれぞれに対して複数の受光部を有し、前記結像光学系の射出瞳の異なる領域を通過する光束を該受光部ごとに受光して受光信号を出力する受光部アレイと、
前記受光部アレイから出力される受光信号に基づいて、前記結像光学系の光路中の任意の位置を像面とする画像を合成する演算部とを備え、
前記受光部アレイには、１つの受光部に１つの色成分が対応する複数の色成分からなるカラーフィルターが設けられ、
前記演算部は、
前記複数の色成分のうち最も分布密度の高い第１の色成分の受光部から出力される受光信号に基づいて、前記任意の位置を像面とする前記第１の色成分の画像を合成し、前記合成した画像において、前記第１の色成分の合成後の受光信号を使用して前記第１色成分とは異なる第２の色成分の受光部に対応する位置における前記第１色成分の信号を補間する
ことを特徴とする撮像装置。
【請求項１４】
請求項１３に記載の撮像装置において、
前記演算部は、
前記第２の色成分の受光部から出力される受光信号に基づいて、前記任意の位置を像面とする前記第２の色成分の画像を合成し、
前記合成された第２の色成分の画像において、前記補間された第１の色成分の受光信号を使用して、前記第２の色成分の受光信号と前記第１の色成分の受光信号との差分信号を生成し、
前記生成した差分信号を使用して、前記差分信号が生成されていない位置における前記差分信号を補間し、
前記補間された差分信号と前記第１の色成分の受光信号に基づき、補間された前記第２の色の成分の受光信号を求める
ことを特徴とする撮像装置。
【請求項１５】
請求項１４に記載の撮像装置において、
前記複数の色成分からなるカラーフィルターは、赤色成分、緑色成分、青色成分からなるベイヤ配列のカラーフィルターであり、
前記第１の色成分は緑色成分であり、
前記第２の色成分は赤色成分又は青色成分である
ことを特徴とする撮像装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
（１）本発明の画像合成方法は、結像光学系の焦点面近傍に二次元状に配置された複数の正レンズと、前記複数の正レンズの各々に対して複数個ずつ画素を配列した撮像素子とを備え、前記結像光学系の射出瞳の異なる領域からの光束を前記複数個の画素で個別に受光する撮像装置において１回の撮影で得られたデータに適用される画像合成方法であって、前記１回の撮影で得られたデータの前記複数個の画素から選択した複数画素の画素値を加算することにより、前記結像光学系の任意の像面における像の画素の画素値を求めて前記結像光学系の任意の像面における像の画像データを合成し、前記合成において、前記複数個の画素から選択する複数画素を変えることにより、前記結像光学系の異なる像面における像の画素の画素値を求めて、前記結像光学系の異なる像面における像の画像データを合成する。
（２）なお、前記加算の際に、前記1回の撮影で得られたデータの前記複数個の画素から選択した複数画素の画素値に所定の重み係数を乗算した値を加算してもよい。
（３）また、本発明の画像合成方法は、結像光学系の焦点面近傍に二次元状に配置された複数の正レンズと、前記複数の正レンズの各々の後側に複数個ずつ画素を配列した撮像素子とを備え、前記結像光学系の射出瞳の異なる領域からの光束を前記複数個の画素で個別に受光する撮像装置に適用される画像合成方法であって、前記撮像素子の画素出力に基づき、前記結像光学系の任意の像面における像の画像データを合成する合成手順を含み、前記合成手順では、前記複数個の画素が個別に形成する複数個の画像データを、前記任意の像面の位置に応じてずらして重ね合わせることにより、前記像の画像データを合成する。
（４）また、本発明の撮像装置は、結像光学系の焦点面近傍に二次元状に配置された複数の正レンズと、前記複数の正レンズの各々に対して複数個ずつ画素を配列した撮像素子とを備え、前記結像光学系の射出瞳の異なる領域からの光束を前記複数個の画素で個別に受光する撮像装置であって、前記撮像装置において１回の撮影で得られたデータに適用される合成手段を備え、前記合成手段は、前記１回の撮影で得られたデータの前記複数個の画素から選択した複数画素の画素値を加算することにより、前記結像光学系の任意の像面における像の画素の画素値を求めて前記結像光学系の任意の像面における像の画像データを合成し、前記合成において、前記複数個の画素から選択する複数画素を変えることにより、前記結像光学系の異なる像面における像の画素の画素値を求めて、前記結像光学系の異なる像面における像の画像データを合成する。
（５）なお、前記合成手段は、前記加算の際に、前記1回の撮影で得られたデータの前記複数個の画素から選択した複数画素の画素値に所定の重み係数を乗算した値を加算してもよい。
（６）また、本発明の撮像装置は、結像光学系の焦点面近傍に二次元状に配置された複数の正レンズと、前記複数の正レンズの各々の後側に複数個ずつ画素を配列した撮像素子とを備え、前記結像光学系の射出瞳の異なる領域からの光束を前記複数個の画素で個別に受光する撮像装置であって、前記撮像素子の画素出力に基づき、前記結像光学系の任意の像面における像の画像データを合成する合成手段を備え、前記合成手段は、前記複数個の画素が個別に形成する複数個の画像データを、前記任意の像面の位置に応じてずらして重ね合わせることにより、前記像の画像データを合成する。
（７）結像光学系と、前記結像光学系の焦点面近傍に複数のマイクロレンズを所定のピッチで二次元状に配置したマイクロレンズアレイと、前記マイクロレンズのそれぞれに対して複数の受光部を有し、前記結像光学系の射出瞳の異なる領域を通過する光束を該受光部ごとに受光して受光信号を出力する受光部アレイと、前記受光部アレイから出力される受光信号に基づいて、前記結像光学系の光路中の任意の位置を像面とする画像を合成する演算部とを備え、前記演算部は、前記任意の位置と、前記任意の位置に任意に設定された領域の大きさと、所望の絞りに対応する前記任意に設定された大きさの領域に入射する光束の立体角度と、前記各マイクロレンズの複数の受光部から出力される受光信号とに基づいて、前記任意に設定された大きさの領域に入射する光束の光量を求めることにより、前記結像光学系の光路中の任意の位置を像面とする画像を合成する。
（８）なお、前記合成する画像の画素は、前記任意に設定された大きさの領域に対応するものであってもよい。
（９）また、前記演算部は、前記任意の位置と、前記任意に設定された領域の大きさと、前記立体角度をパラメータとする窓関数と、前記各マイクロレンズの複数の受光部から出力される受光信号とに基づいて、前記任意に設定された大きさの領域に入射する光束の光量を求めてもよい。
（１０）また、前記演算部は、前記各マイクロレンズの前記複数の受光部から出力する複数の受光信号について補間処理をすることにより、前記各マイクロレンズの前記複数の受光部からの受光信号より数の多い受光信号を求め、前記求めた前記複数の受光部からの受光信号より数の多い受光信号に基づき、前記任意に設定された大きさの領域に入射する光束の光量を求めてもよい。
（１１）本発明の撮像装置は、結像光学系と、前記結像光学系の焦点面近傍に複数のマイクロレンズを所定のピッチで二次元状に配置したマイクロレンズアレイと、前記マイクロレンズのそれぞれに対して複数の受光部を有し、前記結像光学系の射出瞳の異なる領域を通過する光束を該受光部ごとに受光して受光信号を出力する受光部アレイと、前記受光部アレイから出力される受光信号に基づいて、前記結像光学系の光路中の任意の位置を像面とする画像を合成する演算部とを備え、前記演算部は、前記各マイクロレンズの前記複数の受光部から出力する複数の受光信号について補間処理をすることにより、前記各マイクロレンズの前記複数の受光部からの受光信号より数の多い受光信号を得る。
（１２）本発明の撮像装置は、結像光学系と、前記結像光学系の焦点面近傍に複数のマイクロレンズを所定のピッチで二次元状に配置したマイクロレンズアレイと、前記マイクロレンズのそれぞれに対して複数の受光部を有し、前記結像光学系の射出瞳の異なる領域を通過する光束を該受光部ごとに受光して受光信号を出力する受光部アレイと、前記受光部アレイから出力される受光信号に基づいて、前記結像光学系の光路中の任意の位置を像面とする画像を合成する演算部とを備え、前記演算部は、前記各マイクロレンズの複数の受光信号を反転し、隣接するマイクロレンズの前記反転した複数の受光信号を前記任意の位置に応じた所定量ずらして重ね合わせて前記画像を合成する。
（１３）本発明の撮像装置は、結像光学系と、前記結像光学系の焦点面近傍に複数のマイクロレンズを所定のピッチで二次元状に配置したマイクロレンズアレイと、前記マイクロレンズのそれぞれに対して複数の受光部を有し、前記結像光学系の射出瞳の異なる領域を通過する光束を該受光部ごとに受光して受光信号を出力する受光部アレイと、前記受光部アレイから出力される受光信号に基づいて、前記結像光学系の光路中の任意の位置を像面とする画像を合成する演算部とを備え、前記受光部アレイには、１つの受光部に１つの色成分が対応する複数の色成分からなるカラーフィルターが設けられ、前記演算部は、前記複数の色成分のうち最も分布密度の高い第１の色成分の受光部から出力される受光信号に基づいて、前記任意の位置を像面とする前記第１の色成分の画像を合成し、前記合成した画像において、前記第１の色成分の合成後の受光信号を使用して前記第１色成分とは異なる第２の色成分の受光部に対応する位置における前記第１色成分の信号を補間する。
（１４）なお、前記演算部は、前記第２の色成分の受光部から出力される受光信号に基づいて、前記任意の位置を像面とする前記第２の色成分の画像を合成し、前記合成された第２の色成分の画像において、前記補間された第１の色成分の受光信号を使用して、前記第２の色成分の受光信号と前記第１の色成分の受光信号との差分信号を生成し、前記生成した差分信号を使用して、前記差分信号が生成されていない位置における前記差分信号を補間し、前記補間された差分信号と前記第１の色成分の受光信号に基づき、補間された前記第２の色の成分の受光信号を求めてもよい。
（１５）また、前記複数の色成分からなるカラーフィルターは、赤色成分、緑色成分、青色成分からなるベイヤ配列のカラーフィルターであり、前記第１の色成分は緑色成分であり、前記第２の色成分は赤色成分又は青色成分であってもよい。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】削除
【補正の内容】
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】削除
【補正の内容】
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】削除
【補正の内容】
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】削除
【補正の内容】
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】削除
【補正の内容】
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】削除
【補正の内容】
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】削除
【補正の内容】
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】削除
【補正の内容】
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】削除
【補正の内容】
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００１７
【補正方法】削除
【補正の内容】
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００１８
【補正方法】削除
【補正の内容】
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００１９
【補正方法】削除
【補正の内容】
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】００２０
【補正方法】削除
【補正の内容】
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】００２１
【補正方法】削除
【補正の内容】
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】００２２
【補正方法】削除
【補正の内容】