(57)【要約】  【課題】リフォーカス処理によって撮影画面内の任意の位置に合焦した画像が得られる撮像措置であって、撮影者が撮影時に狙った被写体にピントが合った画像がリフォーカス処理をせずに撮影直後に得られる撮像装置を提供する事。  【解決手段】撮像素子と、合焦のために光軸方向に移動可能なフォーカスレンズを含む撮影レンズと、撮像素子上の画素へ入射する光束を撮影レンズの特定の瞳領域のみに制限する瞳分割手段と、撮像素子から得られた電気信号に対して通過した瞳領域ごとに異なるシフトを与える手段と、この手段から得られた電気信号に適当な正の値を掛けて加算する手段と、異なる瞳領域を通過した像の相関を計算する相関計算手段と、フォーカスレンズを駆動して複数の合焦状態位置において被写体像を受光する制御手段と、相関計算手段の結果から主被写体を判定する判定手段を有し、制御手段は判定手段により判定された主被写体を含む複数の合焦状態位置にフォーカスレンズを駆動して被写体像を受光する。【選択図】図１
2013161065.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子と、
合焦のために光軸方向に移動可能なフォーカスレンズを含む撮影レンズと、
前記撮像素子上の画素へ入射する光束を前記撮影レンズの特定の瞳領域のみに制限する瞳分割手段と、
前記撮像素子から得られた電気信号に所定の正の値を掛けて加算する像生成手段と、
異なる瞳領域を通過した像の相関を計算する相関計算手段と、
前記フォーカスレンズを駆動して複数の合焦状態位置において被写体像を受光する制御手段と、
前記相関計算手段の結果から主被写体を判定する判定手段を有し、
前記制御手段は前記判定手段により判定された主被写体に合焦する位置に前記フォーカスレンズを駆動させて被写体像を受光すると共に、該受光した被写体像を前記像生成手段により取得する事を特徴とする撮像装置。
【請求項２】
前記判定手段は前記相関計算手段の結果から副被写体を判定し、その結果に応じて前記制御手段は副被写体に合焦する位置に前記フォーカスレンズを駆動させて被写体像を受光すると共に、該受光した被写体像を前記像生成手段により取得する事を特徴とする請求項１に記載の撮像装置。
【請求項３】
前記撮像素子から得られた電気信号に対して通過した瞳領域ごとに異なるシフトを与える像シフト手段を有し、前記像生成手段は前記像シフト手段から得られた電気信号に所定の正の値を掛けて加算する事で主被写体及び副被写体以外に合焦した被写体像を取得する事を特徴とする請求項１又は請求項２に記載の撮像装置。
【請求項４】
前記制御手段は前記判定手段により判定された主被写体に合焦する第一の位置に前記フォーカスレンズを駆動して被写体像を取得した後に、前記判定手段により判定された副被写体に合焦する第二の位置に前記フォーカスレンズを駆動する事を特徴とする請求項２に記載の撮像装置。
【請求項５】
前記判定手段は撮影画面内で所定範囲内のデフォーカス量が分布しているエリアが一番大きいところを主被写体として判定する事を特徴とする請求項１に記載の撮像装置。
【請求項６】
前記判定手段は撮影画面内で所定範囲内のデフォーカス量が分布しているエリアが主被写体の次に大きいところを副被写体として判定する事を特徴とする請求項１に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルカメラに代表される撮像装置に関し、特にフォーカスブラケット撮影とリフォーカス処理によって撮影画面全体の任意の位置に合焦した画像を得る方法に関するものである。
【背景技術】
【０００２】
従来、例えば撮影者の技量不足により撮影者が狙った動く被写体にピントが合わないのを補助するために、いわゆるフォーカスブラケット撮影を行って、所定の被写体距離に合焦した状態と、その前後（あるいは例えば前方の一方向）にフォーカスレンズを駆動した状態で撮影する事で、撮影者が撮影した被写体にピントが合った画像を得られるようにしていた。しかしながら、撮影者が狙った被写体及びその近傍に合焦する状態でフォーカスブラケット撮影を行うので、撮影画面全体の任意の位置に合焦した画像が得られるという事は出来なかった。
【０００３】
そこで、異なる瞳領域を通過した光束を個別に受光可能な撮像措置であって、撮像後に任意の被写体にピント調整を行った画像を生成する（以下、リフォーカス処理と呼ぶ）手法によって、撮影時もしくは撮影後のリフォーカス処理によって撮影画面の任意の位置に合焦した画像が得られるような撮像装置が提案されている。
【０００４】
例えば特許文献１には、測距結果から画面内の至近側焦点検出エリアから無限側焦点検出エリアまでを分割してフォーカスブラケット撮影して、撮影後にリフォーカス処理をする事で任意の被写体にピントが合った画像を生成する事が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−１９７５５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１においては、撮影時に狙った被写体にピントが合った画像を得るためには、撮影後にリフォーカス処理をしなければならない時があり、撮影直後に狙った被写体に合焦した画像がプレビュー画像として表示されなかったり、狙った被写体に合焦した画像を得るために、撮影者にリフォーカス処理の手間を取らせたりする等、利便性が良くない。すなわち、特許文献１では、画面内の至近側焦点検出エリアから無限側焦点検出エリアまでを、１回のリフォーカス処理で合成可能な範囲内で光軸方向に複数分割し、分割した複数範囲内に対応して撮像装置のフォーカスレンズを駆動して複数回撮影を行うフォーカスブラケット撮影を行っているので、撮影者が撮影時に狙った被写体にピントが合う位置にフォーカスレンズが駆動されずにリフォーカス処理で合成可能な位置にフォーカスレンズが駆動されてしまう事があるからである。
【０００７】
そこで、本発明の目的は、リフォーカス処理によって撮影画面内の任意の位置に合焦した画像が得られる撮像措置であって、撮影者が撮影時に狙った被写体にピントが合った画像がリフォーカス処理をせずに撮影直後に得られる撮像装置を提供する事である。
【課題を解決するための手段】
【０００８】
撮像素子と、合焦のために光軸方向に移動可能なフォーカスレンズを含む撮影レンズと、前記撮像素子上の画素へ入射する光束を前記撮影レンズの特定の瞳領域のみに制限する瞳分割手段と、前記撮像素子から得られた電気信号に所定の正の値を掛けて加算する像生成手段と、異なる瞳領域を通過した像の相関を計算する相関計算手段と、前記フォーカスレンズを駆動して複数の合焦状態位置において被写体像を受光する制御手段と、前記相関計算手段の結果から主被写体を判定する判定手段を有し、前記制御手段は前記判定手段により判定された主被写体に合焦する位置に前記フォーカスレンズを駆動させて被写体像を受光すると共に、該受光した被写体像を前記像生成手段により取得する事を特徴とする。
【発明の効果】
【０００９】
本発明によれば、リフォーカス処理によって撮影画面内の任意の位置に合焦した画像が得られる撮像措置であって、撮影者が撮影時に狙った被写体にピントが合った画像がリフォーカス処理をせずに撮影直後に得られる撮像装置を提供する事が出来る。
【図面の簡単な説明】
【００１０】
【図１】カメラシステムのブロック図
【図２】カメラ１００の背面図
【図３】実施例における撮像装置の光学系の模式図
【図４】撮影時の表示部２５８の表示例を示す図
【図５】実施例におけるフォーカスブラケット撮影時の動作フロー図
【図６】実施例におけるフォーカスブラケット撮影時のＡＦレンズ１２０の光学方向の位置の説明図
【図７】実施例におけるフォーカスブラケット撮影時の動作サブフロー図
【図８】実施例における像生成手段の動作フロー図
【図９】実施例におけるリフォーカス処理時の動作フロー図
【図１０】実施例におけるリフォーカス処理時の動作サブフロー図
【図１１】像の再構成動作を示す模式図
【図１２】リフォーカス処理のために被写体を選択している時の説明図
【発明を実施するための形態】
【００１１】
【実施例】
【００１２】
以下、図１から図１１を参照して、本発明の撮像装置について説明する。
【００１３】
図１は、撮像装置であるデジタルカメラおよびレンズの電気的構成を示すブロック図である。カメラ１００およびレンズ１０２からなるカメラシステムは、撮像系、画像処理系、記録再生系、制御系を有する。撮像系は、撮影光学系１０１、撮像素子２５２を含み、画像処理系は、画像処理部１５０を含む。また、記録再生系は、メモリ１９７、表示部２５８を含み、制御系は、ボディＣＰＵ１０９、およびレンズＣＰＵ１０３、レンズ駆動手段であるズームレンズ駆動部１１１及びＡＦレンズ駆動部１２１を含む。
【００１４】
図２は同カメラシステムの背面図である。
【００１５】
本実施形態におけるカメラシステムは、カメラ１００に対して着脱可能なレンズ１０２内に撮影光学系１０１が設けられている。撮像系は、物体からの光を、撮影光学系１０１を介して撮像素子２５２の撮像面に結像する光学処理系である。
【００１６】
撮影光学系１０１はズームレンズ１１０を有しており、超音波モータやステッピングモータを駆動源とするズームレンズ駆動部１１１によって光軸方向に駆動可能である。ズームレンズ電圧ドライバ１１３は、ズームレンズ駆動部１１１を駆動制御する電圧を発生する。
【００１７】
ズーム位置検出部１１２は、光軸Ｉに沿ったズームレンズ１１０の位置を検出するズームエンコーダである。ズーム位置検出部１１２は、焦点距離値に応じたパルス信号をズームレンズ制御部１０５に出力する。
【００１８】
ズームレンズ制御部１０５は、ズームレンズ駆動部１１１を制御し、例えば撮影者がカメラ１００もしくはレンズ１０２に不図示のスイッチにより設定した焦点距離になる光軸Ｉ上の位置にズームレンズ１１０が駆動されるように追従制御を行う部分である。またズームレンズ制御部１０５は、ズーム位置検出部１１２が出力するパルス信号を取り込む。ズームレンズ制御部１０５は、撮影者が設定した焦点距離になる光軸Ｉ上の位置（目標位置）、ズームレンズ１１０の現在位置情報などに基づいて駆動信号を演算し、このデジタル駆動信号をズームレンズ電圧ドライバ１１３に出力する。
【００１９】
ズームレンズ電圧ドライバ１１３は、入力された駆動信号（駆動電圧）に応じて、ズームレンズ駆動部１１１に電力を供給するドライバ部である。ズームレンズ電圧ドライバ１１３は、駆動信号に対し、スイッチングを行い、ズームレンズ駆動部１１１に電圧を印加し、ズームレンズ駆動部１１１の駆動を行う。
【００２０】
また撮影光学系１０１は、ＡＦレンズ１２０を有しており、超音波モータやステッピングモータを駆動源とするＡＦレンズ駆動部１２１によって光軸方向に駆動可能である。ＡＦレンズ電圧ドライバ１２３は、ＡＦレンズ駆動部１２１を駆動制御する電圧を発生する。
【００２１】
フォーカス位置検出部１２２は、光軸Ｉに沿ったＡＦレンズ１２０の位置を検出するフォーカスエンコーダである。フォーカス位置検出部１２２は、被写体距離値に応じたパルス信号をＡＦレンズ制御部１０４に出力する。
【００２２】
ＡＦレンズ制御部１０４は、ＡＦレンズ駆動部１２１を制御し、例えば撮影者のカメラ１００のレリーズスイッチ１９１の操作により検出された被写体距離になる光軸Ｉ上の位置にＡＦレンズ１２０が駆動されるように追従制御を行う部分である。またＡＦレンズ制御部１０４は、フォーカス位置検出部１２２が出力するパルス信号を取り込む。ＡＦレンズ制御部１０４は、被写体距離になる光軸Ｉ上の位置（目標位置）、ＡＦレンズ１２０の現在位置情報などに基づいて駆動信号を演算し、このデジタル駆動信号をＡＦレンズ電圧ドライバ１２３に出力する。
【００２３】
ＡＦレンズ電圧ドライバ１２３は、入力された駆動信号（駆動電圧）に応じて、ＡＦレンズ駆動部１２１に電力を供給するドライバ部である。ＡＦレンズ電圧ドライバ１２３は、駆動信号に対し、スイッチングを行い、ＡＦレンズ駆動部１２１に電圧を印加し、ＡＦレンズ駆動部１２１の駆動を行う。
【００２４】
レンズＣＰＵ１０３は、レンズ１０２側の種々の制御を行う中央処理部である。レンズＣＰＵ１０３内には、ズームレンズ制御部１０５と、ＡＦレンズ制御部１０４が設けられている。
【００２５】
レンズＣＰＵ１０３は、レンズ１０２とカメラ１００との間に設けられたレンズ接点１９０を介して、ボディＣＰＵ１０９との間で通信が可能である。
【００２６】
ＥＥＰＲＯＭ１３１は、レンズ１０２に関する種々の固有情報であるレンズデータなどを格納する不揮発性の記憶部である。
【００２７】
ボディＣＰＵ１０９は、カメラシステム全体の種々の制御を行う中央処理部である。ボディＣＰＵ１０９には、レリーズスイッチ１９１の情報が入力され、レリーズスイッチ１９１が半押し、又は、全押しされたことを検知する事が出来る。これにより、撮像素子２５２の駆動、画像処理部１５０の動作、メモリ１９７の圧縮処理などを制御する。さらに表示部２５８によって液晶モニタ等に情報表示を行う情報表示装置の各セグメントの状態を制御する。
【００２８】
また、ボディＣＰＵ１０９は、後述するように、ユーザーが撮影時に主被写体としている被写体や副被写体（ユーザーが主被写体の次に合焦した画像が欲しいと想定される被写体）と考えている被写体を判定する機能を有している。よって、ボディＣＰＵ１０９が本発明の判定手段に相当する。
【００２９】
画像処理部１５０は、内部にＡ／Ｄ変換器、ホワイトバランス回路、ガンマ補正回路、補間演算回路等を有しており、記録用の画像を生成することができる。また、本発明の要部である、像シフト手段、像生成手段、相関計算手段等を含める事も出来る（本実施例ではこれらの要素はボディＣＰＵ１０９内に配置する場合を想定して記載する）。
【００３０】
撮像素子２５２は、具体的には、増幅型固体撮像素子の１つであるＣＭＯＳプロセスコンパチブルのセンサ（以降ＣＭＯＳセンサと略す）である。ＣＭＯＳセンサの特長の１つに、エリアセンサ部のＭＯＳトランジスタと撮像装置駆動回路、ＡＤ変換回路、画像処理回路といった周辺回路を同一工程で形成できるため、マスク枚数、プロセス工程がＣＣＤと比較して大幅に削減できる。また、任意の画素へのランダムアクセスが可能といった特長も有し、ディスプレイ用に間引いた読み出しが容易であって、表示部２５８において高い表示レートでリアルタイム表示が行える。
【００３１】
撮像素子２５２は、上述した特長を利用し、ディスプレイ画像出力動作（撮像素子２５２の受光領域のうち一部を間引いた領域での読み出し）および高精彩画像出力動作（全受光領域での読み出し）を行う。
【００３２】
また撮像素子２５２表面にはマイクロレンズが格子状に配置してあり、いわゆるマイクロレンズアレイ（以下ＭＬＡ２０）を形成している。ＭＬＡ２０は本実施例において、瞳分割手段を構成する。ＭＬＡ２０の機能や配置の詳細については図３を用いて後述する。後述するように、撮像素子２５２からピント評価量／適当な露光量が得られるので、この信号に基づいて適切に撮影光学系１０１が調整されることで、適切な光量の物体光を撮像素子２５２に露光するとともに、撮像素子２５２近傍で被写体像が結像する。
【００３３】
なお、ボディＣＰＵ１０９は、後述するように、画像処理部１５０を動作させて撮像素子２５２に結像した被写体像から撮影画像のデフォーカス量を求め、その結果と前述の主被写体３１０の判定結果に応じてレンズ接点１９０を介してレンズＣＰＵ１０３に送信する事でＡＦレンズ１２０の駆動を制御する事にもなるので、ボディＣＰＵ１０９は、本発明の制御手段にも相当する。
【００３４】
図３は、本実施例における撮影光学系の要部を説明する図である。本発明を適用するためには、いわゆる光線空間情報等といわれる光線の位置に加えて角度の情報を取得する必要がある。本実施例では、角度情報の取得のために撮影光学系１０１の結像面近傍にＭＬＡ２０を配置するとともに、ＭＬＡ２０を構成する１つのレンズに対して複数の画素を対応させている。
【００３５】
図３の（ａ）は撮像素子２５２とＭＬＡ２０の関係模式的に示す図である。図３の（ｂ）は撮像素子２５２の画素とＭＬＡ２０の対応を示す模式図である。図３の（ｃ）はＭＬＡ２０によってＭＬＡ２０の下に設けられた画素が特定の瞳領域と対応付けられる事を示す図である。
【００３６】
図３の（ａ）に示すように、撮像素子２５２上にはＭＬＡ２０が設けられており、ＭＬＡ２０の前側主点は撮影光学系１０１の結像面近傍になるように配置されている。図３の（ａ）は撮像装置の横からと、正面からＭＬＡ２０を見た状態を示しており、撮像装置正面から見るとＭＬＡ２０のレンズが撮像素子２５２上の画素を覆うように配置されている。なお、図３の（ａ）ではＭＬＡ２０を構成する各マイクロレンズを見やすくするために、大きく記載したが、実際には各マイクロレンズは画素の数倍程度の大きさしかない（実際の大きさについては図３の（ｂ）を用いて説明する）。
【００３７】
図３の（ｂ）は図３の（ａ）の装置正面からの図を一部拡大した図である。図３の（ｂ）に示す格子状の枠は、撮像素子２５２の各画素を示している。一方ＭＬＡ２０を構成する各マイクロレンズは太い円２０ａ，２０ｂ，２０ｃ，２０ｄで示した。図３の（ｂ）から明らかなように、マイクロレンズ１つに対して複数の画素が割り当てられており、図３の（ｂ）の例では、５行ｘ５列＝２５個の画素が１つのマイクロレンズに対して設けられている（すなわち各マイクロレンズの大きさは画素の大きさの５倍ｘ５倍の大きさである）。
【００３８】
図３の（ｃ）は撮像素子２５２を、マイクロレンズ光軸を含み、撮像素子２５２の長手方向が図の横方向になるように切断した図である。図３の（ｃ）の２１、２２、２３、２４、２５は撮像素子２５２の画素（１つの光電変換部）を示している。
【００３９】
一方、図３の（ｃ）の上方に示した図は撮影光学系１０１の射出瞳面を示している。実際には、図３の（ｃ）の下方に示した撮像素子２５２の図と方向を合わせると、射出瞳面は図３の（ｃ）の紙面垂直方向になるが、説明のために投影方向を変化させている。また、図３の（ｃ）においては、説明を簡単にするために、１次元の投影／信号処理について説明する。実際の装置においては、これを容易に２次元に拡張する事が出来る。
【００４０】
図３の（ｃ）の画素２１、２２、２３、２４、２５は図３の（ｂ）の２１ａ、２２ａ、２３ａ、２４ａ、２５ａとそれぞれ対応する位置関係にある。図３の（ｃ）に示すように、マイクロレンズによって各画素は撮影光学系１０１の射出瞳面上の特定の領域と共役になるように設計されている。図３の（ｃ）の例では画素２１と領域３１が、画素２２と領域３２が、画素２３と領域３３が、画素２４と領域３４が、画素２５と領域３５がそれぞれ対応している。すなわち画素２１には撮影光学系１０１の射出瞳面上の領域３１を通過した光束のみが入射する。他の画素も同様である。結果として、瞳面上での通過領域と撮像素子２５２上の位置関係から角度の情報を取得する事が可能となる。
【００４１】
ここで後ほどの説明を簡単にするために記号を導入する。図３の（ｃ）に示すように、撮像素子２５２の画素ピッチをΔｘ、角度分解能をΔθとする。さらに角度の分割数をＮθ（図３の例ではＮθ＝５）とする。画素ピッチは撮像素子２５２の形状によって決定され、Δθは光線の角度を取得する範囲と角度分割数Ｎθで決定される。すなわち、物理的な構造（撮像素子２５２およびＭＬＡ２０の構造）のみによってこれらのパラメータは決定される。
【００４２】
レリーズスイッチ１９１は、前述の通り、図示しないレリーズボタンの半押し動作（ＳＷ１のＯＮ）を検出して、一連の撮影準備動作（測光動作や焦点調節動作等）を開始させ、レリーズボタンの全押し動作（ＳＷ２のＯＮ）を検出して、撮影動作（撮像素子２５２から読み出された画像データの記録媒体への記録）を開始させるスイッチである。
【００４３】
１９２は任意方向の操作が可能な選択スイッチで、不図示の公知の撮影メニューの項目を選択したり、後述するように、撮影者が主被写体を選択したりする時に用いるスイッチである。
【００４４】
１９３は決定スイッチで、不図示の公知の撮影メニューの決定をしたり、後述するように、撮影者が主被写体を決定したりする時に用いるスイッチである。
【００４５】
１９５はカメラ１００を起動させるためのメインスイッチである。
【００４６】
１９６はカメラ１００の撮影モードを設定するためのモードスイッチで、後述する「フォーカスブラケット撮影モード」を設定する事が出来る。
【００４７】
１９７はメモリで、実際の記憶部に加えて記録に必要な処理回路を備えている。メモリ手段は、記録部へ出力を行うとともに、表示部２５８に出力する像を生成、保存する。
【００４８】
また、メモリ１９７は、予め定められた方法を用いて画像、動画、音声などの圧縮を行う。
【００４９】
表示部２５８はカメラ１００の背面に取り付けられており、使用者は表示部２５８での表示を直接観察できるようになっている。
【００５０】
表示部２５８を、有機ＥＬ空間変調素子や液晶空間変調素子、微粒子の電気泳動を利用した空間変調素子などで構成すれば、消費電力を小さくでき、かつ表示部２５８の薄型化を図る事が出来る。これにより、カメラ１００の省電力化および小型化を図る事が出来る。
【００５１】
図４は、いわゆるライブビュー撮影時に表示部２５８に表示される被写体像の様子を示した図である。
【００５２】
図４において、表示部２５８には、被写体像２５８ａと撮影条件（シャッタ速度、絞り値、ＩＳＯ感度等）や露出レベル表示、電池残量表示等の撮影情報２５８ｂが表示されている。
【００５３】
また被写体像２５８ａ表示部内には、複数の測距点（測距領域）３０１が設けられており、撮像素子２５２からのピント検出結果に基づいて選択された測距点３０２を別の表示形態（色違いでの表示等）にする事により、撮影者に合焦している主被写体部を知らせる事が出来る。
【００５４】
なお、カメラ１００の選択スイッチ１９２と決定スイッチ１９３を用いて測距部２５３の検出結果によらずに複数の測距点３０１の中から合焦させたい任意の位置のものをユーザーが選択可能である。その際は、ユーザーが選択した測距点３０２に基づいて撮像素子２５２からのピント検出結果から主被写体までの距離を演算する事でピンボケ写真になるのを防止する。
【００５５】
図５から図７は本発明のカメラシステムがフォーカスブラケット撮影する時の動作を説明するためのフローチャートであるので、これらを用いて、以下、フォーカスブラケット撮影時のカメラ１００及びレンズ１０２の動作について説明する。
【００５６】
ステップ（以下、Ｓとする）１０１０では、メインスイッチ１９５がＯＮになっているかどうかの判定がボディＣＰＵ１０９によって行われる。メインスイッチ１９５がＯＦＦのままであれば、カメラ１００はスリープ状態のままであり、メインスイッチ１９５がＯＮになればＳ１０２０に進む。
【００５７】
Ｓ１０２０では、カメラ１００がモードスイッチ１９６によってフォーカスブラケット撮影モードに設定されているかどうかの判定がボディＣＰＵ１０９によって行われる。ＹｅｓであればＳ１０３０に進み、ＮｏであればＳ１２５０に進み、通常の撮影動作を行う。Ｓ１２５０の動作は公知の動作であり、また本発明の内容とは異なるので詳細な説明を省略する。
【００５８】
Ｓ１０３０では、レリーズスイッチ１９１が半押し動作が行われたかどうかの判断を行う。ＹＥＳならばＳ１０４０に進む。
【００５９】
Ｓ１０４０では、撮像素子２５２を適当な時間露光して、読み出す（Ａ／Ｄ変換する）事によりデータを取得する。
【００６０】
この時の露光時間と露光量から撮影において適当な露出量を計算する事も出来るが、本発明の要部ではないので説明は割愛する。
【００６１】
Ｓ１０５０では相関計算手段を動作させて結果を得る。相関計算手段の動作の詳細は図７を用いて後述するが、このステップで、いわゆる位相差ＡＦによるピント位置を求める事が出来る。
【００６２】
Ｓ１０６０では、Ｓ１０５０での計算結果から各測距点３０１でのデフォーカス量を算出する。
【００６３】
Ｓ１０７０では、Ｓ１０６０で求めた各測距点３０１でのデフォーカス量からユーザーが主被写体としているボディＣＰＵ１０９が被写体を判定する。具体的には、例えば各測距点３０１でのデフォーカス量の分布状況やその絶対値の差から、ある特定の値及びその近傍のデフォーカス量となっている測距点３０１の数が多いエリアを特定し、そのエリア内の被写体を主被写体３１０と判定すると共に、そのエリアで一番デフォーカス量が小さいものをピント位置の測距点３０２として表示する（図４参照）。
【００６４】
あるいは、前述のように、カメラ１００の選択スイッチ１９２と決定スイッチ１９３を用いて、ユーザーが複数の測距点３０１の中から合焦させたい任意の位置の測距点３０２を指定した場合に、その測距点３０２におけるデフォーカス量と等しいか、あるいはその近傍のデフォーカス量となっている測距点３０１が分布しているエリア内の被写体をボディＣＰＵ１０９は主被写体３１０と判定しても良い。
【００６５】
Ｓ１０８０では、Ｓ１０７０と同様に、ボディＣＰＵ１０９は、Ｓ１０６０で求めた各測距点３０１でのデフォーカス量からユーザーが副被写体としている被写体を判定する。ここでいう副被写体とは、後述のフォーカスブラケット撮影もしくはリフォーカス処理により、主被写体３１０の次にピントの合った画像を取得したい被写体の事である。
【００６６】
Ｓ１０８０での具体的な処理は、Ｓ１０７０と同様に、各測距点３０１でのデフォーカス量の分布状況やその絶対値の差から、ある特定の値及びその近傍のデフォーカス量となっている測距点３０１の数が、主被写体３１０のエリアの次に多いエリアを特定し、そのエリア内の被写体を副被写体３２０と判定する。なおこの時、そのエリアで一番デフォーカス量が小さいものを測距点３０３として主被写体３１０の測距点３０２や他の測距点３０１とは異なる表示形態（色違いでの表示等）で表示しても良い（図４参照）。
【００６７】
また、前述のように、カメラ１００の選択スイッチ１９２と決定スイッチ１９３を用いて、ユーザーが複数の測距点３０１の中から副被写体３２０として主被写体３１０の次に合焦した画像を取得したい被写体上にある測距点３０３を指定した場合に、その測距点３０３におけるデフォーカス量と等しいか、あるいはその近傍のデフォーカス量となっている測距点３０１が分布しているエリア内の被写体をボディＣＰＵ１０９は副被写体３２０と判定しても良い。
【００６８】
なお、Ｓ１０７０及びＳ１０８０において、ユーザーがカメラ１００の選択スイッチ１９２と決定スイッチ１９３を用いて主被写体３１０と副被写体３２０を指定する場合は、表示部２５８内に例えば「主被写体を選択／決定して下さい」等の表示が行ってユーザーの補助をすれば、ユーザーにとっては利便性が向上する。
【００６９】
また、撮影範囲内（図４で被写体像２５８ａとして表示されているエリア内の事）で測距領域外（測距点３０１が配置されていない所）にいる被写体に対してもＳ１０５０の処理によりデフォーカス量が求まっているので、Ｓ１０８０と同様に副被写体３３０及び３３１として判定しても良い。
【００７０】
Ｓ１０９０では、後述のフォーカスブラケット撮影（画像取得）をする際に、ＡＦレンズ１２０のどの位置において撮影を行うのかの演算をボディＣＰＵ１０９は行う。具体的には、Ｓ１０７０で判定した主被写体３１０及びＳ１０８０で判定した副被写体３２０を少なくとも含み、Ｓ１０５０の処理により求まっているデフォーカス量によって被写体像２５８ａの内の最至近位置から最無限位置までの被写体がフォーカスブラケット撮影もしくはリフォーカス処理により合焦状態となるようなＡＦレンズ１２０の複数の位置をボディＣＰＵ１０９は演算する。この演算結果の例を図６に示す。
【００７１】
図６において、左端が被写体像２５８ａ内の最至近の合焦状態位置を示し、右端が被写体像２５８ａ内の最無限の合焦状態位置を示し、その間に主被写体３１０と副被写体３２０が居る。このような場合、Ｓ１０９０では、主被写体３１０が合焦状態となる丸２の位置と副被写体３２０が合焦状態となる丸３の位置を演算で求まると共に、丸２及び丸３の位置での撮影画像からリフォーカスが可能な範囲内（図６中、Ｄで示した範囲）から外れた奥行き方向に居る被写体（例えば、副被写体３３０及び３３１）にもフォーカスブラケット撮影もしくはリフォーカス処理により合焦状態となるようなＡＦレンズ１２０の位置（丸１及び丸４）がＳ１０９０の演算により求まる。
【００７２】
Ｓ１１００では、Ｓ１０９０の演算結果をボディＣＰＵ１０９からレンズ接点１９０を介してレンズＣＰＵ１０３が受け取り、その後、ＡＦレンズ１２０をＡＦレンズ駆動部１２１により駆動してＳ１０９０により求まった主被写体３１０が合焦状態となる位置にＡＦレンズ１２０を移動する。
【００７３】
Ｓ１１１０では、画像処理部１５０が有する像生成手段を動作させて結果を得る。像生成手段の動作の詳細は図９を用いて後述するが、これにより、撮像素子２５２に結像した主被写体３１０の像がメモリ１９７に生成される。
【００７４】
Ｓ１１２０では、Ｓ１１１０にて生成された主被写体３１０に合焦した画像を撮影前のプレビュー画像として表示部２５８に表示する。
【００７５】
Ｓ１１３０では、レリーズスイッチ１９１が全部押し込まれたか（ＳＷ２がオンになったかどうか）の判断をボディＣＰＵ１０９が行う。ＮＯならばＳ１０４０に戻り、一連の動作を繰り返す。ＹＥＳならばＳ１１４０に進む。
【００７６】
Ｓ１１４０では、公知の撮影動作を行うと共に、撮像素子２５２に結像した主被写体３１０の像を、公知の画像処理技術を経て画像処理部１５０で処理した記録画像としてメモリ１９７もしくは不図示の記録媒体に記録する。
【００７７】
Ｓ１１５０では、ＡＦレンズ１２０をＡＦレンズ駆動部１２１により駆動してＳ１０９０により求まった副被写体３２０が合焦状態となる位置にＡＦレンズ１２０を移動する。
【００７８】
Ｓ１１６０では、副被写体３２０が合焦状態となる位置にＡＦレンズ１２０が移動した事をフォーカス位置検出部１２２で検出した後、公知の撮影動作を行うと共に、撮像素子２５２に結像した副被写体３２０の像を、公知の画像処理技術を経て画像処理部１５０で処理した記録画像としてメモリ１９７もしくは不図示の記録媒体に記録する。
【００７９】
Ｓ１１７０では、Ｓ１０９０により求まったＡＦレンズ１２０の位置（主被写体３１０及び副被写体３２０が合焦する位置とは異なる位置）にＡＦレンズ１２０をＡＦレンズ駆動部１２１により駆動して移動させるとともに、その位置にて公知の撮影動作を行い、撮像素子２５２に結像した被写体像を、公知の画像処理技術を経て画像処理部１５０で処理した記録画像としてメモリ１９７もしくは不図示の記録媒体に記録する。つまり、図６に示した例であれば、副被写体３２０に合焦するＡＦレンズ１２０の位置「丸３」から、丸４及び丸１の位置にそれぞれＡＦレンズ１２０を移動させた後、丸４及び丸１の位置にて公知の撮影動作を行う事となる。
【００８０】
Ｓ１１８０では、Ｓ１１４０で記録した主被写体３１０に合焦した記録画像をＳ１１１０と同様に画像処理部１５０が有する像生成手段を動作させて、主被写体３１０に合焦した被写体像をメモリ１９７に生成する。
【００８１】
Ｓ１１９０では、Ｓ１１８０で生成した主被写体３１０に合焦した記録画像を表示部２５８に表示する。なお、主被写体３１０に続いて、Ｓ１１６０で記録した副被写体３２０に合焦した記録画像を、主被写体３１０と同様に画像処理部１５０が有する像生成手段に動作させる事よりメモリ１９７に生成した後、表示部２５８に表示したり、あるいは、Ｓ１１４０及びＳ１１６０で記録した画像を同時に表示部２５８に表示したりしても良い。いずれにしても、後述のリフォーカス処理をせずに、ユーザーは撮影直後に主被写体３１０もしくは副被写体３２０に合焦した画像を確認／取得する事が出来る。
【００８２】
Ｓ１２００では、メインスイッチ１９５がＯＦＦになったかどうかのボディＣＰＵ１０９が判断を行う。ＮＯの場合はＳ１０３０に戻って一連の撮影動作を行う。
【００８３】
Ｓ１２００でＹＥＳの場合は、撮影動作を終了する。
【００８４】
以下、図７を用いて、Ｓ１０５０で行われる相関演算のサブフローについて説明する。ステップＳ１３１０は画像処理部１５０が有する相関計算手段の動作開始を示している。
【００８５】
ステップＳ１３２０からステップＳ１４２０はループを形成している。
【００８６】
ステップＳ１３２０では、評価位置の数（いわゆる測距視野数）に対応して繰り返し演算を行う。測距視野数は多くなると画面全体を覆うことが可能となるが評価に時間が掛るという問題がある。ユーザーの設定などにより適切に設定する。
【００８７】
ステップＳ１３３０では、評価を行う評価点の数と、評価枠の大きさを設定する。ここでいう評価点の数とは、ステップＳ１３４０で行う相関値を求める点数であり、撮影条件やレンズ１０２の種類などに応じて適切に設定される。また、評価点の数は像をシフトさせながら相関を求める場合のシフト量に対応しており、これは撮像装置においては焦点合わせの探索を行うピントの深さに対応している。一方、評価枠の大きさは、大きくすると局所的にはあまりパターンを有していないテクスチャであってもピントを合わせる事が可能となるが、あまりにも大きくなると距離の異なる被写体の像を同時に評価する、いわゆる遠近競合が発生してしまう。これらの問題を解決できるように評価枠の大きさを適切に設定する。
【００８８】
ステップＳ１３４０からステップＳ１３９０はループを形成している。
【００８９】
ステップＳ１３４０では、ステップＳ１３３０で決定された評価数に対応した評価値を得るように繰り返し演算を行う。
【００９０】
ステップＳ１３５０からステップＳ１３７０はループを形成している。
【００９１】
ステップＳ１３５０では、ステップＳ１３３０で決定された評価枠の大きさに応じた画素数の範囲で相関計算を行う。相関計算はステップＳ１３６０にあるように、例えばΣ｜Ａｉ−Ｂｉ｜で計算すれば良い。ここで、Ａｉは特定の瞳領域を通過したｉ番目の画素の輝度を示している。ＢｉはＡｉとは異なる瞳領域を通過したｉ番目の画素の輝度を示している。例えば図３において、画素２２に対応する画素のみ並べたものをＡｉ、画素２４に対応する画素のみ並べたものをＢｉとすれば良い。どの瞳領域の画素を選択するかは、基線長の長さ、瞳面のケラレ状況、等によって決定すれば良い。
【００９２】
上記のように設定する事で、異なる瞳領域を通過した像の相関を計算出来、いわゆる位相差ＡＦに基づく評価量を得る事が出来る。
【００９３】
ステップＳ１３８０では、得られた相関値を評価量として格納する。
【００９４】
上記に示したΣ｜Ａｉ−Ｂｉ｜という評価式においては、相関値が小さくなった個所が最もピント状態が良い個所に対応している。ここでは差分絶対値を加算する方法で相関計算を行ったが、最大値を加算する方法、最小値を加算する方法、差分２乗値を加算する方法など他の計算方法によって相関計算を行っても良い
ステップＳ１４００では、相関評価値が最良となる（前述したようにステップＳ１３６０の式においては相関値が小さくなった個所だが、その他の指標も併用して最良を決定しても良い）点を相関量評価に基づく最良ピント位置として格納する。
【００９５】
この演算を各視野で行い、最終的に相関量評価に基づく最良ピント位置を得てステップＳ１４２０に進み、呼び出し元（ステップＳ１０６０）に戻る。
【００９６】
次に、図８を用いて画像処理部１５０が有する像生成手段の動作の詳細を説明する。
【００９７】
Ｓ１５１０は像生成手段の動作開始を示している。
【００９８】
Ｓ１５２０では、Ｓ１５５０での加算のための領域のデータを初期化する（０で埋める）。この時のデータ領域の大きさはＭＬＡ２０の数量あれば良く、データの諧調は元のデータの諧調と瞳分割数の積を格納できるだけあれば都合が良い。例えば元のデータが８ｂｉｔで２５分割の場合、１３ｂｉｔ（＞８ｂｉｔ＋ｌｏｇ２２５）あればデータの桁あふれを考慮する必要が無い。
【００９９】
Ｓ１５３０からＳ１５７０はループを形成している。
【０１００】
Ｓ１５３０では、ＭＬＡ２０を構成するマイクロレンズの数に応じてループ計算が実行される。例えば、図３に示した例では、元の撮像素子の画素数÷２５（瞳分割数）がマイクロレンズの数となる。
【０１０１】
Ｓ１５４０からＳ１５６０はループを形成している。
【０１０２】
Ｓ１５４０では、瞳分割数に応じた数だけループ計算が実行される。例えば、図３に示した例では、５ｘ５＝２５個に分割されていたので、２５個のそれぞれの瞳位置からの光束がＳ１５５０で加算される。シフト量が画素の整数倍でない場合は、Ｓ１５５０において、適切に内分されながら加算される（重なっている面積に応じて適切に加算すれば良い）。
【０１０３】
像生成手段は、図１１を用いて図解も行う（後述）。
【０１０４】
Ｓ１５８０において、呼び出し元のＳ１１００（もしくはＳ１１９０）に戻る。
【０１０５】
図９は本発明のカメラシステムがフォーカスブラケット撮影した画像を再生してリフォーカス処理する時の動作を説明するためのフローチャートであるので、これらを用いて、以下、撮影画像再生時及びリフォーカス処理時のカメラ１００の動作について説明する。なおここでは、撮影画像（記録画像）の再生時に、カメラ１００のモードスイッチ１９６によって、通常の画像再生表示を行うモードと、フォーカスブラケット撮影モードにより撮影した画像から、ユーザーが撮影時とは異なる被写体に合焦し直すリフォーカス処理が行えるリフォーカス処理モードが選択出来るものとして説明するが、それに限定するものではない（例えばリフォーカス処理専用の操作部材をカメラ１００に設け、その操作部材を操作する事によりリフォーカス処理が開始するようなシステムでも良い）。
【０１０６】
Ｓ１６１０では、カメラ１００がモードスイッチ１９６によってリフォーカス処理モードに設定されているかどうかの判定がボディＣＰＵ１０９によって行われる。ＹｅｓであればＳ１６３０に進み、ＮｏであればＳ１６２０に進み、通常の再生表示動作を行う。Ｓ１６２０の動作は公知の動作であり、また本発明の内容とは異なるので詳細な説明を省略する。
【０１０７】
Ｓ１６３０では、ユーザーがリフォーカス処理をするための画像を選択し終えたかどうかの判定がボディＣＰＵ１０９によって行われる。具体的には、前述のフォーカスブラケット撮影にて主被写体３１０に合焦した時に撮影した画像を表示部２５８に表示すると共に、表示部２５８に例えば「この画像にてリフォーカス処理をしますか？」等、ユーザーの意思確認を行う旨の表示を同時に行う。なお、その際、ユーザーがカメラ１００の決定スイッチ１９３を操作する事により、主被写体３１０に合焦した画像を決定したと判定する。ユーザーがリフォーカス処理を行う画像を選択し終えたならば、Ｓ１６４０に進む。
【０１０８】
Ｓ１６４０では、ユーザーは選択した主被写体３１０に合焦した画像からリフォーカス処理したい被写体の位置を指定する。具体的には、表示部２５８に表示された主被写体３１０に合焦した画像上に被写体選択マーク３０４が表示され、それをカメラ１００の選択スイッチ１９２で操作する事で合焦させたい被写体の位置まで被写体選択マーク３０４を移動させると共に、決定スイッチ１９３にて被写体選択を完了する。なおこの時、一連の操作をガイドするような表示が表示部２５８に表示されていると、ユーザーの利便性が向上するのは言うまでもない（図１２参照）。
【０１０９】
Ｓ１６５０では、Ｓ１６４０でユーザーがリフォーカス処理したい被写体が副被写体３２０であるかどうかの判定がボディＣＰＵ１０９によって行われる。ＹｅｓであればＳ１６６０に進み、Ｓ１１６０にて記録した副被写体３２０に合焦した状態で撮影した画像を、画像処理部１５０が有する像生成手段を動作させてメモリ１９７に被写体像を生成させた後、表示部２５８に表示して終了する。これは、以下に説明するリフォーカス処理が不要なためである。Ｎｏであれば（ユーザーが選択したのが主被写体３１０でも副被写体３２０でもなければ）Ｓ１６７０に進む。
【０１１０】
Ｓ１６７０では、Ｓ１１５０のフォーカスブラケット撮影にて撮影／記録した画像の中からＳ１６４０でユーザーが選択した被写体のデフォーカス量が一番小さい画像をボディＣＰＵ１０９が選択する。デフォーカス量が一番小さい画像を選ぶ理由は、以下に説明するリフォーカス処理の時間を短くするためである。
【０１１１】
Ｓ１６８０では、Ｓ１６７０でボディＣＰＵ１０９が選択したリフォーカス元画像を、画像処理部１５０が有する像生成手段を動作させてメモリ１９７に被写体像を生成させた後、表示部２５８に表示する。この時、Ｓ１６４０で表示している被写体選択マークは、そのままで該画像と共に表示されている事が望ましい。
【０１１２】
Ｓ１６９０及びＳ１７００が、本発明で言うところの「リフォーカス処理」である。
【０１１３】
Ｓ１６９０では、画像処理部１５０が有する像シフト手段を動作させて結果を得る。像シフト手段の動作の詳細は図１０を用いて後述する。
【０１１４】
Ｓ１７００では、画像処理部１５０が有する像生成手段を動作させて結果を得る。像生成手段の動作の詳細は図８で説明した内容（Ｓ１１１０及びＳ１１８０）と同じなので、その説明は省略する。
【０１１５】
Ｓ１７１０では、Ｓ１６９０及びＳ１７００にて行ったリフォーカス処理によって得られたＳ１６４０にてユーザーが選択した被写体に合焦した画像を表示部２５８に表示する。
【０１１６】
Ｓ１７２０では、Ｓ１６９０及びＳ１７００にて行ったリフォーカス処理の結果の可否をユーザーに確認する。具体的には、表示部２５８に、Ｓ１７１０にて表示している、ユーザーが選択した被写体に合焦した画像と共に、例えば「このリフォーカス処理でＯＫですか？」等の表示を行って、ユーザーが望んでいたリフォーカス画像が得られたどうかの確認をボディＣＰＵ１０９が行う。この時、さらに「ＯＫ」と「キャンセル」の表示等があり、「ＯＫ」という表示をカメラ１００の選択スイッチ１９２で選択して決定スイッチ１９３で決定したら、ユーザーが望んでいたリフォーカス画像が得られた（つまり、Ｙｅｓ）とボディＣＰＵ１０９は判断して、Ｓ１７３０に進む。一方、「キャンセル」をいう表示をカメラ１００の選択スイッチ１９２で選択して決定スイッチ１９３で決定したら、ユーザーが望んでいたリフォーカス画像が得られなかった（つまり、Ｎｏ）とボディＣＰＵ１０９は判断して、Ｓ１６４０に戻って一連のリフォーカス処理を再度行う。
【０１１７】
Ｓ１７３０では、リフォーカス処理をした画像をメモリ１９７や不図示の記録媒体に保存するかどうかの確認をボディＣＰＵ１０９は行う。具体的には、表示部２５８にＳ１７２０の時と同様に、ユーザーが選択した被写体に合焦した画像と共に、例えば「保存しますか？」等の表示を行って、ユーザーが望んでいたリフォーカス画像を保存するかどうかの確認をボディＣＰＵ１０９は行う。この時、さらに「する」と「しない」の表示等があり、「する」という表示をカメラ１００の選択スイッチ１９２で選択した後、決定スイッチ１９３を操作したら、ユーザーがリフォーカス画像を保存する（つまり、Ｙｅｓ）とボディＣＰＵ１０９は判断して、Ｓ１７４０に進む。一方、「しない」をいう表示をカメラ１００の選択スイッチ１９２で選択した後、決定スイッチ１９３を操作したらユーザーはリフォーカス画像を保存しない（つまり、Ｎｏ）とボディＣＰＵ１０９は判断して、一連のリフォーカス処理を終了する。
【０１１８】
Ｓ１７４０では、リフォーカス処理した画像をＳ１６３０にて選択した主被写体３１０に合焦した画像の名前とは別の名前でメモリ１９７や不図示の記録媒体に保存して、一連のリフォーカス処理を終了する。
【０１１９】
ここで、図１０を用いて画像処理部１５０が有する像シフト手段について説明する。
【０１２０】
Ｓ１８１０は像シフト手段の動作開始を示している。
【０１２１】
Ｓ１８２０からＳ１８６０はループを形成している。
【０１２２】
Ｓ１８２０では、瞳分割数に応じた数だけループ計算が実行される。例えば、図３に示した例では、５ｘ５＝２５個に分割されていたので、２５個のそれぞれの瞳位置に応じた計算がなされる。図１１を用いて後述するように、像の再構成を考えると同じ再構成面であっても入射角度が異なると像をシフトさせる量が異なる。これを適切に反映させるためのループである。
【０１２３】
Ｓ１８３０では、Ｓ１８４０からのデータを元に、評価位置に対応する各瞳領域での像シフト量を計算する。Ｓ１８４０には、撮像素子２５２上の各画素とＭＬＡ２０との対応関係が保存されており、各画素がどの瞳領域の光線を受光しているかが分かる情報が格納されている。
【０１２４】
Ｓ１８５０では、Ｓ１８３０の情報を元に同じ入射角の光線を得ている（同じ瞳領域からの光線を得ている）画素をシフトさせる。同じ入射角の光線を得ている画素は例えば図３の（ｂ）の２５ａと２５ｂが該当する。このような画素がＭＬＡ２０を構成するマイクロレンズの数だけ存在している。
【０１２５】
像シフト手段は、図１１を用いて図解も行う（後述）。
【０１２６】
Ｓ１８７０において、呼び出し元のＳ１７００に戻る。
【０１２７】
次に図１１を用いて像シフトおよび像生成を模式的に示す。
【０１２８】
図１１は上から（ａ）、（ｂ）、（ｃ）と並んでおり、図１１の（ｂ）は実際に撮像素子２５２が存在して画像を取得した面を、図１１（ａ）は図１１の（ｂ）よりも物体側の再構成面（再構成面１とする）を、図１１の（ｃ）は図１１の（ｂ）よりも物体側から遠い側の再構成面（再構成面２とする）をそれぞれ示している。
【０１２９】
図１１（ｂ）において、Ｘ１，ｉ、Ｘ２，ｉ、Ｘ３，ｉ、Ｘ４，ｉ、Ｘ５，ｉ、はそれぞれ瞳領域１、２、３、４、５を通過してマイクロレンズＸｉに入射して得られたデータを示している。すなわち、添え字のうち前半は通過する瞳領域を、後半は画素の番号を示している。
【０１３０】
また、図１１においても説明を明瞭にするために、データを１次元的な広がりしか持たないものとして記述している。物理的な位置との関係においては、Ｘ１，ｉは図３の（ｃ）の２１領域から得られるデータを、Ｘ２，ｉは図３の（ｃ）の２２領域から得られるデータを、以下添え字の３、４、５は領域２３、２４、２５に対応していることを示している。取得面での画像を生成するためには、図１１の（ｂ）にあるように、マイクロレンズＸｉに入射したデータを加算すればよい。具体的には、
Ｓｉ＝Ｘ１，Ｉ＋Ｘ２，ｉ＋Ｘ３，ｉ＋Ｘ４，ｉ＋Ｘ５，ｉ
でＸｉに入射した光の角度方向の積分値を得る事が出来る。これにより通常のカメラと同様の像が生成される。
【０１３１】
次に再構成面１での像の生成方法を考える。図３で説明したように、本実施例の撮影光学系は、各画素に入射する光束を特定の瞳領域に限定しているために、入射角度が既知である。この角度に沿って再構成面での各画素の位置を再構成する。具体的にはＸ１，ｉのように瞳領域の添え字が１のものは図１１の右側において４１に示すような角度で入射しているとする。以下瞳領域の添え字２，３，４，５はそれぞれ４２，４３，４４，４５に対応しているとする。この時再構成面１でのマイクロレンズＸｉに入射した光束は、取得面においては、Ｘｉ−２からＸｉ＋２に分散して入射している事になる。より具体的には、Ｘ１，ｉ−２、Ｘ２，ｉ−１、Ｘ３，ｉ、Ｘ４，ｉ＋１、Ｘ５，ｉ＋２に分散している。Ｘｉに限らず再構成面１での像を復元するためには、入射角度に応じて像をシフトさせて加算すれば良い事が分かる。再構成面１での像を生成するためには、瞳領域の添え字が１のものは右に２画素シフト、瞳領域の添え字が２のものは右に１画素シフト、瞳領域の添え字が３のものはシフトなし、瞳領域の添え字が４のものは左に１画素シフト、瞳領域の添え字が５のものは左に２画素シフトする事で入射角度に応じたシフトを与える事が出来る。
【０１３２】
その後、図１１の（ａ）の縦方向に加算することで再構成面１でのデータを得る事が出来る。具体的には、
Ｓｉ＝Ｘ１，ｉ−２＋Ｘ２，ｉ−１＋Ｘ３，ｉ＋Ｘ４，ｉ＋１＋Ｘ５，ｉ＋２
で再構成面１において、Ｘｉに入射した光の角度方向の積分値を得る事が出来る。これにより再構成面での画像が得られた。
【０１３３】
ここで、再構成面１において、Ｘｉに輝点があったとすると、取得面においてはＸ１，ｉ−２、Ｘ２，ｉ−１、Ｘ３，ｉ、Ｘ４，ｉ＋１、Ｘ５，ｉ＋２に分散していわゆるボケ状態にある。しかしながら、上述した再構成面１での像を生成すると、再びＸｉに輝点が生成されコントラストの高い像が得られる。
【０１３４】
また、図１１の（ｃ）から分かるように、再構成面２においても再構成面と全く同様に像を生成する事が出来る。再構成面を配置する方向が異なると（物体に対して反対側という意味）シフトさせる方向を反転させれば良いだけである。
【０１３５】
以上に説明したように、リフォーカス処理によって撮影画面内の任意の位置に合焦した画像が得られる撮像措置であって、撮影者が撮影時に狙った被写体にピントが合った画像がリフォーカス処理をせずに撮影直後に得られる撮像装置を提供する事が出来る。
【０１３６】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【０１３７】
また本発明ではカメラ１００とレンズ１０２が着脱可能であるとしたが、これに限定せず、カメラ１００とレンズ１０２が一体化しているカメラでも上記で説明したのと同様な効果が得られる事は言うまでもない。
【符号の説明】
【０１３８】
２０：マイクロレンズアレイ（ＭＬＡ）
１００：カメラ
１０２：レンズ
１０９：ボディＣＰＵ
１２０：ＡＦレンズ
１９２：選択スイッチ
１９３：決定スイッチ
１９６：モードスイッチ
２５２：撮像素子
２５８：表示部
３０１，３０２，３０３：測距点
３１０：主被写体
３２０：副被写体
【図１】
2013161065.tif 000003
【図２】
2013161065.tif 000004
【図３】
2013161065.tif 000005
【図４】
2013161065.tif 000006
【図５】
2013161065.tif 000007
【図６】
2013161065.tif 000008
【図７】
2013161065.tif 000009
【図８】
2013161065.tif 000010
【図９】
2013161065.tif 000011
【図１０】
2013161065.tif 000012
【図１１】
2013161065.tif 000013
【図１２】
2013161065.tif 000014