(57)【要約】      （修正有）【課題】撮影画面の奥行き方向に傾いた特定の被写体（主被写体）の全域が合焦し、かつ、主被写体以外の背景は自然にボケた撮影画像が取得可能な撮像装置を提供する。【解決手段】撮像素子上の瞳分割手段により、主被写体を判定する第一の判定手段と、主被写体以外を背景と判定する第二の判定手段と、デフォーカスマップより主被写体の全域が深度内となる結像面の傾きを演算する演算手段と、像生成位置を設定する像生成位置設定手段と、各画素への入射角度を決定する入射角決定手段と、像生成位置設定手段で設定された像生成位置と入射角決定手段の情報より、像生成位置に対応する画像信号のシフト量を瞳領域ごとに決定して画像信号をシフトし、その信号を加算する像生成手段と、第二の判定手段により判定された背景の像生成位置を第一の判定手段により判定された主被写体の像生成位置と連続性がある位置に決定する背景生成位置決定手段とを備える。【選択図】図１
2017009942.tif 000002
【特許請求の範囲】
【請求項１】
撮影レンズを含む撮影光学系と、
前記撮影レンズを介して入射される被写体の光学像を光電変換して画像信号を出力する撮像素子と、を含む撮像装置において、
前記撮像素子上の各画素に入射する前記被写体の光学像の光束を前記撮影レンズの特定の瞳領域からの光束のみに制限する瞳分割手段と、
異なる瞳領域を通過した像の相関を計算する相関計算手段と、
前記相関計算手段の結果から主被写体を判定する第一の判定手段と、
前記第一の判定手段から、主被写体以外の被写体の光学像を背景と判定する第二の判定手段と、
前記第二の判定手段により判定された背景のデフォーカスマップを作成すると共に、前記第一の判定手段により判定された主被写体のデフォーカスマップを生成し、該主被写体の全域が深度内となる結像面の傾きを演算する演算手段と、
前記画像信号から被写体像を生成する像生成位置を前記演算手段の結果に基づいて設定する像生成位置設定手段と、
前記撮像素子上の各画素への入射角度を決定する入射角決定手段と、
前記像生成位置設定手段で設定された像生成位置と前記入射角決定手段の情報とに基づいて、前記像生成位置に対応する前記画像信号のシフト量を前記瞳領域ごとに決定して前記画像信号をシフトし、その電気信号を加算する像生成手段と、
前記第二の判定手段により判定された背景の像生成位置を前記第一の判定手段により判定された主被写体の像生成位置と連続性がある位置に決定する背景生成位置決定手段と、を備えたことを特徴とする撮像装置。
【請求項２】
前記第一の判定手段は撮影画面内で所定範囲内のデフォーカス量が分布しているエリアが一番大きいところを主被写体として判定することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記背景生成位置決定手段は、前記第二の判定手段により判定された背景のデフォーカス量と前記第一の判定手段により判定された主被写体のデフォーカス量に連続性がある位置が複数ある場合は、光軸方向で該撮像装置に近い位置を背景の像生成位置に決定することを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記背景生成位置決定手段は、前記第二の判定手段により判定された背景のデフォーカス量と前記第一の判定手段により判定された主被写体のデフォーカス量に連続性がない場合は、前期相関計算手段によって算出された該主被写体のピント位置を背景の像生成位置に決定することを特徴とする請求項１に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルカメラに代表される撮像装置に関し、特に撮影画面内の主被写体と背景、それぞれの像生成に関する。
【背景技術】
【０００２】
従来、流し撮り等の撮影シーンで、主被写体には合焦していて、背景はボカしたい場合には、絞りを開放や開放に近い値にして撮影している。そのようなシーンで主被写体が画面奥行き方向に傾いていた場合、手前側が合焦している場合は、主被写体の奥側は被写界深度外になって合焦していない状態となってしまう事がある。
【０００３】
そこで、特許文献１にあるように、複数位置のデフォーカス量のデータに基づいて撮像素子により得られた受光信号を合成する事で、撮影画面内の複数の被写体にピントの合った合成画像を得る技術を応用すれば、前述のように画面奥行き方向に傾いた主被写体であっても、手前側も奥側もピントの合った合成画像を得られることが考えられる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−２１３０３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１で開示された技術を応用して主被写体の全域のピントが合った合成画像を得る場合においては、主被写体とデフォーカス量が等しい主被写体以外、例えば背景にもピントが合った合成画像となってしまい、撮影者が意図している背景をボカした撮影画像を得ることが出来ないという場合がある。
【０００６】
そこで、本発明の目的は、撮影画面の奥行き方向に傾いた特定の被写体（主被写体）の全域が合焦し、かつ、主被写体以外の背景は自然にボケた撮影画像が取得可能な撮像装置を提供することにある。
【課題を解決するための手段】
【０００７】
本発明に係る撮像装置は、
撮影レンズを含む撮影光学系と、前記撮影レンズを介して入射される被写体の光学像を光電変換して画像信号を出力する撮像素子とを含む撮像装置において、
前記撮像素子上の各画素に入射する前記被写体の光学像の光束を前記撮影レンズの特定の瞳領域からの光束のみに制限する瞳分割手段と、
異なる瞳領域を通過した像の相関を計算する相関計算手段と、
前記相関計算手段の結果から主被写体を判定する第一の判定手段と、
前記第一の判定手段から、主被写体以外の被写体の光学像を背景と判定する第二の判定手段と、
前記第二の判定手段により判定された背景のデフォーカスマップを作成すると共に、前記第一の判定手段により判定された主被写体のデフォーカスマップを生成し、該主被写体の全域が深度内となる結像面の傾きを演算する演算手段と、
前記画像信号から被写体像を生成する像生成位置を前記演算手段の結果に基づいて設定する像生成位置設定手段と、
前記撮像素子上の各画素への入射角度を決定する入射角決定手段と、
前記像生成位置設定手段で設定された像生成位置と前記入射角決定手段の情報とに基づいて、前記像生成位置に対応する前記画像信号のシフト量を前記瞳領域ごとに決定して前記画像信号をシフトし、その電気信号を加算する像生成手段と、
前記第二の判定手段により判定された背景の像生成位置を前記第一の判定手段により判定された主被写体の像生成位置と連続性がある位置に決定する背景生成位置決定手段と、を備えたことを特徴とする。
【発明の効果】
【０００８】
本発明によれば、撮影画面の奥行き方向に傾いた特定の被写体（主被写体）の全域が合焦し、かつ、主被写体以外の背景は自然にボケた撮影画像が取得可能な撮像装置を提供することが出来る。
【図面の簡単な説明】
【０００９】
【図１】カメラシステムのブロック図
【図２】カメラ１００の背面図
【図３】実施例における撮像装置の光学系の模式図
【図４】撮影時の表示部２５８の表示例を示す図
【図５】実施例における合成撮影時の動作フロー図
【図６】実施例における像の生成動作を示す模式図
【図７】像の生成動作と被写体像との関係の説明図
【図８】実施例における合成撮影時の背景像生成位置に関する動作サブフロー図
【図９】実施例における合成撮影時の背景像生成位置と被写体像との関係の説明図
【図１０】実施例における相関演算の動作フロー図
【図１１】実施例における像生成手段の動作フロー図
【発明を実施するための形態】
【００１０】
以下、本発明を実施するための形態を図面に基づいて説明する。
［実施例］
図１から図１１を参照して、本発明の撮像装置について説明する。図１は撮像装置であるデジタルカメラおよびレンズの電気的構成を示すブロック図である。カメラ１００およびレンズ１０２からなるカメラシステムは、撮像系、画像処理系、記録再生系、制御系を有する。撮像系は、撮影光学系１０１ 、撮像素子２５２を含み、画像処理系は、画像処理部１５０を含む。また、記録再生系は、メモリ１９７、表示部２５８を含み、制御系は、ボディＣＰＵ１０９、およびレンズＣＰＵ１０３、レンズ駆動手段であるズームレンズ駆動部１１１及びＡＦレンズ駆動部１２１を含む。
【００１１】
図２は同カメラシステムの背面図である。本実施形態におけるカメラシステムは、カメラ１００に対して着脱可能なレンズ１０２内に撮影光学系１０１が設けられている。撮像系は、物体からの光を、撮影光学系１０１を介して撮像素子２５２の撮像面に結像する光学処理系である。
【００１２】
撮影光学系１０１はズームレンズ１１０を有しており、超音波モータやステッピングモータを駆動源とするズームレンズ駆動部１１１によって光軸方向に駆動可能である。ズームレンズ電圧ドライバ１１３は、ズームレンズ駆動部１１１を駆動制御する電圧を発生する。
【００１３】
ズーム位置検出部１１２は、光軸Ｉに沿ったズームレンズ１１０の位置を検出するズームエンコーダである。ズーム位置検出部１１２は、焦点距離値に応じたパルス信号をズームレンズ制御部１０５に出力する。
【００１４】
ズームレンズ制御部１０５は、ズームレンズ駆動部１１１を制御し、例えば撮影者がカメラ１００もしくはレンズ１０２に不図示のスイッチにより設定した焦点距離になる光軸Ｉ上の位置にズームレンズ１１０が駆動されるように追従制御を行う部分である。またズームレンズ制御部１０５は、ズーム位置検出部１１２が出力するパルス信号を取り込む。ズームレンズ制御部１０５は、撮影者が設定した焦点距離になる光軸Ｉ上の位置（目標位置）、ズームレンズ１１０の現在位置情報などに基づいて駆動信号を演算し、このデジタル駆動信号をズームレンズ電圧ドライバ１１３に出力する。
【００１５】
ズームレンズ電圧ドライバ１１３は、入力された駆動信号（駆動電圧）に応じて、ズームレンズ駆動部１１１に電力を供給するドライバ部である。ズームレンズ電圧ドライバ１１３は、駆動信号に対し、スイッチングを行い、ズームレンズ駆動部１１１に電圧を印加し、ズームレンズ駆動部１１１の駆動を行う。
【００１６】
また撮影光学系１０１は、ＡＦレンズ１２０を有しており、超音波モータやステッピングモータを駆動源とするＡＦレンズ駆動部１２１によって光軸方向に駆動可能である。ＡＦレンズ電圧ドライバ１２３は、ＡＦレンズ駆動部１２１を駆動制御する電圧を発生する。
【００１７】
フォーカス位置検出部１２２は、光軸Ｉに沿ったＡＦレンズ１２０の位置を検出するフォーカスエンコーダである。フォーカス位置検出部１２２は、被写体距離値に応じたパルス信号をＡＦレンズ制御部１０４に出力する。
【００１８】
ＡＦレンズ制御部１０４は、ＡＦレンズ駆動部１２１を制御し、例えば撮影者のカメラ１００のレリーズスイッチ１９１の操作により検出された被写体距離になる光軸Ｉ上の位置にＡＦレンズ１２０が駆動されるように追従制御を行う部分である。またＡＦレンズ制御部１０４は、フォーカス位置検出部１２２が出力するパルス信号を取り込む。ＡＦレンズ制御部１０４は、被写体距離になる光軸Ｉ上の位置（目標位置）、ＡＦレンズ１２０の現在位置情報などに基づいて駆動信号を演算し、このデジタル駆動信号をＡＦレンズ電圧ドライバ１２３に出力する。
【００１９】
ＡＦレンズ電圧ドライバ１２３は、入力された駆動信号（駆動電圧）に応じて、ＡＦレンズ駆動部１２１に電力を供給するドライバ部である。ＡＦレンズ電圧ドライバ１２３は、駆動信号に対し、スイッチングを行い、ＡＦレンズ駆動部１２１に電圧を印加し、ＡＦレンズ駆動部１２１の駆動を行う。
【００２０】
また撮影光学系１０１は、絞り１４０を有しており、ステッピングモータ等を駆動源とする絞り駆動部１４１によって絞り１４０の開口の大きさが変化する。絞り制御部１０６は、絞り駆動部１４１を制御し、例えば撮影する被写体の明るさに応じて適正露光量となる絞りの値を演算するとともに、該絞り値となる駆動信号を演算し、絞り駆動部１４１に出力する。
【００２１】
または、後述するように、撮影者が絞り設定スイッチ１９４にて設定した絞り値に応じて駆動信号を演算し、絞り駆動部１４１に出力する。レンズＣＰＵ１０３は、レンズ１０２側の種々の制御を行う中央処理部である。レンズＣＰＵ１０３内には、ズームレンズ制御部１０５と、ＡＦレンズ制御部１０４及び絞り制御部１０６が設けられている。
【００２２】
レンズＣＰＵ１０３は、レンズ１０２とカメラ１００との間に設けられたレンズ接点１９０を介して、ボディＣＰＵ１０９との間で通信が可能である。ＥＥＰＲＯＭ１３１は、レンズ１０２に関する種々の固有情報であるレンズデータなどを格納する不揮発性の記憶部である。
【００２３】
ボディＣＰＵ１０９は、カメラシステム全体の種々の制御を行う中央処理部である。ボディＣＰＵ１０９には、レリーズスイッチ１９１の情報が入力され、レリーズスイッチ１９１が半押し、又は、全押しされたことを検知する事が出来る。これにより、撮像素子２５２の駆動、画像処理部１５０の動作、メモリ１９７の圧縮処理などを制御する。さらに表示部２５８によって液晶モニタ等に情報表示を行う情報表示装置の各セグメントの状態を制御する。
【００２４】
また、ボディＣＰＵ１０９は、後述するように、撮影者が撮影時に主被写体としている被写体を判定する機能と、主被写体以外の被写体を背景と判定する機能とを有している。よって、ボディＣＰＵ１０９が本発明の第一の判定手段及び第二の判定手段に相当する。
【００２５】
画像処理部１５０は、内部にＡ／Ｄ変換器、ホワイトバランス回路、ガンマ補正回路、補間演算回路等を有しており、記録用の画像を生成することができる。また、本発明の要部である、像生成手段、相関計算手段等を含める事も出来る（本実施例ではこれらの要素はボディＣＰＵ１０９内に配置する場合を想定して記載する）。
【００２６】
撮像素子２５２は、具体的には、増幅型固体撮像素子の１つであるＣＭＯＳプロセスコンパチブルのセンサ（以降ＣＭＯＳセンサと略す）である。ＣＭＯＳセンサの特長の１つに、エリアセンサ部のＭＯＳトランジスタと撮像装置駆動回路、ＡＤ変換回路、画像処理回路といった周辺回路を同一工程で形成できるため、マスク枚数、プロセス工程がＣＣＤと比較して大幅に削減できる。また、任意の画素へのランダムアクセスが可能といった特長も有し、ディスプレイ用に間引いた読み出しが容易であって、表示部２５８において高い表示レートでリアルタイム表示が行える。
【００２７】
撮像素子２５２は、上述した特長を利用し、ディスプレイ画像出力動作（撮像素子２５２の受光領域のうち一部を間引いた領域での読み出し）および高精彩画像出力動作（全受光領域での読み出し）を行う。
【００２８】
また撮像素子２５２表面にはマイクロレンズが格子状に配置してあり、いわゆるマイクロレンズアレイ（以下 ＭＬＡ２０）を形成している。ＭＬＡ２０は本実施例において、瞳分割手段を構成する。ＭＬＡ２０の機能や配置の詳細については図３を用いて後述する。後述するように、撮像素子２５２からピント評価量／適当な露光量が得られるので、この信号に基づいて適切に撮影光学系１０１が調整されることで、適切な光量の物体光を撮像素子２５２に露光するとともに、撮像素子２５２近傍で被写体像が結像する。
【００２９】
なお、ボディＣＰＵ１０９は、後述するように、画像処理部１５０を動作させて撮像素子２５２に結像した被写体像から撮影画像のデフォーカス量を求める事で、背景３２０と主被写体３１０のデフォーカスマップを作成し、主被写体３１０の全域が深度内となる結像面の傾きを演算するので、本発明の演算手段にも相当する。
【００３０】
また、ボディＣＰＵ１０９は、後述するように、画像処理部１５０を動作させて撮像素子２５２に結像した被写体像の像生成位置を前記演算結果に基づいて設定するので、本発明の像生成位置設定手段にも相当する。
【００３１】
さらには、ボディＣＰＵ１０９は、後述するように、背景３２０の像生成位置を主被写体３１０の像生成位置と連続性がある位置に決定するので、本発明の背景生成位置決定手段にも相当する。
【００３２】
図３は本実施例における撮影光学系の要部を説明する図である。本発明を適用するためには、いわゆる光線空間情報等といわれる光線の位置に加えて角度の情報を取得する必要がある。本実施例では、角度情報の取得のために撮影光学系１０１の結像面近傍にＭＬＡ２０を配置するとともに、ＭＬＡ２０を構成する１つのレンズに対して複数の画素を対応させている。
【００３３】
図３（ａ）は撮像素子２５２とＭＬＡ２０の関係模式的に示す図である。図３（ｂ）は撮像素子２５２の画素とＭＬＡ２０の対応を示す模式図である。図３（ｃ）はＭＬＡ２０によってＭＬＡ２０の下に設けられた画素が特定の瞳領域と対応付けられる事を示す図である。
【００３４】
図３（ａ）に示すように、撮像素子２５２上にはＭＬＡ２０が設けられており、ＭＬＡ２０の前側主点は撮影光学系１０１の結像面近傍になるように配置されている。図３（ａ）は撮像装置の横からと、正面からＭＬＡ２０を見た状態を示しており、撮像装置正面から見るとＭＬＡ２０のレンズが撮像素子２５２上の画素を覆うように配置されている。なお、図３（ａ）ではＭＬＡ２０を構成する各マイクロレンズを見やすくするために、大きく記載したが、実際には各マイクロレンズは画素の数倍程度の大きさしかない（実際の大きさについては図３（ｂ）を用いて説明する）。
【００３５】
図３（ｂ）は図３（ａ）の装置正面からの図を一部拡大した図である。図３（ｂ）に示す格子状の枠は、撮像素子２５２の各画素を示している。一方ＭＬＡ２０を構成する各マイクロレンズは太い円２０ａ，２０ｂ，２０ｃ，２０ｄで示した。図３（ｂ）から明らかなように、マイクロレンズ１つに対して複数の画素が割り当てられており、図３（ｂ）の例では、５行Ｘ５列＝２５個の画素が１つのマイクロレンズに対して設けられている（すなわち各マイクロレンズの大きさは画素の大きさの５倍Ｘ５倍の大きさである）。
【００３６】
図３（ｃ）は撮像素子２５２を、マイクロレンズ光軸を含み、撮像素子２５２の長手方向が図の横方向になるように切断した図である。図３（ｃ）の２１、２２、２３、２４、２５は撮像素子２５２の画素（１つの光電変換部）を示している。
【００３７】
一方、図３（ｃ）の上方に示した図は撮影光学系１０１の射出瞳面を示している。実際には、図３（ｃ）の下方に示した撮像素子２５２の図と方向を合わせると、射出瞳面は図３（ｃ）の紙面垂直方向になるが、説明のために投影方向を変化させている。また、図３（ｃ）においては、説明を簡単にするために、１次元の投影／信号処理について説明する。実際の装置においては、これを容易に２次元に拡張する事が出来る。
【００３８】
図３（ｃ）の画素２１、２２、２３、２４、２５は図３（ｂ）の２１ａ、２２ａ、２３ａ、２４ａ、２５ａとそれぞれ対応する位置関係にある。図３（ｃ）に示すように、マイクロレンズによって各画素は撮影光学系１０１の射出瞳面上の特定の領域と共役になるように設計されている。図３（ｃ）の例では画素２１と領域３１が、画素２２と領域３２が、画素２３と領域３３が、画素２４と領域３４が、画素２５と領域３５がそれぞれ対応している。すなわち画素２１には撮影光学系１０１の射出瞳面上の領域３１を通過した光束のみが入射する。他の画素も同様である。結果として、瞳面上での通過領域と撮像素子２５２上の位置関係から角度の情報を取得する事が可能となる。
【００３９】
ここで後ほどの説明を簡単にするために記号を導入する。図３（ｃ）に示すように、撮像素子２５２の画素ピッチをΔＸ、角度分解能をΔθとする。さらに角度の分割数をＮθ（図３の例ではＮθ=5）とする。画素ピッチは撮像素子２５２の形状によって決定され、Δθは光線の角度を取得する範囲と角度分割数Ｎθで決定される。すなわち、物理的な構造（撮像素子２５２およびＭＬＡ２０の構造）のみによってこれらのパラメータは決定される。
【００４０】
よって、ボディＣＰＵ１０９は、撮影光学系１０１の射出瞳位置の情報をレンズ１０２から受け取る事により撮像素子２５２上での角度の情報、つまり各画素への入射角度を決定する事が出来るので、入射角決定手段にも相当する。
【００４１】
レリーズスイッチ１９１は、前述の通り、図示しないレリーズボタンの半押し動作（ＳＷ１のＯＮ）を検出して、一連の撮影準備動作（測光動作や焦点調節動作等）を開始させ、レリーズボタンの全押し動作（ＳＷ２のＯＮ）を検出して、撮影動作（撮像素子２５２から読み出された画像データの記録媒体への記録）を開始させるスイッチである。
【００４２】
１９２は任意方向の操作が可能な選択スイッチで、不図示の公知の撮影メニューの項目を選択したり、後述するように、撮影者が主被写体を選択したりする時に用いるスイッチである。１９３は決定スイッチで、不図示の公知の撮影メニューの決定をしたり、後述するように、撮影者が主被写体を決定したりする時に用いるスイッチである。１９４は絞り設定スイッチで、不図示の操作ダイヤルを撮影者が操作する事で、撮影者が絞り値を設定する事が出来るスイッチである。
【００４３】
１９５はカメラ１００を起動させるためのメインスイッチである。また、図２に示したように、メインスイッチ１９５は２ポジション（１９５−１，１９５−２）が選択可能なスイッチである。ポジション１９５−１にメインスイッチ１９５をセットした時は「ＯＦＦ」で、後述のように、カメラ１００はスリープ状態となる。またポジション１９５−２にメインスイッチ１９５をセットした時は「ＯＮ」で、後述のように、カメラ１００はスリープ状態から駆動状態となり、各種スイッチの操作等を受け付けて静止画や動画の撮影のための動作を行う状態となる。
【００４４】
１９６はカメラ１００の撮影モードを設定するためのモードスイッチで、後述する「合成撮影モード」を設定する事が出来る。１９７はメモリで、実際の記憶部に加えて記録に必要な処理回路を備えている。メモリ手段は、記録部へ出力を行うとともに、表示部２５８に出力する像を生成、保存する。また、メモリ１９７ は、予め定められた方法を用いて画像、動画、音声などの圧縮を行う。
【００４５】
表示部２５８はカメラ１００の背面に取り付けられており、撮影者は表示部２５８での表示を直接観察できるようになっている。表示部２５８を、有機ＥＬ空間変調素子や液晶空間変調素子、微粒子の電気泳動を利用した空間変調素子などで構成すれば、消費電力を小さくでき、かつ表示部２５８の薄型化を図る事が出来る。これにより、カメラ１００の省電力化および小型化を図る事が出来る。
【００４６】
図４はいわゆるライブビュー撮影時に表示部２５８に表示される被写体像の様子を示した図である。図４において、表示部２５８には、被写体像２５８ａと撮影条件（シャッタ速度、絞り値、ＩＳＯ感度等）や露出レベル表示、電池残量表示等の撮影情報２５８ｂが表示されている。
【００４７】
また被写体像２５８ａ表示部内には、複数の測距点（測距領域）３０１が設けられており、撮像素子２５２からのピント検出結果に基づいて選択された測距点３０２を別の表示形態（色違いでの表示等）にする事により、撮影者に合焦している主被写体部を知らせる事が出来る。なお、カメラ１００の選択スイッチ１９２と決定スイッチ１９３を用いて測距部２５３の検出結果によらずに複数の測距点３０１の中から合焦させたい任意の位置のものを撮影者が選択可能である。その際は、撮影者が選択した測距点３０２に基づいて撮像素子２５２からのピント検出結果から主被写体までの距離を演算する事でピンボケ写真になるのを防止する。
【００４８】
図５は本発明のカメラシステムが深度合成撮影する時の動作を説明するためのフローチャートであるので、これらを用いて、以下、合成撮影時のカメラ１００及びレンズ１０２の動作について説明する。なお、ここで言う合成撮影とは、本発明の特徴である、主被写体３１０の背景３２０はボケているが、主被写体３１０は全域（≒全深度）ピントが合っている画像が得られる撮影の事である。
【００４９】
ステップ（以下、Ｓとする）１０１０では、メインスイッチ１９５がポジション１９５−２にセットされてＯＮになっているかどうかの判定がボディＣＰＵ１０９によって行われる。メインスイッチ１９５がポジション１９５−１にセットされたまま（ＯＦＦのまま）であれば、カメラ１００はスリープ状態のままであり、メインスイッチ１９５がポジション１９５−２にセットされてＯＮになればＳ１０２０に進む。
【００５０】
Ｓ１０２０では、カメラ１００がモードスイッチ１９６によって合成撮影モードに設定されているかどうかの判定がボディＣＰＵ１０９によって行われる。ＹｅｓであればＳ１０３０に進む。一方、ＮｏであればＳ１２５０に進み、通常の静止画撮影動作を行う。Ｓ１２５０の動作は公知の動作であり、また本発明の内容とは異なるので詳細な説明を省略する。
【００５１】
Ｓ１０３０では、レリーズスイッチ１９１が半押し動作が行われたかどうかの判断をボディＣＰＵ１０９が行う。ＹＥＳならばＳ１０４０に進む。Ｓ１０４０では、撮影者が絞り設定スイッチ１９４にて設定した絞り値をボディＣＰＵ１０９が読み込み、レンズ接点１９０を介してレンズＣＰＵ１０３に送信する。そして、その絞り値に応じて絞り制御部１０６は絞り駆動部１４１を駆動制御し、絞り１４０を撮影者の設定した絞り値に相当する開口径にする。
【００５２】
Ｓ１０５０では、撮像素子２５２を適当な時間露光して、読み出す（Ａ／Ｄ変換する）事によりデータを取得する。
【００５３】
この時の露光時間と露光量から撮影において適当な露出量を計算する事も出来るが、本発明の要部ではないので説明は割愛する。Ｓ１０６０では相関計算手段を動作させて結果を得る。相関計算手段の動作の詳細は図１０を用いて後述するが、このステップで、いわゆる位相差ＡＦによるピント位置を求める事が出来る。
【００５４】
Ｓ１０７０では、Ｓ１０６０の演算結果をボディＣＰＵ１０９からレンズ接点１９０を介してレンズＣＰＵ１０３が受け取り、その後、ＡＦレンズ１２０をＡＦレンズ駆動部１２１により駆動してＳ１０６０により測距点３０２で主被写体３１０が合焦状態となる位置にＡＦレンズ１２０を移動するとともに、Ｓ１０５０同様に、そのＡＦレンズ１２０の位置で通過した瞳領域毎の画像データを取得する。
【００５５】
Ｓ１０８０では、各測距点３０１でのデフォーカス量を算出する。なお、撮影範囲内（図４で被写体像２５８ａとして表示されているエリア内の事）で測距領域外（測距点３０１が配置されていない所）にいる被写体に対してもＳ１０６０の処理によりデフォーカス量が求まっている。
【００５６】
Ｓ１０９０では、Ｓ１０８０で求めた各測距点３０１でのデフォーカス量から撮影者が主被写体としている被写体をボディＣＰＵ１０９が判定する。具体的には、例えば各測距点３０１でのデフォーカス量の分布状況やその絶対値の差から、ある特定の値及びその近傍のデフォーカス量となっている測距点３０１の数が多いエリアを特定し、そのエリア内の被写体を主被写体３１０と判定すると共に、そのエリアで一番デフォーカス量が小さいものをピント位置の測距点３０２として表示する（図４参照）。
【００５７】
あるいは、前述のように、カメラ１００の選択スイッチ１９２と決定スイッチ１９３を用いて、撮影者が複数の測距点３０１の中から合焦させたい任意の位置の測距点３０２を指定した場合は、その測距点３０２にある被写体を主被写体３１０と判定する。あるいはまた、撮影者が指定した測距点３０２におけるデフォーカス量と等しいか、あるいはその近傍のデフォーカス量となっている測距点３０１が分布しているエリア内の被写体をボディＣＰＵ１０９は主被写体３１０と判定しても良い。
【００５８】
なお、その際には、撮影者がカメラ１００の選択スイッチ１９２と決定スイッチ１９３を用いて主被写体３１０を指定する場合は、表示部２５８内に例えば「主被写体を選択／決定して下さい」等の表示が行って撮影者の補助をすれば、撮影者にとっては利便性が向上する。また、いずれの方法で主被写体３１０と判定しても、測距点３０２は、ボディＣＰＵ１０９が主被写体３１０を認識してＡＦレンズ１２０を駆動して撮影光学系１０１のピント位置を調整する基準位置となる。
【００５９】
Ｓ１１００では、Ｓ１０９０でボディＣＰＵ１０９が判定した主被写体３１０が撮影範囲内で写る範囲（以下、主被写体エリア３１１−図７参照−と呼ぶ）を演算する。具体的には、主被写体３１０上の測距点３０２におけるデフォーカス量と等しいか、あるいはその近傍のデフォーカス量となっている画素の範囲を主被写体エリア３１１として演算する。
【００６０】
これは、主被写体３１０が撮影範囲内に写っている部分（もしくは全体）では、そのデフォーカス量はほぼ連続的に変化しているので、Ｓ１０６０及びＳ１０８０で求めた撮影範囲内でのデフォーカス量演算結果から、主被写体３１０のデフォーカス量と、背景３２０等（図４参照）のデフォーカス量を比較する事で、デフォーカス量が大きく変化している隣接画素の境界を主被写体３１０のエッジと判定する事で、主被写体エリア３１１が演算出来る。なお、前述のように、主被写体エリア３１１内でのデフォーカス量が演算出来ているので、ボディＣＰＵ１０９は、主被写体エリア３１１内でのデフォーカスマップを作成する。
【００６１】
なお、ここで言うデフォーカスマップとは、測距点３０２を基準とした時に、主被写体エリア３１１内で主被写体３１０の各部分が前ピン側なのか後ピン側にあるのかの分布状態が分かるモノである。またＳ１１００では、例えば公知の被写体のコントラスト変化や色変化からエッジ検出をするなどして、主被写体エリア３１１を演算しても良い（主被写体エリア３１１の演算は前記デフォーカス量を利用したものには限定しない）。
【００６２】
Ｓ１１１０では、後述の合成撮影（画像取得）をする際に、主被写体エリア３１１の全域が深度内に入る、つまり、Ｓ１１００での演算結果である、主被写体エリア３１１内でのデフォーカスマップとズーム位置検出部１１２の検出結果である撮影光学系１０１の焦点距離情報から、主被写体３１０の全体にピントが合う結像面の傾きの演算をボディＣＰＵ１０９が行う。
【００６３】
Ｓ１１２０では、Ｓ１０９０でボディＣＰＵ１０９が判定した背景３２０を演算する。具体的には、撮影範囲からＳ１１００において演算された主被写体エリア３１１を除いた領域を背景３２０として演算する。なお、前述のように、Ｓ１０８０において背景３２０でのデフォーカス量が演算出来ているので、ボディＣＰＵ１０９は、背景３２０内でのデフォーカスマップを作成する。この時もＳ１１００同様に、測距点３０２を基準とした時に、背景３２０内の被写体の各部分が前ピン側なのか後ピン側にあるのかの分布状態が分かるモノである。
【００６４】
Ｓ１１３０では、後述のサブフロー（図８）で説明するように、合成撮影（画像取得）をする際に行う、主被写体エリア３１１のデフォーカスマップに応じた背景３２０の像生成位置の演算をボディＣＰＵ１０９が行う。Ｓ１１４０では、画像処理部１５０が有する像生成手段を動作させて結果を得る。像生成手段の動作の詳細は図１１を用いて後述するが、これにより、撮像素子２５２に結像した主被写体３１０の像（測距点３０２において合焦している像）がメモリ１９７に生成される。
【００６５】
なお、Ｓ１１４０では、Ｓ１１１０及びＳ１１３０での演算結果に基づいた主被写体３１０及び背景３２０を合成した像をメモリ１９７に生成しても良い。Ｓ１１５０では、Ｓ１１４０にて生成された主被写体３１０に合焦した画像を撮影前のプレビュー画像として表示部２５８に表示する。
【００６６】
Ｓ１１４０及びＳ１１５０での処理を、Ｓ１０８０からＳ１１３０における処理に先んじて行い、Ｓ１１５０でのプレビュー画像表示中にＳ１０８０からＳ１１３０の処理を行っても良い。この場合、Ｓ１０３０でのレリーズスイッチ１９１が半押し動作からプレビュー動作がＳ１０８０からＳ１１３０での演算中に測距点３０２に合焦している画像をプレビュー画像で確認出来るので、撮影者はより早く、表示部２５８でこれから撮影しようとする構図等を確認する事が出来る。
【００６７】
Ｓ１１６０では、レリーズスイッチ１９１が全部押し込まれたか（ＳＷ２がオンになったかどうか）の判断をボディＣＰＵ１０９が行う。ＮｏならばＳ１０５０に戻り、一連の動作を繰り返す。ＹｅｓならばＳ１１７０に進む。Ｓ１１７０では、公知の撮影動作を行う。Ｓ１１８０では、Ｓ１１００での演算結果である主被写体エリア３１１に該当する画素の画像データを用いて像生成手段を動作させて結果を得る。この動作については後述するが、Ｓ１１８０では、Ｓ１１１０にて演算した、傾いた結像面での光束を用いた被写体像が得られる。
【００６８】
これにより、例えば、図７に示したように、主被写体エリア３１１に囲まれた主被写体３１０は、Ｓ１１８０での処理の結果、測距点３０２付近から、測距点３０２よりも光軸方向で図面上奥にある後輪３１２あたりまで、及び測距点よりも光軸方向で図面上手前にある前輪３１３や測距点３０３付近までピントの合った画像となる。
【００６９】
Ｓ１１９０では、Ｓ１１２０での演算結果である背景３２０に該当する画素の画像データとＳ１１３０での演算結果である像生成位置を用いて像生成手段を動作させて背景３２０の結果を得る。
【００７０】
これにより、背景３２０は、Ｓ１１９０での処理の結果、主被写体３１０に比べると「ボケた」画像となるとともに、主被写体３１０の像生成位置と連続性がある位置で背景３２０の像が生成されるので、主被写体３１０が不自然に浮き上がってしまうような事が防止される。
【００７１】
Ｓ１２００では、Ｓ１１８０で処理した主被写体３１０の全域、つまり主被写体エリア３１１の光束が到達した画素と、Ｓ１１９０で処理した主被写体３１０以外の被写体、つまり、主被写体エリア３１１以外の光束が到達した画素とを合成する。これにより、図７（ｂ）に示したように、主被写体３１０は全域（≒全深度）ピントが合っている画像であるにも拘らず、主被写体３１０の背景３２０はボケている画像を得る事が出来る。
【００７２】
Ｓ１２１０では、Ｓ１２００で生成した画像をメモリ１９７もしくは不図示の記録媒体に記録するとともに、表示部２５８に表示する。Ｓ１２２０では、レリーズスイッチ１９１が全部押し込まれた状態（ＳＷ２がオンになった状態）が継続しているかどうかの判断をボディＣＰＵ１０９が行う。ＹｅｓならばＳ１０５０に戻り、一連の動作を繰り返す。ＮｏならばＳ１２３０に進む。
【００７３】
Ｓ１２３０では、レリーズスイッチ１９１が押し込まれた状態（ＳＷ１がオンになった状態）かどうかの判断をボディＣＰＵ１０９が行う。ＹｅｓならばＳ１０４０に戻り、一連の動作を繰り返す。ＮｏならばＳ１２４０に進む。Ｓ１２４０では、メインスイッチ１９５がＯＦＦになったかどうかの判断をボディＣＰＵ１０９が行う。Ｎｏの場合はＳ１０３０に戻って一連の撮影動作を行う。Ｓ１２４０でＹｅｓの場合は、撮影動作を終了する。
【００７４】
ここで、Ｓ１１８０での処理について、図６及び図７を用いて説明する。図３で説明したように、本実施例の撮影光学系は、各画素に入射する光束を特定の瞳領域に限定しているために、入射角度が既知である。この角度に沿って、像を構成する面での各画素の位置を構成する。具体的にはＸ1,iのように瞳領域の添え字が１のものは図６（ｄ）において４１に示すような角度で入射しているとする。以下瞳領域の添え字２，３，４，５はそれぞれ４２，４３，４４，４５に対応しているとする。
【００７５】
図６（ｂ）は測距点３０２に対応した位置、つまり、測距点３０２に合焦する位置に撮像素子２５２が存在して画像を取得した面を示している。
【００７６】
図６（ｂ）において、Ｘ1,i、Ｘ2,i 、Ｘ3,i 、Ｘ4,i 、Ｘ5,i 、はそれぞれ瞳領域１、２、３、４、５を通過してマイクロレンズＸiに入射して得られたデータを示している。すなわち、添え字のうち前半は通過する瞳領域を、後半は画素の番号を示している。また、図６（ｂ）においても説明を明瞭にするために、データを１次元的な広がりしか持たないものとして記述している。物理的な位置との関係においては、Ｘ1,i は図３（ｃ）の２１領域から得られるデータを、Ｘ2,i は図３（ｃ）の２２領域から得られるデータを、以下添え字の３、４、５は領域２３、２４、２５に対応していることを示している。
【００７７】
取得面での画像を生成するためには、図６（ｂ）にあるように、マイクロレンズＸiに入射したデータを加算すればよい。具体的には、Ｓi = Ｘ1,i ＋Ｘ2,i ＋Ｘ3,i +Ｘ4,i +Ｘ5,iでＸiに入射した光の角度方向の積分値を得る事が出来る。これにより通常のカメラと同様に、測距点３０２に合焦した被写体の像が生成される。
【００７８】
次に、主被写体３１０の傾きによって測距点３０２よりも前ピンとなる主被写体３１０の部分（例えば、図7に示した測距点３０３に相当する位置の主被写体３１０の部分：バイクの前照灯が該当する）における像生成について、図６（ａ）を用いて説明する。主被写体３１０が傾いている場合、測距点３０２よりも前ピン側にある主被写体３１０の部分（例えば、図７における測距点３０３に相当する部分）は、ボケる。そこで、測距点３０２よりも前ピン側にある主被写体３１０の部分がボケないように、その部分については、図６（ａ）にあるように被写体像の生成をすれば良い。
【００７９】
図６（ａ）において、図６（ｂ）同様、Ｘ1,i、Ｘ2,i 、Ｘ3,i 、Ｘ4,i 、Ｘ5,i 、はそれぞれ瞳領域１、２、３、４、５を通過してマイクロレンズＸiに入射して得られたデータを示している。
【００８０】
図６（ａ）にあるように、マイクロレンズＸiに入射した光束は、測距点３０２よりも前ピン側にある主被写体３１０の部分においては、Ｘi-2からＸi+2に分散して入射していることになる。
【００８１】
より具体的には、Ｘ1,i-2、Ｘ2,i-1、Ｘ3,i、Ｘ4,i+1、Ｘ5,i+2に分散している。Ｘiに限らず前ピン側にある主被写体３１０の部分をボケないように像を復元するためには、入射角度に応じて像をシフトさせて加算すれば良いことが分かる。前ピン側にある主被写体３１０の部分での像を生成するためには、瞳領域の添え字が１のものは右に２画素シフト、瞳領域の添え字が２のものは右に１画素シフト、瞳領域の添え字が３のものはシフトなし、瞳領域の添え字が４のものは左に１画素シフト、瞳領域の添え字が５のものは左に２画素シフトすることで入射角度に応じたシフトを与える事が出来る。
【００８２】
その後、主被写体３１０の傾きに応じて、図６（ａ）の右斜め下方向に加算する事で前ピン側にある主被写体３１０の部分のデータを得る事が出来る。具体的には、Ｓi = Ｘ1,i-2 + Ｘ2,i-1 + Ｘ3,i + Ｘ4,i+1 + Ｘ5,i+2で前ピン側にある主被写体３１０の部分において、Ｘiに入射した光の角度方向の積分値を得る事が出来る。
【００８３】
上記一連の処理を、前ピン側にある主被写体３１０の各部分で、Ｓ１１１０での演算結果である主被写体３１０の傾きに応じて像のシフト量を変化させる事により、前ピン側にある主被写体３１０の部分のボケない画像が得られる。
【００８４】
次に、主被写体３１０の傾きによって測距点３０２よりも後ピンとなる主被写体３１０の部分（例えば、図7に示した測距点３０４に相当する位置の主被写体３１０の部分：ライダーのブーツの下あたりのバイクのボディが該当する）における像生成について、図６（ｃ）を用いて説明する。
【００８５】
主被写体３１０が傾いている場合、測距点３０２よりも後ピン側にある主被写体３１０の部分（例えば、図７における測距点３０４に相当する部分）は、ボケる。そこで、測距点３０２よりも後ピン側にある主被写体３１０の部分がボケないように、その部分については、図６（ｃ）にあるように被写体像の生成をすれば良い。
【００８６】
図６（ｃ）から分かるように、測距点３０２よりも後ピン側にある主被写体３１０の部分においても、測距点３０２よりも前ピン側にある主被写体３１０の部分と同様に像を生成する事が出来る。取得面に対して光軸方向の位置が異なると（取得面に対して前側か後側か、という意味）、画素をシフトさせる方向を反転させるとともに、主被写体３１０の傾きに応じて加算する方向を反対にすれば良いだけである。
【００８７】
つまり、主被写体３１０の傾きに応じて、図６（ｃ）の左斜め下方向に加算する事で後ピン側にある主被写体３１０の部分のデータを得る事が出来る。具体的には、Ｓi = Ｘ1,i+2 + Ｘ2,i+1 + Ｘ3,i + Ｘ4,i-1 + Ｘ5,i-2で後ピン側にある主被写体３１０の部分において、Ｘiに入射した光の角度方向の積分値を得る事が出来る。
【００８８】
上記一連の処理を、後ピン側にある主被写体３１０の各部分で、Ｓ１１１０での演算結果である主被写体３１０の傾きに応じて像のシフト量を変化させる事により、後ピン側にある主被写体３１０の部分のボケない画像が得られる。
【００８９】
次に、Ｓ１１３０での処理について、図８のサブフローを用いて説明する。Ｓ１３１０では、Ｓ１０８０にて算出した撮影範囲内（図４で被写体像２５８ａとして表示されているエリア内の事）のデフォーカス量から、主被写体エリア３１１と背景３２０それぞれのデフォーカス量を確認する。Ｓ１３２０では、Ｓ１３１０で確認した背景３２０のデフォーカス量と主被写体エリア３１１のデフォーカス量と比較する。
【００９０】
Ｓ１３３０では、Ｓ１３２０での比較結果から、主被写体エリア３１１と背景３２０とのデフォーカス量に連続性がある点かどうかの判定をボディＣＰＵ１０９が行う。連続性があるとボディＣＰＵ１０９が判定した場合はＳ１３４０に進み、連続性がないと判定した場合はＳ１３７０に進む。
【００９１】
Ｓ１３４０では、Ｓ１３３０でボディＣＰＵ１０９が判定した連続性が、被写体エリア３１１と背景３２０との境界に２点以上有るかどうかの判定をボディＣＰＵ１０９が行う。連続性が有る境界が２点以上有る場合はＳ１３５０に進み、連続性が有る境界が１点しかない場合は、Ｓ１３６０に進む。
【００９２】
Ｓ１３５０では、Ｓ１３３０で判定した結果、２点以上有る主被写体エリア３１１と背景３２０とのデフォーカス量に連続性のある境界の中から、一番手前の（撮影者に近い）境界を背景３２０の像生成位置の基準として選択する。例えば図７のシーンでは、タイヤの前輪３１３と後輪３１２のあたりに主被写体エリア３１１と背景３２０とのデフォーカス量が連続性のある境界となるが、この場合、Ｓ１３５０では撮影者に近い前輪３１３のあたりを背景３２０の像生成位置の基準として選択する事になる。
【００９３】
Ｓ１３５０での処理終了後、呼び出し元（Ｓ１１３０）に戻る。Ｓ１３６０では、主被写体エリア３１１と背景３２０とのデフォーカス量に連続性のある境界が１つしかないので、その境界を背景３２０の像生成位置の基準として選択する。Ｓ１３６０での処理終了後、呼び出し元（Ｓ１１３０）に戻る。
【００９４】
Ｓ１３７０では、Ｓ１３３０で主被写体エリア３１１と背景３２０とのデフォーカス量に連続性のある境界がないと判定されたので（例えば、図９に示したようなシーンの場合）、主被写体エリア３１１内にある測距点３０２を背景３２０の像生成位置の基準として選択する。Ｓ１３７０での処理終了後、呼び出し元（Ｓ１１３０）に戻る。
【００９５】
以下、図１０を用いて、Ｓ１０６０で行われる相関演算のサブフローについて説明する。Ｓ１４１０は画像処理部１５０が有する相関計算手段の動作開始を示している。
【００９６】
Ｓ１４２０からＳ１５２０はループを形成している。Ｓ１４２０では、評価位置の数（いわゆる測距視野数）に対応して繰り返し演算を行う。測距視野数は多くなると画面全体を覆うことが可能となるが評価に時間が掛るという問題がある。撮影者の設定などにより適切に設定する。
【００９７】
Ｓ１４３０では、評価を行う評価点の数と、評価枠の大きさを設定する。ここでいう評価点の数とは、Ｓ１４４０で行う相関値を求める点数であり、撮影条件やレンズ１０２の種類などに応じて適切に設定される。また、評価点の数は像をシフトさせながら相関を求める場合のシフト量に対応しており、これは撮像装置においては焦点合わせの探索を行うピントの深さに対応している。
【００９８】
一方、評価枠の大きさは、大きくすると局所的にはあまりパターンを有していないテクスチャであってもピントを合わせる事が可能となるが、あまりにも大きくなると距離の異なる被写体の像を同時に評価する、いわゆる遠近競合が発生してしまう。これらの問題を解決できるように評価枠の大きさを適切に設定する。
【００９９】
Ｓ１４４０からＳ１４９０はループを形成している。Ｓ１４４０では、Ｓ１４３０で決定された評価数に対応した評価値を得るように繰り返し演算を行う。Ｓ１４５０からＳ１４７０はループを形成している。Ｓ１４５０では、Ｓ１４３０で決定された評価枠の大きさに応じた画素数の範囲で相関計算を行う。相関計算はＳ１４６０にあるように、例えばΣ｜Ａｉ −Ｂｉ｜で計算すれば良い。
【０１００】
ここで、Ａｉは特定の瞳領域を通過したi番目の画素の輝度を示している。ＢｉはＡｉとは異なる瞳領域を通過したi番目の画素の輝度を示している。例えば図３において、画素２２に対応する画素のみ並べたものをＡｉ、画素２４に対応する画素のみ並べたものをＢｉとすれば良い。どの瞳領域の画素を選択するかは、基線長の長さ、瞳面のケラレ状況、等によって決定すれば良い。
【０１０１】
上記のように設定する事で、異なる瞳領域を通過した像の相関を計算出来、いわゆる位相差ＡＦに基づく評価量を得る事が出来る。Ｓ１４８０では、得られた相関値を評価量として格納する。
【０１０２】
上記に示したΣ｜Ａｉ− Ｂｉ｜という評価式においては、相関値が小さくなった個所が最もピント状態が良い個所に対応している。ここでは差分絶対値を加算する方法で相関計算を行ったが、最大値を加算する方法、最小値を加算する方法、差分２乗値を加算する方法など他の計算方法によって相関計算を行っても良い
Ｓ１５００では、相関評価値が最良となる（前述したようにＳ１４６０の式においては相関値が小さくなった個所だが、その他の指標も併用して最良を決定しても良い）点を相関量評価に基づく最良ピント位置として格納する。この演算を各視野で行い、最終的に相関量評価に基づく最良ピント位置を得てＳ１５２０に進み、呼び出し元（Ｓ１０８０）に戻る。
【０１０３】
次に、図１１を用いて画像処理部１５０が有する像生成手段の動作の詳細を説明する。Ｓ１６１０は像生成手段の動作開始を示している。Ｓ１６２０では、Ｓ１６５０での加算のための領域のデータを初期化する（０で埋める）。この時のデータ領域の大きさはＭＬＡ２０の数量あれば良く、データの諧調は元のデータの諧調と瞳分割数の積を格納できるだけあれば都合が良い。例えば元のデータが８ｂｉｔで２５分割の場合、１３ｂｉｔ（＞８ｂｉｔ＋ｌｏｇ２２５）あればデータの桁あふれを考慮する必要が無い。
【０１０４】
Ｓ１６３０からＳ１６７０はループを形成している。Ｓ１６３０では、ＭＬＡ２０を構成するマイクロレンズの数に応じてループ計算が実行される。例えば、図３に示した例では、元の撮像素子の画素数÷25（瞳分割数）がマイクロレンズの数となる。Ｓ１６４０からＳ１６６０はループを形成している。Ｓ１６４０では、瞳分割数に応じた数だけループ計算が実行される。例えば、図３に示した例では、５Ｘ５＝２５個に分割されていたので、２５個のそれぞれの瞳位置からの光束がＳ１６５０で加算される。シフト量が画素の整数倍でない場合は、Ｓ１６５０において、適切に内分されながら加算される（重なっている面積に応じて適切に加算すれば良い）。
【０１０５】
Ｓ１６８０において、呼び出し元のＳ１１４０（もしくはＳ１１８０，１１９０）に戻る。
【０１０６】
以上、説明したように、撮影画面の奥行き方向に傾いた特定の被写体がいる場合でも、それを主被写体と撮影者が選択した場合は、主被写体の全域が合焦し、かつ、主被写体以外の背景は自然にボケた撮影画像が取得可能な撮像装置を提供する事が出来る。
【０１０７】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【０１０８】
例えば、本発明では画像処理部１５０が有する相関計算手段によりピント位置を求めているが、これに限定せず、カメラ１００が公知のサブミラーと測距手段を有し、サブミラーからの撮影光学系の光束を受光して位相差検出方式によってピント位置を求める方式でも、本発明と同様の効果を得る事が出来る。
【０１０９】
なお、本発明ではカメラ１００とレンズ１０２が着脱可能であるとしたが、これに限定せず、カメラ１００とレンズ１０２が一体化しているカメラでも上記で説明したのと同様な効果が得られる事は言うまでもない。
【符号の説明】
【０１１０】
２０  マイクロレンズアレイ（ＭＬＡ）、１００  カメラ、１０２  レンズ、
１０９  ボディＣＰＵ、１２０  ＡＦレンズ、１９２  選択スイッチ、
１９３  決定スイッチ、１９６  モードスイッチ、２５２  撮像素子、２５８  表示部、
３０１，３０２，３０３  測距点、３１０  主被写体、３１１  主被写体エリア、
３２０  背景
【図１】
2017009942.tif 000003
【図２】
2017009942.tif 000004
【図３】
2017009942.tif 000005
【図４】
2017009942.tif 000006
【図５】
2017009942.tif 000007
【図６】
2017009942.tif 000008
【図７】
2017009942.tif 000009
【図８】
2017009942.tif 000010
【図９】
2017009942.tif 000011
【図１０】
2017009942.tif 000012
【図１１】
2017009942.tif 000013