(57)【要約】【課題】リフォーカス処理によって撮影画面内の任意の位置に合焦した画像が得られる撮像措置であって、主被写体に合焦して背景がボケているような多重露光画像が得られる撮像装置を提供すること。【解決手段】撮像素子と、撮像機器全体の制御を行う撮影機器制御手段と、光量調節のための絞り手段と撮影レンズを含む撮影光学系と、前記絞り手段の絞り値を任意に設定可能な絞り値設定手段と、前記撮像素子上の画素へ入射する光束を前記撮影レンズの特定の瞳領域のみに制限する瞳分割手段と、前記撮像素子から得られた電気信号を加算する像生成手段と、所定の撮影距離の範囲内における被写体が深度内となる絞り値を演算する絞り値演算手段と、を有し、前記撮影機器制御手段は、前記絞り値設定手段によって設定された絞り値と前記絞り値演算手段が演算した絞り値を用いて前記像生成手段を動作させる事により被写体の像生成を行うことを特徴とする。【選択図】図１
2017011628.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子と、
撮像機器全体の制御を行う撮影機器制御手段と、
光量調節のための絞り手段と撮影レンズを含む撮影光学系と、
前記絞り手段の絞り値を任意に設定可能な絞り値設定手段と、
前記撮像素子上の画素へ入射する光束を前記撮影レンズの特定の瞳領域のみに制限する瞳分割手段と、
前記撮像素子から得られた電気信号を加算する像生成手段と、
所定の撮影距離の範囲内における被写体が深度内となる絞り値を演算する絞り値演算手段と、を有し、
前記撮影機器制御手段は、前記絞り値設定手段によって設定された絞り値と前記絞り値演算手段が演算した絞り値を用いて前記像生成手段を動作させる事により被写体の像生成を行うことを特徴とする撮像装置。
【請求項２】
前記所定の撮影距離の範囲内は、多重露光撮影中に前記撮影機器制御手段が設定した第一の像生成基準位置及び第二の像生成基準位置の間であることを特徴とする請求項１に記載の撮像装置。
【請求項３】
異なる瞳領域を通過した像の相関を計算する相関計算手段と、前記相関計算手段の結果から主被写体を判定する判定手段と、を有することを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記第一の像生成基準位置は、多重露光撮影中に前記主被写体が最至近側にいる位置を該主被写体以外の被写体の第一の像生成基準位置とすることを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記第二の像生成基準位置は、多重露光撮影中に前記主被写体が最無限側にいる位置とすることを特徴とする請求項１に記載の撮像装置。
【請求項６】
前記相関計算手段の結果からデフォーカスマップを生成するデフォーカスマップ生成手段を有し、前記像生成手段は前記第一の像生成基準位置よりも至近側にある前記主被写体以外の被写体は、前記第一の像生成基準位置を基準位置として前記デフォーカスマップ生成手段が生成したデフォーカスマップに従って像生成を行うことを特徴とする請求項１に記載の撮像装置。
【請求項７】
前記像生成手段は前記第二の像生成基準位置よりも無限側にある前記主被写体以外の被写体は、前記第二の像生成基準位置を基準位置として前記デフォーカスマップ生成手段が生成したデフォーカスマップに従って像生成を行うことを特徴とする請求項１に記載の撮像装置。
【請求項８】
前記像生成手段は、前記第一の像生成基準位置と前記第二の像生成基準位置との間に存在する前記主被写体以外の被写体像を生成する際は、前記演算手段が演算した絞り値で結像する画素で構成することを特徴とする請求項１に記載の撮像装置。
【請求項９】
前記撮影レンズは合焦のために光軸方向に移動可能なフォーカスレンズを有し、
前記フォーカスレンズを駆動して複数の合焦状態位置において被写体像を受光するフォーカス制御手段を有することを特徴とする請求項１に記載の撮像装置。
【請求項１０】
撮影時には前記制御手段は前記絞り値設定手段により設定された絞り値に前記絞り手段を制御して被写体像を受光し、受光した被写体像を前記像生成手段により生成する際は、前記主被写体は前記絞り値設定手段により設定された絞り値で結像する画素で構成することを特徴とする請求項１に記載の撮像装置。
【請求項１１】
前記第一の像生成基準位置よりも至近側にある前記主被写体以外の被写体と、前記第二の像生成基準位置よりも無限側にある前記主被写体以外の被写体と、前記第一の像生成基準位置と前記第二の像生成基準位置との間に存在する前記主被写体以外の被写体像を合成する際には、前記第一の像生成基準位置と前記第二の像生成基準位置との間に存在する前記主被写体以外の被写体像のゲインを調整することを特徴とする請求項１に記載の撮像装置。
【請求項１２】
前記主被写体以外の被写体は、多重露光撮影時に取得した複数の撮影画像の内の少なくとも一枚を用いて前記像生成手段により像生成されることを特徴とする請求項１に記載の撮像装置。
【請求項１３】
前記撮像素子から得られた電気信号に対して通過した瞳領域ごとに異なるシフトを与える像シフト手段を有し、前記像生成手段は前記像シフト手段から得られた電気信号に所定の正の値を掛けて加算することで前記主被写体以外に合焦した被写体像を取得することを特徴とする請求項１に記載の撮像装置。
【請求項１４】
前記判定手段は撮影画面内で所定範囲内のデフォーカス量が分布しているエリアが一番大きいところを主被写体として判定することを特徴とする請求項１に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルカメラに代表される撮像装置に関し、特に多重露光撮影動作時の主被写体と背景及び前景の像生成に関する。
【背景技術】
【０００２】
従来、１コマの中に複数の画像を映し込む多重露光撮影が可能な撮像装置がある。この多重露光撮影により、例えば、競技などで移動している選手を１コマの中に納めて、選手の動きを表現した画像を取得している。
【０００３】
このような撮影で、被写体がユーザーに向かってくるような場合には、ユーザーから遠い位置にいた主被写体から接近してきた主被写体までを合焦状態にするために、絞りを絞り込んで被写界深度を深くする事で対応していた。しかしながら、被写界深度を深くした撮影をする事で、主被写体以外の、例えば背景等の被写体まで合焦状態になる場合が多く、主被写体に合焦して背景がボケているような、主被写体が目立つような多重露光撮影が出来なかった。
【０００４】
ところで、最近、異なる瞳領域を通過した光束を個別に受光可能な撮像措置であって、撮像後に任意の被写体にピント調整を行った画像を生成する（以下、リフォーカス処理と呼ぶ）手法によって、撮影時もしくは撮影後のリフォーカス処理によって撮影画面の任意の位置に合焦した画像が得られるような撮像装置が提案されている。
【０００５】
特許文献１には、時間的に連続して撮像された複数の画像に動体が存在するシーンにおいても、合成画像上で動体の連続性が保たれる違和感のない画像の合成方法が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１０−１４１４８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１においては、動体である主被写体以外の背景等は位置合わせされて合成画像に生成されるので、主被写体に合焦して背景がボケているような、主被写体が目立つような多重露光画像を生成する事は出来ない。また、特許文献１において多重露光撮影を行った後に生成した画像を用いて、撮影後に主被写体以外の背景の合焦状態を変更しようとした場合、各露光時の主被写体はそれぞれ合焦状態で、かつ、背景等の主被写体以外の被写体の像生成基準位置をどのようにすれば、主被写体に合焦して背景がボケているような画像になるかが不明確である。
【０００８】
そこで、本発明の目的は、リフォーカス処理によって撮影画面内の任意の位置に合焦した画像が得られる撮像措置であって、主被写体に合焦して背景がボケているような多重露光画像が得られる撮像装置を提供することにある。
【課題を解決するための手段】
【０００９】
上記の目的を達成するために、本発明に係る撮像装置は、
撮像素子と、
撮像機器全体の制御を行う撮影機器制御手段と、
光量調節のための絞り手段と撮影レンズを含む撮影光学系と、
前記絞り手段の絞り値を任意に設定可能な絞り値設定手段と、
前記撮像素子上の画素へ入射する光束を前記撮影レンズの特定の瞳領域のみに制限する瞳分割手段と、
前記撮像素子から得られた電気信号を加算する像生成手段と、
所定の撮影距離の範囲内における被写体が深度内となる絞り値を演算する絞り値演算手段と、を有し、
前記撮影機器制御手段は、前記絞り値設定手段によって設定された絞り値と前記絞り値演算手段が演算した絞り値を用いて前記像生成手段を動作させる事により被写体の像生成を行うことを特徴とする。
【発明の効果】
【００１０】
本発明によれば、リフォーカス処理によって撮影画面内の任意の位置に合焦した画像が得られる撮像措置であって、主被写体に合焦して背景がボケているような多重露光画像が得られる撮像装置を提供することが出来る。
【図面の簡単な説明】
【００１１】
【図１】カメラシステムのブロック図
【図２】カメラ１００の背面図
【図３】実施例における撮像装置の光学系の模式図
【図４】撮影時の表示部２５８の表示例を示す図
【図５】実施例における多重露光撮影時の動作フロー図
【図６】実施例における相関演算を行うときの動作サブフロー図
【図７】実施例における像生成手段の動作サブフロー図
【図８】実施例における像シフト動作を示す動作サブフロー図
【図９】像の再構成動作を示す模式図
【図１０】実施例における多重露光撮影時の動作サブフロー図
【図１１】実施例における多重露光撮影時のＡＦレンズ１２０の光学方向の位置の説明図
【発明を実施するための形態】
【００１２】
以下、本発明を実施するための形態を図面に基づいて説明する。
［実施例］
図１から図９を参照して、本発明の撮像装置について説明する。図１は撮像装置であるデジタルカメラおよびレンズの電気的構成を示すブロック図である。カメラ１００およびレンズ１０２からなるカメラシステムは、撮像系、画像処理系、記録再生系、制御系を有する。撮像系は、撮影光学系１０１ 、撮像素子２５２を含み、画像処理系は、画像処理部１５０を含む。また、記録再生系は、メモリ１９７、表示部２５８を含み、制御系は、ボディＣＰＵ１０９、およびレンズＣＰＵ１０３、レンズ駆動手段であるズームレンズ駆動部１１１及びＡＦレンズ駆動部１２１を含む。
【００１３】
図２は同カメラシステムの背面図である。本実施形態におけるカメラシステムは、カメラ１００に対して着脱可能なレンズ１０２内に撮影光学系１０１が設けられている。撮像系は、物体からの光を、撮影光学系１０１を介して撮像素子２５２の撮像面に結像する光学処理系である。撮影光学系１０１はズームレンズ１１０を有しており、超音波モータやステッピングモータを駆動源とするズームレンズ駆動部１１１によって光軸方向に駆動可能である。ズームレンズ電圧ドライバ１１３は、ズームレンズ駆動部１１１を駆動制御する電圧を発生する。
【００１４】
ズーム位置検出部１１２は、光軸Ｉに沿ったズームレンズ１１０の位置を検出するズームエンコーダである。ズーム位置検出部１１２は、焦点距離値に応じたパルス信号をズームレンズ制御部１０５に出力する。ズームレンズ制御部１０５は、ズームレンズ駆動部１１１を制御し、例えばユーザーがカメラ１００もしくはレンズ１０２に不図示のスイッチにより設定した焦点距離になる光軸Ｉ上の位置にズームレンズ１１０が駆動されるように追従制御を行う部分である。またズームレンズ制御部１０５は、ズーム位置検出部１１２が出力するパルス信号を取り込む。
【００１５】
ズームレンズ制御部１０５は、ユーザーが設定した焦点距離になる光軸Ｉ上の位置（目標位置）、ズームレンズ１１０の現在位置情報などに基づいて駆動信号を演算し、このデジタル駆動信号をズームレンズ電圧ドライバ１１３に出力する。
【００１６】
ズームレンズ電圧ドライバ１１３は、入力された駆動信号（駆動電圧）に応じて、ズームレンズ駆動部１１１に電力を供給するドライバ部である。ズームレンズ電圧ドライバ１１３は、駆動信号に対し、スイッチングを行い、ズームレンズ駆動部１１１に電圧を印加し、ズームレンズ駆動部１１１の駆動を行う。
【００１７】
また撮影光学系１０１は、ＡＦレンズ１２０を有しており、超音波モータやステッピングモータを駆動源とするＡＦレンズ駆動部１２１によって光軸方向に駆動可能である。ＡＦレンズ電圧ドライバ１２３は、ＡＦレンズ駆動部１２１を駆動制御する電圧を発生する。
【００１８】
フォーカス位置検出部１２２は、光軸Ｉに沿ったＡＦレンズ１２０の位置を検出するフォーカスエンコーダである。フォーカス位置検出部１２２は、被写体距離値に応じたパルス信号をＡＦレンズ制御部１０４に出力する。ＡＦレンズ制御部１０４は、ＡＦレンズ駆動部１２１を制御し、例えばユーザーのカメラ１００のレリーズスイッチ１９１の操作により検出された被写体距離になる光軸Ｉ上の位置にＡＦレンズ１２０が駆動されるように追従制御を行う部分である。またＡＦレンズ制御部１０４は、フォーカス位置検出部１２２が出力するパルス信号を取り込む。
【００１９】
ＡＦレンズ制御部１０４は、被写体距離になる光軸Ｉ上の位置（目標位置）、ＡＦレンズ１２０の現在位置情報などに基づいて駆動信号を演算し、このデジタル駆動信号をＡＦレンズ電圧ドライバ１２３に出力する。ＡＦレンズ電圧ドライバ１２３は、入力された駆動信号（駆動電圧）に応じて、ＡＦレンズ駆動部１２１に電力を供給するドライバ部である。ＡＦレンズ電圧ドライバ１２３は、駆動信号に対し、スイッチングを行い、ＡＦレンズ駆動部１２１に電圧を印加し、ＡＦレンズ駆動部１２１の駆動を行う。
【００２０】
また撮影光学系１０１は、絞り１４０を有しており、ステッピングモータ等を駆動源とする絞り駆動部１４１によって絞り１４０の開口の大きさが変化する。絞り制御部１０６は、絞り駆動部１４１を制御し、例えば撮影する被写体の明るさに応じて適正露光量となる絞りの値を演算するとともに、該絞り値となる駆動信号を演算し、絞り駆動部１４１に出力する。または、後述するように、ユーザーが絞り設定スイッチ１９４にて設定した絞り値に応じて駆動信号を演算し、絞り駆動部１４１に出力する。
【００２１】
レンズＣＰＵ１０３は、レンズ１０２側の種々の制御を行う中央処理部である。レンズＣＰＵ１０３内には、ズームレンズ制御部１０５と、ＡＦレンズ制御部１０４及び絞り制御部１０６が設けられている。レンズＣＰＵ１０３は、レンズ１０２とカメラ１００との間に設けられたレンズ接点１９０を介して、ボディＣＰＵ１０９との間で通信が可能である。
【００２２】
ＥＥＰＲＯＭ１３１は、レンズ１０２に関する種々の固有情報であるレンズデータなどを格納する不揮発性の記憶部である。ボディＣＰＵ１０９は、カメラシステム全体の種々の制御を行う中央処理部である。またボディＣＰＵ１０９には、レリーズスイッチ１９１の情報が入力され、レリーズスイッチ１９１が半押し、又は、全押しされたことを検知する事が出来る。これにより、撮像素子２５２の駆動、画像処理部１５０の動作、メモリ１９７の圧縮処理などを制御する。さらに表示部２５８によって液晶モニタ等に情報表示を行う情報表示装置の各セグメントの状態を制御する。よって、ボディＣＰＵ１０９は、本発明の撮影機器制御手段に相当する。
【００２３】
さらには、ボディＣＰＵ１０９は、後述するように、ユーザーが撮影時に主被写体としている被写体を判定する機能を有している。よって、ボディＣＰＵ１０９が本発明の判定手段にも相当する。
【００２４】
画像処理部１５０は、内部にＡ／Ｄ変換器、ホワイトバランス回路、ガンマ補正回路、補間演算回路等を有しており、記録用の画像を生成することができる。また、本発明の要部である、像シフト手段、像生成手段、相関計算手段等を含める事も出来る（本実施例ではこれらの要素はボディＣＰＵ１０９内に配置する場合を想定して記載する）。
【００２５】
撮像素子２５２は、具体的には、増幅型固体撮像素子の１つであるＣＭＯＳプロセスコンパチブルのセンサ（以降ＣＭＯＳセンサと略す）である。ＣＭＯＳセンサの特長の１つに、エリアセンサ部のＭＯＳトランジスタと撮像装置駆動回路、ＡＤ変換回路、画像処理回路といった周辺回路を同一工程で形成できるため、マスク枚数、プロセス工程がＣＣＤと比較して大幅に削減できる。また、任意の画素へのランダムアクセスが可能といった特長も有し、ディスプレイ用に間引いた読み出しが容易であって、表示部２５８において高い表示レートでリアルタイム表示が行える。
【００２６】
撮像素子２５２は、上述した特長を利用し、ディスプレイ画像出力動作（撮像素子２５２の受光領域のうち一部を間引いた領域での読み出し）および高精彩画像出力動作（全受光領域での読み出し）を行う。
【００２７】
また撮像素子２５２表面にはマイクロレンズが格子状に配置してあり、いわゆるマイクロレンズアレイ（以下 ＭＬＡ２０）を形成している。ＭＬＡ２０は本実施例において、瞳分割手段を構成する。ＭＬＡ２０の機能や配置の詳細については図３を用いて後述する。後述するように、撮像素子２５２からピント評価量／適当な露光量が得られるので、この信号に基づいて適切に撮影光学系１０１が調整されることで、適切な光量の物体光を撮像素子２５２に露光するとともに、撮像素子２５２近傍で被写体像が結像する。
【００２８】
なお、ボディＣＰＵ１０９は、後述するように、画像処理部１５０を動作させて撮像素子２５２に結像した被写体像から撮影画像のデフォーカス量を求め、その結果と前述の主被写体３１０の判定結果に応じてレンズ接点１９０を介してレンズＣＰＵ１０３に送信する事でＡＦレンズ１２０の駆動を制御する事にもなるので、ボディＣＰＵ１０９は、本発明のフォーカス制御手段にも相当する。
【００２９】
図３は本実施例における撮影光学系の要部を説明する図である。本発明を適用するためには、いわゆる光線空間情報等といわれる光線の位置に加えて角度の情報を取得する必要がある。本実施例では、角度情報の取得のために撮影光学系１０１の結像面近傍にＭＬＡ２０を配置するとともに、ＭＬＡ２０を構成する１つのレンズに対して複数の画素を対応させている。
【００３０】
図３（ａ）は撮像素子２５２とＭＬＡ２０の関係模式的に示す図である。図３（ｂ）は撮像素子２５２の画素とＭＬＡ２０の対応を示す模式図である。図３（ｃ）はＭＬＡ２０によってＭＬＡ２０の下に設けられた画素が特定の瞳領域と対応付けられる事を示す図である。
【００３１】
図３（ａ）に示すように、撮像素子２５２上にはＭＬＡ２０が設けられており、ＭＬＡ２０の前側主点は撮影光学系１０１の結像面近傍になるように配置されている。図３（ａ）は撮像装置の横からと、正面からＭＬＡ２０を見た状態を示しており、撮像装置正面から見るとＭＬＡ２０のレンズが撮像素子２５２上の画素を覆うように配置されている。なお、図３（ａ）ではＭＬＡ２０を構成する各マイクロレンズを見やすくするために、大きく記載したが、実際には各マイクロレンズは画素の数倍程度の大きさしかない（実際の大きさについては図３（ｂ）を用いて説明する）。
【００３２】
図３（ｂ）は図３（ａ）の装置正面からの図を一部拡大した図である。図３（ｂ）に示す格子状の枠は、撮像素子２５２の各画素を示している。一方ＭＬＡ２０を構成する各マイクロレンズは太い円２０ａ，２０ｂ，２０ｃ，２０ｄで示した。図３（ｂ）から明らかなように、マイクロレンズ１つに対して複数の画素が割り当てられており、図３（ｂ）の例では、５行x５列＝２５個の画素が１つのマイクロレンズに対して設けられている（すなわち各マイクロレンズの大きさは画素の大きさの５倍x５倍の大きさである）。
【００３３】
図３（ｃ）は撮像素子２５２を、マイクロレンズ光軸を含み、撮像素子２５２の長手方向が図の横方向になるように切断した図である。図３（ｃ）の２１、２２、２３、２４、２５は撮像素子２５２の画素（１つの光電変換部）を示している。
【００３４】
一方、図３（ｃ）の上方に示した図は撮影光学系１０１の射出瞳面を示している。実際には、図３（ｃ）の下方に示した撮像素子２５２の図と方向を合わせると、射出瞳面は図３（ｃ）の紙面垂直方向になるが、説明のために投影方向を変化させている。また、図３（ｃ）においては、説明を簡単にするために、１次元の投影／信号処理について説明する。実際の装置においては、これを容易に２次元に拡張する事が出来る。
【００３５】
図３（ｃ）の画素２１、２２、２３、２４、２５は図３（ｂ）の２１ａ、２２ａ、２３ａ、２４ａ、２５ａとそれぞれ対応する位置関係にある。図３（ｃ）に示すように、マイクロレンズによって各画素は撮影光学系１０１の射出瞳面上の特定の領域と共役になるように設計されている。図３（ｃ）の例では画素２１と領域３１が、画素２２と領域３２が、画素２３と領域３３が、画素２４と領域３４が、画素２５と領域３５がそれぞれ対応している。すなわち画素２１には撮影光学系１０１の射出瞳面上の領域３１を通過した光束のみが入射する。他の画素も同様である。結果として、瞳面上での通過領域と撮像素子２５２上の位置関係から角度の情報を取得する事が可能となる。
【００３６】
ここで後ほどの説明を簡単にするために記号を導入する。図３（ｃ）に示すように、撮像素子２５２の画素ピッチをΔx、角度分解能をΔθとする。さらに角度の分割数をNθ（図３の例ではNθ=5）とする。画素ピッチは撮像素子２５２の形状によって決定され、Δθは光線の角度を取得する範囲と角度分割数Nθで決定される。すなわち、物理的な構造（撮像素子２５２およびＭＬＡ２０の構造）のみによってこれらのパラメータは決定される。
【００３７】
レリーズスイッチ１９１は、前述の通り、図示しないレリーズボタンの半押し動作（ＳＷ１のＯＮ）を検出して、一連の撮影準備動作（測光動作や焦点調節動作等）を開始させ、レリーズボタンの全押し動作（ＳＷ２のＯＮ）を検出して、撮影動作（撮像素子２５２から読み出された画像データの記録媒体への記録）を開始させるスイッチである。
１９２は任意方向の操作が可能な選択スイッチで、不図示の公知の撮影メニューの項目を選択したり、後述するように、ユーザーが主被写体を選択したりする時に用いるスイッチである。
【００３８】
１９３は決定スイッチで、不図示の公知の撮影メニューの決定をしたり、後述するように、ユーザーが主被写体を決定したりする時に用いるスイッチである。１９４は絞り設定スイッチで、不図示の操作ダイヤルを撮影者が操作する事で、撮影者が絞り値を設定する事が出来るスイッチである。よって、絞り設定スイッチ１９４は、本発明の絞り値設定手段に相当する。
【００３９】
１９５はカメラ１００を起動させるためのメインスイッチである。また、図２に示したように、メインスイッチ１９５は２ポジション（１９５−１，１９５−２）が選択可能なスイッチである。
【００４０】
ポジション１９５−１にメインスイッチ１９５をセットした時は「ＯＦＦ」で、後述のように、カメラ１００はスリープ状態となる。またポジション１９５−２にメインスイッチ１９５をセットした時は「ＯＮ」で、後述のように、カメラ１００はスリープ状態から駆動状態となり、各種スイッチの操作等を受け付けて静止画や動画の撮影のための動作を行う状態となる。
【００４１】
１９６はカメラ１００の撮影モードを設定するためのモードスイッチで、後述する「多重露光撮影モード」を設定する事が出来る。１９７はメモリで、実際の記憶部に加えて記録に必要な処理回路を備えている。メモリ手段は、記録部へ出力を行うとともに、表示部２５８に出力する像を生成、保存する。また、メモリ１９７ は、予め定められた方法を用いて画像、動画、音声などの圧縮を行う。
【００４２】
表示部２５８はカメラ１００の背面に取り付けられており、使用者は表示部２５８での表示を直接観察できるようになっている。表示部２５８を、有機ＥＬ空間変調素子や液晶空間変調素子、微粒子の電気泳動を利用した空間変調素子などで構成すれば、消費電力を小さくでき、かつ表示部２５８の薄型化を図る事が出来る。これにより、カメラ１００の省電力化および小型化を図る事が出来る。
【００４３】
図４は、いわゆるライブビュー撮影時に表示部２５８に表示される被写体像の様子を示した図である。図４において、表示部２５８には、被写体像２５８ａと撮影条件（シャッタ速度、絞り値、ＩＳＯ感度等）や露出レベル表示、電池残量表示等の撮影情報２５８ｂが表示されている。
【００４４】
また被写体像２５８ａ表示部内には、複数の測距点（測距領域）３０１が設けられており、撮像素子２５２からのピント検出結果に基づいて選択された測距点３０２を別の表示形態（色違いでの表示等）にする事により、ユーザーに合焦している主被写体部を知らせる事が出来る。
【００４５】
なお、カメラ１００の選択スイッチ１９２と決定スイッチ１９３を用いて測距部２５３の検出結果によらずに複数の測距点３０１の中から合焦させたい任意の位置のものをユーザーが選択可能である。その際は、ユーザーが選択した測距点３０２に基づいて撮像素子２５２からのピント検出結果から主被写体までの距離を演算する事でピンボケ写真になるのを防止する。
【００４６】
図５は本発明のカメラシステムが多重露光撮影する時の動作を説明するためのフローチャートであるので、これを用いて、以下、多重露光撮影時のカメラ１００及びレンズ１０２の動作について説明する。
【００４７】
ステップ（以下、Ｓとする）１０１０では、メインスイッチ１９５がＯＮになっているかどうかの判定がボディＣＰＵ１０９によって行われる。メインスイッチ１９５がＯＦＦのままであれば、カメラ１００はスリープ状態のままであり、メインスイッチ１９５がＯＮになればＳ１０２０に進む。
【００４８】
Ｓ１０２０では、カメラ１００がモードスイッチ１９６によって多重露光撮影モードに設定されているかどうかの判定がボディＣＰＵ１０９によって行われる。ＹｅｓであればＳ１０３０に進み、ＮｏであればＳ１２５０に進み、通常の撮影動作を行う。Ｓ１２５０の動作は公知の動作であり、また本発明の内容とは異なるので詳細な説明を省略する。Ｓ１０３０では、レリーズスイッチ１９１の半押し動作が行われたかどうかの判断を行う。ＹＥＳならばＳ１０４０に進む。
【００４９】
Ｓ１０４０では、ユーザーが絞り設定スイッチ１９４にて設定した絞り値をボディＣＰＵ１０９が読み込み、レンズ接点１９０を介してレンズＣＰＵ１０３に送信する。そして、その絞り値に応じて絞り制御部１０６は絞り駆動部１４１を駆動制御し、絞り１４０をユーザーの設定した絞り値に相当する開口径にする。Ｓ１０５０では、撮像素子２５２を適当な時間露光して、読み出す（Ａ／Ｄ変換する）事によりデータを取得する。
【００５０】
この時の露光時間と露光量から撮影において適当な露出量を計算する事も出来るが、本発明の要部ではないので説明は割愛する。Ｓ１０６０では相関計算手段を動作させて結果を得る。相関計算手段の動作の詳細は図６を用いて後述するが、このステップで、いわゆる位相差ＡＦによるピント位置を求める事が出来る。Ｓ１０７０では、Ｓ１０６０での計算結果から各測距点３０１でのデフォーカス量を算出する。Ｓ１０８０では、Ｓ１０７０で求めた各測距点３０１でのデフォーカス量からユーザーが主被写体としている被写体をボディＣＰＵ１０９が判定する。
【００５１】
具体的には、例えば各測距点３０１でのデフォーカス量の分布状況やその絶対値の差から、ある特定の値及びその近傍のデフォーカス量となっている測距点３０１の数が多いエリアを特定し、そのエリア内の被写体を主被写体３１０と判定すると共に、そのエリアで一番デフォーカス量が小さいものをピント位置の測距点３０２として表示する（図４参照）。
【００５２】
あるいは、前述のように、カメラ１００の選択スイッチ１９２と決定スイッチ１９３を用いて、ユーザーが複数の測距点３０１の中から合焦させたい任意の位置の測距点３０２を指定した場合に、その測距点３０２におけるデフォーカス量と等しいか、あるいはその近傍のデフォーカス量となっている測距点３０１が分布しているエリア内の被写体をボディＣＰＵ１０９は主被写体３１０と判定しても良い。
【００５３】
なお、Ｓ１０８０において、ユーザーがカメラ１００の選択スイッチ１９２と決定スイッチ１９３を用いて主被写体３１０を指定する場合は、表示部２５８内に例えば「主被写体を選択／決定して下さい」等の表示が行ってユーザーの補助をすれば、ユーザーにとっては利便性が向上する。また、撮影範囲内（図４で被写体像２５８ａとして表示されているエリア内の事）で測距領域外（測距点３０１が配置されていない所）にいる被写体に対してもＳ１０６０の処理によりデフォーカス量が求まっているので、ボディＣＰＵ１０９は、主被写体３１０以外の被写体を背景３２０として判定して、そのデフォーカス量をメモリ１９７に記録しても良い。よって、ボディＣＰＵ１０９は、本発明のデフォーカスマップ生成手段にも相当する。
【００５４】
Ｓ１０９０では、Ｓ１０８０の演算結果をボディＣＰＵ１０９からレンズ接点１９０を介してレンズＣＰＵ１０３が受け取り、その後、ＡＦレンズ１２０をＡＦレンズ駆動部１２１により駆動してＳ１０８０により求まった主被写体３１０が合焦状態となる位置にＡＦレンズ１２０を移動する。Ｓ１１１０では、画像処理部１５０が有する像生成手段を動作させて結果を得る。像生成手段の動作の詳細は図７を用いて後述するが、これにより、撮像素子２５２に結像した主被写体３１０の像がメモリ１９７に生成される。
Ｓ１１１０では、Ｓ１１００にて生成された主被写体３１０に合焦した画像を撮影前のプレビュー画像として表示部２５８に表示する。
【００５５】
Ｓ１１２０では、レリーズスイッチ１９１が全部押し込まれたか（ＳＷ２がオンになったかどうか）の判断をボディＣＰＵ１０９が行う。ＮＯならばＳ１０５０に戻り、一連の動作を繰り返す。ＹＥＳならばＳ１１３０に進む。Ｓ１１３０では、公知の撮影動作を行うと共に、撮像素子２５２に結像した主被写体３１０の像を、公知の画像処理技術を経て画像処理部１５０で処理した記録画像としてメモリ１９７もしくは不図示の記録媒体に記録する。
【００５６】
Ｓ１１４０では、多重露光撮影を行うために、レリーズスイッチ１９１の半押し動作が継続されているかどうか、つまり、ＳＷ１がＯＦＦになっていないかどうかの判定がボディＣＰＵ１０９によって行われる。レリーズスイッチ１９１の半押し動作が継続している、つまりＳＷ１がＯＮになっている場合（Ｙｅｓ）であればＳ１０５０に戻り、多重露光撮影のためにＳ１０５０からＳ１１２０までのシーケンスを繰り返す。
【００５７】
一方、Ｓ１１４０において、ＳＷ１がＯＦＦになった場合、つまり多重露光撮影が終わった場合（Ｎｏ）であればＳ１１５０に進む。Ｓ１１５０では、多重露光撮影としてＳ１１３０にてメモリ１９７もしくは不図示の記録媒体に記録した撮影画像の１枚目から、主被写体３１０をボディＣＰＵ１０９は抽出する。Ｓ１１６０では、多重露光撮影としてＳ１１３０にてメモリ１９７もしくは不図示の記録媒体に記録した各撮影画像から、Ｓ１１５０で抽出した主被写体３１０が多重露光撮影中、光軸Ｉ方向（撮影範囲内の奥行き方向）に位置変化した量をボディＣＰＵ１０９は演算する。
【００５８】
例えば図４に示した例であれば、Ｓ１１５０で主被写体３１０（３１０ａ）を抽出した後、Ｓ１１６０では、主被写体３１０が３１０ａの位置を基準として、３１０ｂ及び３１０ｃの位置までどの程度、光軸Ｉ方向におのおの位置変化したかの演算をボディＣＰＵ１０９は行う事となる。なお、Ｓ１１６０では、前述のように、主被写体３１０の位置変化量を演算するので、多重露光撮影としてＳ１１３０にてメモリ１９７もしくは不図示の記録媒体に記録した各撮影画像から、Ｓ１１５０同様、Ｓ１１６０においても、主被写体３１０を抽出した方が望ましい。
【００５９】
Ｓ１１７０では、Ｓ１１６０の演算結果から、主被写体３１０が撮影範囲内で光軸Ｉ方向一番手前の位置（図４に示した例であれば、主被写体３１０が３１０ｃの位置に相当する）をボディＣＰＵ１０９は演算し、背景３２０の第一の像生成基準位置として指定する。Ｓ１１８０では、Ｓ１１６０の演算結果から、主被写体３１０が撮影範囲内で光軸Ｉ方向一番奥側の位置（図４に示した例であれば、主被写体３１０が３１０ａの位置に相当する）をボディＣＰＵ１０９は演算し、背景３２０の第二の像生成基準位置として指定する。
【００６０】
Ｓ１１９０では、Ｓ１１７０で演算した背景３２０の第一の像生成基準位置と、Ｓ１１８０で演算した背景３２０の第二の像生成基準位置との間にある背景３２０（図４に示した例であれば、主被写体３１０に隣接する地面３３０等になる）が被写界深度内となる絞り値の演算をボディＣＰＵ１０９が行う。よって、ボディＣＰＵ１０９は、本発明の絞り値演算手段にも相当する。
【００６１】
Ｓ１２００では、Ｓ１１７０で演算した背景３２０の第一の像生成基準位置と、Ｓ１１８０で演算した背景３２０の第二の像生成基準位置、及び、Ｓ１１９０で演算した絞り値を用いて、主被写体３１０以外の被写体像である前景及び背景像を画像処理部１５０が有する像生成手段を動作させて得る。詳細は、図１０のサブルーチンを用いて説明する。
【００６２】
Ｓ１２１０では、Ｓ１１３０にてメモリ１９７もしくは不図示の記録媒体に記録した各撮影画像から、Ｓ１１５０及びＳ１１６０にて抽出した主被写体３１０像を取り出し、それをＳ１２００にて生成した前景及び背景像と合成して、１枚の多重露光撮影画像をボディＣＰＵ１０９が生成すると共に、メモリ１９７もしくは不図示の記録媒体に記録する。なおこの時記録した多重露光撮影画像は、後述するように、主被写体３１０には合焦していて、前景や背景がボケているような画像となっている。
【００６３】
Ｓ１２２０では、Ｓ１２１０で生成した主被写体３１０と背景３２０とを合成した記録画像を表示部２５８に表示する。これにより、ユーザーは撮影直後に主被写体３１０を多重露光撮影した画像を確認／取得する事が出来る。Ｓ１２３０では、メインスイッチ１９５がＯＦＦになったかどうかのボディＣＰＵ１０９が判断を行う。ＮＯの場合はＳ１０３０に戻って一連の撮影動作を行う。Ｓ１２２０でＹＥＳの場合は、撮影動作を終了する。
【００６４】
＜サブルーチン“相関演算”の説明＞
以下、図６を用いて、Ｓ１０６０で行われる相関演算のサブフローについて説明する。Ｓ１３１０は画像処理部１５０が有する相関計算手段の動作開始を示している。Ｓ１３２０からＳ１４２０はループを形成している。Ｓ１３２０では、評価位置の数（いわゆる測距視野数）に対応して繰り返し演算を行う。測距視野数は多くなると画面全体を覆うことが可能となるが評価に時間が掛るという問題がある。ユーザーの設定などにより適切に設定する。
【００６５】
Ｓ１３３０では、評価を行う評価点の数と、評価枠の大きさを設定する。ここでいう評価点の数とは、Ｓ１３４０で行う相関値を求める点数であり、撮影条件やレンズ１０２の種類などに応じて適切に設定される。また、評価点の数は像をシフトさせながら相関を求める場合のシフト量に対応しており、これは撮像装置においては焦点合わせの探索を行うピントの深さに対応している。一方、評価枠の大きさは、大きくすると局所的にはあまりパターンを有していないテクスチャであってもピントを合わせる事が可能となるが、あまりにも大きくなると距離の異なる被写体の像を同時に評価する、いわゆる遠近競合が発生してしまう。これらの問題を解決できるように評価枠の大きさを適切に設定する。
【００６６】
Ｓ１３４０からＳ１３９０はループを形成している。Ｓ１３４０では、Ｓ１３３０で決定された評価数に対応した評価値を得るように繰り返し演算を行う。Ｓ１３５０からＳ１３７０はループを形成している。Ｓ１３５０では、Ｓ１３３０で決定された評価枠の大きさに応じた画素数の範囲で相関計算を行う。相関計算はＳ１３６０にあるように、例えばΣ｜Ai - Bi｜で計算すれば良い。
【００６７】
ここで、Aiは特定の瞳領域を通過したi番目の画素の輝度を示している。BiはAiとは異なる瞳領域を通過したi番目の画素の輝度を示している。例えば図３において、画素２２に対応する画素のみ並べたものをAi、画素２４に対応する画素のみ並べたものをBiとすれば良い。どの瞳領域の画素を選択するかは、基線長の長さ、瞳面のケラレ状況、等によって決定すれば良い。
【００６８】
上記のように設定する事で、異なる瞳領域を通過した像の相関を計算出来、いわゆる位相差ＡＦに基づく評価量を得る事が出来る。Ｓ１３８０では、得られた相関値を評価量として格納する。
【００６９】
上記に示したΣ｜Ai - Bi｜という評価式においては、相関値が小さくなった個所が最もピント状態が良い個所に対応している。ここでは差分絶対値を加算する方法で相関計算を行ったが、最大値を加算する方法、最小値を加算する方法、差分２乗値を加算する方法など他の計算方法によって相関計算を行っても良い。
【００７０】
Ｓ１４００では、相関評価値が最良となる（前述したようにＳ１３６０の式においては相関値が小さくなった個所だが、その他の指標も併用して最良を決定しても良い）点を相関量評価に基づく最良ピント位置として格納する。この演算を各視野で行い、最終的に相関量評価に基づく最良ピント位置を得てＳ１４２０に進み、呼び出し元（Ｓ１０７０）に戻る。
【００７１】
＜サブルーチン“像生成手段”の説明＞
以下、図７を用いて、Ｓ１１００や後述のＳ１７４０、Ｓ１７５０、Ｓ１７６０で行われる像生成手段のサブフロー、つまり、画像処理部１５０が有する像生成手段の動作の詳細について説明する。
【００７２】
Ｓ１５１０は像生成手段の動作開始を示している。Ｓ１５２０では、Ｓ１５５０での加算のための領域のデータを初期化する（０で埋める）。この時のデータ領域の大きさはＭＬＡ２０の数量あれば良く、データの諧調は元のデータの諧調と瞳分割数の積を格納できるだけあれば都合が良い。例えば元のデータが8bitで25分割の場合、13bit （> 8bit + log225）あればデータの桁あふれを考慮する必要が無い。Ｓ１５３０からＳ１５７０はループを形成している。
【００７３】
Ｓ１５３０では、ＭＬＡ２０を構成するマイクロレンズの数に応じてループ計算が実行される。例えば、図３に示した例では、元の撮像素子の画素数÷25（瞳分割数）がマイクロレンズの数となる。Ｓ１５４０からＳ１５６０はループを形成している。Ｓ１５４０では、瞳分割数に応じた数だけループ計算が実行される。例えば、図３に示した例では、５ｘ５＝２５個に分割されていたので、２５個のそれぞれの瞳位置からの光束がＳ１５５０で加算される。シフト量が画素の整数倍でない場合は、Ｓ１５５０において、適切に内分されながら加算される（重なっている面積に応じて適切に加算すれば良い）。
【００７４】
像生成手段は、図９を用いて図解も行う。（後述）Ｓ１５８０において、呼び出し元のＳ１１００（もしくは、Ｓ１７４０、Ｓ１７５０、Ｓ１７６０）に戻る。ここで、図８を用いて画像処理部１５０が有する像シフト手段について説明する。Ｓ１６１０は像シフト手段の動作開始を示している。Ｓ１６２０からＳ１６６０はループを形成している。Ｓ１６２０では、瞳分割数に応じた数だけループ計算が実行される。例えば、図３に示した例では、５ｘ５＝２５個に分割されていたので、２５個のそれぞれの瞳位置に応じた計算がなされる。図９を用いて後述するように、像の再構成を考えると同じ再構成面であっても入射角度が異なると像をシフトさせる量が異なる。これを適切に反映させるためのループである。
【００７５】
Ｓ１６３０では、Ｓ１６４０からのデータを元に、評価位置に対応する各瞳領域での像シフト量を計算する。Ｓ１６４０には、撮像素子２５２上の各画素とＭＬＡ２０との対応関係が保存されており、各画素がどの瞳領域の光線を受光しているかが分かる情報が格納されている。
【００７６】
Ｓ１６５０では、Ｓ１６３０の情報を元に同じ入射角の光線を得ている（同じ瞳領域からの光線を得ている）画素をシフトさせる。同じ入射角の光線を得ている画素は例えば図３（ｂ）の２５ａと２５ｂが該当する。このような画素がＭＬＡ２０を構成するマイクロレンズの数だけ存在している。像シフト手段は、図９を用いて図解も行う。（後述）Ｓ１６７０において、呼び出し元のＳ１６００に戻る。
【００７７】
次に図９を用いて像シフトおよび像生成を模式的に示す。図９は上から（ａ）、（ｂ）、（ｃ）と並んでおり、図９（ｂ）は実際に撮像素子２５２が存在して画像を取得した面を、図９（ａ）は図９（ｂ）よりも物体側の再構成面（再構成面１とする）を、図９（ｃ）は図９（ｂ）よりも物体側から遠い側の再構成面（再構成面２とする）をそれぞれ示している。
【００７８】
図９（ｂ）において、X1,i、X2,i、X3,i、X4,i、X5,i、はそれぞれ瞳領域１、２、３、４、５を通過してマイクロレンズXiに入射して得られたデータを示している。すなわち、添え字のうち前半は通過する瞳領域を、後半は画素の番号を示している。
【００７９】
また、図９においても説明を明瞭にするために、データを１次元的な広がりしか持たないものとして記述している。物理的な位置との関係においては、X1,iは図３（ｃ）の２１領域から得られるデータを、X2,iは図３（ｃ）の２２領域から得られるデータを、以下添え字の３、４、５は領域２３、２４、２５に対応していることを示している。
【００８０】
取得面での画像を生成するためには、図９（ｂ）にあるように、マイクロレンズXiに入射したデータを加算すればよい。具体的には、Si= X1,I  + X2,i+ X3,i + X4,i + X5,iでXiに入射した光の角度方向の積分値を得る事が出来る。これにより通常のカメラと同様の像が生成される。
【００８１】
次に再構成面１での像の生成方法を考える。図３で説明したように、本実施例の撮影光学系は、各画素に入射する光束を特定の瞳領域に限定しているために、入射角度が既知である。この角度に沿って再構成面での各画素の位置を再構成する。具体的にはX1,iのように瞳領域の添え字が１のものは図９右側において４１に示すような角度で入射しているとする。以下瞳領域の添え字２，３，４，５はそれぞれ４２，４３，４４，４５に対応しているとする。この時再構成面１でのマイクロレンズXiに入射した光束は、取得面においては、Xi-2からXi+2に分散して入射している事になる。
【００８２】
より具体的には、X1,i-2、X2,i-1、X3,i、X4,i+1、X5,i+2に分散している。Xiに限らず再構成面１での像を復元するためには、入射角度に応じて像をシフトさせて加算すれば良い事が分かる。再構成面１での像を生成するためには、瞳領域の添え字が１のものは右に２画素シフト、瞳領域の添え字が２のものは右に１画素シフト、瞳領域の添え字が３のものはシフトなし、瞳領域の添え字が４のものは左に１画素シフト、瞳領域の添え字が５のものは左に２画素シフトする事で入射角度に応じたシフトを与える事が出来る。
【００８３】
その後、図９（ａ）の縦方向に加算することで再構成面１でのデータを得る事が出来る。具体的には、Si = X1,i-2 + X2,i-1 + X3,i+ X4,i+1 + X5,i+2で再構成面１において、Xiに入射した光の角度方向の積分値を得る事が出来る。これにより再構成面での画像が得られた。
【００８４】
ここで、再構成面１において、Xiに輝点があったとすると、取得面においてはX1,i-2、X2,i-1、X3,i、X4,i+1、X5,i+2に分散していわゆるボケ状態にある。しかしながら、上述した再構成面１での像を生成すると、再びXiに輝点が生成されコントラストの高い像が得られる。
【００８５】
また、図９（ｃ）から分かるように、再構成面２においても再構成面と同様に像を生成する事が出来る。再構成面を配置する方向が異なると（物体に対して反対側という意味）シフトさせる方向を反転させれば良いだけである。これにより、図５で説明した動作フロー中のＳ１０２０において、多重露光撮影モードでない、通常の撮影を行った場合（Ｓ１２５０に進んだ場合）、図８や図９を用いて説明した像シフトによって、撮影時には合焦していない撮影画像の任意の被写体に合焦させる、所謂リフォーカス処理する事が可能となる。
【００８６】
＜サブルーチン“前景及び背景像生成”の説明＞
Ｓ１２００で行われる前景及び背景像の生成について、図１０のサブフローを用いて以下に説明する。
【００８７】
Ｓ１７１０では、以下のフローで生成する前景及び背景像の基準となる撮影画像（Ｓ１１３０にて取得した撮影画像）をボディＣＰＵ１０９が選択する。この時、選択される撮影画像は、多重露光撮影を行った最初にＳ１１３０にて取得した撮影画像でも、多重露光撮影を行った最後にＳ１１３０にて取得した撮影画像でも良い。また、多重露光撮影中にＳ１１３０にて取得した撮影画像から任意の１枚を選択しても良い。
【００８８】
あるいは、前景及び背景像の基準となる撮影画像をユーザーが任意に指定出来るようにしても良い。その場合には、多重露光撮影中にＳ１１３０にて取得した撮影画像の一覧を表示部２５８内に表示すると共に、ユーザーがカメラ１００の選択スイッチ１９２と決定スイッチ１９３を用いて撮影画像を指定し、さらには、表示部２５８内に例えば「前景及び背景の基準画像を選択／決定して下さい」等の表示が行ってユーザーの補助をすれば、ユーザーにとっては利便性が向上する。
【００８９】
Ｓ１７２０では、Ｓ１７１０にて選択した前景及び背景の基準画像から、Ｓ１１５０もしくはＳ１１６０にて抽出した主被写体３１０以外の被写体の抽出を行う。
【００９０】
Ｓ１７３０では、Ｓ１０８０において求められた撮影範囲内でのデフォーカス量及びＳ１１７０からＳ１１８０でボディＣＰＵ１０９が演算した背景３２０の第一の像生成基準位置及び第二の像生成基準位置に基づいて、Ｓ１７２０で抽出した主被写体３１０以外の被写体に対して、背景３２０の第一の像生成基準位置より光軸Ｉ方向の手前側にあるモノを「前景」に、背景３２０の第二の像生成基準位置より光軸Ｉ方向の奥側にあるモノを「背景」に、背景３２０の第一の像生成基準位置と第二の像生成基準位置との間にあるものを「合焦範囲」として指定する。
【００９１】
Ｓ１７４０では、Ｓ１７３０で指定した「合焦範囲」にある、主被写体３１０以外の被写体の像生成を、Ｓ１１９０にて演算した絞り値の光束を用いて画像処理部１５０が有する像生成手段を動作させて結果を得る。像生成手段の動作の詳細は図７を用いて後述する。これにより、Ｓ１１９０で説明したように、Ｓ１７３０で「合焦範囲」として指定した被写体は、Ｓ１１９０にて演算した絞り値によって被写界深度内となっているので、背景３２０の第一の像生成基準位置と第二の像生成基準位置との間にある主被写体３１０同様に合焦した状態となるから、自然な画像となる。
【００９２】
Ｓ１７５０では、Ｓ１７３０で「背景」として指定した主被写体３１０以外の被写体の像生成を、Ｓ１０８０において求められた撮影範囲内でのデフォーカス量及びＳ１１８０でボディＣＰＵ１０９が演算した背景３２０の第二の像生成基準位置に基づいて、画像処理部１５０が有する像生成手段を動作させて結果を得る。像生成手段の動作の詳細は図７を用いて後述する。
【００９３】
Ｓ１７６０では、Ｓ１７３０で「前景」として指定した主被写体３１０以外の被写体の像生成を、Ｓ１０８０において求められた撮影範囲内でのデフォーカス量及びＳ１１７０でボディＣＰＵ１０９が演算した背景３２０の第一の像生成基準位置に基づいて、画像処理部１５０が有する像生成手段を動作させて結果を得る。像生成手段の動作の詳細は図７を用いて後述する。
【００９４】
なお、Ｓ１７４０からＳ１７６０にて行われる動作結果の例を図１１に示す。図１１において、左端が被写体像２５８ａ内の最至近位置を示し、右端が被写体像２５８ａ内の最無限位置を示し、その間に主被写体３１０及び背景３２０が存在する。
このような場合、多重露光撮影によって主被写体３１０が丸１、丸２及び丸３の位置でユーザーがＳＷ２をＯＮにしたとする。すると、主被写体３１０が丸１の位置（主被写体３１０ａ）が、主被写体３１０以外の被写体の第二の像生成基準位置となる。また、主被写体３１０が丸３の位置（主被写体３１０ｃ）が、主被写体３１０以外の被写体の第一の像生成基準位置となる。
【００９５】
よってＳ１７４０では、主被写体３１０が丸１の位置と丸３の位置の間にある主被写体３１０以外の被写体に対して、Ｓ１１９０にて演算したＦ値の光束を用いて像生成が行われる事となる。Ｓ１７５０では、主被写体３１０が丸３の位置から至近側にある主被写体３１０以外の被写体について、Ｓ１０８０において求められた撮影範囲内でのデフォーカス量及び背景３２０の第一の像生成基準位置に基づいて、画像処理部１５０が有する像生成手段を動作させて結果を得る事となる。
【００９６】
よって、被写体３１０が丸３の位置から至近側にある主被写体３１０以外の被写体は、第一の像生成基準位置から至近側になるにつれて、撮影時の絞り値に応じたボケ具合になる。Ｓ１７６０では、主被写体３１０が丸１の位置から無限側にある主被写体３１０以外の被写体について、Ｓ１０８０において求められた撮影範囲内でのデフォーカス量及び背景３２０の第二の像生成基準位置に基づいて、画像処理部１５０が有する像生成手段を動作させて結果を得る事となる。よって、被写体３１０が丸１の位置から無限側にある主被写体３１０以外の被写体は、第二の像生成基準位置から無限側になるにつれて、撮影時の絞り値に応じたボケ具合になる。
【００９７】
図１０に示したサブルーチンの説明に戻る。Ｓ１７７０では、「合焦範囲」にある被写体の明るさのゲイン調整が必要かどうかの判定をボディＣＰＵ１０９が行う。これは、Ｓ１７１０で選択した基準画像のＦ値は、前述のようにユーザーが設定したＦ値なので、第一の像生成基準位置での「前景」として指定された被写体と第二の像生成基準位置での「背景」として指定された被写体は、ユーザーが設定したＦ値にて像生成されている。これに対して、Ｓ１７４０で「合焦範囲」にある、主被写体３１０以外の被写体の像生成は、Ｓ１１９０にて演算した絞り値の光束を用いて行っているので、第一の像生成基準位置での「前景」として指定された被写体と第二の像生成基準位置での「背景」として指定された被写体と、「合焦範囲」にある被写体の明るさが異なる場合があるからである。
【００９８】
Ｓ１７７０で、ゲイン調整が必要と判定された場合、つまり、Ｙｅｓの場合にはＳ１７８０に進み、ゲイン調整が不要と判定された場合、つまり、Ｎｏの場合はＳ１７９０に進む。Ｓ１７８０では、「合焦範囲」にある被写体の明るさが、第一の像生成基準位置での「前景」として指定された被写体と第二の像生成基準位置での「背景」として指定された被写体の明るさと同じになるように、「合焦範囲」にある被写体に対しては公知のゲイン調整を行う。
【００９９】
Ｓ１７９０では、Ｓ１７４０からＳ１７６０にて生成した、Ｓ１７２０で抽出した主被写体３１０以外の被写体像で、場合によってはＳ１７８０によって被写体の明るさの調整を行った被写体像の合成をボディＣＰＵ１０９が行う。これにより、被写体３１０以外の被写体像は、「合焦範囲」にあるものは、主被写体３１０同様、合焦していて、「前景」や「背景」に指定されたものは、撮影時のＦ値に応じたボケ具合になっている。Ｓ１７９０の動作が終了したら、元のメインフローであるＳ１２１０に戻る。
【０１００】
以上に説明したように、リフォーカス処理によって撮影画面内の任意の位置に合焦した画像が得られる撮像措置であって、主被写体に合焦して背景がボケているような多重露光画像が得られる撮像装置を提供する事が出来る。
【０１０１】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。また本発明ではカメラ１００とレンズ１０２が着脱可能であるとしたが、これに限定せず、カメラ１００とレンズ１０２が一体化しているカメラでも上記で説明したのと同様な効果が得られる事は言うまでもない。
【符号の説明】
【０１０２】
２０  マイクロレンズアレイ（ＭＬＡ）、１００  カメラ、１０２  レンズ、
１０９  ボディＣＰＵ、１２０  ＡＦレンズ、１９２  選択スイッチ、
１９３  決定スイッチ、１９６  モードスイッチ、２５２  撮像素子、２５８  表示部、
３０１，３０２  測距点、３１０  主被写体、３２０  背景
【図１】
2017011628.tif 000003
【図２】
2017011628.tif 000004
【図３】
2017011628.tif 000005
【図４】
2017011628.tif 000006
【図５】
2017011628.tif 000007
【図６】
2017011628.tif 000008
【図７】
2017011628.tif 000009
【図８】
2017011628.tif 000010
【図９】
2017011628.tif 000011
【図１０】
2017011628.tif 000012
【図１１】
2017011628.tif 000013