(57)【要約】      （修正有）【課題】被写体検出結果に基づいて、すばやくリフォーカス用のＬＦデータを記録しておく範囲を決定する手法を提供する。【解決手段】撮像光学系と撮像手段から取得される複数の視差画像の画素データの処理を有する画像処理装置において、前記視差画像を加算して加算画像を生成することが可能なＬＦデータ画素加算部１０９と、加算画像から１以上の被写体を検出することが可能な被写体検出手段１０８と、被写体検出から１以上の被写体に対してグループ分けを行うことが可能な関連付け手段１１０と、関連付け手段の結果と被写体検出の結果に基づいてリフォーカス可能な範囲を決定することが可能なリフォーカス可能範囲決定手段１１１と、リフォーカス可能範囲決定手段から、前記視差画像の記録範囲を決定することが可能なＬＦデータ取得領域決定手段１１２を備える。【選択図】図１
2015226169.tif 000002
【特許請求の範囲】
【請求項１】
撮像光学系と撮像手段から取得される複数の視差画像の画素データの処理を有する画像処理装置において、
前記視差画像を加算して加算画像を生成することが可能なＬＦデータ画素加算部と、
前記加算画像から１以上の被写体を検出することが可能な被写体検出手段と、
前記被写体検出から１以上の被写体に対してグループ分けを行うことが可能な関連付け手段と、
前記関連付け手段の結果と前記被写体検出の結果に基づいてリフォーカス可能な範囲を決定することが可能なリフォーカス可能範囲決定手段と、
前記リフォーカス可能範囲決定手段から、前記視差画像の記録範囲を決定することが可能なＬＦデータ取得領域決定手段を備えることを特徴とする画像処理装置。
【請求項２】
前記関連付け手段は、前記被写体検出において得られた座標情報から１以上の被写体に対してグループ分けを行うことが可能な請求項１に記載の撮像装置。
【請求項３】
前記関連付け手段は、前記被写体検出において得られた個人情報から１以上の被写体に対してグループ分けを行うことが可能な請求項１に記載の撮像装置。
【請求項４】
前記関連付け手段は、前記１以上の被写体検出結果に基づいて、前記ＬＦデータ取得領域決定手段で算出される前記視差画像の記録範囲を決定時に演算量の削減、又は前記視差画像の記録範囲に含まれる前記視差画像のデータ量の削減のどちらを優先するかによって、前記１以上の被写体のグループ分けの方法を決定することが可能な請求項１に記載の撮像装置。
【請求項５】
前記視差画像の記録範囲は、前記リフォーカス可能な範囲以上の領域を持つ請求項１に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関し、特に被写体の光学像を撮像してライトフィールドデータを取得する撮像装置およびその制御方法に関する。
【背景技術】
【０００２】
例えば、撮像素子の前面に複数画素に対し１つの割合で並ぶマイクロレンズアレイ（以降、ＭＬＡと呼ぶ）を配置することで、光の２次元強度分布だけでなく撮像素子に入射する光線の入射方向の情報を取得し、被写体空間の３次元的な情報を得ることが可能である。このような被写体空間の３次元的な情報を得ることが可能な撮像装置はライトフィールドカメラ（以降、ＬＦカメラと呼ぶ）と呼ばれている。また、被写体空間の３次元的な情報はライトフィールドデータ（以降、ＬＦデータと呼ぶ）と呼ばれ、ＬＦデータの取得と撮影後の画像再構成処理によって、画像のピント位置変更や、撮影視点の変更、被写界深度の調節等のリフォーカスと呼ばれる画像処理が可能となる。
【０００３】
このようなＬＦカメラにおいて、プレノプティク（ｐｌｅｎｏｐｔｉｃ）方式が広く知られている。プレノプティク方式では、瞳分割手段としてのＭＬＡの下に撮像用光電変換素子が二次元状に配置されており、光学系の有するフォーカスレンズは、各マイクロレンズ（以降、ＭＬと呼ぶ）の射出瞳の役割を有する。このような構成の撮像装置において、各ＭＬの下に存在する分割画素から、被写体の複数の光線情報が得られることが知られている。この光線情報を利用すると、各ＭＬの下に存在する画素群のうち同一位置の分割画素のみで形成した二次元画像と異なる位置の分割画素のみで形成した二次元画像は互いに視差を有する。このような視差を有した二次元画像同士の合成によって記録画像のフォーカス面を仮想的に移動させることができる。
【０００４】
上述したプレノプティク方式の撮像装置による撮像画素の数をＬＦＤＡＴＡ、撮像素子のＭＬの数をＮ、一つのＭＬにて分割される瞳分割数をＭとすると、
ＬＦＤＡＴＡ＝Ｎ×Ｍ
となる。なお、このようなＬＦＤＡＴＡに基づいて合成される最終出力画像の画素データの数はＭＬの数であるＮと同一の数となる。
【０００５】
このように、ＬＦデータはＭＬにて分割される瞳分割数に応じて増加し、リフォーカス機能を有する撮像装置では、出力画素データの数Ｎの最終画像に比べて、各種信号処理を行う際の処理負荷の増大を招く。更に撮像画素データを各種画像信号処理手段に取り込む際、大容量のデータ格納手段が必要となる。その結果、データ処理の負荷増大に伴い消費電力が増加し、更に処理データ量増加に伴うデータ格納手段の容量増加によるコストも増大する。
【０００６】
この課題を解決する方法として、特許文献１では、撮像素子において画素出力をＭＬ下のＭ個の分割画素の中で加算して読み出すことにより、処理するＬＦデータを削減する方法が開示されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００９−３１２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、上述の特許文献１に開示された従来技術では、ＬＦカメラのフォーカス機能を有する撮像装置において、撮像素子における画素の加算読み出しを被写体の範囲で行うと、ＬＦデータの削減により被写体をリフォーカスする為の情報も失われてしまう。つまり、再生時において撮影した画像をリフォーカスする場合、検出した被写体に対してリフォーカスできなくなってしまう。
【０００９】
そこで、本発明の目的は、被写体検出結果に基づいて、すばやくリフォーカス用のＬＦデータを記録しておく範囲を決定する手法を提供することである。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、本発明に係る画像処理装置の構成は、
撮像光学系と撮像手段から取得される複数の視差画像の画素データの処理を有する画像処理装置において、
前記視差画像を加算して加算画像を生成することが可能なＬＦデータ画素加算部と、
前記加算画像から１以上の被写体を検出することが可能な被写体検出手段と、
前記被写体検出から１以上の被写体に対してグループ分けを行うことが可能な関連付け手段と、
前記関連付け手段の結果と前記被写体検出の結果に基づいてリフォーカス可能な範囲を決定することが可能なリフォーカス可能範囲決定手段と、
前記リフォーカス可能範囲決定手段から、前記視差画像の記録範囲を決定することが可能なＬＦデータ取得領域決定手段
を備えることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、被写体検出結果に基づいて、すばやくリフォーカス用のＬＦデータを記録しておく範囲を決定する手法を提供することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明を適用した撮像装置の概略構成を示すブロック図である。
【図２】本発明における撮像装置で使用される撮像素子の単位画素セル図（ａ）とその各分割画素により得られる画像を説明するための図（ｂ）である。
【図３】本実施例１における関連付け手段１１０の関連付け方法を説明するための図（ａ）被写体検出領域のＡ〜Ｄにおける座標を表す図（ｂ）リフォーカス可能範囲決定手段１１１のリフォーカス可能範囲の決定方法について説明するための図（ｃ）である。
【図４】本実施例１におけるＬＦデータ取得領域決定手段１１２のＬＦデータの取得領域の決定方法について説明するための図である。
【図５】本実施例２における関連付け手段１１０の関連付け方法とリフォーカス可能範囲決定手段１１１のリフォーカス可能範囲の決定方法について説明するための図である。
【図６】本実施例３における関連付け手段１１０の被写体の関連付け方法について撮影画像からデータ量か演算量の削減かの優先度付け方法を説明するための図である。
【発明を実施するための形態】
【００１３】
以下、本発明の好ましい実施の形態を、添付の図面を参照して詳細に説明する。図１は、本発明の実施形態にかかわる撮像装置のブロック図である。
【実施例１】
【００１４】
以下、図１を参照して、本発明の実施例１による、撮像装置１００の構成について説明する。撮像装置１００は、撮像光学系１０１、撮像素子１０２、Ａ／Ｄ変換部１０３、キャプチャー部１０４、ＬＦデータ画素加算部１０９、制御部１０５、外部記録装置１０６、デジタル信号処理部１０７、メモリ１１３、視差画像取得調整部１１４から構成される。
【００１５】
本実施例１における撮像装置１００の構成について詳細に説明する。実空間の像がフォーカシングレンズを含む撮像用のレンズ１０１から光学像を電気信号に変換する撮像素子１０２上に結像される。
【００１６】
撮像素子１０２は、その前面に瞳分割手段としてのＭＬＡが配置され、各ＭＬに対応する単位画素セルの二次元配列を有する撮像素子であり、撮影光学系を構成する光学系ユニット１０１に含まれるシャッターによって露光量の制御が行われる。撮像素子１０２は、光学系ユニット１０１によって結像された光学像を光電変換して撮像し、読み出し制御時において、単位画素中に構成される分割画素ＰＤに蓄積された電荷をそれぞれ順次Ａ／Ｄ変換部１０３に出力する。単体画素セル内は、Ａ、Ｂ、Ｃ、Ｄの４つの分割画素で構成されており、詳細説明については後述する。
【００１７】
Ａ／Ｄ変換部１０３は、不図示のＣＤＳ回路や、ＩＳＯ感度の増幅に代表されるアナログ信号処理部を介して撮像素子１０２から出力されたアナログ信号を入力し、デジタル信号に変換してキャプチャー部１０４へ出力する。
【００１８】
キャプチャー部１０４は、Ａ／Ｄ変換部１０３から入力された画素データの有効走査期間および種別を判定し、Ａ、Ｂ、Ｃ、Ｄの分割画素群をＬＦデータとして、ＬＦデータ画素加算部１０９及び、視差画像取得調整部１１４に出力する。
【００１９】
ＬＦデータ画素加算部１０９は、キャプチャー部１０４から入力されたＬＦデータを加算し、ベイヤ―配列の撮像画像を作成してから、外部記録装置１１３、及びデジタル信号処理部１０７に出力する。
【００２０】
尚、ＬＦデータは、メモリ１１３等の内蔵のメモリに記録してもよい。尚、領域別に画素加算を行って、ＬＦデータの各データがどの座標のＭＬのデータなのかをメタ情報として持たせてもよい。
【００２１】
制御部１０５は、例えばＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）であり、撮像装置１００内の各部から指示を受けて演算を行い、また制御信号によって各部を制御する。
【００２２】
外部記録装置１０６は、ＬＦデータ画素加算部１０９から撮像画像が入力され、ＳＤカードに代表されるメモリカードに記録を行う。また、デジタル信号処理部１０７へ撮像画像の出力及び、デジタル処理部１０７で処理された後の画像データが入力される。
【００２３】
デジタル信号処理部１０７は、ＬＦデータ画素加算部１０９、及び外部記録装置１０６からベイヤー配列で入力された撮像画像に対して同時化処理、ガンマ処理やノイズリダクション処理に代表されるデジタル信号処理を行い、視差画像取得調整部１１４に出力する。同時化処理、ガンマ処理、ノイズリダクション等のデジタル信号処理については周知であり、ここでは詳細な説明を省略する。
【００２４】
視差画像取得調整部１１４は、被写体検出部１０８、関連付け手段１１０、リフォーカス可能範囲決定手段１１１、ＬＦデータ取得領域決定手段１１２から構成される。本発明の特徴的な部分であるので、具体的な説明は後述する。以上、本発明における撮像装置１００の構成について説明した。
【００２５】
ここで、図２を使用して撮像素子１０２における単位画素セルについての詳細説明とリフォーカスの原理について簡単に説明する。
【００２６】
図２（ａ）において、単位画素セルは、瞳分割手段としてのＭＬＡに含まれる一つのＭＬを共有する２×２の分割画素を有している。このような単位画素セルが二次元状にベイヤー配列で撮像素子上に配置されている。なお、単位画素セル内の分割画素は、図２に示す符号を用いて、Ａ、Ｂ、Ｃ、Ｄで示す。
【００２７】
各単位画素セル内の同一画素位置に存在する分割画素のみで構成された二次元画像は、他の同一画素位置に存在する分割画素のみで構成された二次元画像に対して視差を有する。つまり、各単位画素セルの分割画素Ａのみで構成された画像と、各単位画素セルの分割画素Ｂのみで構成された画像は異なる視差を有する。つまり、２×２の分割画素からは合計４の異なる視差画像が得られることとなる。
【００２８】
一般的にＬＦカメラでは、これらの分割画素数に応じた異なる視差の画素を合成してリフォーカス画像を得ることとなる。
【００２９】
リフォーカス画像を得るための原理を、図２（ｂ）を用いて簡単に説明する。花の位置が視差を有さない画像となるように合成した場合には、花位置には合焦しているが、葉の位置では視差を有している画像同士が加算されて合成されるためにボケた画像となる。また、葉の位置が視差を有さない画像となるように合成した場合には、葉の位置に合焦しているが、花の位置ではボケた画像となる。
【００３０】
このようなリフォーカスの可能範囲は、分割画素数に応じて決定される。つまり、ライトフィールドにおけるリフォーカス画像は、各分割画素の合成によって得られる像であり、各分割画素で構成されるリフォーカス対象となる像は少なくとも合焦している必要がある。これは、撮像素子から一部の分割画素に対して加算読み出しを行うと、加算読み出しされた画素で得られた画像は被写界深度が浅くなっているために、それだけリフォーカス可能な範囲が狭くなることを表している。具体的に一部の分割画素の加算とは、Ａ＋Ｂ＋Ｃ＋Ｄではなく、Ａ＋Ｂ及び、Ｃ＋Ｄである。
【００３１】
図１に戻り、本発明の特徴的な部分である、視差画像取得調整部１１４について詳細に説明を行う。被写体検出部１０８は、デジタル信号処理部１０７から入力された画像に対して複数の被写体の認識を行い、その結果得られた被写体に対して設定された被写体検出領域を関連付け手段１１０、及びリフォーカス可能範囲決定手段１１１に出力する。
【００３２】
尚、本実施例では、被写体認識方法として人物の顔を検出することとするが、被写体は人物でなくてもよく、例えば花やペットとしても良い。尚、被写体認識技術については公知であるため、本実施例では説明を行わない。
【００３３】
関連付け手段１１０は、被写体検出部１０８から入力された被写体検出結果から複数の被写体の関連付けを行い、リフォーカス可能範囲決定手段１１１に複数の被写体が関連付けられた結果を出力する。具体的には複数の被写体毎にグループ分けを行う。
【００３４】
リフォーカス可能範囲決定手段１１１は、関連付け手段１１０から複数の被写体がグループ分けされた情報と被写体検出部１０８からの被写体の座標情報に基づいて、リフォーカス可能な範囲を決定し、ＬＦデータ取得領域決定手段１１２に出力する。
【００３５】
ＬＦデータ取得領域決定手段１１２は、キャプチャー部１０４から入力されたＬＦデータとリフォーカス可能範囲決定手段１１１からのリフォーカス可能な範囲に基づいて、ＬＦデータの取得範囲を決定し、外部記録装置１０６へ出力する。具体的な処理としては、リフォーカス可能な範囲から撮像素子１０２の分割画素内で最も長くなる基線長の分割画素対を推定した範囲でＬＦデータの取得範囲を決定する処理を行う。通常、リフォーカス可能な範囲枠が複数存在すると、ＬＦデータを取得する範囲を決定する演算量が増加するので、リフォーカス可能な範囲枠の数は少ないほうがよい。
【００３６】
ここで本発明の特徴的な、関連付け手段１１０における撮像画像の検出被写体をグループに分ける方法及び、リフォーカス可能な範囲の決定方法について図３を用いて説明を行う。図３は、被写体検出部１０８で撮像画像に対して検出された検出領域について示している図３（ａ）と被写体検出領域における座標情報を示している図３（ｂ）リフォーカス可能範囲決定手段１１１のリフォーカス可能な範囲の決定範囲を示している図３（ｃ）である。図３（ａ）は、５人の撮影被写体が撮影された撮像画像３００、主被写体が検出された検出領域を第１の被写体検出領域３０１として示している。更に、それぞれ他の４人の被写体が検出された検出領域を、第２の被写体検出領域３０２、第３の被写体検出領域３０３、第４の被写体検出領域３０４、第５の被写体検出領域３０５として示している。
【００３７】
本実施例１では、関連付け手段１１０は、被写体検出部１０８が検出した被写体検出領域３０１〜３０５を全て同グループになるようにグループＡとして関連付けている。
図３（ｂ）は、被写体検出領域の座標について示した図である。
【００３８】
被写体検出領域の左上、右上、左下、右下の各ポイントをそれぞれＡ点、Ｂ点、Ｃ点、Ｄ点とし、ＡからＤ点の水平座標、垂直座標をそれぞれ、（Ｘａ、Ｙａ）、（Ｘｂ、Ｙａ）、（Ｘａ、Ｙｂ）、（Ｘｂ、Ｙｂ）であることを示している。
【００３９】
第１の被写体検出領域３０１から第５の被写体検出領域３０５において、本実施例１における座標情報は、以下のようになっている。
第１の被写体検出領域３０１（Ｘａ、Ｘｂ、Ｙａ、Ｙｂ）＝（ａ１、ｂ１、ｃ１、ｄ１）
第２の被写体検出領域３０２（Ｘａ、Ｘｂ、Ｙａ、Ｙｂ）＝（ａ２、ｂ２、ｃ２、ｄ２）
第３の被写体検出領域３０３（Ｘａ、Ｘｂ、Ｙａ、Ｙｂ）＝（ａ３、ｂ３、ｃ３、ｄ３）
第４の被写体検出領域３０４（Ｘａ、Ｘｂ、Ｙａ、Ｙｂ）＝（ａ４、ｂ４、ｃ４、ｄ４）
第５の被写体検出領域３０５（Ｘａ、Ｘｂ、Ｙａ、Ｙｂ）＝（ａ５、ｂ５、ｃ５、ｄ５）
上記がグループＡに属している座標情報を示しており、
水平座標の範囲は、
ａ３＜ｂ３＜ａ５＜ａ４＜ｂ５＜ｂ４＜ａ１＜ｂ１＜ａ２＜ｂ２
垂直座標の範囲は、
ｃ３＜ｃ４＜ｃ１＜ｃ２＜ｄ３＜ｄ４＜ｄ１＜ｄ２＜ｃ５＜ｄ５
である。
【００４０】
図３（ｃ）は、関連付けされたグループＡから第１の被写体検出領域３０１から第５の被写体検出領域３０５が収まる範囲にリフォーカス可能な範囲を決定しており、グループＡが収まる座標範囲をリフォーカス可能な範囲３０６として示している。
【００４１】
リフォーカス可能な範囲３０６は、実施例１においてグループ化された被写体検出領域から、被写体検出部１０８で検出された第１の被写体検出領域３０１から第５の被写体検出領域３０５の座標を元にｘ座標、ｙ座標における最小及び最大座標の領域で決定される。具体的には、グループＡが収まる、
水平座標の範囲、
ａ３からｂ２
垂直座標の範囲、
ｃ３からｄ５をリフォーカス可能な範囲として決定される。
【００４２】
また、図４は、リフォーカス可能な範囲３０６から外部記録部１０６に記録するためのＬＦデータ取得領域決定手段１１２の領域の決定方法について示す図である。
【００４３】
図４は、ＬＦデータ取得領域決定手段１１２によって算出されたＬＦデータ取得領域４００を示している。
【００４４】
ＬＦデータ取得領域決定手段１１２は、前述したようにリフォーカス可能な範囲３０６から取得された座標情報から、撮像素子１０２の分割画素内で最も長くなる基線長の分割画素対を推定した範囲でＬＦデータの取得する範囲を決定する演算処理を行う。それに伴い、ＬＦデータ取得領域４００は、リフォーカス可能な範囲３０６より広くなる。通常、リフォーカス可能な範囲３０６の範囲が複数存在すると、ＬＦデータを取得する範囲を決定する演算量も増えるのでリフォーカス可能な範囲枠については少ない個数の方がよい。本実施例１では、被写体検出数に応じた数だけリフォーカス可能な範囲を算出して求めることなく、グループ化された領域でＬＦデータ取得領域を決めることにより演算量を削減することが可能となる。
【００４５】
このように視差画像取得調整部１１４が処理をすることで、本発明は、外部記録部１０６に置くためのＬＦデータ量を削減でき、尚且つ、すばやくリフォーカス用のＬＦデータを記録しておく範囲を決定することができるメリットがある。
【実施例２】
【００４６】
実施例２では、実施例１との差分として、関連付け手段１１０の座標情報以外でグループ分ける方法及び、リフォーカス可能な範囲の決定方法について図５を用いて説明する。
【００４７】
図５は、図３（ａ）との差分として、関連付け手段１１０によって２グループ化された後にリフォーカス可能範囲決定手段１１１によって決定された２つのリフォーカス可能な範囲５０１、５０２を示している。
【００４８】
実施例２における、被写体検出部１０８及び、関連付け手段１１０の動作については次のように説明をする。被写体検出部１０８は、撮像画像３００内で検出した被写体に対して個人情報を付加することを可能とする。関連付け手段１１０は、この個人情報を基に、グループ分けをおこなうことを可能とする。被写体検出部１０８の個人情報の付加方法については、既に公知なので本発明では説明を行わない。
【００４９】
具体的には、被写体検出部１０８及び、関連付け手段１１０は、被写体検出領域３０１から３０２に属する被写体の個人情報によって家族以外と認識してグループＡとし、被写体検出領域３０３から３０５に属する被写体は家族としてグループＢとする処理を行う。
【００５０】
これによりリフォーカス可能範囲決定手段１１１は、リフォーカス可能な範囲として、リフォーカス可能な範囲５０１及び、５０２として算出することができる。
【００５１】
これによるメリットは、家族として関連付けをおこなうことでＬＦデータを削減することにより、リフォーカスを必要としてない不必要な範囲、具体的には家族と家族以外の境界部分のデータ量を削減できることである。
【実施例３】
【００５２】
実施例３では、ＬＦデータの取得許容範囲として制御部１０５に閾値αを持たせることで、ＬＦデータ量の削減を優先するか、ＬＦデータ取得領域を算出する際の演算量の削減を優先するか決めることができる。
【００５３】
制御部１０５にデータ量の閾値αを持たせ、閾値がα以上ならデータ量を優先し、閾値α未満なら演算量を優先する場合の関連付け手段１１０の処理について図６を用いて説明を行う。
【００５４】
図６は、撮像画像に含まれる被写体を１つのリフォーカス可能な範囲に収めた場合におけるＬＦデータ取得領域のデータ量の閾値をαとし、閾値α以上の場合について説明した図６（ａ）と閾値α未満の場合について説明した図６（ｂ）を示している。
【００５５】
図６（ａ）は、撮像画像６００内で検出した主被写体の検出領域が比較的多く占める被写体検出領域を被写体検出領域６０１とし、それぞれ小さい検出被写体領域を検出被写体領域６０２、６０３として示している。また、グループＡに属するリフォーカス可能な範囲６０４、及びグループＢに属するリフォーカス可能な範囲６０５を示している。
【００５６】
また、本実施例３の説明においての前提として、撮像画像６００内で全ての被写体に対して１つにグループ化した場合におけるＬＦデータ取得領域のＬＦデータ量は、閾値α以上であるとしている。
【００５７】
このような閾値α以上の場合、つまりＬＦデータ量が許容範囲に収まらない場合には、データ量を優先し、関連付け手段１１０は、グループＡ及び、グループＢとして、リフォーカス可能な範囲６０４、６０５のように２グループ化する。これにより、全ての被写体を１つのグループＡとする場合より、リフォーカス可能な範囲が狭くなり、それに伴い、ＬＦデータ量が小さくなる。また、リフォーカス可能な範囲枠の個数が多くなる影響で、ＬＦデータ取得領域を取得する演算量は大きくなる。
【００５８】
また、図６（ｂ）は、撮像画像６０６内で検出した主被写体の被写体検出領域が図６（ａ）で示したよりも比較的少なく占める場合における撮像画像６０６について示している。図６（ａ）の差分として、第１の被写体検出領域６０７と、グループＡに属するリフォーカス可能な範囲６０８について示している。
【００５９】
また、本実施例３の説明においての前提として、撮像画像６０６内で全ての被写体に対して１つにグループ化した場合におけるＬＦデータ取得領域のＬＦデータ量は、閾値α未満であるとしている。
【００６０】
このような閾値α未満場合、つまりある程度ＬＦデータ量を許容できる場合には、演算量を優先とし、関連付け手段１１０は、検出した全ての領域をグループＡとしてリフォーカス可能な範囲６０７のように１グループ化する。これにより、被写体検出領域６０７でグループＡ、被写体検出領域６０１、６０２でグループＢとした場合より、リフォーカス可能な範囲が広くなり、それに伴い、ＬＦデータ量が大きくなる。また、リフォーカス可能な範囲枠の個数が少なくなる影響で、ＬＦデータ取得領域を取得する演算量は小さくなる。
【００６１】
以上のようにして、ＬＦデータ量の削減を優先するか、ＬＦデータ取得領域を算出する際の演算量の削減を優先するかを決めることができる。
【００６２】
尚、本実施例３では、ＬＦデータ量を閾値αによってグループ化の方法を決定したが、演算量に閾値βを持たせてグループ化の方法を決めてもよい。
【００６３】
尚、本実施例３では、ＬＦデータ量か演算量かどちらかを優先するかをユーザによって決定できるようにしてもよい。
【００６４】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００６５】
１００  撮像装置、１０１  撮像光学系、１０２  撮像素子、１０３  Ａ／Ｄ変換部、
１０４  キャプチャー部、１０５  制御部、１０６  外部記録装置、
１０７  ＬＦデータ画素加算部、１０８  被写体検出部、１１０  関連付け手段、
１１１  リフォーカス可能範囲決定手段、１１２  ＬＦデータ取得領域決定手段、
１１３  メモリ、１１４  視差画像取得調整部、３００  撮影画像、
３０１  第１の被写体検出領域、３０２  第２の被写体検出領域、
３０３  第３の被写体検出領域、３０４  第４の被写体検出領域、
３０５  第５の被写体検出領域、３０６  リフォーカス可能な範囲、
４００  ＬＦデータ取得領域、５０１  リフォーカス可能な範囲、
５０２  リフォーカス可能な範囲、６００  撮像画像、６０１  第１の被写体検出領域、
６０２  第２の被写体検出領域、６０３  第３の被写体検出領域、
６０４  リフォーカス可能な範囲、６０５  リフォーカス可能な範囲、
６０６  撮像画像、６０７  第１の被写体検出領域、６０８  リフォーカス可能な範囲
【図１】
2015226169.tif 000003
【図２】
2015226169.tif 000004
【図３】
2015226169.tif 000005
【図４】
2015226169.tif 000006
【図５】
2015226169.tif 000007
【図６】
2015226169.tif 000008