(57)【要約】      （修正有）【課題】ライトフィールド（ＬＦ）カメラのフォーカス機能を有する撮像装置において、移動量を考慮した範囲でリフォーカス可能な範囲を決定することで、ＬＦデータを削減し、移動被写体でもリフォーカス可能な手段を提供する。【解決手段】撮像光学系１０１と撮像手段１０２から取得される複数の視差画像の画素データの処理を有する画像処理装置であって、視差画像を加算して加算画像を生成することが可能なＬＦデータ画素加算部１０９と、被写体を検出することが可能な被写体検出手段１０８と、移動量を算出することが可能な移動量算出手段１１０と、被写体検出の結果と移動量に基づいてリフォーカス可能な範囲を決定することが可能なリフォーカス可能範囲決定手段１１１と、リフォーカス可能範囲決定手段から、視差画像の記録範囲を決定することが可能なＬＦデータ取得領域決定手段１１２を備える。【選択図】図１
2016015656.tif 000002
【特許請求の範囲】
【請求項１】
撮像光学系と撮像手段から取得される複数の視差画像の画素データの処理を有する画像処理装置において、
前記視差画像を加算して加算画像を生成することが可能なＬＦデータ画素加算部と、
被写体を検出することが可能な被写体検出手段と、
移動量を算出することが可能な移動量算出手段と、
前記被写体検出の結果と前記移動量に基づいてリフォーカス可能な範囲を決定することが可能なリフォーカス可能範囲決定手段と、
前記リフォーカス可能範囲決定手段から、前記視差画像の記録範囲を決定することが可能なＬＦデータ取得領域決定手段を備えることを特徴とする画像処理装置。
【請求項２】
前記移動量算出手段は、前記被写体検出で用いられる前記加算画像と前記被写体検出で用いられる前記加算画像の取得タイミングより前のタイミングで取得される前記加算画像から移動量を取得することが可能なことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記視差画像の記録範囲は、前記リフォーカス可能な範囲以上の領域を持つことを特徴とする請求項１に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像装置に関し、特に被写体の光学像を撮像してライトフィールドデータを取
得する撮像装置およびその制御方法に関する。
【背景技術】
【０００２】
例えば、撮像素子の前面に複数画素に対し１つの割合で並ぶマイクロレンズアレイ（以降、ＭＬＡと呼ぶ）を配置することで、光の２次元強度分布だけでなく撮像素子に入射する光線の入射方向の情報を取得し、被写体空間の３次元的な情報を得ることが可能である。このような被写体空間の３次元的な情報を得ることが可能な撮像装置はライトフィールドカメラ（以降、ＬＦカメラと呼ぶ）と呼ばれている。また、被写体空間の３次元的な情報はライトフィールドデータ（以降、ＬＦデータと呼ぶ）と呼ばれ、ＬＦデータの取得と撮影後の画像再構成処理によって、画像のピント位置変更や、撮影視点の変更、被写界深度の調節等のリフォーカスと呼ばれる画像処理が可能となる。
【０００３】
このようなＬＦカメラにおいて、プレノプティク（ｐｌｅｎｏｐｔｉｃ）方式が広く知られている。プレノプティク方式では、瞳分割手段としてのＭＬＡの下に撮像用光電変換素子が二次元状に配置されており、光学系の有するフォーカスレンズは、各マイクロレンズ（以降、ＭＬと呼ぶ）の射出瞳の役割を有する。このような構成の撮像装置において、各ＭＬの下に存在する分割画素から、被写体の複数の光線情報が得られることが知られている。この光線情報を利用すると、各ＭＬの下に存在する画素群のうち同一位置の分割画素のみで形成した二次元画像と異なる位置の分割画素のみで形成した二次元画像は互いに視差を有する。このような視差を有した二次元画像同士の合成によって記録画像のフォーカス面を仮想的に移動させることができる。
【０００４】
上述したプレノプティク方式の撮像装置による撮像画素の数をＬＦＤＡＴＡ、撮像素子のＭＬの数をＮ、一つのＭＬにて分割される瞳分割数をＭとすると、
ＬＦＤＡＴＡ＝Ｎ×Ｍ
となる。なお、このようなＬＦＤＡＴＡに基づいて合成される最終出力画像の画素データの数はＭＬの数であるＮと同一の数となる。
【０００５】
このように、ＬＦデータはＭＬにて分割される瞳分割数に応じて増加し、リフォーカス機能を有する撮像装置では、出力画素データの数Ｎの最終画像に比べて、各種信号処理を行う際の処理負荷の増大を招く。更に撮像画素データを各種画像信号処理手段に取り込む際、大容量のデータ格納手段が必要となる。その結果、データ処理の負荷増大に伴い消費電力が増加し、更に処理データ量増加に伴うデータ格納手段の容量増加によるコストも増大する。
【０００６】
この課題を解決する方法として、特許文献１では、撮像素子において画素出力をＭＬ下のＭ個の分割画素の中で加算して読み出すことにより、処理するＬＦデータを削減する方法が開示されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００９−３１２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、上述の特許文献１に開示された従来技術では、ＬＦカメラのフォーカス機能を有する撮像装置において、撮像素子における画素の加算読み出しを被写体検出に基づいた範囲で行うと、被写体検出が加算読み出しするタイミングより遅れる場合、移動量が大きい被写体では正しくリフォーカスできない可能性がある。
【０００９】
そこで、本発明の目的は、被写体検出によるリフォーカス可能な撮像装置において、移動量を考慮した範囲でリフォーカス可能な範囲を決定することで、ＬＦデータを削減すると共に、移動被写体でもリフォーカス可能な手段を提供することである。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、本発明は、
撮像光学系と撮像手段から取得される複数の視差画像の画素データの処理を有する画像処理装置において、
前記視差画像を加算して加算画像を生成することが可能なＬＦデータ画素加算部と、
被写体を検出することが可能な被写体検出手段と、
移動量を算出することが可能な移動量算出手段と、
前記被写体検出の結果と前記移動量に基づいてリフォーカス可能な範囲を決定することが可能なリフォーカス可能範囲決定手段と、
前記リフォーカス可能範囲決定手段から、前記視差画像の記録範囲を決定することが可能なＬＦデータ取得領域決定手段と、
を備えることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、被写体検出によるリフォーカス可能な撮像装置において、移動量を考慮した範囲でリフォーカス可能な範囲を決定することで、ＬＦデータを削減すると共に、移動被写体でもリフォーカス可能な手段を提供することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明を適用した撮像装置の概略構成を示すブロック図である。
【図２】本発明における撮像装置で使用される撮像素子の単位画素セル図（ａ）とその各分割画素により得られる画像を説明するための図（ｂ）である。
【図３】本実施例１における移動前の被写体を説明するための図（ａ）と移動後の被写体を説明するための図（ｂ）とＬＦデータ画素加算部１０９の出力タイミングに対して被写体検出が遅れていることを説明するためのタイミングチャート図（ｃ）である。
【図４】本実施例１における第１の被写体検出領域を説明するための図（ａ）と第１の被写体検出領域が移動被写体に対して正しい領域で算出できていないことを説明するための図（ｂ）撮像画像における被写体検出領域と移動量の座標を示す図（ｃ）リフォーカス可能範囲決定手段１１１のリフォーカス可能範囲の決定方法について説明するための図（ｄ）である。
【図５】本実施例１におけるＬＦデータ取得領域決定手段１１２のＬＦデータの取得領域の決定方法について説明するための図である。
【発明を実施するための形態】
【００１３】
以下、本発明の好ましい実施の形態を、添付の図面を参照して詳細に説明する。図１は、本発明の実施形態にかかわる撮像装置のブロック図である。
【実施例１】
【００１４】
以下、図１を参照して、本発明の実施例１による、撮像装置１００の構成について説明する。
撮像装置１００は、撮像光学系１０１、撮像素子１０２、Ａ／Ｄ変換部１０３、キャプチャー部１０４、ＬＦデータ画素加算部１０９、制御部１０５、外部記録装置１０６、デジタル信号処理部１０７、メモリ１１３、視差画像取得調整部１１４から構成される。
【００１５】
本実施例１における撮像装置１００の構成について詳細に説明する。実空間の像がフォーカシングレンズを含む撮像用のレンズ１０１から光学像を電気信号に変換する撮像素子１０２上に結像される。
【００１６】
撮像素子１０２は、その前面に瞳分割手段としてのＭＬＡが配置され、各ＭＬに対応する単位画素セルの二次元配列を有する撮像素子であり、撮影光学系を構成する光学系ユニット１０１に含まれるシャッターによって露光量の制御が行われる。撮像素子１０２は、光学系ユニット１０１によって結像された光学像を光電変換して撮像し、読み出し制御時において、単位画素中に構成される分割画素ＰＤに蓄積された電荷をそれぞれ順次Ａ／Ｄ変換部１０３に出力する。単体画素セル内は、Ａ、Ｂ、Ｃ、Ｄの４つの分割画素で構成されており、詳細説明については後述する。
【００１７】
Ａ／Ｄ変換部１０３は、不図示のＣＤＳ回路や、ＩＳＯ感度の増幅に代表されるアナログ信号処理部を介して撮像素子１０２から出力されたアナログ信号を入力し、デジタル信号に変換してキャプチャー部１０４へ出力する。
【００１８】
キャプチャー部１０４は、Ａ／Ｄ変換部１０３から入力された画素データの有効走査期間および種別を判定し、Ａ、Ｂ、Ｃ、Ｄの分割画素群をＬＦデータとして、ＬＦデータ画素加算部１０９及び、視差画像取得調整部１１４に出力する。
【００１９】
ＬＦデータ画素加算部１０９は、キャプチャー部１０４から入力されたＬＦデータを加算し、ベイヤー配列の撮像画像を作成してから、外部記録装置１１３、視差画像取得調節部１１４及びデジタル信号処理部１０７に出力する。
【００２０】
尚、ＬＦデータは、メモリ１１３等の内蔵のメモリに記録してもよい。尚、領域別に画素加算を行って、ＬＦデータの各データがどの座標のＭＬのデータなのかをメタ情報として持たせてもよい。
【００２１】
制御部１０５は、例えばＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）であり、撮像装置１００内の各部から指示を受けて演算を行い、また制御信号によって各部を制御する。
【００２２】
外部記録装置１０６は、ＬＦデータ画素加算部１０９から撮像画像が入力され、ＳＤカードに代表されるメモリカードに記録を行う。また、デジタル信号処理部１０７へ撮像画像の出力及び、デジタル処理部１０７で処理された後の画像データが入力される。
【００２３】
デジタル信号処理部１０７は、ＬＦデータ画素加算部１０９、及び外部記録装置１０６からベイヤー配列で入力された撮像画像に対して同時化処理、ガンマ処理やノイズリダクション処理に代表されるデジタル信号処理を行い、視差画像取得調整部１１４に出力する。同時化処理、ガンマ処理、ノイズリダクション等のデジタル信号処理については周知であり、ここでは詳細な説明を省略する。
【００２４】
視差画像取得調整部１１４は、被写体検出部１０８、移動量算出手段１１０、リフォーカス可能範囲決定手段１１１、ＬＦデータ取得領域決定手段１１２から構成される。本発明の特徴的な部分であるので、具体的な説明は後述する。
【００２５】
以上、本発明における撮像装置１００の構成について説明した。ここで、図２を使用して撮像素子１０２における単位画素セルについての詳細説明とリフォーカスの原理について簡単に説明する。
【００２６】
図２（ａ）において、単位画素セルは、瞳分割手段としてのＭＬＡに含まれる一つのＭＬを共有する２×２の分割画素を有している。このような単位画素セルが二次元状にベイヤー配列で撮像素子上に配置されている。なお、単位画素セル内の分割画素は、図２に示す符号を用いて、Ａ、Ｂ、Ｃ、Ｄで示す。
【００２７】
各単位画素セル内の同一画素位置に存在する分割画素のみで構成された二次元画像は、他の同一画素位置に存在する分割画素のみで構成された二次元画像に対して視差を有する。つまり、各単位画素セルの分割画素Ａのみで構成された画像と、各単位画素セルの分割画素Ｂのみで構成された画像は異なる視差を有する。つまり、２×２の分割画素からは合計４の異なる視差画像が得られることとなる。
【００２８】
一般的にＬＦカメラでは、これらの分割画素数に応じた異なる視差の画素を合成してリフォーカス画像を得ることとなる。
【００２９】
リフォーカス画像を得るための原理を、図２（ｂ）を用いて簡単に説明する。花の位置が視差を有さない画像となるように合成した場合には、花位置には合焦しているが、葉の位置では視差を有している画像同士が加算されて合成されるためにボケた画像となる。また、葉の位置が視差を有さない画像となるように合成した場合には、葉の位置に合焦しているが、花の位置ではボケた画像となる。
【００３０】
このようなリフォーカスの可能範囲は、分割画素数に応じて決定される。つまり、ライトフィールドにおけるリフォーカス画像は、各分割画素の合成によって得られる像であり、各分割画素で構成されるリフォーカス対象となる像は少なくとも合焦している必要がある。これは、撮像素子から一部の分割画素に対して加算読み出しを行うと、加算読み出しされた画素で得られた画像は被写界深度が浅くなっているために、それだけリフォーカス可能な範囲が狭くなることを表している。具体的に一部の分割画素の加算とは、Ａ＋Ｂ＋Ｃ＋Ｄではなく、Ａ＋Ｂ及び、Ｃ＋Ｄである。
【００３１】
図１に戻り、本発明の特徴的な部分である、視差画像取得調整部１１４について詳細に説明を行う。
【００３２】
被写体検出部１０８は、デジタル信号処理部１０７から入力された画像に対して複数の被写体の認識を行い、その結果得られた被写体に対して設定された被写体検出領域をリフォーカス可能範囲決定手段１１１に出力する。ＬＦデータ画素加算部１０９の出力に対して１Ｖ〜数Ｖ遅れて被写体検出領域を出力する。
【００３３】
尚、本実施例では、被写体認識方法として人物の顔を検出することとするが、被写体は人物でなくてもよく、例えば花やペットとしても良い。
【００３４】
尚、被写体認識技術については公知であるため、本実施例では説明を行わない。
【００３５】
移動量算出手段１１０は、ＬＦデータ画素加算部１０９から入力されたベイヤー配列の撮像画像に対する移動量を算出し、リフォーカス可能範囲決定手段１１１に撮像画像全体に分布する移動量を出力する。移動量算出技術については公知であるため、詳しい説明は行わないが、本実施例では、現フレームと前フレームの撮像画像を複数ブロックに分割し、ブロック毎に現フレームと前フレームでパターンマッチングして移動量を算出している。前フレームが何Ｖ前になるかは被写体検出が何Ｖ遅れるかに応じて決まる。
【００３６】
リフォーカス可能範囲決定手段１１１は、移動量算出手段１１０からの移動量と被写体検出部１０８からの被写体の座標情報に基づいて、リフォーカス可能な範囲を決定し、ＬＦデータ取得領域決定手段１１２に出力する。
【００３７】
ＬＦデータ取得領域決定手段１１２は、キャプチャー部１０４から入力されたＬＦデータとリフォーカス可能範囲決定手段１１１からのリフォーカス可能な範囲に基づいて、ＬＦデータの取得範囲を決定し、外部記録装置１０６へ出力する。具体的な処理としては、リフォーカス可能な範囲から撮像素子１０２の分割画素内で最も長くなる基線長の分割画素対を推定した範囲でＬＦデータの取得範囲を決定する処理を行う。通常、リフォーカス可能な範囲枠が複数存在すると、ＬＦデータを取得する範囲を決定する演算量が増加するので、リフォーカス可能な範囲枠の数は少ないほうがよい。
【００３８】
ここで本発明においてポイントとなるＬＦデータ画素加算部１０９の出力画像と被写体検出部１０８の被写体検出結果出力タイミングについて図３を用いて説明を行う。
【００３９】
図３は、ＬＦデータ画素加算部１０９の出力タイミングを基準として、１Ｖ目における撮像画像を図３（ａ）、２Ｖ目における撮像画像を図３（ｂ）として示している。また、ＬＦデータ画素加算部１０９の出力信号１１５と被写体検出部１０８の出力信号１１６及び、移動量算出手段１１０の出力信号１１７のタイミングチャートを図３（ｃ）として示している。
【００４０】
図３（ａ）は、２人の撮影被写体が撮影された撮像画像３００、移動前の被写体３０１と静止被写体３０４について示している。
【００４１】
図３（ｂ）は、２人の撮影被写体が撮影された撮像画像３０２、移動後の被写体３０３と撮像画像３００に対して水平垂直座標位置が変化してない静止被写体３０４について示している。撮像画像３０２は、撮像画像３００に対して時系列上に１Ｖ進んだ撮像画像であり、移動後の被写体３０３は、移動前の被写体３０１と同一人物であることを示している。また、移動後の被写体３０３は、移動前の被写体３０１に対して、水平方向に移動していることを示している。
【００４２】
図３（ｃ）は、撮像画像３００と撮像画像３０２及び、移動前の被写体３０１、移動後の被写体３０３の被写体検出について、時系列上にタイミングチャートで示した図である。
【００４３】
水平方向は、垂直同期信号、１Ｖ、２Ｖの時間軸方向のタイミングを示している。垂直方向は、各構成の出力である波形１〜４を示している。
【００４４】
波形１では、垂直同期信号のタイミングを、キャプチャー部１０４の出力における基準として１Ｖ毎に示している。
【００４５】
波形２では、ＬＦデータ画素加算部１０９の出力信号として、１Ｖ目で撮像画像３００の出力、２Ｖ目で撮像画像３０２の出力タイミングについて示している。
【００４６】
波形３では、被写体検出部１０８の被写体検出のタイミングが、ＬＦデータ画素加算部１０９の撮像画像を出力するタイミングより、１Ｖ遅れている事を示している。その理由としては、１Ｖ目の撮像画像を用いて被写体検出するので、２Ｖ目のタイミングで被写体検出することになる。
【００４７】
波形４では、移動量算出手段１１０の撮像画像３００から撮像画像３０２の移動量の算出が、被写体検出部１０８の移動前の被写体３０１の被写体検出と同タイミングで取得される事を示している。本実施例１では、被写体検出のタイミングを１Ｖ遅延として述べているため、撮像画像の２Ｖ−１Ｖの例しか示していないが、被写体検出のタイミングが、撮像画像の取得するタイミングに対して３Ｖ遅れた場合には、撮像画像の３Ｖ−１Ｖの移動量が被写体検出と同タイミングで取得される。
【００４８】
上記述べたように、被写体検出のタイミングは、撮像画像の取得するタイミングに対して１Ｖ〜数Ｖ遅れる場合があるので、１Ｖ〜数Ｖ遅れた被写体範囲でのみＬＦデータの記録範囲を決定すると、リフォーカスに必要な被写体のＬＦデータが正しく取得できない可能性がある。
【００４９】
このような課題に対して、本発明では、移動量算出手段１１０で算出された移動量を考慮した範囲でリフォーカス可能範囲を決定する方法で課題解決しており、この方法について図４を用いて説明を行う。
【００５０】
図４は、移動前の被写体３０１の被写体検出領域について示している図４（ａ）と移動後の被写体３０３の被写体検出領域について示している図４（ｂ）である。また、被写体検出領域における座標情報及び、移動量算出手段１１０で算出された移動量を示している図４（ｃ）とリフォーカス可能範囲決定手段１１１のリフォーカス可能な範囲の決定範囲を示している図４（ｂ）である。
【００５１】
図４（ａ）は、撮像画像３００に移動前の被写体３０１の検出領域を第１の被写体検出領域４０１と静止被写体３０４の第２の被写体検出領域４０５を示している。
【００５２】
図４（ｂ）は、撮像画像３０２に第１の被写体検出領域４０１が移動後の被写体３０３に対して正しく検出できていないことを示している。前述したが、被写体検出部１０８の被写体検出結果がＬＦデータ画素加算部１０９の出力に対して、１Ｖ〜数Ｖ遅れる場合がある為、被写体検出領域が移動後の被写体３０３に対して正しく取得できない場合がある。
【００５３】
図４（ｃ）は、移動前の被写体３０１と移動後の被写体３０３の被写体検出領域を１つの座標軸上に重ねて表した図である。
【００５４】
第１の被写体検出領域４０１の左上、右上、左下、右下の各ポイントをそれぞれＡ点、Ｂ点、Ｃ点、Ｄ点とし、Ａ点からＤ点の水平、垂直座標をそれぞれ、（Ｘａ、Ｙａ）、（Ｘｂ、Ｙａ）、（Ｘａ、Ｙｂ）、（Ｘｂ、Ｙｂ）であることを示している。また、Ｐ点の水平、垂直座標を（（Ｘｂ＋Ｘａ）／２、（Ｙｂ＋Ｙａ）／２）とし、Ｐ点に対応する移動量を移動量４０２であることを示している。撮像画像３００に対する撮像画像３０２の移動量は、撮像画像をブロック分割した領域で算出され各座標位置に存在しているが、本実施例１の説明には不要なため、Ｐ点に対応する移動量以外は図示していない。
【００５５】
図４（ｃ）では、第１の被写体検出領域４０１に対して、Ｐ点を起点とした時の移動量４０２を、水平垂直成分（α、０）として示している。移動後の被写体３０３のＰ点に対応する位置をＰ´点とすると、Ｐ´点の水平、垂直座標は（（（Ｘｂ＋Ｘａ）／２）＋α、（Ｙｂ＋Ｙａ）／２）である事を示している。本実施例１では、第１の被写体検出領域４０１に含むＰ点１点の移動量のみ用いているが、被写体検出領域の形状が毎Ｖで可変する場合、被写体検出領域に存在する数点の移動量を用いてもよい。具体的には、被写体が振り向いたときに、被写体検出領域が正方形から長方形に変化する場合には数点の移動量を用いる必要がある。
【００５６】
図４（ｄ）は、リフォーカス可能な範囲４０４が、第１の被写体検出領域４０１、及び第２の被写体検出領域４０５の水平、垂直座標の範囲から移動量４０２を考慮した範囲がリフォーカス可能範囲決定手段１１１で決定されることを示している。第１の被写体検出領域４０１、及び第２の被写体検出領域４０５を含む範囲で決定されるのは、互いの被写体の範囲内でリフォーカスしたい場合があるためである。
【００５７】
本実施例１の場合では、移動後の被写体３０３、及び静止被写体３０４を含む最大のリフォーカス可能な範囲を決定したいため、第２の被写体領域４０５のＡ点とＣ点に対応する座標をそれぞれ（Ｘｃ、Ｙｃ）、（Ｘｃ、Ｙｄ）として、リフォーカス可能な範囲４０４を以下の範囲で表す。
【００５８】
水平座標については、
ＸｃからＸｂ＋αの範囲    （但しＸｃ＜Ｘａの場合）
垂直座標の範囲については、
ＹｃからＹｄの範囲    （但しＹｃ＜Ｙａ、Ｙｄ＞Ｙｂの場合）
をリフォーカス可能な範囲４０４として、リフォーカス可能範囲決定手段１１１で決定する。
【００５９】
尚、本実施例１では、説明をわかりやすくするため、移動前の被写体３０１と移動後の被写体３０３の垂直方向の座標変化については考えていないがこれに限らず、垂直方向の移動についても水平方向と同様に座標変化させても良い。この場合、垂直方向にも座標変化した移動量を用いる必要がある。また、Ｐ点に対する移動量のみ用いているが、それぞれ、Ａ、Ｂ、Ｃ、Ｄ点における移動量からリフォーカス可能な範囲４０４を算出してもよい。
【００６０】
図５は、リフォーカス可能な範囲４０４から外部記録部１０６に記録するためのＬＦデータ取得領域決定手段１１２の領域の決定方法について示す図である。
【００６１】
図５は、ＬＦデータ取得領域決定手段１１２によって算出されたＬＦデータ取得領域５００を示している。
【００６２】
ＬＦデータ取得領域決定手段１１２は、前述したようにリフォーカス可能な範囲４０４から取得された座標情報から、撮像素子１０２の分割画素内で最も長くなる基線長の分割画素対を推定した範囲でＬＦデータの取得する範囲を決定する演算処理を行う。それに伴い、ＬＦデータ取得領域５００は、リフォーカス可能な範囲４０４より広くなる。
【００６３】
このように視差画像取得調整部１１４が処理をすることで、本発明は、外部記録部１０６に置くためのＬＦデータ量を削減すると共に、移動量を考慮した範囲でリフォーカス用のＬＦデータを記録しておく範囲を決定することができるメリットがある。
【００６４】
尚、本実施例１では、移動被写体が１人の場合にのみ説明したが、これに限らず、更に複数人移動被写体がいた場合でもよい。その場合は、それぞれの被写体の被写体検出領域とそれぞれの被写体の移動量から、リフォーカス可能な範囲を算出すればよい。
【００６５】
尚、本実施例１では、移動量算出手段１１０で算出される移動量は水平垂直方向の２次元のみについて、説明したが、これに限らず、奥行き方向を含んだ３次元の移動量を用いても良い。３次元の移動量を用いる場合は、次のような例が挙げられる。
【００６６】
撮像装置に対して奥行方向に被写体が遠のくと、撮像画像上で被写体が小さく映るので被写体検出領域が狭くなる。逆に、近づくと、撮像画像上で被写体が大きく映るので被写体検出領域が広くなる。この領域変化に対応するには、奥行方向の移動量で被写体検出領域の変化を推測する。１Ｖから２Ｖで変化する被写体検出領域の大きさは、奥行き方向の移動量によって変わってくるので、変化する大きさを移動量から推測することでリフォーカス可能な範囲が決まる。
【００６７】
また、撮影時の焦点距離から被写体が遠のくと、撮像素子１０２の被写体の画素位置に対応する最も基線長が長い分割画素対の位相差が大きくなるので、リフォーカス可能な範囲内のリフォーカスには、ＬＦデータ取得領域の拡張範囲を広げる必要がある。逆に、撮影時の焦点距離に被写体が近づくと、撮像素子１０２の被写体の画素位置に対応する最も基線長が長い分割画素対の位相差が小さくなるので、リフォーカス可能な範囲内のリフォーカスには、ＬＦデータ取得領域の拡張範囲を狭めることも可能である。
【００６８】
この領域変化に対応するには、奥行方向の移動量に応じて、ＬＦデータ取得領域の拡張範囲を決める。尚、奥行き方向を含んだ移動量の算出手段については、既に公知の技術のため説明を省く。
【００６９】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００７０】
１００  撮像装置、１０１  撮像光学系、１０２  撮像素子、１０３  Ａ／Ｄ変換部、
１０４  キャプチャー部、１０５  制御部、１０６  外部記録装置、
１０７  デジタル信号処理部、１０８  被写体検出部、１０９  ＬＦデータ画素加算部、
１１０  移動量算出手段、１１１  リフォーカス可能範囲決定手段、
１１２  ＬＦデータ取得領域決定手段、１１３  メモリ、
１１４  視差画像取得調整部、１１５  ＬＦデータ画素加算部１０９の出力信号、
１１６  被写体検出部１０８の出力信号、１１７  移動量算出手段１１０の出力信号、
３００  撮影画像、３０１  移動前の被写体、３０２  撮影画像、
３０３  移動後の被写体、３０３  静止被写体、４０１  第１の被写体検出領域、
４０２  移動量、４０４  リフォーカス可能な範囲、４０５  第２の被写体検出領域、
５００  ＬＦデータ取得領域、
【図１】
2016015656.tif 000003
【図２】
2016015656.tif 000004
【図３】
2016015656.tif 000005
【図４】
2016015656.tif 000006
【図５】
2016015656.tif 000007