(57)【特許請求の範囲】
【請求項１】
複数のフォーカス状態で同一の被写体が撮影されることにより得られた複数の撮影画像から被写体距離を計測する画像処理装置であって、
前記複数の撮影画像のうち、第一のフォーカス状態で撮影された第一画像と、前記第一のフォーカス状態とは異なる第二のフォーカス状態で撮影された第二画像との間の前記被写体の位置ずれ量を表す対象動き量を推定する対象動き量推定部と、
前記対象動き量に基づいて前記第二画像を動き補償した補正画像を生成する補正画像生成部と、
前記第一画像と前記補正画像との間のぼけ量の相関値に基づいて、前記第一画像における前記被写体距離を計測する被写体距離計測部とを備え、
前記第二画像は、前記第一画像と、前記第一画像とは異なるタイミングにおいて前記第一のフォーカス状態で撮影された第三画像との間で撮影された画像であり、
前記対象動き量推定部は、
前記第一画像と前記第三画像との間の被写体の位置ずれ量を表す第一動き量を推定する第一動き量推定部と、
前記第一動き量を用いて前記対象動き量を推定する対象動き量決定部とを有する
画像処理装置。
【請求項２】
前記対象動き量決定部は、前記対象動き量の大きさを、前記第一動き量の大きさに前記第一画像と前記第三画像との間の撮影時間間隔に対する前記第一画像と前記第二画像との間の撮影時間間隔の比率を乗算して求めることにより、前記対象動き量を推定する
請求項１に記載の画像処理装置。
【請求項３】
前記対象動き量推定部は、さらに、前記第一画像と前記第二画像との間の位置ずれ量を表す第二動き量を推定する第二動き量推定部を有し、
前記対象動き量決定部は、前記第一動き量と前記第二動き量とを用いて前記対象動き量を推定する
請求項１に記載の画像処理装置。
【請求項４】
前記対象動き量決定部は、前記第二画像を構成する画素のうちの前記対象動き量の算出対象画素と、前記算出対象画素に対応する前記第一画像上の画素との画素値の差に基づいて、前記第二動き量の精度を判定し、前記第二動き量の精度が閾値よりも高いと判定された場合は、前記第二動き量を前記対象動き量として推定し、前記第二動き量の精度が前記閾値よりも低いと判定された場合は、前記第一動き量を用いて前記対象動き量を推定する
請求項３に記載の画像処理装置。
【請求項５】
前記対象動き量推定部は、さらに、前記第二画像と前記第三画像との間の位置ずれ量を表す第三動き量を推定する第三動き量推定部を有し、
前記対象動き量決定部は、前記第一動き量と前記第二動き量とに加え、前記第三動き量を用いて前記対象動き量を推定する
請求項３に記載の画像処理装置。
【請求項６】
前記対象動き量決定部は、
前記第二動き量と前記第三動き量との合計が前記第一動き量と等しい場合は、前記第二動き量を前記対象動き量として推定し、
前記第二動き量と前記第三動き量との合計が前記第一動き量と等しくない場合は、前記対象動き量の算出対象である前記第二画像の画素と、対応する前記第一画像上の画素との画素値の差に基づいて、前記第二動き量の精度を判定し、前記対象動き量の算出対象である前記第二画像の画素と、対応する前記第三画像上の画素との画素値の差に基づいて、前記第三動き量の精度を判定し、前記第二動き量の精度が前記第三動き量の精度よりも高いと判定されたときは、前記第二動き量を前記対象動き量として推定し、前記第二動き量の精度が前記第三動き量の精度よりも低いと判定されたときは、前記第一動き量から前記第三動き量を減算した動き量を前記対象動き量として推定する
請求項５に記載の画像処理装置。
【請求項７】
複数のフォーカス状態で同一の被写体が撮影されることにより得られた複数の撮影画像から被写体距離を計測する画像処理装置であって、
前記複数の撮影画像のうち、第一のフォーカス状態で撮影された第一画像と、前記第一のフォーカス状態とは異なる第二のフォーカス状態で撮影された第二画像との間の前記被写体の位置ずれ量を表す対象動き量を推定する対象動き量推定部と、
前記対象動き量に基づいて前記第二画像を動き補償した補正画像を生成する補正画像生成部と、
前記第一画像と前記補正画像との間のぼけ量の相関値に基づいて、前記第一画像における前記被写体距離を計測する被写体距離計測部と、
前記対象動き量に基づいてブラーが生じている領域をブラー領域として判定するブラー領域判定部と、
前記ブラー領域を構成する画素のそれぞれについて、前記第一画像の前記ブラーが生じていない領域である非ブラー領域の前記被写体距離、あるいは、予め前記被写体距離が求められた他の撮影画像の前記被写体距離を用いて、前記第一画像の前記被写体距離を計測する被写体距離補償部とを備え、
前記被写体距離計測部は、前記非ブラー領域を構成する画素のそれぞれについて、前記第一画像と前記補正画像との間のぼけ量の相関値に基づいて、前記被写体距離を求める
画像処理装置。
【請求項８】
複数の露出状態で同一の被写体が撮影されることにより得られた複数の撮影画像を用いて画像処理を行う画像処理装置であって、
前記複数の撮影画像のうち、第一の露出状態で撮影された第一画像と、前記第一の露出状態とは異なる第二の露出状態で撮影された第二画像との間の前記被写体の位置ずれ量を表す対象動き量を推定する対象動き量推定部と、
前記対象動き量に基づいて前記第二画像を動き補償した補正画像を生成する補正画像生成部と、
前記第一画像と前記補正画像とを用いて画像処理を行う画像処理部とを備え、
前記第二画像は、前記第一画像と、前記第一画像とは異なるタイミングにおいて前記第一の露出状態で撮影された第三画像との間で撮影された画像であり、
前記対象動き量推定部は、さらに、
前記第一画像と前記第三画像との間の被写体の位置ずれ量を表わす第一動き量を推定する第一動き量推定部と、
前記第一動き量推定部と、前記対象動き量を推定する対象動き量決定部と、を含む
画像処理装置。
【請求項９】
前記画像処理部は、前記画像処理として、前記第一画像と前記補正画像とを合成して、ダイナミックレンジの広い合成画像を生成する処理を行う
請求項８に記載の画像処理装置。
【請求項１０】
複数のフォーカス状態で同一の被写体が撮影されることにより得られた複数の撮影画像から被写体距離を計測する画像処理方法であって、
前記複数の撮影画像のうち、第一のフォーカス状態で撮影された第一画像と、前記第一のフォーカス状態とは異なる第二のフォーカス状態で撮影された第二画像との間の前記被写体の位置ずれ量を表す対象動き量を推定する対象動き量推定ステップと、
前記対象動き量に基づいて前記第二画像を動き補償した補正画像を生成する補正画像生成ステップと、
前記第一画像と前記補正画像との間のぼけ量の相関値に基づいて、前記第一画像における前記被写体距離を計測する被写体距離計測ステップとを含み、
前記第二画像は、前記第一画像と、前記第一画像とは異なるタイミングにおいて前記第一のフォーカス状態で撮影された第三画像との間で撮影された画像であり、
前記対象動き量推定ステップは、さらに、
前記第一画像と前記第三画像との間の被写体の位置ずれ量を表す第一動き量を推定する第一動き量推定ステップと、
前記第一動き量を用いて前記対象動き量を推定する対象動き量決定ステップと、を含む
画像処理方法。
【請求項１１】
複数の露出状態で同一の被写体が撮影されることにより得られた複数の撮影画像を用いて画像処理を行う画像処理方法であって、
前記複数の撮影画像のうち、第一の露出状態で撮影された第一画像と、前記第一の露出状態とは異なる第二の露出状態で撮影された第二画像との間の前記被写体の位置ずれ量を表す対象動き量を推定する対象動き量推定ステップと、
前記対象動き量に基づいて前記第二画像を動き補償した補正画像を生成する補正画像生成ステップと、
前記第一画像と前記補正画像とを用いて画像処理を行う画像処理ステップとを含み、
前記第二画像は、前記第一画像と、前記第一画像とは異なるタイミングにおいて前記第一の露出状態で撮影された第三画像との間で撮影された画像であり、
前記対象動き量推定ステップは、さらに、
前記第一画像と前記第三画像との間の被写体の位置ずれ量を表わす第一動き量を推定する第一動き量推定ステップと、
前記第一動き量を用いて前記対象動き量を推定する対象動き量決定ステップと、を含む、
画像処理方法。 
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の撮影状態で撮影された複数の撮影画像から、被写体距離の計測やＨＤＲ画像の生成等の画像処理を行う画像処理装置および画像処理方法に関するものである。
【背景技術】
【０００２】
カメラの撮影で、被写体を撮影した撮影画像と同時に、３次元シーンの奥行き、すなわち、カメラから被写体までの距離を示す被写体距離を計測できれば、画像表示や変換、認識等において様々な応用が可能となる。被写体距離を用いた応用としては、例えば、１枚の撮影画像と、この撮影画像に対する被写体距離とから、三角測距の原理で異なる視点から見た画像を擬似的に生成することができ、ステレオ、あるいは、多視点に対応する３次元画像の生成が可能になる。また、被写体距離に基づいて撮影画像の領域分割を行えば、特定の被写体距離に存在する被写体だけを切り出したり、画質調整したりすることも可能になる。【０００３】
被写体距離を非接触で計測する主な方式は、以下の２つに大別できる。【０００４】
１つ目の手法は、赤外線や超音波、レーザーなどを照射し、反射波が戻ってくるまでの時間や反射波の角度などをもとに被写体距離を計測する能動的手法である。一般に、この手法を用いた場合には、被写体距離が近い時には高精度に計測できるものの、通常のカメラには必要のない能動的な照射／受光デバイスが必要になるという問題がある。また、被写体が遠方にあるときには、照射デバイスの出力レベルが低いと、被写体に届く照射光が弱くなり、被写体距離の計測精度が低下するという問題がある。一方、照射デバイスの出力レベルが高いと、消費電力が増大するという問題が生じる。さらに、レーザーを用いる場合には、照射デバイスの出力レベルが高いと、安全性の問題が生じる可能性があるため、使用できる環境が制限されるという問題がある。【０００５】
一方、２つ目の手法は、カメラで撮影された撮影画像だけを用いて被写体距離を計測する受動的手法である。受動的手法にも多くの手法が存在するが、その一つに、撮影画像に生じるぼけ量の相関値を利用するＤｅｐｔｈ  ｆｒｏｍ  Ｄｅｆｏｃｕｓ（以下、ＤＦＤと呼ぶ）と呼ばれる手法がある。一般に、撮影画像に生じるぼけ量は、撮影時のフォーカス状態（レンズの合焦状態）と被写体距離の関係に応じてカメラ毎に一意に決まる。ＤＦＤではこの特性を利用し、あらかじめ既知の被写体距離にある被写体を、フォーカス状態を異ならせて撮影することによって、被写体距離と撮影画像に生じるぼけ量の相関値の関係を計測しておく。これにより、実際の撮影において複数のフォーカス状態で撮影を行えば、画像間のぼけ量の相関値を算出することにより、被写体距離を計測することが可能となる（例えば、非特許文献１参照）。【０００６】
複数のフォーカス状態で画像を撮影する手法としては、非特許文献２に記載のように、カメラに入射した光を複数に分離した後、それぞれ異なる距離に配置した撮像素子で受光する手法がある。この手法では、フォーカス状態が異なる複数の画像を同時に撮影できるため、画像間に撮影タイミングのずれは生じないが、複数の撮像素子を用いる必要があることや、撮像素子までの距離を異なるように配置するという特殊な構成が必要という問題がある。【０００７】
一方、単板の撮像素子を用いたカメラ構成で、複数のフォーカス状態の画像を撮影する手法として、オートフォーカス等で実現されているフォーカス調整機構を利用する手法がある。この手法は、フォーカス調整機構を制御して順に複数画像を撮影するというものである。この場合、新たなデバイスを追加することなく、フォーカス調整機構と撮影タイミングを適切に制御するだけで、複数のフォーカス状態の画像を撮影し、被写体距離を計測することが可能になる。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２０１０−２４９７９４号公報
【非特許文献】
【０００９】
【非特許文献１】Ｍ．Ｓｕｂｂａｒａｏ  ａｎｄ  Ｇ．Ｓｕｒｙａ，“Ｄｅｐｔｈ  ｆｒｏｍ  Ｄｅｆｏｃｕｓ：Ａ Ｓｐａｔｉａｌ  Ｄｏｍａｉｎ  Ａｐｐｒｏａｃｈ，”Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｊｏｕｒｎａｌ  ｏｆ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ，  Ｖｏｌ．１３，Ｎｏ．３，ｐｐ．２７１−２９４，１９９４
【非特許文献２】松山隆司，竹村岳：“多重フォーカス画像を用いた実時間３次元距離計測”，情報処理学会論文誌，Ｖｏｌ．３９，Ｎｏ．７，ｐｐ．２１４９−２１５８，１９９８．７．
【非特許文献３】日浦慎作，松山隆司，“構造化瞳を持つ多重フォーカス距離画像センサ”，電子情報通信学会論文誌，Ｖｏｌ．Ｊ８２−Ｄ−ＩＩ，Ｎｏ．１１，ｐｐ．１９１２−１９２０，１９９９．１１．
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかし、フォーカス調整機構を制御して順に複数の撮影画像を撮影する手法では、複数の撮影画像の撮影タイミングが異なるため、被写体が動く場合やカメラの撮影方向が変化する場合は、撮影画像間で被写体の位置ずれが生じる。ＤＦＤを用いた被写体距離の計測では、被写体およびカメラが動かない、つまり、複数の撮影画像間で被写体の位置ずれが生じないことを前提とし、複数のフォーカス状態で撮影された画像間で、同じ被写体に対するぼけ量の相関値を比較する。このため、複数の撮影画像によるＤＦＤを用いた被写体距離の計測では、被写体の位置ずれが生じると、この比較が正確に行えなくなり、被写体距離の計測精度が低下するという問題がある。【００１１】
言い換えると、撮影状態を異ならせて撮影された撮影画像を用いて画像処理を行う場合、撮影画像上の被写体の位置ずれが生じない場合は、良好に画像処理が行える。しかし、フォーカス状態や露出状態等の撮影状態に加え、被写体の位置ずれが同時に生じた場合は、画像処理の精度が低下するという問題が生じている。【００１２】
本発明は上記の課題に鑑みてなされたものであり、撮影状態が異なる複数の撮影画像間で被写体の位置ずれが生じた場合にも、より安定して高精度に画像処理を行うことを可能にする画像処理装置、および、画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【００１３】
上記の課題を解決するために、本発明の一態様に係る画像処理装置は、複数のフォーカス状態で同一の被写体が撮影されることにより得られた複数の撮影画像から被写体距離を計測する画像処理装置であって、前記複数の撮影画像のうち、第一のフォーカス状態で撮影された第一画像と、前記第一のフォーカス状態とは異なる第二のフォーカス状態で撮影された第二画像との間の前記被写体の位置ずれ量を表す対象動き量を推定する対象動き量推定部と、前記対象動き量に基づいて前記第二画像を動き補償した補正画像を生成する補正画像生成部と、前記第一画像と前記補正画像との間のぼけ量の相関値に基づいて、前記第一画像における前記被写体距離を計測する被写体距離計測部とを備え、前記第二画像は、前記第一画像と、前記第一画像とは異なるタイミングにおいて前記第一のフォーカス状態で撮影された第三画像との間で撮影された画像であり、前記対象動き量推定部は、前記第一画像と前記第三画像との間の被写体の位置ずれ量を表す第一動き量を推定する第一動き量推定部と、前記第一動き量を用いて前記対象動き量を推定する対象動き量決定部とを有する。
【００１４】
なお、これらの全般的または具体的な態様は、システム、方法、集積回路、またはコンピュータプログラムまたは記録媒体で実現されてもよく、システム、方法、集積回路、およびコンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
【発明の効果】
【００１５】
本発明によれば、撮影状態が異なる複数の撮影画像間で被写体の位置ずれが生じた場合にも、より安定して高精度に被写体距離を計測することが可能になる。
【図面の簡単な説明】
【００１６】
【図１】図１は、本発明の実施の形態１、２、３の画像処理装置の構成例を示すブロック図である。
【図２】図２は、本発明の実施の形態１の対象動き量推定部の構成例を示すブロック図である。
【図３】図３は、本発明の実施の形態１における画像処理方法の処理の流れの一例を示すフロー図である。
【図４】図４は、本発明の実施の形態１で用いる複数の撮影画像と、対象動き量と第一動き量との関係を示す図である。
【図５Ａ】図５Ａは、ブロックマッチングの処理における探索元画像と注目ブロックとの関係の一例を示す説明図である。
【図５Ｂ】図５Ｂは、ブロックマッチングの処理における探索先画像と探索エリアとの関係の一例を示す説明図である。
【図６】図６は、本発明の実施の形態２の対象動き量推定部の構成例を示すブロック図である。
【図７】図７は、本発明の実施の形態２における画像処理方法の処理の流れの一例を示すフロー図である。
【図８】図８は、本発明の実施の形態２で用いる複数の撮影画像と、対象動き量と第一動き量と第二動き量との関係を示す図である。
【図９】図９は、本発明の実施の形態３の対象動き量推定部の構成例を示すブロック図である。
【図１０】図１０は、本発明の実施の形態３における画像処理方法の処理の流れの一例を示すフロー図である。
【図１１】図１１は、本発明の実施の形態３で用いる複数の撮影画像と、対象動き量と第一動き量と第二動き量と第三動き量との関係を示す図である。
【図１２】図１２は、本発明の実施の形態３における３枚の撮影画像の間で推定する動き量の関係を示すベクトル図である。
【図１３】図１３は、本発明の実施の形態４の画像処理装置の構成例を示すブロック図である。
【図１４】図１４は、本発明の実施の形態４における画像処理方法の処理の流れの一例を示すフロー図である。
【図１５】図１５は、本発明の実施の形態４における被写体距離の補償処理に用いる画素位置の関係を示す図である。
【図１６】図１６は、本発明の実施の形態５の画像処理装置の構成例を示すブロック図である。
【図１７】図１７は、本発明の実施の形態５の処理の流れを示すフロー図である。
【図１８】図１８は、本発明の実施の形態５で用いる複数の撮影画像と、対象動き量と第一動き量との関係を示す図である。
【図１９】図１９は、本発明の画像処理装置を搭載したカメラの一例を示す外観図である。
【発明を実施するための形態】
【００１７】
上述した問題を解決するために、本発明の一態様に係る画像処理装置は、複数のフォーカス状態で同一の被写体が撮影されることにより得られた複数の撮影画像から被写体距離を計測する画像処理装置であって、前記複数の撮影画像のうち、第一のフォーカス状態で撮影された第一画像と、前記第一のフォーカス状態とは異なる第二のフォーカス状態で撮影された第二画像との間の前記被写体の位置ずれ量を表す対象動き量を推定する対象動き量推定部と、前記対象動き量に基づいて前記第２の画像を動き補償した補正画像を生成する補正画像生成部と、前記第一画像と前記補正画像との間のぼけ量の相関値に基づいて、前記第一画像における前記被写体距離を計測する被写体距離計測部とを備える。
【００１８】
本構成の画像処理装置によれば、動き補償により、第一画像との間で被写体の位置ずれを無くした、あるいは、被写体距離の算出が行えるように被写体の位置ずれ量を小さくした補正画像を生成し、第一画像と補正画像とを用いて被写体距離を算出するので、複数の撮影画像間で被写体の位置ずれが生じても、被写体距離を高精度に計測することが可能になる。言い換えると、本構成の画像処理装置では、フォーカス状態が異なる複数の撮影画像間で被写体の位置ずれが生じた場合においても、動き補償により、第一画像との間で被写体の位置が同じになるように補正画像を生成するので、第一画像と補正画像との間では、フォーカス状態のみが異なり、あるいは、位置ずれの程度が非常に小さくなり、ＤＦＤによる被写体距離の計測がより良好に行える。
【００１９】
なお、ここでの被写体は、撮影画像に写るもの全体を示しており、人物等だけでなく、背景画像等も含んでいる。
【００２０】
また、例えば、前記画像処理装置は、前記第一画像と、前記第一画像とは異なるタイミングにおいて前記第一のフォーカス状態で撮影された第三画像と、前記第一画像と前記第三画像との間で撮影された前記第二画像とを受け付け、前記対象動き量推定部は、前記第一画像と前記第三画像との間の被写体の位置ずれ量を表す第一動き量を推定する第一動き量推定部と、前記第一動き量を用いて前記対象動き量を推定する対象動き量決定部とを有する構成としてもよい。
【００２１】
本構成によれば、フォーカス状態が同じ第一画像と第三画像との間で求めた高精度な第一動き量から対象動き量を求めるので、フォーカス状態が異なる撮影画像間であっても、高精度に対象動き量を推定することができ、結果として、被写体距離を高精度に計測することが可能になる。
【００２２】
また、例えば、前記対象動き量決定部は、前記対象動き量の大きさを、前記第一動き量の大きさに前記第一画像と前記第三画像との間の撮影時間間隔に対する前記第一画像と前記第二画像との間の撮影時間間隔の比率を積算して求めることにより、前記対象動き量を推定する構成としてもよい。
【００２３】
本構成により、第一画像、第二画像及び第三画像の撮影間隔が等間隔ではない場合でも、良好に対象動き量を求めることができる。特に、第二画像が複数の場合は、第一画像との間の撮影時間間隔と、第三画像との間の撮影時間間隔が異なることが多いため、有用である。
【００２４】
また、例えば、前記対象動き量推定部は、さらに、前記第一画像と前記第二画像との間の位置ずれ量を表す第二動き量を推定する第二動き量推定部を有し、前記対象動き量決定部は、前記第一動き量と前記第二動き量とを用いて前記対象動き量を推定する構成としてもよい。
【００２５】
また、例えば、前記対象動き量決定部は、前記第二画像を構成する画素のうちの前記対象動き量の算出対象画素と、前記算出対象画素に対応する前記第一画像上の画素との画素値の差に基づいて、前記第二動き量の精度を判定し、前記第二動き量の精度が閾値よりも高いと判定された場合は、前記第二動き量を前記対象動き量として推定し、前記第二動き量の精度が前記閾値よりも低いと判定された場合は、前記第一動き量を用いて前記対象動き量を推定する構成としてもよい。
【００２６】
本構成によれば、第二動き量の精度が良好な場合、第一画像と第二画像との間で直接求めた第二動き量を用いるので、一般的に、間接的に求めた動き量より直接求めた動き量の精度がよいと考えられることから、さらに高精度に対象動き量の推定を行うことが可能になる。
【００２７】
また、例えば、前記対象動き量推定部は、さらに、前記第二画像と前記第三画像との間の位置ずれ量を表す第三動き量を推定する第三動き量推定部を有し、前記対象動き量決定部は、前記第一動き量と前記第二動き量とに加え、前記第三動き量を用いて前記対象動き量を推定する構成としてもよい。
【００２８】
また、例えば、前記対象動き量決定部は、前記第二動き量と前記第三動き量との合計が前記第一動き量と等しい場合は、前記第二動き量を前記対象動き量として推定し、前記第二動き量と前記第三動き量との合計が前記第一動き量と等しくない場合は、前記対象動き量の算出対象である前記第二画像の画素と、対応する前記第一画像上の画素との画素値の差に基づいて、前記第二動き量の精度を判定し、前記対象動き量の算出対象である前記第二画像の画素と、対応する前記第三画像上の画素との画素値の差に基づいて、前記第三動き量の精度を判定し、前記第二動き量の精度が閾値よりも高いと判定されたときは、前記第二動き量を前記対象動き量として推定し、前記第二動き量の精度が前記閾値よりも低いと判定されたときは、前記第一動き量から前記第三動き量を減算した動き量を前記対象動き量として推定する構成としてもよい。
【００２９】
本構成によれば、第二動き量の精度が低い場合でも、直接的に求めた高精度な第一画像と第三画像とを用いて対象動き量を推定できるため、さらに高精度に対象動き量の推定を行うことが可能になる。なお、第一動き量から第三動き量の「減算」とは、ベクトル演算における減算である。
【００３０】
また、例えば、前記対象動き量に基づいてブラーが生じている領域をブラー領域として判定するブラー領域判定部と、前記ブラー領域を構成する画素のそれぞれについて、前記第一画像の前記ブラーが生じていない領域である非ブラー領域の前記被写体距離、あるいは、予め前記被写体距離が求められた他の撮影画像の前記被写体距離を用いて、前記第一画像の前記被写体距離を計測する被写体距離補償部とを備え、前記被写体距離計測部は、前記非ブラー領域を構成する画素のそれぞれについて、前記第一画像と前記補正画像との間のぼけ量の相関値に基づいて、前記被写体距離を求める構成としてもよい。
【００３１】
本構成により、撮影画像内にブラーが生じている場合でも、被写体距離を高精度に計測することが可能になる。
【００３２】
ここで、ブラーとは、被写体の動きや撮影方向の変化が速く、露光時間中に被写体の位置が大きく変化するときに、撮影画像中に生じる動きぶれである。この場合、撮影画像には、被写体距離とフォーカス状態との不一致によって生じるぼけの影響だけでなく、ブラーの影響も重畳されることになる。このような場合、従来の画像処理方法では、これらの影響を考慮していないことから、被写体距離の計測精度が低下するという問題が生じている。これに対し、本構成の画像処理装置では、ブラーの影響のない領域について被写体距離の計測を行うので、被写体距離を高精度に計測することが可能になる。
【００３３】
本構成では、一般的な被写体距離の測定に利用されるフォーカス状態を異ならせた撮影画像を用いるので、被写体距離の測定を行うにあたり、一般的な被写体距離の測定方法を用いることが可能になる。
【００３４】
上述した問題を解決するために、本発明の一態様に係る画像処理装置は、複数の撮影状態で同一の被写体が撮影されることにより得られた複数の撮影画像を用いて画像処理を行う画像処理装置であって、前記複数の撮影画像のうち、第一の撮影状態で撮影された第一画像と、前記第一の撮影状態とは異なる第二の撮影状態で撮影された第二画像との間の前記被写体の位置ずれ量を表す対象動き量を推定する対象動き量推定部と、前記対象動き量に基づいて前記第２画像を動き補償した補正画像を生成する補正画像生成部と、前記第一画像と前記補正画像とを用いて画像処理を行う画像処理部とを備える。
【００３５】
上述したように、撮影状態を異ならせて撮影された撮影画像を用いて画像処理を行う場合、撮影状態に加え、被写体の位置ずれが同時に生じた場合は、画像処理の精度が低下するという問題が生じている。
【００３６】
本構成の画像処理装置によれば、動き補償により、第一画像との間で被写体の位置ずれを無くした補正画像を生成し、第一画像と補正画像とを用いて画像処理を行うので、撮影状態のみが異なる複数の撮影画像を用いて画像処理を行うことができ、画像処理の精度の低下を防止可能になる。
【００３７】
また、例えば、前記画像処理装置は、第一の露出状態で撮影された前記第一画像と、第二の露出状態で撮影された前記第二画像とを受け付け、前記画像処理部は、前記画像処理として、前記第一画像と前記補正画像とを合成して、ダイナミックレンジの広い合成画像を生成する処理を行う構成としてもよい。
【００３８】
本構成の画像処理装置によれば、動き補償により、第一画像との間で被写体の位置ずれを無くした補正画像を生成し、第一画像と補正画像とを用いてＨＤＲ（Ｈｉｇｈ  Ｄｙｎａｍｉｃ  Ｒａｎｇｅ）画像の生成を行うので、複数の撮影画像間で被写体の位置ずれが生じても、ＨＤＲ画像の生成を高精度に行うことが可能になる。
【００３９】
本発明の一態様に係る画像処理方法は、複数のフォーカス状態で同一の被写体が撮影されることにより得られた複数の撮影画像から被写体距離を計測する画像処理方法であって、前記複数の撮影画像のうち、第一のフォーカス状態で撮影された第一画像と、前記第一のフォーカス状態とは異なる第二のフォーカス状態で撮影された第二画像との間の前記被写体の位置ずれ量を表す対象動き量を推定する対象動き量推定ステップと、前記対象動き量に基づいて前記第二画像を動き補償した補正画像を生成する補正画像生成ステップと、前記第一画像と前記補正画像との間のぼけ量の相関値に基づいて、前記第一画像における前記被写体距離を計測する被写体距離計測ステップとを含む。
【００４０】
本発明の一態様に係る画像処理方法は、複数の撮影状態で同一の被写体が撮影されることにより得られた複数の撮影画像を用いて画像処理を行う画像処理方法であって、前記複数の撮影画像のうち、第一の撮影状態で撮影された第一画像と、前記第一の撮影状態とは異なる第二の撮影状態で撮影された第二画像との間の前記被写体の位置ずれ量を表す対象動き量を推定する対象動き量推定ステップと、前記対象動き量に基づいて前記第２画像を動き補償した補正画像を生成する補正画像生成ステップと、前記第一画像と前記補正画像とを用いて画像処理を行う画像処理ステップとを含む。
【００４１】
以下、本発明の実施の形態を、図面を用いて詳細に説明する。なお、以下で説明する実施の形態は、いずれも本発明の望ましい一具体例を示すものである。以下の実施の形態で示される構成要素、構成要素の配置位置および接続形態、処理、処理の順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、本発明の最上位概念を示す独立請求項に記載されていない構成要素については、より望ましい形態を構成する任意の構成要素として説明される。
【００４２】
（実施の形態１）
本発明の実施の形態１に係る画像処理装置について、図１〜図５Ｂを基に説明する。
【００４３】
本実施の形態の画像処理装置は、複数の撮影状態で撮影された複数の撮影画像から、ＤＦＤを利用して被写体距離を計測する装置であり、動画を撮影可能な撮像装置に搭載されている場合を例に説明する。
【００４４】
ここで、撮影状態とは、フォーカス状態や露出状態、ＩＳＯ感度などである。本実施の形態では、画像処理装置が、ＤＦＤを利用した被写体距離の計測を行うことから、撮影状態がフォーカス状態である場合を例に説明する。
【００４５】
また、本実施の形態の撮像装置は、ビデオカメラである場合を例に説明する。図１９は、ビデオカメラ２００の一例を示す外観図である。当該ビデオカメラ２００は、動画の撮影において、一定の時間間隔で、近景フォーカス（本実施の形態では、第一のフォーカス状態に相当）と遠景フォーカス（本実施の形態では、第二のフォーカス状態に相当）とを交互に切り替えて撮影を行うように構成されている。ビデオカメラ２００は、遠景フォーカスで撮影した遠景撮影画像と近景フォーカスで撮影した近景撮影画像とを交互に、画像処理装置に出力する。なお、画像処理装置は、本実施の形態ではビデオカメラ２００に搭載される場合を例に説明するが、動画を撮像可能なビデオカメラ２００以外の機器（例えば、携帯電話機等）に搭載されていてもよいし、撮像装置から撮影画像を取得可能な他の装置に設けられていてもよい。
【００４６】
また、ここでの近景フォーカスは、ビデオカメラ２００の焦点が合う合焦範囲のうち、カメラからの距離が最も近い位置に焦点を合わせた撮影状態を示しており、遠景フォーカスは、上記合焦範囲のうち、カメラからの距離が最も遠い位置（無限遠）に焦点を合わせた撮影状態を示している。
【００４７】
（実施の形態１における画像処理装置の構成）
先ず、画像処理装置１００の構成を、図１および図２を参照しながら説明する。図１は、画像処理装置１００の構成例を示すブロック図である。
【００４８】
画像処理装置１００は、本実施の形態では、遠景フォーカスおよび近景フォーカスで撮影された複数の撮影画像から被写体距離を計測する装置であり、図１に示すように、対象動き量推定部１０（本実施の形態では、１０Ａ）、補正画像生成部２０、被写体距離計測部３０を備えている。
【００４９】
画像処理装置１００は、ビデオカメラ２００から、被写体が遠景フォーカスで撮影された遠景撮影画像と、同一の被写体が遠景撮影画像とは異なるタイミングにおいて近景フォーカスで撮影された近景撮影画像とを交互に連続して取得するように構成されている。また、被写体距離の算出対象の撮影画像を第一画像とし、第一画像の直前に撮影された撮影画像を第二画像とし、第二画像の直前に撮影された撮影画像を第三画像として説明する。第一画像と第三画像のフォーカス状態は、同じになる。なお、以下では、説明のため、所定の近景撮影画像を被写体距離の算出対象とする場合（近景フォーカスを第一のフォーカス状態とする場合）を例に説明するが、遠景撮影画像を被写体距離の算出対象とする場合（遠景フォーカスを第一のフォーカス状態とする場合）でも、同じ方法で被写体距離を算出できる。また、近景フォーカスおよび遠景フォーカス以外のフォーカス状態を用いてもよい。
【００５０】
対象動き量推定部１０Ａは、ビデオカメラ２００で撮影された撮影画像のうち、近景フォーカスで撮影された第一画像と遠景フォーカスで撮影された第二画像との間で生じた被写体の位置ずれ量を対象動き量として推定し、補正画像生成部２０に出力する。なお、対象動き量はベクトル量であり、位置ずれの方向と位置ずれの大きさとで規定される。図２は、対象動き量推定部１０Ａの構成例を示すブロック図である。対象動き量推定部１０Ａは、図２に示すように、第一動き量推定部１１Ａと、動き量決定部１２Ａとを有する。
【００５１】
第一動き量推定部１１Ａは、同じフォーカス状態で撮影された第一画像と第三画像とを受け付け、第一画像と第三画像との間で生じた被写体の位置ずれ量を第一動き量として推定し、動き量決定部１２Ａに出力する。なお、第一動き量はベクトル量であり、位置ずれの方向と位置ずれの大きさとで規定される。
【００５２】
動き量決定部１２Ａは、第一動き量に基づき、第一画像と第二画像との間で生じた被写体の位置ずれ量を対象動き量として推定する。
【００５３】
補正画像生成部２０は、対象動き量に基づいて第二画像に対する動き補償を行い、第一画像との間で被写体の位置ずれがない補正画像を生成し、被写体距離計測部３０に出力する。
【００５４】
被写体距離計測部３０は、第一画像と補正画像との間のぼけ量の相関値に基づき、ＤＦＤを用いて被写体距離を計測する。
【００５５】
ここで、フォーカス状態の異なる複数の撮影画像から、ぼけ量の相関値に基づいて被写体距離を計測するＤＦＤの原理について説明する。なお、このＤＦＤの原理については、特許文献１や非特許文献３にも記載されている。
【００５６】
一般に、カメラの光学系を通して撮影した画像を２次元フーリエ変換すると、その周波数情報Ｉ（ｕ,ｖ）は以下の式１のように表される。
【００５７】
【数１】
0005934929.tif 000002
【００５８】
ここで、変数ｕおよび変数ｖは、２次元フーリエ空間における周波数成分を表している。また、Ｓ（ｕ,ｖ）は、ぼけ量がゼロとなるように撮影した場合における全焦点画像の周波数情報を表している。さらに、ＯＴＦ（ｕ,ｖ,ｄ）は、撮影したときのフォーカス状態に関連し、カメラから距離ｄの位置に存在する被写体を撮影したときの光学系の伝達関数（Ｏｐｔｉｃａｌ  Ｔｒａｎｓｆｅｒ  Ｆｕｎｃｔｉｏｎ）を表している。式１から分かるように、撮影画像の周波数情報Ｉ（ｕ,ｖ）は、全焦点画像の周波数情報Ｓ（ｕ,ｖ）と、撮影時の光学系の伝達関数ＯＴＦ（ｕ,ｖ,ｄ）の積で表される。
【００５９】
ここで、距離ｄにある被写体を２つの異なるフォーカス状態で撮影すると、撮影された２枚の撮影画像の周波数情報Ｉ１（ｕ,ｖ）およびＩ２（ｕ,ｖ）は、以下の式２および式３で表される。ただし、２枚の撮影画像間に被写体の位置ずれは生じていないものとする。
【００６０】
【数２】
0005934929.tif 000003
【００６１】
【数３】
0005934929.tif 000004
【００６２】
これらの式の両辺を互いに除算した場合、全焦点画像Ｓ（ｕ,ｖ）に依存しない以下の式４が得られる。
【００６３】
【数４】
0005934929.tif 000005
【００６４】
ここで、ＯＴＦ１（ｕ,ｖ,ｄ），ＯＴＦ２（ｕ,ｖ,ｄ）は、各画像を撮影したときの光学系の特性を表すことから、あらかじめ距離ｄごとの特性を計測し、保持しておくことができる。従って、フォーカス状態が異なる２枚の画像Ｉ１（ｕ,ｖ），Ｉ２（ｕ,ｖ）を撮影すれば、式４の左辺に一致する右辺の距離ｄを求めることにより、被写体距離を計測することが可能となる。
【００６５】
ただし、一般的に、撮影画像には、ノイズや量子化誤差などの影響が含まれるため、左辺と右辺の値が完全に一致する距離ｄが存在するとは限らない。このため、以下の式５に示すように、距離ｄをパラメータとする式４の左辺と右辺との差分の絶対値ｅ（ｄ）を求め、ｅ（ｄ）が最小になる距離ｄを被写体までの距離として推定してもよい。
【００６６】
【数５】
0005934929.tif 000006
【００６７】
ｅ（ｄ）が最小になる距離ｄを被写体までの距離として推定するように構成すれば、撮影画像の特性が、あらかじめ計測しておいた光学系の特性と完全に一致しない場合でも、被写体距離を計測することが可能となる。
【００６８】
（実施の形態１における画像処理方法の処理手順）
次に、本発明の実施の形態１に係る画像処理装置において、被写体距離を計測する場合の処理の流れ（画像処理方法の処理手順）について、図３および図４を用いて説明する。図３は、本実施の形態における画像処理方法の処理手順を示すフロー図であり、図４は、本実施の形態における撮影画像と対象動き量と第一動き量との関係を示す説明図である。
【００６９】
まず、図１９に示すビデオカメラ２００（撮像装置）において、複数のフォーカス状態で画像を撮影し、画像処理装置１００に対し出力する（ステップＳ１０１）。
【００７０】
本実施の形態のビデオカメラ２００は、図４に示すように、近景フォーカスでの撮影と、遠景フォーカスでの撮影を、時間的に連続して交互に繰り返し、撮影した近景撮影画像と遠景撮影画像とを画像処理装置１００に出力する。なお、本実施の形態では、ビデオカメラ２００は、同一の位置から同一の方向を撮影する場合、すなわち、複数の撮影画像で同じ被写体を撮影する場合を例に説明する。また、本実施の形態では、被写体は、カメラから近距離にいる人物およびその背景である。
【００７１】
なお、本実施の形態では、説明のため、ビデオカメラ２００の位置および撮影方向が同じ場合について説明するが、これに限るものではない。また、被写体の構成も、人物およびその背景に限られるものではない。
【００７２】
図４において、近景フォーカスの撮影画像では、手前に立つ人物にフォーカスが合っているため（近距離に焦点が合っているため）、手前に立つ人物は、はっきりと写っているが、背景はぼやけている。一方、遠景フォーカスでは、背景にフォーカスが合っている（無限遠に焦点が合っている）ため、背景は、はっきりと写っているが、手前に立つ人物はぼやけている。また、上述したように、近景フォーカスで撮影された近景撮影画像のうちの１枚を被写体距離の計測を行う第一画像、その１枚前に遠景フォーカスで撮影された遠景撮影画像を第二画像、さらにその１枚前に近景フォーカスで撮影された近景撮影画像を第三画像とする。なお、本ステップＳ１０１は、本発明の必須行程ではないが、より好ましい形態を構成するものとして説明する。画像処理装置１００が、複数の撮影状態による撮影画像を取得することができる構成であればよい。また、以下に説明するステップＳ１０２〜ステップＳ１０５の処理は、ビデオカメラ２００による撮影と並行して実行してもよいし、撮影後に実行してもよい。
【００７３】
ここで、近景フォーカスによる第一画像と遠景フォーカスによる第二画像とを撮影する間に被写体の動きや撮影方向の変化がなければ、画像間で被写体の位置ずれは生じない。この場合は、第一画像と第二画像とをそのまま用いて、式５に基づくＤＦＤの処理によって被写体距離を計測できる。しかし、第一画像と第二画像との間で被写体の位置ずれが生じた場合には、式２および式３で全焦点画像Ｓ（ｕ,ｖ）が異なるため、式４が成り立たず、被写体距離を計測することができない。そこで、本実施の形態では、第一画像および第二画像の全焦点画像Ｓ（ｕ,ｖ）を一致させるために、画像間の位置ずれに相当する動き量を推定した後、位置ずれが生じた被写体に対する動き補償を行って補正画像を生成する。以下では、第一画像と第二画像との間の動き量を対象動き量と呼ぶ。
【００７４】
画像処理装置１００は、被写体距離の計測にあたり、先ず、図３に示すように、対象動き量推定部１０Ａの第一動き量推定部１１Ａにおいて、第一画像と、第一画像と同じ近景フォーカス状態で撮影された第三画像との間の動き量を、第一動き量として推定する（ステップＳ１０２）。なお、この動き量の推定は、同じフォーカス状態で撮影された画像間での推定であり、被写体の位置のみが異なるため、高精度な推定結果が得られる。
【００７５】
以下、第一画像と第三画像との間の第一動き量の推定方法について、図５Ａおよび図５Ｂを用いて説明する。なお、本実施の形態では、動き量の推定に、ブロックマッチング法を用いる場合を例に説明する。
【００７６】
ブロックマッチング法は、画像間の動き量をブロック領域毎に推定する手法であり、一方の画像（以下、探索元画像と呼ぶ）内に設定したブロック領域の画像と最も相関が高くなる領域を他方の画像（以下、探索先画像と呼ぶ）内から特定することで動き量を推定する。図５Ａは、探索元画像と注目ブロックとの関係の一例を示す説明図であり、図５Ｂは、探索先画像と探索エリアとの関係の一例を示す説明図である。
【００７７】
第一動き量推定部１１Ａは、図５Ａに示すように、まず、探索元画像（つまり、第一画像）内において、複数の画素で構成される注目ブロックを設定する。この注目ブロックのサイズとしては、８×８画素や１６×１６画素など任意に設定できる。言い換えると、第一動き量推定部１１Ａは、探索元画像を、同じサイズの複数のブロック領域に分割し、複数のブロック領域を順次注目ブロックに設定する。
【００７８】
次に、第一動き量推定部１１Ａは、探索先画像（つまり、第三画像）内に探索エリアを設定する。この探索エリアは、探索元画像内の注目ブロックと最も相関が高くなるエリア（領域）を探索する範囲を示すものであり、注目ブロックよりサイズの大きいエリアである。また、探索エリアは、探索元画像内における注目ブロックの位置と近い位置に設定することが好ましい。
【００７９】
次に、第一動き量推定部１１Ａは、探索元画像内の注目ブロックと同じサイズのブロック領域を探索先画像の探索エリア内から切り出して探索ブロックとし、以下の式６に基づいて、画像の相関を表す評価値ｒｘ,ｙを算出する。
【００８０】
【数６】
0005934929.tif 000007
【００８１】
ここで、ｘ,ｙは、ブロック領域の探索先画像内の位置を示す座標位置であり、図５Ｂに示す探索先画像の左上角部の画素の座標（ｘ，ｙ）を（０，０）としたときの座標位置である。また、（ｉ,ｊ）は、ブロック領域（注目ブロックおよび探索ブロック）を構成する画素のブロック領域内の相対的な座標位置であり、ブロック領域の左上角部の画素の座標（ｉ，ｊ）を（０，０）としたときの座標位置である。ｆ（ｉ,ｊ）は、探索元画像内に設定した注目ブロックを構成する画素の画素値、ｇｘ,ｙ（ｉ,ｊ）は、探索先画像内から切り出した探索ブロックの画素値をそれぞれ表す。探索先画像の探索エリア内から探索ブロックを切り出す座標位置（ｘ,ｙ）をずらしながら、式６に基づく評価値ｒｘ,ｙを算出し、この中から評価値ｒｘ,ｙが最も小さくなる座標位置を特定する。この座標位置と、探索元画像内における注目ブロックの座標位置との相対的な位置ずれが画像間の動き量を表す。第一動き量推定部１１Ａは、この処理を探索元画像内の全てのブロック領域に対して行うことにより、画像全体で動き量を推定できる。
【００８２】
次に、対象動き量推定部１０Ａの動き量決定部１２Ａは、第一動き量に基づいて、第一画像と第二画像との間の動き量である対象動き量を推定する（ステップＳ１０３）。ここで、第一画像、第二画像、第三画像が時間的に等間隔に撮影されたとすると、対象動き量は、第一動き量と位置ずれの方向が同じで、大きさが半分となるように決定する。これは、短い時間であれば被写体の動きや撮影方向の変化はほぼ等速であるという特性を利用したものであり、第一画像と第二画像との間の撮影時間間隔が、第一画像と第三画像との間の撮影時間間隔の半分であれば、その間の動き量もほぼ半分になるという関係を利用している。
【００８３】
なお、撮影時間間隔が等間隔でない場合には、撮影時間間隔の比率に応じて第一動き量の大きさを補正することで、対象動き量を決定してもよい。具体的には、例えば、対象動き量の大きさ＝第一動き量の大きさ×（（第一画像と第二画像との間の撮影時間間隔）／（第一画像と第三画像との間の撮影時間間隔））とし、対象動き量の方向＝第一動き量の方向として、対象動き量を求める。なお、当該式に、第一画像と第二画像との間の撮影時間間隔が、第一画像と第三画像との間の撮影時間間隔の半分の場合を当てはめると、対象動き量の大きさ＝第一動き量の大きさ×０．５となる。
【００８４】
補正画像生成部２０は、対象動き量推定部１０Ａから対象動き量を受け付けると、受け付けた対象動き量に基づいて、第二画像の動き補償を行い、補正画像を生成する（ステップＳ１０４）。この結果、第一画像と補正画像とは被写体の位置が一致することから、全焦点画像が共通となり、ぼけ量だけが異なるという関係になる。言い換えると、第一画像と補正画像とは被写体の状態が同じであり、フォーカス状態だけが異なる関係になる。
【００８５】
被写体距離計測部３０は、補正画像生成部２０から補正画像を受け付けると、第一画像と補正画像との間のぼけ量の相関値に基づいて、ＤＦＤによる被写体距離の計測を行う（ステップＳ１０５）。ここでは、上述したように、式５が最小になる距離ｄを求めることで、被写体距離を計測できる。
【００８６】
上記の手法によれば、同じフォーカス状態で撮影した第一画像と第三画像との間で推定した第一動き量を用いて、異なるフォーカス状態で撮影した第一画像と第二画像との間の対象動き量を推定することにより、高精度な対象動き量の推定が可能になる。この対象動き量を用いて第二画像を動き補償することで、第一画像と被写体の位置ずれがない補正画像を高精度に生成することができ、ＤＦＤによる被写体距離の計測処理をより良好に行うことが可能になる。
【００８７】
なお、上記のブロックマッチング法を、第一画像と第二画像との間で行うことにより、フォーカス状態が異なっていても、第一画像と第二画像との間の動き量を直接的に算出することは可能である。特に、第一画像を撮影したときのフォーカス状態と第二画像を撮影したときのフォーカス状態との違いが小さい場合には、動き量を良好に推定できる可能性が高い。しかし、第一画像を撮影したときのフォーカス状態と第二画像を撮影したときのフォーカス状態との違いが大きい場合には、画像間でぼけ量が大きく異なるため、同じ被写体でも画像間で相関は低くなり、推定される動き量には多くの誤差が生じる可能性がある。一般に、ＤＦＤを用いて被写体距離を計測する場合には、画像間のフォーカス状態の違いが大きい方が被写体距離の計測精度が向上するため、後者の条件で撮影されることが多い。
【００８８】
上記の手法によれば、フォーカス状態の異なる第一画像と第二画像とを用いた被写体距離の測定において、ブロックマッチング法により高精度に求められた第一画像と第三画像との間の第一動き量を用いることで、第一画像と第二画像との間の動き量を高精度に推定することができる。高精度に推定された対象動き量を用いることで、第一画像と補正画像との間の位置ずれを無くす、あるいは、被写体距離の計測を良好に行える程度に小さくすることができ、被写体距離の計測を良好に行うことが可能になる。
【００８９】
（実施の形態２）
本発明の実施の形態２に係る画像処理装置について、図１、図６〜図８を基に説明する。
【００９０】
なお、本実施の形態の画像処理装置が、実施の形態１の画像処理装置１００と異なる点は、対象動き量推定部１０Ｂが、第一画像と第三画像との間の第一動き量を求める第一動き量推定部１１Ａに加え、第一画像と第二画像との間の第二動き量を直接的に求める第二動き量推定部１１Ｂを備える点である。
【００９１】
本実施の形態では、実施の形態１と同様に、撮像装置が図１９に示すビデオカメラ２００であり、撮影状態が、近景フォーカス及び遠景フォーカスの２つのフォーカス状態である場合を例に説明する。
【００９２】
（実施の形態２における画像処理装置の構成）
先ず、実施の形態２における画像処理装置１００の構成を、図１および図６を参照しながら説明する。
【００９３】
図６は、対象動き量推定部１０Ｂの構成例を示すブロック図である。なお、本実施の形態に係る画像処理装置の構成のうち、実施の形態１に係る画像処理装置１００と共通のブロックには同じ符号を付し、説明を省略する。
【００９４】
本実施の形態の画像処理装置の構成は、図１に示す実施の形態１の画像処理装置１００と同じブロック構成であり、対象動き量推定部１０Ｂ、補正画像生成部２０、被写体距離計測部３０を備えている。なお、補正画像生成部２０および被写体距離計測部３０の構成は、実施の形態１と同じである。また、本実施の形態の画像処理装置は、実施の形態１と同様に、ビデオカメラ２００から、時間的に連続して撮影された遠景撮影画像と近景撮影画像とを、交互に連続して取得するように構成されている。また、被写体距離の算出対象の撮影画像を第一画像とし、第一画像の直前に撮影された撮影画像を第二画像とし、第二画像の直前に撮影された撮影画像を第三画像として説明する。
【００９５】
対象動き量推定部１０Ｂは、近景フォーカスで撮影された第一画像と遠景フォーカスで撮影された第二画像との間で生じた被写体の位置ずれ量を対象動き量として推定するように構成されており、図６に示すように、第一動き量推定部１１Ａと、第二動き量推定部１１Ｂと、動き量決定部１２Ｂとを有する。
【００９６】
第一動き量推定部１１Ａの構成は、実施の形態１と同じであり、第一画像と第三画像との間の第一動き量を、ブロックマッチング法により求め、動き量決定部１２Ｂに出力する。
【００９７】
第二動き量推定部１１Ｂは、実施の形態１で説明したブロックマッチング法により、第一画像と第二画像との間に生じた被写体の位置ずれ量を第二動き量（初期推定値に相当）として推定し、動き量決定部１２Ｂに出力する。なお、第二動き量は、対象動き量および第一動き量と同様に、ベクトル量であり、位置ずれの方向と位置ずれの大きさとで規定される。
【００９８】
動き量決定部１２Ｂは、第一動き量推定部１１Ａで推定した第一動き量と、第二動き量推定部１１Ｂで推定した第二動き量とに基づいて、第一画像と第二画像の間で生じた被写体の位置ずれを示す対象動き量を推定する。
【００９９】
（実施の形態２における画像処理方法の処理手順）
次に、本発明の実施の形態２に係る画像処理装置において、被写体距離を計測する場合の処理の流れについて、図７および図８を用いて説明する。図７は、本実施の形態における画像処理方法の処理手順を示すフロー図であり、図８は、本実施の形態における撮影画像と対象動き量と第一動き量と第二動き量との関係を示す説明図である。なお、図７に示す処理の流れのうち、図３に示した実施の形態１の処理の流れと共通の処理には同一の符号を付し、説明を省略する。
【０１００】
まず、図１９に示すビデオカメラ２００（撮像装置）において、複数のフォーカス状態で画像を撮影し、画像処理装置１００に対し出力する（ステップＳ１０１）。
【０１０１】
画像処理装置１００は、被写体距離の計測にあたり、先ず、図７に示すように、対象動き量推定部１０Ｂの第一動き量推定部１１Ａにおいて、第一画像と第三画像との間の動き量を、第一動き量として推定する（ステップＳ１０２）。ここまでは実施の形態１と同様である。
【０１０２】
次に、画像処理装置１００は、対象動き量推定部１０Ｂの第二動き量推定部１１Ｂにより、第一画像と第二画像との間の動き量の初期推定値である第二動き量を推定する（ステップＳ２０１）。この推定には、ブロックマッチング法を行いることができる。
【０１０３】
次に、画像処理装置１００は、対象動き量推定部１０Ｂの動き量決定部１２Ｂにより、第一動き量と第二動き量とを用いて、対象動き量を推定する（ステップＳ２０２）。
【０１０４】
ここで、フォーカス状態が同じであれば、一般的には、直接的に推定した第二動き量の方が、第一動き量から間接的に推定する場合に比べ、精度が高い。すなわち、直接的に第一画像と第二画像との間の第二動き量を推定した方が、精度が高くなる場合がある。ただし、上述したように、第一画像を撮影したときのフォーカス状態と第二画像を撮影したときのフォーカス状態は、特にＤＦＤによる被写体距離の測定では、大きく異なる可能性が高い。このため、フォーカス状態の変更によるぼけ量が大きく異なると、同じ被写体でも画像間で相関は低くなり、推定される動き量には大きな誤差が生じることがある。
【０１０５】
従って、本実施の形態の動き量決定部１２Ｂは、第二動き量の精度を判定し、被写体距離の測定に用いるのに必要な精度である場合は、第二動き量をそのまま対象動き量とし、必要な精度でない場合は、実施の形態１と同様に、第一動き量から対象動き量を推定する。なお、第一動き量から対象動き量を推定する方法は、実施の形態１のステップＳ１０３と同じである。
【０１０６】
ここでは、動き量決定部１２Ｂは、第二動き量を推定するときに適用したブロックマッチング法における最小の評価値ｒｘ,ｙ（最小評価値ｒｍｉｎ）に基づいて、第二動き量の精度を判定する。より具体的には、動き量決定部１２Ｂは、最小評価値ｒｍｉｎが所定の閾値よりも小さいと判定された場合（精度が高いと判定された場合）は、第二動き量を対象動き量としてそのまま用い、最小評価値ｒｍｉｎが所定の閾値よりも大きいと判定された場合（精度が低いと判定された場合）は、第一動き量から対象動き量を推定する。これは、ブロックマッチング法で算出された最小評価値ｒｍｉｎが小さいときは、探索元画像における注目ブロックと探索先画像で特定された探索ブロックとの間の一致度が高く、動き量の推定精度が高いという特性を利用している。このような場合には、第一画像と第二画像の間にブロックマッチング法を適用して直接的に求めた第二動き量を用いる方が、対象動き量として高精度な推定結果が得られると考えられる。
【０１０７】
補正画像生成部２０は、対象動き量推定部１０Ｂから対象動き量を受け付けると、受け付けた対象動き量に基づいて、第二画像の動き補償を行い、補正画像を生成する（ステップＳ１０４）。当該ステップＳ１０４は、実施の形態１と同様である。
【０１０８】
さらに、被写体距離計測部３０は、補正画像生成部２０から補正画像を受け付けると、第一画像と補正画像との間のぼけ量の相関値に基づいて、ＤＦＤによる被写体距離の計測を行う（ステップＳ１０５）。当該ステップＳ１０５は、実施の形態１と同様である。
【０１０９】
上記の手法によれば、異なるフォーカス状態で撮影した第一画像と第二画像との間で推定した第二動き量の推定精度が高いと判断されるときには、対象動き量として第二動き量を利用し、第二動き量の推定精度が低いと判断されるときには、同じフォーカス状態で撮影した第一画像と第三画像の間で推定した第一動き量に基づいて対象動き量を推定することができ、高精度な推定が可能になる。
【０１１０】
なお、本実施の形態において、第一動き量推定部１１Ａは、第二動き量推定部１１Ｂで求められた最小評価値ｒｍｉｎが、所定の閾値より小さいと判定された場合は、第一動き量を算出しない構成にしてもよい。
【０１１１】
なお、ステップＳ２０２における対象動き量の推定方法としては、第一動き量と第二動き量を推定するときにそれぞれ適用したブロックマッチング法の最小評価値ｒｍｉｎの比に基づき、第一動き量の半分の動き量と第二動き量とを内分して得た動き量を、対象動き量として使用してもよい。
【０１１２】
（実施の形態３）
本発明の実施の形態３に係る画像処理装置について、図１、図９〜図１２を基に説明する。
【０１１３】
なお、本実施の形態の画像処理装置が、実施の形態２の画像処理装置１００と異なる点は、対象動き量推定部１０Ｃが、第一画像と第三画像との間の第一動き量を求める第一動き量推定部１１Ａと、第一画像と第二画像との間の第二動き量を直接的に求める第二動き量推定部１１Ｂとに加え、第二画像と第三画像との間の第三動き量を求める第三動き量推定部１１Ｃを備える点である。
【０１１４】
本実施の形態では、実施の形態１及び実施の形態２と同様に、撮像装置が図１９に示すビデオカメラ２００であり、撮影状態が、近景フォーカス及び遠景フォーカスの２つのフォーカス状態である場合を例に説明する。
【０１１５】
（実施の形態３における画像処理装置の構成）
先ず、実施の形態３における画像処理装置１００の構成を、図１および図９を参照しながら説明する。
【０１１６】
図９は、対象動き量推定部１０Ｃの構成例を示すブロック図である。なお、本実施の形態に係る画像処理装置の構成のうち、実施の形態１または実施の形態２に係る画像処理装置と共通のブロックには同じ符号を付し、説明を省略する。
【０１１７】
本実施の形態の画像処理装置の構成は、図１に示す実施の形態１の画像処理装置１００と同じブロック構成であり、対象動き量推定部１０Ｃ、補正画像生成部２０、被写体距離計測部３０を備えている。なお、補正画像生成部２０および被写体距離計測部３０の構成は、実施の形態１および実施の形態２と同じである。また、本実施の形態の画像処理装置は、実施の形態１および実施の形態２と同様に、ビデオカメラ２００から、遠景フォーカスで撮影された遠景撮影画像と近景フォーカスで撮影された近景撮影画像とを交互に連続して取得するように構成されている。また、被写体距離の算出対象の撮影画像を第一画像とし、第一画像の直前に撮影された撮影画像を第二画像とし、第二画像の直前に撮影された撮影画像を第三画像として説明する。
【０１１８】
対象動き量推定部１０Ｃは、近景フォーカスで撮影された第一画像と遠景フォーカスで撮影された第二画像との間で生じた被写体の位置ずれ量を対象動き量として推定するように構成されており、図９に示すように、第一動き量推定部１１Ａと、第二動き量推定部１１Ｂと、第三動き量推定部１１Ｃと、動き量決定部１２Ｃとを有する。
【０１１９】
第一動き量推定部１１Ａの構成は、実施の形態１および実施の形態２と同じであり、第一画像と第三画像との間の第一動き量を、ブロックマッチング法により求め、動き量決定部１２Ｃに出力する。
【０１２０】
第二動き量推定部１１Ｂの構成は、実施の形態２と同じであり、第一画像と第二画像との間の第二動き量（初期推定値）を、ブロックマッチング法により直接的に求め、動き量決定部１２Ｃに出力する。
【０１２１】
第三動き量推定部１１Ｃは、実施の形態１で説明したブロックマッチング法により、第二画像と第三画像との間に生じた被写体の位置ずれ量を第三動き量として推定し、動き量決定部１２Ｃに出力する。
【０１２２】
動き量決定部１２Ｃは、第一動き量推定部１１Ａで推定した第一動き量、第二動き量推定部１１Ｂで推定した第二動き量、および、第三動き量推定部１１Ｃで推定した第三動き量に基づいて、第一画像と第二画像との間で生じた被写体の位置ずれ量を示す対象動き量を推定する。
【０１２３】
（実施の形態３における画像処理方法の処理手順）
次に、本発明の実施の形態３に係る画像処理装置において、被写体距離を計測する場合の処理の流れについて、図１０〜図１２を用いて説明する。図１０は、本実施の形態における画像処理方法の処理手順を示すフロー図であり、図１１は、本実施の形態における撮影画像と対象動き量と第一動き量と第二動き量と第三動き量との関係を示す説明図である。また、図１２は、第一動き量、第二動き量、第三動き量および対象動き量の関係を示すベクトル図である。なお、図１０に示す処理の流れのうち、図３示す実施の形態１の処理の流れおよび図７に示す実施の形態２の処理の流れと共通の処理には同一の符号を付し、説明を省略する。
【０１２４】
まず、図１９に示すビデオカメラ２００（撮像装置）において、複数のフォーカス状態で画像を撮影し、画像処理装置１００に対し出力する（ステップＳ１０１）。
【０１２５】
画像処理装置１００は、被写体距離の計測にあたり、先ず、図１０に示すように、対象動き量推定部１０Ｃの第一動き量推定部１１Ａにおいて、第一画像と第三画像との間の動き量を、第一動き量として算出する（ステップＳ１０２）。ここまでは実施の形態１および実施の形態２と同様である。
【０１２６】
次に、画像処理装置１００は、対象動き量推定部１０Ｃの第二動き量推定部１１Ｂにより、第一画像と第二画像との間の動き量の初期推定値である第二動き量を推定する（ステップＳ２０１）。この処理は実施の形態２と同様である。
【０１２７】
次に、画像処理装置１００は、対象動き量推定部１０Ｃの第三動き量推定部１１Ｃにより、第二画像と第三画像との間の動き量である第三動き量を推定する（ステップＳ３０１）。この推定には、ブロックマッチング法を行いることができる。
【０１２８】
次に、画像処理装置１００は、対象動き量推定部１０Ｃの動き量決定部１２Ｃにより、第一動き量、第二動き量および第三動き量に基づいて、対象動き量を推定する（ステップＳ３０２）。ここでは、第一動き量、第二動き量、第三動き量の関係から、推定精度が高いと判断される組合せを選択することで対象動き量を決定する方法を、図１２を用いて説明する。
【０１２９】
なお、図１２では、ステップＳ１０２で求めた第一動き量をＶ１と表す。また、ステップＳ２０１で求めた第二動き量をＶ２ａと表し、このとき得られた評価値をｒ２ａと表す。また、ステップＳ３０１で求めた第三動き量をＶ３ａと表し、このとき得られた評価値をｒ３ａと表す。ここで、Ｖ１、Ｖ２ａ、Ｖ３ａは画像上の２次元的な動き量を表すため、図１２に実線の矢印で示すようにベクトル量として表される。ここで、以下の式７の関係が成り立てば、Ｖ１、Ｖ２ａ、Ｖ３ａは３枚の画像間の動きとして整合が取れるため、いずれも推定精度が高いと判断し、対象動き量として第二動き量Ｖ２ａを用いる。
【０１３０】
【数７】
0005934929.tif 000008
【０１３１】
しかし、式７の関係が成り立たない場合は、第一動き量Ｖ１、第二動き量Ｖ２ａ、第三動き量Ｖ３ａのうち少なくとも１つは推定精度が低いことになる。ただし、第一動き量Ｖ１については、同じフォーカス状態で撮影した撮影画像間で推定した動き量であるため、推定精度は高いと考えられる。さらに、第二動き量Ｖ２ａおよび第三動き量Ｖ３ａは、異なるフォーカス状態で撮影した撮影画像間で推定した動き量であるため、ここでは、第二動き量Ｖ２ａまたは第三動き量Ｖ３ａの一方、あるいは、両方の推定精度が低いと考えられる。
【０１３２】
ここで、第二動き量Ｖ２ａの推定精度が高いと仮定すると、第二動き量Ｖ２ａと実際の第三動き量とをベクトル加算した動き量は第一動き量Ｖ１に一致しなければならないことから、第三動き量の補正候補量Ｖ３ｂは式８によって算出できる。これは、図１２において点線で表される。
【０１３３】
【数８】
0005934929.tif 000009
【０１３４】
これに対し、第三動き量Ｖ３ａの推定精度が高いと仮定すると（第二動き量Ｖ２ａの推定精度が低いと仮定すると）、第三動き量Ｖ３ａと実際の第二動き量とをベクトル加算した動き量は第一動き量Ｖ１に一致しなければならないことから、第二動き量の補正候補量Ｖ２ｂは式９によって算出できる。これは、図１２において破線で表される。
【０１３５】
【数９】
0005934929.tif 000010
【０１３６】
ここで、第三動き量の補正候補量Ｖ３ｂに対応する、探索元画像（第二画像）の注目ブロックと探索先画像（第三画像）のブロック領域とを切り出し、式６に基づいて評価値を算出した結果をｒ３ｂとする。また、第二動き量の補正候補量Ｖ２ｂに対応する、探索元画像（第一画像）の注目ブロックと探索先画像（第二画像）のブロック領域とを切り出し、式６に基づいて評価値を算出した結果をｒ２ｂとする。
【０１３７】
このとき、第二動き量Ｖ２ａの推定精度が高いと仮定した場合において、第二動き量Ｖ２ａと第三動き量の補正候補量Ｖ３ｂの組合せに対する合計の評価値は、（ｒ２ａ＋ｒ３ｂ）となる。一方、第三動き量Ｖ３ａの推定精度が高いと仮定した場合において、第二動き量の補正候補量Ｖ２ｂと第三動き量Ｖ３ａの組合せに対する合計の評価値は、（ｒ２ｂ＋ｒ３ａ）となる。
【０１３８】
ここで、合計の評価値（ｒ２ａ＋ｒ３ｂ）と（ｒ２ｂ＋ｒ３ａ）の小さい方が動き量の推定精度が高いことを表すことから、合計の評価値が小さい方の組合せにおける第二動き量Ｖ２ａまたは第二動き量の補正候補量Ｖ２ｂを対象動き量として決定する。言い換えると、（ｒ２ａ＋ｒ３ｂ）が小さい場合は、第二動き量Ｖ２ａの推定精度が高いと判定し、第二動き量Ｖ２ａを対象動き量とする。一方、（ｒ２ｂ＋ｒ３ａ）が小さい場合は、第三動き量Ｖ３ａの推定精度が高いと判定し、第二動き量の補正候補量Ｖ２ｂを対象動き量として決定する。
【０１３９】
ただし、合計の評価値（ｒ２ａ＋ｒ３ｂ）と（ｒ２ｂ＋ｒ３ａ）の両方が、所定の閾値よりも大きかった場合は、いずれの組合せも動き量の推定精度が低いことを表すことから、この場合は、第一動き量Ｖ１の半分の動き量を対象動き量として決定する。
【０１４０】
補正画像生成部２０は、対象動き量推定部１０Ｃから対象動き量を受け付けると、受け付けた対象動き量に基づいて、第二画像の動き補償を行い、補正画像を生成する（ステップＳ１０４）。当該ステップＳ１０４は、実施の形態１および実施の形態２と同様である。
【０１４１】
さらに、被写体距離計測部３０は、補正画像生成部２０から補正画像を受け付けると、第一画像と補正画像との間のぼけ量の相関値に基づいて、ＤＦＤによる被写体距離の計測を行う（ステップＳ１０５）。当該ステップＳ１０５は、実施の形態１および実施の形態２と同様である。
【０１４２】
上記の手法によれば、第一動き量、第二動き量、第三動き量の３つの動き量の関係から、推定精度が高いと判断される組合せを選択して対象動き量を決定できるため、さらに高精度な推定が可能になる。
【０１４３】
（実施の形態４）
本発明の実施の形態４に係る画像処理装置について、図１３〜図１５を基に説明する。
【０１４４】
なお、本実施の形態の画像処理装置が、実施の形態１〜実施の形態３の画像処理装置１００と異なる点は、被写体の動きや撮影方向の変化が速い場合等に生じるブラーの影響を考慮して、被写体距離の計測を行う点である。
【０１４５】
本実施の形態では、実施の形態１と同様に、撮像装置が図１９に示すビデオカメラ２００であり、撮影状態が、近景フォーカス及び遠景フォーカスの２つのフォーカス状態である場合を例に説明する。
【０１４６】
（実施の形態４における画像処理装置の構成）
先ず、実施の形態４における画像処理装置１００の構成を、図１３を参照しながら説明する。
【０１４７】
図１３は、画像処理装置１００の構成例を示すブロック図である。なお、本実施の形態に係る画像処理装置の構成のうち、実施の形態１、実施の形態２、実施の形態３の何れかに係る画像処理装置１００と共通のブロックには同じ符号を付し、説明を省略する。
【０１４８】
本画像処理装置１００は、図１３に示すように、対象動き量推定部１０、補正画像生成部２０、被写体距離計測部３０、ブラー領域判定部４０、被写体距離補償部５０を備えている。なお、本実施の形態では、対象動き量推定部１０の構成は、実施の形態１の対象動き量推定部１０Ａと同じである場合を例に説明するが、実施の形態２の対象動き量推定部１０Ｂまたは実施の形態３の対象動き量推定部１０Ｃと同じ構成であってもよい。
【０１４９】
また、本実施の形態の画像処理装置は、実施の形態１と同様に、ビデオカメラ２００から、遠景フォーカスで撮影された遠景撮影画像と近景フォーカスで撮影された近景撮影画像とを交互に連続して取得するように構成されている。また、被写体距離の算出対象の撮影画像を第一画像とし、第一画像の直前に撮影された撮影画像を第二画像とし、第二画像の直前に撮影された撮影画像を第三画像として説明する。
【０１５０】
ブラー領域判定部４０は、対象動き量推定部１０から出力された対象動き量に基づいて、第一画像および第二画像内にブラーが生じているか否かを判定し、ブラーが生じていると判定された領域を示す情報（例えば、位置座表）を含むブラー領域判定結果を補正画像生成部２０、被写体距離計測部３０および被写体距離補償部５０に出力する。
【０１５１】
補正画像生成部２０は、対象動き量推定部１０から出力された対象動き量に基づいて、第二画像に対する動き補償を行い、第一画像と被写体の位置ずれがない補正画像を生成し、被写体距離計測部３０に出力する。ただし、本実施の形態では、ブラー領域判定部４０から出力されたブラー領域判定結果においてブラーが生じていないと判定された領域（以下、非ブラー領域と呼ぶ）に対してのみ、補正画像を生成する。
【０１５２】
被写体距離計測部３０は、実施の形態１〜実施の形態３と同様に、第一画像と補正画像との間のぼけ量の相関値に基づき、ＤＦＤを用いて被写体距離を計測する。ただし、本実施の形態では、ブラー領域判定結果において非ブラー領域と判定された領域に対してのみ、被写体距離を計測する。
【０１５３】
被写体距離補償部５０は、ブラー領域判定結果においてブラーが生じていると判定された領域（以下、ブラー領域と呼ぶ）に対する被写体距離の推定を行う。
【０１５４】
（実施の形態４における画像処理方法の処理手順）
次に、本発明の実施の形態４に係る画像処理装置において、被写体距離を計測する場合の処理の流れについて、図１４および図１５を用いて説明する。図１４は、本実施の形態における画像処理方法の処理手順を示すフロー図であり、図１５は、ブラー領域の判定方法を示す説明図である。なお、図１４に示す処理の流れのうち、図３に示す実施の形態１の処理の流れ、図７に示す実施の形態２の処理の流れ、および、図１０に示す実施の形態３の処理の流れと共通の処理には同一の符号を付し、説明を省略する。
【０１５５】
まず、図１９に示すビデオカメラ２００（撮像装置）において、複数のフォーカス状態で画像を撮影し、画像処理装置１００に対して出力する（ステップＳ１０１）。この処理は実施の形態１〜実施の形態３と同様である。
【０１５６】
画像処理装置１００は、被写体距離の計測にあたり、先ず、図１４に示すように、対象動き量推定部１０により、第一画像と第二画像との間の対象動き量を推定する（ステップＳ４０１）。この処理は、本実施の形態では、実施の形態１におけるステップＳ１０２およびステップＳ１０３（図３参照）に示す処理と同様である。なお、ステップＳ４０１の対象動き量の推定処理としては、実施の形態２におけるステップＳ１０２、ステップＳ２０１およびステップＳ２０２（図７参照）に示す処理、または、実施の形態３におけるステップＳ１０２、ステップＳ２０１、ステップＳ３０１およびステップＳ３０２（図１０参照）に示す処理を用いてもよい。
【０１５７】
次に、画像処理装置１００は、ブラー領域判定部４０により、第一画像または第二画像の少なくとも何れか一方においてブラーが生じている領域の判定を行う（ステップＳ４０２）。なお、第一画像と第二画像との間に異なるブラーが生じている場合には、式２および式３の２つの式で全焦点画像Ｓ（ｕ,ｖ）が異なるため、式４が成り立たず、式５に基づいて被写体距離を計測することができなくなる。一方、第一画像と第二画像との間に同程度のブラーが生じている場合には、ブラーの影響も含まれた２つの撮影画像で全焦点画像Ｓ（ｕ,ｖ）が共通になるため、理論的には式４が成り立ち、式５に基づいて被写体距離を計測することが可能となる。しかし、ブラーの影響を強く受けると、撮影画像の高周波成分は大きく失われるため、共通の全焦点画像Ｓ（ｕ,ｖ）に相当する撮影画像の周波数情報は、異なるフォーカス状態で撮影した撮影画像間でほとんど差が出ない低周波成分しか残らない。従って、この場合にも、式５に基づくＤＦＤの処理によって被写体距離を計測することは困難であると考えられる。
【０１５８】
従って、上記の特性から、第一画像および第二画像の少なくとも何れか一方に所定の閾値以上のブラーが生じているときには、式５に基づく手法では被写体距離を計測できないと判断し、これとは別の手法によって被写体距離を計測する。ここでは、第一画像および第二画像の少なくとも何れか一方で、所定の閾値以上のブラーが生じている領域を判定するために、第一画像と第二画像との間の動き量である対象動き量を用いる場合について説明する。本来、露光時間中に生じた被写体の動きや撮影方向の変化によって生じるブラーは、撮影画像間の被写体の位置ずれとは関係がない。しかし、短い時間であれば、被写体の動きや撮影方向の変化はほぼ等速であるという特性を利用することにより、第一画像や第二画像を撮影するための露光時間中に生じた被写体の動きや撮影方向の変化に基づくブラーが大きい場合には、第一画像と第二画像との間の対象動き量も大きくなると推定できる。
【０１５９】
以上より、ブラー領域判定部４０は、この特性に基づき、対象動き量が所定の閾値より大きいときには、第一画像および第二画像の少なくとも何れか一方に、所定の大きさ以上のブラーが生じていると判定する。この判定を撮影画像全体（撮影画像に設定された全てのブロック領域）に対して行うことで、ブロック領域単位でブラー領域であるか非ブラー領域であるかを判定したブラー領域判定結果を得る。
【０１６０】
次に、補正画像生成部２０は、対象動き量推定部１０から対象動き量を、ブラー領域判定部４０からブラー領域判定結果をそれぞれ受け付けると、受け付けた対象動き量に基づいて、第二画像の動き補償を行い、補正画像を生成する（ステップＳ１０４）。なお、本実施の形態では、補正画像生成部２０は、ブラー領域と判定されたブロック領域については補正を行わず、非ブラー領域と判定されたブロック領域についてのみ動き補償を行う。非ブラー領域と判定されたブロック領域に対する処理は、実施の形態１〜実施の形態３と同様である。
【０１６１】
被写体距離計測部３０は、補正画像生成部２０から補正画像を、ブラー領域判定部４０からブラー領域判定結果をそれぞれ受け付けると、第一画像と補正画像との間のぼけ量の相関値に基づいて、ＤＦＤによる被写体距離の計測を行う（ステップＳ１０５）。なお、本実施の形態では、被写体距離計測部３０は、ブラー領域と判定されたブロック領域についてはＤＦＤによる被写体距離の計測を行わず、非ブラー領域と判定されたブロック領域についてのみＤＦＤによる被写体距離の計測を行う。非ブラー領域と判定されたブロック領域に対する処理は、実施の形態１〜実施の形態３と同様である。従って、ブラー領域と判定されたブロック領域においては、この時点ではまだ被写体距離は得られていない。
【０１６２】
被写体距離補償部５０は、ブラー領域と判定されたブロック領域に対して被写体距離の補償処理を行い、撮影画像を構成する全ての画素に対する被写体距離を求める（ステップＳ４０３）。
【０１６３】
（被写体距離の補償処理１）
ここでは、ブラー領域の各画素の被写体距離を、ブラー領域の周辺の（ブラー領域に隣接する）非ブラー領域の被写体距離を使って補間することで算出する。この処理の概要を、図１５を用いて説明する。図１５では、撮影された画像全体を表す画像領域のうち、ブラー領域と判定された領域を斜線で表し、非ブラー領域と判定された領域を白地で表している。また、被写体距離を補間生成するブラー領域の注目画素を丸い点で表し、この補償処理１で被写体距離を参照する非ブラー領域の参照画素を菱形の点で表している。本実施の形態では、被写体距離補償部５０は、被写体距離を補間生成するブラー領域内の注目画素について、当該注目画素から横方向および縦方向に直線を引いたときに非ブラー領域と交わる位置の画素を参照画素として被写体距離を参照する。図１５から分かるように、参照画素は非ブラー領域の画素である。さらに、被写体距離を補間生成する注目画素から参照画素まで引いた直線の長さの逆数に応じて、参照画素の被写体距離を重み付けした平均値を算出することで、注目画素の被写体距離を推定する。被写体距離補償部５０は、注目画素を順次設定しながら、当該処理を行い、ブラー領域の全ての画素について被写体距離を補間生成する。
【０１６４】
上記の手法によれば、ブラーが生じているブラー領域に対して、ブラーが生じていない周辺領域と近い被写体距離を割り当てることが可能になる。このような被写体距離の補償処理を行った場合、周辺領域と不連続になる被写体距離が割り当てられることがない。このため、例えば、生成された被写体距離を３次元画像の生成に利用すると、見た目に不快な映像となることを避けることができる。
【０１６５】
（被写体距離の補償処理２）
なお、被写体距離補償部５０による被写体距離の補償処理の他の例としては、補償処理の対象となる画素について、１つ前に求められた第二画像の被写体距離を用い、対象動き量で当該被写体距離を補正する処理がある。
【０１６６】
ここで、動画の場合、撮影された順に撮影画像の計測処理を行う。すなわち、現在の第一画像に対する被写体距離の計測の前に、第二画像の計測処理が行われる。具体的には、第二画像と第三画像との間の対象動き量に基づいて、第三画像を動き補償した補正画像と第二画像の間で、ぼけ量の相関値に基づいて第二画像における被写体距離を計測する。従って、過去フレームである第二画像に対する被写体距離の計測により求められた被写体距離に対し、第一画像と第二画像の間の動き量である対象動き量を用いて、第二画像の被写体距離を動き補償することにより、第一画像に対する被写体距離を推定できる。第一画像のブラー領域に対しては、このように第二画像で計測された被写体距離を動き補償して生成した被写体距離を用いるようにしてもよい。
【０１６７】
上記の手法によれば、ブラーが生じているために、ぼけ量の相関値に基づく被写体距離の計測が困難な領域でも、過去フレームの計測結果に基づいて被写体距離を生成できるため、安定して高精度な被写体距離を生成することが可能になる。
【０１６８】
なお、上述した被写体距離の補償処理１および被写体距離の補償処理２の何れにおいても、補正画像の生成や、ぼけ量の相関値に基づく被写体距離の計測は、非ブラー領域だけでなく画像全体に対して行うようにしてもよい。この場合、最終的には用いない被写体距離まで計測することになるため、冗長な演算が含まれることになる。しかし、ＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ）などでは特定の条件に応じて処理を分岐するよりも、画像全体に対して均一に補正画像の生成やぼけ量の相関値に基づく被写体距離の計測を行うようにした方が、ブラー領域判定結果が出る前にこれらの処理を行うことができるため、遅延が少なくなる可能性がある。この場合、ブラー領域も含めた画像全体で、補正画像の生成、および、ぼけ量の相関値に基づく被写体距離の計測を行った後に、ブラー領域と判定された領域の被写体距離については、被写体距離補償部５０によって生成された被写体距離で上書きするようにすればよい。このようにしても、被写体距離としては同じ結果が得られる。
【０１６９】
（実施の形態５）
本発明の実施の形態５に係る画像処理装置について、図１６〜図１８を基に説明する。
【０１７０】
なお、本実施の形態の画像処理装置が、実施の形態１〜実施の形態４の画像処理装置１００と異なる点は、被写体距離の計測ではなく、ＨＤＲ画像の生成を行う点である。
【０１７１】
本実施の形態の画像処理装置は、複数の撮影状態で撮影された複数の撮影画像から、ＨＤＲ画像を生成する装置であり、動画を撮影可能な撮像装置（例えば、監視カメラ等）に搭載されている場合を例に説明する。従って、本実施の形態では、撮影状態が、オーバー露出及びアンダー露出の２つの露出状態である場合を例に説明する。
【０１７２】
また、本実施の形態の撮像装置は、後で詳述するが、動画の撮影において、一定の時間間隔で、オーバー露出（本実施の形態では、第一の撮影状態に相当）とアンダー露出（本実施の形態では、第二の撮影状態に相当）とを交互に切り替えて撮影を行うように構成されている。本実施の形態の撮像装置は、オーバー露出で撮影したオーバー露出画像とアンダー露出で撮影したアンダー露出画像とを交互に、本実施の形態の画像処理装置に出力する。なお、本実施の形態の画像処理装置は、本実施の形態では、撮像装置に搭載される場合を例に説明するが、動画を撮像可能な他の機器に搭載されていてもよいし、撮像装置から撮影画像を取得可能な他の装置に設けられていてもよい。
【０１７３】
（実施の形態５における画像処理装置の構成）
先ず、実施の形態５における画像処理装置３００の構成を、図１６を参照しながら説明する。図１６は、画像処理装置３００の構成例を示すブロック図である。なお、本実施の形態に係る画像処理装置の構成のうち、実施の形態１に係る画像処理装置１００と共通のブロックには同じ符号を付し、説明を省略する。
【０１７４】
画像処理装置３００は、オーバー露出およびアンダー露出で撮影された撮影画像を合成してＨＤＲ画像を生成する画像処理装置であり、図１６に示すように、対象動き量推定部１０、補正画像生成部２０およびＨＤＲ画像生成部６０を備えている。なお、対象動き量推定部１０および補正画像生成部２０の構成は、実施の形態１と同じである場合を例に説明するが、実施の形態２または実施の形態３と同じであってもよい。
【０１７５】
画像処理装置３００は、撮像装置から、オーバー露出で撮影されたオーバー露出画像とアンダー露出で撮影されたアンダー露出画像とを交互に連続して取得するように構成されている。また、ＨＤＲ画像の生成に用いる２枚のオーバー露出画像およびアンダー露出画像のうち、オーバー露出画像を第一画像とし、第一画像の直前に撮影されたアンダー露出画像を第二画像とし、第二画像の直前に撮影されたオーバー露出画像を第三画像として説明する。第一画像と第三画像の露出状態は、同じになる。なお、以下では、説明のため、所定のオーバー露出画像を第一画像とする場合を例に説明するが、アンダー露出を第一画像としても、同じ方法でＨＤＲ画像を生成できる。
【０１７６】
対象動き量推定部１０は、実施の形態１〜実施の形態４と同様に、第一画像（本実施の形態では、オーバー露出画像）と第二画像（本実施の形態では、アンダー露出画像）との間で生じた被写体の位置ずれ量を対象動き量として推定し、補正画像生成部２０に出力する。
【０１７７】
補正画像生成部２０は、実施の形態１〜実施の形態４と同様に、対象動き量に基づいて第二画像に対する動き補償を行い、第一画像との間で被写体の位置ずれがない補正画像を生成し、被写体距離計測部３０に出力する。
【０１７８】
ＨＤＲ画像生成部６０は、第一画像と補正画像とを合成して、ＨＤＲ画像を生成する。
【０１７９】
（実施の形態５における画像処理方法の処理手順）
次に、本発明の実施の形態５に係る画像処理装置において、被写体距離を計測する場合の処理の流れ（画像処理方法の処理手順）について、図１７および図１８を用いて説明する。図１７は、本実施の形態における画像処理方法の処理手順を示すフロー図であり、図１８は、本実施の形態における撮影画像と対象動き量と第一動き量との関係を示す説明図である。なお、図１７に示す処理の流れのうち、図３に示す実施の形態１の処理の流れ、図７に示す実施の形態２の処理の流れ、図１０に示す実施の形態３の処理の流れ、および、図１４に示す実施の形態４の処理の流れと共通の処理には同一の符号を付し、説明を省略する。
【０１８０】
まず、図１９に示すビデオカメラ２００（撮像装置）において、複数の露出状態で画像を撮影し、画像処理装置１００に対して出力する（ステップＳ５０１）。
【０１８１】
本実施の形態のビデオカメラ２００は、図１８に示すように、オーバー露出での撮影と、アンダー露出での撮影を交互に連続して繰り返し、撮影したオーバー露出画像とアンダー露出画像とを画像処理装置１００に出力する。オーバー露出とアンダー露出との切り替えは、具体的には、例えば、減光フィルタのＯＮ／ＯＦＦ、露出時間を長露光と短露光で切り替える、あるいは、絞りの開閉を切り替えることにより行う。なお、オーバー露出の撮影画像は、暗い部分は再現されているが、明るい部分が白飛びしているのに対し、アンダー露出の撮影画像は、明るい部分の白飛びは抑えられるが、暗い部分が再現されていない。
【０１８２】
また、上述したように、オーバー露出で撮影されたオーバー露出画像のうちの１枚をＨＤＲ画像の生成を行う第一画像、その１枚前にアンダー露出で撮影されたアンダー露出画像を第二画像、さらにその１枚前にオーバー露出で撮影されたオーバー露出画像を第三画像とする。なお、本ステップＳ５０１は、本発明の必須行程ではないが、より好ましい形態を構成するものとして説明する。画像処理装置１００が、複数の撮影状態による撮影画像を取得することができる構成であればよい。また、以下に説明するステップＳ１０２〜ステップＳ１０４、Ｓ５０２の処理は、ビデオカメラ２００による撮影と平行して実行してもよいし、撮影後に実行してもよい。
【０１８３】
画像処理装置１００は、ＨＤＲ画像の生成にあたり、先ず、図１７に示すように、対象動き量推定部１０により、第一画像と第三画像との間の第一動き量を求め（ステップＳ１０２）、第一動き量を用いて第一画像と第二画像との間の対象動き量を推定する（ステップＳ１０３）。この処理は、本実施の形態では、実施の形態１（図３参照）と同様である。なお、当該ステップＳ１０２およびステップＳ１０３に代えて、実施の形態２におけるステップＳ１０２、ステップＳ２０１およびステップＳ２０２（図７参照）、または、実施の形態３におけるステップＳ１０２、ステップＳ２０１、ステップＳ３０１およびステップＳ３０２（図１０参照）を実行してもよい。
【０１８４】
次に、補正画像生成部２０は、対象動き量推定部１０から対象動き量を受け付けると、受け付けた対象動き量に基づいて、第二画像の動き補償を行い、補正画像を生成する（ステップＳ１０４）。この処理は、本実施の形態では、実施の形態１（図３参照）と同様である。
【０１８５】
次に、ＨＤＲ画像生成部６０は、補正画像生成部２０から補正画像を受け付けると、第一画像と補正画像とを合成して、ダイナミックレンジの広い合成画像を生成する（ステップＳ５０２）。ＨＤＲ画像の生成方法は、従来の手法を用いることができる。例えば、第一画像および補正画像から、より適正露出に近い領域を組み合わせることにより、ＨＤＲ画像を生成する。また、例えば、第一画像の合成対象画素の画素値に第一の重み付け計数を積算したものと、補正画像の合成対象画素の画素値に第二の重み付け計数を積算したものを足し合わせて、補正画像の画素としてもよい。この場合には、例えば、輝度が一定以上の領域、および、輝度一定以下の領域については、重み付け係数の値を低く設定し、輝度が中央値に近い領域については、重み付け係数の値を大きく設定する。
【０１８６】
なお、例えば、ステップＳ５０１の撮影画像（ここでは、動画）の撮影において、露出時間を長露光と短露光で切り替える場合などには、ブラーが生じる場合がある。この場合には、ブラー領域判定部４０を設け、ブラー領域と判定された領域については、ブラーの生じていない画像から、当該領域の画像を生成する等してもよい。
【０１８７】
上記の手法によれば、露出状態の異なる第一画像と第二画像とを用いたＨＤＲ画像の生成において、ブロックマッチング法により高精度に求められた第一画像と第三画像との間の第一動き量を用いることで、第一画像と第二画像との間の動き量を高精度に推定することができる。
【０１８８】
なお、オーバー露出とアンダー露出との切り替えを減光フィルタのＯＮ／ＯＦＦで行った場合は、第一画像と第二画像との間で、明るさ（Ｓ／Ｎ比）が異なることになる。また、オーバー露出とアンダー露出との切り替えを露出時間の切り替えで行った場合は、第一画像と第二画像との間で、明るさ（Ｓ／Ｎ比）に加え、被写体が動く領域のブラー量が異なることになる。さらに、オーバー露出とアンダー露出との切り替えを絞りの開閉の切り替えにより行った場合は、第一画像と第二画像との間で、明るさ（Ｓ／Ｎ比）に加え、被写界深度が異なることになる。何れの場合でも、第一画像と第三画像との間では、明るさ（Ｓ／Ｎ比）やブラー量、被写界深度は略同じになるので、高精度に第一動き量を求めることができる。
【０１８９】
高精度に推定された推定動き量を用いることで、第一画像と補正画像との間の位置ずれを無くす、あるいは、ＨＤＲ画像の生成を良好に行える程度に小さくすることができ、ＨＤＲ画像の生成をより良好に行うことが可能になる。
【０１９０】
（変形例）
（１）上記実施の形態１〜実施の形態５では、動画の場合について説明したが、静止画の場合でも、第一画像、第二画像および第三画像の３枚の画像を撮影することで、適応可能である。なお、実施の形態４において、ブラー領域の各画素の被写体距離の補間は、被写体距離の補償処理１を用いることで、静止画に対応できる。
【０１９１】
（２）上記実施の形態１〜実施の形態５では、２つの撮影状態で撮影された第一画像および第二画像の２つの撮影画像を用いて、画像処理を行う場合について説明したが、３以上の撮影状態で撮影された３枚以上の撮影画像を用いて画像処理を行うように構成してもよい。
【０１９２】
例えば、被写体距離の計測を行う場合（実施の形態１〜実施の形態４の場合）、近景フォーカス（例えば、最近傍）から遠景フォーカス（例えば、無限遠）まで、フォーカス状態を複数段階で異ならせて撮影した撮影画像を取得する。この場合は、フォーカス状態が同じ２枚の撮影画像を、第一画像および第三画像とし、当該２枚の撮影画像の間に撮影された任意の撮影画像を、第二画像とすればよい。
【０１９３】
具体的には、例えば、１枚の近景フォーカスの撮影画像を第一画像とし、第一画像の前に近景フォーカスで撮影された１枚の撮影画像を第三画像とし、第一画像と第三画像との間に撮影された複数の撮影画像を第二画像とする。
【０１９４】
そして、第二画像のそれぞれについて、対象動き量を求める。この場合、補間画像の生成に用いる対象動き量は、撮影時間間隔が等間隔でない場合と同様に（実施の形態１のステップＳ１０３参照）、撮影時間間隔の比率に応じて第一動き量の大きさを補正して求めることができる。
【０１９５】
さらに、第二画像のそれぞれについて、対応する対象動き量を用いて、第一画像との間で被写体の位置ずれのない補正画像を生成する。これにより、第一画像との間で位置ずれのない複数の第二画像を取得できる。最後に、第一画像と複数の補正画像とを用いて、被写体距離の計測を行う。
【０１９６】
このように構成すれば、より高精度に被写体距離の計測を行うことが可能になる。
【０１９７】
また、例えば、ＨＤＲ画像の生成を行う場合（実施の形態５の場合）、オーバー露出からアンダー露出まで、露出状態を複数段階で異ならせて撮影した撮影画像を取得する。この場合、露出状態が同じ２枚の撮影画像を、第一画像および第三画像とし、当該２枚の撮影画像の間に撮影された任意の撮影画像を、第二画像とすればよい。
【０１９８】
具体的には、例えば、１枚のオーバー露出画像を第一画像とし、第一画像の次に撮影された１枚のオーバー露出画像を第三画像とし、第一画像と第三画像との間に撮影された複数の撮影画像を第二画像とする。
【０１９９】
そして、第二画像のそれぞれについて、対象動き量を求める。この場合、補間画像の生成に用いる対象動き量は、撮影時間間隔が等間隔でない場合と同様に（実施の形態１のステップＳ１０３参照）、撮影時間間隔の比率に応じて第一動き量の大きさを補正して求めることができる。
【０２００】
さらに、第二画像のそれぞれについて、対応する対象動き量を用いて、第一画像との間で被写体の位置ずれのない補正画像を生成する。これにより、第一画像との間で位置ずれのない複数の第二画像を取得できる。最後に、第一画像と複数の補正画像とを用いて、ＨＤＲ画像の生成を行う。
【０２０１】
このように構成すれば、より画質の高いＨＤＲ画像を生成することが可能になる。
【０２０２】
（３）なお、上記実施の形態において、ブロック図（図１，図２，図６，図９，図１３，図１６）の各機能ブロックは典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部または全てを含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【０２０３】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【０２０４】
さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
【０２０５】
また、上記実施の形態において、各構成要素は専用のハードウェアにより構成されてもよく、あるいは、ソフトウェアにより実現可能な構成要素については、プログラムを実行することによって実現されてもよい。
【０２０６】
以上、図面を参照して本発明の実施の形態を説明したが、本発明は、これらに限定されるものではない。上述した実施の形態に対して、本発明と同一の範囲において、あるいは均等の範囲内において、様々な変形や追加、変更が可能である。
【産業上の利用可能性】
【０２０７】
本発明に係る画像処理装置および画像処理方法は、複数の撮影状態で撮影された複数の撮影画像を用いて画像処理を行う場合に、被写体の位置ずれが生じた場合でも、より安定して高精度に画像処理を行うことを可能にする。【０２０８】
これらの構成は、例えば民生用もしくは業務用の撮像装置（デジタルスチルカメラ、ビデオカメラ）などの分野において有用である。
【符号の説明】
【０２０９】
１０、１０Ａ、１０Ｂ、１０Ｃ    対象動き量推定部
１１Ａ  第一動き量推定部
１１Ｂ  第二動き量推定部
１１Ｃ  第三動き量推定部
１２Ａ、１２Ｂ、１２Ｃ  動き量決定部
２０    補正画像生成部
３０    被写体距離計測部
４０    ブラー領域判定部
５０    被写体距離補償部
６０    ＨＤＲ画像生成部
１００、３００  画像処理装置
２００  ビデオカメラ
【図１】
0005934929.tif 000011
【図２】
0005934929.tif 000012
【図３】
0005934929.tif 000013
【図４】
0005934929.tif 000014
【図５Ａ】
0005934929.tif 000015
【図５Ｂ】
0005934929.tif 000016
【図６】
0005934929.tif 000017
【図７】
0005934929.tif 000018
【図８】
0005934929.tif 000019
【図９】
0005934929.tif 000020
【図１０】
0005934929.tif 000021
【図１１】
0005934929.tif 000022
【図１２】
0005934929.tif 000023
【図１３】
0005934929.tif 000024
【図１４】
0005934929.tif 000025
【図１５】
0005934929.tif 000026
【図１６】
0005934929.tif 000027
【図１７】
0005934929.tif 000028
【図１８】
0005934929.tif 000029
【図１９】
0005934929.tif 000030