(57)【特許請求の範囲】
【請求項１】
第１の画像と、前記第１の画像とは撮影条件が異なる第２の画像との間のボケの相関量である第１のスコア値を算出する第１のスコア値算出手段と、
前記第１の画像と、前記第１の画像と前記第２の画像のいずれとも撮影条件が異なる第３の画像との間のボケの相関量である第２のスコア値を算出する第２のスコア値算出手段と、
前記第１のスコア値と前記第２のスコア値とに基づいて、前記第１のスコア値の信頼性を評価する信頼性評価手段と
を有することを特徴とする画像処理装置。
【請求項２】
前記第１のスコア値算出手段は、前記第１の画像に対してフィルタを適用することによって得られる第１の出力信号の大きさと、前記第２の画像に対して前記フィルタを適用することによって得られる第２の出力信号の大きさとの比に基づいて、前記第１のスコア値を算出し、
前記第２のスコア値算出手段は、前記第１の出力信号の大きさと、前記第３の画像に対して前記フィルタを適用することによって得られる第３の出力信号の大きさとの比に基づいて、前記第２のスコア値を算出する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第２の画像は、第１のフォーカスブラケット量で前記第１の画像に対してデフォーカスされた画像であり、
前記第３の画像は、前記第１のフォーカスブラケット量よりも小さい第２のフォーカスブラケット量で前記第１の画像に対してデフォーカスされた画像である
ことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記信頼性評価手段は、前記第１のスコア値から想定される前記第２のスコア値に基づいて予め設定された閾値と前記第２のスコア値との差分に基づいて、前記第１のスコア値の信頼性を評価する
ことを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
【請求項５】
前記第１のスコア値に基づいて距離情報を算出する距離情報算出手段を更に有する
ことを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
【請求項６】
前記距離情報は、デフォーカス量、又は、被写体までの距離である
ことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記距離情報算出手段は、前記信頼性評価手段によって評価された前記第１のスコア値の前記信頼性に応じて、前記第１のスコア値に基づいて算出された前記距離情報を出力するか、前記第１のスコア値に基づいて算出された前記距離情報とは異なる情報を出力するかを判断する
ことを特徴とする請求項５又は６に記載の画像処理装置。
【請求項８】
第１の画像と、前記第１の画像とは撮影条件が異なる第２の画像との間のボケの相関量である第１のスコア値を算出するステップと、
前記第１の画像と、前記第１の画像と前記第２の画像のいずれとも撮影条件が異なる第３の画像との間のボケの相関量である第２のスコア値を算出するステップと、
前記第１のスコア値と前記第２のスコア値とに基づいて、前記第１のスコア値の信頼性を評価するステップと
を有することを特徴とする画像処理方法。
【請求項９】
コンピュータに、
第１の画像と、前記第１の画像とは撮影条件が異なる第２の画像との間のボケの相関量である第１のスコア値を算出するステップと、
前記第１の画像と、前記第１の画像と前記第２の画像のいずれとも撮影条件が異なる第３の画像との間のボケの相関量である第２のスコア値を算出するステップと、
前記第１のスコア値と前記第２のスコア値とに基づいて、前記第１のスコア値の信頼性を評価するステップと
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
従来、撮像装置によって取得された画像から撮影シーンの距離を取得する手法として、特許文献１に記載されているようなDepth from Defocus（ＤＦＤ）法が提案されている。ＤＦＤ法では、撮像光学系の撮影条件（撮影パラメータ）を制御することによってボケの異なる複数の画像を取得し、測定対象の画素及びその周辺の画素を用いて、各画像におけるボケの大きさや画像間でのボケの相関量を算出する。ボケの大きさやボケの相関量は、画像中の被写体の距離に応じて変化するため、これらの関係を用いて距離を算出することができる。
【０００３】
例えば、特許文献２では、ＤＦＤ法を用いて距離マップを生成する際に、算出すべき距離の範囲を指定し、指定された範囲に基づいて各画像の撮影条件を決定し、決定された撮影条件で撮影された複数の画像を用いて距離を算出する技術が開示されている。また、特許文献３には、被写体に合焦している画像と、被写体の手前側に合焦している画像と、被写体の奥側に合焦している画像とを取得し、これら３つの画像を用いてより広範囲の距離測定をＤＦＤ法によって行うことが開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平０１−１６７６１０号公報
【特許文献２】特開２０１４−１４５７２５号公報
【特許文献３】特開２０１４−１３０１３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１〜３に開示された技術では、距離情報を良好に取得し得ない場合があった。
【０００６】
本発明の目的は、距離情報を良好に取得し得る画像処理装置及び画像処理方法を提供することにある。
【課題を解決するための手段】
【０００７】
本発明の一観点によれば、第１の画像と、前記第１の画像とは撮影条件が異なる第２の画像とに対し、第１のフィルタをそれぞれ適用する第１のフィルタ手段と、前記第１のフィルタが適用された前記第１の画像と、前記第１のフィルタが適用された前記第２の画像との間におけるボケの相関量である第１のスコア値を算出する第１のスコア値算出手段と、前記第１の画像と前記第２の画像とに対し、前記第１のフィルタとは特性が異なる第２のフィルタをそれぞれ適用する第２のフィルタ手段と、前記第２のフィルタが適用された前記第１の画像と、前記第２のフィルタが適用された前記第２の画像との間におけるボケの相関量である第２のスコア値を算出する第２のスコア値算出手段と、前記第１のスコア値と前記第２のスコア値とに基づいて、前記第１のスコア値の信頼性を評価する信頼性評価手段とを有することを特徴とする画像処理装置が提供される。
【発明の効果】
【０００８】
本発明によれば、距離情報を良好に取得し得る画像処理装置及び画像処理方法を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の第１実施形態による画像処理装置の構成を示すブロック図である。
【図２】本発明の第１実施形態による画像処理装置の画像処理部の構成を示すブロック図である。
【図３】本発明の第１実施形態による画像処理装置によって行われる処理を示すフローチャートである。
【図４】本発明の第１実施形態による画像処理装置によって行われる信頼度マップの生成処理を示すフローチャートである。
【図５】フォーカス状態の異なる複数の画像を取得する際の撮影条件を示す図である。
【図６】フォーカス画像とデフォーカス画像とにＢＰＦを適用した際におけるＢＰＦパワーを示すグラフである。
【図７】第１段階のＤＦＤスコア値の特性を示すグラフである。
【図８】第２段階のＤＦＤスコア値の特性を示すグラフである。
【図９】通過帯域の異なる第１のＢＰＦと第２のＢＰＦとをそれぞれ適用することによって得られるＤＦＤスコア値の特性を示すグラフである。
【図１０】閾値を示すグラフである。
【図１１】信頼度を示すグラフである。
【図１２】フォーカス状態の異なる複数の画像を取得する際の撮影条件を示す図である。
【図１３】フォーカス画像と第１のデフォーカス画像と第２のデフォーカス画像とにＢＰＦを適用した際におけるＢＰＦパワーを示すグラフである。
【図１４】ＤＦＤスコア値の特性を示すグラフである。
【図１５】本発明の第２実施形態による画像処理装置の画像処理部の構成を示すブロック図である。
【図１６】本発明の第２実施形態による画像処理装置によって行われる処理を示すフローチャートである。
【発明を実施するための形態】
【００１０】
以下に、本発明の好ましい実施の形態を、図面を参照しながら詳細に説明する。
【００１１】
［第１実施形態］
本発明の第１実施形態による画像処理装置及び画像処理方法について図１乃至図１１を用いて説明する。
本実施形態による画像処理装置は、フォーカス状態の異なる複数の画像間におけるボケの相関量をＤＦＤ法により算出し、算出したボケの相関量に基づいて距離情報を算出することによって、画像中の位置各々に対する距離情報のマップを生成する。なお、以下の説明においては、画像中の位置各々に対する距離情報のマップを距離マップと呼称することとする。また、ＤＦＤ法により算出したボケの相関量を、ＤＦＤスコア値と呼称することとする。
【００１２】
本実施形態では、フォーカス画像とデフォーカス画像との２つの画像に基づいて、ＤＦＤ法によりＤＦＤスコア値を算出することによって、距離マップを生成する。また、本実施形態では、通過特性の異なる２つのＢＰＦを適用することによってそれぞれ得られる２つのＤＦＤスコア値に基づいて、算出されたＤＦＤスコア値が、後述するような折り返り領域８０３内に位置しているか否かを判別する。また、本実施形態では、距離マップが正しく算出されているか否かを示す信頼度マップを、距離マップとともに生成する。
【００１３】
まず、本実施形態による画像処理装置の構成について図１を用いて説明する。図１は、本実施形態による画像処理装置の構成を示すブロック図である。
【００１４】
図１に示すように、本実施形態による画像処理装置１０５は、撮像光学系１０１と、撮像素子１０２と、画像処理部１０３と、フォーカス駆動制御部１０４とを備えている。
なお、ここでは、本実施形態による画像処理装置１０５が撮像機能を有している場合、即ち、本実施形態による画像処理装置１０５が撮像装置である場合を例に説明するが、これに限定されるものではない。例えば、本実施形態による画像処理装置１０５は、撮像機能を有していなくてもよい。
また、ここでは、本実施形態による画像処理装置１０５が撮像光学系１０１を有している場合を例に説明するが、本実施形態による画像処理装置１０５は撮像光学系１０１を有していなくてもよい。即ち、撮像光学系１０１が、本実施形態による画像処理装置１０５から着脱自在であってもよい。
【００１５】
撮像光学系１０１としては、画像を撮像する際に一般的に用いられる撮像光学系を用いることができ、単焦点の撮像光学系であってもよいし、可変焦点の撮像光学系であってもよい。撮像光学系１０１は、撮像素子１０２に到達する被写体像の倍率や、ピント位置、光量等を調整し得る。
像面に配置される撮像素子１０２は、撮像光学系１０１を通過した被写体の光束を光電変換によって電気信号に変換する、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等である。撮像素子１０２は、カラーフィルタを有する撮像素子に限定されるものではなく、モノクロの撮像素子であってもよいし、３板式の撮像素子であってもよい。
画像処理部１０３は、通常の信号処理を行うのみならず、フォーカス状態の異なる複数の画像からＤＦＤ法を用いて距離マップを生成する処理をも行う。画像処理部１０３によって行われる処理の詳細については、後述することとする。
フォーカス駆動制御部１０４は、撮影の対象となる被写体にピントが合うように撮像光学系１０１を駆動する。また、フォーカス駆動制御部１０４は、フォーカス状態の異なる複数の画像を取得するためのフォーカス駆動をも行い得る。
こうして、本実施形態による画像処理装置１０５が構成されている。
【００１６】
次に、本実施形態による画像処理装置１０５の画像処理部１０３によって行われるＤＦＤ法を用いた処理の概略について説明する。なお、ＤＦＤ法の基本的な考え方については、特許文献１や特許文献２に記載されているため、ここでは省略することとする。
【００１７】
まず、ＤＦＤ法を用いた処理を行うための撮影について、図５を用いて説明する。フォーカス状態の異なる複数の画像を取得する際の撮影条件を示す図である。位置５０２は、被写体５０１にフォーカスを合わせた際の撮像光学系１０１の位置、即ち、フォーカス位置である。撮像光学系１０１がフォーカス位置５０２に位置している際には、点５０５が結像点となり、被写体５０１にピントが合っている状態の像が撮像素子１０２の撮像面５０４に結像される。このようにして得られる画像を、本実施形態では、フォーカス画像と呼称する。
【００１８】
一方、位置５０３まで撮像光学系１０１を移動させると、被写体５０１にピントが合わなくなり、点５０６が結像点となり、被写体５０１がデフォーカスされた状態の像が撮像素子１０２の撮像面５０４に結像される。このようにして得られる画像を、本実施形態では、デフォーカス画像と呼称する。
【００１９】
フォーカス画像とデフォーカス画像とを取得するために位置５０２から位置５０３まで撮像光学系１０１を移動させた量Ｄを、本実施形態では、フォーカスブラケット量（ＦＢ量）と呼称する。本実施形態では、このようにして撮影されたフォーカス画像とデフォーカス画像とを入力画像として、ＤＦＤ法を用いた処理が行われる。
【００２０】
次に、ＤＦＤ法を用いて算出されるＤＦＤスコア値の算出方法について、図６を用いて説明する。図６は、フォーカス画像とデフォーカス画像とにバンドパスフィルタ（ＢＰＦ）をそれぞれ適用した際におけるＢＰＦパワーを示すグラフである。横軸はデフォーカス量を示しており、縦軸はＢＰＦパワーを示している。ＢＰＦは、所定の帯域のみを通過させる特性を有するフィルタである。ＢＰＦパワーは、ＢＰＦの出力における振幅の強度を示しており、対象の座標におけるＢＰＦの適用の結果の絶対値である。
【００２１】
後述するフォーカス画像用第１のＢＰＦ処理部（第１のフィルタ手段）２０３の出力信号の大きさは、フォーカス画像に第１のＢＰＦを適用した際のＢＰＦパワーに相当する。また、後述するフォーカス画像用第２のＢＰＦ処理部（第２のフィルタ手段）２０４の出力信号の大きさは、フォーカス画像に第２のＢＰＦを適用した際のＢＰＦパワーに相当する。後述するデフォーカス画像用第１のＢＰＦ処理部（第１のフィルタ手段）２０５の出力信号の大きさは、デフォーカス画像に第１のＢＰＦを適用した際のＢＰＦパワーに相当する。後述するデフォーカス画像用第２のＢＰＦ処理部（第２のフィルタ手段）２０６の出力信号の大きさは、デフォーカス画像に第２のＢＰＦを適用した際のＢＰＦパワーに相当する。
【００２２】
なお、ＢＰＦパワーは、対象の座標におけるＢＰＦの適用の結果の絶対値に限定されるものではなく、対象の座標を中心として定められた範囲内において、ＢＰＦの適用の結果の絶対値を積分又は平均したものであってもよい。
【００２３】
図６に示すように、フォーカス画像のＢＰＦパワーの特性曲線は、デフォーカス量が０の際にピークを示す。これに対し、デフォーカス画像のＢＰＦパワーの特性曲線は、デフォーカス量が＋Ｄの際にピークを示す。また、フォーカス画像のＢＰＦパワーの特性曲線とデフォーカス画像のＢＰＦパワーの特性曲線とは、デフォーカス量が＋Ｄ／２の位置において交差する。即ち、デフォーカス量が＋Ｄ／２の際に、フォーカス画像のＢＰＦパワーとデフォーカス画像のＢＰＦパワーとが同等となる。
【００２４】
本実施形態では、フォーカス画像のＢＰＦパワーとデフォーカス画像のＢＰＦパワーとの比に基づいて、ＤＦＤスコア値を算出する。ここでは、説明の都合上、ＤＦＤスコア値の算出を、２段階に分けて説明する。なお、以下に示す「第１段階のＤＦＤスコア値」は、後述する「第１のＤＦＤスコア値」とは異なるものである。また、以下に示す「第２段階のＤＦＤスコア値」は、後述する「第２のＤＦＤスコア値」とは異なるものである。
【００２５】
まず、第１段階のＤＦＤスコア値について、図７を用いて説明する。図７は、第１段階のＤＦＤスコア値の特性を示すグラフである。横軸はデフォーカス量を示しており、縦軸はＤＦＤスコア値を示している。図７において、第１段階のＤＦＤスコア値は、太い点線を用いて示されている。図７から分かるように、第１段階のＤＦＤスコア値は、０．０から１．０までの範囲の値をとり得る。座標（ｘ，ｙ）に対し、フォーカス画像のＢＰＦパワーの値をｆ＿ｂｐｆ（ｘ，ｙ）、デフォーカス画像のＢＰＦパワーの値をｄｆ＿ｂｐｆ（ｘ，ｙ）とすると、第１段階のＤＦＤスコア値ｄｆｄｓｃｏｒｅ′（ｘ，ｙ）は、以下のような式（１）で表される。
【数１】
0006595858.tif 000002
【００２６】
第１段階のＤＦＤスコア値は、デフォーカス量が＋Ｄ／２の際には１．０となり、デフォーカス量が＋Ｄ／２から遠ざかるに従って０．０に近づいていき、更に＋Ｄ／２から遠ざかるに従って１．０に近づくような特性を示す。
【００２７】
次に、第２段階のＤＦＤスコア値について、図８を用いて説明する。図８は、第２段階のＤＦＤスコア値の特性を示すグラフである。横軸はデフォーカス量を示しており、縦軸はＤＦＤスコア値を示している。図８において、第２段階のＤＦＤスコア値は、太い破線を用いて示されている。図８に示すような第２段階のＤＦＤスコア値が、最終的なＤＦＤスコア値である。座標（ｘ，ｙ）における第２段階のＤＦＤスコア値ｄｆｄｓｃｏｒｅ（ｘ，ｙ）は、以下のような式（２）で表される。なお、式（２）において、ｆ＿ｂｐｆ（ｘ，ｙ）は、フォーカス画像のＢＰＦパワーの値であり、ｄｆ＿ｂｐｆ（ｘ，ｙ）は、デフォーカス画像のＢＰＦパワーの値であり、ｄｆｄｓｃｏｒｅ’（ｘ，ｙ）は、第１段階のＤＦＤスコア値である。
【数２】
0006595858.tif 000003
【００２８】
図８に示すように、第２段階のＤＦＤスコア値は、０．０から２．０までの範囲の値をとり、図７を用いて上述した第１段階のＤＦＤスコア値に対し、デフォーカス量が＋Ｄ／２の位置を境にして右半分をひっくり返したような特性を示す。このようにして算出された第２段階のＤＦＤスコア値を最終的なＤＦＤスコア値とし、最終的なＤＦＤスコア値をデフォーカス量に変換することによって、最終的な距離マップが算出される。
【００２９】
図８から分かるように、デフォーカス量が異なっているにも拘わらず、同じＤＦＤスコア値を示す領域８０３が生ずる。このような領域８０３が生ずるのは、図６から分かるように、ＢＰＦパワーの特性曲線が折り返すような形状を有しているためである。例えば、位置８０１のＤＦＤスコア値と位置８０２のＤＦＤスコア値とは同じＤＦＤスコア値を示すため、必ずしも正しいデフォーカス量がＤＦＤスコア値に基づいて得られるとは限らない。このように、デフォーカス量が異なっているにも拘わらずＤＦＤスコア値が同じになってしまう領域８０３を、本実施形態では、ＤＦＤスコア値の折り返り領域と呼称する。本実施形態による画像処理装置は、算出されたＤＦＤスコア値が折り返り領域８０３内に位置しているか否かを判別することによって、算出されたＤＦＤスコア値の信頼性を評価する。
以上が、ＤＦＤ法を用いた処理の概略である。
【００３０】
次に、本実施形態による画像処理装置の画像処理部１０３によって行われる処理について図２及び図３を用いて説明する。図２は、本実施形態による画像処理装置の画像処理部の構成を示すブロック図である。
【００３１】
図２に示すように、画像処理部１０３は、フォーカス画像入力部（第１の画像入力手段）２０１と、デフォーカス画像入力部（第２の画像入力手段）２０２とを備えている。画像処理部１０３は、フォーカス画像用第１のＢＰＦ処理部（第１のフィルタ）２０３と、フォーカス画像用第２のＢＰＦ処理部（第２のフィルタ）２０４とを更に備えている。画像処理部１０３は、デフォーカス画像用第１のＢＰＦ処理部（第１のフィルタ）２０５と、デフォーカス画像用第２のＢＰＦ処理部（第２のフィルタ）２０６とを更に有している。画像処理部１０３は、第１のＤＦＤスコア算出部（第１のスコア値算出手段）２０７と、第２のＤＦＤスコア算出部（第２のスコア値算出手段）２０８とを更に備えている。画像処理部１０３は、距離マップ生成部（距離情報算出手段）２０９と、信頼度マップ生成部（信頼性評価手段）２１０とを更に備えている。
【００３２】
図３は、本実施形態による画像処理装置１０５の画像処理部１０３の動作を示すフローチャートである。
【００３３】
ステップＳ３０１では、フォーカス画像がフォーカス画像入力部２０１に入力され、デフォーカス画像がデフォーカス画像入力部２０２に入力される。
【００３４】
ステップＳ３０２では、ステップＳ３０１において入力されたフォーカス画像とデフォーカス画像とに対して、所定の通過帯域特性を有する第１のＢＰＦをそれぞれ適用する処理、即ち、第１のＢＰＦ処理が行われる。具体的には、フォーカス画像入力部２０１を介して入力されたフォーカス画像に対して、フォーカス画像用第１のＢＰＦ処理部２０３によって第１のＢＰＦ処理が行われる。また、デフォーカス画像入力部２０２を介して入力されたデフォーカス画像に対して、デフォーカス画像用第１のＢＰＦ処理部２０５によって第１のＢＰＦ処理が行われる。
【００３５】
ステップＳ３０３では、ステップＳ３０１において入力されたフォーカス画像とデフォーカス画像とに対して、第１のＢＰＦとは異なる通過帯域特性を有する第２のＢＰＦを適用する処理、即ち、第２のＢＰＦ処理が行われる。具体的には、フォーカス画像入力部２０１を介して入力されたフォーカス画像に対して、フォーカス画像用第２のＢＰＦ処理部２０４によって第２のＢＰＦ処理が行われる。また、デフォーカス画像入力部２０２を介して入力されたデフォーカス画像に対して、デフォーカス画像用第２のＢＰＦ処理部２０６によって第２のＢＰＦ処理が行われる。なお、第２のＢＰＦの通過帯域は、第１のＢＰＦの通過帯域よりも低域側に位置することが望ましい。このような通過帯域を有する第１のＢＰＦと第２のＢＰＦとを用いる理由については、後述することとする。
【００３６】
ステップＳ３０４では、ステップＳ３０２において第１のＢＰＦ処理が行われたフォーカス画像とデフォーカス画像とに基づいて、各座標位置についての第１のＤＦＤスコア値を算出することによって、第１のＤＦＤスコアマップを生成する。第１のＤＦＤスコア値の算出方法については、式（１）及び式（２）を用いて上述したため、ここでは説明を省略する。
【００３７】
ステップＳ３０５では、ステップＳ３０３において第２のＢＰＦ処理が行われたフォーカス画像とデフォーカス画像とに基づいて、各座標位置についての第２のＤＦＤスコア値を算出することによって、第２のＤＦＤスコアマップを生成する。第２のＤＦＤスコア値の算出方法については、ステップＳ３０４と同様であるため、ここでは説明を省略する。
【００３８】
ステップＳ３０６では、ステップＳ３０４で生成した第１のＤＦＤスコアマップの値をデフォーカス量に変換することによって、距離マップを生成する。第１のＤＦＤスコアマップの値をデフォーカス量に変換する際には、例えば図８に示すようなテーブルが用いられる。なお、第１のＤＦＥスコアマップの値をデフォーカス量に変換する際に用いられるテーブルは、折り返り領域８０３内の特性曲線を含まないものとする。
【００３９】
ステップＳ３０７では、第１のＤＦＤスコアマップと第２のＤＦＤスコアマップとに基づいて、ステップＳ３０６において生成された距離マップにおける各座標の値の信頼性を示す信頼度マップを生成する。信頼度マップの生成方法については、後述することとする。
以上が、画像処理部１０３によって行われる処理である。
【００４０】
次に、図３のステップＳ３０７において行われる信頼度マップの生成方法について詳細に説明する。
【００４１】
本実施形態では、第１のＢＰＦを適用することにより得られるＤＦＤスコア値の特性と第２のＢＰＦを適用することにより得られるＤＦＤスコア値の特性との関係を利用することによって、以下のようにして信頼度マップを生成する。
【００４２】
まず、信頼度マップの生成の考え方について図９を用いて説明する。図９は、通過帯域の異なる第１のＢＰＦと第２のＢＰＦとをそれぞれ適用することによって得られるＤＦＤスコア値の特性を示すグラフである。第２のＢＰＦの通過帯域は、第１のＢＰＦの通過帯域よりも低域側に位置している。このため、図９に示すように、第２のＢＰＦが適用された第２のＤＦＤスコア値の特性曲線９０２は、第１のＢＰＦが適用された第１のＤＦＤスコア値の特性曲線９０１に比べて、ＤＦＤスコア値の取り得る範囲が狭くなる。一方、第２のＢＰＦが適用された第２のＤＦＤスコア値の特性曲線９０２は、第１のＢＰＦが適用された第１のＤＦＤスコア値の特性曲線９０１に比べて、折り返り領域９０３内ではない領域、即ち、正しいＤＦＤスコア値が得られている範囲が広くなる。
【００４３】
第２のＤＦＤスコア値の特性曲線９０２は、デフォーカス量に対するＤＦＤスコア値の分解能が低いため、距離マップの生成にはあまり適していないが、第１のＤＦＤスコア値の特性曲線９０１の折り返り領域９０３を判別するためには活用し得る。本実施形態では、このような特性を活用することによって信頼度マップを生成する。例えば、第１のＤＦＤスコア値の特性曲線９０１には、デフォーカス量が異なるにも拘わらずＤＦＤスコア値が同じとなる点９０４、９０５が存在する。ここでは、これらの点９０４、９０５が折り返り領域９０３内に位置するか否かを判別する場合を例に説明する。
【００４４】
第１のＤＦＤスコア値の特性曲線９０１上における点９０４は、折り返り領域９０３内ではない領域内に位置している。点９０４に対応する第２のＤＦＤスコア値の特性曲線９０２上の点は、点９０６である。一方、第１のＤＦＤスコア値の特性曲線９０１上における点９０５は、折り返り領域９０３内に位置している。点９０３に対応する第２のＤＦＤスコア値の特性曲線９０３上の点は、点９０７である。点９０７におけるＤＦＤスコア値は、点９０６におけるＤＦＤスコア値と著しく異なっている。従って、取得された第２のＤＦＤスコア値が点９０６におけるＤＦＤスコア値に近いか否かによって、折り返り領域９０３内ではない領域内の点９０４におけるＤＦＤスコア値であるか、折り返り領域９０３内の点９０５におけるＤＦＤスコア値かを判定し得る。これによって、取得された第１のＤＦＤスコア値の信頼度が高いか否かを判別することが可能となる。
【００４５】
以上を踏まえ、ステップＳ３０７において行われる信頼度マップの生成処理について図４を用いて説明する。図４は、本実施形態による画像処理装置１０５の画像処理部１０３において行われる信頼度マップの生成処理を示すフローチャートである。
信頼度マップの生成処理においては、入力画像の左上の座標を（０，０）とし、左上から右下へ逐次処理が行われる。
【００４６】
ステップＳ４０１では、処理対象の座標（ｘ，ｙ）を左上の座標である（０，０）に初期化する処理が行われる。
【００４７】
ステップＳ４０２では、第１のＤＦＤスコアマップにおける処理対象の座標（ｘ，ｙ）に対応する第１のＤＦＤスコア値ｄｆｄｓｃｏｒｅ１（ｘ，ｙ）に基づいて、閾値ＴＨ（ｘ，ｙ）を算出する。閾値ＴＨは、例えばテーブルを用いて算出し得る。図１０は、閾値を示すグラフである。横軸は第１のＤＦＤスコア値ｄｆｄｓｃｏｒｅ１を示しており、縦軸は閾値ＴＨを示している。なお、閾値は、折り返り領域９０３ではない領域における第１のＤＦＤスコア値から想定される第２のＤＦＤスコア値に基づいて設定される。なお、図１０においては、閾値の特性を、折れ線を用いて簡易に表現しているが、閾値の特性は折れ線で表されなくてもよい。
【００４８】
ステップＳ４０３では、第２のＤＦＤスコアマップにおける処理対象の座標（ｘ，ｙ）に対応する第２のＤＦＤスコア値ｄｆｄｓｃｏｒｅ２（ｘ，ｙ）とステップＳ４０２で算出した閾値ＴＨ（ｘ，ｙ）との差分値Δｄｉｆｆ（ｘ，ｙ）を算出する。かかる差分値Δｄｉｆｆ（ｘ，ｙ）は、以下の式（３）に基づいて算出し得る。
【数３】
0006595858.tif 000004
【００４９】
なお、ここでは、式（３）に基づいて差分値Δｄｉｆｆ（ｘ，ｙ）を求めたが、これに限定されるものではない。例えば、第２のＤＦＤスコア値ｄｆｄｓｃｏｒｅ２（ｘ，ｙ）と閾値ＴＨ（ｘ，ｙ）との差分の絶対値を求めるようにしてもよいし、第２のＤＦＤスコア値ｄｆｄｓｃｏｒｅ２（ｘ，ｙ）と閾値ＴＨ（ｘ，ｙ）との比を求めるようにしてもよい。
【００５０】
ステップＳ４０４では、ステップＳ４０３において算出した差分値Δｄｉｆｆ（ｘ，ｙ）に基づいて、信頼度マップの値となる信頼度Ｒｅｌｉａ（ｘ，ｙ）の算出を行う。本実施形態では、信頼度Ｒｅｌｉａは、テーブルに基づいて算出することができる。図１１は、信頼度を示すグラフである。横軸は差分値Δｄｉｆｆを示しており、縦軸は信頼度Ｒｅｌｉａを示している。図１１から分かるように、差分値Δｄｉｆｆが０から離れるに従って信頼度Ｒｅｌｉａが小さくなる。なお、図１１においては、折れ線を用いて簡易に表現したテーブルを図示しているが、テーブルは折れ線で表されなくてもよい。また、正の方向と負の方向とで異なった特性を示すようなテーブルであってもよい。
【００５１】
ステップＳ４０５では、ステップＳ４０２からステップＳ４０４までの処理が全座標に対して完了したか否かを判断する。全座標についての処理が完了した場合には（ステップＳ４０５においてＹＥＳ）、信頼度マップの生成処理を終了する。一方、全座標についての処理が完了していない場合には（ステップＳ４０５においてＮＯ）、ステップＳ４０６の処理へ移行する。ステップＳ４０６では、処理対象の座標（ｘ，ｙ）を更新し、ステップＳ４０２の処理に移行する。
このようにして、信頼度マップの生成処理が行われる。
【００５２】
なお、本実施形態では、距離マップと信頼度マップとを並列で出力する場合を例に説明したが、これに限定されるものではない。例えば、信頼度マップの値に応じて距離マップの値を変更してもよい。例えば、信頼度マップの値が低い場合には、距離マップの値が無限遠相当のデフォーカス量を示すようにしてもよい。
【００５３】
このように、本実施形態によれば、第１のフィルタを適用する処理が行われた複数の画像間におけるボケの相関量である第１のＤＦＤスコア値を算出する。また、第２のフィルタを適用する処理が行われた複数の画像間におけるボケの相関量である第２のＤＦＤスコア値を算出する。そして、第１のＤＦＤスコア値と第２のＤＦＤスコア値とに基づいて、第１のＤＦＤスコア値の信頼性を評価する。具体的には、第１のＤＦＤスコア値から想定される第２のＤＦＤスコア値に基づいて予め設定された閾値と第２のＤＦＤスコア値との差分に基づいて、第１のＤＦＤスコア値の信頼性を評価する。このため、本実施形態によれば、距離情報を良好に取得し得る画像処理装置及び画像処理方法を提供することができる。
【００５４】
［第２実施形態］
本発明の第２実施形態による画像処理装置及び画像処理方法を図１２乃至図１６を用いて説明する。図１乃至図１１に示す第１実施形態による画像処理装置及び画像処理方法と同一の構成要素には、同一の符号を付して説明を省略または簡潔にする。
【００５５】
第２実施形態による画像処理装置１０５は、フォーカス状態の異なる３つの画像を用いるものである。フォーカス状態の異なる３つの画像としては、例えば、１つのフォーカス画像と、フォーカスブラケット量が互いに異なる２つのデフォーカス画像とが用いられる。そして、ＤＦＤ法を用い、フォーカス画像と２つのデフォーカス画像のそれぞれとに基づいて２つのＤＦＤスコア値を算出することによって、距離マップを生成する。なお、算出されたＤＦＤスコア値が折り返り領域内か否かの判別が可能な点、及び、信頼度マップを生成する点は、第１実施形態による画像処理装置１０５と同様である。
【００５６】
まず、本実施形態において画像を取得するために行われる撮影について図１２を用いて説明する。図１２は、フォーカス状態の異なる複数の画像を取得する際の撮影条件を示す図である。本実施形態では、１つのフォーカス画像と２つのデフォーカス画像とを取得する。位置１２０１は、被写体５０１にフォーカスを合わせた際における撮像光学系１０１の位置、即ち、フォーカス位置である。撮像光学系１０１がフォーカス位置１２０１に位置している際には、点１２０４が結像点となり、被写体５０１がフォーカスされた状態の像が撮像素子１０２の撮像面５０４に結像される。このようにして、フォーカス画像が得られる。
【００５７】
一方、位置１２０２まで撮像光学系１０１を移動させると、被写体５０１にピントが合わなくなり、点１２０５が結像点となり、被写体５０１がデフォーカスされた状態の像が撮像素子１０２の撮像面５０４に結像される。このようにして、フォーカスブラケット量がＤのデフォーカス画像が得られる。
【００５８】
また、位置１２０３まで撮像光学系１０１を移動させた場合にも、被写体５０１にピントは合わず、位置１２０６が結像点となり、被写体５０１がデフォーカスされた状態の像が撮像素子１０２の撮像面５０４に結像される。このようにして、フォーカスブラケット量がＤ′のデフォーカス画像が得られる。
【００５９】
ここでは、フォーカスブラケット量Ｄ′は、フォーカスブラケット量Ｄよりも小さいものとする。フォーカスブラケット量Ｄ′をフォーカスブラケット量Ｄより小さいものとする理由については、後述することとする。以下の説明においては、フォーカスブラケット量がＤであるデフォーカス画像を第１のデフォーカス画像と呼称し、フォーカスブラケット量がＤ′であるデフォーカス画像を第２のデフォーカス画像と呼称する。
【００６０】
次に、フォーカス画像と第１のデフォーカス画像と第２のデフォーカス画像とにＢＰＦを適用した際におけるＢＰＦパワーについて、図１３を用いて説明する。図１３は、フォーカス画像と第１のデフォーカス画像と第２のデフォーカス画像とにＢＰＦを適用した際におけるＢＰＦパワーを示すグラフである。フォーカス画像と第１のデフォーカス画像とについては、第１実施形態において図６を用いて上述したため、ここでは説明を省略する。図１３から分かるように、第２のデフォーカス画像のＢＰＦパワーは、デフォーカス量が＋Ｄ′の際にピークを示す。また、第２のデフォーカス画像のＢＰＦパワーとフォーカス画像のＢＰＦパワーとは、デフォーカス量が＋Ｄ′/２の位置において交差する。
【００６１】
次に、第１のデフォーカス画像とフォーカス画像との間におけるＤＦＤスコア値の特性と第２のデフォーカス画像とフォーカス画像との間におけるＤＦＤスコア値の特性との違いについて図１４を用いて説明する。図１４は、ＤＦＤスコア値の特性を示すグラフである。なお、ＤＦＤスコア値の算出方法については、図７を用いて第１実施形態において上述したため、ここでは説明を省略する。図１４においては、第１のデフォーカス画像とフォーカス画像との間におけるＤＦＤスコア値の特性曲線１４０１が、太い点線を用いて示されている。また、図１４においては、第２のデフォーカス画像とフォーカス画像との間におけるＤＦＤスコア値の特性曲線１４０２が、太い一点鎖線を用いて示されている。第１のデフォーカス画像とフォーカス画像との間におけるＤＦＤスコア値の特性曲線１４０１については、図７を用いて第１実施形態において上述したため、ここでは説明を省略する。第２のデフォーカス画像とフォーカス画像との間におけるＤＦＤスコア値の特性曲線１４０２は、デフォーカス量が＋Ｄ′／２の際には１．０となる。そして、かかる特性曲線１４０２は、デフォーカス量が＋Ｄ′／２から徐々に遠ざかるに従って０．０に近づいていき、デフォーカス量が＋Ｄ′／２から更に遠ざかるに従って１．０に近づくような特性を示す。
【００６２】
第２のデフォーカス画像のフォーカスブラケット量Ｄ′は、第１のデフォーカス画像のフォーカスブラケット量Ｄよりも小さい。このため、第２のデフォーカス画像のＢＰＦパワーとフォーカス画像のＢＰＦパワーとの比の変化率は、第１のデフォーカス画像のＢＰＦパワーとフォーカス画像のＢＰＦパワーとの比の変化率に比べ、緩やかになる。このため、第２のデフォーカス画像とフォーカス画像との間におけるＤＦＤスコア値の特性曲線１４０２の傾きは、第１のデフォーカス画像とフォーカス画像との間におけるＤＦＤスコア値の特性曲線１４０１の傾きに比べて緩やかになる。そして、第２のデフォーカス画像とフォーカス画像との間におけるＤＦＤスコア値においては、第１のデフォーカス画像とフォーカス画像との間におけるＤＦＤスコア値と比較して、正しくＤＦＤスコア値が算出されている領域が広くなる。本実施形態では、このような特性を利用することによって、複数のデフォーカス画像とフォーカス画像との間においてそれぞれ算出されるＤＦＤスコア値に基づいて、算出されたＤＦＤスコア値が折り返り領域内に位置するか否かを判別する。
【００６３】
次に、本実施形態による画像処理装置１０５の構成について説明する。図１５は、本実施形態による画像処理装置１０５の画像処理部１０３の構成を示すブロック図である。
【００６４】
画像処理部１０３は、フォーカス画像入力部１５０１と、第１のデフォーカス画像入力部１５０２と、第２のデフォーカス画像入力部１５０３とを備えている。また、画像処理部１０３は、フォーカス画像用ＢＰＦ処理部１５０４と、第１のデフォーカス画像用ＢＰＦ処理部１５０５と、第２のデフォーカス画像用ＢＰＦ処理部１５０６とを更に備えている。また、画像処理部１０３は、第１のＤＦＤスコア算出部１５０７と、第２のＤＦＤスコア算出部１５０８と、距離マップ生成部１５０９と、信頼度マップ生成部１５１０とを更に備えている。
【００６５】
次に、本実施形態による画像処理装置１０５の画像処理部１０３によって行われる処理について図１５及び図１６を用いて説明する。図１６は、本実施形態による画像処理装置１０５の画像処理部１０３において行われる動作を示すフローチャートである。
【００６６】
ステップＳ１６０１では、フォーカス画像がフォーカス画像入力部１５０１に入力され、第１のデフォーカス画像が第１のデフォーカス画像入力部１５０２に入力され、第２のデフォーカス画像が第２のデフォーカス画像入力部１５０３に入力される。
【００６７】
ステップＳ１６０２では、フォーカス画像、第１のデフォーカス画像及び第２のデフォーカス画像に対して、所定の帯域を通過させる特性をもつＢＰＦを適用する処理、即ち、ＢＰＦ処理を行う。具体的には、フォーカス画像入力部１５０１を介して入力されたフォーカス画像に対して、フォーカス画像用ＢＰＦ処理部１５０４がＢＰＦ処理を行う。また、第１のデフォーカス画像入力部１５０２を介して入力された第１のデフォーカス画像に対して、第１のデフォーカス画像用ＢＰＦ処理部１５０５がＢＰＦ処理を行う。また、第２のデフォーカス画像入力部１５０３を介して入力された第２のデフォーカス画像に対して、第２のデフォーカス画像用ＢＰＦ処理部１５０６がＢＰＦ処理を行う。
【００６８】
ステップＳ１６０３では、ステップＳ１６０２においてＢＰＦ処理が行われたフォーカス画像と第１のデフォーカス画像とに基づいて、各座標位置に対応する第１のＤＦＤスコア値を算出することによって、第１のＤＦＤスコアマップを生成する。第１のＤＦＤスコア値の算出方法については、第１実施形態と同様であるため、ここでは説明を省略する。
【００６９】
ステップＳ１６０４では、ステップＳ１６０２においてＢＰＦ処理が行われたフォーカス画像と第２のデフォーカス画像とに基づいて、各座標位置に対応する第２のＤＦＤスコア値を算出することによって、第２のＤＦＤスコアマップを生成する。第２のＤＦＤスコア値の算出方法については、ステップＳ１６０３における第１のＤＦＤスコア値の算出方法と同様であるため、説明を省略する。
【００７０】
ステップＳ１６０５では、ステップＳ１６０３において生成した第１のＤＦＤスコアマップの値をデフォーカス量に変換することによって、距離マップを生成する。第１のＤＦＤスコアマップの値をデフォーカス量に変換する方法は、第１実施形態において説明した方法と同様であるため、ここでは説明を省略する。
【００７１】
ステップＳ１６０６では、第１のＤＦＤスコアマップと第２のＤＦＤスコアマップとに基づいて、ステップＳ１６０５において生成された距離マップの各座標の値の信頼性を示す信頼度マップを生成する。信頼度マップの生成方法については、第１実施形態において説明した方法と同様の手法を適用可能である。即ち、本実施形態においても、第１実施形態と同様に、第１のＤＦＤスコア値から想定される第２のＤＦＤスコア値に基づいて予め設定された閾値と第２のＤＦＤスコア値との差分に基づいて、第１のＤＦＤスコア値の信頼性を評価する。
【００７２】
このようにして、本実施形態による画像処理装置１０５の画像処理部１０３において処理が行われる。
【００７３】
このように、本実施形態によれば、フォーカス画像と第１のデフォーカス画像との間のボケの相関量である第１のＤＦＤスコア値を算出し、フォーカス画像と第２のデフォーカス画像と間のボケの相関量である第２のＤＦＤスコア値を算出する。そして、第１のＤＦＤスコア値と第２のＤＦＤスコア値とに基づいて、第１のＤＦＤスコア値の信頼性を評価する。このため、本実施形態によっても、距離情報を良好に取得し得る画像処理装置及び画像処理方法を提供することができる。
【００７４】
［変形実施形態］
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【００７５】
例えば、上記実施形態では、画像処理装置１０５によって取得される距離情報がデフォーカス量である場合を例に説明したが、これに限定されるものではない。例えば、画像処理装置１０５によって取得される距離情報が被写体までの距離であってもよい。この場合には、ＤＦＤスコア値と被写体までの距離との関係を示すテーブルを予め作成しておき、算出されたＤＦＤスコア値をかかるテーブルを用いて被写体までの距離に変換するようにすればよい。
【００７６】
また、第１実施形態では、フォーカス状態の異なる複数の画像として、フォーカス画像とデフォーカス画像とを用いる場合を例に説明したが、これに限定されるものではない。例えば、フォーカス状態の異なる複数の画像として、フォーカス状態の異なる複数のデフォーカス画像を用いるようにしてもよい。
【００７７】
また、第２実施形態では、フォーカス状態の異なる３つの画像として、１つのフォーカス画像と２つのデフォーカス画像とを用いる場合を例に説明したが、これに限定されるものではない。例えば、フォーカス状態の異なる３つの画像として、フォーカス状態の異なる３つのデフォーカス画像を用いるようにしてもよい。
【００７８】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００７９】
１０１…撮像光学系
１０２…撮像素子
１０３…画像処理部
１０４…フォーカス駆動制御部
１０５…画像処理装置
２０１…フォーカス画像入力部
２０２…デフォーカス画像入力部
２０３…フォーカス画像用第１のＢＰＦ処理部
２０４…フォーカス画像用第２のＢＰＦ処理部
２０５…デフォーカス画像用第１のＢＰＦ処理部
２０６…デフォーカス画像用第２のＢＰＦ処理部
２０７…第１のＤＦＤスコア算出部
２０８…第２のＤＦＤスコア算出部
２０９…距離マップ生成部
２１０…信頼度マップ生成部
１５０１…フォーカス画像入力部
１５０２…第１のデフォーカス画像入力部
１５０３…第２のデフォーカス画像入力部
１５０４…フォーカス画像ＢＰＦ処理部
１５０５…第１のデフォーカス画像用ＢＰＦ処理部
１５０６…第２のデフォーカス画像用ＢＰＦ処理部
１５０７…第１のＤＦＤスコア算出部
１５０８…第２のＤＦＤスコア算出部
１５０９…距離マップ生成部
１５１０…信頼度マップ生成部
【図１】
0006595858.tif 000005
【図２】
0006595858.tif 000006
【図３】
0006595858.tif 000007
【図４】
0006595858.tif 000008
【図５】
0006595858.tif 000009
【図６】
0006595858.tif 000010
【図７】
0006595858.tif 000011
【図８】
0006595858.tif 000012
【図９】
0006595858.tif 000013
【図１０】
0006595858.tif 000014
【図１１】
0006595858.tif 000015
【図１２】
0006595858.tif 000016
【図１３】
0006595858.tif 000017
【図１４】
0006595858.tif 000018
【図１５】
0006595858.tif 000019
【図１６】
0006595858.tif 000020