(57)【要約】【課題】ＤＦＤ方式で距離算出をする際に、被写体が様々な空間周波数を有する場合であっても精度良く距離算出する。【解決手段】異なる撮影パラメータで撮影したぼけの異なる複数枚の画像を用いて、被写体の距離情報を計測する距離計測装置であって、前記複数枚の画像のうちの少なくとも１枚の画像中に存在する空間周波数から空間周波数帯を決定する空間周波数決定手段と、前記複数枚の画像の前記空間周波数帯の成分を用いて該複数枚の画像の比較を行い、被写体の距離に依存する距離依存値を出力する画像比較手段と、前記距離依存値と前記空間周波数帯から距離を算出する距離算出手段と、を備える。【選択図】図１
2013253964.tif 000002
【特許請求の範囲】
【請求項１】
異なる撮影パラメータで撮影したぼけの異なる複数枚の画像を用いて、被写体の距離情報を計測する距離計測装置であって、
前記複数枚の画像のうちの少なくとも１枚の画像中に存在する空間周波数から空間周波数帯を決定する空間周波数決定手段と、
前記複数枚の画像の前記空間周波数帯の成分を用いて該複数枚の画像の比較を行い、被写体の距離に依存する距離依存値を出力する画像比較手段と、
を備える、距離計測装置。
【請求項２】
前記複数枚の画像から処理対象領域を含む画像領域をそれぞれ選択し領域選択画像として出力する領域選択手段を更に備え、
前記画像比較手段は、前記領域選択画像の前記空間周波数帯の成分を用いて画像の比較を行い、前記処理対象領域における被写体の距離に依存する距離依存値を出力する、
請求項１に記載の距離計測装置。
【請求項３】
前記空間周波数決定手段は、前記領域選択画像中に存在する空間周波数から距離依存値の出力に用いる空間周波数帯を決定する、
請求項２に記載の距離計測装置。
【請求項４】
前記空間周波数決定手段は、
前記複数枚の画像の前記領域選択画像を周波数空間画像に変換し、
前記複数枚の画像のうち少なくとも１枚の画像について、前記領域選択画像中に存在する空間周波数帯である特徴周波数帯を決定し、
前記特徴周波数帯を含むように、距離依存値の出力に用いる空間周波数帯を選択する、
請求項３に記載の距離計測装置。
【請求項５】
前記空間周波数決定手段は、周波数空間画像においてスペクトル強度に周波数を乗じた値が最も大きい空間周波数帯を、特徴周波数帯として選択する、
請求項４に記載の距離計測装置。
【請求項６】
前記空間周波数決定手段は、周波数空間画像においてスペクトル強度に周波数を乗じた値が所定の閾値を超える空間周波数帯のうち最も高い周波数帯のものを、特徴周波数帯として選択する、
請求項４に記載の距離計測装置。
【請求項７】
前記空間周波数決定手段は、前記複数枚の画像のうち少なくとも１枚の画像のから前記空間周波数帯を決定し、
前記画像比較手段は、任意の前記領域選択画像に対して、前記空間周波数帯の成分に基づいて前記距離依存値を出力する、
請求項２に記載の距離計測装置。
【請求項８】
前記空間周波数決定手段は、
前記複数枚の画像のうち少なくとも１枚の画像を周波数空間画像に変換し、
前記複数枚の画像のうち少なくとも１枚の画像中に存在する空間周波数帯である特徴周波数帯を決定し、
前記特徴周波数帯を含むように、距離依存値の出力に用いる空間周波数帯を選択する、
請求項７に記載の距離計測装置。
【請求項９】
前記空間周波数決定手段は、
予め用意された異なる空間周波数帯を通過させる複数のフィルタを前記領域選択画像に作用させ、
前記複数のフィルタのうち少なくとも１つのフィルタが通過させる空間周波数帯を距離依存値の出力に用いる空間周波数帯として決定する、
請求項３に記載の距離計測装置。
【請求項１０】
前記空間周波数決定手段は、
予め用意された異なる周波数帯を通過させる複数のフィルタのうち高周波を通過させるフィルタから順に作用させ、
出力された値が所定の閾値を超える最初のフィルタが通過させる空間周波数帯を、距離依存値の出力に用いる空間周波数帯として決定する、
請求項９に記載の距離計測装置。
【請求項１１】
前記空間周波数決定手段は、
予め用意された異なる空間周波数帯を通過させる複数のフィルタを前記複数枚の画像のうちの少なくとも１枚の画像に作用させ、
前記複数のフィルタのうち少なくとも１つのフィルタが通過させる空間周波数帯を距離依存値の出力に用いる空間周波数帯として決定する、
請求項７に記載の距離計測装置。
【請求項１２】
前記距離依存値と前記空間周波数帯から被写体の距離情報を決定する距離決定手段を更に備える、
請求項１〜１１のいずれか１項に記載の距離計測装置。
【請求項１３】
前記距離決定手段は、前記距離依存値を撮影パラメータと前記空間周波数決定手段により決定された空間周波数帯に基づき距離に変換することを特徴とする請求項１２に記載の距離計測装置。
【請求項１４】
前記距離決定手段は、前記距離依存値、前記撮影パラメータ、前記空間周波数帯、および距離の関係が予め保存されたテーブルを参照して距離を決定する、
請求項１２または１３に記載の距離計測装置。
【請求項１５】
異なる撮影パラメータで撮影したぼけの異なる複数枚の画像を用いて、被写体の距離情報を計測する距離計測装置であって、
含まれる周波数ｆｃと帯域幅ｆｂが下記の式を満足する所定の空間周波数帯を決定する空間周波数決定手段と、
前記複数枚の画像の前記所定の空間周波数帯の成分を用いて該複数枚の画像の比較を行い、距離に依存する距離依存値を出力する画像比較手段と、
を備える距離計測装置。
０．３×ｆｎｑ≦ｆｃ≦１×ｆｎｑ
０．１×ｆｎｑ≦ｆｂ≦０．４×ｆｎｑ
ただし、ｆｎｑは、前記複数枚の画像を撮像した撮像素子のナイキスト周波数である。
【請求項１６】
異なる撮影パラメータで撮影したぼけの異なる複数枚の画像を用いて、被写体の距離情報を計測する距離計測装置であって、
前記複数枚の画像のうち少なくとも１枚の画像中に存在する空間周波数から複数の空間周波数帯に対する加重値を決定する加重値決定手段と、
前記複数の空間周波数帯のそれぞれについて、前記複数枚の画像の空間周波数帯成分を用いて画像の比較を行い、距離に依存する距離依存値を出力する画像比較手段と、
を備える、距離計測装置。
【請求項１７】
前記画像比較手段は、各空間周波数帯に対する加重値を用いて各空間周波数帯の距離依存値の加重平均をとることにより、出力する距離依存値を決定する、
請求項１６に記載の距離計測装置。
【請求項１８】
前記複数の距離依存値と前記複数の空間周波数帯と各空間周波数帯に対する加重値に基づいて距離を決定する距離決定手段を更に備える、
請求項１６に記載の距離計測装置。
【請求項１９】
前記距離決定手段は、
前記複数の空間周波数帯のそれぞれについて、前記距離依存値と前記空間周波数帯に基づいて距離を決定し、
各空間周波数に対する加重値を用いて、各空間周波数帯について決定された前記距離の加重平均値をとることにより、処理対象領域における被写体までの距離を決定する、
請求項１８に記載の距離計測装置。
【請求項２０】
前記加重値算出手段は、あらかじめ用意された異なる周波数帯を通過させる複数のフィルタを前記領域選択画像に作用させ、出力された値の統計量に応じて、前記フィルタに対応する通過周波数帯ごとに加重値を決定する、
請求項１６〜１９のいずれか１項に記載の距離計測装置。
【請求項２１】
撮像手段と、請求項１に記載の距離計測装置とを備え、
前記画像処理装置は、前記撮像手段を用いて異なる撮影パラメータで撮影されたぼけの異なる複数枚の画像に基づいて、処理対象領域における被写体の距離情報を計測する、
撮像装置。
【請求項２２】
撮像手段と、請求項１５に記載の距離計測装置とを備え、
前記画像処理装置は、前記撮像手段を用いて異なる撮影パラメータで撮影されたぼけの異なる複数枚の画像に基づいて、処理対象領域における被写体の距離情報を計測する、
撮像装置。
【請求項２３】
撮像手段と、請求項１６に記載の距離計測装置とを備え、
前記画像処理装置は、前記撮像手段を用いて異なる撮影パラメータで撮影されたぼけの異なる複数枚の画像に基づいて、処理対象領域における被写体の距離情報を計測する、
撮像装置。
【請求項２４】
異なる撮影パラメータで撮影したぼけの異なる複数枚の画像を用いて、被写体の距離情報を計測する距離計測方法であって、
前記複数枚の画像のうちの少なくとも１枚の画像中に存在する空間周波数から空間周波数帯を決定する空間周波数決定ステップと、
前記複数枚の画像の前記空間周波数帯の成分を用いて該複数枚の画像の比較を行い、被写体の距離に依存する距離依存値を出力する画像比較ステップと、
を含む距離計測方法。
【請求項２５】
異なる撮影パラメータで撮影したぼけの異なる複数枚の画像を用いて、被写体の距離情報を計測する距離計測方法であって、
所定の空間周波数帯を、当該所定の空間周波数帯に含まれる周波数ｆｃと当該所定の空間周波数帯の帯域幅ｆｂが下記の式を満足するように決定する空間周波数決定ステップと、
前記複数枚の画像の前記所定の空間周波数帯の成分を用いて該複数枚の画像の比較を行
い、距離に依存する距離依存値を出力する画像比較ステップと、
を含む、距離計測方法。
０．３×ｆｎｑ≦ｆｃ≦１×ｆｎｑ
０．１×ｆｎｑ≦ｆｂ≦０．４×ｆｎｑ
ただし、ｆｎｑは、前記複数枚の画像を撮像した撮像素子のナイキスト周波数である。
【請求項２６】
異なる撮影パラメータで撮影したぼけの異なる複数枚の画像を用いて、被写体の距離情報を計測する距離計測方法であって、
前記複数枚の画像のうち少なくとも１枚の画像中に存在する空間周波数から複数の空間周波数帯に対する加重値を決定する加重値決定ステップと、
前記複数の空間周波数帯のそれぞれについて、前記複数枚の画像の空間周波数帯成分を用いて画像の比較を行い、距離に依存する距離依存値を出力する画像比較ステップと、
を含む距離計測方法。
【請求項２７】
コンピュータに請求項２４に記載の方法の各ステップを実行させるためのプログラム。
【請求項２８】
コンピュータに請求項２５に記載の方法の各ステップを実行させるためのプログラム。
【請求項２９】
コンピュータに請求項２６に記載の方法の各ステップを実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は距離計測装置に関連し、特に異なる撮影パラメータで撮影した複数枚の画像から被写体の距離情報を計測する技術に関する。
【背景技術】
【０００２】
従来、撮像装置によって取得された画像から撮影シーンの距離を取得する手法として特許文献１のようなDepth from Defocus（DFD）方式が提案されている。DFD方式では撮像光学系の撮影パラメータを制御することでぼけの異なる複数の画像を取得し、複数の取得画像において測定対象画素およびその周辺画素を用いて互いのぼけの相関量を算出する。
このぼけの相関量は画像中の被写体の距離に応じて変化するため、その関係を用いてぼけの相関量から距離を算出する。DFD方式による距離計測は、１つの撮像系によって距離
を算出することできるため、市販されている撮像装置に組み込むことが可能といった利点を有する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平０１−１６７６１０号公報
【特許文献２】特許第４４０３４７７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載されているようなＤＦＤ法による距離推定方式は、撮影した画像のぼけから距離を算出している。撮像光学系によるぼけの大きさは基本的には被写体までの距離に応じて変化するが、被写体の空間周波数によっても変化する。したがって、画像中の空間周波数に応じて距離精度が変化してしまう。また、距離計測に用いる画像領域中に複数の空間周波数が混在した場合は、特に距離推定精度が低下するといった問題があった。
【０００５】
特許文献２では複数の空間周波数が混在している場合に対応するために、３つの中心周波数において３つの方向の異なるガボールフィルタを用いて周波数処理を行った後、それぞれの周波数で距離を算出している。さらに、算出された距離に対して閾値処理を施してラベル画像を生成している。そして、測距画素周辺の局所領域に関して、より低い周波数を用いて算出されるラベルが全て同一であれば、より高い周波数を用いて算出されたラベル画像における測距画素のラベルをより低い周波数のラベルに置き換える。
【０００６】
特許文献２は、このような手法により、距離を用いた画像の領域分割方法を提案している。しかしながら、予め決められたバンドパスフィルタによる周波数成分の抽出のため、被写体の持つ周波数によっては距離算出にばらつきが発生してしまうといった課題がある。
また、複数空間周波数かつ複数方向に対するフィルタ処理を行っているため、フィルタ回数の増加や回路規模の増加といった課題も有する。
【０００７】
上記のような問題を考慮して、本発明は、被写体が様々な空間周波数を有する場合であっても精度良く距離算出することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の第１の態様は、
異なる撮影パラメータで撮影したぼけの異なる複数枚の画像を用いて、被写体の距離情
報を計測する距離計測装置であって、
前記複数枚の画像のうちの少なくとも１枚の画像中に存在する空間周波数から距離算出に用いる空間周波数帯を決定する空間周波数決定手段と、
前記複数枚の画像の前記空間周波数帯の成分を用いて該複数枚の画像の比較を行い、被写体の距離に依存する距離依存値を出力する画像比較手段と、
を備える、距離計測装置である。
【０００９】
本発明の第２の態様は、
異なる撮影パラメータで撮影したぼけの異なる複数枚の画像を用いて、被写体の距離情報を計測する距離計測装置であって、
含まれる周波数ｆｃと帯域幅ｆｂが下記の式を満足する所定の空間周波数帯を決定する空間周波数決定手段と、
前記複数枚の画像の前記所定の空間周波数帯の成分を用いて該複数枚の画像の比較を行い、距離に依存する距離依存値を出力する画像比較手段と
を備える距離計測装置である。
０．３×ｆｎｑ≦ｆｃ≦１×ｆｎｑ
０．１×ｆｎｑ≦ｆｂ≦０．４×ｆｎｑ
ただし、ｆｎｑは、前記複数枚の画像を撮像した撮像素子のナイキスト周波数である。
【００１０】
本発明の第３の態様は、
異なる撮影パラメータで撮影したぼけの異なる複数枚の画像を用いて、被写体の距離情報を計測する距離計測装置であって、
前記複数枚の画像のうち少なくとも１枚の画像中に存在する空間周波数から、距離算出に用いる複数の空間周波数帯に対する加重値を決定する加重値決定手段と、
前記複数の空間周波数帯のそれぞれについて、前記複数枚の画像の空間周波数帯成分を用いて画像の比較を行い、距離に依存する距離依存値を出力する画像比較手段と、
を備える、距離計測装置である。
【００１１】
本発明の第４の態様は、
撮像手段と、上記いずれかの距離計測装置とを備え、
前記画像処理装置は、前記撮像手段を用いて異なる撮影パラメータで撮影されたぼけの異なる複数枚の画像に基づいて、処理対象領域における被写体の距離情報を計測する、
撮像装置である。
【００１２】
本発明の第５の態様は、
異なる撮影パラメータで撮影したぼけの異なる複数枚の画像を用いて、被写体の距離情報を計測する距離計測方法であって、
前記複数枚の画像のうちの少なくとも１枚の画像中に存在する空間周波数から距離算出に用いる空間周波数帯を決定する空間周波数決定ステップと、
前記複数枚の画像の前記空間周波数帯の成分を用いて該複数枚の画像の比較を行い、被写体の距離に依存する距離依存値を出力する画像比較ステップと、
を含む距離計測方法である。
【００１３】
本発明の第６の態様は、
異なる撮影パラメータで撮影したぼけの異なる複数枚の画像を用いて、被写体の距離情報を計測する距離計測方法であって、
所定の空間周波数帯を、当該所定の空間周波数帯に含まれる周波数ｆｃと当該所定の空間周波数帯の帯域幅ｆｂが下記の式を満足するように決定する空間周波数決定ステップと、
前記複数枚の画像の前記所定の空間周波数帯の成分を用いて該複数枚の画像の比較を行
い、距離に依存する距離依存値を出力する画像比較ステップと、
を含む、距離計測方法である。
０．３×ｆｎｑ≦ｆｃ≦１×ｆｎｑ
０．１×ｆｎｑ≦ｆｂ≦０．４×ｆｎｑ
ただし、ｆｎｑは、前記複数枚の画像を撮像した撮像素子のナイキスト周波数である。
【００１４】
本発明の第７の態様は、
異なる撮影パラメータで撮影したぼけの異なる複数枚の画像を用いて、被写体の距離情報を計測する距離計測方法であって、
前記複数枚の画像のうち少なくとも１枚の画像中に存在する空間周波数から、距離算出に用いる複数の空間周波数帯に対する加重値を決定する加重値決定ステップと、
前記複数の空間周波数帯のそれぞれについて、前記複数枚の画像の空間周波数帯成分を用いて画像の比較を行い、距離に依存する距離依存値を出力する画像比較ステップと、
を含む距離計測方法である。
【００１５】
本発明の第８の態様は、コンピュータに上記いずれかの距離計測方法の各ステップを実行させるためのプログラムである。
【発明の効果】
【００１６】
本発明による距離計測装置によれば、被写体が様々な空間周波数帯を有する場合であっても高精度な距離計測が可能となる。
【図面の簡単な説明】
【００１７】
【図１】第１の実施形態に係る撮像装置の構成を示すブロック図。
【図２】第１の実施形態に係る距離計測処理のフローチャート。
【図３】第１の実施形態での空間周波数決定処理のフローチャート。
【図４】第１の実施形態での距離依存値算出処理のフローチャート。
【図５】周波数空間でのフィルタ形状を表す図。
【図６】ＤＦＤ方式の原理を表す幾何光学の図。
【図７】第１の実施形態での距離算出処理のフローチャート。
【図８】第２の実施形態に係る撮像装置の構成を示すブロック図。
【図９】第２の実施形態での空間周波数決定処理のフローチャート。
【図１０】第２の実施形態での距離依存値算出処理のフローチャート。
【図１１】第３の実施形態に係る撮像装置の構成を示すブロック図。
【図１２】第３の実施形態での加重量決定処理のフローチャート。
【図１３】第３の実施形態での距離算出処理のフローチャート。
【図１４】第４の実施形態に係る撮像装置の構成を示すブロック図。
【図１５】第４の実施形態での距離算出処理のフローチャート。
【図１６】第５の実施形態での空間周波数決定処理のフローチャート。
【発明を実施するための形態】
【００１８】
＜第１の実施形態＞
以下、本発明の好ましい実施形態について図面を参照しながら説明する。
【００１９】
本発明の第１の実施形態は、距離計測装置（画像処理装置）１１０を含む撮像装置１００である。距離計測装置１１０は、撮像装置１００によって撮影された複数枚（例えば、２枚）の画像を取得し、これらの画像から画像中の各位置において被写体までの距離を算出する装置である。
【００２０】
図１に、第１の実施形態にかかる撮像装置１００の構成を示す。撮像装置１００は、撮
像光学系１０１、撮像素子１０２、信号処理部１０３、バッファ１０４、撮影制御部１０５、距離計測装置１１０から構成される。さらに距離計測装置１１０は、領域選択部１１１、空間周波数決定部１１２、画像比較部１１３、距離算出部（距離決定部）１１４、メモリ１１５から構成されている。
【００２１】
信号処理部１０３、撮影制御部１０５、および距離計測装置１１０の各部は、半導体集積回路などの専用のハードウェア回路によって実現することができる。またこれらの各部は、ＤＳＰ（Digital Signal Processor）やＭＰＵ（Micro Processor Unit）がソフトウェア（コンピュータプログラム）を実行することによって実現されてもよい。また、これらの組合せによって実現されてもよい。
【００２２】
撮像光学系１０１は、複数のレンズから構成され入射する光を撮像素子１０２上に結像させる通常の撮影用レンズである。撮像光学系１０１は単焦点レンズでも良いしズームレンズでも良く本発明ではこれを規定しない。
【００２３】
撮像素子１０２は、単板式でも良いし三板式でも良く、単板式の場合カラーフィルタはベイヤー配列のＲＧＢカラーフィルタや補色フィルタでも良い。
【００２４】
信号処理部１０３は、撮像素子上に結像した像を取り込みＡＤ変換やノイズ除去、デモザイク、輝度信号変換、収差補正、像倍率補正、位置合わせ処理などの信号処理を行いバッファ１０４に蓄積する。ここでこれらの信号処理は全てを行わなくとも良く、距離計測に用いる画像に必要な処理を選択して行っても良い。よってバッファ１０４に蓄積する画像は、デモザイク前の画像でも良いし、デモザイク後のＲＧＢ画像でも良い。更にはＹＵＶ画像でも良くその中でも輝度信号画像のみでも良い。ただし、撮像光学系１０１によるぼけ方が変化しないような信号処理であるのが良く、特に距離情報算出に影響を及ぼすノイズや複数画像の位置ずれを補正した画像にするのが良い。また撮影した画像を通常の撮像装置で出力する画像の生成に用いることができるように別途通常の信号処理を行った画像を不図示のメモリ等に保存しても良い。
【００２５】
撮影制御部１０５は、距離計測装置１１０による距離計測に必要な複数枚の画像を撮影するための制御を行うものである。撮影制御部１０５は、１枚目の画像を撮影した後、撮影パラメータを変更して２枚目の撮影を行い１枚目の画像と同様に信号処理をしてバッファ１０４に２枚目の画像を蓄積する制御を行う。更に必要に応じて３枚目以降の撮影も行う。変更する撮影パラメータは、撮像光学系１０１の焦点位置、撮像光学系１０１内にある絞りの開口サイズ、焦点距離等である。
【００２６】
バッファ１０４は、距離計測装置１１０による距離計測に必要な枚数の画像データを一時的に蓄積可能なメモリである。バッファ１０４に蓄積された画像は距離計測装置１１０によって距離算出に利用される。
【００２７】
距離計測装置１１０は、撮影パラメータを変えて撮影された複数枚の画像から距離を算出する。本実施形態ではＤＦＤ法を用いた距離算出を行う。距離計測装置１１０の距離算出処理について図２のフローチャートを用いて説明する。
【００２８】
距離算出処理の大まかな流れは以下のようである。すなわち、まず、距離算出の対象となる領域に対して、距離算出処理に必要な画素を含む画像領域を選択する（Ｓ１０３）。次に、領域選択画像中に存在する空間周波数から距離算出に用いる空間周波数帯を決定する。より具体的には、選択された領域選択画像を周波数画像へ変換して、特徴的な周波数帯を決定する（Ｓ１０４）。ぼけの異なる複数枚の画像の特徴的な周波数帯の空間周波数帯成分に対してＤＦＤ法を適用して、距離依存値を算出する（Ｓ１０５）。距離依存値に
基づいて被写体までの距離を算出する（Ｓ１０６）。この際、上記の特徴的な周波数帯に応じた補正を加えて被写体までの距離を算出する。これらの各処理について、以下で詳しく説明する。
【００２９】
撮影パラメータを変えて撮像が行われバッファ１０４に画像が蓄積されると、その複数枚の画像が距離計測装置１１０に送られ距離算出が開始される。以下、本実施形態では２枚撮影の場合を例に説明を行う。撮影された２画像をＩ１、Ｉ２とする。
【００３０】
距離算出処理が開始されると、距離計測装置１１０の画像取得部（不図示）が画像Ｉ１、Ｉ２をバッファ１０４から取得する（Ｓ１００）。距離計測装置１１０は、これらの２画像を使って画素ごとに距離算出処理を行う。画素ごとに距離算出が可能なため全画素での測距が可能となる。ただし全画素について距離算出を行う必要は無く、数画素おきに測距を行ってもよいし、別途測距画素を決めてその画素に対してのみ距離算出を行ってもよい。また、距離算出処理の処理対象領域を一画素とする必要は無く、複数画素からなる領域を対象として距離算出を行ってもよい。例えば、領域分割を行い領域ごとに測距を行ってもよい。本実施形態では、一画素単位で全画素について距離算出を行うので、画像中のＸ、Ｙ座標を走査して測距画素を決定する（Ｓ１０１，１０２）。
【００３１】
ＤＦＤ法による距離算出では測距画素に対してその周辺画素が必要となる。そこで、測距画素が決定された後に、領域選択部１１１が距離算出に必要な周辺画素を切り出す（Ｓ１０３）。この際、撮影された２画像Ｉ１、Ｉ２において一般には同じ領域を切り出してくる必要がある。切り出された画像（測距画素とその周辺画素とを含む画像領域）をそれぞれ領域選択画像Ｃ１、Ｃ２とする。切り出す領域サイズは、処理時間を短縮するためには小さい方が良く、ノイズの影響を抑えて安定した解を導くにはある程度大きい方が良い。また切り出す領域サイズは撮影される画像におけるぼけの大きさにも依存し、コンパクトデジタルカメラの場合は撮像素子サイズが小さくぼけも小さいため小さい領域で良い。具体的にはコンパクトデジタルカメラの場合の切り出し領域サイズは、高速に処理するには１０画素程度が良く、ノイズの影響を抑えるには６０画素程度が良いが両者のバランスをとると１５から３０画素程度が好適である。領域選択部１１１によって選択された領域は、領域選択画像として出力され、空間周波数決定部１１２に入力される。
【００３２】
空間周波数決定部１１２では、領域選択部１１１で切り出された領域選択画像Ｃ１、Ｃ２を受け取り、選択領域内に存在する空間周波数を解析し、距離算出に適した空間周波数帯を決定する（Ｓ１０４）。空間周波数決定部１１２が行う空間周波数決定処理Ｓ１０４の詳細なフローチャートを図３に示す。
【００３３】
まず選択領域確認ステップＳ１１２１では、領域選択部１１１により選択された領域選択画像Ｃ１、Ｃ２を受け取り、Ｃ１、Ｃ２のサイズが同一か確認する。これらのサイズが同一ではない場合にはエラーが発生したと認められるので、処理を停止する。
【００３４】
次に周波数変換ステップＳ１１２２では、入力画像Ｃ１、Ｃ２に対しフーリエ変換を行い周波数空間画像Ｆ１、Ｆ２に変換する。周波数空間への変換方法は、演算量等を考慮して、離散コサイン変換やウェーブレット変換といった他の方法を用いても良い。
【００３５】
特徴周波数帯検出ステップＳ１１２３では変換された２つの周波数空間画像Ｆ１、Ｆ２を比較し、スペクトルの強い特徴的な周波数帯（特徴周波数帯）を検出する。この際、フーリエ変換した周波数空間の画像Ｆ１、Ｆ２は低周波が多いため直流成分を除去し対数を取るのが良い。さらに、各周波数成分の強度は一般的に周波数ｆに反比例することが知られているので、算出された周波数空間画像Ｆ１、Ｆ２において周波数ｆの成分をｆ倍するなど周波数に応じた補正をかけるとよい。これにより、周波数空間画像における値を単純
に比較することで、適切な特徴周波数帯を検出できる。
【００３６】
ここでは、補正後のスペクトル強度が最も大きい周波数を特徴的な周波数帯として選択してもよい。あるいは、補正後のスペクトル強度が所定の閾値よりも大きい周波数帯を特徴的な周波数帯として選択してもよい。ここで特徴的な周波数帯が複数存在する場合は、方向も考慮して多方向にわたって存在する周波数帯を特徴的な周波数帯として選択してもよい。また低周波から高周波にわたってスペクトルが強い周波数帯が存在することにより特徴的な周波数帯が明確でない場合、その中から最も高い周波数帯のものを選択するのが良い。これは、ぼけの違いは高い周波数ほど変化が大きく、したがって高い周波数を選択することで精度のよい距離算出ができるためである。反対に被写体にほとんどテクスチャが無いために特徴的な周波数帯が明確でない場合は、スペクトルが強い周波数帯の中から最も低い周波帯を選択するか、ぼけの判断がつかないため当該画素の処理を中止して次の測距画素に処理を移行するのが良い。このように距離計測できなかった画素はそのまま不明とするか、または、全ての画素で測距が終わった後に周辺の距離から推定して穴埋めするなどの対応が必要となる。
【００３７】
距離算出に用いる周波数の帯域幅は、狭い方が距離算出時のばらつきが小さくなるため、存在する周波数帯域全てを抽出するのではなく特に特徴的な狭帯域を選択する必要がある。更に選択した狭帯域の周波数が、撮影パラメータを変えて撮影したもう一方の画像においてどの程度ぼけて特徴的な周波数帯がシフトしたかを調べ、シフトした周波数帯が含まれるように帯域幅を決定する。例えば、一枚目の画像の選択領域においてより被写体にフォーカスがあっている場合は特徴的な周波数帯は高く、もう一方はぼけて特徴周波数帯が低周波へとシフトしていると考えられる。同じ被写体のぼけの変化から距離を求めるため、この特徴周波数帯の変化を含むように帯域幅を設定する。
【００３８】
空間周波数決定部１１２は、決定された特徴周波数帯ｆｓと周波数空間画像Ｆ１、Ｆ２を画像比較部１１３に出力する。
【００３９】
画像比較部１１３では、空間周波数決定部１１２で決定された特徴周波数帯ｆｓと領域を切り出された２画像の周波数空間画像Ｆ１、Ｆ２から距離依存値を算出する（Ｓ１０５）。画像比較部１１３により行われる距離依存値算出処理Ｓ１０５のフローチャートを図４に示す。
【００４０】
フィルタ生成ステップＳ１１３１では、前記空間周波数決定部１１２で検出された特徴的な周波数帯ｆｓを通過させるフィルタＢＦを生成する。このフィルタＢＦは周波数空間では通過させる周波数帯によって形状が異なり、例えば図５に示すようなフィルタとなる。なお、図５において白の領域が通過させる周波数帯であり、黒の領域が遮断する周波数帯を表している。
【００４１】
次にフィルタリングステップＳ１１３２では、前記フィルタ生成ステップＳ１１３１で生成されたフィルタＢＦを用いて領域切り出しされた２画像Ｆ１、Ｆ２に対してフィルタリングを行いフィルタリング後の周波数空間画像Ｆ１’、Ｆ２’を得る。
【００４２】
距離依存値算出ステップＳ１１３３では、フィルタリングされた画像Ｆ１’、Ｆ２’からＤＦＤ法によって距離依存値を算出する。この処理は、公知のＤＦＤ法によって行うことができる。ここでＤＦＤ法による距離算出の原理を図６を用いて説明する。
【００４３】
距離計測対象物体Ｏまでの距離Ｄｏは、物体Ｏが像面側で結像する位置Ｄｉが分かれば、レンズの公式から数式１によって距離を求めることができる。ここで焦点距離をＦＬとした。
【数１】
2013253964.tif 000003
【００４４】
しかし数式１によって距離を求めることができるのは撮像面上に結像した物体に限定される。ＤＦＤ法では撮像面に結像しない物体の距離も計測することを目的とし、撮像面上に投影された物体のぼけの大きさ（錯乱円）から物体の結像位置を求め、これを数式１に代入することで距離を算出する。ここで錯乱円が撮像面と結像位置に比例することを利用して結像位置を求める。
【００４５】
いま、距離Ｄ１にある物体が撮像面位置ｄ１に投影された場合を考える。このとき像ｉ１はぼけて拡がる。この時の点像分布関数（Point Spread Function）をＰＳＦ１としシ
ーンをｓとすると、像ｉ１は点像分布関数ＰＳＦ１とシーンｓの畳み込みで表される。
【数２】
2013253964.tif 000004
ここでＰＳＦを、錯乱円をパラメータとしてモデル化し、像ｉ１からＰＳＦを推定できれば錯乱円が算出可能となる。更にはこの錯乱円から結像位置を求めることができ、数式１から距離を算出することができる。
【００４６】
しかしながら数式２ではシーンｓが分からないのでこのままでは錯乱円を正しく求めることはできない。そこで、異なる撮像面位置ｄ２で撮影を行う。この時の像をｉ２とする。
【００４７】
ここでシーンｓのフーリエ変換をＳとし、一枚目の撮影画像のＰＳＦ１をフーリエ変換した光学伝達関数（Optical Transfer Function）をＯＴＦ１、二枚目の撮影画像のＯＴ
ＦをＯＴＦ２とすると、撮影された画像はそれぞれＯＴＦ１×Ｓ、ＯＴＦ２×Ｓと表される。この二画像の比をとると
【数３】
2013253964.tif 000005
となり、シーンに依存しないＯＴＦの比ＯＴＦｒが算出される。数式１と図６の幾何学的関係から物体Ｏの錯乱円を算出することができ、距離を算出することができる。
【００４８】
距離依存値算出ステップでＳ１１３３では、このＯＴＦの比をフィルタリングされた入力画像Ｆ１’、Ｆ２’によって算出する。選択されたシーンをＳｓとすると
【数４】
2013253964.tif 000006
と表される。ＯＴＦは空間周波数によって値が変化するため、フィルタＢＦによって空間周波数を限定していることになる。これによりＯＴＦｒは限定された空間周波数のＯＴＦの比をとることとなり、空間周波数によるＯＴＦの変化のばらつきを低減させることができ距離精度が向上する。距離依存値算出ステップＳ１１３３ではこのＯＴＦの比ＯＴＦｒを距離依存値として出力する。画像比較部１１３によって算出された距離依存値は、距離算出部１１４に入力される。
【００４９】
距離算出部１１４は、空間周波数決定部１１２によって決定された特徴周波数帯ｆｓ、
画像比較部１１３によって算出された距離依存値および撮影パラメータから距離依存値を補正し距離を算出する（Ｓ１０６）。距離算出部１１４が行う距離算出処理Ｓ１０６のフローチャートを図７に示す。
【００５０】
距離算出部１１４は、予め用意された補正テーブルを有し、この補正テーブルと入力された距離依存値、特徴周波数帯、および撮影パラメータから、被写体までの距離を算出する。補正テーブルには撮影パラメータ、空間周波数が与えられた場合のＯＴＦｒ値およびそのＯＴＦｒ値に対応する距離が格納されている。撮影パラメータ、特徴周波数および距離依存値ＯＴＦｒが入力されると、距離算出ステップＳ１１４１は補正テーブルから対応する距離を選択して出力する。ここで撮影パラメータは撮影時の焦点距離およびフォーカス位置の情報である。
【００５１】
ＤＦＤ方式によって出力される距離依存値が異なるため、補正テーブルは方式に合わせて用意する必要がある。また補正テーブルは、関数として保持しても良いし、予め計算されたルックアップテーブルとして保持しても良い。
【００５２】
距離算出部１１４で最終的に算出された距離はメモリ１１５に格納される（Ｓ１０７）。これにより一つの測距点の距離算出が完了する。同様の処理を全ての測距点に対して繰り返し行う（図２のＳ１０１，Ｓ１０２）。
【００５３】
なお、ここで算出した距離は物体側での距離であるが、必ずしも物体側の距離を算出する必要はなく像側における距離を算出してもよい。また、像側のフォーカス位置からの相対的な距離を算出してもよい。更には、用途によっては、距離依存値から距離を算出せずに、距離依存値のまま出力しても良い。
【００５４】
本実施形態では、周波数空間に変換した画像に対するＤＦＤ処理による測距を例に説明してきたが、一般にＤＦＤ法は、撮影パラメータを変えた複数枚の画像からそのぼけの変化を抽出して距離を求める手法であり、複数の方法が存在する。本発明は、ＤＦＤの方式を限定するものではなく、ＤＦＤ法の精度および頑健性を向上させるもので、様々なＤＦＤ法に対して適用することが可能である。
【００５５】
以上のように、本実施形態による距離計測装置では、ＤＦＤ方式による距離情報取得において撮影画像の空間周波数を解析し、撮影画像に含まれる特徴的な空間周波数帯を選択してＤＦＤ処理を行う。これにより、撮影画像中に存在する狭い帯域の空間周波数を用いた適応的な距離算出を行うことになり、空間周波数の違いによる距離推定精度の劣化を低減することが可能となる。
【００５６】
なお、上記の説明では、２つの領域選択画像Ｃ１，Ｃ２を周波数空間に変換した周波数空間画像Ｆ１，Ｆ２に基づいて、距離算出に用いる空間周波数帯を決定している。しかしながら、１枚の画像のみに基づいて周波数帯を決定してもよい。すなわち、いずれかの領域選択画像の周波数空間画像における特徴周波数帯を決定し、この特徴周波数帯を含む空間周波数帯を、距離算出に用いる周波数として決定してもよい。
【００５７】
＜第２の実施形態＞
本実施形態にかかる撮像装置２００の構成を図８に示す。図に示すように構成自体は第１の実施形態と同様であるが、特徴的な空間周波数の算出方法が異なる。具体的には距離計測装置２１０の動作が異なり、その中でも空間周波数決定部２１２および画像比較部２１３の動作が異なる。
【００５８】
本実施形態では、周波数空間における周波数解析を行わず、予め用意された複数の実空
間でのフィルタを用い実空間画像のフィルタリングによって特徴的な周波数帯の判定を行う。以下に第１の実施形態と動作の異なる空間周波数決定部２１２および画像比較部２１３の動作に関して以下に詳細に述べる。
【００５９】
空間周波数決定部２１２の詳しい動作について図９の（ａ）のフローチャートを用いて説明する。まず選択領域確認ステップＳ２１２１では、領域選択部２１１で選択された領域選択画像Ｃ１、Ｃ２を受け取り、Ｃ１、Ｃ２のサイズが同一か確認する。
【００６０】
フィルタ選択ステップＳ２１２２は、所望のフィルタを予めデータベースに用意しておいた２つ以上のフィルタから選択する。ここで保存されているフィルタは例えばハイパスフィルタ、バンドパスフィルタ、ローパスフィルタであり、互いに異なる周波数帯を通過させるフィルタとして設計しておく。ローパスフィルタの場合はぼけの変化を区別できない場合があるので、必ずしもローパスフィルタは必要ではなく、複数のバンドパスフィルタを用意しておいても良い。より狭い帯域の周波数帯を抽出する場合はバンドパスフィルタを複数用意し作用させても良い。また、入力画像Ｃ１、Ｃ２のサイズが小さい時は２種類のフィルタのみを利用してもよく、そうすることで処理の負荷を低減することができる。
ここで用意されているフィルタは周波数空間におけるフィルタではなく実空間の画像に作用させるフィルタであり、例えばハイパスフィルタとしてラプラシアンフィルタ等の微分フィルタ、ローパスフィルタとしてはガウシアンフィルタを用いることができる。そのほかバンドパスフィルタとしてＬｏＧ（Laplacian Of Gaussian）フィルタ、ＤｏＧ（Difference Of Gaussian）フィルタ、ガボールフィルタを用いることができる。
【００６１】
フィルタ選択ステップＳ２１２２においては、保存されているフィルタの中から最も高周波帯を通過させるフィルタを選択し次のステップに選択したフィルタを渡す。これは、高周波ではぼけの変化が大きいため、よりぼけの変化を見分けやすく高精度な距離算出が可能なためである。しかしハイパスフィルタで通過できなかった領域は距離を求められないため、徐々に通過周波数帯を低周波側にずらしながら処理を行う必要がある。
【００６２】
フィルタリングステップＳ２１２３では、フィルタ選択ステップＳ２１２２で選択されたフィルタにより入力画像Ｃ１、Ｃ２に対してフィルタリングを行いフィルタリング画像Ｃｆ１、Ｃｆ２を生成する。ここでのフィルタリングは実空間画像に対して行うため、ハードウェア回路で処理する場合にフーリエ変換を必要とせず回路規模が小さくて済む。
【００６３】
閾値判定Ｓ２１２４では、フィルタリングされた画像Ｃｆ１、Ｃｆ２における分散値をそれぞれ算出し、その分散値が予め設定された閾値を超えているかどうか判定する。閾値を超えていた場合は、フィルタリングを行った周波数帯を多く含むと推定され、使用したフィルタの周波数帯およびフィルタリングした２画像Ｃｆ１、Ｃｆ２を出力する。分散値が閾値以下の場合は再びフィルタ選択ステップＳ２１２２に戻り、使用したフィルタの次に通過周波数帯が高いフィルタを選択して同様処理を繰り返す。このようにして透過周波数帯が高いフィルタから順次フィルタリング結果と閾値との比較を行い、最初に閾値を超える出力が得られるフィルタ（周波数帯）が、特徴的な周波数帯ｆｓとして選択される。
【００６４】
なお、画像中に低周波帯域のみ含まれる場合は、最終的に用意した最も低い周波数帯のフィルタによるフィルタリングとなり、対応する特徴周波数ｆｓとフィルタリングした２画像Ｃｆ１、Ｃｆ２を出力して空間周波数決定部２１２を終了する。
【００６５】
ここで閾値判定に用いる画像はＣ１ｆ、Ｃ２ｆの両方でも良いし、何れか一方を基準にしても良い。すなわち、特徴周波数帯ｆｓを少なくとも１枚の画像から決定するようにしてもよい。その際、フォーカス位置をずらして撮影した場合はより所望のフォーカス位置
に合焦したほうの画像を選択するのが良く、開口を変えて撮影した場合はより被写界深度の深い画像を選択するのが好適である。
【００６６】
また閾値判定する値としてフィルタリング後の画像の分散値を用いたが必ずしも分散値でなくともよく、フィルタにより透過させた周波数成分の強度を判別可能な量であれば他の統計量を用いることもできる。
【００６７】
図９Ａのフローチャートの場合は、フィルタリング回路を一つにすることで速度を犠牲に回路規模を小さくする処理方法であるが、より高速に処理可能なフローを図９Ｂに示す。
【００６８】
この場合はフィルタ選択ステップＳ２１２２を無くし、フィルタリングステップＳ２１２５において予め複数の固定されたフィルタによるフィルタリングステップを用意しておく。これにより複数のフィルタによるフィルタリングを同時に行う。
【００６９】
次に、特徴周波数帯検出ステップＳ２１２６では、フィルタリングされた複数の画像を受け取り、前記閾値判定Ｓ２１２４と同様にハイパスフィルタの結果から順に閾値判定を行い、特徴周波数とフィルタリング画像を出力する。図９Ｂのフローチャートの処理の場合は、フィルタリングの回路とメモリを複数持つ必要があるがより高速に処理をすることが可能となる。
【００７０】
画像比較部２１３は、空間周波数決定部２１２で算出されたフィルタリングした２画像Ｃｆ１、Ｃｆ２から距離依存値を算出する。画像比較部２１３が行う距離依存値算出処理のフローチャートを図１０に示す。
【００７１】
画像比較部２１３は、距離依存値算出ステップＳ２１３１によって実空間によりＤＦＤ法で距離依存値を算出する。その方法として例えば正規化相互相関が利用できる。入力フィルタリング画像Ｃｆ１、Ｃｆ２の正規化相互相関ＮＣＣは
【数５】
2013253964.tif 000007
で算出することができる。この結果を距離依存値として出力する。
【００７２】
距離依存値と特徴周波数帯および撮影パラメータから被写体までの距離を求める処理は第１の実施形態と同様（図７）であるため、説明は省略する。
【００７３】
本実施形態で説明した実空間におけるＤＦＤ処理は第１の実施形態にも適用することが可能である。例えば、第１の実施形態における画像比較部１１３のフィルタリングステップＳ１１３２の後に逆フーリエ変換によってＦ１’、Ｆ２’を実空間に戻しＣ１’、Ｃ２’を得る。これを距離依存値算出ステップＳ１１３３において正規化相互相関をとることでぼけの相関を求めることで距離依存値を求めるといったように適用することができる。
【００７４】
本実施形態では、フーリエ変換等を用いて周波数空間に変換して解析することなく、実空間のフィルタリング結果を用いて特徴的な周波数を決定することができ、回路規模を大きく増やすことなく距離計測の高精度化を図ることが可能となる。
【００７５】
＜第３の実施形態＞
本実施形態にかかる撮像装置３００の構成を図１１に示す。本実施形態の距離計測装置
は第２の実施形態と基本的に同様であるが、距離算出に用いる空間周波数を選択するのではなく、複数の空間周波数からそれぞれ距離を算出してそれらを加重平均して被写体までの距離を求める点で異なる。したがって、本実施形態にかかる距離計測装置３１０には、空間周波数決定部２１２の代わりに加重値算出部（加重値決定部）３１２が設けられている。また、画像比較部３１３および距離算出部３１４の動作も第２の実施形態と異なる。
【００７６】
以下に第２の実施形態と動作の異なる加重値算出部３１２、画像比較部３１３および距離算出部３１４の動作に関して以下に詳細に述べる。
【００７７】
加重値算出部３１２は、まず、図１２のフローチャートに示すように第２の実施形態の図９（ｂ）と同様に選択領域確認ステップＳ３１２１で選択領域を確認する。その後、フィルタリングステップＳ３１２２で、あらかじめ用意された通過帯域の異なる複数のフィルタでフィルタリングを行う。ここではローパスフィルタ、バンドパスフィルタ、ハイパスフィルタの３つのフィルタを用いているが、フィルタの数は任意であって構わない。また、ローパスフィルタやハイパスフィルタを用いずに、複数のバンドパスフィルタのみを用いるようにしても構わない。
【００７８】
フィルタリングされた複数の画像は加重算出ステップＳ３１２３に入力され、フィルタリング画像ごとにフィルタ後の結果に応じた加重が算出される。加重量は、フィルタにより透過された周波数成分の強度が大きいほど大きい値として算出される。例えば、加重量は、フォーカス位置を変えて撮影した場合は所望のフォーカス位置の画像の各フィルタリング画像の分散値などの統計量から算出する。加重値は、複数枚の画像からではなく１枚の画像のみから求めるようにすることもできる。
【００７９】
画像比較部３１３では、同じフィルタをかけた２画像から距離依存値を算出する。画像比較部３１３は、フィルタの数だけ距離依存値を算出する点で第２の実施形態と異なる。なお、それぞれの距離依存値算出処理は、第２の実施形態と同様であるため詳細な説明は省略する。
【００８０】
距離算出部３１４は、図１３のフローチャートに示すように、ステップＳ３１４１において、第１，第２の実施形態と同様に、距離依存値と特徴周波数帯と撮影パラメータとに基づいて距離を算出する。この距離算出処理は、フィルタの数だけ行う。そして、前記加重算出ステップＳ３１２３で算出された加重量を用いて距離の加重平均値を算出し、これを被写体までの距離とする（ステップＳ３１４２）。
【００８１】
第３の実施形態においては、特定の周波数帯を特徴的な周波数帯として選択することはせずに、あらかじめ用意された全てのフィルタリング結果から得られる距離依存値に基づいて被写体までの距離を算出している。この際、領域画像中に、フィルタの透過周波数成分を多く有するほど、そのフィルタ結果に対する加重値を大きくしている。したがって、領域画像に含まれる周波数成分が大きいほど、その周波数フィルタ結果から距離算出に大きく反映されるため、精度のよい距離算出が行える。
【００８２】
なお、あらかじめ用意されている全てのフィルタリング結果を加重平均すると説明しているが、かならずしも全てのフィルタリング結果を利用する必要は無く、一部のフィルタリング結果のみを重み付けして距離算出を行うようにしてもよい。この場合は、まずフィルタリング結果に基づいてどの空間周波数成分を用いて距離算出を行うかを決定し、距離算出に用いると決定された空間周波数成分に対してのみ加重値を算出するようにすればよい。
【００８３】
本実施形態では、周波数ごとの加重値を、あらかじめ用意されたフィルタによるフィル
タリング結果に基づいて算出している。しかしながら、第１の実施形態と同様にフーリエ変換等により領域画像を周波数空間画像に変換し、その結果に基づいて周波数ごとの加重量を算出してもよい。たとえば、周波数空間画像に変換した後に特徴的な周波数帯を複数求めて、それぞれの特徴周波数帯について加重値を求めるようにしてもよい。
【００８４】
本実施形態においても、被写体の距離は、物体側の距離である必要は無く像側における距離を算出してもよい。また、距離依存値から距離を算出せずに、距離依存値のまま出力してもよい。距離依存値を出力とする場合は、フィルタ（空間周波数）ごとに求められる複数の距離依存値を、各フィルタ（空間周波数）に対応する加重値で加重平均をとることにより、出力する距離依存値を決定すればよい。
【００８５】
＜第４の実施形態＞
本実施形態にかかる撮像装置４００の構成を図１４に示す。本実施形態の距離計測装置は基本的には第１の実施形態と同様であるが、空間周波数決定処理を実行する順序が異なる。本実施形態では、領域選択部４１１による領域選択処理の前に空間周波数決定部４１２による空間周波数決定処理を実行する。
【００８６】
距離計測装置４１０の距離算出処理について図１５のフローチャートを用いて説明する。距離算出処理の大まかな流れは以下のようである。まず、２画像のうち少なくとも一方の画像中に存在する空間周波数から距離算出に用いる空間周波数帯を決定する。より具体的には、画像全体を周波数画像へ変換して、特徴的な周波数帯を決定する（Ｓ４０１）。続いて、決定した周波数帯を用いて２画像にバンドパスフィルタを適用し、帯域制限された２画像を得る。次に、帯域制限された２画像に対し距離算出の対象となる領域に対して、距離算出処理に必要な画素を含む画像領域を選択する（Ｓ４０５）。次に、ぼけの異なる複数枚の画像の特徴的な周波数帯の空間周波数帯成分に対してＤＦＤ法を適用して、距離依存値を算出する（Ｓ４０６）。距離依存値に基づいて被写体までの距離を算出する（Ｓ４０７）。この際、上記の特徴的な周波数帯に応じた補正を加えて被写体までの距離を算出する。各ステップの詳細は第１の実施形態と同様である。
【００８７】
本実施形態は第２の実施形態および第３の実施形態に対しても適用可能である。この際、決定された空間周波数帯を通過させる実空間でのバンドパスフィルタは、窓関数法やマクレラン変換法等を用いて設計することができる。
【００８８】
以上のように、本実施形態による距離計測装置では、領域選択する前に撮影画像全体の空間周波数を解析し、撮影画像に含まれる特徴的な空間周波数帯を選択した画像を用いてＤＦＤ処理を行う。これにより、周波数解析の回数およびバンドパスフィルタを適用する回数を減らすことができ演算量を低減することが可能となる。
【００８９】
＜第５の実施形態＞
本実施形態にかかる撮像装置の構成は図１４と同様であるが、特徴的な空間周波数の算出方法が異なる。具体的には距離計測装置４１０の動作が異なり、その中でも空間周波数決定部４１１の動作が異なる。
【００９０】
本実施形態では、周波数空間による周波数解析を行わず、撮像光学系のデフォーカス特性および撮像素子の最大空間周波数を考慮して距離計測に適した周波数帯を決定する。以下に第４の実施形態と動作の異なる空間周波数決定部の動作に関して以下に詳細に述べる。
【００９１】
空間周波数決定部４１１の詳しい動作について図１６のフローチャートを用いて説明する。まずステップＳ４１２１では、撮像素子のサンプリング周波数を確認する。そして、
撮像素子のサンプリング周波数に基づいて、選択する周波数として好適な範囲を求める。撮像素子にはノイズが発生し、特に高周波成分で目立つため、撮像素子に対して高周波帯域を選択するとノイズにより測距精度が劣化する。
本発明者らの検討によると、選択する周波数ｆｃの最大値は撮像素子のナイキスト周波数ｆｎｑが良く、最小値はナイキスト周波数の３割以上が良い。すなわち、サンプリング周波数は、下記数式６に示す条件式を満足することが好ましい。
０．３×ｆｎｑ≦ｆｃ≦１×ｆｎｑ      （数式６）
更には、この範囲の中でより狭い帯域を選択するのが良い。
選択する帯域幅ｆｂはナイキスト周波数の１割以上４割以下に設定するのが良い。すなわち、帯域幅、下記数式７に示す条件式を満足することが好ましい。
０．１×ｆｎｑ≦ｆｂ≦０．４×ｆｎｑ  （数式７）
【００９２】
次にステップＳ４１２２では、撮像光学系のデフォーカスに対する周波数成分ごとのコントラスト低下の劣化具合を確認する。そして、この劣化具合に基づいて、選択する周波数帯の帯域幅として好適な範囲を求める。撮像光学系のデフォーカス特性としては空間周波数が高いほど変化が大きく、低周波になるほど変化が少ないため、高周波領域にするほど測距の敏感度は高くなる。しかしながら、撮像光学系によってはデフォーカスに対する高周波の劣化が大きい場合もある。よって、デフォーカスに対するコントラスト劣化の特性が良い周波数帯を選択するのが良い。なお、設計の際に解像度評価を行う空間周波数近傍からコントラスト評価を行う空間周波数近傍の範囲に設定しても良い。
【００９３】
ステップＳ４１２３では、ステップＳ４１２１とステップＳ４１２２で得られた周波数帯を満たす周波数帯を選択する。
【００９４】
ステップＳ４１２４は、ステップＳ４１２３で選択した周波数帯に対応するバンドパスフィルタを読み出し、２画像に対してフィルタリング処理を行いフィルタリングされた画像を出力する。
【００９５】
本実施形態では、フーリエ変換等を用いて周波数空間に変換しての周波数解析や、実空間のフィルタリングを用いての周波数解析を行うことなく特徴的な周波数帯を選択することが可能となる。よって演算量および回路規模を大きく増やすことなく距離計測の高精度化を図ることが可能となる。
【００９６】
＜変形例＞
ここでは、距離計測装置（画像処理装置）が撮像装置に組み込まれている場合を例に説明したが、この構成は必須ではない。異なる撮影パラメータで撮影されたぼけの異なる複数枚の画像を取得することができれば、距離計測装置は、どのように構成されてもよい。たとえば、撮像装置を有するコンピュータに組み込まれて、撮像装置が撮影した画像を取得して、それに基づいて距離算出を行うようにしてもよい。また、有線あるいは無線によりネットワークアクセス可能なコンピュータに組み込まれて、ネットワークを介して複数枚の画像を取得し、それに基づいて距離算出を行うようにしてもよい。
【００９７】
また、以上の実施形態の距離計測装置では、被写体の距離情報として、被写体までの距離を計測していた。しかし、被写体の相対距離を計測できれば良い場合（例えば、被写体の距離情報に基づいて画像にボケを付与する場合）には、被写体までの距離まで計測しなくても、距離依存値まで計測すれば十分である。本明細書の「被写体の距離情報」は、被写体の距離と対応関係があれば、どのような距離の情報でも良い。例えば、物体側の距離（被写体と合焦位置との距離など）、像面側の距離（デフォーカス量など）、又は、ＤＦＤ法での距離計算で得られる指標値（スコア）、でも良い。
【符号の説明】
【００９８】
１１０，２１０，３１０，４１０  距離計測装置（画像処理装置）
１１１，２１１，３１１，４１２  領域選択部
１１２，２１２，３１２，４１１  空間周波数決定部
１１３，２１３，３１３，４１３  画像比較部
１１４，２１４，３１４，４１４  距離算出部（距離決定部）
【図１】
2013253964.tif 000008
【図２】
2013253964.tif 000009
【図３】
2013253964.tif 000010
【図４】
2013253964.tif 000011
【図５】
2013253964.tif 000012
【図６】
2013253964.tif 000013
【図７】
2013253964.tif 000014
【図８】
2013253964.tif 000015
【図９】
2013253964.tif 000016
【図１０】
2013253964.tif 000017
【図１１】
2013253964.tif 000018
【図１２】
2013253964.tif 000019
【図１３】
2013253964.tif 000020
【図１４】
2013253964.tif 000021
【図１５】
2013253964.tif 000022
【図１６】
2013253964.tif 000023