(57)【要約】【課題】像ズレ量に基づいて距離を検出する距離検出装置において、検出した距離の信頼性を高精度に判定する。【解決手段】結像光学系の異なる瞳領域を通過した光束に基づく第一の画像と第二の画像から距離情報を検出する距離検出装置であって、前記第一の画像および前記第二の画像のそれぞれにフィルタを施して、第三の画像および第四の画像を生成する画像生成手段と、前記第三の画像と前記第四の画像の間の相対的な位置ズレ量に基づいて距離情報を検出する距離検出手段と、前記フィルタの周波数特性に基づいて、前記第三の画像または前記第四の画像の空間周波数の代表値を取得する代表値取得手段と、前記代表値に基づいて前記距離情報の信頼度を決定する信頼度決定手段と、を備え、前記信頼度は、前記代表値の値が大きいほど、高い信頼性を表す値として決定される。【選択図】図１
2018071979.tif 000002
【特許請求の範囲】
【請求項１】
結像光学系の異なる瞳領域を通過した光束に基づく第一の画像と第二の画像から距離情報を検出する距離検出装置であって、
前記第一の画像および前記第二の画像のそれぞれにフィルタを施して、第三の画像および第四の画像を生成する画像生成手段と、
前記第三の画像と前記第四の画像の間の相対的な位置ズレ量に基づいて距離情報を検出する距離検出手段と、
前記フィルタの周波数特性に基づいて、前記第三の画像または前記第四の画像の空間周波数の代表値を取得する代表値取得手段と、
前記代表値に基づいて前記距離情報の信頼度を決定する信頼度決定手段と、
を備え、
前記信頼度は、前記代表値の値が大きいほど、高い信頼性を表す値として決定される、
距離検出装置。
【請求項２】
前記信頼度は、前記第三の画像または前記第四の画像のコントラストの変化量を評価した値である評価値と、前記代表値とに基づいて決定される、
請求項１に記載の距離検出装置。
【請求項３】
前記信頼度は、前記評価値と前記代表値の二乗との積であるか、または当該積に基づく値である、
請求項２に記載の距離検出装置。
【請求項４】
前記第三の画像と前記第四の画像の相関度を、前記第三の画像と前記第四の画像の画素値の差の二乗和を用いて評価し、当該相関度に基づいて前記第三の画像と前記第四の画像の間の相対的な位置ズレ量を取得するズレ量取得手段を備える、
請求項３に記載の距離検出装置。
【請求項５】
前記第三の画像と前記第四の画像の相関度を、前記第三の画像と前記第四の画像の相互相関関数を用いて評価し、当該相関度に基づいて前記第三の画像と前記第四の画像の間の相対的な位置ズレ量を取得する像ズレ量取得手段を備える、
請求項３に記載の距離検出装置。
【請求項６】
前記信頼度は、前記評価値と前記代表値との積であるか、または当該積に基づく値である、
請求項２に記載の距離検出装置。
【請求項７】
前記第三の画像と前記第四の画像の相関度を、前記第三の画像と前記第四の画像の画素値の差の絶対値の和で評価し、当該相関度に基づいて前記第三の画像と前記第四の画像の間の相対的な位置ズレ量を取得する像ズレ量取得手段を備える、
請求項６に記載の距離検出装置。
【請求項８】
前記評価値は、前記第三の画像または前記第四の画像の画素値の分散値である、
請求項２から７のいずれか１項に記載の距離検出装置。
【請求項９】
前記フィルタは、前記第一の画像と前記第二の画像の相対的な位置ズレ量に基づいて生成される、
請求項１から８のいずれか１項に記載の距離検出装置。
【請求項１０】
前記距離検出装置は、前記位置ズレ量に応じた複数のフィルタを記録する記録部を備え
、
前記第一の画像に施されるフィルタと前記第二の画像に施されるフィルタは、前記第一の画像と前記第二の画像の相対的な位置ズレ量に基づいて、前記記録部から読み出される、
請求項１から８のいずれか１項に記載の距離検出装置。
【請求項１１】
前記第一の画像に施されるフィルタと前記第二の画像に施されるフィルタは異なるフィルタである、
請求項１から１０のいずれか１項に記載の距離検出装置。
【請求項１２】
前記代表値は、前記フィルタの空間周波数特性の最大の利得を有する空間周波数、又は、前記空間周波数特性の空間周波数を利得で加重平均した空間周波数、又は、前記空間周波数特性の所定の閾値以上の利得を有する空間周波数のうちの最大の空間周波数である、
請求項１から１１のいずれか１項に記載の距離検出装置。
【請求項１３】
前記距離検出装置は、前記位置ズレ量に応じた代表値を記録する記録部を備え、
前記代表値取得手段は、前記記録装置から前記位置ズレ量に応じた代表値を取得する、
請求項１から１２のいずれか１項に記載の距離検出装置。
【請求項１４】
前記代表値は、前記結像光学系の異なる瞳領域の重心を結ぶ方向における空間周波数の代表値である、
請求項１から１３のいずれか１項に記載の距離検出装置。
【請求項１５】
前記距離検出手段は、前記信頼度決定手段が決定した信頼度に基づいて、前記被写体距離を検出する際に用いるパラメータを設定する、
請求項１から１４のいずれか１項に記載の距離検出装置。
【請求項１６】
前記距離検出手段が検出した距離情報を、前記信頼度に基づいて補正する補正手段をさらに備える、
請求項１から１５のいずれか１項に記載の距離検出装置。
【請求項１７】
前記画像生成手段は、さらに、前記第一の画像と前記第二の画像に、前記フィルタとは異なる第二のフィルタをそれぞれ施して、第五の画像および第六の画像を生成し、
前記距離検出手段は、さらに、前記第五の画像および前記第六の画像の間の位置ズレ量に基づいて第二の距離情報を検出し、
前記代表値取得手段は、さらに、前記第二のフィルタの周波数特性に基づいて、前記第五の画像または前記第六の画像の空間周波数の代表値である第二の代表値を取得し、
前記信頼度決定手段は、さらに、前記第二の代表値に基づいて前記第二の距離情報の信頼度である第二の信頼度を決定し、
前記距離情報、前記信頼度、前記第二の距離情報、および前記第二の信頼度に基づいて、補正した距離情報を生成する補正手段を備える、
請求項１から１６のいずれか１項に記載の距離検出装置。
【請求項１８】
結像光学系の異なる瞳領域を通過した光束に基づく２つの画像から距離情報を検出する距離検出装置であって、
前記２つの画像に基づいて距離情報を検出する距離検出手段と、
前記２つの画像のいずれかにおける空間周波数の代表値を取得する代表値取得手段と、
前記代表値に基づいて前記距離情報の信頼度を決定する信頼度決定手段と、
を備え、
前記信頼度は、前記代表値の値が大きいほど、高い信頼性を表す値として決定される、
距離検出装置。
【請求項１９】
結像光学系と、
前記結像光学系を通過した光束に基づいて画像を生成する撮像手段と、
請求項１から１８のいずれか１項に記載の距離検出装置と、
を備える撮像装置。
【請求項２０】
結像光学系の異なる瞳領域を通過した光束に基づく第一の画像と第二の画像から距離情報を検出する距離検出装置が行う距離検出方法であって、
前記第一の画像および前記第二の画像のそれぞれにフィルタを施して、第三の画像および第四の画像を生成する画像生成ステップと、
前記第三の画像と前記第四の画像の間の位置ズレ量に基づいて距離情報を検出する距離検出ステップと、
前記フィルタの周波数特性に基づいて、前記第三の画像または前記第四の画像の空間周波数の代表値を取得する代表値取得ステップと、
前記代表値に基づいて前記距離情報の信頼度を決定する信頼度決定ステップと、
を含み、
前記信頼度は、前記代表値の値が大きいほど、高い信頼性を表す値として決定される、
距離検出方法。
【請求項２１】
結像光学系の異なる瞳領域を通過した光束に基づく２つの画像から距離情報を検出する距離検出装置が行う距離検出方法であって、
前記２つの画像に基づいて距離情報を検出する距離検出ステップと、
前記２つの画像のいずれかにおける空間周波数の代表値を取得する代表値取得ステップと、
前記代表値に基づいて前記距離情報の信頼度を決定する信頼度決定ステップと、
を備え、
前記信頼度は、前記代表値の値が大きいほど、高い信頼性を表す値として決定される、
距離検出方法。
【請求項２２】
請求項２０または２１に記載の方法の各ステップをコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、距離検出装置に関し、特にデジタルカメラやデジタルビデオカメラなどに用いられる距離検出装置に関するものである。
【背景技術】
【０００２】
デジタルスチルカメラやデジタルビデオカメラにおいて、撮像素子の一部あるいは全部の画素に測距機能を有する画素（以下、「測距画素」ともいう）を配置し、位相差方式を用いて被写体までの距離を検出する技術が知られている。
【０００３】
このような方式では、測距画素に複数の光電変換部を配置し、撮影レンズの瞳上の異なる領域を通過した光束が異なる光電変換部に導かれるように構成される。各測距画素に含まれる光電変換部が出力した信号により、異なる瞳領域を通過した光束によって生成された光像（以下、それぞれ「Ａ像」「Ｂ像」）を取得でき、Ａ像およびＢ像にそれぞれ基づいて複数の画像を取得することができる。なお、Ａ像に対応する瞳領域と、Ｂ像に対応する瞳領域は、瞳分割方向と呼ばれる軸に沿って瞳中心から互いに異なる方向に偏心している。
【０００４】
このような測距画素を用いて取得される複数の画像（以下、それぞれ「Ａ画像」「Ｂ画像」）の間には、瞳分割方向に沿って、デフォーカス量に応じた相対的な位置ズレが生じる。この位置ズレは、像ズレと呼ばれ、像ズレの量を像ズレ量と呼ぶ。像ズレ量を、所定の変換係数を介してデフォーカス量に変換することで、被写体までの距離を取得することができる。このような方式によると、従来のコントラスト方式とは異なり、距離を測定するためにレンズを動かす必要が無いため、高速かつ高精度な測距が可能となる。
【０００５】
像ズレ量の取得には、一般的に、テンプレートマッチングと呼ばれる、領域ベースの対応点探索技術が用いられる。テンプレートマッチングでは、Ａ画像またはＢ画像の一方を基準画像とし、他方の画像を参照画像とする。また、基準画像上に、注目点を中心とする局所領域（以下、照合領域）を設定すると共に、参照画像上にも、注目点に対応する参照点を中心とする照合領域を設定する。そして、参照点を順次移動させながら、照合領域内のＡ画像とＢ画像との相関（すなわち類似度）が最も高くなる点を探索する。この点と、注目点との相対的な位置ズレ量によって、像ズレ量を算出する。
【０００６】
テンプレートマッチングを用いて像ズレ量を算出する場合、画像に含まれる空間周波数に起因して、像ズレ量の算出誤差が大きくなるという問題が発生しうる。例えば、画像の空間周波数が低い場合、テンプレート内での画素値の変化が小さくなるため、対応点を正しく算出することができず、像ズレ量の算出誤差が大きくなる場合がある。
【０００７】
この問題を解決するため、特許文献１に記載の装置では、ステレオ画像に基づいて被写体までの距離を算出するとともに、算出した距離の信頼度を用いることが記載されている。特許文献１には、信頼度として画像のコントラストの変化量又は空間周波数分布を用いることが記載されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特許第３６７５０３９号公報
【特許文献２】特許第３２４０６４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
特許文献１に記載されているコントラストの変化量のみに基づく信頼度を用いると、空間周波数の影響を考慮していないため、信頼度の精度が不十分となり、距離の算出精度が低い領域でも信頼性が高いと判定されることが生じる。また、特許文献１には、画像の空間周波数分布を考慮した信頼度を用いる場合の、空間周波数分布の具体的な算出方法は記載されていない。仮に画像のフーリエ変換により空間周波数分布を算出すると、計算負荷が大きくなり、信頼度の算出時間が増大する。更に特許文献１には、空間周波数分布に基づく信頼度の具体的な算出方法は記載されておらず、算出した距離の信頼性を高精度に判定することは困難である。
【００１０】
上記のような実情を考慮し、本発明は、像ズレ量に基づいて被写体までの距離を検出する距離検出装置において、検出した距離の信頼性を高精度に判定可能とすることを目的とする。
【課題を解決するための手段】
【００１１】
本発明の一態様に係る距離検出装置は、
結像光学系の異なる瞳領域を通過した光束に基づく第一の画像と第二の画像から距離情報を検出する距離検出装置であって、
前記第一の画像および前記第二の画像のそれぞれにフィルタを施して、第三の画像および第四の画像を生成する画像生成手段と、
前記第三の画像と前記第四の画像の間の相対的な位置ズレ量に基づいて距離情報を検出する距離検出手段と、
前記フィルタの周波数特性に基づいて、前記第三の画像または前記第四の画像の空間周波数の代表値を取得する代表値取得手段と、
前記代表値に基づいて前記距離情報の信頼度を決定する信頼度決定手段と、
を備え、
前記信頼度は、前記代表値の値が大きいほど、高い信頼性を表す値として決定される、ことを特徴とする。
【００１２】
本発明の別の一態様に係る距離検出装置は、
結像光学系の異なる瞳領域を通過した光束に基づく２つの画像から距離情報を検出する距離検出装置であって、
前記２つの画像に基づいて距離情報を検出する距離検出手段と、
前記２つの画像のいずれかにおける空間周波数の代表値を取得する代表値取得手段と、
前記代表値に基づいて前記距離情報の信頼度を決定する信頼度決定手段と、
を備え、
前記信頼度は、前記代表値の値が大きいほど、高い信頼性を表す値として決定される、ことを特徴とする。
【００１３】
本発明の一態様に係る距離検出方法は、
結像光学系の異なる瞳領域を通過した光束に基づく第一の画像と第二の画像から距離情報を検出する距離検出装置が行う距離検出方法であって、
前記第一の画像および前記第二の画像のそれぞれにフィルタを施して、第三の画像および第四の画像を生成する画像生成ステップと、
前記第三の画像と前記第四の画像の間の位置ズレ量に基づいて距離情報を検出する距離検出ステップと、
前記フィルタの周波数特性に基づいて、前記第三の画像または前記第四の画像の空間周波数の代表値を取得する代表値取得ステップと、
前記代表値に基づいて前記距離情報の信頼度を決定する信頼度決定ステップと、
を含み、
前記信頼度は、前記代表値の値が大きいほど、高い信頼性を表す値として決定される、ことを特徴とする。
【００１４】
本発明の別の一態様に係る距離検出方法は、
結像光学系の異なる瞳領域を通過した光束に基づく２つの画像から距離情報を検出する距離検出装置が行う距離検出方法であって、
前記２つの画像に基づいて距離情報を検出する距離検出ステップと、
前記２つの画像のいずれかにおける空間周波数の代表値を取得する代表値取得ステップと、
前記代表値に基づいて前記距離情報の信頼度を決定する信頼度決定ステップと、
を備え、
前記信頼度は、前記代表値の値が大きいほど、高い信頼性を表す値として決定される、ことを特徴とする。
【発明の効果】
【００１５】
本発明によれば、像ズレ量に基づいて被写体までの距離を検出する距離検出装置において、検出した距離の信頼性を高精度に判定することが可能となる。
【図面の簡単な説明】
【００１６】
【図１】第１の実施形態に係る距離検出装置を備えるデジタルカメラを説明する図。
【図２】第１の実施形態において光電変換部が受光する光束を説明する図。
【図３】第１の実施形態における処理のデータフロー図。
【図４】第１の実施形態における処理のフローチャート。
【図５】第１の実施形態における像ズレ量算出を説明する図。
【図６】第１の実施形態における代表値およびコントラスト変化量の算出の説明図。
【図７】従来技術と第１の実施形態における信頼度と距離の誤差の関係を示す図。
【図８】第１の実施形態における信頼度が高精度な理由を説明する図。
【図９】第２の実施形態における構成および処理を説明する図。
【図１０】第３の実施形態における処理のデータフロー図。
【図１１】第３の実施形態における処理のフローチャート。
【図１２】実施形態に係るデジタルカメラの動作例を説明する図。
【発明を実施するための形態】
【００１７】
（第１の実施形態）
以下、図を参照しながら本発明の第１の実施形態について詳細に説明する。
【００１８】
以下の説明では、本発明の距離算出装置を備えた装置の一例として、デジタルカメラを用いて説明するが、本発明の適用はこれに限定されるものではない。例えば、本発明の距離検出装置はデジタル距離計測器に適用することができる。
【００１９】
尚、図を参照した説明においては、図番は異なっても原則として同一部位を示す部位には、同一の符号を付すこととし、なるべく重複した説明は避ける。
【００２０】
＜デジタルカメラの構成＞
図１（Ａ）は、本実施形態に係る距離検出装置１１０を備えたデジタルカメラ１００を示す。デジタルカメラ１００は、結像光学系１２０、撮像素子１０１、距離検出装置１１０、画像生成部（不図示）、レンズ駆動制御部（不図示）が、カメラ筐体１９０の内部に配置されて構成される。距離検出装置１１０は、結像光学系１２０、撮像素子１０１、演算処理部１０２、記録部１０４から構成される。演算処理部１０２は論理回路を用いて構
成することができる。演算処理部１０２の別の形態として中央演算処理装置（ＣＰＵ）と演算処理プログラムを格納するメモリとから構成してもよい。
【００２１】
図１（Ｂ）は、演算処理部１０２が有する機能部を示す。演算処理部１０２は、画像読み込み部１１１、像ズレ量取得部１１２、フィルタ生成部１１３、画像生成部１１４、距離算出部１１５、代表値取得部１１６、コントラスト変化取得部１１７、信頼度決定部１１８をその機能部として有する。演算処理装置１０２は、画像に対して距離検出の前処理を施したり、距離検出以外の処理を施したりする機能部を有していているが図示は省略している。各機能部の詳細は後述する。
【００２２】
結像光学系１２０は、デジタルカメラ１００の撮影レンズであり、被写体の像を撮像面である撮像素子１０１に形成する機能を有する。結像光学系１２０は複数のレンズ群（不図示）、絞り（不図示）から構成され、撮像素子１０１から所定距離離れた位置に射出瞳１３０を有する。なお、図１（Ａ）中の符号１４０は結像光学系１２０の光軸を示し、本明細書中では光軸１４０はｚ軸と平行とする。さらに、ｘ軸とｙ軸は互いに垂直であり、且つ光軸と垂直な軸とする。
【００２３】
ここで、このデジタルカメラ１００の動作例について図１２を参照して説明しておく。ただし、以下は、あくまで一例である。図１２は、デジタルカメラ１００のメイン電源が入り、シャッターボタン（不図示）が所謂半押しされた後の動作フローを説明する図である。まず、ステップ１２０１にて結像光学系１２０の情報（焦点距離、絞り値など）を読み出し、メモリ部（不図示）に保存する。次に、ステップ１２０２、１２０３、１２０４の処理を行い、焦点調節を行う。すなわち、ステップ１２０２では、撮像素子１０１から出力される画像データに基づき、図３を用いて後述する距離検出手順を用いてデフォーカス量ならびに信頼度を算出する。ステップ１２０３では、算出したデフォーカス量ならびに信頼度に基づき、結像光学系１２０が合焦状態かどうか判別する。合焦していない場合は、ステップ１２０４にて、レンズ駆動制御部によりデフォーカス量に基づき結像光学系１２０を合焦位置へ駆動したのち、ステップ１２０２へ戻る。ステップ１２０３にて合焦していると判定された場合は、ステップ１２０５にて、シャッターボタン（不図示）の操作によりシャッターがレリーズ（所謂全押し）されたか否かの判定を行う。レリーズされていないと判定された場合は、ステップ１２０２へ戻り、上述の処理を繰り返す。ステップ１２０５にてシャッターがレリーズされたと判定された場合には、撮像素子１０１から画像データを読み出し、記録部１０４に保存する。記録部１０４に保存された画像データに対して画像生成部において現像処理を施すことで、観賞用画像データを生成することができる。また、記録部１０４に保存された画像データに、図３を用いて後述する距離検出手順を適用することで、観賞用画像と対応した被写体距離画像データ（被写体距離分布）ならびに信頼度画像データを生成することができる。
【００２４】
＜撮像素子の構成＞
撮像素子１０１はＣＭＯＳ（相補型金属酸化膜半導体）やＣＣＤ（電荷結合素子）から構成される。結像光学系１２０を介して撮像素子１０１上に結像した被写体像は、撮像素子１０１により光電変換され、被写体像に基づく画像データを生成する。以下、本実施形態の撮像素子１０１について、図１（Ｃ）を用いてより詳細に説明する。
【００２５】
図１（Ｃ）は、撮像素子１０１のｘｙ断面図である。撮像素子１０１は、画素１５０を複数配列することで構成される。
【００２６】
図１（Ｄ）は、画素１５０のＸＺ断面を模式的に示した図である。画素１５０は受光層１８２と導光層１８１から構成される。受光層１８２には、受光した光を光電変換するための２つの光電変換部（第１の光電変換部１６１、第２の光電変換部１６２）が配置され
る。導光層１８１には、画素へ入射した光束を光電変換部へ効率良く導くためのマイクロレンズ１７０、所定の波長帯域の光を通過させるカラーフィルタ（不図示）、画像読み出し用及び画素駆動用の配線（不図示）などが配置される。
【００２７】
＜距離計測の原理説明＞
本実施形態の撮像素子１０１が備える第１の光電変換部１６１及び第２の光電変換部１６２が受光する光束について、図２（Ａ）、図２（Ｂ）を用いて説明する。
【００２８】
図２（Ａ）は、結像光学系１２０の射出瞳１３０と、撮像素子１０１中に配置される画素の代表例として画素１５０についてのみ示した概略図である。図２（Ａ）に示した画素１５０内のマイクロレンズ１７０は、射出瞳１３０と受光層１８２が光学的に共役関係になるように配置されている。その結果、図２（Ａ）に示すように、射出瞳１３０に内包される部分瞳領域である第１の瞳領域（２１０）を通過した光束は第１の光電変換部１６１に入射する。同様に部分瞳領域である第２の瞳領域（２２０）を通過した光束は第２の光電変換部１６２に入射する。
【００２９】
各画素に設けられる複数の第１の光電変換部１６１は、受光した光束を光電変換して第１の画像データ（Ａ画像データ）を生成する。また同様に、各画素に設けられる複数の第２の光電変換部１６２は、受光した光束を光電変換して第２の画像データ（Ｂ画像データ）を生成する。第１の画像データから第１の瞳領域を主に通過した光束が撮像素子１０１上に形成する像（Ａ像）の強度分布を得ることができ、第２の画像データから第２の瞳領域を主に通過した光束が撮像素子１０１上に形成する像（Ｂ像）の強度分布を得ることができる。
【００３０】
図２（Ｂ）は光軸１４０と撮像素子１０１の交点（いわゆる中心像高）から、結像光学系１２０の射出瞳１３０を見た図である。符号２１１は第１の瞳領域２１０の重心位置（第１の重心位置）を示し、符号２２１は第２の瞳領域２２０の重心位置（第２の重心位置）を示している。本実施形態においては、第１の重心位置２２１は、射出瞳１３０の中心から第１の軸２００に沿って偏心（シフト）している。一方、第２の重心位置２２１は、第１の軸２００に沿って、第１の重心位置２１１とは逆の方向に偏心（シフト）している。すなわち、第１の瞳領域と第２の瞳領域は第１の軸に沿って互いに異なる方向に偏心している。本実施形態においては、第１の光電変換部１６１を画素１５０のｘｙ面内の中心から第１の軸と平行なｘ軸に沿って−ｘ方向にシフトしているため、第１の重心位置２１１は第１の軸に沿って＋ｘ方向に偏心している。一方、第２の光電変換部１６２を画素１５０のｘｙ面内の中心から第１の軸と平行なｘ軸に沿って＋ｘ方向にシフトしているため、第２の重心位置２２１は第１の軸に沿って−ｘ方向に偏心している。
【００３１】
第１の画像データと第２画像データは、デフォーカスによって第１の重心位置２１１と第２の重心位置２２１とを結ぶ方向（第１の軸）に位置がズレる。この画像データ間の相対的な位置ズレ量、すなわちＡ像とＢ像の像ズレ量は、デフォーカス量に応じた量となる。よって、第１の画像データと第２の画像データ間の像ズレ量を後述の手法により取得し、変換係数を介して像ズレ量をデフォーカス量に変換することで、被写体までの距離を検出することができる。
【００３２】
なお、図２（Ａ），２（Ｂ）において、第１の瞳領域はｘが正の領域とし、第２の瞳領域はｘが負の領域として図示したが、実際には受光層１８２に到達する光は、光の回折現象により一定の拡がりを有する。また、受光層１８２内部におけるキャリアのクロストークによっても、一定の拡がりを有する。すなわち、ｘが負の領域を通過した光束が第２の光電変換部１６２に入射する場合においても、第１の光電変換部１６１は低感度ながらもこの光束を受光する。従って、第１の瞳領域と第２の瞳領域は明確に区分することはでき
ず、重複した領域を有することになる。本明細書においては、便宜的に第１の瞳領域と第２の瞳領域を明確に区分した形で説明する。
【００３３】
＜距離ならびに信頼度算出手順の説明＞
以下、本実施形態にかかる距離ならびに信頼度の算出手順について、図３および図４（Ａ）を参照しながら詳細に説明する。図３は、本実施形態における距離および信頼度の算出手順におけるデータの流れを説明する図である。図４（Ａ）は、距離および信頼度の算出手順を示すフローチャートである。図４（Ａ）に示す手順は、演算処理部１０２によって実行される。
【００３４】
ステップＳ１では、撮像素子１０１が取得し記録部１０４に格納されている第１の画像データ及び第２の画像データを、画像読み込み部１１１が取得する。
【００３５】
ステップＳ２では、前処理部（不図示）が、第１の画像データと第２の画像データ間の光量バランスの崩れを補正する光量バランス補正処理を行う。光量バランスの補正方法については、公知の方法を用いることができ、例えば、予め均一な面光源をデジタルカメラ１００にて撮影して取得した画像に基づき、第１の画像データと第２の画像データの光量バランスを補正するための係数を算出することができる。
【００３６】
ステップＳ３は測距画像生成工程であり、距離算出を行うための画像を生成する工程である。図４（Ｂ）は、ステップＳ３の測距画像生成工程を説明する図である。
【００３７】
ステップＳ３−１では、像ズレ量取得部１１２が、第１の画像データと第２の画像データを用いて暫定的に像ズレ量を算出する。この像ズレ量を、以下では暫定像ズレ量と呼ぶ。像ズレ量の算出方法について、図５（Ａ）を用いて説明する。
【００３８】
図５（Ａ）は、第１の画像データ４０１と第２の画像データ４０２を示しており、ｘ軸と第１の軸が平行とする。像ズレ量取得部１１２は、基準画像データとして第１の画像データ４０１を選択し、第１の画像データ４０１上の注目点４１０を中心に照合領域４２０を設定する。照合領域４２０が小さい場合には、局所演算に起因する像ズレ量の算出誤差が生じるため、例えば９画素×９画素程度のサイズを用いることが望ましい。次に、像ズレ量取得部１１２は、参照画像データとして第２の画像データ４０２を選択し、第２の画像データ４０２上に、参照点４１１を設定し、参照点４１１を中心に照合領域４２０を設定する。像ズレ量取得部１１２は、第１の軸に沿って、照合領域４２０内の第１の画像データと、照合領域４２０内の第２の画像データ間の相関度を算出し、最も相関度が高い参照点４１１を対応点とする。注目点４１０と対応点間の相対的な位置ズレ量が像ズレ量となる。第１の画像データ上に設定した注目点４１０を第１の軸に沿って順次移動させながら対応点の探索を行うことで、第１の画像データ内の各画素位置における像ズレ量を算出することができる。
【００３９】
相関度の算出方法は公知の手法を用いることができる。本実施形態では、第１の画像データと第２の画像データの差の２乗和を相関度とするＳＳＤ（Ｓｕｍ  ｏｆ  Ｓｑｕａｒｅｄ  Ｄｉｆｆｅｒｅｎｃｅ）を用いた場合について説明する。ＳＳＤによる相関値Ｓは数式（１）で算出される。
【数１】
2018071979.tif 000003
ここで、Ｉ１は第１の画像データ、Ｉ２は第２の画像データであり、ｘ１及びｙ１は第１の画像データ上の照合領域４２０内の座標、ｘ２及びｙ２は第２の画像データ上の照合
領域４２０内の座標を示す。積分記号の積分範囲は照合領域４２０内の範囲を表している。
【００４０】
ステップＳ３−２では、フィルタ生成部１１３が、測距画像を生成するために第１の画像データおよび第２の画像データに適用するフィルタを生成する。ステップＳ３−３において、画像生成部１１４が、生成したフィルタを適用して測距画像を生成する。
【００４１】
ステップＳ３−２およびＳ３−３の工程について、図５（Ｂ）を用いてより詳細に説明する。フィルタ生成部１１３は、図５（Ｂ）のように、第１の画像データを複数の小領域４４０に分割する。フィルタ生成部１１３は、それぞれの小領域４４０について、領域内の各画素４３０に対応する暫定像ズレ量の平均値を求め、その値を元にフィルタを生成する。画像生成部１１４は、それぞれの小領域４４０について生成したフィルタを、その小領域４４０に適用する。第１の画像データ内の全ての小領域について同様の工程を行うことで、第１の画像データから第３の画像データを生成できる。第２の画像データについても同様の工程を行い、第４の画像データを生成できる。第２の画像データに施すフィルタは、第１の画像データに施すフィルタと同じものであってもよいし、第２の画像データに基づいて生成したフィルタであってもよい。
【００４２】
小領域４４０内の暫定像ズレ量の平均値に基づくフィルタの生成処理について、さらに説明する。暫定像ズレ量が大きいときは、デフォーカスにより被写体の高周波成分が減衰し、画像の高周波帯域にはノイズが多く含まれている可能性が高い。そのため、暫定像ズレ量が大きいときには、低周波帯域に利得を有し高周波帯域に利得を有さないフィルタを生成する。一方、暫定像ズレ量が小さいときは、デフォーカス量が小さいため、画像の低周波帯域から高周波帯域まで情報が残っている可能性が高い。そのため、暫定像ズレ量が小さいときには、低周波帯域から高周波帯域まで利得を有するフィルタを生成する。すなわち、暫定像ズレ量が大きいほど高周波帯域をカットし、暫定像ズレ量が小さいほど高周波帯域を透過するようなフィルタを生成する。
【００４３】
このようなフィルタの例として、移動平均フィルタ（平均化フィルタ）やガウシアンフィルタなどの平滑化フィルタが挙げられる。平滑化フィルタにおいてカーネルサイズ（平均値を求めるために参照する画素範囲）を大きくするほど高周波帯域がカットされ、小さくするほど高周波帯域が残存する。このようなフィルタを施すことで、多くの測距信号を含みつつ、ノイズを軽減した画像データを生成することができる。このような画像を用いると、ステップＳ４にて高精度に像ズレ量を算出することが出来る。
【００４４】
ステップＳ４は距離検出工程であり、第３の画像データと第４の画像データに基いて、被写体の距離が検出される。図４（Ｃ）は、ステップＳ４の距離検出工程を説明する図である。ステップＳ４−１では、像ズレ量取得部１１２はステップＳ３−１と同様の手法によって第３の画像データと第４の画像データのあいだの像ズレ量を算出する。具体的には、第３の画像データ上に注目点を含む照合領域が設定され、第４の画像データ上に参照点を含む照合領域が設定される。像ズレ量取得部１１２は、第３の画像データの照合領域と最も高い相関を有する第４の画像データ内の照合領域を探索し、像ズレ量を算出する。第３の画像データ上に設定した注目点を第１の軸に沿って順次移動させながら対応点の探索を行うことで、第３の画像データ内の各画素位置における像ズレ量を算出することができる。
【００４５】
ステップＳ４−２では、距離算出部１１５は、ステップＳ４−１にて算出した像ズレ量を、所定の変換係数を用いてデフォーカス量に変換する。デフォーカス量は、撮像素子１０１から結像光学系１２０の焦点までの距離である。像ズレ量をｄ、変換係数である基線長をｗ、撮像素子１０１から射出瞳１３０までの距離をＬ、デフォーカス量をΔLとした
とき、数式（２）により像ズレ量ｄをデフォーカス量ΔＬに変換できる。
【数２】
2018071979.tif 000004
【００４６】
なお、基線長ｗは、図２（Ｂ）に示した第１の重心位置２１１と第２の重心位置２２１間の距離である。本実施形態では数式（２）を用いて像ズレ量をデフォーカス量に変換しているが、数式（２）においてｗ＞＞ｄが成立するので、数式（３）の近似式によってデフォーカス量ΔＬを算出してもかまわない。
【数３】
2018071979.tif 000005
【００４７】
ステップＳ４−３では、距離算出部１１５は、ステップＳ４−２にて算出したデフォーカス量を、被写体までの距離に変換する。デフォーカス量から被写体距離への変換は、結像光学系１２０の結像関係を用いて行えばよい。
【００４８】
ステップＳ５は、信頼度決定工程であり、ステップＳ４にて算出した距離の信頼度を算出する工程である。信頼度決定工程について、図４（Ｄ）、図６（Ａ）、（Ｂ）を用いて説明する。なお信頼度とは、算出した距離の信頼性を数値化したものであり、距離の算出精度が高い領域ほど、高い信頼性を表す値を有している。
【００４９】
ステップＳ５−１では、代表値取得部１１６が、基準画像データ（ここでは、第３の画像データ）が有する空間周波数分布の代表的な空間周波数である代表値Ｆを算出する。例えば、代表値は、図５（Ｂ）の小領域４４０ごとに、当該小領域４４０に対してステップＳ３でされた第１のフィルタに基づいて算出することができる。例えば、第１のフィルタの空間周波数特性が所定の閾値以上の利得を有する空間周波数のうちの最大の空間周波数を代表値とすることができる。図６（Ａ）は、第１のフィルタの空間周波数特性５０１を表す図であり、横軸は空間周波数、縦軸はフィルタの利得を表している。代表値取得部１０６は、空間周波数特性５０１を参照して、所定の閾値５０２以上の利得を有する空間周波数の範囲を求め、その最大空間周波数の値５０３を代表値とすることができる。
【００５０】
ここでは、空間周波数の代表値を小領域ごとに求めているが、複数の小領域に対して１つの代表値を決定してもよい。この場合、複数の小領域について生成された複数の第１のフィルタを総合したフィルタに基づいて上記と同様に代表値を決定してもよいし、各フィルタに対して上記と同様にして代表値を求めこれらを総合して１つの代表値を決定してもよい。また、第１のフィルタが小領域内の暫定像ズレ量の平均値に基づいて決定されることを考慮すると、空間周波数の代表値は小領域内の暫定像ズレ量に基づいて決定されると捉えることも可能である。
【００５１】
ステップＳ５−２では、コントラスト変化取得部１１７が、コントラスト変化の大きさを表すコントラスト変化量（評価値）を算出する。コントラスト変化量の算出方法について、図６（Ｂ）を用いて説明する。図６（Ｂ）には、第３の画像データ４０３と、ステップＳ４−１の像ズレ量の算出に用いた注目点４１０と照合領域４２０を示している。また、図６（Ｂ）中では、照合領域４２０を拡大して図示しており、ハッチング領域４３０が１画素を示している。以下では、照合領域４２０は、ｘ方向に画素座標ｘｐからｘｑの範囲、ｙ方向に画素座標ｙｐからｙｑの範囲であり、注目点４１０の座標が（ｘ，ｙ）であるとして説明する。
【００５２】
本実施形態では、コントラスト変化量として、照合領域４２０に含まれる第１の画像データの画素値の分散を採用している。コントラスト変化量Ｃ（ｘ，ｙ）を、数式（４ａ），（４ｂ）により算出する。
【数４】
2018071979.tif 000006
Ｉ（ｘ，ｙ）は、画素位置（ｘ，ｙ）における第３の画像データの画素値を表し、Ｎは照合領域４２０内に含まれる画素数を表している。
【００５３】
ステップＳ５−３では、信頼度決定部１１８は、ステップＳ５−１、Ｓ５−２で算出した空間周波数の代表値Ｆ（ｘ，ｙ）とコントラスト変化量Ｃ（ｘ，ｙ）より、画素位置（ｘ，ｙ）における信頼度Ｒ（ｘ，ｙ）を算出する。本実施形態では、信頼度Ｒは数式（５）により算出される。
【数５】
2018071979.tif 000007
【００５４】
数式（５）は、空間周波数の代表値Ｆが大きく（高周波に）なるほど、またコントラスト変化量が多いほど、信頼度Ｒは高い値となり、信頼性が高くなることを表している。なお、信頼度は、数式（５）を定数倍した値や所定値を足した値など、数式（５）で求められる値に基づく値としても構わない。
【００５５】
このような信頼度を用いることで、検出した距離の信頼性を高精度に判定することが出来る。また、画像のフーリエ変換により空間周波数分布を計算する必要が無く、少ない計算負荷で信頼度を得ることができ、高速な信頼性の判定が可能となる。なお、本発明における信頼度Ｒの決定方法は数式（５）に限定されるものではない。数式（５）において、コントラスト変化量Ｃの代わりに任意の定数を用いても良い。あるいは、信頼度Ｒは、空間周波数の代表値Ｆの１乗に比例する形で決定してもよい（R(x,y) = C(x,y)・F(x,y)）
。すなわち、信頼度Ｒは、代表値Ｆの値が大きいほど、高い信頼性を表す値として決定されれば、その具体的な算出式は特に限定されない。これらの信頼度を用いても一定の効果を得ることが出来る。
【００５６】
＜効果＞
既知の距離にある被写体を撮影し、画像の小領域毎に算出した距離の精度と信頼度との関係を図７（Ａ）（Ｂ）に示す。図７（Ａ）は、従来例のコントラストの変化量のみを用いて信頼度を算出した場合の結果を示した図である。図７（Ｂ）は、本実施形態の空間周波数の代表値とコントラストの変化量を用いて信頼度を算出した場合の結果を示した図である。各図の横軸は信頼度を表し、大きい値であるほど算出した距離の信頼性が高いことを表している。縦軸は計算した距離の誤差量を表している。図中の実線６０１及び６０３は低周波帯域から高周波帯域まで利得を有するフィルタを施した小領域の結果を示している。図中の破線６０２及び６０４は低周波帯域のみに利得を有するフィルタを施した小領域の結果を示している。図７（Ａ）のように、従来の信頼度を用いると、信頼度が同じ値のとき、実線６０１と破線６０２とで誤差量が大きく異なり、算出した距離の信頼性を判定できていないことが分かる。一方、図７（Ｂ）のように、本実施形態に係る信頼度を用いると、信頼度が同じ値のとき、実線６０３と破線６０４とは誤差量が近い値となる。すなわち、画像に含まれる空間周波数分布が変化しても、算出した距離の信頼性を高精度に
判定できていることが分かる。
【００５７】
＜改善理由＞
本実施形態に係る信頼度を用いることで、画像に含まれる空間周波数分布が変化しても、算出した距離の信頼性を高精度に判定できる理由を以下に述べる。
【００５８】
図８（Ａ）のように、第３の画像データ４０３及び第４の画像データ４０４は、ｘ方向に空間周波数ｆの余弦関数で画素値が変わる画像とし、互いに１画素の像ズレ量を有する画像であると仮定する。第１の画像を基準画像、第２の画像を参照画像とし、０画素から２画素のズレを与えたときの相関値をそれぞれＣ０、Ｃ１、Ｃ２とする。図８（Ｂ）は、第１の画像と第２の画像にノイズが無い場合の相関値を表した図であり、図の横軸は与えた像ズレ量、縦軸は相関値、黒点は各ズレを与えた時の相関値を表している。図８（Ｂ）のように、相関値はズレが＋１画素のときに極値をとり、算出される像ズレ量７１０は正解値と同じ＋１画素となる。
【００５９】
次に、第１の画像と第２の画像にノイズがある場合を考える。ノイズによって、各相関値は変動し、相関値の極値は＋１画素から少しズレた位置となる。したがって、算出される像ズレ量に誤差が生じる。このとき、相関値Ｃ１と比べて相関値Ｃ０及びＣ２が大きければ、ノイズにより相関値が変動しても、相関値の極値は正解の像ズレ量の近傍に留まるため、像ズレ量の算出誤差は小さくなる。
【００６０】
第１の画像Ｉ１と第２の画像Ｉ２が、ノイズ量Ｎ１およびＮ２を用いて数式（６ａ），８６ｂ）のように表せるとき、相関値Ｃ０、Ｃ１、Ｃ２は、数式（７ａ）〜（７ｃ）のように表される。
【数６】
2018071979.tif 000008
【数７】
2018071979.tif 000009
Ａは画像の振幅、Ｗは参照領域に含まれる画素の数、Ｎ１及びＮ２は画像に含まれるノイズ、ＮＣ０及びＮＣ１及びＮＣ２はノイズによる相関値の変動量を表している。
【００６１】
数式（７ａ）および（７ｃ）のように相関値Ｃ０及びＣ２は、空間周波数ｆの二乗に比例する。これは画像に含まれる空間周波数ｆの二乗に比例して、極値近傍の相関値が大き
くなり、ノイズによる誤差の影響が小さくなることを表している。前述のようにＳＳＤを用いて像ズレ量を算出する場合、空間周波数ｆの二乗に比例して信頼性が高くなるように信頼度を生成することで、算出した距離の信頼性を高精度に評価できる。
【００６２】
また、数式（７ａ）および（７ｃ）より相関値Ｃ０及びＣ２は、振幅Ａの二乗に比例する。振幅Ａの二乗値は、数式（４ａ）で示した画像のコントラスト変化量に比例する。従って、前述の空間周波数に加えて、コントラストの変化量に比例して信頼性が高くなるように信頼度を生成することで、算出した距離の信頼性をより高精度に評価できる。
【００６３】
以上の理由により、本実施形態にかかる信頼度を用いることで、画像に含まれる空間周波数分布が変化しても、算出した距離の信頼性を高精度に評価できる。
【００６４】
＜フィルタ及び空間周波数の代表値＞
前述のステップＳ３において、第１の画像データと第２の画像データに施すフィルタは、互いに異なるフィルタでも良い。図２において、第１の瞳領域２１０と第２の瞳領域２２０は射出瞳１３０の中心に対称な場合を示したが、実際の結像光学系では絞りやレンズ枠のケラレにより互いに非対称な領域となる場合がある。特に撮像素子の周辺部では非対称になり易く、この影響により、第１の画像データと第２の画像データの空間周波数分布は互いに異なる分布となり易い。そこで、利得を有する帯域が互い異なるフィルタを第１の画像データと第２の画像データに施すことで、両画像データに含まれる空間周波数分布の差を軽減した画像データを生成することができる。これらの画像を用いることで撮像素子の周辺部で取得した画像であっても、像ズレ量を高精度に算出することができる。
【００６５】
あるいは特許文献２（特許第３２４０６４８号公報）のように、第１の画像データと第２の画像データの像形状の違いを補正するフィルタを用いても良い。このようなフィルタを施した画像を用いると、像形状の違いを補正でき、像ズレ量を高精度に算出することができる。
【００６６】
第１の画像に施すフィルタは、第１の画像データを基準画像とし第２の画像データを参照画像として算出した暫定像ズレ量を用いて生成してもよい。そして、第２の画像に施すフィルタは、第２の画像データを基準画像とし第１の画像データを参照画像として算出した暫定像ズレ量を用いて生成しても良い。各々の画像データ上において、各画素位置における像ズレ量をより高精度に算出することができ、各画素に適用するフィルタをより高精度に生成することが出来る。
【００６７】
また、前述の実施形態では各小領域に含まれる各画素の暫定像ズレ量の平均値より各フィルタを生成する方法について述べたが、フィルタの生成方法はこれに限定されるものではない。例えば、フィルタは、各画素の暫定像ズレ量の最大値あるいは中央値を用いて生成されても良い。このようにしても前述と同様の効果を得ることが出来る。
【００６８】
前述のステップＳ５において、空間周波数分布の代表値は、他の方法で取得されても良い。図６（Ａ）において、第１のフィルタの利得が最大となる空間周波数５０４を代表値としても良い。あるいは、空間周波数を利得で加重平均した空間周波数５０５を代表値としても良い。空間周波数５０５は数式（８）により算出することが出来る。
【数８】
2018071979.tif 000010
ここで、Ｆは代表値、ｆは空間周波数、Ｇは利得を表しており、積分範囲は空間周波数
の帯域の範囲を表している。
【００６９】
また、第１の画像に施すフィルタと第２の画像に施すフィルタが異なる場合は、第１の画像及び第２の画像に施す両方のフィルタの空間周波数特性に基づいて代表値を取得しても構わない。いずれの方法で取得した代表値を用いて前述の信頼度を生成しても、前述で述べた効果を得ることが出来る。
【００７０】
なお、パターンマッチングを用いる像ズレ量の算出では、第１の軸と平行な方向にコントラスト変化を有する被写体については、精度良く像ズレ量を検出することができる。しかしながら、当該方向のコントラスト変化が小さい被写体については、像ズレ量の検出誤差が大きくなる。そのため、空間周波数分布の代表値は、第１の軸と平行な方向（２つの瞳領域２１０，２２０の重心２１１，２２１を結ぶ方向）における空間周波数より求めることが望ましい。これにより、更に高精度に信頼度を算出することが出来る。
【００７１】
ステップＳ３及びＳ５において、前述の実施例では各フィルタ及び空間周波数の代表値を適時算出することで取得する方法について述べたが、他の方法でもフィルタおよび空間周波数の代表値を取得することが出来る。例えば、暫定像ズレ量の大きさに応じたフィルタと空間周波数の代表値をあらかじめ記憶しておき、暫定像ズレ量に応じて適切なフィルタと空間周波数の代表値を利用するようにしてもよい。この場合、記録部１０４は、各暫定像ズレ量の大きさに応じたフィルタの情報と各フィルタの空間周波数の代表値をあらかじめ保持するように構成する。そして、画像生成部１１４は、ステップＳ３−２で算出した暫定像ズレ量の大きさに応じて、対応するフィルタと代表値のデータを記録部１０４より読み出して利用する。このようにすれば、暫定像ズレ量に応じて適切なフィルタと代表値のデータを高速に取得することができ、高速な距離の算出と信頼度の算出が可能となる。
【００７２】
＜距離算出工程と信頼度算出工程の順番＞
本実施形態の距離算出装置においては、図４（Ａ）に示すようにステップＳ４の距離算出工程を行った後に、ステップＳ５の信頼度算出工程を行っている。しかし、ステップＳ５の信頼度算出工程を行った後に、ステップＳ４の距離算出工程を行っても構わない。ステップＳ５をステップＳ４よりも前に行うことで、距離を算出する前に信頼度を取得することができる。したがって、取得した信頼度に基づき、ステップＳ５の距離検出工程における距離を検出する際に用いるパラメータ（照合領域４２０のサイズ、対応点を探索する範囲など）を設定することで、より高精度に被写体までの距離を算出できる効果がある。
【００７３】
＜他の相関値と信頼度の算出方法＞
前述の実施例では相関度としてＳＳＤを用いた場合の信頼度について述べたが、相関度を算出する式に応じて信頼度の算出式を変更することが出来る。
【００７４】
例えば、相関度として２つの画像データの差の絶対値和ＳＡＤ（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）を用いる場合について述べる。ＳＡＤによる相関値は数式（９）より求まる。
【数９】
2018071979.tif 000011
Ｉ１と第１の画像データ、Ｉ２は第２の画像データであり、ｘ１及びｙ１は第１の画像データ上の照合領域４２０内の座標、ｘ２及びｙ２は第２の画像データ上の照合領域４２０内の座標である。積分記号の積分範囲は照合領域４２０内の範囲である。
【００７５】
このときの信頼度は、数式（１０）にしたがって算出される。
【数１０】
2018071979.tif 000012
ここで、Ｆは空間周波数の代表値、Ｃはコントラスト変化量又は任意の定数を表している。
【００７６】
あるいは、相関度として正規化された相互相関関数を用いることもできる。この手法は、ＮＣＣ（Ｎｏｒｍａｌｉｚｅｄ  Ｃｒｏｓｓ−Ｃｏｒｒｅｌａｔｉｏｎ）あるいはＺＮＣＣ（Ｚｅｒｏ−ｍｅａｎ  Ｎｏｒｍａｌｉｚｅｄ  Ｃｒｏｓｓ−Ｃｏｒｒｅｌａｔｉｏｎ）とも呼ばれる。ＮＣＣによる相関値は数式（１１）、ＺＮＣＣによる相関値は数式（１２）より求まる。
【数１１】
2018071979.tif 000013
【数１２】
2018071979.tif 000014
Ｉ１は第１の画像データ、Ｉ２は第２の画像データであり、ｘ１及びｙ１は第１の画像データ上の照合領域４２０内の座標、ｘ２及びｙ２は第２の画像データ上の照合領域４２０内の座標である。積分記号の積分範囲は照合領域４２０内の範囲である。Ｉａｖｅ１とＩａｖｅ２は各画像データの照合領域内での平均値を表している。
【００７７】
このときの信頼度は、数式（１３）にしたがって算出するとよい。
【数１３】
2018071979.tif 000015
ここで、Ｆは空間周波数の代表値、Ｃはコントラスト変化量又は任意の定数を表している。
【００７８】
これらの信頼度についても、図８を参照して述べた説明が成り立つ。これらの信頼度を用いることで、前述と同様の理由で、画像に含まれる空間周波数成分が変化しても、算出した距離の信頼性を高精度に評価できる。
【００７９】
＜コントラスト変化量＞
前述の信頼度決定工程において、コントラスト変化量を評価するために画素値の分散を算出しているが、コントラスト変化の大きさを評価できればよく、必ずしも分散を用いる必要はない。例えば、標準偏差、画素値の最大値と最小値の差分絶対値、第１の軸方向に画素値を微分した結果の絶対値の最大値または絶対値の平均値を用いてコントラスト変化の大きさを評価しても構わない。望ましくは統計的評価である分散または標準偏差を用い
ることで、ノイズの影響をより低減することができる。また、像ズレ量の算出時の相関度の算出式と対応がとれていることが望ましい。すなわち、相関度の算出式として第１の画像データと第２の画像データ間の差分絶対値和（ＳＡＤ）を用いる場合は画素値の標準偏差、差分二乗和（ＳＳＤ）を用いる場合は、画素値の分散を用いることが望ましい。
【００８０】
テンプレートマッチングでは、照合領域内の第１の軸方向のコントラストの変化量が、マッチングの精度に強く影響する。照合領域内の行毎に第１の軸方向に沿ってコントラストの変化量を計算し、照合領域内でコントラスト変化量を加算もしくは平均することで照合領域に対応するコントラスト変化量を算出しても良い。このようなコントラスト変化量を用いることで、より高精度な信頼度を得ることが出来る。
【００８１】
また、本実施形態の信頼度決定工程においては、第１の画像データを用いてコントラスト変化量を算出しているが、第１の画像データと第２の画像データの両方を用いてコントラスト変化量を算出しても構わない。また、第１の画像データと第２の画像データを合成した第３の画像データを生成し、第３の画像データを用いてコントラスト変化量を算出しても構わない。第１の画像データと第２の画像データの合成には、対応する画素位置の画素値の和または平均を用いれば良い。
【００８２】
コントラスト変化量として、前述の画素値の分散値と、次に述べる画像データ中のノイズ量推定値との比を用いても良い。ノイズ量推定値の算出方法は、まず、あらかじめ均一な輝度分布を有する被写体を、デジタルカメラ１００にて撮影し、撮像素子１０１にて生じるノイズ量を算出する。算出したノイズ量を近似式により近似することで、画素値とノイズ量を対応づけることができる。ノイズ量を近似する際には、撮像素子１０１にて生じる読み出しノイズ、光ショットノイズ、暗電流ショットノイズの特性を考慮し、次の数式（１４）を用いて近似する。
【数１４】
2018071979.tif 000016
ここで、Ｎ（ｘ，ｙ）は画素位置（ｘ，ｙ）におけるノイズ量推定値、ＩＳＯはデジタルカメラ１００の撮影時のＩＳＯ感度、Ｉ（ｘ，ｙ）は画素位置（ｘ，ｙ）における第１の画像データの画素値、Ａ及びＢは近似する際の近似パラメータである。
【００８３】
このような、撮像素子１０１にて生じるノイズ特性を考慮した近似式を用いることで、ノイズ量を精度よく近似することができる。なお、数式（１４）では、近似パラメータＡを定数としたが、暗電流ショットノイズの影響をより精度良く考慮するためには、近似パラメータＡは、デジタルカメラ１００における撮影時の露光時間の変数とすることがより望ましい。また、撮像素子１０１にて生じるノイズ特性を考慮しつつも、より簡易的にノイズ量推定値を算出するために、数式（１５）にしたがってノイズ量を近似しても構わない。
【数１５】
2018071979.tif 000017
ここで、ｍａｘ（ａ，ｂ）は、ａとｂの大小関係を比較し、最大値を算出することを表している。
【００８４】
コントラスト変化量として、このようにして求めたノイズ量推定値と、前述の画素値の分散値との比を用いることができる。デジタルカメラ１００にて、高感度撮影を行う場合や、高輝度の被写体を撮影する場合には、画像に含まれるノイズ量が多くなる。ノイズ量
を考慮してコントラスト変化量を算出し、信頼度を算出することで、ノイズ量が多い場合においても精度良く距離の信頼度を算出することができる。
【００８５】
なお、画素位置（ｘ，ｙ）のノイズ量を推定するために、画素位置（ｘ，ｙ）の画素値を用いているが、照合領域内に含まれる画素値の平均値を用いてノイズ量を推定しても構わない。照合領域内の平均画素値を用いることで、像ズレ量算出時とより近い条件でノイズ量を推定することができ、より高精度に信頼度を算出することができる。また、画素値の分散を用いる場合、数式（１５）の近似式を用いたが、画素値の標準偏差を用いる場合には、数式（１５）の様に１次関数に漸近する近似式ではなく、平方根関数に漸近する近似式を用いることが望ましい。
【００８６】
＜距離検出処理の変形＞
上記の説明では、撮像素子が取得した画像データ（第１の画像データおよび第２の画像データ）に対してフィルタを適用した後の画像データ（第３の画像データおよび第４の画像データ）から、距離を検出している。しかしながら、フィルタを適用することなく、第１の画像データおよび第２の画像データから、距離を検出するようにしてもよい。この場合、代表値取得部１１６は、第１の画像データと第２の画像データの間の像ズレ量に基づいて、代表値を決定すればよい。具体的には、像ズレ量が大きいほど、代表値の値が小さくなるように決定すればよい。これは、前述の説明のように、デフォーカスが大きくなるほど、像ズレ量が大きくなると共に、画像の高周波成分が減衰し、低周波成分が多くなるからである。上記の実施形態では、第１の画像データと第２の画像データの像ズレ量からフィルタを求め、フィルタから代表値を決定しているので、同様の代表値を第１の画像データと第２の画像データの像ズレ量から直接決定することが可能である。
【００８７】
（第２の実施形態）
以下、図を参照しながら、本発明の第１の実施形態とは距離検出手順の異なる本発明の第２の実施形態について説明する。
【００８８】
以下の説明では、本発明の距離検出装置を備えた装置の一例として、デジタルカメラを用いて説明するが、本発明の適用はこれに限定されるものではない。例えば、本発明の距離検出装置はデジタル距離計測器に適用することができる。
【００８９】
本実施形態に係るデジタルカメラ１００は、第１の実施形態と同様に結像光学系１２０、撮像素子１０１、距離検出装置１１０、画像生成部（不図示）、レンズ駆動制御部（不図示）が、カメラ筐体１９０の内部に配置されて構成される。距離検出装置１１０は、結像光学系１２０、撮像素子１０１、演算処理部１０２、記録部１０４から構成される。
【００９０】
図９（Ａ）は、本実施形態において演算処理部１０２が有する機能部を示す。第１の実施形態と比較して、本実施形態は距離補正部１１９を含む点で相違する。
【００９１】
＜距離ならびに信頼度算出手順の説明＞
本実施形態の距離ならびに距離算出手順について、図９（Ｂ）、図９（Ｃ）を用いて説明する。図９（Ｂ）は距離ならびに距離算出手順である。図９（Ｂ）において、第１の実施形態同じ手順については同じ符号を付している。
【００９２】
ステップＳ１では、撮像素子１０１が取得し記録部１０４に格納されている第１の画像データ及び第２の画像データを、画像読み込み部１１１が取得する。
【００９３】
ステップＳ２では、前処理部（不図示）が、第１の画像データと第２の画像データ間の光量バランスの崩れを補正する光量バランス補正処理を行う。光量バランスの補正方法に
ついては、公知の方法を用いることができる。
【００９４】
ステップＳ３は測距画像生成工程であり、第１の画像データと第２の画像データより、距離検出を行うための画像が生成される。具体的には、像ズレ量取得部１１２が、第１の画像データと第２の画像データを用いて像ズレ量を暫定的に算出する。次に、フィルタ生成部１１３が、暫定の像ズレ量の大きさに基づいてフィルタを生成する。そして、画像生成部１１４が、第１の画像データと第２の画像データにフィルタを施すことで、第３の画像データと第４の画像データを生成する。
【００９５】
ステップＳ４は距離検出工程であり、像ズレ量取得部１１２が、第３の画像データと第４の画像データの像ズレ量を算出し、距離算出部１１５が像ズレ量を被写体の距離に変換する。第３の画像データに設定される注目点４１０を移動させながら複数の画素位置にて被写体までの距離を算出し、距離画像データを生成している。
【００９６】
ステップＳ５は信頼度決定工程であり、信頼度決定部１１８が、ステップＳ３と同様に注目点４１０を移動させながら複数の画素位置にて距離の信頼度を算出し、信頼度画像データを生成している。
【００９７】
ステップＳ６は、距離補正工程であり、距離補正部１１９が、距離画像データと信頼度画像データに基づき補正距離を算出する。以下図９（Ｃ）を用いてステップＳ６内の手順について説明する。ステップＳ６−１では、距離補正部１１９は、距離画像データ内に第１の画素位置を設定するとともに、第１の画素位置を中心に参照範囲を設定する。ステップＳ６−２では、距離補正部１１９は、第３の画素位置の補正距離を算出する。具体的には、ステップＳ６−１にて設定した参照範囲内に含まれる距離画像データを、信頼度画像データで加重平均した結果が、補正距離として算出される。距離補正部１１９は、第３の画素位置を移動させながら補正距離情報を算出することで、補正距離画像データを生成する。
【００９８】
より具体的には、補正距離画像データは、数式（１６）に示すように、距離画像データを信頼度画像データを用いて加重平均することで生成される。
【数１６】
2018071979.tif 000018
ここで、Ｄｒ（ｘ，ｙ）は画素位置（ｘ，ｙ）における距離画像データ、Ｄｃ（ｘ，ｙ）は画素位置（ｘ，ｙ）における補正距離画像データ、Ｃｏｎｆ（ｘ，ｙ）は画素位置（ｘ，ｙ）における信頼度画像データを示す。
【００９９】
本実施形態の距離検出手順においては、ステップＳ６において距離画像データ、並びに信頼度画像データに基づき加重平均を行うことで、補正距離画像データを算出している。信頼度画像データに基づき加重平均を行うことで距離画像データの算出誤差が小さい領域の比率を高くして平滑化することができる。この結果、算出される補正距離は、より精度の高い被写体距離となる。
【０１００】
本実施形態においては、数式（１６）に示すように、信頼度画像データを用いて加重平均を行っているが、必ずしも加重平均を行う必要はない。たとえば、信頼度画像データを予め設定した閾値に基づき、信頼度が有る領域と無い領域とに分け、信頼度が有る領域と
対応する画素位置の距離画像データのみを用いて平均値を算出することで補正距離画像データを算出しても構わない。また、第１の画像データを用いることで、画角内に複数の被写体がある場合においても、精度よく補正距離を算出することができる。具体的には、数式（１７）に示すように、距離画像データを、信頼度画像データと画像情報データに基づき重み付け平均をしても構わない。
【数１７】
2018071979.tif 000019
【０１０１】
画像情報データとしては、画素位置（ｘ，ｙ）を基準とした色差、輝度差、コントラスト変化量差を用いることができる。なお、数式（１７）において、Ｉｃは画素位置（ｘ，ｙ）における画像情報データである。また、第３の画素位置から遠い画素位置ほど比率が低くなるように加重平均を行っても構わない。
【０１０２】
（第３の実施形態）
以下、図を参照しながら、本発明の第１の実施形態とは距離検出手順が異なる本発明の第３の実施形態について説明する。
【０１０３】
以下の説明では、本発明の距離検出装置を備えた装置の一例として、デジタルカメラを用いて説明するが、本発明の適用はこれに限定されるものではない。例えば、本発明の距離検出装置はデジタル距離計測器に適用することができる。
【０１０４】
本実施形態のデジタルカメラ１００は、第１の実施形態と同様に結像光学系１２０、撮像素子１０１、演算処理部１０２、記録部１０４が、カメラ筐体１９０の内部に配置され、構成される。距離検出装置１１０は、結像光学系１２０、撮像素子１０１、演算処理部１０２、記録部１０４から構成される。演算処理部１０２が備える機能部は、第２の実施形態（図９（Ａ））と実質的に同一である。
【０１０５】
＜距離ならびに信頼度算出手順の説明＞
本実施形態の距離ならびに距離検出手順について、図１０および図１１を用いて説明する。図１０は、本実施形態における距離および信頼度の算出手順におけるデータの流れを説明する図である。図１１（Ａ）は、距離および信頼度の算出手順を示すフローチャートである。図１１（Ａ）に示す手順は、演算処理部１０２によって実行される。
【０１０６】
ステップＳ１では、撮像素子１０１にて取得し、記録部１０４に格納されている第１の画像データ及び第２の画像データを、画像読み込み部１１１が取得する。
【０１０７】
ステップＳ２では、第１の画像データと第２の画像データ間の光量バランスの崩れを補正する光量バランス補正処理を行う。光量バランスの補正方法については、公知の方法を用いることができる。
【０１０８】
ステップＳ３’は測距画像生成工程であり、第１の画像データと第２の画像データより、距離検出を行うための画像を生成する。本実施形態においては、第１の画像データと第２の画像データから２組の画像データペアを生成する。そのために、予め空間周波数特性が異なる第１のフィルタと第２のフィルタを用意する。第１のフィルタと第２のフィルタは、例えば、記録部１０４に予め記録しておき、必要に応じて読み出すことで使用するこ
とができる。画像生成部１１４は、ステップＳ３’−１では第１の画像データと第２の画像データに第１のフィルタを施して、第３の画像データと第４の画像データを生成する。画像生成部１１４は、ステップＳ３’−２では第１の画像データと第２の画像データに第２のフィルタを施して、第５の画像データと第６の画像データを生成する。
【０１０９】
ここで、２つのフィルタは、例えば、第１の実施形態において暫定像ズレ量の平均値が大きいときに使われるフィルタと、暫定像ズレ量の平均値が小さいときに使われるフィルタの２種類とすることができる。
【０１１０】
また、これら適用する２つのフィルタは動的に変更してもよい。例えば、３つ以上のフィルタをあらかじめ用意しておいて、画像の内容や撮影条件において利用するフィルタを２つ選択するようにしてもよい。
【０１１１】
ステップＳ４’は距離算出工程である。像ズレ量取得部１１２は、ステップＳ４’−１で第３の画像データと第４の画像データに基づき第１の距離画像データを生成する。距離算出部１１５は、ステップＳ４’−２で第５の画像データと第６の画像データに基づき第２の距離画像データを生成する。それぞれの距離画像データの生成方法は、第１の実施形態と同様である。すなわち、第１の距離画像データは、第３の画像データに設定される注目点４１０を移動させながら複数の画素位置にて被写体までの距離を算出することによって生成される。第２の距離画像データは、第５の画像データに設定される注目点４１０を移動させながら複数の画素位置にて被写体までの距離を算出することによって生成される。
【０１１２】
ステップＳ５’は信頼度決定工程であり、第１の距離画像データおよび第２の距離画像データのそれぞれについて、信頼度が算出される。それぞれの信頼度の算出方法は、第１の実施形態と同様である。すなわち、ステップＳ５’−１では、代表値取得部１１６が、ステップＳ３で使用した第１のフィルタより空間周波数の代表値を算出し、コントラスト変化取得部１１７が、第３の画像データよりコントラストの変化量を算出する。信頼度決定部１１８が、この代表値とコントラストの変化量を用いて、第１の距離画像データに対応する第１の信頼度画像データを生成する。ステップＳ５’−２では、代表値取得部１１６が、第２のフィルタより空間周波数の代表値を算出し、コントラスト変化取得部１１７が、第５の画像データよりコントラストの変化量を算出する。信頼度決定部１１８が、この代表値とコントラストの変化量を用いて、第２の距離画像データに対応する第２の信頼度画像データを生成する。信頼度画像データは、ステップＳ４’と同様に第３の画像データあるいは第５の画像データ上の注目点４１０を移動させながら複数の画素位置にて距離の信頼度を算出することで生成する。
【０１１３】
ステップＳ６’は距離補正工程であり、距離補正部１１９は、第１の距離画像データと第２の距離画像データと第１の信頼度画像データと第２の信頼度画像データと、に基づき補正距離を算出する。
【０１１４】
距離補正部１１９は、画像データ上に注目点を設定し、注目点の画素に対応する信頼度データ及び距離データを、信頼度画像データ及び距離画像データから取得する。距離補正部１１９は、第１の信頼度と第２の信頼度の大きさに基づいて第１の距離画像データと第２の距離画像データを加重平均し、補正距離データを算出する。画像データ上の注目点を移動させながら複数の位置で距離データを取得することで補正距離画像データを生成する。
【０１１５】
本実施形態の距離検出手順においては、ステップＳ６’において複数の信頼度データに基づいて、距離画像データを加重平均することで、補正距離画像データを算出している。
これにより距離画像データの算出誤差が小さい領域の比率を高くして平滑化することができる。この結果、算出される補正距離は、より精度の高い被写体距離となる。
【０１１６】
なお、距離画像の補正方法は、必ずしも加重平均で行う必要はなく、第１の信頼度画像データと第２の信頼度画像データとを比較して信頼性が高い方の距離画像データを選択することで補正距離画像を生成しても良い。
【０１１７】
本実施形態では第１のフィルタと第２のフィルタを使用する例について述べたが、これに限定されるものではない。更に多くのフィルタを用いて複数の測距画像を生成し、各測距画像について距離画像データと信頼度画像データを生成し、補正距離画像を生成しても良い。画像中の領域毎に、より適切なフィルタが施された画像に基づく距離データが算出され、信頼度に基づいて補正距離を算出することで、より高精度な距離画像を生成することが出来る。
【０１１８】
本実施形態では、図１１（Ａ）に示すようにステップＳ４’の距離検出工程を行った後に、ステップＳ５’の信頼度決定工程を行っている。しかし、ステップＳ５’の信頼度決定工程を行った後に、ステップＳ４’の距離検出工程を行っても構わない。ステップＳ５’をステップＳ４’よりも前に行うことで、予め信頼度を取得することができる。取得した信頼度に基づきステップＳ５’の距離検出工程で距離検出に用いる画像データを選択し、距離を検出してもよい。このようにすればり、信頼性が低い距離を検出する工程が省略され、距離画像を高速に生成することができる。また、第１の実施形態と同様に信頼度に応じて距離算出条件（照合領域４２０のサイズ、対応点を探索する範囲など）を設定してもよい。このようにすれば、より高精度に被写体までの距離を検出できる。
【０１１９】
＜その他の実施例＞
上述した実施形態では被写体までの距離を算出する例について示したが、像ズレ量を検出する像ズレ量検出装置にも本発明を適用することができる。例えば、像ズレ量検出装置では、像ズレ量に基づいて、合焦位置近傍の被写体を画像から切り出すなどの処理を施すことができる。この像ズレ量検出装置は、第１の実施形態における距離検出装置１１０において像ズレ量を距離に変換せずにそのまま出力する構成とすれば、その他の構成は距離検出装置１１０と同じでよい。
【０１２０】
あるいは、本発明は任意の形式で表現される距離情報を検出する距離情報検出装置として構成しても構わない。距離情報は、ある基準点と被写体とのあいだの距離に応じた値である。典型的には、距離情報検出装置と被写体とのあいだの距離（絶対距離）が距離情報に相当する。距離情報は、一般には、撮像装置と被写体と被写体のあいだの距離から求めれるその他の値であってもよい。距離情報のその他の例は、１画像のフォーカス位置と被写体のあいだの距離、２画像のフォーカス位置の中間位置と被写体のあいだの距離である。また、距離情報は、像面側での距離、物体側での距離のどちらであっても良い。また、距離情報は、実空間の距離で表されてもよいし、デフォーカス量や視差量（像ズレ量）など実空間距離に換算できる量で表されてもよい。このように距離情報は、撮像装置と被写体のあいだの距離（絶対距離）に依存して変化する値である。したがって、距離情報は距離依存値と称することもできる。
【０１２１】
本発明は、距離検出装置や像ズレ量検出装置の他に、コンピュータプログラムをも包含する。本実施形態のコンピュータプログラムは、距離あるいは像ズレ量と信頼度の算出のために、コンピュータに所定の工程を実行させるものである。本実施形態のプログラムは、距離検出装置、像ズレ量検出装置またはそのいずれかを備えるデジタルカメラ等の撮像装置のコンピュータにインストールされる。インストールされたプログラムがコンピュータによって実行されることで上記の機能が実現し、高速で高精度な距離検出、像ズレ量検
出が可能なものとすることができる。
【０１２２】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【０１２３】
１１０  距離算出装置
１１４  画像生成部
１１５  距離算出部
１１６  代表値取得部
１１８  信頼度決定部
【図１】
2018071979.tif 000020
【図２】
2018071979.tif 000021
【図３】
2018071979.tif 000022
【図４】
2018071979.tif 000023
【図５】
2018071979.tif 000024
【図６】
2018071979.tif 000025
【図７】
2018071979.tif 000026
【図８】
2018071979.tif 000027
【図９】
2018071979.tif 000028
【図１０】
2018071979.tif 000029
【図１１】
2018071979.tif 000030
【図１２】
2018071979.tif 000031