(57)【要約】      （修正有）【課題】高速かつ高精度な測距が可能となる距離検出装置を提供する。【解決手段】結像光学系の射出瞳の第１の瞳領域を通過した光束に対応する第１の信号と、第１の瞳領域とは異なる第２の瞳領域を通過した光束に対応する第２の信号と、に基づき、被写体の距離を算出する距離算出部４１と、前記第１の瞳領域に対応する光学伝達関数と前記第２の瞳領域に対応する光学伝達関数とに基づくフィルタを用いて、第１の信号と第２の信号のうちいずれか一つの信号をフィルタ処理する信号処理部４２と、を有する距離検出装置４０。【選択図】図１
2015197512.tif 000002
【特許請求の範囲】
【請求項１】
結像光学系の射出瞳の第１の瞳領域を通過した光束に対応する第１の信号と、前記第１の瞳領域とは異なる第２の瞳領域を通過した光束に対応する第２の信号と、に基づき、被写体の距離を算出する距離算出部と、
前記第１の瞳領域に対応する光学伝達関数と前記第２の瞳領域に対応する光学伝達関数とに基づくフィルタを用いて、前記第１の信号と前記第２の信号のうちいずれか一つの信号をフィルタ処理する信号処理部と、を有することを特徴とする距離検出装置。
【請求項２】
前記いずれか一つの信号は、第１の信号であり、
前記フィルタは、前記第１の瞳領域に対応する光学伝達関数の逆関数と前記第２の瞳領域に対応する光学伝達関数とに基づくフィルタであることを特徴とする請求項１に記載の距離検出装置。
【請求項３】
前記フィルタは、周波数空間において、振幅項と位相項を有する関数で表され、
前記フィルタは、前記第２の瞳領域に対応する位相伝達関数と前記第１の瞳領域に対応する位相伝達関数との差を示す関数を位相項に有するフィルタであることを特徴とする請求項２に記載の距離検出装置。
【請求項４】
前記フィルタは、位相調整するための項を前記位相項に有すること特徴とする請求項３に記載の距離検出装置。
【請求項５】
前記いずれか一つの信号は、前記第１の信号であり、
前記フィルタは、下記式で示す関数を前記位相項に有することを特徴とする請求項４に記載の距離検出装置。
【数１】
2015197512.tif 000013
ただし、ＰＴＦ１は前記第１の瞳領域に対応する位相伝達関数であり、ＰＴＦ２は前記第２の瞳領域に対応する位相伝達関数であり、ＰＧは位相調整項であって実空間において空間周波数によらず一定の値を有する項である。
【請求項６】
前記フィルタは、周波数空間において、振幅項と位相項を有する関数で表され、
前記フィルタは、前記第１の瞳領域に対応する振幅伝達関数と前記第２の瞳領域に対応する振幅伝達関数との比の値を示す関数を前記振幅項に有するフィルタであることを特徴とする請求項１乃至５のいずれか１項に記載の距離検出装置。
【請求項７】
前記いずれか一つの信号は、前記第１の信号であり、
前記フィルタは、前記第２の瞳領域に対応する振幅伝達関数を前記第１の瞳領域に対応する振幅伝達関数で除した関数を前記振幅項に有するフィルタであることを特徴とする請求項６に記載の距離検出装置。
【請求項８】
前記第１の瞳領域に対応する振幅伝達関数は、前記第２の瞳領域に対応する振幅伝達関数よりも大きいことを特徴とする請求項７に記載の距離検出装置。
【請求項９】
前記第１の信号は、前記第２の信号よりもＳ／Ｎがよいことを特徴とする請求項７又は８に記載の距離検出装置。
【請求項１０】
前記フィルタは、下記式で示す関数を前記振幅項に有することを特徴とする請求項７乃至９のいずれか１項に記載の距離検出装置。
【数２】
2015197512.tif 000014
ただし、ＭＴＦ１は前記第１の瞳領域に対応する振幅伝達関数であり、ＭＴＦ２は前記第２の瞳領域に対応する振幅伝達関数であり、Ｋは調整係数であって正の実数である。
【請求項１１】
前記調整係数は、前記第１の信号のＳ／Ｎがよいほど小さい値となることを特徴とする請求項１０に記載の距離検出装置。
【請求項１２】
前記第１の信号と前記第２の信号に基づきズレ量を算出するズレ量算出部を有していることを特徴とする請求項１乃至１１のいずれか１項に記載の距離検出装置。
【請求項１３】
前記ズレ量が閾値より大きい場合、前記信号処理部は、前記第１の信号と前記第２の信号とをフィルタ処理することを特徴とする請求項１２に記載の距離検出装置。
【請求項１４】
前記ズレ量に基づき前記フィルタを生成するフィルタ生成部を有することを特徴とする請求項１２又は１３に記載の距離検出装置。
【請求項１５】
前記第１の瞳領域と前記第２の瞳領域とを有する結像光学系と、
前記第１の信号と前記第２の信号とを取得する撮像素子と、
請求項１乃至１４のいずれか１項に記載の距離検出装置と、を有する撮像装置。
【請求項１６】
結像光学系の射出瞳の第１の瞳領域を通過した光束に対応する第１の信号と、前記第１の瞳領域とは異なる第２の瞳領域を通過した光束に対応する第２の信号と、に基づき、被写体の距離を算出する距離算出工程と、
前記第１の瞳領域に対応する光学伝達関数と前記第２の瞳領域に対応する光学伝達関数とに基づくフィルタを用いて、前記第１の信号と前記第２の信号のうちいずれか一つの信号をフィルタ処理する信号処理工程と、を有することを特徴とする距離検出方法。
【請求項１７】
結像光学系の射出瞳の第１の瞳領域を通過した光束に対応する第１の信号と前記第１の瞳領域とは異なる第２の瞳領域を通過した光束に対応する第２の信号のうちいずれか一つの信号を、前記第１の瞳領域に対応する光学伝達関数と前記第２の瞳領域に対応する光学伝達関数とに基づくフィルタを用いて、フィルタ処理する信号処理部と、
前記信号処理部によってフィルタ処理された前記いずれか一方の信号と、前記第１の信号と前記第２の信号のうち前記いずれか一方の信号とは異なる信号と、のズレ量に対応する視差量を算出する視差量算出部と、を有することを特徴とする視差量検出装置。
【請求項１８】
前記いずれか一つの信号は、第１の信号であり、
前記フィルタは、前記第１の瞳領域に対応する光学伝達関数の逆関数と前記第２の瞳領域に対応する光学伝達関数とに基づくフィルタであることを特徴とする請求項１８に記載の視差量検出装置。
【請求項１９】
前記フィルタは、周波数空間において、振幅項と位相項を有する関数で表され、
前記フィルタは、前記第２の瞳領域に対応する位相伝達関数と前記第１の瞳領域に対応する位相伝達関数との差を示す関数を位相項に有するフィルタであることを特徴とする請求項１８に記載の視差量検出装置。
【請求項２０】
前記フィルタは、周波数空間において、振幅項と位相項を有する関数で表され、
前記フィルタは、前記第１の瞳領域に対応する振幅伝達関数と前記第２の瞳領域に対応する振幅伝達関数との比の値を示す関数を前記振幅項に有するフィルタであることを特徴とする請求項１８に記載の視差量検出装置。
【請求項２１】
前記第１の瞳領域と前記第２の瞳領域とを有する結像光学系と、
前記第１の信号と前記第２の信号とを取得する撮像素子と、
請求項１８乃至２０のいずれか１項に記載の視差量検出装置と、を有する撮像装置。
【請求項２２】
前記撮像素子は、複数の画素を有し、
前記複数の画素のうち少なくとも一つの画素は、前記第１の信号を生成する第１光電変換部と前記第２の信号を生成する第２光電変換部とを有し、
前記信号処理部は、前記フィルタを用いて、前記第１光電変換部と前記第２光電変換部のうち前記撮像素子の中心から遠い位置にある光電変換部によって生成される信号をフィルタ処理することを特徴とする請求項１５又は２１に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、距離検出装置、撮像装置、距離検出方法及び視差量検出装置に関するものである。
【背景技術】
【０００２】
デジタルカメラに適用可能な距離検出技術として、撮像素子の一部の画素に測距機能を持たせ、位相差方式で検出するようにした距離検出技術が知られている。この画素は、結像光学系の瞳上の異なる領域をそれぞれ通過した光束を受光する複数の光電変換部を備え、各光電変換部で生成される像信号のズレ量を推定し、デフォーカス量を算出することで測距を行う。
【０００３】
複数の光電変換部の瞳透過率分布が互いに異なる分布を有すると、像信号が互いに異なる形状となり、像信号のズレ量の推定精度が低下し、測距精度が低下する。特許文献１には、一対の像信号の両方に像信号修正フィルタを施すことで像形状を修正し、測距精度を向上させる手法が記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第３２４０６４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
像信号修正フィルタを一対の像信号の両方に施す場合、特に、タップ数（セル数）が大きいフィルタを用いると、像信号修正処理の処理時間が増加し、測距速度が低下する。
本発明は、上記課題に鑑み、高速で高精度な測距を行うことができる距離検出装置、距離検出方法、または高速かつ高精度に視差量を検出する視差量検出装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の距離検出装置は、結像光学系の射出瞳の第１の瞳領域を通過した光束に対応する第１の信号と、前記第１の瞳領域とは異なる第２の瞳領域を通過した光束に対応する第２の信号と、に基づき、被写体の距離を算出する距離算出部と、前記第１の瞳領域に対応する光学伝達関数と前記第２の瞳領域に対応する光学伝達関数とに基づくフィルタを用いて、前記第１の信号と前記第２の信号のうちいずれか一つの信号をフィルタ処理する信号処理部と、を有することを特徴とする。
【０００７】
また、本発明の距離検出方法は、結像光学系の射出瞳の第１の瞳領域を通過した光束に対応する第１の信号と、前記第１の瞳領域とは異なる第２の瞳領域を通過した光束に対応する第２の信号と、に基づき、被写体の距離を算出する距離算出工程と、前記第１の瞳領域に対応する光学伝達関数と前記第２の瞳領域に対応する光学伝達関数とに基づくフィルタを用いて、前記第１の信号と前記第２の信号のうちいずれか一つの信号をフィルタ処理する信号処理工程と、を有することを特徴とする。
【０００８】
また、本発明の視差量検出装置は、結像光学系の射出瞳の第１の瞳領域を通過した光束に対応する第１の信号と前記第１の瞳領域とは異なる第２の瞳領域を通過した光束に対応する第２の信号のうちいずれか一つの信号を、前記第１の瞳領域に対応する光学伝達関数と前記第２の瞳領域に対応する光学伝達関数とに基づくフィルタを用いて、フィルタ処理する信号処理部と、前記信号処理部によってフィルタ処理された前記いずれか一方の信号と、前記第１の信号と前記第２の信号のうち前記いずれか一方の信号とは異なる信号と、のズレ量に対応する視差量を算出する視差量算出部と、を有することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、高速かつ高精度な測距が可能となる距離検出装置、距離検出方法、または高速かつ高精度に視差量を検出する視差量検出装置を提供することができる。
【図面の簡単な説明】
【００１０】
【図１】実施形態１に係る距離検出装置を有する撮像装置の一例を示す模式図
【図２】測距画素の感度特性と瞳領域を説明する図
【図３】点像分布関数を示す模式図
【図４】実施形態１に係る距離検出方法のフローの一例を示す図
【図５】実施形態１に係る信号修正処理を行い、変形された点像分布関数を示す図
【図６】実施形態１に係る撮像素子の周辺部にある測距画素と、その測距画素の瞳領域を説明する図
【図７】実施形態３に係る距離検出方法のフローの一例を示す図
【発明を実施するための形態】
【００１１】
（実施形態１）
＜距離検出装置＞
以下の説明では、本発明の距離検出装置を備えた撮像装置の一例として、デジタルスチルカメラを用いて説明するが、本発明の適用はこれに限定されるものではない。例えば、本発明の距離検出装置は、デジタルビデオカメラやデジタル距離計測器などにも適用することができる。なお、図を参照した説明においては、図番は異なっても原則として同一部位を示す部位には、同一の符号を付すこととし、なるべく重複した説明は避ける。
【００１２】
図１（ａ）は、本実施形態の距離検出装置４０を有する撮像装置の模式図である。この撮像装置は、距離検出装置４０の他に、撮像素子１０と結像光学系２０と記録装置３０とを有する。さらに、撮像装置は、結像光学系２０の合焦のための駆動機構、シャッター、観賞用画像生成手段、画像確認用の液晶等のディスプレイ等を有している。
【００１３】
図１（ｂ）は、撮像素子１０の一例を示す模式図である。撮像素子１０は、光電変換部１１、１２を含む画素１３を複数有している。撮像素子１０は具体的には、ＣＭＯＳセンサ（相補型金属酸化物半導体を用いたセンサ）や、ＣＣＤセンサ（電荷結合素子を用いたセンサ）等の固体撮像素子を用いることができる。
【００１４】
図１（ｃ）は、画素１３の一例を示す断面模式図である。画素１３の光電変換部１１、１２は基板１４内に形成されている。画素１３はマイクロレンズ１５を有している。
【００１５】
図１に示すように、結像光学系２０は、外界の被写体の像を撮像素子１０の面上に結像する。撮像素子１０は、結像光学系２０の射出瞳２１を透過した光束を、マイクロレンズ１５を介して画素１３の光電変換部１１または光電変換部１２で取得し、電気信号に変換する。具体的には、射出瞳２１の第１の瞳領域を通過した光束は各画素１３の光電変換部１１で電気信号に変換され、射出瞳２１の第１の瞳領域とは異なる第２の瞳領域を通過した光束は各画素１３の光電変換部１２で電気信号に変換される。画素１３は、電気信号を距離検出装置４０に出力するために、フローティングディフュージョン（ＦＤ）部、ゲート電極、配線等を備えている。
【００１６】
距離検出装置４０は、例えば、ＣＰＵ、メモリを含む信号処理基板で構成され、ＣＰＵがプログラムを実行することによりその機能を実現する。信号処置基板は、半導体素子を集積化した集積回路を用いて構成することができ、ＩＣ、ＬＳＩ、システムＬＳＩ、マイクロ処理ユニット（ＭＰＵ）、中央演算装置（ＣＰＵ）等で構成することができる。
【００１７】
距離検出装置４０は、結像光学系２０の射出瞳２１の第１の瞳領域を通過した光束に対応する第１の信号と、第２の瞳領域を通過した光束に対応する第２の信号と、に基づき、被写体の距離を算出する距離算出部４１を有している。なお、第１の信号は、各画素の光電変換部１１で生成された各電気信号の集まりの信号であって、この信号において各画素の位置と各画素の光電変換部１１で生成された各電気信号とが対応付けられている。また、第２の信号は、各画素の光電変換部１２で生成された各電気信号の集まりの信号であって、この信号において各画素の位置と各画素の光電変換部１２で生成された各電気信号とが対応付けられている。また、第１の信号に対してノイズ除去やフィルタ処理した後の信号が、結像光学系２０の射出瞳２１の第１の瞳領域を通過した光束に対応している信号であれば、第１の信号に含まれる。第２の信号についても同様に定義する。
【００１８】
距離検出装置４０は、距離算出部４１の他に、信号処理部４２、ズレ量算出部４３、フィルタ生成部４４を備える。信号処理部４２は、第１の瞳領域に対応する光学伝達関数と第２の瞳領域に対応する光学伝達関数とに基づくフィルタを用いて、第１の信号と第２の信号のうちいずれか一つの信号をフィルタ処理する機能を有している。ズレ量算出部４３は、第１の信号と第２の信号のズレ量を算出する機能を有している。フィルタ生成部４４は、ズレ量算出部４３で算出されたズレ量に基づき、信号処理部４２のフィルタ処理時に使用するフィルタを生成する機能を有している。
【００１９】
記録装置３０は、読み出した信号あるいは演算結果を記録する機能を有している。
【００２０】
本発明の距離検出装置において、画素１３のような複数の光電変換部を有する構成では、光電変換部１１、１２で取得した信号を合算することで、単一の光電変換部を有する画素と同等の画像信号を作成することができる。撮像素子１０の全画素にこのような画素１３を配置してもよいし、一部の画素に画素１３を配置して単一の光電変換部を有する画素と複数の光電変換部を有する画素１３とを両方有する構成であってもよい。後者の構成では、画素１３で測距を行い、残りの画素で被写体の画像を取得することができる。なお、画素１３の配置は、撮像素子１０の中で離散的に配置されていてもよく、Ｘ方向とＹ方向で異なる間隔で配置されていてもよい。
【００２１】
＜距離検出方法＞
本発明においては、画素１３の大きさに対して、結像光学系２０と撮像素子１０の間の距離が長い。このため、結像光学系２０の射出瞳２１上の異なる位置を通過した光束は、異なる入射角の光束として撮像素子１０の面上に入射する。光電変換部１１、１２には、射出瞳２０の形状や撮像素子１０上における光電変換部１１、１２の位置に応じて、所定の角度範囲２２（図１（ａ））からの光束が入射する。入射した光束に対する光電変換部１１、１２の感度特性を、角度に応じて射出瞳上に射影したときの射出瞳上の感度分布を瞳透過率分布という。このときの瞳透過率分布の重心位置を瞳重心という。瞳重心は、以下の式１で算出することができる。式１において、ｒは射出瞳２１上の座標であり、ｔは光電変換部１１、１２の瞳透過率分布を表し、積分範囲は射出瞳２１上の領域である。
【００２２】
【数１】
2015197512.tif 000003
【００２３】
また、光電変換部で受光される光束が通過する領域のうち、瞳重心を含み、光電変換部の感度が高い角度範囲から入射する光束が通過する射出瞳２０上の領域を瞳領域という。また、２つの瞳領域の瞳重心を結ぶ方向を瞳分割方向という。本実施形態においては、瞳分割方向はｘ方向であり、この方向を第１の方向とし、ｘ方向に垂直なｙ方向を第２の方向とする。
【００２４】
図２（ａ）は、ｘｚ平面内において入射した光束に対する、光電変換部１１の感度特性５１と光電変換部１２の感度特性５２を示す。横軸は、ｘｚ平面内における入射光束とｚ軸が成す角度を示し、縦軸は感度を表している。αは、画素に入射する主光線の入射角度である。入射角度は、撮像素子の面内方向と垂直な方向（Ｚ方向）を基準とする。画素１３が撮像素子１０の中央に位置する場合は、αはゼロであり、画素１３が周辺部に位置する場合は、αはゼロ以外の値である。
【００２５】
図２（ｂ）は、結像光学系２０の射出瞳２１、光電変換部１１に対応する瞳透過率分布６１と瞳重心７１と瞳領域８１（第１の瞳領域）を示した図である。瞳領域８１は、射出瞳２１の中心から＋ｘ方向（第１の方向）に偏心した瞳領域である。各画素１３の光電変換部１１は、主として瞳領域８１を通過した光束を受光するように構成されている。この構成により、瞳領域８１を通過した光束に対応する第１の信号Ｓ１が得られる。
【００２６】
図２（ｃ）は、結像光学系２０の射出瞳２１、光電変換部１２に対応する、瞳透過率分布６２と瞳重心７２と瞳領域８２（第２の瞳領域）を示した図である。瞳領域８２は、射出瞳２１の中心から−ｘ方向に偏心した瞳領域である。各画素１３の光電変換部１２は、主として瞳領域８２を通過した光束を受光するように構成されている。この構成により、瞳領域８１を通過した光束に対応する第２の信号Ｓ２が得られる。
【００２７】
信号Ｓｊ（ｊ＝１または２）は、以下の式２で記述できる。
【００２８】
【数２】
2015197512.tif 000004
【００２９】
ｆは被写体の光量分布、＊は畳み込み積分を表している。添え字ｊは、１または２を表す。ＰＳＦｊは、被写体からの光束が信号Ｓｊとして取得される際の、結像光学系２０や撮像素子１０による劣化度合いを表す伝達関数であり、点像分布関数という。ＰＳＦ１とＰＳＦ２の形状の差が、信号Ｓ１とＳ２の形状差を決定する。Ｆはフーリエ変換を表し、Ｆｆは被写体の光量分布ｆをフーリエ変換したものである。ｉＦＦＴは逆フーリエ変換を表している。
【００３０】
ＯＴＦｊは、点像分布関数ＰＳＦｊがフーリエ変換された伝達関数であり、光学伝達関数という。ＯＴＦｊは、空間周波数領域において、振幅伝達関数ＭＴＦｊを振幅項に、位相伝達関数ＰＴＦｊを位相項に有する関数として表される。ＭＴＦｊ及びＰＴＦｊは、それぞれ伝達に伴う各空間周波数成分の振幅及び位置の変化量を決定する関数である。なお、ＯＴＦｊ、ＭＴＦｊ、ＰＴＦｊは、それぞれ第ｊの瞳領域に対応する光学伝達関数、第ｊの瞳領域に対応する振幅伝達関数、第ｊの瞳領域に対応する位相伝達関数である。ｊは１または２である。
【００３１】
この信号Ｓ１と信号Ｓ２のｘ方向（第１の方向）における信号のズレ量から、被写体の距離を算出する。このズレ量は公知の方法により求められる。例えば、一対の信号（Ｓ１、Ｓ２）のうち、片方の信号をｘ方向にずらしながら相関演算を行い、最も相関が高いときのズレ量を算出することで求められる。求めたズレ量から、公知の方法により、デフォーカス量を求め、被写体の距離を算出することができる。
【００３２】
ところで、ＰＳＦと同様に、ＭＴＦ１とＭＴＦ２、ＰＴＦ１とＰＴＦ２とが互いに異なる特性を有していると、信号Ｓ１とＳ２は異なる形状となる。また、点像分布関数ＰＳＦｊは信号Ｓｊに対応して求められ、結像光学系２０の光学特性（焦点距離や絞り、デフォーカス量等）、画素１３の感度特性や撮像素子１０上の位置などによって変動する。ＯＴＦｊ、ＭＴＦｊ、ＰＴＦｊについても同様である。
【００３３】
図３（ａ）、（ｂ）は、ＰＳＦ１及びＰＳＦ２を示したものであり、縦軸及び横軸はそれぞれｘ座標、ｙ座標を表している。各図は、値が大きいほど白く記されている。図３（ｃ）はＰＳＦ１及びＰＳＦ２のｘ方向の断面図を示したものであり、実線はＰＳＦ１、破線ＰＳＦ２を表している。光学系の枠などによる光束のケラレや光電変換部１１、１２の感度の角度依存性が異なることにより、ＰＳＦ１とＰＳＦ２、あるいはＭＴＦ１とＭＴＦ２、あるいはＰＴＦ１とＰＴＦ２は、それぞれ互いに異なる形状を有する関数となる。この場合、第１の信号Ｓ１と第２の信号Ｓ２のズレ量を算出する際に、誤差が生じやすくなる。このため、距離検出の精度が低下する。
【００３４】
これを防ぐためには、像信号修正フィルタを用いて、ズレ量の算出の誤差を低減するための前処理が行われる。本発明は、その前処理に関するもので、その前処理の処理時間を短縮するためのものである。以下に、本発明の距離検出方法に基づいて、この前処理について説明する。
【００３５】
図４は、距離検出装置４０で行われる、被写体までの距離を検出する距離検出方法のフローチャートの一例を示す。この距離検出方法は、暫定ズレ量の算出工程と像信号の修正工程（信号処理工程）と距離の算出工程を有する。本実施形態では、前工程とは、暫定ズレ量の算出工程と像信号の修正工程（信号処理工程）を指す。
【００３６】
＜暫定ズレ量の算出工程＞
まず、図４（ａ）で示すように、ズレ量算出部４３は、第１の信号Ｓ１と第２の信号Ｓ２から、暫定的なズレ量を算出する（ステップＳ１０）。ズレ量は、上述した公知の方法によって求めることができる。
【００３７】
＜像信号の修正工程＞
次に、図４（ａ）で示すように、信号処理部４２は、第１の信号Ｓ１にのみ、像信号修正処理を行う（ステップＳ２０）。Ｓ２０によって、修正信号ＣＳ１が生成される。なお、本実施形態では、第１の信号Ｓ１に像信号修正処理を施す例を示して説明するが、第２の信号Ｓ２にのみ像信号修正処理を施してもよい。
【００３８】
像修正処理Ｓ２０は、図４（ｂ）で示すように、像信号修正フィルタの作成工程（ステップＳ２１）と修正信号の生成工程（ステップＳ２２）を有する。Ｓ２１では、フィルタ生成部４４がＳ１０で算出した暫定ズレ量を基に像信号修正フィルタを作成する。例えば、暫定ズレ量の大きさに応じたフィルタデータ（セル値）を予め保持しておき、暫定ズレ量の大きさに基づき、それに対応したフィルタデータを呼び出すことで作成する。次に、信号処理部４２が、第１の信号Ｓ１にＳ２１で生成した像信号修正フィルタを畳み込み積分することで修正信号ＣＳ１を生成する。
【００３９】
なお、この処理で使用される像信号修正フィルタは以下のような特性を有する。すなわち、像信号修正フィルタは、ｘ方向にＡｘ、ｙ方向にＡｙ（Ａｘ及びＡｙは２以上の整数）のセル数を有する２次元フィルタである。また、像信号修正フィルタは、光学伝達関数ＯＴＦｊに基づいて作成される。より具体的には、像信号修正フィルタは、第１の瞳領域に対応する光学伝達関数ＯＴＦ１の逆関数と第２の瞳領域に対応する光学伝達関数ＯＴＦ２に基づいて作成され、像信号修正フィルタＩＣＦは、以下の式３で表される。
【００４０】
【数３】
2015197512.tif 000005
【００４１】
ＰＧ１、ＰＧ２はそれぞれ、ＰＳＦ１、ＰＳＦ２の重心位置のデフォーカスに伴う移動量を、各空間周波数に対する位相量に換算した位相項である。ＩＣＦは、周波数空間において、ＯＴＦ１の逆関数とＯＴＦ２の積（ＯＴＦ２／ＯＴＦ１）に、位相項ＰＧ１とＰＧ２を追加した関数で表される。式３は、以下、式４乃至７で表すことができる。
【００４２】
【数４】
2015197512.tif 000006
【００４３】
ＨＭ及びＨＰは、ＩＣＦの周波数空間における振幅項と位相項である。ＰＧは、実空間におけるＰＳＦ１とＰＳＦ２の重心位置間の距離を、周波数空間における各空間周波数に対する位相量に換算した位相調整項である。ＰＧは、像信号修正処理により像信号が重心間距離分だけ動くことを防ぐために加えている。また、ＰＧは、実空間において空間周波数によらず一定の値を有する項であり、信号の形状には影響しない項である。なお、式３は他の式の形に変形してもよい。いずれの変形式も、本発明にかかる像信号修正フィルタの実施形態に含まれるものである。
【００４４】
上述したように、ＩＣＦは、結像光学系２０の状態（焦点距離や絞り、デフォーカス量）撮像素子１０上の画素１３の位置などの測距条件に応じて決定される。各条件に対応するフィルタデータを予め保持しておき、条件に応じてフィルタデータを読み出すことでＩＣＦを得る。また、上記の他には、代表的な暫定ズレ量に対応するフィルタデータのみを保持しておき、代表値以外の暫定ズレ量に対しては、予め保持してあるフィルタデータ間を補間することでフィルタを作成してもよい。あるいは、フィルタデータを関数で近似し、関数の各係数を保持してもよい。例えば、フィルタのセル値を、フィルタ内の位置を変数とするｎ次関数（ｎは正の整数）で近似し、関数の各係数を保持しておく。次に測距条件に応じて係数を読み出し、フィルタを作成する。このような方法により、保持するフィルタデータ量を削減でき、フィルタ保持用の記録容量を低減できる。
【００４５】
像信号修正処理されて生成された修正信号ＣＳ１は、式２、４乃至７を用いて、式８で表わされる。
【００４６】
【数５】
2015197512.tif 000007
【００４７】
この結果、修正信号ＣＳ１に対応する振幅伝達関数はＭＴＦ２となり、位相伝達関数はＰＴＦ２と信号の形状に影響しないＰＧとの和となる。
【００４８】
修正信号ＣＳ１は、ＰＳＦ１を変形した点像分布関数ＣＰＳＦ１を用いると、式９のように記述できる。なお、ＣＰＳＦ１の形状が修正信号ＣＳ１の形状を決定する。
【００４９】
【数６】
2015197512.tif 000008
【００５０】
図５（ａ）は、ＣＰＳＦ１を示したものであり、縦軸及び横軸はそれぞれｘ座標、ｙ座標を表しており、図３（ａ）、（ｂ）と同じく、値が大きいほど白く記されている。図５（ｂ）はＣＰＳＦ１及びＰＳＦ２のｘ方向の断面図を示したものであり、実線はＣＰＳＦ１、破線ＰＳＦ２（図３（ｃ）の破線と同じ）を表している。図５（ｂ）から分かるように、修正信号ＣＳ１と第２の信号Ｓ２は、互いに形状が近い信号となり、ズレ量が高精度に算出することができる。このため、後述する距離算出工程によって被写体の距離を高精度に算出することができる。なお、式２でｉ＝２を代入した式と、式８を比べると、修正信号ＣＳ１と第２の信号Ｓ２との差分は、位相調整項ＰＧの有無であることから、互いに形状が近い信号であることが分かる。
【００５１】
さらに、上記のような像信号修正フィルタを用いることで、像信号修正処理を片方の像信号（第１の信号Ｓ１）に対してのみ行うだけで、もう一方の像信号（第２の信号Ｓ２）の形状に近い修正信号を得ることができる。そのため、像信号修正処理の計算負荷を減らすことができ、高速な前処理が可能となる。
【００５２】
＜距離の算出工程＞
そして、図４（ａ）で示すように、距離算出部４１は、修正信号ＣＳ１と第２の信号Ｓ２のｘ方向（第１の方向）におけるズレ量から、被写体の距離を算出する（ステップＳ３０）。このズレ量は、暫定ズレ量算出処理（Ｓ１０）と同じ方法を用いることができ、ズレ量算出部４３によって算出される。また、被写体の距離は、例えば、式１０により、デフォーカス量ΔＬを求め、結像光学系２０の結像関係から算出される。ｄはズレ量、Ｌは射出瞳２１と撮像素子１０までの距離、ｗは基線長を表している。
【００５３】
【数７】
2015197512.tif 000009
【００５４】
あるいは、ズレ量ｄとデフォーカス量ΔＬを結び付ける変換係数を予め算出しておき、検出したズレ量と変換係数を用いてデフォーカス量ΔＬを算出してもよい。あるいは、ズレ量と被写体距離を結びつける変換係数を用いて、被写体の距離を直接算出してもよい。撮影条件や撮像面上における光電変換部の位置に応じて基線長を算出する演算を省くことができ、高速な距離算出が可能となる。
【００５５】
＜ノイズヘの対応＞
像信号修正処理Ｓ２０は、第１の信号Ｓ１と第２の信号Ｓ２のうち、Ｓ／Ｎがよい方の信号を像信号修正処理することが望ましい。一般的に信号Ｓにはノイズが含まれる。ノイズは、例えば光電変換部で受光した光を電気信号に変換する際に発生する。第１の信号Ｓ１にノイズδｎが含まれる場合の修正信号ＣＳ１は、式１１のように記載できる。
【００５６】
【数８】
2015197512.tif 000010
【００５７】
δｎ・ＭＴＦ２／ＭＴＦ１の項は、修正信号ＣＳ１に及ぼすノイズの影響を表す項であり、ＭＴＦ２／ＭＴＦ１が大きいほど、ノイズδｎの影響が大きくなることを表している。特にＭＴＦ２／ＭＴＦ１が１より大きくなると、ノイズが増幅され、修正信号ＣＳ１が大きく劣化する。そのため、ＭＴＦ１とＭＴＦ２のうち大きい方が分母となるように、像信号修正する信号を選択することが望ましい。ＭＴＦの比較は、ＰＳＦ１とＰＳＦ２の和で規格化したＰＳＦｊをフーリエ変換して得られる関数の振幅項ＭＴＦ１とＭＴＦ２とで行う。ＭＴＦが大きいと、光電変換部で取得される信号が増大し、信号のＳ／Ｎがよくなる。このため、第１の信号Ｓ１と第２の信号Ｓ２のうち、Ｓ／Ｎがよい方の信号を選択し、その信号のみを像信号修正処理を行うことでノイズの影響を軽減することができる。
【００５８】
例えば、図６（ａ）のように、撮像素子１０の周辺部においては、画素１３に含まれる光電変換部１１、１２のうち、撮像素子１０の中心から遠くに位置する光電変換部１１で取得した信号を像信号修正処理することが望ましい。これは、以下の理由による。図６（ｂ）のように、画素１３には、傾いた（＋θｘｚの角度を有する）光が多く入射する。図６（ｃ）、（ｄ）のように、結像光学系２０の枠によるケラレの影響が増え、射出瞳２１の形状が変形する。光電変換部１１は射出瞳２１の広い瞳領域１８１を、光電変換部１２は射出瞳２１の狭い瞳領域１８２を通過した光束を受光する。このように、画素１３においては、撮像素子１０の中心から遠くに位置する光電変換部ほど、瞳領域が広くなり、ＭＴＦは向上し、信号のＳ／Ｎは向上する。このため、第１の信号Ｓ１と第２の信号Ｓ２のうち、画素１３に含まれる光電変換部１１、１２のうち、撮像素子１０の中心から遠くに位置する光電変換部１１で取得した信号を像信号修正処理することでノイズの影響を軽減することができる。
【００５９】
＜その他の像信号修正フィルタ＞
像信号修正フィルタＩＣＦは、振幅項ＨＭあるいは位相項ＨＰのいずれか一方の項を有するフィルタであってもよい。つまり、像信号修正フィルタＩＣＦは、式１２、式１３のように、周波数空間における振幅あるいは位相のみを補正するフィルタを用いてもよい。
【００６０】
【数９】
2015197512.tif 000011
【００６１】
このようなフィルタを用いても、第１の信号Ｓ１を形成する振幅伝達関数あるいは位相伝達関数のいずれか一方を、第２の信号Ｓ２を形成する振幅伝達関数あるいは位相伝達関数に近づけることで、ズレ量の誤差を軽減することができる。式１２、式１３で表されるフィルタも第１の瞳領域に対応する光学伝達関数と第２の瞳領域に対応する光学伝達関数とに基づくフィルタである。
【００６２】
本実施形態において、実空間でフィルタを信号に畳み込み積分することで修正信号を生成する処理方法について示したが、周波数空間で像信号修正処理を行ってもよい。周波数空間におけるフィルタデータ（式４における逆フーリエ変換ｉＦＦＴの括弧内のデータ）を予め保持しておく。次に、取得した信号Ｓ１をフーリエ変換し、周波数空間における修正信号ＦＳ１を生成する。修正信号ＦＳ１にフィルタを乗算し、逆フーリエ変換することで修正信号ＣＳ１を生成することができる。フィルタを施す際に、畳み込み積分するよりも計算負荷を軽減することができ、高速かつ高精度な測距が可能となる。
【００６３】
また、像信号修正フィルタＩＣＦを構成する各伝達関数は、上述した関数でなくても、他の関数で近似した関数を用いてもよい。各伝達関数を多項式等で近似した関数を用いてもよい。これらの方法で像信号修正フィルタＩＣＦを生成しても、前述の像信号修正の効果を得ることができる。
【００６４】
＜測距結果＞
本発明の距離検出装置の測距結果は、例えば、結像光学系の焦点検出に用いることができる。本発明の距離検出装置によって、高速かつ高精度に被写体の距離を測定することができ、被写体と結像光学系の焦点位置とのズレ量を知ることができる。結像光学系の焦点位置を制御することで、被写体に対して高速かつ高精度に焦点位置を合わせることができる。本実施形態の距離検出装置を備えてデジタルスチルカメラ、デジタルビデオカメラ等の撮像装置を構成でき、距離検出装置の距離検出結果に基づき、光学系の焦点検出を行うことができる。また、本発明の距離検出装置を用いて距離マップを生成することができる。
【００６５】
（実施形態２）
本実施形態では、実施形態１とは異なる像信号修正フィルタを用いる例について説明する。それ以外は実施形態１と同じであるので、以下では、本実施形態で用いる像信号修正フィルタについて述べる。
【００６６】
本実施形態の像信号修正フィルタＩＣＦは、ＭＴＦ１が小さいほど修正効果が小さく、ＭＴＦ１が大きいほど修正効果が大きくなる、振幅調整項ＭＭを有している。具体的には、像信号修正フィルタＩＣＦは式１４、式１５のように記載できる。
【００６７】
【数１０】
2015197512.tif 000012
【００６８】
Ｋは調整係数であり、正の実数である。Ｋの大きさによって各空間周波数成分の振幅及び位相の補正効果を調整することができる。ＭＭはＭＴＦ１が小さくなると小さな値となる。像信号修正フィルタＩＣＦが、このようなＭＭを有することで、ＭＴＦ１が大きい空間周波数成分（信号Ｓ１の主成分）は像信号修正効果が得られ、ＭＴＦ１が小さい空間周波数成分ではノイズの影響を抑えることができる。
【００６９】
調整係数Ｋは、信号Ｓ１のＳ／Ｎに応じて変更してもよい。例えば、図４のＳ２０の像信号修正処理において、像信号修正フィルタの生成工程Ｓ２１において、信号のＳ／Ｎを元に調整係数Ｋの大きさを調整する係数調整処理を行ってもよい。信号Ｓ１のＳ／Ｎがよいときは、調整係数Ｋを小さい値（最小０）にし、Ｓ／Ｎが悪い時は、調整係数Ｋを大きい値にする。信号のＳ／Ｎに応じて、ノイズの影響を調整することができ、より高精な像信号修正及び測距が可能となる。これらの方法を備えた像信号修正処理を行うことにより、ノイズの影響を抑えることができ、前述と同様に、高速かつ高精度な測距が可能となる。
【００７０】
本実施形態においても実施形態１と同じく、周波数空間で像信号修正処理を行ってもよいし、第２の信号Ｓ２を像信号修正処理してもよい。また、第１の信号Ｓ１と第２の信号Ｓ２のうち、Ｓ／Ｎがよい方の信号を像信号修正処理することが望ましい。
【００７１】
（実施形態３）
本実施形態は、実施形態１に対して距離検出装置が、ズレ量算出部４３によって算出されたズレ量の大きさを基に、像信号修正処理を行うか否かを判定する判定部（不図示）をさらに有している。本実施形態の距離検出方法を、図７に示す。
【００７２】
第１の信号Ｓ１と第２の信号Ｓ２の形状差は、デフォーカス量が大きく、ズレ量が大きいほど大きくなる。そのため、ズレ量が大きいとき、ズレ量の検出誤差が大きくなり、測距精度が悪化する。一方、ズレ量が小さいと、ズレ量の検出誤差は小さくなるため、測距精度は維持される。そのため、図７のように、第１の信号Ｓ１と第２の信号Ｓ２の暫定ズレ量の大きさが閾値に対して大きいか否かを判定する判定処理工程（ステップＳ４０）を暫定ズレ量の算出工程Ｓ１０の後に設ける。
【００７３】
ズレ量が閾値よりも大きい場合は、実施形態１と同じ像信号修正処理（Ｓ２０）を行い、その後距離算出処理工程（Ｓ３０）を行う。一方、ズレ量が閾値以下である場合は、像信号修正処理（Ｓ２０）は行わず、暫定ズレ量をズレ量として距離算出処理工程（Ｓ３０）を行う。なお、Ｓ４０の判定処理工程において、閾値の大きさは、ズレ量の検出誤差と許容誤差との比較によって決定することができる。ズレ量の許容誤差は、目標とする測距精度と距離検出装置の構成や用途によって決定される。
【００７４】
このような判定工程を設けることによって、被写体の概略の距離（デフォーカス量）に応じて適切な測距を行うことができ、より高速かつ高精度な測距を行うことができる。
【００７５】
本実施形態においても実施形態１と同じく、周波数空間で像信号修正処理を行ってもよいし、第２の信号Ｓ２を像信号修正処理してもよい。また、第１の信号Ｓ１と第２の信号Ｓ２のうち、Ｓ／Ｎがよい方の信号を像信号修正処理することが望ましい。
【００７６】
（実施形態４）
上述した実施形態では被写体の距離を算出する例について示したが、ズレ量に対応する視差量を検出する視差量検出装置にも本発明を提供することができる。例えば、視差量検出装置では、ズレ量に基づいて、合焦位置近傍の被写体を画像から切り出すなどの処理を施すことができる。なお、視差量とは、２つの信号のズレ量であってもよく、またはそれらに関連した物理量であってもよい。
【００７７】
この視差量検出装置は、実施形態１の距離検出装置４０の距離算出部４１の代わりに、２つの信号のズレ量に対応する視差量を算出する視差量算出部を有する構成とすれば、その他の構成は距離検出装置４０と同じでよい。なお、２つの信号とは、具体的には、第１の信号と第２の信号のうち像信号修正処理された一方の信号と、第１の信号と第２の信号のうち像信号修正処理されない他方の信号である。さらに、視差量検出装置は、視差量（ズレ量）に応じて、所定の視差量の被写体を画像から抽出する抽出部を有していてもよい。
【００７８】
本実施形態の視差量検出方法は、図４（ａ）のフローチャートにおいて、距離算出処理Ｓ３０の代わりに視差量算出処理を行うようにすれば、その他の処理工程は、図４（ａ）、（ｂ）と同じでよい。なお、視差量の算出は、式１０を用いてデフォーカス量を算出してもよいし、信号のズレ量を算出してもよいし、それらに関連した物理量を算出するようにしてもよい。
【００７９】
本実施形態においても、第１の信号と第２の信号のうちいずれか一方の信号にだけ、像信号修正フィルタを用いたフィルタ処理を施すため、高速で高精度に視差量を検出することができる。
【００８０】
また、この視差量検出装置も実施形態１乃至３の距離検出装置と同様に撮像装置の一部として用いることができる。
【００８１】
本実施形態においても実施形態１と同じく、周波数空間で像信号修正処理を行ってもよい。また、第１の信号Ｓ１と第２の信号Ｓ２のうち、Ｓ／Ｎがよい方の信号を像信号修正処理することが望ましい。
【００８２】
（実施形態５）
本発明は、距離検出装置や視差量検出装置の他にコンピュータプログラムをも包含する。本実施形態のコンピュータプログラムは、距離の算出あるいは視差量の算出のために、コンピュータに所定の工程を実行させるものである。
【００８３】
本実施形態のプログラムは、距離検出装置、視差量検出装置またはそのいずれかを備えるデジタルカメラ等の撮像装置のコンピュータにインストールされる。インストールされたプログラムがコンピュータによって実行されることで上記の機能が実現し、高速で高精度な距離検出、視差量検出が可能なものとすることができる。
【００８４】
また、本実施形態のプログラムは、記録媒体の他、インターネットを通じて頒布することも可能である。
【００８５】
具体的な実装は、ソフトウェア（プログラム）による実装と、ハードウェアにより実装のいずれも可能である。例えば、距離検出装置、視差量検出装置、撮像装置に内蔵されたコンピュータ（マイコン、ＣＰＵ、ＭＰＵ、ＦＰＧＡ等）のメモリにコンピュータプログラムを格納し、当該コンピュータプログラムをコンピュータに実行させて、各処理を実現させてもよい。また、本発明の全部または一部の処理を論理回路により実現するＡＳＩＣ等の専用プロセッサを設けることも好ましい。また、本発明は、クラウド環境におけるサーバーにも適用可能である。
【００８６】
また、例えば、記憶装置に記録されたプログラムを読み込み実行することで前述した実施形態の機能を実現するシステムや装置のコンピュータによって実行されるステップからなる方法によっても、本発明を実施することができる。この目的のために、上記プログラムは、例えば、ネットワークを通じて、又は、上記記憶装置となり得る様々なタイプの記録媒体（つまり、非一時的にデータを保持するコンピュータ読取可能な記録媒体）から、上記コンピュータに提供される。よって、上記コンピュータ（ＣＰＵ、ＭＰＵ等のデバイスを含む）、上記方法、上記プログラム（プログラムコード、プログラムプロダクトを含む）、上記プログラムを非一時的に保持するコンピュータ読取可能な記録媒体は、いずれも本発明の範疇に含まれる。
【符号の説明】
【００８７】
４０  距離検出装置
４１  距離算出部
４２  信号処理部
【図１】
2015197512.tif 000015
【図２】
2015197512.tif 000016
【図４】
2015197512.tif 000017
【図６】
2015197512.tif 000018
【図７】
2015197512.tif 000019
【図３】
2015197512.tif 000020
【図５】
2015197512.tif 000021