(57)【要約】      （修正有）【課題】被写体に対し画像間の比較領域が異なる場合に、相関値に含まれるズレ量について従来と同等の補正効果を有しながら、画素配置の制約を緩和し設計自由度を向上させる測距装置を提供する。【解決手段】測距装置１００は、結像光学系１２０によって結像される像を受光する複数の画素１０２が二次元に配列された撮像素子１０１と、撮像素子の出力信号に基づいて被写体の距離情報を取得する取得手段１０３と、を備え、撮像素子のそれぞれの画素行は、結像光学系の同じ瞳領域を通過する光束を受光する画素から構成され、取得手段は、同じ瞳領域１３１を通過する光束を受光する少なくとも２つの画素行の出力信号から第１の像ズレ量を取得し、異なる瞳領域１３２を通過する光束を受光する少なくとも２つの画素行の出力信号から第２の像ズレ量を取得し、第１の像ズレ量および第２の像ズレ量から被写体の距離情報を取得する。【選択図】図１
2019070610.tif 000002
【特許請求の範囲】
【請求項１】
結像光学系によって結像される像を受光する複数の画素が二次元に配列された撮像素子と、
前記撮像素子の出力信号に基づいて被写体の距離情報を取得する取得手段と、
を備え、
前記撮像素子のそれぞれの画素行は、前記結像光学系の同じ瞳領域を通過する光束を受光する画素から構成され、
前記取得手段は、同じ瞳領域を通過する光束を受光する少なくとも２つの画素行の出力信号から第１の像ズレ量を取得し、異なる瞳領域を通過する光束を受光する少なくとも２つの画素行の出力信号から第２の像ズレ量を取得し、前記第１の像ズレ量および前記第２の像ズレ量から被写体の距離情報を取得する、
ことを特徴とする測距装置。
【請求項２】
前記撮像素子は、
前記結像光学系の第１瞳領域を通過する第１光束を受光する第１画素を含む複数の第１画素行と、
前記第１瞳領域とは異なる領域である前記結像光学系の第２瞳領域を通過する第２光束を受光する第２画素を含む第２画素行と、
を有し、
前記取得手段は、前記第１画素行同士または前記第２画素行同士の出力信号から前記第１の像ズレ量を取得し、前記第１画素行および前記第２画素行の出力信号から前記第２の像ズレ量を取得する、
ことを特徴とする請求項１に記載の測距装置。
【請求項３】
前記撮像素子は、
前記結像光学系の第１瞳領域を通過する第１光束を受光する第１画素を含む複数の第１画素行と、
前記第１瞳領域とは異なる領域である前記結像光学系の第２瞳領域を通過する第２光束を受光する第２画素を含む第２画素行と、
前記第１瞳領域および前記第２瞳領域とは異なる領域である前記結像光学系の第３瞳領域を通過する第３光束を受光する第３画素を含む第３画素行と、
を有し、
前記取得手段は、前記第３画素行同士の出力信号から前記第１の像ズレ量を取得し、前記第１画素行および前記第２画素行の出力信号から前記第２の像ズレ量を取得する、
ことを特徴とする請求項１に記載の測距装置。
【請求項４】
前記撮像素子は、第１の結像光学系によって結像される像を受光する第１の撮像素子と、第２の結像光学系によって結像される像を受光する第２の撮像素子とを含み、
前記取得手段は、前記第１の撮像素子に含まれる画素行同士または前記第２の撮像素子に含まれる画素行同士の出力信号から前記第１の像ズレ量を取得し、前記第１の撮像素子に含まれる画素行および前記第２の撮像素子に含まれる画素行から前記第２の像ズレ量を取得する、
ことを特徴とする請求項１に記載の測距装置。
【請求項５】
前記取得手段は、被写体のエッジ成分の角度に基づいて、被写体の傾きによって生じる画素行間の行ズレ量を予め補正係数として求め、前記第２の像ズレ量から前記補正係数を乗じた前記第１の像ズレ量を減ずることにより求まる値を用いて距離情報を取得する、
ことを特徴とする請求項４に記載の測距装置。
【請求項６】
前記取得手段は、隣接する画素行の出力信号から前記第１の像ズレ量または前記第２の像ズレ量を取得する、
ことを特徴とする請求項１から５のいずれか１項に記載の測距装置。
【請求項７】
前記取得手段は、隣接する画素行の出力信号から前記第２の像ズレ量を取得し、前記第２の像ズレ量の算出に用いる画素行を含む複数の画素行の出力信号から前記第１の像ズレ量を取得する、
ことを特徴とする請求項１から６のいずれか１項に記載の測距装置。
【請求項８】
前記取得手段は、前記第２の像ズレ量から前記第１の像ズレ量を減ずることにより求まる値を用いて前記距離情報を取得する、
ことを特徴とする請求項１から７のいずれか１項に記載の測距装置。
【請求項９】
前記取得手段は、複数の前記第１の像ズレ量を取得し、前記第２の像ズレ量から複数の前記第１の像ズレ量の平均値を減ずることにより求まる値を用いて前記距離情報を取得する、
ことを特徴とする請求項１から８のいずれか１項に記載の測距装置。
【請求項１０】
複数の前記第１の像ズレ量は、前記第２の像ズレ量の算出に用いる画素行の上側に位置する画素行同士の出力信号から求められる前記第１の像ズレ量と、下側に位置する画素行同士の出力信号から求められる前記第１の像ズレ量とを含む、
ことを特徴とする請求項９に記載の測距装置。
【請求項１１】
複数の前記第１の像ズレ量は、前記第２の像ズレ量の取得に用いる画素行と連続して配置される画素行同士の出力信号から求められる少なくとも２つの前記第１の像ズレ量を含む、
ことを特徴とする請求項９または１０に記載の測距装置。
【請求項１２】
前記取得手段は、前記第１の像ズレ量の算出に用いる画素行の行間隔と前記第２の像ズレ量の算出に用いる画素行の行間隔とから求まる値で前記第１の像ズレ量を除した値を用いて前記距離情報を取得する、
ことを特徴とする請求項１から１１のいずれか１項に記載の測距装置。
【請求項１３】
前記取得手段は、前記第２の像ズレ量から画素の受光感度特性が異なることに起因する像ズレ誤差を補正する、
ことを特徴とする請求項１から１２のいずれか１項に記載の測距装置。
【請求項１４】
結像光学系によって結像される像を受光する複数の画素が二次元に配列され、それぞれの画素行が前記結像光学系の同じ瞳領域を通過する光束を受光する画素から構成される撮像素子の出力信号を取得するステップと、
同じ瞳領域を通過する光束を受光する少なくとも２つの画素行の出力信号から第１の像ズレ量を取得し、異なる瞳領域を通過する光束を受光する少なくとも２つの画素行の出力信号から第２の像ズレ量を取得し、前記第１の像ズレ量および前記第２の像ズレ量から被写体の距離情報を求めるステップと、
を有することを特徴とする測距方法。
【請求項１５】
請求項１４に記載の方法の各ステップをコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、測距装置および測距方法に関する。
【背景技術】
【０００２】
デジタル一眼レフカメラ等の測距方法として、視差を有する複数の画像間の相関値から求められる視差量を用いて被写体との距離情報を算出する方法が多く用いられている（位相差測距方式）。具体的には、視差量は複数の画像間での画素座標に対する像の位置ズレ量として測定され、この位置ズレ量のことを像ズレ量とも言う。相関値は、各画像の一部の領域を比較領域として切り出し、相関演算を行うことで求められる。ここで、画像間において比較領域が被写体に対し異なる部分である場合、算出される相関値には求めるべき視差量以外の値が含まれる。例えば、比較領域が上下にずれており、かつ斜めのエッジがある被写体の場合、算出される相関値には行間距離×ｔａｎθのズレ量が含まれる。
【０００３】
特許文献１では、撮像素子上の基準とする画素行に対し、上下の位置に配置される開口形状（感度分布）が異なる画素からなる画素行との各相関値を加算平均することでズレ量の補正を行う技術を開示している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１３−１９０７３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１では、基準とする画素読み出し行の画素と上下の読み出し行の画素との開口形状が異なっている必要がある。さらに、上下の読み出し行の画素は、互いに開口形状が同様である必要があり、撮像素子における画素配置の設計自由度に制限が生じる。
【０００６】
そこで、本発明は、被写体に対し画像間の比較領域が異なる場合に、相関値に含まれるズレ量について従来と同等の補正効果を有しながら、画素配置の制約を緩和し設計自由度を向上させることができる技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の第一の態様は、
結像光学系によって結像される像を受光する複数の画素が二次元に配列された撮像素子と、
前記撮像素子の出力信号に基づいて被写体の距離情報を取得する取得手段と、
を備え、
前記撮像素子のそれぞれの画素行は、前記結像光学系の同じ瞳領域を通過する光束を受光する画素から構成され、
前記取得手段は、同じ瞳領域を通過する光束を受光する少なくとも２つの画素行の出力信号から第１の像ズレ量を取得し、異なる瞳領域を通過する光束を受光する少なくとも２つの画素行の出力信号から第２の像ズレ量を取得し、前記第１の像ズレ量および前記第２の像ズレ量から被写体の距離情報を取得する、
ことを特徴とする測距装置である。
【０００８】
本発明の第二の態様は、
結像光学系によって結像される像を受光する複数の画素が二次元に配列され、それぞれの画素行が前記結像光学系の同じ瞳領域を通過する光束を受光する画素から構成される撮像素子の出力信号を取得するステップと、
同じ瞳領域を通過する光束を受光する少なくとも２つの画素行の出力信号から第１の像ズレ量を取得し、異なる瞳領域を通過する光束を受光する少なくとも２つの画素行の出力信号から第２の像ズレ量を取得し、前記第１の像ズレ量および前記第２の像ズレ量から被写体の距離情報を求めるステップと、
を有することを特徴とする測距方法である。
【０００９】
本発明の第三の態様は、上記測距方法の各ステップをコンピュータに実行させるためのプログラムである。
【発明の効果】
【００１０】
本発明によれば、被写体に対し画像間の比較領域が異なる場合に、相関値に含まれるズレ量について従来と同等の補正効果を有しながら、画素配置の制約を緩和し設計自由度を向上させることができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態１に係る測距装置の一例を示す図
【図２】本発明の実施形態１に係る撮像素子の一例を示す図
【図３】本発明の実施形態１に係る撮像画像の一例を示す図
【図４】本発明の実施形態１に係る測距処理の一例を示すフローチャート
【図５】本発明の実施形態１に係る視差量算出処理の一例を示すフローチャート
【図６】本発明の実施形態１の変形例１に係る撮像素子の一例を示す図
【図７】本発明の実施形態１に変形例２に係る撮像素子の画素の一例を示す図
【図８】本発明の実施形態２に係る撮像素子の一例を示す図
【図９】本発明の実施形態３に係る測距装置の一例を示す図
【図１０】本発明の実施形態３に係る撮像素子の一例を示す図
【図１１】本発明の実施形態に係る撮像素子の感度特性の一例を示す図
【図１２】本発明の実施形態に係る撮像素子の感度特性の一例を示す図
【図１３】本発明の実施形態に係る撮像素子の感度特性の一例を示す図
【発明を実施するための形態】
【００１２】
（実施形態１）
以下、本発明の実施形態１について説明する。
【００１３】
＜全体構成＞
図１は、本実施形態に係る測距装置１００の一例を示す構成図である。本実施形態に係る測距装置１００は、カメラ１１０および結像光学系１２０等で構成される。カメラ１１０は、撮像素子１０１、演算処理部１０３（取得手段）等で構成される。撮像素子１０１には、結像光学系１２０によって結像される像を受光する複数の画素１０２が二次元に配列される。各画素１０２は、視差画像を取得できるよう入射角に応じた受光感度特性を備えた構成となっている。
【００１４】
演算処理部１０３は、ＡＳＩＣ（特定用途向け集積回路）などの論理回路を用いて構成することができる。また演算処理部１０３の別の形態として、中央演算処理装置（ＣＰＵ）と演算処理プログラムを格納するメモリとから構成してもよい。本実施形態では、演算処理部１０３は、撮像素子１０１の出力信号に基づいて被写体（星印）の距離情報を取得する。
【００１５】
＜撮像素子の構成＞
撮像素子１０１は、ＣＭＯＳ（相補型金属酸化膜半導体）やＣＣＤ（電荷結合素子）から構成され、撮像面位相差測距方式による測距機能を有する撮像素子である。結像光学系１２０を介して撮像素子１０１上に結像した被写体像は、撮像素子１０１の光電変換部により画像信号に変換される。取得した画像信号に対して、演算処理部１０３により現像処理を施すことで、観賞用画像信号を生成することができる。また生成した観賞用画像をメモリに格納することができる。撮像素子は、観賞用画像信号や測距のために用いる画像信号を取得する画像取得部に相当する。
【００１６】
本実施形態では、撮像素子１０１は、結像光学系１２０の射出瞳１３０のうちの第１瞳領域１３１を通過する第１光束１２１を受光する第１画素を備える。また、撮像素子１０１は、結像光学系１２０の射出瞳１３０のうちの第１瞳領域１３１と異なる領域である第２瞳領域１３２を通過する第２光束１２２を受光する第２画素を備える。
【００１７】
図２（Ａ）は、本実施形態に係る撮像素子１０１の一例を示す構成図である。撮像素子１０１は、第１画素がｘ方向に並んで配置される画素行（２０１Ａおよび２０２Ａ）と、第２画素行がｘ方向に並んで配置される画素行（２０３Ｂおよび２０４Ｂ）とを含む。以下、第１画素からなる画素の行のことを第１画素行と称し、第２画素からなる画素の行のことを第２画素行と称する。撮像素子１０１の他の領域は、第１画素行と第２画素行とが２行ずつ交互に配置される。なお、画素行の並ぶ方向はｘ方向に限定されない。例えば、画素行はｙ方向に並んでもよい。画素行の並び方向（本実施形態ではｘ方向）と、第１および第２画素の対応関係（本実施形態では、ｘ方向の左右に受光感度特性が異なる）とが同一の方向であればよい。
【００１８】
図２（Ｂ）と（Ｃ）は、それぞれ本実施形態に係る第１画素と第２画素の一例を示す構成図である。各画素１０２は、画素へ入射した光束を光電変換部へ効率良く導くためのマイクロレンズ２１１、所定の波長帯域の光を通過させるカラーフィルタ２１２、受光した光を光電変換するための光電変換部２１０（２１０Ａまたは２１０Ｂ）等で構成される。光電変換部２１０は、基板２１３上に形成され、検出する波長帯域に感度を有する。本実施形態では、光電変換部２１０は、各画素１０２の中心線２１４に対して±ｘ方向にずらして配置され、各々の画素は入射角に応じた受光感度特性を有する。
【００１９】
光電変換部２１０Ａは、受光した第１光束１２１を光電変換して画像信号（出力信号）を生成する。同様に、光電変換部２１０Ｂは、受光した第２光束１２２を光電変換して画像信号を生成する。こうして、演算処理部１０３は、光電変換部２１０Ａの画像信号から第１の瞳領域２１０を主に通過した光束が撮像素子１０１上に形成する像の強度分布を得ることができる。また、演算処理部１０３は、光電変換部２１０Ｂの画像信号から第２の瞳領域２２０を主に通過した光束が撮像素子１０１上に形成する像の強度分布を得ることができる。
【００２０】
各画素１０２には、カラーフィルタ２１２によって検出する波長帯域に応じたＲＧＢ（Ｒｅｄ，Ｇｒｅｅｎ，Ｂｌｕｅ）、またはＩＲ（Ｉｎｆｒａ  Ｒｅｄ）の分光特性が与えられ、公知の配色パターン（不図示）によってｘｙ平面上に配置されている。また、各画素１０２は、画像読み出し用及び画素駆動用の配線（不図示）を備えている。
【００２１】
＜相関値に含まれるズレ量＞
本実施形態では、第１画素行および第２画素行の出力信号の相関値から視差量を求め、当該視差量から公知の手法により距離情報を取得する。相関値は、各画像の一部の領域を比較領域として切り出し、相関演算を行うことで求められる。
行方向（水平方向）の視差量は、本来同じ画素行（垂直位置）に位置する開口形状の異
なる画素の出力信号の相関値を用いて求めることが望ましい。ここで、撮像素子１０１のプロセスや素子設計等の都合により、同じ画素行内に同一の開口形状を持つ素子を配置できない場合、同一行内の画素同士では視差を有しないため異なる画素行同士を比較する必要がある。しかし、異なる画素行同士から算出される相関値には、求めるべき視差量以外に後述するズレ量が含まれる場合がある。以下では、本実施形態に係るズレ量が生じる例について図３に示す被写体の例を用いて説明する。
【００２２】
図３は、本実施形態に係る撮影画像３００を示す。図３に示すように、被写体３０１のエッジ（エッジ成分）は撮像素子１０１の行方向に垂直な方向に対し角度θを持つ。この場合、第１画素行２０２Ａと第２画素行２０３Ｂの間で算出される第２の像ズレ量ｓ２には求めるべき視差量の他に、各比較領域の位置が被写体に対しずれていることに起因する大きさｔａｎθ×行間距離のズレ量が含まれる。
【００２３】
このズレ量を補正するため、演算処理部１０３は、第１画素行同士である２０１Ａおよび２０２Ａの間で相関演算を行い、算出される相関値より求めた第１の像ズレ量ｓ１を用いてｓ２を補正する。第１の像ズレ量ｓ１は、同じ開口形状（感度分布）の画素である第１画素同士から生成される出力信号間の相関演算により求まる像ズレ量であるため、視差量を含まない。つまり、ｓ１には相関演算を行う比較領域が被写体に対し１行ずれたことに起因する大きさｔａｎθ×行間距離のズレ量のみが含まれる。以下では、演算処理部１０３の具体的な処理の流れについて図４に示すフローチャートを用いて説明する。
【００２４】
＜距離情報の取得＞
まず、演算処理部１０３は、撮像素子１０１の出力信号（画像信号）を取得する（Ｓ１０２）。次に、演算処理部１０３は、相関演算を行う画素行の選択を行う（Ｓ１０４）。本実施形態では、演算処理部１０３は、相関演算を行う画素行として、第１画素行２０１Ａ，２０２Ａおよび第２画素行２０３Ｂを選択する。そして、演算処理部１０３は、第１画素行２０１Ａ，２０２Ａおよび第２画素行２０３Ｂの出力信号の相関値に基づいて視差量ｄを求める（Ｓ１０６）。相関値の算出方法としては、例えば、出力信号間の正規化相互相関を評価するＮＣＣ（Ｎｏｒｍａｌｉｚｅｄ  Ｃｒｏｓｓ−Ｃｏｒｒｅｌａｔｉｏｎ）等と呼ばれる公知の手法を用いることができる。視差量の算出方法の詳細については、図５のフローチャートを用いた処理説明において行う。
【００２５】
演算処理部１０３は、視差量ｄに基づいて、被写体と測距装置との距離を算出する（Ｓ１０８）。以下、被写体と測距装置との距離を被写体距離と称する。まず、演算処理部１０３は、視差量ｄを所定の変換係数を用いて撮像素子１０１から結像光学系１２０の焦点までの距離であるデフォーカス量へ変換する。変換係数は、撮像素子１０１が備える画素の受光感度の入射角度依存、射出瞳１３０の形状、射出瞳１３０の撮像素子１０１からの距離により決めることができる。所定の変換係数をＧａｉｎ、デフォーカス量をΔＬ、視差量をｄとしたとき、下記の式（１）により像ズレ量ｄをデフォーカス量ΔＬに変換することができる。
【数１】
2019070610.tif 000003
像側のデフォーカス量ΔＬから物体側の距離（被写体距離）への変換については、結像光学系１２０の結像関係を用いることで容易に行うことができる。
【００２６】
なお、上記の説明では、視差量ｄを式（１）により変換したデフォーカス量を介して、被写体距離へ変換しているが、視差量ｄを、一度の変換処理で被写体距離に変換しても構わない。そうすることで、被写体距離への変換に係る演算量を減らすことができる。また
、被写体の距離を表す情報として、必ずしも被写体距離を用いる必要はなく、被写体距離に変換可能な値であれば任意の値を用いることができる。例えば、視差量ｄやデフォーカス量、あるいはこれらの値を所定の定数で規格化した値を、被写体の距離を表す情報として用いることができる。
【００２７】
＜視差量の算出＞
以下では、演算処理部１０３にて行う像ズレ量算出の具体的な処理内容について図５に示すフローチャートを用いて説明する。
【００２８】
演算処理部１０３は、異なる瞳領域を通過する光束を受光する画素行（２０２Ａおよび２０３Ｂ）の出力信号から第２の像ズレ量ｓ２を算出する（Ｓ１０６１）。また、演算処理部１０３は、同じ瞳領域を通過する光束を受光する画素行（２０１Ａおよび２０２Ａ）の出力信号から第１の像ズレ量ｓ１を算出する（Ｓ１０６２）。そして、演算処理部１０３は、第１の像ズレ量ｓ１および第２の像ズレ量ｓ２から式（２）を用いて視差量ｄを算出する（Ｓ１０６３）。
【数２】
2019070610.tif 000004
【００２９】
また、本実施形態のように、第１の像ズレ量ｓ１または第２の像ズレ量ｓ２の算出に用いる画素行が隣接しているまたは近い方が、被写体の模様が同一と見なせるため好適であるが、像ズレ量の算出に用いる画素行の選択は特に限定されない。例えば、演算処理部１０３は、第１の像ズレ量ｓ１と第２の像ズレ量ｓ２を算出する画素行について、離れて配置される画素行を選択してもよい。被写体の模様に対する比較領域が異なることによる行ずれのズレ量に相関があれば補正の効果を得ることができる。また、第１の像ズレ量ｓ１（または、第２の像ズレ量ｓ２）を算出する画素行同士が離れて配置されていてもよい。
【００３０】
なお、隣接とは、２つの画素行が連続して配置している場合や、画素行の間に異なる開口形状の画素行がある場合であっても、同じ開口形状の画素行のなかで最も近傍に位置している場合を含む。
【００３１】
また、撮影画像には各種ノイズが重畳されることを考慮して、演算処理部１０３は、第１の像ズレ量ｓ１（補正値）を平均によって求める方法も好適である。この場合、まず演算処理部１０３は、第１画素行２０１Ａおよび２０２Ａから求まる第１の像ズレ量ｓ１ａと、第２画素行２０３Ｂおよび２０４Ｂから求まる第１の像ズレ量ｓ１ｂとから得られる平均値を求める。そして、求められる平均値を用いて、視差量ｄを以下の式（３）により求めることができる。
【数３】
2019070610.tif 000005
なお、ここでは相加平均を用いたが相乗平均などを用いてもよい。また、２つの第１の像ズレ量の平均を用いたが、３つ以上でもよい。このように、各種スムージングを行うことで各種ノイズの影響を軽減できるため好適である。
【００３２】
また、本実施形態では、第２の像ズレ量ｓ２の算出に用いる画素行の上側に位置する画素行同士と、下側に位置する画素行同士とを用いる例について説明したが、画素行の選択は特に限定されない。例えば、演算処理部１０３は、上側に位置する画素行同士の出力信号に基づく、複数の第１の像ズレ量の平均を用いて視差量ｄを求めてもよい。なお、上側
または下側に位置する画素行同士とは、第２の像ズレ量ｓ２の算出に用いる画素行を含む画素行の組合せでもよく、含まない画素行の組合せでもよい。
【００３３】
以上で示したように、本実施形態では、相関演算を行う対象の画素行が異なる場合に生じる相関値のズレ量に対して、従来と同等の補正効果を有しながら、撮像素子上の画素配置の制約が緩和され、画素配置の設計自由度を向上させることができる。
【００３４】
（実施形態１の変形例１）
上述の実施形態では、第１画素行および第２画素行が２行ずつ配置される例について説明したが、本実施形態では、第１画素行および第２画素行が交互に配置される例について説明する。
【００３５】
図６は、本実施形態に係る撮像素子４０１を示す。撮像素子４０１には、第１画素行４０１Ａ，４０３Ａ、第２画素行４０２Ｂ，４０４Ｂが１行おきに交互に配置される。また、撮像素子４０１の他の領域も同様に１行おきに交互に第１画素行と第２画素行が配置される。そして、演算処理部１０３は、第１画素行４０１Ａ，４０３Ａからの出力信号間で相関演算を行い第１の像ズレ量ｓ１を算出する。また、演算処理部１０３は、第１画素行４０３Ａおよび第２画素行４０２Ｂからの出力信号との間で相関演算を行い第２の像ズレ量ｓ２を算出する。このとき、視差量ｄは以下の式（４）から算出される。
【数４】
2019070610.tif 000006
【００３６】
ここでＬは、第１の像ズレ量を算出する際に用いた画素行組の行間隔ｌ１と、第２の像ズレ量を算出する際に用いた画素行組の行間隔ｌ２の比であり、次の式（５）から算出される。
【数５】
2019070610.tif 000007
【００３７】
また、上述のように第１の像ズレ量ｓ１を平均によって求める方法も好適である。この場合、演算処理部１０３は、第１画素行４０１Ａおよび４０３Ａの間で相関演算を行い、算出された相関値から第１の像ズレ量ｓ１ａを求める。そして、演算処理部１０３は、同様に第２画素行４０２Ｂおよび４０４Ｂの間で相関演算を行い、算出された相関値から第１の像ズレ量ｓ１ｂを求める。これらの値を用いて視差量ｄは以下の式（６）により算出される。
【数６】
2019070610.tif 000008
【００３８】
（実施形態１の変形例２）
上述の実施形態では、第１光束１２１または第２光束１２２のいずれかを受光する画素を用いる例について説明したが、同一画素内で第１光束と第２光束を受光する画素を撮像素子の一面全てに用いてもよい。
【００３９】
図７は、本実施形態に係る画素の断面図を示す。当該画素は、光電変換部５１０Ａおよび５１０Ｂを有し、同一画素内で第１光束と第２光束を分割して信号を取得する。このよ
うな画素を用いることにより、演算処理部１０３は同一行から第１の出力信号と第２の出力信号を取得して相関演算を行えば、上述のようなズレ量は生じない。しかしながら、信号読み取り速度の観点から、演算処理部１０３は行ごとに第１の出力信号と第２の出力信号とを分けて取得することが好適である。この場合、上述の被写体に対する比較領域の行ずれが生じるが、読み出し行の出力信号に従い上述の補正方法を用いることで視差量ｄを算出することができる。
【００４０】
（実施形態１の変形例３）
実施形態１に係る第１画素と第２画素は、画素構造内に遮光膜を設けた構成としてもよい。このような構成とすることで、入射角に応じた受光感度特性を持させることができるため、第１画素と第２画素と同様な効果が得られる。また、本構成は、基板２１３へのイオン注入のプロセスを第１画素と第２画素とで共通にすることができるため、コスト低減の観点から好適である。
【００４１】
（実施形態１の変形例４）
上述の第２の像ズレ量ｓ２には、残存するＰＳＦ形状が異なることに起因する像ズレ誤差が含まれる。そこで、当該像ズレ誤差を公知の手法（例えば、ＰＳＦの逆畳み込み演算を施す手法）で補正を行ってもよい。
【００４２】
ここで、上述の第１の像ズレ量ｓ１には、開口形状が同じ画素から構成される画素行を用いて求められているため、ＰＳＦ形状が異なることに起因する像ズレ量は含まれない。これを、図１１から１３を用いて説明する。
【００４３】
図１１（Ａ）は、射出瞳１３０上に反映させた各画素１０２の感度特性を示し、第１画素の感度特性１１０１、第２画素の感度特性１１０２について受光感度が高い領域を濃い色で示す。図１１（Ｂ）は、所定のデフォーカス状態での各画素１０２のＰＳＦのｘ方向断面図を示す。図（Ｂ）の実線は第１画素のＰＳＦ断面１１１１、破線は第２画素のＰＳＦ断面１１１２を示す。このように、両画素の受光感度特性（開口形状）が異なるため、射出瞳１３０上での感度分布は互いの重心がずれた分布形状となり、両画素のＰＳＦ形状は互いに非対称となる。相関演算に用いる各出力信号は、被写体の形状にこれらＰＳＦを畳み込んだものとなる。以下、図３に示す被写体３０１について、各画素１０２から構成される画素行が取得した出力信号を例に説明する。
【００４４】
図１２は、開口形状の異なる２つの画素行の出力信号を示す。図１２（Ａ）は、ＰＳＦ形状の影響を加味していない出力信号（被写体３０１の形状）を示す。実線１２０１は第１画素行２０２Ａの出力信号、破線１２０２は第２画素行２０３Ｂの位置での被写体形状を示す。なお、便宜上、以降のグラフでは両者に縦軸方向のオフセットをつけて示す。
【００４５】
図１２（Ｂ）は、各画素１０２のＰＳＦが畳み込まれた出力信号を示す。実線１２１１は、第１画素行２０２Ａの出力信号であって、実線１２０１に第１画素のＰＳＦ形状１１１１を畳み込んだ信号である。破線１２１２は、第２画素行２０３Ｂの出力信号であって、破線１２０２に第２画素のＰＳＦ形状１１１２を畳み込んだ信号である。このように、ＰＳＦ形状１１１１，１１１２が非対称で異なる形状であるため、各出力信号の重心間隔１２１３は、図１２（Ａ）に示す出力信号の重心間隔１２０３とは異なる。
【００４６】
よって、開口形状（ＰＳＦ形状）の異なる画素からの出力信号を用いて相関演算を行い、比較領域の行ずれによる被写体形状の変化の補正値を算出した場合に幾何学的に求まるｔａｎθ×行間距離とは異なり、補正値は開口形状の影響を含んだ値となる。したがって、相関演算を行う信号組を出力する画素が異なる開口形状から構成される行の組の場合、その異なる開口形状の画素の組合せにより、異なる値を開口形状の影響として相関値に含
んだ値となる。
【００４７】
図１３は、開口形状が同じ２つの画素行の出力信号を示す。図１３（Ａ）に示す出力信号は、ＰＳＦ形状の影響を加味していない出力信号であって、図１２（Ａ）に示す出力信号と同様の被写体形状を示す。図１３（Ｂ）は、同じ開口形状の画素から構成される第１画素行２０１Ａと第１画素行２０２Ａとの出力信号を示す。これらの画素行は、開口形状が等しくＰＳＦ形状が同じであるため、出力信号１３０１と出力信号１３０２との間の重心間隔１３１３は、図１３（Ａ）に示す被写体形状の重心間隔１２０３と等しくなる。よって、開口形状（ＰＳＦ形状）が等しい画素の出力信号から求まる補正値（第１のズレ量ｓ１）に含まれるズレ量には、被写体形状の影響によるズレ量（ｔａｎθ×行間距離）は含まれるが、開口形状の影響は含まれない。
【００４８】
したがって、開口形状の影響を含まない補正値（ｓ１）を用いて視差量ｄを求めることにより、比較領域の行ずれに伴う被写体形状の影響によるズレ量を補正することができる。これにより、相関値を算出する基準行である画素行（例えば、第１画素行２０２Ａまたは第２画素行２０３Ｂ）に対し、その上下に位置する画素の開口形状が互いに異なる場合であっても残存誤差を含まずに補正を行うことができる。
【００４９】
（実施形態２）
本実施形態では、撮像素子に観賞画像取得用の画素（全開口画素）が存在する例について説明する。
【００５０】
図８（Ａ）は、本実施形態に係る撮像素子６０１を示す。図８（Ａ）に示す撮像素子６０１は、第１画素が並んだ第１画素行６０３Ａ、第２画素が並んだ第２画素行６０４Ｂの他に、観賞画像取得用の画素である第３画素が並んだ第３画素行６０１Ｃ，６０２Ｃ，６０５Ｃ，６０６Ｃを備える。撮像素子６０１の他の領域は、第３画素行６０１Ｃ，６０２Ｃ、第１画素行６０３Ａ、第２画素行６０４Ｂの４行をひとつのセットとして繰り返して配置される。
【００５１】
図８（Ｂ）は、第３画素の構成図を示す。第３画素は、マイクロレンズ６１１、カラーフィルタ６１２等を備え、基板６１３内に光電変換部６１０Ｃを形成している。光電変換部６１０Ｃは、結像光学系１０６の射出瞳のうちの上述の第１瞳領域および第２瞳領域とは異なる領域である第３瞳領域を通る第３光束を受光して出力信号を生成する。本実施形態では、第３瞳領域は、第１瞳領域および第２瞳領域の両方を含む領域であるとして説明するが特に限定されない。
【００５２】
ここで、上述と同様に、第１画素行６０３Ａおよび第２画素行６０４Ｂの出力信号から相関演算により第２の像ズレ量ｓ２を算出した場合、視差量ｄの他に比較領域の行ずれによるズレ量が含まれる。本実施形態では、第１の像ズレ量ｓ１の代わりに、第３画素行６０１Ｃおよび６０２Ｃの出力信号を用いて算出した相関値から得た第３の像ズレ量ｓ３を用いて、視差量ｄを以下の式（７）により求める。
【数７】
2019070610.tif 000009
【００５３】
また、上述の実施形態と同様、複数の第３の像ズレ量を用いてノイズの影響を軽減する手法も好適である。この場合、演算処理部１０３は、第３画素行６０１Ｃおよび６０２Ｃから求められる第３の像ズレ量ｓ３ａと、第３画素行６０５Ｃおよび６０６Ｃから求められる第３の像ズレ量ｓ３ｂとを用いて、視差量ｄを以下の式（８）により求めることができる。
【数８】
2019070610.tif 000010
【００５４】
以上のように、観賞画像取得用の画素を有する構成であっても、被写体の模様に対し比較領域の行がずれたことに起因するズレ量を補正できる。また、実施形態１と同様に、被写体に対し画像間の比較領域が異なる場合に生じる相関値のズレ量に対して従来と同等の補正効果を有しながら、撮像素子上の画素配置の制約が緩和され、画素配置の設計自由度を向上させることができる。さらに、実施形態１と同様に、ズレ量の算出に用いる第１画素行、第２画素行、第３画素行の選択を変えてもよい。なお、本実施形態についても、上述の実施形態１の各変形例を適用することができる。
【００５５】
（実施形態３）
本実施形態３では、ステレオカメラにおける比較領域の行ズレによるズレ量を補正する例について説明する。本実施形態では、測距装置として２台のカメラを用いる。また、それぞれのカメラは、観賞画像取得用の画素（全開口画素）が設けられた撮像素子を有する。そして、測距装置はそれぞれのカメラから出力される視差を有する画像信号に基づいて距離情報を取得する。
【００５６】
図９は、本実施形態に係る測距装置の構成を示す。本実施形態に係る測距装置は、２台のカメラ７１１，７１２、および各カメラの出力信号を処理することにより像ズレ量を算出する演算処理部７０３（取得手段または演算処置装置）等で構成される。カメラ７１１は、第１の結像光学系であるレンズ７２１と第１の撮像素子７０１とを備える。第１の撮像素子７０１は、レンズ７２１を通過した第１光束を受光する第１画素がそれぞれ並んだ第１画素行を有する。同様に、カメラ７１２は、第２の結像光学系であるレンズ７２２と第２の撮像素子７０２とを備える。第２の撮像素子７０２は、レンズ７２２を通過した第２光束を受光する第２画素がそれぞれ並んだ第２画素行を有する。
【００５７】
図１０（Ａ）は、本実施形態に係る第１の撮像素子７０１、図１０（Ｂ）は本実施形態に係る第２の撮像素子７０２を示す。本実施形態では、演算処理部７０３は、第１の撮像素子７０１上の第１画素行８１２の出力信号と、第２の撮像素子７０２上の第２画素行８２１の出力信号との相関値から第２の像ズレ量ｓ２を算出する。また、演算処理部７０３は、第１の撮像素子７０１上の第１画素行８１１および８１２の出力信号の相関値から第１の像ズレ量ｓ１を算出する。そして、演算処理部７０３は、比較領域の行ずれによるズレ量を補正するため、上述の実施形態と同様に式（２）を用いて視差量ｄを算出する。
【００５８】
また、演算処理部７０３は、上述と同様に、ノイズの影響を低減するため平均により視差量ｄを算出してもよい。この場合、演算処理部７０３は、第１の撮像素子７０１上の画素行８１１，８１２の出力信号に基づいて第１の像ズレ量ｓ１ａを算出し、第２の撮像素子７０２上の画素行８２１，８２２の出力信号に基づいて第１の像ズレ量ｓ１ｂを算出する。そして、演算処理部７０３は、上述の式（３）を用いて視差量ｄを算出する。
【００５９】
（実施形態３の変形例１）
＜補正係数の算出＞
より高精度な補正を行うため、撮像素子７０１および７０２の対応する画素行同士（画素行間）のズレ量を予め測定し、補正式の係数として用いる手法も好適である。以下、当該ズレ量を行ズレ量と称する。
【００６０】
本実形態では、図３に示す被写体のような、エッジが直線であり比較領域の垂直方向に
対しθ傾いた被写体を例に説明する。まず、演算処理部７０３は、デフォーカス量を制御した状態（例えばカメラ７１１，７１２ともに合焦状態）で、撮影およびそれぞれの出力信号に基づいて相関演算を行うことで像ズレ量を求める。ここで、算出される像ズレ量から制御したデフォーカス量に相当する視差量（今回の場合は０）を除いた値が、両カメラ間の比較領域の行ずれに起因するズレ量に相当する。演算処理部７０３は、この値をｔａｎθで除することにより、行ズレ量を算出する。そして、行ズレ量と行間距離から補正係数ｋを算出する。そして、演算処理部７０３は、上述の手法を用いて以下の式（９）を用いて視差量ｄを算出する。
【数９】
2019070610.tif 000011
【００６１】
本実施形態に示す通り、ステレオカメラを用いることで２台のカメラの比較領域の調整をサブピクセルオーダーで行うことができるため、測距の高精度化の観点で好適である。なお、本実施形態に係る構成は特に限定されず、カメラ７１１、カメラ７１２および演算処理部７０３をひとつのパッケージに収めた測距モジュールも取扱容易性の観点から好適である。
【００６２】
なお、本実施形態で用いる撮像素子に設けられる画素は、全開口画素である例について説明したが、とくに限定されない。例えば、上述の実施形態で用いる、結像光学系の特定の瞳領域を通過する光束を受光する画素を用いてもよい。
【００６３】
（その他）
＜画素配置の変形例＞
上述の実施形態では、撮像素子１０１の画素配置は、第１画素行、第２画素行または第３画素行が交互に配置される例などについて説明したが、特に限定されない。例えば、第１画素行と第２画素行とが、不規則に配置されていてもよい。演算処理部１０３は、撮像素子１０１の画素行から、視差を有する複数の画素行と視差を有しない複数の画素行とを選択することができればよい。この場合、画素配置に応じて視差量ｄの算出方法は調整される。
【００６４】
＜演算処理部の変形例＞
図１では、演算処理部１０３はカメラ１１０の内部に設けられる例について説明したが、これに限定されない。例えば、カメラ１１０は画像信号の取得までを行い、カメラ１１０とは別に設けられる演算処理装置を用いて距離情報を取得してもよい。
【００６５】
＜マイクロレンズの変形例＞
瞳分割の方法としてマイクロレンズによる方法を用いたが、これに限定されない。例えば、導波路（不図示）を用い、導波モードを設けることで入射光の分割を行ってもよい。また、マイクロレンズと導波路を同時に用いてもよい。このような構成とすることで、画素に入射した光を効率よく光電変換部に導くことが可能となり、より高品質な測距像を得ることができ、より高精度な測距ができる。
【００６６】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００６７】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００６８】
１００：測距装置
１０１：撮像素子
１０２：画素
１０３：演算処理部
１１０：カメラ
１２０：結像光学系
１２１：第１光束
１２２：第２光束
１３０：射出瞳
１３１：第１瞳領域
１３２：第２瞳領域
【図１】
2019070610.tif 000012
【図２】
2019070610.tif 000013
【図３】
2019070610.tif 000014
【図４】
2019070610.tif 000015
【図５】
2019070610.tif 000016
【図６】
2019070610.tif 000017
【図７】
2019070610.tif 000018
【図８】
2019070610.tif 000019
【図９】
2019070610.tif 000020
【図１０】
2019070610.tif 000021
【図１１】
2019070610.tif 000022
【図１２】
2019070610.tif 000023
【図１３】
2019070610.tif 000024