(57)【要約】      （修正有）【課題】被写体までの距離に応じた視差情報を生成する視差情報生成装置において、より少ない演算量で視差情報を生成する視差情報生成装置を提供する。【解決手段】視差情報生成装置１１０は、取得部１１１により複数の画像信号Ｓ１，Ｓ２を取得する。第１視差情報生成部１１３は、第１の時刻に取得した画像信号Ｓ１，Ｓ２に基づく第１の視差情報Ｉｄ１を生成し、動き情報生成部１１４は、異なる時刻に撮像された第１の画像の画像信号Ｓ１から第１の動き情報Ｉｏｆ１を生成し、異なる時刻に撮像された第２の画像の画像信号Ｓ２から第２の動き情報Ｉｏｆ２を生成する。視差変化情報生成部１１５は、第１の動き情報Ｉｏｆ１と第２の動き情報Ｉｏｆ２とを比較して、視差変化量を表す視差変化情報Ｉｄｄを生成し、第２視差情報生成部１１６は、視差変化情報Ｉｄｄに基づいて、過去に生成された第１の視差情報Ｉｄ１を更新することで第２の視差情報Ｉｄ２を生成する。【選択図】図３
2019028311.tif 000002
【特許請求の範囲】
【請求項１】
複数の画像の視差量を表す視差情報を生成する視差情報生成装置であって、
第１の時刻に撮像された第１の画像および第２の画像の画像信号と、前記第１の時刻より後の第２の時刻に撮像された第３の画像および第４の画像の画像信号を取得する取得手段と、
前記第１および第２の画像から前記第１の時刻での視差情報である第１の視差情報を生成する第１の生成手段と、
前記第１および第３の画像から第１の動き情報を生成し、前記第２および第４の画像から第２の動き情報を生成する第２の生成手段と、
前記第１および第２の動き情報から視差の変化量を表す視差変化情報を生成する第３の生成手段と、
前記第１の視差情報および前記視差変化情報により、前記第２の時刻での視差情報である第２の視差情報を生成する第４の生成手段と、を備える
ことを特徴とする視差情報生成装置。
【請求項２】
前記画像信号および視差情報を記憶する記憶手段を備え、
前記第１の生成手段は、前記第１および第２の画像の画像信号を過去の画像信号として前記記憶手段に記憶し、前記第１の視差情報を過去の視差情報として前記記憶手段に記憶する処理を行い、
前記第２の生成手段は、前記記憶手段に記憶された過去の画像信号と、前記第３および第４の画像の画像信号をそれぞれ比較して前記第１および第２の動き情報を生成する
ことを特徴とする請求項１に記載の視差情報生成装置。
【請求項３】
前記第４の生成手段は、前記視差変化情報を用いて前記記憶手段に記憶された過去の視差情報を更新することで前記第２の視差情報を生成する
ことを特徴とする請求項２に記載の視差情報生成装置。
【請求項４】
前記第４の生成手段は、前記記憶手段に記憶されている過去の画像信号を、新たに取得された画像信号で置き換え、前記記憶手段に記憶されている過去の視差情報を新たに生成された視差情報で置き換える処理を行う
ことを特徴とする請求項３に記載の視差情報生成装置。
【請求項５】
予め設定された条件を満たす第１の場合、前記第１の生成手段が前記第１の視差情報を生成し、前記条件を満たさない第２の場合、前記第４の生成手段が前記第２の視差情報を生成する
ことを特徴とする請求項１乃至４のいずれか１項に記載の視差情報生成装置。
【請求項６】
前記条件は、前記第１の時刻が予め設定された時刻であること、または前記動き情報の信頼性を評価する信頼度情報に基づく信頼度が低いことである
ことを特徴とする請求項５に記載の視差情報生成装置。
【請求項７】
前記第２の生成手段は、前記動き情報の信頼性を評価する信頼度情報を生成し、
前記動き情報の信頼度が低い場合、前記第１の生成手段が前記第１の視差情報を生成し、前記動き情報の信頼度が高い場合、前記第４の生成手段が前記第２の視差情報を生成する
ことを特徴とする請求項１乃至４のいずれか１項に記載の視差情報生成装置。
【請求項８】
前記信頼度情報を記憶する記憶手段を備え、
前記第２の生成手段は、前記第１の動き情報に係る第１の信頼度情報を生成して前記記憶手段に記憶し、
前記第１の信頼度情報に基づく信頼度が閾値より低い場合、前記第１の生成手段が前記第１の視差情報を生成し、
前記第１の信頼度情報に基づく信頼度が閾値以上である場合、前記第４の生成手段が前記第２の視差情報を生成する
ことを特徴とする請求項７に記載の視差情報生成装置。
【請求項９】
前記信頼度情報を記憶する記憶手段と、
前記信頼度情報を前記記憶手段から読み出し、前記第１の動き情報に係る信頼度情報に基づく信頼度が閾値より高い領域を、視差量生成の領域として設定する領域設定手段と、を備え、
前記第１の生成手段は、前記視差量生成の領域について前記第１の視差情報を生成する
ことを特徴とする請求項７に記載の視差情報生成装置。
【請求項１０】
請求項１乃至９のいずれか１項に記載の視差情報生成装置と、
結像光学系および撮像素子を備える
ことを特徴とする撮像装置。
【請求項１１】
前記撮像素子は複数のマイクロレンズと、各マイクロレンズに対応する複数の光電変換部を備え、
前記第１および第３の画像は、前記結像光学系の射出瞳における第１の瞳部分領域を通過した光束を第１の光電変換部が受光した信号から形成され、前記第２および第４の画像は、前記結像光学系の射出瞳における前記第１の瞳部分領域とは異なる第２の瞳部分領域を通過した光束を第２の光電変換部が受光した信号から形成される
ことを特徴とする請求項１０に記載の撮像装置。
【請求項１２】
請求項１乃至９のいずれか１項に記載の視差情報生成装置と、
第１および第２の結像光学系と、
前記第１の結像光学系を通過した光束を受光する第１の撮像素子と、
前記第２の結像光学系を通過した光束を受光する第２の撮像素子と、を備え、
前記第１および第３の画像は前記第１の撮像素子が出力する信号から形成され、前記第２および第４の画像は前記第２の撮像素子が出力する信号から形成される
ことを特徴とする撮像装置。
【請求項１３】
駆動手段によって移動する装置に搭載される、請求項１０乃至１２のいずれか１項に記載の撮像装置。
【請求項１４】
前記第１もしくは第２の視差情報、または前記第１および第２の視差情報と、前記視差変化情報との対応関係によって、移動体である移動被写体を検出する移動体検出手段を備える
ことを特徴とする請求項１３に記載の撮像装置。
【請求項１５】
前記移動体検出手段は、地面に対して相対的に移動している移動被写体を検出して移動体情報を生成する
ことを特徴とする請求項１４に記載の撮像装置。
【請求項１６】
前記移動体検出手段は、前記視差情報と前記視差変化情報との対応関係を表す関係式を用いて前記移動被写体を検出する
ことを特徴とする請求項１５に記載の撮像装置。
【請求項１７】
前記関係式は多項式であり、
前記移動体検出手段は前記多項式の係数を設定し、前記多項式に前記視差情報を入力することで得られる値と、前記視差変化情報を比較することで、前記移動被写体を検出する
ことを特徴とする請求項１６に記載の撮像装置。
【請求項１８】
前記視差情報を用いて被写体までの距離を表す距離情報を生成する距離情報生成手段を備える
ことを特徴とする請求項１０乃至１７のいずれか１項に記載の撮像装置。
【請求項１９】
前記第１もしくは第２の視差情報、または第１および第２の視差情報を用いて焦点調節制御を行う制御手段を備える
ことを特徴とする請求項１０乃至１８のいずれか１項に記載の撮像装置。
【請求項２０】
前記制御手段は、前記第１の視差情報に基づくデフォーカス量により焦点調節制御を行った後、前記第２の視差情報または前記視差変化情報を用いて合焦判定を行う
ことを特徴とする請求項１９に記載の撮像装置。
【請求項２１】
請求項１８に記載の撮像装置が搭載された移動装置であって、
前記移動装置を移動させる駆動手段と、
前記撮像装置が生成する距離情報を取得して前記移動装置を制御する制御装置と、を備える
ことを特徴とする移動装置。
【請求項２２】
請求項１４乃至１７のいずれか１項に記載の撮像装置と、
前記撮像装置が生成する前記移動被写体の情報を取得して移動装置を制御する制御装置と、を備える
ことを特徴とする移動装置。
【請求項２３】
前記制御装置は、前記移動装置が障害物と衝突する可能性があると判定した場合、前記移動装置の移動方向および移動速度の少なくとも１つを制御する
ことを特徴とする請求項２１または請求項２２に記載の移動装置。
【請求項２４】
複数の画像の視差量を表す視差情報を生成する視差情報生成装置にて実行される視差情報生成方法であって、
第１の時刻に撮像された第１の画像および第２の画像の画像信号と、前記第１の時刻より後の第２の時刻に撮像された第３の画像および第４の画像の画像信号を取得する工程と、
前記第１および第２の画像から前記第１の時刻での視差情報である第１の視差情報を生成する第１の生成工程と、
前記第１および第３の画像から第１の動き情報を生成し、前記第２および第４の画像から第２の動き情報を生成する第２の生成工程と、
前記第１および第２の動き情報から視差の変化量を表す視差変化情報を生成する第３の生成工程と、
前記第１の視差情報および前記視差変化情報により、前記第２の時刻での視差情報である第２の視差情報を生成する第４の生成工程と、を有する
ことを特徴とする視差情報生成方法。
【請求項２５】
請求項２４に記載の各工程を視差情報生成装置のコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルカメラやデジタルビデオカメラ等の撮像装置における視差情報の生成処理に関する。
【背景技術】
【０００２】
測距機能を備える撮像装置は、観賞用画像信号と同時に複数の画素位置にて撮像装置から被写体までの距離（以下、被写体距離という）を取得可能である。特許文献１には、２つの撮像装置を並置し、位相差方式で被写体距離を検出するステレオ撮像装置が開示されている。２つの撮像装置からそれぞれ出力される画像信号間の相対的な位置ズレ量（いわゆる視差量）が相互相関演算により検出され、所定の変換係数を用いて被写体距離に変換される。また特許文献２には、撮像素子の一部あるいは全部の画素に測距機能を有する画素を配置し、位相差方式で被写体距離を検出する固体撮像素子が開示されている。撮像面にて位相差方式の測距を行う、いわゆる撮像面位相差測距方式では、撮像装置が備える結像光学系の異なる瞳部分領域を通過した光束により生成される像に基づく２つの画像信号を取得できる。２つの画像信号間の視差量を、ステレオ撮像装置の視差量検出方法と同様に検出し、所定の変換係数を用いてデフォーカス量に変換することで被写体距離を取得可能である。さらに、２つの画像信号を合成することで観賞用画像信号を生成できる。
【０００３】
位相差方式において被写体距離を高精度に取得するためには、視差量を高精度に検出することが必要である。位相差方式で被写体距離を検出可能な撮像装置は、結像光学系を介して形成される像を、撮像素子により一定の時間間隔でサンプリングすることで画像信号を取得する。従って、高精度に視差量を検出するためには、撮像素子によるサンプリング間隔が小さいことや、撮像素子がより多くの画素を備えていることが望ましい。
【０００４】
特許文献３には、測距機能を備えた撮像装置により算出した被写体距離を用いる移動検出方法が開示されている。この移動検出方法を、移動可能なロボットに搭載することで、外界を三次元的に知覚し、ロボット自身を自律的に移動させる制御が可能となる。また、この移動検出方法を車両に搭載することで、障害物を検出して衝突の回避が可能となる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第３８５５８１２号公報
【特許文献２】特許第５４７６８１０号公報
【特許文献３】特開２００１−８４３８３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献３に記載された移動検出方法では、ステレオ撮像装置から単位時間あたり複数の画像信号を取得し、被写体距離と動き情報の両方を算出している。そのため、演算量が多く、画像信号から対象物の３次元的な動きを検出して、リアルタイムに対象物を追跡することが容易でない。また、より高精度な移動検出を行うためには、撮像素子がより多くの画素を備える必要があるため、演算量が増加する要因となる。本発明は、被写体までの距離に応じた視差情報を生成する視差情報生成装置において、より少ない演算量で視差情報を生成することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の一実施形態の視差情報生成装置は、複数の画像の視差量を表す視差情報を生成する視差情報生成装置であって、第１の時刻に撮像された第１の画像および第２の画像の画像信号と、前記第１の時刻より後の第２の時刻に撮像された第３の画像および第４の画像の画像信号を取得する取得手段と、前記第１および第２の画像から前記第１の時刻での視差情報である第１の視差情報を生成する第１の生成手段と、前記第１および第３の画像から第１の動き情報を生成し、前記第２および第４の画像から第２の動き情報を生成する第２の生成手段と、前記第１および第２の動き情報から視差の変化量を表す視差変化情報を生成する第３の生成手段と、前記第１の視差情報および前記視差変化情報により、前記第２の時刻での視差情報である第２の視差情報を生成する第４の生成手段と、を備える。
【発明の効果】
【０００８】
本発明の視差情報生成装置によれば、被写体までの距離に応じた視差量を検出する視差情報生成装置において、より少ない演算量で視差情報を生成することができる。
【図面の簡単な説明】
【０００９】
【図１】第１の実施形態における撮像装置および撮像素子の説明図である。
【図２】第１の実施形態における撮像素子が受光する光束と視差量の説明図である。
【図３】第１の実施形態における視差情報生成装置の説明図である。
【図４】第１の実施形態における処理を説明するフローチャートである。
【図５】第１の実施形態における視差情報生成装置の説明図である。
【図６】第１の実施形態における視差情報生成装置のデータフロー図である。
【図７】第１の実施形態の変形例における視差情報生成装置の説明図である。
【図８】第１の実施形態の変形例における撮像素子の説明図である。
【図９】第１の実施形態の変形例における撮像装置の説明図である。
【図１０】第２の実施形態における車両の説明図である。
【図１１】第３の実施形態における車両の説明図である。
【図１２】視差情報と視差変化情報に基づく移動体検出方法の説明図である。
【発明を実施するための形態】
【００１０】
以下、図を参照しながら本発明の各実施形態について詳細に説明する。なお、各実施形態に記載されている構成要素は、あくまで例示に過ぎず、本発明の範囲は本実施形態に記載されている構成要素に限定されることはない。
【００１１】
［第１の実施形態］
本発明の第１の実施形態について説明する。図１（Ａ）は、本実施形態に係る撮像装置の構成を概略的に示す図である。撮像装置は、結像光学系（撮像光学系）１０２と、撮像素子１０１を備える。結像光学系１０２は被写体の像を撮像素子１０１上に形成する。結像光学系１０２は複数のレンズ群（不図示）により構成され、撮像素子１０１の位置から所定距離だけ離れた位置に射出瞳１３０を有する。ｚ軸を、結像光学系１０２の光軸１４０と平行な軸と定義し、ｚ軸に直交する２軸をｘ軸とｙ軸と定義する。図１（Ａ）では、紙面に垂直にｙ軸が設定され、紙面内にてｚ軸を左右方向の軸とし、ｘ軸を上下方向の軸とする。
【００１２】
撮像素子１０１はＣＭＯＳ（相補型金属酸化膜半導体）イメージセンサやＣＣＤ（電荷結合素子）イメージセンサにより構成され、撮像面位相差測距方式による測距機能を有する。結像光学系１０２を介して撮像素子１０１上に結像した被写体像に対し、撮像素子１０１は光電変換を行い、被写体像に基づく画像信号を生成する。取得した画像信号に対して、画像生成部（不図示）は現像処理を行い、カラー画像データを生成する。生成されたカラー画像データは画像格納部（記憶部）に格納され、あるいは必要に応じて表示用データに変換されて表示部の画面に表示される。撮像素子１０１の構成については、図１（Ｂ）および（Ｃ）を用いて後述する。
【００１３】
視差情報生成装置１１０は、撮像素子１０１により取得される画像信号に基づいて視差情報を生成する。距離情報生成装置１２０は、視差情報生成装置１１０が生成した視差情報に基づいて距離情報を生成する。視差情報生成装置１１０と距離情報生成装置１２０は、論理回路を用いて構成することができる。あるいは視差情報生成装置１１０と距離情報生成装置１２０を、中央演算処理装置（ＣＰＵ）と演算処理プログラムを格納するメモリとから構成する実施形態では、ソフトウェア処理によって視差情報および距離情報の生成処理が実行される。
【００１４】
図１（Ｂ）は、撮像素子１０１のｘｙ断面図である。図１（Ｂ）の紙面に直交する軸をｚ軸とし、紙面内の２軸をｘ軸およびｙ軸と定義する。ｘ軸を左右方向の軸とし、ｙ軸を上下方向の軸とする。撮像素子１０１は、２行×２列の画素群１５０を２次元アレイ状に配列することで構成される。画素群１５０を構成する各画素部は、第１の対角方向に配置される緑画素１５０Ｇ１および１５０Ｇ２と、第２の対角方向に配置される赤画素１５０Ｒおよび青画素１５０Ｂによって構成される。
【００１５】
図１（Ｃ）は、図１（Ｂ）に示すＩ−Ｉ＊線に沿う画素群１５０の断面を模式的に示す図である。図１（Ｃ）の紙面に直交する軸をｙ軸とし、紙面内の２軸をｘ軸およびｚ軸と定義する。ｘ軸を左右方向の軸とし、ｚ軸を上下方向の軸とする。各画素部は導光層１８１と受光層１８２から構成される。導光層１８１には、入射光束を光電変換部へ効率良く導くためのマイクロレンズ１７０と、所定の波長帯域の光を通過させるカラーフィルタ（不図示）と、画像信号読み出し用および画素駆動用の配線（不図示）等が配置される。受光層１８２には、複数の光電変換部が配置される。一例として、各マイクロレンズ１７０に対応する２つの光電変換部１６１，１６２を示す。光電変換部１６１を第１の光電変換部とし、光電変換部１６２を第２の光電変換部とする。これは、１つの瞳分割方向（ｘ軸方向）に２分割された光電変換部の例であるが、仕様に応じて、２つの瞳分割方向（ｘ軸方向およびｙ軸方向）に分割された光電変換部を備える撮像素子が用いられる。瞳分割方向および分割数については任意である。
【００１６】
図２（Ａ）を参照して、第１の光電変換部１６１および第２の光電変換部１６２が受光する光束について説明する。図２（Ａ）は、結像光学系１０２の射出瞳１３０と、撮像素子１０１中に配置される画素の代表例として緑画素１５０Ｇ１のみを示した概略図である。図２（Ａ）の紙面に直交する軸をｙ軸とし、紙面内の２軸をｘ軸およびｚ軸と定義する。ｚ軸を左右方向の軸とし、ｘ軸を上下方向の軸とする。ｚ軸方向が光軸方向であり、左側を被写体側とする。
【００１７】
画素１５０Ｇ１内のマイクロレンズ１７０は、射出瞳１３０と受光層１８２が光学的に共役関係になるように配置されている。その結果、図２（Ａ）に示すように、射出瞳１３０に内包される瞳部分領域である第１の瞳部分領域２１０を通過した光束は、導光層１８１を通過して第１の光電変換部１６１に入射する。また、射出瞳１３０に内包される瞳部分領域である第２の瞳部分領域２２０を通過した光束は、第２の光電変換部１６２に入射する。
【００１８】
画素ごとにそれぞれ設けられる複数の第１の光電変換部１６１は、受光した光束を光電変換して第１の画像信号を生成する。また、画素ごとにそれぞれ設けられる複数の第２の光電変換部１６２は、受光した光束を光電変換して第２の画像信号を生成する。第１の画像信号から第１の瞳部分領域２１０を主に通過した光束が撮像素子１０１上に形成する像の強度分布を得ることができる。第２の画像信号から第２の瞳部分領域２２０を主に通過した光束が撮像素子１０１上に形成する像の強度分布を得ることができる。
【００１９】
第１の画像信号と第２の画像信号との視差量は、デフォーカス量に応じた量である。図２（Ｂ）から（Ｄ）を参照して、視差量とデフォーカス量との関係について説明する。撮像光学系の光軸方向での、撮像素子１０１と結像光学系１０２との位置関係において、図２（Ｂ）は合焦時の状態を示す。図２（Ｃ）、（Ｄ）はデフォーカス状態を示し、図２（Ｃ）は前ピン状態を示し、図２（Ｄ）は後ピン状態を示す。図中の光束２１１は第１の瞳部分領域２１０を通過する第１の光束を示し、光束２２１は第２の瞳部分領域２２０を通過する第２の光束を示す。ｘ軸、ｙ軸、ｚ軸の設定は図２（Ａ）と同じである。
【００２０】
図２（Ｂ）に示す合焦状態では、第１の光束２１１と第２の光束２２１が撮像素子１０１上で収束している。つまり第１の光束２１１により形成される第１の画像信号と第２の光束２２１により形成される第２の画像信号との間の相対的な位置ズレ量はゼロである。図２（Ｃ）に示す状態は、像側でｚ軸の負方向にデフォーカスした状態である。このとき、第１の画像信号と第２の画像信号との間の相対的な位置ズレ量は、負の値となる。図２（Ｄ）に示す状態は、像側でｚ軸の正方向にデフォーカスした状態である。このとき、第１の画像信号と第２の画像信号との間の相対的な位置ズレ量は、正の値となる。図２（Ｃ）と図２（Ｄ）との比較から、デフォーカス量の正負に応じて、位置ズレの方向が入れ替わることが分かる。また、幾何光学的関係から、デフォーカス量に応じて視差が生じることが分かる。従って、第１の画像信号と第２の画像信号との視差量を、後述する領域ベースのマッチング方法により検出し、検出された視差量を所定の変換係数によってデフォーカス量に変換することができる。さらに、結像光学系１０２の結像関係式を用いることで、像側のデフォーカス量を物体側の被写体距離、つまり撮像面から被写体までの距離へ変換することができる。
【００２１】
次に、図３を参照して、視差情報生成装置１１０について説明する。図３は、視差情報生成装置１１０の構成について概要を示すブロック図である。取得部１１１は、撮像素子１０１から複数の画像信号を取得する処理を時系列的に行う。複数の画像信号は、瞳分割数が２の場合、第１の画像信号（Ｓ１と記す）と第２の画像信号（Ｓ２と記す）である。判定部１１２は、取得部１１１により複数の画像信号を取得した時刻情報に基づき、所定の条件について判定処理を行う。判定処理の詳細については後述する。第１視差情報生成部１１３は、取得された第１の画像信号Ｓ１と第２の画像信号Ｓ２に基づき、複数の画素位置にて視差量の算出を行うことで、第１視差情報（Ｉｄ１と記す）を生成する。生成された第１視差情報Ｉｄ１は、視差情報生成装置１１０が備える記憶部に一時的に記憶されると共に、必要に応じて視差情報生成装置１１０から出力される。さらに、第１の画像信号Ｓ１と第２の画像信号Ｓ２は、視差情報生成装置１１０が備える記憶部に一時的に記憶される。
【００２２】
動き情報生成部１１４は、取得部１１１により今回取得された第１の画像信号Ｓ１と、前回取得された前フレームにおける第１の画像信号Ｓ１に基づき、複数の画素位置にて動き情報を算出する。第１の算出処理により生成される動き情報を第１動き情報Ｉｏｆ１とする。さらに動き情報生成部１１４は、取得部１１１により今回取得された第２の画像信号Ｓ２と、前回取得された前フレームにおける第２の画像信号Ｓ２に基づき、複数の画素位置にて動き情報を算出する。第２の算出処理により生成される動き情報を第２動き情報Ｉｏｆ２とする。
【００２３】
視差変化情報生成部１１５は、動き情報生成部１１４から取得した第１動き情報Ｉｏｆ１と第２動き情報Ｉｏｆ２に基づき、複数の画素位置にて、視差変化量の算出処理を行うことで視差変化情報（Ｉｄｄと記す）を生成する。第２視差情報生成部１１６は、第１視差情報生成部１１３から取得した第１視差情報Ｉｄ１と、視差変化情報生成部１１５から取得した視差変化情報Ｉｄｄに基づき、複数の画素位置にて視差量を算出する。この算出処理により、第２視差情報（Ｉｄ２と記す）が生成される。
【００２４】
図４（Ａ）、図５、図６を参照して、各構成部が行う処理について詳述する。図４（Ａ）は、視差情報生成装置１１０の動作を説明するフローチャートである。図４（Ａ）のＳ３１１にて、取得部１１１は、撮像素子１０１から第１の画像信号Ｓ１および第２の画像信号Ｓ２の取得処理を行う。Ｓ３１２で判定部１１２は、取得部１１１にて各画像信号を取得した時刻情報に基づき、判定処理を行う。取得部１１１が画像信号を取得したときのフレーム番号（時刻情報）が、所定の条件を満たす第１の場合には、Ｓ３１３の第１視差情報生成処理へ進む。また、所定の条件を満たさない第２の場合には、Ｓ３１４の動き情報生成処理へ進む。所定の条件に関しては、図６を用いて後述する。
【００２５】
Ｓ３１３において、第１視差情報Ｉｄ１の生成処理が実行される。第１視差情報生成部１１３が行う生成処理では、まず、第１の画像内に注目点（注目画素）が設定され、注目点を中心とする照合領域が設定される。次に、第２の画像内の上記注目点に対応する位置に参照点が設定され、参照点を中心とする参照領域が設定される。参照点を、視差が発生する方向（瞳分割方向に対応するｘ方向）に沿って順次移動させながら、照合領域内に含まれる第１の画像信号Ｓ１と参照領域内に含まれる第２の画像信号Ｓ２との間の相関度が算出される。第１視差情報生成部１１３は、最も相関度が高い参照点を、上記注目点に対応する対応点（対応画素）とし、注目点と対応点との相対的な位置ズレ量を、注目点における視差量として決定する。注目点を順次移動させながら視差量を算出することで、複数の画素位置における視差量を算出することができる。相関度の算出方法としては、例えば、画像信号間の差分絶対値を評価するＳＡＤ（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）と呼ばれる方法がある。照合領域と参照領域の大きさを大きくすることで、画像信号が有するノイズの影響を低減することができる。例えば、照合領域の大きさは１５×１５画素程度の大きさに設定される。参照点を動かす領域は、距離の計測範囲、結像光学系の焦点距離、視差量をデフォーカス量へ変換する変換係数、撮像素子の画素サイズを考慮して設定することができる。例えば、表１に記載する仕様の撮像装置１００では、距離の計測範囲を１．０ｍ〜１０．０ｍとした場合、視差が発生する方向に沿って、１７３画素の範囲で対応点の探索が行われる。
【００２６】
【表１】
2019028311.tif 000003
【００２７】
その他の相関度算出方法には、差分二乗和を評価するＳＳＤ（Ｓｕｍ  ｏｆ  Ｓｑｕａｒｅｄ  Ｄｉｆｆｅｒｅｎｃｅ）による方法がある。また、画像信号間の類似度を評価する正規化相互相関ＮＣＣ（Ｎｏｒｍａｌｉｚｅｄ  Ｃｒｏｓｓ  Ｃｏｒｒｅｌａｔｉｏｎ）による方法がある。
【００２８】
Ｓ３１４にて動き情報生成部１１４は、動き情報生成処理により、第１動き情報Ｉｏｆ１および第２動き情報Ｉｏｆ２を生成する。以下では、第１動き情報Ｉｏｆ１の生成を例に説明する。取得部１１１が時刻Ｔ２で取得した第１の画像信号Ｓ１を、Ｓ１（Ｔ２）と表記する。時刻Ｔ２よりも前の時刻Ｔ１で取得された第１の画像信号Ｓ１を、Ｓ１（Ｔ１）と表記する。第１の画像信号Ｓ１（Ｔ１）は、記憶部から適宜読み出して使用される。動き情報生成部１１４は、第１の画像信号Ｓ１（Ｔ１）内に注目点を設定し、注目点を中心とする照合領域を設定する。次に動き情報生成部１１４は、第１の画像信号Ｓ１（Ｔ２）に参照点を設定し、参照点を中心とする参照領域を設定する。参照点を順次移動させながら、照合領域内に含まれる第１の画像信号Ｓ１（Ｔ１）と参照領域に含まれる第１の画像信号Ｓ１（Ｔ２）との相関度が算出される。動き情報生成部１１４は最も相関度が高い参照点を、上記注目点に対応する対応点とする。注目点から対応点に至るベクトルが時刻Ｔ１から時刻Ｔ２にかけての動き情報となる。注目点を、例えば３×３の画素範囲で順次移動させながら動き情報を算出することで、複数の画素位置にて動き情報を算出することができる。相関度の算出には、例えばＳＡＤを用いることができる。なお、上述の説明において、第１の画像信号Ｓ１と第２の画像信号Ｓ２とを適宜読み替えることで、第２動き情報Ｉｏｆ２を生成することができる。
【００２９】
本実施形態では、動き情報の算出処理にて、時刻Ｔ１で取得した画像信号と時刻Ｔ２で取得した画像信号との間の対応点を求める、いわゆるテンプレートマッチング法を用いるが、他の方法を用いても構わない。例えば、勾配法があり、この方法はテンプレートマッチング法よりも高速に動き情報を生成できる。一方、テンプレートマッチング法は、第１視差情報生成処理（Ｓ３１３）と処理内容を共通化できるという利点がある。そのため、論理回路を用いて視差情報生成装置１１０を構成する場合には、論理回路の規模を小さくすることができる。
【００３０】
Ｓ３１４の次にＳ３１５に進み、視差変化情報生成部１１５は、第１動き情報Ｉｏｆ１と第２動き情報Ｉｏｆ２に基づき、視差変化情報生成処理を行い、視差変化情報Ｉｄｄを生成する。Ｓ３１５においては、第１動き情報Ｉｏｆ１内の所定の画素位置に第１の計算点である「計算点１」が設定される。さらに第２の動き情報Ｉｏｆ２内の「計算点１」と対応する画素位置に第２の計算点である「計算点２」が設定される。「計算点１」の動き情報を表すベクトルを、視差が生じる方向（ｘ方向）に射影した第１視差方向の動き量が算出される。また「計算点２」の動き情報を表すベクトルを、視差が生じる方向（ｘ方向）に射影した第２視差方向の動き量が算出される。これらの動き量の差分が、「計算点１」における視差変化量となる。「計算点１」を順次移動させながら視差変化量を算出することで、複数の画素位置における視差変化量を算出することができる。第１の動き情報と第２の動き情報との差分が、視差変化量となることについて、図５を用いて具体的に説明する。
【００３１】
図５（Ａ）は、時刻Ｔ１、Ｔ２にそれぞれ取得された画像信号を例示する。上段には、時刻Ｔ１における第１の画像信号Ｓ１と第２の画像信号Ｓ２を示し、下段には時刻Ｔ２における第１の画像信号Ｓ１と第２の画像信号Ｓ２を示す。画像信号Ｓ１、Ｓ２にそれぞれ対応する第１、第２の画像中の被写体像（被写体５０１の画像）をそれぞれ示している。図５（Ａ）の紙面内にて、ｘ軸を左右方向の軸とし、ｙ軸を上下方向の軸として定義する。Δｘ１は時刻Ｔ１における第１の画像内の被写体像と時刻Ｔ２における第１の画像内の被写体像との、ｘ軸方向の位置ずれ量を表す。またΔｘ２は時刻Ｔ１における第２の画像内の被写体像と時刻Ｔ２における第２の画像内の被写体像との、ｘ軸方向の位置ずれ量を表す。
【００３２】
図５（Ｂ）は、時刻Ｔ１と時刻Ｔ２における、撮像素子１０１が受光する光束を示す模式図である。上段の図は時刻Ｔ１での状態を示し、下段の図は時刻Ｔ２での状態を示す。図５（Ｂ）の紙面に直交する軸をｙ軸とし、紙面内にてｚ軸を左右方向の軸とし、ｘ軸を上下方向の軸として定義する。線分５１０は、第１の瞳部分領域を通過した光束を代表する光線を表し、線分５２０は第２の瞳部分領域を通過した光束を代表する光線を表す。時刻Ｔ１において、被写体５０１から発した光線５１０は、結像光学系１０２の第１の瞳部分領域２１０を通過したのち、撮像素子１０１上の点Ｐａ（ｘ，ｙ）に像を形成する。また光線５２０は、結像光学系１０２の第２の瞳部分領域２２０を通過したのち、撮像素子１０１上の点Ｐｂ（ｘ，ｙ）に像を形成する。結像光学系１０２のピント位置が被写体５０１上にあるため、時刻Ｔ１では、点Ｐａと点Ｐｂは撮像素子１０１の像面上で同じ位置となる。
【００３３】
時刻Ｔ１から時刻Ｔ２までの期間中に、被写体５０１がｚ軸方向に移動した場合を想定する。この時、光線５１０に対応する点Ｐａは、位置座標がｘ１からｘ１＋ｕ＋ｄａにシフトする。同様に、光線５２０に対応する点Ｐｂは、位置座標がｘ１からｘ１＋ｕ＋ｄｂにシフトする。ここで、ｕは被写体５０１に係る画角変化に伴う動き量である。ｄａおよびｄｂは、被写体５０１がｚ軸方向に移動したことに伴う動き量である。従って、第１の動き量はｕ＋ｄａとなり、第２の動き量はｕ＋ｄｂとなる。第１の動き量と第２の動き量との差分を計算することでｕを除去できる。つまり、被写体５０１に係る画角変化に起因する動き量を除くことができ、その結果、被写体５０１がｚ軸方向に移動したことに起因する視差変化量（ｄａ−ｄｂ）のみを抽出することができる。
【００３４】
撮像素子１０１から被写体までの距離が長い場合には、画像信号中の被写体像のサイズは小さくなるが、単位距離あたりの視差変化量は小さくなる。一方、撮像素子１０１から被写体までの距離が短い場合には、単位距離あたりの視差変化量は大きくなるが、画像信号中の被写体像のサイズは大きくなる。以上を考慮すると、「計算点２」としては、「計算点１」と同じ画素位置を用いても構わない。なお、「計算点２」を設定する際に、第１視差情報Ｉｄ１と第１動き情報Ｉｏｆ１と第２動き情報Ｉｏｆ２を参照してもよい。すなわち視差変化情報生成部１１５は、第１動き情報Ｉｏｆ１内の「計算点１」の動き量から第１視差情報Ｉｄ１内での「計算点１」と対応する点を求める。次に第１視差情報Ｉｄ１内の視差情報と第２動き情報Ｉｄ２内の動き量から、第２動き情報Ｉｄ２内での「計算点１」と対応する点である「計算点２」を求めることができる。
【００３５】
図４（Ａ）のＳ３１６で第２視差情報生成部１１６は、取得した第１視差情報Ｉｄ１と視差変化情報Ｉｄｄに基づき、複数の画素位置にて視差量を算出することで、第２視差情報Ｉｄ２を生成して出力する。第２視差情報Ｉｄ２の生成処理では、まず、第１視差情報Ｉｄ１内の所定の画素位置に「計算点１」が設定され、さらに視差変化情報Ｉｄｄ内の、「計算点１」と対応する画素位置に「計算点２」が設定される。「計算点１」の視差量と、「計算点２」の視差変化量の和により、第２視差情報Ｉｄ２を生成することができる。
【００３６】
図６は、視差情報生成装置１１０が行う視差情報生成処理におけるデータフロー図である。図６（Ａ）を用いて、視差情報生成装置１１０が行う視差情報生成処理について説明する。図６（Ａ）および（Ｂ）では、時間軸を上から下に設定し、Ｔ１＜Ｔ２とする。視差情報生成処理の流れは以下の通りである。
【００３７】
・時刻Ｔ１での画像信号の取得。
第１の画像信号Ｓ１（Ｔ１）と第２の画像信号Ｓ２（Ｔ１）が取得される。
【００３８】
・時刻Ｔ１の判定処理。
判定部１１２は、現在の時刻が所定の時刻であるか否かを判定する（Ｓ３１２）。所定の時刻は予め定められた比較用の時刻であり、時刻Ｔ１に設定されているものとする。現在の時刻が所定の時刻でＴ１であると判定された第１の場合、Ｓ１（Ｔ１）とＳ２（Ｔ１）を用いて、第１視差情報生成処理（Ｓ３１３）により、時刻Ｔ１での第１視差情報Ｉｄ１（Ｔ１）が生成されて出力処理が行われる。
【００３９】
・時刻Ｔ２での画像信号の取得。
第１の画像信号Ｓ１（Ｔ２）と第２の画像信号Ｓ２（Ｔ２）が取得される。
【００４０】
・時刻Ｔ２の判定処理。
判定部１１２は、時刻Ｔ２が所定の時刻であるか否か判定する（Ｓ３１２）。所定の時刻は予め定められた比較用の時刻Ｔ１である。時刻Ｔ２は所定の時刻Ｔ１ではないので、第２の場合、動き情報生成処理（Ｓ３１４）において第１動き情報および第２動き情報が生成される。画像信号Ｓ１（Ｔ１）とＳ１（Ｔ２）との比較により第１動き情報Ｉｏｆ１（Ｔ２）が生成され、画像信号Ｓ２（Ｔ１）とＳ２（Ｔ２）との比較により第２動き情報Ｉｏｆ２（Ｔ２）が生成される。
【００４１】
・視差変化情報の生成処理。
視差変化情報生成処理（Ｓ３１５）において、Ｉｏｆ１（Ｔ２）とＩｏｆ２（Ｔ２）を用いて減算により、視差変化情報Ｉｄｄ（Ｔ２）が生成される。
【００４２】
・第２視差情報の生成処理。
第２視差情報生成処理（Ｓ３１６）において、Ｉｄｄ（Ｔ２）とＩｄ１（Ｔ１）を用いて、加算により、第２視差情報Ｉｄ２（Ｔ２）が生成され、出力処理が行われる。
【００４３】
本実施形態では、判定処理Ｓ３１１にて、画像信号を取得した時刻が所定の時刻Ｔ１であるか否かに基づき、第１の場合と第２の場合の判定を行っているが、必ずしも特定の時刻であるか否かに基づき判定する必要はない。所定の時刻を周期的な時刻に設定し、例えば、時刻Ｔ１、Ｔ３、Ｔ５、Ｔ７・・・Ｔｋ（ｋは奇数）としても構わない。その場合には、第１の場合となる時刻を基準に、上述の処理が繰り返される。
【００４４】
図６（Ｂ）に示すデータフロー図を参照し、時刻Ｔ２と時刻Ｔ３において第２の場合と判定される時刻が２回以上連続する例について説明する。時刻Ｔ１と時刻Ｔ２での処理は図６（Ａ）の処理と同じであるための、それらの説明を省略する。時刻Ｔ３では、その前の時刻Ｔ２と同様に、第２の場合であると判定される。つまり時刻Ｔ３では、時刻Ｔ２の画像信号と時刻Ｔ３の画像信号を用いて動き情報Ｉｏｆ１（Ｔ３）およびＩｏｆ２（Ｔ３）が生成される。さらに、時刻Ｔ２の第２視差情報Ｉｄ２（Ｔ２）と時刻Ｔ３の視差変化情報Ｉｄｄ（Ｔ３）を用いて、時刻Ｔ３の第２視差情報Ｉｄ２（Ｔ３）が生成される。次の時刻Ｔ４では、時刻Ｔ１と同様に第１の場合と判定され、さらに時刻Ｔ５とＴ６では第２の場合と判定されて、上述の処理が繰り返し実行される。
【００４５】
図４（Ａ）のＳ３１３に示す第１視差情報生成処理において、対応点の位置は被写体距離によって決まる。このため、対応点同士が必ずしも近傍にあるとは限らない。対応点を見つけるためには、視差が発生する方向に沿って広い範囲で探索する必要があるので、演算量が多くなってしまう。一方、Ｓ３１４に示す動き情報生成処理では、対応点の位置が被写体の動きによって決まる。過去の時刻にある位置に居た被写体は、現在の時刻でも当該位置の近傍に居る可能性が高いので、対応点は近傍にあることが多い。従って、対応点を見つけるために必要な探索範囲が狭いため、演算量を低減できる。本実施形態では、第２の場合において、動き情報から生成された視差変化情報Ｉｄｄを用いて、第１視差情報Ｉｄ１を更新することで第２視差情報Ｉｄ２が生成される。すなわち、より少ない演算量で視差情報を生成することができる。従って、撮像素子１０１により画像信号を取得した時点から、視差情報が生成される時点までに要する時間を短縮することができる。
【００４６】
図４（Ｂ）を参照して、距離情報生成装置１２０が行う処理について説明する。図４（Ｂ）は、デフォーカス量情報の生成処理Ｓ３２１と、被写体距離情報の生成処理Ｓ３２２を示すフローチャートである。まず、Ｓ３２１で距離情報生成装置１２０は、視差情報生成装置１１０が生成した第１視差情報と第２視差情報のいずれかの視差情報を取得し、所定の変換係数を用いてデフォーカス量へ変換する。撮像素子１０１から結像光学系１０２の焦点までの距離であるデフォーカス量をＤｅｆと表記する。所定の変換係数をＣと表記し、視差量をｄと表記する。下記式（１）により、視差量ｄをデフォーカス量Ｄｅｆに変換することができる。
Ｄｅｆ＝Ｃ  ×  ｄ  ・・・（１）
【００４７】
Ｓ３２２で距離情報生成装置１２０は、デフォーカス量Ｄｅｆを被写体距離に変換する。デフォーカス量から被写体距離への変換は、結像光学系１０２の結像関係式を用いた公知の方法で行うことができる。図４（Ｂ）の処理については複数の画素位置にて実行され、各画素位置の被写体距離から構成される距離情報を生成することができる。なお、本実施形態の距離情報生成装置１２０は、デフォーカス量を被写体距離に変換しているが、必ずしも被写体距離に変換する必要はない。例えば、距離情報生成装置１２０によって生成された距離情報に基づき、結像光学系１０２が備えるフォーカスレンズを光軸方向に移動して焦点調節を行う場合には、デフォーカス量が使用される。例えば第１視差情報に基づくデフォーカス量によって焦点調節制御が行われ、第２視差情報または視差変化情報を用いて被写体に焦点が合っているか否かの合焦判定が行われる。距離情報は、撮影画像における被写体の奥行き方向の深度情報であり、デフォーカスマップ情報や像ずれ量のマップ情報、あるいは距離に換算した被写体距離マップ情報等がある。被写体の深度を表現可能な情報であれば、使用目的に応じて任意に選択することができる。
【００４８】
本実施形態の判定部１１２は、図４（Ａ）の判定処理Ｓ３１２にて、第１の画像信号と第２の画像信号を取得した時刻情報に応じて、第１の場合と第２の場合の判定を行うが、別の判定方法もある。例えば、過去の時刻に生成された第１動き情報の信頼性を評価することにより、第１の場合と第２の場合の判定を行うことができる。図６（Ｂ）を参照して、第１動き情報の信頼性の評価に基づく判定処理Ｓ３１２について説明する。図６（Ｂ）において、第１の画像信号Ｓ１と第２の画像信号Ｓ２が取得される時刻が時刻Ｔ３であるとものとする。任意の時刻Ｔｎでの第１動き情報Ｉｏｆ１（Ｔｎ）の信頼性を評価可能な情報を、信頼度情報Ｉｃｏｆ１（Ｔｎ）と表記する。
【００４９】
時刻Ｔ３よりも過去の時刻Ｔ２にて、動き情報生成処理Ｓ３１４では、第１動き情報Ｉｏｆ１（Ｔ２）と第２動き情報Ｉｏｆ２（Ｔ２）に加えて、信頼度情報Ｉｃｏｆ１（Ｔ２）が生成される。テンプレートマッチング法を用いて動き情報が生成される場合には、参照点を順次移動させながら算出した相関度にて、視差が生じる方向に沿った単位画素あたりの相関度変化量を算出することができる。この相関度変化量を動き信頼度情報として用いることができる。相関度変化量が小さい領域では、画像信号のコントラスト変化が小さいため、視差が生じる方向に沿った動き情報を精度よく算出できていない可能性が高い。そのため、相関度変化量を用いて動き情報の信頼性を評価することができる。複数の画素位置にて動き情報の信頼度を算出することで、動き信頼度情報（信頼度マップ情報）を生成できる。生成された動き信頼度情報は、視差情報生成装置１１０が備える記憶部に一時的に記憶される。
【００５０】
時刻Ｔ３において、判定処理Ｓ３１２では、現在時刻が所定の時刻であるか否か、または時刻Ｔ２に生成された信頼度情報Ｉｃｏｆ１（Ｔ２）の統計量が所定の閾値未満であるか否かが判定される。判定部１１２は信頼度情報Ｉｃｏｆ１（Ｔ２）の統計量を所定の閾値と比較し、統計量が所定の閾値より小さい場合、信頼性が低いと判断し、第１の場合と判定する。信頼度情報の統計量としては、平均値、最小値、または最大値を用いることができる。統計量を算出するための領域としては、信頼度情報を生成したときに対象とした全ての画素を含む領域でもよいし、設定された特定の領域でも構わない。例えば、視差情報生成装置１１０が生成した第１視差情報または第２視差情報を、距離情報生成装置１２０が処理して、結像光学系１０２の焦点調節を行う場合を説明する。この場合、焦点を合わせる対象である主要被写体を含む画像領域が、統計量を算出するための領域として設定される。なお、ユーザが焦点を合わせたい主要被写体については、撮像素子により取得される第１の画像情報と第２の画像情報の少なくとも一方に基づき、顔領域を検出することで設定できる。
【００５１】
本実施形態の第２視差情報は、第１視差情報を視差変化情報に基づき更新した情報である。従って、更新回数の増加に伴う誤差の蓄積が懸念される。そこで、所定の時刻情報に基づき、第１視差情報の生成処理が実行される。また、第１動き情報に係る信頼度情報の統計量が閾値より小さい場合には、蓄積される誤差量が大きくなる可能性が高い。そこで判定部１１２は、判定処理Ｓ３１２にて、時刻情報に加えて信頼度情報を評価し、生成される視差情報の精度低下を抑制する。なお、過去の時刻での第１動き情報に係る信頼度情報の統計量を用いる方法に限らず、過去に算出された第１動き情報に係る信頼度情報の統計量を積算した値を用いても構わない。積算値を用いる方法では、第１視差情報の更新により生成される第２視差情報に含まれる誤差の積算値を評価することができるので、視差情報生成装置１１０にて生成される視差情報の精度低下をより抑制できる。
【００５２】
図４（Ａ）に示す第１視差情報生成処理Ｓ３１３では、所定の画素位置にて視差量が生成される。その際、過去に生成された第１動き情報に係る信頼度情報を用いて、視差量を生成する画素位置を制御する方法について、図６（Ｂ）および図７を参照して説明する。図６（Ｂ）にて時刻Ｔ４の場合を例に説明する。図７は、視差情報生成処理を説明するフローチャートである。図４（Ａ）との相違点は、Ｓ３１２とＳ３１３との間にあるＳ６１７の処理、およびＳ３１２とＳ３１５との間にあるＳ６１４の処理である。以下、相違点のみ説明する。
【００５３】
図６（Ｂ）の時刻Ｔ３では第２の場合と判定され、図７のＳ３１２から動き情報生成処理Ｓ６１４に進む。Ｓ６１４にて、第１動き情報Ｉｏｆ１と第２動き情報Ｉｏｆ２に加えて、前述の方法で第１動き情報に係る信頼度情報が生成される。生成された信頼度情報は、視差情報生成装置１１０が備える記憶部に一時的に記憶される。
【００５４】
図６（Ｂ）の時刻Ｔ４では第１の場合と判定され、図７のＳ３１２から領域設定処理Ｓ６１７に進む。Ｓ６１７で第１視差情報生成部１１３は、Ｓ６１４にて生成された信頼度情報を記憶部から読み出し、信頼度情報に基づいて視差量生成のための領域を設定する。具体的には、第１動き情報に係る信頼度が所定の閾値と比較され、信頼度が閾値以上である領域を、視差量生成のための領域として設定する処理が行われる。次のＳ３１３にて第１視差情報生成部１１３は、設定した視差量生成のための領域について、視差量の算出を行う。
【００５５】
第１動き情報に係る信頼度が閾値より低い領域は、画像信号のコントラスト変化が小さい領域である。そのような領域では、Ｓ３１３において視差量を精度良く生成することができない可能性がある。そこで本実施形態では、第１動き情報に係る信頼度情報に基づいて、視差量を精度良く生成できない可能性がある領域を、視差量を生成するための領域から除く処理が実行される。これにより、第１視差情報の生成に係る演算量を低減することができるとともに、第１視差情報の精度低下を抑制可能である。
本実施形態によれば、被写体距離に応じた視差量を検出する装置において、より少ない演算量で視差情報を生成することができる。
以下に、本実施形態の変形例を説明する。
【００５６】
［撮像素子の変形例］
図８を参照して、各画素部が３つの光電変換部を有する撮像素子７０１の例を説明する。撮像素子７０１は撮像面位相差測距方式による測距機能を有し、結像光学系１０２を介して撮像素子７０１上に結像される被写体からの光を光電変換して画像信号を出力する。以下では撮像素子１０１との相違点を説明する。
【００５７】
図８（Ａ）は、撮像素子７０１のｘｙ断面図である。ｘ軸、ｙ軸、ｚ軸の設定については図１（Ｂ）と同じであるため、それらの説明を割愛する。撮像素子７０１は、２行×２列の画素群７５０を２次元アレイ状に配列することで構成される。画素群７５０を構成する各画素部は、第１の対角方向に位置する緑画素７５０Ｇ１および７５０Ｇ２と、第２の対角方向に位置する赤画素７５０Ｒおよび青画素７５０Ｂを備える。各画素は第１から第３の光電変換部７６１〜７６３を有する。
【００５８】
図８（Ｂ）は、図８（Ａ）に示すＩ−Ｉ＊線に沿う画素群７５０の断面構造を模式的に示す図である。ｘ軸、ｙ軸、ｚ軸の設定については図１（Ｃ）と同じである。各画素は導光層１８１と受光層１８２から構成される。図１（Ｃ）に示す構成との相違点は、受光層１８２に、第１の光電変換部７６１、第２の光電変換部７６２、第３の光電変換部７６３が配置されている点である。ｘ軸方向にて、第３の光電変換部７６３が画素部の受光層１８２の中央部に位置し、その両側に第１の光電変換部７６１と、第２の光電変換部７６２がそれぞれ位置する。
【００５９】
図８（Ｃ）は、結像光学系１０２の射出瞳１３０と、撮像素子１０１中に配置される画素の代表例として緑画素７５０Ｇ１のみを示した概略図である。ｘ軸、ｙ軸、ｚ軸の設定については図２（Ａ）と同じである。緑画素７５０Ｇ１内のマイクロレンズ１７０は、射出瞳１３０と受光層１８２とが光学的に共役関係になるように配置されている。その結果、第３の光電変換部７６３は、射出瞳１３０に内包される瞳部分領域である第３の瞳部分領域２３０を通過した光束を受光し、第３の画像信号を生成する。すなわち、第３の画像信号から、第３の瞳部分領域２３０を主に通過した光束が撮像素子７０１上に形成する像の強度分布を得ることができる。
【００６０】
第３の瞳部分領域２３０を通過した光束は、射出瞳１３０の略中心部を通過した光束であるため、距離に応じた像のシフトのない画像を取得することができる。第３の画像信号に対して、画像生成部が現像処理を行い、カラー画像データを生成することができる。生成されたカラー画像データは画像格納部に記憶される。
【００６１】
第１の光電変換部７６１と第２の光電変換部７６２との間隔は、撮像素子１０１が備える第１の光電変換部１６１と第２の光電変換部１６２と間隔と比べて大きい。そのため、撮像素子１０１により取得される画像信号と比べて、撮像素子７０１により取得される画像信号は、単位デフォーカス量あたりの視差変化が大きくなる。すなわち、前述の式１における変換係数Ｃの値を小さくすることができるので、被写体までの距離をより高精度に検出できる。一方、より広い範囲で対応点の探索を行うことが必要である。前記の処理により、視差情報生成装置において撮像素子７０１により画像信号を取得した時点から視差情報が生成される時点までの時間を短縮することができる。
【００６２】
［撮像装置の変形例］
図９を参照して、結像光学系および撮像素子を２組備える撮像装置１０００の例を説明する。図９の紙面に直交する方向にｙ軸を設定し、紙面内にて光軸方向と平行に設定した軸をｚ軸とし、ｙ軸およびｚ軸に直交する軸をｘ軸と定義する。
【００６３】
第１の光軸１０４０ａ上に配置された、第１の結像光学系１０２０ａおよび第１の撮像素子１００１ａが第１の撮像部を構成する。第２の光軸１０４０ｂ上に配置された、第２の結像光学系１０２０ｂおよび第２の撮像素子１００１ｂが第２の撮像部を構成する。被写体からの光は、第１の結像光学系１０２０ａ、第２の結像光学系１０２０ｂによってそれぞれ独立して結像され、撮像素子１００１ａ、撮像素子１００１ｂによりそれぞれ光電変換が行われる。
【００６４】
第１の結像光学系１０２０ａ、第２の結像光学系１０２０ｂはいずれも、複数のレンズ群と絞りを備える。撮像装置１０００は、第１の結像光学系１０２０ａの光軸１０４０ａと、第２の結像光学系１０２０ｂの光軸１０４０ｂとが略平行な構成である。視差情報生成装置１１０は撮像素子１００１ａ、撮像素子１００１ｂから視差画像を取得して視差情報を生成する。距離情報生成装置１２０は、視差情報生成装置１１０から視差情報を取得して距離情報を生成する。
【００６５】
複数の結像光学系および撮像素子を備えた撮像装置において、前記と同様の方法によって、視差情報を生成するとともに、生成された視差情報から距離情報を算出することができる。以上の変形例については、後述の実施形態でも適用可能である。
【００６６】
［第２の実施形態］
図１０を参照して、第２の実施形態を説明する。本実施形態では、撮像装置１００を移動装置に搭載した例を説明する。駆動部により移動する移動装置としては、自動車、船舶、航空機、ドローンあるいは産業用ロボット等への適用が可能である。以下では自動車への適用例を説明する。なお、本実施形態において、第１の実施形態にて説明した各構成部については既に使用した符号を用いることにより、それらの詳細な説明を省略し、主に相違点を説明する。このような説明の省略の仕方は後述の実施形態でも同じである。
【００６７】
図１０（Ａ）は、本実施形態に係る自動車の構成の主要部を説明する概略図である。車両８００には、撮像装置１００、外界認識装置８１０、警報装置８２０、制御装置８３０、車両情報取得装置８４０が搭載される。外界認識装置８１０は、撮像装置１００が備える距離情報生成装置１２０が生成した距離情報と、撮像装置１００によって取得した画像信号に基づき、外界の認識を行う。例えば、撮像装置１００は車両８００のフロント（またはリア）ウィンドシールドに近接した車内の所定位置に設置され、車両８００の前方視野（または後方視野）の撮像を行う。外界認識装置８１０は、撮像装置１００から第１および第２の画像信号を取得し、前走車の存在を認識可能である。さらには、前走車までの距離情報に基づいて車両８００を基準とする前走車の位置を認識することができる。
【００６８】
外界認識装置８１０は、警報装置８２０、制御装置８３０、車両情報取得装置８４０と接続される。外界認識装置８１０は、車両情報取得装置８４０から車速度、ヨーレート、および舵角等のうち、１つ以上の車両情報（移動装置の情報）を取得する。制御装置８３０は、外界認識装置８１０の認識結果に基づいて車両８００を制御する。警報装置８２０は、外界認識装置８１０の認識結果に基づいて警報を発する。例えば、外界認識装置８１０の認識結果として、前走車との衝突の可能性が高い場合を想定する。制御装置８３０は、車両８００のブレーキをかける、アクセルを戻す、エンジン出力を抑制する等の制御を行い、前走車との衝突を回避し、または被害を軽減するために車両制御を行う。また、警報装置８２０は警報音等を発生させる処理や、カーナビゲーション装置等の表示画面やヘッドアップディスプレイ等に警告情報を表示させる処理を行う。あるいは、警報装置８２０はシートベルトやステアリングホィールに振動を与えること等により、車両８００の運転者に警告を行う。
【００６９】
図１０（Ｂ）は、本実施形態における運転支援システムの動作例としての衝突回避処理を説明するフローチャートである。Ｓ８０１で外界認識装置８１０は、撮像装置１００から複数の画像信号（例えば、第１および第２の画像信号）を取得する。次にＳ８０２で外界認識装置８１０は、車両情報取得装置８４０から車両情報を取得する。Ｓ８０３で外界認識装置８１０は取得された複数の画像信号のうち、少なくとも１つの画像信号に対して特徴解析を含む認識処理を行う。具体的には、画像信号におけるエッジの量や方向、濃度値、色、輝度値等の特徴量の解析処理が行われることにより、対象物が認識される。検知対象は、自動車、歩行者、自転車、車線、ガードレール、車両のブレーキランプ等である。なお、画像の特徴量解析は、複数の画像信号に対してそれぞれ行ってもよく、または、複数の画像信号のうち一部の画像信号のみ（例えば第１の画像信号のみ）に対して行ってもよい。撮像装置１００が撮像素子７０１（図８）を備える場合には、さらに第３の画像信号に対して、画像の特徴量解析を行うことができる。
【００７０】
続くＳ８０４では、撮像装置１００内の視差情報生成装置１１０が視差情報を生成し、距離情報生成装置１２０が距離情報を生成する。撮像された画像内（撮像画角内）に存在する対象物の距離情報が取得される。対象物の距離情報は、撮像装置１００から検知する対象物までの距離に対応する画像内の対象物（被写体）に係る深度情報である。Ｓ８０５で外界認識装置８１０は対象物の距離情報を取得し、予め定められた距離範囲の情報と比較する。対象物の距離情報に基づき、予め定められた距離範囲内に障害物が存在するか否かについて判定処理が行われる。具体的には、車両８００の前方または後方の衝突可能性の判定処理が行われ、設定距離内に障害物が存在する場合、衝突の可能性が有ると判定されて、Ｓ８０６の処理に進む。設定距離内に障害物が存在しない場合には、衝突の可能性が無いと判定され、処理を終了する。
【００７１】
Ｓ８０６にて制御装置８３０は、車両８００の移動方向および移動速度の少なくとも１つを制御する。例えば、制御装置８３０は車両９００の各駆動輪に制動力を発生させる制御信号を生成して車両制御部に出力する。エンジンの出力等を抑制する制御が行われて、車両８００と前走車との衝突を回避し、衝突可能性が低減される。警報装置８２０は、音や映像、振動等で運転者等に警報する。その後、本処理を終了する。
【００７２】
図１０（Ｂ）の処理によって、障害物の検知を効果的に行うことができる。つまり、正確に障害物を検知し、衝突の回避および被害の軽減のための車両制御を行うことが可能となる。
【００７３】
車両８００の運転支援システムは、撮像装置１００が生成する視差情報と画像信号に基づき外界を認識し、車両の制御を行う。撮像装置１００の視差情報生成装置１１０においては、撮像素子１０１により画像信号を取得した時点から、第２視差情報が生成される時点までの時間を短縮することができる。従って外界認識装置８１０は、より早い段階で外界を認識して、認識結果を示す情報を車両の制御にフィードバックする処理を実行できる。早期に外界を認識することで、より効果的に衝突の回避および被害の軽減のための車両制御が可能となる。
【００７４】
［第３の実施形態］
図１１を参照して、第３の実施形態を説明する。図１１（Ａ）は、自動車への適用例を概略的に説明する図である。図１０（Ａ）との相違点は車両９００に移動体検出装置９２０が搭載されている点であり、以下では、移動体検出装置９２０と外界認識装置９１０を主に説明する。
【００７５】
移動体検出装置９２０は、撮像装置１００の視差情報生成装置１１０が生成した視差変化情報と、第１の視差情報および第２の視差情報の少なくとも一方を取得する。移動体検出装置９２０は、地面に対して相対的に移動している被写体を検出し、移動体情報を生成する。移動している被写体の検出処理については、図１２を用いて後述する。
【００７６】
外界認識装置９１０は、撮像装置１００の距離情報生成装置１２０が生成した距離情報および撮像装置１００から取得した画像信号と、移動体検出装置９２０から取得した移動体情報に基づき、外界の認識処理を行う。例えば外界認識装置９１０は、撮像装置１００から取得した第１の画像信号と、移動体検出装置９２０から取得した移動体情報を用いて、前走車が存在することを認識する。さらに外界認識装置９１０は、車両９００から前走車までの距離に基づいて、車両９００に対する前走車の位置を認識する。外界認識装置９１０は、警報装置８２０、制御装置８３０、および車両情報取得装置８４０と接続される。外界認識装置９１０は、車両情報取得装置８４０から車両情報を取得する。
【００７７】
図１１（Ｂ）は、本実施形態における運転支援システムの動作例としての衝突回避処理を説明するフローチャートである。図１０（Ｂ）との相違点は、Ｓ８０２とＳ８０３との間にあるＳ９０１の処理と、Ｓ８０４とＳ８０６との間にあるＳ９０５の処理である。
【００７８】
Ｓ９０１で移動体検出装置９２０は、撮像装置１００内の視差情報生成装置１１０が生成する視差情報（第１視差情報と第２視差情報の少なくとも１つ）と視差変化情報を取得し、地面に対して相対的に移動している被写体を検出する。以下では、視差情報と視差変化情報に基づき、移動体を検出する方法について図１２（Ａ）および（Ｂ）を用いて説明する。
【００７９】
図１２（Ａ）は、被写体と結像光学系１０２と撮像素子１０１との位置関係を示す模式図である。図１２（Ａ）の紙面に直交する軸をｙ軸とし、紙面内にて直交する軸をｘ軸およびｚ軸と定義する。ｚ軸は結像光学系１０２の光軸１４０に平行な軸である。結像光学系１０２から被写体までの距離をｓ１と表記し、結像光学系１０２から撮像素子１０１までの距離をｓ２と表記する。結像光学系１０２の焦点距離をｆと表記し、デフォーカス量をＤｅｆと表記する。このとき、下記の結像関係式（２）が成立する。
【数１】
2019028311.tif 000004
【００８０】
被写体距離ｓ１の変化量に対するデフォーカス量の変化量、つまりデフォーカス量Ｄｅｆのｓ１による偏微分は、下記式（３）により算出される。
【数２】
2019028311.tif 000005
【００８１】
（３）式と（１）式から、被写体の距離変化による視差量の変化（Δｄと記す）は、（４）式により算出される。
【数３】
2019028311.tif 000006
（４）式中のＰは比例定数である。
【００８２】
例えば、時刻Ｔ１から時刻Ｔ２にかけて、車両９００が前進しており、撮影画像内の被写体が静止している場合に、車両９００に対する相対的な移動量（相対速度）は一様であるものとする。視差量と視差変化量との関係は（４）式にて、同じ比例定数Ｐを用いて表すことができる。一方、地面に対して移動している被写体は、車両９００に対する相対的な移動量がそれぞれ異なるため、（４）式にて比例定数Ｐが異なることになる。
【００８３】
図１２（Ｂ）は横軸に視差量をとり、縦軸に視差変化量をとって両者の対応関係を示す図である。図中の実線で示すグラフ線Ｇは、（４）式にて所定の比例定数を用いたときの視差量と視差変化量の対応関係を示す。グラフ線Ｇは多項式（例えば、２次式）で表される。菱形印は、地面に対して静止している被写体の視差量と視差変化量との関係を表している。画像信号に含まれるノイズ等の影響で、視差量と視差変化量は多少のバラつきを有するが、実線と略一致している。グループ９３０とグループ９４０にそれぞれ示す黒点印は、移動体である被写体の視差量と視差変化量との関係を表わす。車両９００が備える撮像装置１００の画角中では、路面、車線、人口建造物等、静止している被写体（静止被写体）が大部分を占める。従って、比例定数Ｐを最小二乗法等により推定することで、静止している被写体の視差量と視差変化量とを表す関係式が得られる。推定した比例定数Ｐを用いた視差量と視差変化量の関係から大きく外れる点を、所定の閾値により抽出することで、移動している被写体（移動被写体）を検出することができる。
【００８４】
図１１（Ｂ）のＳ９０５で外界認識装置９１０は、求められた距離情報が所定の範囲内にあるか否か、つまり、設定距離内に障害物が存在するか否かを判定し、前方または後方の衝突可能性を判定する。この時、被写体が移動被写体である場合と静止被写体である場合とで、設定距離を変更する処理が行われる。つまり移動被写体の場合には、設定距離が長く設定される。より望ましくは、移動被写体の移動方向に応じて設定距離が変更される。車両９００に近づいてくる移動被写体に対して設定距離が相対的に長く設定され、車両９００から遠ざかる被写体に対して設定距離が相対的に短く設定される。移動体の移動方向は、図１２（Ｂ）にて実線で示すグラフ線Ｇを基準として、その上に位置するか下に位置するかによって判定することができる。例えば、グループ９３０内の黒点印は実線で示すグラフ線Ｇの上側に位置し、グループ９３０に属する移動被写体は車両９００に近づいていることが分かる。また、グループ９４０内の黒点印は実線で示すグラフ線Ｇの下側に位置し、グループ９４０に属する移動被写体は車両９００から離れていることが分かる。このように、グラフ線Ｇを表す多項式の係数を設定し、多項式に視差情報を入力して得られる情報と、視差変化情報とを比較することによって、移動被写体を検出することができる。
【００８５】
図１１（Ｂ）のＳ９０５にて、設定距離内に障害物が存在する場合、衝突の可能性があると判定され、Ｓ８０６の処理に進む。一方、設定距離内に障害物が存在しない場合、衝突の可能性が無いと判定され、本処理を終了する。
【００８６】
（４）式中の比例定数Ｐは、視差変化情報を算出したときの時間間隔にて車両９００が移動した距離に相当する。従って、移動体検出装置９２０を車両情報取得装置８４０と接続し、取得した車両情報を用いて比例定数Ｐを算出しても構わない。すなわち、車両情報に含まれる車速データから、所定の時間間隔での車両９００の移動距離を算出し、比例定数Ｐを算出することができる。
【００８７】
本実施形態では、被写体距離情報と、被写体が移動しているか否かを示す情報に基づき、衝突の可能性の判定を行うことで、より効果的に障害物を検知できる。したがって、正確に障害物を検知して、衝突の回避または被害の軽減のための車両制御を行うことが可能となる。
【００８８】
前記実施形態では、車両の運転支援システムにおける行動計画として距離情報に基づく衝突回避について説明した。これに限らず、距離情報に基づいて前走車に追従して走行し、車線内で中央位置を維持し、または、車線からの逸脱を抑制するための行動計画等の作成に本発明を適用することができる。また本発明は、車両の運転支援のみならず、自動車の自律運転にも適用可能である。さらに、本発明の撮像装置は移動装置に限らず、交差点監視システムや高度道路交通システム（ＩＴＳ）において用いられる機器等、物体の認識を利用する機器に広範囲に適用することができる。例えば、交通監視システムにおける固定式の交差点監視カメラに本発明を適用しても構わない。
【００８９】
［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００９０】
１００  撮像装置
１０１  撮像素子
１０２  結像光学系
１１０  視差情報生成装置
１２０  距離情報生成装置
【図１】
2019028311.tif 000007
【図２】
2019028311.tif 000008
【図３】
2019028311.tif 000009
【図４】
2019028311.tif 000010
【図５】
2019028311.tif 000011
【図６】
2019028311.tif 000012
【図７】
2019028311.tif 000013
【図８】
2019028311.tif 000014
【図９】
2019028311.tif 000015
【図１０】
2019028311.tif 000016
【図１１】
2019028311.tif 000017
【図１２】
2019028311.tif 000018