(57)【要約】【課題】  ２台のカメラの光軸によって形成される平面に水平な対象物の距離計測を可能とする信号処理装置を提供する。【解決手段】  第１の撮像装置と第２の撮像装置から、第１の方向の視差情報を取得する。また、第１の撮像装置が有する第１の光電変換部と、第１の撮像装置が有する第２の光電変換部から、第１の方向とは異なる第２の方向の視差情報を取得する。第１の方向の視差情報と第２の方向の視差情報から対象物までの距離情報を取得する。【選択図】  図２
2018189489.tif 000002
【特許請求の範囲】
【請求項１】
第１の撮像装置と第２の撮像装置から、第１の方向の視差情報を取得する第１の視差取得部と、
前記第１の撮像装置が有する第１の光電変換部と第２の光電変換部から、前記第１の方向とは異なる第２の方向の視差情報を取得する第２の視差取得部と、
前記第１の方向の視差情報と前記第２の方向の視差情報から対象物までの距離情報を取得する距離取得部と、を有する信号処理装置。
【請求項２】
前記第１の方向の視差情報は、移動体が移動する路面の面内方向の視差情報であり、
前記第２の方向の視差情報は、前記路面の面内方向に交差する方向の視差情報であることを特徴とする請求項１に記載の信号処理装置。
【請求項３】
前記第１の視差取得部は、第１の撮像装置が有する前記第１の光電変換部と前記第２の光電変換部から、前記第１の方向の視差情報を取得することを特徴とする請求項１または２に記載の信号処理装置。
【請求項４】
前記第２の視差取得部で前記第２の方向の視差情報を取得する第１のモードと、前記第２の視差取得部で前記第２の方向の視差情報を取得しない第２のモードとを切り替え可能に構成されていることを特徴とする請求項１から３のいずれかに記載の信号処理装置。
【請求項５】
前記第１の撮像装置の撮像素子は、第１の画素行群と第２の画素行群を有し、
前記第２の視差取得部は、前記第１の画素行群からの情報は前記第２のモードで処理し、前記第２の画素行群からの情報は前記第１のモードで処理することを特徴とする請求項４に記載の信号処理装置。
【請求項６】
前記第１の光電変換部と前記第２の光電変換部は、前記第２の方向に対して隣り合って配されており、
前記第１の光電変換部と前記第２の光電変換部に対して、共通のマイクロレンズが設けられていることを特徴とする請求項１から５のいずれかに記載の信号処理装置。
【請求項７】
前記第１の撮像装置または第２の撮像装置は、第３の光電変換部と、前記第３の光電変換部と前記第１の方向に対して隣り合って配されている第４の光電変換部を有し、
前記第３の光電変換部と前記第４の光電変換部に対して、共通のマイクロレンズが共通して設けられていることを特徴とする請求項６に記載の信号処理装置。
【請求項８】
前記第１の光電変換部に入射する光の一部を遮光する、第１の開口を有する第１の遮光部と、
前記第２の光電変換部に入射する光の一部を遮光する、第２の開口を有する第２の遮光部と、を有し、
前記第１の開口と前記第２の開口が、前記第２の方向に偏心していることを特徴とする請求項１から５のいずれかに記載の信号処理装置。
【請求項９】
前記第１の撮像装置または第２の撮像装置は、第３の光電変換部と第４の光電変換部を有し、
前記第３の光電変換部に入射する光の一部を遮光する、第３の開口を有する第３の遮光部と、
前記第４の光電変換部に入射する光の一部を遮光する、第４の開口を有する第４の遮光部と、を有し、
前記第３の開口と前記第４の開口が、前記第１の方向に偏心していることを特徴とする請求項８に記載の信号処理装置。
【請求項１０】
前記第２の撮像装置は、前記第３の光電変換部と前記第４の光電変換部を有し、
前記第１の撮像装置において前記第１の遮光部または前記第２の遮光部が設けられている画素行と、前記第２の撮像装置において前記第３の遮光部または第４の遮光部が設けられている画素行は、異なる画素行であることを特徴とする請求項９に記載の信号処理装置。
【請求項１１】
第１の撮像装置と第２の撮像装置から、第１の方向の視差情報を取得する第１の視差取得部と、
第３の撮像装置と第４の撮像装置から、前記第１の方向とは異なる第２の方向の視差情報を取得する第２の視差取得部と、
前記第１の方向の視差情報と前記第２の方向の視差情報から距離情報を取得する距離取得部と、
前記距離情報に基づいて移動体を制御する制御部と、を有する信号処理装置。
【請求項１２】
移動体であって、
請求項１から１１のいずれか１項に記載の信号処理装置を有し、
前記信号処理装置の前記距離情報に基づいて移動体が制御されることを特徴とする移動体。
【請求項１３】
第１の撮像装置と、前記第１の撮像装置に対して第１の方向に配されている第２の撮像装置とを有するステレオカメラであって、
前記第１の撮像装置は、共通のマイクロレンズに対して設けられている第１の光電変換部と第２の光電変換部と、を有し、
前記第１の光電変換部と前記第２の光電変換部は、前記第１の方向とは異なる第２の方向に隣り合って配されていることを特徴とするステレオカメラ。
【請求項１４】
移動体であって、
請求項１３に記載のステレオカメラと、
前記ステレオカメラの距離情報に基づいて移動体が制御されることを特徴とする移動体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は視差に基づいて距離を取得する信号処理装置に関する。
【背景技術】
【０００２】
三角測量の考えを用いて、２台のカメラから取得された画像の視差から対象物までの距離を測定するステレオカメラが知られている。また、ステレオカメラによって得られた測定情報を用いて、運転者への警告発生、ハンドルやブレーキの制御、先行車との車間距離を確保する運転支援システムが提案されている。このような運転支援システムにおいては、どのような対象物であっても高精度に距離を取得することが求められる。
【０００３】
通常、ステレオカメラは路面に水平な方向に２つのカメラが配置されており、これらの視差から対象物までの距離を算出する。この場合、視差があるのは路面に水平な方向であり、路面に垂直な方向の視差は得られない。すなわち、カメラが並ぶ直線（光軸）に平行な対象物については距離計測ができない。たとえば、路面に対して水平な方向に２台のカメラを配置した場合を考える。路面に平行な対象物を撮像する場合に対象物の水平方向のエッジ部分を取得することができないとき、第１のカメラと第２のカメラが取得できる像は同一となる。そのため、２台のカメラからは視差を得ることができず、対象物までの距離を算出できない。
【０００４】
この課題に対して、特許文献１に記載のステレオカメラは、２つのカメラの光軸が略平行であって、２つのカメラの光軸が路面に対して任意の設定角度をもつように配置する。すなわち、２つのカメラを異なる高さに設置し、路面に水平な方向の視差のみならず、路面に垂直方向の視差を取得する構成としている。これにより、特許文献１に記載の構成によれば、路面に水平な対象物までの距離を計測することができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平１０−３０２０４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に記載の構成によれば、２台のカメラの光軸によって形成される平面に水平な対象物に対しては視差が得られず、対象物と路面とのなす角が所定の角度になると対象物までの距離計測ができないという課題がある。
【０００７】
そこで、本発明は、２台のカメラの光軸によって形成される平面に水平な対象物の距離計測を可能とする信号処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る信号処理装置は、第１の撮像装置と第２の撮像装置から、第１の方向の視差情報を取得する第１の視差取得部と、前記第１の撮像装置が有する第１の光電変換部と、第２の光電変換部から、前記第１の方向とは異なる第２の方向の視差情報を取得する第２の視差取得部と、前記第１の方向の視差情報と前記第２の方向の視差情報から対象物までの距離情報を取得する距離取得部と、を有することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、２台のカメラの光軸によって形成される平面に水平な対象物の距離計測を可能とする信号処理装置を提供することができる。
【図面の簡単な説明】
【００１０】
【図１】第１の実施形態に係る信号処理装置の構成図である。
【図２】第２の実施形態に係る信号処理装置の構成図である。
【図３】第２の実施形態に係る撮像素子の画素配置図である。
【図４】第２の実施形態に係る撮像素子の画素配置図である。
【図５】第２の実施形態に係る撮像素子の画素配置図である。
【図６】第３の実施形態に係る信号処理装置の処理フロー図である。
【図７】第３の実施形態に係る信号処理装置の効果を説明する図である。
【図８】第４実施形態に係る信号処理装置の効果を説明する図である。
【図９】第４実施形態に係る信号処理装置の比較例である。
【図１０】第４実施形態に係る信号処理装置の駆動方法を説明する図である。
【発明を実施するための形態】
【００１１】
（第１の実施形態）
図１を用いて本実施形態に係る信号処理装置について説明する。図１（Ａ）に、撮像装置１０１、１０２、１０３、１０４を備えた自動車両１００を示す。図１（Ａ）に示すように、４つの撮像装置は、自動車両１００の正面からみて上下左右に設けられている。
【００１２】
図１（Ｂ）に、本実施形態のブロック図を示す。撮像装置１０１（第１の撮像装置）と撮像装置１０２（第２の撮像装置）から第１のステレオカメラ１１０が構成される。また、撮像装置１０３（第３の撮像装置）と撮像装置１０４（第４の撮像装置）から第２のステレオカメラ１２０が構成される。
【００１３】
第１の視差取得部１３０は、撮像装置１０１と撮像装置１０２で撮影された画像に基づき、第１の方向の視差情報を取得する。例えば、図１（Ａ）に示しているように、第１の方向とは、路面に対して水平な方向（Ｘ方向）である。
【００１４】
同様に、第２の視差取得部１４０は、撮像装置１０３と撮像装置１０４で撮影された画像に基づき、第２の方向の視差情報を取得する。例えば、図１（Ａ）に示しているように、第２の方向とは、路面に対して垂直な方向（Ｙ方向）である。もっとも、第１の方向と第２の方向は異なる方向であればよい。すなわち、第１の方向と第２の方向が垂直に交わっている必要はなく、交差していていればよい。
【００１５】
距離取得部１５０は、第１の視差取得部１３０で得られた第１の方向の視差情報と、第２の視差取得部１４０で得られた第２の方向の視差情報から、三角測距の原理を用いて、対象物までの距離情報を取得する。距離取得部１５０は、ＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）やＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）などによって実現されてもよい。また、距離取得部１５０は、ＦＰＧＡ、ＡＳＩＣの組合せによって実現されてもよい。
【００１６】
撮像装置１０１と撮像装置１０２は、距離取得情報を取得するために必要な画素数の情報を取得可能に構成されていればよく、像形成に必要な情報の全てを取得するように構成されていなくてもよい。
【００１７】
制御部１６０は、自動車両１００を制御する機能を有している。例えば、制御部１６０は、取得された距離に基づいて衝突可能性を判定する衝突判定機能を有し、衝突判定の判定結果に基づいて、ドライバーへ警報を発生させるように警報機を制御してもよい。あるいは、カーナビゲーションシステムなどの画面に警報情報を表示したり、シートベルトやステアリングに振動を与えたりして、ユーザに警告を行ってもよい。また、制御部１６０は、衝突可能性が高い場合、ブレーキをかける、アクセルを戻す、エンジン出力を抑制するなどして衝突を回避、被害を軽減する制御を行ってもよい。また、制御部１６０は、他の車両に追従して自動運転する制御、車線からはみ出さないように自動運転する制御、停止線の情報などに従って停車する制御などを行うことが可能である。さらに、制御部１６０は、ネットワークを介して、後続車両の制御にも適用することも可能である。例えば、前方車両が停止線まで距離が近づいた場合、後方車両に情報を送信することで、後方車両に対して警告情報を表示することなども可能である。
【００１８】
本実施形態によれば、第１の方向の視差情報と、第１の方向とは異なる第２の方向の視差情報に基づき距離情報を取得できることから、２台のカメラの光軸によって形成される平面に水平な対象物の距離計測を可能とする信号処理装置を提供することができる。
【００１９】
図１（Ａ）では、自動車のフロントボディに、撮像装置１０１から１０４までを配した例を説明している。これは、各撮像装置から対象物までの距離を略一定とするためである。しかし、撮像装置の配置形態はこれに限られず、左右のサイドミラーに撮像装置１０１と１０２を配してもよい。この場合、対象物から撮像装置１０１、１０２までの距離と、対象物から撮像装置１０３と１０４までの距離が異なることになるが、距離取得部１５０において距離補正のアルゴリズムを用いることにより、対象物までの距離を取得することができる。
【００２０】
また、図１（Ａ）において、撮像装置１０１と１０２の距離は、撮像装置１０３と１０４の距離よりも長いため、第１の方向の基線長は、第２の方向の基線長よりも長くなる。このため、三角測距の観点からは、第２の方向の視差情報から得られる距離の精度は、第１の方向の視差情報から得られる距離の精度よりも低い。そのため、第１の方向の視差情報に基づく距離の値と、第２の方向の視差情報に基づく距離の値に、所定の閾値以上の差異が生じた場合、制御部１６０は、第１の方向の視差情報に基づく距離に基づき、自動車両１００を制御することが可能である。
【００２１】
本実施形態は、自動車両に限らず、例えば、船舶、航空機あるいは産業用ロボットなどの他の移動体（移動装置）に適用することができる。
【００２２】
（第２の実施形態）
図２から図４を用いて、本実施形態に係る信号処理装置について説明する。第１の実施形態は２つのステレオカメラから距離情報を取得する信号処理装置である。これに対して、本実施形態は、１つのステレオカメラと、このステレオカメラを構成する撮像装置に設けられた２つの光電変換部から距離情報を取得する信号処理装置である点が異なる。
【００２３】
図２（Ａ）に、撮像装置２０１（第１の撮像装置）と撮像装置２０２（第２の撮像装置）を備えた自動車両２００を示す。図２（Ａ）に示すように、撮像装置２０１と２０２は、自動車両１００の正面に対して左右に設けられている。
【００２４】
図２（Ｂ）に、撮像装置２０１が有する撮像素子２１０の模式図を示す。撮像素子２１０の撮像領域には複数の画素が二次元状に配置されている。図２（Ｂ）では、例示として、４行４列の計１６個の画素が示されている。各画素には、「Ａ」と表記される光電変換部２１１（第１の光電変換部）と、「Ｂ」と表記される光電変換部２１２（第２の光電変換部）が第２の方向（Ｙ方向）に隣り合って配されている。光電変換部２１１と２１２は、例えばＰＮ接合により構成されており、光が入射することにより、電荷を発生する部分となる。光電変換部２１１と光電変換部２１２には、共通して１つのマイクロレンズが設けられる。符号２１３は、マイクロレンズの外縁を模式的に示している。図２（Ｂ）では、各画素に設けられている各マイクロレンズが所定の間隔をもって離間しているが、各マイクロレンズは画素の対辺方向または長辺方向に間隔を設けずに設けてもよい。また、図２（Ｂ）では不図示であるが、転送トランジスタ、増幅トランジスタ、リセットトランジスタ、選択トランジスタが各画素に設けられる。これらのトランジスタは２以上の画素に共通して設けてもよい。
【００２５】
光電変換部２１１と光電変換部２１２が設けられている画素は、視差検出用の信号と撮像用の信号を出力する。ここで、光電変換部２１１で生じた電荷に基づく信号をＡ信号、光電変換部２１２で生じた電荷に基づく信号をＢ信号、光電変換部２１１および２１２で生じた電荷に基づく信号をＡ＋Ｂ信号という。Ａ＋Ｂ信号は、撮像用の信号となり、Ａ信号とＢ信号を比較することにより、第２の方向（Ｙ方向）の視差情報を取得できる。信号の取得方法としては、Ａ信号とＢ信号を個別に取得してもよいし、Ａ＋Ｂ信号から、Ａ信号を差し引いて、Ｂ信号を取得してもよい。
【００２６】
図２（Ｃ）に本実施形態のブロック図を示す。第１の実施形態と同様に、撮像装置２０１と撮像装置２０２から、第１のステレオカメラ２２０が構成されている。第１の視差取得部２３０は、撮像装置２０１と２０２から、第１の方向（Ｘ方向）の視差情報を取得する。他方、第２の視差取得部２４０は、撮像装置２０１が有する光電変換部２１１と２１２から、第２の方向（Ｙ方向）の視差情報を取得する。
【００２７】
距離取得部２５０は、第１の視差取得部２３０で得られた第１の方向の視差情報と、第２の視差取得部２４０で得られた第２の方向の視差情報から、三角測距の原理を用いて、対象物までの距離情報を取得する。
【００２８】
制御部２６０は、自動車両２００を制御する機能を有しており、例えば、衝突可能性を判定し、ドライバーへ警告等を行う。
【００２９】
本実施形態によれば、第１の方向の視差情報と、第１の方向とは異なる第２の方向の視差情報に基づき距離情報を取得できることから、２台のカメラの光軸によって形成される平面に水平な対象物の距離計測を可能とする信号処理装置を提供することができる。
【００３０】
上記では、撮像装置２０１の撮像素子において、光電変換部２１１と光電変換部２１２が設けられることを説明した。しかし、撮像装置２０２にも、撮像装置２０１と同様の撮像素子を設けることも可能である。この場合、第２の視差取得部２４０は、撮像装置２０１からの第２の方向の視差情報のみならず、撮像装置２０２からの第２の方向の視差情報も取得することが可能である。
【００３１】
また、上記では、主として、第１の方向を路面の面内方向とし、第２の方向を路面の面内方向に対する垂直方向としたが、第１の方向と第２の方向はこの逆方向であってもよい。この場合、図２（Ａ）では横方向に配置されていた撮像装置２０１と２０２を縦方向に配置するように変更し、図２（Ｂ）では縦方向に配置されていた光電変換部２１１と２１２を横方向に配置するように変更すればよい。
【００３２】
また、上記では、同一画素の光電変換部２１１と２１２で生じた電荷に基づく信号から視差情報を取得した。しかし、第１の画素の光電変換部２１１で生じた電荷に基づく信号と、第１の画素とは異なる第２の画素の光電変換部２１２で生じた電荷に基づく信号を用いて、視差情報を取得してもよい。
【００３３】
図３（Ａ）は、図２（Ｂ）とは異なる形態の画素構成を示すものである。説明を簡略化するために、図３（Ａ）においてマイクロレンズの外縁は不図示としている。図３（Ａ）において、光電変換部３０１と３０２は、それぞれ光電変換部２１１と２１２に対応するものであり、光電変換部３０１と３０２によって、第２の方向の視差情報を取得する。それに加えて、図３（Ａ）に示す光電変換部３０３と３０４からは、第１の方向の視差情報を取得することも可能である。第１の方向の視差情報を取得した第１の視差取得部２３０は、距離取得部２５０に情報を出力する。基線長の長さを考慮すると、撮像装置２０１と撮像装置２０２から得られる第１の方向の視差情報に基づく距離の精度は、光電変換部３０３と光電変換部３０４から得られる第１の方向の視差情報に基づく距離の精度よりも高い。しかし、何らかの理由でステレオカメラを構成するいずれか一方の撮像装置が機能しなくなった場合には、対象物までの距離を取得するステレオカメラとしては用いることができなくなる。この場合においても、光電変換部３０１、３０２、３０３、３０４が撮像装置２０１または撮像装置２０２の撮像素子に搭載されていれば、第１方向の視差情報も取得できるというメリットがある。
【００３４】
また、図３（Ｂ）に示す撮像素子３１０は、１つの画素に４つの光電変換部を設ける構成を示したものである。光電変換部３１１と３１２からは第１の方向の視差情報が得られる。同様に、光電変換部３１３と３１４からは第１の方向の視差情報が得られる。他方、光電変換部３１１と３１３からは第２の方向の視差情報が得られ、同様に、光電変換部３１２と３１４からは第２の方向の視差情報が得られる。図３（Ｂ）に示した構成によれば、ステレオカメラを構成するいずれか一方の撮像装置が機能しなくなった場合においても、第１の方向の視差情報が取得できるというメリットがある。
【００３５】
図４は、撮像用の画素と視差検出用の画素が異なる画素によって行われる構成を示すものである。図４（Ａ）に示す撮像素子４１０において、符号４１１、４１２、４１５は、光電変換部（不図示）の上部に設けられる遮光部４３０の開口である。開口４１１を備えた遮光部に対応する画素（第１の画素）と、開口４１２を備えた遮光部に対応する画素（第２の画素）は視差検出用の画素である。また、開口４１５を備えた遮光部に対応する画素（第３の画素）は撮像用の画素である。平面視において、開口４１１と開口４１２は、光電変換部の中心から偏心するように設けられており、入射する光の一部が遮光部により遮光される。例えば、図４（Ａ）では、開口４１１と４１２は第２の方向に対して偏心するように設けられている。開口４１１を有する遮光部を備えた画素からはＡ信号が取得でき、開口４１２を有する遮光部を備えた画素からは、Ｂ信号が取得できる。これらの信号を比較することにより、第２の方向の視差情報を取得することが可能となる。開口が設けられた遮光部４３０は、複数の配線層のいずれかに設けられた配線パターンで構成される。例えば、遮光部４３０は、第１層目の配線パターンを用いて構成されている。図４（Ａ）に示した構成によれば、第１の方向の視差情報と、第２の方向の視差情報に基づき距離情報を取得できることから、２台のカメラの光軸によって形成される平面に水平な対象物の距離計測を可能とする信号処理装置を提供することができる。
【００３６】
また、図４（Ｂ）は、図４（Ａ）とは異なる方向に偏心した開口を追加的に有する形態を示したものである。図４（Ｂ）に示す撮像素子４２０において、符号４１３と符号４１４は、光電変換部の中心から第１の方向に対して偏心するように設けられた遮光部の開口である。開口４１３と開口４１４を有する遮光部を備えた画素からは、第１の方向の視差情報を取得することが可能とする。すなわち、図４（Ｂ）に示す形態によれば、第１のステレオカメラを構成するいずれか一方の撮像装置が機能しなくなった場合において、第１方向の視差情報から、対象物までの距離を取得することが可能となる。
【００３７】
図５（Ａ）は、撮像装置２０１（第１の撮像装置）に備えられた撮像素子４１０を示したものであり、図５（Ｂ）は、撮像装置２０２（第２の撮像装置）に備えられた撮像素子４５０の形態を示したものである。図５（Ａ）には、第２の方向に対して偏心した開口４１１と４１２を設けた遮光部４３０が示されている。また、図５（Ｂ）には、第１の方向に対して偏心した開口４１６と４１７を設けた遮光部４３０が示されている。一般的に、偏心した開口を有する画素は、撮像用の画素として用いることができないため、偏心した開口を有する画素に隣り合う撮像用の画素の情報を利用して、偏心した開口を有する画素からの情報を補間する必要がある。これに対して、図５に示した形態によれば、撮像装置２０１において偏心した開口を有する画素が設けられている画素行と、撮像装置２０２の偏心した開口を有する画素が設けられている画素行とが、異なる画素行となっている。そのため、例えば、図５（Ａ）において、開口４１１が設けられた１行目の画素に対して、図５（Ｂ）の１行目から取得される情報を利用することができる。すなわち、撮像装置２０１で欠落している情報を補間するために、撮像装置２０２で取得される情報を用いて補間することができる。なお、図５においては、撮像装置２０１と撮像装置２０２とで、偏心した開口の方向が異なっていたが、偏心した開口の方向を同一となるように構成してもよい。
【００３８】
また、上記の説明では、第１の方向を路面の面内方向とし、第２の方向を路面の面内方向に対する垂直方向としたが、第１の方向と第２の方向はこの逆方向であってもよい。
【００３９】
（第３の実施形態）
図６を用いて、本実施形態に係る信号処理装置の処理フローについて説明する。本実施形態は、必要に応じて、第２の方向（Ｙ方向）の視差取得と距離取得を行うことで、視差と距離を求める際の演算量を減少させることで、処理時間の短縮を図るものである。
【００４０】
第１の方向（Ｘ方向）に加えて、第２の方向（Ｙ方向）の視差が必要なパターンは主に２種類ある。１つ目は、対象物がフレームをはみ出し、エッジ部分が検出されず、第１の方向の視差が得られない場合である。２つ目は、１つの対象物に対して視差情報が一意に定まらない場合である。図７に、自動車両に備えられた撮像装置からの映像を示した画面６２０を示す。画面６２０の右方向には前方に停車した自動車両６００が示されている。画面６２０においては、停止線６１０の左端部のエッジは確認することができる（点線Ａ参照）。他方、停止線６１０の右端部のエッジは自動車両６００によって隠されてしまっている（点線Ｂ参照）。このため、この停止線６１０について第１の方向（Ｘ方向）の視差を得た場合、停止線６１０の右端部のエッジは自動車両６００との境界によって作られたエッジであるため、ここから得られる距離情報は自動車両６００までの距離となる。一方、停止線の左端部のエッジからは停止線の視差情報が得られるため、停止線までの距離情報が得られる。このような場合は１つの対象物に対して２つの距離情報が存在することになり、第１の方向の視差からでは、正しい距離情報を判断できないことになる。
【００４１】
図６は、第２の実施形態に係る信号処理装置を用いた処理フローを示したものである。図６において、符号５１０および５１０´は第２の実施形態における撮像装置２０１（第１の撮像装置）における処理ステップに相当する。また、符号５２０は第２の実施形態における撮像装置２０２（第２の撮像装置）における処理ステップに相当する。
【００４２】
まず、処理が開始されると（Ｓ５３０）、撮像装置２０１（第１の撮像装置）では、光電変換部２１１からＡ信号と、光電変換部２１１と２１２からＡ＋Ｂ信号が取得される（Ｓ５４１、Ｓ５４２）。一方、撮像装置２０２（第２の撮像装置）においては、光電変換部の信号から画像信号が取得される（Ｓ５４４）。
【００４３】
次に、Ｓ５４２で取得したＡ＋Ｂ信号と、Ｓ５４４で取得した画像信号から、第１の方向（Ｘ方向）の視差を取得する。
【００４４】
次に、撮像装置２０１と撮像装置２０２から取得された信号を用いて、第１の方向（Ｘ方向）に平行なパターン、例えば水平方向のパターンである停止線の形状を検出する（Ｓ５５０）。停止線の形状を検出した結果、第１の方向の視差のみからでは正しい距離情報を取得できないと判断した場合、Ａ＋Ｂ信号からＡ信号が差し引かれ、光電変換部２１２からの信号であるＢ信号が取得される（Ｓ５６０）。そして、Ａ信号とＢ信号から第２の方向（Ｙ方向）の視差を取得し（Ｓ５７０）、対象物までの距離を取得して処理を終了する（Ｓ５８０、Ｓ５９０）。
【００４５】
他方、水平方向のパターンである停止線の形状を検出しなかった場合は、Ｂ信号の取得等を行わずに、対象物までの距離を取得して処理を終了する（Ｓ５８０、Ｓ５９０）。
【００４６】
すなわち、本実施形態に係る信号処理装置は、第１の方向の視差と第２の方向の視差の両方を取得する第１のモードと、第１の方向の視差のみを取得し、第２の方向の視差を取得しない第２のモードとを切り替える構成とすることができる。これにより、Ｂ信号の取得、第２の方向の視差取得、第２の方向の距離取得などの工程を削減することができ、ステレオカメラで撮影を行ってから距離情報を出力するまでの所要時間が短縮される。この結果、撮像装置で対象物を撮影してから自動車両を制御するまでのタイムラグが減り、よりリアルタイムに自動車両を制御することができる。
【００４７】
また、上記では、１つの対象物に対して視差情報が一意に定まらない場合を主として説明した。しかし、対象物がフレームをはみ出してしまい、エッジ部分が検出されない場合にも、本実施形態を適用することができる。この場合、Ｓ５４０とＳ５５０のブロックにおいて、第１の方向（Ｘ方向）の視差が取得できるか否かを判断し、第１の方向の視差が得られる場合には、Ｂ信号の取得等を行わない処理とすることも可能である。この構成によっても、上記したメリットを享受することができる。
【００４８】
（第４の実施形態）
図８から図１０を用いて、本実施形態に係る信号処理装置について説明する。
【００４９】
図８は撮像装置によって撮影した画像の例を示している。画像下部は、画像上部と比較して、Ｙ方向の視差取得が必要となる対象物（例：停止線）が多い。そこで、本実施形態では、画像下部では、像面位相差測定用の信号となるＡ＋Ｂ信号とＡ信号を出力し、画像上部はＡ＋Ｂ信号のみを出力する。これにより、１フレームの出力に必要な読み出し時間を短縮し、フレームレートを上げることができる。
【００５０】
図９は、本実施形態の比較例であり、撮像素子の全領域で像面位相差測定用信号を出力する場合の撮像素子の動作の概略を示した図である。複数の画素が二次元状に配されている撮像領域において、各行の画素では、蓄積動作（ＡＣＣ）と読み出し動作（Ｒｅａｄ）が行われる。図９において、ＡＣＣ＿Ａは、Ａ信号用の電荷蓄積期間、ＡＣＣ＿Ａ＋Ｂは、Ａ＋Ｂ信号用の電荷蓄積期間、Ｒｅａｄ＿Ａは、Ａ信号の読み出し期間、Ｒｅａｄ＿Ｂは、Ｂ信号の読み出し期間を示している。
【００５１】
図９において、ＡＣＣ＿Ａのブロックの開始は、例えば、リセットレベルにした後に、光電変換部２１１用の転送トランジスタ（第１の転送トランジスタ）をＯＮからＯＦＦにするタイミングである。ＡＣＣ＿Ａのブロックの終了は、例えば、電荷転送のためにＯＮにした第１の転送トランジスタをＯＦＦにするタイミングである。Ｒｅａｄ＿Ａのブロックの終了は、例えば、周辺回路領域の保持容量にＡ信号を保持するタイミングである
また、図９において、ＡＣＣ＿Ａ＋Ｂの開始は、例えば、リセットレベルにした後に、光電変換部２１２用の転送トランジスタ（第２の転送トランジスタ）をＯＮからＯＦＦにするタイミングである。ＡＣＣ＿Ａ＋Ｂの終了は、例えば、電荷転送のためにＯＮにした第２の転送トランジスタをＯＦＦにするタイミングである。また、Ｒｅａｄ＿Ａ＋Ｂのブロックの終了は、例えば、周辺回路領域の保持容量にＡ＋Ｂ信号を保持するタイミングである。光電変換部２１２からの電荷転送のために、第２の転送トランジスタをＯＮ／ＯＦＦするタイミングで、光電変換部２１１からの電荷転送のために、第１の転送トランジスタをＯＮ／ＯＦＦしてもよい。このような動作によれば、Ａ＋Ｂ信号を生成するにあたり、光電変換部２１１と２１２の電荷蓄積期間を揃えることが可能となる。
【００５２】
図９に示したように、比較例では、全ての行について、Ａ信号とＡ＋Ｂ信号の読み出しを行うため、１フレームを読み出すためには、所定の時間が必要となる。
【００５３】
図１０は、本実施形態に係る撮像素子の動作の概略を示したものである。下部の画面を構成するｎ−ｘ行目からｎ行目までは、図９に示した比較例と同じ動作を行う。図１０は図９と表記の仕方を変更しているため、以下に図９と図１０の対応関係を説明する。
【００５４】
図１０のｎ−ｘ行目からｎ行目に関して、リセット走査線９１０は、図９のＡＣＣ＿Ａ、ＡＣＣ＿Ａ＋Ｂのブロックの開始のタイミング、すなわち、光電変換部２１１、２１２における蓄積を開始するタイミングを示す。図１０の読み出し走査線９２０は、図９のＲｅａｄ＿Ａのブロックが終了するタイミングを示す。同様に、図１０の読み出し走査線９３０は、図９のＲｅａｄ＿Ａ＋Ｂのブロックが終了するタイミングを示す。図１０の符号９００は、Ａ信号に関して、電荷蓄積期間の開始から読み出し終了までの期間を示す。また、符号９０１は、Ａ＋Ｂ信号に関して、電荷蓄積期間の開始から読み出し終了までの期間を示す。
【００５５】
他方、図１０に示すように、上部の画面を構成する１行目からｎ−ｘ行目までは、Ａ信号を読み出さず、Ａ＋Ｂ信号のみを読み出す。本実施形態では、Ｒｅａｄ＿Ａを行う必要がないため、走査時間が短縮化することができる。リセット走査線９５０は、本実施形態におけるＲｅａｄ＿Ａ＋Ｂのブロックが終了するタイミングを示している。一方、点線で示すリセット走査線９５０は、比較例におけるＡＣＣ＿Ａ＋Ｂのブロックの開始のタイミングを示し、読み出し走査線９６０は、比較例におけるＲｅａｄ＿Ａ＋Ｂのブロックが終了するタイミングを示している。このように、本実施形態によれば、比較例よりも走査時間を短縮化することができ、１フレームあたりの時間も短縮化することが可能になる。
【００５６】
すなわち、本実施形態に係る信号処理装置は、１フレーム間において、第１の画素行群（上部の画像を形成する画素行）では、第２の方向の視差を取得しない第１のモードとする。他方、第１の画素行群とは異なる第２の画素行群（下部の画像を形成する画素行）では、第２の方向の視差を取得する第２のモードとする。これにより、１フレームの時間を短縮できるため、より精度の高い車両制御が可能となる。
【００５７】
以上、第１から第４の実施形態を説明したが、本発明は上記実施形態に制限されるものではなく、様々な変更および変形が可能である。例えば、第１の実施形態で説明した構成を用いて、第３の実施形態で説明した処理フローを行ってもよい。また、第３の実施形態で説明した処理フローと第４の実施形態で説明した処理フローを組みあわせてもよい。
【符号の説明】
【００５８】
２０１  第１の撮像装置
２０２  第２の撮像装置
２３０  第１の視差取得部
２４０  第２の視差取得部
２５０  距離取得部
【図１】
2018189489.tif 000003
【図２】
2018189489.tif 000004
【図３】
2018189489.tif 000005
【図４】
2018189489.tif 000006
【図５】
2018189489.tif 000007
【図６】
2018189489.tif 000008
【図７】
2018189489.tif 000009
【図８】
2018189489.tif 000010
【図９】
2018189489.tif 000011
【図１０】
2018189489.tif 000012