(57)【要約】【課題】視差の算出精度を向上させたステレオカメラ装置、車両、および視差決定方法を提供する。【解決手段】ステレオカメラ装置１０は、基準画像を生成する第１撮像部１１ａと、参照画像を生成する第２撮像部１１ｂと、１組の基準画像および参照画像を用いて基準画像上の少なくとも１つの位置における視差を決定する制御部１７と、を備える。制御部１７は、第１撮像設定に基づいて生成された１組の基準画像および参照画像を用いて、少なくとも１つの位置における視差の第１候補値を算出し、第２撮像設定に基づいて生成された１組の基準画像および参照画像を用いて、少なくとも１つの位置における視差の第２候補値を算出し、算出された第１候補値および第２候補値の何れか一方を少なくとも１つの位置における視差として決定する。【選択図】図３
2017151001.tif 000002
【特許請求の範囲】
【請求項１】
基準画像を生成する第１撮像部と、
参照画像を生成する第２撮像部と、
１組の基準画像および参照画像を用いて基準画像上の少なくとも１つの位置における視差を決定する制御部と、を備え、
前記制御部は、
前記第１撮像部および前記第２撮像部の撮像条件である第１撮像設定に基づいて生成された１組の基準画像および参照画像を用いて、前記少なくとも１つの位置における視差の第１候補値を算出し、
前記第１撮像設定とは異なる第２撮像設定に基づいて生成された１組の基準画像および参照画像を用いて、前記少なくとも１つの位置における視差の第２候補値を算出し、
前記第１候補値および前記第２候補値の何れか一方を前記少なくとも１つの位置における視差として決定する、ステレオカメラ装置。
【請求項２】
請求項１に記載のステレオカメラ装置であって、
前記少なくとも１つの位置は複数の位置を含み、
前記制御部は、基準画像上の前記複数の位置にそれぞれ対応する複数の視差を決定し、決定された前記複数の視差に基づく視差画像を生成する、ステレオカメラ装置。
【請求項３】
請求項１または２に記載のステレオカメラ装置であって、
前記第１撮像設定は、１組の基準画像および参照画像の少なくとも一方における第１領域を用いる設定を含み、
前記第２撮像設定は、１組の基準画像および参照画像の少なくとも一方における、前記第１領域とは異なる第２領域を用いる設定を含む、ステレオカメラ装置。
【請求項４】
請求項１乃至３の何れか一項に記載のステレオカメラ装置であって、
前記第１撮像設定および前記第２撮像設定のそれぞれは、露出制御、エッジ検出処理、感度調整処理、ホワイトバランス調整処理、およびガンマ補正のうち少なくとも１つを行うための設定を含む、ステレオカメラ装置。
【請求項５】
請求項１または２に記載のステレオカメラ装置であって、
前記第１撮像設定は、１組の基準画像および参照画像の少なくとも一方の輝度分布における第１ピークに基づいて露出制御を行う設定を含み、
前記第２撮像設定は、１組の基準画像および参照画像の少なくとも一方の輝度分布における、前記第１ピークに対応するピークとは異なる第２ピークに基づいて露出制御を行う設定を含む、ステレオカメラ装置。
【請求項６】
請求項１乃至５の何れか一項に記載のステレオカメラ装置であって、
前記第１撮像設定に基づく１組の基準画像および参照画像の生成と、前記第２撮像設定に基づく１組の基準画像および参照画像の生成と、が交互に繰り返し実行される、ステレオカメラ装置。
【請求項７】
請求項１乃至６の何れか一項に記載のステレオカメラ装置であって、
前記制御部は、
前記第１撮像設定に基づいて生成された前記１組の基準画像および参照画像と、前記第２撮像設定に基づいて生成された前記１組の基準画像および参照画像と、のそれぞれを用いて、前記基準画像上の前記少なくとも１つの位置を含む探索領域を前記参照画像上の走査領域内で走査し、前記探索領域との一致度を示す一致評価値を前記走査領域内の各位置について算出し、前記走査領域における一致評価値のピークの位置に基づいて前記少なくとも１つの位置における視差の前記第１候補値および前記第２候補値を算出し、
一致評価値の前記ピークの形状に応じて、前記第１候補値および前記第２候補値に対応するピーク評価値を算出し、
前記第１候補値に対応するピーク評価値と、前記第２候補値に対応するピーク評価値との比較に基づいて、前記第１候補値および前記第２候補値の何れか一方を前記少なくとも１つの位置における視差として決定する、ステレオカメラ装置。
【請求項８】
請求項７に記載のステレオカメラ装置であって、
一致評価値は、輝度のＳＡＤであり、
前記制御部は、前記第１候補値に対応するピーク評価値と、前記第２候補値に対応するピーク評価値との比較に基づいて、前記第１候補値および前記第２候補値の信頼性を評価し、前記第１候補値および前記第２候補値のうち信頼性が高い候補値を前記少なくとも１つの位置における視差として決定する、ステレオカメラ装置。
【請求項９】
基準画像を生成する第１撮像部と、参照画像を生成する第２撮像部と、１組の基準画像および参照画像を用いて基準画像上の少なくとも１つの位置における視差を決定する制御部と、を有するステレオカメラ装置を備え、
前記制御部は、
前記第１撮像部および前記第２撮像部の撮像条件である第１撮像設定に基づいて生成された１組の基準画像および参照画像を用いて、前記少なくとも１つの位置における視差の第１候補値を算出し、
前記第１撮像設定とは異なる第２撮像設定に基づいて生成された１組の基準画像および参照画像を用いて、前記少なくとも１つの位置における視差の第２候補値を算出し、
算出された前記第１候補値および前記第２候補値の何れか一方を前記少なくとも１つの位置における視差として決定する、車両。
【請求項１０】
ステレオカメラ装置が実行する視差決定方法であって、
前記ステレオカメラ装置の撮像条件である第１撮像設定に基づいて１組の基準画像および参照画像を生成するステップと、
前記第１撮像設定とは異なる第２撮像設定に基づいて１組の基準画像および参照画像を生成するステップと、
前記第１撮像設定に基づいて生成された前記１組の基準画像および参照画像を用いて、基準画像上の少なくとも１つの位置における視差の第１候補値を算出するステップと、
前記第２撮像設定に基づいて生成された前記１組の基準画像および参照画像を用いて、前記少なくとも１つの位置における視差の第２候補値を算出するステップと、
算出された前記第１候補値および前記第２候補値の何れか一方を前記少なくとも１つの位置における視差として決定するステップと、
を含む、視差決定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ステレオカメラ装置、車両、および視差決定方法に関する。
【背景技術】
【０００２】
近年、自動車などの車両に、被写体までの距離を測定するステレオカメラが用いられている。例えば特許文献１には、横置きステレオカメラの左右２つのカメラの各画像情報から求めた視差を用いて、三角測量の原理によって被写体までの距離を測定する構成が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平０７−２２５１２６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、車両に備えられる従来のステレオカメラでは、被写体までの距離の測定精度が必ずしも十分でない場合がある。例えば、明るさが異なる複数の被写体が同時に撮影された場合、白飛びまたは黒つぶれを含む撮像画像が生成され得る。かかる撮像画像を用いる場合、視差の算出精度が低下し、ひいては被写体までの距離の測定精度が低下する可能性がある。したがって、ステレオカメラの撮像画像を用いた視差の算出精度について改善の余地があった。
【０００５】
本発明の目的は、視差の算出精度を向上させたステレオカメラ装置、車両、および視差決定方法を提供することにある。
【課題を解決するための手段】
【０００６】
本発明の実施形態に係るステレオカメラ装置は、基準画像を生成する第１撮像部と、参照画像を生成する第２撮像部と、１組の基準画像および参照画像を用いて基準画像上の少なくとも１つの位置における視差を決定する制御部と、を備え、前記制御部は、前記第１撮像部および前記第２撮像部の撮像条件である第１撮像設定に基づいて生成された１組の基準画像および参照画像を用いて、前記少なくとも１つの位置における視差の第１候補値を算出し、前記第１撮像設定とは異なる第２撮像設定に基づいて生成された１組の基準画像および参照画像を用いて、前記少なくとも１つの位置における視差の第２候補値を算出し、算出された前記第１候補値および前記第２候補値の何れか一方を前記少なくとも１つの位置における視差として決定する。
【０００７】
また、本発明の実施形態に係る車両は、基準画像を生成する第１撮像部と、参照画像を生成する第２撮像部と、１組の基準画像および参照画像を用いて基準画像上の少なくとも１つの位置における視差を決定する制御部と、を有するステレオカメラ装置を備え、前記制御部は、前記第１撮像部および前記第２撮像部の撮像条件である第１撮像設定に基づいて生成された１組の基準画像および参照画像を用いて、前記少なくとも１つの位置における視差の第１候補値を算出し、前記第１撮像設定とは異なる第２撮像設定に基づいて生成された１組の基準画像および参照画像を用いて、前記少なくとも１つの位置における視差の第２候補値を算出し、算出された前記第１候補値および前記第２候補値の何れか一方を前記少なくとも１つの位置における視差として決定する。
【０００８】
また、本発明の実施形態に係る視差決定方法は、ステレオカメラ装置が実行する視差決定方法であって、前記ステレオカメラ装置の撮像条件である第１撮像設定に基づいて１組の基準画像および参照画像を生成するステップと、前記第１撮像設定とは異なる第２撮像設定に基づいて１組の基準画像および参照画像を生成するステップと、前記第１撮像設定に基づいて生成された前記１組の基準画像および参照画像を用いて、基準画像上の少なくとも１つの位置における視差の第１候補値を算出するステップと、前記第２撮像設定に基づいて生成された前記１組の基準画像および参照画像を用いて、前記少なくとも１つの位置における視差の第２候補値を算出するステップと、算出された前記第１候補値および前記第２候補値の何れか一方を前記少なくとも１つの位置における視差として決定するステップと、を含む。
【発明の効果】
【０００９】
本発明の実施形態に係るステレオカメラ装置、車両、および視差決定方法によれば、視差の算出精度が向上する。
【図面の簡単な説明】
【００１０】
【図１】本発明の一実施形態に係るステレオカメラ装置を備えた車両の構成を説明する図であって、該車両を上空から見た概略図である。
【図２】図２（ａ）は基準画像の例を示す図、図２（ｂ）は参照画像の例を示す図である。
【図３】図１のステレオカメラ装置の概略構成を示すブロック図である。
【図４】図４（ａ）は第１撮像設定に基づく露出制御に用いられる基準画像上の領域を示す図であり、図４（ｂ）は第２撮像設定に基づく露出制御に用いられる基準画像上の領域を示す図である。
【図５】基準画像および参照画像を用いたブロックマッチングを説明する図である。
【図６】ブロックマッチングによって得られた評価値の例を示す図である。
【図７】図１のステレオカメラ装置の動作を説明するフローチャートである。
【図８】図８（ａ）は第１撮像設定に基づく基準画像の輝度のヒストグラムであり、図８（ｂ）は第２撮像設定に基づく基準画像の輝度のヒストグラムである。
【発明を実施するための形態】
【００１１】
以下、本発明の実施形態について、図面を参照して説明する。なお、図１に示す実空間において、車両１の進行方向（図において上方向）をＺ方向、車両１の車幅方向（図において右方向）をＸ方向、Ｘ方向およびＺ方向に直交する方向（紙面に直交する方向）である高さ方向をＹ方向とする。ここで、本願における「車両１」は、乗用車、トラック、バスなど、道路上を走行する車両１を意味する。
【００１２】
ステレオカメラ装置１０は、図１に示すように、進行方向（Ｚ方向）に向いて右側に位置する第１のカメラ１１ａ（第１撮像部）および左側に位置する第２のカメラ１１ｂ（第２撮像部）の２つのカメラを含んで構成されるステレオカメラ１１と、ステレオカメラ１１に電気的に接続された視差算出装置１２とを備える。ここで、「ステレオカメラ」とは、対象物を、視差を有する複数の方向から同時に撮像することによって、その奥行き方向情報も記録できるようにしたカメラのことである。ステレオカメラ装置１０には、２台分以上のカメラのレンズ機構を１台のカメラ筺体に収容したもの、および、２台以上のカメラを離して配置したものを含む。本実施形態においては、第１のカメラ１１ａおよび第２のカメラ１１ｂの２台のカメラを並べたものをステレオカメラ１１とする。また、同じ被写体を異なる複数の視点から撮像した、複数の互いに視差のある画像を「ステレオ画像」と呼ぶ。
【００１３】
第１のカメラ１１ａおよび第２のカメラ１１ｂは、好適にはＣＣＤカメラやＣＭＯＳカメラであり、車両１の車体に強固に連結され固定される。このとき、第１のカメラ１１ａおよび第２のカメラ１１ｂは、同じ高さ位置で、光軸を互いに平行になるように前方（Ｚ方向）やや下向きに向けて配置される。これによって、ステレオカメラ装置１０は、走行中に外部環境に含まれる路面１３に描かれた、たとえば、車道境界線、車道中央線などの区画線１４ａ，１４ｂ、先行車両、障害物などの種々の被写体を撮像することができる。また、第１のカメラ１１ａおよび第２のカメラ１１ｂは、車幅方向（Ｘ方向）に横並びに離れて配置される。第１のカメラ１１ａと第２のカメラ１１ｂとの光学中心を結んだ距離を基線長と呼び、その方向を基線長方向と呼ぶ。したがって、本実施形態における基線長方向は、Ｘ方向となる。
【００１４】
第１のカメラ１１ａおよび第２のカメラ１１ｂは車両１のフロントガラスの内側に設置することができる。あるいは、第１のカメラ１１ａおよび第２のカメラ１１ｂは、それぞれ車両１のフロントバンパーの前面に固定されていてもよい。第１のカメラ１１ａと第２のカメラ１１ｂとの位置の違いによって、それぞれのカメラで撮像される画像内で、対応する被写体の位置が異なる。すなわち、第１のカメラ１１ａから出力される画像と、第２のカメラ１１ｂから出力される画像とは、異なる視点から見たステレオ画像となる。
【００１５】
以降の説明においては、第１のカメラ１１ａから出力される画像、および第２のカメラ１１ｂから出力される画像について、実空間の車両１の左右方向を画像上のｘ方向、実空間の上下方向を画像上のｙ方向とする。
【００１６】
本実施形態では、図２（ａ）に示すような、第１のカメラ１１ａによって撮像された画像を基準画像とし、図２（ｂ）に示すような、第２のカメラ１１ｂによって撮像された画像を参照画像とする。以降の説明では図２（ａ）および（ｂ）に示すように、基準画像および参照画像における各画素の位置を、各画像の左上を原点とした座標で表す。また、ｘ方向の画素数を６４０ピクセル、ｙ方向の画素数を４８０ピクセルとするが、ステレオカメラ１１の仕様、設定によってｘ方向、ｙ方向ともに任意の画素数とすることができる。
【００１７】
また、以降の説明では、視差算出装置１２は、基準画像の参照画像に対する視差を算出する。しかし、第１のカメラ１１ａと第２のカメラ１１ｂとしては、同一の仕様のものを用いることができ、第２のカメラ１１ｂによって基準画像を撮像し、第１のカメラ１１ａによって参照画像を撮像することとしてもよい。
【００１８】
第１のカメラ１１ａおよび第２のカメラ１１ｂは、それぞれ撮像した画像をデジタルデータとして、周期的に、例えば６０ｆｐｓで、図１に示すような車両１内に設けられた視差算出装置１２に出力する。また第１のカメラ１１ａおよび第２のカメラ１１ｂは、互いに同期しており、略同一のタイミングで基準画像および参照画像を生成する。以下、略同一のタイミングで生成された基準画像および参照画像を、１組の基準画像および参照画像、または１組の画像ともいう。また、第１のカメラ１１ａおよび第２のカメラ１１ｂは、後述するように視差算出装置１２から受信される撮像設定（第１撮像設定または第２撮像設定）に基づいて、１組の画像を生成する。
【００１９】
また、視差算出装置１２は、車両１内に搭載されている表示装置、車両１制御装置などの他の情報処理装置とＣＡＮ（Controller Area Network）などのネットワークを介して、情報の送受信をすることができる。
【００２０】
図３は、本実施形態に係るステレオカメラ装置１０の概略構成を示すブロック図である。前述のように、ステレオカメラ装置１０は、ステレオカメラ１１と視差算出装置１２とを備える。視差算出装置１２は、通信部１５と、画像メモリ１６と、制御部１７とを含んで構成されている。
【００２１】
通信部１５は、視差算出装置１２の通信インタ−フェースである。通信部１５は、ステレオカメラ１１の撮像信号の伝送方式に対応し、第１のカメラ１１ａおよび第２のカメラ１１ｂからそれぞれ１組の画像を取得する。さらに、通信部１５は取得した１組の画像を、制御部１７に引き渡す。また、通信部１５は、後述する撮像設定（第１撮像設定または第２撮像設定）を示す情報を、第１のカメラ１１ａおよび第２のカメラ１１ｂへ送信する。また、通信部１５は、ＣＡＮなどのネットワークを介して、後述する視差画像を、例えば車両１に搭載された表示装置などの外部装置へ送信してもよい。
【００２２】
画像メモリ１６は、例えばＤＲＡＭ（Dynamic Random Access Memory）やＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）などの高速の揮発性メモリであって、画像および情報を一時的に保持（記憶）可能である。
【００２３】
制御部１７は、視差算出装置１２の種々の演算処理を実行する部分であり、ソフトウェアプログラムに従い処理を実行する汎用のＣＰＵ（Central Processing Unit）および／またはステレオ画像処理用に設計されたＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）などを含んで構成することができる。
【００２４】
次に、制御部１７の動作について説明する。
【００２５】
制御部１７は、ステレオカメラ１１が奇数フレームの１組の基準画像および参照画像を生成する際に用いられる撮像設定（第１撮像設定）と、偶数フレームの１組の基準画像および参照画像を生成する際に用いられる撮像設定（第２撮像設定）と、を異ならせる。以下、具体的に説明する。
【００２６】
本実施形態において、第１撮像設定は、１組の基準画像および参照画像の少なくとも一方における、画像上の第１領域を用いて（例えば、第１領域で測光して）露出制御を行う露出設定（第１露出設定）を含む。第１領域は、例えば路面１３と比較して明るい被写体、例えば車両１の前方を走行する他の車両１が存在し得る画像上の領域（図４（ａ）の一点鎖線）である。第１領域は、例えばステレオカメラ装置１０の製造時に固定的に定められてもよい。あるいは、制御部１７が、ステレオカメラ１１から取得した１組の基準画像および参照画像の少なくとも一方に対して被写体検出処理を行い、検出された他の車両１を含む領域を第１領域に定めてもよい。
【００２７】
一方、第２撮像設定は、１組の基準画像および参照画像の少なくとも一方における、画像上の第１領域とは異なる第２領域を用いて（例えば、第２領域で測光して）露出制御を行う露出設定（第２露出設定）である。第２領域は、例えば車両１の前方を走行する他の車両１と比較して暗い被写体、例えば路面１３が存在し得る画像上の領域（図４（ｂ）の一点鎖線）である。第２領域は、例えばステレオカメラ装置１０の製造時に固定的に定められてもよい。あるいは、制御部１７が、画像に対して被写体検出処理を行い、検出された他の車両１を含む領域とは異なる他の領域を第２領域に定めてもよい。
【００２８】
制御部１７は、奇数フレーム（例えば、フレーム１）の１組の画像を取得すると、当該１組の画像を用いて第１撮像設定を決定する。具体的には、制御部１７は、当該１組の画像に基づいて、画像上の第１領域を決定する。そして制御部１７は、次の奇数フレーム（例えば、フレーム３）の撮像が開始される前に、決定された第１撮像設定を示す情報をステレオカメラ１１へ送信する。
【００２９】
同様に、制御部１７は、偶数フレーム（例えば、フレーム２）の１組の画像を取得すると、当該１組の画像を用いて第２撮像設定を決定する。具体的には、制御部１７は、当該１組の画像に基づいて、画像上の第２領域を決定する。そして制御部１７は、次の偶数フレーム（例えば、フレーム４）の撮像が開始される前に、決定された第２撮像設定を示す情報をステレオカメラ１１へ送信する。
【００３０】
かかる構成において、第１撮像設定を取得したステレオカメラ１１は、奇数フレームにおいて、第１撮像設定に基づき１組の基準画像および参照画像を生成し、偶数フレームにおいて、第２撮像設定に基づき１組の基準画像および参照画像を生成する。上述したように、奇数フレームにおいて用いられる第１撮像設定は、比較的明るい被写体が存在する蓋然性が高い第１領域において測光が行われる。したがって、奇数フレームにおいて生成される画像において、比較的明るい被写体が適正露出となる。一方、偶数フレームにおいて用いられる第２撮像設定は、比較的暗い被写体が存在する蓋然性が高い第２領域において測光が行われる。したがって、偶数フレームにおいて生成される画像において、比較的暗い被写体が適正露出となる。
【００３１】
ここで、撮像設定は、上述した露出設定に限られず、例えばエッジ検出処理の設定、感度（ゲイン）調整処理の設定、ホワイトバランス調整処理の設定、およびガンマ補正の設定など、生成された画像を用いて行う任意の画像処理に関する設定（画像処理設定）を含んでもよい。画像処理に関する設定は、例えば当該画像処理に用いるパラメータまたはアルゴリズムを含んでもよい。かかる場合、制御部１７は、第１撮像設定に含まれる第１画像処理設定に基づいて、ステレオカメラ１１から取得された奇数フレームの画像に対して所定の画像処理を施す。一方、制御部１７は、第２撮像設定に含まれる、第１画像処理設定とは異なる第２画像処理設定に基づいて、ステレオカメラ１１から取得された偶数フレームの画像に対して所定の画像処理を施す。
【００３２】
また、奇数フレームおよび偶数フレームで異なる撮像設定を用いる構成に限られず、第１撮像設定に基づいて画像が生成されるフレームと、第２撮像設定に基づいて画像が生成されるフレームと、が交互に繰り返されればよい。かかる構成によって、略同一の被写体を異なる撮像設定で撮像した２組の画像が生成されるので、後述するように、各組の画像を用いて算出した視差の２つの候補値のうち、信頼性が高い候補値を視差として決定可能である。
【００３３】
また、上述したように、１組の画像は例えば６０ｆｐｓで比較的高速に生成される。このため、本実施形態では、連続する２フレームの画像上の被写体は実質的に略同一であるとみなすことができる。したがって、本実施形態では、連続する２フレームの画像が、撮像設定（例えば、露出制御）が異なる点を除き、略同一の画像であるとみなす。
【００３４】
また、制御部１７は、１組の基準画像および参照画像を用いて、画像上の１つ以上の位置にそれぞれ対応する１つ以上の視差を決定する。以下、具体的に説明する。
【００３５】
はじめに制御部１７は、例えば図５に示すように、基準画像上の所望の探索位置（ｘ０，ｙ０）を含む探索領域Ａを設定する。探索領域Ａの大きさは、例えば３画素ｘ３画素であるが、任意に定めてもよい。
【００３６】
続いて制御部１７は、基準画像上の探索領域Ａを、参照画像上の所定の走査領域Ｂ、例えば（１，ｙ０−１）−（６４０，ｙ０＋１）上でｘ軸方向に走査して、ブロックマッチングを行う。ここで、参照画像を生成する第２のカメラ１１ｂは、基準画像を生成する第１のカメラ１１ａよりも実空間において車両１の左側に配置されている。したがって、基準画像上の探索位置（ｘ０，ｙ０）に対応する参照画像上の位置は、ｘ０よりも右側の領域（すなわち、ｘ座標がｘ０よりも大きい領域）に存在する。このため、基準画像上の探索領域Ａを、参照画像における（ｘ０−１，ｙ０−１）−（６４０，ｙ０＋１）上でｘ軸方向に走査してもよい。
【００３７】
具体的には、制御部１７は、基準画像上の探索領域Ａの画像情報と、参照画像上の走査領域Ｂ内の画像情報と、の一致度を示す一致評価値を、走査領域Ｂ内の各位置について算出する。本実施形態において、画像情報は輝度であり、一致評価値は輝度のＳＡＤ（Sum of Absolute Difference）である。かかる場合、一致評価値が小さいほど、一致度が高いことを示す。一致評価値は、ＳＡＤに限られず、例えばＳＳＤ（Sum of Squared Difference）またはＮＣＣ（Normalized Cross-Correlation）など、任意の指標が採用可能である。
【００３８】
続いて、制御部１７は、走査領域Ｂ内で一致評価値が最も小さい参照画像上の位置を特定し、上述した探索位置（ｘ０，ｙ０）と、特定された位置と、の差（シフト量）を、当該探索位置における視差ｄの候補値として算出する。本実施形態において、制御部１７は、第１撮像設定に基づいて生成された１組の基準画像および参照画像（例えば、フレーム１）を用いて、探索位置（ｘ０，ｙ０）の視差ｄの第１候補値ｄ１を算出する。また、制御部１７は、第２撮像設定に基づいて生成された１組の基準画像および参照画像（例えば、フレーム２）を用いて、探索位置（ｘ０，ｙ０）の視差ｄの第２候補値ｄ２を算出する。
【００３９】
ここで、図６を参照して、第１候補値ｄ１および第２候補値ｄ２について具体的に説明する。図６の横軸は参照画像の直線（１，ｙ０）−（６４０，ｙ０）上の位置（ｘ座標）を示し、縦軸は一致評価値を示す。また、図６の実線は第１撮像設定に基づいて生成された１組の画像に対応する一致評価値を示し、破線は第２撮像設定に基づいて生成された１組の画像に対応する一致評価値である。このとき、図６の実線で示す一致評価値が最も小さい位置ｘ１と、探索位置ｘ０との間の距離ｘ１−ｘ０が、第１候補値ｄ１として算出される。また、図６の破線で示す一致評価値が最も小さい位置ｘ２と、探索位置ｘ０との間の距離ｘ２−ｘ０が、第２候補値ｄ２として算出される。
【００４０】
ここで、例えば図６の実線で示すように、一致評価値の下向きの鋭いピークの発生は、マッチングの精度が比較的高いことを示す。一方、例えば図６の破線で示すように、下向きの明確なピークが発生していないことは、マッチングの精度が比較的低いことを示す。したがって、一致評価値のピークの形状に応じて、算出された候補値の信頼性を評価することができる。例えば、ピークの形状が鋭いほど、算出された候補値の信頼性が高い。
【００４１】
具体的には、制御部１７は、一致評価値のピークの形状に応じて、上述のように算出される候補値に対応するピーク評価値を算出する。ピーク評価値には、例えばユニークネスレシオまたは半値幅など、ピークの形状を評価する任意の指標が採用可能である。そして、制御部１７は、第１候補値ｄ１に対応するピーク評価値と、第２候補値ｄ２に対応するピーク評価値と、の比較に基づいて、第１候補値ｄ１および第２候補値ｄ２の何れか一方を、探索位置（ｘ０，ｙ０）の視差ｄとして決定する。例えば図６では、破線よりも実線の方が鋭いピークが発生しているので、第１候補値ｄ１が視差ｄに決定される。
【００４２】
制御部１７は、基準画像上の複数の位置をそれぞれ探索位置に定めて、上述した処理を実行してもよい。このようにして、画像上の複数の位置にそれぞれ対応する複数の視差が決定される。かかる構成によって、例えば、明るさが異なる複数の被写体が同時に存在する場合であっても、被写体の撮像画像が白飛びまたは黒つぶれすることによる視差の算出精度が低下する可能性を低減することができる。また、制御部１７は、決定された複数の視差に基づく視差画像を生成してもよい。かかる場合、制御部１７は、生成された視差画像を、例えば車両１に搭載された表示装置へ送信してもよい。また、制御部１７は、生成された視差画像に基づいて、画像上の任意の被写体と車両１との間の距離を算出してもよい。
【００４３】
次に、図７を参照して、上述した制御部１７の動作について具体的に説明する。
【００４４】
ステップＳ１００：はじめに制御部１７は、奇数フレームにおける１組の画像を取得する。
【００４５】
ステップＳ１０１：続いて制御部１７は、ステップＳ１００で取得された１組の画像に基づいて、第１撮像設定を決定する。
【００４６】
ステップＳ１０２：続いて制御部１７は、ステップＳ１０１で決定された第１撮像設定を示す情報を、次の奇数フレームの撮像が開始される前にステレオカメラ１１へ送信する。
【００４７】
ステップＳ１０３：制御部１７は、偶数フレームにおける１組の画像を取得する。
【００４８】
ステップＳ１０４：続いて制御部１７は、ステップＳ１０３で取得された１組の画像に基づいて、第２撮像設定を決定する。
【００４９】
ステップＳ１０５：続いて制御部１７は、ステップＳ１０４で決定された第２撮像設定を示す情報を、次の偶数フレームの撮像が開始される前にステレオカメラ１１へ送信する。
【００５０】
ステップＳ１０６：続いて制御部１７は、ステップＳ１００で取得された１組の画像と、ステップＳ１０３で取得された１組の画像とを用いて、画像上の１つ以上の位置それぞれに対応する、視差の第１候補値および第２候補値を算出する。
【００５１】
ステップＳ１０７：続いて制御部１７は、ステップＳ１０６で算出された各候補値に対応するピーク評価値を算出する。
【００５２】
ステップＳ１０８：続いて制御部１７は、ステップＳ１０７で算出されたピーク評価値の比較に基づいて、画像上の１つ以上の位置それぞれに対し、ステップＳ１０６で算出された第１候補値および第２候補値の何れか一方を視差として決定する。
【００５３】
ステップＳ１０９：続いて制御部１７は、ステップＳ１０８で決定された視差に基づく視差画像を生成する。
【００５４】
ステップＳ１１０：そして制御部１７は、ステップＳ１０８で決定された視差に基づいて、画像上の任意の被写体と車両１との間の距離を算出する。
【００５５】
以上述べたように、本実施形態に係るステレオカメラ装置１０は、基準画像を生成する第１のカメラ１１ａ（第１撮像部）と、参照画像を生成する第２のカメラ１１ｂ（第２撮像部）と、１組の画像を用いて視差を決定する制御部１７と、を備える。また、制御部１７は、第１撮像設定に基づく１組の画像を用いて算出した第１候補値と、第２撮像設定に基づく１組の画像を用いて算出した第２候補値と、の何れか一方を視差として決定する。このように、撮像設定が異なる画像を用いて、視差の２つの候補値を算出するので、例えば一方の候補値の信頼性が低い場合（例えば、画像上で白飛びまたは黒つぶれが発生した場合）であっても、比較的信頼性が高い他の候補値を視差として決定可能であり、視差の算出精度が向上する。
【００５６】
本発明を諸図面や実施形態に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。したがって、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各手段、各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の手段やステップなどを１つに組み合わせたり、あるいは分割したりすることが可能である。
【００５７】
例えば、上述した実施形態において、第１撮像設定が、画像上の第１領域を用いて露出制御を行う設定を含み、第２撮像設定が、画像上の第２領域を用いて露出制御を行う設定を含む構成について説明したが、露出制御の方法はこれに限られない。例えば、本発明の実施形態の変形例において、第１撮像設定は、奇数フレームの１組の基準画像および参照画像の少なくとも一方の輝度分布（ヒストグラム）における１つのピーク（第１ピーク）に基づいて、露出制御を行う設定であってもよい。また、第２撮像設定は、偶数フレームの１組の基準画像および参照画像の少なくとも一方の輝度分布における、第１ピークに対応するピークとは異なる他のピーク（第２ピーク）に基づいて、露出制御を行う設定であってもよい。
【００５８】
かかる変形例について、図８を参照して具体的に説明する。図８（ａ）は、横軸を輝度、縦軸を画素数として、奇数フレーム（例えば、フレーム１）の画像の輝度分布を示す。また、図８（ｂ）は、横軸を輝度、縦軸を画素数として、偶数フレーム（例えば、フレーム２）の画像の輝度分布を示す。
【００５９】
はじめに制御部１７は、奇数フレームの画像を取得すると、当該画像の輝度分布を算出する。続いて制御部１７は、当該輝度分布において、１つのピーク、例えば最も輝度が小さいピークＣ（図８（ａ）参照）を、第１ピークとして識別する。そして制御部１７は、識別された第１ピークに基づいて、例えば第１ピークが輝度分布の中央位置に向かってシフトするように露出制御を行う露出設定を含む第１撮像設定を決定する。
【００６０】
また、制御部１７は、偶数フレームの画像を取得すると、当該画像の輝度分布を算出する。続いて制御部１７は、当該輝度分布において、上述した第１ピークＣに対応するピークＣ’（即ち、輝度が最も小さいピーク）とは異なる他のピーク、例えば２番目に輝度が小さいピークＤ（図８（ｂ）参照）を、第２ピークとして識別する。そして制御部１７は、識別された第２ピークに基づいて、例えば第２ピークが輝度分布の中央位置に向かってシフトするように露出制御を行う露出設定を含む第２撮像設定を決定する。
【００６１】
かかる変形例によっても、上述した実施形態と同様に、第１撮像設定に基づく１組の画像と、第１撮像設定とは異なる第２撮像設定に基づく１組の画像と、が生成される。このため、上述した実施形態と同様に、視差の算出精度が向上する。
【００６２】
また、上述の実施形態において、奇数フレームにおいて第１撮像設定に基づく１組の画像が生成され、偶数フレームにおいて第２撮像設定に基づく１組の画像が生成される構成について説明したが、３つ以上の任意の数の撮像設定が用いられる構成であってもよい。例えば、ｎ＝０，１，２，…として、３ｎフレームにおいて第１撮像設定に基づく１組の画像が生成され、３ｎ＋１フレームにおいて第２撮像設定に基づく１組の画像が生成され、３ｎ＋２フレームにおいて第３撮像設定に基づく１組の画像が生成される構成であってもよい。
【００６３】
また、上述の実施形態に係るステレオカメラ装置１０の構成要素の一部は、車両１内に一時的に配置されてもよい。例えば、視差算出装置１２は、携帯電話などの通信機器として実現され、ステレオカメラ１１と有線または無線によって接続されてもよい。
【符号の説明】
【００６４】
１    車両
１０    ステレオカメラ装置
１１    ステレオカメラ
１１ａ    第１のカメラ（第１撮像部）
１１ｂ    第２のカメラ（第２撮像部）
１２    視差算出装置
１３    路面
１４ａ、１４ｂ    区画線
１５    通信部
１６    画像メモリ
１７    制御部
【図１】
2017151001.tif 000003
【図２】
2017151001.tif 000004
【図３】
2017151001.tif 000005
【図４】
2017151001.tif 000006
【図５】
2017151001.tif 000007
【図６】
2017151001.tif 000008
【図７】
2017151001.tif 000009
【図８】
2017151001.tif 000010