(57)【要約】【課題】広角カメラにより撮像された広角画像からなるステレオ画像対を用いて、広範囲に存在する物体までの距離を計測する。【解決手段】本技術の画像処理装置は、第１の画像の撮像時の視野角を分割した各投影角に従い、前記第１の画像を仮想球面上の複数の平面に投影することによって前記複数の基準平面画像を生成する第１の生成部と、撮像範囲が前記第１の画像の撮像範囲と重複した領域を含む第２の画像の撮像時の視野角を分割した各投影角に従い、前記第２の画像を仮想球面上の複数の平面に投影することによって前記複数の参照平面画像を生成する第２の生成部と、生成された前記複数の基準平面画像と、生成された前記複数の参照平面画像との対応する画像対を用いたステレオ画像処理を行うことにより、前記基準画像上の物体までの距離を表す距離情報を生成する複数のステレオ画像処理部とを備える。本技術は、例えば、自動車に搭載できる。【選択図】図４
2017220051.tif 000002
【特許請求の範囲】
【請求項１】
第１の画像を取得し、前記第１の画像の撮像時の視野角を分割した各投影角に従い、前記第１の画像を仮想球面上の複数の平面に投影することによって前記複数の基準平面画像を生成する第１の生成部と、
撮像範囲が前記第１の画像の撮像範囲と重複した領域を含む第２の画像を取得し、前記第２の画像の撮像時の視野角を分割した各投影角に従い、前記第２の画像を仮想球面上の複数の平面に投影することによって前記複数の参照平面画像を生成する第２の生成部と、
生成された前記複数の基準平面画像と、生成された前記複数の参照平面画像との対応する画像対を用いたステレオ画像処理を行うことにより、前記基準画像上の物体までの距離を表す距離情報を生成する複数のステレオ画像処理部と
を備える画像処理装置。
【請求項２】
前記第１の画像または前記第２の画像の少なくとも一方は、広角カメラにより撮像された画像である
請求項１に記載の画像処理装置。
【請求項３】
前記第２の生成部は、前記第１の生成部によって生成される前記複数の基準平面画像に対してマージンが設けられた前記複数の参照平面画像を生成する
請求項２に記載の画像処理装置。
【請求項４】
前記マージンの幅は、前記第１の画像を撮像する第１の撮像部と、前記第２の画像を撮像する第２の撮像部との基線長に基づいて決定される
請求項３に記載の画像処理装置。
【請求項５】
前記複数の基準平面画像および前記複数の参照平面画像の配置方向は、前記第１の画像を撮像する第１の撮像部と前記第２の画像を撮像する第２の撮像部との基線長の方向と直交する
請求項２に記載の画像処理装置。
【請求項６】
前記複数の基準平面画像および前記複数の参照平面画像の配置方向は、前記ステレオ画像処理における対応点の探索方向と直交する
請求項２に記載の画像処理装置。
【請求項７】
生成された前記複数の距離情報を統合する距離情報統合部をさらに備える
請求項２に記載の画像処理装置。
【請求項８】
前記距離情報統合部は、生成された前記複数の距離情報の座標系を変換する
請求項７に記載の画像処理装置。
【請求項９】
前記第１の画像を撮像する第１の撮像部と、
前記第２の画像を撮像する第２の撮像部とをさらに備える
請求項２に記載の画像処理装置。
【請求項１０】
前記第１の撮像部または前記第２の撮像部の少なくとも一方は、広角カメラから成る
請求項９に記載の画像処理装置。
【請求項１１】
前記第１の撮像部と前記第２の撮像部は、水平方向に並んで配置されている
請求項９に記載の画像処理装置。
【請求項１２】
前記第１の撮像部と前記第２の撮像部は、垂直方向に並んで配置されている
請求項９に記載の画像処理装置。
【請求項１３】
画像処理装置の画像処理方法において、
前記画像処理装置による、
第１の画像を取得し、前記第１の画像の撮像時の視野角を分割した各投影角に従い、前記第１の画像を仮想球面上の複数の平面に投影することによって前記複数の基準平面画像を生成する第１の生成ステップと、
撮像範囲が前記第１の画像の撮像範囲と重複した領域を含む第２の画像を取得し、前記第２の画像の撮像時の視野角を分割した各投影角に従い、前記第２の画像を仮想球面上の複数の平面に投影することによって前記複数の参照平面画像を生成する第２の生成ステップと、
生成された前記複数の基準平面画像と、生成された前記複数の参照平面画像との対応する画像対を用いたステレオ画像処理を行うことにより、前記基準画像上の物体までの距離を表す距離情報を生成する複数のステレオ画像処理ステップと
を含む画像処理方法。
【請求項１４】
第１の画像を撮像する第１の撮像部と、
撮像範囲が前記第１の画像の撮像範囲と重複した領域を含む第２の画像を撮像する第２の撮像部と、
前記第１の画像を取得し、前記第１の画像の撮像時の視野角を分割した各投影角に従い、前記第１の画像を仮想球面上の複数の平面に投影することによって前記複数の基準平面画像を生成する第１の生成部と、
前記第２の画像を取得し、前記第２の画像の撮像時の視野角を分割した各投影角に従い、前記第２の画像を仮想球面上の複数の平面に投影することによって前記複数の参照平面画像を生成する第２の生成部と、
生成された前記複数の基準平面画像と、生成された前記複数の参照平面画像との対応する画像対を用いたステレオ画像処理を行うことにより、前記基準画像上の物体までの距離を表す距離情報を生成する複数のステレオ画像処理部と
を備える車両。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、画像処理装置、画像処理方法、および車両に関し、特に、並列して配置された２台（または、それ以上）のカメラによって同時に撮像された画像対を用い、三角測量の原理を利用して被写体までの距離を計測する場合に用いて好適な画像処理装置、画像処理方法、および車両に関する。
【背景技術】
【０００２】
３次元空間に存在する物体を認識するために、該物体までの距離を計測する技術がある。物体までの距離を計測としては、所定の基線長だけ離れて配置することにより視差が設けられた２台（またはそれ以上）のカメラにより同時に該物体を撮像し、その結果得られた基準画像と参照画像の対（以下、ステレオ画像対と称する）を用い、三角測量の原理を利用して該物体までの距離を計測するステレオ画像処理が知られている（例えば、特許文献１参照）。
【０００３】
ステレオ画像処理では、ステレオ画像対における対応する点（物体）の位置を正確に検出することが重要となる。なお、理想的な状態であれば、ステレオ画像対における対応する点（物体）は２台のカメラの中心を結ぶ線と並行になる方向に存在するので、その方向のみを探索すればよい。ここで、理想的な状態とは、２台のカメラが、撮像対象の３次元空間を、任意の方向に対して歪みのない理想的な平面上に射影できる場合を指す。
【０００４】
ところで、３次元空間のより広い範囲に存在する物体を認識できるように、ステレオ画像対を魚眼レンズなどが装着された広視野角の撮像ができる広角カメラを用いることがある。
【０００５】
ここで、広角カメラとは、通常のカメラよりも広視野角の撮像が可能なカメラであり、例えば３５ｍｍ換算で焦点距離が３５ｍｍ以下、特には、２８ｍｍ以下の広角レンズや魚眼レンズを備えるものと定義する。また、視野角が120度以上、特には150度以上の撮像が可能なカメラも含むものとする。以下、広角カメラにより撮像した画像を広角画像と称する。
【０００６】
広角カメラによりステレオ画像対を撮像した場合、上述した理想的な状態からは大きく離れてしまい、得られる２枚の広角画像のそれぞれには周辺部分になるほど大きな歪みが生じるので、広角画像対上の対応する点を検出することが困難となる。そこで、そのような歪みを収差補正し、その結果得られる平面画像対上の対応する点を検出する方法が提案されている（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平０５−１１４０９９号公報
【特許文献２】特開２００１−２３５８１９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、上述した歪みの収差補正は、撮像された広角画像の一部の領域に対してのみ行われるに過ぎず、距離を測定したい物体が補正された領域に存在していない場合（すなわち、平面画像上に存在しない場合）、ステレオ画像対における対応する点（物体）の位置を検出することができなかった。
【０００９】
本技術はこのような状況に鑑みてなされたものであり、広角カメラにより撮像された視野角の広い画像からなるステレオ画像対を用いて、より広範囲に存在する物体までの距離を計測できるようにするものである。
【課題を解決するための手段】
【００１０】
本技術の第１の側面である画像処理装置は、第１の画像を取得し、前記第１の画像の撮像時の視野角を分割した各投影角に従い、前記第１の画像を仮想球面上の複数の平面に投影することによって前記複数の基準平面画像を生成する第１の生成部と、撮像範囲が前記第１の画像の撮像範囲と重複した領域を含む第２の画像を取得し、前記第２の画像の撮像時の視野角を分割した各投影角に従い、前記第２の画像を仮想球面上の複数の平面に投影することによって前記複数の参照平面画像を生成する第２の生成部と、生成された前記複数の基準平面画像と、生成された前記複数の参照平面画像との対応する画像対を用いたステレオ画像処理を行うことにより、前記基準画像上の物体までの距離を表す距離情報を生成する複数のステレオ画像処理部とを備える。
【００１１】
前記第１の画像または前記第２の画像の少なくとも一方は、広角カメラにより撮像された画像とすることができる。
【００１２】
前記第２の生成部は、前記第１の生成部によって生成される前記複数の基準平面画像に対してマージンが設けられた前記複数の参照平面画像を生成することができる。
【００１３】
前記マージンの幅は、前記第１の画像を撮像する第１の撮像部と、前記第２の画像を撮像する第２の撮像部との基線長に基づいて決定することができる。
【００１４】
前記複数の基準平面画像および前記複数の参照平面画像の配置方向は、前記第１の画像を撮像する第１の撮像部と前記第２の画像を撮像する第２の撮像部との基線長の方向と直交するようにすることができる。
【００１５】
前記複数の基準平面画像および前記複数の参照平面画像の配置方向は、前記ステレオ画像処理における対応点の探索方向と直交するようにすることができる。
【００１６】
本技術の第１の側面である画像処理装置は、生成された前記複数の距離情報を統合する距離情報統合部をさらに備えることができる。
【００１７】
前記距離情報統合部は、生成された前記複数の距離情報の座標系を変換するようにすることができる。
【００１８】
本技術の第１の側面である画像処理装置は、前記第１の画像を撮像する第１の撮像部と、前記第２の画像を撮像する第２の撮像部とをさらに備えることができる。
【００１９】
前記第１の撮像部または前記第２の撮像部の少なくとも一方は、広角カメラから成るようにすることができる。
【００２０】
前記第１の撮像部と前記第２の撮像部は、水平方向に並んで配置されているようにすることができる。
【００２１】
前記第１の撮像部と前記第２の撮像部は、垂直方向に並んで配置されているようにすることができる。
【００２２】
本技術の第１の側面である画像処理方法は、画像処理装置の画像処理方法において、前記画像処理装置による、第１の画像を取得し、前記第１の画像の撮像時の視野角を分割した各投影角に従い、前記第１の画像を仮想球面上の複数の平面に投影することによって前記複数の基準平面画像を生成する第１の生成ステップと、撮像範囲が前記第１の画像の撮像範囲と重複した領域を含む第２の画像を取得し、前記第２の画像の撮像時の視野角を分割した各投影角に従い、前記第２の画像を仮想球面上の複数の平面に投影することによって前記複数の参照平面画像を生成する第２の生成ステップと、生成された前記複数の基準平面画像と、生成された前記複数の参照平面画像との対応する画像対を用いたステレオ画像処理を行うことにより、前記基準画像上の物体までの距離を表す距離情報を生成する複数のステレオ画像処理ステップとを含む。
【００２３】
本技術の第１の側面においては、第１の画像が取得され、前記第１の画像の撮像時の視野角を分割した各投影角に従い、前記第１の画像が仮想球面上の複数の平面に投影されることによって前記複数の基準平面画像が生成され、撮像範囲が前記第１の画像の撮像範囲と重複した領域を含む第２の画像が取得され、前記第２の画像の撮像時の視野角を分割した各投影角に従い、前記第２の画像が仮想球面上の複数の平面に投影されることによって前記複数の参照平面画像が生成され、生成された前記複数の基準平面画像と、生成された前記複数の参照平面画像との対応する画像対を用いたステレオ画像処理が行われることにより、前記基準画像上の物体までの距離を表す距離情報が生成される。
【００２４】
本技術の第２の側面である車両は、第１の画像を撮像する第１の撮像部と、撮像範囲が前記第１の画像の撮像範囲と重複した領域を含む第２の画像を撮像する第２の撮像部と、前記第１の画像を取得し、前記第１の画像の撮像時の視野角を分割した各投影角に従い、前記第１の画像を仮想球面上の複数の平面に投影することによって前記複数の基準平面画像を生成する第１の生成部と、前記第２の画像を取得し、前記第２の画像の撮像時の視野角を分割した各投影角に従い、前記第２の画像を仮想球面上の複数の平面に投影することによって前記複数の参照平面画像を生成する第２の生成部と、生成された前記複数の基準平面画像と、生成された前記複数の参照平面画像との対応する画像対を用いたステレオ画像処理を行うことにより、前記基準画像上の物体までの距離を表す距離情報を生成する複数のステレオ画像処理部とを備える。
【００２５】
本技術の第２の側面においては、第１の画像が撮像され、撮像範囲が前記第１の画像の撮像範囲と重複した領域を含む第２の画像が撮像され、前記第１の画像の撮像時の視野角を分割した各投影角に従い、前記第１の画像が仮想球面上の複数の平面に投影されることによって前記複数の基準平面画像が生成され、前記第２の画像の撮像時の視野角を分割した各投影角に従い、前記第２の画像が仮想球面上の複数の平面に投影されることによって前記複数の参照平面画像が生成され、生成された前記複数の基準平面画像と、生成された前記複数の参照平面画像との対応する画像対を用いたステレオ画像処理が行われることにより、前記基準画像上の物体までの距離を表す距離情報が生成される。
【発明の効果】
【００２６】
本技術の第１および第２の側面によれば、より広範囲に存在する物体までの距離を計測できる。
【図面の簡単な説明】
【００２７】
【図１】広角画像と平面画像の関係を示す図である。
【図２】仮想球面と平面画像の関係を示す図である。
【図３】広角画像と基準画像となる複数の平面画像の関係を示す図である。
【図４】本技術を適用した画像処理装置の構成例を示すブロック図である。
【図５】広角画像と参照画像となる複数の平面画像の関係を示す図である。
【図６】距離情報の統合例を説明するための図である。
【図７】距離情報の統合例を説明するための図である。
【図８】距離情報の統合例を説明するための図である。
【図９】画像処理装置による距離計測処理を説明するフローチャートである。
【図１０】平面画像を短冊状に分割する場合の例を示す図である。
【図１１】図１０における第１撮像部と第２撮像部の配置例を示す図である。
【図１２】汎用のコンピュータの構成例を示すブロック図である。
【図１３】車両におけるステレオカメラの配置例を示す図である。
【図１４】車両におけるステレオカメラを構成する第１撮像部と第２撮像部の配置例を示す図である。
【図１５】車両におけるステレオカメラを構成する第１撮像部と第２撮像部の配置例を示す図である。
【図１６】車両におけるステレオカメラを構成する第１撮像部と第２撮像部の配置例を示す図である。
【図１７】車両におけるステレオカメラを構成する第１撮像部と第２撮像部の配置例を示す図である。
【図１８】車両におけるステレオカメラを構成する第１撮像部と第２撮像部の配置例を示す図である。
【図１９】車両制御システムの概略的な構成の一例を示すブロック図である。
【図２０】車外情報検出部および撮像部の設置位置の一例を示す説明図である。
【発明を実施するための形態】
【００２８】
以下、本技術を実施するための最良の形態（以下、実施の形態と称する）について、図面を参照しながら詳細に説明する。
【００２９】
＜広角カメラにより撮像された広角画像と平面画像の関係＞
図１は、広角カメラにより撮像された広角画像と、それを収差補正して得られる平面画像との関係を示している。ただし、図１にはステレオ画像処理に用いる基準画像と参照画像の一方のみを示している。
【００３０】
広角カメラにより撮像される広角画像Ｗは、撮像方向の３次元空間が仮想球面Ｓに投影された状態が画像上に表されており、大きな歪みが生じており、このままでは、対となる広角画像Ｗから対応する点の検出が困難となる。そこで、広角画像Ｗを仮想球面Ｓ上の平面に投影することにより平面画像Ｐを生成する。
【００３１】
なお、平面画像Ｐの生成に際しては、後段において距離計測に用いるために、広角画像Ｗの周辺部分では極座標変換処理が必要となる。
【００３２】
図２は、仮想曲面Ｓと平面画像Ｐの関係を２次元的に簡略化して示している。ただし、図２にはステレオ画像処理に用いる基準画像と参照画像の一方のみを示している。
【００３３】
平面画像Ｐは、仮想球面Ｓに対して投影角度θを設定して広角画像Ｗが投影されることにより生成される。生成される平面画像Ｐの幅ｗは、次式（１）に示されるように投影角θを用いて表される。
ｗ＝２Ｒ・tan（θ／２）                        ・・・（１）
ここで、Ｒは仮想球面Ｓの半径である。θは、０度から１８０度前後（魚眼レンズには１８０度以上の広視野角を有するものが存在するため）の値となる。
【００３４】
ただし、投影角度θが１８０度の場合、式（１）の幅ｗは無限大に発散してしまう。すなわち、１８０度以上の視野角で撮像された広角画像Ｗの場合、その全体を１枚の平面画像Ｐに投影することができない。そこで、本技術においては、１枚の広角画像Ｗを複数の平面画像Ｐに投影すること、すなわち、１枚の広角画像Ｗから複数の平面画像Ｐを生成するようにする。これにより、距離を測定する物体が広角画像Ｗの周辺領域にいても、その物体までの距離を計測することが可能となる。
【００３５】
図３は、１枚の広角画像Ｗを３枚の平面画像Ｐに投影する場合を示している。ただし、図３にはステレオ画像処理に用いる基準画像と参照画像のうち、基準画像のみを示している。
【００３６】
同図に示されるように、平面画像Ｐ１１は、広角画像Ｗをその視野角のうちの角度θ１１の部分を投影して生成される。同様に、平面画像Ｐ１２は、広角画像Ｗをその視野角のうちの角度θ１２の部分を投影して生成される。平面画像Ｐ１３は、広角画像Ｗをその視野角のうちの角度θ１３の部分を投影して生成される。ただし、投影角度θ１１，θ１２，θ１３は、それらで広角画像Ｗの全視野角を包含できるように設定する必要がある。
【００３７】
例えば、広角画像Ｗの視野角が１８０度である場合、投影角度θ１１，θ１２，θ１３の値は共通の６０度とすればよい。ただし、投影角度θ１１，θ１２，θ１３の値は共通でなくてもよい。例えば、投影角度θ１２を広くし、その他の投影角度θ１１，θ１３を狭くしてもよい。さらに、投影角度θ１１，θ１２，θ１３のそれぞれの値を可変とし、撮像されるシーンに応じて変更するようにしてもよい。これにより、特定方向（例えば、物体の存在が推定される方向）の平面画像Ｐを広くすることができる。
【００３８】
なお、図３の場合、広角画像Ｗの視野角を３分割する場合を示したが、例えば、広角画像Ｗの視野角を２分割して１枚の広角画像Ｗから２枚の平面画像Ｐを生成したり、広角画像Ｗの視野角を４以上に分割して１枚の広角画像Ｗから４枚以上の平面画像Ｐを生成したりしてもよい。基準画像と参照画像の各組の対応点を検出する処理を平行して行うようにすれば、生成する平面画像Ｐの枚数を増やした場合、広角画像Ｗの全領域分の対応する点の検出をより速やかに実行することができる。
【００３９】
＜本実施の形態である画像処理装置の構成例について＞
図４は、本実施の形態である画像処理装置の構成例を示している。
【００４０】
この画像処理装置１０は、２台のカメラ（第１撮像部１１および第２撮像部１２）により撮像されるステレオ画像対を用いたステレオ画像処理を実行するものであり、例えば、自動車などの車両に搭載することが想定される。画像処理装置１０が自動車に搭載された場合、その周囲に存在する物体（他の車両、人、道路上のライン等）までの距離を計測することができ、その計測結果は、例えば、接近警告、衝突回避ブレーキ、レーンチェンジ警告、自動操舵等の機能を実現するために利用される。
【００４１】
画像処理装置１０は、第１補正部１３、第２補正部１４、第１平面画像対処理部１５、第２平面画像対処理部１６、第３平面画像対処理部１７、距離情報統合部１８、および距離情報解析部１９を有する。
【００４２】
画像処理装置１０には、第１撮像部１１および第２撮像部１２それぞれが撮像した画像が供給される。以下、第１撮像部１１が撮像した画像が基準画像とされ、第２撮像部１２が撮像した画像が参照画像とされるものとする。
【００４３】
ここで、第１撮像部１１と第２撮像部１２は、焦点距離が等しい広角カメラであり、所定の基線長だけ離れて、略同じ撮像範囲を撮像するように配置されている。ここで、所定の基線長は、車載の場合、特に、ドアミラーに第１撮像部１１と第２撮像部１２を設置することなどを考慮すると、５ｃｍ程度が想定される。ただし、大型のドアミラーを用いて５ｃｍ以上、例えば１０ｃｍの基線長を確保したり、車体にカメラを設けたりすることで２０ｃｍ等の基線長を設定することもできる。
【００４４】
第１撮像部１１と第２撮像部１２の配置の方向は、一般的には横方向（水平線方向）であるが、縦方向（垂直方向）でもよい。第１撮像部１１と第２撮像部１２を縦方向に配置した場合、両者の視差が、複数生成される平面画像（後述）の境界をまたがないので、対応する点を検出し易いメリットがある。また、車載の場合、横方向の視差よりも縦方向の視差が重要となることがある。
【００４５】
第１撮像部１１は、撮像範囲を撮像し、その結果得られる広角画像Ｗ１を第１補正部１３に出力する。第２撮像部１２は、第１撮像部１１と同じ撮像タイミングで撮像範囲を撮像し、その結果得られる広角画像Ｗ２を第２補正部１４に出力する。この場合、画像処理装置１０は、撮像範囲内のどこに存在する物体であっても、そこまでの距離を計測することができる。
【００４６】
なお、第１撮像部１１と第２撮像部１２に、広角カメラではなく、標準的な視野角（３５ｍｍ換算で焦点距離５０ｍｍ程度）のレンズが装着された標準カメラを採用した場合でも、本技術は適用可能である。
【００４７】
また、第１撮像部１１と第２撮像部１２は、それぞれの撮像範囲に重複する領域が有れば、撮像方向が異なっていてもよい。この場合、両者の撮像範囲が重複する領域に存在する物体については、そこまでの距離を計測できる。両者の撮像範囲が重複していない領域に存在する物体については、そこまでの距離を計測できないが、広角画像Ｗ１，Ｗ２における該領域については、広範囲の監視などに利用できる。
【００４８】
さらに、第１撮像部１１と第２撮像部１２は、装着されているレンズの焦点距離が異なっていてもよい。例えば、一方に広角レンズを装着し、他方を広角レンズよりも焦点距離が長い、すなわち、視野角が狭く、解像度が高い望遠レンズなどを装着してもよい。ただし、両者の撮像範囲に重複する領域が生じるように、第１撮像部１１と第２撮像部１２を設置する。この場合、両者の撮像範囲が重複する領域に存在する物体については、そこまでの距離を計測できる。また、この場合、ステレオ画像処理を行わないときには、広角レンズを装着した一方によって撮像される広角画像は広範囲の監視などに利用でき、望遠レンズなどを装着した他方によって撮像される画像は、小さな物体（例えば、遠方に位置する物体）の監視などに利用できる。
【００４９】
第１補正部１３は、広角画像Ｗ１に基づいて基準画像を生成する。すなわち、第１補正部１３は、図３に示されたように、第１撮像部１１から供給される広角画像Ｗ１を投影角度θ１１，θ１２，θ１３で仮想球面Ｓの平面に投影することにより、平面画像Ｐ１１，Ｐ１２，Ｐ１３を生成して、第１平面画像対処理部１５、第２平面画像対処理部１６、および第３平面画像対処理部１７に出力する。
【００５０】
第２補正部１４は、広角画像Ｗ２に基づいて参照画像を生成する。ただし、参照画像には、基準画像上に存在する物体がずれて写っているので、基準画像の端の領域に存在する物体が、参照画像上に存在せず、その物体までの距離を算出できなくなってしまうことが起こり得る。このような不都合を抑止するため、参照画像は、基準画像に対してマージンを設けて生成するようにする。
【００５１】
図５は、広角画像Ｗ２と参照画像Ｐ２１、Ｐ２２、Ｐ２３の関係を示している。同図に示されるように、第２補正部１４は、第２撮像部１２から供給される広角画像Ｗ２を投影角度θ２１，θ２２，θ２３で仮想球面Ｓの平面に投影することにより、マージンＭを有する平面画像Ｐ２１，Ｐ２２，Ｐ２３（Ｐ２３はマージンＭなし）を生成して、第１平面画像対処理部１５、第２平面画像対処理部１６、および第３平面画像対処理部１７に出力する。ここで、投影角度θ２１は、対応する基準画像の投影角度θ１１を包含する角度とする。同様に、投影角度θ２２は、対応する基準画像の投影角度θ１２を包含する角度とする。ただし、図５の場合、平面画像Ｐ２３にはマージンＭが設けられていない。マージンＭの幅や方向については、ステレオ画像処理における対応する点の探索範囲に依存して決めればよい。ただし、第１撮像部１１と第２撮像部１２の基線長が長い場合、それに応じてマージンＭの幅も長くする必要がある。
【００５２】
第１平面画像対処理部１５は、平面画像Ｐ１１を基準画像、平面画像Ｐ２１を参照画像としてステレオ画像処理を行い、平面画像Ｐ１１，Ｐ２１に存在する物体までの距離を計測し、計測結果を示す距離情報を距離情報統合部１８に出力する。同様に、第２平面画像対処理部１６は、平面画像Ｐ１２を基準画像、平面画像Ｐ２２を参照画像としてステレオ画像処理を行い、平面画像Ｐ１２，Ｐ２２に存在する物体までの距離を計測し、計測結果を示す距離情報を距離情報統合部１８に出力する。第３平面画像対処理部１７は、平面画像Ｐ１３を基準画像、平面画像Ｐ２３を参照画像としてステレオ画像処理を行い、平面画像Ｐ１３，Ｐ２３に存在する物体までの距離を計測し、計測結果を示す距離情報を距離情報統合部１８に出力する。上述したように、第１平面画像対処理部１５、第２平面画像対処理部１６、および第３平面画像対処理部１７では、広角画像Ｗの対から対応する点を検出するのではなく、収差補正済みの平面画像Ｐの対から対応する点を検出するので、対応する点の検出精度を上げることができる。
【００５３】
距離情報統合部１８は、第１平面画像対処理部１５、第２平面画像対処理部１６、および第３平面画像対処理部１７から入力される距離情報を統合して、距離情報解析部１９に出力する。より具体的には、各距離情報を、１枚の平面画像（例えば、平面画像Ｐ１１）に基づく座標系に変換するか、または、第１撮像部１１（第２撮像部１２でもよい）の視点を中心とした極座標系に変換する。
【００５４】
図６乃至図８は、距離情報の統合の例を示している。例えば、図６に示されるように、撮像方向の正面に横方向に伸びている壁２１がある場合を考える。この場合、図７に示されるように、平面画像対Ｐ１１，Ｐ２１から測定される壁２１−１の距離は、画面の中央部分が最も遠く、画面の右側になるほど近くなる。平面画像対Ｐ１２，Ｐ２２から測定される壁２１−２の距離は一定となる。平面画像対Ｐ１３，Ｐ２３から測定される壁２１−３の距離は、画面の中央部分が最も遠く、画面の左側になるほど近くなる。
【００５５】
距離情報統合部１８では、図７に示されたような個別の距離情報を統合して、図８に示すように、第１撮像部１１および第２撮像部１２から壁２１の全体までの距離を得る。
【００５６】
図４に戻る。距離情報解析部１９は、統合されている距離情報を解析することにより、後段の処理に適した形式の情報に変換して後段に出力する。この出力は、例えば、自動車における接近警告、衝突回避ブレーキ、レーンチェンジ警告、自動操舵等の各機能を実現するために利用される。
【００５７】
＜画像処理装置１０による距離計測処理について＞
図５は、画像処理装置１０による距離計測処理を説明するフローチャートである。
【００５８】
ステップＳ１において、第１補正部１３は、第１撮像部１１から広角画像Ｗ１を取得する。同様に、第２補正部１４は、第２撮像部１２から広角画像Ｗ２を取得する。
【００５９】
ステップＳ２において、第１補正部１３は、広角画像Ｗ１に基づき、ステレオ画像処理の基準画像となる平面画像Ｐ１１，Ｐ１２，Ｐ１３を生成して第１平面画像対処理部１５、第２平面画像対処理部１６、および第３平面画像対処理部１７に出力する。同様に、第２補正部１４は、広角画像Ｗ２に基づき、ステレオ画像処理の基準画像となる平面画像Ｐ２１，Ｐ２２，Ｐ２３を生成して第１平面画像対処理部１５、第２平面画像対処理部１６、および第３平面画像対処理部１７に出力する。
【００６０】
ステップＳ３において、第１平面画像対処理部１５は、平面画像Ｐ１１を基準画像、平面画像Ｐ２１を参照画像としてステレオ画像処理を行い、平面画像Ｐ１１，Ｐ２１に存在する物体までの距離を計測し、計測結果を示す距離情報を距離情報統合部１８に出力する。同様に、第２平面画像対処理部１６は、平面画像Ｐ１２を基準画像、平面画像Ｐ２２を参照画像としてステレオ画像処理を行い、平面画像Ｐ１２，Ｐ２２に存在する物体までの距離を計測し、計測結果を示す距離情報を距離情報統合部１８に出力する。第３平面画像対処理部１７は、平面画像Ｐ１３を基準画像、平面画像Ｐ２３を参照画像としてステレオ画像処理を行い、平面画像Ｐ１３，Ｐ２３に存在する物体までの距離を計測し、計測結果を示す距離情報を距離情報統合部１８に出力する。
【００６１】
ステップＳ４において、距離情報統合部１８は、第１平面画像対処理部１５、第２平面画像対処理部１６、および第３平面画像対処理部１７から入力される距離情報を統合して、距離情報解析部１９に出力する。
【００６２】
ステップＳ５において、距離情報解析部１９は、統合された距離情報を解析することにより、後段の処理に適した形式の情報に変換して後段に出力する。以上で、距離計測処理の説明を終了する。
【００６３】
上述した距離計測処理によれば、撮像された広角画像上の広範囲における物体の距離を測定することが可能となる。
【００６４】
ところで、上述した説明に用いた図面では、広角画像Ｗが撮像される際の仮想球面Ｓを２次元で示していたが、実際の仮想球面Ｓは３次元であるので、仮想球面Ｓを平面に分割するには、タイル状の平面に分割すればよい。しかしながら、３次元の仮想球面Ｓを球面に対して均等に分割しても良いが、その場合、各平面画像が矩形にならないため分割が困難となる。
【００６５】
そこで、広角画像Ｗを撮像した際の仮想球面Ｓのすべての角度における物体の距離を求める必要が無く、特定の平面方向では広角（１８０度前後）であり、それに直交する座標軸方向では、広角よりも狭い角度の範囲に存在する物体の距離を計測できれば良い場合、図１０に示されるように、短冊状に平面画像Ｗを区切っても良い。同図の場合、ＸＺ平面方向に広角とされ、それに直交するＹ軸方向では広角よりも狭い角度の範囲に存在する物体の距離が計測できる。
【００６６】
図１１は、図１０に示されたように平面画像Ｗを短冊状に区切る場合における、第１撮像部１１と第２撮像部１２の配置の例を示している。
【００６７】
図１１に示されるように、第１撮像部１１と第２撮像部１２を結ぶ線の方向（Ｙ軸方向）と、分割の方向（Ｘ軸方向）が垂直となるように第１撮像部１１と第２撮像部１２を配置すれば、ステレオ画像処理における対応する点の探索方向３１が、短冊の長辺方向（Ｙ軸方向）と一致する。この場合、図５に示されたように、参照画像にマージンＭを設ける必要がない。ただし、厳密には、ステレオ画像処理においてブロックマッチングを行う場合には、使用するブロックのサイズの半分に相当する幅だけ、参照画像にマージンを設ける必要はある。
【００６８】
＜画像処理装置１０をプログラムによって実現する場合について＞
【００６９】
上述した画像処理装置１０の一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【００７０】
図１２は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【００７１】
コンピュータ１００において、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。
【００７２】
バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、入力部１０６、出力部１０７、記憶部１０８、通信部１０９、およびドライブ１１０が接続されている。
【００７３】
入力部１０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部１０７は、ディスプレイ、スピーカなどよりなる。記憶部１０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１０９は、ネットワークインタフェースなどよりなる。ドライブ１１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア１１１を駆動する。
【００７４】
以上のように構成されるコンピュータ１００では、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５およびバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。
【００７５】
コンピュータ１００（CPU２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【００７６】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであってもよいし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであってもよい。
【００７７】
＜画像処理装置１０を車両に搭載する場合について＞
次に、画像処理装置１０を車両に搭載する場合における、第１撮像部１１と第２撮像部１２の配置について説明する。
【００７８】
図１３は、第１撮像部１１と第２撮像部１２から成るステレオカメラ５２１の車両５１１における配置例を示している。
【００７９】
同図に示すように、第１撮像部１１と第２撮像部１２から成るステレオカメラ５２１は、車両５１１のドアミラー５１２、ドアミラー５１３、前方正面、および後方中央に設置できる。
【００８０】
ステレオカメラ５２１Ａは、車両５１１のドアミラー５１２に設置されたものである。ステレオカメラ５２１Ｂは、車両５１１のドアミラー５１３に設置されたものである。ステレオカメラ５２１Ｃは、車両５１１の前方正面に設置されたものである。ステレオカメラ５２１Ｄは、車両５１１の後方中央に設置されたものである。
【００８１】
上述したように、車両５１１の４つの方向をステレオカメラ５２１で監視するようにしたが、そのうちの少なくとも１つの方向は、超音波、レーダ、レーザセンサ、赤外線センサ等により監視するようにすることもできる。さらに、ステレオカメラ５２１による障害物の認識、監視に加えて、ビューイングシステムを組み合わせて用いることができる。
【００８２】
次に、図１４および図１５は、車両５１１に設置されたステレオカメラ５２１を成す第１撮像部１１と第２撮像部１２の配置例を示している。
【００８３】
ステレオカメラ５２１を成す第１撮像部１１と第２撮像部１２は、横方向に配置することもできるが、上下（縦方向）にずらして配置することもできる。加えて、光軸が基準面と平行な方向より下を指向するように配置するようにしてもよい。
【００８４】
図１４と図１５に示されるように、ステレオカメラ５２１を成す第１撮像部１１と第２撮像部１２は、車両５１１の側面に上下方向（すなわち縦方向）に配置される。すなわち第１撮像部１１と第２撮像部１２は、その視差が高さ方向にでるように、基準面（路面５５１）と垂直な面５５３内に配置される。第１撮像部１１と第２撮像部１２の取り付け位置は車両５１１の側面の中央付近が望ましいが、中央付近はドアがあるなど取り付けが難しい場合あるので、図１４と図１５の例では、ドアミラー５１２，５１３付近に取り付けられている例が示されている
【００８５】
また、ドアミラー５１２，５１３付近に取り付ける理由は、図１５に示されるように、ステレオカメラ５２１を斜め下方向に向けて取り付ける場合に、特別な治具を追加することなくステレオカメラ５２１を斜め下方向に取り付けることができるからである。
【００８６】
なお、図１４と図１５においては、車両５１１の左側にのみステレオカメラ５２１が設置されているが、実際には右側にも設置される。
【００８７】
もちろん、ステレオカメラ５２１は、ドアミラー５１２，５１３以外の、ピラー（フロントピラー、センタピラー、リアピラー等）、ドア、ルーフレール等に取り付けることができる。車両５１１の側面であればどこに取り付けても良い。
【００８８】
次に、図１６乃至図１９は、車両５１１に設置されたステレオカメラ５２１を成す第１撮像部１１と第２撮像部１２の他の配置例を示している。
【００８９】
図１４および図１５の配置例では、第１撮像部１１と第２撮像部１２は、図１６に示されるように車両５１１の車体の側面（具体的にはドアミラー５１２，５１３）に配置されていた。すなわち、車両５１１の正面から見て（図１６の左側の図において）、上方に第２撮像部１２が配置され、下方に第１撮像部１１が配置されている。
【００９０】
そして、第２撮像部１２は、第１撮像部１１より車両５１１から離れた位置（車両５１１の外側寄り）に配置され、第１撮像部１１は、第２撮像部１２より車両５１１に近い位置（車両５１１の内側寄り）に配置されている。第１撮像部１１と第２撮像部１２の中心を結ぶ線５５２が車体から監視する方向に飛び出すように（車両５１１の側方から飛び出すように）傾斜している。または、車両５１１の車体の取り付け面（側面）から飛び出すように傾斜している。ステレオカメラ５２１は車体とは平行にはならないし、路面５５１と垂直にもならない。
【００９１】
車両５１１の正面から見て（図１６の左側の図において）、第１撮像部１１と第２撮像部１２は、いずれも車両５１１の斜め下方向を指向している。すなわち、第１撮像部１１と第２撮像部１２は、その光軸１１oa，１２oaが基準面（路面５５１）と平行な方向より下を指向し、基準面と交差するように、光軸１１oa，１２oaを含む面内において傾斜される。つまり、第１撮像部１１と第２撮像部１２は、その中心を結ぶ線５５２が基準面に対して角度βとなるように傾斜される。換言すれば、第１撮像部１１と第２撮像部１２は、その光軸１１oa，１２oaが、基準面に垂直な線５５３に対して角度がβとなるように傾斜される。
【００９２】
また、車両５１１の上面から見て（図１６の右側の図において）、第１撮像部１１と第２撮像部１２の光軸１１oa，１２oaは、車両５１１の進行方向（図中下方向）と垂直な方向、すなわち車両５１１の側面と垂直な方向を指向している。
【００９３】
これに対して図１７Ａに示される例では、車両５１１の正面から見て（図１７Ａの左側の図において）、上方に第２撮像部１２が配置され、下方に第１撮像部１１が配置されている。そして第１撮像部１１と第２撮像部１２は、車両５１１から同じ距離に配置されている。すなわち、第１撮像部１１と第２撮像部１２は、その中心を結ぶ線５５２が車体と平行になるように（基準面である路面５５１に対して垂直になるように）配置されている。
【００９４】
しかし、第１撮像部１１と第２撮像部１２は、その光軸１１oa，１２oaが基準面と平行な方向より下を指向し、基準面と交差するように、光軸１１oa，１２oaを含む面内において傾斜される。
【００９５】
また、第１撮像部１１と第２撮像部１２の光軸１１oa，１２oaはいずれも車両５１１の上面から見て（図１７Ａの右側の図において）、車両５１１の進行方向（図中下方向）と垂直な方向、すなわち車両５１１の側面と垂直な方向を指向している。
【００９６】
図１７Ｂに示される例の車両５１１の正面から見た（図１７Ｂの左側の図における）構成は、図１６の左側の図に示された場合と同様である。繰り返しになるので、その説明は省略する。
【００９７】
図１７Ｂの右側の図における構成は、図１６の右側の図における構成と異なっている。すなわち、この例においては、第１撮像部１１と第２撮像部１２の光軸１１oa，１２oaはいずれも車両５１１の上面から見て、車両５１１の進行方向（図中下方向）と垂直な方向ではなく、若干進行方向を指向している。このように若干進行方向に指向させると、進行方向の範囲を測距するための用いられるステレオカメラ５２１（例えば図１３の範囲５２２Ｃを測距するステレオカメラ５２１Ｃ）と協働して測距動作を行うのに有利となる。
【００９８】
図１７Ｃに示される例の車両５１１の正面から見た（図１７Ｃの左側の図における）構成は、図１６の左側の図に示された場合と同様である。繰り返しになるので、その説明は省略する。
【００９９】
図１７Ｃの右側の図における構成は、図１６の右側の図における構成と異なっている。すなわち、この例においては、第２撮像部１２の光軸１２oaは、車両５１１の上面から見て（図１７Ｃの右側の図において）、車両５１１の進行方向（図中下方向）と垂直な方向、すなわち車両５１１の側面と垂直な方向を指向している。つまり、第２撮像部１２に関しては、図１６における場合と同様である。
【０１００】
これに対して第１撮像部１１については、その光軸１１oaは、車両５１１の進行方向（図中下方向）と垂直な方向ではなく、若干進行方向を指向している。つまり、第１撮像部１１に関しては、図１７Ｂにおける場合と同様である。従って、図中ハッチングを付して示されている比較的狭い範囲が、ステレオカメラシステムとして測距が可能な範囲となる。測距可能な範囲を広げる必要がある場合には、画角が１８０度以上のカメラを用いることができる。
【０１０１】
図１８Ａに示される例では、車両５１１の正面から見て（図１８Ａの左側の図において）、上方に第２撮像部１２が配置され、下方に第１撮像部１１が配置されている。そして第１撮像部１１と第２撮像部１２は、車両５１１から同じ距離に配置されている。すなわち、第１撮像部１１と第２撮像部１２の中心を結ぶ線５５２が車体と平行になるように（基準面である路面５５１に対して垂直になるように）配置されている。
【０１０２】
そして、第１撮像部１１は、車両５１１の正面から見て（図１８の左側の図において）、車両５１１の斜め下方向を指向している。すなわち、第１撮像部１１は、その光軸１１oaが基準面と平行な方向より下を指向し、基準面と交差するように、光軸１１oaを含む面内において傾斜される。第１撮像部１１は、その光軸１１oaが、基準面に垂直な線５５３に対して角度がβとなるように傾斜される。つまり、第１撮像部１１に関しては、図１６における場合と同様である。
【０１０３】
しかし、第２撮像部１２は、その光軸１２oaが基準面と平行な方向を指向するように配置されている。つまり、第１撮像部１１と第２撮像部１２のうち、一方（下方に配置されている第１撮像部１１）のみが、その光軸１１oaが基準面である路面５５１と平行な方向より下を指向し、路面５５１と交差するように配置されている。そして他方（上方に配置されている第２撮像部１２）は、その光軸１２oaが基準面と平行になるように配置されている。第１撮像部１１と第２撮像部１２をこのように取り付けても、図中ハッチングを付して示されている、車両５１１の近傍の範囲が測距可能な範囲となる。その範囲は、比較的狭い範囲となるが、測距可能な範囲を広げる必要がある場合には、画角が１８０度以上のカメラを用いることができる。
【０１０４】
図１８Ａに示される例の車両５１１の上面から見た（図１８Ａの右側の図における）構成は、図１６の右側の図に示された場合と同様である。すなわち、第１撮像部１１と第２撮像部１２の光軸１１oa，１２oaは、車両５１１の進行方向（図中下方向）と垂直な方向、すなわち車両５１１の側面と垂直な方向を指向している。
【０１０５】
図１８Ｂに示される例では、車両５１１の正面から見て（図１８Ｂの左側の図において）、上方に第２撮像部１２が配置され、下方に第１撮像部１１が配置されている。そして第２撮像部１２は第１撮像部１１より車両５１１から離れた位置に配置され、第１撮像部１１は第２撮像部１２より車両５１１に近い位置に配置されている。第１撮像部１１と第２撮像部１２の中心を結ぶ線５５２が車体から監視する方向に飛び出すように（車両５１１の側方から飛び出すように）傾斜している。つまり、第１撮像部１１と第２撮像部１２は、その中心を結ぶ線５５２が基準面に対して角度βとなるように傾斜される。
【０１０６】
そして、第１撮像部１１は、その光軸１１oaが基準面と平行な方向より下を指向し、基準面と交差するように、光軸１１oaを含む面内において傾斜される。つまり、第１撮像部１１は、その中心と第２撮像部１２の中心を結ぶ線５５２が基準面に対して角度βとなるように傾斜される。換言すれば、第１撮像部１１は、その光軸１１oaが、基準面に垂直な線５５３に対して角度がβとなるように傾斜される。
【０１０７】
しかし、第２撮像部１２は、その光軸１２oaが基準面と平行な方向を指向するように配置される。つまり、第１撮像部１１と第２撮像部１２のうち、一方（下方に配置されている第１撮像部１１）のみが、その光軸１１oaが基準面である路面５５１と平行な方向より下を指向し、路面５５１と交差するように配置されている。そして他方（上方に配置されている第２撮像部１２）は、その光軸１２oaが基準面と平行になるように配置されている。第１撮像部１１と第２撮像部１２をこのように取り付けても、図中ハッチングを付して示されている、車両５１１の近傍の範囲が、測距が可能な範囲となる。その範囲は、比較的狭い範囲となるが、測距可能な範囲を広げる必要がある場合には、画角が１８０度以上のカメラを用いることができる。
【０１０８】
図１８Ｂに示される例の車両５１１の上面から見た（図１８Ｂの右側の図における）構成は、図１６の右側の図に示された場合と同様である。すなわち、第１撮像部１１と第２撮像部１２の光軸１１oa，１２oaは、車両５１１の進行方向（図中下方向）と垂直な方向、すなわち車両５１１の側面と垂直な方向を指向している。
【０１０９】
なお本技術は、その本質を逸脱しない範囲において、種々の変形例が存在しうる。
【０１１０】
＜応用例＞
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車などのいずれかの種類の車両に搭載される装置として実現されてもよい。
【０１１１】
図１９は、本開示に係る技術が適用され得る車両制御システム２０００の概略的な構成の一例を示すブロック図である。車両制御システム２０００は、通信ネットワーク２０１０を介して接続された複数の電子制御ユニットを備える。図１９に示した例では、車両制御システム２０００は、駆動系制御ユニット２１００、ボディ系制御ユニット２２００、バッテリ制御ユニット２３００、車外情報検出装置２４００、車内情報検出装置２５００、及び統合制御ユニット２６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク２０１０は、例えば、ＣＡＮ（Controller  Area  Network）、ＬＩＮ（Local  Interconnect  Network）、ＬＡＮ（Local  Area  Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。
【０１１２】
各制御ユニットは、各種プログラムに従って演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク２０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図１９では、統合制御ユニット２６００の機能構成として、マイクロコンピュータ２６１０、汎用通信Ｉ／Ｆ２６２０、専用通信Ｉ／Ｆ２６３０、測位部２６４０、ビーコン受信部２６５０、車内機器Ｉ／Ｆ２６６０、音声画像出力部２６７０、車載ネットワークＩ／Ｆ２６８０及び記憶部２６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。
【０１１３】
駆動系制御ユニット２１００は、各種プログラムに従って車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット２１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット２１００は、ＡＢＳ（Antilock  Brake  System）又はＥＳＣ（Electronic  Stability  Control）等の制御装置としての機能を有してもよい。
【０１１４】
駆動系制御ユニット２１００には、車両状態検出部２１１０が接続される。車両状態検出部２１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット２１００は、車両状態検出部２１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
【０１１５】
ボディ系制御ユニット２２００は、各種プログラムに従って車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット２２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット２２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット２２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
【０１１６】
バッテリ制御ユニット２３００は、各種プログラムに従って駆動用モータの電力供給源である二次電池２３１０を制御する。例えば、バッテリ制御ユニット２３００には、二次電池２３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット２３００は、これらの信号を用いて演算処理を行い、二次電池２３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
【０１１７】
車外情報検出装置２４００は、車両制御システム２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出装置２４００には、撮像部２４１０及び車外情報検出部２４２０のうちの少なくとも一方が接続される。撮像部２４１０には、ＴｏＦ（Time  Of  Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部２４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム２０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサが含まれる。
【０１１８】
環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light  Detection  and  Ranging、Laser  Imaging  Detection  and  Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部２４１０及び車外情報検出部２４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
【０１１９】
ここで、図２０は、撮像部２４１０および車外情報検出部２４２０の設置位置の例を示す。撮像部２９１０，２９１２，２９１４，２９１６，２９１８は、例えば、車両２９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部２９１０及び車室内のフロントガラスの上部に備えられる撮像部２９１８は、主として車両２９００の前方の画像を取得する。サイドミラーに備えられる撮像部２９１２，２９１４は、主として車両２９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部２９１６は、主として車両２９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部２９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
【０１２０】
なお、図２０には、それぞれの撮像部２９１０，２９１２，２９１４，２９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部２９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部２９１２，２９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部２９１６の撮像範囲を示す。例えば、撮像部２９１０，２９１２，２９１４，２９１６で撮像された画像データが重ね合わせられることにより、車両２９００を上方から見た俯瞰画像が得られる。
【０１２１】
車両２９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部２９２０，２９２２，２９２４，２９２６，２９２８，２９３０は、例えば超音波センサ又はレーダ装置であってよい。車両２９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部２９２０，２９２６，２９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部２９２０〜２９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。
【０１２２】
図１９に戻って説明を続ける。車外情報検出装置２４００は、撮像部２４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出装置２４００は、接続されている車外情報検出部２４２０から検出情報を受信する。車外情報検出部２４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出装置２４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出装置２４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出装置２４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出装置２４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。
【０１２３】
また、車外情報検出装置２４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出装置２４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部２４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出装置２４００は、異なる撮像部２４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。
【０１２４】
車内情報検出装置２５００は、車内の情報を検出する。車内情報検出装置２５００には、例えば、運転者の状態を検出する運転者状態検出部２５１０が接続される。運転者状態検出部２５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出装置２５００は、運転者状態検出部２５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出装置２５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
【０１２５】
統合制御ユニット２６００は、各種プログラムに従って車両制御システム２０００内の動作全般を制御する。統合制御ユニット２６００には、入力部２８００が接続されている。入力部２８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。入力部２８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム２０００の操作に対応した携帯電話又はＰＤＡ（Personal  Digital  Assistant）等の外部接続機器であってもよい。入力部２８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。さらに、入力部２８００は、例えば、上記の入力部２８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット２６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部２８００を操作することにより、車両制御システム２０００に対して各種のデータを入力したり処理動作を指示したりする。
【０１２６】
記憶部２６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＡＭ（Random  Access  Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＯＭ（Read  Only  Memory）を含んでいてもよい。また、記憶部２６９０は、ＨＤＤ（Hard  Disc  Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。
【０１２７】
汎用通信Ｉ／Ｆ２６２０は、外部環境２７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ２６２０は、ＧＳＭ（登録商標）（Global  System  of  Mobile  communications）、ＷｉＭＡＸ、ＬＴＥ（Long  Term  Evolution）若しくはＬＴＥ−Ａ（LTE−Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ−Ｆｉ（登録商標）ともいう）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ２６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ２６２０は、例えばＰ２Ｐ（Peer  To  Peer）技術を用いて、車両の近傍に存在する端末（例えば、歩行者若しくは店舗の端末、又はＭＴＣ（Machine  Type  Communication）端末）と接続してもよい。
【０１２８】
専用通信Ｉ／Ｆ２６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ２６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless  Access  in  Vehicle  Environment）、又はＤＳＲＣ（Dedicated  Short  Range  Communications）といった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ２６３０は、典型的には、車車間（Vehicle  to  Vehicle）通信、路車間（Vehicle  to  Infrastructure）通信及び歩車間（Vehicle  to  Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。
【０１２９】
測位部２６４０は、例えば、ＧＮＳＳ（Global  Navigation  Satellite  System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global  Positioning  System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部２６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。
【０１３０】
ビーコン受信部２６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部２６５０の機能は、上述した専用通信Ｉ／Ｆ２６３０に含まれてもよい。
【０１３１】
車内機器Ｉ／Ｆ２６６０は、マイクロコンピュータ２６１０と車内に存在する様々な機器との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ２６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near  Field  Communication）又はＷＵＳＢ（Wireless  USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ２６６０は、図示しない接続端子（及び、必要であればケーブル）を介して有線接続を確立してもよい。車内機器Ｉ／Ｆ２６６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器との間で、制御信号又はデータ信号を交換する。
【０１３２】
車載ネットワークＩ／Ｆ２６８０は、マイクロコンピュータ２６１０と通信ネットワーク２０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ２６８０は、通信ネットワーク２０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。
【０１３３】
統合制御ユニット２６００のマイクロコンピュータ２６１０は、汎用通信Ｉ／Ｆ２６２０、専用通信Ｉ／Ｆ２６３０、測位部２６４０、ビーコン受信部２６５０、車内機器Ｉ／Ｆ２６６０及び車載ネットワークＩ／Ｆ２６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムに従って、車両制御システム２０００を制御する。例えば、マイクロコンピュータ２６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット２１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ２６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、自動運転等を目的とした協調制御を行ってもよい。
【０１３４】
マイクロコンピュータ２６１０は、汎用通信Ｉ／Ｆ２６２０、専用通信Ｉ／Ｆ２６３０、測位部２６４０、ビーコン受信部２６５０、車内機器Ｉ／Ｆ２６６０及び車載ネットワークＩ／Ｆ２６８０のうちの少なくとも一つを介して取得される情報に基づき、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ２６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
【０１３５】
音声画像出力部２６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１９の例では、出力装置として、オーディオスピーカ２７１０、表示部２７２０及びインストルメントパネル２７３０が例示されている。表示部２７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部２７２０は、ＡＲ（Augmented  Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ２６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
【０１３６】
なお、図１９に示した例において、通信ネットワーク２０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム２０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク２０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク２０１０を介して相互に検出情報を送受信してもよい。
【０１３７】
以上説明した車両制御システム２０００において、図４に示された画像処理装置１０は、図１９に示した応用例の統合制御ユニット２６００に適用することができる。
【０１３８】
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１３９】
本技術は以下のような構成も取ることができる。
（１）
第１の画像を取得し、前記第１の画像の撮像時の視野角を分割した各投影角に従い、前記第１の画像を仮想球面上の複数の平面に投影することによって前記複数の基準平面画像を生成する第１の生成部と、
撮像範囲が前記第１の画像の撮像範囲と重複した領域を含む第２の画像を取得し、前記第２の画像の撮像時の視野角を分割した各投影角に従い、前記第２の画像を仮想球面上の複数の平面に投影することによって前記複数の参照平面画像を生成する第２の生成部と、
生成された前記複数の基準平面画像と、生成された前記複数の参照平面画像との対応する画像対を用いたステレオ画像処理を行うことにより、前記基準画像上の物体までの距離を表す距離情報を生成する複数のステレオ画像処理部と
を備える画像処理装置。
（２）
前記第１の画像または前記第２の画像の少なくとも一方は、広角カメラにより撮像された画像である
前記（１）に記載の画像処理装置。
（３）
前記第２の生成部は、前記第１の生成部によって生成される前記複数の基準平面画像に対してマージンが設けられた前記複数の参照平面画像を生成する
前記（１）または（２）に記載の画像処理装置。
（４）
前記マージンの幅は、前記第１の画像を撮像する第１の撮像部と、前記第２の画像を撮像する第２の撮像部との基線長に基づいて決定される
前記（３）に記載の画像処理装置。
（５）
前記複数の基準平面画像および前記複数の参照平面画像の配置方向は、前記第１の画像を撮像する第１の撮像部と前記第２の画像を撮像する第２の撮像部との基線長の方向と直交する
前記（１）から（４）のいずれかに記載の画像処理装置。
（６）
前記複数の基準平面画像および前記複数の参照平面画像の配置方向は、前記ステレオ画像処理における対応点の探索方向と直交する
前記（１）から（５）のいずれかに記載の画像処理装置。
（７）
生成された前記複数の距離情報を統合する距離情報統合部をさらに備える
前記（１）から（６）のいずれかに記載の画像処理装置。
（８）
前記距離情報統合部は、生成された前記複数の距離情報の座標系を変換する
前記（７）に記載の画像処理装置。
（９）
前記第１の画像を撮像する第１の撮像部と、
前記第２の画像を撮像する第２の撮像部とをさらに備える
前記（１）から（８）のいずれかに記載の画像処理装置。
（１０）
前記第１の撮像部または前記第２の撮像部の少なくとも一方は、広角カメラから成る
前記（９）に記載の画像処理装置。
（１１）
前記第１の撮像部と前記第２の撮像部は、水平方向に並んで配置されている
前記（９）または（１０）に記載の画像処理装置。
（１２）
前記第１の撮像部と前記第２の撮像部は、垂直方向に並んで配置されている
前記（９）または（１０）に記載の画像処理装置。
（１３）
画像処理装置の画像処理方法において、
前記画像処理装置による、
第１の画像を取得し、前記第１の画像の撮像時の視野角を分割した各投影角に従い、前記第１の画像を仮想球面上の複数の平面に投影することによって前記複数の基準平面画像を生成する第１の生成ステップと、
撮像範囲が前記第１の画像の撮像範囲と重複した領域を含む第２の画像を取得し、前記第２の画像の撮像時の視野角を分割した各投影角に従い、前記第２の画像を仮想球面上の複数の平面に投影することによって前記複数の参照平面画像を生成する第２の生成ステップと、
生成された前記複数の基準平面画像と、生成された前記複数の参照平面画像との対応する画像対を用いたステレオ画像処理を行うことにより、前記基準画像上の物体までの距離を表す距離情報を生成する複数のステレオ画像処理ステップと
を含む画像処理方法。
（１４）
第１の画像を撮像する第１の撮像部と、
撮像範囲が前記第１の画像の撮像範囲と重複した領域を含む第２の画像を撮像する第２の撮像部と、
前記第１の画像を取得し、前記第１の画像の撮像時の視野角を分割した各投影角に従い、前記第１の画像を仮想球面上の複数の平面に投影することによって前記複数の基準平面画像を生成する第１の生成部と、
前記第２の画像を取得し、前記第２の画像の撮像時の視野角を分割した各投影角に従い、前記第２の画像を仮想球面上の複数の平面に投影することによって前記複数の参照平面画像を生成する第２の生成部と、
生成された前記複数の基準平面画像と、生成された前記複数の参照平面画像との対応する画像対を用いたステレオ画像処理を行うことにより、前記基準画像上の物体までの距離を表す距離情報を生成する複数のステレオ画像処理部と
を備える車両。
【符号の説明】
【０１４０】
１０  画像処理装置，  １１  第１撮像部，  １２  第２撮像部，  １３  第１補正部，  １４  第２補正部，  １５  第１平面画像対処理部，  １６  第２平面画像対処理部，  １７  第３平面画像対処理部，  １８  距離情報統合部，  １９  距離情報解析部，  １００  コンピュータ，  １０１  CPU
【図１】
2017220051.tif 000003
【図２】
2017220051.tif 000004
【図３】
2017220051.tif 000005
【図４】
2017220051.tif 000006
【図５】
2017220051.tif 000007
【図６】
2017220051.tif 000008
【図７】
2017220051.tif 000009
【図８】
2017220051.tif 000010
【図９】
2017220051.tif 000011
【図１０】
2017220051.tif 000012
【図１１】
2017220051.tif 000013
【図１２】
2017220051.tif 000014
【図１３】
2017220051.tif 000015
【図１４】
2017220051.tif 000016
【図１５】
2017220051.tif 000017
【図１６】
2017220051.tif 000018
【図１７】
2017220051.tif 000019
【図１８】
2017220051.tif 000020
【図１９】
2017220051.tif 000021
【図２０】
2017220051.tif 000022