(57)【要約】  本技術は、より高い精度でセンサ間の相対位置関係を得ることができるようにする信号処理装置および信号処理方法に関する。信号処理装置の位置関係推定部は、第１のセンサから得られる第１の座標系における複数の平面と第２のセンサから得られる第２の座標系における複数の平面との対応関係に基づいて、第１の座標系と第２の座標系の位置関係を推定する。本技術は、例えば、空間解像度が大きく異なる第１のセンサと第２のセンサの位置関係を推定する信号処理装置等に適用できる。
2017159382.tif 000002
【特許請求の範囲】
【請求項１】
第１のセンサから得られる第１の座標系における複数の平面と第２のセンサから得られる第２の座標系における複数の平面との対応関係に基づいて、前記第１の座標系と前記第２の座標系の位置関係を推定する位置関係推定部を備える
信号処理装置。
【請求項２】
前記第１のセンサから得られる前記第１の座標系における複数の平面と前記第２のセンサから得られる前記第２の座標系における複数の平面との前記対応関係を検出する平面対応検出部をさらに備える
請求項１に記載の信号処理装置。
【請求項３】
前記平面対応検出部は、前記第１の座標系と前記第２の座標系の事前の位置関係情報である事前配置情報を用いて、前記第１の座標系における複数の平面と前記第２の座標系における複数の平面との前記対応関係を検出する
請求項２に記載の信号処理装置。
【請求項４】
前記平面対応検出部は、前記事前配置情報を用いて前記第１の座標系における複数の平面を前記第２の座標系に変換した前記複数の変換平面と前記第２の座標系における複数の平面との前記対応関係を検出する
請求項３に記載の信号処理装置。
【請求項５】
前記平面対応検出部は、平面の法線どうしの内積の絶対値と平面上の点群の重心どうしの距離の絶対値とを用いた演算式で表されるコスト関数に基づいて、前記第１の座標系における複数の平面と前記第２の座標系における複数の平面との前記対応関係を検出する
請求項３に記載の信号処理装置。
【請求項６】
前記位置関係推定部は、前記第１の座標系と前記第２の座標系の位置関係として、回転行列と並進ベクトルを推定する
請求項１に記載の信号処理装置。
【請求項７】
前記位置関係推定部は、前記第１の座標系上の平面の法線ベクトルに回転行列を乗算したベクトルと前記第２の座標系上の平面の法線ベクトルとの内積を最大化する回転行列を、前記回転行列として推定する
請求項６に記載の信号処理装置。
【請求項８】
前記位置関係推定部は、ピーク法線ベクトルを、前記第１の座標系上の平面の法線ベクトルまたは前記第２の座標系上の平面の法線ベクトルとして用いる
請求項７に記載の信号処理装置。
【請求項９】
平面を表す平面方程式は、法線ベクトルと係数部で表され、
前記位置関係推定部は、前記第１の座標系上の平面の前記平面方程式を前記第２の座標系上に変換した変換平面方程式の係数部と、前記第２の座標系上の平面の前記平面方程式の係数部が等しいとした式を解くことにより、前記並進ベクトルを推定する
請求項６に記載の信号処理装置。
【請求項１０】
前記位置関係推定部は、前記第１の座標系上の３平面の交点と前記第２の座標系上の３平面の交点とが共通の点であるとして、前記並進ベクトルを推定する
請求項６に記載の信号処理装置。
【請求項１１】
前記第１のセンサから得られる第１の座標系の３次元座標値から、前記第１の座標系における複数の平面を検出する第１平面検出部と、
前記第２のセンサから得られる第２の座標系の３次元座標値から、前記第２の座標系における複数の平面を検出する第２平面検出部と
をさらに備える
請求項１に記載の信号処理装置。
【請求項１２】
前記第１のセンサが出力する第１のセンサ信号から、前記第１の座標系の３次元座標値を算出する第１座標値算出部と、
前記第２のセンサが出力する第２のセンサ信号から、前記第２の座標系の３次元座標値を算出する第２座標値算出部と
をさらに備える
請求項１１に記載の信号処理装置。
【請求項１３】
前記第１のセンサは、ステレオカメラであり、
前記第１のセンサ信号は、前記ステレオカメラが出力する基準カメラ画像と参照カメラ画像の２枚の画像の画像信号である
請求項１２に記載の信号処理装置。
【請求項１４】
前記第２のセンサは、レーザレーダであり、
前記第２のセンサ信号は、前記レーザレーダが照射したレーザ光の回転角度と、前記レーザ光が所定の物体に反射して返ってきた反射光を受光するまでの時間である
請求項１２に記載の信号処理装置。
【請求項１５】
前記第１平面検出部と前記第２平面検出部は、１フレームに１つの平面を検出する処理を複数回行うことで、前記複数の平面を検出する
請求項１１に記載の信号処理装置。
【請求項１６】
１つの平面を検出する処理ごとに平面の向きが変更される
請求項１５に記載の信号処理装置。
【請求項１７】
前記第１平面検出部と前記第２平面検出部は、１フレームに複数の平面を検出する処理を行うことで、前記複数の平面を検出する
請求項１１に記載の信号処理装置。
【請求項１８】
信号処理装置が、
第１のセンサから得られる第１の座標系における複数の平面と第２のセンサから得られる第２の座標系における複数の平面との対応関係に基づいて、前記第１の座標系と前記第２の座標系の位置関係を推定する
ステップを含む信号処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、信号処理装置および信号処理方法に関し、特に、より高い精度でセンサ間の相対位置関係を得ることができるようにした信号処理装置および信号処理方法に関する。
【背景技術】
【０００２】
近年、自動車等の車両において、前方の車や歩行者を検知して、衝突を回避する衝突回避システムの導入が進んでいる。【０００３】
前方の車や歩行者などの物体の検知には、ステレオカメラで撮像された画像の画像認識や、ミリ波レーダやレーザレーダなどによるレーダ情報が用いられる。また、センサフュージョンと呼ばれる、ステレオカメラとレーザレーダの両方を用いた物体検知システムの開発も進んでいる。【０００４】
センサフュージョンでは、ステレオカメラで検出された物体と、レーザレーダで検出された物体とのマッチングを取るため、ステレオカメラの座標系とレーザレーダの座標系を校正する必要がある。例えば、特許文献１では、レーザ光を吸収する素材と反射する素材を交互に格子状に配したキャリブレーション専用のボードを用いて、ボード上の各格子の角の位置をそれぞれのセンサで検出し、角の点座標の対応関係から、両センサ間の並進ベクトルと回転行列を推定する方法が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−２１８７３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、各センサで検出された点と点の対応関係を用いたセンサ間のキャリブレーション情報の推定では、各センサの空間解像度が大きく異なる場合、推定精度が粗くなることがある。【０００７】
本技術は、このような状況に鑑みてなされたものであり、より高い精度でセンサ間の相対位置関係を得ることができるようにするものである。
【課題を解決するための手段】
【０００８】
本技術の一側面の信号処理装置は、第１のセンサから得られる第１の座標系における複数の平面と第２のセンサから得られる第２の座標系における複数の平面との対応関係に基づいて、前記第１の座標系と前記第２の座標系の位置関係を推定する位置関係推定部とを備える。【０００９】
本技術の一側面の信号処理方法は、信号処理装置が、第１のセンサから得られる第１の座標系における複数の平面と第２のセンサから得られる第２の座標系における複数の平面との対応関係に基づいて、前記第１の座標系と前記第２の座標系の位置関係を推定するステップを含む。【００１０】
本技術の一側面においては、第１のセンサから得られる第１の座標系における複数の平面と第２のセンサから得られる第２の座標系における複数の平面との対応関係に基づいて、前記第１の座標系と前記第２の座標系の位置関係が推定される。【００１１】
信号処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。【００１２】
また、信号処理装置は、コンピュータにプログラムを実行させることにより実現することができる。信号処理装置としてコンピュータを機能させるためのプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
【発明の効果】
【００１３】
本技術の一側面によれば、より高い精度でセンサ間の相対位置関係を得ることができる。【００１４】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１５】
【図１】キャリブレーション処理によって求めるパラメータを説明する図である。
【図２】点と点の対応関係を用いたキャリブレーション方法を説明する図である。
【図３】点と点の対応関係を用いたキャリブレーション方法を説明する図である。
【図４】本技術を適用した信号処理システムの第１の実施の形態の構成例を示すブロック図である。
【図５】ステレオカメラとレーザレーダの測定対象を説明する図である。
【図６】平面検出部が行う平面検出処理について説明する図である。
【図７】平面対応検出部が行う対応平面検出処理の概念図である。
【図８】並進ベクトルTを求める第２の算出方法を説明する図である。
【図９】第１の実施の形態によるキャリブレーション処理を説明するフローチャートである。
【図１０】本技術を適用した信号処理システムの第２の実施の形態の構成例を示すブロック図である。
【図１１】ピーク法線ベクトルを説明する図である。
【図１２】ピーク対応検出部の処理を説明する図である。
【図１３】第２の実施の形態によるキャリブレーション処理を説明するフローチャートである。
【図１４】第２の実施の形態によるキャリブレーション処理を説明するフローチャートである。
【図１５】複数の平面の検出方法を説明する図である。
【図１６】信号処理システムを車両に搭載した場合のキャリブレーション処理を説明する図である。
【図１７】運用時キャリブレーション処理を説明するフローチャートである。
【図１８】本技術のキャリブレーション処理の効果を説明する図である。
【図１９】本技術のキャリブレーション処理の効果を説明する図である。
【図２０】本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【図２１】車両制御システムの概略的な構成の一例を示すブロック図である。
【図２２】車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
【発明を実施するための形態】
【００１６】
以下、本技術を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．処理概要
２．信号処理システムの第１の実施の形態
３．信号処理システムの第２の実施の形態
４．検出対象となる複数の平面について
５．車両搭載例
６．コンピュータ構成例
７．車両制御システム構成例
【００１７】
＜１．処理概要＞
初めに、図１を参照して、後述する信号処理装置が実行するキャリブレーション処理によって求められるパラメータについて説明する。
【００１８】
例えば、第１のセンサであるセンサAと、第２のセンサであるセンサBの２種類のセンサが、検出対象空間内に存在する同一のオブジェクト１を検出する。
【００１９】
センサAは、センサA自身の３次元座標系（センサA座標系）に基づいて、オブジェクト１の位置XA=[xA yA zA]’を検出する。
【００２０】
センサBは、センサB自身の３次元座標系（センサB座標系）に基づいて、オブジェクト１の位置XB=[xB yB zB]’を検出する。
【００２１】
ここで、センサA座標系及びセンサB座標系は、いずれも、水平方向（左右方向）をｘ軸、垂直方向（上下方向）をｙ軸、奥行き方向（前後方向）をｚ軸とする座標系である。オブジェクト１の位置XA=[xA yA zA]’及びXB=[xB yB zB]’の「’」は、行列の転置を表す。
【００２２】
センサAとセンサBは、同一のオブジェクト１を検出しているので、例えば、センサB座標系上のオブジェクト１の位置XB=[xB yB zB]’を、センサA座標系上の位置XA=[xA yA zA]’に変換する回転行列Rと、並進ベクトルTが存在する。
【００２３】
換言すれば、回転行列Rと並進ベクトルTを用いて、次式（１）で表される、センサA座標系とセンサB座標系との対応関係を示す関係式が成り立つ。
XA = R XB + T      ・・・・・（１）
回転行列Rは、３行３列（3x3）の行列で表され、並進ベクトルTは、３行１列（3x1）の列ベクトルで表される。
【００２４】
後述する信号処理装置は、センサAとセンサBのそれぞれのセンサが持つ座標系の相対位置関係として、式（１）の回転行列Rと並進ベクトルTを推定（算出）するキャリブレーション処理を実行する。
【００２５】
センサAとセンサBのそれぞれのセンサが持つ座標系の相対位置関係を推定するキャリブレーション方法には、例えば、センサAとセンサBの各センサで検出された点と点の対応関係を用いたキャリブレーション方法がある。
【００２６】
図２及び図３を参照して、各センサで検出された点と点の対応関係を用いたキャリブレーション方法について説明する。
【００２７】
例えば、センサAがステレオカメラであり、センサBがレーザレーダであるとして、ステレオカメラとレーザレーダが、図２に示されるように、図１に示したオブジェクト１の所定の面の格子模様の交点２の座標を検出する場合を想定する。
【００２８】
検出する３次元位置座標の解像度（空間解像度）について言えば、一般に、ステレオカメラの空間解像度は高く、レーザレーダの空間解像度は低い。
【００２９】
空間解像度の高いステレオカメラでは、図３のAに示されるように、サンプリング点１１を密に設定することができるので、密なサンプリング点１１から推定される交点２の推定位置座標１２は、本来の交点２の位置とほぼ一致する。
【００３０】
これに対して、空間解像度の低いレーザレーダでは、図３のBに示されるように、サンプリング点１３の間隔が広くなるので、疎なサンプリング点１３から推定される交点２の推定位置座標１４と本来の交点２の位置との誤差は、大きくなる。
【００３１】
従って、センサどうしの空間解像度が大きく異なる場合、各センサで検出された点と点の対応関係を用いたキャリブレーション方法では、推定精度が粗くなることがある。
【００３２】
そこで、後述する信号処理装置では、各センサで検出された点と点の対応関係を用いるのではなく、各センサで検出された平面と平面の対応関係を用いることで、より高い精度で異種センサ間のキャリブレーションを実現する。
【００３３】
＜２．信号処理システムの第１の実施の形態＞
＜ブロック図＞
図４は、本技術を適用した信号処理システムの第１の実施の形態の構成例を示すブロック図である。
【００３４】
図４の信号処理システム２１は、ステレオカメラ４１、レーザレーダ４２、及び、信号処理装置４３を有する。
【００３５】
信号処理システム２１は、ステレオカメラ４１とレーザレーダ４２のそれぞれのセンサが持つ座標系の相対位置関係を表す式（１）の回転行列Rと並進ベクトルTを推定するキャリブレーション処理を実行する。信号処理システム２１のステレオカメラ４１は、例えば、図１におけるセンサAに対応し、レーザレーダ４２は、図１におけるセンサBに対応する。
【００３６】
なお、説明を簡単にするため、ステレオカメラ４１の撮像範囲と、レーザレーダ４２のレーザ光の照射範囲は、同じになるようにステレオカメラ４１とレーザレーダ４２が設置されているものとする。以下では、ステレオカメラ４１の撮像範囲と、レーザレーダ４２のレーザ光の照射範囲のことを、視野範囲とも記述する。
【００３７】
ステレオカメラ４１は、基準カメラ４１Rと参照カメラ４１Lで構成される。基準カメラ４１Rと参照カメラ４１Lは、同一の高さで、横方向に所定の間隔を空けて配置されており、物体検出方向の所定範囲（視野範囲）の画像を撮像する。基準カメラ４１Rが撮像した画像（以下、基準カメラ画像ともいう。）と、参照カメラ４１Lが撮像した画像（以下、参照カメラ画像ともいう。）は、その配置位置の違いから、視差（横方向のずれ）を有する画像となっている。
【００３８】
ステレオカメラ４１は、基準カメラ画像と参照カメラ画像を、センサ信号として信号処理装置４３のマッチング処理部６１に出力する。
【００３９】
レーザレーダ４２は、レーザ光（赤外光）を物体検出方向の所定範囲（視野範囲）に照射し、物体に当たって返ってきた反射光を受光して、投光から受光までのToF時間（ToF:Time of Flight）を計測する。レーザレーダ４２は、照射レーザ光のY軸周りの回転角θ及びX軸周りの回転角φとToF時間を、センサ信号として３次元デプス算出部６３に出力する。本実施の形態では、基準カメラ４１Rと参照カメラ４１Lが出力する画像の１フレーム（１枚）に対応して、レーザレーダ４２が視野範囲を１走査して得られるセンサ信号の単位を１フレームと呼ぶ。また、照射レーザ光のY軸周りの回転角θ及びX軸周りの回転角φを、以下、照射レーザ光の回転角（θ,φ）と記述する。
【００４０】
ステレオカメラ４１及びレーザレーダ４２それぞれにおいて、センサ単体のキャリブレーションは、既存の手法を用いて既に行われている。これにより、ステレオカメラ４１からマッチング処理部６１に出力される基準カメラ画像と参照カメラ画像は、レンズ歪補正やステレオカメラ間のエピポーラ線の平行化補正が既に行われた画像となっている。また、ステレオカメラ４１及びレーザレーダ４２の両センサのスケーリングについても、キャリブレーションによって、実世界のスケーリングと一致するように補正されている。
【００４１】
本実施の形態では、ステレオカメラ４１とレーザレーダ４２の両方の視野範囲には、例えば、図５に示されるような、３以上の平面を有する既知の構造が含まれる場合について説明する。
【００４２】
図４に戻り、信号処理装置４３は、マッチング処理部６１、３次元デプス算出部６２、３次元デプス算出部６３、平面検出部６４、平面検出部６５、平面対応検出部６６、記憶部６７、及び、位置関係推定部６８を有する。
【００４３】
マッチング処理部６１は、ステレオカメラ４１から供給される基準カメラ画像と参照カメラ画像に基づいて、基準カメラ画像と参照カメラ画像の画素のマッチング処理を行う。具体的には、マッチング処理部６１は、基準カメラ画像の各画素に対して、基準カメラ画像の画素に対応する対応画素を参照カメラ画像から探索する。
【００４４】
なお、基準カメラ画像と参照カメラ画像の対応する画素を検出するマッチング処理は、勾配法やブロックマッチング法など、公知の手法を用いて行うことができる。
【００４５】
そして、マッチング処理部６１は、基準カメラ画像と参照カメラ画像の対応する画素どうしの画素位置のずれ量を表す視差量を算出する。さらに、マッチング処理部６１は、基準カメラ画像の各画素について視差量を算出した視差マップを生成し、３次元デプス算出部６２に出力する。なお、基準カメラ４１Rと参照カメラ４１Lの位置関係は、正確にキャリブレーションされているため、参照カメラ画像の画素に対応する対応画素を基準カメラ画像から探索して、視差マップを生成することもできる。
【００４６】
３次元デプス算出部６２は、マッチング処理部６１から供給される視差マップに基づいて、ステレオカメラ４１の視野範囲の各点の３次元座標値（xA, yA, zA）を算出する。ここで、算出される各点の３次元座標値（xA, yA, zA）は、以下の式（２）乃至（４）で算出される。
xA = (ui-u0)* zA /f          ・・・・・（２）
yA = (vi-v0)* zA /f          ・・・・・（３）
zA = b f/d                  ・・・・・（４）
【００４７】
ここで、dは、基準カメラ画像の所定画素の視差量、bは、基準カメラ４１Rと参照カメラ４１Lのカメラ間距離、fは、基準カメラ４１Rの焦点距離、(ui,vi)は、基準カメラ画像における画素位置、(u0,v0)は、基準カメラ画像における光学中心の画素位置を表す。したがって、各点の３次元座標値（xA, yA, zA）は、基準カメラのカメラ座標系における３次元座標値となる。
【００４８】
もう一方の３次元デプス算出部６３は、レーザレーダ４２から供給される、照射レーザ光の回転角（θ,φ）とToF時間とに基づいて、レーザレーダ４２の視野範囲の各点の３次元座標値（xB, yB, zB）を算出する。ここで、算出される視野範囲の各点の３次元座標値（xB, yB, zB）は、照射レーザ光の回転角（θ,φ）とToF時間とが供給されたサンプリング点に対応し、レーダ座標系における３次元座標値となる。
【００４９】
平面検出部６４は、３次元デプス算出部６２から供給された視野範囲の各点の３次元座標値（xA, yA, zA）を用いて、カメラ座標系における複数の平面を検出する。
【００５０】
平面検出部６５も同様に、３次元デプス算出部６３から供給された視野範囲の各点の３次元座標値（xB, yB, zB）を用いて、レーダ座標系における複数の平面を検出する。
【００５１】
平面検出部６４と平面検出部６５は、カメラ座標系において平面検出を行うか、または、レーダ座標系において平面検出を行うかが異なるだけであり、平面検出処理自体は同じである。
【００５２】
＜平面検出処理＞
図６を参照して、平面検出部６４が行う平面検出処理について説明する。
【００５３】
平面検出部６４には、ステレオカメラ４１の視野範囲の各点の３次元座標値（xA, yA, zA）が、基準カメラ画像の各画素位置（xA, yA）に奥行き方向の座標値 zAを格納した３次元デプス情報として、３次元デプス算出部６２から供給される。
【００５４】
平面検出部６４は、ステレオカメラ４１の視野範囲に対して複数の基準点を予め設定し、設定された各基準点の周辺領域の３次元座標値（xA, yA, zA）を用いて、基準点周辺の点群にフィッティングする平面を算出する平面フィッティングを行う。平面フィッティングの方法には、例えば、最小二乗法やRANSAC等を用いることができる。
【００５５】
図６の例では、ステレオカメラ４１の視野範囲に対して、４ｘ４＝１６の基準点が設定されており、１６個の平面が算出される。平面検出部６４は、算出された１６個の平面を平面のリストとして記憶する。
【００５６】
あるいは、平面検出部６４は、例えば３次元ハフ変換などを用いて、視野範囲の各点の３次元座標値（xA, yA, zA）から、複数の平面を算出してもよい。したがって、３次元デプス算出部６２から供給された視野範囲の各点の３次元座標値（xA, yA, zA）から、１以上の平面を検出する方法は、限定されない。
【００５７】
次に、平面検出部６４は、各基準点に対して算出された平面に対して、平面の信頼度を算出し、信頼度の低い平面を平面のリストから削除する。平面らしさを表す平面の信頼度は、算出された平面上に存在する点の数や面積に基づいて算出することができる。具体的には、ある平面において、平面上に存在する点の数が所定の閾値（第１の閾値）以下であり、かつ、平面上に存在する点で囲まれる最大領域の面積が所定の閾値（第２の閾値）以下である場合に、平面検出部６４は、平面としての信頼度は低いと判定して、その平面を平面のリストから削除する。なお、平面の信頼度は、平面上に存在する点の数または面積のいずれか一方のみを用いて判定してもよい。
【００５８】
次に、平面検出部６４は、信頼度の低い平面を削除した後の複数の平面に対して、平面どうしの類似度を算出し、類似していると判定された２つの平面の一方を平面のリストから削除することにより、類似している複数の平面を１つの平面に結合する。
【００５９】
平面どうしの類似度としては、２つの平面の法線どうしの内積の絶対値や、一方の平面の基準点から他方の平面までの距離の平均値（平均距離）を用いることができる。
【００６０】
図６には、類似度の算出に用いられる２つの平面の法線や基準点から平面までの距離の概念図が示されている。
【００６１】
具体的には、図６には、平面ｉの基準点ｐiにおける法線ベクトルNiと、平面ｊの基準点ｐjにおける法線ベクトルNjが示されており、法線ベクトルNiと法線ベクトルNjの内積の絶対値が所定の閾値（第３の閾値）以上である場合に、平面ｉと平面ｊは類似している（同一の平面である）と判定することができる。
【００６２】
また、平面ｉの基準点ｐiから平面ｊまでの距離ｄijと、平面ｊの基準点ｐjから平面ｉまでの距離ｄjiが示されており、距離ｄijと距離ｄjiの平均値が所定の閾値（第４の閾値）以下である場合に、平面ｉと平面ｊは類似している（同一の平面である）と判定することができる。
【００６３】
類似していると判定された２つの平面の一方を平面のリストから削除した結果、平面のリストに最終的に残った複数の平面が、平面検出処理の処理結果として、平面検出部６４から平面対応検出部６６に出力される。
【００６４】
以上のように、平面検出部６４は、複数の基準点に対して平面フィッティングを行うことにより平面の候補となる複数の平面候補を算出し、算出された複数の平面候補のなかのいくつかを信頼度に基づいて抽出し、抽出された平面候補どうしの類似度を算出することで、ステレオカメラ４１の視野範囲に存在するカメラ座標系上の複数の平面を検出する。平面検出部６４は、検出された複数の平面のリストを、平面対応検出部６６に出力する。
【００６５】
平面対応検出部６６に出力されるカメラ座標系上の各平面は、以下の式（５）で表される。
NAi’XA+dAi=0            i=1,2,3,4...
・・・・・（５）
【００６６】
式（５）において、ｉは平面対応検出部６６に出力されるカメラ座標系上の各平面を識別する変数を表し、NAiは、NAi=[nxAi nyAi nzAi]’で表される平面ｉの法線ベクトルであり、dAiは、平面ｉの係数部であり、XAは、XA=[xA yA zA]’で表されるカメラ座標系上のxyz座標を表すベクトルである。
【００６７】
従って、カメラ座標系上の各平面は、法線ベクトルNAiと係数部dAiの項を有する方程式（平面方程式）となっている。
【００６８】
平面検出部６５も、３次元デプス算出部６３から供給されたレーダ座標系上の各点の３次元座標値（xB, yB, zB）を用いて、上述した平面検出処理を同様に行う。
【００６９】
平面対応検出部６６に出力されるレーダ座標系上の各平面は、法線ベクトルNBiと係数部dBiの項を有する下記の式（６）の平面方程式で表される。
NBi’XB+dBi=0            i=1,2,3,4...
・・・・・（６）
【００７０】
式（６）において、ｉは平面対応検出部６６に出力されるレーダ座標系上の各平面を識別する変数を表し、NBiは、NBi=[nxBi nyBi nzBi]’で表される平面ｉの法線ベクトルであり、dBiは、平面ｉの係数部であり、XBは、XB=[xB yB zB]’で表されるレーダ座標系上のxyz座標のベクトルである。
【００７１】
図４に戻り、平面対応検出部６６は、平面検出部６４から供給された、カメラ座標系における複数の平面のリストと、平面検出部６５から供給された、レーダ座標系における複数の平面のリストとを照合し、対応する平面を検出する。
【００７２】
図７は、平面対応検出部６６が行う対応平面検出処理の概念図である。
【００７３】
最初に、平面対応検出部６６は、記憶部６７に記憶されている事前キャリブレーションデータと、上述した式（１）の異なる２つの座標系の対応関係を示す関係式とを用いて、一方の座標系の平面方程式を他方の座標系の平面方程式に変換する。本実施の形態では、例えば、レーダ座標系の複数の平面それぞれの平面方程式をカメラ座標系の平面方程式に変換するものとする。
【００７４】
事前キャリブレーションデータは、カメラ座標系とレーダ座標系の事前の相対位置関係を示す事前配置情報であり、式（１）の回転行列Rと並進ベクトルTに対応する固有値である事前回転行列Rpreと事前並進ベクトルTpreである。事前回転行列Rpreと事前並進ベクトルTpreには、例えば、ステレオカメラ４１とレーザレーダ４２の設計時の相対位置関係を示す設計データや、過去に行われたキャリブレーション処理の処理結果などが採用される。なお、事前キャリブレーションデータは、製造時のバラつきや経年変化によって、正確なデータではない場合があるが、ここでは大まかな位置合わせを行うことができれば良いので問題はない。
【００７５】
そして、平面対応検出部６６は、ステレオカメラ４１で検出された複数の平面と、レーザレーダ４２で検出された複数の平面をカメラ座標系に座標系変換したもの（以下、複数の変換平面ともいう）とで、最も近い平面どうしを対応させる処理を行う。
【００７６】
具体的には、平面対応検出部６６は、ステレオカメラ４１で検出された平面ｋ（ｋ＝１，２，３，・・,K，Kは平面検出部６４から供給された平面の総数）と、レーザレーダ４２で検出された変換平面ｈ（ｈ＝１，２，３，・・,H，Hは平面検出部６５から供給された平面の総数）の、２つの平面の法線どうしの内積の絶対値Ikhと（以下、法線内積絶対値Ikhという。）、２つの平面の各平面の平面上に存在する点群の重心どうしの距離の絶対値Dkh（以下、重心距離絶対値Dkhという。）とを演算する。
【００７７】
次に、平面対応検出部６６は、法線内積絶対値Ikhが所定の閾値（第５の閾値）より大きく、かつ、重心距離絶対値Dkhが所定の閾値（第６の閾値）より小さい平面の組合せ（ｋ，ｈ）を抽出する。
【００７８】
そして、平面対応検出部６６は、抽出した平面の組合せ（ｋ，ｈ）に対して適切に重み付けを行った次式（７）のコスト関数Cost(k,h)を定義し、このコスト関数Cost(k,h)を最小化する平面の組み合わせ（ｋ，ｈ）を平面のペアとして選択する。
Cost(k,h) = wd*Dkh - wn*Ikh              ・・・・・（７）
式（７）のwnは法線内積絶対値Ikhに対する重みを表し、wdは重心距離絶対値Dkhに対する重みを表す。
【００７９】
平面対応検出部６６は、最も近い平面どうしのペアのリストを、平面対応検出処理の処理結果として、位置関係推定部６８に出力する。ここで、位置関係推定部６８に出力される、対応のとれた平面のペアの平面方程式を以下のように表現する。
NAq’XA+dAq=0            q=1,2,3,4...
・・・・・（８）
NBq’XB+dBq=0            q=1,2,3,4...
・・・・・（９）
ここで、ｑは、対応のとれた平面のペアを識別する変数を表す。
【００８０】
図４に戻り、位置関係推定部６８は、平面対応検出部６６から供給される、対応のとれた平面のペアの平面方程式を用いて、カメラ座標系とレーダ座標系の相対位置関係を表す、式（１）の回転行列Rと並進ベクトルTを算出（推定）する。
【００８１】
具体的には、位置関係推定部６８は、カメラ座標系における式（８）の平面方程式NAq’XA+dAq=0を、式（１）の関係式を用いて、式（１０）のようにレーダ座標系で表現する。
NAq’(R XB + T)+dAq=0
NAq’R XB+ NAq’T+dAq=0      ・・・・・（１０）
【００８２】
式（１０）は、対応のとれた平面のペアの他方の平面方程式（９）と理想条件下では一致するため、
NAq’R = NBq’ ・・・・・（１１）
NAq’T+dAq = dBq ・・・・・（１２）
が成り立つ。
【００８３】
しかしながら、誤差なく理想的な平面を得ることは一般的には困難であるため、位置関係推定部６８は、次式（１３）を満たす回転行列Rを算出することで、式（１）の回転行列Rを推定する。
max Score(R)=Σ{(R’ NAq)・NBq }            q=1,2,3,4...
・・・・・（１３）
ここで、RR’=R’R=I, Iは3x3の単位行列を表す。
【００８４】
式（１３）は、対応のとれた平面のペアの各法線ベクトルNAqとNBqを入力とし、一方の平面の法線ベクトルNAqに回転行列R’を乗算したベクトルと、他方の平面の法線ベクトルNBqとの内積を最大化する回転行列Rを算出する式である。なお、回転行列Rは、四元数を使って表現してもよい。
【００８５】
次に、位置関係推定部６８は、最小二乗法を用いる第１の算出方法か、または、３平面の交点座標を使って求める第２の算出方法のいずれかを用いて、並進ベクトルTを算出する。
【００８６】
最小二乗法を用いる第１の算出方法では、位置関係推定部６８は、上述の式（１２）より、下記のコスト関数Cost(T)を最小化するTを算出する。
min  Cost(T) = Σ｛NAq’T + dAq - dBq｝2
・・・・・（１４）
【００８７】
式（１４）は、カメラ座標系における平面の方程式NAq’XA+dAq=0をレーダ座標系に変換した変換平面方程式（１０）の係数部と、レーダ座標系の平面方程式（９）の係数部が等しいとした式（１２）を最小化する並進ベクトルTを、最小二乗法を用いて解くことにより、並進ベクトルTを推定する式である。
【００８８】
一方、３平面の交点座標を使って求める第２の算出方法では、例えば、図８に示されるように、カメラ座標系上の３つの平面の交点座標がPA=[xpA ypA zpA]’、レーダ座標系上の３つの平面の交点座標がPB=[ xpB ypB zpB]’であるとする。これらの３つの平面は共通であり、これらの３平面が唯一の点で交わる場合、PA、PBの座標系は異なるが、共通の点を指しているはずであるので、式（１）にPA、PBの座標値を代入した以下の式（１５）が成り立つ。
PA = R PB + T              ・・・・・（１５）
【００８９】
ここで、回転行列Rは既知であるので、位置関係推定部６８は、並進ベクトルTを求めることができる。
【００９０】
位置関係推定部６８は、以上のようにして算出した回転行列Rと並進ベクトルTを、センサ間キャリブレーションデータとして外部に出力するとともに、記憶部６７にも記憶させる。記憶部６７に供給されたセンサ間キャリブレーションデータは、事前キャリブレーションデータとして上書き記憶される。
【００９１】
＜第１のキャリブレーション処理＞
次に、図９のフローチャートを参照して、信号処理システム２１の第１の実施の形態によるキャリブレーション処理（第１のキャリブレーション処理）について説明する。この処理は、例えば、信号処理システム２１の図示せぬ操作部等において、キャリブレーション処理を開始する操作が行われたときに開始される。
【００９２】
初めに、ステップＳ１において、ステレオカメラ４１は、物体検出方向の所定範囲を撮像し、基準カメラ画像と参照カメラ画像を生成して、マッチング処理部６１に出力する。
【００９３】
ステップＳ２において、マッチング処理部６１は、ステレオカメラ４１から供給された基準カメラ画像と参照カメラ画像に基づいて、基準カメラ画像と参照カメラ画像の画素のマッチング処理を行う。そして、マッチング処理部６１は、マッチング処理の処理結果に基づいて、基準カメラ画像の各画素について視差量を算出した視差マップを生成し、３次元デプス算出部６２に出力する。
【００９４】
ステップＳ３において、３次元デプス算出部６２は、マッチング処理部６１から供給された視差マップに基づいて、ステレオカメラ４１の視野範囲の各点の３次元座標値（xA, yA, zA）を算出する。そして、３次元デプス算出部６２は、基準カメラ画像の各画素位置（xA, yA）に奥行き方向の座標値 zAを格納した３次元デプス情報として、視野範囲の各点の３次元座標値（xA, yA, zA）を平面検出部６４に出力する。
【００９５】
ステップＳ４において、平面検出部６４は、３次元デプス算出部６２から供給された視野範囲の各点の３次元座標値（xA, yA, zA）を用いて、カメラ座標系における複数の平面を検出する。
【００９６】
ステップＳ５において、レーザレーダ４２は、レーザ光を物体検出方向の所定範囲に照射し、物体に当たって返ってきた反射光を受光して、その結果得られる照射レーザ光の回転角（θ,φ）とToF時間とを３次元デプス算出部６３に出力する。
【００９７】
ステップＳ６において、３次元デプス算出部６３は、レーザレーダ４２から供給された、照射レーザ光の回転角（θ,φ）とToF時間とに基づいて、レーザレーダ４２の視野範囲の各点の３次元座標値（xB, yB, zB）を算出し、３次元デプス情報として平面検出部６５に出力する。
【００９８】
ステップＳ７において、平面検出部６５は、３次元デプス算出部６３から供給された視野範囲の各点の３次元座標値（xB, yB, zB）を用いて、レーダ座標系における複数の平面を検出する。
【００９９】
なお、上述したステップＳ１乃至Ｓ４の処理と、ステップＳ５乃至Ｓ７の処理は、並行して同時に実行することができるし、ステップＳ１乃至Ｓ４の処理と、ステップＳ５乃至Ｓ７の処理の順番を逆に実行してもよい。
【０１００】
ステップＳ８において、平面対応検出部６６は、平面検出部６４から供給された複数の平面のリストと、平面検出部６５から供給された複数の平面のリストとを照合し、カメラ座標系上の平面とレーダ座標系上の平面との対応関係を検出する。平面対応検出部６６は、検出結果として、対応のとれた平面のペアのリストを位置関係推定部６８に出力する。
【０１０１】
ステップＳ９において、位置関係推定部６８は、平面対応検出部６６から供給された、対応のとれた平面のペアの数が３以上であるかを判定する。後述するステップＳ１１において１点のみで交わる点が存在するためには、少なくとも３つの平面が必要となるので、ステップＳ９において判定する閾値（第７の閾値）を３として、対応のとれた平面のペアの数が少なくとも３以上であるかが判定されている。ただし、対応のとれた平面のペアの数が多いほど、キャリブレーション精度は上がるので、位置関係推定部６８は、キャリブレーション精度を上げるため、ステップＳ９において判定する閾値を、３より大きい所定の値に設定してもよい。
【０１０２】
ステップＳ９で、対応のとれた平面のペアの数が３未満であると判定された場合、位置関係推定部６８は、キャリブレーション処理は失敗したと判断し、キャリブレーション処理を終了する。
【０１０３】
一方、ステップＳ９で、対応のとれた平面のペアの数が３以上であると判定された場合、処理はステップＳ１０へ進み、位置関係推定部６８は、対応のとれた平面のペアのリストから、３組の平面のペアを選択する。
【０１０４】
そして、ステップＳ１１において、位置関係推定部６８は、選択した３組の平面のペアの、カメラ座標系における３平面とレーダ座標系における３平面のそれぞれにおいて１点のみで交わる点が存在するかを判定する。３平面が１点のみで交わる点が存在するか否かは、３平面の法線ベクトルの集合の行列の階数（ランク）が３以上であるか否かで判定することができる。
【０１０５】
ステップＳ１１で、１点のみで交わる点が存在しないと判定された場合、処理はステップＳ１２へ進み、位置関係推定部６８は、対応のとれた平面のペアのリストから、３組の平面のペアのその他の組合せが存在するかを判定する。
【０１０６】
ステップＳ１２で、３組の平面のペアのその他の組合せが存在しないと判定された場合、位置関係推定部６８は、キャリブレーション処理は失敗したと判断し、キャリブレーション処理を終了する。
【０１０７】
一方、ステップＳ１２で、３組の平面のペアのその他の組合せが存在すると判定された場合、処理はステップＳ１０へ戻り、それ以降の処理が実行される。２回目以降のステップＳ１０の処理では、それ以前に選択した３組の平面のペアの組合せと異なる組合せの３組の平面のペアが選択される。
【０１０８】
一方、ステップＳ１１で、１点のみで交わる点が存在すると判定された場合、処理はステップＳ１３に進み、位置関係推定部６８は、平面対応検出部６６から供給された、対応のとれた平面のペアの平面方程式を用いて、式（１）の回転行列Rと並進ベクトルTを算出（推定）する。
【０１０９】
より具体的には、まず、位置関係推定部６８は、カメラ座標系における平面の方程式NAq’XA+dAq=0をレーダ座標系で表現し、上述した式（１３）を満たす回転行列Rを算出することで、式（１）の回転行列Rを推定する。
【０１１０】
次に、位置関係推定部６８は、最小二乗法を用いる第１の算出方法、または、３平面の交点座標を使って求める第２の算出方法のいずれかを用いて、並進ベクトルTを算出する。
【０１１１】
次に、ステップＳ１４において、位置関係推定部６８は、算出された回転行列R及び並進ベクトルTが事前キャリブレーションデータから大きく外れていないか、換言すれば、算出された回転行列R及び並進ベクトルTと事前キャリブレーションデータの事前回転行列Rpre及び事前並進ベクトルTpreとの差が、所定の範囲内であるかを判定する。
【０１１２】
ステップＳ１４で、算出された回転行列R及び並進ベクトルTが事前キャリブレーションデータから大きく外れていると判定された場合、位置関係推定部６８は、キャリブレーション処理は失敗したと判断し、キャリブレーション処理を終了する。
【０１１３】
一方、ステップＳ１４で、算出された回転行列R及び並進ベクトルTが事前キャリブレーションデータから大きく外れていないと判定された場合、位置関係推定部６８は、算出した回転行列R及び並進ベクトルTを、センサ間キャリブレーションデータとして外部に出力するとともに、記憶部６７に供給する。記憶部６７に供給されたセンサ間キャリブレーションデータは、そこに記憶されている事前キャリブレーションデータに上書きされ、事前キャリブレーションデータとして記憶される。
【０１１４】
以上により、第１の実施の形態におけるキャリブレーション処理は終了する。
【０１１５】
＜３．信号処理システムの第２の実施の形態＞
次に、信号処理システムの第２の実施の形態について説明する。
【０１１６】
＜ブロック図＞
図１０は、本技術を適用した信号処理システムの第２の実施の形態の構成例を示すブロック図である。
【０１１７】
図１０において、上述した第１の実施の形態と対応する部分については同一の符号を付してあり、その説明は適宜省略する。
【０１１８】
上述した第１の実施の形態では、式（９）と式（１０）の変数XBの係数部は等しいという前提の式（１１）に基づいて回転行列Rを推定したが、第２の実施の形態では、法線の分布を使って、回転行列Rが推定される。
【０１１９】
そのため、第２の実施の形態では、信号処理装置４３において、法線検出部８１及び８２、法線ピーク検出部８３及び８４、並びに、ピーク対応検出部８５が新たに設けられている。
【０１２０】
また、位置関係推定部８６は、式（１１）に基づいて回転行列Rを推定するのではなく、ピーク対応検出部８５から供給される情報（後述するピーク法線ベクトルのペア）を用いて回転行列Rを推定する点で、第１の実施の形態における位置関係推定部６８と異なる。
【０１２１】
信号処理システム２１のその他の構成、即ち、ステレオカメラ４１及びレーザレーダ４２、並びに、信号処理装置４３のマッチング処理部６１、３次元デプス算出部６２、３次元デプス算出部６３、平面検出部６４、平面検出部６５、平面対応検出部６６、及び、記憶部６７については、第１の実施の形態と同様である。
【０１２２】
法線検出部８１には、３次元デプス算出部６２から、ステレオカメラ４１の視野範囲の各点の３次元座標値（xA, yA, zA）が供給される。法線検出部８１は、３次元デプス算出部６２から供給された視野範囲の各点の３次元座標値（xA, yA, zA）を用いて、ステレオカメラ４１の視野範囲の各点に対して単位法線ベクトルを検出する。
【０１２３】
法線検出部８２には、３次元デプス算出部６３から、レーザレーダ４２の視野範囲の各点の３次元座標値（xB, yB, zB）が供給される。法線検出部８２は、３次元デプス算出部６３から供給された視野範囲の各点の３次元座標値（xB, yB, zB）を用いて、レーザレーダ４２の視野範囲の各点に対して単位法線ベクトルを検出する。
【０１２４】
法線検出部８１と法線検出部８２は、カメラ座標系上の各点に対して単位法線ベクトル検出処理を行うか、または、レーダ座標系上の各点に対して単位法線ベクトル検出処理を行うかが異なるだけであり、単位法線ベクトル検出処理自体は同じである。
【０１２５】
視野範囲の各点の単位法線ベクトルは、検出対象となる点の３次元座標値を中心とした半径ｋの球の中に存在する局所領域の点群を設定し、その点群の重心を原点としたベクトルの主成分分析によって求めることができる。あるいはまた、視野範囲の各点の単位法線ベクトルは、周辺に存在する点の座標を使った外積演算で算出してもよい。
【０１２６】
法線ピーク検出部８３は、法線検出部８１から供給される各点の単位法線ベクトルを用いて、単位法線ベクトルのヒストグラムを作成する。そして、法線ピーク検出部８３は、ヒストグラムの度数が所定の閾値（第８の閾値）より高く、かつ、分布における極大値となる単位法線ベクトルを検出する。
【０１２７】
法線ピーク検出部８４は、法線検出部８２から供給される各点の単位法線ベクトルを用いて、単位法線ベクトルのヒストグラムを作成する。そして、法線ピーク検出部８４は、ヒストグラムの度数が所定の閾値（第９の閾値）より高く、かつ、分布における極大値となる単位法線ベクトルを検出する。第８の閾値と第９の閾値は、同一の値としてもよいし、異なる値としてもよい。
【０１２８】
以下では、法線ピーク検出部８３または８４によって検出される単位法線ベクトルを、ピーク法線ベクトルと称する。
【０１２９】
図１１に示される点分布は、法線ピーク検出部８３または８４によって検出された単位法線ベクトルの分布を示し、実線の矢印は、法線ピーク検出部８３または８４によって検出されたピーク法線ベクトルの例を示している。
【０１３０】
法線ピーク検出部８３は、ステレオカメラ４１の視野範囲の各点に対して処理を行い、法線検出部８２は、レーザレーダ４２の視野範囲の各点に対して処理を行う点が異なるが、ピーク法線ベクトルの検出方法は同じである。ピーク法線ベクトルの検出方法は、視野範囲に３次元平面が存在すると、その方向に単位法線が集中するので、ヒストグラムを作成した場合、ピークが発生することを利用している。視野範囲に存在する３次元平面のうち、所定以上の（広い）平面面積を有する１以上のピーク法線ベクトルが、法線ピーク検出部８３と８４から、ピーク対応検出部８５に供給される。
【０１３１】
図１０に戻り、ピーク対応検出部８５は、法線ピーク検出部８３から供給される、カメラ座標系における１以上のピーク法線ベクトルと、法線ピーク検出部８４から供給される、レーダ座標系における１以上のピーク法線ベクトルとを用いて、対応するピーク法線ベクトルのペアを検出し、位置関係推定部８６に出力する。
【０１３２】
具体的には、ステレオカメラ４１で得られたピーク法線ベクトルをNAm (m=1,2,3,...)、レーザレーダ４２で得られたピーク法線ベクトルをNBn (n=1,2,3,...)と定義すると、ピーク対応検出部８５は、ベクトルRpre’NAmとベクトルNBnの内積が最も大きくなるピーク法線ベクトルどうしを対応させる。この処理は、図１２に示されるように、ステレオカメラ４１で得られたピーク法線ベクトルNAm と、レーザレーダ４２で得られたピーク法線ベクトルNBnのうちの一方（図１２では、ピーク法線ベクトルNBn）を、事前回転行列Rpreによって回転させ、回転させたピーク法線ベクトルNBnと、ピーク法線ベクトルをNAmとで、最も近い単位法線ベクトルどうしを対応させる処理に相当する。
【０１３３】
なお、対応させたペアであっても、ベクトルRpre’NAmとベクトルNBnの内積が所定の閾値（第１０の閾値）より小さいペアについては、ピーク対応検出部８５によって除外される。
【０１３４】
ピーク対応検出部８５は、対応するピーク法線ベクトルのペアのリストを、位置関係推定部８６に出力する。
【０１３５】
位置関係推定部８６は、ピーク対応検出部８５から供給される、対応のとれたピーク法線ベクトルのペアを用いて、式（１）の回転行列Rを算出（推定）する。
【０１３６】
具体的には、第１の実施の形態の位置関係推定部６８が、対応のとれた平面のペアの各法線ベクトルNAqとNBqを式（１３）に入力する代わりに、第２の実施の形態の位置関係推定部８６は、対応のとれたピーク法線ベクトルのペアである法線ベクトルNAmとNBnを式（１３）に入力する。一方のピーク法線ベクトルNAmに回転行列R’をかけたベクトルと、他方のピーク法線ベクトルNBnとの内積を最大化する回転行列Rが、推定結果として算出される。
【０１３７】
並進ベクトルTについては、位置関係推定部８６は、第１の実施の形態と同様に、最小二乗法を用いる第１の算出方法、または、３平面の交点座標を使って求める第２の算出方法のいずれかを用いて算出する。
【０１３８】
＜第２のキャリブレーション処理＞
次に、図１３及び図１４のフローチャートを参照して、信号処理システム２１の第２の実施の形態によるキャリブレーション処理（第２のキャリブレーション処理）について説明する。この処理は、例えば、信号処理システム２１の図示せぬ操作部等において、キャリブレーション処理を開始する操作が行われたときに開始される。
【０１３９】
第２の実施の形態におけるステップＳ４１乃至Ｓ４８の各処理は、第１の実施の形態におけるステップＳ１乃至Ｓ８の各処理と、それぞれ同一であるので、その説明は省略する。ただし、ステップＳ４３において３次元デプス算出部６２によって算出された３次元デプス情報は、平面検出部６４の他、法線検出部８１にも供給され、ステップＳ４６において３次元デプス算出部６３によって算出された３次元デプス情報は、平面検出部６５の他、法線検出部８２にも供給される点は、第１のキャリブレーション処理と第２のキャリブレーション処理とで相違する。
【０１４０】
ステップＳ４８の後、ステップＳ４９において、法線検出部８１は、３次元デプス算出部６２から供給されたステレオカメラ４１の視野範囲の各点の３次元座標値（xA, yA, zA）を用いて、ステレオカメラ４１の視野範囲の各点の単位法線ベクトルを検出し、法線ピーク検出部８３に出力する。
【０１４１】
ステップＳ５０において、法線ピーク検出部８３は、法線検出部８１から供給された各点の単位法線ベクトルを用いて、カメラ座標系における単位法線ベクトルのヒストグラムを作成し、ピーク法線ベクトルを検出する。検出されたピーク法線ベクトルは、ピーク対応検出部８５に供給される。
【０１４２】
ステップＳ５１において、法線検出部８２は、３次元デプス算出部６３から供給されたレーザレーダ４２の視野範囲の各点の３次元座標値（xB, yB, zB）を用いて、レーザレーダ４２の視野範囲の各点の単位法線ベクトルを検出し、法線ピーク検出部８４に出力する。
【０１４３】
ステップＳ５２において、法線ピーク検出部８４は、法線検出部８２から供給された各点の単位法線ベクトルを用いて、レーダ座標系における単位法線ベクトルのヒストグラムを作成し、ピーク法線ベクトルを検出する。検出されたピーク法線ベクトルは、ピーク対応検出部８５に供給される。
【０１４４】
ステップＳ５３において、ピーク対応検出部８５は、法線ピーク検出部８３から供給されたカメラ座標系における１以上のピーク法線ベクトルと、法線ピーク検出部８４から供給されたレーダ座標系における１以上のピーク法線ベクトルとを用いて、対応するピーク法線ベクトルのペアを検出し、位置関係推定部８６に出力する。
【０１４５】
図１４に進み、ステップＳ５４において、位置関係推定部８６は、ピーク対応検出部８５から供給された、対応のとれたピーク法線ベクトルのペアの数が３以上であるかを判定する。なお、キャリブレーション精度を上げるため、ステップＳ５４において判定する閾値（第１１の閾値）を３より大きい所定の値に設定してもよい。
【０１４６】
ステップＳ５４で、対応のとれたピーク法線ベクトルのペアの数が３未満であると判定された場合、位置関係推定部８６は、キャリブレーション処理は失敗したと判断し、キャリブレーション処理を終了する。
【０１４７】
一方、ステップＳ５４で、対応のとれたピーク法線ベクトルのペアの数が３以上であると判定された場合、処理はステップＳ５５へ進み、位置関係推定部８６は、ピーク対応検出部８５から供給された、対応のとれたピーク法線ベクトルのペアを用いて、式（１）の回転行列Rを算出（推定）する。
【０１４８】
具体的には、位置関係推定部８６は、対応のとれたピーク法線ベクトルのペアである法線ベクトルNAmとNBnを式（１３）に入力し、ピーク法線ベクトルNAmに回転行列R’をかけたベクトルと、ピーク法線ベクトルNBnとの内積を最大化する回転行列Rを算出する。
【０１４９】
次のステップＳ５６乃至Ｓ６２の各処理は、図９に示した第１の実施の形態におけるステップＳ９乃至Ｓ１５の各処理とそれぞれ対応し、図９のステップＳ１３に対応するステップＳ６０の処理を除いて、ステップＳ９乃至Ｓ１５の各処理と同一である。
【０１５０】
具体的には、ステップＳ５６において、位置関係推定部８６は、ステップＳ４８の処理で検出された、対応のとれた平面のペアの数が３以上であるかを判定する。なお、ステップＳ５６において判定する閾値（第１２の閾値）を３より大きい所定の値に設定してもよいことは、上述した第１のキャリブレーション処理のステップＳ９と同様である。
【０１５１】
ステップＳ５６で、対応のとれた平面のペアの数が３未満であると判定された場合、位置関係推定部８６は、キャリブレーション処理は失敗したと判断し、キャリブレーション処理を終了する。
【０１５２】
一方、ステップＳ５６で、対応のとれた平面のペアの数が３以上であると判定された場合、処理はステップＳ５７へ進み、位置関係推定部８６は、対応のとれた平面のペアのリストから、３組の平面のペアを選択する。
【０１５３】
そして、ステップＳ５８において、位置関係推定部８６は、選択した３組の平面のペアの、カメラ座標系における３平面とレーダ座標系における３平面のそれぞれにおいて１点のみで交わる点が存在するかを判定する。３平面が１点のみで交わる点が存在するか否かは、３平面の法線ベクトルの集合の行列の階数（ランク）が３以上であるか否かで判定することができる。
【０１５４】
ステップＳ５８で、１点のみで交わる点が存在しないと判定された場合、処理はステップＳ５９へ進み、位置関係推定部８６は、対応のとれた平面のペアのリストから、３組の平面のペアのその他の組合せが存在するかを判定する。
【０１５５】
ステップＳ５９で、３組の平面のペアのその他の組合せが存在しないと判定された場合、位置関係推定部８６は、キャリブレーション処理は失敗したと判断し、キャリブレーション処理を終了する。
【０１５６】
一方、ステップＳ５９で、３組の平面のペアのその他の組合せが存在すると判定された場合、処理はステップＳ５７へ戻り、それ以降の処理が実行される。２回目以降のステップＳ５７の処理では、それ以前に選択した３組の平面のペアの組合せと異なる組合せの３組の平面のペアが選択される。
【０１５７】
一方、ステップＳ５８で、１点のみで交わる点が存在すると判定された場合、処理はステップＳ６０に進み、位置関係推定部８６は、平面対応検出部６６から供給された、対応のとれた平面のペアの平面方程式を用いて、並進ベクトルTを算出（推定）する。より具体的には、位置関係推定部８６は、最小二乗法を用いる第１の算出方法、または、３平面の交点座標を使って求める第２の算出方法のいずれかを用いて、並進ベクトルTを算出する。
【０１５８】
ステップＳ６１において、位置関係推定部８６は、算出された回転行列R及び並進ベクトルTが事前キャリブレーションデータから大きく外れていないか、換言すれば、算出された回転行列R及び並進ベクトルTと事前キャリブレーションデータの事前回転行列Rpre及び事前並進ベクトルTpreとの差が、所定の範囲内であるかを判定する。
【０１５９】
ステップＳ６１で、算出された回転行列R及び並進ベクトルTが事前キャリブレーションデータから大きく外れていると判定された場合、位置関係推定部８６は、キャリブレーション処理は失敗したと判断し、キャリブレーション処理を終了する。
【０１６０】
一方、ステップＳ６１で、算出された回転行列R及び並進ベクトルTが事前キャリブレーションデータから大きく外れていないと判定された場合、位置関係推定部８６は、算出した回転行列R及び並進ベクトルTを、センサ間キャリブレーションデータとして外部に出力するとともに、記憶部６７に供給する。記憶部６７に供給されたセンサ間キャリブレーションデータは、そこに記憶されている事前キャリブレーションデータに上書きされ、事前キャリブレーションデータとして記憶される。
【０１６１】
以上により、第２の実施の形態におけるキャリブレーション処理は終了する。
【０１６２】
上述した例では、各ステップの処理がシーケンシャルに行われるものとして説明したが、各ステップの処理は、適宜、並行して実行することができる。
【０１６３】
例えば、ステップＳ４１乃至Ｓ４３のステレオカメラ４１から得られる画像に基づく３次元デプス情報を算出する処理と、ステップＳ４４乃至Ｓ４６のレーザレーダ４２から得られるレーダ情報に基づく３次元デプス情報を算出する処理は、並行して実行することができる。
【０１６４】
また、ステップＳ４４、Ｓ４７、及びＳ４８の、カメラ座標系上の複数の平面とレーダ座標系上の複数の平面を検出し、対応のとれた平面のペアを検出する処理と、ステップＳ４９乃至Ｓ５５の、カメラ座標系上の１以上のピーク法線ベクトルとレーダ座標系上の１以上のピーク法線ベクトルを検出し、対応のとれたピーク法線ベクトルのペアを検出する処理は、並行して実行することができる。
【０１６５】
また、ステップＳ４９及びＳ５０の２ステップの処理と、ステップＳ５１及びＳ５２の２ステップの処理とを並行して同時に実行することができるし、ステップＳ４９及びＳ５０の２ステップの処理と、ステップＳ５１及びＳ５２の２ステップの処理の順番を逆に実行してもよい。
【０１６６】
上述した各実施の形態では、平面対応検出部６６は、式（７）のコスト関数Cost(k,h)を用いて、対応のとれた平面のペアを自動で（平面対応検出部６６自身が）検出するようにしたが、ユーザに手動で指定させるようにしてもよい。例えば、平面対応検出部６６は、一方の座標系の平面方程式を他方の座標系の平面方程式に変換する座標変換のみを行い、図７のように、一方の座標系の複数の平面と、座標変換後の他方の座標系の平面とを信号処理装置４３の表示部または外部の表示装置に表示させ、ユーザに対応する平面のペアをマウス、画面のタッチ、番号入力等により指定させることができる。
【０１６７】
あるいはまた、最初に、平面対応検出部６６が、対応のとれた平面のペアを検出した後、検出結果を信号処理装置４３の表示部に表示させ、ユーザが、必要に応じて、対応する平面のペアの修正や削除を行うことができるようにしてもよい。
【０１６８】
＜４．検出対象となる複数の平面について＞
上述した各実施の形態では、信号処理システム２１は、図５を参照して説明したように、ステレオカメラ４１及びレーザレーダ４２のそれぞれが視野範囲をセンシングした１フレームのセンサ信号に、検出対象となる複数の平面が含まれるような環境で、ステレオカメラ４１とレーザレーダ４２が複数の平面を検出するものとした。
【０１６９】
しかしながら、信号処理システム２１は、例えば、図１５に示されるように、所定の時刻における１フレームのセンサ信号に１つの平面PLを検出し、その１フレームのセンシングをN回実行することで、複数の平面を検出してもよい。
【０１７０】
図１５では、ステレオカメラ４１とレーザレーダ４２が、時刻ｔ＝ｃにおいて１つの平面PLcを検出し、時刻ｔ＝ｃ＋１において１つの平面PLc+1を検出し、時刻ｔ＝ｃ＋２において１つの平面PLc+2を検出している。時刻ｔ＝ｃ＋Nにおいて１つの平面PLc+Nを検出するまで同様の処理が繰り返され、最終的に、N個の平面PLc乃至PLc+Nが検出される。
【０１７１】
N個の平面PLc乃至PLc+Nそれぞれは、異なる平面PLであってもよいし、１つの平面PLをステレオカメラ４１とレーザレーダ４２から見た向き (角度)を変えたものでもよい。
【０１７２】
また、ステレオカメラ４１とレーザレーダ４２から見た向きを変えて１つの平面PLを複数回センシングする形態としては、ステレオカメラ４１とレーザレーダ４２の位置を固定して、１つの平面PLの向きを変えてもよいし、１つの平面PLの向きが固定されていて、ステレオカメラ４１とレーザレーダ４２が位置を移動してもよい。
【０１７３】
＜５．車両搭載例＞
信号処理システム２１は、物体検知システムの一部として、例えば、自動車やトラック等の車両に搭載することができる。
【０１７４】
ステレオカメラ４１とレーザレーダ４２が、車両の前方を向くように搭載されている場合には、信号処理システム２１は、車両の前方の物体を被写体として検出することになるが、物体の検出方向は、前方に限られない。例えば、ステレオカメラ４１とレーザレーダ４２が車両の後方を向くように搭載されている場合には、信号処理システム２１のステレオカメラ４１とレーザレーダ４２は、車両の後方の物体を被写体として検出する。
【０１７５】
車両に搭載された信号処理システム２１がキャリブレーション処理を実行するタイミングとしては、車両が出荷される前と、車両が出荷された後が考えられる。ここで、車両が出荷される前に実行されるキャリブレーション処理を出荷前キャリブレーション処理と称し、車両が出荷された後に実行されるキャリブレーション処理を運用時キャリブレーション処理と称する。運用時キャリブレーション処理では、例えば、経時変化や、熱、振動等によって、出荷後に生じた相対位置関係のずれを調整することができる。
【０１７６】
出荷前キャリブレーション処理では、製造工程において設置したときのステレオカメラ４１とレーザレーダ４２の相対位置関係がセンサ間キャリブレーションデータとして検出され、記憶部６７に記憶（登録）される。
【０１７７】
出荷前キャリブレーション処理において、記憶部６７に予め記憶される事前キャリブレーションデータとしては、例えば、ステレオカメラ４１とレーザレーダ４２の設計時の相対位置関係を示すデータが用いられる。
【０１７８】
出荷前キャリブレーション処理は、理想的な既知のキャリブレーション環境を用いて実行することができる。例えば、ステレオカメラ４１とレーザレーダ４２の視野範囲に含まれる被写体として、ステレオカメラ４１とレーザレーダ４２の異種センサで認識しやすい素材やテクスチャでできた複数平面の構造を配置し、１フレームのセンシングで、複数の平面を検出するように実行することができる。
【０１７９】
これに対して、車両が出荷された後に実行される運用時キャリブレーション処理では、修理工場などで行う場合は別として、車両を使用しながら運用時キャリブレーション処理を実行する必要があるので、上述した出荷前キャリブレーション処理のように、理想的な既知のキャリブレーション環境で実行することは困難である。
【０１８０】
そのため、信号処理システム２１は、例えば、図１６に示されるように、道路標識、路面、側壁、看板等の、実環境に存在する平面を使用して、運用時キャリブレーション処理を実行する。平面の検出には、機械学習による画像認識技術を利用することができる。あるいはまた、GPS(Global Positioning System)に代表される全地球航法衛星システム（GNSS：Global Navigation Satellite System）から取得した車両の現在位置情報と、事前に用意された地図情報や３次元マップ情報を基に、キャリブレーションに適したロケーションや、看板等の平面の位置を認識して、そのキャリブレーションに適したロケーションに車両が移動したときに、平面を検出してもよい。実環境に存在する平面の検出では、１フレームのセンシングで、信頼度の高い複数の平面を検出することは難しいため、図１５を参照して説明したような、１フレームのセンシングを複数回行うことによって、対応のとれた平面のペアを蓄積した後、運用時キャリブレーション処理を実行することができる。
【０１８１】
また、車両が高速で移動している最中は、ブレ等により３次元デプス情報の推定精度が劣化することが考えられるため、運用時キャリブレーション処理を行わない方が好ましい。
【０１８２】
＜運用時キャリブレーション処理＞
図１７のフローチャートを参照して、車両に搭載されている信号処理システム２１が実行する運用時キャリブレーション処理について説明する。この処理は、例えば、車両が動作している間は、継続的に実行される。
【０１８３】
初めに、ステップＳ８１において、制御部は、車両の速度が予め定めた所定の速度より遅いかを判定する。ステップＳ８１では、車両が停止している状態か、または、低速で走行している状態であるかが判定される。制御部は、車両に搭載されているECU（electronic control unit）などでもよいし、信号処理装置４３の一部として設けられてもよい。
【０１８４】
ステップＳ８１では、車両の速度が所定の速度より遅いと判定されるまで、ステップＳ８１の処理が繰り返される。
【０１８５】
そして、ステップＳ８１で、車両の速度が所定の速度よりも遅いと判定された場合、処理はステップＳ８２に進み、制御部は、ステレオカメラ４１とレーザレーダ４２に、１フレームのセンシングを実行させる。ステレオカメラ４１とレーザレーダ４２は、制御部の制御に従い、１フレームのセンシングを実行する。
【０１８６】
ステップＳ８３において、信号処理装置４３は、画像認識技術によって、道路標識、路面、側壁、看板等の平面を認識する。例えば、信号処理装置４３のマッチング処理部６１が、ステレオカメラ４１から供給された基準カメラ画像と参照カメラ画像のいずれか一方を用いて、道路標識、路面、側壁、看板等の平面を認識する。
【０１８７】
ステップＳ８４において、信号処理装置４３は、画像認識技術によって平面が検出されたかを判定する。
【０１８８】
ステップＳ８４で、平面が検出されなかったと判定された場合、処理はステップＳ８１に戻る。
【０１８９】
一方、ステップＳ８４で、平面が検出されたと判定された場合、処理はステップＳ８５に進み、信号処理装置４３は、検出された平面に対応する３次元デプス情報を算出し、記憶部６７に蓄積する。
【０１９０】
即ち、マッチング処理部６１は、検出された平面に対応する視差マップを生成し、３次元デプス算出部６２に出力する。３次元デプス算出部６２は、マッチング処理部６１から供給された平面の視差マップに基づいて、平面に対応する３次元デプス情報を算出し、記憶部６７に蓄積する。３次元デプス算出部６３も、レーザレーダ４２から供給された、照射レーザ光の回転角（θ,φ）とToF時間とに基づいて、平面に対応する３次元デプス情報を算出し、記憶部６７に蓄積する。
【０１９１】
ステップＳ８６において、信号処理装置４３は、平面のデプス情報が、記憶部６７に所定個数蓄積されたかを判定する。
【０１９２】
ステップＳ８６で、平面のデプス情報が記憶部６７に所定個数蓄積されていないと判定された場合、処理はステップＳ８１に戻る。これにより、ステップＳ８６で、平面のデプス情報が記憶部６７に所定個数蓄積されたと判定されるまで、上述したステップＳ８１乃至Ｓ８６の処理が繰り返される。記憶部６７に蓄積される個数は、予め決定される。
【０１９３】
そして、ステップＳ８６で、平面のデプス情報が記憶部６７に所定個数蓄積されたと判定された場合、処理はステップＳ８７に進み、信号処理装置４３は、回転行列Rと並進ベクトルTを算出し、記憶部６７に記憶されている回転行列Rと並進ベクトルT（事前キャリブレーションデータ）を更新する処理を実行する。
【０１９４】
ステップＳ８７の処理は、信号処理装置４３の３次元デプス算出部６２及び６３より後段のブロックによる処理、換言すれば、図９のステップＳ４、Ｓ７乃至Ｓ１５の処理、または、図１３及び図１４のステップＳ４４、Ｓ４７乃至Ｓ６２の処理に対応する。
【０１９５】
ステップＳ８８において、信号処理装置４３は、記憶部６７に記憶しておいた、複数の平面の３次元デプス情報を消去する。
【０１９６】
ステップＳ８８の後、処理はステップＳ８１に戻り、上述したステップＳ８１乃至Ｓ８８が繰り返される。
【０１９７】
運用時キャリブレーション処理は、以上のように実行することができる。
【０１９８】
本技術のキャリブレーション処理によれば、より高い精度で異種センサ間の相対位置関係を得ることが可能となり、この結果、ピクセルレベルでの画像のレジストレーションやセンサフュージョンが可能になる。画像のレジストレーションとは、座標系の異なる複数の画像を同一の座標系に変換する処理である。センサフュージョンとは、複数の異種センサのセンサ信号を統合的に処理することで、各センサが苦手とする欠点を補完し、より高い信頼度でデプス推定や物体認識を可能にするものである。
【０１９９】
例えば、上述した各実施の形態のように、異種センサがステレオカメラ４１とレーザレーダ４２である場合、ステレオカメラ４１は平坦部や暗所での測距が不得意であるが、その部分を、アクティブ型であるレーザレーダ４２によって補うことが可能である。一方、レーザレーダ４２の弱い部分である空間解像度等については、ステレオカメラ４１によって補うことが可能となる。
【０２００】
また、自動車の先進運転支援システムであるADAS（Advanced Driving Assistant System）や自動運転システムでは、システムが、デプスセンサで得られたデプス情報を基に前方の障害物を検出することを行う。本技術のキャリブレーション処理は、そのようなシステムにおける障害物検出処理にも効果を発揮することができる。
【０２０１】
例えば、図１８に示されるように、種類の異なるセンサAとセンサBの二つのセンサが、２つの障害物OBJ1及びOBJ2を検出したとする。
【０２０２】
図１８では、センサAが検出した障害物OBJ1がセンサA座標系上の障害物OBJ1Aで示されており、センサAが検出した障害物OBJ2がセンサA座標系上の障害物OBJ2Aで示されている。同様に、センサBが検出した障害物OBJ1がセンサB座標系上の障害物OBJ1Bで示されており、センサBが検出した障害物OBJ2がセンサB座標系上の障害物OBJ2Bで示されている。
【０２０３】
センサAとセンサBの相対位置関係が正確でない場合には、図１９のAに示されるように、本来一つの障害物である障害物OBJ1や障害物OBJ2が、二つの異なる障害物のように見えることになる。このような現象は、障害物までの距離がセンサから遠いほど顕著になるため、図１９のAでは、障害物OBJ1よりも障害物OBJ2の方が、センサAとBが検出した位置のずれが大きい。
【０２０４】
一方、センサAとセンサBの相対位置関係が正確に調整されている場合には、図１９のBに示されるように、センサからの距離が遠い障害物であっても、一つの障害物として検出することが可能となる。
【０２０５】
本技術のキャリブレーション処理によれば、より高い精度で異種センサ間の相対位置関係を得ることが可能となり、これにより、ADASや自動運転システムなどにおいて、障害物の早期発見や、より高い信頼度での障害物認識が可能となる。
【０２０６】
上述した実施の形態では、異種センサとして、ステレオカメラ４１とレーザレーダ４２の相対位置関係を検出する場合の例について説明したが、本技術のキャリブレーション処理は、例えば、ToFカメラ、ストラクチャーライトなど、ステレオカメラやレーザレーダ(LiDAR)以外のセンサであっても適用することができる。
【０２０７】
換言すれば、本技術のキャリブレーション処理は、X軸、Y軸、及びZ軸等の３次元空間における所定の物体の位置（距離）を検出することができるセンサであれば、どのようなセンサであっても適用することができる。また、種類の異なる二つのセンサではなく、３次元位置情報を出力する同種の二つのセンサの相対位置関係を検出する場合にも適用することができる。
【０２０８】
異種または同種の二つのセンサがセンシングを行うタイミングは同時である方が好ましいが、所定の時間差があってもよい。この場合、時間差分の動き量を推定し、同時刻のセンサデータとなるように動き補償したデータを用いて、二つのセンサの相対位置関係が算出される。また、時間差が発生している間、被写体に動きがない場合には、所定の時間差をもって異なる時刻でセンシングしたセンサデータをそのまま用いて、二つのセンサの相対位置関係を算出することができる。
【０２０９】
上述した例では、説明を簡単にするため、ステレオカメラ４１の撮像範囲と、レーザレーダ４２のレーザ光の照射範囲が同じであるとして説明したが、ステレオカメラ４１の撮像範囲と、レーザレーダ４２のレーザ光の照射範囲は異なっていてもよい。その場合には、ステレオカメラ４１の撮像範囲と、レーザレーダ４２のレーザ光の照射範囲の重複する範囲で検出される平面を用いて、上述したキャリブレーション処理が実行される。ステレオカメラ４１の撮像範囲とレーザレーダ４２のレーザ光の照射範囲の重複しない範囲は、３次元デプス情報や平面検出処理等の計算対象から除外してもよいし、除外しない場合であっても、対応平面が検出されないため問題はない。
【０２１０】
＜６．コンピュータ構成例＞
上述したキャリブレーション処理を含む一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０２１１】
図２０は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【０２１２】
コンピュータにおいて、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。
【０２１３】
バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、入力部２０６、出力部２０７、記憶部２０８、通信部２０９、及びドライブ２１０が接続されている。
【０２１４】
入力部２０６は、キーボード、マウス、マイクロホンなどよりなる。出力部２０７は、ディスプレイ、スピーカなどよりなる。記憶部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインタフェースなどよりなる。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブル記録媒体２１１を駆動する。
【０２１５】
以上のように構成されるコンピュータでは、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。
【０２１６】
コンピュータでは、プログラムは、リムーバブル記録媒体２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０８に、あらかじめインストールしておくことができる。
【０２１７】
＜７．車両制御システム構成例＞
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車などのいずれかの種類の車両に搭載される装置として実現されてもよい。
【０２１８】
図２１は、本開示に係る技術が適用され得る車両制御システム２０００の概略的な構成の一例を示すブロック図である。車両制御システム２０００は、通信ネットワーク２０１０を介して接続された複数の電子制御ユニットを備える。図２１に示した例では、車両制御システム２０００は、駆動系制御ユニット２１００、ボディ系制御ユニット２２００、バッテリ制御ユニット２３００、車外情報検出ユニット２４００、車内情報検出ユニット２５００、及び統合制御ユニット２６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク２０１０は、例えば、ＣＡＮ（Controller  Area  Network）、ＬＩＮ（Local  Interconnect  Network）、ＬＡＮ（Local  Area  Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。
【０２１９】
各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク２０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図２１では、統合制御ユニット２６００の機能構成として、マイクロコンピュータ２６１０、汎用通信Ｉ／Ｆ２６２０、専用通信Ｉ／Ｆ２６３０、測位部２６４０、ビーコン受信部２６５０、車内機器Ｉ／Ｆ２６６０、音声画像出力部２６７０、車載ネットワークＩ／Ｆ２６８０及び記憶部２６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。
【０２２０】
駆動系制御ユニット２１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット２１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット２１００は、ＡＢＳ（Antilock  Brake  System）又はＥＳＣ（Electronic  Stability  Control）等の制御装置としての機能を有してもよい。
【０２２１】
駆動系制御ユニット２１００には、車両状態検出部２１１０が接続される。車両状態検出部２１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット２１００は、車両状態検出部２１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
【０２２２】
ボディ系制御ユニット２２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット２２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット２２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット２２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
【０２２３】
バッテリ制御ユニット２３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池２３１０を制御する。例えば、バッテリ制御ユニット２３００には、二次電池２３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット２３００は、これらの信号を用いて演算処理を行い、二次電池２３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
【０２２４】
車外情報検出ユニット２４００は、車両制御システム２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット２４００には、撮像部２４１０及び車外情報検出部２４２０のうちの少なくとも一方が接続される。撮像部２４１０には、ＴｏＦ（Time  Of  Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部２４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム２０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサが含まれる。
【０２２５】
環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light  Detection  and  Ranging、Laser  Imaging  Detection  and  Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部２４１０及び車外情報検出部２４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
【０２２６】
ここで、図２２は、撮像部２４１０及び車外情報検出部２４２０の設置位置の例を示す。撮像部２９１０，２９１２，２９１４，２９１６，２９１８は、例えば、車両２９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部２９１０及び車室内のフロントガラスの上部に備えられる撮像部２９１８は、主として車両２９００の前方の画像を取得する。サイドミラーに備えられる撮像部２９１２，２９１４は、主として車両２９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部２９１６は、主として車両２９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部２９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
【０２２７】
なお、図２２には、それぞれの撮像部２９１０，２９１２，２９１４，２９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部２９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部２９１２，２９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部２９１６の撮像範囲を示す。例えば、撮像部２９１０，２９１２，２９１４，２９１６で撮像された画像データが重ね合わせられることにより、車両２９００を上方から見た俯瞰画像が得られる。
【０２２８】
車両２９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部２９２０，２９２２，２９２４，２９２６，２９２８，２９３０は、例えば超音波センサ又はレーダ装置であってよい。車両２９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部２９２０，２９２６，２９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部２９２０〜２９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。
【０２２９】
図２１に戻って説明を続ける。車外情報検出ユニット２４００は、撮像部２４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット２４００は、接続されている車外情報検出部２４２０から検出情報を受信する。車外情報検出部２４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット２４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット２４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット２４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット２４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。
【０２３０】
また、車外情報検出ユニット２４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット２４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部２４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット２４００は、異なる撮像部２４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。
【０２３１】
車内情報検出ユニット２５００は、車内の情報を検出する。車内情報検出ユニット２５００には、例えば、運転者の状態を検出する運転者状態検出部２５１０が接続される。運転者状態検出部２５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット２５００は、運転者状態検出部２５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット２５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
【０２３２】
統合制御ユニット２６００は、各種プログラムにしたがって車両制御システム２０００内の動作全般を制御する。統合制御ユニット２６００には、入力部２８００が接続されている。入力部２８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。入力部２８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム２０００の操作に対応した携帯電話又はＰＤＡ（Personal  Digital  Assistant）等の外部接続機器であってもよい。入力部２８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。さらに、入力部２８００は、例えば、上記の入力部２８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット２６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部２８００を操作することにより、車両制御システム２０００に対して各種のデータを入力したり処理動作を指示したりする。
【０２３３】
記憶部２６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＡＭ（Random  Access  Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＯＭ（Read  Only  Memory）を含んでいてもよい。また、記憶部２６９０は、ＨＤＤ（Hard  Disc  Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。
【０２３４】
汎用通信Ｉ／Ｆ２６２０は、外部環境２７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ２６２０は、ＧＳＭ（登録商標）（Global  System  of  Mobile  communications）、ＷｉＭＡＸ、ＬＴＥ（Long  Term  Evolution）若しくはＬＴＥ−Ａ（LTE−Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ−Ｆｉ（登録商標）ともいう）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ２６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ２６２０は、例えばＰ２Ｐ（Peer  To  Peer）技術を用いて、車両の近傍に存在する端末（例えば、歩行者若しくは店舗の端末、又はＭＴＣ（Machine  Type  Communication）端末）と接続してもよい。
【０２３５】
専用通信Ｉ／Ｆ２６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ２６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless  Access  in  Vehicle  Environment）、又はＤＳＲＣ（Dedicated  Short  Range  Communications）といった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ２６３０は、典型的には、車車間（Vehicle  to  Vehicle）通信、路車間（Vehicle  to  Infrastructure）通信及び歩車間（Vehicle  to  Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。
【０２３６】
測位部２６４０は、例えば、ＧＮＳＳ（Global  Navigation  Satellite  System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global  Positioning  System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部２６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。
【０２３７】
ビーコン受信部２６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部２６５０の機能は、上述した専用通信Ｉ／Ｆ２６３０に含まれてもよい。
【０２３８】
車内機器Ｉ／Ｆ２６６０は、マイクロコンピュータ２６１０と車内に存在する様々な機器との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ２６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near  Field  Communication）又はＷＵＳＢ（Wireless  USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ２６６０は、図示しない接続端子（及び、必要であればケーブル）を介して有線接続を確立してもよい。車内機器Ｉ／Ｆ２６６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器との間で、制御信号又はデータ信号を交換する。
【０２３９】
車載ネットワークＩ／Ｆ２６８０は、マイクロコンピュータ２６１０と通信ネットワーク２０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ２６８０は、通信ネットワーク２０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。
【０２４０】
統合制御ユニット２６００のマイクロコンピュータ２６１０は、汎用通信Ｉ／Ｆ２６２０、専用通信Ｉ／Ｆ２６３０、測位部２６４０、ビーコン受信部２６５０、車内機器Ｉ／Ｆ２６６０及び車載ネットワークＩ／Ｆ２６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム２０００を制御する。例えば、マイクロコンピュータ２６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット２１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ２６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、自動運転等を目的とした協調制御を行ってもよい。
【０２４１】
マイクロコンピュータ２６１０は、汎用通信Ｉ／Ｆ２６２０、専用通信Ｉ／Ｆ２６３０、測位部２６４０、ビーコン受信部２６５０、車内機器Ｉ／Ｆ２６６０及び車載ネットワークＩ／Ｆ２６８０のうちの少なくとも一つを介して取得される情報に基づき、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ２６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
【０２４２】
音声画像出力部２６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図２１の例では、出力装置として、オーディオスピーカ２７１０、表示部２７２０及びインストルメントパネル２７３０が例示されている。表示部２７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部２７２０は、ＡＲ（Augmented  Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ２６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
【０２４３】
なお、図２１に示した例において、通信ネットワーク２０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム２０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク２０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク２０１０を介して相互に検出情報を送受信してもよい。
【０２４４】
以上説明した車両制御システム２０００において、図４のステレオカメラ４１は、例えば、図２１の撮像部２４１０に適用することができる。図４のレーザレーダ４２は、例えば、図２１の車外情報検出部２４２０に適用することができる。また、図４の信号処理装置４３は、例えば、図２１の車外情報検出ユニット２４００に適用することができる。
【０２４５】
図４のステレオカメラ４１を、図２１の撮像部２４１０に適用する場合、ステレオカメラ４１は、例えば、図２２の、車室内のフロントガラスの上部に備えられる撮像部２９１８として設置することができる。
【０２４６】
図４のレーザレーダ４２を、図２１の車外情報検出部２４２０に適用する場合、レーザレーダ４２は、例えば、図２２の、車室内のフロントガラスの上部に備えられる車外情報検出部２９２６として設置することができる。
【０２４７】
この場合、信号処理装置４３としての車外情報検出ユニット２４００は、ステレオカメラ４１としての撮像部２４１０と、レーザレーダ４２としての車外情報検出部２９２６との相対位置関係を、高精度に検出することができる。
【０２４８】
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
【０２４９】
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０２５０】
本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０２５１】
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０２５２】
例えば、上述した複数の実施の形態の全てまたは一部を組み合わせた形態を採用することができる。信号処理システム２１は、第１の実施の形態または第２の実施の形態のいずれか一方の構成のみを有するものでもよいし、両方の構成を有し、第１のキャリブレーション処理と第２のキャリブレーション処理を、適宜選択して実行してもよい。
【０２５３】
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０２５４】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０２５５】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０２５６】
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、本明細書に記載されたもの以外の効果があってもよい。
【０２５７】
なお、本技術は以下のような構成も取ることができる。
（１）
第１のセンサから得られる第１の座標系における複数の平面と第２のセンサから得られる第２の座標系における複数の平面との対応関係に基づいて、前記第１の座標系と前記第２の座標系の位置関係を推定する位置関係推定部を備える
信号処理装置。
（２）
前記第１のセンサから得られる前記第１の座標系における複数の平面と前記第２のセンサから得られる前記第２の座標系における複数の平面との前記対応関係を検出する平面対応検出部をさらに備える
前記（１）に記載の信号処理装置。
（３）
前記平面対応検出部は、前記第１の座標系と前記第２の座標系の事前の位置関係情報である事前配置情報を用いて、前記第１の座標系における複数の平面と前記第２の座標系における複数の平面との前記対応関係を検出する
前記（２）に記載の信号処理装置。
（４）
前記平面対応検出部は、前記事前配置情報を用いて前記第１の座標系における複数の平面を前記第２の座標系に変換した前記複数の変換平面と前記第２の座標系における複数の平面との前記対応関係を検出する
前記（３）に記載の信号処理装置。
（５）
前記平面対応検出部は、平面の法線どうしの内積の絶対値と平面上の点群の重心どうしの距離の絶対値とを用いた演算式で表されるコスト関数に基づいて、前記第１の座標系における複数の平面と前記第２の座標系における複数の平面との前記対応関係を検出する
前記（３）に記載の信号処理装置。
（６）
前記位置関係推定部は、前記第１の座標系と前記第２の座標系の位置関係として、回転行列と並進ベクトルを推定する
前記（１）乃至（５）のいずれかに記載の信号処理装置。
（７）
前記位置関係推定部は、前記第１の座標系上の平面の法線ベクトルに回転行列を乗算したベクトルと前記第２の座標系上の平面の法線ベクトルとの内積を最大化する回転行列を、前記回転行列として推定する
前記（６）に記載の信号処理装置。
（８）
前記位置関係推定部は、ピーク法線ベクトルを、前記第１の座標系上の平面の法線ベクトルまたは前記第２の座標系上の平面の法線ベクトルとして用いる
前記（７）に記載の信号処理装置。
（９）
平面を表す平面方程式は、法線ベクトルと係数部で表され、
前記位置関係推定部は、前記第１の座標系上の平面の前記平面方程式を前記第２の座標系上に変換した変換平面方程式の係数部と、前記第２の座標系上の平面の前記平面方程式の係数部が等しいとした式を解くことにより、前記並進ベクトルを推定する
前記（６）に記載の信号処理装置。
（１０）
前記位置関係推定部は、前記第１の座標系上の３平面の交点と前記第２の座標系上の３平面の交点とが共通の点であるとして、前記並進ベクトルを推定する
前記（６）に記載の信号処理装置。
（１１）
前記第１のセンサから得られる第１の座標系の３次元座標値から、前記第１の座標系における複数の平面を検出する第１平面検出部と、
前記第２のセンサから得られる第２の座標系の３次元座標値から、前記第２の座標系における複数の平面を検出する第２平面検出部と
をさらに備える
前記（１）乃至（１０）のいずれかに記載の信号処理装置。
（１２）
前記第１のセンサが出力する第１のセンサ信号から、前記第１の座標系の３次元座標値を算出する第１座標値算出部と、
前記第２のセンサが出力する第２のセンサ信号から、前記第２の座標系の３次元座標値を算出する第２座標値算出部と
をさらに備える
前記（１１）に記載の信号処理装置。
（１３）
前記第１のセンサは、ステレオカメラであり、
前記第１のセンサ信号は、前記ステレオカメラが出力する基準カメラ画像と参照カメラ画像の２枚の画像の画像信号である
前記（１２）に記載の信号処理装置。
（１４）
前記第２のセンサは、レーザレーダであり、
前記第２のセンサ信号は、前記レーザレーダが照射したレーザ光の回転角度と、前記レーザ光が所定の物体に反射して返ってきた反射光を受光するまでの時間である
前記（１２）または（１３）に記載の信号処理装置。
（１５）
前記第１平面検出部と前記第２平面検出部は、１フレームに１つの平面を検出する処理を複数回行うことで、前記複数の平面を検出する
前記（１１）に記載の信号処理装置。
（１６）
１つの平面を検出する処理ごとに平面の向きが変更される
前記（１５）に記載の信号処理装置。
（１７）
前記第１平面検出部と前記第２平面検出部は、１フレームに複数の平面を検出する処理を行うことで、前記複数の平面を検出する
前記（１１）に記載の信号処理装置。
（１８）
信号処理装置が、
第１のセンサから得られる第１の座標系における複数の平面と第２のセンサから得られる第２の座標系における複数の平面との対応関係に基づいて、前記第１の座標系と前記第２の座標系の位置関係を推定する
ステップを含む信号処理方法。
【符号の説明】
【０２５８】
２１  信号処理システム，  ４１  ステレオカメラ，  ４２  レーザレーダ，  ４３  信号処理装置，  ６１  マッチング処理部，  ６２,６３  ３次元デプス算出部，  ６４,６５  平面検出部，  ６６  平面対応検出部，  ６７  記憶部，  ６８  位置関係推定部，  ８１,８２  法線検出部，  ８３,８４  法線ピーク検出部，  ８５  ピーク対応検出部，  ８６  位置関係推定部，  ２０１  CPU，  ２０２  ROM，  ２０３  RAM，  ２０６  入力部，  ２０７  出力部，  ２０８  記憶部，  ２０９  通信部，  ２１０  ドライブ
【図１】
2017159382.tif 000003
【図２】
2017159382.tif 000004
【図３】
2017159382.tif 000005
【図４】
2017159382.tif 000006
【図５】
2017159382.tif 000007
【図６】
2017159382.tif 000008
【図７】
2017159382.tif 000009
【図８】
2017159382.tif 000010
【図９】
2017159382.tif 000011
【図１０】
2017159382.tif 000012
【図１１】
2017159382.tif 000013
【図１２】
2017159382.tif 000014
【図１３】
2017159382.tif 000015
【図１４】
2017159382.tif 000016
【図１５】
2017159382.tif 000017
【図１６】
2017159382.tif 000018
【図１７】
2017159382.tif 000019
【図１８】
2017159382.tif 000020
【図１９】
2017159382.tif 000021
【図２０】
2017159382.tif 000022
【図２１】
2017159382.tif 000023
【図２２】
2017159382.tif 000024
【国際調査報告】
2017159382.tif 000025
2017159382.tif 000026
2017159382.tif 000027
2017159382.tif 000028