(57)【要約】  本技術は、物体までの距離を精度良く求めることを可能とすることができるようにする情報処理装置、情報処理方法、及び、プログラムに関する。尤度算出部は、複数の測距方法それぞれについて、その測距方法で得られる情報から、物体までの距離が複数の距離それぞれである距離尤度を算出し、統合部は、複数の測距方法についての距離尤度を統合し、複数の距離それぞれの統合尤度を求める。本技術は、例えば、物体までの距離を求め、その距離を用いて、自動車等を運転する運転者を支援する場合等に適用することができる。
2017057056.tif 000002
【特許請求の範囲】
【請求項１】
複数の測距方法それぞれについて、その測距方法で得られる情報から、物体までの距離が複数の距離それぞれである距離尤度を算出する尤度算出部と、
前記複数の測距方法についての前記距離尤度を統合し、前記複数の距離それぞれの統合尤度を求める統合部と
を備える情報処理装置。
【請求項２】
前記統合尤度を用いて、前記物体までの距離を求める距離算出部をさらに備える
請求項１に記載の情報処理装置。
【請求項３】
前記物体までの距離を用いて、障害物に関する障害物情報を生成する生成部をさらに備える
請求項２に記載の情報処理装置。
【請求項４】
前記統合部は、前回得られた前記距離又は前記障害物情報を用いて、前記複数の測距方法についての前記距離尤度を統合する
請求項３に記載の情報処理装置。
【請求項５】
前記複数の測距方法の測距に用いられる複数のセンサが出力するセンサデータを同期させる同期部をさらに備える
請求項１に記載の情報処理装置。
【請求項６】
前記複数の測距方法の測距に用いられるセンサは、ステレオカメラ、レーダ、ToFセンサ、及び、ライダのうちの２以上のセンサである
請求項１に記載の情報処理装置。
【請求項７】
複数の測距方法それぞれについて、その測距方法で得られる情報から、物体までの距離が複数の距離それぞれである距離尤度を算出することと、
前記複数の測距方法についての前記距離尤度を統合し、前記複数の距離それぞれの統合尤度を求めることと
を含む情報処理方法。
【請求項８】
複数の測距方法それぞれについて、その測距方法で得られる情報から、物体までの距離が複数の距離それぞれである距離尤度を算出する尤度算出部と、
前記複数の測距方法についての前記距離尤度を統合し、前記複数の距離それぞれの統合尤度を求める統合部と
して、コンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、情報処理装置、情報処理方法、及び、プログラムに関し、特に、例えば、物体までの距離を精度良く求めることを可能とすることができるようにする情報処理装置、情報処理方法、及び、プログラムに関する。
【背景技術】
【０００２】
例えば、自動車等の車両に搭載したカメラやミリ波レーダ等のセンサが出力するセンサデータから、車外の物体までの距離や物体の動き量を求め、その距離や動き量を用いて、車両を運転する運転者を支援するADAS(Advanced Driver Assistance System)等の技術が提案されている。【０００３】
カメラやミリ波レーダ等のセンサのセンサデータから求められる距離や動き量は、例えば、環境やセンシング対象の物体等によって精度が変化する。そこで、最近では、カメラ及びミリ波レーダ等の複数（種類）のセンサを、車両に搭載し、その複数のセンサそれぞれのセンサデータを総合的に用いて、距離や動き量を求めるフュージョンと呼ばれる技術が提案されている。【０００４】
例えば、特許文献１には、複数のセンサそれぞれについて、立体物の存在確率を、センサの出力値の真値を中心とする正規分布に基づいて算出し、その存在確率を、センサの認識率に基づいて補正し、複数のセンサそれぞれについての補正後の存在確率をフュージョンして、総合存在確率として設定する技術が提案されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開2007-310741号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
最近では、物体までの距離を精度良く求めることを可能とする技術の提案が要請されている。【０００７】
本技術は、このような状況になされたものであり、物体までの距離を精度良く求めることを可能とすることができるようにするものである。
【課題を解決するための手段】
【０００８】
本技術の情報処理装置、又は、プログラムは、複数の測距方法それぞれについて、その測距方法で得られる情報から、物体までの距離が複数の距離それぞれである距離尤度を算出する尤度算出部と、前記複数の測距方法についての前記距離尤度を統合し、前記複数の距離それぞれの統合尤度を求める統合部とを備える情報処理装置、又は、そのような情報処理装置として、コンピュータを機能させるためのプログラムである。【０００９】
本技術の情報処理方法は、複数の測距方法それぞれについて、その測距方法で得られる情報から、物体までの距離が複数の距離それぞれである距離尤度を算出することと、前記複数の測距方法についての前記距離尤度を統合し、前記複数の距離それぞれの統合尤度を求めることとを含む情報処理方法である。【００１０】
本技術の情報処理装置、情報処理方法、及び、プログラムにおいては、複数の測距方法それぞれについて、その測距方法で得られる情報から、物体までの距離が複数の距離それぞれである距離尤度が算出される。そして、前記複数の測距方法についての前記距離尤度が統合され、前記複数の距離それぞれの統合尤度が求められる。【００１１】
なお、情報処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。【００１２】
また、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
【発明の効果】
【００１３】
本技術によれば、物体までの距離を精度良く求めることを可能とすることができる。【００１４】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１５】
【図１】本技術を適用した走行制御装置の一実施の形態の構成例の概要を示すブロック図である。
【図２】サンプリング点を説明する図である。
【図３】走行制御装置の処理の例を説明するフローチャートである。
【図４】統合方式の効果を説明する図である。
【図５】本技術を適用した走行制御装置の第１の詳細構成例を示すブロック図である。
【図６】同期部２４での同期を説明する図である。
【図７】走行制御装置の処理の例を説明するフローチャートである。
【図８】ステレオカメラ２１のセンサデータから、ステレオカメラ２１についての距離尤度を求める処理の例を説明するフローチャートである。
【図９】ミリ波レーダ２２のセンサデータから、ミリ波レーダ２２についての距離尤度を求める処理の例を説明するフローチャートである。
【図１０】統合方式の概要を説明する図である。
【図１１】統合の処理の負荷を軽減する軽減処理の概要を説明する図である。
【図１２】本技術を適用した走行制御装置の第２の詳細構成例を示すブロック図である。
【図１３】ToFセンサ５１についての距離尤度の算出方法の例を説明する図である。
【図１４】ToF５１のセンサデータから、ToFセンサ５１についての距離尤度を求める処理の例を説明するフローチャートである。
【図１５】本技術を適用した走行制御装置の第３の詳細構成例を示すブロック図である。
【図１６】本技術を適用した走行制御装置の第４の詳細構成例を示すブロック図である。
【図１７】走行制御装置の処理の例を説明するフローチャートである。
【図１８】ステレオカメラ２１のセンサデータから、ステレオカメラ２１についての動き量尤度を求める処理の例を説明するフローチャートである。
【図１９】ミリ波レーダ２２のセンサデータから、ミリ波レーダ２２についての動き量尤度を求める処理の例を説明するフローチャートである。
【図２０】本技術を適用した走行制御装置の第５の詳細構成例を示すブロック図である。
【図２１】本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【発明を実施するための形態】
【００１６】
＜本技術を適用した走行制御装置の一実施の形態の概要＞
【００１７】
図１は、本技術を適用した走行制御装置の一実施の形態の構成例の概要を示すブロック図である。
【００１８】
走行制御装置は、例えば、自動車等の車両や、船舶、潜水艦、飛行機、ドローン等の移動体等に搭載され、その移動体の走行（移動）を制御する。
【００１９】
なお、本実施の形態では、走行制御装置は、例えば、自動車に搭載されることとする。
【００２０】
図１において、走行制御装置は、複数であるＮ個のセンサ１１1，１１2，・・・，１１N、尤度算出部１２、正規化部１３、統合部１４、距離／動き量算出部１５、及び、走行制御部１６を有する。
【００２１】
走行制御装置は、その走行制御装置が搭載される自動車を運転する運転者を支援するための各種の走行制御を行う。
【００２２】
センサ１１n（ｎ＝１，２，・・・，Ｎ）は、所定の測距方法の測距や、所定の動き検出方法の動き量の検出に用いられるセンサで、所定の物理量をセンシングし、そのセンシングの結果であるセンサデータを、尤度算出部１２に供給する。
【００２３】
ここで、センサ１１nとしては、例えば、１眼のカメラや、ステレオカメラ等の多眼のカメラ、ミリ波レーダ等のレーダ、ToF(Time of Flight)センサ、ライダ(Lidar)、その他の測距や動き量の検出が可能な任意のセンサを採用することができる。
【００２４】
また、センサ１１nとセンサ１１n'（ｎ≠ｎ’）とは、異なる種類のセンサであり、したがって、異なる測距方法の測距や、異なる動き検出方法での動き量の検出に用いられる。
【００２５】
図１の走行制御装置は、以上のような複数のセンサ１１1ないし１１N、すなわち、異なる測距方法の測距や、異なる動き検出方法での動き量の検出に用いられる複数（種類）のセンサ１１1ないし１１Nを有するので、複数（種類）の測距方法での測距や、複数（種類）の動き検出方法での動き量の検出が行われる。
【００２６】
したがって、１の測距方法や動き検出方法は、１のセンサ１１nに対応する。
【００２７】
なお、センサ１１1ないし１１Nは、例えば、自動車の車内の天井前方や、自動車のフロントの先端等に配置され、自動車の前方の物体までの距離や、その物体の動き量を求めるセンサデータを出力する。
【００２８】
尤度算出部１２は、複数であるＮ個のセンサ１１1ないし１１Nそれぞれについて、センサ１１nのセンサデータ（センサ１１nが出力するセンサデータ）から、物体までの距離が複数の距離それぞれである距離尤度を算出する。
【００２９】
すなわち、いま、センサ１１nのセンサデータから、△Zの精度で、0ないし△Z×Kの範囲の距離を検出することができることとする。尤度算出部１２は、物体までの距離が、複数であるK+1個の距離0，△Z，△Z×2，・・・，△Z×Kそれぞれである距離尤度を算出する。
【００３０】
なお、異なるセンサ１１nとセンサ１１n'とでは、検出することができる距離の精度や範囲が異なることがあり、したがって、距離尤度が算出される複数の距離が異なることがある。
【００３１】
尤度算出部１２は、複数のセンサ１１1ないし１１Nそれぞれについて、センサ１１nのセンサデータから、物体までの距離が複数の距離それぞれである距離尤度を算出する他、その物体の動き量が複数の動き量それぞれである動き量尤度を算出する。
【００３２】
尤度算出部１２は、複数のセンサ１１1ないし１１Nそれぞれについて算出された複数の距離それぞれの距離尤度、及び、複数の動き量それぞれの動き量尤度を、正規化部１３に供給する。
【００３３】
正規化部１３は、尤度算出部１２からの複数のセンサ１１1ないし１１Nそれぞれについての複数の距離それぞれの距離尤度を正規化する。
【００３４】
ここで、上述したように、異なるセンサ１１nとセンサ１１n'とについては、距離尤度が算出される複数の距離が異なることがある。
【００３５】
すなわち、いま、K≠K'、及び、△Z≠△Z'であるとして、センサ１１nについては、K+1個の距離0，△Z，△Z×2，・・・，△Z×Kの距離尤度が求められ、センサ１１n'については、K'+1個の距離0，△Z'，△Z'×2，・・・，△Z'×K'の距離尤度が求められることがある。
【００３６】
以上のように、異なるセンサ１１nとセンサ１１n'とについては、距離尤度が算出される距離や、距離尤度が算出される複数の距離の、いわば粒度が異なることがある。
【００３７】
そこで、正規化部１３では、Ｎ個のセンサ１１1ないし１１Nすべてについて、距離尤度が存在する複数の距離を一致させる正規化が行われる。
【００３８】
正規化は、例えば、補間により、距離尤度が存在する複数の距離の数（上述のKやK'に相当する）を増加させるアップサンプリングによって行うことができる。
【００３９】
正規化部１３は、尤度算出部１２からのＮ個のセンサ１１1ないし１１Nそれぞれについての複数の動き量それぞれの動き量尤度の正規化も、距離尤度の正規化と同様にして行う。
【００４０】
そして、正規化部１３は、Ｎ個のセンサ１１1ないし１１Nそれぞれについての正規化後の距離尤度及び動き量尤度を、統合部１４に供給する。
【００４１】
統合部１４は、Ｎ個のセンサ１１1ないし１１Nそれぞれについての複数の距離それぞれの距離尤度を、複数の距離それぞれごとに統合する。
【００４２】
すなわち、いま、正規化後の距離尤度が存在する複数の距離のうちのある距離zを、注目する注目距離zとすると、正規化部１３での正規化後は、Ｎ個のセンサ１１1ないし１１Nのすべてについて、注目距離zの距離尤度が存在する。
【００４３】
統合部１４は、Ｎ個のセンサ１１1ないし１１Nそれぞれについての注目距離zの距離尤度、すなわち、Ｎ個の距離尤度を統合し、注目距離zの統合尤度を求める。
【００４４】
ここで、Ｎ個の距離尤度の統合は、例えば、ベイズ方式、すなわち、Ｎ個の距離尤度の積をとること（距離尤度が対数尤度である場合には、和をとること）によって行うことができる。
【００４５】
また、Ｎ個の距離尤度の統合は、例えば、Ｎ個の距離尤度を入力として、１個の統合尤度を出力する学習モデルの学習をあらかじめ行っておき、その学習モデルに、Ｎ個の距離尤度を入力として与えることにより行うことができる。
【００４６】
統合部１４は、以上のようにして、Ｎ個のセンサ１１1ないし１１Nそれぞれについての複数の距離それぞれの距離尤度を、複数の距離それぞれごとに統合し、複数の距離それぞれの統合尤度を求めて、距離／動き量算出部１５に供給する。
【００４７】
さらに、統合部１４は、距離尤度の統合と同様にして、Ｎ個のセンサ１１1ないし１１Nそれぞれについての複数の動き量それぞれの動き量尤度を、複数の動き量それぞれごとに統合し、その結果得られる複数の動き量それぞれの統合尤度を、距離／動き量算出部１５に供給する。
【００４８】
距離／動き量算出部１５は、統合部１４からの複数の距離それぞれの統合尤度を用いて、物体までの距離を求め、走行制御部１６に供給する。すなわち、距離／動き量算出部１５は、例えば、統合部１４からの複数の距離それぞれの統合尤度のうちの、最大の統合尤度の距離を、物体までの距離として求め、走行制御部１６に供給する。
【００４９】
また、距離／動き量算出部１５は、統合部１４からの複数の動き量それぞれの統合尤度を用いて、物体の動き量を求め、走行制御部１６に供給する。すなわち、距離／動き量算出部１５は、例えば、統合部１４からの複数の動き量それぞれの統合尤度のうちの、最大の統合尤度の動き量を、物体の動き量として求め、走行制御部１６に供給する。
【００５０】
走行制御部１６は、距離／動き量算出部１５から供給される物体までの距離や、物体の動き量を、必要に応じて用いて、自動車の走行制御を行う。
【００５１】
すなわち、走行制御部１６は、距離／動き量算出部１５から供給される物体までの距離や、物体の動き量を、必要に応じて用いて、例えば、自動車の前方に存在する障害物に関する障害物情報としての障害物マップを生成する。そして、走行制御部１６は、障害物マップを用いて、障害物の存在の警告や、ブレーキの制御等を行う。
【００５２】
図２は、サンプリング点を説明する図である。
【００５３】
ここで、サンプリング点とは、図１の尤度算出部１２において、距離尤度や動き量尤度が算出される位置（点）を意味する。
【００５４】
また、センサ１１nは、センシングの対象である物理量としての光等の信号を受信（受光）する受信部（受光部）を有するが、本実施の形態では、図１の走行制御装置が搭載された自動車の前方を、z方向とするとともに、z方向に直交し、センサ１１nの受信部の受信部分を通る平面上の水平方向（左右方向）及び垂直方向（上下方向）を、それぞれ、x方向及びy方向とする３次元（直交）座標系によって、３次元の位置(x,y,z)、及び、２次元の位置(x,y)を表すこととする。
【００５５】
例えば、センサ１１nがステレオカメラである場合、位置(x,y)は、そのステレオカメラ（を構成する２個のカメラのうちの一方のカメラ）で撮影される画像（例えば、後述する基準画像）の画素の位置を表し、位置(x,y,z)は、位置(x,y)の画素に映る物体までの距離がzであることを表す。
【００５６】
位置(x,y,z)は、実空間の位置、すなわち、位置(x,y)の画素に映る物体の実空間の位置に変換することができる。
【００５７】
以下、サンプリング点について、距離尤度を例に説明する。
【００５８】
例えば、あるセンサ１１nが、ステレオカメラである場合には、そのステレオカメラであるセンサ１１nのセンサデータとしては、視点の異なる２枚の画像が得られる。
【００５９】
この２枚の画像のうちの一方を基準画像というとともに、他方を参照画像ということとすると、基準画像の各画素については、参照画像との視差が、各値の視差量D1,D2,...であると仮定したときの、その視差量D1,D2,...それぞれの尤度を求めることができる。
【００６０】
いま、基準画像のある画素を、注目する注目画素とすると、注目画素について、参照画像との視差が、視差量D1,D2,...であると仮定したときの、その視差量D1,D2,...それぞれの距離尤度は、注目画素に映る物体までの距離が、視差量D1,D2,...に対応する距離z1,z2,...であると仮定したときの、その距離z1,z2,...それぞれの距離尤度として用いることができる。
【００６１】
したがって、注目画素の位置(x,y)に対して、その位置(x,y)の距離z（位置(x,y)の画素に映る物体までの距離z）が、距離z1,z2,...であるときの距離尤度を得ることができる。
【００６２】
以上のように、距離尤度は、位置(x,y,z)に対して得ることができ、このように、距離尤度が得られる位置(x,y,z)が、サンプリング点である。
【００６３】
例えば、あるセンサ１１nが、レーダである場合には、そのレーダであるセンサ１１nのセンサデータ（アングルレンジマップ）からは、各方向rの物体までの距離dが、距離d1,d2,...であると仮定したときの、その距離d1,d2,...それぞれの尤度を、距離尤度として求めることができる。
【００６４】
レーダについて、距離尤度が得られる方向r及び距離dは、それぞれ、極座標系の偏角及距離であり、その方向r及び距離dの位置は、座標変換によって、３次元座標系の位置(x,y,z)に変換することができる。
【００６５】
したがって、レーダについても、ステレオカメラの場合と同様に、３次元座標系の位置(x,y,z)をサンプリング点として、そのサンプリング点に対して、距離尤度を得ることができる。
【００６６】
例えば、あるセンサ１１nが、ToFセンサである場合には、ToFセンサでは、例えば、高速で照射された多数の送信パルスが、マトリクス状に配置された複数の受光部で受光される。そして、各受光部で受光された送信パルスである受信信号から、受光部の位置(x,y)の距離L（位置(x,y)の受光部で受光された受信信号に対応する送信パルスが反射された物体までの距離）が求められる。
【００６７】
ToFセンサでは、所定の時間Tとしての時間フレームTの間に送信された複数の送信パルスに対して、受光部が受光する複数の受信信号それぞれから、複数の距離Lが求められる。そして、時間フレームTの間に得られた複数の距離Lの平均値等が、受光部の位置(x,y)の最終的な距離zとして求められる。
【００６８】
センサ１１nが、ToFセンサである場合には、そのToFセンサであるセンサ１１nのセンサデータとして、例えば、時間フレームTの間に求められる複数の距離Lを得ることができる。
【００６９】
そして、時間フレームTの複数の距離Lの分布に基づき、受光部の位置(x,y)の距離が、距離z1,z2,...であるときの距離尤度を得ることができる。
【００７０】
したがって、ToFセンサについても、ステレオカメラの場合と同様に、３次元座標系の位置(x,y,z)をサンプリング点として、そのサンプリング点に対して、距離尤度を得ることができる。
【００７１】
なお、異なるセンサ１１nと１１n'とでは、すなわち、例えば、ステレオカメラ、レーダ、及び、ToFセンサのうちの任意の２個のセンサでは、測距方法等の相違から、距離尤度が求められるサンプリング点の位置(x,y,z)（及び粒度）が異なることがある。
【００７２】
図１の正規化部１３では、Ｎ個のセンサ１１1ないし１１Nすべてについて、距離尤度が存在するサンプリング点を一致させる正規化が、例えば、補間によりサンプリング点の数を増加させるアップサンプリングによって行われる。
【００７３】
図２では、３個のセンサ１１1ないし１１3としてのステレオカメラ、レーダ、及び、ToFセンサについて、サンプリング点のx,y,z方向の粒度を、所定の△x，△y，△zにする正規化が行われている。
【００７４】
以上のような正規化によって、異なる測距方法のステレオカメラ、レーダ、及び、ToFセンサそれぞれから得られる距離尤度のサンプリング点が一致する。
【００７５】
その結果、図１の統合部１４では、異なる測距方法のステレオカメラ、レーダ、及び、ToFセンサそれぞれから得られる距離尤度を、サンプリング点の単位で統合し、サンプリング点ごとの統合尤度を求めることができる。
【００７６】
以上の点、動き量尤度についても、同様である。
【００７７】
なお、距離尤度については、３次元座標系の位置としてのサンプリング点(x,y,z)に対して、距離zの尤度が求められるが、動き量尤度については、x,y,z方向の動き量を、vx,vy,vzと表すこととすると、６次元（直交）座標系の位置としてのサンプリング点(x,y,z,vx,vy,vz)に対して、動き量(vx,vy,vz)の尤度が求められる。
【００７８】
図３は、図１の走行制御装置の処理の例を説明するフローチャートである。
【００７９】
ステップＳ１１において、Ｎ個のセンサ１１1ないし１１Nは、センシングを行い、そのセンシングの結果得られるセンサデータを、尤度算出部１２に供給して、処理は、ステップＳ１２に進む。
【００８０】
ステップＳ１２では、尤度算出部１２は、Ｎ個のセンサ１１1ないし１１Nそれぞれについて、センサ１１nのセンサデータから、複数の距離zそれぞれの距離尤度、及び、複数の動き量(vx,vy,vz)それぞれの動き量尤度を算出する。そして、尤度算出部１２は、センサ１１1ないし１１Nそれぞれについての複数の距離zそれぞれの距離尤度、及び、複数の動き量(vx,vy,vz)それぞれの動き量尤度を、正規化部１３に供給し、処理は、ステップＳ１２からステップＳ１３に進む。
【００８１】
ステップＳ１３では、正規化部１３は、尤度算出部１２からの複数のセンサ１１1ないし１１Nそれぞれについての距離尤度について、距離尤度が存在するサンプリング点(x,y,z)を揃える（一致させる）正規化を行う。
【００８２】
さらに、正規化部１３は、尤度算出部１２からの複数のセンサ１１1ないし１１Nそれぞれについての動き量尤度について、動き量尤度が存在するサンプリング点(x,y,z,vx,vy,vz)を揃える正規化を行う。
【００８３】
そして、正規化部１３は、複数のセンサ１１1ないし１１Nそれぞれについての正規化後の距離尤度、及び、動き量尤度を、統合部１４に供給し、処理は、ステップＳ１３からステップＳ１４に進む。
【００８４】
なお、複数のセンサ１１1ないし１１Nそれぞれについての距離尤度のサンプリング点(x,y,z)を揃える正規化は、サンプリング点(x,y,z)の各方向、つまり、x方向、y方向、z方向それぞれについて、サンプリング点(x,y,z)の数が最大の距離尤度に揃えるように行うことができる。
【００８５】
すなわち、例えば、いま、複数のセンサ１１1ないし１１Nとして、ステレオカメラ及びレーダの２個のセンサを採用することとすると、ステレオカメラ（のセンサデータ）から求められる距離zの解像度は、レーダから求められる距離zの解像度よりも低い。
【００８６】
そのため、ステレオカメラについての距離尤度の正規化は、ステレオカメラについての距離尤度のサンプリング点(x,y,z)のz方向の位置及び数を、レーダについての距離尤度のサンプリング点(x,y,z)のz方向の位置及び数に揃えるように、ステレオカメラについての距離尤度（のサンプリング点(x,y,z)）の数が、補間により増加される。
【００８７】
また、レーダについては、方向（方位）の分解能である角度分解能が低いので、３次元座標系上では、レーダのx方向及びy方向の解像度は、ステレオカメラのx方向及びy方向の解像度よりも低い。
【００８８】
そのため、レーダについての距離尤度の正規化は、レーダについての距離尤度のサンプリング点(x,y,z)のx方向とy方向の位置及び数を、ステレオカメラについての距離尤度のサンプリング点(x,y,z)のx方向とy方向の位置及び数に、それぞれ揃えるように、レーダについての距離尤度（のサンプリング点(x,y,z)）の数が、補間により増加される。
【００８９】
ここで、距離尤度の正規化は、補間以外の方法によって行うことができる。
【００９０】
例えば、ステレオカメラについては、視差の検出を、画素より細かい精度で行うことで、距離zの解像度を向上させること、すなわち、ステレオカメラについての距離尤度のサンプリング点(x,y,z)のz方向の数を増加させることができ、これにより、ステレオカメラについての距離尤度のサンプリング点(x,y,z)のz方向の位置及び数を、レーダについての距離尤度のサンプリング点(x,y,z)のz方向の位置及び数に揃えることができる。
【００９１】
また、例えば、レーダについては、時間方向の超解像技術を用いることで、角度分解能を高くすること、すなわち、レーダについての距離尤度のサンプリング点(x,y,z)のx方向（及びy方向）の数を増加させることができ、これにより、レーダについての距離尤度のサンプリング点(x,y,z)のx方向の位置及び数を、ステレオカメラについての距離尤度のサンプリング点(x,y,z)のx方向の位置及び数に揃えることができる。
【００９２】
なお、レーダの距離尤度のサンプリング点(x,y,z)の数の増加は、３次元座標系上ではなく、その３次元座標系に変換する前の極座標系上で行うことができる。
【００９３】
さらに、サンプリング点(x,y,z)の数の増加は、上述の、画素より細かい精度での視差の検出や、時間方向の超解像技術と、補間とを組み合わせて行うことができる。
【００９４】
以上の点、動き量尤度の正規化についても、同様である。
【００９５】
ステップＳ１４では、統合部１４は、センサ１１1ないし１１Nそれぞれについての距離尤度を、サンプリング点(x,y,z)ごとに統合し、サンプリング点(x,y,z)ごとの距離の統合尤度を求める。さらに、統合部１４は、センサ１１1ないし１１Nそれぞれについての動き量尤度を、サンプリング点(x,y,z,vx,vy,vz)ごとに統合し、サンプリング点(x,y,z,vx,vy,vz)ごとの動き量の統合尤度を求める。
【００９６】
そして、統合部１４は、距離及び動き量それぞれの統合尤度を、距離／動き量算出部１５に供給し、処理は、ステップＳ１４からステップＳ１５に進む。
【００９７】
ステップＳ１５では、距離／動き量算出部１５は、統合部１４からの距離の統合尤度を用いて、物体までの距離を求め、走行制御部１６に供給する。すなわち、距離／動き量算出部１５は、例えば、統合部１４からのサンプリング点(x,y,z)ごとの距離の統合尤度について、各位置(x,y)に対して、距離の統合尤度が最も大きい距離zを求め、走行制御部１６に供給する。
【００９８】
さらに、距離／動き量算出部１５は、統合部１４からの動き量の統合尤度を用いて、物体の動き量を求め、走行制御部１６に供給する。すなわち、距離／動き量算出部１５は、例えば、統合部１４からのサンプリング点(x,y,z,vx,vy,vz)ごとの動き量の統合尤度について、各位置(x,y,z)に対して、動き量の統合尤度最もが大きい動き量(vx,vy,vz)を求め、又は、各位置(x,y)に対して、動き量の統合尤度が最も大きい動き量(vx,vy,vz)及び距離zを求め、走行制御部１６に供給する。
【００９９】
そして、処理は、ステップＳ１５からステップＳ１６に進み、走行制御部１６は、距離／動き量算出部１５から供給される距離zや動き量(vx,vy,vz)を、必要に応じて用いて、自動車の走行制御を行い、処理は終了する。
【０１００】
なお、図３のフローチャートに従った処理は、パイプラインで繰り返し行われる。
【０１０１】
図４は、センサ１１1ないし１１Nそれぞれについての距離尤度や動き量尤度を統合した統合尤度を用いて、物体までの距離や物体の動き量を求める方式（以下、統合方式ともいう）の効果を説明する図である。
【０１０２】
図１で説明したように、センサ１１nとしては、例えば、ステレオカメラやミリ波レーダを採用することができる。
【０１０３】
ステレオカメラ及びミリ波レーダによれば、物体までの距離を測定すること（測距を行うこと）ができる。
【０１０４】
ところで、ステレオカメラでは、画像の視差を検出することで測距を行うため、暗所では、測距の精度が劣化する。さらに、ストレオカメラでは、遠距離ほど、距離の分解能（解像度）が低下し、物体のテクスチャ（図柄）によって、測距の精度が変化する。また、ステレオカメラでは、雨や、雪、逆光等の外部環境によって、測距の精度が低下する。
【０１０５】
一方、ミリ波レーダでは、ミリ波を送信し、そのミリ波が物体で反射された反射光を受信することで測距を行うため、トンネル等での多重反射に弱く、多重反射（マルチパス）が生じる環境では、ゴーストが発生することがある。ゴーストは、その他、測距の対象の物体の位置や姿勢によって発生することもある。さらに、ミリ波レーダでは、垂直方向の位置の測距の解像度（y方向の解像度）が低いことや、路面のような、送信されるミリ波に対して角度が浅い物体を対象とする測距が困難であることがある。また、ミリ波レーダでは、方向（方位）の分解能である角度分解能が低く、測距の対象とする物体の材質によって、測距の精度が変化する。
【０１０６】
したがって、ステレオカメラだけで測距を行う場合や、ミリ波レーダだけで測距を行う場合には、測距の精度が低下することが、少なからず生じる。
【０１０７】
ところで、ステレオカメラとミリ波レーダとのように、異なる測距方法の複数のセンサについては、測距の精度が低下するケースが異なる。
【０１０８】
そこで、統合方式では、センサ１１1ないし１１Nそれぞれについての距離尤度を統合し、その結果得られる統合尤度を用いることで、物体までの距離を精度良く求める。
【０１０９】
図４は、３個のセンサ１１1ないし１１3それぞれから得られる各距離zの距離尤度と、その３個のセンサ１１1ないし１１3それぞれについての距離尤度を統合した統合尤度との例を示している。
【０１１０】
図４において、P1，P2，P3は、センサ１１1ないし１１3それぞれについての距離尤度を表す。
【０１１１】
距離尤度Pn（ここでは、n=1,2,3）は、信頼性が低い距離で小さくなる。また、距離尤度Pnは、その距離尤度Pnが得られたセンサ１１nの測距の精度が低下するケースでは、そのセンサ１１nで測距可能な距離の範囲等の広範囲に、小さい値で分散する。
【０１１２】
センサ１１nの測距の精度が低下するケースとしては、例えば、センサ１１nがステレオカメラである場合には、平坦な画像として映る物体までの距離の測距が行われるケース等がある。また、例えば、センサ１１nがToFセンサである場合には、黒い物体までの距離の測距が行われるケース等が、センサ１１nの測距の精度が低下するケースに該当する。さらに、例えば、センサ１１nがレーダである場合には、マルチパスが生じる状況で測距が行われるケースが、センサ１１nの測距の精度が低下するケースに該当する。
【０１１３】
図４では、センサ１１1ないし１１3のうちの、センサ１１1の測距の精度が低下する状況で、測距が行われている。そのため、センサ１１1についての距離尤度は、広範囲の距離zに亘って、小さい値で分散している。
【０１１４】
統合方式では、センサ１１1ないし１１Nそれぞれについての距離尤度P1ないしP3が統合され、統合尤度Pが求められる。すなわち、例えば、センサ１１1ないし１１Nそれぞれについての距離尤度P1ないしP3の積が、統合尤度Pとして求められる。
【０１１５】
統合尤度Pが、距離尤度P1ないしP3の積をとることで求められる場合、測距の精度が低いセンサ１１1についての距離尤度P1、すなわち、小さい値で分散する距離尤度P1は、どの距離zの統合尤度Pにも、ほとんど影響しない（ほぼ同じだけ影響する）。
【０１１６】
そのため、測距の精度が低いセンサ１１1についての距離尤度P1は、各距離zの統合尤度Pの優劣に影響しないので、そのような統合尤度Pが最大の距離zを、物体までの距離として算出することで、結果として、測距の精度が低いセンサ１１1を用いずに（信頼せずに）、物体までの距離を求めること、すなわち、物体までの距離を精度良く求めることができる。
【０１１７】
さらに、統合方式では、環境等にロバストな測距を行うことや、単一のセンサだけを用いた測距では達成することができない解像度での測距を行うことができる。
【０１１８】
例えば、ステレオカメラだけで測距を行う場合には、遠距離の解像度（分解能）が低下するが、２個のセンサ１１nと１１n'として、例えば、ステレオカメラとレーダを採用する場合には、遠距離でも、距離の解像度として、高解像度を実現することができる。
【０１１９】
なお、以上の点、動き量尤度を統合して、統合尤度を求め、その統合尤度を用いて、動き量(vx,vy,vz)を求める場合も、同様である。
【０１２０】
＜本技術を適用した走行制御装置の第１の詳細構成例＞
【０１２１】
図５は、本技術を適用した走行制御装置の第１の詳細構成例を示すブロック図である。
【０１２２】
図５において、走行制御装置は、ステレオカメラ２１、ミリ波レーダ２２、伝送部２３、同期部２４、尤度算出部２５、正規化部２６、統合部２７、距離算出部２８、障害物マップ生成部２９、走行制御部３０、及び、バッファ３１を有する。
【０１２３】
ステレオカメラ２１及びミリ波レーダ２２は、図１のＮ個のセンサ１１1ないし１１Nに相当する。
【０１２４】
ステレオカメラ２１は、２個のカメラ２１Ｌ及び２１Ｒを有する。カメラ２１Ｌ及び２１Ｒは、異なる視点から画像を撮影し、その結果得られる画像データを、センサデータとして、伝送部２３に出力する。
【０１２５】
ミリ波レーダ２２は、ミリ波を送信する。ミリ波レーダ２２が送信するミリ波が、物体で反射し、ミリ波レーダ２２に戻ってくると、ミリ波レーダ２２は、その戻ってくるミリ波を受信する。そして、ミリ波レーダ２２は、その受信したミリ波である受信信号を、センサデータとして、伝送部２３に出力する。
【０１２６】
伝送部２３は、ステレオカメラ２１（のカメラ２１Ｌと２１Ｒ）、及び、ミリ波レーダ２２が出力するセンサデータに必要な処理を施し、同期部２４に伝送（供給）する。
【０１２７】
伝送部２３は、例えば、ステレオカメラ２１が出力する画像データに、現像処理等を施す。
【０１２８】
同期部２４は、異なる２個のセンサとしてのステレオカメラ２１及びミリ波レーダ２２それぞれが出力し、伝送部２３から供給されるセンサデータを同期させ、尤度算出部２５に出力する。
【０１２９】
尤度算出部２５は、図１の尤度算出部１２に相当する。
【０１３０】
尤度算出部２５は、同期部２４からのステレオカメラ２１のセンサデータから、ステレオカメラ２１についての距離尤度を、各サンプリング点(x,y,z)、すなわち、ステレオカメラ２１のセンサデータとしての画像データの各画素の各位置(x,y)と、ステレオカメラ２１で測距可能な距離の範囲の各距離zについて算出し、正規化部２６に供給する。
【０１３１】
さらに、尤度算出部２５は、同期部２４からのミリ波レーダ２２のセンサデータから、ミリ波レーダ２２についての距離尤度を、各サンプリング点(x,y,z)について算出し、正規化部２６に供給する。
【０１３２】
すなわち、尤度算出部２５は、同期部２４からのミリ波レーダ２２のセンサデータから、各方向（方位）rの物体までの距離dが、ミリ波レーダ２２で測距可能な距離の範囲の各距離であると仮定したときの、その各距離の距離尤度を求める。
【０１３３】
そして、尤度算出部２５は、ミリ波レーダ２２についての距離尤度が得られる、極座標系の各方向r及び各距離d（の距離尤度）を、座標変換によって、３次元座標系の各位置(x,y,z)（の距離尤度）に変換し、その３次元座標系の各位置(x,y,z)である各サンプリング点(x,y,z)についての距離尤度を、正規化部２６に供給する。
【０１３４】
正規化部２６は、図１の正規化部１３に相当する。
【０１３５】
正規化部２６は、尤度算出部２５からの、ステレオカメラ２１についての各サンプリング点(x,y,z)の距離尤度、及び、ミリ波レーダ２２についての各サンプリング点(x,y,z)の距離尤度に対して、サンプリング点(x,y,z)を一致させる正規化を行い、統合部２７に供給する。
【０１３６】
統合部２７は、図１の統合部１４に相当する。
【０１３７】
統合部２７は、正規化部２６からのステレオカメラ２１についての距離尤度、及び、ミリ波レーダ２２についての距離尤度を、サンプリング点(x,y,z)ごとに統合し、距離算出部２８に供給する。
【０１３８】
なお、統合部２７は、ステレオカメラ２１についての距離尤度、及び、ミリ波レーダ２２についての距離尤度の統合を、バッファ３１に記憶された情報を必要に応じて用いて行うことができる。
【０１３９】
距離算出部２８は、図１の距離／動き量算出部１５に相当する。
【０１４０】
距離算出部２８は、統合部２７からのサンプリング点(x,y,z)ごとの距離の統合尤度を用いて、物体までの距離を求める。すなわち、距離算出部２８は、位置(x,y)ごとに、距離の統合尤度が最大の距離zを、位置(x,y)の画素に映る物体までの距離として求める。
【０１４１】
そして、距離算出部２８は、距離の統合尤度を用いて求めた、位置(x,y)ごとの距離zを、障害物マップ生成部２９、及び、バッファ３１に供給する。
【０１４２】
障害物マップ生成部２９は、距離算出部２８からの距離zを用いて、自動車の前方に存在する障害物に関する障害物情報としての障害物マップを生成する。そして、障害物マップ生成部２９は、障害物マップを、走行制御部３０、及び、バッファ３１に供給する。
【０１４３】
走行制御部３０は、図１の走行制御部１６に相当する。
【０１４４】
走行制御部３０は、障害物マップ生成部２９からの障害物マップを用いて、自動車を運転する運転者に対して障害物の存在の警告や、自動運転の制御等を行う。
【０１４５】
バッファ３１は、距離算出部２８から供給される位置(x,y)ごとの距離z、及び、障害物マップ生成部２９から供給される障害物マップを、一時記憶する。
【０１４６】
バッファ３１に記憶された距離zや障害物マップは、統合部２７が、次の統合を行うときに必要に応じて用いられる。
【０１４７】
すなわち、統合部２７は、ステレオカメラ２１についての距離尤度、及び、ミリ波レーダ２２についての距離尤度の統合を行うときに、バッファ３１に記憶された、前回求められた距離zや障害物マップを、必要に応じて用いる。
【０１４８】
ここで、距離尤度の正規化後のサンプリング点(x,y,z)の数は、膨大な数になるため、統合部２７での統合は、負荷の高い処理になる。
【０１４９】
統合部２７は、統合にあたって、前回求められた距離zや障害物マップを用いることで、統合の処理の負荷を軽減する。
【０１５０】
例えば、統合部２７は、前回求められた障害物マップから、自動車の前方に存在する物体の形状を認識し、今回の統合時における物体の存在範囲を、図５の走行制御装置が搭載された自動車の速度から推定する。
【０１５１】
そして、統合部２７は、今回の統合時における物体の存在範囲内の点に対応するサンプリング点(x,y,z)のみを、距離尤度の統合の対象として、ステレオカメラ２１についての距離尤度と、ミリ波レーダ２２についての距離尤度とを統合し、統合尤度を求める。
【０１５２】
一方、他のサンプリング点については、統合部２７は、ステレオカメラ２１についての距離尤度、及び、ミリ波レーダ２２についての距離尤度のうちの一方を、そのまま、統合尤度として用いる。
【０１５３】
この場合、統合は、物体の存在範囲内の点に対応するサンプリング点(x,y,z)のみを対象として行われるので、統合の対象となるサンプリング点(x,y,z)が少なくなり、統合の処理の負荷を軽減することができる。
【０１５４】
また、例えば、統合部２７は、前回求められた障害物マップから、路面を認識し、その路面上の点に対応するサンプリング点(x,y,z)については、例えば、レーダのような、路面で反射された信号の受信が困難で、路面を対象とする測距の精度が低いセンサについての距離尤度を、統合の対象から除外することができる。
【０１５５】
この場合、統合の対象となる距離尤度の数が少なくなるので、統合の処理の負荷を軽減することができる。
【０１５６】
図６は、図５の同期部２４での同期を説明する図である。
【０１５７】
統合方式では、センサ１１1ないし１１Nとしての、例えば、ステレオカメラ２１及びミリ波レーダ２２それぞれについての距離尤度を統合し、その結果得られる統合尤度を用いて、物体までの距離等を求める。そのため、統合の対象となる距離尤度を求めるのに用いるステレオカメラ２１及びミリ波レーダ２２それぞれのセンサデータを、精度良く同期させる必要がある。
【０１５８】
図６は、ステレオカメラ２１が出力するセンサデータとしての画像データと、ミリ波レーダ２２が出力するセンサデータとの同期の例を示している。
【０１５９】
図６において、ステレオカメラ２１（を構成するカメラ２１Ｌ及び２１Ｒ）は、例えば、図示せぬCMOS(Complemental Metal Oxide Semiconductor)のイメージセンサを有し、60Hzのフレームレートで、１フレームが400（水平）ラインの画像を撮影する。
【０１６０】
また、ステレオカメラ２１は、例えば、ローリングシャッタ方式で、画像を撮影するため、露光タイミングが、１フレームの各ラインで、徐々にずれている（遅いタイミングになっている）。
【０１６１】
一方、図６において、ミリ波レーダ２２は、例えば、1200Hzの周期で、センサデータを出力する。
【０１６２】
したがって、図６では、ステレオカメラ２１が出力する画像データの１フレームに対して、ミリ波レーダ２２は、1200のセンサデータを出力する。
【０１６３】
いま、ステレオカメラ２１が１フレームの画像を撮影するときの各ラインの露光時間を、TEと表すこととすると、ステレオカメラ２１では、イメージセンサの各ラインにおいて、露光時間TEだけ光が受光され、その光の光電変換結果が、１フレームの画像データとして出力される。
【０１６４】
同期部２４は、１フレームの、例えば、第１ライン（上から１番目のライン）の露光時間TEの間に、ミリ波レーダ２２が出力するセンサデータを積分（加算）し、その積分の結果と、その積分が行われた露光時間TEに露光された第１ラインを有するフレーム画像データとを同時に出力する。これにより、同期部２４は、ステレオカメラ２１が出力するセンサデータとしての画像データと、ミリ波レーダ２２が出力するセンサデータとを同期させる。
【０１６５】
図７は、図５の走行制御装置の処理の例を説明するフローチャートである。
【０１６６】
ステップＳ２１において、ステレオカメラ２１及びミリ波レーダ２２は、センシングを行う。
【０１６７】
すなわち、ステップＳ２１において、ステレオカメラ２１は、異なる視点から画像を撮影し、その結果得られる画像データを、センサデータとして、伝送部２３に出力する。
【０１６８】
さらに、ステップＳ２１では、ミリ波レーダ２２は、ミリ波を送信し、そのミリ波が物体で反射して戻ってくるミリ波を受信して、センサデータとして、伝送部２３に出力する。
【０１６９】
伝送部２３は、ステレオカメラ２１、及び、ミリ波レーダ２２が出力するセンサデータを、同期部２４に伝送し、処理は、ステップＳ２１からステップＳ２２に進む。
【０１７０】
ステップＳ２２では、同期部２４は、伝送部２３からのステレオカメラ２１及びミリ波レーダ２２のセンサデータを同期させ、ステレオカメラ２１のセンサデータとしての１フレームの画像データと、その１フレームの画像データに対応するミリ波レーダ２２のセンサデータとを尤度算出部２５に出力して、処理は、ステップＳ２３に進む。
【０１７１】
ステップＳ２３では、尤度算出部２５は、同期部２４からのステレオカメラ２１のセンサデータから、ステレオカメラ２１についての距離尤度を、各サンプリング点(x,y,z)について算出し、正規化部２６に供給する。
【０１７２】
さらに、尤度算出部２５は、同期部２４からのミリ波レーダ２２のセンサデータから、ミリ波レーダ２２についての距離尤度を、各サンプリング点(x,y,z)について算出し、正規化部２６に供給する。
【０１７３】
そして、処理は、ステップＳ２３からステップＳ２４に進み、正規化部２６は、尤度算出部２５からの、ステレオカメラ２１についての各サンプリング点(x,y,z)の距離尤度、及び、ミリ波レーダ２２についての各サンプリング点(x,y,z)の距離尤度に対して、サンプリング点(x,y,z)を一致させる正規化を行う。
【０１７４】
正規化部２６は、正規化後のステレオカメラ２１についての各サンプリング点(x,y,z)の距離尤度、及び、ミリ波レーダ２２についての各サンプリング点(x,y,z)の距離尤度を、統合部２７に供給し、処理は、ステップＳ２４からステップＳ２５に進む。
【０１７５】
ステップＳ２５では、統合部２７は、正規化部２６からのステレオカメラ２１についての距離尤度、及び、ミリ波レーダ２２についての距離尤度を、サンプリング点(x,y,z)ごとに統合する。
【０１７６】
そして、統合部２７は、統合の結果得られるサンプリング点(x,y,z)ごとの統合尤度を、距離算出部２８に供給し、処理は、ステップＳ２５からステップＳ２６に進む。
【０１７７】
なお、統合部２７は、図５で説明したように、ステレオカメラ２１についての距離尤度、及び、ミリ波レーダ２２についての距離尤度の統合を、バッファ３１に記憶された、前回求められた距離zや障害物マップを、必要に応じて用いて行うことができ、これにより、統合の処理の負荷を軽減することができる。
【０１７８】
ステップＳ２６では、距離算出部２８は、統合部２７からのサンプリング点(x,y,z)ごとの距離の統合尤度を用いて、位置(x,y)ごとに、距離の統合尤度が最大の距離zを、位置(x,y)の画素に映る物体までの距離として求める。
【０１７９】
そして、距離算出部２８は、位置(x,y)ごとの距離zを、障害物マップ生成部２９、及び、バッファ３１に供給し、処理は、ステップＳ２６からステップＳ２７に進む。
【０１８０】
ステップＳ２７では、バッファ３１は、距離算出部２８から供給される位置(x,y)ごとの距離zをバッファリングし（一時記憶し）、処理は、ステップＳ２８に進む。
【０１８１】
ここで、バッファ３１に記憶された位置(x,y)ごとの距離zは、統合部２７が、次の統合を行うときに必要に応じて用いられる。
【０１８２】
ステップＳ２８では、障害物マップ生成部２９は、距離算出部２８からの距離zを用いて、自動車の前方に存在する障害物に関する障害物情報としての障害物マップを生成する。そして、障害物マップ生成部２９は、障害物マップを、走行制御部３０、及び、バッファ３１に供給し、処理は、ステップＳ２８からステップＳ２９に進む。
【０１８３】
ステップＳ２９では、バッファ３１は、障害物マップ生成部２９から供給される障害物マップをバッファリングし、処理は、ステップＳ３０に進む。
【０１８４】
ここで、バッファ３１に記憶された障害物マップは、統合部２７が、次の統合を行うときに必要に応じて用いられる。
【０１８５】
ステップＳ３０では、走行制御部３０は、障害物マップ生成部２９からの障害物マップを用いて、自動車の走行制御を行い、処理は終了する。
【０１８６】
なお、図７のフローチャートに従った処理は、パイプラインで繰り返し行われる。
【０１８７】
図８は、図７のステップＳ２３において、ステレオカメラ２１のセンサデータから、ステレオカメラ２１についての距離尤度を求める処理の例を説明するフローチャートである。
【０１８８】
ステップＳ４１において、尤度算出部２５は、同期部２４からのステレオカメラ２１のセンサデータとしての画像データを受信（キャプチャ）し、処理は、ステップＳ４２に進む。
【０１８９】
ステップＳ４２では、尤度算出部２５は、ステレオカメラ２１のセンサデータとしての画像データの補正を行い、処理は、ステップＳ４３に進む。
【０１９０】
ここで、ステップＳ４２での画像データの補正としては、例えば、収差の補正や、ステレオカメラ２１とミリ波レーダ２２との水平を一致させるような画像データの補正等がある。
【０１９１】
ステレオカメラ２１とミリ波レーダ２２との水平を一致させるような画像データの補正は、ステレオカメラ２１及びミリ波レーダ２２の取り付け位置や姿勢のずれを補正するためのキャリブレーション情報を用いて行われる。
【０１９２】
キャリブレーション情報は、ステレオカメラ２１及びミリ波レーダ２２を対象として行われるキャリブレーションによって、あらかじめ求められる。
【０１９３】
ステップＳ４３では、尤度算出部２５は、ステレオカメラ２１のセンサデータであるカメラ２１Ｌ及びカメラ２１Ｒで撮影された、視点の異なる２つの画像のうちの一方を基準画像とするとともに、他方を参照画像として、基準画像の各画素に対して、その画素に対応する参照画像の画素である対応点を求めるマッチングを、例えば、ブロックマッチング等によって行う。
【０１９４】
すなわち、尤度算出部２５は、基準画像の各画素を、順次、注目画素に選択し、注目画素から、複数の視差それぞれだけずれた位置を中心とする参照画像のブロックと、注目画素を中心とする基準画像のブロックとのブロックマッチングを行う。
【０１９５】
これにより、注目画素に対し、複数の視差それぞれに対応する複数の距離zそれぞれについて、ブロックマッチングのマッチングエラー（例えば、基準画像のブロックと参照画像のブロックとの各画素の画素値の差分絶対値和等）が求められる。
【０１９６】
その後、処理は、ステップＳ４３からステップＳ４４に進み、尤度算出部２５は、ステレオカメラ２１のセンサデータとしての画像データの各画素（ここでは、基準画像の各画素）の各位置(x,y)と、各距離z（視差）について、位置(x,y)に映る物体までの距離が、距離zである距離尤度を、マッチングエラーを用いて求め、処理は終了する。
【０１９７】
ここで、位置(x,y)及び距離zに対するブロックマッチングのマッチングエラー、つまり、位置(x,y)の画素に映る物体までの距離が距離zであると仮定した場合のブロックマッチングのマッチングエラーを、cost(x,y,z)と表すこととする。
【０１９８】
この場合、位置(x,y)に映る物体までの距離が、距離zである距離尤度PST(x,y,z)は、例えば、式PST(x,y,z)＝exp(-cost(x,y,z))に従って求めることができる。
【０１９９】
図９は、図７のステップＳ２３において、ミリ波レーダ２２のセンサデータから、ミリ波レーダ２２についての距離尤度を求める処理の例を説明するフローチャートである。
【０２００】
ステップＳ５１において、尤度算出部２５は、同期部２４からのミリ波レーダ２２のセンサデータを受信（キャプチャ）し、処理は、ステップＳ５２に進む。
【０２０１】
ステップＳ５２では、尤度算出部２５は、ミリ波レーダ２２のセンサデータのFFT(Fast Fourier Transform)を行い、処理は、ステップＳ５３に進む。
【０２０２】
ここで、本実施の形態では、ミリ波レーダ２２のセンサデータは、そのセンサデータのFFT結果の強度が、その強度の周波数に対応する距離に物体があることの確からしさを表すこととする。
【０２０３】
ステップＳ５３では、尤度算出部２５は、ミリ波レーダ２２のセンサデータのFFT結果の補正を行い、処理は、ステップＳ５４に進む。
【０２０４】
ここで、ミリ波レーダ２２のセンサデータ、すなわち、物体で反射されたミリ波は、その物体までの距離が遠いほど減衰する。そこで、尤度算出部２５は、その減衰の影響をキャンセルするために、ミリ波レーダ２２のセンサデータのFFT結果の高域の周波数成分を大にする補正を行う。
【０２０５】
また、尤度算出部２５は、図８で説明したキャリブレーション情報を用いて、ステレオカメラ２１及びミリ波レーダ２２の取り付け位置や姿勢のずれをキャンセルするように、ミリ波レーダ２２のセンサデータのFFT結果の補正を行う。
【０２０６】
ステップＳ５４では、尤度算出部２５は、ミリ波レーダ２２のセンサデータのFFT結果から、ミリ波レーダ２２のセンシング範囲の各方向（方位）rと各距離dについて、方向rにある物体までの距離が、距離dであると仮定したときの、各距離dの距離尤度を求める。
【０２０７】
ここで、方向r及び距離dに対応する、ミリ波レーダ２２のセンサデータのFFT結果（の周波数成分）を、fre(r,d)と表すこととすると、方向rにある物体までの距離が、距離dである距離尤度PRは、例えば、式PR＝fre(r,d)／Σ(d)fre(r,d)に従って求めることができる。
【０２０８】
式PR＝fre(r,d)／Σ(d)fre(r,d)のΣ(d)fre(r,d)は、距離dを、距離尤度を求める各距離に変えてのfre(r,d)のサメーションを表す。
【０２０９】
その後、処理は、ステップＳ５４からステップＳ５５に進み、尤度算出部２５は、ミリ波レーダ２２についての距離尤度が得られる、（方向と距離とで規定される）極座標系の各方向r及び各距離dを、座標変換によって、３次元座標系の各位置(x,y,z)に変換することで、その３次元座標系の各位置(x,y,z)である各サンプリング点(x,y,z)についての距離尤度を求め、処理は、終了する。
【０２１０】
ここで、ステップＳ５５での座標変換は、図８で説明したキャリブレーション情報を、必要に応じて用いて行うことができる。
【０２１１】
なお、ステレオカメラ２１やミリ波レーダ２２等のセンサデータから距離尤度の生成は、その他、例えば、センサデータを距離尤度に変換する変換規則を、経験則に基づいてあらかじめ設計しておき、その変換規則に従って行うことができる。
【０２１２】
さらに、センサデータから距離尤度の生成は、センサデータを入力として、距離尤度を出力する学習モデルの学習をあらかじめ行っておき、その学習モデルに、センサデータを入力として与えることにより行うことができる。
【０２１３】
以上の点、動き量尤度についても、同様である。
【０２１４】
また、図７のステップＳ２５において、ステレオカメラ２１についての距離尤度、及び、ミリ波レーダ２２についての距離尤度を、サンプリング点(x,y,z)ごとに統合した後、ステップＳ２６において、その統合尤度を用いて、位置(x,y)の画素に映る物体までの距離を求める前に、統合尤度の最適化を行うことができる。
【０２１５】
すなわち、ステップＳ２６では、位置(x,y)ごとに、距離の統合尤度が最大の距離zが、位置(x,y)の画素に映る物体までの距離として求められるが、位置(x,y)の統合尤度が、すべての距離zに亘って低い場合があり、この場合、どの距離zも、物体までの距離として確からしくない。
【０２１６】
そこで、統合尤度の最適化では、位置(x,y)の統合尤度が、すべての距離zに亘って低い場合に、位置(x,y)の周辺の位置(x',y')の統合尤度から求められた、その位置(x',y')の画素に映る物体までの距離近辺の距離が、位置(x,y)の画素に映る物体までの距離として求められやすくするために、位置(x,y)の統合尤度が補正される。
【０２１７】
具体的には、サンプリング点(x,y,z)のステレオカメラ２１についての距離尤度、及び、ミリ波レーダ２２についての距離尤度を、それぞれ、p1(x,y,z)、及び、p2(x,y,z)と表すこととする。
【０２１８】
さらに、ある位置(x,y)の周辺の位置(x',y')の距離（位置(x',y')の画素に映る物体までの距離）が、距離z'であるときに、位置(x,y)の距離が、距離zである尤度を、p(x,y,z|z')と表すこととする。
【０２１９】
尤度p(x,y,z|z')は、例えば、学習や経験則等に基づいて、あらかじめ求められる。
【０２２０】
統合尤度の最適化は、最適化後の統合尤度を、pa(x,y,z)と表すこととすると、式pa(x,y,z)＝P1(x,y,z)×P2(x,y,z)×Π(x',y')p(x,y,z|z')に従って行われる。
【０２２１】
ここで、式pa(x,y,z)＝P1(x,y,z)×P2(x,y,z)×Π(x',y')p(x,y,z|z')において、P1(x,y,z)×P2(x,y,z)は、サンプリング点(x,y,z)の統合尤度を表す。また、Π(x',y')p(x,y,z|z')は、位置(x',y')を、位置(x,y)の周辺の位置に変えての尤度p(x,y,z|z')の積を表す。
【０２２２】
図１０は、統合方式の概要を説明する図である。
【０２２３】
統合方式では、ステレオカメラ２１のセンサデータとしての画像データの各画素の各位置(x,y)と、各距離zについて、位置(x,y)に映る物体までの距離が距離zである距離尤度が、ステレオカメラ２１についての距離尤度として求められる。
【０２２４】
したがって、ステレオカメラ２１についての距離尤度は、３次元座標系の各位置(x,y,z)である各サンプリング点(x,y,z)に対して存在する。この、３次元座標系の各位置(x,y,z)に対して存在する、ステレオカメラ２１についての距離尤度の集合を、以下、ステレオ尤度ボリュームともいう。
【０２２５】
また、統合方式では、ミリ波レーダ２２のセンシング範囲の各方向rと各距離dについて、方向rにある物体までの距離が距離dである距離尤度が求められる。
【０２２６】
各方向rと各距離dについて求められる距離尤度の集合は、方向rと距離dとで規定される極座標系上の点の集合であり、以下、レーダ尤度ボリュームともいう。
【０２２７】
統合方式では、ステレオ尤度ボリュームが正規化される。
【０２２８】
また、統合方式では、極座標系のレーダ尤度ボリュームが、位置(x,y,z)で規定される３次元座標系の点の集合に、座標変換され、さらに正規化される。
【０２２９】
ステレオ尤度ボリューム、及び、座標変換後のレーダ尤度ボリュームでは、正規化後に距離尤度が存在するサンプリング点(x,y,z)が一致する。
【０２３０】
いま、このように、ステレオ尤度ボリューム、及び、座標変換後のレーダ尤度ボリュームにおいて、距離尤度が存在するサンプリング点(x,y,z)が一致する場合の、そのサンプリング点(x,y,z)が存在する領域を、フュージョンドメインということとする。
【０２３１】
フュージョンドメインでは、ステレオカメラ２１についての距離尤度と、ミリ波レーダ２２についての距離尤度とが存在するサンプリング点(x,y,z)が一致するので、サンプリング点(x,y,z)ごとに、ステレオカメラ２１についての距離尤度と、ミリ波レーダ２２についての距離尤度とを統合することができる。
【０２３２】
そこで、統合方式では、ステレオカメラ２１についての距離尤度と、ミリ波レーダ２２についての距離尤度とを、サンプリング点(x,y,z)ごとに統合し、そのサンプリング点(x,y,z)ごとに得られる統合尤度を用いて、各位置（x,y,z)の画素に映る物体までの距離が求められる。
【０２３３】
ここで、フュージョンドメインの各サンプリング点(x,y,z)の統合尤度の集合を、統合尤度ボリュームともいう。
【０２３４】
図１１は、図５の統合部２７での統合において、その統合の処理の負荷を軽減する軽減処理の概要を説明する図である。
【０２３５】
図５や図７で説明したように、統合部２７は、統合にあたって、前回求められた位置(x,y)ごとの距離zや障害物マップを用いることで、統合の処理の負荷を軽減する軽減処理を行うことができる。
【０２３６】
例えば、統合部２７は、前回求められた障害物情報としての障害物マップから、ミリ波レーダ２２での距離の検出精度が高くない路面を認識する。さらに、統合部２７は、路面の領域内の点を、フュージョンドメインのサンプリング点(x,y,z)に変換するドメイン変換を行う。
【０２３７】
そして、統合部２７は、図１０で説明したように、ステレオカメラ２１についての距離尤度と、ミリ波レーダ２２についての距離尤度とを、サンプリング点(x,y,z)ごとに統合するときに、路面の領域内のサンプリング点(x,y,z)については、ミリ波レーダ２２についての距離尤度をゲートする。
【０２３８】
すなわち、統合部２７は、路面の領域内のサンプリング点(x,y,z)以外のサンプリング点(x,y,z)については、ステレオカメラ２１についての距離尤度と、ミリ波レーダ２２についての距離尤度とを統合し、統合尤度を求める。
【０２３９】
一方、路面の領域内のサンプリング点については、統合部２７は、ミリ波レーダ２２についての距離尤度を、統合の対象から除外する。その結果、路面の領域内のサンプリング点については、ステレオカメラ２１についての距離尤度が、そのまま、統合尤度とされる。
【０２４０】
路面については、ミリ波レーダ２２での距離の検出精度が高くないため、統合尤度を求めるにあたって、ミリ波レーダ２２についての距離尤度を、統合の対象から除外しても（しなくても）、統合尤度から求められる距離の精度に（ほとんど）影響しない。
【０２４１】
したがって、路面について、ミリ波レーダ２２についての距離尤度を、統合の対象から除外する軽減処理を行うことで、物体までの距離を精度良く求めるとともに、統合の処理の負荷を軽減することができる。
【０２４２】
＜本技術を適用した走行制御装置の第２の詳細構成例＞
【０２４３】
図１２は、本技術を適用した走行制御装置の第２の詳細構成例を示すブロック図である。
【０２４４】
なお、図中、図５の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０２４５】
図１２において、走行制御装置は、ステレオカメラ２１、伝送部２３、同期部２４、尤度算出部２５、正規化部２６、統合部２７、距離算出部２８、障害物マップ生成部２９、走行制御部３０、バッファ３１、及び、ToFセンサ５１を有する。
【０２４６】
したがって、図１２の走行制御装置は、ステレオカメラ２１、及び、伝送部２３ないしバッファ３１を有する点で、図５の場合と共通する。
【０２４７】
但し、図１２の走行制御装置は、ミリ波レーダ２２に代えて、ToFセンサ５１が設けられている点で、図５の場合と相違する。
【０２４８】
したがって、図１２の走行制御装置では、ミリ波レーダ２２のセンサデータに代えて、ToFセンサ５１のセンサデータが用いられることを除き、図７で説明した場合と同様の処理が行われる。
【０２４９】
図１３は、図１２のToFセンサ５１についての距離尤度の算出方法の例を説明する図である。
【０２５０】
ToFセンサ５１は、例えば、横×縦が80×60個等のマトリクス状に配置された受光部（図示せず）を有し、高速で送信パルスを照射し、その送信パルスが物体で反射されて戻ってくる反射光を、受信パルスとして受光することで、物体までの距離を検出する。
【０２５１】
すなわち、図１３に示すように、送信パルスの送信時刻t0から、時間TDだけ経過して、受信パルスが受光された場合に、時刻t0から、受信パルスのパルス幅T0だけ経過した時刻をt1と表すとともに、時刻t1から、さらにパルス幅T0だけ経過した時刻をt2と表すこととする。
【０２５２】
また、時刻t0から時刻t1までの間、H(High)レベルになるパルスを、フェーズ１パルスというとともに、時刻t1から時刻t2までの間、Hレベルになるパルスを、フェーズ２パルスということとする。
【０２５３】
さらに、ToFセンサ５１の受光部で、受信パルスを受光したときの、フェーズ１パルスの期間（時刻t0から時刻t1までの間）の受光量（電荷量）を、N1と表すとともに、フェーズ２パルスの期間（時刻t1から時刻t2までの間）の受光量を、N2と表すこととする。
【０２５４】
ToFセンサ５１では、所定の時間Tとしての時間フレームTの間に、多数の送信パルスが送信され、その送信パルスに対する受信パルスが受光部で受光される。
【０２５５】
そして、ToFセンサ５１では、各受信パルスに対して、式L＝cT0N2／(2(N1+N2))に従って、距離Lが求められる。ここで、cは、光速を表す。
【０２５６】
ToFセンサ５１は、時間フレームTの間で送信される多数の送信パルスに対する各受信パルスについて、以上のようにして求められる複数（多数）の距離Lを、センサデータとして出力する。
【０２５７】
そして、図１２の尤度算出部２５は、時間フレームTの間のToFセンサ５１のセンサデータである複数の距離の分布に基づき、ToFセンサ５１の各受光部の各位置(x,y)に対する距離、すなわち、位置(x,y)の受光部で受光された受信パルスに対する送信パルスが反射された物体までの距離が、複数の距離zそれぞれである距離尤度を求める。
【０２５８】
以上のようにして、尤度算出部２５は、ToFセンサ５１のセンサデータから、ToFセンサ５１の受光部の各位置(x,y)及び各距離zで表される３次元座標系の各位置(x,y,z)をサンプリング点とする距離尤度を求める。
【０２５９】
図１４は、図１２のToF５１のセンサデータから、ToFセンサ５１についての距離尤度を求める処理の例を説明するフローチャートである。
【０２６０】
ステップＳ６１において、図１２の尤度算出部２５は、同期部２４から供給されるToFセンサ５１のセンサデータとしての、ToFセンサ５１の、複数であるM1個の各受光部に対して得られる時間フレームTの間の複数であるM2個の距離Lを受信（キャプチャ）し、処理は、ステップＳ６２に進む。
【０２６１】
ステップＳ６２では、尤度算出部２５は、ToFセンサ５１のセンサデータとしてのM2個の距離Lを必要に応じて補正し、処理は、ステップＳ６３に進む。
【０２６２】
ここで、ステップＳ６２でのToFセンサ５１のセンサデータの補正としては、例えば、ステレオカメラ２１及びToFセンサ５１の取り付け位置や姿勢のずれをキャンセルする補正がある。この補正は、ステレオカメラ２１及びToFセンサ５１を対象として行われるキャリブレーションによってあらかじめ求められるキャリブレーション情報を用いて行うことができる。
【０２６３】
ステップＳ６３において、尤度算出部２５は、M1個の各受光部の各位置(x,y)と、ToFセンサ５１のセンシング範囲の各距離zについて、位置(x,y)の受光部で受光された受信パルスを反射した物体までの距離が、距離zである距離尤度を、ToFセンサ５１のセンサデータとしての時間フレームTの間に得られたM2個の距離Lを用いて求め、処理は終了する。
【０２６４】
ここで、尤度算出部２５は、例えば、時間フレームTの間に得られたM2個の距離Lの分布に基づき、物体までの距離が複数の距離zそれぞれである距離尤度を求める。
【０２６５】
すなわち、尤度算出部２５は、例えば、M2個の距離Lの平均値及び分散を求め、その平均値及び分散で規定されるガウス分布を求める。そして、尤度算出部２５は、各距離zに対して、M2個の距離Lの平均値及び分散で規定されるガウス分布に従う値を、距離尤度として求める。
【０２６６】
あるいは、尤度算出部２５は、例えば、M2個の距離Lの度数分布を求め、各距離zに対して、度数分布の度数に対応する値を、距離尤度として求める。
【０２６７】
＜本技術を適用した走行制御装置の第３の詳細構成例＞
【０２６８】
図１５は、本技術を適用した走行制御装置の第３の詳細構成例を示すブロック図である。
【０２６９】
なお、図中、図５又は図１２の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０２７０】
図１５において、走行制御装置は、ステレオカメラ２１、ミリ波レーダ２２、伝送部２３、同期部２４、尤度算出部２５、正規化部２６、統合部２７、距離算出部２８、障害物マップ生成部２９、走行制御部３０、バッファ３１、及び、ToFセンサ５１を有する。
【０２７１】
したがって、図１５の走行制御装置は、ステレオカメラ２１ないしバッファ３１を有する点で、図５の場合と共通する。
【０２７２】
但し、図１５の走行制御装置は、図１２のToFセンサ５１が新たに設けられている点で、図５の場合と相違する。
【０２７３】
図１５の走行制御装置では、ステレオカメラ２１のセンサデータ、及び、ミリ波レーダ２２のセンサデータに加えて、ToFセンサ５１のセンサデータが用いられることを除き、図７で説明した場合と同様の処理が行われる。
【０２７４】
したがって、図１５の走行制御装置では、ステレオカメラ２１についての距離尤度、及び、ミリ波レーダ２２についての距離尤度の他に、ToFセンサ５１についての距離尤度が統合され、統合尤度が求められる。
【０２７５】
＜本技術を適用した走行制御装置の第４の詳細構成例＞
【０２７６】
図１６は、本技術を適用した走行制御装置の第４の詳細構成例を示すブロック図である。
【０２７７】
なお、図中、図５の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０２７８】
図１６において、走行制御装置は、ステレオカメラ２１、ミリ波レーダ２２、伝送部２３、同期部２４、走行制御部３０、バッファ３１、尤度算出部６１、正規化部６２、統合部６３、動き量算出部６４、及び、障害物マップ生成部６５を有する。
【０２７９】
したがって、図１６の走行制御装置は、ステレオカメラ２１、ミリ波レーダ２２、伝送部２３、同期部２４、走行制御部３０、及び、バッファ３１を有する点で、図５の場合と共通する。
【０２８０】
但し、図１６の走行制御装置は、尤度算出部２５、正規化部２６、統合部２７、距離算出部２８、及び、障害物マップ生成部２９に代えて、尤度算出部６１、正規化部６２、統合部６３、動き量算出部６４、及び、障害物マップ生成部６５が、それぞれ設けられている点で、図５の場合と相違する。
【０２８１】
尤度算出部６１は、図１の尤度算出部１２に相当する。
【０２８２】
尤度算出部６１は、同期部２４からのステレオカメラ２１のセンサデータから、ステレオカメラ２１についての動き量尤度を、各サンプリング点(x,y,z,vx,vy,vz)、すなわち、ステレオカメラ２１のセンサデータとしての画像データの各画素の各位置(x,y)、その位置に映る物体までの距離z、及び、ステレオカメラ２１のセンサデータとしての画像を用いて行われる動き検出で検出可能な動き量の範囲の各動き量(vx,vy,vz)（走行制御装置が搭載された自動車を基準とする相対的な動き量）について算出し、正規化部６２に供給する。
【０２８３】
ここで、動き量尤度については、図２で説明したように、サンプリング点(x,y,z,vx,vy,vz)は、x,y,z,vx,vy,vzそれぞれを軸とする６次元（直交）座標系上の点になる。
【０２８４】
尤度算出部６１は、さらに、同期部２４からのミリ波レーダ２２のセンサデータから、ミリ波レーダ２２についての動き量尤度を、各サンプリング点(x,y,z,vx,vy,vz)について算出し、正規化部６２に供給する。
【０２８５】
すなわち、尤度算出部６１は、同期部２４からのミリ波レーダ２２のセンサデータから、各方向（方位）rの各距離dの、極座標系上の位置(r,d)の動き量が、ミリ波レーダ２２で検出可能な動き量の範囲の各動き量であると仮定したときの、その各動き量の動き量尤度を求める。
【０２８６】
そして、尤度算出部６１は、ミリ波レーダ２２についての動き量尤度が得られる、極座標系の各位置(r,d)及び各動き量を、座標変換によって、６次元座標系の各位置(x,y,z,vx,vy,vz)に変換し、その６次元座標系の各位置(x,y,z,vx,vy,vz)である各サンプリング点(x,y,z,vx,vy,vz)についての動き量尤度を、正規化部６２に供給する。
【０２８７】
正規化部６２は、図１の正規化部１３に相当する。
【０２８８】
正規化部６２は、尤度算出部６１からの、ステレオカメラ２１についての各サンプリング点(x,y,z,vx,vy,vz)の動き量尤度、及び、ミリ波レーダ２２についての各サンプリング点(x,y,z,vx,vy,vz)の動き量尤度に対して、サンプリング点(x,y,z,vx,vy,vz)を一致させる正規化を、補間等によって行い、統合部６３に供給する。
【０２８９】
統合部６３は、図１の統合部１４に相当する。
【０２９０】
統合部６３は、正規化部６２からのステレオカメラ２１についての動き量尤度、及び、ミリ波レーダ２２についての動き量尤度を、サンプリング点(x,y,z,vx,vy,vz)ごとに統合し、動き量算出部６４に供給する。
【０２９１】
なお、統合部６３は、ステレオカメラ２１についての動き量尤度、及び、ミリ波レーダ２２についての動き量尤度の統合を、バッファ３１に記憶された情報を、必要に応じて用いて行うことができる。
【０２９２】
すなわち、図１６において、バッファ３１には、後述する動き量算出部６４で算出される動き量、及び、後述する障害物マップ生成部６５で生成される障害物マップが記憶される。
【０２９３】
統合部６３は、ステレオカメラ２１についての動き量尤度、及び、ミリ波レーダ２２についての動き量尤度の統合を、バッファ３１に記憶された、前回求められた動き量や、障害物マップを必要に応じて用いて行うことで、統合の処理の負荷を軽減することができる。
【０２９４】
具体的には、例えば、統合部６３は、バッファ３１に記憶された、前回求められた動き量や、障害物マップを用いて、動く動物体を検出し、その動物体の範囲内（又は、動物体を所定のマージンで包含する範囲内）の位置(x,y,z)を特定する。そして、統合部６３は、動物体の範囲内の位置(x,y,z)含むサンプリング点(x,y,z,vx,vy,vz)についてだけ、動き量尤度の統合を行う。さらに、統合部６３は、他のサンプリング点(x,y,z,vx,vy,vz)については、ステレオカメラ２１についての動き量尤度、及び、ミリ波レーダ２２についての動き量尤度のうちの一方を、そのまま、統合尤度とする。
【０２９５】
ここで、動物体は、バッファ３１に記憶された動き量や、障害物マップを用いて検出する他、ミリ波レーダ２２のセンサデータから検出することができる。
【０２９６】
例えば、ミリ波レーダ２２のセンサデータが、２回のFFTを行って、物体の動き量を求めることができるセンサデータである場合、ミリ波レーダ２２のセンサデータの２回のFFT結果から、物体の動き量（例えば、z方向の動き量）を求め、その動き量に基づいて、動物体を検出することができる。
【０２９７】
なお、統合部６３では、図５の統合部２７と同様に、ステレオカメラ２１についての動き量尤度、及び、ミリ波レーダ２２についての動き量尤度を統合した後、統合尤度の最適化を行うことができる。
【０２９８】
動き量算出部６４は、図１の距離／動き量算出部１５に相当する。
【０２９９】
動き量算出部６４は、統合部６３からのサンプリング点(x,y,z,vx,vy,vz)ごとの動き量の統合尤度を用いて、物体の動き量を求める。すなわち、動き量算出部６４は、位置(x,y,z)ごとに、動き量の統合尤度が最大の動き量(vx,vy,vz)を、位置(x,y,z)の動き量として求める。
【０３００】
そして、動き量算出部６４は、動き量の統合尤度を用いて求めた動き量(vx,vy,vz)を、バッファ３１、及び、障害物マップ生成部６５に供給する。
【０３０１】
なお、動き量算出部６４では、その他、例えば、位置(x,y)ごとに、動き量の統合尤度が最大の動き量(vx,vy,vz)及び距離zを、位置(x,y)の画素に映る物体の動き量、及び、その物体までの距離として求めることができる。
【０３０２】
障害物マップ生成部６５は、動き量算出部６４からの動き量(vx,vy,vz)を用いて、自動車の前方に存在する障害物に関する障害物情報としての障害物マップを生成する。そして、障害物マップ生成部６５は、障害物マップを、走行制御部３０、及び、バッファ３１に供給する。
【０３０３】
ここで、動き量を求める場合、図１の複数のセンサ１１1ないし１１Nのうちの１つとしては、画像を用いて動き量を検出するためのセンサ、すなわち、画像を撮影する画像センサが必須になる。
【０３０４】
画像センサとしては、図１６に示したステレオカメラ２１を採用する他、ステレオカメラ２１を構成するカメラ２１Ｌ又は２１Ｒのような、いわゆる単眼のカメラを採用することができる。
【０３０５】
画像センサとして、単眼のカメラを採用する場合、走行制御装置が搭載された自動車が移動（走行）しているときには、z方向の位置（距離z）は、例えば、連続する２フレームの画像等の異なるタイミング（位置）で撮影された画像を用いて、ステレオカメラ２１で撮影された画像から距離（視差）を求める場合と同様にして求めることができる。
【０３０６】
なお、画像センサとして、単眼のカメラを採用する場合、走行制御装置が搭載された自動車が停止しているときには、z方向の位置（距離z）を求めることができない。この場合、z方向の位置については、例えば、同一の動き量尤度（z方向の位置を無視した動き量尤度）を採用することができる。
【０３０７】
また、画像センサとして、単眼のカメラを採用する場合には、統合方式を用いずに、動き量(vx,vy,vz)を求めることができる。この場合、x方向及びy方向の動き量vx及びvyについては、単眼のカメラで撮影された画像を用いて動き検出を行うことにより求め、z方向の動き量vzについては、ミリ波レーダ２２等のセンサデータから求めることができる。以上のように、統合方式を用いずに、動き量(vx,vy,vz)を求める場合には、単眼のカメラの画像からは、z方向の動き量vzを求めず、ミリ波レーダ２２等のセンサデータからは、x方向及びy方向の動き量vx及びvyを求めないので、統合方式を用いる場合に比較して、計算量を削減することができる。
【０３０８】
その他、例えば、動き量vx及びvyについては、単眼のカメラと他のセンサとを用いた統合方式で求め、動き量vzについては、ミリ波レーダ２２と他のセンサとを用いた統合方式で求めることができる。
【０３０９】
図１７は、図１６の走行制御装置の処理の例を説明するフローチャートである。
【０３１０】
ステップＳ１２１において、ステレオカメラ２１は、図７のステップＳ２１と同様に、異なる視点から画像を撮影し、その結果得られる画像データを、センサデータとして、伝送部２３に出力する。
【０３１１】
さらに、ステップＳ１２１では、ミリ波レーダ２２は、図７のステップＳ２１と同様に、ミリ波を送信し、そのミリ波が物体で反射して戻ってくるミリ波を受信して、センサデータとして、伝送部２３に出力する。
【０３１２】
伝送部２３は、ステレオカメラ２１、及び、ミリ波レーダ２２が出力するセンサデータを、同期部２４に伝送し、処理は、ステップＳ１２１からステップＳ１２２に進む。
【０３１３】
ステップＳ１２２では、同期部２４は、図７のステップＳ２２と同様に、伝送部２３からのステレオカメラ２１及びミリ波レーダ２２のセンサデータを同期させ、尤度算出部６１に出力して、処理は、ステップＳ１２３に進む。
【０３１４】
ステップＳ１２３では、尤度算出部６１は、同期部２４からのステレオカメラ２１のセンサデータから、ステレオカメラ２１についての動き量尤度を、各サンプリング点(x,y,z,vx,vy,vz)について算出し、正規化部６２に供給する。
【０３１５】
さらに、尤度算出部６１は、同期部２４からのミリ波レーダ２２のセンサデータから、ミリ波レーダ２２についての動き量尤度を、各サンプリング点(x,y,z,vx,vy,vz)について算出し、正規化部６２に供給する。
【０３１６】
そして、処理は、ステップＳ１２３からステップＳ１２４に進み、正規化部６２は、尤度算出部６１からの、ステレオカメラ２１についての各サンプリング点(x,y,z,vx,vy,vz)の動き量尤度、及び、ミリ波レーダ２２についての各サンプリング点(x,y,z,vx,vy,vz)の動き量尤度に対して、サンプリング点(x,y,z,vx,vy,vz)を一致させる正規化を行う。
【０３１７】
正規化部６２は、正規化後のステレオカメラ２１についての各サンプリング点(x,y,z,vx,vy,vz)の動き量尤度、及び、ミリ波レーダ２２についての各サンプリング点(x,y,z,vx,vy,vz)の動き量尤度を、統合部６３に供給し、処理は、ステップＳ１２４からステップＳ１２５に進む。
【０３１８】
ステップＳ１２５では、統合部６３は、正規化部６２からのステレオカメラ２１についての動き量尤度、及び、ミリ波レーダ２２についての動き量尤度を、サンプリング点(x,y,z,vx,vy,vz)ごとに統合する。
【０３１９】
そして、統合部６３は、統合の結果得られるサンプリング点(x,y,z,vx,vy,vz)ごとの動き量の統合尤度を、動き量算出部６４に供給し、処理は、ステップＳ１２５からステップＳ１２６に進む。
【０３２０】
なお、統合部６３は、図１６で説明したように、ステレオカメラ２１についての動き量尤度、及び、ミリ波レーダ２２についての動き量尤度の統合を、バッファ３１に記憶された、前回求められた動き量(vx,vy,vz)や障害物マップを、必要に応じて用いて行うことができ、これにより、統合の処理の負荷を軽減することができる。
【０３２１】
また、統合部６３では、図５の統合部２７と同様に、統合の結果得られる動き量の統合尤度に対して、統合尤度の最適化を行うことができる。
【０３２２】
ステップＳ１２６では、動き量算出部６４は、統合部６３からのサンプリング点(x,y,z,vx,vy,vz)ごとの動き量の統合尤度を用いて、位置(x,y,z)又は位置(x,y)ごとに、動き量の統合尤度が最大の動き量(vx,vy,vz)（及び距離z）を、位置(x,y,z)又は位置(x,y)の物体の動き量として求める。
【０３２３】
そして、動き量算出部６４は、動き量(vx,vy,vz)を、障害物マップ生成部６５、及び、バッファ３１に供給し、処理は、ステップＳ１２６からステップＳ１２７に進む。
【０３２４】
ステップＳ１２７では、バッファ３１は、動き量算出部６４から供給される動き量(vx,vy,vz)をバッファリングし（一時記憶し）、処理は、ステップＳ１２８に進む。
【０３２５】
ここで、バッファ３１に記憶された動き量(vx,vy,vz)は、統合部６３が、次の統合を行うときに必要に応じて用いられる。
【０３２６】
ステップＳ１２８では、障害物マップ生成部６５は、動き量算出部６４からの動き量(vx,vy,vz)を用いて、自動車の前方に存在する障害物に関する障害物情報としての障害物マップを生成する。そして、障害物マップ生成部６５は、障害物マップを、走行制御部３０、及び、バッファ３１に供給し、処理は、ステップＳ１２８からステップＳ１２９に進む。
【０３２７】
ステップＳ１２９では、バッファ３１は、障害物マップ生成部６５から供給される障害物マップをバッファリングし、処理は、ステップＳ１３０に進む。
【０３２８】
ここで、バッファ３１に記憶された障害物マップは、統合部６３が、次の統合を行うときに必要に応じて用いられる。
【０３２９】
ステップＳ１３０では、走行制御部３０は、障害物マップ生成部６５からの障害物マップを用いて、自動車の走行制御を行い、処理は終了する。
【０３３０】
なお、図１７のフローチャートに従った処理は、パイプラインで繰り返し行われる。
【０３３１】
図１８は、図１７のステップＳ１２３において、ステレオカメラ２１のセンサデータから、ステレオカメラ２１についての動き量尤度を求める処理の例を説明するフローチャートである。
【０３３２】
ステップＳ１４１及びＳ１４２では、図８のステップＳ４１及びＳ４２とそれぞれ同様の処理が行われる。
【０３３３】
ステップＳ１４３では、尤度算出部６１は、図８のステップＳ４３と同様に、ステレオカメラ２１のセンサデータであるカメラ２１Ｌ及びカメラ２１Ｒで撮影された、視点の異なる２つの画像のうちの一方を基準画像とするとともに、他方を参照画像として、基準画像の各画素に対して、その画素に対応する参照画像の画素である対応点を求めるマッチングを、例えば、ブロックマッチング等によって行う。
【０３３４】
さらに、尤度算出部６１は、基準画像の各画素と、その画素に対して得られた参照画像の対応点との間の視差から、基準画像の各画素に映る物体までの距離を、基準画像の各画素の位置(x,y)の距離zとして求め、処理は、ステップＳ１４３からステップＳ１４４に進む。
【０３３５】
ステップＳ１４４では、尤度算出部６１は、ステレオカメラ２１のセンサデータとしての基準画像の各画素の各位置(x,y)及び距離zと、各動き量(vx,vy,vz)について、位置(x,y)及び距離zの物体の動き量が、動き量(vx,vy,vz)である動き量尤度を、例えば、基準画像の位置(x,y)の画素の動き検出を行うことにより求め、処理は終了する。
【０３３６】
すなわち、尤度算出部６１は、例えば、基準画像の最新のフレームを注目フレームに選択するとともに、その注目フレームの各画素を、順次、注目画素に選択する。さらに、尤度算出部６１は、注目画素から、x方向及びy方向の複数の動き量(vx,vy)それぞれだけずれた位置を中心とする、注目フレームの１フレーム前の前フレームのブロックと、注目画素を中心とする注目フレームのブロックとのブロックマッチングを行う。
【０３３７】
これにより、注目画素に対し、複数の動き量(vx,vy)それぞれについて、ブロックマッチングのマッチングエラーが求められる。
【０３３８】
また、尤度算出部６１は、注目画素から、動き量(vx,vy)それぞれだけずれた位置の前フレームの画素に対して、前フレームを注目フレームとして既に求められている距離と、注目画素に対して、直前のステップＳ１４３で求められた距離zとから、z方向の動き量vzを求める。
【０３３９】
以上により、注目フレームの各画素の各位置(x,y)及び距離zと、各動き量(vx,vy,vz)について、位置(x,y)及び距離zの物体の動き量が、動き量(vx,vy,vz)であるときのマッチングエラーが求められる。
【０３４０】
そして、尤度算出部６１は、注目フレームの各画素の各位置(x,y)及び距離zと、各動き量(vx,vy,vz)について、位置(x,y)及び距離zの物体の動き量が動き量(vx,vy,vz)である動き量尤度を、マッチングエラーを用いて求める。
【０３４１】
すなわち、位置(x,y)及び距離zと動き量(vx,vy,vz)に対するマッチングエラーを、cost(x,y,z,vx,vy,vz)と表すこととすると、尤度算出部６１は、位置(x,y)及び距離zの物体の動き量が動き量(vx,vy,vz)である動き量尤度PST(x,y,z,vx,vy,vz)を、例えば、式PST(x,y,z,vx,vy,vz)＝exp(-cost(x,y,z,vx,vy,vz))に従って求める。
【０３４２】
図１９は、図１７のステップＳ１２３において、ミリ波レーダ２２のセンサデータから、ミリ波レーダ２２についての動き量尤度を求める処理の例を説明するフローチャートである。
【０３４３】
ステップＳ１５１において、尤度算出部６１は、同期部２４からのミリ波レーダ２２のセンサデータを受信（キャプチャ）し、処理は、ステップＳ１５２に進む。
【０３４４】
ステップＳ１５２では、尤度算出部６１は、ミリ波レーダ２２のセンサデータのFFTを行い、さらに、そのFFT結果のFFTを行って、処理は、ステップＳ１５３に進む。
【０３４５】
ここで、本実施の形態では、ミリ波レーダ２２のセンサデータは、そのFFT結果のFFT結果、すなわち、２回目のFFT結果の強度が、その強度の時刻に対応する動き量で、物体が動いていることの確からしさを表すこととする。
【０３４６】
なお、ミリ波レーダ２２のセンサデータのFFT結果については、図９のステップＳ５３の場合と同様の補正を行うことができる。
【０３４７】
ステップＳ１５３では、尤度算出部６１は、ミリ波レーダ２２のセンサデータの２回目のFFT結果から、ミリ波レーダ２２のセンシング範囲の各方向（方位）r及び各距離dと各動き量(vx,vy,vz)について、方向r及び距離dにある物体の動き量が、動き量(vx,vy,vz)であると仮定したときの、各動き量(vx,vy,vz)の動き量尤度を求める。
【０３４８】
ここで、方向r及び距離dと動き量(vx,vy,vz)に対応する、ミリ波レーダ２２のセンサデータの２回目のFFT結果を、fft2(r,d,vx,vy,vz)と表すこととすると、方向r及び距離dにある物体の動き量が、動き量(vx,vy,vz)である動き量尤度PRは、例えば、式PR＝fft2(r,d,vx,vy,vz)／Σ(vx,vy,vz)fft2(r,d,vx,vy,vz)に従って求めることができる。
【０３４９】
式PR＝fft2(r,d,vx,vy,vz)／Σ(vx,vy,vz)fft2(r,d,vx,vy,vz)のΣ(vx,vy,vz)fft2(r,d,vx,vy,vz)は、動き量(vx,vy,vz)を、動き量尤度を求める各動き量に変えてのfft2(r,d,vx,vy,vz)のサメーションを表す。
【０３５０】
その後、処理は、ステップＳ１５４からステップＳ１５５に進み、尤度算出部６１は、ミリ波レーダ２２についての動き量尤度が得られる方向r及び距離dと動き量(vx,vy,vz)を、座標変換によって、６次元座標系の各位置(x,y,z,vx,vy,vz)に変換することで、その６次元座標系の各位置(x,y,z)である各サンプリング点(x,y,z,vx,vy,vz)についての動き量尤度を求め、処理は、終了する。
【０３５１】
なお、図１６では、画像センサとしてのステレオカメラ２１の他に、ミリ波レーダ２２を設けることとしたが、画像センサとしてのステレオカメラ２１以外のセンサとしては、例えば、図１２に示したように、ミリ波レーダ２２に代えて、ToFセンサ５１を用いることができる。
【０３５２】
さらに、画像センサとしてのステレオカメラ２１以外のセンサとしては、例えば、図１５に示したように、ミリ波レーダ２２とToFセンサ５１とを用いることができる。
【０３５３】
＜本技術を適用した走行制御装置の第５の詳細構成例＞
【０３５４】
図２０は、本技術を適用した走行制御装置の第５の詳細構成例を示すブロック図である。
【０３５５】
なお、図中、図５の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０３５６】
図２０において、走行制御装置は、ステレオカメラ２１、ミリ波レーダ２２、伝送部２３、同期部２４、走行制御部３０、バッファ３１、ToFセンサ５１、ライダ７１、尤度算出部８１、正規化部８２、統合部８３、距離／動き量算出部８４、及び、障害物マップ生成部８５を有する。
【０３５７】
したがって、図２０の走行制御装置は、ステレオカメラ２１、ミリ波レーダ２２、伝送部２３、同期部２４、走行制御部３０、及び、バッファ３１を有する点で、図５の場合と共通する。
【０３５８】
但し、図２０の走行制御装置は、尤度算出部２５、正規化部２６、統合部２７、距離算出部２８、及び、障害物マップ生成部２９に代えて、尤度算出部８１、正規化部８２、統合部８３、距離／動き量算出部８４、及び、障害物マップ生成部８５が、それぞれ設けられている点で、図５の場合と相違する。
【０３５９】
さらに、図２０の走行制御装置は、図１２のToFセンサ５１、及び、ライダ７１が新たに設けられている点で、図５の場合と相違する。
【０３６０】
尤度算出部８１は、図５の尤度算出部２５、及び、図１６の尤度算出部６１と同様の機能を有する。正規化部８２は、図５の正規化部２６、及び、図１６の正規化部６２と同様の機能を有する。統合部８３は、図５の統合部２７、及び、図１６の統合部６３と同様の機能を有する。距離／動き量算出部８４は、図５の距離算出部２８、及び、図１６の動き量算出部６４と同様の機能を有する。
【０３６１】
図２０の走行制御装置では、ステレオカメラ２１、ミリ波レーダ２２、ToFセンサ５１、及び、ライダ７１それぞれのセンサデータを対象として、図５及び図１６の走行制御装置と同様の処理が行われることで、距離／動き量算出部８４において、距離と動き量とが求められる。
【０３６２】
そして、障害物マップ生成部８５では、距離／動き量算出部８４で求められた距離と動き量を用いて、障害物マップが生成される。
【０３６３】
なお、例えば、図５の走行制御装置では、統合部２７で求められたサンプリング点(x,y,z)ごとの距離の統合尤度を用いて、位置(x,y)ごとに、距離の統合尤度が最大の距離zを、位置(x,y)の画素に映る物体までの距離として求めることとしたが、距離の統合尤度からは、物体までの距離以外の情報を求めることができる。
【０３６４】
すなわち、例えば、サンプリング点(x,y,z)ごとの距離の統合尤度（図１０の統合尤度ボリューム）において、(x,z)ごとに、統合尤度が最大のyを検出し、そのyがほぼ一定値の点(x,y,z)で構成される領域を、路面の領域として求めることができる。
【０３６５】
同様に、サンプリング点(x,y,z,vx,vy,vz)ごとの動き量の統合尤度についても、その動き量の統合尤度を用いて、動き量以外の情報を求めることができる。
【０３６６】
＜本技術を適用したコンピュータの説明＞
【０３６７】
次に、例えば、図１の尤度算出部１２や、正規化部１３、統合部１４等の各ブロックで行われる一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０３６８】
そこで、図２１は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０３６９】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１０５やROM１０３に予め記録しておくことができる。
【０３７０】
あるいはまた、プログラムは、リムーバブル記録媒体１１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体１１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体１１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
【０３７１】
なお、プログラムは、上述したようなリムーバブル記録媒体１１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク１０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
【０３７２】
コンピュータは、CPU(Central Processing Unit)１０２を内蔵しており、CPU１０２には、バス１０１を介して、入出力インタフェース１１０が接続されている。
【０３７３】
CPU１０２は、入出力インタフェース１１０を介して、ユーザによって、入力部１０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)１０３に格納されているプログラムを実行する。あるいは、CPU１０２は、ハードディスク１０５に格納されたプログラムを、RAM(Random Access Memory)１０４にロードして実行する。
【０３７４】
これにより、CPU１０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１１０を介して、出力部１０６から出力、あるいは、通信部１０８から送信、さらには、ハードディスク１０５に記録等させる。
【０３７５】
なお、入力部１０７は、キーボードや、マウス、マイク等で構成される。また、出力部１０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
【０３７６】
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
【０３７７】
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０３７８】
さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０３７９】
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０３８０】
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０３８１】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０３８２】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０３８３】
また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
【０３８４】
なお、本技術は、以下の構成をとることができる。
【０３８５】
＜１＞
複数の測距方法それぞれについて、その測距方法で得られる情報から、物体までの距離が複数の距離それぞれである距離尤度を算出する尤度算出部と、
前記複数の測距方法についての前記距離尤度を統合し、前記複数の距離それぞれの統合尤度を求める統合部と
を備える情報処理装置。
＜２＞
前記統合尤度を用いて、前記物体までの距離を求める距離算出部をさらに備える
＜１＞に記載の情報処理装置。
＜３＞
前記物体までの距離を用いて、障害物に関する障害物情報を生成する生成部をさらに備える
＜２＞に記載の情報処理装置。
＜４＞
前記統合部は、前回得られた前記距離又は前記障害物情報を用いて、前記複数の測距方法についての前記距離尤度を統合する
＜３＞に記載の情報処理装置。
＜５＞
前記複数の測距方法の測距に用いられる複数のセンサが出力するセンサデータを同期させる同期部をさらに備える
＜１＞ないし＜４＞のいずれかに記載の情報処理装置。
＜６＞
前記複数の測距方法の測距に用いられるセンサは、ステレオカメラ、レーダ、ToFセンサ、及び、ライダのうちの２以上のセンサである
＜１＞ないし＜５＞のいずれかに記載の情報処理装置。
＜７＞
複数の測距方法それぞれについて、その測距方法で得られる情報から、物体までの距離が複数の距離それぞれである距離尤度を算出することと、
前記複数の測距方法についての前記距離尤度を統合し、前記複数の距離それぞれの統合尤度を求めることと
を含む情報処理方法。
＜８＞
複数の測距方法それぞれについて、その測距方法で得られる情報から、物体までの距離が複数の距離それぞれである距離尤度を算出する尤度算出部と、
前記複数の測距方法についての前記距離尤度を統合し、前記複数の距離それぞれの統合尤度を求める統合部と
して、コンピュータを機能させるためのプログラム。
【符号の説明】
【０３８６】
１１1ないし１１N  センサ，  １２  尤度算出部，  １３  正規化部，  １４  統合部，  １５  距離／動き量算出部，  １６  走行制御部，  ２１  ステレオカメラ，  ２１Ｌ，２１Ｒ  カメラ，  ２２  ミリ波レーダ，  ２３  伝送部，  ２４  同期部，  ２５  尤度算出部，  ２６  正規化部，  ２７  統合部，  ２８  距離算出部，  ２９  障害物マップ生成部，  ３０  走行制御部，  ３１  バッファ，  ５１  ToFセンサ，  ６１  尤度算出部，  ６２  正規化部，  ６３  統合部，  ６４  動き量算出部，  ７１  ライダ，  ８１  尤度算出部，  ８２  正規化部，  ８３  統合部，  ８４  距離／動き量算出部，  ８５  障害物マップ生成部，  １０１  バス，  １０２  CPU，  １０３  ROM，  １０４  RAM，  １０５  ハードディスク，  １０６  出力部，  １０７  入力部，  １０８  通信部，  １０９  ドライブ，  １１０  入出力インタフェース，  １１１  リムーバブル記録媒体
【図１】
2017057056.tif 000003
【図２】
2017057056.tif 000004
【図３】
2017057056.tif 000005
【図４】
2017057056.tif 000006
【図５】
2017057056.tif 000007
【図６】
2017057056.tif 000008
【図７】
2017057056.tif 000009
【図８】
2017057056.tif 000010
【図９】
2017057056.tif 000011
【図１０】
2017057056.tif 000012
【図１１】
2017057056.tif 000013
【図１２】
2017057056.tif 000014
【図１３】
2017057056.tif 000015
【図１４】
2017057056.tif 000016
【図１５】
2017057056.tif 000017
【図１６】
2017057056.tif 000018
【図１７】
2017057056.tif 000019
【図１８】
2017057056.tif 000020
【図１９】
2017057056.tif 000021
【図２０】
2017057056.tif 000022
【図２１】
2017057056.tif 000023
【国際調査報告】
2017057056.tif 000024
2017057056.tif 000025
2017057056.tif 000026
2017057056.tif 000027