(57)【要約】  本開示は、ステレオカメラとミリ波レーダとを適切に同期して組み合わせることで、検出結果の精度を向上させることができるようにする信号処理装置、および信号処理方法、プログラム、移動体、並びに、信号処理システムに関する。キャリブレーションにおいて、センサ部により、レーダ反射体と、マーカとを有する目標物を、撮影（取得）したステレオカメラ画像とレーダ像とが得られる時刻を、センサ部と目標物との距離を変化させながら取得し、同一距離となるステレオカメラ画像が得られる時刻とレーダ像が得られる時刻との差分となる時刻ズレ量として求めておく。物体検出時には、先に取得されるレーダ像をバッファリングし、時刻ズレ量だけ遅れて取得したステレオカメラ画像と併せて出力し、ステレオカメラ画像とレーダ像とを組み合わせて、高精度な検出物体距離画像を生成する。本開示は、車載システムに適用することができる。
2019039279.tif 000002
【特許請求の範囲】
【請求項１】
物体を検出する第１の物体検出部と、
物体を検出する前記第１の物体検出部とは異なる第２の物体検出部と、
前記第１の物体検出部により所定の目標物が検出される第１の時刻と、前記第２の物体検出部により前記所定の目標物が検出される第２の時刻との時刻ズレを時刻ズレ量として検出する時刻ズレ検出部と
を含む信号処理装置。
【請求項２】
前記第１の物体検出部、もしくは前記第２の物体検出部の少なくとも一方による前記物体の検出結果をバッファリングするバッファリング部と、
前記バッファリング部による遅延量を前記時刻ズレ量に応じて設定して、前記時刻ズレを補正する時刻ズレ補正部とをさらに含む
請求項１に記載の信号処理装置。
【請求項３】
前記所定の目標物は、前記時刻ズレ量を測定するための物体であり、
前記第１の物体検出部により検出可能な第１の被検出部位と、
前記第２の物体検出部により検出可能な第２の被検出部位とを含む
請求項１に記載の信号処理装置。
【請求項４】
前記第１の物体検出部は、前記物体を所定の視差を有する２枚のステレオカメラ画像として撮影するステレオカメラであり、
前記第２の物体検出部は、前記物体をミリ波帯の電波により検出し、レーダ像として取得するミリ波レーダであり、
基準時刻を発生する基準時刻発生部をさらに含み、
前記ステレオカメラ画像および前記レーダ像は、それぞれ生成されたタイミングにおける前記基準時刻からなる時刻情報を含む
請求項１に記載の信号処理装置。
【請求項５】
前記ステレオカメラ画像を構成する前記所定の視差を有する２枚の画像に基づいて画素単位で前記所定の目標物までの距離を算出し、前記距離を画素値とする距離画像を生成する距離画像算出部と、
前記距離画像における、前記所定の目標物までの距離をステレオカメラ画像距離として、対応する前記ステレオカメラ画像の時刻情報と共に検出する距離画像目標物検出部と、
前記レーダ像に基づいた、前記所定の目標物までの距離であるレーダ像距離を、対応する前記レーダ像の時刻情報と共に検出するレーダ像目標物検出部とを含み、
前記時刻ズレ検出部は、前記ステレオカメラ画像距離と、前記レーダ像距離とが一致する、前記ステレオカメラ画像の時刻情報と、前記レーダ像の時刻情報との差分を時刻ズレ量として検出する
請求項４に記載の信号処理装置。
【請求項６】
前記ステレオカメラ画像上における前記所定の目標物の座標位置を検出するステレオカメラ画像目標物位置検出部をさらに含み、
前記距離画像目標物検出部は、前記距離画像における、前記ステレオカメラ画像目標物位置検出部により検出された前記所定の目標物の座標位置の距離情報を、前記所定の目標物までの距離であるステレオカメラ画像距離として特定し、対応する前記ステレオカメラ画像の時刻情報と共に検出し、
前記レーダ像目標物検出部は、前記ステレオカメラ画像目標物位置検出部により検出された前記所定の目標物の座標位置と、前記ステレオカメラ画像距離とにより特定される位置の近傍の範囲の、前記レーダ像における応答強度が高い距離を、前記所定の目標物までの距離であるレーダ像距離として、対応する前記レーダ像の時刻情報と共に検出する
請求項５に記載の信号処理装置。
【請求項７】
前記所定の目標物は、
前記ミリ波レーダのレーダ波の反射率が所定値よりも高いレーダ反射体と、
前記ステレオカメラ画像により認識可能なマーカとを含む
請求項５に記載の信号処理装置。
【請求項８】
前記ステレオカメラ画像上における前記所定の目標物の座標位置を検出するステレオカメラ画像目標物位置検出部と、
前記レーダ像における反射断面積分布に基づいて、前記レーダ像内の前記所定の目標物の位置を検出する反射断面積目標物位置検出部とをさらに含み、
前記距離画像目標物検出部は、前記距離画像における、前記所定の目標物の座標位置の距離情報を、前記所定の目標物までの距離であるステレオカメラ画像距離として特定し、対応する前記ステレオカメラ画像の時刻情報と共に検出し、
前記レーダ像目標物検出部は、前記反射断面積目標物位置検出部により検出された前記レーダ像内における前記所定の目標物の位置に対応する距離をレーダ像距離として、対応する前記レーダ像の時刻情報と共に検出する
請求項５に記載の信号処理装置。
【請求項９】
前記距離画像算出部、前記距離画像目標物検出部、前記レーダ像目標物検出部、および前記時刻ズレ検出部は、所定の時間間隔で繰り返し、前記距離画像を生成し、前記ステレオカメラ画像距離を、対応する前記ステレオカメラ画像の時刻情報と共に検出し、前記レーダ像距離を、対応する前記レーダ像の時刻情報と共に検出し、時刻ズレ量を検出する
請求項８に記載の信号処理装置。
【請求項１０】
前記所定の目標物は、前走車のナンバープレート、または、道路標識である
請求項８に記載の信号処理装置。
【請求項１１】
前記第１の物体検出部は、前記物体を、所定の視差を有する２枚のステレオカメラ画像として撮影するステレオカメラであり、
前記第２の物体検出部は、前記物体を、レーザ光により検出し、前記レーザ光の反射強度に応じた画像として撮影するLIDAR（Light Detection and Ranging、Laser Imaging Detection and Ranging）であり、
基準時刻を発生する基準時刻発生部をさらに含み、
前記ステレオカメラ画像、並びに、前記LIDARにより撮影されるLIDAR画像は、それぞれ生成されたタイミングにおける前記基準時刻からなる時刻情報を含む
請求項１に記載の信号処理装置。
【請求項１２】
前記ステレオカメラ画像より所定の視差に基づいて画素単位で被写体までの距離を算出し、前記距離を画素値とする距離画像を生成する距離画像算出部と、
前記距離画像に基づいた、前記所定の目標物までの距離であるステレオカメラ画像距離を、対応する前記ステレオカメラ画像の時刻情報と共に検出する距離画像目標物検出部と、
前記LIDAR画像に基づいた、前記所定の目標物までの距離であるLIDAR画像距離を、対応する前記LIDAR画像の時刻情報と共に検出するLIDAR画像目標物検出部とを含み、
前記時刻ズレ検出部は、前記ステレオカメラ画像距離と、前記LIDAR画像距離とが一致する、前記ステレオカメラ画像の時刻情報と、前記LIDAR画像の時刻情報との差分を時刻ズレ量として検出する
請求項１１に記載の信号処理装置。
【請求項１３】
前記ステレオカメラ画像上における前記所定の目標物の座標位置を検出するステレオカメラ画像目標物位置検出部をさらに含み、
前記距離画像目標物検出部は、前記距離画像における、前記ステレオカメラ画像目標物位置検出部により検出された前記所定の目標物の座標位置の距離情報を、前記所定の目標物までの距離であるステレオカメラ画像距離として特定し、対応する前記ステレオカメラ画像の時刻情報と共に検出し、
前記LIDAR画像は、前記レーザ光の反射強度を各画素の画素値とするLIDAR反射強度画像、および前記レーザ光の被写体までの往復時間に基づいてToF（Time of Flight）法で求められる距離画像からなるLIDAR距離画像を含み、
前記LIDAR画像目標物検出部は、前記LIDAR反射強度画像より、反射強度が特に高い位置を、前記所定の目標物の位置とみなし、対応する前記LIDAR距離画像における位置の距離を、前記所定の目標物までの距離であるLIDAR画像距離として、対応する前記レーザ光の反射強度に応じた画像の時刻情報と共に検出する
請求項１２に記載の信号処理装置。
【請求項１４】
前記所定の目標物は、
前記LIDARのレーザ光の反射率が所定値よりも高いレーザ反射体と、
前記ステレオカメラ画像により認識可能なマーカとを含む
請求項１１に記載の信号処理装置。
【請求項１５】
前記時刻ズレ検出部は、複数の前記時刻ズレを求め、統計処理により時刻ズレ量を検出する
請求項１に記載の信号処理装置。
【請求項１６】
物体を検出する第１の物体検出処理と、
前記第１の物体検出処理とは異なる方法で物体を検出する第２の物体検出処理と、
前記第１の物体検出処理により所定の目標物が検出される第１の時刻と、前記第２の物体検出処理により前記所定の目標物が検出される第２の時刻との時刻ズレを時刻ズレ量として検出する時刻ズレ検出部と
を含む信号処理方法。
【請求項１７】
物体を検出する第１の物体検出部と、
物体を検出する前記第１の物体検出部とは異なる第２の物体検出部と、
前記第１の物体検出部により所定の目標物が検出される第１の時刻と、前記第２の物体検出部により前記所定の目標物が検出される第２の時刻との時刻ズレを時刻ズレ量として検出する時刻ズレ検出部と
を含む処理をコンピュータに実行させるプログラム。
【請求項１８】
物体を検出する第１の物体検出部と、
物体を検出する前記第１の物体検出部とは異なる第２の物体検出部と、
前記第１の物体検出部により所定の目標物が検出される第１の時刻と、前記第２の物体検出部により前記所定の目標物が検出される第２の時刻との時刻ズレを時刻ズレ量として検出する時刻ズレ検出部と
を含む移動体。
【請求項１９】
所定の目標物と信号処理装置とからなる信号処理システムにおいて、
前記信号処理装置は、
物体を検出する第１の物体検出部と、
物体を検出する前記第１の物体検出部とは異なる第２の物体検出部と、
前記第１の物体検出部により前記所定の目標物が検出される第１の時刻と、前記第２の物体検出部により前記所定の目標物が検出される第２の時刻との時刻ズレを時刻ズレ量として検出する時刻ズレ検出部と
を含み、
前記所定の目標物は、
前記第１の物体検出部により検出可能な第１の被検出部位と、
前記第２の物体検出部により検出可能な第２の被検出部位と
を含む
信号処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、信号処理装置、および信号処理方法、プログラム、移動体、並びに、信号処理システムに関し、特に、複数のセンサによる検出結果を適切に組み合わせて使用できるようにした信号処理装置、および信号処理方法、プログラム、移動体、並びに、信号処理システムに関する。
【背景技術】
【０００２】
複数のセンサによる検出結果を組み合わせて利用することにより、検出精度を向上させる技術が提案されている。【０００３】
この技術では、まず、キャリブレーションにより、基準となる第１の物体検出センサにより所定の物体が所定の位置で検出される時刻情報と、キャリブレーションの対象となる第２の物体検出センサにより同一の所定の物体が同一の所定の位置で検出される時刻情報との時刻のズレが、時刻ズレ量として予め求められる。【０００４】
この際、第１の物体検出センサおよび第２の物体検出センサにより同一の物体が、同一の状態で検出される時刻情報については、正確なUTC(協定世界時：Coordinated Universal Time)を用いたハードウェアタイムスタンプが使用される。【０００５】
そして、実際に物体を検出する際には、第２の物体検出センサによる、第１の物体検出センサとの検出時刻の時刻ズレを、予め求めた時刻ズレ量に基づいた、カルマンフィルタにより予測して補償し、第１の物体検出センサの検出結果と、第２の物体検出センサの検出結果とを同期させ、組み合わせて使用する（非特許文献１参照）。【０００６】
このように、物体が検出される際の時刻情報が揃えられた第１の物体検出センサ、および第２の物体検出センサのそれぞれの検出結果が組み合わされることにより、検出結果の精度が向上される。【０００７】
尚、この場合、第１の物体検出センサ、および第２の物体検出センサのそれぞれの検出時刻として、それぞれ正確なUTCによるタイムスタンプが付与される必要がある。
【先行技術文献】
【非特許文献】
【０００８】
【非特許文献１】2011 IEEE Intelligent Vehicles Symposium (IV) Baden-Baden, Germany, June 5-9, 2011 Precise Timestamping and Temporal Synchronization in Multi-Sensor Fusion
【発明の概要】
【発明が解決しようとする課題】
【０００９】
ところで、複数の異なる物体検出センサとして、ミリ波レーダとステレオカメラとを用いて、それぞれの検出結果を組み合わせて、より正確で、かつ、よりロバストな検出物体距離情報を求める場合、非特許文献１と同様に、予め検出される時刻情報のズレである時刻ズレ量を求めて、カルマンフィルタを用いて時刻ズレを予測処理により求め、補正することが考えられる。【００１０】
しかしながら、カルマンフィルタを用いた予測処理に係る負荷が大きい上、時刻ズレを予測するのみであり、必ずしも適切な補正ができない。【００１１】
また、検出対象が異なる物体検出センサ間の検出時刻のズレ時間を高精度に検出することができないため、精度の低い時刻ズレの情報に基づいた、カルマンフィルタにより予測される時刻ズレの予測精度には限界があった。【００１２】
本開示は、このような状況に鑑みてなされたものであり、特に、複数の物体検出センサの検出結果を適切に同期して組み合わせることで、検出結果の精度を向上させるものである。
【課題を解決するための手段】
【００１３】
本開示の一側面の信号処理装置は、物体を検出する第１の物体検出部と、物体を検出する前記第１の物体検出部とは異なる第２の物体検出部と、前記第１の物体検出部により所定の目標物が検出される第１の時刻と、前記第２の物体検出部により前記所定の目標物が検出される第２の時刻との時刻ズレを時刻ズレ量として検出する時刻ズレ検出部とを含む信号処理装置である。【００１４】
前記第１の物体検出部、もしくは前記第２の物体検出部の少なくとも一方による前記物体の検出結果をバッファリングするバッファリング部と、前記バッファリング部による遅延量を前記時刻ズレ量に応じて設定して、前記時刻ズレを補正する時刻ズレ補正部とをさらに含ませるようにすることができる。【００１５】
前記所定の目標物は、前記時刻ズレ量を測定するための物体であり、前記第１の物体検出部により検出可能な第１の被検出部位と、前記第２の物体検出部により検出可能な第２の被検出部位とを含ませるようにすることができる。【００１６】
前記第１の物体検出部は、前記物体を所定の視差を有する２枚のステレオカメラ画像として撮影するステレオカメラとすることができ、前記第２の物体検出部は、前記物体をミリ波帯の電波により検出し、レーダ像として取得するミリ波レーダとすることができ、基準時刻を発生する基準時刻発生部をさらに含ませるようにすることができ、前記ステレオカメラ画像および前記レーダ像には、それぞれ生成されたタイミングにおける前記基準時刻からなる時刻情報を含ませるようにすることができる。【００１７】
前記ステレオカメラ画像を構成する前記所定の視差を有する２枚の画像に基づいて画素単位で前記所定の目標物までの距離を算出し、前記距離を画素値とする距離画像を生成する距離画像算出部と、前記距離画像における、前記所定の目標物までの距離をステレオカメラ画像距離として、対応する前記ステレオカメラ画像の時刻情報と共に検出する距離画像目標物検出部と、前記レーダ像に基づいた、前記所定の目標物までの距離であるレーダ像距離を、対応する前記レーダ像の時刻情報と共に検出するレーダ像目標物検出部とを含ませるようにすることができ、前記時刻ズレ検出部には、前記ステレオカメラ画像距離と、前記レーダ像距離とが一致する、前記ステレオカメラ画像の時刻情報と、前記レーダ像の時刻情報との差分を時刻ズレ量として検出させるようにすることができる。【００１８】
前記ステレオカメラ画像上における前記所定の目標物の座標位置を検出するステレオカメラ画像目標物位置検出部をさらに含ませるようにすることができ、前記距離画像目標物検出部には、前記距離画像における、前記ステレオカメラ画像目標物位置検出部により検出された前記所定の目標物の座標位置の距離情報を、前記所定の目標物までの距離であるステレオカメラ画像距離として特定させ、対応する前記ステレオカメラ画像の時刻情報と共に検出させ、前記レーダ像目標物検出部には、前記ステレオカメラ画像目標物位置検出部により検出された前記所定の目標物の座標位置と、前記ステレオカメラ画像距離とにより特定される位置の近傍の範囲の、前記レーダ像における応答強度が高い距離を、前記所定の目標物までの距離であるレーダ像距離として、対応する前記レーダ像の時刻情報と共に検出させるようにすることができる。【００１９】
前記所定の目標物には、前記ミリ波レーダのレーダ波の反射率が所定値よりも高いレーダ反射体と、前記ステレオカメラ画像により認識可能なマーカとを含ませるようにすることができる。【００２０】
前記ステレオカメラ画像上における前記所定の目標物の座標位置を検出するステレオカメラ画像目標物位置検出部と、前記レーダ像における反射断面積分布に基づいて、前記レーダ像内の前記所定の目標物の位置を検出する反射断面積目標物位置検出部とをさらに含ませるようにすることができ、前記距離画像目標物検出部には、前記距離画像における、前記所定の目標物の座標位置の距離情報を、前記所定の目標物までの距離であるステレオカメラ画像距離として特定させ、対応する前記ステレオカメラ画像の時刻情報と共に検出させ、前記レーダ像目標物検出部には、前記反射断面積目標物位置検出部により検出された前記レーダ像内における前記所定の目標物の位置に対応する距離をレーダ像距離として、対応する前記レーダ像の時刻情報と共に検出させるようにすることができる。【００２１】
前記距離画像算出部、前記距離画像目標物検出部、前記レーダ像目標物検出部、および前記時刻ズレ検出部には、所定の時間間隔で繰り返し、前記距離画像を生成させ、前記ステレオカメラ画像距離を、対応する前記ステレオカメラ画像の時刻情報と共に検出させ、前記レーダ像距離を、対応する前記レーダ像の時刻情報と共に検出させ、時刻ズレ量を検出させるようにすることができる。【００２２】
前記所定の目標物は、前走車のナンバープレート、または、道路標識とすることができる。【００２３】
前記第１の物体検出部は、前記物体を、所定の視差を有する２枚のステレオカメラ画像として撮影するステレオカメラとすることができ、前記第２の物体検出部は、前記物体を、レーザ光により検出し、前記レーザ光の反射強度に応じた画像として撮影するLIDAR（Light Detection and Ranging、Laser Imaging Detection and Ranging）とすることができ、基準時刻を発生する基準時刻発生部をさらに含ませるようにすることができ、前記ステレオカメラ画像、並びに、前記LIDARにより撮影されるLIDAR画像には、それぞれ生成されたタイミングにおける前記基準時刻からなる時刻情報を含ませるようにすることができる。【００２４】
前記ステレオカメラ画像より所定の視差に基づいて画素単位で被写体までの距離を算出し、前記距離を画素値とする距離画像を生成する距離画像算出部と、前記距離画像に基づいた、前記所定の目標物までの距離であるステレオカメラ画像距離を、対応する前記ステレオカメラ画像の時刻情報と共に検出する距離画像目標物検出部と、前記LIDAR画像に基づいた、前記所定の目標物までの距離であるLIDAR画像距離を、対応する前記LIDAR画像の時刻情報と共に検出するLIDAR画像目標物検出部とを含ませるようにすることができ、前記時刻ズレ検出部には、前記ステレオカメラ画像距離と、前記LIDAR画像距離とが一致する、前記ステレオカメラ画像の時刻情報と、前記LIDAR画像の時刻情報との差分を時刻ズレ量として検出させるようにすることができる。【００２５】
前記ステレオカメラ画像上における前記所定の目標物の座標位置を検出するステレオカメラ画像目標物位置検出部をさらに含ませるようにすることができ、前記距離画像目標物検出部には、前記距離画像における、前記ステレオカメラ画像目標物位置検出部により検出された前記所定の目標物の座標位置の距離情報を、前記所定の目標物までの距離であるステレオカメラ画像距離として特定させ、対応する前記ステレオカメラ画像の時刻情報と共に検出させ、前記LIDAR画像には、前記レーザ光の反射強度を各画素の画素値とするLIDAR反射強度画像、および前記レーザ光の被写体までの往復時間に基づいてToF（Time of Flight）法で求められる距離画像からなるLIDAR距離画像を含ませ、前記LIDAR画像目標物検出部には、前記LIDAR反射強度画像より、反射強度が特に高い位置を、前記所定の目標物の位置とみなし、対応する前記LIDAR距離画像における位置の距離を、前記所定の目標物までの距離であるLIDAR画像距離として、対応する前記レーザ光の反射強度に応じた画像の時刻情報と共に検出させるようにすることができる。【００２６】
前記所定の目標物には、前記LIDARのレーザ光の反射率が所定値よりも高いレーザ反射体と、前記ステレオカメラ画像により認識可能なマーカとを含ませるようにすることができる。【００２７】
前記時刻ズレ検出部には、複数の前記時刻ズレを求めさせ、統計処理により時刻ズレ量を検出させるようにしてもよい。【００２８】
本開示の一側面の信号処理方法は、物体を検出する第１の物体検出処理と、前記第１の物体検出処理とは異なる方法で物体を検出する第２の物体検出処理と、前記第１の物体検出処理により所定の目標物が検出される第１の時刻と、前記第２の物体検出処理により前記所定の目標物が検出される第２の時刻との時刻ズレを時刻ズレ量として検出する時刻ズレ検出部とを含む信号処理方法である。【００２９】
本開示の一側面のプログラムは、物体を検出する第１の物体検出部と、物体を検出する前記第１の物体検出部とは異なる第２の物体検出部と、前記第１の物体検出部により所定の目標物が検出される第１の時刻と、前記第２の物体検出部により前記所定の目標物が検出される第２の時刻との時刻ズレを時刻ズレ量として検出する時刻ズレ検出部とを含む処理をコンピュータに実行させるプログラムである。【００３０】
本開示の一側面の移動体は、物体を検出する第１の物体検出部と、物体を検出する前記第１の物体検出部とは異なる第２の物体検出部と、前記第１の物体検出部により所定の目標物が検出される第１の時刻と、前記第２の物体検出部により前記所定の目標物が検出される第２の時刻との時刻ズレを時刻ズレ量として検出する時刻ズレ検出部とを含む移動体である。【００３１】
本開示の一側面の信号処理システムは、所定の目標物と信号処理装置とからなる信号処理システムにおいて、前記信号処理装置は、物体を検出する第１の物体検出部と、物体を検出する前記第１の物体検出部とは異なる第２の物体検出部と、前記第１の物体検出部により前記所定の目標物が検出される第１の時刻と、前記第２の物体検出部により前記所定の目標物が検出される第２の時刻との時刻ズレを時刻ズレ量として検出する時刻ズレ検出部とを含み、前記所定の目標物は、前記第１の物体検出部により検出可能な第１の被検出部位と、前記第２の物体検出部により検出可能な第２の被検出部位とを含む信号処理システムである。【００３２】
本開示の一側面においては、第１の物体検出部により物体が検出され、前記第１の物体検出部とは異なる第２の物体検出部により前記物体が検出され、前記第１の物体検出部により所定の目標物が前記物体として検出される第１の時刻と、前記第２の物体検出部により前記所定の目標物が前記物体として検出される第２の時刻との時刻ズレが時刻ズレ量として検出される。
【発明の効果】
【００３３】
本開示の一側面によれば、特に、複数の物体検出センサによる複数の検出結果を適切に同期して組み合わせるようにすることで、検出結果の精度を向上させることが可能となる。
【図面の簡単な説明】
【００３４】
【図１】本開示の概要を説明する図である。
【図２】車両と目標物との位置関係を説明する図である。
【図３】ステレオカメラ画像とレーダ像との時刻ズレを説明する図である。
【図４】本開示の車両に搭載されるセンサ部の構成例を説明する図である。
【図５】本開示の目標物の構成例を説明する図である。
【図６】本開示の移動体を制御する移動体制御システムの構成例を説明するブロック図である。
【図７】図６のデータ取得部におけるセンサ部の構成例を説明するブロック図である。
【図８】図６の車外情報検出部の構成例を説明するブロック図である。
【図９】図８の物体検出処理部の構成例を説明するブロック図である。
【図１０】図８の物体検出処理部の動作を説明する図である。
【図１１】時刻ズレ量の求め方を説明する図である。
【図１２】キャリブレーション処理を説明するフローチャートである。
【図１３】検出物体距離画像生成処理を説明するフローチャートである。
【図１４】目標物の代用物の例を説明する図である。
【図１５】本開示の応用例の物体検出処理部の構成例を説明するブロック図である。
【図１６】目標物の代用物をナンバープレートにする場合のレーダ像の例を説明する図である。
【図１７】目標物をナンバープレートにした場合のキャリブレーション処理を説明するフローチャートである。
【図１８】ミリ波レーダに代えてLIDARを用いたセンサ部の変形例を説明するブロック図である。
【図１９】図１８のセンサ部に対応する目標物の構成例を説明する図である。
【図２０】図１８のセンサ部に対応する物体検出処理部の構成例を説明するブロック図である。
【図２１】LIDAR反射強度画像とLIDAR距離画像とを説明する図である。
【図２２】キャリブレーション処理を説明するフローチャートである。
【図２３】汎用のコンピュータの構成例を説明する図である。
【発明を実施するための形態】
【００３５】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００３６】
以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
１．本開示の概要
２．本開示の好適な実施の形態
３．応用例
４．変形例
５．ソフトウェアにより実行させる例
【００３７】
＜＜１．本開示の概要＞＞
本開示の移動体は、自車両の周囲の状況を高精度に認識し、認識結果に応じて自走する移動体である。以降において、本開示の移動体については、車両である場合の例について説明を進めるが、移動体であれば、車両以外であってよいことはいうまでもない。
【００３８】
本開示の移動体は、ミリ波レーダと、ステレオカメラとからなるセンサ部を備えており、進行方向前方を監視し、ミリ波レーダにより取得されるレーダ像と、ステレオカメラにより撮影されるステレオカメラ画像とから、それらを組み合わせた検出物体距離画像を、自車両の周辺情報として出力する。
【００３９】
本開示の移動体は、この検出物体距離画像に基づいて、例えば、自車両の周辺情報を認識し、認識結果に基づいて自走する。
【００４０】
より詳細には、例えば、図１の左下部で示される自車両である車両１１が、道路Ｒの左側の車線を図中上方に移動しているとき、対向車線に車両１１に近い方から順に車両Ｃ１，Ｃ２が、図中の下方向に移動しており、また、車両１１と同一の車線であって、車両１１より前方に、図中の上方に移動する車両Ｃ３，Ｃ４が存在するものとする。尚、図１は、車両１１を上方から見たときの、周囲の車両との関係を示す図である。
【００４１】
図１の左下部のとき、車両１１におけるステレオカメラは、例えば、図１の左上部で示されるようなステレオカメラ画像Ｐ１を撮影する。すなわち、ステレオカメラ画像Ｐ１は、車両１１の進行方向に対して直交する水平方向をＸ軸とし、車両１１の進行方向に対して直交する垂直方向をＹ軸とし、車両１１の進行方向をＺ軸とした座標系の情報となる。
【００４２】
すなわち、ステレオカメラ画像Ｐ１においては、図１の左上部で示されるように、ＸＹ平面からみたＺ方向に奥行きのある像となり、図中右側前方に対向車線を走行する車両Ｃ１，Ｃ２が画像Ｓｔ１，Ｓｔ２として映し出され、図中左側前方に先行車である車両Ｃ３，Ｃ４が画像Ｓｔ３，Ｓｔ４として映し出されている。
【００４３】
一方、車両１１におけるミリ波レーダにより取得されるレーダ像Ｐ２は、図１の右上部で示されるように、車両１１の進行方向に対して直交する水平方向をＸ軸とし、車両の進行方向をＺ軸とした座標系の情報となる。
【００４４】
すなわち、レーダ像Ｐ２においては、図１の右上部で示されるように、ＸＺ平面からみた像となり、図中右側に対向車線を走行する車両Ｃ１，Ｃ２の応答の強度に応じたレーダ像Ｒ１，Ｒ２が映し出されており、図中左側前方に先行車である車両Ｃ３，Ｃ４の応答の強度に応じたレーダ像Ｒ３，Ｒ４が映し出されている。
【００４５】
そして、このステレオカメラ画像Ｐ１とレーダ像Ｐ２とが組み合わされることにより、図１の右下部で示されるような、実空間の座標系にマッピングされ、車両１１からみた走行方向前方に対して、より正確で、かつ、よりロバストな周辺の車両Ｃ１乃至Ｃ４の位置を特定することができる。
【００４６】
すなわち、図１の右下部においては、画像Ｓｔ１乃至Ｓｔ４のそれぞれと対応してレーダ像Ｒ１乃至Ｒ４の情報が重畳されており、ステレオカメラ画像における画像Ｓｔ１乃至Ｓｔ４と、レーダ像Ｒ１乃至Ｒ４との相互の情報を使用して、実空間における座標系にマッピングすることにより、車両１１からみた走行方向前方に対して、より正確で、かつ、よりロバストな周辺の車両Ｃ１乃至Ｃ４の位置情報の取得が可能となる。
【００４７】
ところで、ステレオカメラ画像とレーダ像とから車両Ｃ１乃至Ｃ４を検出し、実空間の座標系にマッピングする場合、ステレオカメラ画像とレーダ像とは同一時刻に撮影（取得）した画像を利用する必要がある。
【００４８】
ステレオカメラ画像とレーダ像との撮影（取得）時刻が異なれば、車両１１、または撮影対象車両Ｃ１乃至Ｃ４が動いている場合、ステレオカメラ画像およびレーダ像に写る対象物の位置が相互にズレてしまうので、適切にマッピングすることができない。
【００４９】
この点について、電気的にタイミングを合わせることで同一時刻に撮影しているとみなし、撮影時刻のズレについては考慮せずに処理しても、マッピングを実現することはできるが、精度に限界があった。
【００５０】
また、GPS（Global Positioning System）等の高精度の時刻を用いたタイムスタンプを撮影画像に付与し、時刻を合わせて処理する技術も存在するが、高精度な時刻を用いたタイムスタンプを付加する機能を常用することは現実的ではなく、タイムスタンプをつけたとしても、通常、タイムスタンプはデータがセンサから送られてきてから付与されるものであり、バッファ送信のレイテンシまで考慮することができない。
【００５１】
さらに、クロックを同期する技術も存在するが、複数の物体検出センサを用いるシステムにおいて、各物体検出センサのクロックが独立していることは一般的であり、それぞれの内部クロックのドリフトによる時刻ズレは生じてしまう。
【００５２】
また、複数の物体検出センサの各クロックが独立していなくても、複数の物体検出センサのそれぞれにクロックを配信するためのバッファによる遅延が存在し、クロックのドリフトにより時刻ズレは生じる。
【００５３】
さらに、ミリ波レーダでのレーダ像が取得される時刻を時刻t_radar_1とし、ステレオカメラにおける左カメラで画像が撮影される時刻を時刻t_lcamera_1とし、右カメラで画像が撮影される時刻を時刻t_rcamera_1とする。
【００５４】
また、基準時刻は常に生成されており、レーダ像が信号処理されたタイミングで時刻t_radar_sが付加されるものとする。同様に、左カメラの画像信号処理がなされた後に左カメラ画像が出力されるときに時刻t_lcamera_sが付加され、画像信号処理がなされた後に右カメラ画像が出力されるときに時刻t_rcamera_sが付加されるものとする。
【００５５】
レーダ像の信号処理に係る処理時間が処理時間t_radar_pであるものとし、左カメラの画像信号処理に係る処理時間が処理時間t_lcamera_pであるものとし、右カメラの画像信号処理に係る処理時間が処理時間t_rcamera_pであるものとする。
【００５６】
レーダ像およびステレオカメラ画像が取得される、レーダ像、およびステレオカメラ画像の実際の撮影（取得）時刻（ミリ波レーダの場合はレーダ波が受信される時刻）は、基準時刻と、それぞれの処理に係る処理時間の関係から、以下の式（１）乃至（３）で表される。
【００５７】
t_radar_1=t_radar_s−t_radar_p
・・・（１）
t_lcamera_1=t_lcamera_s−t_lcamera_p
・・・（２）
t_rcamera_1=t_rcamera_s−t_rcamera_p
・・・（３）
【００５８】
しかしながら、それぞれの信号処理や時刻情報の付加に係る処理、さらには、レーダ像およびステレオカメラ画像が転送される転送経路における各種の認識不能な要因によるエラーが含まれる。結果として、撮影（取得）時刻（ミリ波レーダの場合はレーダ波が受信される時刻）は、以下の式（４）乃至式（６）で示されるように表現される。
t_radar_1=t_radar_s−t_radar_p＋error_radar
・・・（４）
t_lcamera_1=t_lcamera_s−t_lcamera_p＋error_lcamera
・・・（５）
t_rcamera_1=t_rcamera_s−t_rcamera_p＋error_rcamera
・・・（６）
【００５９】
すなわち、エラー項であるerror_radar，error_lcamera，error_rcameraを測定することができないため、実際の撮影（取得）時刻（レーダの場合はレーダ波受信時刻）を特定することは困難であり、結果として、時刻ズレが生じる。
【００６０】
尚、ここでの時間は絶対時間である必要はなく、等間隔のパルス（いわゆるクロック）とそのカウント回数であればよい。
【００６１】
したがって、撮影（取得）されたステレオカメラ画像とレーダ像との時刻ズレが適切に補正され、それぞれ検出された物体の対応関係が一致するように、同期を図る必要がある。
【００６２】
即ち、ステレオカメラによるステレオカメラ画像およびミリ波レーダによるレーダ像のそれぞれが同一の車両を、同一の位置で適切に検出するには、実空間の座標系において、同一の車両が、同一の位置にマッピングされるように、同一時刻のステレオカメラ画像とレーダ像とを用いることが重要となる。
【００６３】
そこで、本開示においては、ステレオカメラと、ミリ波レーダとのいずれのセンサにおいても、検出可能な目標物を用いて、レーダ像とステレオカメラ画像との取得に係る時刻ズレを、距離を変化させながら予めキャリブレーションにより時刻ズレ量として検出し、キャリブレーションにより予め求めた時刻ズレ量の情報を用いて、時刻ズレを補正することで、同一時刻のステレオカメラ画像とレーダ像とを取得できるようにする。
【００６４】
＜ステレオカメラ画像が検出される時刻と、ミリ波レーダによるレーダ像が検出される時刻との時刻ズレ量の求め方の概要＞
本開示のキャリブレーションシステムは、例えば、図２で示されるように、前方を監視領域とする、ミリ波レーダとステレオカメラとを有するセンサ部３１を備えた車両１１と、監視領域内に設けられた目標物１２とから構成される。
【００６５】
このように車両１１と目標物１２とから構成されるキャリブレーションシステムは、キャリブレーション処理により、車両１１と目標物１２との距離Ｄを変化させながら、ミリ波レーダとステレオカメラとの検出結果を用いて、それぞれの検出結果が得られる時刻情報から、時刻間の差分である時刻ズレ量を求め、車両１１に記憶させる。車両１１は、通常の検出物体距離画像を生成する際に、キャリブレーション処理により求められた時刻ズレ量を用いて、ミリ波レーダのレーダ像とステレオカメラのステレオカメラ画像との取得に係る時刻ズレを補正して、検出物体距離画像を生成する。
【００６６】
＜センサ部の構成の概要＞
ここで、図３を参照して、センサ部３１の構成の概要について説明する。
【００６７】
センサ部３１は、ステレオカメラ５１、ミリ波レーダ５２、信号出力部５３、および基準時刻生成部５４を備えている。
【００６８】
ステレオカメラ５１は、左右の所定の視差を備えた画像を撮影するカメラ５１Ｌ，５１Ｒとから構成されており、車両１１の前方を撮影し、基準時刻生成部５４より供給される基準時刻に対応するタイムスタンプからなる時刻情報を付与して、信号出力部５３に出力する。
【００６９】
ミリ波レーダ５２は、ミリ波帯の電波を監視領域に対して放出し、検出物体による反射波を検出することで、検出物体の方向と距離を、例えば、レーダ波の往復時間から測定して、レーダ像を生成し、基準時刻生成部５４より供給される基準時刻に対応するタイムスタンプからなる時刻情報を付与して、信号出力部５３に出力する。
【００７０】
信号出力部５３は、検出時刻を示す時刻情報であるタイムスタンプが付与されているステレオカメラ画像およびレーダ像を、図６を参照して後述する車両制御システム１００の自動運転制御部１１２の検出部１３１の車外情報検出部１４１に出力する。
【００７１】
基準時刻生成部５４は、基準となる時刻を発生しステレオカメラ５１およびミリ波レーダ５２に出力する。
【００７２】
＜目標物の構成例＞
次に、図４を参照して、キャリブレーション時に使用される目標物１２の構成例について説明する。
【００７３】
目標物１２は、センサ部３１のステレオカメラ５１、およびミリ波レーダ５２により検出可能な任意の高さで設置される。
【００７４】
また、目標物１２は、ミリ波レーダ５２より発せられるレーダ波を反射し、かつ、ステレオカメラ５１により撮影可能な物体であれば良く、具体的には、金属製であり、かつ、光の反射がステレオカメラによる測距に影響しない程度に、光が反射しない、例えば、つや消し処理や紙が貼り付けられているものであることが望ましい。
【００７５】
さらに、目標物１２は、効率よくミリ波レーダ５２より発生られるミリ波を所定の反射率よりも高い反射率で反射するために、図４で示されるように、金属製の四角錐の矩形面を開放するように構成したレーダ反射体７１から構成される。
【００７６】
また、目標物１２は、四角錐の開放面を車両１１の前方に設けられたセンサ部３１のミリ波レーダ５２の方向に向ける面とし、開放面にパターンが印刷された紙からなるマーカ７２が貼りつけられている。このパターンとしては、例えば、QR（Quick Response）コードなどでもよい。
【００７７】
目標物１２は、このような構成により、ミリ波レーダ５２によるミリ波の電波を反射させることで、ミリ波レーダ５２により検出される構成で、かつ、ステレオカメラ５１によりマーカ７２が撮影されることで、ミリ波レーダ５２においても、ステレオカメラ５１においても測距に対応する構成とされている。
【００７８】
なお、目標物１２を構成するレーダ反射体７１の形状は四角錐に限定されるものではなく、三角錐や球等の送信されたミリ波をミリ波レーダ５２で受信可能な方向へ反射する形状であればどの様な形状でもよい。
【００７９】
また、ステレオカメラ５１による測距の精度を高めるためにパターンが印刷された紙からなるマーカ７２が貼り付けられているが、レーダ反射体７１の矩形面を塞ぎ直接印字しても良いし、光の反射が起こらないようなレーダ反射体７１を構成する金属体へのつや消し処理のみでもよい。
【００８０】
さらに、光の反射が起こらないような処理を施すことが困難である場合、目標物１２からの位置が既知のステレオカメラに写る物体（以下カメラターゲット）、例えば、適切な図柄が印刷されたボード等を用いてもよい。
【００８１】
ただし、この場合は、後述する目標物１２の移動に際して、レーダ反射体７１とカメラターゲットは位置関係が変化しない様に移動させるか、所定の時刻の位置関係を知ることができる様にしなければならない。
【００８２】
＜時刻ズレ量の求め方の概要＞
次に、図５を参照して、図２乃至図４を参照して説明した車両１１のセンサ部３１と目標物１２とを用いたキャリブレーション処理による時刻ズレ量の具体的な求め方の概要について説明する。
【００８３】
例えば、図５の左上部で示されるような、ステレオカメラ画像Ｐ１１が撮影される場合、ステレオカメラ画像Ｐ１１においては、対象物体となる目標物１２の画像Ｓｔ１１が、（水平方向座標，距離座標）＝（ｘｓ，ｚｓ）として検出される。
【００８４】
一方、キャリブレーション処理において、例えば、図５の右上部で示されるような、レーダ像Ｐ１２が取得される場合、レーダ像Ｐ１２においては、対象物体となる目標物１２のレーダ像Ｒ１１が、（水平方向座標，距離座標）＝（ｘｒ，ｚｒ）として検出される。
【００８５】
尚、このときのステレオカメラ画像Ｐ１１と、レーダ像Ｐ１２とが、それぞれ同一位置に目標物１２が存在しているときのものであれば、ステレオカメラ画像Ｐ１１とレーダ像Ｐ１２とに基づいて生成される距離物体検出画像は、図５の左下部で示されるものとなり、目標物１２の画像Ｓｔ１１と、レーダ像Ｒ１１とが完全に一致する位置に存在することになる。
【００８６】
従って、目標物１２の実空間内での位置が一致する図５の左上部で示されるステレオカメラ画像Ｐ１１と、図５の右上部で示されるレーダ像Ｐ１２とが検出される時刻の差分が時刻ズレ量として求められる。
【００８７】
図５の右下部のグラフは、キャリブレーション処理により、図２における車両１１と目標物１２までの距離Ｚ（＝Ｄ）と、ステレオカメラ画像Ｐ１１が検出される時刻、および、レーダ像Ｐ１２が検出される時刻との、それぞれの関係を示す波形である。
【００８８】
ここで、図５の右下部において、波形Ｌ１が、距離Ｚ（＝Ｄ）とレーダ像Ｐ１２が検出される時刻との関係を示すグラフであり、波形Ｌ２が、距離Ｚ（＝Ｄ）とステレオカメラ画像Ｐ１１が検出される時刻との関係を示すグラフである。
【００８９】
そして、波形Ｌ１，Ｌ２における距離ｚｓ＝ｚｒのそれぞれの時刻の差分が、各距離における時刻ズレ量ｄとして求められる。
【００９０】
この時刻ズレ量ｄを用いて、ステレオカメラ５１により撮影されるステレオカメラ画像の時刻情報と、ミリ波レーダによりレーダ像が検出される時刻情報とのズレを補正することで、同期の取れたステレオカメラ画像とレーダ像とが組み合わされて、距離物体検出画像を生成することが可能となる。
【００９１】
すなわち、キャリブレーション処理により予め、ステレオカメラ５１により撮影されるステレオカメラ画像が検出される時刻情報と、ミリ波レーダ５２により検出されるレーダ像が検出される時刻情報との時刻ズレ量が求められる。そして、実際の検出物体距離画像が生成される際には、予め求めておいた時刻ズレ量が用いられて、ステレオカメラ５１により撮影されるステレオカメラ画像が検出される時刻情報と、ミリ波レーダ５２により検出されるレーダ像が検出される時刻情報との時刻ズレが補正されることにより、ステレオカメラ画像とレーダ像とが同期して組み合わされて、高精度な検出物体距離画像が生成される。
【００９２】
＜＜２．本開示の好適な実施の形態＞＞
＜車両を制御する車両制御システムの構成例＞
次に、図６を参照して、車両１１を制御する車両制御システムの詳細な構成例について説明する。図６は、本技術が適用され得る移動体制御システムの一例である車両制御システム１００の概略的な機能の構成例を示すブロック図である。
【００９３】
なお、以下、車両制御システム１００が設けられている車両を他の車両と区別する場合、自車又は自車両と称する。
【００９４】
車両制御システム１００は、入力部１０１、データ取得部１０２、通信部１０３、車内機器１０４、出力制御部１０５、出力部１０６、駆動系制御部１０７、駆動系システム１０８、ボディ系制御部１０９、ボディ系システム１１０、記憶部１１１、及び、自動運転制御部１１２を備える。入力部１０１、データ取得部１０２、通信部１０３、出力制御部１０５、駆動系制御部１０７、ボディ系制御部１０９、記憶部１１１、及び、自動運転制御部１１２は、通信ネットワーク１２１を介して、相互に接続されている。通信ネットワーク１２１は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）、又は、ＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークやバス等からなる。なお、車両制御システム１００の各部は、通信ネットワーク１２１を介さずに、直接接続される場合もある。
【００９５】
なお、以下、車両制御システム１００の各部が、通信ネットワーク１２１を介して通信を行う場合、通信ネットワーク１２１の記載を省略するものとする。例えば、入力部１０１と自動運転制御部１１２が、通信ネットワーク１２１を介して通信を行う場合、単に入力部１０１と自動運転制御部１１２が通信を行うと記載する。
【００９６】
入力部１０１は、搭乗者が各種のデータや指示等の入力に用いる装置を備える。例えば、入力部１０１は、タッチパネル、ボタン、マイクロフォン、スイッチ、及び、レバー等の操作デバイス、並びに、音声やジェスチャ等により手動操作以外の方法で入力可能な操作デバイス等を備える。また、例えば、入力部１０１は、赤外線若しくはその他の電波を利用したリモートコントロール装置、又は、車両制御システム１００の操作に対応したモバイル機器若しくはウェアラブル機器等の外部接続機器であってもよい。入力部１０１は、搭乗者により入力されたデータや指示等に基づいて入力信号を生成し、車両制御システム１００の各部に供給する。
【００９７】
データ取得部１０２は、車両制御システム１００の処理に用いるデータを取得する各種のセンサ等を備え、取得したデータを、車両制御システム１００の各部に供給する。
【００９８】
例えば、データ取得部１０２は、自車の状態等を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ジャイロセンサ、加速度センサ、慣性計測装置（ＩＭＵ）、及び、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数、モータ回転数、若しくは、車輪の回転速度等を検出するためのセンサ等を備える。
【００９９】
また、例えば、データ取得部１０２は、自車の外部の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ、及び、その他のカメラ等の撮影装置を備える。また、例えば、データ取得部１０２は、天候又は気象等を検出するための環境センサ、及び、自車の周囲の物体を検出するための周囲情報検出センサを備える。環境センサは、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ等からなる。周囲情報検出センサは、例えば、超音波センサ、レーダ、LIDAR（Light Detection and Ranging、Laser Imaging Detection and Ranging）、ソナー等からなる。
【０１００】
さらに、例えば、データ取得部１０２は、自車の現在位置を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号を受信するＧＮＳＳ受信機等を備える。
【０１０１】
また、例えば、データ取得部１０２は、車内の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、運転者を撮影する撮影装置、運転者の生体情報を検出する生体センサ、及び、車室内の音声を集音するマイクロフォン等を備える。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座っている搭乗者又はステアリングホイールを握っている運転者の生体情報を検出する。尚、データ取得部１０２は、図３を参照して説明したステレオカメラ５１およびミリ波レーダ５２を有するセンサ部３１を備えている。また、ステレオカメラ５１およびミリ波レーダ５２の詳細な構成については、図７を参照して後述する。
【０１０２】
通信部１０３は、車内機器１０４、並びに、車外の様々な機器、サーバ、基地局等と通信を行い、車両制御システム１００の各部から供給されるデータを送信したり、受信したデータを車両制御システム１００の各部に供給したりする。なお、通信部１０３がサポートする通信プロトコルは、特に限定されるものではなく、また、通信部１０３が、複数の種類の通信プロトコルをサポートすることも可能である。
【０１０３】
例えば、通信部１０３は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）、又は、ＷＵＳＢ（Wireless USB）等により、車内機器１０４と無線通信を行う。また、例えば、通信部１０３は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）、又は、ＭＨＬ（Mobile High-definition Link）等により、車内機器１０４と有線通信を行う。
【０１０４】
さらに、例えば、通信部１０３は、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）との通信を行う。また、例えば、通信部１０３は、Ｐ２Ｐ（Peer To Peer）技術を用いて、自車の近傍に存在する端末（例えば、歩行者若しくは店舗の端末、又は、ＭＴＣ（Machine Type Communication）端末）との通信を行う。さらに、例えば、通信部１０３は、車車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信、自車と家との間（Vehicle to Home）の通信、及び、歩車間（Vehicle to Pedestrian）通信等のＶ２Ｘ通信を行う。また、例えば、通信部１０３は、ビーコン受信部を備え、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行規制又は所要時間等の情報を取得する。
【０１０５】
車内機器１０４は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、自車に搬入され若しくは取り付けられる情報機器、及び、任意の目的地までの経路探索を行うナビゲーション装置等を含む。
【０１０６】
出力制御部１０５は、自車の搭乗者又は車外に対する各種の情報の出力を制御する。例えば、出力制御部１０５は、視覚情報（例えば、画像データ）及び聴覚情報（例えば、音声データ）のうちの少なくとも１つを含む出力信号を生成し、出力部１０６に供給することにより、出力部１０６からの視覚情報及び聴覚情報の出力を制御する。具体的には、例えば、出力制御部１０５は、データ取得部１０２の異なる撮影装置により撮影された画像データを合成して、俯瞰画像又はパノラマ画像等を生成し、生成した画像を含む出力信号を出力部１０６に供給する。また、例えば、出力制御部１０５は、衝突、接触、危険地帯への進入等の危険に対する警告音又は警告メッセージ等を含む音声データを生成し、生成した音声データを含む出力信号を出力部１０６に供給する。
【０１０７】
出力部１０６は、自車の搭乗者又は車外に対して、視覚情報又は聴覚情報を出力することが可能な装置を備える。例えば、出力部１０６は、表示装置、インストルメントパネル、オーディオスピーカ、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ、ランプ等を備える。出力部１０６が備える表示装置は、通常のディスプレイを有する装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、ＡＲ（Augmented Reality）表示機能を有する装置等の運転者の視野内に視覚情報を表示する装置であってもよい。
【０１０８】
駆動系制御部１０７は、各種の制御信号を生成し、駆動系システム１０８に供給することにより、駆動系システム１０８の制御を行う。また、駆動系制御部１０７は、必要に応じて、駆動系システム１０８以外の各部に制御信号を供給し、駆動系システム１０８の制御状態の通知等を行う。
【０１０９】
駆動系システム１０８は、自車の駆動系に関わる各種の装置を備える。例えば、駆動系システム１０８は、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、舵角を調節するステアリング機構、制動力を発生させる制動装置、ＡＢＳ（Antilock Brake System）、ＥＳＣ（Electronic Stability Control）、並びに、電動パワーステアリング装置等を備える。
【０１１０】
ボディ系制御部１０９は、各種の制御信号を生成し、ボディ系システム１１０に供給することにより、ボディ系システム１１０の制御を行う。また、ボディ系制御部１０９は、必要に応じて、ボディ系システム１１０以外の各部に制御信号を供給し、ボディ系システム１１０の制御状態の通知等を行う。
【０１１１】
ボディ系システム１１０は、車体に装備されたボディ系の各種の装置を備える。例えば、ボディ系システム１１０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、パワーシート、ステアリングホイール、空調装置、及び、各種ランプ（例えば、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカ、フォグランプ等）等を備える。
【０１１２】
記憶部１１１は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイス等を備える。記憶部１１１は、車両制御システム１００の各部が用いる各種プログラムやデータ等を記憶する。例えば、記憶部１１１は、ダイナミックマップ等の３次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ、及び、自車の周囲の情報を含むローカルマップ等の地図データを記憶する。
【０１１３】
自動運転制御部１１２は、自律走行又は運転支援等の自動運転に関する制御を行う。具体的には、例えば、自動運転制御部１１２は、自車の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、自車の衝突警告、又は、自車のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行う。また、例えば、自動運転制御部１１２は、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行う。自動運転制御部１１２は、検出部１３１、自己位置推定部１３２、状況分析部１３３、計画部１３４、及び、動作制御部１３５を備える。
【０１１４】
検出部１３１は、自動運転の制御に必要な各種の情報の検出を行う。検出部１３１は、車外情報検出部１４１、車内情報検出部１４２、及び、車両状態検出部１４３を備える。
【０１１５】
車外情報検出部１４１は、車両制御システム１００の各部からのデータ又は信号に基づいて、自車の外部の情報の検出処理を行う。例えば、車外情報検出部１４１は、自車の周囲の物体の検出処理、認識処理、及び、追跡処理、並びに、物体までの距離の検出処理を行う。検出対象となる物体には、例えば、車両、人、障害物、構造物、道路、信号機、交通標識、道路標示等が含まれる。また、例えば、車外情報検出部１４１は、自車の周囲の環境の検出処理を行う。検出対象となる周囲の環境には、例えば、天候、気温、湿度、明るさ、及び、路面の状態等が含まれる。車外情報検出部１４１は、検出処理の結果を示すデータを自己位置推定部１３２、状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３、並びに、動作制御部１３５の緊急事態回避部１７１等に供給する。
【０１１６】
車内情報検出部１４２は、車両制御システム１００の各部からのデータ又は信号に基づいて、車内の情報の検出処理を行う。例えば、車内情報検出部１４２は、運転者の認証処理及び認識処理、運転者の状態の検出処理、搭乗者の検出処理、及び、車内の環境の検出処理等を行う。検出対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線方向等が含まれる。検出対象となる車内の環境には、例えば、気温、湿度、明るさ、臭い等が含まれる。車内情報検出部１４２は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、及び、動作制御部１３５の緊急事態回避部１７１等に供給する。
【０１１７】
車両状態検出部１４３は、車両制御システム１００の各部からのデータ又は信号に基づいて、自車の状態の検出処理を行う。検出対象となる自車の状態には、例えば、速度、加速度、舵角、異常の有無及び内容、運転操作の状態、パワーシートの位置及び傾き、ドアロックの状態、並びに、その他の車載機器の状態等が含まれる。車両状態検出部１４３は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、及び、動作制御部１３５の緊急事態回避部１７１等に供給する。
【０１１８】
自己位置推定部１３２は、車外情報検出部１４１、及び、状況分析部１３３の状況認識部１５３等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車の位置及び姿勢等の推定処理を行う。また、自己位置推定部１３２は、必要に応じて、自己位置の推定に用いるローカルマップ（以下、自己位置推定用マップと称する）を生成する。自己位置推定用マップは、例えば、ＳＬＡＭ（Simultaneous Localization and Mapping）等の技術を用いた高精度なマップとされる。自己位置推定部１３２は、推定処理の結果を示すデータを状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３等に供給する。また、自己位置推定部１３２は、自己位置推定用マップを記憶部１１１に記憶させる。
【０１１９】
状況分析部１３３は、自車及び周囲の状況の分析処理を行う。状況分析部１３３は、マップ解析部１５１、交通ルール認識部１５２、状況認識部１５３、及び、状況予測部１５４を備える。
【０１２０】
マップ解析部１５１は、自己位置推定部１３２及び車外情報検出部１４１等の車両制御システム１００の各部からのデータ又は信号を必要に応じて用いながら、記憶部１１１に記憶されている各種のマップの解析処理を行い、自動運転の処理に必要な情報を含むマップを構築する。マップ解析部１５１は、構築したマップを、交通ルール認識部１５２、状況認識部１５３、状況予測部１５４、並びに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。
【０１２１】
交通ルール認識部１５２は、自己位置推定部１３２、車外情報検出部１４１、及び、マップ解析部１５１等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車の周囲の交通ルールの認識処理を行う。この認識処理により、例えば、自車の周囲の信号の位置及び状態、自車の周囲の交通規制の内容、並びに、走行可能な車線等が認識される。交通ルール認識部１５２は、認識処理の結果を示すデータを状況予測部１５４等に供給する。
【０１２２】
状況認識部１５３は、自己位置推定部１３２、車外情報検出部１４１、車内情報検出部１４２、車両状態検出部１４３、及び、マップ解析部１５１等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車に関する状況の認識処理を行う。例えば、状況認識部１５３は、自車の状況、自車の周囲の状況、及び、自車の運転者の状況等の認識処理を行う。また、状況認識部１５３は、必要に応じて、自車の周囲の状況の認識に用いるローカルマップ（以下、状況認識用マップと称する）を生成する。状況認識用マップは、例えば、占有格子地図（Occupancy Grid Map）とされる。
【０１２３】
認識対象となる自車の状況には、例えば、自車の位置、姿勢、動き（例えば、速度、加速度、移動方向等）、並びに、異常の有無及び内容等が含まれる。認識対象となる自車の周囲の状況には、例えば、周囲の静止物体の種類及び位置、周囲の動物体の種類、位置及び動き（例えば、速度、加速度、移動方向等）、周囲の道路の構成及び路面の状態、並びに、周囲の天候、気温、湿度、及び、明るさ等が含まれる。認識対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線の動き、並びに、運転操作等が含まれる。
【０１２４】
状況認識部１５３は、認識処理の結果を示すデータ（必要に応じて、状況認識用マップを含む）を自己位置推定部１３２及び状況予測部１５４等に供給する。また、状況認識部１５３は、状況認識用マップを記憶部１１１に記憶させる。
【０１２５】
状況予測部１５４は、マップ解析部１５１、交通ルール認識部１５２及び状況認識部１５３等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車に関する状況の予測処理を行う。例えば、状況予測部１５４は、自車の状況、自車の周囲の状況、及び、運転者の状況等の予測処理を行う。
【０１２６】
予測対象となる自車の状況には、例えば、自車の挙動、異常の発生、及び、走行可能距離等が含まれる。予測対象となる自車の周囲の状況には、例えば、自車の周囲の動物体の挙動、信号の状態の変化、及び、天候等の環境の変化等が含まれる。予測対象となる運転者の状況には、例えば、運転者の挙動及び体調等が含まれる。
【０１２７】
状況予測部１５４は、予測処理の結果を示すデータを、交通ルール認識部１５２及び状況認識部１５３からのデータとともに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。
【０１２８】
ルート計画部１６１は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、目的地までのルートを計画する。例えば、ルート計画部１６１は、グローバルマップに基づいて、現在位置から指定された目的地までのルートを設定する。また、例えば、ルート計画部１６１は、渋滞、事故、通行規制、工事等の状況、及び、運転者の体調等に基づいて、適宜ルートを変更する。ルート計画部１６１は、計画したルートを示すデータを行動計画部１６２等に供給する。
【０１２９】
行動計画部１６２は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、ルート計画部１６１により計画されたルートを計画された時間内で安全に走行するための自車の行動を計画する。例えば、行動計画部１６２は、発進、停止、進行方向（例えば、前進、後退、左折、右折、方向転換等）、走行車線、走行速度、及び、追い越し等の計画を行う。行動計画部１６２は、計画した自車の行動を示すデータを動作計画部１６３等に供給する。
【０１３０】
動作計画部１６３は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、行動計画部１６２により計画された行動を実現するための自車の動作を計画する。例えば、動作計画部１６３は、加速、減速、及び、走行軌道等の計画を行う。動作計画部１６３は、計画した自車の動作を示すデータを、動作制御部１３５の加減速制御部１７２及び方向制御部１７３等に供給する。
【０１３１】
動作制御部１３５は、自車の動作の制御を行う。動作制御部１３５は、緊急事態回避部１７１、加減速制御部１７２、及び、方向制御部１７３を備える。
【０１３２】
緊急事態回避部１７１は、車外情報検出部１４１、車内情報検出部１４２、及び、車両状態検出部１４３の検出結果に基づいて、衝突、接触、危険地帯への進入、運転者の異常、車両の異常等の緊急事態の検出処理を行う。緊急事態回避部１７１は、緊急事態の発生を検出した場合、急停車や急旋回等の緊急事態を回避するための自車の動作を計画する。緊急事態回避部１７１は、計画した自車の動作を示すデータを加減速制御部１７２及び方向制御部１７３等に供給する。
【０１３３】
加減速制御部１７２は、動作計画部１６３又は緊急事態回避部１７１により計画された自車の動作を実現するための加減速制御を行う。例えば、加減速制御部１７２は、計画された加速、減速、又は、急停車を実現するための駆動力発生装置又は制動装置の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。
【０１３４】
方向制御部１７３は、動作計画部１６３又は緊急事態回避部１７１により計画された自車の動作を実現するための方向制御を行う。例えば、方向制御部１７３は、動作計画部１６３又は緊急事態回避部１７１により計画された走行軌道又は急旋回を実現するためのステアリング機構の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。
【０１３５】
＜データ取得部の構成例＞
次に、図７を参照して、上述したセンサ部３１の詳細な構成を含むデータ取得部１０２の構成例について説明する。尚、データ取得部１０２の構成を説明するにあたり、図３を参照して説明したセンサ部３１の構成と同一の機能を備えた構成については、同一の符号を付すものとし、その説明は適宜省略する。
【０１３６】
ステレオカメラ５１は、カメラ５１Ｌ，５１Ｒを備えており、それぞれ所定の視差を備えた左右の２枚の画像を撮影する。ステレオカメラ５１のカメラ５１Ｌは、左側の画像を撮影し、撮像素子２０１Ｌ、画像信号処理部２０２Ｌ、および時刻情報付加部２０３Ｌより構成されている。また、カメラ５１Ｒは、右側の画像を撮影し、撮像素子２０１Ｒ、画像信号処理部２０２Ｒ、および時刻情報付加部２０３Ｒより構成されている。
【０１３７】
尚、撮像素子２０１Ｌ，２０１Ｒ、画像信号処理部２０２Ｌ，２０２Ｒ、および時刻情報付加部２０３Ｌ，２０３Ｒのそれぞれについて、左右を特に区別する必要がない場合、単に、撮像素子２０１、画像信号処理部２０２、および時刻情報付加部２０３と称するものとし、その他の構成も同様に称するものとする。
【０１３８】
撮像素子２０１は、CMOS（Complementary Metal Oxide Semiconductor）やCCD（Charge Coupled Device）などから構成されるイメージセンサであり、車両１１の前方の監視領域の画像を撮影し、撮影した画像を画像信号として画像信号処理部２０２に出力する。尚、撮像素子２０１Ｌ，２０１Ｒは、所定の視差が生じるように構成されており、視差に応じて画素単位で測距することが可能とされている。
【０１３９】
画像信号処理部２０２は、撮像素子２０１より供給される画像信号に対して、デモザイク処理、ホワイトバランス調整、γ補正など、所定の処理を施して、左右のそれぞれのステレオカメラ画像として時刻情報付加部２０３に出力する。
【０１４０】
時刻情報付加部２０３は、基準時刻生成部５４より供給される基準時刻からなる時刻情報を、ステレオカメラ画像単位でタイムスタンプとして付加して信号出力部５３に出力する。
【０１４１】
ミリ波レーダ５２は、ミリ波アンテナ２１１、レーダ受信信号処理部２１２、および時刻情報付加部２１３を備えている。
【０１４２】
ミリ波アンテナ２１１は、ステレオカメラ５１の監視領域に対応する領域に対してミリ波帯の電波を発生して放出すると共に、放出されたミリ波帯の電波に対して、車両、歩行者、およびその他の障害物などから反射される反射波を受信し、受信信号に変換して受信信号処理部２１２に出力する。
【０１４３】
受信信号処理部２１２は、ミリ波アンテナ２１１より供給される受信信号に対して、増幅処理やノイズ除去処理等、さらに、往復時間に基づいた距離測定などの信号処理を施して、レーダ像として時刻情報付加部２１３に出力する。
【０１４４】
時刻情報付加部２１３は、基準時刻生成部５４より供給される基準時刻からなる時刻情報をレーダ像単位でタイムスタンプとして付加して信号出力部５３に出力する。
【０１４５】
＜車外情報検出部の構成例＞
次に、図８を参照して、車外情報検出部１４１の構成例について説明する。
【０１４６】
車外情報検出部１４１は、キャリブレーション処理部２３１および検出物体距離画像生成部２３２を備えている。
【０１４７】
キャリブレーション処理部２３１は、キャリブレーション処理時において、時系列にセンサ部３１より供給されてくる、時刻情報を含むステレオカメラ画像と、時刻情報を含むレーダ像とに基づいて、時刻ズレ量を求めて記憶する。また、キャリブレーション処理部２３１は、検出物体距離画像生成処理時に、キャリブレーション処理時に求めた時刻ズレ量の情報を検出物体距離画像生成部２３２に供給する。
【０１４８】
より詳細には、キャリブレーション処理部２３１は、物体検出処理部２５１、記憶部２５２、時刻ズレ検出部２５３、および時刻ズレ記憶部２５４を備えている。
【０１４９】
物体検出処理部２５１は、センサ部３１より時系列に供給されてくる、ステレオカメラ画像に基づいた目標物１２の物体検出位置と、レーダ像に基づいた目標物１２の物体検出位置とを求め、時刻情報と対応付けて記憶部２５２に記憶させる。尚、物体検出処理部２５１の詳細な構成と動作については、図９，図１０を参照して後述する。
【０１５０】
時刻ズレ検出部２５３は、記憶部２５２に、目標物１２までの距離が一致する、ステレオカメラ画像の時刻情報と、レーダ像の時刻情報とを用いて、時刻ズレ量を検出し、時刻ズレ記憶部２５４に記憶させる。尚、時刻ズレ量の検出方法の詳細については、図１１を参照して詳細を後述する。
【０１５１】
検出物体距離画像生成部２３２は、検出物体画像生成処理において、キャリブレーション処理時に求められた時刻ズレ量を用いて、時系列にセンサ部３１より供給されてくる、時刻情報を含むステレオカメラ画像、および時刻情報を含むレーダ像における時刻ズレを補正することで、適切に同期させて、検出物体距離画像を生成する。
【０１５２】
より詳細には、検出物体距離画像生成部２３２は、遅延バッファ２７１、時刻ズレ補正処理部２７２、および画像処理部２７３を備えている。
【０１５３】
遅延バッファ２７１は、時刻情報を含むステレオカメラ画像、および時刻情報を含むレーダ像のいずれか、時刻ズレ量分だけ先に供給される画像をバッファリングする。尚、図８においては、レーダ像が先に供給されることを前提とした構成とされており、遅延バッファ２７１は、レーダ像をバッファリングする構成となっているが、ステレオカメラ画像の方が先に供給される場合、ステレオカメラ画像をバッファリングする構成とする。また、ステレオカメラ画像とレーダ像とが、どちらが先に供給するかわからない場合もあり得るので、そのような場合には、両方バッファリングできる構成とし、ステレオカメラ画像とレーダ像とのうち、先に供給されるものをバッファリングするようにしてもよい。
【０１５４】
時刻ズレ補正処理部２７２は、時刻ズレ量を時刻ズレ記憶部２５４より読み出し、時刻ズレ量分だけ後から供給される画像が供給されるタイミングで、遅延バッファ２７１にバッファリングされている対応する画像を読み出して、併せて画像処理部２７３に供給する。図８の例においては、ステレオカメラ画像が後から供給されるので、時刻ズレ補正処理部２７２は、ステレオカメラ画像が供給されたタイミングにおいて、時刻ズレ量に対応する時間だけ遅延バッファ２７１にバッファリングされたレーダ像を読み出すことにより、時刻ズレを補正した、すなわち、時刻ズレの無い状態に同期したステレオカメラ画像とレーダ像とを、画像処理部２７３に供給する。
【０１５５】
画像処理部２７３は、時刻ズレの無い、すなわち、時刻情報が合った（同期した）ステレオカメラ画像とレーダ像とを用いて、例えば、図１における右下部の画像に示されるような検出物体距離画像を生成して状況認識部１５３に出力する。
【０１５６】
＜物体検出処理部の構成例＞
次に、図９を参照して、物体検出処理部２５１の構成例について説明する。
【０１５７】
物体検出処理部２５１は、距離画像算出部２９１、距離画像目標物検出部２９２、ステレオカメラ画像目標物検出部２９３、およびレーダ像目標物検出部２９４を備えている。
【０１５８】
距離画像算出部２９１は、ステレオカメラ画像を構成する視差のある２枚の画像から画素単位で距離を求め、求められた距離を画素値とする距離画像を生成する。すなわち、例えば、図１０の上段で示されるようにステレオカメラ画像を構成する視差のある２枚の画像ＰＬ，ＰＲが存在する場合、視差に応じて画素単位で距離を算出し、算出した距離を画素値とする距離画像Ｐ３１を生成する。
【０１５９】
ステレオカメラ画像目標物検出部２９３は、ステレオカメラ画像から目標物１２が写っている画像上の位置、すなわち、目標物１２の座標位置を検出し、距離画像目標物検出部２９２およびレーダ像目標物検出部２９４に出力する。
【０１６０】
より詳細には、目標物１２には、ステレオカメラ画像内において、画像で認識可能なマーカ７２が貼り付けられている（または印刷されるなどされている）ので、ステレオカメラ画像目標物検出部２９３は、ステレオカメラ画像内におけるマーカ７２を認識することで目標物１２の座標位置（ｘ，ｙ）を認識する。マーカ７２は、例えば、QR（Quick Response）コードなどでもよい。
【０１６１】
すなわち、図１０の上段で示されるように、ステレオカメラ画像目標物検出部２９３は、ステレオカメラ画像を構成する視差のある２枚の画像ＰＬ，ＰＲより求められるステレオカメラ画像Ｐ３２のうち、目標物１２の像Ｓｔ１０１の座標位置（ｘ，ｙ）を求める。
【０１６２】
尚、ステレオカメラ画像目標物検出部２９３は、ステレオカメラ画像内において、目標物１２のみが撮影されている場合、ステレオカメラ画像内における像は目標物１２であることが明らかであるので、必須の構成ではない。
【０１６３】
距離画像目標物検出部２９２は、距離画像算出部２９１より供給される距離画像上の目標物１２の座標位置（ｘ，ｙ）の画素値（=距離）から、目標物１２までの距離を推定し、目標物１２の距離ｚｓとして出力すると共に、レーダ像目標物検出部２９４に出力する。
【０１６４】
すなわち、図１０の中段の距離画像Ｐ３１は、画像上の位置の実距離を画素値とした画像であるから、距離画像目標物検出部２９２は、目標物１２の像Ｓｔ１０１の座標位置（ｘ，ｙ）における距離画像Ｐ３１の画素値（ｘ，ｙ，ｚｓ）を特定することにより、図１０の下段における距離画像Ｐ３３で示されるように目標物１２の距離ｚｓを求めることができる。
【０１６５】
レーダ像目標物検出部２９４は、図５の右上部で示されるレーダ像Ｐ１２で示されるように、目標物１２の応答の位置が距離そのものとなるので、ステレオカメラ画像目標物検出部２９３より供給される目標物１２のｘ位置と、距離画像目標物検出部２９２からの求められた目標物の距離ｚｓとに基づいて特定される位置付近のレーダ応答が強い位置を目標物１２の検出位置とみなし、その距離を目標物１２の距離ｚｓとして出力する。
【０１６６】
尚、目標物１２のみが撮影されていることが保証されている場合、反射位置のｚ位置をそのまま目標物１２の距離ｚｒとして出力するようにしてもよい。
【０１６７】
＜時刻ズレ量の検出方法の詳細＞
次に、図１１を参照して、時刻ズレ量の検出方法の詳細について説明する。
【０１６８】
物体検出処理部２５１により求められたレーダ像に基づいた目標物１２の距離ｚｒと、ステレオカメラ画像に基づいた目標物１２の距離ｚｓとは、それぞれ時刻情報と対応付けられて記憶部２５２に記憶されている。
【０１６９】
記憶部２５２に記憶される、レーダ像に基づいた目標物１２の距離ｚｒと、ステレオカメラ画像に基づいた目標物１２の距離ｚｓとの最小数は、想定される最大の時刻ズレ量となる時間に撮影される枚数分となる。例えば、最大の時刻ズレ量に対応する時間がtmであり、ステレオカメラ画像とレーダ像とが同じフレームレートf（fps）で撮影（取得）されるとき、最小数はtm×f枚となる。尚、レーダ像に基づいた目標物１２の距離ｚｒと、ステレオカメラ画像に基づいた目標物１２の距離ｚｓとについては、以下、単に距離ｚｒ、距離ｚｓとも称するものとする。
【０１７０】
時刻ズレ検出部２５３は、時刻情報と対応する距離ｚｒ、および時刻情報と対応する距離ｚｓのうち、いずれか一方を読み出し、基準距離とする。
【０１７１】
続いて、時刻ズレ検出部２５３は、基準距離を取得した距離ｚｒ、または距離ｚｓではない他方の距離ｚｒまたは距離ｚｓのうち、基準距離と等しい、または、基準距離との差が最小となるを距離ｚｒまたは距離ｚｓ検索し、それぞれの時刻情報の差分を時刻ズレ量として時刻ズレ記憶部２５４に保存する。
【０１７２】
すなわち、図１１で示されるように、レーダ像から求められた目標物１２までの距離が検出された時刻情報と距離ｚｒとの関係は波形Ｌ１として示され、ステレオカメラ画像から求められた目標物１２の距離がｚｓ検出された時刻情報と距離との関係は、波形Ｌ２として示される。
【０１７３】
目標物１２は、車両１１との距離が変化し続ける状態で撮影されるため、時刻情報と共に検出された目標物１２の距離は変化するはずである。もし、時刻ズレが存在しない場合、同じ時刻に撮影された画像から検出された目標物１２の距離は一致することになるが、図１１で示されるように、差分が生じるとき、その差分が時刻ズレ量となる。
【０１７４】
時刻ズレ検出部２５３は、それぞれの時刻情報と距離の関係を近似式として表し、その近似式の差分から時刻ズレ量を求める。すなわち、図１１の場合、距離ｚｓ１（＝ｚｒ１），ｚｓ２（＝ｚｒ２），ｚｓ３（＝ｚｒ３）において、それぞれ時刻ｔ１，ｔ２，ｔ３およびｔ１１，ｔ１２，ｔ１３がそれぞれ求められるので、距離と時刻情報の関係から波形Ｌ１，Ｌ２のそれぞれについて近似式を生成して、距離に応じた時刻ズレ量を求める。
【０１７５】
また、時刻ズレ検出部２５３は、その他の手法で時刻ズレ量を求めてもよく、例えば、複数の地点の時刻ズレ量を求め、それらの平均や中央値等の統計量を利用して時刻ズレ量として求めるようにしても良い。すなわち、図１１で示されるように、時刻ズレ検出部２５３は、距離ｚｓ１（＝ｚｒ１），ｚｓ２（＝ｚｒ２），ｚｓ３（＝ｚｒ３）・・・のそれぞれの差分時間ｄ１，ｄ２，ｄ３・・・の平均値や中央値等の統計量を利用して時刻ズレ量を求めるようにしてもよい。
【０１７６】
＜図８の車外情報検出部によるキャリブレーション処理＞
次に、図１２のフローチャートを参照して、図８の車外情報検出部１４１によるキャリブレーション処理について説明する。
【０１７７】
ステップＳ１１において、目標物１２、および車両１１の少なくともいずれかの移動が開始される。すなわち、例えば、図２で示されるように、車両１１、および目標物１２対向している距離Ｄが変化するように、少なくともいずれかの移動が開始される。
【０１７８】
ステップＳ１２において、ステレオカメラ５１は、ステレオカメラ画像を撮影して、撮影した時刻情報であるタイムスタンプを付して車外情報検出部１４１の物体検出処理部２５１に出力する。同時に、ミリ波レーダ５２は、レーダ像を生成して、レーダ像を生成した時刻情報であるタイムスタンプを付して車外情報検出部１４１に出力する。
【０１７９】
ステップＳ１３において、物体検出処理部２５１の距離画像算出部２９１は、所定の視差を有する２枚の画像からなるステレオカメラ画像に基づいて、画素単位で距離を求め、各画素の画素値を、求めた距離の値とする距離画像を生成し、ステレオカメラ画像を撮影した時刻情報であるタイムスタンプと共に距離画像目標物検出部２９２に出力する。
【０１８０】
ステップＳ１４において、ステレオカメラ画像目標物検出部２９３は、ステレオカメラ画像に基づいて、画像内における目標物１２を構成するマーカ７２の座標位置（ｘ，ｙ）である目標物位置として特定し、距離画像目標物検出部２９２、およびレーダ像目標物検出部２９４に出力する。なお、レーダ像目標物検出部２９４に対しては、ｘ座標のみが供給されるようにしてもよい。
【０１８１】
ステップＳ１５において、距離画像目標物検出部２９２は、目標物１２が検出された、ステレオカメラ画像内の座標位置（ｘ，ｙ）に対応する、距離画像の画素値を、ステレオカメラ画像から求められる目標物１２の距離ｚｓとして、レーダ像目標物検出部２９４に供給するとともに、タイムスタンプの情報である時刻情報と共に記憶部２５２に出力して、記憶させる。
【０１８２】
ステップＳ１６において、レーダ像目標物検出部２９４は、ステレオカメラ画像目標物検出部２９３より供給された、ステレオカメラ画像より求められる目標物１２の座標位置（ｘ，ｙ）のうちのｘ座標と、距離画像目標物検出部２９２より供給される距離ｚｓに基づいて、レーダ像内の対応する位置近傍で最もレーダ応答の高い位置を目標物１２の位置である目標物距離として検出する。
【０１８３】
ステップＳ１７において、レーダ像目標物検出部２９４は、目標物１２の位置として特定されたレーダ像内の応答値を、レーダ像より求められる目標物１２までの距離ｚｒである目標物距離として記憶部２５２に出力して、記憶させる。
【０１８４】
ステップＳ１８において、時刻ズレ検出部２５３は、ステレオカメラ画像に基づいた目標物１２までの距離および時刻情報、並びに、レーダ像に基づいた目標物１２までの距離および時刻情報が、それぞれ所定回数分だけ、記憶部２５２に記憶されているか否かを判定する。
【０１８５】
ステップＳ１８において、ステレオカメラ画像に基づいた目標物１２までの距離ｚｓおよび時刻情報、並びに、レーダ像に基づいた目標物１２までの距離ｚｒおよび時刻情報が、それぞれ所定回数分だけ、記憶されていない場合、処理は、ステップＳ１２に戻る。すなわち、ステレオカメラ画像に基づいた目標物１２までの距離ｚｓおよび時刻情報、並びに、レーダ像に基づいた目標物１２までの距離ｚｒおよび時刻情報が、それぞれ所定回数分だけ、記憶されるまで、ステップＳ１２乃至Ｓ１８の処理が繰り返される。
【０１８６】
そして、ステップＳ１２乃至Ｓ１８の処理が所定回数だけ繰り返されて、ステップＳ１８において、ステレオカメラ画像に基づいた目標物１２までの距離ｚｓおよび時刻情報、並びに、レーダ像に基づいた目標物１２までの距離ｚｒおよび時刻情報が、それぞれ所定回数分だけ、記憶されたとみなされた場合、処理は、ステップＳ１９に進む。
【０１８７】
ステップＳ１９において、時刻ズレ検出部２５３は、記憶部２５２に記憶されている、ステレオカメラ画像に基づいた目標物１２までの距離ｚｓおよび時刻情報、並びに、レーダ像に基づいた目標物１２までの距離ｚｒおよび時刻情報を読み出して、距離ｚｓおよび距離ｚｒのそれぞれの時刻に対する近似式を求める。
【０１８８】
すなわち、時刻ズレ検出部２５３は、例えば、図１１の波形Ｌ１，Ｌ２に対応する、距離ｚｓおよび距離ｚｒのそれぞれの時刻に対する近似式を求める。
【０１８９】
ステップＳ２０において、時刻ズレ検出部２５３は、求めた近似式に基づいて、所定の距離に対する、距離ｚｓおよび距離ｚｒのそれぞれの時刻を求める。
【０１９０】
すなわち、時刻ズレ検出部２５３は、例えば、図１１で示されるように、近似式で求められる距離ｚｒ１における時刻ｔ１、距離ｚｒ２における時刻ｔ２、および距離ｚｒ３における時刻ｔ３、並びに、距離ｚｓ１における時刻ｔ１１、距離ｚｓ２における時刻ｔ１２、および距離ｚｓ３における時刻ｔ１３を求める。
【０１９１】
ステップＳ２１において、時刻ズレ検出部２５３は、所定の距離に対する、距離ｚｓおよび距離ｚｒのそれぞれの時刻の差分である差分時刻より、時刻ズレ量を求め、時刻ズレ記憶部２５４に記憶させる。
【０１９２】
すなわち、時刻ズレ検出部２５３は、図１１で示されるように、差分時間ｄ１（＝時刻ｔ１１−時刻ｔ１）、差分時間ｄ２（＝時刻ｔ１２−時刻ｔ２）、差分時間ｄ３（＝時刻ｔ１３−時刻ｔ３）をそれぞれ求めて、平均値や中央値を時刻ズレ量として求め、時刻ズレ記憶部２５４に記憶させる。
【０１９３】
以上の処理により、ステレオカメラ５１とミリ波レーダ５２との同一距離のステレオカメラ画像とレーダ像との取得する時刻ズレ量を求めることが可能となる。求められた時刻ズレ量を用いることにより、ステレオカメラ５１とミリ波レーダ５２との検出結果を高精度に同期して組み合わせた検出物体距離画像を生成することが可能となり、検出物体距離画像の精度を向上させることが可能となる。
【０１９４】
＜検出物体距離画像生成処理＞
次に、図１３のフローチャートを参照して、検出物体距離画像生成処理について説明する。
【０１９５】
ステップＳ３１において、ステレオカメラ５１は、ステレオカメラ画像を撮影して、撮影した時刻情報であるタイムスタンプを付して車外情報検出部１４１の物体検出処理部２５１に出力する。同時に、ミリ波レーダ５２は、レーダ像を生成して、レーダ像を生成した時刻情報であるタイムスタンプを付して車外情報検出部１４１に出力する。
【０１９６】
ただし、同時に処理をしても、上述したように同一の物体に対する同一の距離のステレオカメラ画像とレーダ像とは、供給されるタイミングに時刻ズレが生じる。
【０１９７】
尚、ここでは、レーダ像が、時刻ズレ量に対応する時間だけステレオカメラ画像よりも先に供給されるものとして説明を進めるが、レーダ像およびステレオカメラ画像のそれぞれが供給される順序はキャリブレーションに応じたものとなり、前後することがある。
【０１９８】
ステップＳ３２において、遅延バッファ２７１は、レーダ像をバッファリングする。
【０１９９】
ステップＳ３３において、時刻ズレ補正処理部２７２は、時刻ズレ記憶部２５４に記憶されている時刻ズレ量の情報を読み出して、読み出した時刻ズレ量に対応する時間だけバッファリングされているレーダ像と、同時に、供給されるステレオカメラ画像とを併せて画像処理部２７３に供給する。
【０２００】
ステップＳ３４において、画像処理部２７３は、供給されたステレオカメラ画像とレーダ像とを組み合わせて、検出物体距離画像を生成し、例えば、状況認識部１５３に出力する。
【０２０１】
すなわち、ステレオカメラ画像は、レーダ像に対して、時刻ズレ量に対応する時間だけ遅れて供給されるので、新たなステレオカメラ画像が供給されるタイミングにおいて、遅延バッファ２７１にバッファリングされているレーダ像のうち、現在時刻から時刻ズレ量に対応する時間だけバッファリングされたレーダ像を読み出すことにより、ステレオカメラ画像とレーダ像とを対象物体が同一距離に存在する同一タイミングに調整することが可能となる。
【０２０２】
結果として、ステレオカメラ画像とレーダ像とを、高い精度で同期させた上で、組み合わせた検出物体距離画像を生成することが可能となる。尚、以上においては、ステレオカメラ画像とレーダ像とを用いて、目標物となる治具を検出する例について説明してきたが、目標物は、方式の異なるセンサで同時に検出できる物体であればよいので、方式の異なるセンサで同時に検出できる物体であれば、本開示の治具のような物体でなくてもよい。
【０２０３】
＜＜３．応用例＞＞
＜目標物の代用物を用いる例＞
以上においては、時刻ズレ量の検出は、キャリブレーション処理により求められる例について説明してきた。しかしながら、キャリブレーション処理は、工場出荷時など目標物１２が設けられた特定の条件下でのみなされる処理であるため、経年劣化などに伴って、時刻ズレ量が変化すると、ステレオカメラ画像とレーダ像との同期に係る精度が低下してしまう恐れがある。
【０２０４】
目標物１２は、ステレオカメラ５１およびミリ波レーダ５２のいずれにおいても同一位置で検出可能なものであるが、走行に際して、目標物１２の代用物を設定することで、走行中に繰り返しキャリブレーション処理を実行することができる。
【０２０５】
目標物１２の代用物としては、例えば、図１４の画像Ｐ５１で示されるように、車両３００の後部に取り付けられているナンバープレート３０１や、道路標識３０２などが考えられる。
【０２０６】
車両３００の後部に取り付けられているナンバープレート３０１や、道路標識３０２は、取付位置や形状などが予め決められているため、ステレオカメラ画像およびレーダ像のいずれからも検出することが可能である。
【０２０７】
したがって、目標物１２の代用物として利用することで、走行中に繰り返しキャリブレーション処理を実行することが可能となる。
【０２０８】
＜目標物の代用物をナンバープレートとした場合の物体検出処理部の構成例＞
図１５は、目標物１２の代用物をナンバープレート３０１とした場合の物体検出処理部２５１の構成例を示している。なお、図９の物体検出処理部２５１と同一の機能を備えた構成については、同一の符号を付しており、適宜その説明は省略するものとする。
【０２０９】
すなわち、図１５の物体検出処理部２５１において、図９の物体検出処理部２５１と異なる点は、距離画像目標物検出部２９２、ステレオカメラ画像目標物検出部２９３、およびレーダ像目標物検出部２９４に代えて、距離画像ナンバープレート検出部３１１、ステレオカメラ画像ナンバープレート検出部３１２、およびレーダ像ナンバープレート検出部３２４が設けられている点である。また、反射断面積分布推定部３２１、車両位置推定部３２２、および反射断面積分布データベース３２３が新たに設けられている。
【０２１０】
ステレオカメラ画像ナンバープレート検出部３１２は、ステレオカメラ画像から画像認識によりナンバープレートを検出し、画像内の座標位置（ｘ，ｙ）を検出して、距離画像ナンバープレート検出部３１１に供給する。
【０２１１】
距離画像ナンバープレート検出部３１１は、距離画像算出部２９１より供給される距離画像上のナンバープレートの座標位置（ｘ，ｙ）の距離を、ナンバープレートまでの距離として特定し、ステレオカメラ画像に基づいたナンバープレートまでの距離ｚｓとして出力する。
【０２１２】
反射断面積分布推定部３２１は、レーダ像における応答の強度に係る反射断面積分布を推定し、推定した反射断面積分布を車両位置推定部３２２に供給する。
【０２１３】
車両位置推定部３２２は、反射断面積分布推定部３２１より供給される反射断面積分布を、反射断面積分布データベース３２３に格納されている、車種毎の反射断面積分布と照合し、車種を特定するとともに、レーダ像内における車両の座標位置を推定する。
【０２１４】
レーダ像ナンバープレート検出部３２４は、レーダ像内の車両の座標位置に基づいて、車両の位置をレーダ像に基づいたナンバープレートの距離ｚｒとして出力する。
【０２１５】
すなわち、図１６のレーダ像Ｐ６１における反射断面積分布３６１で示されるように、送信されたミリ波の反射波による反射断面積分布には車種に応じた特徴があるため、予め車種毎の反射断面積分布が格納されたデータベースと照合し、照合結果に基づいて、車種と車両の位置を特定することができる。図１６においては、上向きに開口部を持つ方形状の反射断面積分布が車両の特徴と位置を表している。
【０２１６】
車両１１の位置が特定できれば、車両１１とナンバープレートは、略同一の距離であるとみなせるので、目標物１２と同様に機能させることができる。
【０２１７】
また、十分に解像度が高いミリ波レーダ５２である場合、より正確に車の形状を求めることが可能であり、ナンバープレートの距離の検出を実現することができる。
【０２１８】
＜図１４の物体検出処理部を用いたキャリブレーション処理＞
次に、図１７のフローチャートを参照して、図１４の物体検出処理部２５１を用いたキャリブレーション処理について説明する。
【０２１９】
ステップＳ５１において、センサ部３１は、所定の時間が経過したか否かを判定する。ステップＳ５１において、所定の時間が経過しない場合、処理は、ステップＳ６３に進み、車外情報検出部１４１は、終了が指示されたか否かを判定し、終了が指示されていない場合、処理は、ステップＳ５１に戻る。すなわち、処理の終了が指示されず、かつ、所定の時間が経過するまで、ステップＳ５１，Ｓ６３の処理が繰り返される。
【０２２０】
尚、図１７のフローチャートを参照して説明するキャリブレーション処理は、通常の走行状態において、所定の時間間隔で繰り返される処理であるため、検出物体距離画像生成処理が実行されるときに並列的になされるか、または、検出物体距離画像生成処理を所定の時間間隔で停止させ、その間になされる処理である。
【０２２１】
ステップＳ５１において、所定の時間が経過したとみなされた場合、処理は、ステップＳ５２に進む。
【０２２２】
ステップＳ５２において、ステレオカメラ５１は、ステレオカメラ画像を撮影して、撮影した時刻情報であるタイムスタンプを付して車外情報検出部１４１の物体検出処理部２５１に出力する。同時に、ミリ波レーダ５２は、レーダ像を生成して、レーダ像を生成した時刻情報であるタイムスタンプを付して車外情報検出部１４１に出力する。
【０２２３】
ステップＳ５３において、物体検出処理部２５１の距離画像算出部２９１は、所定の視差を有する２枚の画像からなるステレオカメラ画像に基づいて、画素単位で距離を求め、各画素の画素値を、求めた距離の値とする距離画像を生成し、ステレオカメラ画像を撮影した時刻情報であるタイムスタンプと共に距離画像ナンバープレート検出部３１１に出力する。
【０２２４】
ステップＳ５４において、ステレオカメラ画像ナンバープレート検出部３１２は、ステレオカメラ画像に基づいて、画像内におけるナンバープレートを認識し、認識されたナンバープレートの座標位置（ｘ，ｙ）を特定し、距離画像ナンバープレート検出部３１１に出力する。
【０２２５】
ステップＳ５５において、距離画像ナンバープレート検出部３１１は、ナンバープレートが検出された、ステレオカメラ画像内の座標位置（ｘ，ｙ）に対応する、距離画像の画素値を、ステレオカメラ画像から求められるナンバープレートの距離ｚｓとして、タイムスタンプの情報と共に記憶部２５２に出力して、記憶させる。
【０２２６】
ステップＳ５６において、反射断面積分布推定部３２１は、レーダ像内の応答より、反射断面積分布を推定し、推定した反射断面積分布を車両位置推定部３２２に出力する。
【０２２７】
ステップＳ５７において、車両位置推定部３２２は、レーダ像内の応答により推定された反射断面積分布に基づいて、レーダ像内における車両の座標位置を特定し、特定した座標位置の情報をレーダ像ナンバープレート検出部３１３に出力する。
【０２２８】
ステップＳ５８において、レーダ像ナンバープレート検出部３２４は、レーダ像内の車両の座標位置に基づいて、車両の位置をレーダ像に基づいたナンバープレートの距離ｚｒとして、レーダ像のタイムスタンプの情報と共に記憶部２５２に出力して、記憶させる。
【０２２９】
ステップＳ５９において、時刻ズレ検出部２５３は、ステレオカメラ画像に基づいたナンバープレートまでの距離ｚｓおよび時刻情報、並びに、レーダ像に基づいたナンバープレートまでの距離ｚｒおよび時刻情報が、それぞれ所定回数分だけ、記憶部２５２に記憶されているか否かを判定する。
【０２３０】
ステップＳ５９において、ステレオカメラ画像に基づいたナンバープレートまでの距離ｚｓおよび時刻情報、並びに、レーダ像に基づいたナンバープレートまでの距離ｚｒおよび時刻情報が、それぞれ所定回数分だけ、記憶されていない場合、処理は、ステップＳ５２に戻る。すなわち、ステレオカメラ画像に基づいたナンバープレートまでの距離ｚｓおよび時刻情報、並びに、レーダ像に基づいたナンバープレートまでの距離ｚｒおよび時刻情報が、それぞれ所定回数分だけ、記憶されるまで、ステップＳ５２乃至Ｓ５９の処理が繰り返される。
【０２３１】
そして、ステップＳ５２乃至Ｓ５９の処理が所定回数だけ繰り返されて、ステップＳ５９において、ステレオカメラ画像に基づいたナンバープレートまでの距離ｚｓおよび時刻情報、並びに、レーダ像に基づいたナンバープレートまでの距離ｚｒおよび時刻情報が、それぞれ所定回数分だけ、記憶されたとみなされた場合、処理は、ステップＳ６０に進む。
【０２３２】
ステップＳ６０において、時刻ズレ検出部２５３は、記憶部２５２に記憶されている、ステレオカメラ画像に基づいたナンバープレートまでの距離ｚｓおよび時刻情報、並びに、レーダ像に基づいたナンバープレートまでの距離ｚｒおよび時刻情報を読み出して、距離ｚｓおよび距離ｚｒのそれぞれの時刻に対する近似式を求める。
【０２３３】
ステップＳ６１において、時刻ズレ検出部２５３は、求めた近似式に基づいて、所定の距離に対する、距離ｚｓおよび距離ｚｒのそれぞれの時刻を求める。
【０２３４】
ステップＳ６２において、時刻ズレ検出部２５３は、距離毎の、距離ｚｓおよび距離ｚｒのそれぞれの時刻の差分より、時刻ズレ量を求め、時刻ズレ記憶部２５４に記憶させる。
【０２３５】
以上の処理により、検出対象を目標物１２に代えてナンバープレートとしても、ステレオカメラ５１とミリ波レーダ５２との同一距離のステレオカメラ画像とレーダ像との取得する時刻ズレ量を、走行中に所定の時間間隔で繰り返し求めることが可能となる。
【０２３６】
結果として、所定の時間間隔で、繰り返し時刻ズレ量が更新されて記憶されることにより、経年劣化などにより変化する時刻ズレ量に対応して、ステレオカメラ５１とミリ波レーダ５２との検出結果を組み合わせた検出物体距離画像の精度を向上させることが可能となる。
【０２３７】
また、以上においては、目標物１２の代用物として車両のナンバープレートを用いる例について説明してきたが、形状や大きさが特定されており、目標物１２の代用物として認識できるものであれば、ナンバープレート以外のものでもよく、例えば、道路標識を利用するようにしてもよい。尚、検出物体距離画像生成処理については、図１３を参照して説明した処理と同様であるので、その説明は省略する。
【０２３８】
＜＜４．変形例＞＞
＜ミリ波レーダに代えてLIDARを設けるようにした変形例＞
以上においては、ステレオカメラ５１により撮影されるステレオカメラ画像と、ミリ波レーダ５２によるレーダ像とを組み合わせて検出物体距離画像を生成する例について説明してきたが、センサ部３１を構成する複数のセンサは、ステレオカメラ５１およびミリ波レーダ５２以外の組み合わせであってもよい。
【０２３９】
例えば、ミリ波レーダ５２に代えて、LIDAR（Light Detection and Ranging、Laser Imaging Detection and Ranging）と称するレーザ光を用いた距離画像と、ステレオカメラ画像における座標位置（ｘ，ｙ）のそれぞれに対応する距離情報の画素値からなる距離画像を用いるようにして、ステレオカメラ画像と組み合わせるようにしてもよい。尚、以降において、LIDARを用いて取得される距離画像をLIDAR距離画像と称する。
【０２４０】
LIDAR距離画像は、ステレオカメラ画像を用いて得られる距離画像と比べて解像度が低いが、距離精度が高いという特徴がある。
【０２４１】
図１８は、ミリ波レーダ５２に代えて、LIDAR３７１を設けるようにしたセンサ部３１の構成例が示されている。尚、図１８のセンサ部３１において、図７のセンサ部３１における構成と同一の機能を備えた構成については、同一の符号を付しており、説明を適宜省略する。
【０２４２】
すなわち、図１８のセンサ部３１において、図７のセンサ部３１と異なるのは、ミリ波レーダ５２に代えてLIDAR３７１を設けた点である。
【０２４３】
LIDAR３７１は、レーザ投受光部３８１、信号処理部３８２、および時刻情報付加部３８３を備えている。
【０２４４】
レーザ投受光部３８１は、車両１１の走行方向前方の監視領域に対して、所定の解像度でレーザ光を投光すると共に、投光したレーザ光の反射光を受光し、反射光の受光強度からなる信号や、投光したタイミングと受光したタイミングとを示す信号を信号処理部３８２に供給する。
【０２４５】
信号処理部３８２は、反射光の受光強度からなるLIDAR反射強度画像を生成すると共に、投光したレーザ光の投光したタイミングと、受光したタイミングとから求められるレーザ光の往復時間に基づいて、いわゆるToF（Time of Flight）法により距離を求め、LIDAR距離画像を生成し、LIDAR反射強度画像とLIDAR距離画像とをペアにして時刻情報付加部３８３に出力する。
【０２４６】
時刻情報付加部３８３は、基準時刻生成部５４より供給される基準時刻の情報を、LIDAR反射強度画像とLIDAR距離画像とのペア毎にタイムスタンプとして付加して信号出力部５３に出力する。尚、以降において、LIDAR反射強度画像とLIDAR距離画像とのペアを、単にLIDAR画像とも称する。
【０２４７】
＜LIDARを用いる場合の目標物の構成例＞
次に、図１９を参照して、ミリ波レーダ５２に代えてLIDAR３７１を設けるセンサ部３１を用いる場合の目標物の構成例について説明する。
【０２４８】
図１９で示されるように、センサ部３１にミリ波レーダ５２に代えてLIDAR３７１を設ける場合の目標物３９０は、左右にLIDAR３７１から投光されるレーザの反射率が所定値よりも高いレーザ反射体３９２−１，３９２−２が設けられており、中央には、マーカ７２と同様のマーカ３９１が設けられている。
【０２４９】
＜センサ部にLIDARを用いる場合の物体検出処理部の構成例＞
次に、図２０を参照して、センサ部３１にLIDAR３７１を用いる場合の物体検出処理部２５１の構成例について説明する。尚、図２０の物体検出処理部２５１において、図９の物体検出処理部２５１における構成と同一の機能を備えた構成については、同一の符号を付しており、適宜、説明を省略する。
【０２５０】
図２０の物体検出処理部２５１において、図９の物体検出処理部２５１と異なる点は、レーダ像目標物検出部２９４に代えて、LIDAR画像目標物検出部４０１が設けられている点である。
【０２５１】
LIDAR画像目標物検出部４０１は、LIDAR画像を構成する、LIDAR反射強度画像およびLIDAR距離画像に基づいて、目標物３９０の距離ｚｒを求める。
【０２５２】
図２１の左部で示されるように、例えば、画像中の左部に人Ｈ１が撮影され、右側に目標物３９０が撮影されるようなステレオカメラ画像Ｐ７１が撮影される場合を考える。
【０２５３】
この場合、図２１の中央部の画像Ｐ７２で示されるように、LIDAR反射強度画像が撮影される。図２１においてLIDAR反射強度画像は、反射強度が高いほど明るい画素とされ、反射強度が低いほど暗い画素とされる。目標物３９０におけるレーザ反射体３９２−１，３９２−２は、他の物体よりも、レーザ光の反射率が高いことから反射強度が高くなる。LIDAR画像目標物検出部４０１は、LIDAR反射強度画像Ｐ７２に基づいて、他の領域よりも反射強度の高い領域を、目標物３９０の存在する領域として特定し、対応する座標位置（ｘ，ｙ）を読み出す。
【０２５４】
LIDAR画像目標物検出部４０１は、図２１の右部で示されるLIDAR距離画像Ｐ７３における、LIDAR反射強度画像Ｐ７２より求められた目標物３９０の座標位置（ｘ，ｙ）に対応する距離を、LIDAR画像に基づいた目標物３９０までの距離として求める。尚、LIDAR距離画像Ｐ７３においては、距離が遠いほど暗い画素とされ、距離が近いほど明るい画素とされる。
【０２５５】
＜図２０の物体検出処理部を用いたキャリブレーション処理＞
次に、図２２のフローチャートを参照して、図２０の物体検出処理部を用いたキャリブレーション処理について説明する。尚、図２２のフローチャートにおけるステップＳ９１乃至Ｓ９５の処理は、図１２のフローチャートを参照して説明したステップＳ１１乃至Ｓ１５の処理と同様であるので、その説明は省略するものとする。
【０２５６】
ステップＳ９６において、LIDAR画像目標物検出部４０１は、LIDAR反射強度画像に基づいて、他の領域よりも反射強度の高い領域を、目標物３９０の存在する領域として特定し、対応する座標位置（ｘ，ｙ）を目標物位置として検出する。
【０２５７】
ステップＳ９７において、LIDAR画像目標物検出部４０１は、LIDAR距離画像における、LIDAR反射強度画像より求められた目標物３９０の座標位置（ｘ，ｙ）に対応する距離をLIDAR距離画像に基づいた目標物３９０までの距離を、LIDAR画像に基づいた目標物距離ｚｒとして検出し、時刻情報と対応付けて記憶部２５２に出力して記憶させる。
【０２５８】
ステップＳ９２乃至Ｓ９８の処理を繰り返して、所定回数分だけ、記憶部２５２に記憶された後、処理は、ステップＳ９９に進む。
【０２５９】
ステップＳ９９において、時刻ズレ検出部２５３は、記憶部２５２に記憶されている、ステレオカメラ画像に基づいた目標物３９０までの距離ｚｓおよび時刻情報、並びに、LIDAR画像に基づいた目標物までの距離ｚｒおよび時刻情報を読み出して、距離ｚｓおよび距離ｚｒのそれぞれの時刻に対する近似式を求める。
【０２６０】
ステップＳ１００において、時刻ズレ検出部２５３は、求めた近似式に基づいて、所定の距離に対する、距離ｚｓおよび距離ｚｒのそれぞれの時刻を求める。
【０２６１】
ステップＳ１０１において、時刻ズレ検出部２５３は、所定の距離に対する、距離ｚｓおよび距離ｚｒのそれぞれの時刻差分より、時刻ズレ量を求め、時刻ズレ記憶部２５４に記憶させる。
【０２６２】
以上の処理により、ステレオカメラ５１とLIDAR３７１との同一距離のステレオカメラ画像とLIDAR画像との取得する時刻ズレ量を求めることが可能となる。求められた時刻ズレ量を用いることにより、ステレオカメラ５１とLIDAR３７１との検出結果を組み合わせた検出物体距離画像の精度を向上させることが可能となる。尚、検出物体距離画像生成処理については、図１３を参照して説明した処理と同様であるので、その説明は省略する。
【０２６３】
＜＜５．ソフトウェアにより実行させる例＞＞
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどに、記録媒体からインストールされる。
【０２６４】
図２３は、汎用のコンピュータの構成例を示している。このコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタフェース１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。
【０２６５】
入出力インタフェース１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブルメディア１０１１に対してデータを読み書きするドライブ１０１０が接続されている。
【０２６６】
CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブルメディア１０１１ら読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０２６７】
以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。
【０２６８】
コンピュータ（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０２６９】
コンピュータでは、プログラムは、リムーバブルメディア１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記憶部１００８に、あらかじめインストールしておくことができる。
【０２７０】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０２７１】
尚、図２３におけるCPU１００１が、図６における自動運転制御部１１２の機能を実現させる。また、図２３における記憶部１００８が、図６における記憶部１１１を実現する。
【０２７２】
また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０２７３】
なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【０２７４】
例えば、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０２７５】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０２７６】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０２７７】
尚、本開示は、以下のような構成も取ることができる。
【０２７８】
＜１＞  物体を検出する第１の物体検出部と、
物体を検出する前記第１の物体検出部とは異なる第２の物体検出部と、
前記第１の物体検出部により所定の目標物が検出される第１の時刻と、前記第２の物体検出部により前記所定の目標物が検出される第２の時刻との時刻ズレを時刻ズレ量として検出する時刻ズレ検出部と
を含む信号処理装置。
＜２＞  前記第１の物体検出部、もしくは前記第２の物体検出部の少なくとも一方による前記物体の検出結果をバッファリングするバッファリング部と、
前記バッファリング部による遅延量を前記時刻ズレ量に応じて設定して、前記時刻ズレを補正する時刻ズレ補正部とをさらに含む
＜１＞に記載の信号処理装置。
＜３＞  前記所定の目標物は、前記時刻ズレ量を測定するための物体であり、
前記第１の物体検出部により検出可能な第１の被検出部位と、
前記第２の物体検出部により検出可能な第２の被検出部位とを含む
＜１＞または＜２＞に記載の信号処理装置。
＜４＞  前記第１の物体検出部は、前記物体を所定の視差を有する２枚のステレオカメラ画像として撮影するステレオカメラであり、
前記第２の物体検出部は、前記物体をミリ波帯の電波により検出し、レーダ像として取得するミリ波レーダであり、
基準時刻を発生する基準時刻発生部をさらに含み、
前記ステレオカメラ画像および前記レーダ像は、それぞれ生成されたタイミングにおける前記基準時刻からなる時刻情報を含む
＜１＞に記載の信号処理装置。
＜５＞  前記ステレオカメラ画像を構成する前記所定の視差を有する２枚の画像に基づいて画素単位で前記所定の目標物までの距離を算出し、前記距離を画素値とする距離画像を生成する距離画像算出部と、
前記距離画像における、前記所定の目標物までの距離をステレオカメラ画像距離として、対応する前記ステレオカメラ画像の時刻情報と共に検出する距離画像目標物検出部と、
前記レーダ像に基づいた、前記所定の目標物までの距離であるレーダ像距離を、対応する前記レーダ像の時刻情報と共に検出するレーダ像目標物検出部とを含み、
前記時刻ズレ検出部は、前記ステレオカメラ画像距離と、前記レーダ像距離とが一致する、前記ステレオカメラ画像の時刻情報と、前記レーダ像の時刻情報との差分を時刻ズレ量として検出する
＜４＞に記載の信号処理装置。
＜６＞  前記ステレオカメラ画像上における前記所定の目標物の座標位置を検出するステレオカメラ画像目標物位置検出部をさらに含み、
前記距離画像目標物検出部は、前記距離画像における、前記ステレオカメラ画像目標物位置検出部により検出された前記所定の目標物の座標位置の距離情報を、前記所定の目標物までの距離であるステレオカメラ画像距離として特定し、対応する前記ステレオカメラ画像の時刻情報と共に検出し、
前記レーダ像目標物検出部は、前記ステレオカメラ画像目標物位置検出部により検出された前記所定の目標物の座標位置と、前記ステレオカメラ画像距離とにより特定される位置の近傍の範囲の、前記レーダ像における応答強度が高い距離を、前記所定の目標物までの距離であるレーダ像距離として、対応する前記レーダ像の時刻情報と共に検出する
＜５＞に記載の信号処理装置。
＜７＞  前記所定の目標物は、
前記ミリ波レーダのレーダ波の反射率が所定値よりも高いレーダ反射体と、
前記ステレオカメラ画像により認識可能なマーカとを含む
＜５＞に記載の信号処理装置。
＜８＞  前記ステレオカメラ画像上における前記所定の目標物の座標位置を検出するステレオカメラ画像目標物位置検出部と、
前記レーダ像における反射断面積分布に基づいて、前記レーダ像内の前記所定の目標物の位置を検出する反射断面積目標物位置検出部とをさらに含み、
前記距離画像目標物検出部は、前記距離画像における、前記所定の目標物の座標位置の距離情報を、前記所定の目標物までの距離であるステレオカメラ画像距離として特定し、対応する前記ステレオカメラ画像の時刻情報と共に検出し、
前記レーダ像目標物検出部は、前記反射断面積目標物位置検出部により検出された前記レーダ像内における前記所定の目標物の位置に対応する距離をレーダ像距離として、対応する前記レーダ像の時刻情報と共に検出する
＜５＞に記載の信号処理装置。
＜９＞  前記距離画像算出部、前記距離画像目標物検出部、前記レーダ像目標物検出部、および前記時刻ズレ検出部は、所定の時間間隔で繰り返し、前記距離画像を生成し、前記ステレオカメラ画像距離を、対応する前記ステレオカメラ画像の時刻情報と共に検出し、前記レーダ像距離を、対応する前記レーダ像の時刻情報と共に検出し、時刻ズレ量を検出する
＜８＞に記載の信号処理装置。
＜１０＞  前記所定の目標物は、前走車のナンバープレート、または、道路標識である
＜８＞に記載の信号処理装置。
＜１１＞  前記第１の物体検出部は、前記物体を、所定の視差を有する２枚のステレオカメラ画像として撮影するステレオカメラであり、
前記第２の物体検出部は、前記物体を、レーザ光により検出し、前記レーザ光の反射強度に応じた画像として撮影するLIDAR（Light Detection and Ranging、Laser Imaging Detection and Ranging）であり、
基準時刻を発生する基準時刻発生部をさらに含み、
前記ステレオカメラ画像、並びに、前記LIDARにより撮影されるLIDAR画像は、それぞれ生成されたタイミングにおける前記基準時刻からなる時刻情報を含む
＜１＞に記載の信号処理装置。
＜１２＞  前記ステレオカメラ画像より所定の視差に基づいて画素単位で被写体までの距離を算出し、前記距離を画素値とする距離画像を生成する距離画像算出部と、
前記距離画像に基づいた、前記所定の目標物までの距離であるステレオカメラ画像距離を、対応する前記ステレオカメラ画像の時刻情報と共に検出する距離画像目標物検出部と、
前記LIDAR画像に基づいた、前記所定の目標物までの距離であるLIDAR画像距離を、対応する前記LIDAR画像の時刻情報と共に検出するLIDAR画像目標物検出部とを含み、
前記時刻ズレ検出部は、前記ステレオカメラ画像距離と、前記LIDAR画像距離とが一致する、前記ステレオカメラ画像の時刻情報と、前記LIDAR画像の時刻情報との差分を時刻ズレ量として検出する
＜１１＞に記載の信号処理装置。
＜１３＞  前記ステレオカメラ画像上における前記所定の目標物の座標位置を検出するステレオカメラ画像目標物位置検出部をさらに含み、
前記距離画像目標物検出部は、前記距離画像における、前記ステレオカメラ画像目標物位置検出部により検出された前記所定の目標物の座標位置の距離情報を、前記所定の目標物までの距離であるステレオカメラ画像距離として特定し、対応する前記ステレオカメラ画像の時刻情報と共に検出し、
前記LIDAR画像は、前記レーザ光の反射強度を各画素の画素値とするLIDAR反射強度画像、および前記レーザ光の被写体までの往復時間に基づいてToF（Time of Flight）法で求められる距離画像からなるLIDAR距離画像を含み、
前記LIDAR画像目標物検出部は、前記LIDAR反射強度画像より、反射強度が特に高い位置を、前記所定の目標物の位置とみなし、対応する前記LIDAR距離画像における位置の距離を、前記所定の目標物までの距離であるLIDAR画像距離として、対応する前記レーザ光の反射強度に応じた画像の時刻情報と共に検出する
＜１２＞に記載の信号処理装置。
＜１４＞  前記所定の目標物は、
前記LIDARのレーザ光の反射率が所定値よりも高いレーザ反射体と、
前記ステレオカメラ画像により認識可能なマーカとを含む
＜１１＞に記載の信号処理装置。
＜１５＞  前記時刻ズレ検出部は、複数の前記時刻ズレを求め、統計処理により時刻ズレ量を検出する
＜１＞乃至＜１４＞のいずれかに記載の信号処理装置。
＜１６＞  物体を検出する第１の物体検出処理と、
前記第１の物体検出処理とは異なる方法で物体を検出する第２の物体検出処理と、
前記第１の物体検出処理により所定の目標物が検出される第１の時刻と、前記第２の物体検出処理により前記所定の目標物が検出される第２の時刻との時刻ズレを時刻ズレ量として検出する時刻ズレ検出部と
を含む信号処理方法。
＜１７＞  物体を検出する第１の物体検出部と、
物体を検出する前記第１の物体検出部とは異なる第２の物体検出部と、
前記第１の物体検出部により所定の目標物が検出される第１の時刻と、前記第２の物体検出部により前記所定の目標物が検出される第２の時刻との時刻ズレを時刻ズレ量として検出する時刻ズレ検出部と
を含む処理をコンピュータに実行させるプログラム。
＜１８＞  物体を検出する第１の物体検出部と、
物体を検出する前記第１の物体検出部とは異なる第２の物体検出部と、
前記第１の物体検出部により所定の目標物が検出される第１の時刻と、前記第２の物体検出部により前記所定の目標物が検出される第２の時刻との時刻ズレを時刻ズレ量として検出する時刻ズレ検出部と
を含む移動体。
＜１９＞  所定の目標物と信号処理装置とからなる信号処理システムにおいて、
前記信号処理装置は、
物体を検出する第１の物体検出部と、
物体を検出する前記第１の物体検出部とは異なる第２の物体検出部と、
前記第１の物体検出部により前記所定の目標物が検出される第１の時刻と、前記第２の物体検出部により前記所定の目標物が検出される第２の時刻との時刻ズレを時刻ズレ量として検出する時刻ズレ検出部と
を含み、
前記所定の目標物は、
前記第１の物体検出部により検出可能な第１の被検出部位と、
前記第２の物体検出部により検出可能な第２の被検出部位と
を含む
信号処理システム。
【符号の説明】
【０２７９】
１１  車両，  １２  目標物，  ２１  偏光カメラ，  ５１  ステレオカメラ，  ５１Ｌ，５１Ｒ  カメラ，  ５２  ミリ波レーダ，  ５３  信号出力部，  ５４  基準時刻生成部，  ７１  レーダ反射体，  ７２  マーカ，  １０２  データ取得部，  １１２  自動運転制御部，  １４１  外部情報検出部，  １５２  状況認識部，  ２０１Ｌ，２０１Ｒ  撮像素子，  ２０２Ｌ，２０２Ｒ  画像信号処理部，  ２０３Ｌ，２０３Ｒ  時刻情報付加部，  ２１１  ミリ波アンテナ，  ２１２  レーダ受信信号処理部，  ２１３  時刻情報付加部，  ２３１  キャリブレーション処理部，  ２３２  検出物体距離画像生成部，  ２５１  物体検出処理部，  ２５２  記憶部，  ２５３  時刻ズレ検出部，  ２５４  時刻ズレ記憶部，  ２７１  遅延バッファ，  ２７２  時刻ズレ補正処理部，  ２７３  画像処理部，  ２９１  距離画像算出部，  ２９２  距離画像目標物検出部，  ２９３  ステレオカメラ画像目標物検出部，  ２９４  レーダ像目標物検出部，  ３０１  ナンバープレート，  ３０２  道路標識，  ３１１  距離画像算出部，  ３１２  ステレオカメラ画像ナンバープレート検出部，  ３２１  反射断面積分布推定部，  ３２２  車両位置推定部，  ３２３  反射断面積分布データベース，  ３２４  レーダ像ナンバープレート検出部，  ３７１  LIDAR，  ３８１  レーザ投受光部，  ３８２  信号処理部，  ３８３  時刻情報付加部，  ３９０  目標物，  ３９１  マーカ，  ３９２−１，３９２−２  レーザ反射体，  ４０１  LIDAR画像目標物検出部
【図１】
2019039279.tif 000003
【図２】
2019039279.tif 000004
【図３】
2019039279.tif 000005
【図４】
2019039279.tif 000006
【図５】
2019039279.tif 000007
【図６】
2019039279.tif 000008
【図７】
2019039279.tif 000009
【図８】
2019039279.tif 000010
【図９】
2019039279.tif 000011
【図１０】
2019039279.tif 000012
【図１１】
2019039279.tif 000013
【図１２】
2019039279.tif 000014
【図１３】
2019039279.tif 000015
【図１４】
2019039279.tif 000016
【図１５】
2019039279.tif 000017
【図１６】
2019039279.tif 000018
【図１７】
2019039279.tif 000019
【図１８】
2019039279.tif 000020
【図１９】
2019039279.tif 000021
【図２０】
2019039279.tif 000022
【図２１】
2019039279.tif 000023
【図２２】
2019039279.tif 000024
【図２３】
2019039279.tif 000025
【国際調査報告】
2019039279.tif 000026
2019039279.tif 000027
2019039279.tif 000028
2019039279.tif 000029