(57)【要約】  キャリブレーション部６０は、センサ部４０において複数のセンサ毎に生成されたキャリブレーションターゲットの検知結果を示す検知信号を取得する。状態検出部６１は、検知信号を用いてキャリブレーションターゲットの状態を検出する。時間差補正量設定部６５は、状態検出部６１で得られたキャリブレーションターゲットの状態検出結果を用いて、センサ部４０のセンサ毎に生成された検知信号間の時間差を算出して、算出結果に基づき時間差補正量を設定する。センサ部４０の複数のセンサで取得された情報の時間的なずれを、時間差補正量設定部６５で設定された時間差補正量に基づき、補正できるようになる。
2020129369.tif 000002
【特許請求の範囲】
【請求項１】
複数のセンサ毎に生成されたキャリブレーションターゲットの検知結果を示す検知信号を用いて前記キャリブレーションターゲットの状態を検出する状態検出部と、
前記状態検出部で得られた前記キャリブレーションターゲットの状態検出結果を用いて、前記センサ毎に生成された検知信号間の時間差を算出して、算出結果に基づき時間差補正量を設定する時間差補正量設定部と
を備えるキャリブレーション装置。
【請求項２】
前記複数のセンサは少なくともアクティブ型センサを含む
請求項１に記載のキャリブレーション装置。
【請求項３】
前記複数のセンサは前記アクティブ型センサとパッシブ型センサを含む
請求項２に記載のキャリブレーション装置。
【請求項４】
前記複数のセンサは前記アクティブ型センサで構成する
請求項２に記載のキャリブレーション装置。
【請求項５】
前記アクティブ型センサとして、レーダおよび／またはライダを用いる
請求項２に記載のキャリブレーション装置。
【請求項６】
前記時間差補正量設定部は、前記複数のセンサ毎に生成されたいずれかの検知信号を基準として、前記基準とした検知信号に対する時間差を前記検知信号のフレーム毎の状態検出結果を用いて算出する
請求項１に記載のキャリブレーション装置。
【請求項７】
前記時間差補正量設定部は、前記状態検出結果を用いて前記キャリブレーションターゲットの状態が等しい変化を生じときのフレーム番号の差を算出して前記時間差とする
請求項６に記載のキャリブレーション装置。
【請求項８】
複数のセンサ毎に生成された検知信号は、前記キャリブレーションターゲットの状態がランダムに切り替えられたときの検出結果を示す
請求項６に記載のキャリブレーション装置。
【請求項９】
前記時間差が算出された検知信号に対して前記時間差補正量を用いて前記時間差を補正する同期処理部をさらに備える
請求項６に記載のキャリブレーション装置。
【請求項１０】
前記時間差は、前記キャリブレーションターゲットの状態が等しい変化を生じときのフレーム番号の差を示しており、
前記同期処理部は、前記時間差補正量で補正した検知信号を、前記基準とした検知信号とフレーム番号を一致させて出力する
請求項９に記載のキャリブレーション装置。
【請求項１１】
複数のセンサ毎に生成されたキャリブレーションターゲットの検知結果を示す検知信号を用いて前記キャリブレーションターゲットの状態を状態検出部で検出することと、
前記状態検出部で得られた前記キャリブレーションターゲットの状態検出結果を用いて、前記センサ毎に生成された検知信号間の時間差を算出して、算出結果に基づき時間差補正量を時間差補正量設定部で設定することと
を含むキャリブレーション方法。
【請求項１２】
複数のセンサ毎に生成されたキャリブレーションターゲットの検知結果を示す検知信号のキャリブレーションをコンピュータで実行させるプログラムであって、
前記検知信号を用いて前記キャリブレーションターゲットの状態を検出する手順と、
前記キャリブレーションターゲットの状態検出結果に基づき、前記センサ毎に生成された検知信号間の時間差を算出して、算出結果に基づき時間差補正量を設定する手順と
を前記コンピュータで実行させるプログラム。
【請求項１３】
複数のセンサ毎に生成されたキャリブレーションターゲットの検知結果を示す検知信号を生成するセンサ部と、
前記センサ部で生成されたセンサ毎の検知信号を用いて前記キャリブレーションターゲットの状態を検出する状態検出部と、
前記状態検出部で得られた前記キャリブレーションターゲットの状態検出結果を用いて、前記センサ毎に生成された検知信号間の時間差を算出して、算出結果に基づき時間差補正量を設定する時間差補正量設定部と、
前記時間差補正量設定部で設定された前記時間差補正量を用いて前記検知信号間の時間差を補正する同期処理部と
を備えるキャリブレーションシステム。
【請求項１４】
反射特性が異なる状態に切り替え可能な特性切り替え部を備える
キャリブレーションターゲット。
【請求項１５】
前記反射特性の状態を示す状態情報を表示する表示器をさらに備える
請求項１４に記載のキャリブレーションターゲット。
【請求項１６】
前記特性切り替え部は、所定の反射特性を有するターゲットと、前記ターゲットの前面に移動可能に設けられた反射防止部を備え、前記反射防止部を所定の周期またはランダムな周期で移動させて、前記反射特性を異なる状態に切り替える
請求項１４に記載のキャリブレーションターゲット。
【請求項１７】
前記特性切り替え部は、異なる反射特性を有する複数のターゲットと、前記複数のターゲットの前面に移動可能に設けられた反射防止部を備え、前記反射防止部が前面から移動されているターゲットを１つ選択して、該選択するターゲットを所定の周期またはランダムな周期で切り替える
請求項１４に記載のキャリブレーションターゲット。
【請求項１８】
前記特性切り替え部は、反射特性が異なる複数のターゲットを回転方向に設けられた回転体と、前記回転体を回転させて反射特性を所定の周期で異なる状態に切り替える回転駆動部とを備える
請求項１４に記載のキャリブレーションターゲット。
【発明の詳細な説明】
【技術分野】
【０００１】
この技術は、キャリブレーション装置とキャリブレーション方法とプログラムおよびキャリブレーションシステムとキャリブレーションターゲットに関し、情報処理装置で複数のセンサを用いて取得した情報の時間的ずれを補正する。
【背景技術】
【０００２】
従来、複数種類のセンサを用いて得られた情報を用いて物体の認識処理等を高精度に行う提案がなされている。例えば、特許文献１ではセンサとしてレーダおよびカメラを用いてキャリブレーションターゲットの検知を行い、検知結果を用いて運転支援等を行う際に、レーダから得られたキャリブレーションターゲットの座標と、カメラから得られたキャリブレーションターゲットの座標とを用いて、キャリブレーションターゲット同士を容易にマッチングさせることが記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−２１８７３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、複数センサからの検知結果は、空間的なずれに限らず時間的なずれを生じるおそれもある。このため、検知結果に時間的なずれを生じている場合は、センサからの検知結果に基づき空間的なずれ等を精度よく補正することができない。【０００５】
そこで、この技術では複数センサで取得された検知結果の時間的なずれを補正できるキャリブレーション装置とキャリブレーション方法とプログラムおよびキャリブレーションシステムとキャリブレーションターゲットを提供することを目的とする。
【課題を解決するための手段】
【０００６】
この技術の第１の側面は、
複数のセンサ毎に生成されたキャリブレーションターゲットの検知結果を示す検知信号を用いて前記キャリブレーションターゲットの状態を検出する状態検出部と、
前記状態検出部で得られた前記キャリブレーションターゲットの状態検出結果を用いて、前記センサ毎に生成された検知信号間の時間差を算出して、算出結果に基づき時間差補正量を設定する時間差補正量設定部と
を備えるキャリブレーション装置にある。【０００７】
この技術においては、複数のセンサ例えばアクティブ型センサとパッシブ型センサあるいは複数のアクティブ型センサのセンサ毎に生成されたキャリブレーションターゲットの検知結果を示す検知信号を用いて状態検出部でキャリブレーションターゲットの状態を検出する。アクティブ型センサとしては、レーダおよび／またはライダを用いる。時間差補正量設定部は、状態検出部で得られたキャリブレーションターゲットの状態検出結果を用いて、センサ毎に生成された検知信号間の時間差を算出する。具体的には、時間差補正量設定部は、複数のセンサ毎に生成されたいずれかの検知信号を基準として、基準とした検知信号に対する時間差を検知信号のフレーム毎の状態検出結果を用いて算出する。例えば、時間差補正量設定部は、状態検出結果を用いてキャリブレーションターゲットの状態が等しい変化を生じときのフレーム番号の差を算出して時間差とする。また、時間差が算出された検知信号に対して時間差補正量を用いて時間差を補正する同期処理部をさらに備える。例えば、時間差は、キャリブレーションターゲットの状態が等しい変化を生じときのフレーム番号の差を示しており、同期処理部は、時間差補正量で補正した検知信号を、基準とした検知信号とフレーム番号を一致させて出力する。また、複数のセンサ毎に生成された検知信号は、キャリブレーションターゲットの状態が所定周期で切り替えられたときの検知結果を示す場合に限らず、ランダムに切り替えられたときの検出結果を示してもよい。【０００８】
この技術の第２の側面は、
複数のセンサ毎に生成されたキャリブレーションターゲットの検知結果を示す検知信号を用いて前記キャリブレーションターゲットの状態を状態検出部で検出することと、
前記状態検出部で得られた前記キャリブレーションターゲットの状態検出結果を用いて、前記センサ毎に生成された検知信号間の時間差を算出して、算出結果に基づき時間差補正量を時間差補正量設定部で設定することと
を含むキャリブレーション方法にある。【０００９】
この技術の第３の側面は、
複数のセンサ毎に生成されたキャリブレーションターゲットの検知結果を示す検知信号のキャリブレーションをコンピュータで実行させるプログラムであって、
前記検知信号を用いて前記キャリブレーションターゲットの状態を検出する手順と、
前記キャリブレーションターゲットの状態検出結果に基づき、前記センサ毎に生成された検知信号間の時間差を算出して、算出結果に基づき時間差補正量を設定する手順と
を前記コンピュータで実行させるプログラムにある。【００１０】
なお、本技術のプログラムは、例えば、様々なプログラムを実行可能な汎用コンピュータに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、光ディスクや磁気ディスク、半導体メモリなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ上でプログラムに応じた処理が実現される。【００１１】
この技術の第４の側面は、
複数のセンサ毎に生成されたキャリブレーションターゲットの検知結果を示す検知信号を生成するセンサ部と、
前記センサ部で生成されたセンサ毎の検知信号を用いて前記キャリブレーションターゲットの状態を検出する状態検出部と、
前記状態検出部で得られた前記キャリブレーションターゲットの状態検出結果を用いて、前記センサ毎に生成された検知信号間の時間差を算出して、算出結果に基づき時間差補正量を設定する時間差補正量設定部と、
前記時間差補正量設定部で設定された前記時間差補正量を用いて前記検知信号間の時間差を補正する同期処理部と
を備えるキャリブレーションシステムにある。【００１２】
この技術の第５の側面は、
反射特性を異なる状態に切り替え可能な特性切り替え部
を備えるキャリブレーションターゲットにある。【００１３】
この技術においては、所定の反射特性を有するターゲットの前面に移動可能に反射防止部を設けて所定の周期あるいはランダムな周期で移動させて、あるいは異なる反射特性を有する複数のターゲットの前面に移動可能に反射防止部をターゲット毎に設けて、反射防止部が前面から移動されているターゲットを１つ選択して、この選択するターゲットを所定の周期あるいはランダムに切り替える。また、回転体の回転方向に反射特性が異なる複数のターゲットを設けて、回転体を回転させることでターゲットを所定の周期で切り替えて、反射特性が異なる状態に所定の周期で切り替え可能とする。また、反射特性の状態を示す状態情報を表示する表示器を設けるようにしてもよい。
【図面の簡単な説明】
【００１４】
【図１】キャリブレーションシステムの構成を示す図である。
【図２】キャリブレーション部の構成を示す図である。
【図３】キャリブレーション部の動作を例示したフローチャートである。
【図４】第１の実施の形態における情報処理装置の構成を例示した図である。
【図５】第１の実施の形態における検知信号取得処理を例示したフローチャートである。
【図６】第１の実施の形態における時間差補正量設定処理を例示したフローチャートである。
【図７】第１の実施の形態における第１動作例を示す図である。
【図８】第１の実施の形態における第２動作例を示す図である。
【図９】第２動作例のキャリブレーション後を示す図である。
【図１０】第１の実施の形態における第３動作例を示す図である。
【図１１】第１の実施の形態における第４動作例を示す図である。
【図１２】第４動作例のキャリブレーション後を示す図である。
【図１３】第１の実施の形態における第５動作例を示す図である。
【図１４】第２の実施の形態の構成を示す図である。
【図１５】第２の実施の形態における第１動作例を示す図である。
【図１６】第２の実施の形態における第２動作例を示す図である。
【図１７】第２動作例のキャリブレーション後を示す図である。
【図１８】第２の実施の形態における第３動作例を示す図である。
【図１９】第２の実施の形態における第４動作例を示す図である。
【図２０】第４動作例のキャリブレーション後を示す図である。
【図２１】第３の実施の形態における情報処理装置の構成を例示した図である。
【図２２】第３の実施の形態における時間差補正量設定処理を例示したフローチャートである。
【図２３】第３の実施の形態における第１動作例を示す図である。
【図２４】第３の実施の形態における第２動作例を示す図である。
【図２５】第２動作例のキャリブレーション後を示す図である。
【図２６】キャリブレーションターゲットの他の構成を示す斜視図である。
【図２７】キャリブレーションターゲットの他の構成の正面図と上面図である。
【図２８】時間差がキャリブレーションターゲットの状態切り替え周期以上である場合を例示した図である。
【図２９】車両制御システムの概略的な構成の一例を示すブロック図である。
【図３０】キャリブレーションターゲットの配置を例示した図である。
【発明を実施するための形態】
【００１５】
以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．キャリブレーションシステムについて
２．第１の実施の形態
３．第２の実施の形態
４．第３の実施の形態
５．変形例
６．応用例
【００１６】
＜１．キャリブレーションシステムについて＞
図１は、キャリブレーションシステムの構成を例示している。キャリブレーションシステム１０は、キャリブレーションターゲット２０と情報処理装置３０を有している。キャリブレーションターゲット２０は、反射特性が異なる状態に切り替え可能な特性切り替え部を備えている。情報処理装置３０には、センサ部４０と本技術のキャリブレーション装置に相当するキャリブレーション部６０が設けられている。センサ部４０は、複数のセンサを用いて構成されており、キャリブレーションターゲット２０の検知結果を示す検知信号を生成してキャリブレーション部６０へ出力する。キャリブレーション部６０は、センサ部４０から供給された検知信号を用いて、キャリブレーションターゲット２０の反射特性がいずれの状態に切り替えられているか状態検出を行う。また、キャリブレーション部６０は、状態検出結果用いて、センサ毎に生成された検知信号間の時間差を算出して、算出結果に基づき時間差補正量を設定する。
【００１７】
センサ部４０の複数のセンサは、少なくともアクティブ型センサを含む。例えば、複数のセンサはアクティブ型センサとパッシブ型センサを含む構成であってもよく、複数のアクティブ型センサで構成してもよい。アクティブ型センサは、レーダおよび／またはライダを用いる。
【００１８】
複数のセンサとして、キャリブレーションターゲットの撮像画を示す検知信号を生成するイメージセンサ（パッシブ型センサ）を用いた撮像部４１Ｃと、送信ビームを放射してキャリブレーションターゲットで反射された送信ビーム（反射ビーム）に基づき検知信号を生成するレーダ（アクティブ型センサ）を用いたレーダ部４１Ｒが用いられている場合、キャリブレーションターゲット２０は、反射特性が異なる状態に切り替え可能な特性切り替え部を、反射器（リフレクタ）２１と電波吸収体２２で構成する。キャリブレーションターゲット２０は、反射器２１が電波吸収体２２で隠されていない状態と隠されている状態の２つの状態のいずれかに切り替える。キャリブレーション部６０は、撮像部４１Ｃで生成された検知信号に基づき検出された状態とレーダ部４１Ｒで生成された検知信号に基づき検出された状態に基づき、撮像部４１Ｃとレーダ部４１Ｒの検知信号の時間差を検出して、検出した時間的ずれを補正する補正量を設定する。
【００１９】
図２はキャリブレーション部の構成を例示している。キャリブレーション部６０は状態検出部６１と時間差補正量設定部６５を有している。
【００２０】
状態検出部６１は、センサ部４０でセンサ毎に生成された検知信号に基づき、キャリブレーションターゲット２０がいずれの反射特性の状態（以下、単に「キャリブレーションターゲットの状態」ともいう）であるか検出する。例えば状態検出部６１は撮像部４１Ｃで生成された検知信号を用いて画像認識を行い、反射器２１が電波吸収体２２で隠されていない状態と隠されている状態のいずれの状態であるかを検出して状態検出結果を時間差補正量設定部６５へ出力する。また、状態検出部６１はレーダ部４１Ｒで生成された検知信号で示された反射レベルに基づき、反射器２１が電波吸収体２２で隠されていない状態と隠されている状態のいずれの状態であるかを検出して、状態検出結果を時間差補正量設定部６５へ出力する。
【００２１】
時間差補正量設定部６５は、状態検出部６１から供給された状態検出結果に基づき、センサ毎に生成された検知信号間の時間差ＥＲを算出して、算出結果に基づき時間差補正量ＥＣを設定する。
【００２２】
図３はキャリブレーション部の動作を例示したフローチャートである。ステップＳＴ１でキャリブレーションシステムはキャリブレーションターゲットの動作を開始する。キャリブレーションシステム１０のキャリブレーションターゲット２０は、反射特性を異なる状態に切り替える切り替え動作を開始してステップＳＴ２に進む。
【００２３】
ステップＳＴ２でキャリブレーションシステムはキャリブレーションモードに設定する。キャリブレーションシステム１０の情報処理装置３０は、センサ部４０で生成される検知信号を用いて時間差補正量を設定するキャリブレーションモードに動作モードを設定してステップＳＴ３に進む。
【００２４】
ステップＳＴ３でキャリブレーションシステムは判定対象期間を設定する。キャリブレーションシステム１０の情報処理装置３０は、時間差補正量の設定に用いる検知信号の信号期間を判定対象期間として設定してステップＳＴ４に進む。
【００２５】
ステップＳＴ４でキャリブレーションシステムは検知信号取得処理を行う。キャリブレーションシステム１０の情報処理装置３０は、センサ部４０の動作を開始して、センサ部４０のセンサ毎にキャリブレーションターゲットの検知結果を示す検知信号を判定対象期間取得してステップＳＴ５に進む。
【００２６】
ステップＳＴ５でキャリブレーションシステムは時間差補正量設定処理を行う。キャリブレーションシステム１０の情報処理装置３０におけるキャリブレーション部６０は、ステップＳＴ４で取得した検知信号に基づき、キャリブレーションターゲット２０がいずれの反射特性の状態であるかを示す状態検出結果を用いて検知信号間の時間差を算出して時間差補正量を設定する。
【００２７】
＜２．第１の実施の形態＞
次に第１の実施の形態について説明する。第１の実施の形態では、複数のセンサとして例えば撮像部（パッシブ型センサ）とレーダ部（アクティブ型センサ）を用いて、撮像部で生成された検知信号を基準として時間差の算出を行う。また、時間差の算出ではフレーム番号を用いている。
【００２８】
図４は、第１の実施の形態における情報処理装置の構成を例示している。情報処理装置３０-1は、センサ部４０-1と信号処理部５０-1を有している。
【００２９】
センサ部４０-1は、撮像部４１Ｃとレーダ部４１Ｒを有している。撮像部４１Ｃは、キャリブレーションターゲットの撮像画を示す検知信号をフレーム毎に生成して信号処理部５０-1へ出力する。レーダ部４１Ｒは、反射ビームに基づき検知信号をフレーム毎に生成して信号処理部５０-1へ出力する。また、撮像部４１Ｃとレーダ部４１Ｒで生成された検知信号には、フレーム情報（例えばフレーム番号）が含まれている。
【００３０】
信号処理部５０-1は、カメラ信号処理部５１Ｃとレーダ信号処理部５１Ｒ、同期抽出部５２、同期処理部５３、認識器５５、キャリブレーション部６０-1を有している。
【００３１】
カメラ信号処理部５１Ｃは、撮像部４１Ｃから供給された検知信号に対してカメラ信号処理、例えばノイズ除去処理や利得調整処理、欠陥画素補正処理、デモザイク処理、色調整処理等の少なくともいずれかの処理を行う。カメラ信号処理部５１Ｃは、処理後の検知信号を同期抽出部５２とキャリブレーション部６０-1へ出力する。
【００３２】
レーダ信号処理部５１Ｒは、レーダ部４１Ｒからの検知信号に基づき、反射ビームの周波数と送信ビームの周波数の差に基づきキャリブレーションターゲットまでの相対距離や相対速度を算出する。また、反射ビームの受信アレーアンテナ間の位相差に基づきキャリブレーションターゲットの方角を算出する。レーダ信号処理部５１Ｒは、処理後の検知信号を同期処理部５３とキャリブレーション部６０-1へ出力する。
【００３３】
同期抽出部５２は、検知信号からフレーム番号を抽出して同期処理部５３へ出力する。また、同期抽出部５２は、検知信号からフレーム番号と同期信号を抽出して同期処理部５３へ出力してもよい。また、同期抽出部５２は、カメラ信号処理部５１Ｃから供給された検知信号を認識器５５へ出力する。
【００３４】
同期処理部５３は、同期抽出部５２から供給されたフレーム番号とキャリブレーション部６０-1で設定された時間差補正量ＥＣに基づき、レーダ信号処理部５１Ｒから供給された検知信号のフレーム番号を補正して、補正後の検知信号を認識器５５へ出力する。また、同期処理部５３は、同期抽出部５２から同期信号が供給されている場合、フレーム番号を補正した検知信号を、同期抽出部５２から認識器５５へ出力される検知信号と同期させて、すなわちフレーム番号を一致させて等しいタイミングで認識器５５へ出力してもよい。
【００３５】
認識器５５は、同期抽出部５２から供給された検知信号と同期処理部５３から供給された時間的ずれの補正された検知信号に基づき被写体の認識処理等を行う。
【００３６】
キャリブレーション部６０-1は、撮像部４１Ｃとレーダ部４１Ｒで生成された検知信号を用いて時間差補正量ＥＣを設定する。キャリブレーション部６０-1は、状態検出部６１Ｃ，６１Ｒとフレーム番号抽出部６２Ｃ，６２Ｒと時間差補正量設定部６５-1を有している。
【００３７】
状態検出部６１Ｃは、カメラ信号処理部５１Ｃから供給された検知信号に基づきキャリブレーションターゲットの状態を検出する。例えば、状態検出部６１Ｃは、検知信号を用いて画像認識を行い、キャリブレーションターゲット２０において反射器２１が電波吸収体２２で隠されていない状態と隠されている状態のいずれであるかを検出して、検出結果を時間差補正量設定部６５-1へ出力する。
【００３８】
状態検出部６１Ｒは、レーダ信号処理部５１Ｒから供給された検知信号に基づきキャリブレーションターゲットの状態を検出する。例えば、状態検出部６１Ｒは、検知信号の信号レベルに基づき、キャリブレーションターゲット２０において反射器２１が電波吸収体２２で隠されていない状態と隠されている状態のいずれであるかを検出して、検出結果を時間差補正量設定部６５-1へ出力する。
【００３９】
フレーム番号抽出部６２Ｃは、カメラ信号処理部５１Ｃから供給された検知信号からフレーム番号を抽出して時間差補正量設定部６５-1へ出力する。
【００４０】
フレーム番号抽出部６２Ｒは、レーダ信号処理部５１Ｒから供給された検知信号からフレーム番号を抽出して時間差補正量設定部６５-1へ出力する。
【００４１】
時間差補正量設定部６５-1は、複数のセンサ毎に生成されたいずれかの検知信号、例えば検知信号ＳＣを基準として、基準とした検知信号ＳＣに対する検知信号ＳＲの時間差ＥＲを、状態検出部６１Ｃ，６１Ｒにおけるフレーム毎の状態検出結果を用いて算出する。時間差ＥＲの算出は、例えばフレーム番号抽出部６２Ｃ，６２Ｒから供給されたフレーム番号を用いて、キャリブレーションターゲットの状態が等しい変化を生じときのフレーム番号の差を時間差ＥＲとする。また、時間差補正量設定部６５-1は、算出した時間差ＥＲに基づき検知信号ＳＲに対する時間差補正量ＥＣを設定する。
【００４２】
次に、第１の実施の形態の動作について説明する。図５は、第１の実施の形態における検知信号取得処理を例示したフローチャートである。なお、検知信号取得処理は、図３のステップＳＴ４の処理に相当する。
【００４３】
ステップＳＴ１１で情報処理装置は撮像部を初期化する。情報処理装置３０-1は、センサ部４０における撮像部４１Ｃの初期化してステップＳＴ１２に進む。
【００４４】
ステップＳＴ１２で情報処理装置はレーダ部を初期化する。情報処理装置３０-1は、センサ部４０におけるレーダ部４１Ｒを初期化してステップＳＴ１３に進む。
【００４５】
ステップＳＴ１３で情報処理装置は撮像部の動作を開始する。情報処理装置３０-1は、撮像部４１Ｃを動作させてキャリブレーションターゲット２０の撮像を開始して検知信号の生成を行いステップＳＴ１４に進む。なお、撮像部４１Ｃで生成された検知信号はカメラ信号処理部５１Ｃで処理される。また、ステップＳＴ１３で撮像部４１Ｃは、検知信号の生成時に用いた同期信号をレーダ部４１Ｒへ出力する。
【００４６】
ステップＳＴ１４で情報処理装置は撮像部に同期させてレーダ部の動作を開始する。情報処理装置３０-1は、撮像部４１Ｃから供給された同期信号を基準としてレーダ部４１Ｒを動作させて、キャリブレーションターゲット２０による電磁波の反射状況を示す検知信号の生成を開始してステップＳＴ１５に進む。なお、レーダ部４１Ｒで生成された検知信号は上述のようにレーダ信号処理部５１Ｒで処理される。
【００４７】
ステップＳＴ１５で情報処理部はキャリブレーションターゲットの状態検出処理を行う。情報処理装置３０-1のキャリブレーション部６０における状態検出部６１Ｃは、撮像部４１Ｃで生成されてカメラ信号処理部５１Ｃで処理された検知信号に基づきキャリブレーションターゲット２０の状態を検出する。また、状態検出部６１Ｌは、レーダ部４１Ｒで生成されてレーダ信号処理部５１Ｒで処理された検知信号に基づきキャリブレーションターゲット２０の状態を検出してステップＳＴ１６に進む。
【００４８】
ステップＳＴ１６で情報処理装置は検知信号の生成を判定対象期間行ったか判別する。情報処理装置３０-1は、撮像部４１Ｃで検知信号の生成が判定対象期間に達していない場合、例えば検知信号の生成が所定フレーム数（例えばｎフレーム数）に達していない場合にはステップＳＴ１５に戻り、撮像部４１Ｃで検知信号の生成が判定対象期間行われたと判別した場合、例えば所定フレーム数（例えばｎフレーム数）の検知信号の生成が行われた場合に検知信号取得処理を終了する。
【００４９】
図６は、第１の実施の形態における時間差補正量設定処理を例示したフローチャートである。なお、時間差補正量設定処理は、図３のステップＳＴ５に相当する。
【００５０】
ステップＳＴ２１で情報処理装置は時間差ＥＲを算出する。情報処理装置３０-1のキャリブレーション部６０における時間差補正量設定部６５-1は、撮像部４１Ｃで生成された検知信号の時間差算出対象フレームについて、レーダ部４１Ｒで生成された検知信号との時間差を状態検出結果に基づいて算出する。なお、時間差算出対象フレームは、判定対象期間において、キャリブレーションターゲット２０の状態検出結果が変化した直後のフレームおよび／または状態検出結果が変化した直前のフレームであり、以下の説明では、状態検出結果が変化した直後のフレームを時間差算出対象フレームとした場合を例示している。
【００５１】
例えば、撮像部４１Ｃで生成された判定対象期間の検知信号ＳＣのフレーム番号を「ｉ〜ｉ＋ｎ」とする。また、判定対象期間において、レーダ部４１Ｒで生成された検知信号ＳＲの時間差補正前のフレーム番号を「ｊ〜ｊ＋ｎ」とする。
【００５２】
時間差補正量設定部６５-1は、検知信号ＳＣに対してキャリブレーションターゲット２０の状態検出結果の変化が等しい検知信号ＳＲのフレーム番号を用いて時間差ＥＲを算出する。また、キャリブレーションターゲット２０の状態を所定の周期で切り替えられる場合、状態検出結果の変化が等しいフレームは、キャリブレーションターゲット２０の状態切り替えの１周期よりも短い期間内で、フレーム差分が最も少ないフレームとする。
【００５３】
ここで、検知信号ＳＣがフレーム番号ｉgであるときに状態検出結果が変化して、この変化と等しい変化を生じた検知信号ＳＲがフレーム番号ｊkである場合、式（１）に基づき時間差ＥＲgを算出してステップＳＴ２２に進む。
ＥＲg  ＝（ｉg−ｊk）・・・（１）
【００５４】
ステップＳＴ２２で情報処理装置は判定対象期間の時間差の算出は完了したか判別する。情報処理装置３０-1の時間差補正量設定部６５-1は、判定対象期間における状態検出結果の変化を生じた各フレームについての時間差の算出が完了していない場合はステップＳＴ２３に進み、状態検出結果の変化が生じた各フレームについての時間差の算出が完了した場合にはステップＳＴ２４に進む。
【００５５】
ステップＳＴ２３で情報処理装置は時間差算出対象フレームの更新処理を行う。情報処理装置３０-1の時間差補正量設定部６５-1は、時間差算出対象フレームを、検知信号ＳＣにおいてキャリブレーションターゲット２０の状態検出結果が変化した次のフレームに設定してステップＳＴ２１に戻る。
【００５６】
ステップＳＴ２４で情報処理装置は算出した時間差ＥＲが等しいか判別する。情報処理装置３０-1の時間差補正量設定部６５-1は、時間差ＥＲが等しいと判別した場合にステップＳＴ２５に進み、異なる時間差ＥＲのフレームが含まれている場合はステップＳＴ２７に進む。
【００５７】
ステップＳＴ２５で情報処理装置は時間差補正量を設定する。情報処理装置３０-1の時間差補正量設定部６５-1は、ステップＳＴ２２で算出された時間差ＥＲに基づき、検知信号ＳＣと状態検出結果の変化が等しい検知信号ＳＲのフレーム番号を、検知信号ＳＣのフレーム番号と等しくする時間差補正量ＥＣに設定してステップＳＴ２６に進む。
【００５８】
ステップＳＴ２６で情報処理装置はキャリブレーション成功フラグを設定する。情報処理装置３０-1の時間差補正量設定部６５-1は、時間差補正量ＥＣの設定が完了したことから、キャリブレーション成功フラグを設定状態（オン状態）として時間差補正量設定処理を終了する。
【００５９】
ステップＳＴ２７で情報処理装置はキャリブレーション成功フラグを非設定とする。情報処理装置３０-1の時間差補正量設定部６５-1は、異なる時間差のフレームが含まれているため時間差補正量ＥＣの設定を行わないことから、キャリブレーション成功フラグを非設定状態（オフ状態）として時間差補正量設定処理を終了する。
【００６０】
次に、図７乃至図１３を用いて第１の実施の形態の動作例を説明する。図７は、第１の実施の形態における第１動作例を示す図であり、図８は、第１の実施の形態における第２動作例を示す図である。第１動作例と第２動作例では、キャリブレーションターゲット２０における反射器２１が電波吸収体２２で隠されていない状態と隠されている状態の２つの状態の期間がそれぞれ検知信号ＳＣ，ＳＲの１フレーム期間である場合を例示している。
【００６１】
図７に示す第１動作例は、撮像部４１Ｃで生成された検知信号ＳＣとレーダ部４１Ｒで生成された検知信号ＳＲが同期している場合を示している。図７の（ａ）は、キャリブレーションターゲット２０の状態ＷＳを示しており、反射器２１が電波吸収体２２で隠されていない状態を「ＯＰＥＮ」、隠されている状態を「ＣＬＯＳＥ」とする。また、キャリブレーションターゲット２０の状態切り替え周期は２フレーム期間（例えば１秒程度）とされている。
【００６２】
図７の（ｂ）は撮像部４１Ｃで生成された検知信号ＳＣについて、フレーム番号と状態検出結果を示している。また、図７の（ｃ）はレーダ部４１Ｒで生成された検知信号ＳＲについて、フレーム番号と状態検出結果を示している。
【００６３】
撮像部４１Ｃで生成された検知信号ＳＣとレーダ部４１Ｒで生成された検知信号ＳＲが同期している場合、キャリブレーションターゲット２０の状態が等しい変化を生じときの検知信号ＳＣと検知信号ＳＲのフレーム番号は等しい。したがって、時間差補正量ＥＣは「０」となる。
【００６４】
図８に示す第２動作例は、撮像部４１Ｃで生成された検知信号ＳＣとレーダ部４１Ｒで生成された検知信号ＳＲが時間的ずれを生じている場合を示している。
【００６５】
図８の（ａ）は、キャリブレーションターゲット２０の状態ＷＳを示しており、反射器２１が電波吸収体２２で隠されていない状態を「ＯＰＥＮ」、隠されている状態を「ＣＬＯＳＥ」とする。また、キャリブレーションターゲット２０の状態切り替え周期は２フレーム期間とされている。
【００６６】
図８の（ｂ）は撮像部４１Ｃで生成された検知信号ＳＣのフレーム番号と状態検出結果を示している。また、図８の（ｃ）はレーダ部４１Ｒで生成された検知信号ＳＲのフレーム番号と状態検出結果を示している。
【００６７】
撮像部４１Ｃで生成された検知信号ＳＣに対してレーダ部４１Ｒで生成された検知信号ＳＲが時間的ずれを生じている場合、検知信号ＳＣと検知信号ＳＲは、キャリブレーションターゲット２０の状態検出結果の変化が等しいフレーム番号が異なる場合が生じる。例えば、検知信号ＳＣに基づく状態検出結果がＯＰＥＮ状態からＣＬＯＳＥ状態に変化したフレームであるフレーム番号２に対して、検知信号ＳＲに基づく状態検出結果がＯＰＥＮ状態からＣＬＯＳＥ状態に変化したフレームはフレーム番号１であることから、時間差ＥＲは「１」である。また、検知信号ＳＣに基づく状態検出結果がＣＬＯＳＥ状態からＯＰＥＮ状態に変化したフレームであるフレーム番号３に対して、検知信号ＳＲに基づく状態検出結果がＣＬＯＳＥ状態からＯＰＥＮ状態に変化したフレームは、フレーム番号２であることから、時間差ＥＲは「１」である。また、キャリブレーションターゲットの状態が等しい変化を生じときの他のフレーム番号においても、時間差ＥＲは「１」である。したがって、時間差補正量設定部６５-1は、時間差補正量ＥＣを「１」に設定する。また、時間差補正量ＥＣが設定されると共に、図６に示す時間差補正量設定処理によって、キャリブレーション成功フラグは設定状態となる。
【００６８】
図９は、第２動作例のキャリブレーション後を示しており、撮像部４１Ｃで生成された検知信号ＳＣを基準としてレーダ部４１Ｒで生成された検知信号ＳＲについて時間差補正処理が行われている。図９の（ａ）は、キャリブレーションターゲット２０の状態ＷＳを示しており、反射器２１が電波吸収体２２で隠されていない状態を「ＯＰＥＮ」、隠されている状態を「ＣＬＯＳＥ」とする。また、キャリブレーションターゲット２０の状態切り替え周期は２フレーム期間とされている。
【００６９】
図９の（ｂ）は撮像部４１Ｃで生成された検知信号ＳＣのフレーム番号と状態検出結果と共に示している。また、図９の（ｃ）は時間差補正処理が行われた検知信号ＳＲｈのフレーム番号と状態検出結果を示している。図８を用いて説明したように、検知信号ＳＣと検知信号ＳＲが図８に示す時間差を生じている場合、時間差補正量ＥＣは「１」に設定されている。したがって、同期処理部５３は、検知信号ＳＲのフレーム番号に「１」を加算して、図９の（ｃ）に示す検知信号ＳＲｈを生成する。このような処理を行うことで、検知信号ＳＣと検知信号ＳＲの時間差を補正することができる。
【００７０】
図１０は、第１の実施の形態における第３動作例を示す図であり、図１１は、第１の実施の形態における第４動作例を示す図、図１３は第１の実施の形態における第５動作例を示す図である。第３動作例と第４動作例および第５動作例では、キャリブレーションターゲット２０の２つの状態の期間がそれぞれ検知信号ＳＣ，ＳＲの複数フレーム期間である場合を例示している。
【００７１】
図１０に示す第３動作例は、撮像部４１Ｃで生成された検知信号ＳＣとレーダ部４１Ｒで生成された検知信号ＳＲが同期している場合を示している。図１０の（ａ）は、キャリブレーションターゲット２０の状態ＷＳを示しており、反射器２１が電波吸収体２２で隠されていない状態を「ＯＰＥＮ」、隠されている状態を「ＣＬＯＳＥ」とする。また、キャリブレーションターゲット２０の状態切り替え周期は２フレーム期間とされている。
【００７２】
図１０の（ｂ）は撮像部４１Ｃで生成された検知信号ＳＣのフレーム番号と状態検出結果を示している。なお、以下の図において、符号(O)は、状態検出結果がＯＰＥＮ状態であることを示しており、符号(C)は、状態検出結果がＣＬＯＳＥ状態であることを示している。図１０の（ｃ）はレーダ部４１Ｒで生成された検知信号ＳＲのフレーム番号と状態検出結果を示している。
【００７３】
撮像部４１Ｃで生成された検知信号ＳＣとレーダ部４１Ｒで生成された検知信号ＳＲが同期している場合、キャリブレーションターゲット２０の状態が等しい変化を生じときの検知信号ＳＣと検知信号ＳＲのフレーム番号は等しい。したがって、時間差補正量ＥＣは「０」となる。
【００７４】
図１１に示す第４動作例は、撮像部４１Ｃで生成された検知信号とレーダ部４１Ｒで生成された検知信号が時間的ずれを生じている場合を示している。
【００７５】
図１１の（ａ）は、キャリブレーションターゲット２０の状態ＷＳを示しており、反射器２１が電波吸収体２２で隠されていない状態を「ＯＰＥＮ」、隠されている状態を「ＣＬＯＳＥ」とする。また、キャリブレーションターゲット２０の状態切り替え周期は２フレーム期間とされている。
【００７６】
図１１の（ｂ）は撮像部４１Ｃで生成された検知信号ＳＣのフレーム番号と状態検出結果を示している。また、図１１の（ｃ）はレーダ部４１Ｒで生成された検知信号ＳＲのフレーム番号と状態検出結果を示している。
【００７７】
撮像部４１Ｃで生成された検知信号ＳＣに対してレーダ部４１Ｒで生成された検知信号ＳＲが時間的ずれを生じている場合、検知信号ＳＣと検知信号ＳＲは、キャリブレーションターゲット２０の状態検出結果の変化が等しいフレーム番号が異なる場合が生じる。例えば、検知信号ＳＣに基づく状態検出結果がＯＰＥＮ状態からＣＬＯＳＥ状態に変化したフレームであるフレーム番号５に対して、検知信号ＳＲに基づく状態検出結果がＯＰＥＮ状態からＣＬＯＳＥ状態に変化したフレームはフレーム番号３であることから、時間差ＥＲは「２」である。また、検知信号ＳＣに基づく状態検出結果がＣＬＯＳＥ状態からＯＰＥＮ状態に変化したフレームであるフレーム番号９に対して、検知信号ＳＲに基づく状態検出結果がＣＬＯＳＥ状態からＯＰＥＮ状態に変化したフレームは、フレーム番号７であることから、時間差ＥＲは「２」である。また、キャリブレーションターゲットの状態が等しい変化を生じときの他のフレーム番号においても、時間差ＥＲは「２」である。したがって、時間差補正量設定部６５-1は、時間差補正量ＥＣを「２」に設定する。また、時間差補正量ＥＣが設定されると共に、キャリブレーション成功フラグは設定状態となる。
【００７８】
図１２は、第４動作例のキャリブレーション後を示しており、撮像部４１Ｃで生成された検知信号ＳＣを基準として、レーダ部４１Ｒで生成された検知信号ＳＲについて時間差補正処理が行われている。図１２の（ａ）は、キャリブレーションターゲット２０の状態ＷＳを示しており、反射器２１が電波吸収体２２で隠されていない状態を「ＯＰＥＮ」、隠されている状態を「ＣＬＯＳＥ」とする。また、キャリブレーションターゲット２０の状態切り替え周期は２フレーム期間とされている。
【００７９】
図１２の（ｂ）は撮像部４１Ｃで生成された検知信号ＳＣのフレーム番号と状態検出結果を示している。また、図１２の（ｃ）は時間差補正処理が行われた検知信号ＳＲｈのフレーム番号と状態検出結果を示している。図１１を用いて説明したように、検知信号ＳＣと検知信号ＳＲが図１１に示す時間差を生じている場合、時間差補正量ＥＣは「２」に設定されている。したがって、同期処理部５３は、検知信号ＳＲのフレーム番号に「２」を加算して、図１２の（ｃ）に示す検知信号ＳＲｈを生成する。このような処理を行うことで、検知信号ＳＣと検知信号ＳＲの時間差を補正することができる。
【００８０】
このように、第１の実施の形態によれば、複数センサで取得された検知信号の時間的なずれを補正できる。
【００８１】
図１３に示す第５動作例は、撮像部４１Ｃで生成された検知信号とレーダ部４１Ｒで生成された検知信号が時間的ずれを生じており、検知信号ＳＲの周期が変動している場合を例示している。
【００８２】
図１３の（ａ）は、キャリブレーションターゲット２０の状態ＷＳを示しており、反射器２１が電波吸収体２２で隠されていない状態を「ＯＰＥＮ」、隠されている状態を「ＣＬＯＳＥ」とする。また、キャリブレーションターゲット２０の状態切り替え周期は２フレーム期間とされている。
【００８３】
図１３の（ｂ）は撮像部４１Ｃで生成された検知信号ＳＣのフレーム番号と状態検出結果を示している。また、図１３の（ｃ）はレーダ部４１Ｒで生成された検知信号ＳＲのフレーム番号と状態検出結果を示している。
【００８４】
撮像部４１Ｃで生成された検知信号ＳＣとレーダ部４１Ｒで生成された検知信号ＳＲが時間的ずれを生じており、検知信号ＳＲの周期が変動している場合、上述のように検知信号ＳＣに基づくキャリブレーションターゲット２０の状態検出結果の変化が等しい検知信号ＳＲのフレーム番号の差は、変動することがある。なお、図１３ではフレーム番号の差である時間差ＥＲが「１」または「０」となっている。このような場合、図６に示す時間差補正量設定処理によって、キャリブレーション成功フラグを非設定状態とする。
【００８５】
このように、第１の実施の形態によれば、キャリブレーションターゲットの状態検出結果に基づき時間差補正量を設定して、複数センサで取得された検知信号の時間的なずれを補正できる。また、キャリブレーション成功フラグが設定状態であるとき、補正後の検知信号を用いて認識処理を行うようにすれば、精度よく認識処理を行うことができる。また、時間的すれを補正できない場合にはキャリブレーション成功フラグが非設定状態となるので、認識器５５は、キャリブレーション成功フラグが非設定状態である場合、検知信号ＳＣあるいは検知信号ＳＲのいずれかを用いて認識処理を行うようにすれば、時間的ずれを生じた検知信号を用いたことにより例えば物体の認識精度の低下等の不具合が生じてしまうことを防止できる。
【００８６】
＜３．第２の実施の形態＞
次に第２の実施の形態について説明する。上述のように、キャリブレーションターゲット２０の２つの状態を所定の周期で切り替える場合、時間的ずれがキャリブレーションターゲット２０の２つの状態の周期以上となると、時間的ずれを正しく補正できない。例えば、所定の周期よりも長い時間差が生じている場合に、所定の周期内で状態検出結果の変化が等しい検知信号ＳＲのフレーム番号が検出されると、時間差を正しく検出することができない。そこで、第２の実施の形態では、キャリブレーションターゲット２０の状態を２つよりも多くして、第１の実施の形態よりも補正可能な時間的ずれを大きくする場合について説明する。
【００８７】
図１４は、第２の実施の形態の構成を例示している。第１の実施の形態と同様に複数のセンサとして、キャリブレーションターゲットの撮像画を示す検知信号を生成する撮像部４１Ｃと、送信ビームを放射してキャリブレーションターゲットで反射された送信ビーム（反射ビーム）に基づき検知信号を生成するレーダ部４１Ｒが用いられている場合、キャリブレーションターゲット２０は、レーダ反射断面積（RCS:Radar cross-section）が異なる複数の反射器と反射器毎に設けた電波吸収体と、いずれの反射器で送信ビームの反射が行われているかを示す表示器２３を用いて構成する。なお、図１４では、レーダ反射断面積が異なる反射器２１ａ，２１ｂ，２１ｃと、反射器毎に電波吸収体２２ａ，２２ｂ，２２ｃを設けている。
【００８８】
キャリブレーションターゲット２０は、反射器２１ａ，２１ｂ，２１ｃを所定順序で選択して、選択した反射器は電波吸収体で隠されていない状態として、残りの反射器は電波吸収体で隠されている状態とする。例えば反射器２１ａが選択された場合、反射器２１ａは電波吸収体２２ａで隠されていない状態として、他の反射器２１ｂ，２１ｃは電波吸収体２２ｂ，２２ｃで隠された状態とする。また、表示器２３では選択した反射器を示す情報、具体的には選択した反射器を示すインデックスあるいは選択した反射器のレーダ反射断面積等を表示する。例えば反射器２１ａが選択された場合、選択された反射器２１ａを示すインデックスを表示する。このように、反射器２１ａ，２１ｂ，２１ｃを所定の順序で選択すれば、キャリブレーションターゲット２０では３つの状態が所定の順序で切り替えられる。
【００８９】
キャリブレーション部６０は、撮像部４１Ｃで生成された検知信号に基づいて検出されたキャリブレーションターゲット２０の状態とレーダ部４１Ｒで生成された検知信号に基づいて検出されたキャリブレーションターゲット２０の状態の検出結果に基づき時間差を算出して時間差補正量ＥＣを設定する。
【００９０】
第２の実施の形態における情報処理装置は、図４に示す第１の実施の形態と同様に構成する。
【００９１】
第２の実施の形態において、状態検出部６１Ｃは、カメラ信号処理部５１Ｃから供給された検知信号に基づきキャリブレーションターゲット２０の状態を検出する。例えば、状態検出部６１Ｃは、検知信号を用いて表示器２３の表示内容の認識を行い、キャリブレーションターゲット２０において反射器２１ａ，２１ｂ，２１ｃのいずれか１つが電波吸収体で隠されていない状態で、他の反射器が電波吸収体で隠されている状態であるかを検出して、検出結果を時間差補正量設定部６５-1へ出力する。
【００９２】
状態検出部６１Ｒは、レーダ信号処理部５１Ｒから供給された検知信号に基づきキャリブレーションターゲット２０の状態を検出する。例えば、状態検出部６１Ｒは、検知信号の信号レベルに基づき、キャリブレーションターゲット２０において反射器２１ａ，２１ｂ，２１ｃのいずれか１つが電波吸収体で隠されていない状態で、他の反射器が電波吸収体で隠されている状態であるかを検出して、検出結果を時間差補正量設定部６５-1へ出力する。
【００９３】
時間差補正量設定部６５-1は、状態検出部６１Ｃ，６１Ｒからの検出結果と、フレーム番号抽出部６２Ｃ，６２Ｌから供給されたフレーム番号に基づいて、時間差補正量ＥＣを設定する。
【００９４】
次に、第２の実施の形態の動作について説明する。第２の実施の形態では、第１の実施の形態と同様に、図５に示す検知信号取得処理を行い、判定対象期間の検知信号を取得する。なお、判定対象期間は、キャリブレーションターゲット２０の状態切り替えの周期よりも長い期間とする。また、第２の実施の形態では、第１の実施の形態と同様に、図６に示す時間差補正量設定処理を行い、検知信号ＳＣに対してキャリブレーションターゲット２０の状態検出結果の変化が等しい検知信号ＳＲのフレーム番号を用いた時間差ＥＲを算出して、算出した時間差ＥＲに基づき時間差補正量ＥＣを設定、およびキャリブレーション成功フラグの設定等を行う。
【００９５】
図１５乃至図２０は第２の実施の形態の動作例を説明するための図である。図１５は、第２の実施の形態における第１動作例を示す図であり、図１６は、第２の実施の形態における第２動作例を示す図である。第１動作例と第２動作例では、キャリブレーションターゲット２０の３つの状態の期間がそれぞれ検知信号ＳＣ，ＳＲの１フレーム期間である場合を例示している。
【００９６】
図１５に示す第１動作例は、撮像部４１Ｃで生成された検知信号とレーダ部４１Ｒで生成された検知信号が同期している場合を示している。図１５の（ａ）は、キャリブレーションターゲット２０における反射器２１ａの選択状態ＷＳａを示しており、反射器２１ａが電波吸収体２２ａで隠されていない状態を「ＯＰＥＮ」、隠されている状態を「ＣＬＯＳＥ」とする。図１５の（ｂ）は、キャリブレーションターゲット２０における反射器２１ｂの選択状態ＷＳｂを示しており、反射器２１ｂが電波吸収体２２ｂで隠されていない状態を「ＯＰＥＮ」、隠されている状態を「ＣＬＯＳＥ」とする。図１５の（ｃ）は、キャリブレーションターゲット２０における反射器２１ｃの選択状態ＷＳｃを示しており、反射器２１ｃが電波吸収体２２ｃで隠されていない状態を「ＯＰＥＮ」、隠されている状態を「ＣＬＯＳＥ」とする。この場合、キャリブレーションターゲット２０の状態切り替え周期は３フレーム期間となる。
【００９７】
図１５の（ｄ）は表示器２３の表示情報ＤＳを示しており、例えば表示Ｌａは、反射器２１ａのみが電波吸収体２２ａで隠されていない状態であり、反射器２１ｂ，２１ｃが電波吸収体２２ｂ，２２ｃで隠されている状態であることを示している。表示Ｌｂは、反射器２１ｂのみが電波吸収体２２ｂで隠されていない状態であり、反射器２１ａ，２１ｃが電波吸収体２２ａ，２２ｃで隠されている状態であることを示している。表示Ｌｃは、反射器２１ｃのみが電波吸収体２２ｃで隠されていない状態であり、反射器２１ａ，２１ｂが電波吸収体２２ａ，２２ｂで隠されている状態であることを示している。
【００９８】
図１５の（ｅ）は撮像部４１Ｃで生成された検知信号ＳＣを状態の検出結果と共に示している。また、図１５の（ｆ）はレーダ部４１Ｒで生成された検知信号ＳＲを状態の検出結果と共に示している。なお、図１５および後述する図１６乃至図２０において、符号(La)は、表示器２３の表示認識結果が表示Ｌａであることを示しており、符号(Lb)は、表示認識結果が表示Ｌｂであることを示しており、符号(Lc)は、表示器２３の表示認識結果が表示Ｌｃであることを示している。
【００９９】
撮像部４１Ｃで生成された検知信号ＳＣとレーダ部４１Ｒで生成された検知信号ＳＲが同期している場合、キャリブレーションターゲット２０の状態が等しい変化を生じときの検知信号ＳＣと検知信号ＳＲのフレーム番号は等しい。したがって、時間差補正量ＥＣは「０」となる。
【０１００】
図１６に示す第２動作例は、撮像部４１Ｃで生成された検知信号とレーダ部４１Ｒで生成された検知信号が時間的ずれを生じている場合を示している。なお、図１６の（ａ）は図１５の（ａ）と同様であり、図１６の（ｂ）〜（ｄ）は図１５の（ｂ）〜（ｄ）と同様であり、説明は省略する。
【０１０１】
図１６の（ｅ）は撮像部４１Ｃで生成された検知信号ＳＣを状態の検出結果と共に示している。また、図１６の（ｆ）はレーダ部４１Ｒで生成された検知信号ＳＲを状態の検出結果と共に示している。
【０１０２】
撮像部４１Ｃで生成された検知信号ＳＣに対してレーダ部４１Ｒで生成された検知信号ＳＲが時間的ずれを生じている場合、検知信号ＳＣと検知信号ＳＲは、キャリブレーションターゲット２０の状態検出結果の変化が等しいフレーム番号が異なる場合が生じる。例えば、検知信号ＳＣに基づく状態検出結果が表示Ｌａから表示Ｌｂに変化したフレームであるフレーム番号２に対して、検知信号ＳＲに基づく状態検出結果が表示Ｌａから表示Ｌｂに変化したフレームはフレーム番号１であることから時間差ＥＲは「１」である。また、検知信号ＳＣに基づく状態検出結果が表示Ｌｂから表示Ｌｃに変化したフレームであるフレーム番号３に対して、検知信号ＳＲに基づく状態検出結果が表示Ｌｂから表示Ｌｃに変化したフレームはフレーム番号２であることから時間差ＥＲは「１」である。さらに、検知信号ＳＣに基づく状態検出結果が表示Ｌｃから表示Ｌａに変化したフレームであるフレーム番号４に対して、検知信号ＳＲに基づく状態検出結果が表示Ｌｃから表示Ｌａに変化したフレームはフレーム番号３であることから時間差ＥＲは「１」である。したがって、時間差補正量設定部６５-1は、時間差補正量ＥＣを「１」に設定する。また、時間差補正量ＥＣが設定されると共に、図６に示す時間差補正量設定処理によって、キャリブレーション成功フラグは設定状態となる。
【０１０３】
図１７は、第２動作例のキャリブレーション後を示しており、撮像部４１Ｃで生成された検知信号ＳＣを基準として、レーダ部４１Ｒで生成された検知信号ＳＲについて時間差補正処理が行われている。なお、図１７の（ａ）は図１５の（ａ）と同様であり、図１７の（ｂ）〜（ｄ）は図１５の（ｂ）〜（ｄ）と同様であり、説明は省略する。
【０１０４】
図１７の（ｅ）は撮像部４１Ｃで生成された検知信号ＳＣを状態の検出結果と共に示している。また、図１７の（ｆ）は、時間差補正処理が行われた検知信号ＳＲｈを状態の検出結果と共に示している。図１６を用いて説明したように、検知信号ＳＣと検知信号ＳＲが図１６に示す時間差を生じている場合、時間差補正量ＥＣは「１」に設定されていることから、検知信号ＳＲのフレーム番号に「１」を加算して、図１７の（ｆ）に示す検知信号ＳＲｈを生成する。このような処理を行うことで、検知信号ＳＣと検知信号ＳＲの時間差を補正することができる。
【０１０５】
図１８は、第２の実施の形態における第３動作例を示す図であり、図１９は、第２の実施の形態における第４動作例を示す図である。第３動作例と第４動作例では、キャリブレーションターゲット２０の２つの状態の期間がそれぞれ検知信号ＳＣ，ＳＲの複数フレーム期間である場合を例示している。
【０１０６】
図１８に示す第３動作例は、撮像部４１Ｃで生成された検知信号とレーダ部４１Ｒで生成された検知信号が同期している場合を示している。図１８の（ａ）は、キャリブレーションターゲット２０における反射器２１ａの選択状態ＷＳａを示しており、反射器２１ａが電波吸収体２２ａで隠されていない状態を「ＯＰＥＮ」、隠されている状態を「ＣＬＯＳＥ」とする。図１８の（ｂ）は、キャリブレーションターゲット２０における反射器２１ｂの選択状態ＷＳｂを示しており、反射器２１ｂが電波吸収体２２ｂで隠されていない状態を「ＯＰＥＮ」、隠されている状態を「ＣＬＯＳＥ」とする。図１８の（ｃ）は、キャリブレーションターゲット２０における反射器２１ｃの選択状態ＷＳｃを示しており、反射器２１ｃが電波吸収体２２ｃで隠されていない状態を「ＯＰＥＮ」、隠されている状態を「ＣＬＯＳＥ」とする。この場合、キャリブレーションターゲット２０の状態切り替え周期は３フレーム期間となる。
【０１０７】
図１８の（ｄ）は表示器２３の表示情報ＤＳを示しており、例えば表示Ｌａは、反射器２１ａのみが電波吸収体２２ａで隠されていない状態であり、反射器２１ｂ，２１ｃが電波吸収体２２ｂ，２２ｃで隠されている状態であることを示している。表示Ｌｂは、反射器２１ｂのみが電波吸収体２２ｂで隠されていない状態であり、反射器２１ａ，２１ｃが電波吸収体２２ａ，２２ｃで隠されている状態であることを示している。表示Ｌｃは、反射器２１ｃのみが電波吸収体２２ｃで隠されていない状態であり、反射器２１ａ，２１ｂが電波吸収体２２ａ，２２ｂで隠されている状態であることを示している。
【０１０８】
図１８の（ｅ）は撮像部４１Ｃで生成された検知信号ＳＣを状態の検出結果と共に示している。また、図１８の（ｆ）はレーダ部４１Ｒで生成された検知信号ＳＲを状態の検出結果と共に示している。
【０１０９】
撮像部４１Ｃで生成された検知信号ＳＣとレーダ部４１Ｒで生成された検知信号ＳＲが同期している場合、キャリブレーションターゲット２０の状態が等しい変化を生じときの検知信号ＳＣと検知信号ＳＲのフレーム番号は等しい。したがって、時間差補正量ＥＣは「０」となる。
【０１１０】
図１９に示す第４動作例は、撮像部４１Ｃで生成された検知信号とレーダ部４１Ｒで生成された検知信号が時間的ずれを生じている場合を示している。なお、図１９の（ａ）は図１８の（ａ）と同様であり、図１９の（ｂ）〜（ｄ）は図１８の（ｂ）〜（ｄ）と同様であり、説明は省略する。
【０１１１】
図１９の（ｅ）は撮像部４１Ｃで生成された検知信号ＳＣを状態の検出結果と共に示している。また、図１９の（ｆ）はレーダ部４１Ｒで生成された検知信号ＳＲを状態の検出結果と共に示している。
【０１１２】
撮像部４１Ｃで生成された検知信号ＳＣに対してレーダ部４１Ｒで生成された検知信号ＳＲが時間差を生じている場合、検知信号ＳＣと検知信号ＳＲではキャリブレーションターゲット２０の状態検出結果の変化が等しいフレーム番号が異なる場合が生じる。例えば検知信号ＳＣに基づく状態検出結果が表示Ｌａから表示Ｌｂに変化したフレームであるフレーム番号６に対して、検知信号ＳＲに基づく状態検出結果が表示Ｌａから表示Ｌｂに変化したフレームはフレーム番号４であることから時間差ＥＲは「２」である。また、検知信号ＳＣに基づく状態検出結果が表示Ｌｂから表示Ｌｃに変化したフレームであるフレーム番号１０に対して、検知信号ＳＲに基づく状態検出結果が表示Ｌｂから表示Ｌｃに変化したフレームはフレーム番号８であることから時間差ＥＲは「２」である。さらに、検知信号ＳＣに基づく状態検出結果が表示Ｌｃから表示Ｌａに変化したフレームであるフレーム番号１４に対して、検知信号ＳＲに基づく状態検出結果が表示Ｌｃから表示Ｌａに変化したフレームはフレーム番号１２であることから時間差ＥＲは「２」である。したがって、時間差補正量設定部６５-1は、時間差補正量ＥＣを「２」に設定する。また、時間差補正量ＥＣが設定されると共に、図６に示す時間差補正量設定処理によって、キャリブレーション成功フラグは設定状態となる。
【０１１３】
図２０は、第４動作例のキャリブレーション後を示しており、撮像部４１Ｃで生成された検知信号ＳＣを基準として、レーダ部４１Ｒで生成された検知信号ＳＲについて時間差補正処理が行われている。なお、図２０の（ａ）は図１８の（ａ）と同様であり、図２０の（ｂ）〜（ｄ）は図１８の（ｂ）〜（ｄ）と同様であり、説明は省略する。
【０１１４】
図２０の（ｅ）は撮像部４１Ｃで生成された検知信号ＳＣを状態の検出結果と共に示している。また、図２０の（ｆ）は、時間差補正処理が行われた検知信号ＳＲｈを状態の検出結果と共に示している。図１９を用いて説明したように、検知信号ＳＣと検知信号ＳＲが図１９に示す時間差を生じている場合、時間差補正量ＥＣは「２」に設定されていることから、検知信号ＳＲのフレーム番号に「２」を加算して、図２０の（ｆ）に示す検知信号ＳＲｈを生成する。このような処理を行うことで、検知信号ＳＣと検知信号ＳＲの時間差を補正することができる。
【０１１５】
なお、上述の動作例では、キャリブレーションターゲット２０の３つの状態が所定周期で繰り返される場合を例示したが、キャリブレーションターゲット２０の状態を多くして所定周期で繰り返すようにすれば、３フレーム以上の時間的ずれを補正することができる。
【０１１６】
このように、第２の実施の形態によれば、第１の実施の形態よりも時間ずれが大きい場合でも、複数センサで取得された検知信号の時間的なずれを補正できる。
【０１１７】
＜４．第３の実施の形態＞
上述の実施の形態では、撮像部とレーダ部を用いる場合について説明したが、アクティブ型センサとしてライダ（Lider）センサを用いたライダ部４１Ｌをさらに用いてもよい。ライダは、レーザ光を照射してキャリブレーションターゲットで反射されたレーザ光（反射光）に基づき検知信号を生成する。
【０１１８】
図２１は、第３の実施の形態における情報処理装置の構成を例示している。情報処理装置３０-3は、センサ部４０-3と信号処理部５０-3を有している。
【０１１９】
センサ部４０-3は、撮像部４１Ｃとレーダ部４１Ｒとライダ部４１Ｌを有している。撮像部４１Ｃは、キャリブレーションターゲットの撮像画を示す検知信号をフレーム毎に生成して信号処理部５０-3へ出力する。レーダ部４１Ｒは、反射ビームに基づき検知信号をフレーム毎に生成して信号処理部５０-3へ出力する。ライダ部４１Ｌは、反射光に基づき検知信号をフレーム毎に生成して信号処理部５０-3へ出力する。また、撮像部４１Ｃとレーダ部４１Ｒおよびライダ部４１Ｌで生成された検知信号には、フレームを識別可能とするフレーム情報（例えばフレーム番号）が含まれている。
【０１２０】
信号処理部５０-3は、カメラ信号処理部５１Ｃとレーダ信号処理部５１Ｒとライダ信号処理部５１Ｌ、同期抽出部５２、同期処理部５３Ｒ，５３Ｌ、認識器５５、キャリブレーション部６０-3を有している。
【０１２１】
カメラ信号処理部５１Ｃは、撮像部４１Ｃから供給された検知信号に対してカメラ信号処理、例えばノイズ除去処理や利得調整処理、欠陥画素補正処理、デモザイク処理、色調整処理等の少なくともいずれかの処理を行う。カメラ信号処理部５１Ｃは、処理後の検知信号を同期抽出部５２とキャリブレーション部６０-1へ出力する。
【０１２２】
レーダ信号処理部５１Ｒは、レーダ部４１Ｒからの検知信号に基づき、反射ビームの周波数と送信ビームの周波数の差に基づきキャリブレーションターゲットまでの相対距離や相対速度を算出する。また、反射ビームの受信アレーアンテナ間の位相差に基づきキャリブレーションターゲットの方角を算出する。レーダ信号処理部５１Ｒは、処理後の検知信号を同期処理部５３とキャリブレーション部６０-1へ出力する。
【０１２３】
ライダ信号処理部５１Ｌは、ライダ部４１Ｌからの検知信号に基づき、レーザ光の出射タイミングと反射光の受光結果に基づきキャリブレーションターゲットまでの相対距離や相対速度を算出する。また、レーザ光の放射方向と反射光に基づきキャリブレーションターゲットの方角を算出する。ライダ信号処理部５１Ｌは、処理後の検知信号を同期処理部５３Ｌとキャリブレーション部６０-3へ出力する。
【０１２４】
同期抽出部５２は、検知信号からフレーム番号を抽出して同期処理部５３Ｒ，５３Ｌへ出力する。また、同期抽出部５２は、検知信号からフレーム番号と同期信号を抽出して同期処理部５３Ｒ，５３Ｌへ出力してもよい。また、同期抽出部５２は、カメラ信号処理部５１Ｃから供給された検知信号を認識器５６へ出力する。
【０１２５】
同期処理部５３Ｒは、同期抽出部５２から供給されたフレーム番号とキャリブレーション部６０-3で設定された時間差補正量ＥＣrに基づき、レーダ信号処理部５１Ｒから供給された検知信号のフレーム番号を補正して、補正後の検知信号を認識器５６へ出力する。また、同期処理部５３は、同期抽出部５２から同期信号が供給されている場合、フレーム番号を補正した検知信号を、同期抽出部５２から認識器５６へ出力される検知信号と同期させて、すなわちフレーム番号を一致させて等しいタイミングで認識器５６へ出力してもよい。
【０１２６】
同期処理部５３Ｌは、同期抽出部５２から供給されたフレーム番号とキャリブレーション部６０-3で設定された時間差補正量ＥＣlに基づき、ライダ信号処理部５１Ｌから供給された検知信号のフレーム番号を補正して、補正後の検知信号を認識器５６へ出力する。また、同期処理部５３Ｌは、同期抽出部５２から同期信号が供給されている場合、フレーム番号を補正した検知信号を、同期抽出部５２から認識器５６へ出力される検知信号と同期させて、すなわちフレーム番号を一致させて等しいタイミングで認識器５６へ出力してもよい。
【０１２７】
認識器５６は、同期抽出部５２から供給された検知信号と同期処理部５３Ｒ，５３Ｌから供給された時間的ずれの補正された検知信号に基づき被写体の認識処理を行う。
【０１２８】
キャリブレーション部６０-3は、撮像部４１Ｃとレーダ部４１Ｒとライダ部４１Ｌで生成された検知信号を用いて時間差補正量ＥＣr，ＥＣlを設定する。キャリブレーション部６０-1は、状態検出部６１Ｃ，６１Ｒ，６１Lとフレーム番号抽出部６２Ｃ，６２Ｒ，６２Ｌと時間差補正量設定部６５-3を有している。
【０１２９】
状態検出部６１Ｃは、カメラ信号処理部５１Ｃから供給された検知信号に基づきキャリブレーションターゲットの状態を検出する。例えば、状態検出部６１Ｃは、検知信号を用いて画像認識を行い、キャリブレーションターゲット２０において反射器２１が電波吸収体２２で隠されていない状態と隠されている状態のいずれであるかを検出して、検出結果を時間差補正量設定部６５-3へ出力する。
【０１３０】
状態検出部６１Ｒは、レーダ信号処理部５１Ｒから供給された検知信号に基づきキャリブレーションターゲットの状態を検出する。例えば、状態検出部６１Ｒは、検知信号の信号レベルに基づき、キャリブレーションターゲット２０において反射器２１ａ，２１ｂ，２１ｃのいずれが選択されている状態であるかを検出して、検出結果を時間差補正量設定部６５-3へ出力する。
【０１３１】
状態検出部６１Ｌは、ライダ信号処理部５１Ｌから供給された検知信号に基づきキャリブレーションターゲットの状態を検出する。例えば、状態検出部６１Ｌは、検知信号の信号レベルに基づき、キャリブレーションターゲット２０において反射器２１ａ，２１ｂ，２１ｃのいずれが選択されているかを検出して、検出結果を時間差補正量設定部６５-3へ出力する。
【０１３２】
フレーム番号抽出部６２Ｃは、カメラ信号処理部５１Ｃから供給された検知信号からフレーム番号を抽出して時間差補正量設定部６５-3へ出力する。
【０１３３】
フレーム番号抽出部６２Ｒは、レーダ信号処理部５１Ｒから供給された検知信号からフレーム番号を抽出して時間差補正量設定部６５-3へ出力する。
【０１３４】
フレーム番号抽出部６２Ｌは、ライダ信号処理部５１Ｌから供給された検知信号からフレーム番号を抽出して時間差補正量設定部６５-3へ出力する。
【０１３５】
時間差補正量設定部６５-1は、複数のセンサ毎に生成されたいずれかの検知信号、例えば検知信号ＳＣを基準として、基準とした検知信号ＳＣに対する検知信号ＳＲの時間差ＥＲrと検知信号ＳＣに対する検知信号ＳＬの時間差ＥＲlを、状態検出部６１Ｃ，６１Ｒ，６１Ｌにおけるフレーム毎の状態検出結果を用いて算出する。時間差ＥＲrの算出は、例えばフレーム番号抽出部６２Ｃ，６２Ｒから供給されたフレーム番号を用いて、キャリブレーションターゲットの状態が等しい変化を生じときのフレーム番号の差を時間差ＥＲrとする。時間差ＥＲlの算出は、例えばフレーム番号抽出部６２Ｃ，６２Ｌから供給されたフレーム番号を用いて、キャリブレーションターゲットの状態が等しい変化を生じときのフレーム番号の差を時間差ＥＲlとする。時間差補正量設定部６５-1は、算出した時間差ＥＲrに基づき検知信号ＳＲに対する時間差補正量ＥＣrと、算出した時間差ＥＲlに基づき検知信号ＳＬに対する時間差補正量ＥＣlをそれぞれ設定する。
【０１３６】
次に、第３の実施の形態の動作について説明する。第３の実施の形態では、第１の実施の形態と同様に、図５に示す検知信号取得処理を行い、判定対象期間分の検知信号を取得する。なお、判定対象期間は、キャリブレーションターゲット２０の状態切り替えの周期よりも長い期間とする。また、第３の実施の形態では、時間差補正量設定処理を行い、検知信号ＳＣに対してキャリブレーションターゲット２０の状態検出結果の変化が等しい検知信号ＳＲのフレーム番号を用いた時間差ＥＲrを算出して、時間差補正量ＥＣrの設定やキャリブレーション成功フラグの設定等を行う。また、第３の実施の形態では、検知信号ＳＣに対してキャリブレーションターゲット２０の状態検出結果の変化が等しい検知信号ＳＬのフレーム番号を用いた時間差ＥＲlを算出して、時間差補正量ＥＣlを設定やキャリブレーション成功フラグの設定等を行う。
【０１３７】
図２２は、第３の実施の形態における時間差補正量設定処理を例示したフローチャートである。なお、時間差補正量設定処理は、図３のステップＳＴ５の処理に相当する。
【０１３８】
ステップＳＴ３１で情報処理装置は時間差ＥＲr，ＥＲlを算出する。情報処理装置３０-3のキャリブレーション部６０における時間差補正量設定部６５-3は、撮像部４１Ｃで生成された検知信号の時間差算出対象フレームについて、レーダ部４１Ｒで生成された検知信号との時間差ＥＲrと、ライダ部４１Ｌで生成された検知信号との時間差ＥＲlとを状態検出結果に基づいて算出する。なお、時間差算出対象フレームは、キャリブレーションターゲット２０の状態検出結果が変化したときのフレームとする。
【０１３９】
時間差補正量設定部６５-3は、上述の図６のステップＳＴ２１と同様な処理を行い、検知信号ＳＣに対する検知信号ＳＲの時間差ＥＲrを算出する。また、検知信号ＳＣに対する検知信号ＳＲの時間差の算出と同様な処理を行い、検知信号ＳＣに対する検知信号ＳＬの時間差ＥＲlを算出する。時間差補正量設定部６５-3は、算出した時間差に基づき、検知信号ＳＲに対する時間差補正量ＥＣrと検知信号ＳＬに対する時間差補正量ＥＣlをそれぞれ設定してステップＳＴ３２に進む。
【０１４０】
ステップＳＴ３２で情報処理装置は判定対象期間の時間差の算出は完了したか判別する。情報処理装置３０-3の時間差補正量設定部６５-3は、判定対象期間における状態検出結果の変化を生じた各フレームについての時間差の算出が完了していない場合はステップＳＴ３３に進み、状態検出結果の変化が生じた各フレームについての時間差の算出が完了した場合にはステップＳＴ３４に進む。
【０１４１】
ステップＳＴ３３で情報処理装置は時間差算出対象フレームの更新処理を行う。情報処理装置３０-3の時間差補正量設定部６５-3は、時間差算出対象フレームを、検知信号ＳＣにおいてキャリブレーションターゲット２０の状態検出結果が変化した次のフレームに設定してステップＳＴ３１に戻る。
【０１４２】
ステップＳＴ３４で情報処理装置は算出した時間差ＥＲrが等しいか判別する。情報処理装置３０-3の時間差補正量設定部６５-3は、時間差ＥＲrが等しいと判別した場合にステップＳＴ３５に進み、時間差ＥＲrが異なるフレームが含まれている場合はステップＳＴ３７に進む。
【０１４３】
ステップＳＴ３５で情報処理装置は時間差補正量を設定する。情報処理装置３０-3の時間差補正量設定部６５-3は、ステップＳＴ３１で算出された時間差ＥＲrに基づき、検知信号ＳＣに対してキャリブレーションターゲット２０の状態検出結果の変化が等しい検知信号ＳＲのフレーム番号を、検知信号ＳＣのフレーム番号と等しくするための時間差補正量ＥＣrを設定してステップＳＴ３６に進む。
【０１４４】
ステップＳＴ３６で情報処理装置はレーダ部キャリブレーション成功フラグを設定する。情報処理装置３０-3の時間差補正量設定部６５-3は、検知信号ＳＲに対する時間差補正量ＥＣrの設定が完了したことから、レーダ部キャリブレーション成功フラグを設定状態（オン状態）としてステップＳＴ３８に進む。
【０１４５】
ステップＳＴ３７で情報処理装置はレーダ部キャリブレーション成功フラグを非設定とする。情報処理装置３０-3の時間差補正量設定部６５-3は、時間差ＥＲrが異なるフレームが含まれているため検知信号ＳＲに対して時間差補正量ＥＣrの設定を行わないことから、レーダ部キャリブレーション成功フラグを非設定状態（オフ状態）としてステップＳＴ３８に進む。
【０１４６】
ステップＳＴ３８で情報処理装置は時間差ＥＲlが等しいか判別する。情報処理装置３０-3の時間差補正量設定部６５-3は、時間差ＥＲlが等しいと判別した場合にステップＳＴ３９に進み、時間差ＥＲlの異なるフレームが含まれている場合はステップＳＴ４１に進む。
【０１４７】
ステップＳＴ３９で情報処理装置は時間差補正量ＥＣlを設定する。情報処理装置３０-3の時間差補正量設定部６５-3は、ステップＳＴ３１で算出された時間差ＥＲlに基づき、検知信号ＳＣに対してキャリブレーションターゲット２０の状態検出結果の変化が等しい検知信号ＳＬのフレーム番号を、検知信号ＳＣのフレーム番号と等しくするための時間差補正量ＥＣlを設定してステップＳＴ４０に進む。
【０１４８】
ステップＳＴ４０で情報処理装置は検知信号ＳＬに対してキャリブレーション成功フラグを設定する。情報処理装置３０-3の時間差補正量設定部６５-3は、時間差補正量ＥＣlの設定が完了したことから、検知信号ＳＬに対してキャリブレーション成功フラグを設定状態（オン状態）として処理を終了する。
【０１４９】
ステップＳＴ４１で情報処理装置は検知信号ＳＬに対してキャリブレーション成功フラグを非設定とする。情報処理装置３０-3の時間差補正量設定部６５-3は、異なる時間差のフレームが含まれているため検知信号ＳＬに対して時間差補正量ＥＣlの設定を行わないことから、検知信号ＳＬに対してキャリブレーション成功フラグを非設定状態（オフ状態）として処理を終了する。
【０１５０】
次に、第３の実施の形態の動作について説明する。第３の実施の形態では、第１の実施の形態や第２の実施の形態と同様に、図５に示す検知信号取得処理を行い、判定対象期間分の検知信号を取得する。なお、判定対象期間は、キャリブレーションターゲット２０の状態切り替えの周期よりも長い期間とする。また、第３の実施の形態では、図２２に示す時間差補正量設定処理を行い、検知信号ＳＣに対してキャリブレーションターゲット２０の状態検出結果の変化が等しい検知信号ＳＲのフレーム番号を用いた時間差ＥＲrを算出して、算出した時間差ＥＲrに基づき時間差補正量ＥＣrを設定、および検知信号ＳＲに対するキャリブレーション成功フラグの設定等を行う。さらに、検知信号ＳＣに対してキャリブレーションターゲット２０の状態検出結果の変化が等しい検知信号ＳＬのフレーム番号を用いて時間差ＥＲlの算出を行い、算出した時間差ＥＲlに基づき時間差補正量ＥＣlを設定、および検知信号ＳＬに対するキャリブレーション成功フラグの設定等を行う。
【０１５１】
次に、図２３乃至図２５を用いて第３の実施の形態の動作例を説明する。図２３は、第３の実施の形態における第１動作例を示す図であり、図２４は、第３の実施の形態における第２動作例を示す図である。第１動作例と第２動作例では、キャリブレーションターゲット２０の２つの状態の期間がそれぞれ検知信号ＳＣ，ＳＲの１フレーム期間である場合を例示している。
【０１５２】
図２３に示す第１動作例は、撮像部４１Ｃで生成された検知信号とレーダ部４１Ｒで生成された検知信号が同期している場合を示している。図２３の（ａ）は、キャリブレーションターゲット２０における反射器２１ａの状態ＷＳａを示しており、反射器２１ａが電波吸収体２２ａで隠されていない状態を「ＯＰＥＮ」、隠されている状態を「ＣＬＯＳＥ」とする。図２３の（ｂ）は、キャリブレーションターゲット２０における反射器２１ｂの状態ＷＳｂを示しており、反射器２１ｂが電波吸収体２２ｂで隠されていない状態を「ＯＰＥＮ」、隠されている状態を「ＣＬＯＳＥ」とする。図２３の（ｃ）は、キャリブレーションターゲット２０における反射器２１ｃの状態ＷＳｃを示しており、反射器２１ｃが電波吸収体２２ｃで隠されていない状態を「ＯＰＥＮ」、隠されている状態を「ＣＬＯＳＥ」とする。この場合、キャリブレーションターゲット２０の状態切り替え周期は３フレーム期間となる。
【０１５３】
図２３の（ｄ）は表示器２３の表示情報ＤＳを示しており、例えば表示Ｌａは、反射器２１ａのみが電波吸収体２２ａで隠されていない状態であり、反射器２１ｂ，２１ｃが電波吸収体２２ｂ，２２ｃで隠されている状態であることを示している。表示Ｌｂは、反射器２１ｂのみが電波吸収体２２ｂで隠されていない状態であり、反射器２１ａ，２１ｃが電波吸収体２２ａ，２２ｃで隠されている状態であることを示している。表示Ｌｃは、反射器２１ｃのみが電波吸収体２２ｃで隠されていない状態であり、反射器２１ａ，２１ｂが電波吸収体２２ａ，２２ｂで隠されている状態であることを示している。
【０１５４】
図２３の（ｅ）は撮像部４１Ｃで生成された検知信号ＳＣを状態の検出結果と共に示している。また、図２３の（ｆ）はレーダ部４１Ｒで生成された検知信号ＳＲを状態の検出結果と共に示している。さらに、図２３の（ｇ）はライダ部４１Ｌで生成された検知信号ＳＬを状態の検出結果と共に示している。なお、図２３および後述する図２４，図２５において、符号(La)は、表示器２３の表示認識結果が表示Ｌａであることを示しており、符号(Lb)は、表示認識結果が表示Ｌｂであることを示しており、符号(Lc)は、表示器２３の表示認識結果が表示Ｌｃであることを示している。
【０１５５】
撮像部４１Ｃで生成された検知信号ＳＣとレーダ部４１Ｒで生成された検知信号ＳＲとライダ部４１Ｌで生成された検知信号ＳＬが同期している場合、キャリブレーションターゲット２０の状態が等しい変化を生じときの検知信号ＳＣと検知信号ＳＲと検知信号ＳＬはフレーム番号が等しい。したがって、時間差補正量ＥＣr，ＥＣlは「０」となる。
【０１５６】
図２４に示す第２動作例は、撮像部４１Ｃで生成された検知信号とレーダ部４１Ｒで生成された検知信号が時間的ずれを生じており、撮像部４１Ｃで生成された検知信号とライダ部４１Ｌで生成された検知信号が時間的ずれを生じている場合を示している。なお、図２４の（ａ）は図２３の（ａ）と同様であり、図２４の（ｂ）〜（ｄ）は図２３の（ｂ）〜（ｄ）と同様であり、説明は省略する。
【０１５７】
図２４の（ｅ）は撮像部４１Ｃで生成された検知信号ＳＣを状態の検出結果と共に示している。また、図２４の（ｆ）はレーダ部４１Ｒで生成された検知信号ＳＲを状態の検出結果と共に示しており、図２４の（ｇ）はライダ部４１Ｌで生成された検知信号ＳＬを状態の検出結果と共に示している。
【０１５８】
撮像部４１Ｃで生成された検知信号ＳＣに対してレーダ部４１Ｒで生成された検知信号ＳＲやライダ部４１Ｌで生成された検知信号ＳＬが時間差を生じている場合、検知信号ＳＣと検知信号ＳＲや検知信号ＳＣと検知信号ＳＬではキャリブレーションターゲット２０の状態検出結果の変化が等しいフレーム番号が異なる場合が生じる。例えば検知信号ＳＣに基づく状態検出結果が表示Ｌｂから表示Ｌｃに変化したフレームであるフレーム番号３に対して、検知信号ＳＲに基づく状態検出結果が表示Ｌｂから表示Ｌｃに変化したフレームはフレーム番号１であることから時間差ＥＲrは「２」である。また、検知信号ＳＣに基づく状態検出結果が表示Ｌｃから表示Ｌａに変化したフレームであるフレーム番号４に対して、検知信号ＳＲに基づく状態検出結果が表示Ｌｃから表示Ｌａに変化したフレームはフレーム番号２であることから時間差ＥＲrは「２」である。さらに、検知信号ＳＣに基づく状態検出結果が表示Ｌａから表示Ｌｂに変化したフレームであるフレーム番号５に対して、検知信号ＳＲに基づく状態検出結果が表示Ｌａから表示Ｌｂに変化したフレームはフレーム番号３であることから時間差ＥＲrは「２」である。このように、時間差ＥＲrは「２」であることから検知信号ＳＲに対する時間差補正量ＥＣrは「２」に設定する。また、時間差補正量ＥＣrが設定されると共に、図２２に示す時間差補正量設定処理によって、レーダ部キャリブレーション成功フラグは設定状態となる。
【０１５９】
検知信号ＳＣに基づく状態検出結果が表示Ｌａから表示Ｌｂに変化したフレームであるフレーム番号２に対して、検知信号ＳＬに基づく状態検出結果が表示Ｌａから表示Ｌｂに変化したフレームはフレーム番号１であることから時間差ＥＲlは「１」である。また、検知信号ＳＣに基づく状態検出結果が表示Ｌｂから表示Ｌｃに変化したフレームであるフレーム番号３に対して、検知信号ＳＬに基づく状態検出結果が表示Ｌｂから表示Ｌｃに変化したフレームはフレーム番号２であることから時間差ＥＲlは「１」である。さらに、検知信号ＳＣに基づく状態検出結果が表示Ｌｃから表示Ｌａに変化したフレームであるフレーム番号４に対して、検知信号ＳＬに基づく状態検出結果が表示Ｌｃから表示Ｌａに変化したフレームはフレーム番号３であることから時間差ＥＲlは「１」である。このように、時間差ＥＲlは「１」であることから検知信号ＳＬに対する時間差補正量ＥＣlは「１」に設定する。また、時間差補正量ＥＣrが設定されると共に、図２２に示す時間差補正量設定処理によって、ライダ部キャリブレーション成功フラグは設定状態となる。
【０１６０】
図２５は、第２動作例のキャリブレーション後を示しており、撮像部４１Ｃで生成された検知信号ＳＣを基準として、レーダ部４１Ｒで生成された検知信号ＳＲとライダ部４１Ｌで生成された検知信号ＳＬについて時間差補正処理が行われている。なお、図２５の（ａ）は図２３の（ａ）と同様であり、図２５の（ｂ）〜（ｄ）は図２３の（ｂ）〜（ｄ）と同様であり、説明は省略する。
【０１６１】
図２５の（ｅ）は撮像部４１Ｃで生成された検知信号ＳＣを状態の検出結果と共に示している。また、図２５の（ｆ）は、時間差補正処理が行われた検知信号ＳＲｈを状態の検出結果と共に示している。さらに、図２５の（ｇ）は、時間差補正処理が行われた検知信号ＳＬｈを状態の検出結果と共に示している。図２４を用いて説明したように、検知信号ＳＣと検知信号ＳＲおよび検知信号ＳＣと検知信号ＳＬが図２４に示す時間差を生じている場合、検知信号ＳＲに対する時間差補正量ＥＣrは「２」に設定されていることから、検知信号ＳＲのフレーム番号に「２」を加算して、図２５の（ｆ）に示す検知信号ＳＲｈを生成する。また、検知信号ＳＬに対する時間差補正量ＥＣlは「１」に設定されていることから、検知信号ＳＬのフレーム番号に「１」を加算して、図２５の（ｇ）に示す検知信号ＳＬｈを生成する。このような処理を行うことで、検知信号ＳＣと検知信号ＳＲおよび検知信号ＳＬの時間差を補正することができる。
【０１６２】
このように、第３の実施の形態によれば、第１の実施の形態と同様に、キャリブレーションターゲットの状態検出結果に基づき時間差補正量を設定して、複数センサで取得された検知信号の時間的なずれを補正できる。また、レーダ部キャリブレーション成功フラグが設定状態であるとき、検知信号ＳＣだけでなく補正後の検知信号ＳＲｈを用いて認識処理を行うようにすれば、精度よく認識処理を行うことができる。同様に、ライダ部キャリブレーション成功フラグが設定状態であるとき、検知信号ＳＣだけでなく補正後の検知信号ＳＬｈを用いて認識処理を行うようにすれば、精度よく認識処理を行うことができる。また、検知信号ＳＲの時間的すれを補正できない場合にはレーダ部キャリブレーション成功フラグが非設定状態となり、検知信号ＳＬの時間的すれを補正できない場合にはライダ部キャリブレーション成功フラグが非設定状態となるので、認識器５５は、検知信号ＳＣとキャリブレーション成功フラグが設定状態である検知信号、あるいはキャリブレーション成功フラグが全て非設定状態ある場合にはいずれか１つの検知信号を用いて認識処理を行うようにすれば、時間的ずれを生じた検知信号を用いたことにより例えば物体の認識精度の低下等の不具合が生じてしまうことを防止できる。
【０１６３】
＜５．変形例＞
上述の実施の形態において、キャリブレーションターゲット２０は反射器（リフレクタ）と電波吸収体を用いて構成して、電波吸収体の開閉によってキャリブレーションターゲット２０の状態を切り替える場合を例示したが、キャリブレーションターゲット２０はこのような構成および動作に限られない。図２６，２７は、キャリブレーションターゲットの他の構成を例示しており、図２６はキャリブレーションターゲットの他の構成を示す斜視図、図２７はキャリブレーションターゲットの他の構成の正面図と上面図である。
【０１６４】
キャリブレーションターゲット２０ｅは、回転体２５と回転体２５を駆動する回転駆動部２６、支柱２７、台座２８を有している。回転体２５は、回転駆動部２６を介して支柱２７に取り付けられており、支柱２７を回転軸として回転駆動部２６によって回転可能とされている。また、支柱２７は、台座２８に取り付けられており、支柱２７には表示器２３が表示面を撮像部４１Ｃの方向として設けられている。
【０１６５】
回転体２５は、矩形状の底部２５１と底部２５１の対角線位置から回転軸方向に延びた仕切り板２５２を有している。また、仕切り板２５２は送信ビームを反射しない部材で構成されている。仕切り板２５２で区切られた領域には反射器が、送信ビームの入射面を外側に向けて配置されている。例えば図２６，２７では、レーダ反射断面積が異なる２つの反射器２１ａ，２１ｂが、回転軸を中心として対象となる領域に、送信ビームの入射面を外側に向けて配置されている。
【０１６６】
このようなキャリブレーションターゲット２０ｅを用いる場合、回転体２５を回転させると、レーダ部４１Ｒに対応する反射器が切り替えられて、キャリブレーションターゲットの状態を切り替えることができる。また、キャリブレーションターゲット２０ｅは、電波吸収体を開閉させることなく、回転体２５を回転させるだけでキャリブレーションターゲットの状態を切り替えることができるので、簡単かつ高速にキャリブレーションターゲットの状態切り替えを行うことが可能となる。
【０１６７】
ところで、上述の実施の形態では、キャリブレーションターゲット２０の状態を所定の周期で切り替えを行っていることから、所定の周期よりも短い時間差であれば、検知信号ＳＣに基づく状態検出結果が等しい状態変化は、所定の周期で１つであることから正しく時間差を算出できる。しかし、時間差が所定の周期以上の場合、時間差よりも短いフレーム番号の差で状態検出結果が等しい状態変化が検出されると、検出された時間差は短くなってしまう。
【０１６８】
図２８は、時間差がキャリブレーションターゲットの状態切り替え周期以上である場合を例示している。図２８の（ａ）は、キャリブレーションターゲット２０の状態ＷＳを示しており、反射器２１が電波吸収体２２で隠されていない状態を「ＯＰＥＮ」、隠されている状態を「ＣＬＯＳＥ」とする。また、キャリブレーションターゲット２０の状態切り替え周期は２フレーム期間とされている。
【０１６９】
図２８の（ｂ）は撮像部４１Ｃで生成された検知信号ＳＣのフレーム番号と状態検出結果を示している。また、図２８の（ｃ）はレーダ部４１Ｒで生成された検知信号ＳＲのフレーム番号と状態検出結果を示しており、検知信号ＳＣに対して例えば８フレームの時間差（状態切り替え周期に相当）を生じている。
【０１７０】
この場合、検知信号ＳＣに基づく状態検出結果がＯＰＥＮ状態からＣＬＯＳＥ状態に変化したフレームであるフレーム番号１３に対して、検知信号ＳＲに基づく状態検出結果がＯＰＥＮ状態からＣＬＯＳＥ状態に変化したフレームはフレーム番号５とフレーム番号１３であり、同じフレーム番号１３で状態検出結果の変化が等しいことから時間差は「０」と判別されてしまうおそれがある。
【０１７１】
そこで、キャリブレーションターゲットは、状態ＷＳを例えば検知信号の１あるいは複数フレーム単位でランダムに切り替えることで、所定の周期以上の時間差を正しく検出できるようにしてもよい。例えば反射器２１が電波吸収体２２で隠されていない状態の期間と隠されている状態の期間をフレーム単位でランダムに設定して、あるいは反射器２１ａ，２１ｂ，２１ｃをランダムに選択して、時間差補正量設定部６５-1は、撮像部４１Ｃで生成された検知信号の時間差算出対象フレームについて、時間差算出対象フレームの状態変化と等しい変化を生じたフレームをレーダ部４１Ｒで生成された検知信号から検出する。さらに、時間差補正量設定部６５-1は、状態変化と等しい変化を生じたフレーム間でフレーム番号の差である時間差を算出して、各時間差算出対象フレームで算出された時間差が一定となる時間差を、検知信号ＳＣと検知信号ＳＲとの時間差として、時間差補正量を設定する。このような処理を行うようにすれば、長い時間的ずれが生じても、時間的ずれを補正できるようになる。
【０１７２】
また、キャリブレーション部６０-1，６０-3の構成は、上述の構成に限られるものではなく、例えば同期抽出部５２や同期処理部５３，５３Ｒ，５３Ｌを含めた構成であってもよい。
【０１７３】
また、複数のセンサは、第１乃至第３の実施の形態で示したように、アクティブ型センサとパッシブ型センサに限らず、少なくともアクティブ型センサを含む構成であればよく、複数のアクティブ型センサを用いてもよい。例えば、複数のセンサは、レーダ部４１Ｒとライダ部４１Ｌで構成して、いずれか一方を基準として上述のように時間差を算出して、他方の検知信号を一方の検知信号に同期させてもよい。
【０１７４】
なお、第１の実施の形態乃至第３の実施の形態や変形例に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
【０１７５】
＜６．応用例＞
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置として実現されてもよい。
【０１７６】
図２９は、本技術が適用され得る移動体制御システムの一例である車両制御システム１００の概略的な機能の構成例を示すブロック図である。
【０１７７】
なお、以下、車両制御システム１００が設けられている車両を他の車両と区別する場合、自車又は自車両と称する。
【０１７８】
車両制御システム１００は、入力部１０１、データ取得部１０２、通信部１０３、車内機器１０４、出力制御部１０５、出力部１０６、駆動系制御部１０７、駆動系システム１０８、ボディ系制御部１０９、ボディ系システム１１０、記憶部１１１、及び、自動運転制御部１１２を備える。入力部１０１、データ取得部１０２、通信部１０３、出力制御部１０５、駆動系制御部１０７、ボディ系制御部１０９、記憶部１１１、及び、自動運転制御部１１２は、通信ネットワーク１２１を介して、相互に接続されている。通信ネットワーク１２１は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）、又は、ＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークやバス等からなる。なお、車両制御システム１００の各部は、通信ネットワーク１２１を介さずに、直接接続される場合もある。
【０１７９】
なお、以下、車両制御システム１００の各部が、通信ネットワーク１２１を介して通信を行う場合、通信ネットワーク１２１の記載を省略するものとする。例えば、入力部１０１と自動運転制御部１１２が、通信ネットワーク１２１を介して通信を行う場合、単に入力部１０１と自動運転制御部１１２が通信を行うと記載する。
【０１８０】
入力部１０１は、搭乗者が各種のデータや指示等の入力に用いる装置を備える。例えば、入力部１０１は、タッチパネル、ボタン、マイクロフォン、スイッチ、及び、レバー等の操作デバイス、並びに、音声やジェスチャ等により手動操作以外の方法で入力可能な操作デバイス等を備える。また、例えば、入力部１０１は、赤外線若しくはその他の電波を利用したリモートコントロール装置、又は、車両制御システム１００の操作に対応したモバイル機器若しくはウェアラブル機器等の外部接続機器であってもよい。入力部１０１は、搭乗者により入力されたデータや指示等に基づいて入力信号を生成し、車両制御システム１００の各部に供給する。
【０１８１】
データ取得部１０２は、車両制御システム１００の処理に用いるデータを取得する各種のセンサ等を備え、取得したデータを、車両制御システム１００の各部に供給する。
【０１８２】
例えば、データ取得部１０２は、自車の状態等を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ジャイロセンサ、加速度センサ、慣性計測装置（ＩＭＵ）、及び、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数、モータ回転数、若しくは、車輪の回転速度等を検出するためのセンサ等を備える。
【０１８３】
また、例えば、データ取得部１０２は、自車の外部の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ、及び、その他のカメラ等の撮像装置を備える。また、例えば、データ取得部１０２は、天候又は気象等を検出するための環境センサ、及び、自車の周囲の物体を検出するための周囲情報検出センサを備える。環境センサは、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ等からなる。周囲情報検出センサは、例えば、超音波センサ、レーダ、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、ソナー等からなる。
【０１８４】
さらに、例えば、データ取得部１０２は、自車の現在位置を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号を受信するＧＮＳＳ受信機等を備える。
【０１８５】
また、例えば、データ取得部１０２は、車内の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、運転者を撮像する撮像装置、運転者の生体情報を検出する生体センサ、及び、車室内の音声を集音するマイクロフォン等を備える。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座っている搭乗者又はステアリングホイールを握っている運転者の生体情報を検出する。
【０１８６】
通信部１０３は、車内機器１０４、並びに、車外の様々な機器、サーバ、基地局等と通信を行い、車両制御システム１００の各部から供給されるデータを送信したり、受信したデータを車両制御システム１００の各部に供給したりする。なお、通信部１０３がサポートする通信プロトコルは、特に限定されるものではなく、また、通信部１０３が、複数の種類の通信プロトコルをサポートすることも可能である。例えば、通信部１０３は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）、又は、ＷＵＳＢ（Wireless USB）等により、車内機器１０４と無線通信を行う。また、例えば、通信部１０３は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）、又は、ＭＨＬ（Mobile High-definition Link）等により、車内機器１０４と有線通信を行う。
【０１８７】
さらに、例えば、通信部１０３は、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）との通信を行う。また、例えば、通信部１０３は、Ｐ２Ｐ（Peer To Peer）技術を用いて、自車の近傍に存在する端末（例えば、歩行者若しくは店舗の端末、又は、ＭＴＣ（Machine Type Communication）端末）との通信を行う。さらに、例えば、通信部１０３は、車車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信、自車と家との間（Vehicle to Home）の通信、及び、歩車間（Vehicle to Pedestrian）通信等のＶ２Ｘ通信を行う。また、例えば、通信部１０３は、ビーコン受信部を備え、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行規制又は所要時間等の情報を取得する。
【０１８８】
車内機器１０４は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、自車に搬入され若しくは取り付けられる情報機器、及び、任意の目的地までの経路探索を行うナビゲーション装置等を含む。
【０１８９】
出力制御部１０５は、自車の搭乗者又は車外に対する各種の情報の出力を制御する。例えば、出力制御部１０５は、視覚情報（例えば、画像データ）及び聴覚情報（例えば、音声データ）のうちの少なくとも１つを含む出力信号を生成し、出力部１０６に供給することにより、出力部１０６からの視覚情報及び聴覚情報の出力を制御する。具体的には、例えば、出力制御部１０５は、データ取得部１０２の異なる撮像装置により撮像された画像データを合成して、俯瞰画像又はパノラマ画像等を生成し、生成した画像を含む出力信号を出力部１０６に供給する。また、例えば、出力制御部１０５は、衝突、接触、危険地帯への進入等の危険に対する警告音又は警告メッセージ等を含む音声データを生成し、生成した音声データを含む出力信号を出力部１０６に供給する。
【０１９０】
出力部１０６は、自車の搭乗者又は車外に対して、視覚情報又は聴覚情報を出力することが可能な装置を備える。例えば、出力部１０６は、表示装置、インストルメントパネル、オーディオスピーカ、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ、ランプ等を備える。出力部１０６が備える表示装置は、通常のディスプレイを有する装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、ＡＲ（Augmented Reality）表示機能を有する装置等の運転者の視野内に視覚情報を表示する装置であってもよい。
【０１９１】
駆動系制御部１０７は、各種の制御信号を生成し、駆動系システム１０８に供給することにより、駆動系システム１０８の制御を行う。また、駆動系制御部１０７は、必要に応じて、駆動系システム１０８以外の各部に制御信号を供給し、駆動系システム１０８の制御状態の通知等を行う。
【０１９２】
駆動系システム１０８は、自車の駆動系に関わる各種の装置を備える。例えば、駆動系システム１０８は、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、舵角を調節するステアリング機構、制動力を発生させる制動装置、ＡＢＳ（Antilock Brake System）、ＥＳＣ（Electronic Stability Control）、並びに、電動パワーステアリング装置等を備える。
【０１９３】
ボディ系制御部１０９は、各種の制御信号を生成し、ボディ系システム１１０に供給することにより、ボディ系システム１１０の制御を行う。また、ボディ系制御部１０９は、必要に応じて、ボディ系システム１１０以外の各部に制御信号を供給し、ボディ系システム１１０の制御状態の通知等を行う。
【０１９４】
ボディ系システム１１０は、車体に装備されたボディ系の各種の装置を備える。例えば、ボディ系システム１１０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、パワーシート、ステアリングホイール、空調装置、及び、各種ランプ（例えば、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカ、フォグランプ等）等を備える。
【０１９５】
記憶部１１１は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイス等を備える。記憶部１１１は、車両制御システム１００の各部が用いる各種プログラムやデータ等を記憶する。例えば、記憶部１１１は、ダイナミックマップ等の３次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ、及び、自車の周囲の情報を含むローカルマップ等の地図データを記憶する。
【０１９６】
自動運転制御部１１２は、自律走行又は運転支援等の自動運転に関する制御を行う。具体的には、例えば、自動運転制御部１１２は、自車の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、自車の衝突警告、又は、自車のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行う。また、例えば、自動運転制御部１１２は、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行う。自動運転制御部１１２は、検出部１３１、自己位置推定部１３２、状況分析部１３３、計画部１３４、及び、動作制御部１３５を備える。
【０１９７】
検出部１３１は、自動運転の制御に必要な各種の情報の検出を行う。検出部１３１は、車外情報検出部１４１、車内情報検出部１４２、及び、車両状態検出部１４３を備える。
【０１９８】
車外情報検出部１４１は、車両制御システム１００の各部からのデータ又は信号に基づいて、自車の外部の情報の検出処理を行う。例えば、車外情報検出部１４１は、自車の周囲の物体の検出処理、認識処理、及び、追跡処理、並びに、物体までの距離の検出処理を行う。検出対象となる物体には、例えば、車両、人、障害物、構造物、道路、信号機、交通標識、道路標示等が含まれる。また、例えば、車外情報検出部１４１は、自車の周囲の環境の検出処理を行う。検出対象となる周囲の環境には、例えば、天候、気温、湿度、明るさ、及び、路面の状態等が含まれる。車外情報検出部１４１は、検出処理の結果を示すデータを自己位置推定部１３２、状況分析部１３３のマップ解析部１５１、交通ルール認識器１５２、及び、状況認識器１５３、並びに、動作制御部１３５の緊急事態回避部１７１等に供給する。
【０１９９】
車内情報検出部１４２は、車両制御システム１００の各部からのデータ又は信号に基づいて、車内の情報の検出処理を行う。例えば、車内情報検出部１４２は、運転者の認証処理及び認識処理、運転者の状態の検出処理、搭乗者の検出処理、及び、車内の環境の検出処理等を行う。検出対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線方向等が含まれる。検出対象となる車内の環境には、例えば、気温、湿度、明るさ、臭い等が含まれる。車内情報検出部１４２は、検出処理の結果を示すデータを状況分析部１３３の状況認識器１５３、及び、動作制御部１３５の緊急事態回避部１７１等に供給する。
【０２００】
車両状態検出部１４３は、車両制御システム１００の各部からのデータ又は信号に基づいて、自車の状態の検出処理を行う。検出対象となる自車の状態には、例えば、速度、加速度、舵角、異常の有無及び内容、運転操作の状態、パワーシートの位置及び傾き、ドアロックの状態、並びに、その他の車載機器の状態等が含まれる。車両状態検出部１４３は、検出処理の結果を示すデータを状況分析部１３３の状況認識器１５３、及び、動作制御部１３５の緊急事態回避部１７１等に供給する。
【０２０１】
自己位置推定部１３２は、車外情報検出部１４１、及び、状況分析部１３３の状況認識器１５３等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車の位置及び姿勢等の推定処理を行う。また、自己位置推定部１３２は、必要に応じて、自己位置の推定に用いるローカルマップ（以下、自己位置推定用マップと称する）を生成する。自己位置推定用マップは、例えば、ＳＬＡＭ（Simultaneous Localization and Mapping）等の技術を用いた高精度なマップとされる。自己位置推定部１３２は、推定処理の結果を示すデータを状況分析部１３３のマップ解析部１５１、交通ルール認識器１５２、及び、状況認識器１５３等に供給する。また、自己位置推定部１３２は、自己位置推定用マップを記憶部１１１に記憶させる。
【０２０２】
状況分析部１３３は、自車及び周囲の状況の分析処理を行う。状況分析部１３３は、マップ解析部１５１、交通ルール認識器１５２、状況認識器１５３、及び、状況予測部１５４を備える。
【０２０３】
マップ解析部１５１は、自己位置推定部１３２及び車外情報検出部１４１等の車両制御システム１００の各部からのデータ又は信号を必要に応じて用いながら、記憶部１１１に記憶されている各種のマップの解析処理を行い、自動運転の処理に必要な情報を含むマップを構築する。マップ解析部１５１は、構築したマップを、交通ルール認識器１５２、状況認識器１５３、状況予測部１５４、並びに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。
【０２０４】
交通ルール認識器１５２は、自己位置推定部１３２、車外情報検出部１４１、及び、マップ解析部１５１等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車の周囲の交通ルールの認識処理を行う。この認識処理により、例えば、自車の周囲の信号の位置及び状態、自車の周囲の交通規制の内容、並びに、走行可能な車線等が認識される。交通ルール認識器１５２は、認識処理の結果を示すデータを状況予測部１５４等に供給する。
【０２０５】
状況認識器１５３は、自己位置推定部１３２、車外情報検出部１４１、車内情報検出部１４２、車両状態検出部１４３、及び、マップ解析部１５１等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車に関する状況の認識処理を行う。例えば、状況認識器１５３は、自車の状況、自車の周囲の状況、及び、自車の運転者の状況等の認識処理を行う。また、状況認識器１５３は、必要に応じて、自車の周囲の状況の認識に用いるローカルマップ（以下、状況認識用マップと称する）を生成する。状況認識用マップは、例えば、占有格子地図（Occupancy Grid Map）とされる。
【０２０６】
認識対象となる自車の状況には、例えば、自車の位置、姿勢、動き（例えば、速度、加速度、移動方向等）、並びに、異常の有無及び内容等が含まれる。認識対象となる自車の周囲の状況には、例えば、周囲の静止物体の種類及び位置、周囲の動物体の種類、位置及び動き（例えば、速度、加速度、移動方向等）、周囲の道路の構成及び路面の状態、並びに、周囲の天候、気温、湿度、及び、明るさ等が含まれる。認識対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線の動き、並びに、運転操作等が含まれる。
【０２０７】
状況認識器１５３は、認識処理の結果を示すデータ（必要に応じて、状況認識用マップを含む）を自己位置推定部１３２及び状況予測部１５４等に供給する。また、状況認識器１５３は、状況認識用マップを記憶部１１１に記憶させる。
【０２０８】
状況予測部１５４は、マップ解析部１５１、交通ルール認識器１５２及び状況認識器１５３等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車に関する状況の予測処理を行う。例えば、状況予測部１５４は、自車の状況、自車の周囲の状況、及び、運転者の状況等の予測処理を行う。
【０２０９】
予測対象となる自車の状況には、例えば、自車の挙動、異常の発生、及び、走行可能距離等が含まれる。予測対象となる自車の周囲の状況には、例えば、自車の周囲の動物体の挙動、信号の状態の変化、及び、天候等の環境の変化等が含まれる。予測対象となる運転者の状況には、例えば、運転者の挙動及び体調等が含まれる。
【０２１０】
状況予測部１５４は、予測処理の結果を示すデータを、交通ルール認識器１５２及び状況認識器１５３からのデータとともに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。
【０２１１】
ルート計画部１６１は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、目的地までのルートを計画する。例えば、ルート計画部１６１は、グローバルマップに基づいて、現在位置から指定された目的地までのルートを設定する。また、例えば、ルート計画部１６１は、渋滞、事故、通行規制、工事等の状況、及び、運転者の体調等に基づいて、適宜ルートを変更する。ルート計画部１６１は、計画したルートを示すデータを行動計画部１６２等に供給する。
【０２１２】
行動計画部１６２は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、ルート計画部１６１により計画されたルートを計画された時間内で安全に走行するための自車の行動を計画する。例えば、行動計画部１６２は、発進、停止、進行方向（例えば、前進、後退、左折、右折、方向転換等）、走行車線、走行速度、及び、追い越し等の計画を行う。行動計画部１６２は、計画した自車の行動を示すデータを動作計画部１６３等に供給する。動作計画部１６３は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、行動計画部１６２により計画された行動を実現するための自車の動作を計画する。例えば、動作計画部１６３は、加速、減速、及び、走行軌道等の計画を行う。動作計画部１６３は、計画した自車の動作を示すデータを、動作制御部１３５の加減速制御部１７２及び方向制御部１７３等に供給する。
【０２１３】
動作制御部１３５は、自車の動作の制御を行う。動作制御部１３５は、緊急事態回避部１７１、加減速制御部１７２、及び、方向制御部１７３を備える。
【０２１４】
緊急事態回避部１７１は、車外情報検出部１４１、車内情報検出部１４２、及び、車両状態検出部１４３の検出結果に基づいて、衝突、接触、危険地帯への進入、運転者の異常、車両の異常等の緊急事態の検出処理を行う。緊急事態回避部１７１は、緊急事態の発生を検出した場合、急停車や急旋回等の緊急事態を回避するための自車の動作を計画する。緊急事態回避部１７１は、計画した自車の動作を示すデータを加減速制御部１７２及び方向制御部１７３等に供給する。
【０２１５】
加減速制御部１７２は、動作計画部１６３又は緊急事態回避部１７１により計画された自車の動作を実現するための加減速制御を行う。例えば、加減速制御部１７２は、計画された加速、減速、又は、急停車を実現するための駆動力発生装置又は制動装置の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。
【０２１６】
方向制御部１７３は、動作計画部１６３又は緊急事態回避部１７１により計画された自車の動作を実現するための方向制御を行う。例えば、方向制御部１７３は、動作計画部１６３又は緊急事態回避部１７１により計画された走行軌道又は急旋回を実現するためのステアリング機構の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。
【０２１７】
以上説明した車両制御システム１００において、本実施の形態で示したセンサ部４０はデータ取得部１０２に対応する。また、信号処理部５０-1（５０-3）は車外情報検出部１４１に設けられる。車外情報検出部１４１は、データ取得部１０２で取得したデータ等に基づいて、自車の周囲の物体の検出処理、認識処理、及び、追跡処理、並びに、物体までの距離の検出処理等を行う場合、キャリブレーション処理によって設定された時間差補正量を用いることで複数のセンサから出力された検知情報の時間的ずれを補正できるので、取得したデータに基づいた各種の処理を、データの時間的ずれの影響を受けることなく精度よく行えるようになる。
【０２１８】
図３０はキャリブレーション処理を行う場合のキャリブレーションターゲットの配置を例示している。キャリブレーションターゲット２０は、電波吸収体である床７１の上であって、電波吸収体の壁７２で囲まれた領域に設置されている。撮像部４１Ｃは車両８０の例えばフロントウィンドウ上部に取り付けられており、レーダ部４１Ｒとライダ部４１Ｌは車両８０の例えばフロントグリルの位置に設けられている。ここで、キャリブレーションを行う場合、キャリブレーションターゲット２０の状態を上述のように切り替えて、撮像部４１Ｃとレーダ部４１Ｒやライダ部４１Ｌは、キャリブレーションターゲット２０の状態を示す検知信号を生成する。車両８０に設けられている車外情報検出部１４１は、検知信号に基づきセンサ間の検知信号の時間的ずれを検出して時間差補正量を設定あるいは更新する。その後、車両８０は時間差補正量に基づき、検知信号の時間的ずれを補正して、各種のデータ処理を行う。
【０２１９】
このようにキャリブレーションターゲットを用いてキャリブレーションを行うようにすれば、データ取得部１０２の特性変化や交換等が生じて、複数のセンサで生成された検知信号の時間差が変化しても、容易に検知信号の時間差を補正できるようになる。
【０２２０】
なお、図３０に示すキャリブレーションターゲットの配置は一例であって、例えば車両８０が走行する道路例えば交差点等にキャリブレーションターゲットを用いて、車両８０が信号待ち等で停車している期間中等にキャリブレーションを行うようにしてもよい。
【０２２１】
明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
【０２２２】
例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
【０２２３】
また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０２２４】
なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、請求の範囲を参酌すべきである。
【０２２５】
また、本技術のキャリブレーション装置は以下のような構成も取ることができる。
（１）  複数のセンサ毎に生成されたキャリブレーションターゲットの検知結果を示す検知信号を用いて前記キャリブレーションターゲットの状態を検出する状態検出部と、
前記状態検出部で得られた前記キャリブレーションターゲットの状態検出結果を用いて、前記センサ毎に生成された検知信号間の時間差を算出して、算出結果に基づき時間差補正量を設定する時間差補正量設定部と
を備えるキャリブレーション装置。
（２）  前記複数のセンサは少なくともアクティブ型センサを含む（１）に記載のキャリブレーション装置。
（３）  前記複数のセンサは前記アクティブ型センサとパッシブ型センサを含む（２）に記載のキャリブレーション装置。
（４）  前記複数のセンサは前記アクティブ型センサで構成する（２）に記載のキャリブレーション装置。
（５）  前記アクティブ型センサとして、レーダおよび／またはライダを用いる（２）乃至（４）のいずれかに記載のキャリブレーション装置。
（６）  前記時間差補正量設定部は、前記複数のセンサ毎に生成されたいずれかの検知信号を基準として、前記基準とした検知信号に対する時間差を前記検知信号のフレーム毎の状態検出結果を用いて算出する（１）乃至（５）のいずれかに記載のキャリブレーション装置。
（７）  前記時間差補正量設定部は、前記状態検出結果を用いて前記キャリブレーションターゲットの状態が等しい変化を生じときのフレーム番号の差を算出して前記時間差とする（６）に記載のキャリブレーション装置。
（８）  複数のセンサ毎に生成された検知信号は、前記キャリブレーションターゲットの状態がランダムに切り替えられたときの検出結果を示す（６）または（７）に記載のキャリブレーション装置。
（９）  前記時間差が算出された検知信号に対して前記時間差補正量を用いて前記時間差を補正する同期処理部をさらに備える（６）乃至（８）のいずれかに記載のキャリブレーション装置。
（１０）  前記時間差は、前記キャリブレーションターゲットの状態が等しい変化を生じときのフレーム番号の差を示しており、
前記同期処理部は、前記時間差補正量で補正した検知信号を、前記基準とした検知信号とフレーム番号を一致させて出力する（９）に記載のキャリブレーション装置。
【符号の説明】
【０２２６】
１０・・・キャリブレーションシステム
２０，２０ｅ・・・キャリブレーションターゲット
２１，２１ａ，２１ｂ，２１ｃ・・・反射器
２２，２２ａ，２２ｂ，２２ｃ・・・電波吸収体
２３・・・表示器
２５・・・回転体
２６・・・回転駆動部
２７・・・支柱
２８・・・台座
３０，３０-1，３０-3・・・情報処理装置
４０，４０-1，４０-3・・・センサ部
４１Ｃ・・・撮像部
４１Ｌ・・・ライダ部
４１Ｒ・・・レーダ部
５０-1，５０-3・・・信号処理部
５１Ｃ・・・カメラ信号処理部
５１Ｌ・・・ライダ信号処理部
５１Ｒ・・・レーダ信号処理部
５２・・・同期抽出部
５３，５３Ｒ，５３Ｌ・・・同期処理部
５５，５６・・・認識器
６０，６０-1，６０-3・・・キャリブレーション部
６１，６１Ｃ，６１Ｒ，６１Ｌ・・・状態検出部
６２Ｃ，６２Ｒ，６２Ｌ・・・フレーム番号抽出部
６５，６５-1，６５-3・・・時間差補正量設定部
【図１】
2020129369.tif 000003
【図２】
2020129369.tif 000004
【図３】
2020129369.tif 000005
【図４】
2020129369.tif 000006
【図５】
2020129369.tif 000007
【図６】
2020129369.tif 000008
【図７】
2020129369.tif 000009
【図８】
2020129369.tif 000010
【図９】
2020129369.tif 000011
【図１０】
2020129369.tif 000012
【図１１】
2020129369.tif 000013
【図１２】
2020129369.tif 000014
【図１３】
2020129369.tif 000015
【図１４】
2020129369.tif 000016
【図１５】
2020129369.tif 000017
【図１６】
2020129369.tif 000018
【図１７】
2020129369.tif 000019
【図１８】
2020129369.tif 000020
【図１９】
2020129369.tif 000021
【図２０】
2020129369.tif 000022
【図２１】
2020129369.tif 000023
【図２２】
2020129369.tif 000024
【図２３】
2020129369.tif 000025
【図２４】
2020129369.tif 000026
【図２５】
2020129369.tif 000027
【図２６】
2020129369.tif 000028
【図２７】
2020129369.tif 000029
【図２８】
2020129369.tif 000030
【図２９】
2020129369.tif 000031
【図３０】
2020129369.tif 000032
【国際調査報告】
2020129369.tif 000033
2020129369.tif 000034
2020129369.tif 000035
2020129369.tif 000036
2020129369.tif 000037
2020129369.tif 000038