(57)【特許請求の範囲】
【請求項１】
車両に搭載され、車両の周囲の状況を撮影する撮像手段と、
上記撮像手段からの信号を処理し、当該撮像手段が画像を撮像した時刻情報を付加して出力する第１の処理手段と、
電波または光を放射し車両の周囲物体までの距離を計測するレーダ計測手段と、
上記レーダ計測手段からの信号を処理し、当該レーダ計測手段が計測した時刻情報を付加して出力する第２の処理手段と、
第１の処理手段の出力情報に含まれる時刻情報と、第２の処理手段の出力情報に含まれる時刻情報とに基づいて、出力情報の時間順番を調整するデータ整理手段と、
上記データ整理手段により時間順番が調整された、第１の処理手段の出力と第２の処理手段の出力とに基づいて、ブレーキまたはスロットルまたは変速機のうちの少なくとも１つを制御する制御手段と、
を備え、
上記データ整理手段は、上記撮像手段が画像を撮像した時刻と上記第１の処理手段の上記撮像手段からの信号の処理にかかった処理時間の時間差の変動、及び、上記レーダ計測手段が計測した時刻と上記第２の処理手段の上記レーダ計測手段からの信号の処理にかかった処理時間の時間差の変動を考慮し、上記撮像手段が画像を撮像した時刻情報と上記レーダ計測手段が計測した時刻情報とを比べ、上記第１の処理時間の出力情報と上記第２の処理手段の出力情報の順番を並び替えて上記制御手段へ出力することを特徴とする車両用計測制御装置。
【請求項２】
車両に搭載され、車両の周囲の状況を撮影する撮像手段と、
電波または光を放射し車両の周囲物体までの距離を計測するレーダ計測手段と、
時刻信号を発生する時刻信号発生手段と、
上記撮像手段からの信号を処理し、上記時刻信号発生手段からの時刻信号に基づいて、当該撮手段が画像を撮像した時刻情報を付加して出力する第１の処理手段と、
上記レーダ計測手段からの信号を処理し、上記時刻信号発生手段からの時刻信号に基づいて、当該レーザ計測手段が計測した時刻情報を付加して出力する第２の処理手段と、
上記第１の処理手段の出力情報に含まれる時刻情報と、第２の処理手段の出力情報に含まれる時刻情報とに基づいて、出力情報の時間順番を調整するデータ整理手段と、
上記データ整理手段により時間順番が調整された、第１の処理手段の出力と第２の処理手段の出力とに基づいて、ブレーキまたはスロットルまたは変速機のうちの少なくとも１つを制御する制御手段と、
を備え、
上記データ整理手段は、上記撮像手段が画像を撮像した時刻と上記第１の処理手段の上記撮像手段からの信号の処理にかかった処理時間の時間差の変動、及び、上記レーダ計測手段が計測した時刻と上記第２の処理手段の上記レーダ計測手段からの信号の処理にかかった処理時間の時間差の変動を考慮し、上記撮像手段が画像を撮像した時刻情報と上記レーダ計測手段が計測した時刻情報とを比べ、上記第１の処理時間の出力情報と上記第２の処理手段の出力情報の順番を並び替えて上記制御手段へ出力することを特徴とする車両用計測制御装置。
【請求項３】
請求項１又は２記載の車両用計測制御装置において、上記第１の処理手段の出力情報に、上記撮像手段が画像を取り込んだ時刻情報を含むことを特徴とする車両用計測制御装置。
【請求項４】
請求項１又は２記載の車両用計測制御装置において、上記第２の処理手段の出力情報に、時刻情報と電波送信時の変調タイミング信号とから求められる計測タイミングの時刻情報を含むことを特徴とする車両用計測制御装置。
【請求項５】
請求項１又は２記載の車両用計測制御装置において、上記撮像手段の機能と上記第１の処理手段の機能とを有する撮像装置を備えることを特徴とする車両用計測制御装置。
【請求項６】
請求項１又は２記載の車両用計測制御装置において、上記レーダ計測手段の機能と上記第２の処理手段の機能とを有するレーダ装置を備えることを特徴とする車両用計測制御装置。
【請求項７】
請求項１乃至６のうちのいずれか一項記載の車両用計測制御装置において、上記レーダ計測手段は、外部から入力される時刻信号と上記レーダ計測手段の電波送信時の変調タイミング信号とに基づいて、上記レーダ計測手段が計測を行なった時刻情報を求めることを特徴とする車両用計測制御装置。
【請求項８】
請求項１乃至６のうちのいずれか一項記載の車両用計測制御装置において、上記第２の処理手段は、外部から入力される時刻信号と上記レーダ計測手段の電波送信時の変調タイミング信号とに基づいて、上記レーダ計測手段が計測を行なった時刻情報を求めることを特徴とする車両用計測制御装置。
【請求項９】
請求項１乃至６のうちのいずれか一項記載の車両用計測制御装置において、上記レーダ計測手段は、FMCW方式の変調を行なうことを特徴とする車両用計測制御装置。
【請求項１０】
請求項１乃至６のうちのいずれか一項記載の車両用計測制御装置において、上記第２の処理手段は、外部から入力される時刻信号と上記撮像手段の垂直同期信号とに基づいて、当該撮像手段が撮像を行なった時刻情報を求めることを特徴とする車両用計測制御装置。
【請求項１１】
請求項１乃至６のうちのいずれか一項記載の車両用計測制御装置において、上記撮像手段は、CCDカメラであることを特徴とする車両用計測制御装置。
【請求項１２】
車両用計測制御装置を備える自動車において、
上記車両用計測制御装置は、
車両に搭載され、車両の周囲の状況を撮影する撮像手段と、
上記撮像手段からの信号を処理し、当該撮像手段が画像を撮像した時刻情報を付加して出力する第１の処理手段と、
電波または光を放射し車両の周囲物体までの距離を計測するレーダ計測手段と、
上記レーダ計測手段からの信号を処理し、当該レーダ計測手段が計測した時刻情報を付加して出力する第２の処理手段と、
第１の処理手段の出力情報に含まれる時刻情報と、第２の処理手段の出力情報に含まれる時刻情報とに基づいて、出力情報の時間順番を調整するデータ整理手段と、
上記データ整理手段により時間順番が調整された、第１の処理手段の出力と第２の処理手段の出力とに基づいて、ブレーキまたはスロットルまたは変速機のうちの少なくとも１つを制御する制御手段と、
を備え、
上記データ整理手段は、上記撮像手段が画像を撮像した時刻と上記第１の処理手段の上記撮像手段からの信号の処理にかかった処理時間の時間差の変動、及び、上記レーダ計測手段が計測した時刻と上記第２の処理手段の上記レーダ計測手段からの信号の処理にかかった処理時間の時間差の変動を考慮し、上記撮像手段が画像を撮像した時刻情報と上記レーダ計測手段が計測した時刻情報とを比べ、上記第１の処理時間の出力情報と上記第２の処理手段の出力情報の順番を並び替えて上記制御手段へ出力することを特徴とする自動車。
【請求項１３】
車両用計測制御装置を備える自動車において、
上記車両用計測制御装置は、
車両に搭載され、車両の周囲の状況を撮影する撮像手段と、
電波または光を放射し車両の周囲物体までの距離を計測するレーダ計測手段と、
時刻信号を発生する時刻信号発生手段と、
上記撮像手段からの信号を処理し、上記時刻信号発生手段からの時刻信号に基づいて、当該撮手段が画像を撮像した時刻情報を付加して出力する第１の処理手段と、
上記レーダ計測手段からの信号を処理し、上記時刻信号発生手段からの時刻信号に基づいて、当該レーザ計測手段が計測した時刻情報を付加して出力する第２の処理手段と、
上記第１の処理手段の出力情報に含まれる時刻情報と、第２の処理手段の出力情報に含まれる時刻情報とに基づいて、出力情報の時間順番を調整するデータ整理手段と、
上記データ整理手段により時間順番が調整された、第１の処理手段の出力と第２の処理手段の出力とに基づいて、ブレーキまたはスロットルまたは変速機のうちの少なくとも１つを制御する制御手段と、
を備え、
上記データ整理手段は、上記撮像手段が画像を撮像した時刻と上記第１の処理手段の上記撮像手段からの信号の処理にかかった処理時間の時間差の変動、及び、上記レーダ計測手段が計測した時刻と上記第２の処理手段の上記レーダ計測手段からの信号の処理にかかった処理時間の時間差の変動を考慮し、上記撮像手段が画像を撮像した時刻情報と上記レーダ計測手段が計測した時刻情報とを比べ、上記第１の処理時間の出力情報と上記第２の処理手段の出力情報の順番を並び替えて上記制御手段へ出力することを特徴とする自動車。
【請求項１４】
車両の周囲の状況を撮影する撮像手段からの画像情報を処理し、
当該画像情報に、当該画像を撮像した撮影タイミングの情報を付加し、
車両の周囲物体までの距離を計測するレーダ計測手段からの計測信号を処理し、
当該計測信号に、当該信号を計測した計測タイミングの情報を付加し、
上記撮像手段が画像の処理にかかった処理時間の変動、及び、上記レーダ計測手段が計測信号の処理にかかった処理時間の変動を考慮し、上記撮像手段が画像を撮像した撮影タイミング情報と上記レーダ計測手段が計測した計測タイミングとを比べて、上記画像情報と上記計測信号との時間順番を調整し、
時間順番を調整した上記画像情報と上記計測信号とに基づいて、上記車両のブレーキまたはスロットルまたは変速機のうちの少なくとも１つを制御することを特徴とする車両の制御方法。
【請求項１５】
車両に搭載され、車両の周囲の状況を取得する第１の取得手段と、
上記第１の取得手段からの信号を処理し、当該第１の取得手段が周囲状況を取得した時刻情報を付加して出力する第１の処理手段と、
車両に搭載され、車両の周囲の状況を取得する第２の取得手段と、
上記第２の取得手段からの信号を処理し、当該第２の取得手段が周囲状況を取得した時刻情報を付加して出力する手段であって、上記第１の取得手段とは状況取得から信号出力までの処理時間が異なる第２の処理手段と、
上記第１の処理手段の出力情報に含まれる時刻情報と、第２の処理手段の出力情報に含まれる時刻情報とに基づいて、出力情報の時間順番を調整するデータ整理手段と、
上記データ整理手段により時間順番が調整された、第１の処理手段の出力と第２の処理手段の出力とに基づいて、ブレーキまたはスロットルまたは変速機のうちの少なくとも１つを制御する制御手段と、
を備え、
上記データ整理手段は、上記第１の処理手段の信号の処理にかかった処理時間の時間差の変動、及び、上記第２の処理手段の信号の処理にかかった処理時間の時間差の変動を考慮し、上記第１の取得手段からの時刻情報と上記第２の処理手段からの時刻情報とを比べることにより、上記第１の処理時間の出力情報と上記第２の処理手段の出力情報の時間順番を調整することを特徴とする車両用計測制御装置。
【発明の詳細な説明】
技術分野
本発明は、自動車周囲の状況を計測し、計測した結果に基づいて自動車の走行を制御する車両用計測制御装置に関する。
背景技術
従来から、車両用の距離計測装置においては、電波や光を放射して前方の車や障害物などのターゲットまでの距離や相対速度を計測する方法がある。
電波を利用するレーダ装置としては、例えば、電子情報通信学会誌１９９６年１０月号ｐｐ９７７−９８１の「車両用ミリ波レーダの開発動向」に各種のミリ波レーダが記載されている。
また、光を利用するレーダ装置との例としては、特開平８−２６１７５３号公報等に記載がある。
さらに、カメラを車両に搭載し、そのカメラによって車両の前方を撮像し、この撮像された画像に画像認識処理を施すことで、先行車両を認識する技術が提案されている。
光や電波を利用するレーダ装置と、カメラを用いた画像処理装置との両方を使い、割込み車を前もって検出する方法について、特開平１１−３２１３７９号公報に記載され、前方車両の認識性能を向上させる方法について、特開平６−２３１３９８号公報等に記載されている。
また、特開平１０−１６０８３５号公報では、カメラとスキャン式のレーザレーダとを用い、カメラの同期信号に同期してレーザレーダのビームを走査することで、複数台の先行車が重なって撮影されても、カメラで撮像される画像中の物体までの距離を画素単位で把握して、複数台の先行車両の重なりを識別する技術が記載されている。
発明の開示
しかしながら、従来の技術においては、ミリ波レーダ装置、光レーダ装置（以下、レーダ装置と略す）、画像処理装置からの出力信号を利用して車両の運動を制御する場合、レーダ装置や画像処理装置における信号処理に要する時間の長さが場面によって異なることを考慮していなかった。
レーダ装置や画像処理装置の信号処理に要する時間は、信号入力後に信号処理結果が出力されるまでの遅延時間となるが、この処理時間は道路環境条件によって大きく異なってくる。
例えば、画像処理装置で先行車を認識する場合、場面（フレーム）毎に画面の複雑度が異なるため、先行車を認識する画像処理に要する時間が場面毎に異なっていた。
その結果、レーダ装置や画像処理装置が計測又は撮像した時刻と、それらの処理結果が車両の運動を制御する装置に送られる時刻との時間差が場面（フレーム）毎に異なり、この時間差が考慮されていなかったため、車両制御における制御誤差として現れるという問題点があった。
また、レーダ装置と、画像処理装置との両方の出力信号を利用して車両の運動を制御する場合、レーダ装置の信号処理に要する時間と、画像処理装置における信号処理に要する時間との長さが場面によって異なることを考慮していなかった。
その結果、レーダ装置で計測した時刻と、画像処理装置が撮像した時刻と、それらの処理結果が車両の運動を制御する装置に送られる時刻との順序関係が場面（フレーム）毎に異なり、それらの時刻誤差が車両制御における制御誤差として現れるという問題点があった。
本発明の目的は、レーダ装置又は画像処理装置でセンシングを行い、その結果を用いて車両を制御する車両用計測制御装置において、レーダ装置又は画像処理装置が計測又は撮像した時間と、それらの信号を処理した時間との時間差の変動を考慮して、高精度の車両制御が可能な車両用計測制御装置を実現することである。
上記目的を達成するために、本発明は次のように構成される。
（１）車両用計測制御装置において、車両に搭載され、車両の周囲の状況を撮影する撮像手段と、上記撮像手段からの信号を処理する第１の処理手段と、電波または光を放射し車両の周囲物体までの距離を計測するレーダ計測手段と、上記レーダ計測手段からの信号を処理する第２の処理手段と、第１の処理手段の出力と第２の処理手段の出力とに基づいて、ブレーキまたはスロットルまたは変速機のうちの少なくとも１つを制御する制御手段とを備え、第１の処理手段の出力情報と、第２の処理手段の出力情報とに時間情報が含まれている。
（２）好ましくは、上記（１）において、第１の処理手段の出力情報に含まれる時間情報と、第２の処理手段の出力情報に含まれる時間情報とから、出力情報の時間順番を調整する手段を、さらに備える。
（３）また、好ましくは、上記（１）または（２）において、撮像手段の出力情報とレーダ計測手段の出力情報とに共通の時刻情報が付加される。
（４）車両用計測制御装置において、車両に搭載され、車両の周囲の状況を撮影する撮像手段と、上記撮像手段からの信号を処理する処理手段とを備え、上記処理手段の出力情報に、撮像手段に関する時間情報が含まれる。
（５）好ましくは、上記（４）において、上記時間情報は、撮像手段が画像を取り込んだ時刻に関する情報である。
（６）車両用計測制御装置において、車両に搭載され、車両の周囲の状況を撮影する撮像手段と、上記撮像手段からの信号を処理する処理手段とを備え、上記処理手段の出力情報に、撮像手段が画像を取り込んだ時刻から処理手段がデータを出力する時刻までの、遅延時間の情報を含む。
（７）車両用計測制御装置において、電波または光を放射し、車両の周囲物体までの距離を計測するレーダ計測手段と、上記レーダ計測手段からの信号を処理する処理手段とを備え、上記処理手段の出力情報に、レーダ計測手段に関する時間情報が含まれる。
（８）好ましくは、上記（７）において、上記時間情報は、レーダ計測手段４が受信データを取り込んだ時刻に関する情報である。
（９）車両用計測制御装置において、電波または光を放射し、車両の周囲物体までの距離を計測するレーダ計測手段と、上記レーダ計測手段からの信号を処理する処理手段とを備え、上記処理手段の出力情報に、レーダ計測手段が受信データを取り込んだ時刻から、上記処理手段がデータを出力する時刻までの遅延時間の情報を含む。
（１０）自動車において、車両に搭載され、車両の周囲の状況を撮影する撮像手段と、上記撮像手段からの信号を処理する処理手段とを有し、この処理手段の出力情報に、撮像手段に関する時間情報が含まれる車両用計測制御装置を備える。
（１１）自動車において、車両に搭載され、車両の周囲の状況を撮影する撮像手段と、上記撮像手段からの信号を処理する処理手段とを有し、この処理手段の情報に、撮像手段が画像を取り込んだ時刻から処理手段がデータを出力する時刻までの遅延時間の情報を含む車両用計測制御装置を備える。
（１２）車両用計測制御装置の制御プログラムを記録する記録媒体において、車両に搭載され、車両の周囲の状況を撮影する撮像手段からの信号を処理する第１の処理と、電波または光を放射し車両の周囲物体までの距離を計測するレーダ計測手段からの信号を処理する第２の処理と、第１の処理の出力情報と、第２の処理の出力情報とに時間情報を付加する時間情報付加処理と、第１の処理の出力情報に含まれる時間情報と、第２の処理の出力情報に含まれる時間情報とから、出力情報の時間順番を調整する時間調整処理と、時間調整処理された、第１の処理の出力と第２の処理の出力とに基づいて、ブレーキまたはスロットルまたは変速機のうちの少なくとも１つを制御する制御処理とを備える車両用計測制御装置の制御プログラムが記録される。
発明を実施するための最良の形態
以下に、本発明の一実施形態を図１から図９を用いて説明する。
図１は、本発明の一実施形態である車両用計測走行制御装置のシステム図であり、この車両用計測走行制御装置は、撮像手段１、画像処理手段２、時刻信号発生手段３、レーダ計測手段４、レーダ信号処理手段５、データ整理手段６、車両制御演算手段７、車両制御手段８を備える。
これら各手段１〜８の動作の一例を、図２に示すタイミングチャートを参照しながら説明する。
図２において、撮像手段（カメラ）１は自車前方の状況を撮影し、画像処理手段２へ撮像した情報を送る。画像処理手段２は、画像を撮像した画像入力タイミングを、時刻信号発生手段３からの時刻信号で記録する。図２の例では、ｔ（ｎ）が画像入力タイミングに該当する。
画像処理手段２は、撮像手段１から送られる画像情報から目的の認識対象を認識する処理を実施する。認識処理終了後、画像処理手段２は、認識結果をデータ整理手段６へ出力する。
一方、レーダ計測手段４は、電波または光を送受信し、レーダ信号処理手段５で送受信信号を処理して前方車両までの距離や相対速度を算出する。この場合も画像処理手段２と同様に、レーダ信号処理手段５は、レーダ計測手段４が計測した信号入力タイミングを、時刻信号発生手段３からの時刻信号で記録する。図２の例では、ｔ（ｎ＋ｍ）がレーダ入力タイミングに相当する。
レーダ信号処理手段５で算出された距離や相対速度の情報は、レーダ信号処理終了後にデータ整理手段６へ出力される。
図２の例では、カメラ１での画像入力タイミングｔ（ｎ）の方がレーダ４での入力タイミングｔ（ｎ＋ｍ）より早い。
しかし、カメラ１からの信号の処理に要する時間とレーダ４からの信号の処理に要する時間とが異なるため、データ整理手段６へ出力される時には、画像処理手段２から画像認識情報が送られる時刻が、レーダ計測情報が送られる時刻より遅くなる場合がある。
そこで、データ整理手段６では、カメラ情報に付随して送られてくる時刻情報ｔ（ｎ）と、レーダ情報に付随している時刻情報ｔ（ｎ＋ｍ）とを比べ、本来の計測された情報の順番に並べ替えて、レーダ計測情報と画像認識情報とを車両制御演算手段７へ出力する。
車両制御演算手段７は、レーダ計測情報と画像認識情報とのそれぞれに付随する時刻情報とを合わせて入力情報とし、車両制御を行うための演算を実施し、車両制御の指令を車両制御手段８へ出力する。
以上述べたように、本発明の一実施形態によれば、レーダで計測した情報とカメラで撮像した情報とを、計測及び撮像したタイミングの時刻情報の順番に並べ替えて車両制御を実施するように構成した。
したがって、レーダ装置及び画像処理装置でセンシングを行い、その結果を用いて車両を制御する車両用計測走行制御装置において、レーダ装置及び画像処理装置が計測及び撮像した時間と、それらの信号を処理した時間との時間差の変動を考慮して、高精度の車両制御が可能な車両用計測走行制御装置を実現することができる。
次に、レーダ装置と撮像装置とを用いた車間距離制御システムを例にとり、本発明の他の実施形態を説明する。
図３は本発明の他の実施形態である車間距離制御システムのブロック図である。
図３において、撮像装置３１は、自車前方の状況を撮影し、目的の物体を画像処理を実行して出力する装置であり、図１における撮像手段１の機能と、画像処理手段２の機能とを実行する。そして、撮像装置３１は、画像を撮影するが、このとき時刻信号発生部３３からの時刻信号に基づいて、画像を撮影したタイミングの時刻を記録する。
次に、撮影装置３１は、画像情報から目的の認識対象を認識する処理を行い、認識処理終了後、認識結果の画像認識情報と時刻情報とを車両制御コントローラ３２へ出力する。
一方、レーダ装置３０は、電波または光を送受信し、前方車両までの距離や相対速度を算出する。すなわち、レーダ装置３０は、図１におけるレーダ計測手段４の機能と、レーダ信号処理手段５の機能とを実行する。
そして、レーダ装置３０は、撮像装置３１と同様に、時刻信号発生部３３からの時刻信号に基づいて、レーダで対象物を計測したタイミングの時刻を記録する。レーザ装置３０は、レーダ計測処理終了後には、レーダ計測情報である車間距離や相対速度の情報と時刻情報とを車両制御コントローラ３２へ出力する。
車両制御コントローラ３２は、レーダ装置３０と撮像装置３１とから送られる車間距離や相対速度のデータ、及び時刻情報から、車両の速度を制御する指令を演算して出力する機能を持つ。
車両制御コントローラ３２内のセンサ入力データ処理部３４は、図１におけるデータ整理手段６の機能を実施し、レーダ装置３０と撮像装置３１とから送られてくるデータのそれぞれに付随する時刻情報を読み取り、各データを時刻の順番に並べ替える処理を実施する。
時刻の順序に並べ替えられた情報は、車両制御演算部３５へ送られる。この車両制御演算部３５は、図１における車両制御演算手段７の機能を実施し、センサ入力データ処理部３４から入力されたセンシング情報と、自車の速度情報等から、自車が所定の速度となるように、スロットルや変速機やブレーキを制御する指令を、スロットルコントローラ３６、変速機コントローラ３７、ブレーキコントローラ３８へ出力する。
スロットルコントローラ３６は、車両制御コントローラ３７からの指令に基づいて、エンジン４１のスロットルを動作させるスロットルアクチュエータ４０を制御する。また、車両制御コントローラ３７からの指令に基づいて、変速機コントローラ３７は変速機４２を制御し、ブレーキコントローラ３８は、ブレーキアクチュエータ４３を制御する。
これら、スロットルコントローラ３６、変速機コントローラ３７及びブレーキコントローラ３８は、図１における車両制御手段８の機能を実施する。
このように、各センサ（レーダ装置３０、撮像装置３１）からの入力信号を、センシングの時刻順に並べ替えて車両制御に使用することで、より精度の高い車両制御を実現することができる。
次に、レーダ装置２０の一例の構成について、図４、図５を用いて説明する。
図４は、電波を送信して、その反射波を受信する電波レーダの内部構成の一例を示したブロック図である。
図４において、変調器５０は、レーダ計測のための変調信号を発信器５１へ送り、発信器５１は、送られた変調信号に基づく周波数の高周波信号を発信する。発信器５１から発信された高周波信号は、送信アンテナ５２に送られ、この送信アンテナ５２から放射される。
車両用の電波レーダ装置においては、高周波信号として、小さなターゲットからでも反射波が返ってくるミリ波帯の電波信号が通常用いられている。
車両や障害物等のターゲットから反射されて返ってくる電波信号を受信アンテナ５３で受信し、ミキサ５４で周波数変換を施す。このミキサ５４へは、発信器５１の発信信号の一部が方向性結合器を介して供給されており、この発信器５１からの信号と、アンテナ５４からの受信信号とのミキシングによって発生するビート信号がアナログ回路部５５へ送られる。
図５には、三角波変調を用いるＦＭＣＷ（Ｆｒｅｑｕｅｎｃｙ  Ｍｏｄｕｌａｔｅｄ  Ｃｏｎｔｉｎｕｏｕｓ  Ｗａｖｅ）方式における、変調を施した送信信号、受信信号、及びミキシング後のビート信号の例を示している。
三角波変調を用いるＦＭＣＷ方式においては、送受信信号間でターゲットまでの距離、相対速度により周波数に変位が生じるので、この変位を測定してターゲットまでの距離と相対速度とを求めることができる。
図５に示すように、三角波の上昇区間、下降区間のそれぞれで、ビート信号が求められる。求められたビート信号は、Ａ／Ｄ変換器５６でディジタルデータに変換され、ＦＦＴ（高速フーリエ変換）部５７により周波数分析され、信号処理部５８で距離と相対速度とが算出される。
信号処理部５８で算出された距離と相対速度との情報には、時刻信号発生部３３から送られる時刻信号と電波送信時の変調タイミング信号とから求められる計測タイミングの時刻情報とが付加され、車両制御コントローラ３２へ出力される。
図４にはレーダ装置３０のレーダ計測出力データの一例も示している。このレーダ計測出力データは、車間距離や相対速度などの計測データの他、計測時刻情報をも併せ持つフォーマットとなっている。
電波レーダにおける計測タイミングは、より詳細にはＦＦＴ処理を施すデータのサンプル時間の中点とすればよく、図５には変調の三角波信号と計測タイミングの一例を示している。電波レーダにおいては、ノイズ等の影響による計測誤差を減少させるため、一定の期間、連続して計測を行う方法がとられている。
図５に示した三角波変調を用いる場合、三角波変調のＮ回分をまとめ、連続して同程度の距離と相対速度とが得られた時に、その距離と相対速度との情報を確定した情報として出力する。レーダの距離計測タイミングの時刻としては、三角波変調Ｎ回の中間のタイミングを使用する。
なお、三角波の繰り返し回数Ｎの例として、通常の環境では１０回程度とする。また、三角波の周波数としては、例えば、ｆｍ＝７５０Ｈｚ（１／ｆｍ＝１．３ｍｓｅｃ）とする場合があり、その場合は、Ｎ回のサンプルに１３ｍｓｅｃ必要となり、計測タイミングの時刻は、サンプル開始時点から６．５ｍｓｅｃ後の時刻となる。
以上のように、電波レーダの変調信号に基づいて、レーダ信号が入力された時刻を正確に求めることができ、この時刻情報を用いてより高精度な車両制御を実現することができる。
次に、撮像装置３１の一例の構成について、図６、図７、図８を用いて説明する。
図６は、カメラで周囲の状況を撮影し、画像処理を施して認識結果を出力する、撮像装置３１の一例のブロック図である。図７は画像の垂直同期信号と画像入力タイミングの一例を示しており、図８、図９は割込み車両を認識する画像の例を示している。
図６に示す撮像装置３１は、撮像部６０と画像処理部６１とを備え、撮像部６０で自車の前方方向の画像を撮影し、その画像を画像処理部６１で処理して、前方車両や道路の白線などを認識する。
図８、図９は、距離約２０ｍ地点の割込み車両９１が存在する場合の画像例を示している。撮像部６０の実現には、例えば、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）カメラが用いられる。
このＣＣＤカメラは、１秒間にｎ（例えば３０）フレーム分の画像が撮像される。各フレームに対応する画像データは画像処理部６１に転送される。各フレームは画像の垂直同期信号に同期して出力される。
そのタイミングは、図７に示すように、フレーム（ｉ）の時間枠で撮影された画像信号は、次のフレーム（ｉ＋１）の垂直同期信号をトリガとして出力が開始される。フレーム（ｉ）の画像信号の出力終了後、画像処理部６１においてフレーム（ｉ）で撮像された画像の認識処理が実施される。
上述した図２、図３のように、画像処理の終了後、画像入力の時刻情報が画像認識情報とともに車両制御コントローラ３２へ送られる。このとき送られる時刻情報は、画像を撮像したフレーム（ｉ）の画像入力タイミングを示す時刻情報である。
図８の例は、前方に車両が１台しかいない例を示しており、この場合、画像処理に要する時間はさほど長くない。
一方、図９の例は、多数の車や建物が存在する場合であり、この場合は、画像処理に要する時間が長くなる。画像処理に要する時間は信号処理プロセッサの能力によって異なるが、数１０〜数１００ｍｓｅｃ必要な場合もある。
以上のように、画像フレームのタイミング信号に基づいて、画像が入力された時刻を正確に求めることができ、この時刻情報を用いて高精度な車両制御を実現することができる。
次に、センサ入力データ処理部３４の処理フローの一例を図１０に示す。
図１０のステップ１００において、レーダ装置３０から送られるレーダ計測情報を入力し、ステップ１０１で、撮像装置３１から送られる画像認識情報を入力する。
次に、ステップ１０２において、上述した２つの入力情報に付随している時刻情報に基づいて、レーダ装置３０、撮像装置３１、それぞれの計測タイミングの時間順序に、入力情報を並べ替える。そして、ステップ１０３では、時刻順序に並べ替えたレーダ計測情報と画像認識情報とを、車両制御演算部３５へ出力し、処理は、ステップ１００に戻る。
図１０に示したフローにより、複数のセンサを用いても、計測された時間順序どおりに、車両制御演算部でデータを扱うことが可能となり、より精度の高い車両制御が実現できる。
なお、この図１０に示した処理フローは、車両用計測制御装置の制御プログラムとして、記録媒体に記録することができ、この記録媒体も本発明の実施形態の一例である。
つまり、記録媒体には、車両に搭載され、車両の周囲の状況を撮影する撮像手段１からの信号を処理する第１の処理と、電波または光を放射し車両の周囲物体までの距離を計測するレーダ計測手段４からの信号を処理する第２の処理と、第１の処理の出力情報と、第２の処理の出力情報とに時間情報を付加する時間情報付加処理と、第１の処理の出力情報に含まれる時間情報と、第２の処理の出力情報に含まれる時間情報とから、出力情報の時間順番を調整する時間調整処理と、時間調整処理された、第１の処理の出力と第２の処理の出力とに基づいて、ブレーキまたはスロットルまたは変速機のうちの少なくとも１つを制御する制御処理とを備える車両用計測制御装置の制御プログラムが記録される。
また、上記車両用計測制御装置を備える自動車も本発明の実施形態の一例である。
産業上の利用可能性
以上説明したように、本発明では、自動車に搭載され周囲の状況を撮影する撮像手段と、この撮像手段からの信号を処理する処理手段Ａと、電波または光を放射し周囲物体までの距離を計測するレーダ計測手段と、このレーダ計測手段からの信号を処理する処理手段Ｂと、処理手段Ａの出力と処理手段Ｂの出力とに基づいて、ブレーキまたはスロットルまたは変速機の少なくともいずれか１つを制御する制御手段とを備えた車両用計測制御装置において、処理手段Ａの出力情報と、処理手段Ｂの出力情報とに時刻情報を含み、この時刻情報に基づいて車両を制御する。
これにより、レーダ装置と画像処理装置とが撮像した情報の時刻の順序関係を考慮しながら車両の走行を高精度に制御することができる。
また、撮像手段を搭載し、この撮像手段により撮像された情報により、車両の動作を制御する車両用計測制御装置において、上記撮像情報に撮像した時刻情報をも付加するように構成したので、撮像対象が単純な場合と複雑な場合とで、画像処理時間が異なっても、撮像した時刻が判明されるので、それに応じた適切な処理を実行でき、車両の走行を高精度に制御することができる。
同様に、レーダ計測手段を搭載し、このレーザ計測手段により計測された情報により、車両の動作を制御する車両用計測制御装置において、上記計測情報に計測した時刻情報をも付加するように構成したので、計測対象が単純な場合と複雑な場合とで、処理時間が異なっても、計測した時刻が判明されるので、それに応じた適切な処理を実行でき、車両の走行を高精度に制御することができる。
【図面の簡単な説明】
図１は、車両用計測走行制御装置のシステム図である。
図２は、レーダとカメラとの入力タイミング例を示す図である。
図３は、車両用計測走行制御装置の構成を示すブロック図である。
図４は、レーダ装置のブロック図である。
図５は、レーダ装置の変調タイミングの例を示す図である。
図６は、撮像装置のブロック図である。
図７は、撮像装置の画像入力タイミングの例を示す図である。
図８は、撮像装置での入力画像の一例を示す図である。
図９は、撮像装置での入力画像の他の例を示す図である。
図１０は、センサ入力データ処理部の処理フローを示す図である。
【図１】
0003920769.tif 000002
【図２】
0003920769.tif 000003
【図３】
0003920769.tif 000004
【図４】
0003920769.tif 000005
【図５】
0003920769.tif 000006
【図６】
0003920769.tif 000007
【図７】
0003920769.tif 000008
【図８】
0003920769.tif 000009
【図９】
0003920769.tif 000010
【図１０】
0003920769.tif 000011