(57)【要約】【課題】車両の画像と同様の特徴を持つ画像が画像内に含まれる場合に、正確に車両の有無を検出することができなかった。【解決手段】自車両の周囲の画像を取得し、前記自車両の振動を検出し、前記画像に基づいて他車両の動作を示す情報を取得するにあたり、前記自車両の振動を検出した場合には、それより前に取得した前記画像に基づいて前記他車両の動作を示す情報を取得する。【選択図】図１
2008041029.tif 000002
【特許請求の範囲】
【請求項１】
自車両の周囲の画像を取得する画像取得手段と、
前記自車両の振動を検出する振動検出手段と、
前記画像に基づいて他車両の動作を示す情報を取得する車両動作検出手段であって、前記自車両の振動を検出した場合には、それより前に取得した前記画像に基づいて前記他車両の動作を示す情報を取得する車両動作検出手段と、
を備える車両検出装置。
【請求項２】
前記車両動作検出手段は、前記自車両の振動を検出したときより前に取得した複数の前記画像から得られる他車両の情報を比較して前記他車両の速度を取得し、当該速度に基づいて前記他車両の位置を取得する、
請求項１に記載の車両検出装置。
【請求項３】
前記車両動作検出手段は、前記自車両の振動を検出したときより前に取得した複数の前記画像から得られる他車両の情報を比較して前記他車両の加速度を取得し、当該加速度に基づいて前記他車両の速度を取得する、
請求項１または請求項２のいずれかに記載の車両検出装置。
【請求項４】
自車両の周囲の画像を取得する画像取得工程と、
前記自車両の振動を検出する振動検出工程と、
前記画像に基づいて他車両の動作を示す情報を取得する車両動作検出工程であって、前記自車両の振動を検出した場合には、それより前に取得した前記画像に基づいて他車両の動作を示す情報を取得する車両動作検出工程と、
を含む車両検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自車両の周囲に存在する他車両を検出する車両検出装置および方法に関する。
【背景技術】
【０００２】
従来、自車両に搭載されたカメラにて道路を撮影し、撮影した画像から車両の特徴を抽出し、自車両の周囲に存在する他車両を検出する技術が知られている。例えば、特許文献１には、最新の車両画像データと直前の車両画像データとに基づいて他車両の座標位置を予測する技術が開示されている。
【特許文献１】特開平１１−２１３２９５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
従来の技術においては、正確な車両位置の予測を行うことができなかった。すなわち、前記車両画像データは、自車両に搭載されたカメラによって取得しており、自車両の振動によって画像は上下左右方向にシフトし得る。異なる時間で取得した画像データを比較する場合、各画像データに含まれる車両の画像のシフトによって車両の移動を予測するので、自車両が振動してしまうとこの振動による画像のシフトと車両の移動による画像のシフトとが区別できず、車両の位置予測の精度が低下してしまう。
本発明は、上記課題にかんがみてなされたもので、正確に他車両の位置を予測する技術を提供することを目的とする。
【課題を解決するための手段】
【０００４】
上記の目的を達成するため、本発明においては、振動検出手段によって自車両の振動を検出し、振動を検出した場合には、それより前に取得した画像に基づいて他車両の動作を示す情報を取得する。すなわち、車両の移動による画像のシフトと異なるシフトが含まれる画像は除外し、車両の移動による画像のシフトが含まれる画像に基づいて他車両の動作を示す情報を取得する。従って、自車両に振動が生じた場合であっても正確に他車両の位置を予測することができる。
【０００５】
なお、本発明において、振動検出手段は自車両の振動を検出することができればよく、路面と自車両との相対的な位置の変動を直接的または間接的に検出することができる限りにおいて、各種センサを採用可能である。また、画像取得手段は、他車両の存在を検出すべき範囲を視野にして自車両の周囲の画像を取得することができればよく、自車両に搭載された種々のカメラを採用可能である。
【０００６】
車両動作検出手段においては、画像に基づいて他車両の動作を検出するにあたり、振動を検出したときに取得した画像を利用せず、それより前に取得した画像を利用することができればよい。従って、振動を検出したタイミングと画像を取得したタイミングとが一致するときにその画像を除外して他車両の検出を行うことができればよい。他車両の動作を示す情報としては、他車両の動きに対応した情報であればよく、他車両の位置、速度、加速度等を示す情報等をこの情報とすることができる。
【０００７】
画像に基づいて他車両の動作を検出する構成としては、種々の構成を採用可能であり、例えば、異なるタイミングで取得した画像を比較する構成を採用可能である。例えば、自車両の振動を検出したときより前に取得した複数の画像に基づいて他車両の速度を取得することが可能であり、この速度に基づいて他車両の位置を取得することができる。
【０００８】
すなわち、複数の画像に基づいて他車両の位置を特定すれば、その位置の比較（差分）によって位置の変位を取得可能であり、各画像を取得した時間の差に基づいて他車両の速度を取得することができる。従って、この速度で他車両が進行するとすれば、他車両の位置を推定することができる。以上の構成によれば、自車両の振動によって画像がシフトした場合であってもその影響を受けることなく他車両の動作を検出することができる。なお、他車両の動作としては、前記自車両の振動を検出したときの動作を推定しても良いし、現在の他車両の動作を推定してもよく、種々の態様を採用可能である。
【０００９】
また、自車両の振動を検出したときより前に取得した複数の画像を比較して他車両の加速度を取得してもよい。例えば、自車両の振動を検出したときより前に取得した複数の画像に基づいて他車両の速度を取得することが可能であり、この速度に基づいて他車両の加速度を取得することができる。すなわち、複数の画像に基づいて他車両の速度を特定すれば、その速度の比較（差分）によって速度の変化を取得可能であり、各画像を取得した時間の差に基づいて他車両の加速度を取得することができる。従って、この加速度で他車両が進行するとすれば、他車両の速度を推定することができる。以上の構成によれば、自車両が振動したとしても正確に他車両の動作を検出することができる。また、ここでも他車両の動作としては、前記自車両の振動を検出したときの動作、現在の他車両の動作などいずれを推定してもよく、種々の態様を採用可能である。
【００１０】
さらに、本発明のように自車両の振動を検出し、振動検出したときより前に取得した画像に基づいて他車両の動作を示す情報を取得する手法は、このような他車両の検出を行うプログラムや方法としても適用可能である。また、以上のような車両検出装置、プログラム、方法は、単独の車両検出装置として実現される場合もあれば、車両に備えられる各部と共有の部品を利用して実現される場合もあり、各種の態様を含むものである。例えば、以上のような他車両の検出に基づいて道路に自車両を進入させるための案内を行うナビゲーション装置や方法、プログラムを提供することが可能である。また、一部がソフトウェアであり一部がハードウェアであったりするなど、適宜、変更可能である。さらに、車両検出装置を制御するプログラムの記録媒体としても発明は成立する。むろん、そのソフトウェアの記録媒体は、磁気記録媒体であってもよいし光磁気記録媒体であってもよいし、今後開発されるいかなる記録媒体においても全く同様に考えることができる。
【発明を実施するための最良の形態】
【００１１】
ここでは、下記の順序に従って本発明の実施の形態について説明する。
（１）ナビゲーション装置の構成：
（２）案内処理：
（３）他の実施形態：
【００１２】
（１）ナビゲーション装置の構成：
図１は、本発明にかかる車両検出装置を含むナビゲーション装置１０の構成を示すブロック図である。ナビゲーション装置１０は、ＣＰＵ，ＲＡＭ，ＲＯＭ等を備える制御部２０と記憶媒体３０とを備えており、記憶媒体３０やＲＯＭに記憶されたプログラムを制御部２０で実行することができる。本実施形態においては、このプログラムの一つとしてナビゲーションプログラム２１を実施可能であり、当該ナビゲーションプログラム２１はその機能の一つとして自車両を隣の車線に進入させるための案内を行う機能を備えている。なお、この案内を行うときに、自車両が走行している車線の隣の車線に他車両が存在するか否かを検出する車両検出処理を行う。
【００１３】
自車両（ナビゲーション装置１０が搭載された車両）には、ナビゲーションプログラム２１を実現するためにＧＰＳ受信部４０とカメラ４１と振動検出センサ４２と車速センサ４３と舵角センサ４４とスピーカー４５と表示部４６とが備えられており、これらの各部と制御部２０との信号の授受は図示しないインタフェースによって実現されている。
【００１４】
ＧＰＳ受信部４０は、ＧＰＳ衛星からの電波を受信し、図示しないインタフェースを介して自車両の現在位置を算出するための情報を出力する。制御部２０は、この信号を取得して自車両の現在位置を取得する。カメラ４１は、自車両の後方の道路を視野に含むように自車両に対して取り付けられており、撮影した画像を示す画像データを出力する。制御部２０は、図示しないインタフェースを介してこの画像データを取得し、他車両の検出や各種の案内に利用する。
【００１５】
振動検出センサ４２は、自車両の振動（路面に対して垂直な方向の変動）に対応した信号を出力する。制御部２０は、図示しないインタフェースを介してこの信号を取得し、振動の程度を検出する。なお、振動検出センサ４２は、自車両の振動を検出することができればよく、加速度センサやサスペンションの高さを検出するセンサなど、路面上の構造物を検出することができる限りにおいて種々のセンサを採用することが可能である。
【００１６】
車速センサ４３は、自車両が備える車輪の回転速度に対応した信号を出力する。制御部２０は、図示しないインタフェースを介してこの信号を取得し、車輪毎に速度（路面と車輪との相対速度）を取得する。舵角センサ４４は自車両のステアリングの回転角に対応した信号を出力する。制御部２０は、図示しないインタフェースを介してこの信号を取得し、ステアリングの回転角を示す情報を取得する。むろん、以上のセンサ以外に、方位センサや加速度センサ等を備える構成であっても良い。
【００１７】
制御部２０は、ナビゲーションプログラム２１を実行することにより、上述のようにして取得した各種情報に基づいて自車両の後方における他車両の存在や目的地までの経路等を示す情報を出力して自車両を案内する。すなわち、制御部２０は、音声によって各種の案内を行うための制御信号をスピーカー４５に出力し、スピーカー４５から案内情報としての音声を出力する。また、制御部２０は、画像によって各種の案内を行うための制御信号を表示部４６に出力し、表示部４６にその画像を表示する。
【００１８】
さらに、記憶媒体３０には、ナビゲーションプログラム２１による案内を実施するため、地図情報３０ａが記憶されている。地図情報３０ａは、道路上に設定されたノードを示すノードデータやノード同士の連結を示すリンクデータ、目標物を示すデータ等を含み、自車両の位置の特定や目的地への案内に利用される。
【００１９】
本実施形態において、ナビゲーションプログラム２１は、車両検出処理を行って自車両を隣の車線へ案内するために、画像取得部２１ａと振動検出部２１ｂと車両動作検出部２１ｃと案内部２１ｄとを備えている。画像取得部２１ａは、カメラ４１から画像データを取得するモジュールであり、特定の時間間隔毎（例えば、１秒間に１０フレーム）に画像データを取得して図示しないメモリに保持する。振動検出部２１ｂは、振動検出センサ４２からの信号によって自車両の振動を検出するモジュールである。
【００２０】
車両動作検出部２１ｃは、画像取得部２１ａによって取得した画像データと振動検出部２１ｂによる検出結果とに基づいて他車両の動作を検出するモジュールであり、他車両を検出する対象となる車線を画像から抽出し、その車線内の画像から車両の特徴を抽出してフレーム間の比較を行う。そして、フレーム間における車両の特徴部分の動きに基づいて他車両の動作を検出する。
【００２１】
本実施形態においては、当該他車両の動作を検出する際に、振動を検出したときに取得した画像を除外して他車両の動作を検出する。従って、自車両の振動によって画像内で他車両の位置がシフトしたとしてもそのシフトの影響を受けることなく他車両の動作を検出することができ、正確に他車両の動作を検出することができる。
【００２２】
案内部２１ｄは、以上のようにして検出した動作に基づいて自車両を前記他車両が走行している車線に進入させるための案内情報をスピーカー４５や表示部４６に対して出力する。ここでは、自車両を前記車線に進入させる際のいかなる案内を採用してもよく、例えば、他車両が存在しない位置に自車両を移動させるために自車両で必要な加減速を案内をしたり、自車両の横に他車両が存在しないときに車線変更を促す案内をしたり、自車両に対して接近する他車両を通知するなどの案内を採用可能である。
【００２３】
（２）案内処理：
次に、以上の構成においてナビゲーション装置１０が実施する案内処理を説明する。図２は、本実施形態における案内処理を示すフローチャートである。本実施形態において、ナビゲーションプログラム２１は目的地への案内等を行っており、ウインカーのスイッチがＯＮになったときやＧＰＳ受信部４０の情報に基づいて高速道路の本線に自車両が合流しようとしていることを判定し、図２に示す処理を開始する。この処理が開始されると、ナビゲーションプログラム２１は、ＧＰＳ受信部４０からの信号を受信し、地図情報３０ａを参照して自車両の位置を取得する（ステップＳ１００）。
【００２４】
次に、画像取得部２１ａは、カメラ４１によって撮影された画像の画像データを取得し（ステップＳ１０５）、振動検出部２１ｂは、振動検出センサ４２からの信号を取得する（ステップＳ１１０）。次に、振動検出部２１ｂは、取得した信号に基づいて振動の程度を特定し、予め決められた程度以上の振動であったか否かを判別する（ステップＳ１１５）。
【００２５】
当該ステップＳ１１５にて既定以上の振動が存在しないと判別されたときには、画像内に自車両の振動による影響は含まれないとし、ステップＳ１０５にて取得した画像を含めた複数の画像に基づいて他車両の位置および速度を予測する（ステップＳ１２０）。一方、ステップＳ１１５にて既定以上の振動が存在しないと判別されなかったときには、ステップＳ１０５にて取得した画像を除外した複数の画像に基づいて他車両の位置および速度を検出する（ステップＳ１２５）。むろん、以上の処理においては図２に示すようにループ処理を行っているので、あるループより前のループで既定以上の振動が存在したと判別された画像が存在した場合には、ステップＳ１２０，Ｓ１２５にてその画像を除外して他車両の検出を行う。
【００２６】
図３は、車両動作検出部２１ｃによる前記ステップＳ１２０，Ｓ１２５の処理例を説明する説明図である。図３Ａは、カメラ４１にて取得した画像の例を示しており、この例では、進入先の車線Ｌに他車両Ｃが存在している。画像取得部２１ａは、このような画像を一定の時間間隔ΔＴで取得しており、各画像にて車線検出およびエッジ検出を行うことによって他車両の画像Ｃを抽出する。
【００２７】
図３Ｂは、異なるタイミングで取得した各画像から抽出した他車両のエッジを示しており、ｎ−３フレーム目〜ｎフレーム目（ｎは正の整数）までの画像から抽出したエッジをＣn-3〜Ｃnとして示している。本実施形態においては、画像取得部２１ａにて取得した画像内の位置毎に自車両との相対的な位置関係が予め決められており、当該相対的な位置関係に基づいて各エッジ画像間の実際の距離を算出することが可能である。
【００２８】
すなわち、本実施形態においては、各フレームから得られる自車両と他車両との相対関係を比較することで両フレームを撮影する間に他車両が移動した移動距離を算出する。例えば、図３Ｂのエッジ画像Ｃnに関して移動距離を取得する際には、自車両とエッジ画像Ｃnに対応した他車両との相対位置ベクトルを算出し、自車両とエッジ画像Ｃn-1に対応した他車両との相対位置ベクトルを算出し、得られた相対位置ベクトルに基づいてエッジ画像Ｃnとエッジ画像Ｃn-1との間での他車両の移動ベクトルΔＬnを取得すればよい。
【００２９】
本実施形態においては、このようにして他車両の移動ベクトルΔＬnを算出し、さらにこの距離を時間間隔ΔＴで除することによってエッジ画像Ｃnに対応する他車両の速度ベクトルｖnを算出する。車両動作検出部２１ｃは、以上のようにして他車両の位置および速度を算出可能であり、図２に示すフローで処理対象となっている画像を取得したタイミングで既定以上の振動が検出されていないときには、上述のように自車両と他車両との相対的な位置関係を算出して他車両の位置および他車両の速度を取得する。
【００３０】
しかし、処理対象となっている画像を取得したタイミングで既定以上の振動が検出されていたときには、エッジ画像の位置がずれてしまう。例えば、図３Ｂに示すエッジ画像Ｃn-1が実線に示す矢印に沿って移動し、次のフレームでエッジ画像Ｃnの位置に現れるはずであっても、振動が生じている場合にはエッジ画像Ｃnの位置が破線のように変動し得る。このような変動が生じている場合に、その影響を考慮することなく上述の他車両検出を行うと他車両の検出精度が極めて不正確になる。そこで、本実施形態においては、振動検出部２１ｂにて既定以上の振動を検出した場合、上述のようにステップＳ１２５を実施する。
【００３１】
例えば、ｎフレーム目の画像を取得したときに既定以上の振動を検出し、ｎ−１フレーム目の画像を取得したときに既定以上の振動を検出していないのであれば、エッジ画像Ｃnに対応する他車両の位置および速度をエッジ画像Ｃn-1について得られている動作情報に基づいて算出する。すなわち、図２に示すフローのループ処理の過程で、移動ベクトルΔＬn-2を算出済であり、この移動ベクトルΔＬn-2に基づいてエッジ画像Ｃn-1に対応する他車両の位置および速度ベクトルｖn-1を算出済である。
【００３２】
そこで、エッジ画像Ｃn-1に対応する他車両が時間間隔ΔＴにおいて引き続き速度ベクトルｖn-1にて移動したとすれば、ｎフレーム目の画像を取得したタイミングにおける他車両の位置および速度を取得することができる。以上の処理によれば、算出済の動作情報を利用してｎフレーム目の画像を取得したタイミングにおける他車両の位置および速度を取得することができるので、極めて低い演算負荷によって他車両の動作を取得することができる。また、振動による影響を受けた画像に基づいて他車両の動作情報を取得する場合と比較して高精度の他車両の動作を検出することができる。
【００３３】
以上のようにして他車両の動作を検出すると、案内部２１ｄは、検出された他車両の位置および速度と自車両の位置とに基づいて、他車両が走行している車線に自車両を進入させるために必要な案内の内容を決定し（ステップＳ１３０）、スピーカー４５あるいは表示部４６に案内情報を出力する（ステップＳ１３５）。すなわち、他車両が走行している車線に自車両を進入させる際に必要となる自車両の速度を算出し、加速の程度あるいは減速の程度を案内情報として出力する。また、前記車線に対する自車両の進入を妨げる他車両が存在するか否かを判定し、存在しなければ車線変更を促す案内情報を出力する。さらに、他車両が自車両に接近しているときには他車両の接近を示す案内情報を出力する。
【００３４】
以上の案内を行うと、案内部２１ｄは、舵角センサ４４の出力信号やＧＰＳ受信部４０の出力信号に基づいて車線変更が終了したか否かを判定し、車線変更が終了していなければ必要な案内は終了していない（ステップＳ１４０）としてステップＳ１００以降を繰り返す。ステップＳ１４０にて必要な案内が終了していると判定されたときには、この案内処理を終了する。
【００３５】
（３）他の実施形態：
以上の実施形態は、本発明を実施するための一例であり、自車両の振動を検出し、自車両が振動しているときに取得した画像を除外して他車両の動作を検出することできる限りにおいて、他にも種々の実施形態を採用可能である。
【００３６】
例えば、上述の実施形態においては、車両のエッジに基づいて他車両の存在を検出していたが、むろん、他車両の検出手法はエッジの検出に限られない。その一例としては、画像の特徴量の分布を利用した車両検出が挙げられる。すなわち、他車両が存在する車線に対して特定の大きさの検出領域を複数個設定し、各検出領域に含まれる画素の輝度値等を取得する構成が挙げられる。このように輝度値を取得した場合、車両の画像が含まれればその分布が車両の画像の特徴を反映した分布となる。
【００３７】
そこで、検出領域毎に輝度分布を分析すれば、各検出領域に他車両が存在するか否かを判定することができる。この構成において、他車両の存在を検出した領域の推移をフレーム間で比較すれば、他車両の動作に対応した情報を取得することができる。そこで、この構成において振動検出時の画像を除外して他車両の動作を取得すれば、高精度に他車両の動作を検出することが可能になる。
【００３８】
さらに、上述の例では、自車両が進入する進入先車線について他車両を検出していたが、むろん、進入車線に限らず、自車両が走行している車線や進入先車線の隣の車線について他車両を検出しても良い。さらに、上述の実施形態においては、カメラで取得した画像に基づいて他車両を検出すればよく、カメラで取得した画像に対して視点変換等の変換処理を行っても良い。例えば、車線を情報から眺めた俯瞰画像に変換すれば、画像に基づく他車両の位置、速度、移動方向を容易に特定可能である。また、カメラ４１は他車両の存在を検出すべき道路を視野にして撮影を行うことができればよく、自車両のいずれの位置に取り付けられていても良いし、カメラの台数は特に限定されない。
【００３９】
さらに、検出すべき他車両の動作としては、上述の位置および速度に限られず、加速度を利用してもよい。例えば、図３Ｂに示す例においてｎフレーム目の画像を取得したときに振動を検出し、ｎ−３〜ｎ−１フレーム目の画像を取得したときには振動を検出していない場合、ｎフレーム目の画像より前の画像を処理対象としているループでエッジ画像Ｃn-3〜Ｃn-1に対応する他車両の速度および加速度を取得しておく。
【００４０】
すなわち、エッジ画像Ｃn-3〜Ｃn-1の他車両と自車両との相対位置ベクトルをそれぞれのエッジ画像Ｃn-3〜Ｃn-1について算出し、これらの相対位置ベクトルに基づいてエッジ画像Ｃn-1，Ｃn-2の移動ベクトルΔＬn-1、エッジ画像Ｃn-2，Ｃn-3の移動ベクトルΔＬn-2を取得する。各移動ベクトルが得られたら、時間間隔ΔＴで除することによりエッジ画像Ｃn-1，Ｃn-2に対応した他車両の速度ベクトルｖn-1，ｖn-2を算出することができる。
【００４１】
そこで、これらの速度ベクトルの差分を時間間隔ΔＴで除することにより、エッジ画像Ｃn-1に対応した他車両の加速度ベクトルａn-1を算出することができる。以上の様にしてエッジ画像Ｃn-1に対応した他車両の速度ベクトルｖn-1および加速度ベクトルａn-1が得られたら、加速度ベクトルａn-1に時間間隔ΔＴを乗じ、さらに、速度ベクトルｖn-1を加えることで、エッジ画像Ｃnに対応した他車両の速度を取得することができる。エッジ画像Ｃnに対応した他車両の位置は上述の実施形態と同様に求めることができる。
【００４２】
すなわち、上述の実施形態においてはｎ−１フレーム目からｎフレームまで等速で移動することを想定していたが、加速度を考慮することにより加速度運動を前提とした予測を行うことができる。従って、より正確に他車両の位置および速度を予測することが可能である。
【図面の簡単な説明】
【００４３】
【図１】車両検出装置を含むナビゲーション装置のブロック図である。
【図２】案内処理を示すフローチャートである。
【図３】車両動作検出部の処理例を説明する説明図であり、（３Ａ）はカメラにて取得した画像の例、（３Ｂ）は異なるタイミングで取得した各画像から抽出した他車両のエッジの例である。
【符号の説明】
【００４４】
１０…ナビゲーション装置、２０…制御部、２１…ナビゲーションプログラム、２１ａ…画像取得部、２１ｂ…振動検出部、２１ｃ…車両動作検出部、２１ｄ…案内部、３０…記憶媒体、３０ａ…地図情報、４０…ＧＰＳ受信部、４１…カメラ、４２…振動検出センサ、４３…車速センサ、４４…舵角センサ、４５…スピーカー、４６…表示部
【図１】
2008041029.tif 000003
【図２】
2008041029.tif 000004
【図３】
2008041029.tif 000005