(57)【特許請求の範囲】
【請求項１】
車載カメラによって撮像した自車両の周囲画像を解析して、該自車両周囲の車両の有無を検知する画像処理装置において、
車両検知時刻と、該車両検知時より予め定められた時間前の時刻との両時刻に共通する画像中の仮想背景と、該両時刻で共通する画像中で予め定められた速度で移動する仮想車両とを対象にして、該予め定められた時間前の時刻から該車両検知時刻に至るまでの該仮想背景の画像中の動きと、該予め定められた時間前の時刻から該車両検知時刻に至るまでの該仮想車両の画像中の動きとの差が、所定値以上の第一領域と、所定値未満の第二領域とを該車両検知時刻の画像に対して定める領域設定手段と、
前記車両検知時刻の前記車載カメラによる画像中の前記第一領域と、該車両検知時刻より前の時刻の画像中の対応領域とで共通する特徴部の移動から車両の有無を検知する第一画像処理手段と、
前記車両検知時刻の前記車載カメラによる画像中の前記第二領域に、予め記憶しておいた複数の形状パターンのうちのいずれかに近似する形状パターンがあるか否かに応じて車両の有無を検知する第二画像処理手段と、
前記第一画像処理手段及び前記第二画像処理手段での検知結果に基づいて、自車両の周囲に車両が存在する旨を出力する出力手段と、
を備えていることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記領域設定手段は、
カーナビゲーション装置から自車両位置及び該自車両周辺の地図情報を取得し、該自車両位置と該地図情報とから、該自車両が走行している道路形状を推定するか、
又は、前記領域設定手段自身が前記車両検知時刻の画像中に前記第一領域及び前記第二領域を設定する前に前記車載カメラで得られた画像から、該自車両が走行している道路形状を推定し、
前記両時刻における画像中に形状推定した道路をあてはめ、該道路内に前記仮想背景及び前記仮想車両を定める、
ことを特徴とする画像処理装置。
【請求項３】
請求項２に記載の画像処理装置において、
前記領域設定手段は、前記仮想車両として、前記形状推定した前記道路中を走行している車両を想定する、
ことを特徴とする画像処理装置。
【請求項４】
請求項１から３のいずれか一項に記載の画像処理装置において、
前記領域設定手段は、
前記仮想車両として、前記自車両に対して近づく方向に移動している車両を想定し、
前記自車両の車速を取得し、
前記カメラが前記自車両の後方を撮像する場合には、前記仮想車両の前記予め定められた速度を該自車両の車速より速い速度とし、前記カメラが前記自車両の前方を撮像する場合には、前記仮想車両の前記予め定められた速度を該自車両の車速より遅い速度とする、
ことを特徴とする画像処理装置。
【請求項５】
請求項１から４のいずれか一項に記載の画像処理装置において、
前記車両検知時刻の画像中の前記第一領域は、前記第二領域内の該第一領域側の領域を含み、前記車両検知時刻の画像中の前記第二領域は、前記第一領域内の該第二領域側の領域を含み、該第一領域と該第二領域とは、該画像中で予め定められた幅で重複している、
ことを特徴とする画像処理装置。
【請求項６】
請求項１から５のいずれか一項に記載の画像処理装置において、
前記第一画像処理手段は、前記特徴部の周りに対する該特徴部の移動形態から、接近車両の有無を検知する、
ことを特徴とする画像処理装置。
【請求項７】
請求項１から６のいずれか一項に記載の画像処理装置において、
前記第二画像処理手段は、
前記車両検知時刻の前記車載カメラによる画像中の前記第二領域に、予め記憶しておいた複数の形状パターンのうちのいずれかに近似する形状パターンがあれば、該形状パターンと該形状パターンの大きさとを記憶しておき、該車両検知時刻より前に、該形状パターンを記憶している場合には、該車両検知時刻の該形状パターンの大きさが、該車両検知時刻より前に記憶した該形状パターンの大きさよりも大きい場合に、接近車両があるとする、
ことを特徴とする画像処理装置。
【請求項８】
請求項１から７のいずれか一項に記載の画像処理装置において、
前記自車両の周囲にレーダを照射し、該レーダの反射波を解析して、該自車両周囲の車両の有無を検知するレーダ装置から、該自車両の周囲に車両が存在する旨を受信し、且つ、前記第一画像処理手段又は前記第二画像処理手段が該自車両の周囲に車両が存在することを検知した場合に、前記出力手段は、該自車両の周囲に車両が存在する旨を出力する、
【請求項９】
請求項１から８のいずれか一項に記載の画像処理装置と、
前記カメラと、
を備えていることを特徴とする車両検知装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車載カメラによって撮像した自車両の周囲画像を解析して、該自車両周囲の車両の有無を検知する画像処理装置、及びこれを備えた車両検知装置に関する。
【背景技術】
【０００２】
車載カメラによって撮像した自車両の周囲画像を解析して、該自車両周囲の車両の有無を検知する技術としては、例えば、以下の特許文献１,２に記載の技術がある。
【０００３】
特許文献１に記載の技術は、画像内の特徴点の移動を検出するオプティカルフロー技術を利用して、背景と動体との画像内の動きの違いから動体（車両）を検知する技術である。
【０００４】
また、特許文献２に記載の技術は、予め記憶しておいた複数の形状パターンのうちのいずれに近似する形状パターンが画像中にあるか否かに応じて、車両を検知する技術である。
【０００５】
【特許文献１】特開2002−104113号公報
【特許文献２】特開2006−182086号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に記載の技術では、自車両の後方をカメラで撮像している場合、自車両の後方の遠方を走行する他車両は、背景とこの他車両との動き差が小さために、この他車両の検知漏れの虞があるという問題点がある。
【０００７】
また、特許文献２に記載の技術では、複数の形状パターンとして、各種車両の正面形状のパターンを記憶しているため、カメラで得られた画像中に、他車両を斜めから又は横から捕らえた像がある場合には、この他車両の検知漏れの虞があるという問題点がある。
【０００８】
本発明は、このような従来技術の問題点に着目し、自車両の周囲の他車両の検知漏れをできる限り少なくすることができる画像処理装置、及びこれを備えている車両検知装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
前記問題点を解決するため、本発明では、
仮想カメラ画像内で、自車両の周囲に存在する仮想車両と仮想背景とを設定し、仮想背景に対して仮想車両の動きが大きい領域を第一領域とし、仮想背景に対して仮想車両の動きが小さい領域を第二領域とする。そして、実際のカメラ画像に第一領域及び第二領域をあてはめ、仮想車両の動きの大きい第一領域に関しては、この領域内の特徴部の移動態様から他車両を検知し、仮想車両の動きの小さい第二領域に関しては、パターン認識により他車両を検知する。
【００１０】
具体的に、第一領域及び第二領域を設定するにあたっては、
車両検知時刻と、該車両検知時より予め定められた時間前の時刻との両時刻に共通する画像中の仮想背景と、該両時刻で共通する画像中で予め定められた速度で移動する仮想車両とを対象にする。そして、該予め定められた時間前の時刻から該車両検知時刻に至るまでの該仮想背景の画像中の動きと、該予め定められた時間前の時刻から該車両検知時刻に至るまでの該仮想車両の画像中の動きとの差が、所定値以上の第一領域と、所定値未満の第二領域とを該車両検知時刻の画像に対して定める。
【発明の効果】
【００１１】
本発明によれば、車載カメラで得られた画像中に、背景に対する他車両の動きが大きい第一領域と、背景に対する他車両の動きが小さい第二領域とを設定し、第一領域では、この領域内の特徴部の移動から他車両を検知し、第二領域では、パターン認識で他車両を検知するので、他車両の検知漏れを最小限に抑えることができる。
【発明を実施するための最良の形態】
【００１２】
以下、本発明に係る車両検知装置の一実施形態について、図面を用いて説明する。
【００１３】
本実施形態の車両は、図１に示すように、車両の後方を撮像するカメラ１と、車両の後方に存在する車両等を検知するレーダ装置２と、車両の室内に設けられているスピーカ３と、車両の走行を制御する走行制御装置４と、車両の速度を検知する車速センサ５と、カメラ１で得られた画像を解析する画像処理装置１０と、カーナビゲーション装置３０と、を備えている。本実施形態の車両検知装置は、上記カメラ１及び画像処理装置１０とを有して構成される。
【００１４】
画像処理装置１０は、コンピュータで、各種演算処理を実行するＣＰＵ２０と、このＣＰＵ２０のワークエリアとなるメモリ１１と、ハードディスクドライブ等の記憶装置１２と、外部との間でデータ等を送受信するための入出力インタフェース１５と、を備えている。
【００１５】
記憶装置１２には、各種車両の正面形状を示す複数の車両パターン１３と、車両検知プログラム１４とが格納されている。
【００１６】
ＣＰＵ２０は、機能的に、カメラ１からの画像中に後述の第一領域及び第二領域を設定する領域設定部２１と、カメラ１かの画像から第一領域の画像及び第二領域の画像を抽出する領域抽出部２２と、第一領域の画像を解析して車両の有無を検知する第一画像処理部２３と、第二領域の画像を解析して車両の有無を検知する第二画像処理部２４と、第一画像処理部２３及び第二画像処理部２４での検知結果及びレーダ装置２での検知結果に基づいて接近車両の有無を最終的に判定する接近車両判定部２５と、接近車両判定部２５の判定結果をスピーカ３や走行制御装置４へ出力する出力部２６と、を有している。なお、これらの機能部２１〜２６は、いずれも、ＣＰＵ２０が記憶装置１２に記憶されている車両検知プログラム１４を実行することで機能する。
【００１７】
カーナビゲーション装置３０は、各種演算を実行するＣＰＵ３９と、このＣＰＵ３９のワークエリアとなるメモリ３１と、地図情報やカーナビゲーションプログラム等が記憶されている記憶装置３２と、方位センサ３３と、ＧＰＳセンサ３４と、外部との間でデータ等を受送信するための入出力インタフェース３５と、を備えている。
【００１８】
走行制御装置４は、コンピュータで、車両のブレーキシステムを制御すると共に、車両のエンジンシステムを制御するものである。すなわち、この走行制御装置４は、車速の増減を制御するコンピュータである。
【００１９】
次に、図２〜図４に示すフローチャートに従って、本実施形態の画像処理装置１０の動作について説明する。
【００２０】
画像処理装置１０の領域設定部２１は、図２のフローチャートに示すように、カメラ１からの画像に対して後述の第一領域及び第二領域を定める（Ｓ１０）。この処理と並行して又はこの処理の後に、領域抽出部２２、第一画像処理部２３及び第二画像処理部２４がカメラからの画像を解析して接近車両の有無の検出処理を行う（Ｓ２０）。
【００２１】
次に、接近車両判定部２５は、接近車両の最終的な判定処理（Ｓ３０）を行う。接近車両判定部２５は、この判定処理（Ｓ３０）で、第一画像処理部２３又は第二画像処理部２４で接近車両が検出されると、レーダ装置２から予め定められた時間内に「接近車両有り」の旨を受信したか否かを判断する（Ｓ３１）。そして、第一画像処理部２３又は第二画像処理部２４で接近車両が検出され、且つレーダ装置２から予め定められた時間内に「接近車両有り」の旨を受信した場合には、出力部２６に接近車両がある旨を走行制御装置４やスピーカ３へ出力させる（Ｓ３２）。
【００２２】
走行制御装置４は、これを受信すると、後方からの接近車両との追突の危険性を回避するため、例えば、車速を増速させる。また、スピーカ３は、警報音又は「後方から接近車両有り」の旨を出力し、運転者に注意を促す。
【００２３】
なお、ここでは、第一画像処理部２３又は第二画像処理部２４で接近車両が検出され、且つレーダ装置２から予め定められた時間内に「接近車両有り」の旨を受信した場合に、接近車両がある旨を走行制御装置４及びスピーカ３へ出力しているが、さらに、第一画像処理部２３又は第二画像処理部２４で接近車両が検出され、レーダ装置２から予め定められた時間内に「接近車両有り」の旨を受信しない場合、逆に、第一画像処理部２３又は第二画像処理部２４で接近車両が検出さず、レーダ装置２から「接近車両有り」の旨を受信した場合、スピーカ３のみにその旨を出力させるようにしてもよい。
【００２４】
また、出力部２６の出力先としては、以上の走行制御装置４やスピーカ３のほか、車内モニタ等も考えられる。
【００２５】
次に、図３のフローチャートに従って、領域設定部２１による領域設定処理（Ｓ１０）の詳細について説明する。
【００２６】
領域設定部２１は、動作開示から予め定められた時間ΔＴが経過したか否か、又は先の時間ΔＴ経過時刻から再び時間ΔＴ経過したか否か判断する（Ｓ１１）。なお、ここでの時間ΔＴは、例えば、１／１５秒程度の時間である。
【００２７】
領域設定部２１は、時間ΔＴ経過していれば、カーナビゲーション装置３０から、現在の自車両位置、自車両周辺の地図情報、自車両の走行方向を取得すると共に、車速センサ５から車速を取得する（Ｓ１２）。なお、自車両周辺の地図情報は、時間ΔＴ毎に取得する必要はなく、先に取得した地図情報が使用できる場合には、これを使用することが好ましい。
【００２８】
次に、領域設定部２１は、ステップ１２で取得した地図中に、図６に示すように、時刻Ｔ及び時刻Ｔ＋ΔＴにおける自車両の位置を設定する（Ｓ１３）。なお、同図中で、Ｃm（T）が地図座標系での時刻Ｔにおける自車両の位置で、Ｃm（T+ΔT）が地図座標系での時刻Ｔ＋ΔＴにおける自車両の位置である。ここで、時刻Ｔは、現時刻でもよいが、現時刻から予め定められた僅かな時間後であってもよい。領域設定部２１は、現在の車両位置から現状の走行状態が続くと仮定して、時刻Ｔ及び時刻Ｔ＋ΔＴにおける自車両の位置を定める。
【００２９】
次に、領域設定部２１は、図６に示すように、上記地図上であって道路情報が示す道路上の位置に、時刻Ｔにおける複数の仮想車両を設定すると共に、各仮想車両のΔＴ時間後、つまり各仮想車両の時刻Ｔ＋ΔＴにおける仮想車両を設定する（Ｓ１４ａ）。なお、図６中で、Ａ１ｍ（T）、Ａ２ｍ（T）、Ａ３ｍ（T）、Ａ４ｍ（T）、Ａ５ｍ（T）が、時刻Ｔにおける各仮想車両の位置を示し、また、各仮想車両の時刻T＋ΔTにおける位置に関しては、代表して、時刻Ｔにおける仮想車両Ａ４ｍ（T）のみに関して、ΔＴ時間後の位置をＡ４ｍ（T+ΔT）として示している。
【００３０】
領域設定部２１は、予め定められたルールに従って、地図上の道路上に、時刻Tにおける複数の仮想車両を設定する。この予め定められたルールとは、1）時刻Ｔと時刻Ｔ＋ΔＴの両時刻で、カメラ１で撮像される領域内であること、２）自車両の後方の道路に沿った位置上であること、３）自車両から遠ざかるに連れて、仮想車両間隔が大きくなること、である。また、領域設定部２１は、自車両の車速に一定の車速を加えた速度、または自車両の車速に、この車速の一定割合分を加えた速度を、各仮想車両の速度として、ΔＴ時間後の仮想車両の位置を定める。
【００３１】
領域設定部２１は、自車両座標系での時刻Ｔ及び時刻Ｔ＋ΔＴにおける各仮想車両の位置を算出する、言い換えると、ステップ１４ａで定めた地図座標系の各仮想車両の位置を自車両座標系に変換する（Ｓ１５ａ）。
【００３２】
ここで、図５を用いて、自車両座標系及びカメラ座標系について説明する。
【００３３】
自車両座標系は、同図（ａ）に示すように、自車両Ｃの後部に設置されたカメラ１のレンズ中心を原点とし、鉛直上方をＹ軸とし、車両進行方向をＺ軸とし、Ｙ軸及びＺ軸に直角な方向をＸ軸とした右手座標系である。なお、以上のように、自車両Ｃの後部に設置されたカメラ１のレンズ中心を自車両座標系の原点とした関係で、ステップ１３で設定した地図座標系での自車両の位置Ｃm（T），Ｃm（T+ΔT）は、自車両Ｃの後部に設置されたカメラ１のレンズ中心の位置である。
【００３４】
また、カメラ座標系は、同図（ｂ）に示すように、カメラ１のレンズ中心を原点として、カメラ１のレンズ光軸をＺ軸とし、鉛直方向に広がる面内でＺ軸に直角な方向をＹ軸とし、Ｙ軸及びＺ軸に直角な方向をＸ軸とした右手座標系である。
【００３５】
また、地図では、一般的に、北向きを一つの軸にしているので、図６に示すように、この実施形態での地図座標系は、北向きをＺ軸とし、鉛直上方をＹ軸とし、Ｙ軸及びＺ軸に直角な方向をＸ軸とした右手座標系にしている。
【００３６】
次に、地図座標系で示される仮想車両の位置を、以上で説明した自車両座標系に変換する方法について説明する。
【００３７】
ここで、時刻Ｔにおける地図座標系での自車両の三次元位置Ｃm(T)とし、時刻Ｔにおける地図座標系での仮想車両の三次元位置Ａm(T)とする。これらＣm(T)、 Ａm(T)の座標値のそれぞれを、同次座標系形式で示すと、以下のようになる。
【００３８】
Ｃｍ(T)＝（Ｃｍ(T)ｘ，Ｃｍ(T)y，Ｃｍ(T)z，１）
Ａｍ(T)＝（Ａｍ(T)ｘ，Ａｍ(T)y，Ａｍ(T)z，１）
また、時刻Ｔにおける地図座標系のＺ軸に対する自車両座標系のＺ軸の角度をθ（T）とする。この場合、道路座標系から自車両座標系への回転変換するための回転行列式R（T）は、以下のようになる。
【００３９】
0004533936.tif 000002
そこで、地図座標系での仮想車両の三次元位置Ａm(T)を自車両座標系の三次元位置Ａc(T)に変換するためには、以下の数２に示すように、仮想車両の三次元位置Ａm(T)から自車両の三次元位置Ｃm(T)を減算し、これに回転行列式R(T)を掛ければよい。
【００４０】
Ａc(T)＝R(T)（Ａm(T)−Ｃm(T)・・・・・・・・・・・・・・・・（数２）
また、地図座標系での仮想車両の三次元位置Ａm(T+ΔT)を自車両座標系の三次元位置Ａc(T+ΔT)に変換する場合も、以下の数３に示すように、以上と同様の式で変換することができる。
【００４１】
Ａc(T+ΔT)＝R(T+ΔT)（Ａm(T+ΔT)−Ｃm(T+ΔT)）・・・・・・・（数３）
なお、ここでの時刻Ｔ+ΔＴにおける地図座標系のＺ軸に対する自車両座標系のＺ軸の角度θ(T+ΔT)は、便宜上、θ（T）と同じ値とする。
【００４２】
領域設定部２１は、次に、自車両座標系での時刻Ｔから時刻Ｔ+ΔＴまでの仮想車両の移動量ＭＡcを以下の数（４）で求める（Ｓ１６ｂ）。
【００４３】
ＭＡc＝Ａc(T+ΔT)−Ａc(T)・・・・・・・・・・・・・・・・・・（数４）
なお、ここでの仮想車両の移動量ＭＡcは、スカラー量ではなく、自車両座標系でのベクトル量である。
【００４４】
以上のステップ１５ａ及びステップ１６ａの処理は、いずれも、ステップ１４ａで設定した全仮想車両に対して実行する。
【００４５】
領域設定部２１は、以上のステップ１４ａ〜１６ａの処理と並行して、又は、ステップ１４ａ〜１６ａの後に以下で説明するステップ１４ｂ〜１６ｂを実行する。
【００４６】
領域設定部２１は、図６に示すように、上記地図上の道路上に、予め定められたルールに従って、複数の仮想背景Ｂ１ｍ、Ｂ２ｍ、Ｂ３ｍ、Ｂ４ｍ、Ａ５ｍ、…を設定する（Ｓ１４ｂ）。この予め定められたルールとは、1）時刻Ｔと時刻Ｔ＋ΔＴの両時刻で、カメラ１で撮像される領域内であること、２）図７に示すように、時刻Ｔにおける仮想車両Ａｍの位置の後方であって、画像中では仮想車両Ａｍと同じ位置になること、である。
【００４７】
領域設定部２１は、次に、自車両座標系での時刻Ｔ及び時刻Ｔ＋ΔＴにおける各仮想背景の位置を算出する、言い換えると、ステップ１４ｂで定めた地図座標系の各仮想背景の位置を自車両座標系に変換する（Ｓ１５ｂ）
次に、地図座標系で示される仮想背景位置を自車両座標系に変換する方法について説明する。この変換処理も、前述のステップ１５ａでの変換処理と基本的に同様である。
【００４８】
ここで、時刻Ｔにおける地図座標系での自車両の三次元位置Ｃm(T)とし、時刻Ｔ+ΔＴにおける地図座標系での自車両の三次元位置Ｃm(T+ΔT)とし、地図座標系での仮想背景の三次元位置Ｂmとする。これらＣm(T)、 Ｃm(T+ΔT)、Ｂmの座標値のそれぞれを、同次座標系形式で示すと、以下のようになる。
【００４９】
Ｃｍ(T)＝（Ｃｍ(T)ｘ，Ｃｍ(T)y，Ｃｍ(T)z，１）
Ｃｍ(T)＝（Ｃｍ(T+ΔT)ｘ，Ｃｍ(T+ΔT)y，Ｃｍ(T+ΔT)z，１）
Ｂｍ＝（Ｂｍｘ，Ｂｍy，Ｂｍz，１）
地図座標系での仮想背景の三次元位置Ｂmを時刻Ｔにおける自車両座標系の三次元位置Ｂc(T)に変換する場合には、以下の数５で変換できる。
【００５０】
Ｂc(T)＝R(T)（Ｂm−Ｃm(T)）・・・・・・・・・・・・・・・・（数５）
また、地図座標系での仮想背景の三次元位置Ｂmを時刻Ｔ+ΔTにおける自車両座標系の三次元位置Ｂc(T+ΔT)に変換する場合には、以下の数６で変換できる。
【００５１】
Ｂc(T)＝R(T+ΔT)（Ｂm−Ｃm(T+ΔT)）・・・・・・・・・・・・（数６）
領域設定部２１は、次に、自車両座標系での時刻Ｔから時刻Ｔ+ΔＴまでの仮想背景Ｂmの移動量ＭＢcを以下の数（７）で求める（Ｓ１６ａ）。
【００５２】
ＭＢc＝Ｂc(T+ΔT)−Ｂc(T)・・・・・・・・・・・・・・・・・・（数７）
なお、仮想背景の移動量ＭＢcは、スカラー量ではなく、自車両座標系でのベクトル量である。
【００５３】
以上のステップ１５ｂ及びステップ１６ｂの処理は、いずれも、ステップ１４ｂで設定した全仮想背景に対して実行する。
【００５４】
領域設定部２１は、次に、ステップ１６ａで求めた仮想車両の移動量ＭＡcとステップ１６ｂで求めた仮想背景の移動量ＭＢcとの仮想カメラ画像内での移動量差を求める（Ｓ１７）。
【００５５】
自車両座標系での仮想車両の移動量ＭＡcと、同じく自車両座標系での仮想背景の移動量ＭＢcとの画像内での移動量差を求めるためには、自車両座標系の座標値をカメラ画像上の座標系に変換する必要がある。
【００５６】
カメラ画像上の座標系での座標値は、前述したカメラ座標系のＸ，Ｙ成分の値である。言い換えると、画像上の座標系は、Ｚ成分を省略したカメラ座標系である。
【００５７】
ここで、画像上の座標系での座標値を(ｕ，ｖ，１)Ｔとし、自車両座標系での座標値(Ｘ，Ｙ，Ｚ，１)Ｔとする。なお、これらの座標値も同次座標形式で示している。また、ここでのＴは、天地行列を表している。
【００５８】
自車両座標系での座標値(Ｘ，Ｙ，Ｚ，１)Ｔを画像上の座標系に変換は、以下に示す数８で行うことができる。
【００５９】
0004533936.tif 000003
前述したように、カメラ座標系も自車両座標系も、カメラ１のレンズ中心を原点にしているため、自車両座標系からカメラ座標系への変換には、回転移動による変換のみで、平行移動による変換はない。このため、数８で示す変換のための射影行列の４列目は、全て０となる。なお、射影行列中の各成分ｐ11，p12，…ｐ33の値は、カメラ１を自車両Ｃに固定した段階で定まる値であるため、自車両Ｃに対して、カメラ１が予め定められた位置で且つ予め定められた向きに正確に固定されるように、カメラ１の固定具を用いる必要がある。
【００６０】
以上の数８を展開すると、以下の数９となる。
【００６１】
0004533936.tif 000004
この数９をu、vで整理して、スカラーｓを消去すると、以下の数１０になる。
【００６２】
0004533936.tif 000005
この数１０により、自車両座標系での座標値(Ｘ，Ｙ，Ｚ)を、カメラ画像上の座標系での座標値(ｕ，ｖ)に変換することができる。
【００６３】
そこで、数４に示す仮想車両の移動量ＭＡc（自車両座標系でのベクトル量）、及び数７に示す仮想背景の移動量ＭＢc（自車両座標系でのベクトル量）のそれぞれに関して、数１０を利用して、カメラ画像上の座標系での仮想車両の移動量ＭＡi、カメラ画像上の座標系での仮想背景の移動量ＭＢiに変換し、以下の数１１に示すように、両者の差を求めることで、ステップ１６ａで求めた仮想車両の移動量ＭＡcとステップ１６ｂで求めた仮想背景の移動量ＭＢcとのカメラ画像内での移動量差を求めることができる（Ｓ１７）。
【００６４】
Ｄi＝ＭＢi−ＭＡi
＝（ｕB，ｖB）−（ｕA，ｖA）  ・・・・・・・・・・・・・・（数１１）
なお、このステップ１７の処理は、複数の仮想背景毎に実行される。
【００６５】
領域設定部２１は、次に、時刻Ｔ+ΔＴにおける仮想カメラ画像内の第一領域及び第二領域を定める（Ｓ１８）。
【００６６】
領域設定部２１は、まず、時刻Ｔ+ΔＴにおける仮想カメラ画像内で、複数の仮想背景毎の移動量差Ｄiが所定値THRになる箇所相互を結んで、この仮想カメラ画像内を、移動量差Ｄiが所定値THR以上の第一領域と、所定値THR未満の第二領域とに分ける。すなわち、仮想カメラ画像内を、背景に対して他車両の動きが大きな第一領域と、背景に対して他車両の動きが小さな第二領域とに分ける。なお、この所定値THRは、画像上の動きに加わる誤差成分を考慮した上で決められた値である。誤差成分には、例えば、自車両の揺れ、各種センサやカーナビゲーション装置３０からのデータの誤差等がある。仮に、これらの誤差成分を考慮せずに、閾値である所定値THRを小さくすると、第二領域が小さくなり、本来、後述のパターン認識という画像処理を施すべき第二領域の一部が、後述の画像処理が施されなくなる。これは、パターン認識による他車両の認識率を小さくする原因となる。そこで、本実施形態では、画像上の動きに加わる誤差成分を考慮した上で決められた所定値THRを用いている。
【００６７】
領域設定部２１は、続いて、第一領域を僅かに広げると共に、第二領域も僅かに広げて、両領域間に車両１台分以上の幅の重複領域を形成する。そして、領域設定部２１は、この最終的な第一領域及び第二領域の位置情報を記憶しておく。
【００６８】
領域設定部２１は、このステップ１８の処理が終了すると、再び、ステップ１１に戻る。
【００６９】
すなわち、領域設定部２１は、ΔＴ時間毎の仮想カメラ画像に対して、それぞれ、第一領域及び第二領域を定める。
【００７０】
以上で、領域内設定処理（Ｓ１０）は、終了する。
【００７１】
ここで、最終的な第一領域及び第二領域について、図８を用いて説明する。
【００７２】
例えば、自車両が直進中で、後方が直線である場合、同図（ａ）に示すように、自車両の真後ろの領域が、背景に対して他車両の動きが小さな第二領域Ｆ２となり、その両側の領域が、背景に対して他車両の動きが大きい第一領域Ｆ１となる。
【００７３】
また、自車両が直進又はカーブ中で、後方がカーブしている場合、同図（ｂ）に示すように、同図（ａ）の場合と同様に、自車両の真後ろの領域が第二領域Ｆ２になり、この両側の領域が第一領域Ｆ１になるものの、道路がカーブしており、自車両の真後ろであっても、背景に対して他車両の動きが大きくなる領域が存在することになるため、言い換えると、自車両の進行方向に対して、他車両が横方向に動く領域が大きく成るため、第二領域Ｆ２は、同図（ａ）の場合よりも小さくなり、第一領域Ｆ１は、同図（ｂ）の場合よりも大きくなる。
【００７４】
次に、図４に示すフローチャートに従って、接近車両検出処理（Ｓ２０）の詳細について説明する。
【００７５】
画像処理装置１０の領域抽出部２２は、動作開示から予め定められた時間ΔＴが経過したか否か、又は先の時間ΔＴ経過時刻から再び時間ΔＴ経過したか否か判断する（Ｓ２１）。なお、ここでの時間ΔＴは、図３におけるステップ１１の時間ΔTと同じ時間である。
【００７６】
領域抽出部２２は、時間ΔＴ経過していれば、カメラ１が画像を取得する（Ｓ２２）。ここでは、以下の説明の都合上、時刻Ｔでの画像を取得したとする。
【００７７】
領域抽出部２２は、次に、前述の領域設定処理（Ｓ１０）で記憶された時刻Ｔにおける第一領域の情報を取得し、先のステップ２２で取得したカメラ画像中から第一領域を抽出する（Ｓ２３ａ）。
【００７８】
次に、第一画像処理部２３は、第一領域を複数の領域に分割し、それぞれの領域での特徴点又はエッジ等の特徴部を抽出し（Ｓ２４ａ）、この特徴部を分割領域及び時刻Ｔと関連付けて記憶しておく（Ｓ２５ａ）。第一画像処理部２３は、続いて、時刻Ｔ−ΔＴの特徴部、つまり前回記憶した特徴部と時刻Ｔの特徴部とを、各分割領域毎に比較し（Ｓ２６ａ）、接近車両の有無を判断する（Ｓ２７ａ）。
【００７９】
例えば、図９に示すように、時刻Ｔ−ΔＴにおけるある分割領域Ｄxxの特徴部Uが時刻Ｔのときに、自車両に近づく方向に移動しているのに対して、この特徴部の周りは逆方向に移動している場合には、「接近車両有り」と判断する。すなわち、この第一画像処理部２３は、ここでは、特徴部を追跡して、特徴部の移動を検出するオプティカルフローに代表される手法を採用している。
【００８０】
第一画像処理部２３は、ステップ２７aで接近車両無しと判断した場合には、直ちに、ステップ２１に戻り、ステップ２７ａで接近車両有りと判断した場合には、「接近車両有り」の旨を出力した後（Ｓ２８ａ）、ステップ２１に戻る。
【００８１】
以上のステップ２３ａ〜ステップ２８ａの処理と並行して、又は前後して、ステップ２３ｂ〜ステップ２８ｂの処理が実行させる。
【００８２】
領域抽出部２２は、時刻Ｔにおけるカメラ画像を取得した後（Ｓ２２）、前述の領域設定処理（Ｓ１０）で記憶された時刻Ｔにおける第二領域の情報を取得し、ステップ２２で取得したカメラ画像中から第二領域を抽出する（Ｓ２３ｂ）。
【００８３】
次に、第二画像処理部２４は、この第二領域内で、記憶装置１２に記憶されている複数の形状パターンのうち、いずれかの形状パターンに近似する形状パターンを探す（Ｓ２４ｂ）。そして、いずれかの形状パターンに近似する形状パターンがあれば、この形状パターンの識別子と、この形状パターンの大きさと、この形状パターンの画像内の位置と、時刻Ｔとを関連付けて記憶しておく（Ｓ２５ｂ）。第二画像処理部２４は、続いて、時刻Ｔ−ΔＴの形状パターンと、時刻Ｔの形状パターンとを比較し（Ｓ２６ｂ）、接近車両の有無を判断する（Ｓ２７ｂ）。
【００８４】
例えば、図１０に示すように、時刻Ｔ−ΔＴにおける第二領域内のある箇所に形状パターンaに近似した形状パターンa’が有ったとする。そして、時刻Ｔにおける第二領域内で、形状パターンa’が有った位置に、又はこの位置の近くに、形状パターンaに近似した形状パターンa’’が有り、しかも、形状パターンa’’の大きさは、先の形状パターンa’よりも大きい場合には、「接近車両有り」と判断する。一方、時刻Ｔにおける第二領域内に、形状パターンaに近似した形状パターンa’’が有ったとしても、時刻Ｔ−ΔTにおける第二領域内で、形状パターンa’’が有った位置に、又はこの位置の近くに、形状パターンaに近似した形状パターンa’が無い場合や、形状パターンaに近似した形状パターンa’が有ったとしても、この形状パターンa’の大きさが形状パターンa’’の大きさ以上の場合には、「接近車両無し」と判断する。
【００８５】
第二画像処理部２４は、ステップ２７ｂで接近車両無しと判断した場合には、直ちに、ステップ２１に戻り、ステップ２７ｂで接近車両有りと判断した場合には、「接近車両有り」の旨を出力した後（Ｓ２８ｂ）、ステップ２１に戻る。
【００８６】
なお、前述したように、第一領域Ｆ１と第二領域Ｆ２とが部分的に重複するようにしているのは、実際のカメラ画像に設定した第一領域と第二領域との境界上に、他車両が存在する場合に、二つの画像処理部２３，２４のいずれによっても、この他車両を検出できなくなるのを防ぐためである。
【００８７】
以上で、接近車両検出処理（Ｓ２０）が終了する。
【００８８】
この接近車両検出処理（Ｓ２０）が終了すると、前述したように、接近車両判定部２５により、接近車両の最終的な判定処理（Ｓ３０）が行われ、この処理で接近車両有りと判定されると、接近車両がある旨が走行制御装置４やスピーカ３へ出力される。
【００８９】
以上のように、本実施形態では、車載カメラ１で得られた画像中に、背景に対する他車両Ａの動きが大きい第一領域Ｆ１と、背景に対する他車両Ａの動きが小さい第二領域Ｆ２とを設定し、第一領域Ｆ１では、この領域内の特徴部の移動から他車両Ａを検知し、第二領域Ｆ２では、パターン認識で他車両Ａを検知するので、他車両Ａの検知漏れを最小限に抑えることができる。
【００９０】
また、本実施形態では、レーザ装置２による他車両Ａの検知結果も考慮して、最終的な接近車両の有無を判定しているので、接近車両の誤検知を少なくすることができる。
【００９１】
さらに、本実施形態では、車載カメラ１で得られた画像中の道路にあたる領域のみを画像処理して、他車両Ａを検知するようにしているので、画像処理によるＣＰＵ２０の負荷を抑えることができる。
【００９２】
なお、本実施形態では、接近車両の有無を検知しているが、本発明は、これに限定されるものではなく、単に、自車両の後方に車両が存在するか否かを検知するものであってもよい。この場合、第二画像処理部２４におけるステップ２４ｂ〜ステップ２６ｂのうち、ステップ２５ｂ及びステップ２６ｂの処理を省略することができる。
【００９３】
また、本実施形態では、道路形状の特定にあたり、カーナビゲーション装置３０が保持している地図情報を用いているが、領域設定前にカメラ１で得られた画像を画像処理して、レーン認識を行い、この認識されたレーンの形状を自車両の後方の道路形状としてもよい。この場合、レーン認識する画像は、車両検知時刻における画像よりも前の画像であるため、車両検知時刻の後方の道路形状の一部を補う必要がある。この道路形状の一部を補う方法としては、車両検知時刻における自車両の車速や蛇角から補う部分を推定する方法や、地図情報から補う部分を推定する方法等がある。
【００９４】
また、本実施形態の車両は、レーダ装置３０を備えているが、このレーダ装置３０が無くても、接近車両の有無を検知できることは言うまでもない。この場合、第一画像処理部２３と第二画像処理部２４とのうち、いずれか一方から「接近車両有り」の出力があると、出力部２６は、直ちに、スピーカー３や走行制御装置４等にその旨を出力することになる。
【００９５】
さらに、本実施形態では、自車両の後方の車両検知を行うものであるが、カメラを自車両の前に前方向きに設けることで、自車両の前方の車両検知ができるようになることは、言うまでもない。
【図面の簡単な説明】
【００９６】
【図１】本発明に係る一実施形態の車両検知装置の構成を示す説明図である。
【図２】本発明に係る一実施形態の画像処理装置の動作を示すフローチャートである。
【図３】図２のフローチャート中のステップ２０の詳細を示すフローチャートである。
【図４】図２のフローチャート中のステップ３０の詳細を示すフローチャートである。
【図５】本発明に係る一実施形態における自車両座標系（同図（ａ））及びカメラ座標系（同図（ｂ））を示す説明図である。
【図６】本発明に係る一実施形態で、自車両に対する仮想車両及び仮想背景の設定を示す説明図である。
【図７】本発明に係る一実施形態で、仮想車両と仮想背景との関係を示す説明図である。
【図８】本実施形態の一実施形態で、第一領域及び第二領域を設定した仮想カメラ画像の例を示す説明図である。
【図９】本発明の一実施形態における特徴部の移動から接近車両の有無を検出する方法を示す説明図である。
【図１０】本発明の一実施形態におけるパターン認識により接近車両の有無を検出する方法を示す説明図である。
【符号の説明】
【００９７】
１：カメラ、２：レーダ装置、３：スピーカー、４：走行制御装置、５：車速センサ、１０：画像処理装置、１２：記憶装置、１３：形状パターン、１４：車両検知プログラム、２０：ＣＰＵ、２１：領域設定部、２２：領域抽出部、２３：第一画像処理部、２４：第二画像処理部、２５：接近車両判定部、２６：出力部、３０：カーナビゲーション装置
【図１】
0004533936.tif 000006
【図２】
0004533936.tif 000007
【図３】
0004533936.tif 000008
【図４】
0004533936.tif 000009
【図５】
0004533936.tif 000010
【図６】
0004533936.tif 000011
【図７】
0004533936.tif 000012
【図８】
0004533936.tif 000013
【図９】
0004533936.tif 000014
【図１０】
0004533936.tif 000015