(57)【特許請求の範囲】
【請求項１】
複数の視野領域からの輝度情報を抽出する輝度情報抽出手段と、
隣り合う前記視野領域間での前記輝度情報の空間的変化率を求める空間微分演算手段と、
前記各視野領域での前記輝度情報の時間的変化率を求める時間微分演算手段と、
前記空間的変化率および前記時間的変化率から前記視野領域間での移動体の動きを算出する移動体算出手段とからなり、
前記輝度情報抽出手段は、隣り合う領域が部分的に重なり合う円形状の前記視野領域からの前記輝度情報を、ガウシアン特性を有するフィルタを介して抽出することを特徴とする移動体認識装置。
【請求項２】
請求項１記載の装置において、
前記移動体算出手段は、前記空間微分演算手段により求めた前記空間的変化率の絶対値が設定基準値よりも小さい場合、前記移動体の動きの算出処理を中止することを特徴とする移動体認識装置。
【請求項３】
請求項１または２記載の装置において、
前記輝度情報抽出手段は、前記視野領域毎に設けられ、周辺部の透過率が中心部よりも低く設定された前記フィルタを構成する光学レンズと、前記光学レンズを透過した光を受光し、前記輝度情報としての電気信号に変換するフォトダイオードとからなることを特徴とする移動体認識装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、例えば、自動車などの車輌に設置した撮像装置等の画像センサによって、後方、側方より接近する他の車輌の情報を輝度情報として検出し、その情報に基づいて移動体の動きを算出する移動体認識装置に関する。
【０００２】
【従来の技術】
近年、カーエレクトロニクスの発達はめざましく、自動車等、車輌の安全な運転を支援するためのコンピュータ制御技術が種々開発されており、道路標識や周囲の物体、他の車輌等の状況をＣＣＤセンサにより撮像し、画像処理して他の車輌の動きをとらえる手法が提案されている。
【０００３】
例えば、ドライバが比較的見逃しやすい後方からの車輌の接近を想定する。車輌の接近状態を考慮せずにドライバが右左折や車線変更を行おうとすると、後続車輌は危険を回避するために制動を余儀なくされ、これによって円滑な交通が妨げられることになる。そこで、自車輌に対して接近してくる車輌の存在を予め認識する機能を実現することは、円滑な車輌運行上の面から極めて有用である。
【０００４】
このような移動体の移動状況を認識する技術は、自動車の運転のみならず、航空機や船舶など、移動体一般において広くその発展が望まれている分野であり、将来的にその適用範囲の拡大が予想される重要な技術分野である。
【０００５】
自動車の運転において、自車輌に対して、後方より接近してくる車輌の存在を検出し予めドライバに対して認識させる手法を開示した従来例としては、例えば、特開平７−５０７６９号公報に記載の技術が知られている。
【０００６】
上記の公開公報に開示された手法は、車輌後部に設置したビデオカメラ、ＣＣＤカメラ等の撮像装置により自車輌の後側景画像情報を得て、後続の走行車輌や隣接車線の走行車輌の接近による危険度を判定し、ドライバに警告を発するものであり、撮像装置により撮像した一連の後側景画像の中から、時間的に相前後する２コマの画像中に写し出される対象物体上の同一点の移動を、オプティカルフローベクトルとして検出し、その大きさと方向から危険度を判断するものである。
【０００７】
この手法において、オプティカルフローベクトルは、前画像の無限遠点ＦＯＥ（Focus of Expansion）から放射状の方向に設定した窓を、後画像において同方向に移動し、その窓に重なる後画像と、該窓の前画像における設定位置とのそれぞれの中心点間を結ぶ矢印を、着目する１点のオプティカルフローベクトルと定め、この大きさと方向により、後続車輌の速度、方向を判断するものである。
【０００８】
【発明が解決しようとする課題】
しかしながら、上記従来技術に示される車輌検出においては、撮像装置により得た画像情報から、画像認識（画像処理）を行い、後方に存在する車輌を識別した上で、時間的に相前後する２コマの画像情報中の該当車輌についてのオプティカルフローを算出する処理が必要である。
【０００９】
一般に、撮像装置により得た画像情報から、特定の、例えば後方を走行する車輌を識別するためには、高度の画像処理が必要となり、そのための処理装置としては、大量の画像情報を短時間で演算処理できる性能が要求される。特に、自動車の運転時に、自車輌に対して、後方より接近してくる車輌の存在を予め認識し、ドライバに対して適切な警告を発する機能を実現するためには、瞬時に大量のデータの処理が可能な高速演算処理装置であることが要求される。また、画像処理ソフトも高度な処理アルゴリズムを実現するものが要求され、必然的に高価な処理装置を利用しなければならないという不都合が存在していた。
【００１０】
従って、本発明は、移動体から得る情報量を目的を達成するのに必要最小限のものとし、且つ、当該必要最小限の情報を有効に利用して高精度に移動体の状況を判断することのできる移動体認識装置を提供することを目的とする。
【００１１】
【課題を解決するための手段】
前記の目的を達成するために、本発明は、物体の情報を、人間が認識するために十分な解像度を持った画像情報として捉え、その画像情報を処理して移動体を認識するのではなく、視野領域の中で物体の移動を輝度変化の情報として捉えるべく、隣り合う視野領域を部分的に重なり合わせることで移動の情報の欠落を抑え、その上で円形状の視野領域の輝度情報をガウシアン特性を有するフィルタを介して抽出することにより、移動体の動きの情報の信頼性を高めることができる。すなわち、物体の移動を確実に認識することが可能であるとともに、処理すべき情報量を少なくすることができる。
【００１２】
また、空間微分演算手段により求めた輝度情報の空間的変化率の絶対値が設定基準値よりも小さい場合、移動体の動きの算出処理を中止することで、輝度変化が小さく、信頼性の低い状態での移動体認識を回避することができる。
【００１３】
さらに、周辺部の透過率が中心部よりも低く設定された光学レンズと、前記光学レンズを透過した光を受光し、前記輝度情報としての電気信号に変換するフォトダイオードとからなる輝度情報抽出手段を前記各視野領域に対応させて設け、この輝度情報抽出手段によって輝度情報を抽出することにより、安価且つ高速度での移動体認識が可能となる。
【００１４】
【発明の実施の形態】
本発明に係る移動体認識装置について、好適な実施形態を挙げ、添付の図面を参照しながら以下詳細に説明する。
【００１５】
図１は、本実施形態の移動体認識装置の構成を示すブロック図である。図１において、移動体認識装置１０は、輝度入力装置１２と、記憶装置３０、移動体の一次元フロー算出部３２、移動体の動き検出部３６、警報判断部４０からなる演算処理装置１４とから構成されている。
【００１６】
輝度入力装置１２において、ＣＣＤカメラ２２は、例えば、車輌の後部トランクリッドの周辺に、所定の視野角で後方の物体を撮像するように設置されており、ＣＣＤカメラ２２によって撮像された画像情報は、その撮像領域（画像領域）を、一部が重なり合って連続する複数の円形状の領域ＷＸ０〜ＷＸｎに分け、それぞれガウシアンフィルタ２４Ｘ０〜２４Ｘｎを介して輝度検出回路２６に入力される。
【００１７】
ここで、前記複数の領域ＷＸ０〜ＷＸｎは、図２に示すように、所定の方向における無限遠点ＦＯＥ（Focus of Expansion）を設定し、当該無限遠点ＦＯＥに向かう軸Ｘ方向に対して複数に分割した領域とし、または、図３に示すように、軸Ｘ方向に向かう複数の系列（系列１〜系列３）において分割した複数の領域と、軸Ｘ方向に交差する他の軸方向に向かう複数の系列（系列４〜系列６）において分割した複数の領域としてもよい。
【００１８】
輝度入力装置１２の機能は、自車輌の後方に存在する物体の情報を画像情報として捉え、その画像情報を処理して物体を認識するのではなく、一定の視野の中で、移動体である特定の物体、例えば、自車輌の後方から走行してくる他の車輌の情報を、周辺の物体、周辺の環境とは異なる輝度を持つ輝度情報として捉え、所定の視野の中を分割した複数の領域における輝度情報の移動を、移動体の一次元フローとして算出するために、演算処理装置１４に入力するものである。
【００１９】
ここで、自車輌の後方から走行してくる他の車輌の情報を、周辺の物体と異なる輝度を持つ輝度情報として認識するため、本実施形態においては、後続する車輌が路面に作る影の情報を利用し、影の部分の輝度情報を当該後続車輌の情報として得る。
【００２０】
このことは、天気のよい昼間において道路を走行している場合、後続車輌が路面に作る影から得られる輝度情報は、後方道路上の周囲の輝度情報よりは一段と輝度の低い情報となるために輝度の検出が容易であり、ＣＣＤカメラ２２で検出した輝度から、移動体、すなわち、後続車輌を表す情報として検出することができ、この輝度情報に基づいて移動体の一次元フローを算出することにより、複雑な画像処理を行うことなく、車輌情報を得ることができるという考察に基づくものである。
【００２１】
なお、前記影の情報は昼間に道路を走行する場合には好適であるが、夜間の走行の場合は、車輌のヘッドライトやスモールランプから得られる輝度情報が、後方道路上の周囲の輝度情報より一段と輝度の高い情報となる。そこで、夜間においては、これらの高い輝度情報を後続車輌を表す情報として検出すると好適である。
【００２２】
ＣＣＤカメラ２２における各領域ＷＸ０〜ＷＸｎで検出される輝度情報は、ガウシアンフィルタ２４Ｘ０〜２４Ｘｎを介して検知される。ガウシアンフィルタ２４Ｘ０〜２４Ｘｎの特性は、図４に示すように、２次元平面をｉ軸、ｊ軸とし、信号の透過率を縦軸にとった場合、ある領域に入力される情報のうち、その中心部の情報はそのままとし、周辺部の情報は遮断（あるいは減衰）して出力するものであり、入力情報のうち一部をカットして出力情報を得ることにより出力情報量を少なくすることができる。
【００２３】
すなわち、本実施形態では、ガウシアンフィルタ２４Ｘ０〜２４Ｘｎを用いることにより、有意な情報の存在する確率の高い各領域の中心部の情報に対して、有意な情報の存在する確率の低い各領域の周辺部の情報を取り除く（あるいは減衰させる）ことにより、更に処理すべき情報量を減少させている。このことにより、後段の演算処理量をさらに減少させることができる。
【００２４】
ガウシアンフィルタ２４Ｘ０〜２４Ｘｎは、光学的フィルタで構成することも、電気的フィルタとして構成することも可能である。光学的フィルタの場合、ＣＣＤカメラ２２により得られる各領域ＷＸ０〜ＷＸｎ毎の画像信号（輝度情報）に対して、各領域ＷＸ０〜ＷＸｎの周辺部に近づくにつれて、輝度情報の透過量が減衰するような光学レンズを配置すればよく、電気的フィルタの場合は、各領域ＷＸ０〜ＷＸｎ毎の画像信号（輝度情報）を電気信号に変換した後、各領域ＷＸ０〜ＷＸｎの周辺部に近づくにつれて、出力を減衰させるようなフィルタ回路を配置すればよい。
【００２５】
このようにして、所定の視野内を連続する複数の領域ＷＸ０〜ＷＸｎに分割して、一定時間毎にＣＣＤカメラ２２、ガウシアンフィルタ２４Ｘ０〜２４Ｘｎ、輝度検出回路２６を介して領域ＷＸ０〜ＷＸｎ毎に検出された移動体を表す輝度情報Ｉｔ（i, j）（ｉ、ｊはＣＣＤカメラ２２の画素位置を表す。）は、その観測時刻ｔ毎に記憶装置３０に記憶される。
【００２６】
記憶装置３０に記憶された輝度情報Ｉｔ（i, j）は、一次元フロー算出部３２によって読み出される。演算処理装置１４は、例えば、通常のマイクロプロセサーにより構成され、以下に説明する如き演算、制御を行うプログラムをＲＯＭに蓄積し、当該演算、制御プログラムを実行するように構成されている。
【００２７】
一次元フロー算出部３２では、記憶装置３０から読み出された各領域ＷＸ０〜ＷＸｎにおける輝度情報Ｉｔ（i, j）に基づいて、それぞれの領域ＷＸ０〜ＷＸｎ毎に、図５の一次元フロー算出部３２の処理手順を示すフローチャートに従って一次元フロー算出が行われる。
【００２８】
図５のフローチャートのステップＳ０１において、系列番号（図３参照）を初期化（系列番号＝１）し、ステップＳ０２において、系列１の領域番号を初期化（Ｘ＝０）した後、ステップＳ０３において、次の（１）式に従って積和を計算し、観測時刻ｔにおける領域Ｗｘ（領域ＷＸ０〜ＷＸｎの１つを表すものとする。）の信号Ｓ（t, x）を算出する。
【００２９】
【数１】
0003735468.tif 000002
【００３０】
なお、Ｗｘ（i, j）は、画素位置（i, j）が当該領域Ｗｘに含まれる場合を１とし、含まれない場合を０とする係数である。
【００３１】
次いで、（２）式、（３）式により、信号Ｓ（t, x）の空間微分値Ｓｘ（t, x）と、時間微分値Ｓｔ（t, x）を算出する。
【００３２】
【数２】
0003735468.tif 000003
【００３３】
【数３】
0003735468.tif 000004
【００３４】
次に、ステップＳ０４において、閾値をθ1 として、（２）式により算出した空間微分値Ｓｘ（t, x）の絶対値と比較する。
【００３５】
この場合、空間微分値Ｓｘ（t, x）の絶対値が閾値θ1 以下という状態は、隣接する領域Ｗｘにおいて閾値θ1 よりも輝度変化の大きい状態が検出されないことを表している。すなわち、算出された空間微分値Ｓｘ（t, x）に基づく一次元フローの信頼性が低く、これに基づく一次元フロー演算や移動体の動き検出が無意味であることを示している。
【００３６】
一方、空間微分値Ｓｘ（t, x）の絶対値が閾値θ1 以上という状態は、隣接する領域Ｗｘにおいて閾値θ1 よりも輝度変化の大きい状態が検出されたことを表している。すなわち、空間微分値Ｓｘ（t, x）に基づく一次元フローの信頼性が十分に確保できているため、これに基づく一次元フロー演算や移動体の動き検出の信頼性が高いことを示している。
【００３７】
そこで、一次元フロー算出部３２では、先ず、設定した閾値θ1 と空間微分値Ｓｘ（t, x）の絶対値とを比較し、後続の移動体の動きに変化があるか否かを検出し、変化が検出された場合に一次元フローを算出する。
【００３８】
すなわち、｜Ｓｘ（t, x）｜≧θ1 の場合、動きに変化のある移動体が存在するものとして、次の（４）式によりその一次元フローＶ（t, x）を算出する（ステップＳ０５）。
【００３９】
【数４】
0003735468.tif 000005
【００４０】
ステップＳ０６において、輝度入力領域番号が最終でなければ、ｘ＝ｘ＋１とし（ステップＳ０７）、ステップＳ０３に戻り最後の領域番号まで前記の処理を繰り返し、ステップＳ０８において、系列が最終でなければ、系列番号＝系列番号＋１とし（ステップＳ０９）、ステップＳ０２に戻り最後の系列まで前記の処理を繰り返す。
【００４１】
このようにして移動体の一次元フローＶ（t, x）が算出された後、移動体の動き検出部３６において移動体の動きが検出される。
【００４２】
すなわち、図６のフローチャートのステップＳ１１において、自車速度信号が入力され、入力された自車速度信号に基づいて、ステップＳ１２において、静止物体、例えば、道路上の白線パターン（中央分離線や車線分離線）が生ずるであろう一次元フローＶｅ（t, x）を推定値として算出する。
【００４３】
次いで、ステップＳ１３において、各領域Ｗｘにおいて算出された移動体の一次元フローＶ（t, x）と、道路上のパターンが生ずるであろう一次元フローＶｅ（t, x）との比較を行う。比較結果がＶ（t, x）≧Ｖｅ（t, x）である場合は、自車輌に「近づく移動体あり」、すなわち、後続車輌があると判断し（ステップＳ１４）、Ｖ（t, x）≧Ｖｅ（t, x）でない場合は、自車輌から「遠ざかる移動体あり」、すなわち、後続車輌があると判断する（ステップＳ１５）。
【００４４】
ここで、比較結果がＶ（t, x）≧Ｖｅ（t, x）であり、自車輌に「近づく移動体あり」、すなわち、後続車輌がある場合、移動体の一次元フローＶ（t, x）の大きさが、相対速度の大きさ、すなわち、後続車輌と自車輌の相対速度の大きさを示すこととなり、一次元フローＶ（t, x）の値が大きい程、自車輌への接近速度が大となり、これに基づいて、危険度を判断し、警報判断部４０において、ドライバに警報を発する。
【００４５】
なお、上述した実施形態では、輝度入力装置１２をＣＣＤカメラ２２によって構成したが、図７および図８に示すように、連続する複数の視野方向に向けて配列したガウシアン特性を有する複数の光学レンズ５０およびフォトダイオード５２を、球体の一部を構成するハウジング５４に収納配置して構成することも可能である。この場合、光学レンズ５０からなる光学的フィルタが加えられているので、ＣＣＤカメラ２２を用いた場合よりも情報処理量を削減し、ＣＣＤカメラ２２を用いた場合のような毎秒３０フレーム程度の処理よりも遙かに高速な処理、例えば、毎秒１０００フレーム以上の処理が可能となる。
【００４６】
以上説明したように、本発明に係る移動体認識装置１０は、複数の視野領域（ＷＸ０〜ＷＸｎ）からの輝度情報（Ｉｔ（i, j））を抽出する輝度情報抽出手段（輝度入力装置１２）と、隣り合う視野領域（ＷＸ０〜ＷＸｎ）間での輝度情報（Ｉｔ（i, j））の空間的変化率（空間微分値Ｓｘ（t, x））を求める空間微分演算手段（一次元フロー算出部３２）と、各視野領域（ＷＸ０〜ＷＸｎ）での輝度情報（Ｉｔ（i, j））の時間的変化率（時間微分値Ｓｔ（t, x））を求める時間微分演算手段（一次元フロー算出部３２）と、空間的変化率（空間微分値Ｓｘ（t, x））および時間的変化率（時間微分値Ｓｔ（t, x））から視野領域（ＷＸ０〜ＷＸｎ）間での移動体の動きを算出する移動体算出手段（移動体の動き検出部３６）とからなり、前記輝度情報抽出手段（輝度入力装置１２）が、隣り合う領域が部分的に重なり合う円形状の視野領域（ＷＸ０〜ＷＸｎ）からの輝度情報（Ｉｔ（i, j））を、ガウシアン特性を有するフィルタ（２４Ｘ０〜２４Ｘｎ）を介して抽出することを特徴とする。
【００４７】
また、本発明に係る移動体認識装置１０は、移動体算出手段（移動体の動き検出部３６）が、空間微分演算手段（一次元フロー算出部３２）により求めた空間的変化率（空間微分値Ｓｘ（t, x））の絶対値が設定基準値（閾値θ1 ）よりも小さい場合、移動体の動きの算出処理を中止することを特徴とする。
【００４８】
さらに、本発明に係る移動体認識装置１０は、輝度情報抽出手段（輝度入力装置１２）が、視野領域（ＷＸ０〜ＷＸｎ）毎に設けられ、周辺部の透過率が中心部よりも低く設定されたフィルタを構成する光学レンズ（５０）と、前記光学レンズ（５０）を透過した光を受光し、前記輝度情報（Ｉｔ（i, j））としての電気信号に変換するフォトダイオード（５２）とからなることを特徴とする。
【００４９】
【発明の効果】
以上のように、本発明に係る移動体認識装置は、物体の情報を画像情報として捉え、その画像情報を処理して移動体を認識するのではなく、部分的に重なり合う複数の円形状の視野領域の中で、移動体を表す情報を、周辺の物体と異なる輝度を持つ輝度情報として捉え、各視野領域間の輝度情報の移動を一次元フローとして算出し、物体の移動の状態を判断するように構成したため、演算処理において処理すべき情報量を大幅に削減することができる。
【００５０】
この場合、前記複数の視野領域は、所定の方向における無限遠点に向かう軸方向に対して分割された視野領域、さらには、前記軸方向に交差する方向に対して分割された視野領域として設定することで、情報量の削減並びに処理の高速化を達成することができる。なお、隣接する視野領域に所定の重なりを持たせることにより、より精度の高い一次元フローを得ることができる。
【００５１】
また、ガウシアン特性を有するフィルタを用いることにより、有意な情報の存在する確率の高い各視野領域の中心部の情報に対して、有意な情報の存在する確率の低い各視野領域の周辺部の情報を取り除き、処理すべき情報量をさらに減少させることができる。
【００５２】
この結果、演算能力の低い、安価な処理装置を用いて移動体認識装置を構成することが可能となる。
【図面の簡単な説明】
【図１】本発明に係る移動体認識装置の構成を示すブロック図である。
【図２】輝度入力装置において撮像する複数の領域を説明するための図である。
【図３】輝度入力装置において撮像する複数の領域を説明するための図である。
【図４】ガウシアンフィルタの特性を示す図である。
【図５】一次元フロー算出部の処理手順を示すフローチャートである。
【図６】移動体の動き検出部の処理手順を示すフローチャートである。
【図７】輝度入力装置の他の実施形態を示す概略斜視図である。
【図８】図７に示す輝度入力装置の断面構成図である。
【符号の説明】
１０…移動体認識装置            １２…輝度入力装置（輝度情報抽出手段）
１４…演算処理装置              ２２…ＣＣＤカメラ
２４Ｘ０〜２４Ｘｎ…ガウシアンフィルタ
２６…輝度検出回路              ３０…記憶装置
３２…一次元フロー算出部        ３６…移動体の動き検出部
４０…警報判断部                ＷＸ０〜ＷＸｎ…領域
【図１】
0003735468.tif 000006
【図２】
0003735468.tif 000007
【図３】
0003735468.tif 000008
【図４】
0003735468.tif 000009
【図５】
0003735468.tif 000010
【図６】
0003735468.tif 000011
【図７】
0003735468.tif 000012
【図８】
0003735468.tif 000013