(57)【特許請求の範囲】
【請求項１】
環境認識のための空間的、もしくは平面的位置情報を入力する情報入力手段と、
環境認識のための内部変数情報と、
前記位置情報を前記内部変数情報に解析的に変換する変換関数と、
前記変換関数を用いて前記位置情報を前記内部変数情報に変換させて、環境認識を行なう環境認識手段とを有する環境認識装置において、
変換関数変更手段と、
環境変化検出手段とを設けて、
該環境変化検出手段は環境に変化があることを検知し、前記変換関数変更手段は前記変換関数の変換時期周期、もしくはパラメータ、構造を変更することを特徴とする環境認識装置。
【請求項２】
前記環境認識装置は、車両の走行環境の認識に使用され、前記情報入力手段は前記車両の走行方向を撮像する撮像手段とし、前記変換関数は正規化主成分特徴量への変換関数とし、前記内部変数情報は前記正規化主成分特徴量を軸として構成された情報空間とし、
前記環境変化検出手段が環境に変化がないことを検出した場合には、前記環境認識手段は従来の変換関数を用い、画像情報を正規化主成分特徴量で張られた情報空間への変換を行なうことを特徴とする請求項１記載の環境認識装置。
【請求項３】
前記環境変化検出手段はレーザレーダを備え、
該レーザレーダで障害物が検出されないか、あるいは障害物の移動を時間的に追尾している場合は、環境に変化がないと判断することを特徴とする請求項１または２記載の環境認識装置。
【請求項４】
前記環境変化検出手段は照度センサを備え、
該照度センサによって検出された照度が急激に変化しない場合は、環境に変化がないと判断することを特徴とする請求項１〜３のいずれか１に記載の環境認識装置。
【請求項５】
前記環境変化検出手段はナビゲーション装置またはインフラ受信装置の少なくともいずれかを備え、
前記ナビゲーション装置またはインフラ受信装置の少なくともいずれかの情報から前方道路の曲率変化が生じていない場合は、環境に変化がないと判断することを特徴とする請求項１〜４のいずれか１に記載の環境認識装置。
【請求項６】
前記環境変化検出手段は走行速度センサを備え、
該走行速度センサによって検出された走行速度の平均値が数学的に有意に変化しない場合は、環境に変化がないと判断することを特徴とする請求項１〜５のいずれか１に記載の環境認識装置。
【請求項７】
前記環境変化検出手段はアクセル開度センサを備え、
該アクセル開度センサによって検出されたアクセル操作の分散値が数学的に有意に変化しない場合は、環境に変化がないと判断することを特徴とする請求項１〜６のいずれか１に記載の環境認識装置。
【請求項８】
前記環境変化検出手段はハンドル操舵角センサを備え、
ハンドルが大きく操舵されない場合は、環境に変化がないと判断することを特徴とする請求項１〜７のいずれか１に記載の環境認識装置。
【請求項９】
前記環境変化検出手段が環境に変化があることを検出した場合には、前記変換関数変更手段は画像情報を主成分分析し、新たな正規化主成分特徴量を見つけ、変換関数および情報空間を更新し、前記環境認識手段は更新された変換関数と情報空間を用いることを特徴とする請求項２〜８のいずれか１に記載の環境認識装置。
【請求項１０】
前記環境認識は、情報空間に変換された画像情報の分布により分類されたデータクラスタの分析によって行ない、
クラスタが複数でかつ情報空間を構成する正規化主成分軸の原点近傍でクラスタを検出した場合に車両に超接近物体があったと認識することを特徴とする請求項２〜９のいずれか１に記載の環境認識装置。
【請求項１１】
前記環境認識は、情報空間に変換された画像情報の分布により分類されたデータクラスタの分析によって行ない、
クラスタが１つでかつ移動していると検出した場合に先行車がなく景色のみの走行路と認識することを特徴とする請求項２〜１０のいずれか１に記載の環境認識装置。
【請求項１２】
前記環境認識は、情報空間に変換された画像情報の分布により分類されたデータクラスタの分析によって行ない、
クラスタが１つでかつ移動していないと検出した場合に自車と相対速度の小さい先行車が走行していると認識することを特徴とする請求項２〜１１のいずれか１に記載の環境認識装置。
【請求項１３】
前記環境認識は、情報空間に変換された画像情報の分布により分類されたデータクラスタの分析によって行ない、
新しいクラスタは出現せず従来のクラスタが検出できなくなった場合に先行車が視界から消失する、あるいは走行路の混雑度が軽減したと認識することを特徴とする請求項２〜１２のいずれか１に記載の環境認識装置。
【請求項１４】
前記環境認識は、情報空間に変換された画像情報の分布により分類されたデータクラスタの分析によって行ない、
多数のクラスタを検出した場合に走行路の混雑度が上昇し多数の先行車があると認識することを特徴とする請求項２〜１３のいずれか１に記載の環境認識装置。
【請求項１５】
前記環境認識は、情報空間に変換された画像情報の分布により分類されたデータクラスタの分析によって行ない、
新しいクラスタが出現し、従来のクラスタが遠方に向かって移動していると検出した場合に自車が高速に前方車群に接近していると認識することを特徴とする請求項２〜１４のいずれか１に記載の環境認識装置。
【請求項１６】
前記環境認識は、情報空間に変換された画像情報の分布により分類されたデータクラスタの分析によって行ない、
新しいクラスタが出現し、従来のクラスタが移動していないと検出した場合に先行車と自車両の間に割り込み車両が出現したと認識することを特徴とする請求項２〜１５のいずれか１に記載の環境認識装置。
【請求項１７】
前記環境変化検出手段にレーザレーダが用いられ、前記レーザレーダの検出結果と画像による環境認識の結果を照合して前記環境認識装置の作動状況を診断することを特徴とする請求項１記載の環境認識装置。
【請求項１８】
前記作動状況の診断は、前記レーザレーダが障害物を検出したとき、前記情報空間上にデータクラスタが存在しない、あるいはデータクラスタの平面的分布に時間的な連続性変化が見受けられない、またはデータクラスタの分布が空間的に相関関係をもたなくなった何れかの場合、前記環境認識装置が故障であると判断することを特徴とする請求項１７記載の環境認識装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、車両の走行環境を多変量分析によって認識する環境認識装置に関する。
【０００２】
【従来の技術】
従来より、車両の運転においては、人によらず走行を妨げる障害物を自動的に検出することが望まれている。とくに走行車などの移動体に対する検出が自動的に行なわれるようになれば、過度接近時の警報、自動ブレーキ、追尾走行といったような機能が実現でき、走行安全性が向上するとともに運転負担を軽減することができる。
【０００３】
移動体の検出装置としては、例えば特開平３−２６０８１３号公報に記載されているものがある。その構成は図９に示すように移動体の検出方向を撮像するカメラ５１と、カメラ５１の撮像画像を所定時間毎に入力する画像入力装置５２と、画像の明暗分布により検出対象域を割り出す領域分割装置５３と、割り出された検出対象域の重心と面積を計算する重心計算装置５４と、重心と面積の時間的変化から移動体を検出し、その変化具合で移動体の移動量を推定する移動量推定装置５５とからなっている。
【０００４】
また、特開昭６４−２６９１３号公報では、カメラの撮像情報において明度情報の差分処理を行なうことによってエッジを検出し、物体の輪郭として認識したうえで、エッジ情報に基づいて移動量を算出する。さらに時間的に物体の輪郭や明度が違う領域で囲まれた閉区間の重心位置や面積の変化を検出し、時間的な距離の変化に対応する重心位置の変化や面積変化の値と照合し、同一物体であることを確認して、物体をトラッキングすることが行なわれている。これにより、移動体の追尾や移動体の変化から移動速度を求めることができる。
【０００５】
しかしながら、上記両公報に示された移動体検出は、前提として明度情報の差分や閉区間領域を抽出することに主眼がおかれている。差分処理は、図１０に示すように画像を横方向走査しながら明度値の差分演算をし、差分値が得られる位置を特定する。差分値は明暗差の大きいところで検出されるので、１画面を走査したあと一定距離内という条件を設けて各差分値の検出位置を線で結べば輪郭が検出される。
【０００６】
移動体は明度差の大きい輪郭情報と明度差の低い内部情報をもっており、輪郭を鮮明に抽出できれば、とくに内部情報を扱うこともなく、情報量が減ずることで処理速度が向上する。しかし車両を取り巻く照明条件が刻々変わり、外乱光などの影響で輪郭が完全にかつ鮮明に抽出できることは少ない。よって輪郭のみを用いる画像認識は、情報量の少なさから環境変化への対応が弱く、車両に搭載して先行車の検出に使用する場合、制限を受けるなど最適な移動体検出手段とは言いがたい。
【０００７】
また明度情報から直接閉区間を抽出することは、影や外乱光などの影響を受けやすく、外乱光によって変化した明度が直接に重心や面積の変化に影響を与えるため、外乱光に対してロバスト性の低い認識ロジックとなっている問題があった。
【０００８】
このほか、テンプレートマッチングやテクシュチャマッチングなど輪郭情報に内部情報を加えた検出手法もあるが、処理時間やテンプレートに関する情報を予め用意するための処理が必要などの問題を有している。
【０００９】
こうした背景で、近年、画像情報を圧縮する技術の派生として、カメラの撮像情報を明度データの分布ととらえ、多変量解析の１つである主成分分析などを行ない、撮像情報を正規化主成分特徴量で張られた情報空間に写像し、情報空間内でのデータの挙動を解析することによって画像認識する手法が提案されている。
【００１０】
正規化主成分特徴量で構成される情報空間では、例えば周りの風景に関しての写像後のデータ分布と背景の中に割り込んできた移動体や撮像面上で情報が大きく変化しない追従車両のデータ分布が異なる。よって背景と移動体、相対的に移動が少ない物体などが変換後の正規化主成分特徴量による空間内のデータクラスタの変化によって検出できる。このような検出方法は全画像の情報が処理対象となり、照明の変化など上記従来の処理では対処不可能の画面も処理できるようになる。
【００１１】
【発明が解決しようとする課題】
しかし、上記のような多変量分析による画像認識は主として静止画像に用いられるもので自動車の走行環境認識に用いようとすると、次の問題点がある。
（１）、背景が静止している場合なら、背景に対応した変換後のデータクラスタと背景に混入した新しい動きをもった移動体の変換後のデータクラスタの分離が容易であるが、自動車の場合背景が走行に従って変化するので、正規化主成分特徴量による情報空間が時間的に一意に決まらず、よって、その変換関数も固定できない。
【００１２】
（２）、上記問題を解決するために画像毎に情報空間と変換関数を求めればよいが、演算量が多くなり時間がかかり過ぎて、通常の演算素子では車載装置に必要なリアルタイム処理ができなくなる。
（３）、また、画像の変化によって情報空間と変換関数が異なると、処理の結果によって正規化主成分の物理的な意味付けが変化してしまうことにより、変換後のデータクラスタの意味付けやデータクラスタ間の有意な差の判定が困難となる。
本発明は上記の問題点に鑑み、情報空間と変換関数を画像に変化があると認められたときのみ求め、それ以外は従来の情報空間と変換関数を用い、検出精度を損なわずに演算量を減少した環境認識装置を提供することを目的としている。
【００１３】
【課題を解決するための手段】
このため請求項１記載の発明は、環境認識のための空間的、もしくは平面的位置情報を入力する情報入力手段と、
環境認識に適用する内部変数情報と、
前記位置情報を前記内部変数情報に解析的に変換する変換関数と、
前記変換関数を用いて前記位置情報を前記内部変数情報に変換させて、環境認識を行なう環境認識手段とを有する環境認識装置において、
変換関数変更手段と、
環境変化検出手段とを設けて、
該環境変化検出手段は環境に変化があることを検知し、前記変換関数変更手段は前記変換関数の変換時期周期、もしくはパラメータ、構造を変更するものとした。
【００１４】
請求項２〜９記載の発明は、前記環境認識装置は車両の走行環境の認識に使用され、前記位置情報入力手段は前記車両の走行方向を撮像する撮像手段とし、前記変換関数は正規化主成分特徴量への変換関数とし、前記内部変数情報は前記正規化主成分特徴量を軸として構成された情報空間とし、
前記環境変化検出手段はレーザレーダ、照度センサ、ナビゲーション装置またはインフラ受信装置、走行速度センサ、アクセル開度センサ、ハンドル操舵角センサの何れか１つもしくは複数個の組み合わせを含む構成で、
前記レーザレーダで障害物が検出されない、
レーザレーダで障害物の移動を時間的に追尾している、
照度が急激に変化しない、
前記ナビゲーション装置やインフラ受信装置の情報から前方道路の変化が検出されない、
走行速度の平均値が数学的に有意に変化しない、
アクセル操作の分散値が数学的に有意に変化しない、
ハンドルが大きく操舵されない
のいずれかの場合、環境に変化がないものとして前記環境認識手段は従来の変換関数を用い、画像情報を正規化主成分特徴量で張られた情報空間への変換を行なうものとした。
環境に変化がある場合は、前記変換関数変更手段は画像情報を主成分分析し、新たな正規化主成分特徴量を見つけ、変換関数および情報空間を更新し、前記環境認識手段は更新後の変換関数と情報空間を用いる。
【００１５】
請求項１０〜１６記載の発明は、前記環境認識は、情報空間に変換された画像情報の分布により分類されたデータクラスタの分析によって行ない、
クラスタが複数でかつ情報空間を構成する正規化主成分軸の原点近傍でクラスタを検出した場合に車両に超接近物体があったと認識し、
クラスタが１つでかつ移動していると検出した場合に先行車がなく景色のみを撮像していると認識し、
クラスタが１つでかつ移動していないと検出した場合に自車と相対速度の小さい先行車が走行していると認識し、
新しいクラスタは出現せず従来のクラスタを検出できなくなった場合に先行車が視界から消失する、あるいは走行路の混雑度が軽減したと認識し、
多数のクラスタを検出した場合に走行路の混雑度が上昇し多数の先行車があると認識し、
新しいクラスタが出現し、従来のクラスタが遠方に向かって移動していると検出した場合に自車が前方車群に接近していると認識し、あるいは
新しいクラスタが出現し、従来のクラスタが移動していないと検出した場合に先行車と自車両の間に割り込み車両が出現したと認識するものとした。
【００１６】
請求項１７記載の発明は、前記環境変化検出手段にレーザレーダが用いられ、前記レーザレーダの検出結果と画像による環境認識の結果を照合して前記環境認識装置の作動状況を診断するものとした。
請求項１８記載の発明は、前記作動状況の診断は、前記レーザレーダが障害物を検出した場合、前記情報空間上にデータクラスタが存在しないとき、あるいはデータクラスタの平面的分布に時間的な連続性変化が見受けられないとき、またはデータクラスタの分布が空間的に相関関係をもたなくなたとき前記環境認識装置が故障と判断するものとした。
【００１７】
【作用】
請求項１記載の発明では、環境変化検知手段は環境変化を検知し、変換関数変更手段は変換関数を更新するようにしたので、動く環境も認識の対象とすることができる。時間毎に変換関数を求めて動く環境を認識するのと比べて、変換関数を求める演算量が大幅に減少するとともに、激しく変化する環境でも適切な変換関数を用いて画像認識することができる。
また変換関数を更新されない場合、位置情報の変換は同一条件で行なわれ、物理的意味付けによる認識が行なえるとともに、位置情報の時間的移動で高速移動体、低速移動体、固定体などの認識が可能となる。
【００１８】
請求項２〜９記載の発明では、情報入力手段としての撮像手段が車両の走行方向を撮像し、環境変化検出手段はレーザレーダ、照度センサ、ナビゲーション装置、インフラ受信装置、走行速度センサ、アクセル開度センサ、あるいはハンドル操舵角センサなどを用いて画像に変化をもたらす状況を検出するから、先行車がない走行路あるいは先行車と一定距離を保って走行している場合など環境に変化がないときは、変換関数を更新せず、従来の変換関数を流用することによって、その走行路状況が保っているかどうかの認識ができるとともに、割り込み車両の発生や曲がり道などで画像に大きな変化がある時に画像に対応した変換関数を用いて走行路状況を認識する。
その際画像情報を主成分分析し、正規化主成分特徴量の表示式を変換関数とする。内部変数情報は正規化主成分特徴量を軸とした情報空間を使用する。これによって、全画面の明度情報を利用することになり、照明の変化等の影響が排除されロバスト性の高い環境認識ができる。
【００１９】
請求項１０〜１６記載の発明では、情報空間に変換された画像情報の分布により分類されたデータクラスタの分析によって行なうから、走行環境の分析に有効で、走行路の混雑度や割り込み車両の発生、先行車への接近状態といった状況を高精度に検出できる。
【００２０】
請求項１７記載の発明では、前記環境変化検出手段にレーザレーダを用い、レーザレーダの検出結果と画像による環境認識の結果を照合して前記環境認識装置の作動状況を診断するから、装置の故障による誤認識が防止され車載装置として必要な信頼性が向上する。
請求項１８記載の発明では、作動状況の診断は、レーザレーダの検出結果とデータクラスタに対する分析の結果との照合によって行なうから、走行路状況を認識する際のクラスタ分析の結果を利用でき診断のための処理が不要で、演算負担にならない効果が得られる。
【００２１】
【発明の実施の形態】
以下、本発明を自動車の走行環境認識に適用する実施例について説明する。
まず主成分分析による走行環境認識について説明する。
主成分分析とは、情報を総合的に分析し、その特徴を表わす主成分を見つけ、情報を主成分軸に変換して特徴を読み取る処理である。
【００２２】
自動車の走行環境認識には走行環境の明度情報が用いられるから、まずカメラにより走行路を撮像する。撮像によって得られた明度情報を画像位置と対応させて撮像空間を作る。これによって二次元の平面位置に明度情報が加えられ三次元の画像情報が得られる。画像情報は画像位置に応じて幾つかのデータ集団に分け、説明変量とする。
【００２３】
説明変量からの情報を抽出するため線形の変数情報が与えられる。そしてこの変数情報から情報を損失最少に抽出するため、固有値方程式を用い、固有値方程式から、例えば値の大きい２つの固有値を取り出す。固有値は変数情報から取り出せる情報量の多さを表わしているので、２つの値の大きい固有値からは変数情報として最も多くの情報を取り出せる第１正規化主成分特徴量、第２正規化主成分特徴量が作られる。
第１主成分特徴量と第２主成分特徴量は空間的に直交し１つの情報空間を構成し、その表示式は撮像空間の情報を情報空間に変換する際の変換関数となる。
【００２４】
撮像空間の明度情報を正規化主成分特徴量で張られた情報空間に写像すれば、その情報特性に応じてデータグループとしてのクラスタが形成される。例えば周りの風景に関しての写像後のデータクラスタと背景の中に割り込んできた移動体や撮像面上の情報が大きく変化しない物体のデータクラスタ分布が異なる。よって、情報空間内のデータクラスタの時間的変化で背景と移動体、相対的に移動の少ない物体を認識することができる。
【００２５】
走行路画像は車両の走行にしたがって変化するが、先行車を追従して走行するあるいは先行車のない走行路を直進する場合、画像の変化が緩やかなので、このとき情報空間を固定すれば、情報空間での情報の時間的変化で走行路状況が続いているかどうかを認識できる。走行路画像に例えば先行車等が現われる場合、情報空間を新たに求めれば、画像の変化が大きいので、情報空間が異なってもデータの出現や分解で先行車の出現や消失を検知できる。
【００２６】
図１は装置の構成を示すブロック図である。撮像手段としてのＣＣＤカメラ１は、車両の走行環境を撮像するように図示しない車両の前方に取り付けられている。その画像信号は環境認識装置９に出力され、ここで主成分分析による画像認識が行なわれる。環境認識装置９には車両の走行制御を行なうアダプティブクルーズコントロール装置１０が接続されている。
【００２７】
アダプティブクルーズコントロール装置１０は、車両の走行を定速に制御するもので、ドライバーの操作によって設定される。走行目標速度は設定時の車両走行速度となるが、環境認識装置９での認識結果によって定速走行が出来なくなる状態では制御特性を変更し走行路状況に適合した走行制御を行う。
即ち先行車が検出される場合、走行速度を目標速度以下に低下させ車間距離管理を目標とする制御特性に変化する。車間距離の管理は走行目標速度に対応した車間距離を制御目標としてもよい。この場合車両が追尾走行となる。アダプティブクルーズコントロール装置１０には警報機能が備えられ、車速を減速制御させても先行車に近づく場合警報をし、ドライバ−にブレ−キの使用を促す。
【００２８】
環境認識装置９にはさらに走行路状況検出装置２０が接続され、その検出値に基づいて情報空間を変更するタイミングを求めている。
レーザレーダ２はＣＣＤカメラ１と同じように前方に向けて車両に取付られ、測定値は画像認識装置９に出力されるようになっている。障害物を検出していないことを示すため例えば２００ｍなどの遠方距離を出力するようになっている。
【００２９】
ナビゲーション装置３は自車両の位置を検出しデータ処理装置３０によって地図情報から走行路情報を環境認識装置９に出力する。
インフラ受信機４は走行路情報の放送を受信して走行路情報を環境認識装置９に出力する。
照度センサ５は走行環境の照度を検出し環境認識装置９に出力する。
アクセル開度センサ６と車速センサ７およびハンドル操舵角センサ８が車両の走行状態を検出し検出値を環境認識装置９に出力するようになっている。環境認識装置９はそれらの検出結果で画像変化があると認定した場合変換関数を新たに求める主成分演算を行なう。
【００３０】
図２は環境認識装置９の詳細を示す。環境変化認識部９１は走行路状況検出装置２０の検出信号あるいは信号の時間的変化から車両の走行状況を検出する。例えばレーザレーダ２の検出値から障害物があるかどうかを判断する。また障害物がある場合に時間的変化があるかどうかによってレーザレーダ２が追尾検出中かどうかを判断する。追尾検出中の場合には画像変化がないので走行路状況が変化していないと判断する。
【００３１】
トリガ信号発生部９２は環境変化認識部の認識の結果によって情報空間を求めるタイミングをトリガ信号によって主成分分析部９３に伝える。トリガ信号の発生は画像に変化があり情報空間を求める必要のあるとき行なわれるので、例えば以下の状況が検出された場合従来の情報空間を流用できるため、トリガ信号が出力されない。
【００３２】
（１）、レーザレーダ２の検出値によって障害物が検出されないあるいは障害物を追尾している場合、
（２）、ナビゲーション情報やインフラ情報から前方道路曲率の急激な変化や構築物が出現しない場合、
【００３３】
（３）、照度センサ５から照度値が急激に変化しない場合、
（４）、アクセル開度センサ６よりドライバのアクセル操作の分散値が数学的に有意に変化しない場合、
（５）、車速センサ７より走行速度の平均値が数学的意味ある変化がない場合、
（６）、ハンドルが大きく操舵されない場合、
これにより、画像に変化がないあるいは緩やに変化した場合に従来の情報空間を利用し、画像に大きな変化が現われるときのみ情報空間を再構築することになる。
【００３４】
主成分分析部９３はＣＣＤカメラ１からカメラ画像信号を入力するとともに、トリガ信号が出力されているかどうかをチェックする。トリガ信号がない場合、画像に大きな変化がないものとして従来の情報空間を利用し、トリガ信号がある場合は、画像の明度情報から主成分分析して固有値計算によって新しい情報空間を求める。撮像空間の画像情報を変換関数で情報空間に変換する。
【００３５】
クラスタ判断部９４はクラスタリング処理で情報空間での情報分布を分類してクラスタを作る。そしてクラスタの出現や分解あるいは位置の変動から走行環境を認識する。
制御信号作成部は画像認識の結果によって、アダプティブクルーズコントロール装置１０の制御特性を変更させる制御信号を出力する。これによってアダプティブクルーズコントロール機能が高められる。
【００３６】
次に図３のフローチャートに従って主成分分析部における主成分分析の流れを説明する。
まず、ステップ２０１において、ＣＣＤカメラ１から撮像画像を入力する。撮像画像は例えば横方向ｐ画素、縦方向ｎ画素で構成され、各画素に番号を与えて縦横位置を特定できるようにする。画素信号はメモリに格納される。
【００３７】
ステップ２０２においては、画素信号を画素位置と対応させて３次元の撮像空間Ｓを作る。
図４は撮像空間の構成を示す平面図である。ここで画素信号をＸｉｊとし、ｉは画像の縦方向の位置を示し、ｊは横方向の位置を示している。画素色が白ならばＸｉｊ＝０、黒ならばＸｉｊ＝１とする。グレーならば１から０の間の値とする。
【００３８】
ステップ２０３においては、トリガ信号発生部９２からトリガ信号があったか否かをチェックする。トリガ信号があった場合、情報空間と変換関数を新たに求める必要があるとしてステップ２０４へ進み、トリガ信号が無かった場合、従来の情報空間と変換関数をそのまま流用できるのでステップ２０６へ進む。
【００３９】
ステップ２０４においては、まず図４に示す撮像空間内の画素信号を横方向に画素毎に分割してｐ個のデータ集団（画素列）を作る。データ集団内にはｎ個の画素信号データが含まれる。
各データ集団ｉに対し画素信号の分散、共分散を演算するよう式（１）に基づいてＳｉｉ’を演算する。
【数１】
0003562278.tif 000002
ここで、ｉ、ｉ’はデータ集団の位置を示し、それぞれ独立に選ばれることを示している。すなわちｉ’を１からｐまでの各データ集団に対して式（１）を適用して演算を行なう。
【００４０】
各Ｓｉｉ’の演算値とデータ集団内の画素信号数ｎを式（２）に代入して分散、共分散Ｖｉｉ’を演算する。ここでｉとｉ’は同じ数字ならその画素列の分散値で、異なる数字ならそれぞれの画素列の共分散の演算値となる。
【数２】
0003562278.tif 000003
【００４１】
演算された各分散および共分散の演算値を式（３）の固有値方程式に代入し、固有値方程式を解くと、ｐ個の固有値λが得られる。
【数３】
0003562278.tif 000004
ｐ個の固有値λを、
λ１≧λ２≧…≧λｋ≧…≧λｐとすれば、
｛λｋ｝をそれを求めたＶｉｉ’の固有値に対応する。ここでｋ＝１〜ｐである。
【００４２】
このとき式（４）から、
【数４】
0003562278.tif 000005
ｌｋｉ（ｌ１１、ｌ１２、…、ｌ１ｐ、ｌ２１、ｌ２２、…、ｌ２ｐ、ｌｐ１、ｌｐ２、…、ｌｐｐ）を求めると、ｎ組の固有ベクトルが得られる。これによって、ｎ個の正規化主成分特徴量が得られるが、寄与率が７０〜８０％で画像の特徴認識ができるので、例えば式（５）に示すような第１正規化主成分特徴量と第２正規化主成分特徴量が用いられる。
【数５】
0003562278.tif 000006
ここで＊は任意行の画素信号を表示する。
【００４３】
ステップ２０５では、第１正規化主成分特徴量と第２正規化主成分特徴量を軸とした新たな情報空間を定義する。第１正規化主成分特徴量と第２正規化主成分特徴量の線形表示式は変換関数となる。
ここで前画像も同じ２つの正規化主成分特徴量であるならば、情報空間は同じで、変換関数は同じ構造としパラメータが変更されることになる。
【００４４】
ステップ２０６では、撮像空間上の情報信号Ｘｉｊを行ごとに式（５）に代入して第１正規化主成分特徴量Ｚ１、第２正規化主成分特徴量Ｚ２を演算し、撮像空間での撮像情報を情報空間へ変換する。図５は変換前後のデータの分布状態を示す。撮像空間Ｓでは物体ａ、ｂの明度情報ａｓ、ｂｓとその平面位置情報（Ｘ、Ｙ）が関数Ｆによって第１正規化主成分特徴量と第２正規化主成分特徴量で構成された情報空間Ｍに変換すると、その特徴に応じて情報空間Ｍでは異なる分布となる。
【００４５】
第１正規化主成分特徴量および第２正規化主成分特徴量の物理的意味付けによって認識できる。物理的意味付けができない場合、車両が走行にしたがったクラスタの移動や分解などで先行車の有無や割り込み車両の発生、走行路の混雑度を認識することができる。物理的意味付けは分析者の機知によって行なわれるが、クラスタの移動や分解が客観的に検知できる。
【００４６】
ステップ２０７では、情報空間上のデータに対し、データクラスタリング解析を行なう。データクラスタリング解析は従来と同じように行なう。例えばデータ間の距離によって幾つかのデータグルプに分類することができる。
ステップ２０８においては、データクラスタの時間的変化を分析して環境認識を行なう。
【００４７】
次に図６、図７のフローチャートにしたがってクラスタ判断部９４におけるクラスタ分析および制御信号作成部９５での制御信号の作成を説明する
まずステップ３０１において、クラスタがあるか否かを判定する。ない場合、ステップ３０２でＣＣＤカメラを含めた撮像部が故障と判定する。このとき制御信号作成部９５は先行車検出不能の信号をアダプティブクルーズコントロール装置１０に出力し車間距離管理不能の警報を出させてドライバーに注意を促す。
【００４８】
そしてクラスタがあると判定された場合は、ステップ３０３へ進み、ここではクラスタの数について判定を行なう。クラスタが２つ以上ある場合ステップ３０４へ進む。ステップ３０４では情報空間を構成する正規化主成分特徴量の原点近傍にクラスタが存在するかどうかを判定する。
原点の近傍にクラスタが存在するならば、画角が異常に大きい物体が検出されるので、ステップ３０５において超接近物体を検出したものと判断する。このとき制御信号作成部９５は注意を促す警報や減速制御を行なうよう制御信号をアダプティブクルーズコントロール装置１０に出力する。
【００４９】
そしてステップ３０４で原点近傍にクラスタがないと判定されればステップ３０６において新しいクラスタが出現したかどうかの判定を行なう。新しいクラスタが出現していない、かつステップ３０７でクラスタが消失したと判定されれば、前方車両がＣＣＤカメラ１の視界からなくなった、あるいは走行路の混雑度が軽減したと認識する。このとき制御信号作成部９５は車両が減速中なら車速を目標速度まで戻すよう制御信号をアダプティブクルーズコントロール装置１０に出力する。
ステップ３０７で、クラスタが消失していないと判定されれば走行状況の認識が不能としてステップ３０９において次の画像が入力されるまで判断を保留する。
【００５０】
そしてステップ３０３で１つのクラスタが存在すると判定されれば、ステップ３１０でクラスタが移動しているかどうかを判定する。クラスタが移動いているならば、ステップ３１３で前方に追従車がなく、景色のみの画像と判断する。
ステップ３１０でクラスタが移動してしないと判定されればステップ３１２で相対速度が極めて小さい近接物体を一定距離で追従していると判断する。
制御信号作成部９５は画像が景色のみの場合車両を目標速度で走行できるよう制御信号を出力する。先行車を追従しているならば制御特性を維持する制御信号を出力する。
【００５１】
ステップ３０６で新しいクラスタが出現したと判定されれば、ステップ３１４へ進む。ステップ３１４でクラスタが多数出現したと判定されればステップ３１５において前方の走行路の混雑度が上昇し多数の車両が検出されたと判定する。このとき制御信号作成部９５は車両が減速中ならそれを維持し、目標速度で走行するなら減速信号をアダプティブクルーズコントロール装置１０に出力する。
【００５２】
そしてステップ３１４での判定で多数のクラスタが出現していないならば、ステップ３１６においてクラスタが遠方に向かって移動しているか否かを判定する。移動する場合ステップ３１８で自車が早く前方車群に接近中と判断する。クラスタが移動していないならば先行車と自車の間に車両割り込みが発生したと判断する。
制御信号作成部９５は何れの場合も車両を減速するよう制御信号をアダプティブクルーズコントロール装置１０に出力する。
【００５３】
次に、主成分分析による画像認識の結果とレーザレーダの検出結果を照合してＣＣＤカメラ１と環境認識装置９からなる画像認識システムの作動状態を診断することを説明する。
この診断は図１に示すようにフェール監視装置１１を環境認識装置に接続して使用される。
フェール監視装置１１が画像認識システムが故障したと判断した場合、フェール信号を出しアダプティブクルーズコントロール機能を停止させ、車両を安全な操作に切り替える。
【００５４】
フェール監視装置１１はレーザレーダ２の検出値と主成分分析による画像認識の結果を入力して診断を行なう。
診断の原理は、レーザレーダ２で障害物が検出されたにも拘わらず、情報空間内でクラスタが長期間存在しないとき、検出結果の相反でＣＣＤカメラ１からの信号に異常があるとし、画像認識システムが故障と判断できる。これは時間的にある対象をある範囲の中に捉らえているならば、必ず情報空間内にデータのクラスタが存在するからである。
【００５５】
また、データクラスタが時間的、もしくは同一時間内でも情報空間内で分散して、ばらつく場合もＣＣＤカメラのトラブルか、霧などによる影響が考えられる。いずれにしても、正確に走行環境を認識できないため、フェール信号を発生する。
【００５６】
次に、フェール監視装置１１における診断の流れを説明する。
まずステップ４０１において、環境認識装置に入力されたレーザレーダの検出値からレーザレーダが障害物を検出したかを判定する。障害物が検出された場合、ステップ４０２においてクラスタ分析の結果を入力しクラスタが存在するならば、環境認識装置は良好として診断を終了する。
【００５７】
レーザレーダが障害物を検出しているにも拘わらずステップ４０２でクラスタが存在しないという検出結果となればステップ４０４でＣＣＤカメラを含めた撮像部が故障すると判断する。
そしてステップ４０１でレーザレーダが障害物を検出していない場合ステップ４０３へ進む。ここでクラスタの時間的変化があるかどうかを判定する。変化がなかった場合ステップ４０４で撮像部が故障と判断する。クラスタの時間的変化がある場合、ステップ４０５でクラスタ分布がランダムかどうかの判定を行なって診断を終了する。
ステップ４０５で判定でクラスタ分布がランダムであるとなれば４０６において撮像部故障もしくは視界不良と判断する。
【００５８】
本実施例は以上のように構成され、主成分分析を用いて走行路画像を認識するから、走行路状況の変化を誤検出することなく検知できる。例えば前方車両追従時に側方から車両が自車車線内に進入してきた場合、その変化を情報空間におけるデータクラスタの変化として素早く捉らえられる。これによってアダプティブクルーズコントロール装置は迅速に制御特性を変えることができ、走行路状況に適合した走行制御が行なえる。
【００５９】
また刻々の情報空間を求める演算が不要で、演算負担が軽減され、線形結合のみの処理で空間の変換ができる。リアルタイムで走行路状況を認識することができるとともに走行環境を選ばない効果が得られる。
本実施例では、アダプティブクルーズコントロール装置を制御対象としたが、これに限らず、アダプティブクルーズコントロール装置が装備されていない車両ではエンジンブレーキを制御の対象としてもよい。このとき、アダプティブクルーズコントロール装置による減速制御をエンジンブレーキで行なう。また車両が既にエンジンブレーキ中の場合、エンジンブレーキをより利くように制御する。
【００６０】
また、画像認識システムの作動状態をクラスタの分布と撮像空間における関係により、診断を行なうので、画像認識のデータをそのまま利用し、演算負担にならずに装置の作動状況を判別できる。
ＣＣＤカメラ１は撮像手段を構成している。
走行路状況検出装置２０、環境変化認識部９１、トリガ信号発生部９２は環境変化検出手段を構成している。
主成分分析部９３、クラスタ判断部９４は環境認識手段を構成している。
ステップ２０４、ステップ２０５は変換関数変更手段を構成している。
【００６１】
【発明の効果】
請求項１記載の発明では、位置情報を内部変数情報に変換して環境認識するとともに、環境変化検出手段が環境変化を検出し、その出力を変換関数を求めるタイミングとするから、環境に変化がないあるいはないと認められるとき、従来の変換関数を流用し、環境変化を認識するときの精度が維持されるとともに変換関数を求める演算が少なくなり環境認識の演算負担が軽減される。
また環境に変化がないとき変換関数を求めないから位置情報の変換は同一条件で行なわれ、物理的意味付けによる認識が行なえるとともに、内部変数情報上で位置情報の位置変化により高速移動体、低速移動体、固定体などの認識が可能となる。
【００６２】
請求項２〜９記載の発明では、撮像手段は車両の走行方向を撮像し、環境変化検出手段は画像に変化をもたらす状況を検出し、画像に変化が少ない場合正規化主成分特徴量を新たに求めず従来の情報空間を利用する。画像に変化があることが検出された場合のみ正規化主成分特徴量を求めるから、情報を総合的に認識でき、画像情報を正確に抽出でき、車載装置に求められる高速性や高信頼性が得られる。
【００６３】
請求項１０〜１６記載の発明では、情報空間に変換された画像情報の分布により分類されたデータクラスタの分析によって行なうから、走行環境の分析に有効で、走行路の混雑度や割り込み車両の発生、先行車への接近状態といった状況を高精度に検出できる。
【００６４】
請求項１７記載の発明では、前記環境変化検出手段にレーザレーダを用い、レーザレーダの検出結果と画像による環境認識の結果を照合して前記環境認識装置の作動状況を診断するから、装置の故障による誤認識が防止され車載装置として求められる信頼性が向上する。
請求項１８記載の発明では、作動状況の診断は、レーザレーダのデータクラスタの照合によって行なうから、走行路状況を認識する際のクラスタ分析の結果を利用でき診断のための処理が不要で、演算負担にならない効果が得られる。
【図面の簡単な説明】
【図１】実施例の構成を示すブロック図である。
【図２】環境認識装置の詳細を示すブロック図である。
【図３】環境認識するためのフローチャートである
【図４】画像空間の構成を示す図である。
【図５】画像情報が撮像空間と情報空間での表示の差異を示す図である。
【図６】クラスタ分析の流れを示すフローチャートである。
【図７】クラスタ分析の流れを示すフローチャートである。
【図８】装置診断のためのフローチャートである。
【図９】従来例を示すブロック図である。
【図１０】差分演算値と輪郭の関係を示す図である。
【符号の説明】
１                ＣＣＤカメラ
２                レーザレーダ
３                ナビゲーション装置
４                インフラ受信機
５                照度センサ
６                アクセル開度センサ
７                車速センサ
８                ハンドル操舵角センサ
９                環境認識装置
１０            変速装置コントローラ
１１            フェール監視装置
３０            データ処理装置
５２            画像入力装置
５３            領域分割装置
５４            重心計算装置
５５            移動量推定装置
９１            環境変化認識部
９２            トリガ信号発生部
９３            主成分分析部
９４            クラスタ判断部
９５            制御信号作成部
【図１】
0003562278.tif 000007
【図２】
0003562278.tif 000008
【図３】
0003562278.tif 000009
【図４】
0003562278.tif 000010
【図５】
0003562278.tif 000011
【図６】
0003562278.tif 000012
【図７】
0003562278.tif 000013
【図８】
0003562278.tif 000014
【図９】
0003562278.tif 000015
【図１０】
0003562278.tif 000016