(57)【要約】【課題】自車両の走行に障害となる物体や事象のみを学習対象情報として自動的に正確に取得する。【解決手段】自車両の走行状態を示す車両情報を取得して時系列に記憶するとともに（Ｃ１）、車載センサから自車両周囲の状況に関する情報を取得して時系列に記憶し（Ｃ２）、車両情報から自車両の回避行動を抽出し（Ｄ１）、自車両が回避行動をとっている間の自車両周囲の状況に関する情報から回避対象となった物体や事象の特徴量を抽出し（Ｄ３）、抽出した特徴量を学習対象情報とする。【選択図】図１
2007334554.tif 000002
【特許請求の範囲】
【請求項１】
自車両の走行状態を示す車両情報を取得して時系列に記憶する車両情報取得・記憶手段と、
前記車両情報取得・記憶手段に時系列に記憶されている車両情報から自車両の回避行動を抽出する回避行動抽出手段と、
車載センサから自車両周囲の状況に関する情報を取得して時系列に記憶するセンサ情報取得・記憶手段と、
自車両が前記回避行動をとっている間の前記センサ情報取得・記憶手段に記憶されている自車両周囲の状況に関する情報から、回避対象となった物体や事象の特徴量を抽出する特徴量抽出手段とを備え、
前記特徴量抽出手段により抽出した特徴量を学習対象情報とすることを特徴とする障害物検出装置。
【請求項２】
請求項１に記載の障害物検出装置において、
前記回避行動抽出手段により抽出した回避行動に緊急度を設定する緊急度設定手段を備え、
前記特徴量抽出手段は、前記緊急度設定手段により設定した緊急度に応じて前記特徴量を抽出することを特徴とする障害物検出装置。
【請求項３】
請求項１または請求項２に記載の障害物検出装置において、
前記緊急度設定手段は、舵角の角速度、ブレーキペダルの操作量、車両前後方向Ｇ、車両横方向Ｇの発生量、車両の移動軌跡、車速、方向指示器の動作状態、ワイパーの動作状態、前照灯の点灯状態、物体の識別結果の内のいずれか一つ以上の情報に基づいて回避行動の緊急度を設定することを特徴とする障害物検出装置。
【請求項４】
請求項２または請求項３に記載の障害物検出装置において、
前記緊急度設定手段により設定した回避行動の緊急度に応じて前記学習対象情報の優先順位を決定する優先順位決定手段を備えることを特徴とする障害物検出装置。
【請求項５】
請求項２〜４のいずれか１項に記載の障害物検出装置において、
前記緊急度設定手段により設定した回避行動の緊急度に応じて前記学習対象情報の重み付けを行う重み付け手段を備えることを特徴とする障害物検出装置。
【請求項６】
請求項１〜５のいずれか１項に記載の障害物検出装置において、
前記特徴量抽出手段は、前記自車両の回避行動の直前における自車両の走行経路を予測し、その予測経路上の特徴量を学習対象情報として抽出することを特徴とする障害物検出装置。
【請求項７】
請求項１〜６のいずれか１項に記載の障害物検出装置において、
前記学習対象情報を取得したことを運転者に報知する報知手段を備えることを特徴とする障害物検出装置。
【請求項８】
請求項１〜７のいずれか１項に記載の障害物検出装置において、
運転者により前記学習対象情報の採用可否を選択可能としたことを特徴とする障害物検出装置。
【請求項９】
自車両の走行状態を示す車両情報を取得して時系列に記憶するとともに、車載センサから自車両周囲の状況に関する情報を取得して時系列に記憶し、前記車両情報から自車両の回避行動を抽出し、自車両が回避行動をとっている間の前記自車両周囲の状況に関する情報から回避対象となった物体や事象の特徴量を抽出し、抽出した特徴量を学習対象情報とすることを特徴とする障害物検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、障害検出物装置および障害物検出方法に関する。
【背景技術】
【０００２】
エッジ情報が左右対称になっている部位を車両として検出し、その検出結果から学習対象となるデータの切り出しを行うことによって、学習におけるサンプルの切り出しを自動化して省力化を図るようにした車両検出装置が知られている（例えば、特許文献１参照）。
【０００３】
この出願の発明に関連する先行技術文献としては次のものがある。
【特許文献１】特開２００１−００５９７９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
通常、学習を利用した認識アルゴリズムにより障害物の検出を行う場合には、多くの学習サンプルを手作業で用意する必要があり、膨大な工数を要する。上述した従来の車両検出装置では、この問題を解決するために学習対象を自動的に取得するようにしているが、エッジ抽出により対象物である車両を正しく認識できない場合には学習の効果が低下するという問題がある。また、上記従来装置では学習対象物を車両に限定しており、サンプル抽出に利用するアルゴリズムの性能次第ではサンプルの質が左右されてしまうという問題がある。
【課題を解決するための手段】
【０００５】
自車両の走行状態を示す車両情報を取得して時系列に記憶するとともに、車載センサから自車両周囲の状況に関する情報を取得して時系列に記憶し、車両情報から自車両の回避行動を抽出し、自車両が回避行動をとっている間の自車両周囲の状況に関する情報から回避対象となった物体や事象の特徴量を抽出し、抽出した特徴量を学習対象情報とする。
【発明の効果】
【０００６】
本発明によれば、自車両の走行に障害となる物体や事象のみを学習対象情報として自動的に正確に取得することができる。
【発明を実施するための最良の形態】
【０００７】
《発明の第１の実施の形態》
図１は第１の実施の形態の構成を示す図である。第１の実施の形態の障害物検出装置は、車両時系列情報蓄積部Ｃ１とセンサ時系列情報蓄積部Ｃ２とを備えたメモリ部Ｃと、回避状態検出部Ｄ１、緊急度算出部Ｄ２、特徴量抽出部Ｄ３および学習優先順位決定部Ｄ４を備えた演算部Ｄと、学習器Ｅ１とから構成される。メモリ部Ｃには、バッテリーバックアップされたＲＡＭや読み書き可能なＣＤ、ＤＶＤ、ＨＤなどの各種記憶装置を用いることができる。また、演算部Ｄおよび学習器Ｅ１はそれぞれマイクロコンピューターとメモリなどの周辺部品を備え、マイクロコンピューターのソフトウエア形態により構成される。
【０００８】
メモリ部Ｃの車両時系列情報蓄積部Ｃ１は、車両の車速、舵角と舵角の角速度、アクセルペダルの操作量、ブレーキペダルの操作量、方向指示器の状態、ワイパーの動作状態、前照灯の点灯状態、車両の前後方向Ｇと横方向Ｇなど、車両の走行状態を示す車両情報Ａを時系列データとして記憶する。
【０００９】
メモリ部Ｃのセンサ時系列情報蓄積部Ｃ２は、車両に搭載された各種センサーにより検出された車両周囲の状況と車両位置を示すセンサ情報Ｂを時系列データとして記憶する。車両に搭載されるセンサとしては、ＣＣＤなどの撮像素子を備えた輝度カメラ、温度情報を画像として取得する遠赤外線カメラ、車両周囲物体と車両との距離と周囲物体の反射強度などを計測するミリ波やレーザーレーダ、車両の位置情報を検出するＧＰＳ受信機などが含まれる。センサ情報Ｂには、これらの車載センサで検出された車両周囲の物体の大きさ、形状、位置、距離および動きや、車両の位置および移動軌跡などが含まれる。
【００１０】
回避状態検出部Ｄ１は、車両時系列情報蓄積部Ｃ１から得られる車両の走行状態を示す時系列情報から、車両が物体などを回避している回避行動を抽出する。緊急度算出部Ｄ２は、回避状態検出部Ｄ１により回避行動が検出された場合に、その回避行動がどの程度の緊急度合いを持っていたかを算出する。特徴量抽出部Ｄ３は、回避行動が検出され、その緊急度が算出され場合に、その回避行動中に得られた車両の周囲状況と位置を示すセンサ情報Ｂ（センサ時系列情報蓄積部Ｃ２）から、回避対象となった物体や事象の特徴量を抽出する。
【００１１】
学習優先順位決定部Ｄ４は、緊急度算出部Ｄ２により得られた緊急度に基づいて、特徴量抽出部Ｄ３で抽出された特徴量の学習優先順位を決定する。緊急度が高い回避行動をとったときに得られた特徴量は優先順位を高くし、逆に緊急度の低い回避行動の場合には優先順位を低くする。このようにして得られた学習データは教示信号として学習器Ｅ１へ送られる。
【００１２】
学習器Ｅ１は、一般に知られている学習手法であるＢｏｏｓｔｉｎｇや隠れマルコフモデル（ＨＭＭ）などを利用し、その結果として有効な物体・事象識別ルールＥ２を得る。
【００１３】
図２は第１の実施の形態の動作を示すフローチャートである。ステップＦ１において、ドライバが車両を運転している状況下で時系列に取得され蓄積された車両時系列情報蓄積部Ｃ１の車両情報Ａ（車両の走行状態）を参照し、車両の回避行動を抽出する。車両の車速、舵角と舵角の角速度、アクセルペダルの操作量、ブレーキペダルの操作量、方向指示器の状態、ワイパーの動作状態、前照灯の点灯状態、車両の前後方向Ｇと横方向Ｇなど、車両の走行状態を示す車両情報Ａに基づいて、車両が回避行動を行っている時間を抽出する。
【００１４】
図３により回避行動の抽出方法を説明する。例えば、舵角と車速から推定できる車両経路を観察し、所定時間の始終点における最短経路と実際の走行経路とを比較し、実際の走行経路が最短経路に対して所定量以上オフセットした経路になっている場合は、回避行動をとっていると判断する。図３において、Ｇ１で示す位置にある障害物を避けるために、Ｇ２で示す車両が破線の経路をたどってＧ２’の位置まで移動したとする。この破線で示す実際の走行経路は、車両が回避行動をとらずに直進していた場合の経路と比較してＧ３に示す分だけオフセットしており、Ｇ３が予め定めた判定基準値以上ある場合は車両が回避行動を取ったと判断する。
【００１５】
ここで、一般道路の幅は約３ｍであるから判定基準値を一般道路幅員の半分の１．５ｍとし、所定時間内で１．５ｍ以上進行方向に対してオフセットした場合には回避行動をとったと判断する。また、方向指示器の操作がない状態で減速Ｇ（車両前後方向Ｇ）が発生した場合、所定値以上の車両横方向Ｇが発生した場合、操舵角の角速度が所定値以上の場合も、回避行動をとったと判断する。さらに、車両の理想的な走行経路を予め演算しておき、その走行経路との差が所定値より大きくなった場合に回避行動をとったと判断する。
【００１６】
図３において、車両の向きをＧ４に示す矢印で表す。また、車両がＧ２の位置にあるときに、Ｇ２の直前までの所定距離範囲または所定時間範囲Ｇ５における車両の向きを車両の直進方向と定義する。さらに、回避行動を取った後に車両がＧ２’の位置に到達したとする。車両の向きが、Ｇ２の位置における車両の向きに対して所定の誤差範囲内に収まり、かつ、その状態がＧ６に示す所定距離範囲または所定時間範囲で継続した場合に、Ｇ２’を回避行動の終点とし、車両がＧ２からＧ２’の間で回避行動を取ったと判断する。
【００１７】
回避の状況によっては、Ｇ３の位置でオフセットしたまま車両の向きがＧ２の位置における車両の向きに保持されることも考えられるが、その場合も車両の向きをもとに回避の範囲を規定する。なお、車両の回避行動範囲の判断はこの一実施の形態に限定されず、例えば車両の理想経路を予め演算しておき、理想経路と実際の走行経路とを比較して所定距離以上の乖離が生じた範囲としてもよい。
【００１８】
また、減速Ｇを発生させて回避行動を取った場合には、車両の当初の速度に対して所定の割合、例えば３０％以上速度が変動する範囲を回避行動の範囲としてもよい。もちろんこれ以外の方法により回避行動範囲を決定しても構わない。さらに、車両速度が一定速度以下、例えば徐行となる１５ｋｍ／ｈとなってから大きな操舵角が発生する場合には、回避行動をとってから経路変更していると判断してもよい。
【００１９】
次に、ステップＦ２において回避行動の緊急度を算出する。この第１の実施の形態では、横方向Ｇと減速方向（車両前後方向）Ｇの大きさに基づいて回避行動の緊急度を求める。例えば減速方向Ｇを０．２Ｇ未満、０．４Ｇ未満、０．６Ｇ未満、０．６Ｇ以上の４段階に区分するとともに、横方向Ｇを減速方向Ｇ半分の割合、すなわち０．１Ｇ未満、０．２Ｇ未満、０．３Ｇ未満、０．３Ｇ以上の４段階に区分し、緊急度を分類する。なお、ステアリングの舵角を観察し、その回転角加速度に応じて緊急度を算出するようにしてもよい。また、車両の理想経路からの乖離に応じて緊急度を算出してもよい。
【００２０】
ステップＦ３では、算出された回避行動の実施範囲とその緊急度に基づいて学習対象とするセンサデータ（センサ情報Ｂ）の切り出し範囲を設定する。ドライバが危険を認知してからブレーキペダルを操作するまでの時間はおよそ１秒とされていることから、この第１の実施の形態では回避行動直前１秒から、回避行動終了、もしくは回避対象物のセンサデータを取得できなくなるまでの間を特徴量利用時間、すなわち学習対象とするセンサデータの切り出し範囲とする。なお、学習対象とするセンサデータ（センサ情報Ｂ）の切り出し範囲はこの一実施の形態に限定されず、例えば、単純にドライバの認知時間を学習対象の範囲としてもよいし、回避行動直前１秒から回避行動開始時点までを学習データの切り出し範囲としてもよい。
【００２１】
ステップＦ４において、学習対象とするセンサデータ（センサ情報Ｂ）をセンサ時系列情報蓄積部Ｃ２から読み出してそれぞれの情報を加工し、認識に利用する情報として特徴量を抽出する。抽出する情報としては、例えば、遠赤外線カメラから物体の温度抽出が可能であるから、周囲温度に対して高い温度を示す物体、車両のマフラーや歩行者などを領域として切り出すことが可能である。この領域の重心が時系列でどのように移動したか、面積がどのように変化したかを抽出すればよい。
【００２２】
さらに、輝度カメラの撮像画像を時系列に観察することによって、画像上での二次元の動きを示すオプティカルフローが得られる。さらに、画像のエッジやテクスチャよって物体の領域抽出をすることができる。さらにまた、レーザーやミリ波などを利用した距離センサから周囲物体との距離や反射強度を抽出し、この距離情報を利用することによって画像から抽出された領域の大きさや自車両との相対距離と位置、画像上の動きを実世界での大きさに変換することが可能になる。
【００２３】
また、センサ情報を抽出する際に、自車両との相対関係を示しているセンサから出力される未加工のデータ（車両座標系）に加え、車両情報から算出される自車両の挙動を加味し、センサから得られている情報が実世界で持つ情報（ワールド座標系）にも変換しておく。これにより、自車両の挙動に影響されない特徴量を取得することも可能になる。
【００２４】
ステップＦ５において、抽出された各種センサ情報を学習器Ｅ１へ送り、事象を抽出するために必要なパラメータを学習して物体の判別ルールを生成する。
【００２５】
ここで、学習の手法によっては対象物データの他に非対称物の教示データが必要となる場合がある。例えばＢｏｏｓｔｉｎｇの一種であるＡｄａｂｏｏｓｔでは、歩行者、非歩行者の区別を行う識別器を学習させる際に、正解である歩行者のデータを用意するとともに、木、車両、風景などの不正解のデータを用意し、学習を行う。
【００２６】
これに対応する方法として、回避行動を取っていない状態でのセンサデータをランダムに抽出し、不正解の学習データとして用意すればよい。例えば、取得されたセンサ情報をメモリに記憶していく過程で、車両直進時や道なりに走行している状態、すなわち加減速Ｇが小さく、ステアリングの操舵変移量が小さい状態でのデータをランダムに抽出し、非回避対象の教示データとする。また、回避行動を取っている範囲の前後それぞれ１０秒間のデータを不正解のデータとし、正解データと対にして取得するようにしてもよい。これ以外にも、非学習データを予め用意しておくようにしてもよい。また、非対称物のデータ取得個数は学習手法に応じて適切な個数を取得させるように設定すればよい。
【００２７】
上記のような構成とすることにより、ドライバの回避行動に対応した回避対象となる物体・事象のデータのみを自動的に取得することが可能となり、学習対象が限定されないサンプル抽出が可能になる。
【００２８】
他の実施例として、車両に搭載されたセンサの内のいずれか１個以上のセンサからの情報によって、予め歩行者や先行車などの物体の判別がなされている場合がある。このような場合は、物体判別に利用されているセンサ以外から得られるセンサ情報と、物体の判別情報をセットにして学習対象の教示データとしてもよい。このような構成をとった場合には、例えば、歩行者が複数検出された場合に、ドライバにとってどの歩行者が避けるべき歩行者となるかを回避行動をトリガーとして取得することが可能になり、センサから得られる情報によって回避すべき歩行者が持つパラメータを学習することが可能になる。
【００２９】
《発明の第２の実施の形態》
次に、第２の実施の形態を説明する。この第２の実施の形態の構成は図１に示す構成と同様であり、図示と説明を省略する。図４は第２の実施の形態の動作を示すフローチャートである。図４において、ステップＨ１〜Ｈ４の処理は図２に示すステップＦ１〜Ｆ４の処理と同様であり、図示と説明を省略する。
【００３０】
ステップＨ５において、ステップＨ２で算出された緊急度を利用して学習対象データの優先度を設定する。例えば、緊急度を算出したときの減速Ｇを使い、０．２Ｇ未満、０．４Ｇ未満、０．６Ｇ未満、０．６Ｇ以上のＧの４段階に区分し、緊急度が高い場合は検出の優先度が高い学習対象とし、緊急度が低い場合は優先度が低い学習対象とする。
【００３１】
ステップＨ６ではグループ分けされたデータごとに学習器Ｅ１で学習を行う。図５により具体的に説明すると、Ｋ１に示す障害物に対してＫ２からＫ５に示す車両がそれぞれ矢印経路のような回避行動を取ったとする。この場合には、０．２Ｇ未満の減速がＫ５に対応し、ステップＨ６−１へ進んで学習器Ｅ１によりＫ１０の判別ルールを得る。同様に、０．４Ｇ未満の減速がＫ４に対応し、ステップＨ６−２へ進んで学習器Ｅ１によりＫ９の判別ルールを得る。また、０．６Ｇ未満の減速がＫ３に対応し、ステップＨ６−３へ進んで学習器Ｅ１によりＫ８の判別ルールを得る。さらに、０．６Ｇそれ以上の減速がＫ２に対応し、ステップＨ６−４へ進んで学習器Ｅ１によりＫ７の判別ルールを得る。
【００３２】
この結果、もともと，図６(ａ)に示すような認識結果の重み付けが、学習の結果により図６(ｂ)に示すような重み付けとなるため、一番重み付けが高いＬ７’の自転車を回避すべき対象として抽出する。このようにして実際に得られた検出ルールを利用した場合には、もともと図７(ａ)に示すように検出対象が複数あってすべての対象物体を検出してしまうような場合でも、車両が矢印で示す回避経路をとろうとしている場合には、Ｍ２で示す歩行者はすでに回避する状態となっているため、Ｍ１で示す歩行者のみを回避すべき対象として検出するようになり、図７(ｂ)に示すような検出結果が得られる。
【００３３】
ここで、車両の学習タイミングがオンラインで逐次行われている場合を考える。その場合、同じ優先度を持つのに、これまでの学習結果と相反する学習対象情報が得られることがある。このような場合には、得られた学習データを別の学習対象として学習器を分けて扱い、別の検出ルールを作る。その上で、検出された教示信号の多い学習結果のほうが優先度が高い対象／事象であるとし、上位の優先度を持たせる。
【００３４】
なお、ステップＨ６における学習器の選択方法として次のような方法を用いてもよい。例えば，車両から得られたセンサ情報は、学習対象として次の３つの状況に分類することができる。（イ）自車両に向かってくる対象物（進行方向に対して自車両速度より高い相対速度を持つ）、（ロ）自車両と追従状態にある対象物（進行方向に対して自車両速度より低い相対速度を持つ）、（ハ）静止物もしくは進入する対象物（進行方向に対して自車両速度とほぼ同じ速度を持つ）、この３つの状態を別々の学習対象グループとして扱い、学習器による学習を行う。また，これら３つの状態の判断方法としては，次に示すような方法を取ればよい。
【００３５】
（イ）の場合は、対向車など、自車両との相対速度が所定の割合（例えば１５０％以上の割合で近づいてくる）より高い対象物となる。ここで、対向車の場合は，特に回避行動をとらない場合が多い。このようなデータについては、特に非学習対象として抽出する。これにより、回避行動をとるべき距離もしくはＴＴＣ(Time To Collision)を学習することが可能になる。
【００３６】
ここで、ＴＴＣとは、自車両と障害物との間の距離Ｘを、自車両と障害物との相対速度Ｖｒで除した時間（Ｘ／Ｖｒ）であり、障害物への接近を警報したり衝突を回避する際の基準となる情報で、“衝突時間”あるいは“接触時間”という。障害物までの距離Ｘだけでは接近警報や衝突回避を効果的に実施できないため、障害物との相対速度Ｖｒを考慮した障害物距離ＸとしてＴＴＣを用いる。例えば、同じ方向に同じ速度で走っている先行車のように、相対速度が０であれば先行車の距離によらず警報したり衝突回避する必要がなくなるので、障害物との相対速度Ｖｒを考慮した障害物までの距離ＸとしてＴＴＣを用いる。
【００３７】
（ロ）の場合は、自車両との相対速度が低い対象物、例えば自車両との相対速度比が±２０％程度で追従走行を行う対象物、追い越し走行を行う対象物が挙げられる。これは、対象物の違いによる場合が多いと思われるが、道路環境にも拠る場合が考えられるため、道路環境（たとえば，走行可能な道路幅）をセンサ情報やナビゲーション装置などの地図情報から同時に得ておくことによって、環境変化に対する判断の違いなどを学習することもできる。
【００３８】
（ハ）の場合（自車両速度との差が０〜＋２０％）は、撮像画像やレーダのデータ処理により予測進路と比較する。予測進路上に存在するデータから、外れていく方向に出るデータを学習対象とする．また，各センサから算出される移動ベクトルから、予測進路上に進入してくる対象物については、その予測結果を予め進路上に織り込み、織り込まれた予測結果を回避する方向に移動する場合に学習対象とする。
【００３９】
《発明の第３の実施の形態》
次に、第３の実施の形態を説明する。この第３の実施の形態の構成は図１に示す構成と同様であり、図示と説明を省略する。図８は第３の実施の形態の動作を示すフローチャートである。図８において、ステップｉ１〜ｉ４の処理は図２に示すステップＦ１〜Ｆ４の処理と同様であり、図示と説明を省略する。
【００４０】
ステップｉ５において重み付け決定処理を行う。ステップｉ２で算出された緊急度を利用し、学習対象データの重み付けを決定する。重み付けの方法としては、緊急度の高い回避行動に対しては、危険な対象物体・事象のデータであるとして少ない学習データ数でも検出性能をより高められるように、重み付けを大きく取る。逆に、緊急度の低い回避行動に対しては、発生する回数が多くて学習データも多く取れるために、重み付けを小さく取るようにする。
【００４１】
このようにして得られた学習データを、ステップｉ６の学習器Ｅ１により学習することによって、発生頻度が低い緊急度の高い事象・対象物と、発生頻度が高い緊急度の低い事象・対象物とがともに同等の検出性能を持つ検出ルールを得ることが可能になる。
【００４２】
《発明の第４の実施の形態》
上述した実施の形態では、取得する学習対象データが回避状態でのデータであることから、回避の状況によってカメラの画角やレーダの検出範囲から対象物が外れることがある。この場合は、回避行動を始めた時刻をｔとして、その直前までの車両挙動から予測される回避行動をとらなかった場合の予測進路におけるセンサ情報取得可能な領域を算出し、それと実際の回避行動におけるセンサ情報取得可能な領域とを比較し、２つの領域が重複しなくなった時点を対象物が計測領域から外れた時点と判断する。
【００４３】
図９により具体的に説明する。図９において、Ｊ１に示す障害物を回避するために、車両がＪ３に示す軌跡をたどったとする。ここで、回避直前の車両位置Ｊ２における予測進路をＪ４とする。この予測進路Ｊ４は、位置Ｊ２における車両の舵角と速度が所定時間、例えば６〜１０秒程度保持された場合に車両がとる軌跡とし、さらに余裕分として車幅の左右にそれぞれ５０ｃｍ程度を加えた幅の領域とする。この場合、Ｊ５の時点で実際の車両軌跡Ｊ３が予測進路Ｊ４の領域から外れることから、Ｊ２からＪ５までの間の情報を学習対象の範囲とすることができる。
【００４４】
なお、これ以外の方法として、センサ情報取得時点で他の物体と、回避対象物体と思われる領域が明確に分離できる場合には、該当対象物が外れる直前までのデータを学習対象とするようにしてもかまわない。
【００４５】
図１０は第４の実施の形態の動作を示すフローチャートである。図１０において、ステップＫ１〜Ｋ４の処理は図２に示すステップＦ１〜Ｆ４の処理と同様であり、また、ステップＫ５の処理は図４に示すステップＨ５の処理と同様であり、それらの処理の説明を省略する。
【００４６】
ステップＫ１〜Ｋ５までの処理で学習対象の候補情報を取得した後、ステップＫ６でドライバ（Ｋ７）に対して音声や表示、シートやステアリングホイール、ペダルの振動など、いずれか一つ以上の方法で学習候補を抽出したことを報知する。ステップＫ８において、ドライバが回避行動をとっていなかった場合や、回避行動として適切な学習対象情報が得られていないと判断した場合にはステップＫ１０へ進み、学習候補内容を破棄する。
【００４７】
ステップＫ８で回避行動として適切な学習対象情報が得られた場合はステップＫ９へ進み、学習対象の情報とする（Ｋ９）。これにより、誤った学習や、学習サンプルとして適切ではないものを排除することが可能となる。また、学習候補の選択方法としては、逆の方法をとってもよい。この場合、学習候補情報を取得し，ドライバに対してなんらかの手段により報知し， ドライバに学習に適した内容であるかを問う．ここで，ドライバが選択した情報のみを学習対象とする。
【００４８】
以上説明したように、一実施の形態によれば、自車両の走行状態を示す車両情報を取得して時系列に記憶するとともに、車載センサから自車両周囲の状況に関する情報を取得して時系列に記憶し、車両情報から自車両の回避行動を抽出し、自車両が回避行動をとっている間の自車両周囲の状況に関する情報から回避対象となった物体や事象の特徴量を抽出し、抽出した特徴量を学習対象情報とするようにしたので、自車両の走行に障害となる物体や事象のみを学習対象情報として自動的に正確に取得することができる。
つまり、運転者の回避行動をトリガーとして学習が必要となる状況を自動的に抽出することによって、複数の対象物や事象に対する学習対象情報を自動的に用意することが可能となる。また、運転者が取った行動に即した認識対象を抽出しているため、不要な対象物体や事象の学習を防止することができる。
【００４９】
また、一実施の形態によれば、自車両の回避行動に緊急度を設定し、設定した緊急度に応じて特徴量を抽出するようにしたので、適切な範囲の時系列の学習対象情報を自動的に取得することが可能になり、障害物検出のパラメータとして時系列の変化情報を利用することが可能になる。これにより、動きに特徴のある対象物や事象の検出性能を向上させることができる。
【００５０】
一実施の形態によれば、舵角の角速度、ブレーキペダルの操作量、車両前後方向Ｇ、車両横方向Ｇの発生量、車両の移動軌跡、車速、方向指示器の動作状態、ワイパーの動作状態、前照灯の点灯状態、物体の識別結果の内のいずれか一つ以上の情報に基づいて回避行動の緊急度を設定するようにしたので、簡便に緊急度を設定することができる。
【００５１】
一実施の形態によれば、設定した回避行動の緊急度に応じて学習対象情報の優先順位を決定するようにしたので、複数の障害物が検出される状況にあっても、どの障害物が一番回避すべき対象なのかを正確に判別することができる。
【００５２】
一実施の形態によれば、設定した回避行動の緊急度に応じて学習対象情報の重み付けを行うようにしたので、緊急度の高い状況に対応付けられた学習対象情報は早く学習されることになり、学習の効率化を図ることが可能になる。
【００５３】
一実施の形態によれば、自車両の回避行動の直前における自車両の走行経路を予測し、その予測経路上の特徴量を学習対象情報として抽出するようにしたので、学習対象となる情報とそうでない情報との分離を容易に行うことができる。
【００５４】
一実施の形態によれば、学習対象情報を取得したことを運転者に報知するようにしたので、どのような物体や事象を学習対象としたかを運転者に認識させることができ、どのような走行状況に対して有効なシステムなのかを確認することができる。
【００５５】
一実施の形態によれば、運転者により学習対象情報の採用可否を選択可能としたので、学習対象として適当ではない情報や、誤った学習を防止することが可能になる。
【００５６】
特許請求の範囲の構成要素と一実施の形態の構成要素との対応関係は次の通りである。すなわち、車両時系列情報蓄積部Ｃ１が車両情報取得・記憶手段を、回避状態検出部Ｄ１が回避行動抽出手段を、センサ時系列情報蓄積部Ｃ２がセンサ情報取得・記憶手段を、特徴量抽出部Ｄ３が特徴量抽出手段を、緊急度算出部Ｄ２が緊急度設定手段を、学習優先順位決定部Ｄ４が優先順位決定手段および重み付け手段をそれぞれ構成する。なお、以上の説明はあくまで一例であり、発明を解釈する際、上記の実施の形態の記載事項と特許請求の範囲の記載事項との対応関係になんら限定も拘束もされない。
【図面の簡単な説明】
【００５７】
【図１】第１の実施の形態の構成を説明する図
【図２】第１の実施の形態の動作を示すフローチャート
【図３】回避行動の判断方法を説明する図
【図４】第２の実施の形態の動作を示すフローチャート
【図５】学習の重み付けを説明する図
【図６】学習により重み付けが変わった場合を説明する図
【図７】学習により得られたルールで検出した結果を説明する図
【図８】第３の実施の形態の動作を示すフローチャート
【図９】予測進路と実際に取った進路とを比較説明する図
【図１０】第４の実施の形態の動作を示すフローチャート
【符号の説明】
【００５８】
Ａ  車両情報
Ｂ  センサ情報
Ｃ  メモリ部
Ｃ１  車両時系列情報蓄積部
Ｃ２  センサ時系列情報蓄積部
Ｄ  演算部
Ｄ１  回避状態検出部
Ｄ２  緊急度算出部
Ｄ３  特徴量抽出部
Ｄ４  学習優先順位決定部
Ｅ１  学習器
【図１】
2007334554.tif 000003
【図２】
2007334554.tif 000004
【図３】
2007334554.tif 000005
【図４】
2007334554.tif 000006
【図５】
2007334554.tif 000007
【図６】
2007334554.tif 000008
【図７】
2007334554.tif 000009
【図８】
2007334554.tif 000010
【図９】
2007334554.tif 000011
【図１０】
2007334554.tif 000012