(57)【要約】【目的】本発明は，画像センサとレーザーを用いて衝突の危険を予測・回避するシステムを提供することを目的とする。【構成】、単眼の特殊画像センサとレーザーを併用し障害物や陥没などの凹凸情報を取得することが可能であり、同様のシステムを搭載した機械であれば、出会い頭の衝突を未然に予測し、防止することを特徴とする。【選択図】        図１
2006343148.tif 000002
【特許請求の範囲】
【請求項１】
自車または他車が、ある特徴を持った形状をレーザーで地面へ照射してそれを画像センサで取得したものを、遠近差やノイズの影響を排除できるように検出する画像処理装置。
【請求項２】
画像センサから取得した点列レーザー形状とレーザー投影装置で計算された推定レーザー形状をDPマッチングにより対応付け、レーザー装置から照射された点列レーザーを決定する装置。
【請求項３】
請求項１、２を利用し、前方地面に障害物や陥没がある場合に、レーザー点列の歪みを画像センサで自動検出して凹凸情報を取得する装置。
【請求項４】
請求項１、２を利用し、同様の装置を搭載した機械の点列レーザーと交差した場合に画像処理でレーザー点列の交差を自動検出して、衝突早期認知・危険回避援助を行う装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は，画像センサとレーザーを用いて衝突の危険を予測・回避するシステムである。
【背景技術】
【０００２】
日本における交通事故発生率は今だ高いものであり、ドライバーの不注意による前方車両への衝突事故の割合が高い。その対応として各種センサを用いた衝突回避システムが提案されてきた。
【０００３】
交通事故の発生が最も多い交差点などで適応可能なＩＴＳシステムとして、見通しの悪い交差点においても、相手車両の存在を早期に認知できる装置が特許化されている。（
【特許文献１】参考）
【特許文献１】車両運転支援システム      特開  特許公開２００５−３５４９７
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上記衝突回避システムにおいては、前方に照射した光ビームを検出することにより自車の予測軌跡や他車との衝突の危険を早期に認知することができる。この場合、
光ビームはノイズに影響されず安定した検出率が求められる。また、障害物や陥没による路面の凹凸により光ビーム点列の形状が変化しても、各光ビームのＩＤを認識しなければならない。また、自車や他車の光ビームは同一の波長帯域であるが、これらは光ビームの全体形状などを考慮して自車・他車と区別して検出されるべきである。
【０００５】
しかしながら、上記衝突回避システムにおいてノイズが生じたときに遠近差やノイズの影響を除去する装置が検討されていない。また、光ビームのＩＤを判別することも検討されていないため、凹凸によるビーム点列の変化や、他車との光ビームの交差を自動認識することが困難である。
【０００６】
そこで、本発明は上記問題を解決し、道路路面上に照射した光ビームを精度良く検出し、かつ前方の障害物によるビーム点列の全体形状の変化を精度良く検出し、かつ他車両との光ビーム点列の交差を検出することにより車両衝突の危険を自動的に認識する機能を追加した、画像センサとレーザーによる衝突回避システムを提供することを課題とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するため、本発明の車両衝突回避装置は、特徴を持ったビーム形状を地面へ照射してそれを画像センサで取得したものを、遠近差やノイズの影響を排除できるように検出する画像処理装置と、画像センサから取得した点列ビーム形状とビーム投影装置で計算された推定ビーム点列形状をDPマッチングにより対応付け、ビーム投影装置から照射された点列ビームを決定する装置を備えている。ビーム装置から照射された点列ビームを決定する装置は、前方地面に障害物や陥没がある場合に、ビーム点列の歪みを画像センサで自動検出して凹凸情報を取得する機能と、同様の装置を搭載した機械の点列ビームと交差した場合に画像処理でビーム点列の交差を自動検出する機能を有している。
【０００８】
上記の画像処理による車両衝突回避装置は、光ビーム画像の他に光ビームを消去した画像を同時に取得し、この２枚の画像を比較することにより光ビーム以外のノイズを除去することができ、車両前方の状況を安定して認識することが可能である。
【０００９】
上記の画像処理による車両衝突回避装置は、ＤＰマッチングにおいて特徴的なＤＰパスを用いて計算を行うことにより、光ビームの欠落・挿入を検出し、光ビーム点列の状態を正確に認識することが可能である。
【００１０】
上記の画像処理による車両衝突回避装置は、特殊な工学フィルタを通して撮影した画像を自動で認識するため、ドライバーが目視でフィルタ画像を確認する必要がない。
【発明の効果】
【００１１】
本発明によれば、レーザー点列の描写エリアを警戒することにより、どの角度か
ら機械が接近しても衝突を察知することができ、従来の技術に比べて汎用的な衝突
回避システムを実現できる。また、交通事故で問題視されていた交差点での衝突・
前方車両への衝突という、事故率の高いシーン全てに効果が期待できる。日本の交
通事故は、交差点で起こるものが４６．５％を占めており、最も問題視されている
状況に直接効果があるので、有効的だと考えられる。
【００１２】
交差点・車線変更時・追越・前方不注意による追突などのシーンにおいて、点列の描写領域に障害物や他車両の描写点列の侵入を防ぐことにより，交差点・車線変更・追越・追突事故等を防ぐことができ，安全な交通社会が実現できる． ドライバーの利点として，自車両が走行する予想軌跡を実景の中で確認することが可能であるため，安心感を得られる．狭い道を通れるかどうかの判断や，自車両が車線のどこを走っているかを確認できるため，運転技術の向上に繋がると考えられる． 
本発明では、単眼カメラとレーザーを組み合わせることにより精度良く障害物ま
での距離・障害物の大きさなどを推定することができる。
【００１３】
レーザーの形状により路面状況を判別することができる。路面の状態に応じて駆動部などを制御して、ドライバーのための快適な運転支援につなげる。
【発明を実施するための最良の形態】
【００１４】
以下、この発明を図面に基づいて説明する。図１は本発明の実施形態の構成を示すプロトタイプ車両であり、距離測定装置として用いるカメラ一台と特殊レーザー装置とを用いた場合を示す。図１において、１が電子式カメラであり自車の前部に前方を向いて設定されており、カメラの設置位置・設置角度が指定通り一定の状態で設置されている。画像の取得は、特殊なフィルタを通した２枚の画像を取得する。１つはレーザーの周波数帯付近を強調して撮影した画像と、もう１つはレーザーの周波数帯をカットして撮影した画像である。この画像はシャッタータイミングの同期を取って得られるため、同時刻で取得される。２は車両前方に照射するレーザー投影装置であり、車両前部に前方を向いて設置されている。プロトタイプ車では、楕円形状の点列レーザーを投影するグリーンYAGレーザーを用いている。実施例では、このレーザーは可視レーザーである。レーザーは日常環境において人体に影響が無い程度に出力を落として使用する。２のレーザーはYAGレーザーでなくても、昼間の環境でも１のカメラで撮影できる光であれば、そのレーザー装置で本発明を構成することもできる。３はシステム制御装置であり、画像処理の結果を元に４のブレーキＥＣＵに停止の命令を送る。４は車両データ（ドライバー操作量と車両状態量）を３へ提供し、３からの指示により自動的にブレーキを作動する。５は画像処理装置であり、１から得られた2枚の画像を処理して車両前方の状況を把握する。前方に危険や路面状態を察知した場合はドライバーに警告を与え、３に制御信号を送信する。図２に図１の装置部分のみを示す。
【００１５】
以下、まずこの実施形態に用いる数々の演算手段と方法について説明し、それからフローチャートに基づいて全体の演算の流れを説明する。図３はレーザー投影装置（前記レーザー投影装置２に相当）が照射するレーザー点列の一例であり、式１はレーザー投影装置の設置状態を考慮し、レーザー投影位置の世界座標（ｘ, y）からカメラ座標（x’, y’）に変換する式を示している。なお、レーザー形状はハンドルの切り角と車両速度により変化し、自車が約１秒後に存在する車両領域を描画する。また、前方に障害物が存在する場合、レーザー形状は任意に変化する。
【式１】
【００１６】
2006343148.tif 000003
【００１７】
レーザー装置から投影されるレーザー点列を、特殊カメラ（図１の１に相当）で撮影する。レーザーの取得形式の簡略図を図４に示す。図４のように、一方はレーザーの周波数帯を強調するフィルタを通して撮影し（以後レーザー強調画像と呼ぶ）、昼間の輝度の高い状態でもレーザーが取得できるようにする。もう一方で、レーザーの周波数帯を消去するフィルタを通して撮影を行い（以後レーザー消去画像と呼ぶ）、レーザー強調画像との差分を取ることにより本発明のレーザー装置が投影するレーザーのみを取得する。カメラのシャッタータイミングは同期が取られており、同時刻の画像を取得することができる。
【００１８】
まず、前記の画像からレーザー形状を検出する方法について説明する。
【００１９】
レーザー検出処理の流れを図５に示す。レーザー強調画像は、特定の光のみを撮影するために比較的画像全体が暗い。そのため、特徴抽出処理を行ってからレーザー消去画像との差分を取った方が、レーザー形状が鮮明に撮影できる。実施例では、まず画像のコントラストを上げる目的で画像正規化を行う。レーザー強調画像は、画像の輝度に偏りが見られることが多いため、その傾向を考慮した式により正規化を行う。
【００２０】
正規化は、Xinが入力輝度、Xoutが出力輝度として画像の濃淡範囲を[c, d]から[a, b]に変える場合、式２のようになる。ヒストグラムの平均Ave・標準偏差σを求め、Ave±2σの範囲を正規化範囲とし、それ以下の輝度は0に設定し、それ以上の輝度は255に設定する。正規化範囲はピクセル全体の90%以上を包括するため、効率良く画像のコントラストを上げることができる。レーザー消去画像も同様に画像正規化を行う。
【式２】
【００２１】
2006343148.tif 000004
【００２２】
次に、画像の重ね合わせについて配慮する。走行中の振動により、装置内の配置にずれが生じ、レーザー強調画像とレーザー消去画像が同一シーンを撮影できていない状態が懸念される。そこで、実施例では両画像に対して特徴点抽出フィルタを施し、両画像の特徴点対応付けを行うことにより片側の画像に最適に重ねあわせるための射影変換行列を求める。実施例では、レーザー消去画像に対してこの行列で画像の座標変換を行い、レーザー強調画像に最適な状態で重ね合わせる。
【００２３】
次に、画像に対して平滑化フィルタを施す。ひび割れの多い道路や、表面がざらざらした道路では、レーザーの他に多くの雑音を検出してしまう場合がある。そこで、
画像に対して平滑化フィルタを施して画像の輝度変化を大まかなものにする。この処理により、画像の細かい雑音を消去することができる。
【００２４】
次に、両画像のエッジ検出を行う。これにより画像に撮影された特徴的な形を持つレーザーの輪郭を抽出することができる。レーザー強調画像のエッジ画像では、レーザーの形状の他に道路上の白線や文字、アスファルトのひび割れなどを検出することが考えられる。レーザー形状以外のエッジを消去するために、レーザー消去画像のエッジを利用する。レーザー消去画像のエッジには、レーザー形状以外のエッジが抽出されるので、これらのエッジ画像の差分を取ることにより、レーザー形状のみを抽出することができる。しかし、車体の振動等による画像座標のずれにより、差分を取ってもレーザー形状以外のものが残る場合がある。このような僅かなずれによるエッジノイズを除去するために、レーザー消去画像のエッジ領域を膨張させる。これにより、僅かなずれが生じても、白線などのエッジを消去することができる。（以下、この処理で得られた画像を差分画像と呼ぶ。）
差分画像からレーザー形状を検出する。検出法としては、レーザーの特徴を考慮した方法としてテンプレートマッチングなどが考えられる。図６のように、差分画像からテンプレートに類似した形状を探索する。その他の手法として、形状の輪郭、レーザーの大きさ、輝度分布などを考慮して判別することも可能である。このようにして、レーザー強調画像とレーザー消去画像からレーザーを検出する。なお、レーザーは昼間のような周辺輝度の高い状態でも、夜間でも検出することができるため、本発明は照明条件に依存しにくい。
【００２５】
この車載レーザーの状態を車載カメラで自動認識することで，車両の危険回避を実
現する。例として、もし車両前方に障害物があれば、路面に描写したレーザーは車載
カメラに歪んで映るので、それを本発明の画像処理システムで自動認識してドライバ
ーに危険を通知し、ブレーキ制御などをかける。また、自車レーザーと他車レーザー
が交差した場合、車両の衝突事故の危険性があるので、ドライバーに通知してブレー
キやハンドルを制御し、危険回避動作を行う。障害物衝突時と他車両接近時のレーザー形状の画像を図７に示す。
【００２６】
レーザーを検出後、自車領域の検出を行う必要がある。以下にその理由と検出方法を示す。
【００２７】
本発明では、同様のシステムを装備した車両との、交差点などでの衝突を事前に検出できる。衝突判定では、自車レーザーと他車レーザーの交差を検出する必要がある。そこで、常に自車領域を明確に判別することが重要である。以下、自車領域の検出方法について示す。
【００２８】
レーザー投影装置では、レーザーを照射する際、照射したレーザーの画像座標を計算する。実施例においてレーザーは２０点の点列で照射されるため、２０点分の座標を得ることができる。しかし、この座標は前方が平面であるときの画像座標であるため、以下この画像を推定座標と呼ぶことにする。この推定座標に類似した座標や配置を持つレーザー点列が自車レーザーであり、それ以外は他車レーザーであると判断できる。
【００２９】
自車領域を求めるためには、レーザー推定座標と検出座標の対応付けを行うことが必要である。そのために実施例ではＤＰマッチングを用いる。ＤＰマッチングとは、リファレンスとインプットの対応付けを行う技術である。本発明において、リファレンスは推定座標であり、インプットは検出座標になる。ここで重要となるのは、ＤＰマッチングに用いる要素とＤＰパスの設定である。本発明において、ＤＰマッチングの要素には「基準点からの距離及び方向」を用いる。手順としてはじめに、基準点を求める必要がある。画像から得られるレーザーの全体形状は、台形の形状を示す。この点列において特徴的な部分は、台形上部の角周辺である。よって、検出座標から推定座標配置と比較して、台形の角を探索する。その様子を図８に示す。類似しているとする要素としては、点同士の距離と角度に注目する。この処理により検出したレーザー検出点を台形形状の角すなわち基準点として設定する。
【００３０】
自然の輝度環境やレーザーが障害物で隠れる（オクルージョン）状態では、前記の角検出で角を検出することができない場合もある。通常は左角・右角を検出することができるが、片側しか検出できない状態や、両角とも検出できない場合に備えて条件を決めておく。両角を検出した場合は、両角を基準点とし、レーザー形状の右側、左側に分けてＤＰマッチングを行う。片側のみ角を検出できた場合は片側のみを基準点とし、レーザー形状全体に対してＤＰマッチングを行う。両角とも検出できない場合は、推定点の片側を基準点と設定して、レーザー形状全体に計算を行う。以下、角検出により検出された検出点を基準点と呼ぶ。
【００３１】
検出した基準点からの距離及び方向を各検出レーザーに対して求める。使用する要素を図９に示す。検出点における基準点からのx方向、y方向の距離をdx、dy、角度をθ、推定点の基準点からの距離をdx’、dy’、角度をθ’とすると、検出点と推定点の距離Dの計算は式３のようになる。
【式３】
【００３２】
2006343148.tif 000005
【００３３】
検出点・推定点の全ての点においてDを計算する。式３において、検出点iと推定点jを用いて計算された値をDijとし、全てのパターンにおいてDijを計算し、i行j列のマトリックスを作成する。
【００３４】
本来DPマッチングとは弾性的な性質があり，図１0のようなＤＰパスを用いる場合が多い。しかし、全体的な対応が成立するように推定点と検出点の対応付けを行ってしまうため、一般的なパスは本発明に適していない。しかし、本発明のDPでは推定点と検出点の1対1対応の関係を貴重とするために、図１1のようなDPパスを用いた。これにより、推定点と検出点の対応をほぼ完璧に行うことができる。図１1
のようなＤＰパスを用いてグローバルディスタンスを計算し、バックトレー
スすることにより推定座標と検出座標の対応付けを行う。
【００３５】
ＤＰマッチングにより推定点と検出点の対応付けを行えば、どのレーザーがどのような状態であるのかを認識することができる。例えば、レーザーが白線上に描写される場合、レーザー形状が検出できずにレーザーをロストし、レーザー形状の誤検出の原因になることがある。しかし、どの位置の点がロストしているのかを理解していれば、その部分を推定座標で補ってレーザーの全体形状を保つことができる。
【００３６】
また、推定座標と検出座標の位置を比較し、障害物検出に利用することが可能であるため、ＤＰマッチングで推定座標と検出座標を対応付けることは有効である。
【００３７】
次に、障害物検出について示す。自車レーザーの座標変化の時系列変化を観測することにより、前方の障害物を検出する。処理の流れを図１２に示す。図１２の(a)は障害物検出の流れを示している。ＤＰマッチングで自車のレーザーIDを正確に検出し、過去数フレームの間の変化を観察して各IDのレーザーの時系列変化を求める。変化を観測するのは図１２(b)の横線部である。その平均(Ave)と標準偏差(σ)を求める。計算された変化は、過去数フレーム分を図１２(c)のリングバッファに格納し、常に過去のフレーム変化を計算できるようにする。画像座標変化がAveやσから見た、図１２の(d)により、レーザー変化の許容値を超えるような大きな変化を見せた場合に，障害物と判定を行う。移動方向により凹凸を判定することも可能である。また、その変化したレーザーIDにより、車体から何メートルの位置に障害物があるかを判別することができる。さらに、変化量により障害物の大きさを推定することができる。
【００３８】
自車領域の内側に他車レーザーを検出した場合、他車両との衝突の危険性があるとして危険回避制御をかける。ＤＰマッチングにより自車領域を明確にすることができ、その中に予期しないレーザーを検出した場合、それを他車のレーザーとして判別する。
【００３９】
レーザーが現れた位置などにより、ブレーキの強弱などを制御し事故回避につなげる。
【産業上の利用可能性】
【００４０】
上述の発明は、ITSシステムとして車両の衝突を回避するシステムとして利用可能である。また，その他の移動物体に取り付け、さまざまな障害物認識・衝突回避システムとしての利用可能性がある。
【図面の簡単な説明】
【００４１】
【図１】レーザー投影装置を搭載したプロトタイプ車両
【図２】レーザー投影装置の内部構成図
【図３】レーザー形状の例
【図４】レーザー強調画像とレーザー消去画像
【図５】差分画像取得の処理フロー
【図６】テンプレートマッチングによるレーザー検出
【図７】障害物衝突時と交差時のレーザー形状
【図８】角検出
【図９】ＤＰマッチングに用いる要素抽出とローカルディスタンスの定義
【図１０】一般的に用いられる対称型ＤＰパス
【図１１】本発明で用いるＤＰパス
【図１２】障害物検出アルゴリズム
【図１】
2006343148.tif 000006
【図２】
2006343148.tif 000007
【図３】
2006343148.tif 000008
【図４】
2006343148.tif 000009
【図５】
2006343148.tif 000010
【図６】
2006343148.tif 000011
【図７】
2006343148.tif 000012
【図８】
2006343148.tif 000013
【図９】
2006343148.tif 000014
【図１０】
2006343148.tif 000015
【図１１】
2006343148.tif 000016
【図１２】
2006343148.tif 000017