(57)【要約】【課題】撮影画像の簡単な処理により精度よく確実に路面に垂直な障害物を認識する。【解決手段】走行する自車１の撮影手段３が撮影した略同じ路面領域についての異なる複数方向からの撮影画像を画像処理手段４の画像取得手段により取得し、画像処理手段４の微分２値化手段、膨張手段により、取得した各撮影画像を微分２値化画像に変換して線幅を広くし、さらに、画像処理手段４の演算手段、収縮手段により、膨張した画像間の異なる部分の画像を収縮して線幅を元に戻し、路面に垂直な障害物の画像部分のみが残った画像を形成し、この画像に基づき、画像処理手段４の認識手段により障害物を認識する。【選択図】図１
2009265891.tif 000002
【特許請求の範囲】
【請求項１】
走行する自車からみた複数方向の路面撮影が可能な撮影手段と、
略同じ路面領域についての前記撮影手段の異なる複数方向からの撮影画像を取得する画像取得手段と、
前記画像取得手段により取得された各撮影画像を微分して２値化する微分２値化手段と、
前記微分２値化手段の微分２値化後の各撮影画像に対して膨張処理を行う膨張手段と、
前記膨張手段の膨張処理後の各撮影画像間の異なる部分の画像を出力する演算手段と、
前記演算手段から出力された画像に対して収縮処理を行う収縮手段と、
前記収縮手段の収縮処理後の画像から路面に垂直な障害物を認識する認識手段とを備えたことを特徴とする障害物認識装置。
【請求項２】
請求項１記載の障害物認識装置において、
前記画像取得手段の取得後の各撮影画像に対して射影変換を行う射影変換手段をさらに備え、
前記射影変換手段の射影変換後の各撮影画像に基づき、前記演算手段が前記異なる部分の画像を出力することを特徴とする障害物認識装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、撮影画像を処理して自車の走行路上の障害物を認識する障害物認識装置に関する。
【背景技術】
【０００２】
従来、車両のプリクラッシュセーフティ（被害軽減や衝突回避等）を実現する場合、走行中の自車の前方や後方の障害物をどのようにして認識するかが重要である。
【０００３】
そして、前記障害物を認識する装置として、従来、自車に搭載したカメラにより一方向（例えば自車前方）を一定時間毎に撮影し、前後する２時刻の撮影画像について射影変換を施した後に差分をとり、その差分から時間ずれが生じた特徴点を検出し、これらの特徴点から動きベクトルのオプティカルフローを検出して自車前方の車両等の障害物（路面垂直物）を認識する装置が提案されている（例えば、特許文献１参照）。
【特許文献１】特許第３４６３８５８号公報（例えば、請求項１、段落［００１４］、［００４１］−［００４５］、［０１１８］、図１〜図３）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
前記特許文献１に記載の従来装置の場合、前後する２時刻の撮影画像の射影変換後の差分画像から前記動きベクトルのオプティカルフローを検出することで、道路標示等を誤認識することなく路上の障害物を検出している。この場合、自車の前方等の一方向からみた撮影画像を用いて、その画像の先行車等の障害物と自車との距離や形状の時間変化を伴う僅かな差から障害物を認識する構成であるため、前記オプティカルフローを検出する複雑な画像処理が必要であるだけでなく、障害物の認識が容易でなく、状況によっては障害物を認識できないおそれがあり、安定して確実に障害物を認識することができない問題がある。
【０００５】
そこで、本願の出願人は、走行する自車の複数方向からみた路面撮影が可能な撮影手段と、略同じ路面領域についての前記撮影手段の異なる複数方向からの撮影画像を取得する画像取得手段と、前記画像取得手段が取得した複数方向からの撮影画像に含まれた所定の監視範囲を抽出して同定する同定手段と、前記同定手段の同定結果により、前記監視範囲の撮影画像間で異なる画像部分を路面に垂直な障害物として認識する認識手段とを備えた障害物認識装置を既に出願している（特願２００７−１８６５４９号）。
【０００６】
この既出願の障害物認識装置は、例えば時刻ｔｍに撮影手段が撮影した自車前方の一定の路面領域の撮影画像（前方画像）と、自車がその路面領域を通過して時刻ｔｎに撮影手段が撮影した自車後方の略同じ路面領域の撮影画像（後方画像）とにつき、同定手段により、略同じ監視範囲を抽出してその画像の異同（濃淡の差）から路上の障害物を同定する。
【０００７】
すなわち、自車前方に障害物があれば、前方画像の監視範囲には障害物が存在するが、後方画像監視範囲には障害物が存在しない状態になる。逆に、自車後方に障害物があれば、前方画像の監視範囲には障害物が存在しないが、後方画像の監視範囲には障害物が存在する状態になる。そして、自車の前方または後方に障害物が存在するときは、前記前方画像と前記後方画像のいずれか一方の監視範囲にのみ障害物が含まれ、両画像の監視範囲の内容が大きく異なることから、前記既出願の障害物認識装置は、オプティカルフローを検出する複雑な画像処理等を行なうことなく、簡単な画像の濃淡（明暗）の差から自車の前方または後方の障害物を容易に安定して確実に認識することができる。
【０００８】
しかしながら、前記既出願の障害物認識装置の場合、例えば前方画像と後方画像は、撮影時の光の当たり具合の変化等により路面の同じ道路標示等の部分であっても濃淡が異なる。また、濃淡の差を検出する際に画像間に僅かであっても位置ずれが生じる。そのため、前記道路標示等の部分を障害物として誤認識する可能性がある。
【０００９】
本発明は、撮影画像の簡単な処理により道路標示等の部分の誤認識なく精度よく確実に障害物を認識することを目的とする。
【課題を解決するための手段】
【００１０】
上記した目的を達成するために、本願の障害物認識装置は、走行する自車からみた複数方向の路面撮影が可能な撮影手段と、略同じ路面領域についての前記撮影手段の異なる複数方向からの撮影画像を取得する画像取得手段と、前記画像取得手段により取得された各撮影画像を微分して２値化する微分２値化手段と、前記微分２値化手段の微分２値化後の各撮影画像に対して膨張処理を行う膨張手段と、前記膨張手段の膨張処理後の各撮影画像間の異なる部分の画像を出力する演算手段と、前記演算手段から出力された画像に対して収縮処理を行う収縮手段と、前記収縮手段の収縮処理後の画像から路面に垂直な障害物を認識する認識手段とを備えたことを特徴としている（請求項１）。
【００１１】
また、本願の障害物認識装置は、前記画像取得手段の取得後の各撮影画像に対して射影変換を行う射影変換手段をさらに備え、前記射影変換手段の射影変換後の各撮影画像に基づき、前記演算手段が前記異なる部分の画像を出力することを特徴としている（請求項２）。
【発明の効果】
【００１２】
請求項１の発明の場合、画像取得手段により取得された各撮影画像は、微分２値化手段により微分して２値化され、微分２値化画像に変換される。
【００１３】
そして、前記微分２値化画像は膨張手段の膨張処理によって線幅が広くなる。そのため、例えば撮影された前方画像と後方画像の同じ道路標示の部分は多少の位置ずれや濃淡差があっても、微分２値化と膨張修理とによってそれらの誤差が吸収されて略一致し、演算手段から収縮手段に出力される画像（例えば前方画像と後方画像との異なる部分の画像）は、前記道路標示の部分がほとんど消えた画像になる。
【００１４】
さらに、収縮手段の収縮処理により線幅が元に戻されることにより、収縮処理後の画像は、前記道路標示の細く残っていた部分も消え、例えば撮影された前方画像と後方画像のいずれか一方にしか存在しない車両等の路面に垂直な障害物の画像部分のみが残る。
【００１５】
そのため、認識手段により収縮手段の収縮処理後の画像から障害物を確実に認識することができ、撮影画像の簡単な処理により路面の道路標示等を誤認識することなく、精度よく確実に路面に垂直な車両等の障害物を認識することができる。
【００１６】
また、請求項２の発明によれば、射影変換手段の射影変換により、例えば前方画像と後方画像とにつき、それぞれの撮影範囲を俯瞰（鳥瞰）した画像が得られる。そのため、前方画像と後方画像との重ね合わせの処理や膨張処理等が一層容易に行える利点がある。
【発明を実施するための最良の形態】
【００１７】
つぎに、本発明をより詳細に説明するため、一実施形態について、図１〜図１０を参照して詳述する。
【００１８】
図１は自車１に搭載された障害物認識装置２のブロック構成を示し、図２は障害物認識装置２の撮像手段の構成例を示す。図３は障害物認識装置２の動作説明用のフローチャートである。図４、図５及び図７〜図１０は障害物認識装置２の処理を説明する画像例を示し、図６は射影変換の説明図である。
【００１９】
図１に示すように、車両１に搭載された障害物認識装置２は、撮影手段３と、その撮影画像を処理して同定するマイクロコンピュータ構成の画像処理手段４と、撮影画像等を書き換え自在に蓄積するデータ蓄積手段５によって構成される。
【００２０】
撮影手段３は、走行する自車１の複数方向からみた路面撮影が可能なモノクロ或いはカラーの単眼カメラからなり、撮影した時々刻々のフレーム画像（又はフィールド画像）を出力する。
【００２１】
そして、複数方向とは、自車１の前、後、左、右の全部又は一部の方向（２方向以上）であり、本実施形態においては、説明を簡単にするため、撮影手段３の撮影方向を最も実用的な自車１の前、後の２方向である。
【００２２】
また、自車１の前、後の２方向の路面撮影を行なうため、撮影手段３は図２に示すように、例えば自車１の前方監視用のインナミラー前方の単眼カメラ３ａと、後方監視用のバックドア上方の単眼カメラ３ｂとからなる。
【００２３】
なお、両単眼カメラ３ａ、３ｂは同じものであり、例えば動画像を１／３０秒間隔で静止画に切り分けて出力する。また、単眼カメラ３ａ、３ｂの設置角度は、射影変換を行った時に車両脇の白線が多く使えるように、無限遠点を画像上部に含む角度に設定される。
【００２４】
つぎに、画像処理手段４は本発明の画像取得手段、射影変換手段、微分２値化手段、膨張手段、演算手段、収縮手段、認識手段を形成し、自車１の走行中に図３のステップＳ１〜Ｓ９の認識処理プログラムをくり返し実行する。
【００２５】
前記画像取得手段は、略同じ路面領域についての撮影手段３の異なる複数方向からの撮影画像を取得する手段であり、図３のステップＳ１、Ｓ２において、時刻ｔａに単眼カメラ３ａが撮影した図４の自車１の前方の路面領域の撮影画像（以下、前方画像という）Ｆ１を取り込んでデータ蓄積手段５に保持し、車速センサ（図示せず）の自車速等から決定した微小時間Δｔだけ遅れた時刻ｔｂに単眼カメラ３ｂが撮影した図４の自車１の後方の略同じ路面領域の撮影画像（以下、後方画像という）Ｂ１を取り込んでデータ蓄積手段５に保持する。なお、図４の前方画像Ｆ１は道路標示ａのみを含み、後方画像Ｂ１は路面に垂直な障害物としての後行の車両ｂが存在して道路標示ａと車両ｂを含む。
【００２６】
前記射影変換手段は、本実施形態の場合、図３のステップＳ３により前方画像Ｆ１及び後方画像Ｂ１に射影変換を行う。
【００２７】
この射影変換は図６に示すように、ある平面Ｌ上の点 Ｐ（ｘ、 ｙ）を投影中心 Ｏに関して、他の平面 Ｌ０上の点 Ｐ０（ｕ、ｖ）として投影する周知の座標変換であり、単眼カメラ３ａ、３ｂの撮影路面が平面と仮定できる道路環境にあっては、任意の視点から見た画像に射影変換することができる。
【００２８】
そして、時刻ｔａに前方状況を単眼カメラ３ａで撮影した前方画像Ｆ１と、それからΔｔ遅れた時刻ｔｂに後方状況を単眼カメラ３ｂで撮影した後方画像Ｂ１とにつき、道路面を平面と仮定して射影変換すると、図４の射影変換後の前方画像Ｆ２、後方画像Ｂ２が得られる。
【００２９】
なお、前方画像Ｆ２と後方画像Ｂ２を用いた画像の重ね合わせによって車両ｂ等の障害物を認識するため、実際には、前方画像Ｆ２、後方画像Ｆ３は正規化して重ね合わせが可能なように形成することが望ましい。そのため、（ｉ）単眼カメラ３ａ、３ｂにより同じ領域を撮影する。（ｉｉ）単眼カメラ３ａ、３ｂの角度、高さを用いて道路面は完全な平面であるという仮定のもとに、射影変換によって真上から見た画像を生成する。このとき、ハフ変換を用いて常に車線の両脇の白線を抽出し、平行になる様に角度の調整を行う。（ｉｉｉ）ハフ変換によって得られた白線の直線成分によって前方画像Ｆ２と後方画像Ｂ２との車線の幅と向きを合わせる。（ｖｉ）自車１から移動した距離は車速等から把握できるので、前方画像Ｆ２と後方画像Ｂ２とについて、テンプレートマッチング等により、走行車線よりやや大きく取った領域の正確な位置合わせを行う。
【００３０】
このようにして得られた前方画像Ｆ２と後方画像Ｂ２を重ね合わせて濃淡の差分をとると、図７の差分画像ＦＢ２が得られるが、差分画像ＦＢ２は単眼カメラ３ａ、３ｂに近い領域は暗くなり、太陽光等の照明光に対する単眼カメラ３ａ、３ｂの向きによっても濃淡が大きく変化する。また、前記濃淡の変化の具合は道路面の材質等によっても異なる。そのため、差分画像ＦＢ２からは前方画像Ｆ２と後方画像Ｂ２のいずれか一方にのみ存在する車両ｂ等の障害物を認識できない可能性がある。この点は、射影変換前の前方画像Ｆ１と後方画像Ｂ１の濃淡の差分画像から障害物を認識する場合も同様である。
【００３１】
前記微分２値化手段は、画像取得手段が取得した複数方向からの撮影画像又はそれらの射影変換画像を微分して２値化する手段であり、射影変換手段を備える本実施形態の場合、図３のステップＳ４により前方画像Ｆ２、後方画像Ｂ２を微分処理して濃淡を強調し、その後、所定の閾値で二値化し、図４の微分２値化した前方画像Ｆ３、後方画像Ｂ３を形成する。なお、前記微分処理においては、路面の細かい凸凹に基づく不要な微分値が生じないように平滑化を施してから前方画像Ｆ２、後方画像Ｂ２の微分値をとることが好ましい。
【００３２】
前記膨張手段は、図３のステップＳ５により前方画像Ｆ３、後方画像Ｂ３に対して膨張処理を行い、それぞれの論理「１」の画素が形成する線幅を太くし、図４の膨張処理後の前方画像Ｆ４、後方画像Ｂ４を形成する。なお、膨張処理は、簡単には、前方画像Ｆ３、後方画像Ｂ３それぞれを例えば４画素又は８画素の適当な小領域に分割し、各小領域の各画素の１つでも「１」であればその小領域の全画素を「１」にすることで実現される。
【００３３】
前記演算手段は図３のステップＳ６により前方画像Ｆ４、後方画像Ｂ４の排他的論理和を演算し、前方画像Ｆ４と後方画像Ｂ４の濃淡が異なる部分の画像として、図５の合成画像（排他的論理和画像）ＦＢ４を出力する。
【００３４】
なお、前方画像Ｆ２、Ｆ３、Ｆ４は下側が自車１側であり、後方画像Ｂ２、Ｂ３、Ｂ４は上側が自車１側である。
【００３５】
そして、合成画像ＦＢ４の道路標示ａの部分は、前方画像Ｆ４と後方画像Ｂ４が重なり、ほとんどの部分が打ち消しあい、重ならなかった端部が細く残る程度になる。また、前方画像Ｆ１、後方画像Ｂ１の異なる部分、すなわち、車両ｂの部分は膨張処理された太い輪郭線になる。なお、排他的論理和の演算に代えて、両画像Ｆ３、Ｂ３の差を求める演算を行ってもよく、この場合、例えば演算結果が「−１」となる画素を「０」とすることで合成画像ＦＢ４と同じ画像が得られる。
【００３６】
前記収縮手段は、図３のステップＳ７により合成画像ＦＢ４に前記膨張処理と逆の収縮処理を施し、合成画像ＦＢ４の線幅を細くして戻し、合成画像ＦＢ４の道路標示ａの部分に細く残っていた部分も消えた図５の合成画像（収縮画像）ＦＢ５を形成する。
【００３７】
前記認識手段は、図３のステップＳ８により合成画像ＦＢ５の車両ｂの部分を路面に垂直な障害物として認識し、認識結果を自車１の被害軽減や衝突回避の衝突予測処理手段（図示せず）等に送る。
【００３８】
すなわち、一般に微分２値化画像に膨張処理と収縮処理を施すと、微分２値化画像の点や線は膨張した後に収縮して元に戻る。そして、２枚の微分２値化画像の座標距離がｄ離れた直線をｄ＋αずつ膨張させて合成すると、２つの微分値領域は幅２αで重なる。また、ｄ＋α回膨張させた２枚の微分２値化画像の排他的論理和をとると、いずれか一方の微分２値化画像にしか存在しない認識対象物体のエッジ（異なる画像部分）は膨張処理しても重ならずに残り、両方の微分２値化画像に共通に存在する道路標示等の画像部分は重なりあって細め合う。さらに、両微分２値化画像の排他的論理和をとって得られた異なる部分の画像をｄ＋α回収縮させると、細め合った画像部分は消え、前記認識対象物体のエッジ部分は元に戻って残る。
【００３９】
そして、本実施形態の障害物認識装置２は、微分画像に対する上記の膨張と収縮の特性を利用し、同じ道路面の微分２値化画像である前方画像Ｆ３と後方画像Ｂ３を膨張処理して前方画像Ｆ４と後方画像Ｂ４との排他的論理和の合成画像ＦＢ４を得る。このとき、合成画像ＦＢ４は後方画像Ｂ３にしか存在しない認識対象の車両ｂのエッジは膨張しても重ならずに残り、前方画像Ｆ３と後方画像Ｂ３の両方に存在する共通の道路標示ａの部分は重なりあって細め合う。さらに、合成画像ＦＢ４に膨張処理と同じ回数の収縮処理を施し、道路標示ａが消えて車両ｂが元に戻って残った合成画像ＦＢ５を得、この合成画像ＦＢ５から障害物としての車両ｂを認識する。
【００４０】
この場合、収縮処理後の合成画像５は、道路標示ａの細く残っていた部分も消え、前方画像Ｆ１と後方画像Ｂ１のいずれか一方にしか存在しない障害物としての車両ｂの部分のみが残る。そのため、認識手段は障害物としての車両ｂを精度よく確実に認識することができ、撮影画像の簡単な処理により、路面の道路標示ａ等を誤認識することなく、路面に垂直な障害物を精度よく確実に認識することができる。
【００４１】
また、射影変換手段を備えたため、前方画像Ｆ１、後方画像Ｂ１の撮影範囲を俯瞰（鳥瞰）した前方画像Ｆ２、後方画像Ｂ２に基づいて膨張処理や排他的論理和の処理等が容易に行える。
【００４２】
なお、微分２値化画像である前方画像Ｆ３、後方画像Ｂ３の排他的論理和をとると、図８の合成製画像ＦＢ３が得られる。そして、合成製画像ＦＢ３と合成画像ＦＢ５との比較から明らかなように、前方画像Ｆ３、後方画像Ｂ３の排他的論理和をとるだけでは道路標示ａの部分が残り、障害物の誤認識が生じる。
【００４３】
これは、道路面は完全な平面でなく、理想的な平面から離れる程、射影変換画像が歪むため、ハフ変換によって抽出する白線が歪んでしまい、前方画像Ｆ３、後方画像Ｂ３を正確に重ね合わせることが困難になるからである。
【００４４】
つぎに、自車１の前、後に車両が存在しない状況で実験したところ、図９、図１０の結果が得られた。図９、図１０において、Ｆ１１、Ｆ２１、Ｆ４１は前方画像Ｆ１、Ｆ２、Ｆ４に対応する前方画像、Ｂ１１、Ｂ２１、Ｂ４１は後方画像Ｂ１、Ｂ２、Ｂ４に対応する後方画像、ＦＢ４１、ＦＢ５１は合成画像ＦＢ４、ＦＢ５に対応する合成画像である。
【００４５】
そして、障害物となる車両ｂ等が存在しなければ、前方画像Ｆ４１、後方画像Ｂ４１に微分２値化した道路標示ａの膨張処理画像が含まれていても、膨張処理、排他的論理和の処理及び、収縮処理により、最終的に得られる合成画像ＦＢ５１は略完全に画像部分が消えた画像になることが確かめられた。
【００４６】
そして、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行なうことが可能である。
【００４７】
例えば、前記実施形態においては、射影変換を微分２値化前に行ったが、射影変換は微分２値化後等のどのタイミングで行ってもよい。
【００４８】
つぎに、前記実施形態においては、自車１の前方、後方から路面を撮影する場合に適用したが、撮影方向は前方と後方に限られるものではなく、例えば、前方または後方と左、右いずれかの側方との２方向、或いは、前、後、左、右のいずれか３方向以上であってもよい。
【００４９】
そして、本発明は、種々の車両の障害物認識に適用することができる。
【図面の簡単な説明】
【００５０】
【図１】本発明の一実施形態のブロック図である。
【図２】図１の撮像手段の構成例の説明図である。
【図３】図１の動作説明用のフローチャートである。
【図４】自車の後方にのみ車両が存在する場合に図１の一部の処理により形成される画像の説明図である。
【図５】自車の後方にのみ車両が存在する場合に図１の残りの一部の処理により形成される画像の説明図である。
【図６】図１の射影変換の説明図である。
【図７】図４の射影変換後の前方画像と後方画像の差分画像例の説明図である。
【図８】図４の微分２値化後の前方画像と後方画像の差分画像例の説明図である。
【図９】自車の前方及び後方に車両が存在しない場合に図１の一部の処理により形成される画像の説明図である。
【図１０】自車の前方及び後方に車両が存在しない場合に図１の残りの処理により形成される画像の説明図である。
【符号の説明】
【００５１】
１    自車
２    障害物認識装置
３    撮影手段
４    画像処理手段
ｂ    障害物としての車両
【図１】
2009265891.tif 000003
【図２】
2009265891.tif 000004
【図３】
2009265891.tif 000005
【図６】
2009265891.tif 000006
【図４】
2009265891.tif 000007
【図５】
2009265891.tif 000008
【図７】
2009265891.tif 000009
【図８】
2009265891.tif 000010
【図９】
2009265891.tif 000011
【図１０】
2009265891.tif 000012