(57)【要約】【課題】カメラパラメータ誤差や、路面反射光、レンズ付着物、自車両の影などのノイズによる影響を受けていない高品質な合成鳥瞰画像を車載カメラからの画像から作成して、この合成鳥瞰画像内から道路標示の認識処理を高精度に行う路面標示画像処理装置を提供する。【解決手段】新規合成範囲決定手段１０４が前回撮影分までの合成鳥瞰画像に含まれない領域のみを現時刻の道路画像から鳥瞰画像化し、画像合成手段１０６が、この鳥瞰画像と前回撮影分までの合成鳥瞰画像とを合成して、新たな合成鳥瞰画像を作成する。【選択図】図１
2009057410.tif 000002
【特許請求の範囲】
【請求項１】
撮像した道路面の画像内に道路標示を認識する路面標示処理装置であって、
車両に搭載され進路後方の道路画像を撮影する撮像手段と、
前記車両の移動量を計測する移動量計測手段と、
この移動量に基づいて前記道路画像に含まれる路面範囲のうち新たに得られた範囲である新規合成範囲を特定する新規合成範囲特定手段と、
前記道路画像を基に前記新規合成範囲の鳥瞰画像を作成する鳥瞰画像作成手段と、
この鳥瞰画像作成手段に作成された前記鳥瞰画像を記憶する画像記憶手段とを備え、
前記撮像手段による撮影に応じて作成された前記鳥瞰画像を撮影順に接合して合成鳥瞰画像を作成し前記画像記憶手段へ送出する画像合成手段を備えたことを特徴とする路面標示画像処理装置。
【請求項２】
前記請求項１に記載の路面標示画像処理装置において、
前記道路画像内のノイズの有無を画像変化の有無に基づいて判断しノイズ有りの場合にノイズ領域を同定するノイズ領域同定手段を備え、
前記新規合成範囲特定手段が、前記ノイズ領域を回避して前記新規合成範囲を特定することを特徴とする路面標示画像処理装置。
【請求項３】
前記請求項２に記載の路面標示画像処理装置において、
前記ノイズ領域同定手段は、前記道路画像内の輝度変化のない画像領域を、前記撮像手段が有するレンズの付着物によるノイズと判断することを特徴とする路面標示画像処理装置。
【請求項４】
前記請求項２に記載の路面標示画像処理装置において、
前記ノイズ領域同定手段は、前記道路画像内の円形状の高輝度領域で他の領域よりも位置変化の小さい画像領域を、路面からの反射光の写りこみによるノイズと判断することを特徴とする路面標示画像処理装置。
【請求項５】
前記請求項２に記載の路面標示画像処理装置において、
前記ノイズ領域同定手段は、前記道路画像内の前記車両側に在る低輝度領域で他の領域よりも位置変化の小さい画像領域を、前記車両の影の写りこみによるノイズと判断することを特徴とする路面標示画像処理装置。
【請求項６】
前記請求項２に記載の路面標示画像処理装置において、
前記新規合成範囲特定手段は、前記道路画像の画像領域内に予め設定された閉領域内から前記新規合成範囲を特定することを特徴とする路面標示画像処理装置。
【請求項７】
前記請求項１乃至６のいずれか一項に記載の路面標示画像処理装置において、
前記合成鳥瞰画像内から道路標示を認識する道路標示認識手段を備えたことを特徴とする路面標示画像処理装置。
【請求項８】
撮像した道路面の画像内に道路標示を認識する路面標示処理方法であって、
車両から進路後方の道路画像を撮影する撮影ステップと、
前記車両の移動量を計測する移動量計測ステップと、
この移動量に基づいて前記道路画像に含まれる路面範囲のうち新たに得られた範囲である新規合成範囲を特定する新規合成範囲特定ステップと、
前記道路画像を基に前記新規合成範囲の鳥瞰画像を作成する鳥瞰画像作成ステップと、
この鳥瞰画像を画像記憶手段に記憶する画像記憶ステップと、
を設けると共に、
前記道路画像の撮影に応じて作成された前記鳥瞰画像を撮影順に合成して合成鳥瞰画像を作成し前記画像記憶手段へ送出する画像合成ステップを設けたことを特徴とする路面標示画像処理方法。
【請求項９】
前記請求項８に記載の路面標示画像処理方法において、
前記道路画像内のノイズの有無を画像変化の有無に基づいて判断しノイズ有りの場合にノイズ領域を同定するノイズ領域同定ステップを設け、
前記新規合成範囲特定ステップでは、前記ノイズ領域を回避して前記新規合成範囲を特定することを特徴とする路面標示画像処理方法。
【請求項１０】
前記請求項９に記載の路面標示画像処理方法において、
前記新規合成範囲特定ステップでは、前記道路画像の画像領域内に予め設定された閉領域内から前記新規合成範囲を特定することを特徴とする路面標示画像処理方法。
【請求項１１】
前記請求項８乃至１０のいずれか一項に記載の路面標示画像処理方法において、
前記合成鳥瞰画像内から道路標示を認識する道路標示認識ステップを設けたことを特徴とする路面標示画像処理方法。
【請求項１２】
撮像した道路面の画像内に道路標示を認識する路面標示処理用プログラムであって、
車両から進路後方の道路画像を撮影する撮像手段からその道路画像を取得する画像取得機能と、
前記車両の移動量の値を取得する車両移動量取得機能と、
この移動量に基づいて前記道路画像に含まれる路面範囲のうち新たに得られた範囲である新規合成範囲を特定する新規合成範囲特定機能と、
前記道路画像を基に前記新規合成範囲の鳥瞰画像を作成する前記鳥瞰画像作成機能と、
この鳥瞰画像をメモリに記憶させる画像記憶機能と共に、
前記撮像手段による撮影に応じて作成された前記鳥瞰画像を撮影順に接合して合成鳥瞰画像を作成し前記メモリへ送信する画像合成機能と、
をコンピュータに実行させることを特徴とする路面標示画像処理用プログラム。
【請求項１３】
前記請求項１２に記載の路面標示画像処理用プログラムにおいて、
前記道路画像内のノイズの有無を画像変化の有無に基づいて判断しノイズ有りの場合にノイズ領域を同定するノイズ領域同定機能と共に、
前記新規合成範囲特定機能を、前記ノイズ領域を回避して前記新規合成範囲を特定する機能として前記コンピュータに実行させることを特徴とする路面標示画像処理用プログラム。
【請求項１４】
前記請求項１３に記載の路面標示画像処理用プログラムにおいて、
前記新規合成範囲特定機能が、前記道路画像の画像領域内に予め設定された閉領域内から前記新規合成範囲を特定する機能であることを特徴とする路面標示画像処理用プログラム。
【請求項１５】
前記請求項１２乃至１４のいずれか一項に記載の路面標示画像処理用プログラムにおいて、
前記合成鳥瞰画像内から道路標示を認識する道路標示認識機能を前記コンピュータに実行させることを特徴とする路面標示画像処理用プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に搭載されたカメラを用いて道路面の画像を取得し、画像内の道路標示を認識する路面標示画像処理装置，路面標示画像処理方法及びプログラムに関し、特に、カメラの撮影画像を鳥瞰画像に変換し画像処理を行う路面標示画像処理装置，路面標示画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
自動車の安全対策のために、車載カメラで撮影された車両近傍の画像を基に、自動車の運転を支援する技術が知られている。例えば、車載カメラを用いて車両の走行路面を撮影し、撮影した画像内から路面上に描かれた道路標示を認識することで、走行中の車線を特定するなど車両の位置を正確に特定するシステムなどがある。【０００３】
車載カメラが撮影した画像を処理する技術として、車載カメラからの入力画像を鳥瞰画像変換し、順に得られる鳥瞰画像を合成して広域な鳥瞰画像を作成する装置が、特許文献１に開示されている。特許文献１に開示された装置は、車両の進路前方を撮影する車載カメラからの画像に対して変換境界線を設定し、変換境界線よりも自車に近い側の部分を鳥瞰画像に変換し、ｎ枚の鳥瞰画像を合成し、この合成鳥瞰画像を表示する。【０００４】
また、他の関連技術として、特許文献２，特許文献３に開示されている技術も存在する。特許文献２に開示された技術は、撮影手段で撮影された第１鳥瞰図画像と第２鳥瞰図画像のずれを検出し、そのずれの部分の画像を第２鳥瞰図画像に加味することにより、撮影手段の現時点の視野から外れた領域を含む画像を表示する技術である。特許文献３に開示された技術は、１台の車載カメラで撮影した画像を俯瞰画像に変換して、取得した俯瞰画像を経時変化に応じて繋ぎあわせて車両の周囲画像を作成して標示するシステムである。【０００５】
【特許文献１】特許第３８４７５４７号公報
【特許文献２】特許第３５２１８５９号公報
【特許文献３】特開２００７−９６４９７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１乃至３に開示された技術は、精度のよいカメラパラメータが得られていることを前提としているので、車両に設置されたカメラで道路面を時々刻々撮影して得られる画像を鳥瞰画像に変換して合成し合成鳥瞰画像を得ようとした場合、実際には、撮影した画像から鳥瞰画像への変換に際してカメラパラメータ誤差による影響を受けてしまい、良好な合成鳥瞰画像を得ることが困難であった。また、他車両の照明の路面反射、カメラレンズへの付着物、自車両の影などによるノイズが画像内に写り込んだ場合も、ノイズの影響を受けて良好な合成鳥瞰画像を得ることが困難であった。【０００７】
例えば、カメラパラメータについては、車両への車載カメラ取り付けの際に取り付け角度の精度が十分確保されていないと、鳥瞰画像上ではカメラから離れた場所ほどズレや歪みが大きくなる。これについて、図面を参照して説明する。【０００８】
図６は、車両６０１の後部に設置されたカメラ６０２の設置状態を説明する図である。地面からカメラ６０２までの高さをｈ、カメラ６０２の光軸と鉛直方向とがなす角度をθとする。図１８は、図６に示すようなカメラ設置環境において、カメラの取り付け角度を３通りに設定した場合のカメラ光軸からの角度とその角度方向の地面上の点とカメラ６０２までの水平距離との関係を示す図である。ここでは簡単のためにカメラ６０２はレンズ歪みを持たないものとし、地面からカメラ６０２までの高さｈを８０ｃｍ、カメラ６０２の光軸が鉛直方向となす角度θを３０度，３１度，３３度と３通りに設定した例を示している。【０００９】
図１８に示すように、例えば、仕様で想定しているθが３０度で、実際には、θが３１度もしくは３３度の角度でカメラ６０２が取り付けられた場合、カメラ６０２の光軸からの角度が０度の方向の地面上の点とカメラ６０２までの水平距離の誤差はそれぞれ０．０２ｍ（＝０．４８ｍ−０．４６ｍ）、０．０６ｍ（＝０．５２ｍ−０．４６ｍ）と数ｃｍ程度であるが、カメラ光軸からの角度が５０度の場合の誤差はそれぞれ０．５１ｍ（＝５．０３ｍ−４．５２ｍ）、１．９６ｍ（＝６．４８ｍ−４．５２ｍ）と大きくなることがわかる。【００１０】
この誤差による入力画像上での影響について図２を参照して説明する。図２は、実際のカメラの取り付け角度θが、想定している角度より数度だけずれた場合の連続する時刻の撮影画像から作成された鳥瞰画像２０３，２０４および、これらを合成した合成鳥瞰画像２０５を示す図である。鳥瞰画像２０３及び２０４は、カメラから離れているほど白線２０１の間隔が広がり、横断歩道予告の道路標示である菱形状ペイント２０２がカメラから離れるほど縦方向に伸びている画像となっている。【００１１】
撮影画像を鳥瞰画像に変換する際に、カメラ取り付け角度θが想定している角度であることを前提に変換するので、カメラ取り付け角度θが数度ずれていると、変換後の鳥瞰画像に歪みや位置ずれが生じる。歪みや位置ずれの影響は、カメラ光軸からの角度が大きい方向の地面、すなわち、自車両から離れた位置ほど大きくなるので、鳥瞰画像２０３の菱形ペイント２０２とそこから自車両がわずかに移動した際に取得される鳥瞰画像２０４での菱形状ペイント２０２とで歪み方が異なり、鳥瞰画像２０３及び２０４を単純に重ねると、合成鳥瞰画像２０５のように菱形状ペイント２０２や白線２０１の位置が合致しない画像になってします。【００１２】
特許文献１に開示された技術では、変換境界線を設定し、鳥瞰画像内の変換境界線よりもカメラに近い側の部分のみを合成して合成鳥瞰画像を作成するが、変換境界線の設定方法が明確でないため、カメラパラメータ誤差がある場合、得られる合成鳥瞰画像は、鳥瞰画像間の位置ズレや歪みの影響を受け、視認性が低くなる。【００１３】
また、後続車のヘッドライトや街灯光の路面反射については、図３のように、夜間の撮影画像３００では自車両から１ｍ程度のところまで後続車３０２のヘッドライトの路面反射領域３０１がある場合がしばしば発生する。このような場合、鳥瞰画像上で路面表示がヘッドライトの路面反射に隠されてしまい、路面反射の影響が合成鳥瞰画像に含まれてしまう。【００１４】
また、雨滴や泥などのレンズ付着物については、図４に示すように、雨滴がレンズ下部に付着すると、画像４００内で雨滴の写る領域４０１と鳥瞰画像化する領域４０２とが重畳している部分４０３の影響が鳥瞰画像に含まれてしまうため、雨滴の写った合成鳥瞰画像が生成されてしまう。鳥瞰画像化する範囲内に泥がついている場合についても同様に泥が写った合成鳥瞰画像が生成されてしまう。【００１５】
また、自車両の影については、図５に示すように、撮影した画像５００の下部に写っている自車両のバンパー５０１の上部に明度の低い領域５０２として自車両の影が観測される。この領域５０２が鳥瞰画像化されると鳥瞰画像中に自車両の影が映り込み、日陰と日向が混在する合成鳥瞰画像が生成されてしまう。【００１６】
カメラパラメータの誤差による歪みや、ノイズを含む合成鳥瞰画像が作成されてしまうと、その合成鳥瞰画像から路面上の道路標示を検知する場合に、検知もれや誤検知を起こすという問題があった。【００１７】
本発明は上記従来技術の問題を改善し、カメラパラメータ誤差による鳥瞰画像の歪みや位置ずれによる影響や、路面からの反射光，レンズ付着物，自車両の影などの写りこみによる影響を受けていない高品質な合成鳥瞰画像を作成して、高精度な道路標示認識を行う路面標示画像処理装置を提供することを、その目的とする。
【課題を解決するための手段】
【００１８】
上記目的を達成するため、本発明の路面標示画像処理装置は、車両に搭載され進路後方の道路画像を撮影する撮像手段と、車両の移動量を計測する移動量計測手段と、この移動量に基づいて道路画像に含まれる路面範囲のうち新たに得られた範囲である新規合成範囲を特定する新規合成範囲特定手段と、道路画像を基に新規合成範囲の鳥瞰画像を作成する鳥瞰画像作成手段と、この鳥瞰画像作成手段に作成された鳥瞰画像を記憶する画像記憶手段とを備え、撮像手段による撮影に応じて作成された鳥瞰画像を撮影順に接合して合成鳥瞰画像を作成し画像記憶手段へ送出する画像合成手段を備えたことを特徴とする。【００１９】
次に、本発明の路面標示画像処理方法は、車両から進路後方の道路画像を撮影する撮影ステップと、車両の移動量を計測する移動量計測ステップと、この移動量に基づいて道路画像に含まれる路面範囲のうち新たに得られた範囲である新規合成範囲を特定する新規合成範囲特定ステップと、道路画像を基に新規合成範囲の鳥瞰画像を作成する鳥瞰画像作成ステップと、この鳥瞰画像を画像記憶手段に記憶する画像記憶ステップとを設けると共に、道路画像の撮影に応じて作成された鳥瞰画像を撮影順に合成して合成鳥瞰画像を作成し画像記憶手段へ送出する画像合成ステップを設けたことを特徴とする。【００２０】
次に、本発明の路面標示画像処理用プログラムは、車両から進路後方の道路画像を撮影する撮像手段からその道路画像を取得する画像取得機能と、車両の移動量の値を取得する車両移動量取得機能と、この移動量に基づいて道路画像に含まれる路面範囲のうち新たに得られた範囲である新規合成範囲を特定する新規合成範囲特定機能と、道路画像を基に新規合成範囲の鳥瞰画像を作成する鳥瞰画像作成機能と、この鳥瞰画像をメモリに記憶させる画像記憶機能と共に、撮像手段による撮影に応じて作成された鳥瞰画像を撮影順に接合して合成鳥瞰画像を作成しメモリへ送信する画像合成機能とをコンピュータに実行させることを特徴とする。
【発明の効果】
【００２１】
本発明は、撮影された道路画像に含まれる路面範囲のうち新たに得られる範囲である新規合成範囲は、自車両に近い側の範囲になるので、鳥瞰画像に変換する際にカメラパラメータの誤差や後続車ヘッドライトの路面反射光の影響を受け難い範囲となり、この新規合成範囲の鳥瞰画像を作成し順に接合することで、品質のよい合成鳥瞰画像を得ることができる。
【発明を実施するための最良の形態】
【００２２】
以下、本発明における一実施形態を、図面を参照して説明する。【００２３】
［第１実施形態］
まず、本発明にかかる第１の実施形態について説明する。図１は、本第１実施形態の路面標示画像処理装置の構成を示すブロック図である。【００２４】
図１に示すように、本第１実施形態の路面標示画像処理装置は、車両に搭載され進路後方の道路画像を撮影する撮像手段１０１と、撮像手段１０１で得られる道路画像を上空からの視点で地面を表す画像の鳥瞰画像に変換する鳥瞰画像作成手段１０５と、この作成された鳥瞰画像を記憶する画像記憶手段１０２と、順に作成される鳥瞰画像を合成して広域の道路領域を示す合成鳥瞰画像を作成する画像合成手段１０６と、合成鳥瞰画像内から道路標示を認識する道路標示認識手段１０７とを備えている。【００２５】
本第１実施形態の路面標示画像処理装置は、さらに、車両の移動量を計測する移動量計測手段１０３と、この移動量に基づいて撮像手段１０１からの道路画像に含まれる路面範囲のうち新たに得られた範囲である新規合成範囲を特定する新規合成範囲特定手段１０４とを備えており、上述した鳥瞰画像作成手段１０５は、撮像手段１０１からの道路画像を基に新規合成範囲の鳥瞰画像を作成し、画像合成手段１０６は、撮像手段１０１による撮影に応じて鳥瞰画像作成手段１０５に作成された鳥瞰画像を撮影順に接合して合成鳥瞰画像を作成し画像記憶手段１０２へ送出する。【００２６】
撮像手段１０１は、道路面の画像である道路画像を時々刻々取得し、取得した道路画像を鳥瞰画像作成手段１０２に出力する。撮像手段１０１が出力する画像の一例を図７に示す。本第１実施形態の撮像手段１０１は、広角レンズを用いて画像を撮影する車載カメラであり、図６に示すカメラ６０２と同様にレンズを車両後方の斜め下に向けて設置されているため、撮像手段１０１から得られる画像７００は、図７に示すように、白線７０１や路面の道路標示７０２に歪みが発生し、画像下部に自車両のバンパー７０３が写りこんでいる。【００２７】
画像記憶手段１０２は、撮像手段１０１により時々刻々取得された道路画像を変換した鳥瞰画像を繋ぎ合わせた合成鳥瞰画像を記憶する。この合成鳥瞰画像のサイズは画像合成を行う度に拡張しても良いが、常に撮像手段１０１に近い側の一定範囲のみを記憶するようにしてもよい。具体的には、車両の位置、すなわち撮像手段１０１の位置を基準点として、奥行き方向は基準点から後方１０ｍまでの範囲、横方向は基準点を中心として左右２ｍの範囲などと設定した一定範囲のみの路面領域を示す画像を記憶するようにしてもよい。【００２８】
移動量計測手段１０３は、車速センサなどで構成され、撮像手段１０１の前撮影時刻から現撮影時刻までの車両の移動量、もしくは既に画像記憶手段１０２に記憶されている合成鳥瞰画像の路面範囲から車両が進んだ移動量を出力する。【００２９】
新規合成範囲特定手段１０４は、車両の移動量および合成鳥瞰画像の内容に基づいて新規合成範囲を特定する。図９に示すように、移動量計測手段１０３に計測された移動量だけ車両が前進することによって、現時刻に撮影された道路画像９０１もしくは道路画像９０１に対応する仮想的な鳥瞰画像９０２には含まれるが画像記憶手段１０２に記憶されている前回撮影された道路画像までを基に作成された合成鳥瞰画像９０３には含まれていない路面範囲９０４を新規合成範囲とする。【００３０】
ここで、図１０を参照して、新規合成範囲特定手段１０４による新規合成範囲の特定方法について説明する。図１０は、撮像手段１０１を装備した車両を上から見た平面図である。【００３１】
合成鳥瞰画像１００４を作成したときの前回撮影時刻における車両位置１００１から現撮影時刻の車両位置１００２までの移動量をＤとする。このとき、合成鳥瞰画像の１画素が道路面の車両進行方向の長さｄに対応していると仮定すると、合成鳥瞰画像１００４もしくは現撮影時の道路画像に係る鳥瞰画像内で縦方向に［Ｄ／ｄ］画素分の領域１００５が新たに出現した領域として現撮影時の道路画像中に写っているはずなので、この領域に対応する路面範囲を新規合成範囲に特定する。ここで［ａ］は、値ａ以下の最大の整数を示す数式であり、［Ｄ／ｄ］は、Ｄ／ｄの値を超えない最大の整数を示している。【００３２】
また、上記方法では新規合成範囲を決定する度に、（Ｄ−［Ｄ／ｄ］×ｄ）の分だけ移動量が小さく見積もられた合成鳥瞰画像が生成されてしまうので、前回撮影時刻ｔ−１における移動量の余り分Ｒｔ−１は、ｔ−２からｔ−１までの移動量Ｄｔ−１とすると、Ｒｔ−１＝（Ｄｔ−１−［Ｄｔ−１／ｄ］×ｄ）となる。このＲｔ−１を記憶しておき、前回撮影時刻ｔ−１から現撮影時刻ｔまでの移動量Ｄｔとの和であるＲｔ−１＋Ｄｔを補正した移動量とし、この移動量に相当する［（Ｒｔ−１＋Ｄｔ）／ｄ］画素分の領域を新規合成範囲に設定すれば、より精度を向上することができる。この場合、移動量の余り分Ｒｔは、Ｒｔ＝（Ｄｔ−［（Ｒｔ−１＋Ｄｔ）／ｄ］×ｄ）で更新される。【００３３】
鳥瞰画像作成手段１０５は、新規合成範囲特定手段１０４により特定された新規合成範囲の鳥瞰画像を作成する。例えば、図８に示すように、カメラパラメータ情報に基づいて、撮像手段１０１から得られる道路画像８００中の画素と作成される鳥瞰画像８０４中の画素との１対１の対応関係８０２を予め設定しておき、道路画像８００内の対応する画素の画素値をコピーして鳥瞰画像８０４を作成する構成とする。また、道路画像をそのまま鳥瞰画像に変換しておき、その鳥瞰画像内から新規合成範囲に対応する画像領域のみを切り出す構成でもよい。【００３４】
画像合成手段１０６は、撮像手段１０１による新たな撮影に応じて鳥瞰画像作成手段１０５から出力される鳥瞰画像を、画像記憶手段１０２に既に記憶されている前回撮影分までの合成鳥瞰画像の自車両に近い側の辺側に接合して新たな合成鳥瞰画像を作成し画像記憶手段１０２へ出力する。具体的には、前回撮影分までの合成鳥瞰画像を新規合成範囲特定手段１０４により特定された新規合成範囲に対応した画素分シフトさせて、その空いた領域に鳥瞰画像作成手段１０５が作成した鳥瞰画像をコピーして新たな合成鳥瞰画像を作成する。鳥瞰画像作成手段１０５が常に新規合成範囲の鳥瞰画像を作成するので、接合する両画像には重複する領域が無く、対応点の位置合わせ処理を行わずに済み、処理負荷が軽減されている。【００３５】
画像合成手段１０６は、画像合成を行う度に合成鳥瞰画像のサイズを拡張しても良いが、常に撮像手段１０１に近い側の一定範囲を合成鳥瞰画像のサイズに設定してもよい。具体的には、車両の位置、すなわち撮像手段１０１の位置を基準点として、奥行き方向は基準点から後方１０ｍまでの範囲、横方向は基準点を中心として左右２ｍの範囲などと設定した一定範囲のみの路面範囲を示す画像サイズを合成鳥瞰画像のサイズとしてもよい。【００３６】
道路標示認識手段１０７は、画像記憶手段１０２に記憶されている合成鳥瞰画像から白線や、矢印，最高速度標示，横断歩道などの道路標示を認識し、認識した結果を出力する。白線の認識処理はハフ変換を用いた直線検出などの従来法で実行し、矢印や最高速度標示，横断歩道などの道路標示の認識は、パターンマッチング法で実現する。【００３７】
ここで、本実施形態における新規合成範囲特定手段１０４，鳥瞰画像作成手段１０５，画像合成手段１０６，道路標示認識手段１０７については、その機能内容をプログラム化してコンピュータに実行させるように構成してもよい。【００３８】
次に、本第１実施形態の路面標示画像処理装置の動作について説明する。ここで、以下の動作説明は、本発明にかかる路面標示画像処理方法の実施形態を示しており、路面標示画像処理方法の各ステップを対応する動作の記述に沿って示す。【００３９】
図１１は、本第１実施形態の動作を示すフローチャートである。まず、車両後方に斜め下向きに設置された撮像手段１０１が、道路画像を取得する（図１１のステップＳ１１０１，撮影ステップ）。続いて、移動量計測手段１０３が車両の移動量を計測する（図１１のステップＳ１１０２，移動量計測ステップ）。計測された移動量に基づいて新規合成範囲特定手段１０４が道路画像に対する新規合成範囲を算出する（図１１のステップＳ１１０３，新規合成範囲特定ステップ）。鳥瞰画像作成手段１０５が、新規合成範囲特定手段１０４が算出した新規合成範囲に対応する鳥瞰画像を作成する（図１１のステップＳ１１０４，鳥瞰画像作成ステップ）。【００４０】
画像合成手段１０６が、既に画像記憶手段に１０２に記憶されている前回撮影分までの合成鳥瞰画像を、新規合成範囲特定手段１０４が算出した新規合成範囲分の画素だけシフトし、その下部に鳥瞰画像作成手段１０５が作成した鳥瞰画像を結合して新たな合成鳥瞰画像を作成し（画像更新ステップ，画像合成ステップ）、画像記憶手段に１０２に保存する（図１１のステップＳ１１０５，画像記憶ステップ）。そして、路面標示認識手段１０７が、画像記憶手段１０２に記憶されている合成鳥瞰画像内から道路標示を認識する（図１６のステップＳ１１０６，道路標示認識ステップ）。【００４１】
ここで、上記動作の説明においては、画像撮影（図１１のステップＳ１１０１）、移動量計測（図１１のステップＳ１１０２）、新規合成範囲決定（図１１のステップＳ１１０３）の順に実行する場合について説明したが、画像撮影は移動量計測の直後、もしくは新規合成範囲決定の直後に実施してもよい。また、新規合成範囲を特定する前に本来不要な範囲も含めて鳥瞰画像に変換しておき、その鳥瞰画像内から新規合成範囲に対応する画像領域のみを切り出して前回作成された合成鳥瞰画像に結合してもよい。【００４２】
このように本第１実施形態では、上述した新規合成範囲の道路画像のみから鳥瞰画像を作成し、この鳥瞰画像を撮影順に接合して合成鳥瞰画像を作成する。画像内の新規合成範囲は撮像手段１０１に近い側の範囲であるため、新規合成範囲の鳥瞰画像は、カメラパラメータ誤差や後続車ヘッドライトなどの影響が小さい画像であり、このような画像を繋ぎ合わせることで高品質な合成鳥瞰画像を作成することができる。例えば、従来法を用いた場合は、図１２（ａ）に示すように、時刻ｔ−２から時刻ｔの鳥瞰画像１２０１〜１２０３を合成すると、カメラパラメータ誤差の影響により各画像の白線の位置が一致せず膨張したような白線１２０９の画像合成鳥瞰画像１２０４が作成されてしまったが、本第１実施形態によれば、図１２（ｂ）に示すように、時刻ｔ−２から時刻ｔの新規合成範囲の鳥瞰画像１２０５〜１２０７より合成鳥瞰画像１２０８が生成され、白線１２１０がより精密に画像化できる。【００４３】
また、撮像手段１０１から得られる道路画像の新規合成範囲のみを鳥瞰画像に変換する場合は、変換する画像サイズが極めて小さくてよく、さらに、結合する画像同士に重なりを持たないので、対応する画素間の値の相違などを考慮した合成を行う必要がなく、高速に合成鳥瞰画像を作成することができる。【００４４】
［第２実施形態］
次に、本発明にかかる第２の実施形態について説明する。【００４５】
図１３は、本第２実施形態の路面標示画像処理装置の構成を示すブロック図である。ここで、図１３においては、図１に開示した第１実施形態の路面標示画像処理装置と同様の構成要素について、同一の符号を付して示している。【００４６】
図１３に示すように、本第２実施形態の路面標示画像処理装置は、上述した第１実施形態の路面標示画像処理装置と同様に、撮像手段１０１と、画像記憶手段１０２と、移動量計測手段１０３と、鳥瞰画像作成手段１０５と、画像合成手段１０６とを備え、さらに、撮像手段１０１により得られる道路画像内のノイズの有無を画像変化の有無に基づいて判断しノイズ有りの場合にノイズ領域を同定するノイズ領域同定手段１３０１と、移動量計測手段１０３により計測された移動量に基づいて道路画像に含まれる路面範囲のうち新たに得られた範囲である新規合成範囲をノイズ領域を回避して特定する新規合成範囲特定手段１３０４とを備えている。【００４７】
ノイズ領域同定手段１３０１は、撮像手段１０１から得られる道路画像中から泥汚れや雨滴などのレンズ付着ノイズや、街灯などの路面反射光，自車両の影などの写りこみによるノイズを検知する。各ノイズの検知は例えば以下のように行う。【００４８】
撮像手段１０１のレンズに汚れが付着している場合、車両が移動しても道路画像内では同じ画素位置の画素値が低輝度のままほとんど変化しない。よって、輝度値が低いまま変化がない画像領域をレンズに付着した汚れによるノイズであると判断し、その画像領域をノイズ領域と特定する。【００４９】
また、合成鳥瞰画像の画質劣化要因となる雨滴は、撮像手段１０１のレンズ下部に付着し、図４に示すように、雨滴４０１と鳥瞰画像化する範囲４０２とが重畳している部分の雨滴領域４０３を道路画像４００内に形成する。雨滴領域４０３は、極めて高輝度の白色領域として観察されるので、車両が移動しても画素値が高輝度のまま変化がない下部領域を雨滴によるノイズ領域と特定する。【００５０】
街灯などの路面反射光は、しばしば高輝度の円形状領域として画像内で観察され、車両の移動量に対して画像上での位置の変化量が小さいという特徴を持つ。そこで、夜間に撮影した道路画像中から高輝度の円形状領域を抽出した後、連続する時刻の道路画像から抽出される円形状領域のうち画像上における位置の変化量が車両の移動量から推測される画像上での地上物の移動量に比べて小さいもの領域を路面からの反射光によるノイズと判断し、その画像領域をノイズ領域と特定する。【００５１】
自車両の影は、図５のように、道路画像５００内の車両後部５０１の近傍に低輝度の領域５０２として観測されるため、道路画像５００の上から下方向に向かって輝度が大きく低下している領域５０２を抽出して、その位置の変化が車両の移動量から推測される画像上での地上物の移動量に比べて小さい場合には自車両の影によるノイズが発生していると判断して、輝度が大きく低下している箇所よりも下側の領域５０２を自車両の影によるノイズ領域と特定する。【００５２】
新規合成範囲特定手段１３０４は、前回撮影分までの合成鳥瞰画像に含まれない路面範囲で、現撮影時刻の道路画像に含まれ、かつ、ノイズ領域以外の路面範囲を新規合成範囲とする。ノイズ領域を含まない新規合成範囲の設定方法について図１４を参照して説明する。【００５３】
図１４は、図１４（ａ）に示す道路画像１４００内に雨滴によるノイズ領域１４０１が存在する場合の新規合成範囲の設定方法について説明する図である。図１４（ｂ）に示す前回撮影分までの合成鳥瞰画像１４０２においては、ノイズ領域１４０１に対応する画像領域１４０３内の画素の値は不定であり、領域１４０４内の画素の値が決定している。【００５４】
本第２実施形態における新規合成範囲特定手段１３０４は、新規合成範囲の決定処理において、合成鳥瞰画像中の値が不定の画素を、前回作成された合成鳥瞰画像に含まれていない領域と捉える。また、合成鳥瞰画像は、撮影時点において撮像手段１０１から一定距離の路面範囲に対応するものとすると、前回撮影時から現撮影時の車両の移動量が合成鳥瞰画像内では２画素に相当する場合、前回撮影分までの合成鳥瞰画像１４０２内の領域１４０４は、図１４（ｃ）に示す現撮影で作成された合成鳥瞰画像１４０７内では上に２画素分ずれた領域１４０５となり、領域１４０３および領域１４０６の画素が前回撮影分の合成鳥瞰画像１４０２に含まれない領域となるが、領域１４０３はノイズ領域であるため、領域１４０６を新規合成範囲に設定する。【００５５】
また、図１５を参照して、街灯の路面反射光のようにノイズ領域の位置が若干変化する場合について説明する。前撮影時の鳥瞰画像１５０１内のノイズ領域１５０２が、現撮影時の鳥瞰画像１５０３内ではノイズ領域１５０４に移動した場合の例について説明する。【００５６】
このとき、前撮影分までの鳥瞰画像１５０１では路面反射光によるノイズ領域に対応する画素１５０６の画素値が決定していない。仮に車両の移動量がちょうど合成鳥瞰画像の２画素分相当だった場合、前撮影分までの鳥瞰画像１５０１内の画素値が決定している画素領域１５０５は、現撮影時の鳥瞰画像１５０３内では範囲１５０７となる。よって、領域１５０８を現撮影時の新規合成範囲とする。【００５７】
次に、本第２実施形態の動作について図面を参照しながら説明する。ここで、以下の動作説明は、本発明にかかる路面標示画像処理方法の実施形態を示しており、路面標示画像処理方法の各ステップを対応する動作の記述に沿って示す。【００５８】
図１６は、本第２実施形態の路面標示画像処理装置の動作の一例を示すフローチャートである。まず、車両後方に斜め下向きに設置された撮像手段１０１が道路画像を取得する（図１６のステップＳ１６０１，撮影ステップ）。続いて、移動量計測手段１０３が自車両の移動量を計測する（図１６のステップＳ１６０２，移動量計測ステップ）。ノイズ領域同定手段１３０１が、撮像手段１０１から得られる道路画像中からノイズ領域を同定し、その位置情報を出力する（図１６のステップＳ１６０３，ノイズ領域同定ステップ）。新規合成範囲特定手段１３０４が、車両の移動量および前回作成された合成鳥瞰画像およびノイズ領域の位置情報に基づき、新規合成範囲を決定し出力する（図１６のステップＳ１６０４，新規合成範囲特定ステップ）。【００５９】
続いて、鳥瞰画像作成手段１０５が、新規合成範囲特定手段１３０４に特定された新規合成範囲に対応する鳥瞰画像を作成する（図１６のステップＳ１６０５，鳥瞰画像作成ステップ）。画像合成手段１０６が、新規合成範囲特定手段１３０４により特定された新規合成範囲分だけ画素をシフトした前回撮影分までの合成鳥瞰画像に、鳥瞰画像作成手段１０５に作成された鳥瞰画像を結合して新たな合成鳥瞰画像を作成し（画像合成ステップ，画像更新ステップ）、画像記憶手段１０２に保存する（図１６のステップＳ１６０６，画像記憶ステップ）。そして、路面標示認識手段１０７が、画像記憶手段１０２に記憶されている合成鳥瞰画像内から道路標示を認識する（図１６のステップＳ１６０７，道路標示認識ステップ）。【００６０】
ここで、この動作説明では、新規合成範囲特定手段１３０４が、毎時刻更新されるノイズ領域同定手段１３０１の出力するノイズ領域情報を考慮して動的に新規合成範囲を決定する場合について述べたが、泥や雨滴などのように時間が経過しても画像上の位置が変わらないノイズ要因に対しては、ノイズ領域同定手段１３０１は適当なタイミングで散発的にノイズ領域を同定し、次のノイズ領域同定までは最近に抽出したノイズ領域情報を用いても良い。このようにすれば、ノイズ領域同定手段１３０１を毎時刻動作させる必要がなく、ノイズ領域同定手段１３０１の処理時間が大きい場合でも、高速に鳥瞰画像の作成が可能となる。【００６１】
また、事前にノイズが特定の領域に高確率で写り込むとわかっている場合、新規合成範囲特定手段１３０４は、ノイズの写り込む可能性が高い領域を避けて閉領域を予め設定し、閉領域内から新規合成範囲を特定するようにしてもよい。例えば、図１７（ａ）に示すように、雨天時は、道路画像１７００内のレンズ下部に雨滴１７０１が写り込む可能性が高いので、起動時に雨滴が写りにくい領域から閉領域１７０２を設定し、新規合成範囲特定手段１３０４は、図１７（ａ）示す道路画像１７００または図１７（ｂ）に示す鳥瞰画像１７０３内に設定された閉領域１７０２内から新規合成範囲を特定するようにしてもよい。【００６２】
このように本第２実施形態では、レンズ付着物，自車両の影，路面反射光などの写り込みが撮影された道路画像内にある場合、これらの写りこみをノイズと判断し、その位置をノイズ領域として同定してノイズ領域を回避した画像領域から鳥瞰画像を作成するので、これらノイズ要因を含まない合成鳥瞰画像を得ることができる。よって、合成鳥瞰画像内からの道路標示の認識処理を高精度に行なうことが可能となる。【００６３】
以上、実施形態（及び実施例）を参照して本願発明を説明したが、本願発明は上記実施形態（及び実施例）に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。【００６４】
この出願は２００７年１０月３０日に出願された日本出願特願２００７−２８１７７０を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【図面の簡単な説明】
【００６５】
【図１】本発明にかかる第１実施形態の路面標示画像処理装置の構成を示すブロック図である。
【図２】従来技術による合成鳥瞰画像の作成方法を示す図である。
【図３】後続車のヘッドライトの路面反射がある道路画像の一例を示す図である。
【図４】レンズ下部に付着する雨滴がある道路画像の一例を示す図である。
【図５】自車両の陰がある道路画像の一例を示す図である。
【図６】車載カメラの設置状況を説明する図である。
【図７】入力画像における路面表示の見え方の一例を示す図である。
【図８】図１に開示した実施形態における道路画像中の画素と鳥瞰画像における画素との対応関係の一例を示す説明図である。
【図９】図１に開示した実施形態における新規合成範囲の一例を示す図である。
【図１０】図１に開示した実施形態における新規合成範囲の一例を車両の移動量と関連付けて説明した図である。
【図１１】図１に開示した実施形態の動作を示すフローチャートである。
【図１２】図１に開示した実施形態における合成鳥瞰画像と従来法での合成鳥瞰画像とを示す図である。
【図１３】本発明にかかる第２実施形態の路面標示画像処理装置の構成を示すブロック図である。
【図１４】図１３に開示した実施形態における画像処理を説明する図である。
【図１５】図１３に開示した実施形態における合成鳥瞰画像の生成例を説明する図である。
【図１６】図１３に開示した実施形態の動作を示すフローチャートである。
【図１７】図１３に開示した実施形態において設定される閉領域の一例を示す図である。
【図１８】車載カメラの取り付け角度のずれによるカメラ光軸方向からの角度とその角度方向に見える道路面上の点までの距離との相違を示す表である。
【符号の説明】
【００６６】
１０１  撮像手段
１０２  画像記憶手段
１０３  移動量計測手段
１０４  新規合成範囲特定手段
１０５  鳥瞰画像作成手段
１０６  画像合成手段
１０７  道路標示認識手段
７００，８００，９０１，１４００，４００，１７００  道路画像
８０１  新規合成範囲
８０２  道路画像と鳥瞰画像との画素の対応関係
８０４  鳥瞰画像
９０２  鳥瞰画像
９０３  前回撮影分までの合成鳥瞰画像
９０４  新規合成範囲
１００１  前回撮影時刻の自車両の位置
１００２  現撮影時刻の自車両の位置
１００４  合成鳥瞰画像
１００５  新規合成範囲
１２０５〜１２０７  図１に開示した実施形態での時刻ｔ−２から時刻ｔの鳥瞰画像
１２０８  図１に開示した実施形態における合成鳥瞰画像
１３０１  ノイズ領域同定手段
１３０４  新規合成範囲特定手段
１４０１，１４０３  雨滴によるノイズ領域
１４０２  前回撮影分までの合成鳥瞰画像
１４０４，１４０５  画素値が決定している領域
１４０６  新規合成範囲
１４０７  現撮影分までの合成鳥瞰画像
１５０１  前回撮影分までの鳥瞰画像
１５０２，１５０４  ノイズ位置
１５０３  現撮影分までの鳥瞰画像
１５０５，１５０７  画素値が決定している領域
１５０６  画素値不定領域
１５０８  新規合成範囲
１７０１  雨滴によるノイズ領域
１７０２  閉領域
【図１】
2009057410.tif 000003
【図２】
2009057410.tif 000004
【図３】
2009057410.tif 000005
【図４】
2009057410.tif 000006
【図５】
2009057410.tif 000007
【図６】
2009057410.tif 000008
【図７】
2009057410.tif 000009
【図８】
2009057410.tif 000010
【図９】
2009057410.tif 000011
【図１０】
2009057410.tif 000012
【図１１】
2009057410.tif 000013
【図１２】
2009057410.tif 000014
【図１３】
2009057410.tif 000015
【図１４】
2009057410.tif 000016
【図１５】
2009057410.tif 000017
【図１６】
2009057410.tif 000018
【図１７】
2009057410.tif 000019
【図１８】
2009057410.tif 000020
【手続補正書】
【提出日】平成21年2月23日(2009.2.23)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
撮影した道路面の画像内に道路標示を認識する路面標示処理装置であって、
車両に搭載され進路後方の道路画像を撮影する撮像手段と、
前記車両の移動量を計測する移動量計測手段と、
前記移動量に相当する路面範囲を、新規合成範囲として前記道路画像中から特定する新規合成範囲特定手段と、
前記新規合成範囲に対する鳥瞰画像を作成する鳥瞰画像作成手段と、
合成鳥瞰画像を記憶する画像記憶手段と、
前記画像記憶手段に記憶された合成鳥瞰画像を前記移動量に相当する長さだけ位置をずらし、これを前記新規合成範囲に対する鳥瞰画像と合成することによって新たな合成鳥瞰画像を作成する画像合成手段とを有することを特徴とする路面標示画像処理装置。
【請求項２】
前記請求項１に記載の路面標示画像処理装置において、
前記道路画像内のノイズの有無を画像変化の有無に基づいて判断しノイズ有りの場合にノイズ領域を同定するノイズ領域同定手段を備え、
前記新規合成範囲特定手段は、前記ノイズ領域同定手段で同定した前記ノイズ領域を回避して前記路面範囲を特定することを特徴とする路面標示画像処理装置。
【請求項３】
前記請求項２に記載の路面標示画像処理装置において、
前記ノイズ領域同定手段は、前記道路画像内の輝度変化のない画像領域を、前記撮像手段が有するレンズの付着物によるノイズと判断することを特徴とする路面標示画像処理装置。
【請求項４】
前記請求項２に記載の路面標示画像処理装置において、
前記ノイズ領域同定手段は、前記道路画像内の円形状の高輝度領域で他の領域よりも位置変化の小さい画像領域を、路面からの反射光の写りこみによるノイズと判断することを特徴とする路面標示画像処理装置。
【請求項５】
前記請求項２に記載の路面標示画像処理装置において、
前記ノイズ領域同定手段は、前記道路画像内の前記車両側に在る低輝度領域で他の領域よりも位置変化の小さい画像領域を、前記車両の影の写りこみによるノイズと判断することを特徴とする路面標示画像処理装置。
【請求項６】
前記請求項２に記載の路面標示画像処理装置において、
前記新規合成範囲特定手段は、前記道路画像の画像領域内に予め設定された閉領域内から前記路面範囲を特定することを特徴とする路面標示画像処理装置。
【請求項７】
前記請求項１乃至６のいずれか一項に記載の路面標示画像処理装置において、
前記合成鳥瞰画像内から道路標示を認識する道路標示認識手段を備えたことを特徴とする路面標示画像処理装置。
【請求項８】
撮像した道路面の画像内に道路標示を認識する路面標示処理方法であって、
車両に搭載され進路後方の道路画像を撮影し、
前記車両の移動量を計測し、
前記移動量に相当する路面範囲を、新規合成範囲として前記道路画像中から特定し、前記新規合成範囲に対する鳥瞰画像を作成し、
記憶されている合成鳥瞰画像を前記移動量に相当する長さだけ位置をずらし、これを前記新規合成範囲に対する鳥瞰画像と合成することによって新たな合成鳥瞰画像を作成すると共に、その作成した新たな合成鳥瞰画像を出力することを特徴とする路面標示画像処理方法。
【請求項９】
前記請求項８に記載の路面標示画像処理方法において、
前記道路画像内のノイズの有無を画像変化の有無に基づいて判断しノイズ有りの場合にノイズ領域を同定し、
前記路面範囲を特定する際に、前記同定されたノイズ領域を回避して前記路面範囲を特定することを特徴とする路面標示画像処理方法。
【請求項１０】
前記請求項９に記載の路面標示画像処理方法において、
前記路面画像を特定する際に、前記道路画像の画像領域内に予め設定された閉領域内から前記路面範囲を特定することを特徴とする路面標示画像処理方法。
【請求項１１】
前記請求項８乃至１０のいずれか一項に記載の路面標示画像処理方法において、
前記合成鳥瞰画像内から道路標示を認識することを特徴とする路面標示画像処理方法。
【請求項１２】
撮像した道路面の画像内に道路標示を認識する路面標示処理用プログラムであって、
車両に搭載され進路後方の道路画像を撮影する撮像手段から前記道路画像を取得する機能と、
前記車両の移動量の値を取得する機能と、
前記移動量に相当する路面範囲を、新規合成範囲として前記道路画像中から特定し、前記新規合成範囲に対する鳥瞰画像を作成する機能と、
記憶されている合成鳥瞰画像を前記移動量に相当する長さだけ位置をずらし、これを前記新規合成範囲に対する鳥瞰画像と合成することによって新たな合成鳥瞰画像を作成する機能とをコンピュータに実行させることを特徴とする路面標示画像処理用プログラム。
【請求項１３】
前記請求項１２に記載の路面標示画像処理用プログラムにおいて、
前記道路画像内のノイズの有無を画像変化の有無に基づいて判断しノイズ有りの場合にノイズ領域を同定する機能と、
前記同定されたノイズ領域を回避して前記路面範囲を特定する機能とを前記コンピュータに実行させることを特徴とする路面標示画像処理用プログラム。
【請求項１４】
前記請求項１３に記載の路面標示画像処理用プログラムにおいて、
前記道路画像の画像領域内に予め設定された閉領域内から前記路面範囲を特定する機能を前記コンピュータに実行させることを特徴とする路面標示画像処理用プログラム。
【請求項１５】
前記請求項１２乃至１４のいずれか一項に記載の路面標示画像処理用プログラムにおいて、
前記合成鳥瞰画像内から道路標示を認識する機能を前記コンピュータに実行させることを特徴とする路面標示画像処理用プログラム。
【国際調査報告】
2009057410.tif 000021
2009057410.tif 000022
2009057410.tif 000023