(57)【要約】【課題】道路標示の認識率を向上させることができる道路認識装置及び道路認識方法を提供すること。【解決手段】本発明にかかる道路認識装置１００は、画像変換部１０１、画像重ね合わせ部１０３、画像認識処理部１０５を備える。画像変換部１０１は、車両の移動中に複数のタイミングで車載カメラ９０により撮像された道路面の複数のカメラ画像を複数の鳥瞰画像に変換する。画像重ね合わせ部１０３は、複数の鳥瞰画像の位置合わせをするとともに、複数の鳥瞰画像の一部の領域を重ね合わせ、当該重ね合わせた領域において、それぞれの鳥瞰画像の画素値を加算して合成鳥瞰画像を生成する。画像認識処理部１０５は、合成鳥瞰画像に基づいて、道路面に表示された道路標示を認識する。【選択図】図１
2012104040.tif 000002
【特許請求の範囲】
【請求項１】
車両の移動中に複数のタイミングで撮像手段により撮像された道路面の複数の撮像画像を複数の鳥瞰画像に変換する画像変換手段と、
複数の前記鳥瞰画像の位置合わせをするとともに、複数の前記鳥瞰画像の一部の領域を重ね合わせ、当該重ね合わせた領域において、それぞれの前記鳥瞰画像の画素値を加算して合成鳥瞰画像を生成する画像重ね合わせ手段と、
前記合成鳥瞰画像に基づいて、前記道路面に表示された道路標示を認識する画像認識処理手段と、
を備える道路認識装置。
【請求項２】
前記画像重ね合わせ手段は、前記画素値に含まれる輝度値を加算して前記合成鳥瞰画像を生成する請求項１に記載の道路認識装置。
【請求項３】
前記合成鳥瞰画像の画素列毎の重なり度合いを示す重複情報を生成する重複情報生成手段と、
前記重複情報生成手段が生成した重複情報に基づいて、前記合成鳥瞰画像全体の前記重なり度合いが揃うように、前記合成鳥瞰画像の画素値を補正する合成鳥瞰画像補正手段と、
をさらに備える請求項１または２に記載の道路認識装置。
【請求項４】
前記重なり度合いは、前記鳥瞰画像が重ね合わされた回数を意味する重複回数であり、
前記合成鳥瞰画像補正手段は、前記合成鳥瞰画像の画素列毎に、前記重複情報生成手段が生成した前記重複回数のうち最大の前記重複回数に当該画素列の画素値を乗じた値を当該画素列の前記重複回数で除した値を、当該画素列の画素値とする補正を行う請求項３に記載の道路認識装置。
【請求項５】
前記複数のタイミングに含まれる第１のタイミングにおいて変換された前記鳥瞰画像において、当該鳥瞰画像の前記車両側の領域であり、かつ、前記第１のタイミングと当該第１のタイミングの直前の第２のタイミングとの間に前記車両が移動する距離に対応する領域よりも広い領域を切り出す画像切り出し手段をさらに備え、
前記画像重ね合わせ手段は、複数の切り出された前記鳥瞰画像の位置合わせをするとともに、複数の切り出された前記鳥瞰画像の一部の領域を重ね合わせて前記合成鳥瞰画像を生成する請求項１〜４のいずれか一項に記載の道路認識装置。
【請求項６】
車両の移動中に複数のタイミングで撮像手段により撮像された道路面の複数の撮像画像を複数の鳥瞰画像に変換し、
複数の前記鳥瞰画像の位置合わせをするとともに、複数の前記鳥瞰画像の一部の領域を重ね合わせ、当該重ね合わせた領域において、それぞれの前記鳥瞰画像の画素値を加算して合成鳥瞰画像を生成し、
前記合成鳥瞰画像に基づいて、前記道路面に表示された道路標示を認識する道路認識方法。
【請求項７】
前記画素値に含まれる輝度値を加算して前記合成鳥瞰画像を生成する請求項６に記載の道路認識方法。
【請求項８】
前記合成鳥瞰画像の画素列毎の重なり度合いを示す重複情報を生成し、
生成した前記重複情報に基づいて、前記合成鳥瞰画像全体の前記重なり度合いが揃うように、前記合成鳥瞰画像の画素値を補正する請求項６または７に記載の道路認識方法。
【請求項９】
前記重なり度合いは、前記鳥瞰画像が重ね合わされた回数を意味する重複回数であり、
前記合成鳥瞰画像の画素列毎に、生成した前記重複回数のうち最大の前記重複回数に当該画素列の画素値を乗じた値を当該画素列の前記重複回数で除した値を、当該画素列の画素値とする補正を行う請求項８に記載の道路認識方法。
【請求項１０】
前記複数のタイミングに含まれる第１のタイミングにおいて変換された前記鳥瞰画像において、当該鳥瞰画像の前記車両側の領域であり、かつ、前記第１のタイミングと当該第１のタイミングの直前の第２のタイミングとの間に前記車両が移動する距離に対応する領域よりも広い領域を切り出し、
複数の切り出された前記鳥瞰画像の位置合わせをするとともに、複数の切り出された前記鳥瞰画像の一部の領域を重ね合わせて前記合成鳥瞰画像を生成する請求項６〜９のいずれか一項に記載の道路認識方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は道路認識装置及び道路認識方法に関し、特に道路面上に表示された道路標示を認識する道路認識装置及び道路認識方法に関する。
【背景技術】
【０００２】
近年、車両の安全性を向上させるために搭載されるシステムの多様化に伴い、画像認識装置も車両の中に多く使われるようになってきている。しかしながら、道路標示の認識に関して、夜間の走行時等の低照度な状況下における道路表示認識率はまだまだ低い。そのため、安全な走行のために認識性能を改善することが望まれている。なお、道路標示とは、路上に描かれた規制、案内標示を意味し、例えば、毎時時速４０ｋｍ制限であることを示す「４０」などの速度規制や、交差点における進行方向を示す「↑」などの進路規制等を意味する。
【０００３】
夜間等の走行状況により画像の輝度値が不足した場合、画像全体の画素値に係数を掛け合わせて画素値を増やすという方法が知られている。しかし、この方法は、認識対象物以外（例えば、車載カメラに付着した雨滴・汚れ、電気的に車載カメラの撮像素子に載ったノイズ成分等）の画素値も増幅してしまう。そのため、画像認識処理時に認識対象物の誤認識が生じ、認識性能が損なわれる可能性がある。
【０００４】
特許文献１には、合成鳥瞰画像を作成する際に、輝度値が低下する自車の影が映っている領域を避けて合成鳥瞰画像を作成し、その合成鳥瞰画像を用いて道路面に描かれた道路標示を画像認識する道路標示認識装置が開示されている。これにより、特許文献１に記載の道路標示認識装置は、道路標示の認識率の向上を図っている。
【０００５】
図８に特許文献１に記載の道路標示認識装置の構成例を示す。道路標示認識装置６は、画像変換部１、抽出対象領域特定部２、合成画像生成部３、画像認識処理部４、記憶部５を備える。画像変換部１は、車載カメラ９０で撮影したカメラ画像を、鉛直方向から地上面を見下ろした鳥瞰図を表す鳥瞰画像に変換して、記憶部５に格納する。抽出対象領域特定部２は、画像変換部１によって変換された鳥瞰画像の車両本体側の一部の領域を抽出対象領域として特定する。合成画像生成部３は、記憶部５に格納された複数の鳥瞰画像から時系列に抽出対象領域の画像を抽出する。そして、合成画像生成部３は、抽出した画像を垂直方向（車両の進行方向）に連結させた合成画像（以降、連結鳥瞰画像と称す）を生成する。画像認識処理部４は、合成画像生成部３によって生成された連結鳥瞰画像に基づいて路面に描かれた道路標示を画像認識する。
【０００６】
道路標示認識装置６は、車載カメラ９０で撮影したカメラ画像を道路の真上から見下ろした鳥瞰画像に変換後、切り出し領域を定め、鳥瞰画像の一部を切り出し、記憶部５に保存するという動作を撮影毎に行っている。その後、道路標示認識装置６は、記憶部５に保存されている撮影時刻の異なる複数の鳥瞰画像から切り出した画像を垂直方向（車両の進行方向）に連結、すなわち、重ならないように結合して、連結鳥瞰画像を生成する。そして、道路標示認識装置６は、連結鳥瞰画像から道路標示を画像認識している。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００８−２１００８４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、夜間等の道路全体が低照度な状況下では、道路標示認識装置６は、輝度値の低い鳥瞰画像、すなわち、道路標示と道路との輝度値の差が小さく、識別が困難な鳥瞰画像から画像を切り出し、当該切り出した画像を連結している。そのため、連結された連結鳥瞰画像は全体として輝度値が低く、識別が困難なため、当該連結鳥瞰画像を用いて画像認識を行うと認識率が低下してしまうという問題があった。
【課題を解決するための手段】
【０００９】
本発明にかかる道路認識装置は、車両の移動中に複数のタイミングで撮像手段により撮像された道路面の複数の撮像画像を複数の鳥瞰画像に変換する画像変換手段と、複数の前記鳥瞰画像の位置合わせをするとともに、複数の前記鳥瞰画像の一部の領域を重ね合わせ、当該重ね合わせた領域において、それぞれの前記鳥瞰画像の画素値を加算して合成鳥瞰画像を生成する画像重ね合わせ手段と、前記合成鳥瞰画像に基づいて、前記道路面に表示された道路標示を認識する画像認識処理手段と、を備えるものである。このような構成により、ノイズ成分を増幅させずに画素値の高い合成鳥瞰画像を得ることができる。そのため、道路標示の認識率を向上させることができる。
【００１０】
本発明にかかる道路認識方法は、車両の移動中に複数のタイミングで撮像手段により撮像された道路面の複数の撮像画像を複数の鳥瞰画像に変換し、複数の前記鳥瞰画像の位置合わせをするとともに、複数の前記鳥瞰画像の一部の領域を重ね合わせ、当該重ね合わせた領域において、それぞれの前記鳥瞰画像の画素値を加算して合成鳥瞰画像を生成し、前記合成鳥瞰画像に基づいて、前記道路面に表示された道路標示を認識するものである。このような構成により、ノイズ成分を増幅させずに画素値の高い合成鳥瞰画像を得ることができる。そのため、道路標示の認識率を向上させることができる。
【発明の効果】
【００１１】
本発明により、道路標示の認識率を向上させることができる道路認識装置及び道路認識方法を提供することができる。
【図面の簡単な説明】
【００１２】
【図１】実施の形態にかかる道路認識装置のブロック図である。
【図２】実施の形態にかかる一時的な合成鳥瞰画像及び重複情報の構成例を示す図である。
【図３】実施の形態にかかる道路認識装置の動作例を示すフローチャートである。
【図４】実施の形態にかかる画像変換処理を説明するための図である。
【図５】実施の形態にかかる画像重ね合わせ処理を説明するための図である。
【図６】実施の形態にかかる画像重ね合わせ処理及び重複情報の生成処理を説明するための図である。
【図７】実施の形態にかかる合成鳥瞰画像の補正処理を説明するための図である。
【図８】関連する道路標示認識装置のブロック図である。
【発明を実施するための形態】
【００１３】
以下、図面を参照して本発明の実施の形態について説明する。本発明にかかる道路認識装置１００の構成例を図１に示す。道路認識装置１００は、画像変換部１０１、画像切り出し部１０２、画像重ね合わせ部１０３、合成鳥瞰画像補正部１０４、画像認識処理部１０５、重複情報生成部２０１、記憶部２０２を備える。
【００１４】
画像変換部１０１は、車両の後方に搭載された車載カメラ９０（撮像手段）が撮像したカメラ画像を鳥瞰画像に変換する。ここで、鳥瞰画像とは、カメラ画像を道路に対して垂直方向から当該道路を見下ろした画像を意味する。なお、車載カメラ９０は、複数のタイミング（例えば、一定時間毎、一定距離毎等）で車両が走行する道路面の画像を撮像する。
【００１５】
画像切り出し部１０２は、複数のタイミングに含まれる第１のタイミングにおいて変換された鳥瞰画像において、当該鳥瞰画像の車両側の領域であり、第１のタイミングと当該第１のタイミングの直前の第２のタイミングとの間に車両が移動した距離に対応する領域よりも広い領域を切り出す。なお、鳥瞰画像から切り出す領域の大きさは、車両の車速に合わせて変化させてもよいし、固定値であってもよい。
【００１６】
画像重ね合わせ部１０３は、複数の鳥瞰画像から画像切り出し部１０２により切り出された複数の切り出し画像の位置合わせを行う。そして、画像重ね合わせ部１０３は、位置を合わせた切り出し画像を重ね合わせる。ここで、切り出し画像を重ね合わせるとは、各切り出し画像の画素値を加算することを意味する。なお、以下の説明においては、切り出し画像を重ね合わせた画像を一時的な合成鳥瞰画像という。また、画素値とは、輝度値、コントラスト値等の道路標示と道路との識別に用いられる情報を意味する。
【００１７】
重複情報生成部２０１は、車両に搭載された車速センサ９１の検出結果に基づいて、車両の移動距離を算出する。さらに、重複情報生成部２０１は、一時的な合成鳥瞰画像の重なり度合いを示す重複情報を生成する。
【００１８】
一時的な合成鳥瞰画像と重複情報との関係を示す例を図２に示す。重複情報４０６は、一時的な合成鳥瞰画像４０５を生成する際に、鳥瞰画像から切り出した画像を重ね合わせた回数（以下、重複回数と称す）からなる情報である。具体的には、重複情報４０６は、一時的な合成鳥瞰画像４０５の画素列分の重複回数からなる情報である。言い換えると、重複情報４０６は、一時的な合成鳥瞰画像４０５の横方向の画素（以下、横方向１ラインと称す。図２の破線で区切られたライン（画素列））毎の重複回数を意味する情報である。
【００１９】
合成鳥瞰画像補正部１０４は、一時的な合成鳥瞰画像４０５の重なり度合い、つまり、重複情報４０６に基づいて、一時的な合成鳥瞰画像４０５全体の重なり度合いが揃うように、一時的な合成鳥瞰画像４０５の画像値を補正する。画像認識処理部１０５は、補正後の合成鳥瞰画像に基づいて、車両が走行する道路面に表示された道路標示を認識する。
【００２０】
続いて、図３に示したフローチャートを用いて、道路認識装置１００の動作例について説明する。なお、以下の説明においては、道路認識装置１００が道路面に表示された道路標示（近くに横断歩道や自転車横断帯があることを示す道路標示）を認識する場合について説明する。まず、画像変換部１０１が、車載カメラ９０により撮像されたカメラ画像を取得する（ステップＳ２０１）。そして、画像変換部１０１は、カメラ画像を鳥瞰画像に変換して、当該鳥瞰画像を画像切り出し部１０２へ出力する（ステップＳ２０２）。
【００２１】
ここで、画像変換部１０１の変換処理について、図４を用いて詳細に説明する。図４（ａ）は、車両３０１の上面図を示す図である。図４（ｂ）は、車載カメラ９０により撮像されたカメラ画像を示す図である。図４（ｃ）は、カメラ画像に基づいて変換された鳥瞰画像を示す図である。
【００２２】
車載カメラ９０は、車両３０１の後方の道路面を撮像し、カメラ画像３０２を生成する（図４（ｂ）参照）。車載カメラ９０により撮像された画像においては、車両３０１の遠方が小さく、手前が大きく映る。つまり、カメラ画像３０２において、画像の下側が車両３０１に近く、上側が車両３０１から遠い部分となる。カメラ画像３０２の線分３０３は道路の端を示す線である。菱形３０４は道路標示である。画像変換部１０１は、カメラ画像３０２を鳥瞰画像３０５に変換する（図４（ｃ）参照）。なお、カメラ画像３０２を鳥瞰画像３０５に変換する技術は周知技術（例えば、特開平１０−２１１８４９号公報等）であるため、説明を省略する。
【００２３】
図３のフローチャートに戻り、画像切り出し部１０２は、変換された鳥瞰画像において、当該鳥瞰画像の車両側の領域であり、かつ、現在の撮像タイミングと一つ前の撮像タイミングとの間に車両が移動した距離に対応する領域よりも広い領域を切り出す（ステップＳ２０３）。画像切り出し部１０２は、切り出した画像を画像重ね合わせ部１０３に出力する。
【００２４】
重複情報生成部２０１は、車速センサ９１から車速情報を取得する（ステップＳ２０４）。重複情報生成部２０１は、取得した車速情報に基づいて、車両の移動距離を算出する（ステップＳ２０５）。
【００２５】
重複情報生成部２０１は、算出した車両の移動距離分だけ重複情報４０６全体を上方へずらす。これにより、重複情報４０６の下側部分が空く。重複情報生成部２０１は、空いた下側部分の重複回数を０にする（ステップＳ２０６）。そして、重複情報生成部２０１は、重複情報４０６の下端から、画像切り出し部１０２により切り出された領域に対応する範囲の重複回数に１を加算する（ステップＳ２０７）。上記のステップＳ２０４〜Ｓ２０７により重複情報４０６が生成される。重複情報生成部２０１は、生成した重複情報４０６を記憶部２０２に格納する。なお、記憶部２０２は、ＲＡＭ（Random Access Memory）等のメモリである。
【００２６】
画像重ね合わせ部１０３は、重複情報生成部２０１から車両移動距離を取得する（ステップＳ２０８）。画像重ね合わせ部１０３は、車両の移動距離分だけ一時的な合成鳥瞰画像４０５を上方にずらす。これにより、一時的な合成鳥瞰画像４０５の下側部分が空く。画像重ね合わせ部１０３は、一時的な合成鳥瞰画像４０５の空いた下側部分の画像値を０にする（ステップＳ２０９）。そして、画像重ね合わせ部１０３は、一時的な合成鳥瞰画像４０５の下端から画像切り出し部１０２により切り出された画像を重ね合わせる（ステップＳ２１０）。つまり、画像重ね合わせ部１０３は、一時的な合成鳥瞰画像４０５の画素値に重ね合わせる画像の画素値を加算する。画像重ね合わせ部１０３は、生成した一時的な合成鳥瞰画像４０５を記憶部２０２に格納する。
【００２７】
ここで、画像重ね合わせ部１０３による鳥瞰画像の重ね合わせ処理及び重複情報生成部２０１による重複情報４０６の生成処理について、図５、図６を用いて詳細に説明する。図５は、車両３０１の移動中に、時刻ｔ０〜ｔ３において撮像されたカメラ画像から生成された鳥瞰画像と、一時的な合成鳥瞰画像４０５とを示す図である。
【００２８】
図５の左側に示す道路に表示された時刻ｔ０〜ｔ３の破線は、各時刻における車両３０１の最後尾の位置を示している。つまり、これらの破線は時刻ｔ０〜ｔ３における撮像位置を示している。
【００２９】
鳥瞰画像４０１は、時刻ｔ０において車載カメラ９０により撮像されたカメラ画像を鳥瞰画像に変換した画像である。同様に、鳥瞰画像４０２は時刻ｔ１、鳥瞰画像４０３は時刻ｔ２、鳥瞰画像４０４は時刻ｔ３において撮像されたカメラ画像を鳥瞰画像に変換した画像である。
【００３０】
鳥瞰画像４０１〜４０４に示す斜線領域４０７〜４１０は、画像切り出し部１０２により切り出される画像を示す。画像重ね合わせ部１０３は、これらの切り出し画像４０７〜４１０を、車両の移動距離に基づいて位置合わせをする。そして、画像重ね合わせ部１０３は、位置を合わせた切り出し画像４０７〜４１０を重ね合わせる。つまり、画像重ね合わせ部１０３は、切り出し画像４０７〜４１０の重複部分の画素値を加算する。図５においては、切り出し画像４０７〜４１０を重ね合わせた画像が、一時的な合成鳥瞰画像４０５である。
【００３１】
一方、重複情報生成部２０１は、一時的な合成鳥瞰画像４０５において、横方向１ライン毎に重複回数をカウントし、重複情報４０６を生成する。なお、図５の重複情報４０６中の破線は、横方向１ライン毎の線ではなく、重複回数が異なる領域を区切る線である。
【００３２】
次に、上記の画像重ね合わせ部１０３の処理及び重複情報生成部２０１の処理について図６を用いてさらに詳細に説明する。図６は、鳥瞰画像の重ね合わせ処理及び重複情報４０６の生成処理のシステムの起動時から図５の時刻ｔ１までの処理動作を示す図である。まず、システム起動時においては、一時的な合成鳥瞰画像４０５及び重複情報４０６は何も情報を有さないため、全て０の状態である（図６（ａ）参照）。
【００３３】
画像重ね合わせ部１０３は、図５の時刻ｔ０において切り出された画像４０７を一時的な合成鳥瞰画像４０５の下端に重ね合わせる。一方、重複情報生成部２０１は、切り出し画像４０７が重ね合わされた領域に対応する範囲の重複回数に１を加算する（図６（ｂ）参照）。
【００３４】
画像重ね合わせ部１０３は、時刻ｔ０から時刻ｔ１の間の車両３０１の移動距離分だけ一時的な合成鳥瞰画像４０５を上方へずらす。そして、画像重ね合わせ部１０３は、一時的な合成鳥瞰画像４０５の下端から車両３０１の移動距離に対応する領域の情報を０とする。重複情報生成部２０１も同様に、重複情報４０６の下端から車両３０１の移動距離分だけ重複情報４０６を上方へずらす。そして、重複情報生成部２０１は、重複情報４０６の下端から車両３０１の移動距離に対応する範囲の重複回数を０とする（図６（ｃ）参照）。
【００３５】
画像重ね合わせ部１０３は、時刻ｔ１において切り出された画像４０８を一時的な合成鳥瞰画像４０５の下端に重ね合わせる。一方、重複情報生成部２０１は、切り出し画像４０８が重ね合わされた領域に対応する範囲の重複回数に１を加算する（図６（ｄ）参照）。
【００３６】
画像重ね合わせ部１０３は、時刻ｔ１から時刻ｔ２の間の車両３０１の移動距離分だけ一時的な合成鳥瞰画像４０５を上方へずらす。そして、画像重ね合わせ部１０３は、一時的な合成鳥瞰画像４０５の下端から車両３０１の移動距離に対応する領域の情報を０とする。重複情報生成部２０１も同様に、重複情報４０６の下端から車両３０１の移動距離分だけ重複情報４０６を上方へずらす。そして、重複情報生成部２０１は、重複情報４０６の下端から車両３０１の移動距離に対応する範囲の重複回数を０とする（図６（ｅ）参照）。
【００３７】
画像重ね合わせ部１０３及び重複情報生成部２０１は、上記の処理を時刻ｔ０から時刻ｔ３まで繰り返すことにより、図５に示す一時的な合成鳥瞰画像４０５及び重複情報４０６を生成する。画像重ね合わせ部１０３は、切り出された画像を重ね合わせる度に、一時的な合成鳥瞰画像４０５を上方へずらす。このとき、画像の情報が、一時的な合成鳥瞰画像４０５からはみ出た場合、画像重ね合わせ部１０３は、はみ出た画像の情報を切り捨てる。同様に、重複情報生成部２０１も、重複情報４０６からはみ出た重複回数を切り捨てる。なお、図６の説明においては、切り出し画像の重ね合わせと重複情報４０６の生成とが並列処理される場合について説明したが、これに限られるものではない。切り出し画像の重ね合わせ処理を先に行ってもよいし、重複情報４０６の生成処理を先に行ってもよい。
【００３８】
図３のフローチャートに戻り、合成鳥瞰画像補正部１０４は、記憶部２０２に格納された一時的な合成鳥瞰画像４０５の重なり度合いを揃える補正を行う。具体的には、合成鳥瞰画像補正部１０４は、重複情報４０６に含まれている重複回数のうち、最大の重複回数（以下、最大重複回数と称す）を取得する（ステップＳ２１１）。
【００３９】
合成鳥瞰画像補正部１０４は、重複情報４０６から横方向１ラインの重複回数を取得する（ステップＳ２１２）。そして、合成鳥瞰画像補正部１０４は、一時的な合成鳥瞰画像４０５における当該横方向１ライン分の画素値と取得した重複回数とに基づいて、補正後の合成鳥瞰画像の画素値を算出する（ステップＳ２１３）。合成鳥瞰画像補正部１０４は、一時的な合成鳥瞰画像４０５の横方向の全ラインについて補正処理（ステップＳ２１２、Ｓ２１３）を行ったか否かを判定する（ステップＳ２１４）。一時的な合成鳥瞰画像４０５の横方向の全ラインについて補正処理が行われていない場合（ステップＳ２１４：Ｎｏ）、合成鳥瞰画像補正部１０４は、ステップＳ２１２、Ｓ２１３を繰り返す。
【００４０】
ここで、合成鳥瞰画像補正部１０４の補正処理について図７を用いて詳細に説明する。図７に示す一時的な合成鳥瞰画像４０５及び重複情報４０６は、図５において説明した処理により生成されたものである。
【００４１】
重なり度合いを揃える補正とは、最大重複回数よりも少ない回数重ね合わされた領域の画素値が、最大重複回数重ね合わされた領域と同程度の画素値となるように、一時的な合成鳥瞰画像４０５の画素値を補正することをいう。具体的には、合成鳥瞰画像補正部１０４は、一時的な合成鳥瞰画像４０５の横方向１ライン毎に以下の式を用いて画素値を補正する。なお、合成鳥瞰画像補正部１０４は、横方向の任意のライン（例えば、上端ラインや下端ライン）から補正処理を開始する。
【００４２】
補正後の合成鳥瞰画像の画素値＝（一時的な合成鳥瞰画像の画素値×最大重複回数）／重複回数
【００４３】
図７において、重複回数が１の領域については、補正後の画素値は、一時的な合成鳥瞰画像４０５の画素値に最大重複回数である３を乗じて、重複回数である１で除した値となる。つまり、重複回数が１の領域に対応する補正後の合成鳥瞰画像４１１の領域の画素値は、一時的な合成鳥瞰画像４０５の画素値の３倍の画素値となる。同様に、重複回数が２の領域に対応する補正後の合成鳥瞰画像４１１の領域の画素値は、一時的な合成鳥瞰画像４０５の画素値の３／２倍の画素値となる。重複回数が３、つまり、重複回数が最大重複回数である領域の画素値は、補正処理の基準となる画素値であるため、補正処理は行われない。このような補正処理により、補正後の合成鳥瞰画像４１１の重なり度合いが揃えられる。
【００４４】
図３のフローチャートに戻り、一時的な合成鳥瞰画像４０５の全ラインについて補正処理が終了した場合（ステップＳ２１４：Ｙｅｓ）、合成鳥瞰画像補正部１０４は、補正後の合成鳥瞰画像４１１を画像認識処理部１０５に出力する。画像認識処理部１０５は、補正後の合成鳥瞰画像４１１を入力画像として、テンプレートマッチングにより画像認識を行う（ステップＳ２１５）。つまり、画像認識処理部１０５は、道路標示を認識する。
【００４５】
以上のように、本発明にかかる道路認識装置１００においては、画像変換部１０１が、異なるタイミングで撮像された道路面のカメラ画像を鳥瞰画像に変換する。そして、画像重ね合わせ部１０３が、画像切り出し部１０２により切り出された複数の鳥瞰画像の一部を重ね合わせて、一時的な合成鳥瞰画像４０５を生成する。そのため、たとえカメラ画像にノイズ成分が乗ったとしても、各切り出し画像におけるノイズの位置は異なる。したがって、複数の切り出し画像が重ね合わされた一時的な合成鳥瞰画像４０５においては、ノイズの画素値は増幅しない。一方、道路標示は位置合わせをして重ね合わせられるため、道路標示の画素値は増幅される。つまり、ノイズ成分を増幅させずに画素値の高い合成鳥瞰画像が得られる。したがって、道路標示と道路との識別が容易となる。その結果、夜間等のようにカメラ画像全体として低照度な状況下であっても、道路標示の認識率を向上させることができる。
【００４６】
さらに、合成鳥瞰画像補正部１０４が、重複情報４０６に基づいて、一時的な合成鳥瞰画像４０５から重なり度合いが揃った補正後の合成鳥瞰画像４１１を生成する。そのため、重なり度合いの違いに伴う画素値の差によって画像認識の認識率が低下することを回避できる。上述の説明においては、重なり度合いを示すものとして重複回数を用いたが、これに限られるものではない。例えば、道路面を表示している画素（例えば鳥瞰画像の両端付近の画素）の画素値は、重なり度合いが同じであれば実質的に同じ値となる。そのため、道路面を表示している画素の画素値の違いにより、重なり度合いを判別してもよい。
【００４７】
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更及び組み合わせをすることが可能である。例えば、車載カメラ９０の位置は、車両３０１の後方に限られず、車両３０１の前方や側方に設けられていてもよい。また、上述した実施の形態においては、画像変換部１０１が変換した鳥瞰画像の一部の領域を、画像切り出し部１０２が所定の大きさの領域に切り出しているが、必ずしも画像切り出し部１０２は必要ではない。例えば、画像変換部１０１が鳥瞰画像に変換する領域を予め所定の大きさの領域に設定しておけば、鳥瞰画像から一部の領域を切り出す処理は不要となる。
【符号の説明】
【００４８】
１、１０１  画像変換部
２  抽出対象領域特定部
３  合成画像生成部
４、１０５  画像認識処理部
５、２０２  記憶部
６  道路標示認識装置
９０  車載カメラ
９１  車速センサ
１００  道路認識装置
１０２  画像切り出し部
１０３  画像重ね合わせ部
１０４  合成鳥瞰画像補正部
２０１  重複情報生成部
３０１  車両
３０２  カメラ画像
３０３  道路の端
３０４  道路標示
３０５、４０１〜４０４  鳥瞰画像
４０５  一時的な合成鳥瞰画像
４０６  重複情報
４０７〜４１０  切り出し画像
４１１  補正後の合成鳥瞰画像
【図１】
2012104040.tif 000003
【図２】
2012104040.tif 000004
【図３】
2012104040.tif 000005
【図４】
2012104040.tif 000006
【図５】
2012104040.tif 000007
【図６】
2012104040.tif 000008
【図７】
2012104040.tif 000009
【図８】
2012104040.tif 000010