(57)【要約】【課題】車両の後方を撮像した画像から道路標示を認識する技術を提供する。【解決手段】取得部３０は、車両の後方を撮像する撮像部１０からの画像を取得する。抽出部３２は、取得した画像から、車両の進行方向とは略垂直方向の１ラインの成分を抽出する。処理部３４は、抽出した１ラインの成分を処理してから、１ラインの成分を合成することによって認識対象の画像を生成する。ここで、処理部３４は、１ラインの成分に対して左右反転処理を実行する。認識部３６は、生成した認識対象の画像から道路標示を認識する。【選択図】図２
2017068420.tif 000002
【特許請求の範囲】
【請求項１】
車両の後方を撮像する撮像部からの画像を取得する取得部と、
前記取得部において取得した画像から、車両の進行方向とは略垂直方向の１ラインの成分を抽出する抽出部と、
前記抽出部において抽出した１ラインの成分を処理してから、１ラインの成分を合成することによって認識対象の画像を生成する処理部と、
前記処理部において生成した認識対象の画像から道路標示を認識する認識部とを備え、
前記処理部は、１ラインの成分に対して左右反転処理を実行することを特徴とする道路標示認識装置。
【請求項２】
前記処理部は、（１）１ラインの成分において、道路に設けられた境界線を特定し、（２）境界線を合わせるように、１ラインの成分に対する左右位置の補正処理を実行することを特徴とする請求項１に記載の道路標示認識装置。
【請求項３】
前記処理部は、（１）前記取得部において取得した画像から、道路の曲がりの角度を算出し、（２）算出した角度に応じて、１ラインの成分を傾けながら合成することを特徴とする請求項１または２に記載の道路標示認識装置。
【請求項４】
車両の後方を撮像する撮像部からの画像を取得するステップと、
取得した画像から、車両の進行方向とは略垂直方向の１ラインの成分を抽出するステップと、
抽出した１ラインの成分を処理してから、１ラインの成分を合成することによって認識対象の画像を生成するステップと、
生成した認識対象の画像から道路標示を認識するステップとを備え、
前記生成するステップは、１ラインの成分に対して左右反転処理を実行することを特徴とする道路標示認識方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、道路標識認識技術に関し、特に画像に撮像されている道路表示を認識する道路標示認識装置および道路標示認識方法に関する。
【背景技術】
【０００２】
車載用ナビゲーション装置において、路面にペイントされた標示の画像をカメラにより撮像し、撮像した画像から標示を認識することがなされる。これにより、当該車載用ナビゲーション装置は、標示の内容も反映するように処理を実行するので、処理の精度が向上する（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−１３９６１１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
路面にペイントされた標示を撮像するためのカメラは、車両のフロント部分に搭載される。そのため、当該カメラは車両の前方を撮像し、車両の前方を撮像した画像から、標示が認識される。一方、カメラの搭載位置として、車両のフロント部分よりもリア部分の方が多い。後者は、バックモニタとして使用されるからである。新たなカメラの搭載を抑制するために、車両の後方を撮像した画像から標示を認識することが望まれる。
【０００５】
本発明はこうした状況に鑑みてなされたものであり、その目的は、車両の後方を撮像した画像から道路標示を認識する技術を提供することである。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明のある態様の道路標示認識装置は、車両の後方を撮像する撮像部からの画像を取得する取得部と、取得部において取得した画像から、車両の進行方向とは略垂直方向の１ラインの成分を抽出する抽出部と、抽出部において抽出した１ラインの成分を処理してから、１ラインの成分を合成することによって認識対象の画像を生成する処理部と、処理部において生成した認識対象の画像から道路標示を認識する認識部とを備える。処理部は、１ラインの成分に対して左右反転処理を実行する。
【０００７】
本発明の別の態様は、道路標示認識方法である。この方法は、車両の後方を撮像する撮像部からの画像を取得するステップと、取得した画像から、車両の進行方向とは略垂直方向の１ラインの成分を抽出するステップと、抽出した１ラインの成分を処理してから、１ラインの成分を合成することによって認識対象の画像を生成するステップと、生成した認識対象の画像から道路標示を認識するステップとを備える。生成するステップは、１ラインの成分に対して左右反転処理を実行する。
【０００８】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【０００９】
本発明によれば、車両の後方を撮像した画像から道路標示を認識できる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施例に係る車両の構成を示す図である。
【図２】本発明の実施例に係る道路標示認識装置の構成を示す図である。
【図３】図１の取得部において取得した画像を示す図である。
【図４】図１の処理部による処理概要を示す図である。
【図５】図２の道路標示認識装置による認識手順を示すフローチャートである。
【発明を実施するための形態】
【００１１】
本発明を具体的に説明する前に、まず前提を説明する。本発明の実施例は、車両に搭載された撮像部であって、車両の後方を撮像する撮像部において撮像した画像をもとに、道路にペイントされた道路標示を認識する道路標示認識装置に関する。これまで、道路標示の認識に使用される画像は、車両の前方を撮像可能な撮像部によって撮像されている。一方、車両の前方を撮像可能な撮像部の搭載率は、車両の後方を撮像可能な撮像部の搭載率と比較して低い。そのため、道路標示の認識のために、車両の前方を撮像可能な撮像部を新たに設置する必要がある。これに対応するために、本実施例に係る道路標示認識装置は、車両の後方を撮像可能な撮像部によって撮像した画像から道路標示を認識する。
【００１２】
以下、本発明の実施例について、図面を参照しつつ説明する。かかる実施例に示す具体的な数値等は、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書および図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、本発明に直接関係のない要素は図示を省略する。
【００１３】
図１は、本発明の実施例に係る車両１００の構成を示す。これは、車両１００の上面図であり、図の上側が車両１００の前方に相当し、図の下側が車両１００の後方に相当する。また、車両１００の後方部分、つまりリア部分に、撮像部１０が搭載される。撮像部１０は、矢印によって示された方向、車両１００の後方を撮像する。撮像部１０によって撮像された画像は、動画像であってもよく、静止画像であってもよい。撮像部１０は、撮像した画像をデジタルデータ（以下、これもまた「画像」という）を出力する。
【００１４】
図２は、本発明の実施例に係る道路標示認識装置２０の構成を示す。道路標示認識装置２０は、取得部３０、抽出部３２、処理部３４、認識部３６、出力部３８を含む。また、道路標示認識装置２０は、撮像部１０に接続される。道路標示認識装置２０も車両１００（図示せず）に搭載される。
【００１５】
取得部３０は、撮像部１０からの画像を取得する。撮像部１０は、一般的に、車両１００の後方から下方を撮像する。図３は、取得部３０において取得した画像を示す。図示のごとく、画像は、車両１００に近い部分を大きく示し、車両１００から離れた部分を小さく示す。図２に戻る。取得部３０は、画像を抽出部３２、処理部３４に出力する。
【００１６】
抽出部３２は、取得部３０から画像を入力する。抽出部３２は、画像から、車両１００の進行方向とは略垂直方向の１ラインの成分を抽出する。図３のごとく、画像は歪んでいるので、画像に道路標示が示されていても、道路標示は、車両１００から離れるほど小さくなるように歪む。一方、このような歪みを低減するために、車両１００から離れた部分を拡大した場合、画像の品質が悪化し、道路標示の認識精度が低下する。そのため、抽出部３２は、図３に示すように、画像の水平方向に１ライン２００を規定し、１ライン２００の成分を抽出する。なお、詳細は後述するが、１ライン２００の成分の抽出は、画像毎になされ、複数の１ライン２００の成分が合成されることによって、新たな画像（以下、「認識対象の画像」という）が生成される。抽出部３２は、１ライン２００の成分を処理部３４に出力する。
【００１７】
処理部３４は、抽出部３２から１ライン２００の成分を順次入力する。また、処理部３４は、取得部３０からの画像も順次入力する。１ライン２００の成分を処理してから、１ライン２００の成分を合成することによって認識対象の画像を生成する。ここでは、処理部３４における処理を処理の順にしたがって、（１）二値化処理、（２）左右位置補正処理、（３）角度補正処理、（４）左右反転処理、（５）合成処理（６）上下反転処理の順に説明する。
【００１８】
（１）二値化処理
処理部３４は、１ライン２００の成分を構成する複数画素のそれぞれに対する画素値を二値に変換する。以下の説明において、１ライン２００の成分は、二値化された複数の画素によって示されている。
【００１９】
（２）左右位置補正処理
走行中に車両１００が左右にずれると道路標示が歪む。これに対応するために、処理部３４は、図３に示された画像において、道路に設けられた第１境界線２０２、第２境界線２０４を特定する。ここで、第１境界線２０２は、車両１００の進行方向を見た場合に、車両１００の右側に設けられた境界線であり、第２境界線２０４は、車両１００の進行方向を見た場合に、車両１００の左側に設けられた境界線である。また、処理部３４は、特定した第１境界線２０２、第２境界線２０４に対応した部分を１ライン２００でも特定する。そのため、処理部３４は、１ライン２００の成分において、道路に設けられた第１境界線２０２、第２境界線２０４を特定する。このような特定は、複数の１ライン２００の成分のそれぞれに対してなされる。
【００２０】
処理部３４は、図３の左右方向において、第１境界線２０２、第２境界線２０４を合わせるように、１ライン２００の成分に対する左右位置の補正処理を実行する。なお、第１境界線２０２と第２境界線２０４のいずれか一方だけが特定される場合、処理部３４は、いずれか一方を合わせるように、１ライン２００の成分に対する左右位置の補正処理を実行する。
【００２１】
（３）角度補正処理
道路には、直線ばかりではなくカーブも多い。カーブ中や車両のふらつき中において撮像した画像には歪む可能性がある。これに対応するための処理を、図４を使用しながら説明する。図４は、処理部３４による処理概要を示す。図４は、図３と同様に取得部３０からの画像を示すが、図３と異なって道路がカーブである。画像には、第１境界線２０２、第２境界線２０４が示されている。処理部３４は、第１接線２１０、第２接線２１２とを特定する。第１接線２１０は第１境界線２０２に対する接線であり、第２接線２１２は第２境界線２０４に対する接線である。処理部３４は、第１接線２１０と第２接線２１２とが交差する点を第１交点２１４として特定する。
【００２２】
また、処理部３４は、車両１００からまっすぐ後方に向かう線として後方線２１６を特定する。第１交点２１４から水平に延びる線と後方線２１６とが交差する点として第２交点２１８を特定する。これらの特定後、処理部３４は、第１交点２１４から第２交点２１８の長さによって、後方線２１６の長さを除算する。また、処理部３４は、除算結果の逆正接を道路の曲がりの角度θとして算出する。このように処理部３４は、取得部３０において取得した画像から、道路の曲がりの角度θを算出する。算出した角度θは、後述の合成処理において使用する。
【００２３】
ここで、処理部３４は、道路の曲がりの角度θを簡易に導出するために、次の処理を実行してもよい。処理部３４は、後方線２１６と第１交点２１４で形成される三角形に相似する三角形であって、かつ第１線２２０と第２線２２２とを含む三角形を導出する。また、処理部３４は、第１線２２０の長さに対応したピクセル数を数えるとともに、第２線２２２の長さに対応したピクセル数を数える。処理部３４は、両方のピクセル数の比をもとに、道路の曲がりの角度θを導出する。なお、両方のピクセル数の比と道路の曲がりの角度θとの関係は、予め保持されていればよい。
【００２４】
（４）左右反転処理
取得部３０において取得した画像は左右反転であるので、処理部３４は、１ライン２００の成分に対して左右反転処理を実行する。
（５）合成処理
処理部３４は、１ライン２００の垂直方向に、１ライン２００の成分を並べていくことによって、１ライン２００の成分を合成する。ここで、隣接した１ライン２００の成分間の間隔は、車両１００の車速に応じて決定される。例えば、車速が速いほど、間隔が広げられる。合成結果が、前述の認識対象の画像である。なお、角度補正処理において角度θを算出した場合、処理部３４は、１ライン２００の成分を（π／２−θ）傾けながら合成する。
【００２５】
（６）上下反転処理
認識対象の画像は上下反転であるので、処理部３４は、認識対象の画像に対して上下反転処理を実行する。
これらの処理の終了後、処理部３４は、認識対象の画像を認識部３６に出力する。
【００２６】
認識部３６は、処理部３４から認識対象の画像を入力する。認識部３６は、認識対象の画像に撮像されうる道路標示の画像を参照画像として複数予め記憶する。参照画像は、例えば、速度情報、横断歩道、交差点手前の進行区分矢印、Ｕターン禁止印等である。認識部３６は、複数の参照画像のそれぞれと、認識対象の画像とを比較することによって、認識対象の画像に撮像された道路標示を認識する。その際、認識部３６は、参照画像を画像の中の位置を変えながら比較を実行し、一致した場合に、道路標示を認識する。なお、比較の評価値には、画素の輝度値の差の二乗の合計値が使用されており、認識部３６は、評価値が予め決めておいた規定値よりも小さければ一致したと判定する。認識部３６は、道路標示を認識した場合、認識した道路標示に関する情報を出力部３８に出力する。出力部３８は、車両１００に搭載された所定の装置に認識結果を出力する。
【００２７】
この構成は、ハードウエア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウエア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。
【００２８】
以上の構成による道路標示認識装置２０の動作を説明する。図５は、道路標示認識装置２０による認識手順を示すフローチャートである。取得部３０は、画像を取得する（Ｓ１０）。抽出部３２は、１ライン２００の成分を抽出する（Ｓ１２）。処理部３４は、二値化処理を実行する（Ｓ１４）。処理部３４は、左右位置補正処理を実行する（Ｓ１６）。処理部３４は、角度補正処理を実行する（Ｓ１８）。処理部３４は、左右反転処理を実行する（Ｓ２０）。処理部３４は、合成処理を実行する（Ｓ２２）。処理部３４は、上下反転処理を実行する（Ｓ２４）。参照画像と認識対象の画像とが一致した場合（Ｓ２６のＹ）、認識部３６は、道路標示を認識する（Ｓ２８）。参照画像と認識対象の画像とが一致しない場合（Ｓ２６のＮ）、ステップ２８をスキップする。
【００２９】
本実施例によれば、１ラインの成分を処理してから合成することによって生成した認識対象の画像から道路標示を認識するので、車両の後方を撮像した画像から道路標示を認識できる。また、左右位置の補正処理を実行するので、認識精度を向上できる。また、道路の曲がりの角度を補正するので、認識精度を向上できる。また、車両の後方を撮像する撮像部を使用するので、追加の撮像部の搭載を不要にできる。また、１ラインの成分を合成するので、認識において、街路樹やトラック等の影響を低減できる。また、車両後方の直近１ラインに注目して見るので、後方車両の影響を低減できる。また、二値化してトレースし複数フレームをずらしながら、車速に応じてつなぎ合わせるので、道路標示を認識する差異の歪みを低減できる。
【００３０】
以上、本発明を実施例をもとに説明した。この実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【００３１】
本実施例において、処理部３４は、左右位置補正処理、角度補正処理を実行している。しかしながらこれに限らず例えば、処理部３４において左右位置補正処理、角度補正処理の少なくとも一方が省略されてもよい。本変形例によれば、処理を簡易化できる。
【００３２】
本実施例において、撮像部１０は画像を撮像している。しかしながらこれに限らず例えば、撮像部１０は、赤外光を使用しながら撮像を実行してもよい。本変形例によれば、夜間において道路標示を認識できる。
【符号の説明】
【００３３】
１０  撮像部、  ２０  道路標示認識装置、  ３０  取得部、  ３２  抽出部、  ３４  処理部、  ３６  認識部、  ３８  出力部、  １００  車両。
【図１】
2017068420.tif 000003
【図２】
2017068420.tif 000004
【図３】
2017068420.tif 000005
【図４】
2017068420.tif 000006
【図５】
2017068420.tif 000007