(57)【要約】【課題】車道の区画線を適正に補完することが可能な道路標示の認識に係る画像処理技術を提供する。【解決手段】道路標示認識装置１は、車両のカメラ１１０により撮影した画像１１１から車道の区画線を含む複数種類の道路標示１１２を検出する検出部１２と、区画線である車道中央線１１２ａにおいて車両の進行方向に沿って延びることに係る不規則部１１２ｚを認識するとともに、不規則部１１２ｚが欠損部１１２ｚである場合に、車道中央線１１２ａの不規則部１１２ｚを補完する補完処理を実施する補完部１４と、を備える。そして、補完部１４は、不規則部１１２ｙ近傍に車道中央線１１２ａとは異なる種類の道路標示が存在する場合に、車道中央線１１２ａの該不規則部１１２ｙにおける補完処理を禁止する。【選択図】図１
2019012308.tif 000002
【特許請求の範囲】
【請求項１】
車両のカメラにより撮影した画像から車道の区画線を含む複数種類の道路標示を検出する検出部と、
前記区画線において車両の進行方向に沿って延びることに係る不規則部を認識するとともに、前記不規則部が欠損部である場合に、前記区画線の該不規則部を補完する補完処理を実施する補完部と、
を備え、
前記補完部は、前記不規則部近傍に前記区画線とは異なる種類の前記道路標示が存在する場合に、前記区画線の該不規則部における前記補完処理を禁止する
ことを特徴とする画像処理装置。
【請求項２】
前記補完部は、前記道路標示の規則性に基づき前記区画線に前記不規則部があるか否かを判定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記補完部は、前記区画線の幅が車両の進行方向において変化することに基づき前記不規則部の存在を認識するとともに、該不規則部に前記区画線とは異なる種類の前記道路標示が存在することを認識することを特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項４】
前記検出部が、前記画像から道路標識または信号機を検出し、
前記補完部は、前記道路標識または前記信号機に基づき前記区画線の前記不規則部が意図的に中断された部分であると判定することを特徴とする請求項１〜請求項３のいずれかに記載の画像処理装置。
【請求項５】
ナビゲーション装置から地図情報及び車両の位置情報を取得する情報取得部と、
前記地図情報及び前記位置情報に基づき車両の周辺の道路状態を識別する識別部と、
を備え、
前記補完部は、前記道路状態に基づき前記区画線の前記不規則部が意図的に中断された部分であると判定することを特徴とする請求項１〜請求項４のいずれかに記載の画像処理装置。
【請求項６】
車両の周辺を撮影するカメラから得た画像から車道の区画線を含む複数種類の道路標示を検出する工程と、
前記区画線において車両の進行方向に沿って延びることに係る不規則部があるか否かを判定する工程と、
前記不規則部が欠損部である場合に、前記区画線の該不規則部を補完する補完処理を実施する工程と、
を含み、
前記不規則部近傍に前記区画線とは異なる種類の前記道路標示が存在する場合に、前記区画線の該不規則部における前記補完処理を禁止する
ことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、道路標示の認識に係る画像処理装置及び道路標示の認識に係る画像処理方法に関する。
【背景技術】
【０００２】
車両が道路を走行する際、車線を認識させることで走行中の安全性を高めることができる。車線の認識には、車両に周辺を撮影する複数のカメラを搭載して、その画像から車道の路面に描かれた道路標示（例えば車道中央線、車道外側線といった白線）を認識する技術が用いられる。なお、道路標示とは、道路の交通に関し、規制または指示を表示する標示で、路面に描かれた道路鋲・ペイント・石等による線・記号または文字をいう（道路交通法第二条第一項第十六号）。道路標示の認識に係る従来技術の一例が特許文献１に開示されている。
【０００３】
特許文献１に記載された従来の白線検出装置はカメラで撮影した画像を変換して得た俯瞰画像を複数の区画に区分し、その区画の画像において認識した白線とのパターンマッチングによって画像全体の白線を検出する。これにより、この従来の白線検出装置は、例えば駐車エリアの消えかけた白線を推定し、表示部に表示することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−１６５２９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の従来技術は、例えば横断歩道等の道路標示を認識できない虞があった。これにより、路面に横断歩道等が描かれているにもかかわらず白線が消えていると誤認識し、横断歩道等の敷設領域にまで白線を推定、補完してしまう虞があることが課題であった。そして、例えば減速、停止の対象となる道路標示に対する認識が低下することが懸念された。
【０００６】
本発明は、上記の課題に鑑みなされたものであり、車道の区画線を適正に補完することが可能な道路標示の認識に係る画像処理技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係る画像処理装置は、車両のカメラにより撮影した画像から車道の区画線を含む複数種類の道路標示を検出する検出部と、前記区画線において車両の進行方向に沿って延びることに係る不規則部を認識するとともに、前記不規則部が欠損部である場合に、前記区画線の該不規則部を補完する補完処理を実施する補完部と、を備え、前記補完部は、前記不規則部近傍に前記区画線とは異なる種類の前記道路標示が存在する場合に、前記区画線の該不規則部における前記補完処理を禁止する構成（第１の構成）である。
【０００８】
また、上記第１の構成の画像処理装置において、前記補完部は、前記道路標示の規則性に基づき前記区画線に前記不規則部があるか否かを判定する構成（第２の構成）であっても良い。
【０００９】
また、上記第１または第２の構成の画像処理装置において、前記補完部は、前記区画線の幅が車両の進行方向において変化することに基づき前記不規則部の存在を認識するとともに、該不規則部に前記区画線とは異なる種類の前記道路標示が存在することを認識する構成（第３の構成）であっても良い。
【００１０】
また、上記第１から第３の構成の画像処理装置において、前記検出部が、前記画像から道路標識または信号機を検出し、前記補完部は、前記道路標識または前記信号機に基づき前記区画線の前記不規則部が意図的に中断された部分であると判定する構成（第４の構成）であっても良い。
【００１１】
また、上記第１から第４の構成の画像処理装置において、ナビゲーション装置から地図情報及び車両の位置情報を取得する情報取得部と、前記地図情報及び前記位置情報に基づき車両の周辺の道路状態を識別する識別部と、を備え、前記補完部は、前記道路状態に基づき前記区画線の前記不規則部が意図的に中断された部分であると判定する構成（第５の構成）であっても良い。
【００１２】
また、本発明に係る画像処理方法は、車両の周辺を撮影するカメラから得た画像から車道の区画線を含む複数種類の道路標示を検出する工程と、前記区画線において車両の進行方向に沿って延びることに係る不規則部があるか否かを判定する工程と、前記不規則部が欠損部である場合に、前記区画線の該不規則部を補完する補完処理を実施する工程と、を含み、前記不規則部近傍に前記区画線とは異なる種類の前記道路標示が存在する場合に、前記区画線の該不規則部における前記補完処理を禁止する構成（第６の構成）である。
【発明の効果】
【００１３】
本発明の構成によれば、カメラから得た画像から区画線に不規則部が存在し、不規則部が欠損部である場合、区画線の不規則部が補完される。また、区画線の不規則部近傍に区画線とは異なる道路標示があり、不規則部が意図的に中断されたと認められる場合、区画線の不規則部は補完されない。すなわち、区画線において、補完すべき箇所は補完し、補完すべきではない箇所は補完しないようにすることが可能である。したがって、車道の区画線を適正に補完することが可能になる。
【図面の簡単な説明】
【００１４】
【図１】第１実施形態の道路標示認識装置の構成を示す図
【図２】第１実施形態の道路標示認識装置がカメラを用いて取得した画像の第一例を示す図
【図３】第１実施形態の道路標示認識装置の動作例を示すフローチャート
【図４】第１実施形態の道路標示認識装置による車道の区画線の補完処理前の俯瞰画像の一部を示す図
【図５】第１実施形態の道路標示認識装置による車道の区画線の補完処理後の俯瞰画像の一部を示す図
【図６】第１実施形態の道路標示認識装置による車道の区画線の画像処理の例を説明するための俯瞰画像の一部を示す図
【図７】第１実施形態の道路標示認識装置による変形例の車道の区画線の補完処理前の俯瞰画像の一部を示す図
【図８】第１実施形態の道路標示認識装置がカメラを用いて取得した画像の第二例を示す図
【図９】第１実施形態の道路標示認識装置がカメラを用いて取得した画像の第三例を示す図
【図１０】第２実施形態の道路標示認識装置の構成を示す図
【発明を実施するための形態】
【００１５】
以下、本発明に係る画像処理装置の例示的な実施形態である道路標示認識装置について、図面を参照しながら詳細に説明する。なお、本発明は以下の内容に限定されるものではない。また、以下の説明では、車両の進行方向であって、運転席からハンドルに向かう方向を「前方向（前方）」と呼ぶ。また、車両の進行方向と交差する方向であって、車両の左右方向を「幅方向」と呼ぶ。
【００１６】
＜１．第１実施形態＞
＜１−１．道路標示認識装置の構成＞
図１は、第１実施形態の道路標示認識装置１の構成を示す図である。図１に示すように、道路標示認識装置１は例えば道路標示認識ＥＣＵ（Electronic Control Unit）であって、カメラ１１０及び表示装置１２０が接続され、車両制御ＥＣＵ１３０等とともに車両のＣＡＮ（Controller Area Network）２００に接続される。カメラ１１０及び表示装置１２０は道路標示認識装置１が搭載される車両と同一の車両に搭載される。道路標示認識装置１及びカメラ１１０によって道路標示認識システムが構築される。
【００１７】
カメラ１１０は道路標示認識装置１が搭載される車両の周辺を撮影する。カメラ１１０は例えばフロントカメラである。フロントカメラは例えば車室内の前端部に配置され、車両の前方を撮影する。カメラ１１０は有線または無線で道路標示認識装置１に接続され、撮影した画像に係る信号を例えば所定時間ごとに道路標示認識装置１に送信する。
【００１８】
表示装置１２０は車室に設けられ、その表示面（画面）が車室内に臨む。表示装置１２０は道路標示認識装置１からの指令を受信し、各種の情報を表示する。また、表示装置１２０はカメラ１１０から画像信号を受信し、カメラ１１０が撮影した画像を表示することもできる。
【００１９】
車両制御ＥＣＵ１３０は運転者による運転操作に従い、例えば車両の向きや速度等を制御する。さらに、車両制御ＥＣＵ１３０は道路標示認識装置１からの情報を受信し、その情報に従い、例えば車両の向き、速度等を制御することもできる。
【００２０】
道路標示認識装置１は、図１に示す制御部１０及び記憶部２０を備える。
【００２１】
制御部１０は、図示しないＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）を備えるコンピュータである。制御部１０は記憶部２０に記憶されたプログラムに基づいてＣＰＵが演算処理を行い、道路標示認識装置１の全体を統括的に制御する。
【００２２】
制御部１０はプログラムに基づいてＣＰＵが演算処理を行うことで実現される機能の一部として、映像取得部１１、検出部１２、識別部１３及び補完部１４を備える。
【００２３】
映像取得部１１はカメラ１１０が撮影した画像を取得する。映像取得部１１は画像を所定時間（例えば１／３０秒）ごとに時間的に連続して取得する。
【００２４】
図２は第１実施形態の道路標示認識装置１がカメラ１１０を用いて取得した画像１１１の第一例を示す図である。道路標示認識装置１は、図２に示す画像１１１の、例えば車道の区画線を含む道路標示１１２の像を取得する。道路標示１１２の像は、例えば車道中央線１１２ａ、車道外側線１１２ｂ、停止線１１２ｃ、横断歩道１１２ｄの像を含む。また、道路標示認識装置１は、車道中央線１１２ａの像の色に関する情報（例えば白色または黄色）や、停止線１１２ｃ及び横断歩道１１２ｄの像の色に関する情報（例えば白色）を取得する。なお、図２には記載されていないが、周辺の道路状態によっては、車道の区画線として「車線境界線」が路面に描かれている場合もある。このような場合、道路標示認識装置１は車線境界線の像を取得する。
【００２５】
検出部１２はカメラ１１０を用いて取得した画像１１１から車道の区画線を含む道路標示１１２を検出する。検出部１２は画像１１１に対して画像処理を行い、画像１１１中の所謂エッジを抽出することによって道路標示１１２を検出する。
【００２６】
道路標示１１２は一般的に白色または黄色等の明るい色彩が施されるために、画像中における輝度が高い。これにより、道路標示１１２の輝度と車道の路面表面の輝度との間に輝度差が発生する。この輝度差に基づく輝度変化は一定範囲になるために、輝度変化が一定範囲となるエッジを抽出することにより、道路標示１１２の検出を行うことができる。なお、画像中において、「エッジ」は画素間の輝度が所定以上の大きさで変化する部分を指す。
【００２７】
識別部１３は後述する道路標示情報２１に基づき、道路標示１１２の種類を識別する。具体的には、識別部１３は、画像１１１に含まれる道路標示１１２が車道中央線１１２ａ、車道外側線１１２ｂ、停止線１１２ｃ及び横断歩道１１２ｄのいずれであるかを識別する。
【００２８】
ここで、記憶部２０は道路標示１１２に係る情報である道路標示情報２１を記憶する。道路標示情報２１としては、例えば道路標示１１２の規則性を表す情報を含む。
【００２９】
例えば、車道の区画線である車道中央線１１２ａ及び車道外側線１１２ｂは、車両の進行方向に沿って連続的に延びる所謂実線である、または所定の規定に基づき断続的に延びる所謂破線であるという規則性を有する。また例えば、停止線１１２ｃは車道中央線１１２ａと車道外側線１１２ｂとの間において車両の幅方向に延びるという規則性を有する。また例えば、横断歩道１１２ｄは車両の進行方向に沿って所定の長さで延びる複数の白線が、車道の幅方向のほぼ全域にわたって、一定の間隔を空けて繰り返し描画されるという規則性を有する。これらの道路標示１１２の規則性を表す情報が道路標示情報２１として記憶部２０に予め記憶される。識別部１３はこれらの道路標示１１２の規則性に基づき、道路標示１１２の種類を識別する。
【００３０】
補完部１４は識別部１３が識別した区画線である車道中央線１１２ａ及び車道外側線１１２ｂに関して、不規則部があるか否かを判定する。ここで言う区画線の不規則部とは、車両の進行方向に沿って延びることに係る区画線の不規則な部分を意味する。具体的には、区画線が延伸する方向において、ある区画線の端部と、別の区画線の端部との間に間隔が存在する場合、不規則部が存在することとなる。不規則部は、例えば横断歩道や停止線等を設けるために、車両の進行方向に関して区画線を意図的に中断した部分である。
【００３１】
ここで、車道の路面に描かれた道路標示１１２は経時劣化や車両のタイヤ等との摩擦などの損耗によって欠損することがある。また、車道中央線１１２ａ、車道外側線１１２ｂ、或いは不図示の車線境界線は、例えば横断歩道が存在する領域内や交差点内では路面に描かれない。そして、車道中央線１１２ａ、車道外側線１１２ｂ、或いは不図示の車線境界線については、一定の幅（例えば１０〜２０ｃｍ）を有し、車両の進行方向に沿って連続的に延びる所謂実線である、または所定の規定に基づき断続的に延びる所謂破線であるという情報が道路標示情報２１として記憶部２０に予め記憶される。
【００３２】
補完部１４は、道路標示情報２１に基づいてそれらの区画線が一定の幅で、車両の進行方向に沿って延びるという規則性を確認し、区画線に車両の進行方向に沿って延びることに係る不規則部があるか否かを判定する。このとき、画像１１１中のエッジ抽出により、車両の進行方向における区画線の連続性、一定性、すなわち車両のこれまでの走行区間における区画線のパターンや車両の前方における区画線の形態に基づき、画像１１１に含まれる区画線に不規則部があるか否かが判定される。
【００３３】
さらに、補完部１４は、区画線の不規則部近傍に区画線とは異なる種類の道路標示（例えば横断歩道、停止線等）が存在するか否かを判定する。そして、区画線の不規則部近傍に区画線とは異なる種類の道路標示が存在する場合、補完部１４は区画線の不規則部が、意図的に中断された部分であると判定する。言い換えると、区画線の不規則部が、損耗等によって欠損した欠損部ではないと判定される。このように、区画線の不規則部が意図的に中断された部分である場合、補完部１４は区画線の該不規則部において、後述する補完処理を禁止する。
【００３４】
ここで、不規則部近傍とは、区画線の端部と区画線の端部との間隔を含む所定領域である。この所定領域は、例えば区画線の間隔の中央を中心として道路幅を直径とする円形の領域である。なお、所定領域が円形であることは一例であり、他の形状であっても良い。
【００３５】
そして、区画線の不規則部近傍に区画線とは異なる種類の道路標示が存在しない場合、補完部１４は区画線の不規則部が欠損部であると判定する。この場合の区画線の不規則部は、上記のように車両の進行方向に関して区画線を意図的に中断した部分ではなく、区画線が意図せず損耗等によって欠損した部分であることを意味する。このように、区画線の不規則部が欠損部である場合、補完部１４は区画線の該不規則部を補完する補完処理を実施する。ここで言う補完処理とは、車両の進行方向における区画線の連続性、一定性、すなわち車両のこれまでの走行区間における区画線のパターンや車両の前方における区画線の存在に基づき、該不規則部の箇所において区画線が車両の進行方向に繋がっていると、道路標示認識装置１の内部において認識する処理を意味する。
【００３６】
＜１−２．道路標示認識装置の動作＞
続いて、道路標示認識装置１の動作について説明する。図３は、道路標示認識装置１の動作例を示すフローチャートである。図４及び図５は、道路標示認識装置１による車道の区画線の補完処理前及び補完処理後の俯瞰画像の一部を示す図である。図６は、道路標示認識装置による車道の区画線の画像処理の例を説明するための俯瞰画像の一部を示す図である。
【００３７】
道路標示認識装置１はその動作開始を促すイベントの発生に基づき動作を開始する（図３の「開始」）。道路標示認識装置１の動作開始イベントとしては、例えば運転者による開始の操作等を挙げることができる。なお、道路標示認識装置１の動作開始とともにカメラ１１０も動作を開始する。また、表示装置１２０の動作については、その可否を適宜選択することができる。
【００３８】
また、例えば車道の区画線をカメラで追跡して車両の加速制御、減速制御及び停止制御をサポートする自動運転システム等が搭載されている場合、それらシステムの起動等を道路標示認識装置１の動作開始イベントとして挙げることができる。この場合、前述のように道路標示認識装置１からの情報に基づき、車両制御ＥＣＵ１３０が例えば車両の向き等を制御することにしても良い。車両制御ＥＣＵ１３０は車両が区画線の内側、すなわち車線内を維持するように制御する。
【００３９】
道路標示認識装置１が動作を開始すると、検出部１２が、カメラ１１０が取得した画像１１１から道路標示１１２を検出する（図３のステップＳ１０１）。これにより、例えば車道中央線１１２ａ、車道外側線１１２ｂ、停止線１１２ｃ、横断歩道１１２ｄなどが検出される。なお、映像取得部１１が、カメラ１１０が撮影した画像１１１を所定時間（例えば１／３０秒）ごとに時間的に連続して取得する。
【００４０】
続いて、識別部１３が、画像１１１に含まれる道路標示１１２の種類を識別する。例えば、識別部１３は記憶部２０の道路標示情報２１に基づき、道路標示１１２が車道中央線１１２ａ、車道外側線１１２ｂ、停止線１１２ｃ及び横断歩道１１２ｄのいずれであるかを識別する（ステップＳ１０２）。これにより、白色或いは黄色で描かれた車道の区画線が、車両の左右両側に進行方向に沿って延びることが認識される。
【００４１】
次に、補完部１４が、識別部１３が識別した区画線である車道中央線１１２ａ及び車道外側線１１２ｂに関して、不規則部があるか否かを判定する（ステップＳ１０３）。
【００４２】
ここで、例えば検出部１２が画像１１１から検出した道路標示１１２が図４の状態である場合、車道中央線１１２ａに複数箇所の不規則部１１２ｙ、１１２ｚが存在することが分かる。補完部１４は、道路標示情報２１に基づいて車道中央線１１２ａが一定の幅で、車両の進行方向に沿って延びるという規則性を確認し、車道中央線１１２ａに不規則部があるか否かを判定する。そして、補完部１４は、画像１１１の車道中央線１１２ａに不規則部１１２ｙ、１１２ｚがあることを認識する（ステップＳ１０３のＹｅｓ）。
【００４３】
続いて、補完部１４が、車道中央線１１２ａの不規則部１１２ｙ、１１２ｚの近傍に、車道中央線１１２ａとは異なる種類の道路標示が存在するか否かを判定する（ステップＳ１０４）。なお、不規則部が複数存在する場合、このステップＳ１０４の処理と、以下に続くステップＳ１０５、Ｓ１０６の処理とが複数の不規則部各々に関して個別に実施される。
【００４４】
図４に示す不規則部１１２ｚのように、不規則部１１２ｚ近傍に車道中央線１１２ａとは異なる種類の道路標示が存在しない場合（ステップＳ１０４のＮｏ）、補完部１４は車道中央線１１２ａの不規則部１１２ｚが欠損部であると判定する（ステップＳ１０５）。そして、補完部１４は車道中央線１１２ａの不規則部１１２ｚを補完する補完処理を実施する（ステップＳ１０６）。補完部１４は不規則部１１２ｚが存在する車道中央線１１２ａに対して画像処理を行い、図５に示すように車道中央線１１２ａが車両の進行方向に沿って適正に延びる形態に補完する。具体的には、補完部１４は、図６に破線の矩形領域で示したように、車道中央線１１２ａに対応する画素領域１１１ａのうち、不規則部１１２ｚが存在する領域１１１ｚについて補完処理を実施する。
【００４５】
一方、図４に示す不規則部１１２ｙのように、不規則部１１２ｙ近傍に車道中央線１１２ａとは異なる種類の道路標示である横断歩道１１２ｄが存在する場合（ステップＳ１０４のＹｅｓ）、補完部１４は車道中央線１１２ａの不規則部１１２ｚが意図的に中断された部分であると判定する（ステップＳ１０７）。そして、図５に二点鎖線で示したように、補完部１４は車道中央線１１２ａの不規則部１１２ｙにおける補完処理を禁止する（ステップＳ１０８）。具体的には、補完部１４は、車道中央線１１２ａが車両の進行方向に沿って延びる場合に、図６に網掛け部で示したように、その延びた車道中央線１１２ａに対応する画素領域１１１ａと、横断歩道１１２ｄが存在する画素領域１１１ｄとが重なるときは、車道中央線１１２ａに対応する画素領域１１１ａのうち、横断歩道１１２ｄが存在する画素領域１１１ｄと重なる領域１１１ｙ（図６の網掛け部）についての補完処理を実施しない。
【００４６】
なお、車道中央線１１２ａ、車道外側線１１２ｂに不規則部が無い場合（ステップＳ１０３のＮｏ）、これら区画線に対する補完処理は実施されない。
【００４７】
次に、道路標示認識装置１の動作を終了するか否かが判定される（ステップＳ１０９）。道路標示認識装置１の動作終了イベントとしては、例えば運転者による終了の操作や、自動運転システムの停止等を挙げることができる。動作終了イベントが発生していれば（ステップＳ１０９のＹｅｓ）、道路標示認識装置１は動作を終了する（図３の「終了」）。動作終了イベントが発生していなければ（ステップＳ１０９のＮｏ）、ステップＳ１０１に戻り、道路標示認識装置１は動作を継続する。
【００４８】
なお、道路標示認識装置１の動作終了イベントを常時監視し、上記フローの途中であっても、動作終了イベントが発生すれば、直ちに道路標示認識装置１が動作を終了することにしても良い。
【００４９】
上記第１実施形態のように、道路標示認識装置１は、車両のカメラ１１０により撮影した画像１１１から車道の区画線を含む複数種類の道路標示１１２を検出する検出部１２と、区画線である車道中央線１１２ａにおいて車両の進行方向に沿って延びることに係る不規則部１１２ｚを認識するとともに、不規則部１１２ｚが欠損部である場合に、車道中央線１１２ａの不規則部１１２ｚを補完する補完処理を実施する補完部１４と、を備える。そして、補完部１４は、不規則部１１２ｙ近傍に車道中央線１１２ａとは異なる種類の道路標示（例えば横断歩道１１２ｄ）が存在する場合に、不規則部１１２ｙが意図的に中断された部分であると判定して不規則部１１２ｙにおける車道中央線１１２ａの補完処理を禁止する。
【００５０】
この構成によれば、カメラ１１０から得た画像１１１から車道中央線１１２ａに不規則部１１２ｚが存在し、不規則部１１２ｚが欠損部である場合、車道中央線１１２ａの不規則部１１２ｚが補完される。また、車道中央線１１２ａの不規則部１１２ｙ近傍に車道中央線１１２ａとは異なる道路標示である横断歩道１１２ｄがあり、車道中央線１１２ａが意図的に中断されたと認められる場合、車道中央線１１２ａの不規則部１１２ｙは補完されない。すなわち、車道中央線１１２ａにおいて、補完すべき箇所は補完し、補完すべきではない箇所は補完しないようにすることが可能である。したがって、車道中央線１１２ａを適正に補完することが可能になる。
【００５１】
なお、道路標示認識装置１の上記動作の結果を表示装置１２０に表示させることができる。これにより、運転者は車道中央線１１２ａや車道外側線１１２ｂ、また不図示の車線境界線を明確に把握することが可能である。さらに、横断歩道１１２ｄの存在についても明確に認識することが可能になる。また、道路標示認識装置１を利用して区画線の位置を検出し、自動操舵アシスト制御等に関する表示を表示装置１２０に出力することにしても良い。
【００５２】
また、道路標示認識装置１を利用して区画線からの車両の逸脱を検出し、車両に設けられた警告装置を用いて車両の運転者に対して車線逸脱を警告することにしても良い。
【００５３】
また、例えば自動運転システムを起動させた場合、道路標示認識装置１の上記動作によれば、車道の区画線が適正に補完されるので、走行中に車線を認識させる作用を向上させることができる。さらに、横断歩道などといった減速、停止の対象となる道路標示に対する認識も高められる。したがって、走行中の安全性をより一層向上させることが可能になる。また、道路標示認識装置１は、自動駐車を行う場合の白線（駐車枠）の検出にも適用可能である。
【００５４】
また、補完部１４は、記憶部２０が記憶する道路標示１１２の規則性に基づき区画線に不規則部があるか否かを判定する。この構成によれば、区画線とは異なる道路標示（例えば停止線１１２ｃ、横断歩道１１２ｄ）が有する独特の規則性に基づいて、容易に区画線の不規則部の存在を認識することができ、不規則部の近傍に区画線とは異なる道路標示が存在することを認識することが可能になる。
【００５５】
＜１−３．道路標示認識装置の処理の変形例＞
続いて、補完部１４が、車道中央線１１２ａの不規則部１１２ｙ近傍に、車道中央線１１２ａとは異なる種類の道路標示である横断歩道１１２ｄが存在することを識別する手法に関して、別の例を掲げて説明する。図７は、道路標示認識装置１による変形例の車道の区画線の補完処理前の俯瞰画像の一部を示す図である。
【００５６】
図７に示すように、車道中央線１１２ａが車両の進行方向に沿って延びる先に横断歩道１１２ｄが存在する場合に、車道中央線１１２ａの不規則部１１２ｙの位置に、横断歩道１１２ｄを構成する線１１２ｅが存在することがある。車道中央線１１２ａ等の車道の区画線は、例えば一般的に１０〜２０ｃｍの幅で車両の進行方向に沿って延びる。一方、横断歩道１１２ｄの構成する線１１２ｅは、例えば一般的に４５〜５０ｃｍの幅で車両の進行方向に沿って延びる。これらの情報は、先に説明した道路標示１１２の規則性を表す情報に含まれ、道路標示情報２１として記憶部２０に予め記憶される。
【００５７】
補完部１４は、道路標示情報２１に基づいて区画線が一定の幅で、車両の進行方向に沿って延びることを確認し、区画線である車道中央線１１２ａの幅が、車両の進行方向の途中で局部的に変化することに基づいて、車道中央線１１２ａに不規則部１１２ｙがあることを認識するとともに、該不規則部１１２ｙの位置に、車道中央線１１２ａとは異なる種類の道路標示である横断歩道１１２ｄが存在することを認識する。この構成によれば、不規則部１１２ｙの存在と、該不規則部１１２ｙが意図的に中断された部分であることとを容易に認識することができる。
【００５８】
続いて、区画線の不規則部が意図的に中断された部分であると判定することに関して、不規則部近傍に存在する区画線とは異なる種類の道路標示が、横断歩道以外の道路標示である場合について、別の例を掲げて説明する。
【００５９】
図８は第１実施形態の道路標示認識装置１がカメラ１１０を用いて取得した画像１１１の第二例を示す図である。道路標示認識装置１は、図８に示す画像１１１の道路標示１１２の像として、車道中央線１１２ａ、車道外側線１１２ｂ及び停止線１１２ｃのほかに、例えば「止まれ」文字表示１１２ｆの像を取得する。
【００６０】
記憶部２０は、例えば道路標示１１２のひとつの種類である「止まれ」文字表示１１２ｆを道路標示情報２１として予め記憶する。「止まれ」文字表示１１２ｆについては、「止まれ」の文字の画像パターンに係る情報が道路標示情報２１として記憶される。その他、例えば「徐行」などといった文字表示や、例えば「横断歩道または自転車横断帯あり」を表すひし形の標示も道路標示情報２１として種類別に記憶させることができる。これらも同様に、画像パターンに係る情報が道路標示情報２１として記憶される。そして、例えば「止まれ」文字表示１１２ｆや「徐行」等の文字表示、「横断歩道または自転車横断帯あり」を表すひし形の標示といった道路標示１１２と、停止線１１２ｃ、横断歩道（図８の道路状態では存在しない）及び交差点１１３等との関連性を表す情報、すなわちそれら「止まれ」文字表示１１２ｆ等の道路標示１１２の前方に停止線１１２ｃ、横断歩道、交差点１１３等が存在することを表す情報が記憶部２０に予め記憶される。
【００６１】
補完部１４は、図８に示す画像１１１の車道中央線１１２ａに不規則部１１２ｙがあることを認識する。そして、不規則部１１２ｙ近傍には交差点１１３が存在する。続いて、補完部１４は、車道中央線１１２ａの不規則部１１２ｙ近傍に、車道中央線１１２ａとは異なる種類の道路標示である停止線１１２ｃ、「止まれ」文字表示１１２ｆが存在することを認識する。これにより、補完部１４は、不規則部１１２ｙが意図的に中断された部分であると判定する。
【００６２】
この構成によれば、例えば画像１１１中の交差点１１３周辺に対応する画素領域ににおいて、不規則部１１２ｙの存在が判定し難い場合に、停止線１１２ｃと、交差点１１３との関連性に基づいて、不規則部１１２ｙの存在と、該不規則部１１２ｙが意図的に中断された部分であることとを容易に認識することができる。さらに、例えば画像１１１中の交差点１１３周辺に対応する画素領域ににおいて、停止線１１２ｃの存在が判定し難い場合に、「止まれ」文字表示１１２ｆと、交差点１１３及び停止線１１２ｃとの関連性に基づいて、容易に車道中央線１１２ａの不規則部１１２ｙが意図的に中断された部分であることを認識することができる。したがって、車道中央線１１２ａにおいて、補完すべき箇所は補完し、補完すべきではない箇所は補完しないようにすることが可能である。また、「止まれ」文字表示１１２ｆを車道中央線１１２ａの不規則部１１２ｙと誤認識し、さらに不規則部１１２ｙを補完してしまうことを防止することができる。
【００６３】
また、道路標示認識装置１は、区画線の不規則部が意図的に中断された部分であると判定することに関して、道路標識または信号機を利用することができる。
【００６４】
道路標示認識装置１は、図８に示す画像１１１において、道路標示１１２の像のほかに、例えば道路標識１１４の像を取得する。この道路標識１１４は車両の一時停止（「とまれ」）を表す。検出部１２は画像１１１から道路標識１１４を検出する。交差点１１３に係る道路標示情報２１としては、一時停止の道路標識１１４との関連性を表す情報、すなわち一時停止の道路標識１１４の周辺に停止線１１２ｃ、横断歩道（図８の道路状態では存在しない）、交差点１１３等が存在することを表す情報が記憶部２０に予め記憶される。
【００６５】
補完部１４は、図８に示す画像１１１の車道中央線１１２ａに不規則部１１２ｙがあることを認識する。そして、不規則部１１２ｙ近傍には交差点１１３が存在する。続いて、補完部１４は、車道中央線１１２ａの不規則部１１２ｙ近傍に、車道中央線１１２ａとは異なる種類の道路標示である停止線１１２ｃ及び「止まれ」文字表示１１２ｆが存在することを認識する。さらに、補完部１４は、停止線１１２ｃ及び「止まれ」文字表示１１２ｆに加えて、一時停止の道路標識１１４が存在することを認識する。これにより、補完部１４は、不規則部１１２ｙが意図的に中断された部分であると判定する。
【００６６】
図９は第１実施形態の道路標示認識装置１がカメラ１１０を用いて取得した画像１１１の第三例を示す図である。道路標示認識装置１は、図９に示す画像１１１において、道路標示１１２の像のほかに、例えば信号機１１５の像を取得する。検出部１２は画像１１１から信号機１１５を検出する。横断歩道１１２ｄに係る道路標示情報２１としては、信号機１１５との関連性を表す情報、すなわち信号機１１５の周辺に停止線１１２ｃ、横断歩道１１２ｄ、交差点（図９の道路状態では存在しない）等が存在することを表す情報が記憶部２０に予め記憶される。
【００６７】
補完部１４は、図９に示す画像１１１の車道中央線１１２ａに不規則部１１２ｙがあることを認識する。そして、不規則部１１２ｙ近傍には横断歩道１１２ｄが存在する。続いて、補完部１４は、車道中央線１１２ａの不規則部１１２ｙ近傍に、車道中央線１１２ａとは異なる種類の道路標示である停止線１１２ｃ及び横断歩道１１２ｄが存在することを認識する。さらに、補完部１４は、停止線１１２ｃ及び横断歩道１１２ｄに加えて、信号機１１５が存在することを認識する。これにより、補完部１４は、不規則部１１２ｙが意図的に中断された部分であると判定する。
【００６８】
なお、図示しないが、画像に「横断歩道」を表す道路標識がある場合、補完部１４はこの「横断歩道」を表す道路標識と、道路標示としての横断歩道１１２ｄとの関連性に基づき、不規則部１１２ｙの存在と、該不規則部１１２ｙが意図的に中断された部分であることを判定する。
【００６９】
上記のように、補完部１４は、一時停止の道路標識１１４または信号機１１５に基づき、車道中央線１１２ａの不規則部１１２ｙが意図的に中断された部分であると判定する。この構成によれば、例えば画像１１１中の車道中央線１１２ａと、交差点１１３或いは横断歩道１１２ｄとが重なる画素領域ににおいて、車道中央線１１２ａの不規則部１１２ｙの存在が判定し難い場合に、停止線１１２ｃや横断歩道１１２ｄと、道路標識１１４または信号機１１５との関連性に基づいて、不規則部１１２ｙの存在と、該不規則部１１２ｙが意図的に中断された部分であることとを容易に認識することが可能になる。したがって、車道中央線１１２ａにおいて、補完すべき箇所は補完し、補完すべきではない箇所は補完しないようにすることが可能である。
【００７０】
なお、この説明の実施形態では、車道中央線１１２ａの不規則部１１２ｙ近傍に存在する車道中央線１１２ａとは異なる種類の道路標示として、停止線１１２ｃや横断歩道１１２ｄ、「止まれ」文字表示１１２ｆを例とした掲げたが、車道中央線１１２ａとは異なる種類の道路標示はこれらに限定されるわけではない。例えば、前述した「徐行」等の文字表示、「横断歩道または自転車横断帯あり」を表すひし形の標示のほか、進行方向を示す記号（矢印）なども含まれる。これらの道路標示が、車道中央線１１２ａとは異なる種類の道路標示として不規則部１１２ｙ近傍に存在する場合であっても、道路標示認識装置１は不規則部１１２ｙの存在と、該不規則部１１２ｙが意図的に中断された部分であることとを容易に認識することが可能である。
【００７１】
また、この説明の実施形態では、車道中央線１１２ａに不規則部１１２ｙが生じ得る要因として横断歩道１１２ｄ、交差点１１３を例とした掲げたが、車道の区画線に不規則部が生じ得る要因はこれらに限定されるわけではない。例えば、導流帯、中央分離帯等の標示や構造物が車道中央線１１２ａの領域に設けられる場合、不規則部が生じることがある。このような場合であっても、道路標示認識装置１は車道中央線１１２ａの不規則部１１２ｙ近傍に存在する車道中央線１１２ａとは異なる種類の道路標示、道路標識、信号機等を利用して、不規則部１１２ｙの存在と、該不規則部１１２ｙが意図的に中断された部分であることとを容易に認識することが可能である。
【００７２】
＜２．第２実施形態＞
次に、第２実施形態について説明する。図１０は、道路標示認識装置１の構成を示す図である。なお、第２実施形態の基本的な構成は先に説明した第１実施形態と同じであるので、第１実施形態と異なる構成要素については以下で説明し、第１実施形態と共通する構成要素については詳細な説明を省略する。
【００７３】
第２実施形態の道路標示認識装置１は、図１０に示すようにナビゲーション装置１４０が接続される。ナビゲーション装置１４０は道路標示認識装置１が搭載される車両と同一の車両に搭載される。
【００７４】
ナビゲーション装置１４０は表示部１４１、ＧＰＳ（Global Positioning System）１４２及び地図情報１４３を有する。ナビゲーション装置１４０はＧＰＳ１４２及び地図情報１４３を用いて、道路標示認識装置１が搭載される車両の位置を認識することができる。表示部１４１はその表示面（画面）が車室内に臨む。ナビゲーション装置１４０は地図及び車両の位置を表示部１４１に表示することができる。なお、表示部１４１にはカメラ１１０が撮影した画像、及び道路標示認識装置１から受信した各種の情報を表示させることもできる。
【００７５】
道路標示認識装置１の制御部１０は、プログラムに基づいてＣＰＵが演算処理を行うことで実現される機能の一部として、図１０に示す情報取得部１５を備える。情報取得部１５はナビゲーション装置１４０から地図情報１４３及び車両の位置情報を取得する。
【００７６】
そして、識別部１３は、情報取得部１５が取得した地図情報１４３及び車両の位置情報に基づき道路標示認識装置１が搭載される車両の周辺の道路状態を識別する。例えば、識別部１３は地図情報１４３及び車両の位置情報に基づき、走行中の車両が横断歩道に接近しているという道路状態を識別する。
【００７７】
なお、記憶部２０の道路標示情報２１としては、道路標示１１２と道路状態との関連性を表す情報を含む。例えば、図２、図８或いは図９に示す画像１１１に含まれる道路標示１１２である停止線１１２ｃ、横断歩道１１２ｄ及び「止まれ」文字表示１１２ｆについては、実際の道路上の「横断歩道」との関連性を表す情報、が道路標示情報２１として予め記憶される。
【００７８】
例えば、識別部１３が識別した車両の周辺の道路状態が、図２に示す画像１１１の道路状態である場合おいて、補完部１４は、車道中央線１１２ａの不規則部１１２ｙ近傍に、車道中央線１１２ａとは異なる種類の道路標示である停止線１１２ｃ及び横断歩道１１２ｄが存在することを認識する。さらに、補完部１４は、識別部１３から走行中の車両が横断歩道に接近しているという道路状態に係る情報を取得する。これにより、補完部１４は、不規則部１１２ｙが意図的に中断された部分であると判定する。
【００７９】
上記第２実施形態のように、補完部１４は、走行中の車両の周辺の道路状態に基づき、車道中央線１１２ａの不規則部１１２ｙが意図的に中断された部分であると判定する。この構成によれば、カメラ１１０から得た画像１１１から不規則部１１２ｙの存在と、該不規則部１１２ｙが意図的に中断された部分であることとを認識するにあたって、地図情報１４３及び車両の位置情報を利用することができる。そして、地図情報１４３及び車両の位置情報を利用することで、画像１１１から車道中央線１１２ａの不規則部１１２ｙを識別し、さらに不規則部１１２ｙ近傍に横断歩道１１２ｄが存在することを認識する精度を向上させることができる。したがって、車道中央線１１２ａを適正に補完する精度を向上させることが可能になる。
【００８０】
＜３．留意事項＞
本明細書中に開示されている種々の技術的特徴は、上記実施形態のほか、その技術的創作の主旨を逸脱しない範囲で種々の変更を加えることが可能である。すなわち、上記実施形態は全ての点で例示であって、制限的なものではないと考えられるべきである。本発明の技術的範囲は上記実施形態の説明ではなく、特許請求の範囲によって示されるものであり、特許請求の範囲と均等の意味及び範囲内に属する全ての変更が含まれると理解されるべきである。また、上記の複数の実施形態及び変形例は可能な範囲で組み合わせて実施しても良い。
【００８１】
例えば、上記実施形態では、図４〜図６を用いて車道中央線１１２ａを補完することについて説明したが、道路標示認識装置１は車道外側線１１２ｂや不図示の車線境界線についても同様に補完することが可能である。
【００８２】
また、上記実施形態では、プログラムに従ったＣＰＵの演算処理によってソフトウェア的に各種の機能が実現されていると説明したが、これらの機能のうちの一部は電気的なハードウェア回路によって実現されても良い。また逆に、ハードウェア回路によって実現されるとした機能のうちの一部は、ソフトウェア的に実現されても良い。
【符号の説明】
【００８３】
１    道路標示認識装置（画像処理装置）
１０    制御部
１１    映像取得部
１２    検出部
１３    識別部
１４    補完部
１５    情報取得部
２０    記憶部
２１    道路標示情報
１１０    カメラ
１１１    画像
１２０    表示装置
１３０    車両制御ＥＣＵ
１４０    ナビゲーション装置
１４１    表示部
１４２    ＧＰＳ
１４３    地図情報
【図１】
2019012308.tif 000003
【図２】
2019012308.tif 000004
【図３】
2019012308.tif 000005
【図４】
2019012308.tif 000006
【図５】
2019012308.tif 000007
【図６】
2019012308.tif 000008
【図７】
2019012308.tif 000009
【図８】
2019012308.tif 000010
【図９】
2019012308.tif 000011
【図１０】
2019012308.tif 000012