(57)【要約】【課題】路面上に描かれる駐車枠を適切に認識することができる技術を提供する。【解決手段】画像処理装置は、車両の周辺を撮影するカメラで得られた撮影画像に基づき、駐車が認められる駐車可領域を区画する区画線を探索する探索部と、前記探索部の探索結果に基づき、前記駐車可領域と当該駐車可領域を挟む一対の駐車不可領域とで構成される駐車枠を認識する認識部と、を備え、前記認識部は、前記駐車不可領域、前記駐車可領域、前記駐車不可領域の順に領域が連続して並ぶ範囲を検出して前記駐車枠を認識する。【選択図】図２
2020015372.tif 000002
【特許請求の範囲】
【請求項１】
車両の周辺を撮影するカメラで得られた撮影画像に基づき、駐車が認められる駐車可領域を区画する区画線を探索する探索部と、
前記探索部の探索結果に基づき、前記駐車可領域と当該駐車可領域を挟む一対の駐車不可領域とで構成される駐車枠を認識する認識部と、
を備え、
前記認識部は、前記駐車不可領域、前記駐車可領域、前記駐車不可領域の順に領域が連続して並ぶ範囲を検出して前記駐車枠を認識する、画像処理装置。
【請求項２】
前記認識部は、前記車両の進行方向と平行な方向に沿って前記駐車不可領域と前記駐車可領域とが並ぶと想定して前記駐車枠の認識処理を行う、請求項１に記載の画像処理装置。
【請求項３】
前記認識部は、前記車両の進行方向或いはその反対方向に向けて前記駐車不可領域と前記駐車可領域とを順番に決定する、請求項２に記載の画像処理装置。
【請求項４】
前記認識部は、過去に認識された前記駐車枠に関する情報に基づき、認識処理中の前記駐車枠に関する情報の推定処理を行う、請求項１から３のいずれか１項に記載の画像処理装置。
【請求項５】
前記探索部は、前記撮影画像の中心部を含む一部の領域を用いて前記区画線の探索を行う、請求項１から４のいずれか１項に記載の画像処理装置。
【請求項６】
画像処理装置で実行される画像処理方法であって、
車両の周辺を撮影するカメラで得られた撮影画像に基づき、駐車が認められる駐車可領域を区画する区画線を探索する探索工程と、
前記探索工程の探索結果に基づき、前記駐車可領域と当該駐車可領域を挟む一対の駐車不可領域とで構成される駐車枠を認識する認識工程と、
を備え、
前記認識工程においては、前記駐車不可領域、前記駐車可領域の順番で領域を決定する領域決定処理が繰り返され、前記駐車不可領域、前記駐車可領域、前記駐車不可領域の順に領域が連続して並ぶ範囲の検出により前記駐車枠が認識される、画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理方法に関し、詳細には画像処理により駐車枠の認識を行う技術に関する。
【背景技術】
【０００２】
従来、車両に搭載されるカメラで撮影した画像に基づき、路面に描かれた駐車枠を認識する技術が知られている。例えば、特許文献１には、自車両の周囲の領域を撮像した撮像画像から路面上に位置する線の端部を抽出し、抽出した端部のうち端部間の間隔が予め設定した間隔範囲以内の３つの端部の組に基づき、駐車枠を検出することが開示される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−３０３６４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
駐車枠が描かれる路面には、駐車すべき車両の種類を示す文字やマークが描かれていたり、駐車枠を構成する区画線と誤認しやすい汚れやひび等が発生していたりする。また、路面には、車両を駐車すべきでないことを示すマークが描かれていることもある。このために、自車両のカメラで撮影した撮影画像に、駐車枠を構成する区画線の候補が多数検出されることがあり、駐車枠を誤認することがある。
【０００５】
本発明は、上記課題に鑑みて、路面上に描かれる駐車枠を適切に認識することができる技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために本発明の画像処理装置は、車両の周辺を撮影するカメラで得られた撮影画像に基づき、駐車が認められる駐車可領域を区画する区画線を探索する探索部と、前記探索部の探索結果に基づき、前記駐車可領域と当該駐車可領域を挟む一対の駐車不可領域とで構成される駐車枠を認識する認識部と、を備え、前記認識部は、前記駐車不可領域、前記駐車可領域、前記駐車不可領域の順に領域が連続して並ぶ範囲を検出して前記駐車枠を認識する構成（第１の構成）になっている。
【０００７】
上記第１の構成の画像処理装置において、前記認識部は、前記車両の進行方向と平行な方向に沿って前記駐車不可領域と前記駐車可領域とが並ぶと想定して前記駐車枠の認識処理を行う構成（第２の構成）であることが好ましい。
【０００８】
上記第２の構成の画像処理装置において、前記認識部は、前記車両の進行方向或いはその反対方向に向けて前記駐車不可領域と前記駐車可領域とを順番に決定する構成（第３の構成）であることが好ましい。
【０００９】
上記第１から第３のいずれかの構成の画像処理装置において、前記認識部は、過去に認識された前記駐車枠に関する情報に基づき前記駐車枠に関する情報を推定する処理を行う構成（第４の構成）であることが好ましい。
【００１０】
上記第１から第４のいずれかの構成の画像処理装置において、前記探索部は、前記撮影画像の中心部を含む一部の領域を用いて前記区画線の探索を行う構成（第５の構成）であることが好ましい。
【００１１】
上記目的を達成するために本発明の画像処理方法は、画像処理装置で実行される画像処理方法であって、車両の周辺を撮影するカメラで得られた撮影画像に基づき、駐車が認められる駐車可領域を区画する区画線を探索する探索工程と、前記探索工程の探索結果に基づき、前記駐車可領域と当該駐車可領域を挟む一対の駐車不可領域とで構成される駐車枠を認識する認識工程と、を備え、前記認識工程においては、前記駐車不可領域、前記駐車可領域の順番で領域を決定する領域決定処理が繰り返され、前記駐車不可領域、前記駐車可領域、前記駐車不可領域の順に領域が連続して並ぶ範囲の検出により前記駐車枠が認識される構成（第６の構成）になっている。
【発明の効果】
【００１２】
本発明によれば、路面上に設けられる駐車枠を適切に認識することができる。
【図面の簡単な説明】
【００１３】
【図１】駐車支援システムの一構成例を示す図
【図２】駐車枠の認識処理の流れを例示するフローチャート
【図３】駐車枠の認識処理を説明するための模式図
【図４】駐車不可領域の他の形状例を説明するための模式図
【図５】駐車不可領域の決定処理の一例を示すフローチャート
【図６】駐車可領域の決定処理の一例を示すフローチャート
【図７】駐車枠を構成する区画線の劣化に関する留意事項を説明するための模式図
【図８】斜め駐車型の駐車枠を示す模式図
【図９】縦列駐車型の駐車枠を示す模式図
【発明を実施するための形態】
【００１４】
以下、本発明の例示的な実施形態について、図面を参照しながら詳細に説明する。以下の説明では、車両の直進進行方向であって、運転席からステアリングに向かう方向を「前方向」と呼ぶ。また、車両の直進進行方向であって、ステアリングから運転席に向かう方向を「後方向」と呼ぶ。また、車両の直進進行方向及び鉛直線に垂直な方向であって、前方向を向いている運転手の右側から左側に向かう方向を「左方向」と呼ぶ。また、車両の直進進行方向及び鉛直線に垂直な方向であって、前方向を向いている運転手の左側から右側に向かう方向を「右方向」と呼ぶ。また、本発明の画像処理装置を含む駐車支援システムを搭載している車両を「自車両」と呼ぶ。
【００１５】
＜１．駐車支援システム＞
本発明の画像処理装置は、例えば駐車支援システムに適用できる。図１は、本発明の画像処理装置１が適用される駐車支援システムの一構成例を示す図である。図１に示すように、駐車支援システムは、画像処理装置１と、撮影部２と、駐車制御ＥＣＵ（Electronic Control Unit）３と、ＥＰＳ（Electric Power Steering）−ＥＣＵ４と、車載ネットワーク５と、を備える。
【００１６】
画像処理装置１は、撮影部２に接続されるとともに、駐車制御ＥＣＵ３およびＥＰＳ−ＥＣＵ４にＣＡＮ（Controller Area Network）などの車載ネットワーク５を介して接続される。画像処理装置１は、撮影部２で撮影される撮影画像に基づき駐車枠の認識を行う。すなわち、画像処理装置１は駐車枠認識装置として機能する。その他、画像処理装置１は、例えば、自車両が停止した時点で自車両に最も近い空き駐車枠を駐車すべき場所として目標駐車位置の算出を行う。画像処理装置１の詳細については後述する。
【００１７】
なお、画像処理装置１には、例えば、液晶ディスプレイ等の表示装置が接続されてよい。画像処理装置１は、撮影画像に目標駐車位置を示す指標を重畳した表示画像を生成して、表示装置に表示させる処理を行ってよい。
【００１８】
撮影部２は、自車両の周辺を撮影するカメラを備える。カメラのレンズは、例えば魚眼レンズである。撮影部２は、自車両の側方に設けられるサイドカメラ２０を備える。サイドカメラ２０は、自車両の周辺を撮影するカメラに含まれ、例えば自車両のドアミラー等に設けられる。サイドカメラ２０は、左サイドカメラと右サイドカメラとを含むことが好ましい。左サイドカメラは、光軸が自車両の左右方向に沿っており、自車両の左方向を撮影する。右サイドカメラは、光軸が自車両の左右方向に沿っており、自車両の右方向を撮影する。なお、撮影部２は、サイドカメラ２０の他に、自車両の前方を撮影するフロントカメラや、自車両の後方を撮影するバックカメラを備えることが好ましい。
【００１９】
駐車制御ＥＣＵ３は、画像処理装置１から受信した目標駐車位置と、不図示のクリアランスソナーセンサの出力とに基づいてステアリング操舵量を算出し、ステアリング操舵量に関する情報をＥＰＳ−ＥＣＵ４に送信する。
【００２０】
ＥＰＳ−ＥＣＵ４は、駐車制御ＥＣＵ３から受け取ったステアリング操舵量に関する情報に基づいて自車両の駐車動作時に自動操舵を行う。なお、本実施形態では、アクセル操作及びブレーキ操作はドライバーが担う。
【００２１】
＜２．画像処理装置の概要＞
図１に示すように、画像処理装置１は、制御部１１と記憶部１２とを備える。制御部１１は、画像処理装置１の全体を制御する。制御部１１は、例えば、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、及び、ＲＯＭ（Read Only Memory）などを備えるコンピュータで構成される。記憶部１２は、制御部１１が動作するために必要なコンピュータプログラムおよびデータを不揮発的に記憶する。記憶部１２としては、例えば、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）、フラッシュメモリ等を用いることができる。
【００２２】
図１に示す映像取得部１１１、探索部１１２、認識部１１３、および、管理部１１４は、記憶部１２に記憶されるコンピュータプログラムの実行により実現される制御部１１の機能である。換言すると、画像処理装置１は、映像取得部１１１と、探索部１１２と、認識部１１３と、管理部１１４とを備える。
【００２３】
なお、制御部１１が備える各機能部１１１〜１１４の少なくともいずれか１つは、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアで構成されてもよい。また、制御部１１が備える各機能部１１１〜１１４は、概念的な構成要素である。１つの構成要素が実行する機能を複数の構成要素に分散させたり、複数の構成要素が有する機能を１つの構成要素に統合したりしてよい。
【００２４】
映像取得部１１１は、サイドカメラ２０を含む撮影部２が備える各カメラからアナログ又はデジタルの撮影画像を所定の周期（例えば、１／３０秒周期）で時間的に連続して取得する。そして、取得した時間的に連続した撮影画像（取得した映像）がアナログの場合には、映像取得部１１１は、そのアナログの撮影画像をデジタルの撮影画像に変換（Ａ／Ｄ変換）する。
【００２５】
探索部１１２は、自車両の周辺を撮影するカメラで得られた撮影画像に基づき、駐車が認められる駐車可領域を区画する区画線を探索する。なお、区画線は駐車場の舗装面に描かれている白線や黄線である。本実施形態では、探索部１１２は、映像取得部１１１から出力されるサイドカメラ２０の撮影画像に基づき区画線を探索する。なお、サイドカメラ２０が左サイドカメラと右サイドカメラとを含む場合、探索部１１２は、各カメラの撮影画像に対して区画線の探索を行う。探索部１１２は、詳細には、駐車可領域を区画する区画線となる可能性が有る区画線候補を広く検出する。
【００２６】
探索部１１２は、例えば自車両の車速が所定速度以下になった場合に区画線の探索を開始する。本実施形態では、探索部１１２は、サイドカメラ２０の撮影画像を画像処理して例えば１００ｍｓ周期で区画線の探索処理を行う。探索部１１２は、撮影画像から例えばエッジ抽出処理により線分を検出する。探索部１１２は、例えば２つの線分が平行に並んでいること等を条件として区画線候補を検出する。
【００２７】
本実施形態では、サイドカメラ２０が魚眼レンズを用いて構成されているために、サイドカメラ２０によって撮影された撮影画像は、中心部から離れた位置において画像が歪み、画像度が低くなる傾向がある。この点を考慮して、好ましい形態として、探索部１１２は、撮影画像の中心部を含む一部の領域を用いて区画線の探索を行う。一部の領域は、例えば駐車枠が最大で３つ程度入る領域であってよい。区画線の探索を行う範囲を画像の信頼度が高い一部の領域に絞ることによって、区画線の探索結果の信頼性を向上することができる。この結果、駐車枠の認識結果の信頼性を向上することができる。ただし、以上に述べた区画線の探索領域は例示であり、探索部１１２は、例えば撮影画像の全領域を用いて区画線の探索を行う構成等であってよい。
【００２８】
認識部１１３は、探索部１１２の探索結果に基づき、駐車可領域と当該駐車可領域を挟む一対の駐車不可領域とで構成される駐車枠を認識する。なお、駐車不可領域は、駐車が認められない領域である。認識部１１３は、駐車枠が駐車不可領域、駐車可領域、駐車不可領域の並びで構成されるという駐車枠モデルに従って駐車枠の認識を行う。駐車枠モデルにおいて、互いに隣接する２つの駐車枠は共通の駐車不可領域で連結される。認識部１１３による駐車枠の認識処理の詳細については、後述する。
【００２９】
管理部１１４は、認識部１１３で認識された駐車枠に関する情報を管理する。駐車枠に関する情報は、例えば複数の頂点座標の組み合わせとして管理される。管理部１１４は、駐車枠に関する情報を枠管理情報として記憶部１２に記憶し、枠管理情報を適宜更新する。管理部１１４は、例えば、撮影画像から取得される駐車枠に関する観測情報や、自車両の移動量から推定される駐車枠に関する推定情報に基づいて枠管理情報を更新する。なお、自車両の移動量は、車載ネットワーク５から取得される自車両Ｖの舵角、車速、シフトなどの情報から求めることができる。
【００３０】
なお、管理部１１４は、過去に認識部１１３で認識された駐車枠の全てを管理する必要はなく、例えば、時間的に直近に認識された複数の駐車枠のみを管理し、古い駐車枠の情報は管理対象から適宜除外する構成としてよい。これにより、記憶部１２に要求される記憶容量を低く抑えることができる。
【００３１】
＜３．駐車枠の認識処理＞
図２は、認識部１１３によって実行される駐車枠の認識処理の流れを例示するフローチャートである。図３は、駐車枠の認識処理を説明するための模式図である。図２に示す認識処理を説明するに際し、理解を容易にするために、図３に示す模式的な例を適宜参照しながら説明を行う。
【００３２】
図３において、自車両Ｖは矢印Ａの方向に前進する。自車両Ｖの左側には、自車両Ｖの進行方向と平行な方向に並ぶ複数の駐車枠Ｐが存在する。これら複数の駐車枠Ｐに関する情報は、自車両Ｖの左サイドカメラ２０Ｌにより撮影される撮影画像から取得できる。各駐車枠Ｐは、自車両Ｖの進行方向と直交する方向に延びる車庫入れ型の駐車枠である。各駐車枠Ｐは、駐車可領域Ｒ２と、自車両Ｖの進行方向と平行な方向に並び駐車可領域Ｒ２を挟む一対の駐車不可領域Ｒ１とで構成される。
【００３３】
なお、図３においては、駐車不可領域Ｒ１は、いずれも、互いに平行に並ぶ２本の区画線ＳＬで構成されるＩＩ（アイアイ）型である。ただし、これは例示にすぎず、駐車不可領域Ｒ１の形状は様々な形状が想定される。図４は、駐車不可領域Ｒ１の他の形状例を説明するための模式図である。
【００３４】
駐車不可領域Ｒ１は、例えば図４（ａ）に示すように、図３とは異なるＩＩ型であってよい。図３に示す例では、２本の区画線ＳＬの一端が弧状の曲線で繋がる。一方、図４（ａ）に示す例では、２本の区画線ＳＬの一端が直線で繋がる。また、駐車不可領域Ｒ１は、例えば図４（ｂ）に示すように、１本の区画線ＳＬで構成されるＩ（アイ）型であってよい。また、駐車不可領域Ｒ１は、例えば図４（ｃ）に示すように、ＩＩ型を構成する２本の区画線ＳＬの間に区画線ＳＬに対して傾いた斜線ＯＬが所定の間隔をあけて複数設けられるゼブラ型であってもよい。
【００３５】
図３および図４に示す例では、各駐車枠Ｐにおいて、一対の駐車不可領域Ｒ１の形状は互いに同じである。ただし、これは例示であり、駐車枠Ｐを構成する一対の駐車不可領域Ｒ１の形状は互いに異なってもよい。例えば、駐車枠Ｐは、ゼブラ型の駐車不可領域Ｒ１と、Ｉ型の駐車不可領域Ｒ１と、これらの駐車不可領域Ｒ１に挟まれる駐車可領域Ｒ２とで構成されてよい。
【００３６】
図２に示すように、認識部１１３は、探索部１１２によって撮影画像から区画線候補が検出されたか否かを監視する（ステップＳ１）。換言すると、認識部１１３は、探索部１１２によって区画線候補が検出された場合（ステップＳ１でＹｅｓ）に駐車枠Ｐの認識処理を進め、探索部１１２によって区画線候補が検出されない場合（ステップＳ１でＮｏ）には駐車枠Ｐの認識処理を進めない。
【００３７】
なお、探索部１１２によって検出される枠線候補には、駐車枠Ｐを構成する区画線ＳＬの他に、例えば、路面上の汚れやひび、路面上に描かれるマークや文字の一部等が含まれる。路面上に描かれるマークとしては、例えば車椅子マークや、駐車禁止を示すゼブラ状のマーク等が挙げられる。路面上に描かれる文字としては、例えば軽自動車専用の駐車場所であることを示す「軽」などが挙げられる。
【００３８】
認識部１１３は、区画線候補が検出されると、検出した区画線候補に対してＩＤ（識別符号）を割り振る（ステップＳ２）。図３に示す例では、１０個の区画線候補が検出され、これらの区画線候補に数字のＩＤが割り振られている。ＩＤは、識別可能な符号であればよく、数字に限定されない。図３に示す例では、ＩＤは、自車両Ｖの進行方向の先頭側に位置する区画線候補から進行方向と反対方向に向けて順番に数字が大きくなるように、各区画線候補に割り振られる。認識部１１３は、ＩＤの数字が小さい区画線候補から順番に処理を行う。
【００３９】
認識部１１３は、区画線候補に対してＩＤを割り振ると、駐車不可領域Ｒ１を決定する処理を行う（ステップＳ３）。図３に示す例では、この処理によって、区画線候補ＩＤ１と区画線候補ＩＤ２とが駐車不可領域Ｒ１を構成する区画線であることが確定する。すなわち、区画線候補ＩＤ１および区画線候補ＩＤ２を含む領域が駐車不可領域Ｒ１に決定される。決定された駐車不可領域Ｒ１の情報は、記憶部１２に記憶される。なお、駐車不可領域Ｒ１の決定処理の詳細については後述する。
【００４０】
認識部１１３は、駐車不可領域Ｒ１の決定処理により、駐車不可領域Ｒ１が決定されたか否かを確認する（ステップＳ４）。駐車不可領域Ｒ１が決定されていない場合には（ステップＳ４でＮｏ）、認識部１１３は、駐車枠Ｐを認識する処理を行うことができないと判断して認識処理を終了する。
【００４１】
一方、駐車不可領域Ｒ１が決定されている場合には（ステップＳ４でＹｅｓ）、認識部１１３は、駐車可領域Ｒ２を決定する処理を行う（ステップＳ５）。図３に示す例では、上述のように駐車不可領域Ｒ１が決定されるために、駐車可領域Ｒ２を決定する処理が行われる。この処理によって、区画線候補ＩＤ２と区画線候補ＩＤ４との間に挟まれる領域が駐車可領域Ｒ２に決定される。決定された駐車可領域Ｒ２の情報は、記憶部１２に記憶される。なお、駐車可領域Ｒ２の決定処理の詳細については後述する。
【００４２】
認識部１１３は、駐車可領域Ｒ２の決定処理により、駐車可領域Ｒ２が決定されたか否かを確認する（ステップＳ６）。駐車可領域Ｒ２が決定されていない場合には（ステップＳ６でＮｏ）、認識部１１３は、駐車枠Ｐの認識する処理を行うことができないと判断して認識処理を終了する。
【００４３】
一方、駐車可領域Ｒ２が決定されている場合には（ステップＳ６でＹｅｓ）、認識部１１３は、駐車不可領域Ｒ１を決定する処理を行う（ステップＳ７）。図３に示す例では、上述のように駐車可領域Ｒ２が決定されるために、駐車不可領域Ｒ１を決定する処理が行われる。この処理によって、区画線候補ＩＤ４と区画線候補ＩＤ５とが駐車不可領域Ｒ１を構成する区画線であることが確定する。すなわち、区画線候補ＩＤ４および区画線候補ＩＤ５を含む領域が駐車不可領域Ｒ１に決定される。決定された駐車不可領域Ｒ１の情報は、記憶部１２に記憶される。なお、駐車不可領域Ｒ１の決定処理の詳細については後述する。
【００４４】
認識部１１３は、ステップＳ７における駐車不可領域Ｒ１の決定により、駐車不可領域Ｒ１、駐車可領域Ｒ２、駐車不可領域Ｒ１の順に領域が連続して並ぶ範囲を検出することができ、駐車枠Ｐを認識する（ステップＳ８）。図３に示す例では、区画線候補ＩＤ１および区画線候補ＩＤ２を含む駐車不可領域Ｒ１と、区画線候補ＩＤ２と区画線候補ＩＤ４との間に挟まれる駐車可領域Ｒ２と、区画線候補ＩＤ４と区画線候補ＩＤ５とを含む駐車不可領域Ｒ１とで構成される駐車枠Ｐが認識される。認識された駐車枠Ｐの情報は、管理部１１４によって管理され、記憶部１２に記憶される。
【００４５】
認識部１１３は、１つの駐車枠Ｐを認識すると、全ての区画線候補の処理を完了したか否かを確認する（ステップＳ９）。認識部１１３は、全ての区画線候補の処理を完了した場合には（ステップＳ９でＹｅｓ）、駐車枠Ｐの認識処理を終了する。一方、認識部１１３は、全ての区画線候補の処理を完了していない場合には（ステップＳ９でＮｏ）、ステップＳ５に戻ってステップＳ５以降の処理を繰り返す。図３に示す例では、駐車不可領域Ｒ１を構成すると判断された区画線候補ＩＤ５よりＩＤ番号が大きい５つの区画線候補ＩＤ６〜ＩＤ１０が残っている。このために、駐車可領域Ｒ２等の判断を更に行うことができるために、ステップＳ５以降の処理が繰り返される。
【００４６】
図３に示す例では、上述の繰り返し処理により、区画線候補ＩＤ４および区画線候補ＩＤ５を含む駐車不可領域Ｒ１と、区画線候補ＩＤ５と区画線候補ＩＤ６との間に挟まれる駐車可領域Ｒ２と、区画線候補ＩＤ６と区画線候補ＩＤ７とを含む駐車不可領域Ｒ１とで構成される駐車枠Ｐが認識される。更に、区画線候補ＩＤ６および区画線候補ＩＤ７を含む駐車不可領域Ｒ１と、区画線候補ＩＤ７と区画線候補ＩＤ９との間に挟まれる駐車可領域Ｒ２と、区画線候補ＩＤ９と区画線候補ＩＤ１０とを含む駐車不可領域Ｒ１とで構成される駐車枠Ｐが認識される。すなわち、図３に示す例では、最終的に３つの駐車枠Ｐが認識され、例えば路面上の汚れである区画線候補ＩＤ３や、路面上のマーク等の一部である区画線候補ＩＤ８は、ノイズとして除去される。
【００４７】
以上に示したように、本実施形態では、認識部１１３は、駐車不可領域Ｒ１、駐車可領域Ｒ２の順番で領域を決定する領域決定処理を繰り返す。そして、認識部１１３は、駐車不可領域Ｒ１、駐車可領域Ｒ２、駐車不可領域Ｒ１の順に領域が連続して並ぶ範囲を検出して駐車枠Ｐを認識する。本実施形態に構成によれば、領域決定処理を順番に行うことによって、多数の区画線候補の中から駐車枠を構成する区画線と駐車枠を構成しない区画線を適切に判別することができ、駐車枠を適切に認識することができる。
【００４８】
また、本実施形態では、認識部１１３は、自車両Ｖの進行方向と平行な方向に沿って駐車不可領域Ｒ１と駐車可領域Ｒ２とが並ぶと想定して駐車枠の認識処理（詳細には上述の領域決定処理）を行う。駐車場においては、通常、複数の駐車枠Ｐは、車両が進行する道路に面する位置に、進行方向と平行な方向に並んで配置される。このために、本実施形態の構成によれば、サイドカメラ２０から得られた撮影画像を用いて、想定した駐車枠モデルにより適切に駐車枠Ｐの認識を行うことができる。
【００４９】
また、本実施形態では、認識部１１３は、自車両Ｖの進行方向と反対方向に向けて駐車不可領域Ｒ１と駐車可領域Ｒ２とを順番に決定する。これによれば、複数の区画線候補を効率良く処理しながら駐車枠Ｐの認識を効率良く行うことができる。なお、認識部１１３は、自車両Ｖの進行方向に向けて駐車不可領域Ｒ１と駐車可領域Ｒ２とを順番に決定してもよい。
【００５０】
図５は、駐車不可領域Ｒ１の決定処理の一例を示すフローチャートである。図５は、図２のステップＳ３の詳細例を示す図である。認識部１１３は、まず、第１基準区画線候補を抽出する（ステップＳ３１）。詳細には、認識部１１３は、ＩＤ番号を割り振った区画線候補について、ＩＤ番号の小さい方から所定条件を満たす区画線候補を探索し、最初に見つかった区画線候補を第１基準区画線候補として抽出する。
【００５１】
所定条件は、駐車枠Ｐを構成する区画線が満たすべき要件に基づき予め設定される。所定条件は、例えば、形状、サイズ、角度、輝度値等の区画線が満たすべき複数の要件のうち少なくとも１つの要件に対して設定される。例えば、所定条件として、自車両Ｖの進行方向と直交する方向の長さである区画線長が所定閾値以上であるといった条件が設定される。所定閾値は、例えば、駐車場に関する法令等で規定される一般公共用の標準的な駐車領域の長さ（奥行）に基づき設定される。
【００５２】
図３に示す例では、区画線候補ＩＤ１が所定条件を満たすために、ステップＳ３１では区画線候補ＩＤ１が第１基準区画線候補として抽出される。ここで、仮に、図３の区画線候補ＩＤ１、ＩＤ２が区画線候補として探索部１１２によって検出されなかったとする。この場合、認識部１１３は、まず、ＩＤ番号の最も小さい区画線候補ＩＤ３が所定条件を満たすか否かを判断する。区画線候補ＩＤ３は、区画線長が所定閾値より小さいために第１基準区画線候補として抽出されず、次にＩＤ番号が小さい区画線候補ＩＤ４が所定閾値を満たすか否か判断される。区画線候補ＩＤ４は、所定条件を満たすために、第１基準区間線候補として抽出される。
【００５３】
図５に戻って、ステップＳ３１の処理の後、第１基準区画線候補が抽出されたか否かが確認される（ステップＳ３２）。第１基準区画線候補が抽出されなかった場合（ステップＳ３２でＮｏ）、認識部１１３は、駐車不可領域Ｒ１を決定できないと判断して（ステップＳ３７）、駐車不可領域Ｒ１の決定処理を終了する。一方、第１基準区画線候補が抽出された場合（ステップＳ３２でＹｅｓ）、認識部１１３は、第１基準区画線候補と組になって駐車不可領域Ｒ１を構成する区画線候補である第１組候補の探索を行う（ステップＳ３３）。当該探索によって、第１基準区画線候補からの距離が所定距離以下である区画線候補が第１組候補として抽出される。ここでいう距離は進行方向の距離である。所定距離は、例えば駐車場で一般的に用いられている駐車不可領域の幅を参考に適宜決定されればよい。
【００５４】
図３に示す例では、第１基準区画線候補（区画線候補ＩＤ１）からの距離が、ＩＤ番号の小さい区画線候補から順に求められる。認識部１１３は、まず、第１基準区画線候補（区画線候補ＩＤ１）と区画線候補ＩＤ２との距離を求め、求めた距離が所定距離以下であるために、区画線候補ＩＤ２を第１組候補とする。認識部１１３は、次に、第１基準区画線候補（区画線候補ＩＤ１）と区画線候補ＩＤ３との距離を求め、求めた距離が所定距離以下であるために、区画線候補ＩＤ３を第１組候補とする。認識部１１３は、次に、第１基準区画線候補（区画線候補ＩＤ１）と区画線候補ＩＤ４との距離を求め、求めた距離が所定距離を超えるために、区画線候補ＩＤ４を第１組候補としないと判断する。区画線候補ＩＤ５〜ＩＤ１０は、区画線候補ＩＤ４よりも第１基準区画線候補（区画線候補ＩＤ１）から遠い位置にあるために、これらについても、第１組候補としないと判断する。
【００５５】
図５に戻って、ステップＳ３３における第１組候補の探索処理の後、抽出された第１組候補の中に所定条件を満たす第１組候補が存在するか否かが確認される（ステップＳ３４）。所定条件は、例えば、駐車枠Ｐを構成する区画線が満たすべき要件に基づき予め設定されたものであってよく、ステップＳ３１と同じ条件であってもよい。ただし、ステップＳ３４の所定条件はステップＳ３１の所定条件と異なってもよい。所定条件には、認識部１１３で過去に認識された駐車不可領域Ｒ１に関する情報に基づき定められた条件が含まれてもよい。
【００５６】
図３に示す例では、上述のように第１組候補として区画線候補ＩＤ２と区画線候補ＩＤ３とが抽出される。このために、ステップＳ３４では、区画線候補ＩＤ２と区画線候補ＩＤ３とが、所定条件を満たすか否かが確認される。所定条件に含まれる区画線長に関する条件について、区画線候補ＩＤ２は条件を満たすが、区画線候補ＩＤ３は長さが短く条件を満たさない。すなわち、図３に示す例では、ステップＳ３４において所定条件を満たす第１組候補が存在すると判断される。
【００５７】
図５に戻って、所定条件を満たす第１組候補が存在する場合（ステップＳ３４でＹｅｓ）、認識部１１３は、区画線候補の組によって定まる領域を駐車不可領域Ｒ１に決定する（ステップＳ３５）。詳細には、認識部１１３は、第１基準区画線候補と所定条件を満たす第１組候補とによって定まる領域を駐車不可領域Ｒ１に決定する。図３に示す例では、区画線候補ＩＤ１と区画線候補ＩＤ２とによって定まる領域が駐車不可領域Ｒ１に決定される。より詳細には、区画線候補ＩＤ１、ＩＤ２が占める領域と、区画線候補ＩＤ１と区画線候補ＩＤ２との間に挟まれる領域とが駐車不可領域Ｒ１に決定される。
【００５８】
一方、所定条件を満たす第１組候補が存在しない場合（ステップＳ３４でＮｏ）、第１基準区画線候補によって占められる領域が駐車不可領域Ｒ１に決定される（ステップＳ３６）。例えば、駐車不可領域Ｒ１がＩ型の区画線で構成される場合等には、所定条件を満たす第１組候補が存在しないと判断され、第１基準区画線候補そのものが駐車不可領域Ｒ１を構成することになる。
【００５９】
図６は、駐車可領域Ｒ２の決定処理の一例を示すフローチャートである。図６は、図２のステップＳ５の詳細例を示す図である。認識部１１３は、まず、第２基準区画線候補を選択する（ステップＳ５１）。詳細には、認識部１１３は、直前に決定した駐車不可領域Ｒ１を構成する区画線候補のうち、進行方向の後方側に位置する区画線候補を第２基準区画線候補として選択する。すなわち、認識部１１３は、直前に決定した駐車不可領域Ｒ１を構成する区画線候補のうちＩＤ番号の大きい方を第２基準区画線候補として選択する。
【００６０】
図３に示す例では、直線に決定された駐車不可領域Ｒ１は区画線候補ＩＤ１と区画線候補ＩＤ２によって構成される。このために、認識部１１３は、ＩＤ番号の大きい区画線候補ＩＤ２を第２基準区画線候補として選択する。
【００６１】
図６に戻って、第２基準区画線候補が決まると、認識部１１３は、第２基準区画線候補と組になって駐車可領域Ｒ２を構成する区画線候補である第２組候補の探索を行う（ステップＳ５２）。当該探索によって、第２基準区画線候補からの距離が第１所定距離以上第２所定距離以下である区画線候補が第２組候補として抽出される。ここでいう距離は進行方向の距離である。第１所定距離および第２所定距離は、例えば駐車場で一般的に採用されている駐車可領域の幅を参考に適宜決定すればよい。
【００６２】
図３に示す例では、第２基準区画線候補（区画線候補ＩＤ２）からの距離が、ＩＤ２よりＩＤ番号の大きな区画線候補について、ＩＤ番号の小さい区画線候補から順に求められる。認識部１１３は、まず、第２基準区画線候補（区画線候補ＩＤ２）と区画線候補ＩＤ３との距離を求め、求めた距離が第１所定距離より小さいために、区画線候補ＩＤ３を第２組候補としないと判断する。認識部１１３は、次に、第２基準区画線候補（区画線候補ＩＤ２）と区画線候補ＩＤ４との距離を求め、求めた距離が第１所定距離以上第２所定距離以下であるために、区画線候補ＩＤ４を第２組候補とする。認識部１１３は、次に、第２基準区画線候補（区画線候補ＩＤ２）と区画線候補ＩＤ５との距離を求め、求めた距離が第２所定距離より大きいために、区画線候補ＩＤ５を第２組候補としないと判断する。区画線候補ＩＤ６〜ＩＤ１０は、区画線候補ＩＤ５よりも第２基準区画線候補（区画線候補ＩＤ２）から遠い位置にあるために、これらについても、第２組候補としないと判断する。
【００６３】
図６に戻って、ステップＳ５２における第２組候補の探索処理の後、抽出された第２組候補の中に所定条件を満たす第２組候補が存在するか否かが確認される（ステップＳ５３）。所定条件は、例えば、駐車枠Ｐを構成する区画線が満たすべき要件に基づき予め設定されたものであり、例えば駐車不可領域Ｒ１の決定処理において説明したステップＳ３４と同じ条件であってもよいし、異なる条件であってもよい。所定条件には、認識部１１３で過去に認識された駐車不可領域Ｒ１に関する情報に基づき定められた条件が含まれてもよい。
【００６４】
上述のように、図３に示す例では、第２組候補として区画線候補ＩＤ４が抽出される。このために、ステップＳ５３では、所定条件を満たす第２組候補が存在すると判断される。
【００６５】
図６に戻って、所定条件を満たす第２組候補が存在する場合（ステップＳ５３でＹｅｓ）、認識部１１３は、区画線候補の組によって定まる領域を駐車可領域Ｒ２に決定する（ステップＳ５４）。すなわち、認識部１１３は、第２基準区画線候補と所定条件を満たす第２組候補とによって定まる領域を駐車可領域Ｒ２に決定する。図３に示す例では、区画線候補ＩＤ２と区画線候補ＩＤ４とによって定まる領域が駐車可領域Ｒ２に決定される。より詳細には、区画線候補ＩＤ２と区画線候補ＩＤ４との間に挟まれる領域が駐車可領域Ｒ２に決定される。
【００６６】
一方、所定条件を満たす第２組候補が存在しない場合（ステップＳ５３でＮｏ）、認識部１１３は、駐車可領域Ｒ２を決定できないと判断して（ステップＳ５５）、駐車可領域Ｒ２の決定処理を終了する。
【００６７】
なお、図２にステップＳ７で示す駐車不可領域Ｒ１の決定処理も、図５に示す駐車不可領域Ｒ１の決定処理と同様である。ただし、第１基準区画線候補の抽出方法が異なる。図２のステップＳ７で示す駐車不可領域Ｒ１の決定処理では、認識部１１３は、直前に決定された駐車可領域Ｒ２を挟む２つの区画線候補のうち、進行方向の後方側に位置する区画線候補を第１基準区画線候補として抽出する。換言すると、認識部１１３は、直前に決定された駐車可領域Ｒ２を挟む２つの区画線候補のうち、ＩＤ番号が大きい方の区画線候補を第１基準区画線候補として抽出する。また、図２にステップＳ７で示す駐車不可領域Ｒ１の決定処理においては、直前に駐車可領域Ｒ２が決定されたことを前提に行われるために第１基準区画線候補は必ず抽出され、図５に示すステップＳ３２は省略される。
【００６８】
図７は、駐車枠Ｐを構成する区画線ＳＬの劣化に関する留意事項を説明するための模式図である。図７において、撮影画像を処理して得られる区画線候補ＩＤ４は、かすれが生じて本来の区画線の一部だけを構成するものになっている。区画線候補ＩＤ４は、本来、区画線候補ＩＤ３と組になってＩＩ型の駐車不可領域Ｒ１を構成すべきものである。
【００６９】
図５のステップＳ３４や、図６のステップＳ５３において、所定条件が、駐車枠Ｐを構成する区画線が満たすべき要件に基づき予め設定されたもののみで構成される場合、区画線候補ＩＤ４は、区画線長が短いために、駐車枠Ｐを構成する区画線として認識されない可能性がある。このために、所定条件には、過去に認識した駐車不可領域Ｒ１に関する情報に基づき定められる条件が含まれることが好ましい。過去に認識した駐車不可領域Ｒ１に関する情報は、同一の撮影画像から先に取得された情報でもよいし、１フレーム以上前に撮影された他の撮影画像から取得された情報でもよい。
【００７０】
所定条件は、例えば、過去に認識した駐車不可領域Ｒ１の情報から推定されるパターンと同一パターンの駐車不可領域Ｒ１を構成するか否かという条件であってよい。図７に示す例では、先に決定した区画線候補ＩＤ１と区画線候補ＩＤ２とで構成される駐車不可領域Ｒ１はＩＩ型である。このために、次に検出される駐車不可領域Ｒ１もＩＩ型である可能性が高い。そこで、区画線候補ＩＤ４が、区画線候補ＩＤ３と組になってＩＩ型の駐車不可領域Ｒ１を構成すると推定される場合には、例えば区画線長の条件等を満たしていない場合でも、区画線候補ＩＤ４を駐車不可領域Ｒ１の構成要素と判断する構成としてよい。
【００７１】
すなわち、認識部１１３は、過去に認識された駐車枠Ｐに関する情報に基づき駐車枠に関する情報を推定する処理を行ってよい。詳細には、認識部１１３は、過去に認識された駐車不可領域Ｒ１の情報に基づき駐車不可領域Ｒ１を推定する処理を行ってよい。これによれば、駐車枠Ｐを構成する区画線ＳＬが劣化して見え難くなった場合でも、駐車枠Ｐの認識を適切に行うことができる。
【００７２】
＜４．留意事項＞  
本明細書中に開示されている種々の技術的特徴は、上記実施形態のほか、その技術的創作の主旨を逸脱しない範囲で種々の変更を加えることが可能である。すなわち、上記実施形態は、全ての点で例示であって、制限的なものではないと考えられるべきであり、本発明の技術的範囲は、上記実施形態の説明ではなく、特許請求の範囲によって示されるものであり、特許請求の範囲と均等の意味及び範囲内に属する全ての変更が含まれると理解されるべきである。また、本明細書中に示される複数の実施形態及び変形例は可能な範囲で組み合わせて実施されてよい。
【００７３】
以上においては、認識部１１３がサイドカメラ２０を用いて駐車枠Ｐの認識を行う場合を例に説明したが、本発明は、認識部１１３がサイドカメラ２０以外のカメラ（例えばバックカメラ）を用いて駐車枠の認識を行う構成にも適用可能である。
【００７４】
また、以上においては、画像処理装置１が、自車両Ｖの進行方向と直交する方向に駐車枠Ｐが延びる車庫入れ型の駐車枠を認識する構成を示した。ただし、これは例示である。図８は、斜め駐車型の駐車枠を示す模式図である。斜め駐車型の駐車枠Ｐは、自車両Ｖの進行方向と直交する方向に対して傾いて駐車枠Ｐが延びる。図９は、縦列駐車型の駐車枠を示す模式図である。縦列駐車型の駐車枠Ｐは、自車両Ｖの進行方向と平行な方向に駐車枠Ｐが延びる。なお、図８および図９において自車両Ｖは矢印Ａ方向に前進する。
【００７５】
図８および図９に示すように、斜め駐車型および縦列駐車型においても、駐車枠Ｐは、駐車可領域Ｒ２と、駐車可領域Ｒ２を挟む一対の駐車不可領域Ｒ１とで構成される。また、これらの領域Ｒ１、Ｒ２は、自車両Ｖの進行方向と平行な方向に、駐車不可領域Ｒ１、駐車可領域Ｒ２、駐車不可領域Ｒ１の順に並ぶ。このために、上述した車庫入れ型の駐車枠Ｐの場合と同様に、本発明を適用できる。
【符号の説明】
【００７６】
１・・・画像処理装置
２０・・・サイドカメラ（カメラの一例）
１１２・・・探索部
１１３・・・認識部
Ｐ・・・駐車枠
Ｒ１・・・駐車不可領域
Ｒ２・・・駐車可領域
ＳＬ・・・区画線
Ｖ・・・自車両（車両）
【図１】
2020015372.tif 000003
【図２】
2020015372.tif 000004
【図３】
2020015372.tif 000005
【図４】
2020015372.tif 000006
【図５】
2020015372.tif 000007
【図６】
2020015372.tif 000008
【図７】
2020015372.tif 000009
【図８】
2020015372.tif 000010
【図９】
2020015372.tif 000011