(57)【要約】【課題】区画線の検出精度を向上させること。【解決手段】実施形態に係る画像処理装置は、区画線検出部と、除外判定部とを備える。区画線検出部は、車両の周囲が撮像された画像データに基づいて、駐車枠を区画する区画線の候補となる区画線候補を検出する。除外判定部は、区画線検出部によって検出された区画線候補を区画線の候補から除外するか否かを判定する。また、除外判定部は、画像データの所定の範囲内に複数の区画線候補が検出される場合に、複数の区画線候補のエッジ強度を比較することにより、区画線候補を区画線の候補から除外するか否かを判定する。【選択図】図１Ｂ
2020095626.tif 000002
【特許請求の範囲】
【請求項１】
車両の周囲が撮像された画像データに基づいて、駐車枠を区画する区画線の候補となる区画線候補を検出する区画線検出部と、
前記区画線検出部によって検出された前記区画線候補を前記区画線の候補から除外するか否かを判定する除外判定部と、
を備え、
前記除外判定部は、
前記画像データの所定の範囲内に複数の前記区画線候補が検出される場合に、複数の前記区画線候補のエッジ強度を比較することにより、前記区画線候補を前記区画線の候補から除外するか否かを判定すること
を特徴とする画像処理装置。
【請求項２】
前記除外判定部は、
複数の前記区画線候補のエッジ強度の差が所定の値以上である場合に、エッジ強度が弱い前記区画線候補を前記区画線の候補から除外すること
を特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記除外判定部は、
複数の前記区画線候補の相対位置関係に基づいて、前記区画線候補を前記区画線の候補から除外するか否かを判定すること
を特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記除外判定部は、
複数の前記区画線候補がそれぞれ略平行に配置されている場合に、前記区画線候補を前記区画線の候補から除外するか否かを判定すること
を特徴とする請求項３に記載の画像処理装置。
【請求項５】
車両の周囲が撮像された画像データに基づいて駐車枠を区画する区画線の候補となる区画線候補を検出する区画線検出工程と、
前記区画線検出工程によって検出された前記区画線候補を前記区画線の候補から除外するか否かを判定する除外判定工程と、
を含み、
前記除外判定工程は、前記画像データの所定の範囲内に複数の前記区画線候補が検出される場合に、複数の前記区画線候補のエッジ強度を比較することにより、前記区画線候補を前記区画線の候補から除外するか否かを判定すること
を特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
近年、自動運転技術の発展に伴い、車両の周囲を撮像した画像データから車両を駐車させる駐車枠を検出する画像処理装置が普及しつつある。この種の画像処理装置では、撮像データから駐車枠を区画する区画線を検出し、検出した区画線に基づいて駐車枠を検出する（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１７−８７７５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来技術では、例えば、不要となった区画線が路面から十分に消されていない場合、この消し忘れられた不要な区画線が誤って区画線として検出される場合がある。これにより、駐車枠を正常に検出できないおそれがある。
【０００５】
本発明は、上記に鑑みてなされたものであって、区画線の検出精度を向上させることができる画像処理装置および画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、区画線検出部と、除外判定部とを備える。区画線検出部は、車両の周囲が撮像された画像データに基づいて、駐車枠を区画する区画線の候補となる区画線候補を検出する。除外判定部は、前記区画線検出部によって検出された前記区画線候補を前記区画線の候補から除外するか否かを判定する。また、前記除外判定部は、前記画像データの所定の範囲内に複数の前記区画線候補が検出される場合に、複数の前記区画線候補のエッジ強度を比較することにより、前記区画線候補を前記区画線の候補から除外するか否かを判定する。
【発明の効果】
【０００７】
本発明によれば、区画線の検出精度を向上させることができる。
【図面の簡単な説明】
【０００８】
【図１Ａ】図１Ａは、実施形態に係る画像処理装置の搭載例を示す図である。
【図１Ｂ】図１Ｂは、実施形態に係る画像処理方法の概要を示す図である。
【図２】図２は、実施形態に係る駐車支援システムの構成を示すブロック図である。
【図３】図３は、実施形態に係る区画線検出処理の一例を示す図である。
【図４】図４は、実施形態に係る判定テーブルの一例を示す説明図である。
【図５】図５は、実施形態に係る画像処理方法の詳細を説明するための図である。
【図６】図６は、実施形態に係る画像処理方法の詳細を説明するための図である。
【図７】図７は、実施形態に係る画像処理方法の詳細を説明するための図である。
【図８】図８は、実施形態に係る画像処理方法の詳細を説明するための図である。
【図９】図９は、実施形態に係る画像処理方法の詳細を説明するための図である。
【図１０】図１０は、実施形態に係る画像処理方法の詳細を説明するための図である。
【図１１】図１１は、実施形態に係る画像処理方法の手順を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下、添付図面を参照して、本願の開示する画像処理装置および画像処理方法の実施形態を詳細に説明する。なお、この実施形態により本発明が限定されるものではない。
【００１０】
＜画像処理装置の概要＞
まず、図１Ａおよび図１Ｂを用いて実施形態に係る画像処理装置の概要について説明する。図１Ａは、画像処理装置１の搭載例を示す図である。また、図１Ｂは、実施形態に係る画像処理方法の概要を示す図である。なお、かかる画像処理方法は、図２に示す画像処理装置１によって実行される。
【００１１】
図１Ａに示すように、実施形態に係る画像処理装置１は、車両Ｃに搭載され、車載カメラ１０によって撮像された撮像データから区画線Ｌを検出し、かかる区画線Ｌから駐車枠ＰＳを検出する。
【００１２】
車載カメラ１０は、例えば、ＣＣＤ（Charge  Coupled  Device）やＣＭＯＳ(Complementary  Metal  Oxide  Semiconductor）などの撮像素子を備え、車両Ｃの周囲を撮像する。また、車載カメラ１０のレンズには、例えば、魚眼レンズなどの広角レンズが採用され、図１Ａに示すような撮像領域Ｒを有する。
【００１３】
なお、図１Ａの例では、車載カメラ１０が、車両Ｃの左側方を撮像する左サイドカメラである場合について示すが、車載カメラ１０には、車両Ｃの前方を撮像する前方カメラ、車両Ｃの後方を撮像するバックカメラ、車両Ｃの右側方を撮像する右サイドカメラなどが含まれる。
【００１４】
ところで、画像処理装置１は、駐車枠ＰＳの検出を行うに当たり、各駐車枠ＰＳを区画する区画線Ｌの候補となる区画線候補Ｌｃ（図１Ｂ参照）を検出し、検出した区画線候補Ｌｃに基づいて駐車枠ＰＳを検出する。
【００１５】
しかしながら、例えば、不要となった区画線Ｌが路面から十分に消されていない場合、この消し忘れられた不要な区画線Ｌが誤って区画線候補Ｌｃとして検出される場合がある。これにより、駐車枠ＰＳを正常に検出できないおそれがある。
【００１６】
そこで、実施形態に係る画像処理装置１は、所定の処理により、誤って区画線Ｌとして検出された区画線候補Ｌｃを区画線Ｌの候補から除外することとした。これにより、実施形態に係る画像処理装置１では、区画線Ｌの検出精度を向上させることができる。
【００１７】
具体的には、図１Ｂに示すように、画像処理装置１は、まず、撮像データから区画線候補Ｌｃを検出する（ステップＳ１）。例えば、画像処理装置１は、撮像データに対してエッジ処理を行うことで得られるエッジ点を繋いだエッジ線に基づいて区画線候補Ｌｃを検出する。
【００１８】
なお、以降の図面では、理解の容易のため、撮像データを上方から俯瞰した俯瞰図に変換した図面に基づいて説明を行う。また、以降の図面では、実際の区画線Ｌに基づいた区画線候補Ｌｃを区画線候補Ｌｃ１として実線で記載し、消し忘れられた不要な区画線Ｌに基づいた区画線候補Ｌｃを区画線候補Ｌｃ２として破線で記載する。
【００１９】
そして、かかるステップＳ１では、区画線候補Ｌｃ１および区画線候補Ｌｃ２がいずれも区画線候補Ｌｃとして検出される。なお、図１Ｂでは、区画線Ｌが一本線である場合について示す。
【００２０】
そして、図１Ｂに示すように、画像処理装置１は、画像データにおける所定の範囲Ｒ１内（すなわち、駐車場における所定の範囲内）に複数の区画線候補Ｌｃが検出される場合、検出された複数の区画線候補Ｌｃのエッジ強度を比較する（ステップＳ２）。
【００２１】
例えば、消し忘れられた不要な区画線Ｌに基づいた区画線候補Ｌｃ２は、状態が古くかすれている傾向にあることから、路面との輝度差が小さく、エッジ線が弱いエッジ強度で検出される。
【００２２】
また、新たに引き直した区画線Ｌに基づいた区画線候補Ｌｃ１は、状態が新しい傾向にあることから、路面との輝度差が大きく、エッジ線が強いエッジ強度で検出される。
【００２３】
なお、本開示では、エッジ処理を行うことで得られるエッジ線のエッジ強度を、かかるエッジ線に基づいて検出される区画線候補Ｌｃのエッジ強度とみなす。また、エッジ強度が弱い（または強い）エッジ線で検出される区画線候補Ｌｃを、「弱い（または強い）エッジ強度の区画線候補Ｌｃ」とも呼称する。
【００２４】
また、上述の所定の範囲Ｒ１は、例えば、１つの区画線Ｌが検出される範囲より広く、かつ１つの駐車枠ＰＳが含まれる範囲より狭い。例えば、所定の範囲Ｒ１は、隣接する複数本（例えば、２〜３本）の区画線Ｌが検出される範囲に設定される。
【００２５】
そして、画像処理装置１は、所定の範囲Ｒ１内に検出される複数の区画線候補Ｌｃのエッジ強度を比較することにより、かかる複数の区画線候補Ｌｃを区画線Ｌの候補から除外するか否かを判定する（ステップＳ３）。たとえば、画像処理装置１は、複数の区画線候補Ｌｃのエッジ強度の差が所定の値以上である場合に、エッジ強度が弱い区画線候補Ｌｃを消し忘れられた不要な区画線であると判断し区画線Ｌの候補から除外する。
【００２６】
図１Ｂの例では、強いエッジ強度の区画線候補Ｌｃ１と、弱いエッジ強度の区画線候補Ｌｃ２とのエッジ強度の差が所定の値以上である場合に、画像処理装置１は、弱いエッジ強度の区画線候補Ｌｃ２を区画線Ｌの候補から除外することができる。
【００２７】
これにより、画像処理装置１は、消し忘れられた不要な区画線Ｌに基づいた区画線候補Ｌｃ２を区画線候補Ｌｃから除外することができる。したがって、実施形態によれば、区画線Ｌの検出精度を向上させることができる。
【００２８】
＜画像処理装置の構成例＞
次に、図２を用いて実施形態に係る画像処理装置１の構成例について説明する。図２は、画像処理装置１のブロック図である。なお、図２には、画像処理装置１を含む駐車支援システム１００を示す。
【００２９】
図２に示すように、駐車支援システム１００は、画像処理装置１と、車載カメラ１０と、センサ群Ｓｃと、上位ＥＣＵ（Electronic  Control  Unit）５０とを備える。また、図２に示すように、画像処理装置１と、センサ群Ｓｃと、上位ＥＣＵ５０とは、それぞれＣＡＮ（Control  Area  Network）通信の通信規格の通信バスＢによって相互に通信することができる。
【００３０】
センサ群Ｓｃは、車両Ｃ（図１Ａ参照）の走行状態を検出する各種センサであり、検出したセンサ値を画像処理装置１へ通知する。センサ群Ｓｃは、車両Ｃの車輪の回転数を検出する車速センサや、車両Ｃの舵角を検出する舵角センサなどを含む。
【００３１】
上位ＥＣＵ５０は、例えば、車両Ｃの自動駐車を支援するＥＣＵであり、例えば、画像処理装置１によって検出された駐車枠ＰＳに基づいて車両Ｃを駐車枠ＰＳへ駐車させる。
【００３２】
例えば、上位ＥＣＵ５０は、車両Ｃの操舵角を制御するＥＰＳ（Electric  Power  Steering）−ＥＣＵであり、画像処理装置１によって検出された駐車枠ＰＳへの操舵角を制御することができる。なお、上位ＥＣＵ５０は、アクセル制御やブレーキ制御を行うＥＣＵを含むようにしてもよい。
【００３３】
図２に示すように、画像処理装置１は、制御部２と、記憶部３とを備える。制御部２は、線分抽出部２１と、不適領域判定部２２と、区画線検出部２３と、除外判定部２４と、駐車枠検出部２５と、駐車枠管理部２６と、停車位置決定部２７とを備える。記憶部３は、区画線情報３１と、判定テーブル３２とを備える。
【００３４】
制御部２は、例えば、ＣＰＵ（Central  Processing  Unit）、ＲＯＭ（Read  Only  Memory）、ＲＡＭ（Random  Access  Memory）、ＨＤＤ（Hard  Disk  Drive）、入出力ポートなどを有するコンピュータや各種の回路を含む。
【００３５】
かかるコンピュータのＣＰＵは、例えば、ＲＯＭに記憶されたプログラムを読み出して実行することによって、制御部２の線分抽出部２１、不適領域判定部２２、区画線検出部２３、除外判定部２４、駐車枠検出部２５、駐車枠管理部２６および停車位置決定部２７として機能する。
【００３６】
また、制御部２の線分抽出部２１、不適領域判定部２２、区画線検出部２３、除外判定部２４、駐車枠検出部２５、駐車枠管理部２６および停車位置決定部２７の少なくとも一部または全部をＡＳＩＣ（Application  Specific  Integrated  Circuit）やＦＰＧＡ（Field  Programmable  Gate  Array）などのハードウェアで構成することもできる。
【００３７】
制御部２は、例えば、車両Ｃが駐車場を走行していると想定される場合（例えば、車速３０ｋｍ／ｈ以内）に、後述する駐車枠ＰＳの検出処理を行うことにしてもよいし、あるいは、車両Ｃが走行している全ての期間でかかる検出処理を行うことにしてもよい。
【００３８】
線分抽出部２１は、車載カメラ１０から入力される画像データから各画素の輝度に基づくエッジ点を繋いだエッジ線を検出する。具体的には、線分抽出部２１は、車載カメラ１０から入力される画像データをグレースケール化することでグレースケール画像へ変換する。グレースケール画像とは、画像データにおける各画素を輝度に応じて白から黒までの各階調（例えば２５６階調）で表現するように変換する処理である。
【００３９】
続いて、線分抽出部２１は、グレースケール画像に対して例えば、ソベルフィルタを適用することで、各画素のエッジ強度および輝度勾配を求めることができる。続いて、線分抽出部２１は、エッジ強度が所定値を超える画素を抽出することで、上記のエッジ点を抽出し、隣接するエッジ点を繋ぐことで、エッジ線を抽出することができる。線分抽出部２１は、抽出したエッジ点およびエッジ線に関するエッジ情報を不適領域判定部２２へ通知する。
【００４０】
不適領域判定部２２は、線分抽出部２１によって抽出されたエッジ点およびエッジ線に基づき、駐車枠ＰＳを構築する区画線Ｌの検出が困難となる不適領域の有無を判定する。例えば、不適領域判定部２２は、舗装された路面に比べて、エッジ点が多く抽出される舗装されていない路面領域（例えば、砂利）や、グレーチング領域を不適領域として判定することができる。
【００４１】
具体的には、不適領域判定部２２は、各エッジ点の密度が所定値以上であり、各エッジ点の輝度勾配が不均一である領域について、不適領域として判定することができる。不適領域判定部２２は、判定した不適領域に基づいて上記のエッジ情報から不適領域に関するエッジ情報を除去して後段の処理へ回す。
【００４２】
区画線検出部２３は、線分抽出部２１によって抽出されたエッジ線に基づいて、駐車枠ＰＳを区画する区画線Ｌの候補となる区画線候補Ｌｃを検出する。具体的には、区画線検出部２３は、互いに略平行であり、その間隔が区画線Ｌの幅に応じた所定範囲に収まるエッジ線同士を２辺とする矩形状の領域を区画線候補Ｌｃとして検出する。換言すると、区画線検出部２３は、実際の区画線と路面との境界に対応するエッジ線のペアを２辺とする矩形状の領域を区画線候補Ｌｃとして検出する。
【００４３】
すなわち、区画線検出部２３は、各区画線Ｌの幅方向の左右両端に対応する１対のエッジ線を区画線候補Ｌｃとして検出する。図３は、実施形態に係る区画線検出処理の一例を示す図である。図３に示すように、区画線検出部２３は、エッジ線Ｌｅ１およびエッジ線Ｌｅ２が略平行であり、かつ、エッジ線Ｌｅ１およびエッジ線Ｌｅ２の距離ｄが所定範囲に収まる場合に、エッジ線Ｌｅ１およびエッジ線Ｌｅ２から区画線候補Ｌｃを検出する。
【００４４】
例えば、区画線が白線である場合を想定する。この場合、白線と路面との境界では、輝度差が大きくなるため、略平行な２本のエッジ線が抽出されやすくなる。このため、区画線検出部２３は、互いに略平行であり、かつ、所定間隔を隔てて配置されたエッジ線Ｌｅ１およびエッジ線Ｌｅ２のペアを区画線候補Ｌｃとして検出する。
【００４５】
ここで、所定範囲とは、区画線のライン幅に応じた範囲であり、例えば、５ｃｍ〜１０ｃｍまでの範囲である。また、区画線検出部２３は、図３に示すように、エッジ線Ｌｅ１およびエッジ線Ｌｅ２が重複する領域を区画線候補Ｌｃとして検出し、距離ｄが区画線候補Ｌｃの幅となる。
【００４６】
換言すると、区画線検出部２３は、エッジ線Ｌｅ１およびエッジ線Ｌｅ２が重複しない領域については、区画線候補Ｌｃとして検出しないことになる。これは、上述のように、区画線であれば、区画線の幅方向の左右両端にそれぞれ対応する１対のエッジ線で構成されるためである。
【００４７】
すなわち、エッジ線Ｌｅ１およびエッジ線Ｌｅ２が重複しない領域については、ノイズであることも想定される。このため、区画線検出部２３は、エッジ線Ｌｅ１およびエッジ線Ｌｅ２が重複しない領域について区画線候補Ｌｃとして検出しないことで、確度の高い区画線候補Ｌｃのみを検出することができる。これにより、駐車枠ＰＳの誤検知を抑制することができる。
【００４８】
図２の説明に戻る。区画線検出部２３は、上述のように検出した区画線候補Ｌｃに関する情報を、記憶部３の区画線情報３１に登録する。例えば、区画線検出部２３は、区画線候補Ｌｃを検出すると、検出した区画線候補Ｌｃの４隅の頂点座標を区画線情報３１に登録する。
【００４９】
なお、区画線検出部２３は、不適領域判定部２２によって検出された不適領域を除いて、区画線候補Ｌｃの検出処理を行うことができる。換言すると、区画線検出部２３は、不適領域について区画線候補Ｌｃの検出処理を行わない。これにより、制御部２の処理負荷を抑制することができる。
【００５０】
除外判定部２４は、区画線検出部２３によって検出され、区画線情報３１に登録された区画線候補Ｌｃに基づいて、車両Ｃの駐車が認められていない駐車不可領域の有無を判定する。例えば、除外判定部２４は、駐車不可領域として、ゼブラゾーン（導流帯）などの駐車不可領域の有無を判定する。
【００５１】
具体的には、互いに略平行な区画線候補Ｌｃを支持区画線と仮定し、かかる支持区画線に対して傾斜した平行線が所定の間隔をあけて複数存在する場合に、除外判定部２４は支持区画線に挟まれた領域をゼブラゾーンとみなす。そして、除外判定部２４は、かかるゼブラゾーンを駐車不可領域と判定する。
【００５２】
また、除外判定部２４は、区画線検出部２３によって検出された区画線候補Ｌｃと、各路面標識のテンプレートモデルとのマッチング処理を行うことで、画像データに含まれる各路面標識を検出することができる。
【００５３】
また、除外判定部２４は、路面標識などの駐車枠ＰＳの検出に不要な区画線候補Ｌｃの有無を判定することもできる。例えば、除外判定部２４は、画像データの所定の範囲Ｒ１内に複数の区画線候補Ｌｃが検出される場合に、複数の区画線候補Ｌｃのエッジ強度を比較することにより、かかる複数の区画線候補Ｌｃを区画線Ｌの候補から除外するか否かを判定する。かかる除外判定処理の詳細については後述する。
【００５４】
除外判定部２４は、不要な区画線候補Ｌｃと判定された場合、当該区画線候補Ｌｃを区画線情報３１から除外する。また、除外判定部２４は、区画線情報３１に駐車不可領域に関する情報を付与して、駐車枠検出部２５へ通知する。
【００５５】
駐車枠検出部２５は、区画線検出部２３によって検出された区画線候補Ｌｃに基づき、駐車枠ＰＳを検出する。具体的には、駐車枠検出部２５は、所定間隔をあけて平行配置される１対の区画線候補Ｌｃに挟まれた領域を駐車枠ＰＳとして検出する。
【００５６】
ここで、所定間隔とは、駐車場に関する法令などで規定される一般公共用の標準的な駐車領域の幅である。また、この際、駐車枠検出部２５は、除外判定部２４によって駐車不可領域として判定された領域を避けて、駐車枠ＰＳを検出することができる。
【００５７】
すなわち、駐車枠検出部２５は、駐車不可領域と判定されたゼブラゾーンなどを避けて駐車枠ＰＳを検出することができる。駐車枠検出部２５は、駐車枠ＰＳを検出すると、駐車枠ＰＳに関する駐車枠情報を駐車枠管理部２６へ通知する。
【００５８】
なお、以下では、駐車枠検出部２５によって駐車枠ＰＳとして検出するために用いられた区画線候補Ｌｃについて、区画線Ｌと記載する。また、上述の駐車枠情報には、車両Ｃを基準とする各駐車枠ＰＳの頂点座標（すなわち、区画線Ｌにおいて駐車枠ＰＳと接する側の頂点座標）が含まれる。
【００５９】
駐車枠管理部２６は、駐車枠検出部２５によって検出された駐車枠ＰＳを時系列で管理する。駐車枠管理部２６は、センサ群Ｓｃから入力されるセンサ値に基づいて車両Ｃの移動量を推定し、かかる移動量に基づいて過去の駐車枠情報に基づく実際の各駐車枠ＰＳの頂点座標を推定することができる。
【００６０】
また、駐車枠管理部２６は、新たに入力される駐車枠情報に基づいて、過去の駐車枠情報における駐車枠ＰＳの座標情報を更新することも可能である。すなわち、駐車枠管理部２６は、車両Ｃとの駐車枠ＰＳとの相対的な位置関係を車両Ｃの移動に伴って随時更新する。
【００６１】
また、駐車枠管理部２６は、複数の駐車枠ＰＳがそれぞれ連続して配置されると仮定して、駐車枠ＰＳの検出範囲を設定することも可能である。例えば、駐車枠管理部２６は、駐車枠検出部２５によって検出された１つの駐車枠ＰＳを基準とし、かかる駐車枠ＰＳと連続して複数の駐車枠ＰＳが存在すると仮定する。
【００６２】
そして、駐車枠管理部２６は、仮定された駐車枠ＰＳの位置を検出範囲として設定する。これにより、上記の線分抽出部２１は、駐車枠管理部２６によって設定された検出範囲においてのみ、エッジ線の検出処理を行えばよいので、制御部２の処理負荷を抑制することができる。
【００６３】
停車位置決定部２７は、線分抽出部２１によって検出されたエッジ線に基づき、車両Ｃが駐車枠ＰＳへ駐車する際の停車位置を決定する。例えば、停車位置決定部２７は、線分抽出部２１によって検出されたエッジ線に基づき、輪留めや縁石、壁、車幅方向に延びる白線などを検出することで、車両Ｃの停車位置を決定する。
【００６４】
停車位置決定部２７は、輪留めを検出した場合、車両Ｃの後輪が輪留めの手前に来るように停車位置を決定し、輪留めに代えて、白線や壁などを検出した場合、白線の手前に車両Ｃの後端（例えば、リアバンパの先端）がくるように停車位置を決定する。
【００６５】
記憶部３は、例えば、ＲＡＭやＨＤＤに対応する。ＲＡＭやＨＤＤは、各種情報や各種プログラムの情報を記憶することができる。なお、画像処理装置１は、有線や無線のネットワークで接続された他のコンピュータや可搬型記録媒体を介して上記したプログラムや各種情報を取得することとしてもよい。
【００６６】
区画線情報３１には、区画線検出部２３により検出された区画線候補Ｌｃに関する情報が登録される。例えば、区画線情報３１には、検出された区画線候補Ｌｃの４隅の頂点座標が登録される。
【００６７】
判定テーブル３２は、除外判定部２４による区画線候補Ｌｃの除外処理の際に用いられるテーブルである。図４は、実施形態に係る判定テーブル３２の一例を示す説明図である。上述のように、所定の範囲Ｒ１（図１Ｂ参照）内で複数の区画線候補Ｌｃが検出される場合に、かかる複数の区画線候補Ｌｃが「注目区画線候補」と「隣接区画線候補」とに分けられる。
【００６８】
ここで、注目区画線候補とは、除外判定部２４が注目する１つの区画線候補Ｌｃであり、隣接区画線候補とは、かかる注目区画線候補以外の区画線候補Ｌｃのことである。なお、隣接区画線候補とは、注目区画線候補に隣り合う区画線候補Ｌｃに限られず、所定の範囲Ｒ１内で検出される注目区画線候補以外の区画線候補Ｌｃであればどの区画線候補Ｌｃであってもよい。
【００６９】
そして、図４に示すように、除外判定部２４は、注目区画線候補および隣接区画線候補のそれぞれのエッジ強度に基づいて、かかる注目区画線候補および隣接区画線候補を区画線候補Ｌｃから除外するか否かを判定する。
【００７０】
具体的には、除外判定部２４は、注目区画線候補が「強いエッジ強度」であり、隣接区画線候補が「強いエッジ強度」である場合には、注目区画線候補および隣接区画線候補を区画線候補Ｌｃとして維持する。
【００７１】
また、除外判定部２４は、注目区画線候補が「弱いエッジ強度」であり、隣接区画線候補が「強いエッジ強度」である場合には、注目区画線候補を区画線候補Ｌｃから除外する。
【００７２】
また、除外判定部２４は、注目区画線候補が「強いエッジ強度」であり、隣接区画線候補が「弱いエッジ強度」である場合には、隣接区画線候補を区画線候補Ｌｃから除外する。
【００７３】
また、除外判定部２４は、注目区画線候補が「弱いエッジ強度」であり、隣接区画線候補が「弱いエッジ強度」である場合には、注目区画線候補および隣接区画線候補を区画線候補Ｌｃとして維持する。
【００７４】
なお、一方の区画線候補Ｌｃが強いエッジ強度であり、他方の区画線候補Ｌｃが弱いエッジ強度である場合とは、かかる一方の区画線候補Ｌｃと他方の区画線候補Ｌｃとのエッジ強度の差が所定の値以上である場合のことを示している。
【００７５】
＜画像処理の詳細＞
続いては、実施形態に係る画像処理の詳細について、図５〜図１０を参照しながら説明する。図５〜図１０は、実施形態に係る画像処理方法の詳細を説明するための図である。なお、図５〜図１０では、区画線Ｌ（図１Ｂ参照）が略Ｕ字線である場合について示す。
【００７６】
図５に示すように、まず、区画線検出部２３は、撮像データから区画線候補Ｌｃを検出する（ステップＳ１１）。図５の例では、実際の区画線Ｌに基づいた区画線候補Ｌｃ１として、車両Ｃ（図１Ａ参照）の進行方向から順に区画線候補Ｌｃ１ａ〜Ｌｃ１ｄが検出される。なお、区画線候補Ｌｃ１ａは区画線候補Ｌｃ１ｂに隣り合っており、区画線候補Ｌｃ１ｃは区画線候補Ｌｃ１ｄに隣り合っている。
【００７７】
また、区画線候補Ｌｃ１ｂと区画線候補Ｌｃ１ｃとの間には、消し忘れられた不要な区画線Ｌに基づいた区画線候補Ｌｃ２として、車両Ｃの進行方向から順に区画線候補Ｌｃ２ａ、Ｌｃ２ｂが検出される。なお、区画線候補Ｌｃ２ｂは、区画線候補Ｌｃ２ａ、Ｌｃ１ｃに隣り合っている。
【００７８】
次に、図６に示すように、除外判定部２４は、所定の範囲Ｒ１を進行方向に撮像データ内で走査することにより、区画線候補Ｌｃの除外処理を実施する。図６の例では、進行方向の一番手前側にある区画線候補Ｌｃ１ａのみが所定の範囲Ｒ１内に含まれる。
【００７９】
ここで、除外判定部２４は、所定の範囲Ｒ１内に複数の区画線候補Ｌｃが含まれないことから、所定の範囲Ｒ１内の区画線候補Ｌｃ１ａを区画線Ｌの候補から除外するか否かを判定しない（ステップＳ１２）。
【００８０】
このように、実施形態では、所定の範囲Ｒ１内に複数の区画線候補Ｌｃが含まれない場合に、所定の範囲Ｒ１内の区画線候補Ｌｃを区画線Ｌの候補から除外するか否かを判定しない。これにより、実際の区画線Ｌに基づいた区画線候補Ｌｃが誤って区画線Ｌの候補から除外されることを抑制することができる。
【００８１】
続いて、図７に示すように、所定の範囲Ｒ１が進行方向に走査されて、２つの区画線候補Ｌｃ１ａ、Ｌｃ１ｂが所定の範囲Ｒ１内に含まれる。この場合、除外判定部２４は、例えば、新しく所定の範囲Ｒ１内に入った区画線候補Ｌｃ１ｂを注目区画線候補とみなし、別の区画線候補Ｌｃ１ａを隣接区画線候補とみなす。
【００８２】
そして、除外判定部２４は、所定の範囲Ｒ１内に含まれる２つの区画線候補Ｌｃ１ａ、Ｌｃ１ｂの相対位置関係を比較する（ステップＳ１３）。具体的には、除外判定部２４は、２つの区画線候補Ｌｃ１ａ、Ｌｃ１ｂがそれぞれ略平行に配置されているかを判定する。
【００８３】
そして、図７の例では、２つの区画線候補Ｌｃ１ａ、Ｌｃ１ｂがそれぞれ略平行に配置されていることから、除外判定部２４は、２つの区画線候補Ｌｃ１ａ、Ｌｃ１ｂのエッジ強度を比較する（ステップＳ１４）。
【００８４】
ここで、２つの区画線候補Ｌｃ１ａ、Ｌｃ１ｂはいずれも強いエッジ強度であり、エッジ強度の差が所定の値より小さいことから、除外判定部２４は、両方の区画線候補Ｌｃ１ａ、Ｌｃ１ｂを区画線Ｌの候補から除外しない（ステップＳ１５）。
【００８５】
換言すると、注目区画線候補である区画線候補Ｌｃ１ｂと、隣接区画線候補である区画線候補Ｌｃ１ａとはいずれも強いエッジ強度であることから、除外判定部２４は、判定テーブル３２に基づいて、区画線候補Ｌｃ１ａ、Ｌｃ１ｂを両方とも維持する。
【００８６】
なお、上述のステップＳ１３において、もし仮に、区画線候補Ｌｃ１ａ、Ｌｃ１ｂがそれぞれ略平行に配置されていない場合、除外判定部２４は、隣接区画線候補である区画線候補Ｌｃ１ｂを区画線Ｌの候補から除外するか否かを判定しない。
【００８７】
さらにこの場合には、所定の範囲Ｒ１内で判定対象となる区画線候補Ｌｃは区画線候補Ｌｃ１ａのみとなることから、かかる区画線候補Ｌｃ１ａも区画線Ｌの候補から除外するか否かを判定しない。
【００８８】
このように、実施形態では、所定の範囲Ｒ１内に含まれる複数の区画線候補Ｌｃの相対位置関係を比較し、それぞれ略平行に配置されている複数の区画線候補Ｌｃのみを除外処理の判定対象とする。なぜなら、不要な区画線Ｌを消去して新たな区画線Ｌを引き直す場合、不要な区画線Ｌと略平行に新たな区画線Ｌを引き直す場合が多いからである。
【００８９】
このように、実施形態では、所定の範囲Ｒ１内に含まれる複数の区画線候補Ｌｃの相対位置関係に基づいて、区画線候補Ｌｃを区画線Ｌの候補から除外するか否かを判定する。これにより、かかる除外判定の対象を絞ることができることから、除外判定部２４の処理負荷を抑制することができる。
【００９０】
また、実施形態では、それぞれ略平行に配置されている複数の区画線候補Ｌｃのみを除外処理の判定対象とすることにより、引き直された新たな区画線Ｌと略平行に配置された不要な区画線Ｌのみを判定対象とすることができる。
【００９１】
続いて、図８に示すように、所定の範囲Ｒ１が進行方向に走査されて、１つの区画線候補Ｌｃ２ａが所定の範囲Ｒ１内に含まれる。この場合、除外判定部２４は、所定の範囲Ｒ１内に複数の区画線候補Ｌｃが含まれないことから、上述のステップＳ１２と同様に、所定の範囲Ｒ１内の区画線候補Ｌｃ２ａを区画線Ｌの候補から除外するか否かを判定しない（ステップＳ１６）。
【００９２】
続いて、図９に示すように、所定の範囲Ｒ１が進行方向に走査されて、２つの区画線候補Ｌｃ２ａ、Ｌｃ２ｂが所定の範囲Ｒ１内に含まれる。この場合、除外判定部２４は、例えば、新しく所定の範囲Ｒ１内に入った区画線候補Ｌｃ２ｂを注目区画線候補とみなし、別の区画線候補Ｌｃ２ａを隣接区画線候補とみなす。
【００９３】
そして、除外判定部２４は、所定の範囲Ｒ１内に含まれる２つの区画線候補Ｌｃ２ａ、Ｌｃ２ｂの相対位置関係を比較する（ステップＳ１７）。具体的には、除外判定部２４は、２つの区画線候補Ｌｃ２ａ、Ｌｃ２ｂがそれぞれ略平行に配置されているかを判定する。
【００９４】
そして、図９の例では、２つの区画線候補Ｌｃ２ａ、Ｌｃ２ｂがそれぞれ略平行に配置されていることから、除外判定部２４は、２つの区画線候補Ｌｃ２ａ、Ｌｃ２ｂのエッジ強度を比較する（ステップＳ１８）。
【００９５】
ここで、２つの区画線候補Ｌｃ２ａ、Ｌｃ２ｂはいずれも弱いエッジ強度であり、エッジ強度の差が所定の値より小さいことから、除外判定部２４は、両方の区画線候補Ｌｃ２ａ、Ｌｃ２ｂを区画線Ｌの候補から除外しない（ステップＳ１９）。
【００９６】
換言すると、注目区画線候補である区画線候補Ｌｃ２ｂと、隣接区画線候補である区画線候補Ｌｃ２ａとはいずれも弱いエッジ強度であることから、除外判定部２４は、判定テーブル３２に基づいて、区画線候補Ｌｃ２ａ、Ｌｃ２ｂを両方とも維持する。
【００９７】
このように、いずれも弱いエッジ強度である複数の区画線候補Ｌｃを区画線Ｌの候補から除外しないことにより、経年劣化などでエッジ強度が弱くなった実際の区画線Ｌに基づいた区画線候補Ｌｃを、誤って区画線Ｌの候補から除外することを抑制することができる。
【００９８】
続いて、図１０に示すように、所定の範囲Ｒ１が進行方向に走査されて、３つの区画線候補Ｌｃ２ａ、Ｌｃ２ｂ、Ｌｃ１ｃが所定の範囲Ｒ１内に含まれる。この場合、除外判定部２４は、例えば、新しく所定の範囲Ｒ１内に入った区画線候補Ｌｃ１ｃを注目区画線候補とみなし、別の区画線候補Ｌｃ２ａ、Ｌｃ２ｂを隣接区画線候補とみなす。
【００９９】
そして、除外判定部２４は、所定の範囲Ｒ１内に含まれる３つの区画線候補Ｌｃ２ａ、Ｌｃ２ｂ、Ｌｃ１ｃの相対位置関係を比較する（ステップＳ２０）。具体的には、除外判定部２４は、３つの区画線候補Ｌｃ２ａ、Ｌｃ２ｂ、Ｌｃ１ｃがそれぞれ略平行に配置されているかを判定する。
【０１００】
そして、図１０の例では、３つの区画線候補Ｌｃ２ａ、Ｌｃ２ｂ、Ｌｃ１ｃがそれぞれ略平行に配置されていることから、除外判定部２４は、３つの区画線候補Ｌｃ２ａ、Ｌｃ２ｂ、Ｌｃ１ｃのエッジ強度を比較する（ステップＳ２１）。
【０１０１】
ここで、区画線候補Ｌｃ１ｃに対して区画線候補Ｌｃ２ａ、Ｌｃ２ｂはエッジ強度が弱く、エッジ強度の差が所定の値より大きいことから、除外判定部２４は、エッジ強度が弱い区画線候補Ｌｃ２ａ、Ｌｃ２ｂを消し忘れられた不要な区画線と判断し、区画線Ｌの候補から除外する（ステップＳ２２）。
【０１０２】
すなわち、注目区画線候補である区画線候補Ｌｃ１ｃは強いエッジ強度であり、隣接区画線候補である区画線候補Ｌｃ２ａ、Ｌｃ２ｂはいずれも弱いエッジ強度である。そのため、除外判定部２４は、判定テーブル３２に基づいて、隣接区画線候補である区画線候補Ｌｃ２ａ、Ｌｃ２ｂを区画線Ｌの候補から除外する。
【０１０３】
これにより、除外判定部２４は、消し忘れられた不要な区画線Ｌに基づいた区画線候補Ｌｃ２ａ、Ｌｃ２ｂを区画線Ｌの候補から除外することができる。したがって、実施形態によれば、区画線Ｌの検出精度を向上させることができる。
【０１０４】
また、実施形態では、複数の区画線候補Ｌｃにおけるエッジ強度の差が所定の値より小さい場合には、かかる複数の区画線候補Ｌｃをすべて維持し、複数の区画線候補Ｌｃにおけるエッジ強度の差が所定の値より大きい場合にのみ複数の区画線候補Ｌｃの除外判定を行う。これにより、経年劣化などでエッジ強度が弱くなった実際の区画線Ｌに基づいた区画線候補Ｌｃを、誤って区画線Ｌの候補から除外することを抑制することができる。
【０１０５】
なお、実施形態では、新しく所定の範囲Ｒ１内に入った区画線候補Ｌｃを注目区画線候補とみなし、別の区画線候補Ｌｃを隣接区画線候補とみなした例について示したが、実施形態はかかる例に限られない。例えば、もっとも先に検出された区画線候補Ｌｃを注目区画線候補とみなし、別の区画線候補Ｌｃを隣接区画線候補とみなしてもよい。
【０１０６】
また、実施形態では、それぞれ略平行に配置されている複数の区画線候補Ｌｃのみを除外処理の判定対象とした例について示したが、それぞれ略平行に配置されていない複数の区画線候補Ｌｃを除外処理の判定対象としてもよい。
【０１０７】
また、実施形態では、判定テーブル３２に基づいて、区画線候補Ｌｃを区画線Ｌの候補から除外するか否かについて判定した例について示したが、実施形態はかかる例に限られない。
【０１０８】
例えば、除外判定部２４は、１つの駐車場内で検出された複数の区画線候補Ｌｃのエッジ強度を弱い順に並べて、順番が真ん中（例えば、区画線候補Ｌｃが１００個検出された場合、エッジ強度が弱い方から５０番目）の区画線候補Ｌｃのエッジ強度を判定のしきい値に設定する。
【０１０９】
そして、除外判定部２４は、かかる判定のしきい値より弱いエッジ強度の区画線候補Ｌｃを区画線Ｌの候補から除外し、かかる判定のしきい値以上のエッジ強度である区画線候補Ｌｃを区画線Ｌの候補として維持してもよい。
【０１１０】
このように、順番が真ん中の区画線候補Ｌｃのエッジ強度を判定のしきい値に設定することにより、弱いエッジ強度と強いエッジ強度との中間のエッジ強度を有する消し忘れられた区画線候補Ｌｃが検出された場合にも、かかる中間のエッジ強度の区画線候補Ｌｃを区画線Ｌの候補から除外することができる。
【０１１１】
＜画像処理の手順＞
続いては、実施形態に係る画像処理の手順について、図１１を参照しながら説明する。図１１は、実施形態に係る画像処理方法の手順を示すフローチャートである。
【０１１２】
最初に、区画線検出部２３は、撮像データから区画線候補Ｌｃを検出する（ステップＳ１０１）。次に、除外判定部２４は、画像データにおける所定の範囲Ｒ１内に複数の区画線候補Ｌｃが検出されるか否かを判定する（ステップＳ１０２）。
【０１１３】
そして、所定の範囲Ｒ１内に複数の区画線候補Ｌｃが検出される場合（ステップＳ１０２，Ｙｅｓ）、除外判定部２４は、かかる複数の区画線候補Ｌｃが略平行に配置されるか否かを判定する（ステップＳ１０３）。
【０１１４】
そして、かかる複数の区画線候補Ｌｃが略平行に配置される場合（ステップＳ１０３，Ｙｅｓ）、除外判定部２４は、かかる複数の区画線候補Ｌｃのエッジ強度を比較する（ステップＳ１０４）。
【０１１５】
一方で、所定の範囲Ｒ１内に複数の区画線候補Ｌｃが検出されない場合（ステップＳ１０２，Ｎｏ）、処理を終了する。また、所定の範囲Ｒ１内の複数の区画線候補Ｌｃが略平行に配置されない場合（ステップＳ１０３，Ｎｏ）、処理を終了する。
【０１１６】
次に、除外判定部２４は、ステップＳ１０４の処理によって検出された複数の区画線候補Ｌｃのエッジ強度の差が所定の値以上であるか否かを判定する（ステップＳ１０５）。
【０１１７】
そして、複数の区画線候補Ｌｃのエッジ強度の差が所定の値以上である場合（ステップＳ１０５，Ｙｅｓ）、除外判定部２４は、注目区画線候補のエッジ強度が隣接区画線候補のエッジ強度より強いか否かを判定する（ステップＳ１０６）。
【０１１８】
そして、注目区画線候補のエッジ強度が隣接区画線候補のエッジ強度より強い場合（ステップＳ１０６，Ｙｅｓ）、弱いエッジ強度である隣接区画線候補を区画線Ｌの候補から除外して（ステップＳ１０７）、処理を終了する。
【０１１９】
一方で、注目区画線候補のエッジ強度が隣接区画線候補のエッジ強度より弱い場合（ステップＳ１０６，Ｎｏ）、弱いエッジ強度である注目区画線候補を区画線Ｌの候補から除外して（ステップＳ１０８）、処理を終了する。
【０１２０】
なお、ステップＳ１０５において、複数の区画線候補Ｌｃのエッジ強度の差が所定の値以上ではない場合（ステップＳ１０５，Ｎｏ）、処理を終了する。
【０１２１】
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて種々の変更が可能である。例えば、上記実施形態では、区画線Ｌが一本線や略Ｕ字線の場合について示したが、区画線Ｌの形状はかかる例に限られない。
【０１２２】
実施形態に係る画像処理装置１は、区画線検出部２３と、除外判定部２４とを備える。区画線検出部２３は、車両Ｃの周囲が撮像された画像データに基づいて、駐車枠ＰＳを区画する区画線Ｌの候補となる区画線候補Ｌｃを検出する。除外判定部２４は、区画線検出部２３によって検出された区画線候補Ｌｃを区画線Ｌの候補から除外するか否かを判定する。また、除外判定部２４は、画像データの所定の範囲Ｒ１内に複数の区画線候補Ｌｃが検出される場合に、複数の区画線候補Ｌｃのエッジ強度を比較することにより、区画線候補Ｌｃを区画線Ｌの候補から除外するか否かを判定する。これにより、区画線Ｌの検出精度を向上させることができる。
【０１２３】
また、実施形態に係る画像処理装置１において、除外判定部２４は、複数の区画線候補Ｌｃのエッジ強度の差が所定の値以上である場合に、エッジ強度が弱い区画線候補Ｌｃ２を区画線Ｌの候補から除外する。これにより、消し忘れられた不要な区画線Ｌに基づいた区画線候補Ｌｃ２を区画線候補Ｌｃから除外することができる。
【０１２４】
また、実施形態に係る画像処理装置１において、除外判定部２４は、複数の区画線候補Ｌｃの相対位置関係に基づいて、区画線候補Ｌｃを区画線Ｌの候補から除外するか否かを判定する。これにより、それぞれ略平行に配置されている複数の区画線候補Ｌｃのみを除外処理の判定対象とすることができる。
【０１２５】
また、実施形態に係る画像処理装置１において、除外判定部２４は、複数の区画線候補Ｌｃがそれぞれ略平行に配置されている場合に、区画線候補Ｌｃを区画線Ｌの候補から除外するか否かを判定する。これにより、除外判定部２４の処理負荷を抑制することができる。
【０１２６】
また、実施形態に係る画像処理方法は、区画線検出工程（ステップＳ１０１）と、除外判定工程（ステップＳ１０２〜Ｓ１０８）とを含む。区画線検出工程（ステップＳ１０１）は、車両Ｃの周囲が撮像された画像データに基づいて駐車枠ＰＳを区画する区画線Ｌの候補となる区画線候補Ｌｃを検出する。除外判定工程（ステップＳ１０２〜Ｓ１０８）は、区画線検出工程（ステップＳ１０１）によって検出された区画線候補Ｌｃを区画線Ｌの候補から除外するか否かを判定する。また、除外判定工程（ステップＳ１０２〜Ｓ１０８）は、画像データの所定の範囲Ｒ１内に複数の区画線候補Ｌｃが検出される場合に、複数の区画線候補Ｌｃのエッジ強度を比較すること（ステップＳ１０４）により、区画線候補Ｌｃを区画線Ｌの候補から除外するか否かを判定する。これにより、区画線Ｌの検出精度を向上させることができる。
【０１２７】
さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細及び代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲及びその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。
【符号の説明】
【０１２８】
１      画像処理装置
２      制御部
３      記憶部
２１    線分抽出部
２２    不適領域判定部
２３    区画線検出部
２４    除外判定部
２５    駐車枠検出部
２６    駐車枠管理部
２７    停車位置決定部
３１    区画線情報
３２    判定テーブル
１００  駐車支援システム
ＰＳ    駐車枠
Ｌ      区画線
Ｌｃ、Ｌｃ１、Ｌｃ１ａ〜Ｌｃ１ｄ、Ｌｃ２、Ｌｃ２ａ、Ｌｃ２ｂ  区画線候補
【図１Ａ】
2020095626.tif 000003
【図１Ｂ】
2020095626.tif 000004
【図２】
2020095626.tif 000005
【図３】
2020095626.tif 000006
【図４】
2020095626.tif 000007
【図５】
2020095626.tif 000008
【図６】
2020095626.tif 000009
【図７】
2020095626.tif 000010
【図８】
2020095626.tif 000011
【図９】
2020095626.tif 000012
【図１０】
2020095626.tif 000013
【図１１】
2020095626.tif 000014