(57)【要約】【課題】駐車枠の検出時間を短くする画像処理装置および画像処理方法を提供すること。【解決手段】実施形態に係る画像処理装置は、抽出部と、付与部と、登録部と、検出部とを備える。抽出部は、車両の周囲を撮影する撮像装置によって得られた画像データに基づいてエッジ線を抽出する。付与部は、エッジ線に優先度を付与する。登録部は、エッジ線の登録数を上限登録数以下に制限して優先度が高い順に登録する。検出部は、登録されたエッジ線に基づいて駐車枠を検出する。【選択図】図１Ｂ
2020095624.tif 000002
【特許請求の範囲】
【請求項１】
車両の周囲を撮影する撮像装置によって得られた画像データに基づいてエッジ線を抽出する抽出部と、
前記エッジ線に優先度を付与する付与部と、
前記エッジ線の登録数を上限登録数以下に制限して前記優先度が高い順に登録する登録部と、
登録された前記エッジ線に基づいて駐車枠を検出する検出部と
を備えることを特徴とする画像処理装置。
【請求項２】
前記付与部は、
前記エッジ線が有する指標のうち、前記エッジ線の長さに対する重みを他の指標に対する重みよりも大きくして前記エッジ線に前記優先度を付与する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記付与部は、
前記エッジ線が有する指標に基づいて前記エッジ線にランクを付与し、
前記登録部は、
前記ランクに基づいて前記エッジ線を登録する
ことを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記付与部は、
前記エッジ線が有する指標に基づいて、前記指標に対するポイントを付与し、かつ前記指標に対する前記ポイントの合計値であるスコアを前記エッジ線に付与し、
前記登録部は、
前記スコアに基づいて前記エッジ線を登録する
ことを特徴とする請求項１または２に記載の画像処理装置。
【請求項５】
前記付与部は、
前記抽出部によって前記エッジ線が抽出された際に、抽出された前記エッジ線に前記優先度を付与する
ことを特徴とする請求項１〜４のいずれか一つに記載の画像処理装置。
【請求項６】
前記付与部は、
前記画像データに対する前記エッジ線の抽出が完了した後に、前記エッジ線毎に前記優先度を付与する
ことを特徴とする請求項１〜４のいずれか一つに記載の画像処理装置。
【請求項７】
車両の周囲を撮影する撮像装置によって得られた画像データに基づいてエッジ線を抽出する抽出工程と、
前記エッジ線に優先度を付与する付与工程と、
前記エッジ線の登録数を登録上限数以下に制限して前記優先度が高い順に登録する登録工程と、
登録された前記エッジ線に基づいて駐車枠を検出する検出工程と
を含むことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、および画像処理方法に関する。
【背景技術】
【０００２】
従来、車両の周囲を撮影した画像データに基づいてエッジ線を抽出し、駐車枠を検出する画像処理装置が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−１０４９８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来技術では、多くのエッジ線が抽出された場合には、駐車枠を検出するための処理時間が長くなり、駐車枠の検出時間が長くなるおそれがある。
【０００５】
本発明は、上記に鑑みてなされたものであって、駐車枠の検出時間を短くする画像処理装置、および画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
実施形態の一態様に係る画像処理装置は、抽出部と、付与部と、登録部と、検出部とを備える。抽出部は、車両の周囲を撮影する撮像装置によって得られた画像データに基づいてエッジ線を抽出する。付与部は、エッジ線に優先度を付与する。登録部は、エッジ線の登録数を上限登録数以下に制限して優先度が高い順に登録する。検出部は、登録されたエッジ線に基づいて駐車枠を検出する。
【発明の効果】
【０００７】
実施形態の一態様によれば、駐車枠の検出時間を短くすることができる。
【図面の簡単な説明】
【０００８】
【図１Ａ】図１Ａは、画像処理装置の搭載例を示す図である。
【図１Ｂ】図１Ｂは、画像処理方法の概要を示す図である。
【図２】図２は、画像処理装置のブロック図である。
【図３】図３は、線分抽出部のブロック図である。
【図４】図４は、各ランクの条件を示す図である。
【図５】図５は、第１実施形態に係る優先度付与処理を示すフローチャートである。
【図６】図６は、第１実施形態に係るエッジ線本登録処理を示すフローチャートである。
【図７】図７は、第２実施形態に係る優先度付与処理を示すフローチャートである。
【図８】図８は、第２実施形態に係るエッジ線本登録処理を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下、添付図面を参照して、実施形態に係る画像処理装置、および画像処理方法について詳細に説明する。なお、本実施形態によりこの発明が限定されるものではない。
【００１０】
（第１実施形態）
まず、図１Ａおよび図１Ｂを用いて第１実施形態に係る画像処理装置１の概要について説明する。図１Ａは、画像処理装置１の搭載例を示す図である。また、図１Ｂは、画像処理方法の概要を示す図である。なお、画像処理方法は、図１Ａ、および図１Ｂに示す画像処理装置１によって実行される。
【００１１】
図１Ａに示すように、実施形態に係る画像処理装置１は、車両Ｃに搭載され、車載カメラ１０によって撮像されて得られた撮像データから駐車枠ＰＳを検出する。駐車枠ＰＳは、路面上に表示された白線などの区画線ＬＣに挟まれた領域であり、車両Ｃが駐車されるスペースである。
【００１２】
車載カメラ１０は、例えば、ＣＣＤ（Charge  Coupled  Device）やＣＭＯＳ(Complementary  Metal  Oxide  Semiconductor)などの撮像素子を備え、車両Ｃの周囲を撮像する。また、車載カメラ１０のレンズには、例えば、魚眼レンズなどの広角レンズが採用され、図１Ａに示すような撮像領域Ｒを有する。
【００１３】
なお、図１Ａに示す例では、車載カメラ１０が、車両Ｃの左側方を撮像する左サイドカメラである場合について示したが、車載カメラ１０には、車両Ｃの前方を撮像する前方カメラ、車両Ｃの後方を撮像するバックカメラ、車両Ｃの右側方を撮像する右サイドカメラが含まれる。
【００１４】
ところで、画像処理装置１は、駐車枠ＰＳを検出するにあたり、車載カメラ１０によって撮影されて取得された画像データに基づいて、路面上に表示された白線などの区画線ＬＣを検出する。そして、画像処理装置１は、検出した区画線ＬＣの情報に基づいて駐車枠ＰＳを検出する。
【００１５】
具体的には、画像処理装置１は、まず、画像データにおける各画素の輝度に基づいたエッジ点を繋いだエッジ線を抽出する。画像処理装置１は、エッジ線のうち、互いに略平行であり、その間隔が区画線ＬＣの幅に応じた所定範囲に収まるエッジ線のペアをペアエッジ線（以下、区画線候補Ｌｐと称する。）として検出する。すなわち、区画線候補Ｌｐは、白線などの区画線ＬＣの幅方向の左右両端に対応するエッジ線のペアである。
【００１６】
次に、画像処理装置１は、所定間隔をあけて平行配置される２つの区画線候補Ｌｐをそれぞれ区画線ＬＣとして検出する。所定間隔は、駐車場に関する法令等で規定される一般公共用の標準的な駐車領域の幅である。
【００１７】
そして、画像処理装置１は、２つの区画線ＬＣに基づいて駐車枠ＰＳを検出する。画像処理装置１は、区画線ＬＣの内側のエッジ線で挟まれるスペースを、実際に車両Ｃを駐車可能な駐車枠ＰＳとして検出する。
【００１８】
しかしながら、石畳など模様が多い路面に区画線ＬＣが表示されている場合には、石畳のブロックの境界など多くのエッジ線が生じるため、区画線ＬＣと路面との境界に対応するエッジ線を検出する際の処理時間が長くなるおそれがある。すなわち、駐車枠ＰＳの検出時間が長くなるおそれがある。
【００１９】
そこで、実施形態に係る画像処理装置１は、区画線候補Ｌｐを抽出する際に用いるエッジ線の登録数を上限登録数以下に制限し、エッジ線の登録数を抑制することとした。これにより、実施形態に係る画像処理装置１は、駐車枠ＰＳの検出時間を短くすることができる。
【００２０】
具体的には、図１Ｂに示すように、画像処理装置１は、まず、車載カメラ１０によって路面を撮影した画像データＩ０を取得する（Ｓ１）。なお、ここでは、石畳が敷設された路面に区画線ＬＣが表示されているものとする。
【００２１】
次に、画像処理装置１は、画像データＩ０からエッジ線を抽出する（Ｓ２）。エッジ線は、隣接する画素における輝度差が予め設定された第１所定強度値よりも大きいエッジ点を繋ぐことで抽出される。
【００２２】
なお、石畳のブロックの色や、建物の影や、光の当たり具合などによって、石畳の外周に沿ったエッジ点が抽出されず、石畳のブロックの輪郭の一部は、エッジ線として抽出されないことがある。そのため、例えば、画像データＩ０に対応するエッジ線として、画像データＩ１に示すようにエッジ線が抽出される。
【００２３】
画像処理装置１は、抽出したエッジ線に優先度を付与する（Ｓ３）。具体的には、画像処理装置１は、抽出したエッジ線を、エッジ線が有する指標に基づいてランク付けし、優先度を付与する。エッジ線が有する指標は、エッジ線の長さ、エッジ線の強度、車載カメラ１０からの距離、エッジ線の方向などを含む。
【００２４】
エッジ線の長さは、エッジ線を構成する画素の数（ピクセル）である。エッジ強度は、隣接画素間における輝度値の変化量、すなわち、輝度値の勾配の大きさであり、変化量が大きいほど大きくなる。エッジ線のエッジ強度は、例えば、エッジ線を構成する画素におけるエッジ強度の平均値である。
【００２５】
白線などの区画線ＬＣは、長さが長く、路面との輝度差が大きい。そのため、ここでは、区画線ＬＣを検出するためのエッジ線が有する指標として、エッジ線の長さ、およびエッジ線のエッジ強度が用いられる。特に、長さが長いエッジ線は、区画線ＬＣに対応するエッジ線である可能性が高い。従って、エッジ線が有する指標のうち、エッジ線の長さに対する優先度を、他の指標、具体的には、エッジ線のエッジ強度の優先度よりも高くする。すなわち、画像処理装置１は、エッジ線の長さに対する重みを、他の指標に対する重みよりも大きくし、エッジ線に優先度を付与する。
【００２６】
画像処理装置１は、付与した優先度に基づいてエッジ線を登録する（Ｓ４）。画像処理装置１は、エッジ線の登録数を予め設定された上限登録数以下に制限してエッジ線を登録する。具体的には、画像処理装置１は、ランクが高い順にエッジ線を登録し、登録数が上限登録数になるとエッジ線の登録を終了する。
【００２７】
これにより、画像データＩ１に示すエッジ線に対し、画像データＩ２に示すエッジ線が登録される。画像データＩ１と画像データＩ２とを比較すると、画像データＩ２では、エッジ線の長さが短いエッジ線が、削除されていることがわかる。
【００２８】
このように、画像処理装置１は、抽出されたエッジ線に優先度を付与し、エッジ線の登録数を上限登録数以下に制限して優先度が高いエッジ線を登録する。これにより、画像処理装置１は、区画線ＬＣに対応しない可能性が高いエッジ線を削除した状態で、駐車枠ＰＳを検出する処理を実行することができる。従って、画像処理装置１は、駐車枠ＰＳの検出時間を短くすることができる。
【００２９】
次に、図２を用いて実施形態に係る画像処理装置１の構成例について説明する。図２は、画像処理装置１のブロック図である。なお、図２には、画像処理装置１を含む駐車支援システム１００を示す。図２に示すように、駐車支援システム１００は、画像処理装置１と、車載カメラ１０と、センサ群Ｓｃと、上位ＥＣＵ(Electronic  Control  Unit)５０とを備える。また、図２に示すように、画像処理装置１と、センサ群Ｓｃと、上位ＥＣＵ５０とは、それぞれＣＡＮ（Control  Area  Network）通信の通信規格の通信バスＢによって相互に通信することができる。
【００３０】
センサ群Ｓｃは、車両Ｃの走行状態を検出する各種センサであり、検出したセンサ値を画像処理装置１へ通知する。センサ群Ｓｃは、車両Ｃの車輪の回転数を検出する車速センサや、車両Ｃの舵角を検出する舵角センサ等を含む。
【００３１】
上位ＥＣＵ５０は、例えば、車両Ｃの自動駐車を支援するＥＣＵであり、例えば、画像処理装置１によって検出された駐車枠ＰＳに基づいて車両Ｃを駐車させる。例えば、上位ＥＣＵ５０は、車両Ｃの操舵角を制御するＥＰＳ（Electric  Power  Steering）-ＥＣＵであり、画像処理装置１によって検出された駐車枠ＰＳへの操舵角を制御することができる。なお、上位ＥＣＵ５０は、アクセル制御やブレーキ制御を行うＥＣＵを含むようにすることにしてもよい。
【００３２】
図２に示すように、画像処理装置１は、制御部２と、記憶部３とを備える。制御部２は、線分抽出部２１と、不適領域判定部２２と、区画線候補検出部２３と、除外判定部２４と、駐車枠検出部２５（検出部の一例）と、駐車枠管理部２６と、停車位置決定部２７とを備える。
【００３３】
制御部２は、例えば、ＣＰＵ（Central  Processing  Unit）、ＲＯＭ（Read  Only  Memory）、ＲＡＭ（Random  Access  Memory）、ＨＤＤ（Hard  Disk  Drive）、入出力ポートなどを有するコンピュータや各種の回路を含む。
【００３４】
コンピュータのＣＰＵは、例えば、ＲＯＭに記憶されたプログラムを読み出して実行することによって、制御部２の線分抽出部２１、不適領域判定部２２、区画線候補検出部２３、除外判定部２４、駐車枠検出部２５、駐車枠管理部２６および停車位置決定部２７として機能する。
【００３５】
また、制御部２の線分抽出部２１、不適領域判定部２２、区画線候補検出部２３、除外判定部２４、駐車枠検出部２５、駐車枠管理部２６および停車位置決定部２７の少なくともいずれか一部または全部をＡＳＩＣ（Application  Specific  Integrated  Circuit）やＦＰＧＡ（Field  Programmable  Gate  Array）等のハードウェアで構成することもできる。
【００３６】
また、記憶部３は、例えば、ＲＡＭやＨＤＤに対応する。ＲＡＭやＨＤＤは、各種情報や各種プログラムの情報を記憶することができる。なお、画像処理装置１は、有線や無線のネットワークで接続された他のコンピュータや可搬型記録媒体を介して上記したプログラムや各種情報を取得することとしてもよい。
【００３７】
制御部２は、例えば、車両Ｃが駐車場を走行していると想定される場合（例えば、車速３０Ｋｍ／ｈ以内）に、駐車枠ＰＳの検出処理を行うことにしてもよいし、あるいは、車両Ｃが走行している全ての期間でかかる検出処理を行うことにしてもよい。
【００３８】
線分抽出部２１は、車載カメラ１０から入力される画像データから各画素の輝度に基づくエッジ点を抽出し、エッジ点を繋いだエッジ線を抽出し、駐車枠ＰＳを検出するために使用するエッジ線を登録する。線分抽出部２１の詳細については、後述する。
【００３９】
線分抽出部２１は、エッジ点、およびエッジ線に関するエッジ情報を不適領域判定部２２へ通知する。
【００４０】
不適領域判定部２２は、エッジ点、およびエッジ線に基づき、駐車枠ＰＳを区画する区画線ＬＣの検出が困難となる不適領域の有無を判定する。例えば、不適領域判定部２２は、舗装された路面に比べて、エッジ点が多く抽出される舗装されていない路面領域(例えば、砂利)や、グレーチング領域を不適領域として判定することができる。
【００４１】
具体的には、不適領域判定部２２は、各エッジ点の密度が予め設定された所定密度以上であり、各エッジ点の輝度勾配が不均一である領域について、不適領域として判定することができる。不適領域判定部２２は、判定した不適領域に基づいて上記のエッジ情報から不適領域に関するエッジ情報を除去して後段の処理へ回す。
【００４２】
区画線候補検出部２３は、線分抽出部２１によって登録されたエッジ線に基づいて駐車枠ＰＳを区画する区画線ＬＣの候補となる区画線候補Ｌｐを検出する。区画線候補検出部２３は、検出した区画線候補Ｌｐに関する区画線情報を生成し、除外判定部２４へ通知する。
【００４３】
なお、区画線候補検出部２３は、不適領域判定部２２によって検出された不適領域を除いて、区画線候補Ｌｐの検出処理を行うことができる。言い換えれば、区画線候補検出部２３は、不適領域について区画線候補Ｌｐの検出処理を行わない。これにより、制御部２の処理負荷の抑えることが可能となる。
【００４４】
除外判定部２４は、区画線候補検出部２３によって検出された区画線候補Ｌｐに基づいて車両Ｃの駐車が認められていない駐車不可領域の有無を判定する。例えば、除外判定部２４は、駐車不可領域として、ゼブラゾーン(導流帯)などの駐車不可領域の有無を判定する。
【００４５】
具体的には、ゼブラゾーンが、互いに略平行な区画線候補を区画線ＬＣと仮定した場合に、仮定した区画線ＬＣに対して傾斜した区画線候補Ｌｐが所定の間隔をあけて３本以上存在する場合に、仮定した区画線ＬＣに挟まれた領域を駐車不可領域と判定する。
【００４６】
また、除外判定部２４は、路面標識等の駐車枠の検出に不要な区画線候補Ｌｐの有無を判定することも可能である。例えば、除外判定部２４は、区画線候補検出部２３によって検出された区画線候補Ｌｐと、各路面標識のテンプレートモデルとのマッチング処理を行うことで画像データに含まれる各路面標識を検出することができる。
【００４７】
除外判定部２４は、区画線情報から不要な区画線候補Ｌｐを除去するとともに、区画線情報に駐車不可領域に関する情報を付与して、駐車枠検出部２５へ通知する。
【００４８】
駐車枠検出部２５は、区画線候補検出部２３によって検出された区画線候補Ｌｐに基づき、区画線ＬＣを検出し、駐車枠ＰＳを検出する。
【００４９】
駐車枠検出部２５は、除外判定部２４によって駐車不可領域として判定された領域を避けて、駐車枠ＰＳを検出することができる。
【００５０】
すなわち、ゼブラゾーン等を避けて駐車枠ＰＳを検出することができる。駐車枠検出部２５は、駐車枠ＰＳを検出すると、駐車枠ＰＳに関する駐車枠情報を駐車枠管理部２６へ通知する。また、駐車枠情報には、車両Ｃを基準とする各区画線ＬＣの頂点座標が含まれる。
【００５１】
駐車枠管理部２６は、駐車枠検出部２５によって検出された駐車枠ＰＳを時系列で管理する。駐車枠管理部２６は、センサ群Ｓｃから入力されるセンサ値に基づいて車両Ｃの移動量を推定し、かかる移動量に基づいて過去の駐車枠情報に基づく実際の各区画線ＬＣの頂点座標を推定することができる。
【００５２】
また、駐車枠管理部２６は、新たに入力される駐車枠情報に基づいて、過去の駐車枠情報における区画線ＬＣの座標情報を更新することも可能である。すなわち、駐車枠管理部２６は、車両Ｃとの駐車枠ＰＳとの相対的な位置関係を車両Ｃの移動に伴って随時更新する。
【００５３】
また、駐車枠管理部２６は、複数の駐車枠ＰＳがそれぞれ連続して配置されると仮定して、駐車枠ＰＳの検出範囲を設定することも可能である。例えば、駐車枠管理部２６は、駐車枠検出部２５によって検出された１つの駐車枠ＰＳを基準とし、かかる駐車枠ＰＳと連続して複数の駐車枠ＰＳが存在すると仮定する。
【００５４】
そして、駐車枠管理部２６は、仮定した駐車枠ＰＳの位置を検出範囲として設定する。これにより、上記の線分抽出部２１は、駐車枠管理部２６によって設定された検出範囲においてのみ、エッジ線の検出処理を行えばよいので、制御部２の処理負荷を抑えることが可能となる。
【００５５】
停車位置決定部２７は、線分抽出部２１によって登録されたエッジ線に基づき、車両Ｃが駐車枠ＰＳへ駐車する際の停車位置を決定する。例えば、停車位置決定部２７は、線分抽出部２１によって登録されたエッジ線に基づき、輪留めや縁石、壁、車幅方向に延びる白線などを検出することで、車両Ｃの停車位置を決定する。
【００５６】
停車位置決定部２７は、輪留めを検出した場合、車両Ｃの後輪が輪留めの手前に来るように停車位置を決定し、輪留めに代えて、白線や壁等を検出した場合、白線の手前に車両Ｃの後端(例えば、リアバンパの先端)がくるように停車位置を決定する。
【００５７】
次に、線分抽出部２１について図３を参照し説明する。図３は、線分抽出部２１のブロック図である。
【００５８】
線分抽出部２１は、変換部４０と、抽出部４１と、付与部４２と、登録部４３とを備える。
【００５９】
変換部４０は、車載カメラ１０から入力された画像データに対し、グレースケール処理を行い、車載カメラ１０から入力された画像データをグレースケールの画像データへ変換する。グレースケール処理とは、画像データにおける各画素を輝度に応じて白から黒までの各階調（例えば２５６階調）で表現するように変換する処理である。
【００６０】
抽出部４１は、グレースケールの画像データに基づいてエッジ線を抽出する。具体的には、抽出部４１は、グレースケールの画像データに対して、例えば、ソベルフィルタを適用することで、各画素のエッジ強度および輝度勾配を算出する。抽出部４１は、エッジ強度が第１所定強度値よりも大きい画素を抽出することで、エッジ点を抽出する。そして、抽出部４１は、隣接するエッジ点を繋ぐことで、エッジ線を抽出する。
【００６１】
これにより、例えば、石畳の路面に区画線ＬＣが表示された駐車場であっても、色が薄い石畳のブロックなどでは、エッジ線が抽出されない。そのため、図１Ｂに示すように、車載カメラ１０によって撮影されて得られた画像データＩ０に対し、画像データＩ１のエッジ線が抽出される。
【００６２】
抽出部４１は、グレースケールの画像データに対し、車両Ｃに近い方から順にエッジ線の抽出を行う。
【００６３】
付与部４２は、抽出部４１によって抽出されたエッジ線に優先度を付与する。付与部４２は、抽出部４１によってエッジ線が抽出された際に、抽出されたエッジ線に優先度を付与する。付与部４２は、エッジ線が抽出される度に、抽出されたエッジ線に優先度を付与する。すなわち、線分抽出部２１は、抽出部４１によってエッジ線を抽出しながら、抽出したエッジ線に付与部４２によって優先度を付与し、エッジ線と優先度とを紐付ける。
【００６４】
付与部４２は、エッジ線に優先度としてランクを付与する。ランクは、エッジ線が有する指標に基づいて付与される。エッジ線が有する指標は、エッジ線の長さ、およびエッジ線のエッジ強度である。
【００６５】
具体的には、付与部４２は、エッジ線の長さ、およびエッジ線のエッジ強度に基づいて、エッジ線を４つのランクに分ける。４つのランクは、ランク３〜ランク０である。なお、ランクの数は、これに限られることはない。
【００６６】
ここで、各ランクの条件を図４に示す。図４は、各ランクの条件を示す図である。
【００６７】
ランク３のエッジ線は、第１条件を満たすエッジ線である。具体的には、ランク３のエッジ線は、エッジ線の長さが第１所定長さ以上となるエッジ線である。第１所定長さは、予め設定された長さであり、例えば、２０ピクセルである。なお、ランク３では、エッジ線のエッジ強度は考慮されない。すなわち、ランク３は、エッジ線の長さのみを指標とするランクである。
【００６８】
ランク２のエッジ線は、第２条件を満たすエッジ線である。具体的には、ランク２のエッジ線は、エッジ線の長さが第１所定長さ未満、かつ第２所定長さ以上となるエッジ線、またはエッジ線のエッジ強度が第２所定強度以上となるエッジ線である。第２所定長さは、予め設定された長さであり、第１所定長さよりも短い長さである。第２所定長さは、例えば、１５ピクセルである。また、第２所定強度は、予め設定されたエッジ強度であり、第１所定強度よりも大きい。
【００６９】
ランク１のエッジ線は、第３条件を満たすエッジ線である。具体的には、ランク１のエッジ線は、エッジ線の長さが第２所定長さ未満、かつ第３所定長さ以上であり、さらにエッジ線のエッジ強度が第２所定強度未満となるエッジ線である。第３所定長さは、予め設定された長さであり、第２所定長さよりも短い長さである。第３所定長さは、例えば、１０ピクセルである。
【００７０】
ランク０のエッジ線は、エッジ線の長さが第３所定長さ未満、かつエッジ線のエッジ強度が第２所定強度未満となるエッジ線である。
【００７１】
ランク３〜ランク０は、ランク０からランク３となるにつれて優先度が高くなる。上記したランクでは、エッジ線の長さが、第１所定長さ以上となるエッジ線は、エッジ線のエッジ強度にかかわらず、優先度が最も高いランク３となる。すなわち、付与部４２は、エッジ線が有する指標のうち、エッジ線の長さに対する重みを、他の指標、具体的にはエッジ線のエッジ強度に対する指標の重みよりも大きくし、優先度を付与する。
【００７２】
なお、ここでは、ランク数が大きくなるほど、優先度を高くしたが、ランク数が小さくなるほど、優先度を高くしてもよい。例えば、エッジ線の長さが第１所定長さ以上となるエッジ線をランク０とし、エッジ線の長さが第３所定長さ未満、かつエッジ線のエッジ強度が第２所定強度未満となるエッジ線をランク３としてもよい。
【００７３】
また、上記エッジ線の長さの条件である第１所定長さ〜第３所定長さは、車載カメラ１０の解像度に応じて適宜設定することができる。具体的には、車載カメラ１０の解像度が大きいほど、第１所定長さ〜第３所定長さが大きくなる。
【００７４】
付与部４２は、抽出されたエッジ線に対し、第１条件〜第３条件を満たすか否かを判定し、条件を満たすランクを優先度として付与する。なお、付与部４２は、複数のランクの条件を満たすエッジ線については、上位のランクを付与する。
【００７５】
登録部４３は、優先度が付与されたエッジ線を仮登録する。具体的には、登録部４３は、優先度が紐付けされたエッジ線に関する情報を記憶部３に記憶させる。
【００７６】
また、登録部４３は、各エッジ線の優先度に基づいてエッジ線の登録数を上限登録数以下に制限し、エッジ線を本登録する。具体的には、登録部４３は、仮登録されたエッジ線の優先度に基づき、優先度が高い順にエッジ線に関する情報を記憶部３に記憶させる。なお、登録部４３は、本登録するエッジ線については、優先度の紐付けを解除し、エッジ線の情報のみを記憶させてもよい。
【００７７】
登録部４３は、優先度が高い順にエッジ線を本登録し、エッジ線の登録数が上限登録数になると、エッジ線の登録を終了する。
【００７８】
具体的には、登録部４３は、まず、ランク３のエッジ線を本登録する。登録部４３は、ランク３のエッジ線の登録数が、上限登録数になると、エッジ線の本登録を終了する。なお、登録部４３は、同一のランク３のエッジ線が複数ある場合には、同一のランクのエッジ線のうち、車載カメラ１０に近いエッジ線から順に本登録を行う。
【００７９】
登録部４３は、ランク３のエッジ線を全て本登録し、登録数が上限登録数未満である場合には、ランク２のエッジ線を本登録する。登録部４３は、ランク３、およびランク２のエッジ線の登録数が、上限登録数になると、エッジ線の本登録を終了する。
【００８０】
登録部４３は、ランク２のエッジ線を全て本登録し、登録数が上限登録数未満である場合には、ランク１のエッジ数を本登録する。登録部４３は、ランク３、ランク２、およびランク１のエッジ線の登録数が、上限登録数になると、エッジ線の本登録を終了する。
【００８１】
さらに、登録部４３は、ランク１のエッジ線を全て本登録し、登録数が上限登録数未満である場合には、ランク０のエッジ線を本登録する。登録部４３は、ランク３、ランク２、ランク１、およびランク０のエッジ線の登録数が、上限登録数になると、エッジ線の本登録を終了する。なお、登録部４３は、ランク０のエッジ線を全て本登録した場合、すなわち、抽出されたエッジ線が全て本登録された場合には、エッジ線の本登録を終了する。
【００８２】
これにより、登録部４３は、例えば、石畳の路面に設けられた駐車場など、検出されるエッジ線が多い場合に、区画線ＬＣに対応する可能性が低いエッジ線を除外し、本登録するエッジ線を制限することができる。なお、記憶部３に仮登録されたエッジ線の情報は、本登録時や、本登録後に消去される。
【００８３】
このようにして、記憶部３に本登録されたエッジ線の情報に基づいて、不適領域判定部２２などで処理が行われる。
【００８４】
次に、第１実施形態に係る優先度付与処理について図５を参照し説明する。図５は、第１実施形態に係る優先度付与処理を示すフローチャートである。
【００８５】
画像処理装置１は、グレースケールの画像データに対し、エッジ線の抽出を行う（Ｓ１００）。
【００８６】
画像処理装置１は、抽出したエッジ線が第１条件を満たすか否かを判定する（Ｓ１０１）。画像処理装置１は、抽出したエッジ線が第１条件を満たす場合には（Ｓ１０１：Ｙｅｓ）、抽出したエッジ線にランク３の優先度を付与し（Ｓ１０２）、仮登録する（Ｓ１０３）。
【００８７】
画像処理装置１は、抽出したエッジ線が第１条件を満たさない場合には（Ｓ１０１：Ｎｏ）、抽出したエッジ線が第２条件を満たすか否かを判定する（Ｓ１０４）。画像処理装置１は、抽出したエッジ線が第２条件を満たす場合には（Ｓ１０４：Ｙｅｓ）、抽出したエッジ線にランク２の優先度を付与し（Ｓ１０５）、仮登録する（Ｓ１０３）。
【００８８】
画像処理装置１は、抽出したエッジ線が第２条件を満たさない場合には（Ｓ１０４：Ｎｏ）、抽出したエッジ線が第３条件を満たすか否かを判定する（Ｓ１０６）。画像処理装置１は、抽出したエッジ線が第３条件を満たす場合には（Ｓ１０６：Ｙｅｓ）、抽出したエッジ線にランク１の優先度を付与し（Ｓ１０７）、仮登録する（Ｓ１０３）。
【００８９】
画像処理装置１は、抽出したエッジ線が第３条件を満たさない場合には（Ｓ１０６：Ｎｏ）、抽出したエッジ線にランク０の優先度を付与し（Ｓ１０８）、仮登録する（Ｓ１０３）。
【００９０】
画像処理装置１は、グレースケールの画像データに対し、エッジ線の抽出が完了した場合には（Ｓ１０９：Ｙｅｓ）、今回の優先度付与処理を終了する。画像処理装置１は、グレースケールの画像データに対し、エッジ線の抽出が完了していない場合には（Ｓ１０９：Ｎｏ）、ランクを付与していないエッジ線の抽出を行う（Ｓ１００）。
【００９１】
次に、第１実施形態に係るエッジ線本登録処理について図６を参照し説明する。図６は、第１実施形態に係るエッジ線本登録処理を示すフローチャートである。エッジ線本登録処理は、優先度付与処理が終了した後に行われる。
【００９２】
なお、エッジ線本登録処理は、優先度付与処理と同時に行われてもよい。例えば、グレースケールの画像データに対し、全てのエッジ線に優先度の付与が完了する前に、エッジ線本登録処理が開始されてもよい。
【００９３】
画像処理装置１は、ランク３のエッジ線、すなわち優先度が最も高いエッジ線を本登録する（Ｓ２００）。
【００９４】
画像処理装置１は、エッジ線の登録数が上限登録数よりも少ないか否かを判定する（Ｓ２０１）。画像処理装置１は、エッジ線の登録数が上限登録数よりも少ない場合には（Ｓ２０１：Ｙｅｓ）、ランク３のエッジ線の本登録が完了したか否かを判定する（Ｓ２０２）。
【００９５】
画像処理装置１は、ランク３のエッジ線の本登録が完了していない場合には（Ｓ２０２：Ｎｏ）、ランク３のエッジ線の本登録を継続する（Ｓ２００）。画像処理装置１は、ランク３のエッジ線の本登録が完了した場合には（Ｓ２０２：Ｙｅｓ）、ランク２のエッジ線を本登録する（Ｓ２０３）。
【００９６】
画像処理装置１は、エッジ線の登録数が上限登録数よりも少ないか否かを判定する（Ｓ２０４）。画像処理装置１は、エッジ線の登録数が上限登録数よりも少ない場合には（Ｓ２０４：Ｙｅｓ）、ランク２のエッジ線の本登録が完了したか否かを判定する（Ｓ２０５）。
【００９７】
画像処理装置１は、ランク２のエッジ線の本登録が完了していない場合には（Ｓ２０５：Ｎｏ）、ランク２のエッジ線の本登録を継続する（Ｓ２０３）。画像処理装置１は、ランク２のエッジ線の本登録が完了した場合には（Ｓ２０５：Ｙｅｓ）、ランク１のエッジ線を本登録する（Ｓ２０６）。
【００９８】
画像処理装置１は、エッジ線の登録数が上限登録数よりも少ないか否かを判定する（Ｓ２０７）。画像処理装置１は、エッジ線の登録数が上限登録数よりも少ない場合には（Ｓ２０７：Ｙｅｓ）、ランク１のエッジ線の本登録が完了したか否かを判定する（Ｓ２０８）。
【００９９】
画像処理装置１は、ランク１のエッジ線の本登録が完了していない場合には（Ｓ２０８：Ｎｏ）、ランク１のエッジ線の本登録を継続する（Ｓ２０９）。画像処理装置１は、ランク１のエッジ線の本登録が完了した場合には（Ｓ２０８：Ｙｅｓ）、ランク０のエッジ線を本登録する（Ｓ２０９）。
【０１００】
画像処理装置１は、エッジ線の登録数が上限登録数よりも少ないか否かを判定する（Ｓ２１０）。画像処理装置１は、エッジ線の登録数が上限登録数よりも少ない場合には（Ｓ２１０：Ｙｅｓ）、ランク０のエッジ線の本登録が完了したか否かを判定する（Ｓ２１１）。
【０１０１】
画像処理装置１は、ランク０のエッジ線の本登録が完了していない場合には（Ｓ２１１：Ｎｏ）、ランク０のエッジ線の本登録を継続する（Ｓ２０９）。
【０１０２】
画像処理装置１は、エッジ線の登録数が上限登録数となった場合には（Ｓ２０１、Ｓ２０４、Ｓ２０７、Ｓ２１０：Ｎｏ）、今回のエッジ線本登録処理を終了する。また、画像処理装置１は、ランク０のエッジ線の本登録が終了した場合（Ｓ２１１：Ｙｅｓ）、すなわち、仮登録されたエッジ線を全て本登録した場合には、今回のエッジ線本登録処理を終了する。
【０１０３】
画像処理装置１は、抽出されたエッジ線に優先度を付与し、優先度が高い順にエッジ線を本登録する。また、画像処理装置１は、エッジ線の登録数を上限登録数に制限して本登録を行う。
【０１０４】
これにより、画像処理装置１は、石畳など模様が多い路面に区画線ＬＣが表示された駐車場において、エッジ線を抽出し、エッジ線を本登録する場合に、石畳のブロックの境界に対応するエッジ線が本登録されることを抑制することができる。すなわち、画像処理装置１は、区画線ＬＣに対応する可能性が低いエッジ線が本登録されることを抑制することができる。そのため、画像処理装置１は、区画線ＬＣを抽出する際の処理負荷を小さくし、処理時間を短くすることができる。従って、画像処理装置１は、駐車枠ＰＳの検出時間を短くすることができる。
【０１０５】
画像処理装置１は、エッジ線が有する指標のうち、エッジ線の長さに対する重みを、他の指標、具体的には、エッジ線のエッジ強度に対する重みよりも大きくして、エッジ線に優先度を付与する。
【０１０６】
これにより、画像処理装置１は、長さが長く、区画線ＬＣに対応する可能性が高いエッジ線を優先して本登録することができ、区画線ＬＣの検出精度を向上させることができる。
【０１０７】
画像処理装置１は、エッジ線が有する指標に基づいてエッジ線にランクを付与し、ランクが高い順にエッジ線を本登録する。
【０１０８】
これにより、画像処理装置１は、エッジ線に優先度を付与する際の処理負荷や、本登録する際の処理負荷を小さくすることができる。そのため、画像処理装置１は、駐車枠ＰＳの検出時間を短くすることができる。
【０１０９】
画像処理装置１は、エッジ線を抽出した際に、抽出したエッジ線に優先度を付与する。
【０１１０】
これにより、画像処理装置１は、仮登録する際に優先度を紐付けしたエッジ線の情報を記憶させることができる。そのため、画像処理装置１は、エッジ線の情報を読み出す回数を少なくし、処理時間を短くすることができ、駐車枠ＰＳの検出時間を短くすることができる。
【０１１１】
（第２実施形態）
次に第２実施形態に係る画像処理装置１について説明する。ここでは第１実施形態に係る画像処理装置１とは異なる箇所を中心に説明し、第１実施形態に係る画像処理装置１と同じ構成や、処理についての説明は省略する。
【０１１２】
第２実施形態に係る画像処理装置１は、エッジ線に対する優先度の付与方法が異なる。第２実施形態に係る画像処理装置１の付与部４２は、優先度としてエッジ線にスコアを付与する。スコアは、エッジ線が有する指標に基づいて付与される。
【０１１３】
具体的には、付与部４２は、エッジ線の長さ、およびエッジ線のエッジ強度に対し、それぞれポイントを付与し、ポイントの合計値をエッジ線のスコアとして付与する。
【０１１４】
付与部４２は、エッジ線の長さに対し、第１所定範囲内のポイントを付与する。第１所定範囲は、予め設定された範囲であり、例えば、０〜１０である。付与部４２は、エッジ線の長さに基づいてポイントを付与し、エッジ線の長さが長くなるほど、大きい値のポイントを付与する。
【０１１５】
また、付与部４２は、エッジ線のエッジ強度に対し、第２所定範囲内のポイントを付与する。第２所定範囲は、予め設定された範囲であり、第１所定範囲よりも小さい範囲であり、第１所定範囲よりも最大値が小さい範囲である。第２所定範囲は、例えば、０〜５である。付与部４２は、エッジ線のエッジ強度に基づいてポイントを付与し、エッジ線のエッジ強度が大きくなるほど、大きい値のポイントを付与する。
【０１１６】
なお、第１所定範囲、および第２所定範囲は、上記した範囲に限られないが、エッジ線が有する指標のうち、エッジ線の長さに対する重みが、他の指標、具体的にはエッジ線のエッジ強度に対する指標の重みよりも大きくなるように、設定される。また、付与部４２は、エッジ線の長さに基づいたポイント、およびエッジ線のエッジ強度に基づいたポイントに異なる係数を乗算することで、各指標に対する重みを調整してもよい。この場合、エッジ線の長さに基づいたポイントに乗算する係数は、エッジ線のエッジ強度に基づいたポイントに乗算する係数よりも大きい。
【０１１７】
付与部４２は、エッジ線が有する各指標に対してポイントを付与し、ポイントの合計値を、スコアとして各エッジ線に付与する。
【０１１８】
なお、ここでは、スコアが大きくなるほど、優先度を高くしたが、スコアが小さくなるほど、優先度を高くしてもよい。例えば、エッジ線の長さが長くなるほど、エッジ線の長さに対するポイントを小さくし、エッジ線のエッジ強度が大きくなるほど、エッジ線のエッジ強度に対するポイントを小さくしてもよい。
【０１１９】
登録部４３は、仮登録されたエッジ線の優先度に基づいて優先度が高い順にエッジ線を本登録する。具体的には、登録部４３は、エッジ線のスコアが高い順に本登録を行い、エッジ線の登録数が上限登録数になると、エッジ線の本登録を終了する。なお、登録部４３は、同じスコアのエッジ線が複数ある場合には、同じスコアのエッジ線のうち、車載カメラ１０に近いエッジ線から順に本登録を行う。
【０１２０】
次に、第２実施形態に係る優先度付与処理について図７を参照し説明する。図７は、第２実施形態に係る優先度付与処理を示すフローチャートである。
【０１２１】
画像処理装置１は、グレースケールの画像データに対し、エッジ線の抽出を行う（Ｓ３００）。
【０１２２】
画像処理装置１は、抽出したエッジ線に対し、エッジ線が有する指標に基づいてポイントを付与し、各ポイントの合計値であるスコアを優先度として付与し（Ｓ３０１）、仮登録する（Ｓ３０２）。
【０１２３】
画像処理装置１は、グレースケールの画像データに対し、エッジ線の抽出が完了した場合には（Ｓ３０３：Ｙｅｓ）、今回の優先度付与処理を終了する。画像処理装置１は、グレースケールの画像データに対し、エッジ線の抽出が完了していない場合には（Ｓ３０３：Ｎｏ）、スコアを付与していないエッジ線の抽出を行う（Ｓ３００）。
【０１２４】
次に、第２実施形態に係るエッジ線本登録処理について図８を参照し説明する。図８は、第２実施形態に係るエッジ線本登録処理を示すフローチャートである。
【０１２５】
画像処理装置１は、仮登録されたエッジ線に対し、エッジ線のスコアに基づいて本登録を行う（Ｓ４００）。
【０１２６】
画像処理装置１は、エッジ線の登録数が上限登録数となったか否かを判定する（Ｓ４０１）。画像処理装置１は、エッジ線の登録数が上限登録数よりも少ない場合には（Ｓ４０１：Ｙｅｓ）、エッジ線の本登録が完了したか否かを判定する（Ｓ４０２）。
【０１２７】
画像処理装置１は、エッジ線の本登録が完了していない場合には（Ｓ４０２：Ｎｏ）、エッジ線の本登録を継続する（Ｓ４００）。
【０１２８】
画像処理装置１は、エッジ線の登録数が上限登録数となった場合には（Ｓ４０１：Ｎｏ）、今回のエッジ線本登録処理を終了する。また、画像処理装置１は、エッジ線の本登録が完了した場合（Ｓ４０２：Ｙｅｓ）、すなわち、仮登録されたエッジ線を全て本登録した場合には、今回のエッジ線本登録処理を終了する。
【０１２９】
画像処理装置１は、エッジ線が有する指標に基づいて、指標に対するポイントを付与し、各指標に対するポイントの合計値であるスコアをエッジ線に付与する。そして、画像処理装置１は、エッジ線のスコアが高い順にエッジ線を本登録する。
【０１３０】
これにより、画像処理装置１は、エッジ線が有する指標に応じて、正確な優先度をエッジ線に付与することができる。そのため、画像処理装置１は、例えば、同じような長さのエッジ線が複数ある場合であっても、長さが長いエッジ線を優先して本登録することができる。従って、画像処理装置１は、区画線ＬＣの検出精度を向上させることができる。
【０１３１】
（変形例）
次に、変形例に係る画像処理装置１について説明する。
【０１３２】
変形例に係る画像処理装置１は、グレースクレールの画像データからエッジ線を抽出した際に、優先度を付与せずに仮登録する。そして、変形例に係る画像処理装置１は、グレースクレールの画像データに対してエッジ線の抽出が完了した後に、仮登録したエッジ線毎に優先度を付与する。
【０１３３】
これにより、変形例に係る画像処理装置１は、上記実施形態と同様の効果を得ることができる。
【０１３４】
なお、変形例に係る画像処理装置１は、グレースクレールの画像データに対してエッジ線の抽出が完了する前に、仮登録したエッジ線に対し、優先度の付与を開始してもよい。
【０１３５】
さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。従って、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。
【符号の説明】
【０１３６】
１      画像処理装置
２      制御部
３      記憶部
２１    線分抽出部
２３    区画線候補検出部
２５    駐車枠検出部（検出部）
４０    変換部
４１    抽出部
４２    付与部
４３    登録部
Ｃ      車両
ＬＣ    区画線
ＰＳ    駐車枠
【図１Ａ】
2020095624.tif 000003
【図１Ｂ】
2020095624.tif 000004
【図２】
2020095624.tif 000005
【図３】
2020095624.tif 000006
【図４】
2020095624.tif 000007
【図５】
2020095624.tif 000008
【図６】
2020095624.tif 000009
【図７】
2020095624.tif 000010
【図８】
2020095624.tif 000011