(57)【要約】【課題】撮影画像から検出されたエッジ線の形状を適切に捉えることができる技術を提供する。【解決手段】画像処理装置は、撮影画像からエッジ線を検出するエッジ線検出部と、前記エッジ線上において、前記エッジ線に近似する近似線を組になって構成する複数の直線線分の取得を可能とする分割点を求める分割部と、前記分割点に基づき前記直線線分を抽出する抽出部と、を備える。【選択図】図１
2020016952.tif 000002
【特許請求の範囲】
【請求項１】
撮影画像からエッジ線を検出するエッジ線検出部と、
前記エッジ線上において、前記エッジ線に近似する近似線を組になって構成する複数の直線線分の取得を可能とする分割点を求める分割部と、
前記分割点に基づき前記直線線分を抽出する抽出部と、
を備える、画像処理装置。
【請求項２】
前記分割部は、前記エッジ線のうち曲率が所定値以上となる位置で前記分割点を求める、請求項１に記載の画像処理装置。
【請求項３】
前記分割部は、前記エッジ線を所定位置で複数に区分けした区分毎に求められる方向情報に基づいて前記分割点を求める、請求項１又は２に記載の画像処理装置。
【請求項４】
前記分割部は、前記エッジ線の２つの端点を結んだ直線と前記エッジ線とに基づき前記分割点を求める、請求項１又は２に記載の画像処理装置。
【請求項５】
前記分割部は、先に求めた前記分割点に応じて設定される仮直線と前記エッジ線とに基づき前記エッジ線を更に分割するか否かを判断する、請求項３又は４に記載の画像処理装置。  
【請求項６】
前記抽出部で抽出された前記直線線分に基づき路面上に設けられる標示線を検出する標示線検出部を更に備える、請求項１から５のいずれか１項に記載の画像処理装置。
【請求項７】
前記撮影画像は、車両の周辺を撮影するカメラによって撮影され、
前記標示線は、駐車枠を構成する区画線である、請求項６に記載の画像処理装置。
【請求項８】
撮影画像を処理する画像処理装置で実行される画像処理方法であって、
前記撮影画像からエッジ線を検出するエッジ線検出工程と、
前記エッジ線上において、前記エッジ線に近似する近似線を組になって構成する複数の直線線分の取得を可能とする分割点を求める分割工程と、
前記分割点に基づき前記直線線分を抽出する抽出工程と、
を備える、画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
従来、車両に搭載され、カメラにより撮影して得られた画像から駐車枠線を認識する装置が知られている。例えば、特許文献１に開示される車載用駐車枠認識装置の演算処理部は、線抽出部、曲線判定部および駐車場判定部を備える。線抽出部は、カメラの撮影画像に基づいて車両の走行面に描かれた標示線を抽出する。曲線判定部は、線抽出部により抽出された標示線において所定の条件を満たす曲線部分の有無を判定することにより、標示線が車道外側線であるか否かを判定する。駐車場判定部は、曲線判定部による判定結果に基づいて車両が駐車場を走行中であるか否かを判定し、駐車場を走行中であると判定した場合に、撮影画像に基づく駐車枠の認識結果を出力する。
【０００３】
なお、標示線には、道路上に描かれた各種の道路標示線（車道中央線、車線境界線、車道外側線、横断歩道等）や、駐車場に描かれた駐車枠線等が含まれる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１４−１０６７４０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
撮影画像から路面上に描かれる駐車枠線等の標示線を抽出する場合、まず、撮影画像から、標示線の輪郭線の候補となる複数のエッジ線を検出する。そして、検出した複数のエッジ線を用いて、例えば所定間隔をあけて互いに平行に並ぶ２つのエッジ線の組み合わせであること等を条件として標示線を抽出する。
【０００６】
従来においては、検出されたエッジ線が曲線を含む場合に、エッジ線が延びる方向を誤認識することがあり、不適切な駐車枠線等を抽出することがあった。例えば駐車枠線の抽出が不適切であると、駐車枠を誤認したり、駐車枠を認識できなかったりすることがあった。
【０００７】
本発明は、上記課題に鑑みて、撮影画像から検出されたエッジ線の形状を適切に捉えることができる技術を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために本発明の画像処理装置は、撮影画像からエッジ線を検出するエッジ線検出部と、前記エッジ線上において、前記エッジ線に近似する近似線を組になって構成する複数の直線線分の取得を可能とする分割点を求める分割部と、前記分割点に基づき前記直線線分を抽出する抽出部と、を備える構成（第１の構成）になっている。
【０００９】
上記第１の構成において、前記分割部は、前記エッジ線のうち曲率が所定値以上となる位置で前記分割点を求める構成（第２の構成）が好ましい。
【００１０】
上記第１又は第２の構成の画像処理装置において、前記分割部は、前記エッジ線を所定位置で複数に区分けした区分毎に求められる方向情報に基づいて前記分割点を求める構成（第３の構成）であることが好ましい。
【００１１】
上記第１又は第２の構成の画像処理装置において、前記分割部は、前記エッジ線の２つの端点を結んだ直線と前記エッジ線とに基づき前記分割点を求める構成（第４の構成）であってよい。
【００１２】
上記第３又は第４の構成の画像処理装置において、前記分割部は、先に求めた前記分割点に応じて設定される仮直線と前記エッジ線とに基づき前記エッジ線を更に分割するか否かを判断する構成（第５の構成）であることが好ましい。
【００１３】
上記第１から第５のいずれかの構成の画像処理装置は、前記抽出部で抽出された前記直線線分に基づき路面上に設けられる標示線を検出する標示線検出部を更に備える構成（第６の構成）であることが好ましい。
【００１４】
上記第６の構成の画像処理装置において、前記撮影画像は、車両の周辺を撮影するカメラによって撮影され、前記標示線は、駐車枠を構成する区画線である構成（第７の構成）であってよい。
【００１５】
上記目的を達成するために本発明の画像処理方法は、撮影画像を処理する画像処理装置で実行される画像処理方法であって、前記撮影画像からエッジ線を検出するエッジ線検出工程と、前記エッジ線上において、前記エッジ線に近似する近似線を組になって構成する複数の直線線分の取得を可能とする分割点を求める分割工程と、前記分割点に基づき前記直線線分を抽出する抽出工程と、を備える構成（第８の構成）になっている。
【発明の効果】
【００１６】
本発明によれば、撮影画像から検出されたエッジ線の形状を適切に捉えることができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施形態に係る画像処理装置の構成を示すブロック図
【図２】直線線分抽出処理の大まかな流れを示すフローチャート
【図３】エッジ線検出工程の流れの一例を示すフローチャート
【図４】エッジ線検出について説明するための図
【図５】分割工程の流れの一例を示すフローチャート
【図６】第１分割処理の流れを例示するフローチャート
【図７】第１分割処理について説明するための図
【図８】第２分割処理の流れを例示するフローチャート
【図９】第２分割処理について説明するための図
【図１０】本発明の画像処理装置が適用された駐車支援システムの一構成例を示す図
【図１１】駐車支援システムの動作について説明するための模式図
【発明を実施するための形態】
【００１８】
以下、本発明の例示的な実施形態について、図面を参照しながら詳細に説明する。
【００１９】
＜１．画像処理装置＞
図１は、本発明の実施形態に係る画像処理装置１の構成を示すブロック図である。画像処理装置１には、カメラで撮影された撮影画像が入力される。本実施形態では、カメラは、移動体に搭載され、当該移動体の周辺を撮影するカメラである。カメラは、例えば、移動体の前方、側方、後方等を撮影する。移動体は、例えば車両やロボット等である。画像処理装置１は移動体に搭載される。
【００２０】
図１に示すように、画像処理装置１は、制御部１１と記憶部１２とを備える。制御部１１は、画像処理装置１の全体を制御する。制御部１１は、例えば、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、及び、ＲＯＭ（Read Only Memory）などを備えるコンピュータで構成される。記憶部１２は、制御部１１が動作するために必要なコンピュータプログラムおよびデータを不揮発的に記憶する。記憶部１２としては、例えば、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）、フラッシュメモリ等を用いることができる。
【００２１】
図１に示す映像取得部１１１、エッジ線検出部１１２、分割部１１３、および、抽出部１１４は、記憶部１２に記憶されるコンピュータプログラムの実行により実現される制御部１１の機能である。換言すると、画像処理装置１は、映像取得部１１１と、エッジ線検出部１１２と、分割部１１３と、抽出部１１４とを備える。
【００２２】
なお、制御部１１が備える各機能部１１１〜１１４の少なくともいずれか１つは、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアで構成されてもよい。また、制御部１１が備える各機能部１１１〜１１４は、概念的な構成要素である。１つの構成要素が実行する機能を複数の構成要素に分散させたり、複数の構成要素が有する機能を１つの構成要素に統合したりしてよい。
【００２３】
映像取得部１１１は、カメラからアナログ又はデジタルの撮影画像を所定の周期（例えば、１／３０秒周期）で時間的に連続して取得する。そして、取得した時間的に連続した撮影画像（取得した映像）がアナログの場合には、映像取得部１１１は、そのアナログの撮影画像をデジタルの撮影画像に変換（Ａ／Ｄ変換）する。本実施形態では、映像取得部１１１は、撮影画像を濃淡画像（グレースケール画像）に変換する。
【００２４】
エッジ線検出部１１２は、撮影画像からエッジ線を検出する。詳細には、エッジ線検出部１１２は、映像取得部１１１で処理された撮影画像からエッジ線を検出する。エッジ線は、撮影画像における明暗の境界線をいい、撮影画像に映る被写体の輪郭線がエッジ線に対応する。本実施形態では、エッジ線は、撮影画像中に映る路面上の標示線の輪郭線を含む。標示線は、道路上に描かれた各種の道路標示線（車道中央線、車線境界線、車道外側線、横断歩道等）や、駐車場に描かれた駐車枠線等が含まれる。エッジ線を検出する範囲は、撮影画像の全範囲でもよいが、撮影画像の一部の範囲であってもよい。
【００２５】
分割部１１３は、エッジ線上において、エッジ線に近似する近似線を組になって構成する複数の直線線分の取得を可能とする分割点を求める。本実施形態において、分割部１１３は、エッジ線のうち曲率が所定値以上となる位置で分割点を求める。エッジ線のうち曲率が所定値以上となる位置とは、エッジ線の傾きの変化量が所定値より大きくなる区間（曲線区間）に含まれる位置である。これにより、曲線区間と直線区間とを分割し、直線区間を精度良く検出することができる。分割部１１３は、エッジ線が曲線を含む場合に、少なくとも１つの分割点を求める。分割部１１３は、エッジ線が直線のみで構成される場合には分割点を求めない。
【００２６】
抽出部１１４は、分割部１１３により求めた分割点に基づき直線線分を抽出する。エッジ線上の少なくとも１つの分割点に基づき抽出した複数の直線線分によって、エッジ線に近似する近似線が得られる。近似線は、複数の直線線分の組み合わせで構成され、曲線は含まない。本実施形態では、抽出部１１４で抽出された複数の直線線分は、記憶部１２に記憶され、標示線を検出するために利用される。ただし、これは例示であり、抽出部１１４で抽出された複数の直線線分は、例えば立体物の検出等に利用されてもよい。
【００２７】
本実施形態によれば、エッジ線が曲線部分を有する場合に、エッジ線の端点間を直線で結んでエッジ線の近似線を求める場合に比べて、エッジ線の形状を適切に捉えることができる。また、本実施形態によれば、エッジ線が曲線部分を有する場合に、最小二乗法によってエッジ線の近似線を求める場合に比べて、エッジ線の形状を適切に捉えることができる。これらの効果については、後述の内容によってより明らかにされる。
【００２８】
なお、画像処理装置１は、抽出部１１４で抽出された直線線分に基づき路面上に設けられる標示線を検出する標示線検出部を更に備えてよい。このような画像処理装置においては、エッジ線の形状を適切に捉えて標示線の検出を行うことができるために、精度良く標示線の検出を行うことができる。
【００２９】
図２は、本発明の画像処理装置１によって実行される直線線分抽出処理の大まかな流れを示すフローチャートである。本実施形態においては、直線線分抽出処理は、撮影画像から標示線を検出するために利用される直線線分群を抽出するために行われる。
【００３０】
まず、エッジ線検出部１１２によって、単一のカメラにより取得された撮影画像からエッジ線を検出するエッジ線検出工程が行われる（ステップＳ１）。なお、本実施形態では、エッジ線検出部１１２は、濃淡画像に変換された撮影画像からエッジ線を検出する。エッジ線は、通常、複数検出される。ただし、エッジ線は、検出されなかったり、１本しか検出されなかったりする場合も有り得る。エッジ線検出工程の詳細については後述する。
【００３１】
次に、分割部１１３によって、エッジ線検出工程で検出されたエッジ線上において、分割点を求める分割工程が行われる（ステップＳ２）。分割点は、エッジ線に近似する近似線を組になって構成する複数の直線線部を得るために求められる。上述のように、エッジ線が曲線を含まない場合（直線である場合）には、分割点は求められない。分割工程は、エッジ線検出部１１２によって検出された各エッジ線に対して行われる。分割工程の詳細については後述する。
【００３２】
最後に、抽出部１１４によって、分割工程によって求められた分割点に基づき直線線分を抽出する抽出工程が行われる。直線線分は、エッジ線に近似する近似線を構成する。なお、分割点が求められなかったエッジ線は、直線であると推定されるために、当該エッジ線そのものが直線線分として抽出される。抽出された直線線分は、例えば記憶部１２に記憶される。
【００３３】
なお、本実施形態では、抽出工程で抽出された直線線分について、選別が行われる。抽出された直線線分のうち、路面と直交する方向に延びる直線線分を除いた直線線分が標示線を検出するために利用される直線線分群として選別される。
【００３４】
図３は、エッジ線検出工程の流れの一例を示すフローチャートである。エッジ線検出用の撮影画像の取得により、予め設定された処理範囲に含まれる各画素に対して同様の処理が繰り返し行われる。換言すると、各画素に対して同じ処理を繰り返すループ処理が行われる。画素毎のループ処理の開始（ステップＳ１１）により、処理対象画素からエッジ点が抽出されるか否かが確認される（ステップＳ１２）。処理対象画素について隣接画素との濃度階調の差が求められることにより画像の明暗の変化が求められ、一定以上の明暗差の変化点がエッジ点として抽出される。
【００３５】
処理対象画素からエッジ点が抽出された場合（ステップＳ１２でＹｅｓ）、隣接画素に抽出されたエッジ点があるか否かが確認される（ステップＳ１３）。隣接画素にエッジ点がある場合（ステップＳ１３でＹｅｓ）、処理対象画素のエッジ点と、隣接画素のエッジ点とを連結する処理が行われ、当該連結処理によって連結された線がエッジ線として登録される（ステップＳ１４）。なお、隣接画素のエッジ点との連結には、例えば輝度勾配の方向等の所定条件に基づき制限が加えられてよい。また、隣接画素のエッジ点が既に登録されたエッジ線を構成している場合、処理対象画素のエッジ点の連結により、既に登録されたエッジ線データが、新たなデータに更新されることになる。
【００３６】
エッジ線の登録処理が行われると、画素毎のループ処理を終了してよいか否かが確認される（ステップＳ１５）。処理範囲に含まれる全ての画素に対してループ処理が完了した場合に、ループ処理を終了すると判断され（ステップＳ１５でＹｅｓ）、エッジ線検出工程が終了する。一方、処理範囲に含まれる全ての画素に対してループ処理が完了していない場合には、ループ処理を終了しないと判断され（ステップＳ１５でＮｏ）、ステップＳ１２に戻ってループ処理が続けられる。この際、処理対象画素は変更される。
【００３７】
なお、画素毎のループ処理中において、処理対象画素からエッジ点が抽出されない場合（ステップＳ１２でＮｏ）、および、隣接画素にエッジ点がない場合（ステップ１３でＮｏ）には、エッジ線を形成できない。このために、エッジ線登録が行われることなくステップＳ１５の処理が行われる。
【００３８】
図４は、エッジ線検出について説明するための図である。例えば、撮影画像中の処理範囲に、図４（ａ）に示すようなＵ字状の標示線ＭＬが映っていたとする。この場合、エッジ線検出部１１２によって実行されるエッジ線検出工程によって、例えば、図４（ｂ）に示すような、一方側端点ａと他方側端点ｂとを有する略Ｌ字状のエッジ線ＥＬを検出することができる。
【００３９】
なお、図４（ｂ）に示すエッジ線ＥＬは、標示線ＭＬから検出されるエッジ線の一例にすぎない。図４（ａ）に示す標示線ＭＬからは、通常、図４（ｂ）に示すエッジ線ＥＬの他に複数のエッジ線が検出される。また、図４（ａ）に示す標示線ＭＬから、図４（ｂ）に示すエッジ線ＥＬと異なる形状（例えばＵ字状）のエッジ線が検出されてもよい。
【００４０】
図５は、分割工程の流れの一例を示すフローチャートである。分割工程では、エッジ線検出工程で検出された各エッジ線に対して同様の処理が繰り返し行われる。換言すると、各エッジ線に対して同様の処理を繰り返すループ処理が行われる。エッジ線毎のループ処理の開始（ステップＳ２１）により、第１分割処理（ステップＳ２２）と第２分割処理（ステップＳ２３）とがこの順番で実行される。
【００４１】
第２分割処理が終了すると、エッジ線毎のループ処理を終了してよいか否かが確認される（ステップＳ２４）。エッジ線検出工程で検出した全てのエッジ線に対してループ処理が完了した場合に、ループ処理を終了すると判断され（ステップＳ２４でＹｅｓ）、分割工程が終了する。一方、エッジ線検出工程で検出した全てのエッジ線に対してループ処理が完了していない場合には、ループ処理を終了しないと判断され（ステップＳ２４でＮｏ）、ステップＳ２２に戻ってループ処理が続けられる。この際、処理対象となるエッジ線は変更される。
【００４２】
図６は、第１分割処理の流れを例示するフローチャートである。図７は、第１分割処理について説明するための図である。図６に示すフローチャートを説明するに際し、理解を容易にするために、図７に示す模式的な例を適宜参照しながら説明を行う。
【００４３】
図６に示すように、第１分割処理においては、まず、エッジ線の区分化が行われる（ステップＳ２２１）。図７を参照して説明する。図７（ａ）は、エッジ線検出工程で検出されたエッジ線ＥＬの一例を示す。なお、図７（ａ）に示すエッジ線ＥＬは、図４（ｂ）に示すエッジ線ＥＬと同じものを想定している。図７（ａ）に示すエッジ線ＥＬに対して区分化が行われるとする。図７（ｂ）に示すように、エッジ線ＥＬの一方側端点ａから所定間隔ｄで区分けが行われ、エッジ線ＥＬが複数の区分に分けられる。図７に示す例では、区分Ｓ１から区分Ｓ１０の１０個の区分に分けられる。なお、上述のエッジ線ＥＬの区分けは、例示にすぎない。例えば、エッジ線ＥＬの区分けは、一方側端点ａでなく他方側端点ｂを基準として行われてもよい。
【００４４】
図６に戻って、エッジ線の区分化が行われると、区分毎の方向が算出される（ステップＳ２２２）。区分毎の方向は、例えば、各区分において、エッジ線の区分一方側端点と区分他方側端点とを結ぶ直線の方向として求められる。図７（ｃ）には、区分毎の方向が矢印で示されている。なお、区分毎の方向は、別の手法で求められた方向であってよい。例えば、区分毎の方向は、各区分において撮影画像から求められる輝度勾配の方向等であってもよい。
【００４５】
区分毎の方向が求められると、代表方向が算出される（ステップＳ２２３）。代表方向は、例えば、区分毎の方向を統計処理して得られるヒストグラムの最頻値である。ヒストグラムは、区分毎の方向を、一定の角度幅を有する複数の方向階級のいずれかに分類することによって得られる。最も度数が多い方向階級が最頻値であり、代表方向になる。図７に示す例では、区分Ｓ１〜Ｓ８が同一の方向階級に分類され、区分Ｓ９、Ｓ１０はそれぞれ別の方向階級に分類される。このために、区分Ｓ１〜Ｓ８が分類される方向階級が、度数が最も多くなり代表方向になる。
【００４６】
代表方向が求められると、以下、各区分に対して同様の処理が繰り返し行われる。換言すると、各区分に対して同様の処理を繰り返すループ処理が行われる。区分毎のループ処理の開始（ステップＳ２２４）により、処理対象区分の方向と代表方向との方向比較が行われる（ステップＳ２２５）。本実施形態では、比較により、処理対象区分の方向が代表方向と一致するか否かが確認される。詳細には、代表方向は一定の角度幅を有するために、処理対象区分の方向が代表方向を示す角度範囲内である場合に、処理対象区分の方向が代表方向と一致すると判断される。処理対象区分の方向が代表方向を示す角度範囲外である場合に、処理対象区分の方向が代表方向と一致しないと判断される。
【００４７】
方向比較の結果、代表方向との関係が、先（直前）に処理を行った区分の比較結果と比べて変化したか否かが判断される（ステップＳ２２６）。例えば、先に処理を行った区分の方向が代表方向と一致すると判断され、処理対象区分の方向が代表方向と一致すると判断された場合には、代表方向との関係が変化しないと判断される。一方、先に処理を行った区分の方向が代表方向と一致すると判断され、処理対象区分の方向が代表方向と一致しないと判断された場合には、代表方向との関係が変化したと判断される。
【００４８】
代表方向との関係が変化したと判断される場合には（ステップＳ２２６でＹｅｓ）、当該処理対象区分でエッジ線を分割する（ステップＳ２２７）。詳細には、先（直前）に判断を行った区分と、処理対象区分との境界に分割点を設定する。一方、代表方向との関係が変化しないと判断される場合には（ステップＳ２２６でＮｏ）、分割点を設定することなく、後述のステップＳ２２８に進む。
【００４９】
分割点を設定した場合、又は、分割点を設定しないと判断した場合には、区分毎のループ処理を終了してよいか否かが確認される（ステップＳ２２８）。全ての区分に対してループ処理が完了した場合に、ループ処理を終了すると判断され（ステップＳ２２８でＹｅｓ）、第１分割処理は終了する。一方、全ての区分に対してループ処理が完了していない場合には、ループ処理を終了しないと判断され（ステップＳ２２８でＮｏ）、ステップＳ２２５に戻ってループ処理が続けられる。この際、処理対象となる区分は変更される。
【００５０】
図７に示す例では、区分Ｓ１〜Ｓ８は、方向が代表方向と一致すると判断される。このために、これらの区分の処理中に代表方向との関係が変化したと判断されることはなく、分割点Ｐは設定されない。一方、区分Ｓ９は、方向が代表方向と一致しないと判断される。このために、区分Ｓ９の処理において、代表方向との関係が変化したと判断され、図７（ｄ）に示すように区分Ｓ８と区分Ｓ９との境界に分割点Ｐが設定される。なお、区分Ｓ１０は、方向が代表方向と一致しないと判断される。このために、区分Ｓ１０の処理において、代表方向との関係は変化していないと判断され、分割点Ｐの設定は行われない。
【００５１】
以上のように、分割部１１３は、エッジ線ＥＬを所定位置で複数に区分けした区分毎に求められる方向情報に基づいて分割点Ｐを求める。これによると、例えば直線と曲線とが含まれるエッジ線ＥＬに対して、直線部分と曲線部分との境界近傍に分割点を設定することができ、エッジ線から直線部分だけを取り出すことが可能になる。また、方向情報に応じてエッジ線に対して細かく分割点を設定することにより、エッジ線に近似する近似線を直線線分の組み合わせで適切に得ることが可能になる。
【００５２】
なお、以上においては、処理対象区分の方向と代表方向との比較（ステップＳ２２５）において、方向が一致するか否かのみを判断する構成としたが、これは例示である。当該比較において、方向が一致するか否かに加えて方向のずれの大きさも判断してよい。この場合には、次のステップＳ２２６で、方向のずれの大きさを考慮して代表方向との関係変化を判断することができ、分割点をより細かく設定することが可能になる。例えば、図７に示す例では、区分Ｓ８と区分Ｓ９との境界だけでなく、区分Ｓ９と区分Ｓ１０との境界にも分割点Ｐを設定することが可能になる。
【００５３】
また、以上においては、区分Ｓ１から代表方向との関係を比較する構成について説明したが、これは例示にすぎず、例えば、区分Ｓ１０から代表方向との関係を比較する構成等としてもよい。
【００５４】
図８は、第２分割処理の流れを例示するフローチャートである。図９は、第２分割処理について説明するための図である。図８に示すフローチャートを説明するに際し、理解を容易にするために、図９に示す模式的な例を適宜参照しながら説明を行う。
【００５５】
図８に示すように、第２分割処理は、各分割点に対して同様の処理が繰り返し行われる。換言すると、各分割点に対して同じ処理を繰り返すループ処理が行われる。なお、本実施形態では、分割点は、第１分割処理によって求められた分割点だけでなく、第２分割処理の途中で得られた分割点もループ処理の対象になる。
【００５６】
分割点毎のループ処理の開始（ステップＳ２３０）により、処理対象分割点に基づき仮直線を設定する（ステップＳ２３１）。仮直線は、処理対象分割点と、処理対象分割点と隣り合う所定の点とを結ぶ直線である。所定の点は、エッジ線の端点又は分割点である。仮直線は２つ設定される。
【００５７】
図９（ａ）において、実線はエッジ線ＥＬである。図９（ａ）に示すエッジ線ＥＬは、図４（ｂ）および図７（ａ）に示すエッジ線ＥＬと同じものを想定している。分割点Ｐは、図６に示すフローチャートによって求められた分割点である。図９に示す例では、図９（ａ）に破線で示すように、分割点Ｐに基づき２つの仮直線ＶＬが設定される。一方は、分割点Ｐとエッジ線ＥＬの一方側端点ａと結ぶ第１仮直線ＶＬ１であり、他方は、分割点Ｐとエッジ線ＥＬの他方側端点ｂと結ぶ第２仮直線ＶＬ２である。
【００５８】
仮直線を設定すると、図８に示すように、各仮直線に対して同様の処理が繰り返し行われる。換言すると、各仮直線に対して同じ処理を繰り返すループ処理が行われる。仮直線毎のループ処理の開始（ステップＳ２３２）により、エッジ線上の点から仮直線までの最大垂線長さを探索する処理が行われる（ステップＳ２３３）。
【００５９】
探索処理の一例について、図９（ｂ）を参照して説明する。探索処理に際しては、仮直線ＶＬに対して垂線ＰＬが設定される。この垂線ＰＬの位置を仮直線ＶＬに沿って動かす。垂線ＰＬの位置の移動に合わせて、仮直線ＶＬと垂線ＰＬとの交点と、エッジ線ＥＬと垂線ＰＬとの交点との距離を適宜求める。そして、例えば山登り法等の手法を用いて、当該距離の最大値を求める。
【００６０】
最大垂線長が求められると、最大垂線長が予め設定された第１閾値以上であるか否かが確認される（ステップＳ２３４）。第１閾値は、エッジ線に分割点を設定することが必要であるか否かを判断するための指標の一つとして設定される。最大垂線長が第１閾値より小さい場合（ステップＳ２３４でＮｏ）、分割点の設定が不要であると判断されて後述のステップＳ２３８に進む。一方、最大垂線長が第１閾値以上である場合（ステップＳ２３４でＹｅｓ）、垂線の位置が最大垂線長となる位置でエッジ線が区分化される（ステップＳ２３５）。すなわち、最大垂線長となる垂線とエッジ線との交点を境にエッジ線が区分けされる。
【００６１】
図９に示す例では、第１仮直線ＶＬ１はエッジ線ＥＬと重なり、最大垂線長が第１閾値より小さくなる。このために、第１仮直線ＶＬ１の処理によってエッジ線ＥＬの区分けは行われない。一方、第２仮直線ＶＬ２については、最大垂線長が第１閾値以上になる。このために、図９（ｂ）に示すように、最大垂線長となる垂線ＰＬとエッジ線ＥＬとの交点ＣＰでエッジ線ＥＬが区分けされる。
【００６２】
エッジ線の区分けが行われると、区分けされた２つの区分間のなす角が第２閾値以下であるか否かが確認される（ステップＳ２３６）。２つの区分のうちの一方は、エッジ線の区分けが行われた点と、仮直線の一方端点とで挟まれるエッジ線の区間である。２つの区分のうちの他方は、エッジ線の区分けが行われた点と、仮直線の他方端点とで挟まれるエッジ線の区間である。２つの区分間のなす角は、一方側区分の２つの端点間を結ぶ直線と、他方側区分の２つの端点間を結ぶ直線とのなす角である。図９に示す例において、処理対象仮直線が第２仮直線ＶＬ２であるとする。この場合、一方側区分の２つの端点間を結ぶ直線は、交点ＣＰと分割点Ｐとを結ぶ直線である。また、他方側区分の２つの端点間を結ぶ直線は、交点ＣＰと他方側端点ｂとを結ぶ直線である。これら２つの直線のなす角が第２閾値以下であるか否かが確認される。
【００６３】
第２閾値も、第１閾値と同様に、エッジ線に分割点を設定することが必要であるか否かを判断するための指標の一つとして設定される。ただし、第２閾値は第１閾値とは別の視点で設定されるものであり、第１閾値とは異なる値である。２つの区分間のなす角が第２閾値より大きい場合（ステップＳ２３６でＮｏ）、分割点の設定が不要であると判断されて後述のステップＳ２３８に進む。一方、２つの区分間のなす角が第２閾値以下である場合（ステップＳ２３６でＹｅｓ）、区分けを行った位置に分割点を設定してエッジ線の分割を行う（ステップＳ２３７）。なお、ステップＳ２３６は、省略されてもよい。
【００６４】
分割点を設定した場合、又は、分割点を設定しないと判断した場合には、仮直線毎のループ処理を終了してよいか否かが確認される（ステップＳ２３８）。全ての仮直線に対してループ処理が完了した場合に、ループ処理を終了すると判断される。一方、全ての仮直線に対してループ処理が完了していない場合に、ループ処理を終了しないと判断され（ステップＳ２３８でＮｏ）、ステップＳ２３３に戻って仮直線毎のループ処理が続けられる。この際、処理対象となる仮直線は変更される。
【００６５】
仮直線毎のループ処理を終了すると判断された場合（ステップＳ２３８でＹｅｓ）、分割点毎のループ処理を終了してよいか否かが確認される（ステップＳ２３８）。設定された全ての分割点に対してループ処理が完了した場合に、ループ処理を終了すると判断され（ステップＳ２３９でＹｅｓ）、第２分割処理が終了する。なお、ステップＳ２３７で分割点が追加された場合には、当該分割点もループ処理の対象になる。一方、全ての分割点に対してループ処理が完了していない場合に、ループ処理を終了しないと判断され（ステップＳ２３９でＮｏ）、ステップＳ２３１に戻って分割点毎のループ処理が続けられる。この際、処理対象となる分割点は変更される。
【００６６】
図９に示す例では、対象仮直線が第１仮直線である場合には、図８のステップＳ２３４で最大垂線長が第１閾値より小さいと判断されるために、分割点Ｐは設定されない。一方、対象仮直線が第２仮直線ＶＬ２である場合に、新たに分割点Ｐが設定される。すなわち、図９（ｃ）に示すように、エッジ線ＥＬには、第１分割点Ｐ１と第２分割点Ｐ２とが設定される。なお、第２分割点Ｐ２の設定により、新たに仮直線の設定が行われて、分割点の更なる設定に関する処理が行われるが、この処理では、更なる分割点の設定を行わないと判断される。
【００６７】
２つの分割点Ｐ１、Ｐ２の設定により、図９（ｄ）に示すように、エッジ線ＥＬを近似する近似線を組になって構成する３つの直線線分ＬＳが抽出される。詳細には、エッジ線ＥＬの一方側端点ａと第１分割点Ｐ１とを結ぶ第１直線線分ＬＳ１と、第１分割点Ｐ１と第２分割点Ｐ２とを結ぶ第２直線線分ＬＳ２と、第２分割点Ｐ２とエッジ線ＥＬの他方側端点ｂとを結ぶ第３直線線分ＬＳ３とが抽出される。抽出された３つの直線線分ＬＳ１〜ＬＳ３は、標示線の検出に利用される。
【００６８】
以上のように、分割部１１３は、先に求めた分割点Ｐに応じて設定される仮直線とエッジ線ＥＬとに基づきエッジ線ＥＬを更に分割するか否かを判断する。これによると、複数の直線線分で構成されるエッジ線ＥＬに近似する近似線を、よりエッジ線の形状に近づけることが可能である。このために、直線線分を利用した標示線の検出精度を向上することができる。
【００６９】
＜２．駐車支援システム＞
次に、本発明の画像処理装置が適用される駐車支援システムについて説明する。なお、以下の説明では、車両の直進進行方向であって、運転席からステアリングに向かう方向を「前方向」と呼ぶ。また、車両の直進進行方向であって、ステアリングから運転席に向かう方向を「後方向」と呼ぶ。また、車両の直進進行方向及び鉛直線に垂直な方向であって、前方向を向いている運転手の右側から左側に向かう方向を「左方向」と呼ぶ。また、車両の直進進行方向及び鉛直線に垂直な方向であって、前方向を向いている運転手の左側から右側に向かう方向を「右方向」と呼ぶ。また、本発明の画像処理装置を含む駐車支援システムを搭載している車両を「自車両」と呼ぶ。
【００７０】
図１０は、本発明の画像処理装置が適用された駐車支援システムの一構成例を示す図である。図１０に示すように、駐車支援システムは、画像処理装置１Ａと、撮影部２と、駐車制御ＥＣＵ（Electronic Control Unit）３と、ＥＰＳ（Electric Power Steering）−ＥＣＵ４と、車載ネットワーク５と、を備える。
【００７１】
画像処理装置１Ａは、撮影部２に接続されるとともに、駐車制御ＥＣＵ３およびＥＰＳ−ＥＣＵ４にＣＡＮ（Controller Area Network）などの車載ネットワーク５を介して接続される。なお、画像処理装置１Ａには、例えば、液晶ディスプレイ等の表示装置が接続されることが好ましい。画像処理装置１Ａは、撮影画像に目標駐車位置を示す指標を重畳した表示画像を生成して、表示装置に表示させる処理を行うのが好ましい。
【００７２】
撮影部２は、自車両の周辺を撮影するカメラを備える。カメラのレンズは、例えば魚眼レンズである。撮影部２は、自車両の側方に設けられるサイドカメラ２０を備える。サイドカメラ２０は、例えば自車両のドアミラー等に設けられる。サイドカメラ２０は、左サイドカメラと右サイドカメラとを含むことが好ましい。左サイドカメラは、光軸が自車両の左右方向に沿っており、自車両の左方向を撮影する。右サイドカメラは、光軸が自車両の左右方向に沿っており、自車両の右方向を撮影する。なお、撮影部２は、サイドカメラ２０の他に、自車両の前方を撮影するフロントカメラや、自車両の後方を撮影するバックカメラを備えることが好ましい。
【００７３】
画像処理装置１Ａは、自車両の周辺を撮影するカメラで撮影された撮影画像を処理する。画像処理装置１Ａは、上述した画像処理装置１（図１参照）の構成とほぼ同じである。ただし、制御部１１が記憶部１２に記憶されるコンピュータプログラムの実行により実現する機能として、区画線検出部１１５、認識部１１６、および、管理部１１７が追加されている。
【００７４】
区画線検出部１１５は、抽出部１１４で抽出された直線線分に基づき、駐車枠を構成する区画線（駐車枠線）を検出する。なお、区画線は駐車場の舗装面に白線や黄線などで描かれ、駐車スペースを区画する。区画線は標示線の一例である。区画線検出部１１５は標示線検出部の一例である。区画線検出部１１５は、例えば、所定間隔をあけて互いに平行配置される２つの直線線分で挟まれる領域を区画線として検出する。所定間隔は、例えば、一般公共用の標準的な駐車場で使用される区画線の情報に基づき適宜決定される。
【００７５】
認識部１１６は、区画線検出部１１５で検出した区画線情報に基づき駐車枠を認識する。認識部１１６は、２つの区画線間の平行度や幅等を求め、これらの結果に基づき駐車枠を認識する。例えば、認識部１１６は、所定間隔をあけて平行配置される２本の区画線間の領域を駐車枠として認識する。所定間隔は、例えば、駐車場に関する法令等で規定される一般公共用の標準的な駐車領域の幅である。
【００７６】
管理部１１７は、認識部１１６で認識された駐車枠に関する情報を管理する。駐車枠に関する情報は、例えば複数の頂点座標の組み合わせとして管理される。管理部１１７は、駐車枠に関する情報を枠管理情報として記憶部１２に記憶し、枠管理情報を適宜更新する。管理部１１７は、例えば、撮影画像から取得される駐車枠に関する観測情報や、自車両の移動量から推定される駐車枠に関する推定情報に基づいて枠管理情報を更新する。なお、自車両の移動量は、車載ネットワーク５から取得される自車両Ｖの舵角、車速、シフトなどの情報から求めることができる。また、管理部１１７は、例えば、自車両が停止した時点で自車両に最も近い空き駐車枠を駐車すべき場所として目標駐車位置の算出を行う。
【００７７】
図１１は、本実施形態の駐車支援システムの動作について説明するための模式図である。図１１は、自車両Ｖが駐車場内に進入した状態を示す。画像処理装置１Ａは、例えば自車両Ｖの車速が所定速度以下になった場合に駐車枠ＰＳを認識するための処理を開始する。画像処理装置１Ａは、サイドカメラ２０から得られる撮影画像を所定時間間隔で取得する。
【００７８】
画像処理装置１Ａは、各撮影画像について、エッジ線の検出に基づき直線線分を抽出し、区画線ＳＬの検出を行う。図１１に示す例では、左サイドカメラ２０Ｌから得られる撮影画像により区画線ＳＬを検出することができる。画像処理装置１Ａは、検出した区画線ＳＬの情報に基づき駐車枠ＰＳを認識し、認識した駐車枠ＰＳの情報を管理する。図１１に示す例では、自車両Ｖの左側方に複数の駐車枠ＰＳが存在することが認識され、自車両Ｖの位置の移動に合わせて駐車枠ＰＳの位置情報も適宜更新される。
【００７９】
画像処理装置１Ａは、自車両Ｖが停止した時点で自車両Ｖに最も近い空き駐車枠ＰＳを駐車すべき場所として目標駐車位置の算出を行う。目標駐車位置情報は、駐車制御ＥＣＵ３に送信される。駐車制御ＥＣＵ３は、画像処理装置１から受信した目標駐車位置と、不図示のクリアランスソナーセンサの出力とに基づいてステアリング操舵量を算出し、ステアリング操舵量に関する情報をＥＰＳ−ＥＣＵ４に送信する。ＥＰＳ−ＥＣＵ４は、駐車制御ＥＣＵ３から受け取ったステアリング操舵量に関する情報に基づいて自車両Ｖの駐車動作時に自動操舵を行う。なお、本実施形態では、アクセル操作及びブレーキ操作はドライバーが担う。
【００８０】
本実施形態では、撮影画像から検出されるエッジ線が曲線部分を含む場合でも、エッジ線の形状を適切に反映した直線線分だけを抽出して区画線の検出を行うことができる。このために、区画線の不適切な検出によって駐車枠の形状を誤認識したり、駐車枠を検出することができなかったりすることを抑制することができる。この結果、駐車支援時において、目標駐車位置をずれなく高精度に推定することが可能になる。また、駐車支援時に、車載の表示装置の画面に表示される駐車枠が実際の駐車枠からずれることを抑制することができ、ユーザが不安を感じることを抑制することができる。
【００８１】
＜３．留意事項＞  
本明細書中に開示されている種々の技術的特徴は、上記実施形態のほか、その技術的創作の主旨を逸脱しない範囲で種々の変更を加えることが可能である。すなわち、上記実施形態は、全ての点で例示であって、制限的なものではないと考えられるべきであり、本発明の技術的範囲は、上記実施形態の説明ではなく、特許請求の範囲によって示されるものであり、特許請求の範囲と均等の意味及び範囲内に属する全ての変更が含まれると理解されるべきである。また、本明細書中に示される複数の実施形態及び変形例は可能な範囲で組み合わせて実施されてよい。
【００８２】
以上においては、分割部１１３が第１分割処理と第２分割処理とを行う構成としたが、これは例示である。例えば、分割部１１３は第１分割処理のみを行う構成であってもよい。
【００８３】
また、分割部１１３は、第２分割処理のみを行う構成であってもよい。この場合には、まず、分割部１１３は、エッジ線検出部１１２で検出したエッジ線の２つの端点を結んだ直線とエッジ線とに基づき分割点を求める。分割点の詳細な求め方は、図８に示すステップＳ２３３からステップＳ２３７と同様の処理が行われてよい。こうして１つ目の分割点を求めた後は、図８に示す処理と同じ処理が行われればよい。この場合においても、エッジ線上に少なくとも１つの分割点を設定して、エッジ線の形状に近い近似線を複数の直線線分の組によって構成することができる。
【符号の説明】
【００８４】
１、１Ａ・・・画像処理装置
２０・・・サイドカメラ（カメラ）
１１２・・・エッジ線検出部
１１３・・・分割部
１１４・・・抽出部
１１５・・・区画線検出部（標示線検出部）
ＥＬ・・・エッジ線
ＬＳ・・・直線線分
ＭＬ・・・標示線
Ｐ・・・分割点
ＰＳ・・・駐車枠
ＳＬ・・・区画線（標示線）
Ｖ・・・自車両（車両）
ＶＬ・・・仮直線
【図１】
2020016952.tif 000003
【図２】
2020016952.tif 000004
【図３】
2020016952.tif 000005
【図４】
2020016952.tif 000006
【図５】
2020016952.tif 000007
【図６】
2020016952.tif 000008
【図７】
2020016952.tif 000009
【図８】
2020016952.tif 000010
【図９】
2020016952.tif 000011
【図１０】
2020016952.tif 000012
【図１１】
2020016952.tif 000013