(57)【要約】【課題】目標駐車位置の急激な変化を抑制することができる画像処理装置および画像処理方法を提供する。【解決手段】実施形態の一態様に係る画像処理装置においては、第１生成部と、第２生成部と、決定部とを備える。第１生成部は、車両の側方に設けられる第１撮像部によって撮像された撮像画像に基づいて第１目標駐車枠情報を生成する。第２生成部は、車両の前方または後方に設けられる第２撮像部によって撮像された撮像画像に基づいて第２目標駐車枠情報を生成する。決定部は、第１生成部によって生成された第１目標駐車枠情報と第２生成部によって生成された第２目標駐車枠情報とに基づき、停車の目標となる第３目標駐車枠情報を生成して駐車枠における停車位置を決定する。【選択図】図１
2020166758.tif 000002
【特許請求の範囲】
【請求項１】
車両の側方に設けられる第１撮像部によって撮像された撮像画像に基づいて第１目標駐車枠情報を生成する第１生成部と、
車両の前方または後方に設けられる第２撮像部によって撮像された撮像画像に基づいて第２目標駐車枠情報を生成する第２生成部と、
前記第１生成部によって生成された前記第１目標駐車枠情報と前記第２生成部によって生成された前記第２目標駐車枠情報とに基づき、停車の目標となる第３目標駐車枠情報を生成して駐車枠における停車位置を決定する決定部と
を備えることを特徴とする画像処理装置。
【請求項２】
前記決定部は、
前記第１目標駐車枠情報に含まれる駐車枠に関する第１所定値と、前記第２目標駐車枠情報に含まれる駐車枠に関する第２所定値との加重和を求めることで、前記第３目標駐車枠情報を生成して停車位置を決定すること
を特徴とする請求項１に記載の画像処理装置。
【請求項３】
車両と停車位置との離間距離を算出する距離算出部
をさらに備え、
前記決定部は、
前記距離算出部によって算出された前記離間距離に応じた重みパラメータを用いて、前記第１所定値と前記第２所定値との加重和を求めること
を特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記決定部は、
前記距離算出部によって算出された前記離間距離が短くなるにつれて、前記第１所定値に対する前記重みパラメータの重みを増加させること
を特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記第１所定値は、
前記第１撮像部によって撮像された撮像画像に基づいて算出される第１目標駐車位置であり、
前記第２所定値は、
前記第２撮像部によって撮像された撮像画像に基づいて算出される第２目標駐車位置であること
を特徴とする請求項２〜４のいずれか一つに記載の画像処理装置。
【請求項６】
車両の側方に設けられる第１撮像部によって撮像された撮像画像に基づいて第１目標駐車枠情報を生成する第１生成工程と、
車両の前方または後方に設けられる第２撮像部によって撮像された撮像画像に基づいて第２目標駐車枠情報を生成する第２生成工程と、
前記第１生成工程によって生成された前記第１目標駐車枠情報と前記第２生成工程によって生成された前記第２目標駐車枠情報とに基づき、停車の目標となる第３目標駐車枠情報を生成して駐車枠における停車位置を決定する決定工程と
を含むことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
近年、自動運転技術の発展に伴い、車両の周囲を撮像した撮像画像から車両を駐車させる駐車枠を検出する画像処理装置が普及しつつある。この種の画像処理装置では、撮像画像から駐車枠を区画する区画線を検出し、検出した区画線に基づいて駐車枠を検出する(例えば、特許文献１参照)。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１７−８７７５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、車両には、例えばサイドカメラやリアカメラなど複数の撮像部が搭載される場合がある。かかる場合、複数の撮像部で撮像された撮像画像に基づいてそれぞれ駐車枠が検出されるため、駐車枠を示す検出結果が複数存在することとなる。従来技術では、複数の検出結果から一つの検出結果を選択し、選択された検出結果に基づいて駐車枠における目標駐車位置を算出して自動駐車制御するようにしていた。
【０００５】
しかしながら、例えば、駐車枠までの距離など駐車環境の変化に伴って、目標駐車位置の算出に用いられていた撮像部が他の撮像部に切り替えられることがある。このような撮像部の切り替わりの際、例えば撮像部の性能差や他の撮像部の位置などに起因して、目標駐車位置が急激に変わるおそれがある。目標駐車位置が急激に変わると、自動駐車制御における車両の挙動が不安定になりやすいことから、目標駐車位置の急激な変化を抑制する技術が望まれていた。
【０００６】
本発明は、上記に鑑みてなされたものであって、目標駐車位置の急激な変化を抑制することができる画像処理装置および画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決し、目的を達成するために、本発明は、画像処理装置において、第１生成部と、第２生成部と、決定部とを備える。第１生成部は、車両の側方に設けられる第１撮像部によって撮像された撮像画像に基づいて第１目標駐車枠情報を生成する。第２生成部は、車両の前方または後方に設けられる第２撮像部によって撮像された撮像画像に基づいて第２目標駐車枠情報を生成する。決定部は、前記第１生成部によって生成された前記第１目標駐車枠情報と前記第２生成部によって生成された前記第２目標駐車枠情報とに基づき、停車の目標となる第３目標駐車枠情報を生成して駐車枠における停車位置を決定する。
【発明の効果】
【０００８】
本発明によれば、目標駐車位置の急激な変化を抑制することができる。
【図面の簡単な説明】
【０００９】
【図１】図１は、実施形態に係る画像処理方法の概要を示す図である。
【図２】図２は、画像処理装置の構成例を示す機能ブロック図である。
【図３】図３は、重みパラメータを説明するための図である。
【図４】図４は、車両と目標駐車位置との離間距離を説明するための図である。
【図５】図５は、停車位置決定部の構成を示す機能ブロック図である。
【図６】図６は、画像処理装置が実行する全体処理の手順を示すフローチャートである。
【図７】図７は、画像処理装置が実行する停車位置決定処理における全体処理の手順を示すフローチャートである。
【発明を実施するための形態】
【００１０】
以下、添付図面を参照して、本願の開示する画像処理装置および画像処理方法の実施形態を詳細に説明する。なお、以下に示す実施形態によりこの発明が限定されるものではない。
【００１１】
まず、図１を用いて実施形態に係る画像処理方法の概要について説明する。図１は、実施形態に係る画像処理方法の概要を示す図である。図１では、実施形態に係る画像処理装置１が実施形態に係る画像処理方法を実行することで、駐車枠における停車位置を決定する場合を例に挙げて説明する。
【００１２】
図１に示すように、車両Ｃには、サイドカメラ１０ａやリアカメラ１０ｂ、フロントカメラ１０ｃなど複数のカメラが搭載される。サイドカメラ１０ａは、車両Ｃの側方に設けられるカメラであり、第１撮像部の一例である。リアカメラ１０ｂは、車両Ｃの後方に設けられるカメラであり、フロントカメラ１０ｃは、車両Ｃの前方に設けられるカメラである。なお、リアカメラ１０ｂおよびフロントカメラ１０ｃは、第２撮像部の一例である。
【００１３】
サイドカメラ１０ａやリアカメラ１０ｂ、フロントカメラ１０ｃは、例えば、ＣＣＤ（Charge  Coupled  Device）やＣＭＯＳ(Complementary  Metal  Oxide  Semiconductor)などの撮像素子を備え、車両Ｃの周囲を撮像する。また、各カメラ１０ａ，１０ｂ，１０ｃのレンズには、例えば、魚眼レンズなどの広角レンズが採用され、図１に示すような撮像領域Ｒを有する。なお、図１では、図示の簡略化のため、サイドカメラ１０ａの撮像領域Ｒａ、および、リアカメラ１０ｂの撮像領域Ｒｂを示した。
【００１４】
実施形態に係る画像処理装置１は、車両Ｃに搭載され、実施形態に係る画像処理方法を実行する。具体的には、まず、実施形態に係る画像処理装置１は、サイドカメラ１０ａやリアカメラ１０ｂなどによって撮像された撮像画像に基づいて駐車枠ＰＳを検出する。
【００１５】
例えば、画像処理装置１は、サイドカメラ１０ａやリアカメラ１０ｂなどによって撮像された撮像画像（画像データ）からエッジ強度がエッジ閾値を超えるエッジ点を抽出し、抽出したエッジ点に基づいて駐車枠ＰＳを区画する区画線Ｌｓを検出し、検出した区画線Ｌｓに基づいて駐車枠ＰＳを検出する。
【００１６】
そして、例えば、車両Ｃの自動駐車が行われる場合、検出された駐車枠ＰＳのうち目標となる駐車枠ＰＳが目標駐車枠ＰＳａとして設定され、設定された目標駐車枠ＰＳａに基づいて目標駐車位置が算出される。
【００１７】
ところで、サイドカメラ１０ａやリアカメラ１０ｂなど複数のカメラがある場合、サイドカメラ１０ａで撮像された撮像画像から検出される駐車枠ＰＳを示す検出結果、および、リアカメラ１０ｂで撮像された撮像画像から検出される駐車枠ＰＳを示す検出結果の２つの検出結果がある。従来技術にあっては、２つの検出結果のうち一つの検出結果を選択し、選択された検出結果に基づいて目標駐車位置を算出して自動駐車制御していた。
【００１８】
しかしながら、車両Ｃから駐車枠までの距離など駐車環境の変化に伴って、目標駐車位置の算出に用いられていたカメラが、例えばリアカメラ１０ｂからサイドカメラ１０ａに切り替えられることがある。このようなカメラの切り替わりの際、例えばカメラの性能差や切り替え後のサイドカメラ１０ａの位置などに起因して、目標駐車位置が急激に変わるおそれがある。目標駐車位置が急激に変わると、自動駐車制御における車両の挙動が不安定になりやすい。
【００１９】
そこで、本実施形態に係る画像処理装置１にあっては、目標駐車位置の急激な変化を抑制することができるような構成とした。
【００２０】
以下、具体的に説明すると、画像処理装置１は、まず、サイドカメラ１０ａによって撮像された撮像画像に基づいて第１目標駐車枠情報を生成する（ステップＳ１）。かかる第１目標駐車枠情報には、サイドカメラ１０ａの撮像画像に基づいて得られる目標駐車枠ＰＳａに関する情報が含まれる。
【００２１】
例えば、第１目標駐車枠情報には、サイドカメラ１０ａの撮像画像から検出された目標駐車枠ＰＳａにおける目標駐車位置である第１目標駐車位置Ｐ１を示す情報が含まれる。なお、第１目標駐車位置Ｐ１は、例えば、サイドカメラ１０ａの撮像画像から検出された目標駐車枠ＰＳａと、車両Ｃのサイズ等の情報とに基づいて算出されるが、これに限定されるものではない。
【００２２】
また、第１目標駐車枠情報には、第１目標駐車位置Ｐ１に代えて、あるいは加えて、サイドカメラ１０ａの撮像画像から検出された目標駐車枠ＰＳａにおける端点Ｑを示す情報を含んでもよい。かかる端点Ｑは、目標駐車枠ＰＳａの角部であるともいえる。上記した第１目標駐車位置Ｐ１や端点Ｑは、第１所定値の一例である。かかる第１所定値は、目標駐車位置を決定するための基準値である。第１目標駐車位置Ｐ１を第１所定値とした場合、第１目標駐車位置Ｐ１と当該基準値は一致する。端点Ｑを第１所定値とした場合、端点Ｑを基準に目標駐車位置が決定される。なお、第１所定値は、サイドカメラ１０ａ（第１撮像部）の撮像画像に基づいて検出された目標駐車枠ＰＳａに関連する情報（位置情報。例えば座標情報など）であるともいえる。
【００２３】
続いて、画像処理装置１は、リアカメラ１０ｂによって撮像された撮像画像に基づいて第２目標駐車枠情報を生成する（ステップＳ２）。かかる第２目標駐車枠情報には、リアカメラ１０ｂの撮像画像に基づいて得られる目標駐車枠ＰＳａに関する情報が含まれる。
【００２４】
例えば、第２目標駐車枠情報には、リアカメラ１０ｂの撮像画像から検出された目標駐車枠ＰＳａにおける目標駐車位置である第２目標駐車位置Ｐ２を示す情報が含まれる。なお、第２目標駐車位置Ｐ２は、例えば、リアカメラ１０ｂの撮像画像から検出された目標駐車枠ＰＳａと、車両Ｃのサイズ等の情報とに基づいて算出されるが、これに限定されるものではない。なお、図１では、理解の便宜のため、第１目標駐車位置Ｐ１と第２目標駐車位置Ｐ２とが異なる位置にある例を示すとともに、誇張して示している。
【００２５】
また、第２目標駐車枠情報には、第２目標駐車位置Ｐ２に代えて、あるいは加えて、リアカメラ１０ｂの撮像画像から検出された目標駐車枠ＰＳａにおける端点Ｑを示す情報を含んでもよい。なお、上記した第２目標駐車位置Ｐ２や端点Ｑは、第２所定値の一例である。かかる第２所定値は、第１所定値と同様、目標駐車位置を決定するための基準値である。第２目標駐車位置Ｐ２を第２所定値とした場合、第２目標駐車位置Ｐ２と当該基準値は一致する。端点Ｑを第２所定値とした場合、端点Ｑを基準に目標駐車位置が決定される。なお、第２所定値は、リアカメラ１０ｂ（第２撮像部）の撮像画像に基づいて検出された目標駐車枠ＰＳａに関連する情報（位置情報。例えば座標情報など）であるともいえる。
【００２６】
そして、画像処理装置１は、第１目標駐車枠情報（例えば第１目標駐車位置Ｐ１）と第２目標駐車枠情報（例えば第２目標駐車位置Ｐ２）とに基づき、停車の目標となる第３目標駐車枠情報を生成して駐車枠における停車位置を決定する（ステップＳ３）。
【００２７】
例えば、第３目標駐車枠情報には、自動運転が行われる車両Ｃの目標となる停車位置であって、自動運転の制御に用いられる第３目標駐車位置Ｐ３を示す情報が含まれる。
【００２８】
このように、本実施形態に係る画像処理装置１にあっては、サイドカメラ１０ａによって撮像された撮像画像に基づく第１目標駐車枠情報、および、リアカメラ１０ｂによって撮像された撮像画像に基づく第２目標駐車枠情報の両方に基づいて、停車の目標となる第３目標駐車枠情報を生成して停車位置を決定するようにした。
【００２９】
このように、第１目標駐車枠情報と第２目標駐車枠情報とを統合することで、車両Ｃの目標駐車位置（ここでは第３目標駐車位置Ｐ３）が急激に変化することを抑制することができる。また、目標駐車位置の急激な変化が抑制されることで、自動駐車制御における車両の挙動を安定させることが可能になる。これにより、車両Ｃの乗り心地を向上させることができる。
【００３０】
また、画像処理装置１は、ステップＳ３の処理において、第１目標駐車枠情報に含まれる第１目標駐車位置Ｐ１と第２目標駐車枠情報に含まれる第２目標駐車位置Ｐ２との加重和を求めることで、第３目標駐車枠情報（ここでは第３目標駐車位置Ｐ３）を生成して駐車枠における停車位置を決定することができる。
【００３１】
これにより、車両Ｃの目標駐車位置（ここでは第３目標駐車位置Ｐ３）が急激に変化することを抑制しつつ、目標駐車位置を精度良く算出することができる。なお、加重和に用いられる重みパラメータについては、図３を参照して後述する。
【００３２】
次に、図２を用いて実施形態に係る画像処理装置１の構成例について説明する。図２は、画像処理装置１の構成例を示す機能ブロック図である。なお、図２には、画像処理装置１を含む駐車支援システム１００を示す。図２に示すように、駐車支援システム１００は、画像処理装置１と、車載カメラ１０と、センサ群Ｓｃと、上位ＥＣＵ(Electronic  Control  Unit)５０とを備える。また、図２に示すように、画像処理装置１と、センサ群Ｓｃと、上位ＥＣＵ５０とは、それぞれＣＡＮ（Control  Area  Network）通信の通信規格の通信バスＢによって相互に通信することができる。
【００３３】
センサ群Ｓｃは、車両Ｃの走行状態を検出する各種センサであり、検出したセンサ値を画像処理装置１へ通知する。センサ群Ｓｃは、車両Ｃの車輪の回転数を検出する車速センサや、車両Ｃの舵角を検出する舵角センサ等を含む。
【００３４】
上位ＥＣＵ５０は、例えば、車両Ｃのｈｙ駐車を支援するＥＣＵであり、例えば、画像処理装置１によって検出された駐車枠ＰＳに基づいて車両Ｃを駐車枠ＰＳへ駐車させる。例えば、上位ＥＣＵ５０は、車両Ｃの操舵角を制御するＥＰＳ（Electric  Power  Steering）-ＥＣＵであり、画像処理装置１によって検出された駐車枠ＰＳへの操舵角を制御することができる。なお、上位ＥＣＵ５０は、アクセル制御やブレーキ制御を行うＥＣＵを含むようにすることにしてもよい。
【００３５】
図２に示すように、画像処理装置１は、制御部２と、記憶部３とを備える。制御部２は、線分抽出部２１と、不適領域判定部２２と、区画線検出部２３と、除外判定部２４と、駐車枠検出部２５と、駐車枠管理部２６と、停車位置決定部２７とを備える。
【００３６】
制御部２は、例えば、ＣＰＵ（Central  Processing  Unit）、ＲＯＭ（Read  Only  Memory）、ＲＡＭ（Random  Access  Memory）、ＨＤＤ（Hard  Disk  Drive）、入出力ポートなどを有するコンピュータや各種の回路を含む。
【００３７】
コンピュータのＣＰＵは、例えば、ＲＯＭに記憶されたプログラムを読み出して実行することによって、制御部２の線分抽出部２１、不適領域判定部２２、区画線検出部２３、除外判定部２４、駐車枠検出部２５、駐車枠管理部２６および停車位置決定部２７として機能する。
【００３８】
また、制御部２の線分抽出部２１、不適領域判定部２２、区画線検出部２３、除外判定部２４、駐車枠検出部２５、駐車枠管理部２６および停車位置決定部２７の少なくともいずれか一部または全部をＡＳＩＣ（Application  Specific  Integrated  Circuit）やＦＰＧＡ（Field  Programmable  Gate  Array）等のハードウェアで構成することもできる。
【００３９】
制御部２は、例えば、車両Ｃが駐車場を走行していると想定される場合（例えば、車速３０Ｋｍ／ｈ以内）に、後述する駐車枠ＰＳの検出処理や、停車位置の決定処理を行うことにしてもよいし、あるいは、車両Ｃが走行している全ての期間でかかる検出処理や決定処理を行うことにしてもよい。
【００４０】
線分抽出部２１は、車載カメラ１０から入力される撮像画像から各画素の輝度に基づくエッジ点を抽出する。具体的には、線分抽出部２１は、車載カメラ１０から入力される画像データをグレースケール化することでグレースケール画像へ変換する。グレースケール画像とは、画像データにおける各画素を輝度に応じて白から黒までの各階調（例えば２５６階調）で表現するように変換する処理である。
【００４１】
続いて、線分抽出部２１は、グレースケール画像に対して例えば、ソベルフィルタを適用することで、各画素のエッジ強度および輝度勾配を求めることができる。続いて、線分抽出部２１は、エッジ強度が所定値を超える画素を抽出することで、上記のエッジ点を抽出する。線分抽出部２１は、抽出したエッジ点に関するエッジ情報を不適領域判定部２２へ通知する。
【００４２】
不適領域判定部２２は、線分抽出部２１によって抽出されたエッジ点に基づき、駐車枠ＰＳを構築する区画線の検出が困難となる不適領域の有無を判定する。例えば、不適領域判定部２２は、舗装された路面に比べて、エッジ点が多く抽出される舗装されていない路面領域(例えば、砂利)や、グレーチング領域を不適領域として判定することができる。
【００４３】
具体的には、不適領域判定部２２は、各エッジ点の密度が所定値以上であり、各エッジ点の輝度勾配が不均一である領域について、不適領域として判定することができる。不適領域判定部２２は、判定した不適領域に基づいて上記のエッジ情報から不適領域に関するエッジ情報を除去して後段の処理へ回す。
【００４４】
区画線検出部２３は、線分抽出部２１によって抽出されたエッジ点に基づいて駐車枠ＰＳを区画する区画線の候補となる区画線候補を検出する。具体的には、区画線検出部２３は、連続する複数のエッジ点を繋いだ２つのエッジ線が互いに略平行であり、間隔が区画線の幅に対応した間隔である場合、かかる２つのエッジ線を区画線候補として検出する。
【００４５】
すなわち、区画線検出部２３は、各区画線の幅方向の左右両端に対応する２つのエッジ線を区画線候補として検出する。区画線検出部２３は、検出した区画線候補に関する区画線情報を生成し、除外判定部２４へ通知する。
【００４６】
なお、区画線検出部２３は、不適領域判定部２２によって検出された不適領域を除いて、区画線候補の検出処理を行うことができる。言い換えれば、区画線検出部２３は、不適領域について区画線候補の検出処理を行わない。これにより、制御部２の処理負荷の抑えることが可能となる。
【００４７】
除外判定部２４は、区画線検出部２３によって検出された区画線候補に基づいて車両Ｃの駐車が認められていない駐車不可領域の有無を判定する。例えば、除外判定部２４は、駐車不可領域として、ゼブラゾーン(導流帯)などの駐車不可領域の有無を判定する。
【００４８】
具体的には、ゼブラゾーンが、互いに略平行な区画線候補を区画線(支持区画線と記載する)と仮定した場合に、支持区画線に対して傾斜した区画線候補が所定の間隔をあけて３本以上存在する場合に、支持区画線に挟まれた領域を駐車不可領域と判定する。
【００４９】
また、除外判定部２４は、路面標識等の駐車枠ＰＳの検出に不要な区画線候補の有無を判定することも可能である。例えば、除外判定部２４は、区画線検出部２３によって検出された区画線候補と、各路面標識のテンプレートモデルとのマッチング処理を行うことで画像データに含まれる各路面標識を検出することができる。
【００５０】
除外判定部２４は、区画線情報から不要な区画線候補を除去するとともに、区画線情報に駐車不可領域に関する情報を付与して、駐車枠検出部２５へ通知する。
【００５１】
駐車枠検出部２５は、区画線検出部２３によって検出された区画線候補に基づき、駐車枠ＰＳを検出する。具体的には、駐車枠検出部２５は、水平方向に向かって所定間隔をあけて平行配置される２つの区画線候補を車幅側の駐車枠ＰＳとして検出する。
【００５２】
ここで、所定間隔とは、駐車場に関する法令等で規定される一般公共用の標準的な駐車領域の幅である。また、このとき、駐車枠検出部２５は、除外判定部２４によって駐車不可領域として判定された領域を避けて、駐車枠ＰＳを検出することができる。
【００５３】
すなわち、ゼブラゾーン等を避けて駐車枠ＰＳを検出することができる。駐車枠検出部２５は、駐車枠ＰＳを検出すると、駐車枠ＰＳに関する駐車枠情報を駐車枠管理部２６へ通知する。なお、以下では、駐車枠検出部２５によって駐車枠ＰＳとして検出された区画線候補について、区画線と記載する。また、駐車枠情報には、車両Ｃを基準とする各区画線の頂点座標が含まれる。
【００５４】
駐車枠管理部２６は、駐車枠検出部２５によって検出された駐車枠ＰＳを時系列で管理する。駐車枠管理部２６は、センサ群Ｓｃから入力されるセンサ値に基づいて車両Ｃの移動量を推定し、かかる移動量に基づいて過去の駐車枠情報に基づく実際の各区画線の頂点座標を推定することができる。
【００５５】
また、駐車枠管理部２６は、新たに入力される駐車枠情報に基づいて、過去の駐車枠情報における区画線の座標情報を更新することも可能である。すなわち、駐車枠管理部２６は、車両Ｃとの駐車枠ＰＳとの相対的な位置関係を車両Ｃの移動に伴って随時更新する。
【００５６】
また、駐車枠管理部２６は、複数の駐車枠ＰＳがそれぞれ連続して配置されると仮定して、駐車枠ＰＳの検出範囲を設定することも可能である。例えば、駐車枠管理部２６は、駐車枠検出部２５によって検出された１つの駐車枠ＰＳを基準とし、かかる駐車枠ＰＳと連続して複数の駐車枠ＰＳが存在すると仮定する。
【００５７】
そして、駐車枠管理部２６は、仮定した駐車枠ＰＳの位置を検出範囲として設定する。これにより、上記の線分抽出部２１は、駐車枠管理部２６によって設定された検出範囲においてのみ、エッジ線の検出処理を行えばよいので、制御部２の処理負荷を抑えることが可能となる。
【００５８】
停車位置決定部２７は、線分抽出部２１によって抽出されたエッジ点に基づき、車両Ｃが駐車枠ＰＳへ駐車する際の停車位置を決定する。なお、停車位置決定部２７については、後述の図５を参照して説明する。
【００５９】
記憶部３は、例えば、ＲＡＭやＨＤＤに対応する。ＲＡＭやＨＤＤは、各種情報や各種プログラムの情報を記憶することができる。なお、画像処理装置１は、有線や無線のネットワークで接続された他のコンピュータや可搬型記録媒体を介して上記したプログラムや各種情報を取得することとしてもよい。
【００６０】
記憶部３には、重みパラメータ情報３１が格納される。重みパラメータ情報３１は、上記した加重和の処理に用いられる重みパラメータを示す情報である。詳しくは、重みパラメータは、第１目標駐車枠情報に含まれる第１目標駐車位置Ｐ１と第２目標駐車枠情報に含まれる第２目標駐車位置Ｐ２との加重和を求める処理において用いられる。
【００６１】
ここで、図３および図４を参照して重みパラメータ情報３１について説明する。図３は、重みパラメータ情報３１に含まれる重みパラメータを説明するための図である。また、図４は、車両と目標駐車位置との離間距離を説明するための図である。
【００６２】
図３に示すように、重みパラメータ情報３１に含まれる重みパラメータは、車両と目標駐車位置との離間距離Ａに応じて変化するように設定される。
【００６３】
ここで、離間距離Ａとは、図４に示すように、車両Ｃから目標駐車位置、すなわち目標駐車枠ＰＳａにおける停車位置（ここでは第３目標駐車位置Ｐ３）までの距離を示している。従って、例えば、車両Ｃにおいて目標駐車枠ＰＳａに対する自動駐車が行われている場合、車両Ｃは、目標駐車枠ＰＳａの目標駐車位置に近づいていくことから、離間距離Ａは徐々に短くなっていくこととなる。すなわち、図３に示す例では、目標駐車枠ＰＳａへの駐車が進むにつれて、離間距離Ａは長い状態から短い状態へと移行することとなる。
【００６４】
なお、図４に示す例では、離間距離Ａは、車両Ｃの後端面から目標駐車位置までの距離としているが、これに限定されるものではなく、例えば目標駐車位置から最も近い車両Ｃの部位から目標駐車位置までの距離としてもよい。また、離間距離Ａは、車両Ｃの重心位置から目標駐車位置までの距離としてもよい。
【００６５】
図３に示すように、サイドカメラ１０ａによって撮像された撮像画像に基づく第１目標駐車位置Ｐ１に対する重みパラメータＷ１の重みは、離間距離Ａが短くなるにつれて増加するように設定される。これは、例えば、離間距離Ａが長い場合、駐車枠ＰＳはサイドカメラ１０ａの撮像画像の端部に写ることとなるが、サイドカメラ１０ａが広角レンズの場合、撮像画像の端部は歪みが生じやすい。そのため、サイドカメラ１０ａに対応する重みは、離間距離Ａが長い間は小さく、離間距離Ａが短くなるにつれて増加するように設定される。
【００６６】
詳しくは、第１目標駐車位置Ｐ１に対する重みパラメータＷ１の重みは、離間距離Ａが第１所定距離Ａ１まではゼロであり、第１所定距離Ａ１より短くなると、ゼロから徐々に増加する。そして、重みパラメータＷ１の重みは、離間距離Ａが第１所定距離Ａ１より短い第２所定距離Ａ２のときに、第２目標駐車位置Ｐ２に対する重みパラメータＷ２の重みと同じ値となり、離間距離Ａが第２所定距離Ａ２より短い第３所定距離Ａ３のときに１となるように設定される。
【００６７】
リアカメラ１０ｂによって撮像された撮像画像に基づく第２目標駐車位置Ｐ２に対する重みパラメータＷ２の重みは、離間距離Ａが短くなるにつれて減少するように設定される。これは、例えば、離間距離Ａが短くなると、駐車枠ＰＳはリアカメラ１０ｂの撮像画像の端部に写ることとなるが、リアカメラ１０ｂが広角レンズの場合、撮像画像の端部は歪みが生じやすい。そのため、リアカメラ１０ｂに対応する重みは、離間距離Ａが長い間は大きく、離間距離Ａが短くなるにつれて減少するように設定される。
【００６８】
詳しくは、第２目標駐車位置Ｐ２に対する重みパラメータＷ２の重みは、離間距離Ａが第１所定距離Ａ１までは１であり、第１所定距離Ａ１より短くなると、１から徐々に減少する。そして、重みパラメータＷ２の重みは、離間距離Ａが第３所定距離Ａ３のときにゼロとなるように設定される。なお、第３所定距離Ａ３は、車両Ｃが駐車枠ＰＳに入る直前の位置に設定されるが、これに限定されるものではない。
【００６９】
次に、図５を用いて、停車位置決定部２７の処理について詳細に説明する。図５は、停車位置決定部２７の構成を示す機能ブロック図である。図５に示すように、停車位置決定部２７は、第１生成部２７１と、第２生成部２７２と、距離算出部２７３と、決定部２７４とを備える。
【００７０】
第１生成部２７１は、サイドカメラ１０ａによって撮像された撮像画像に基づいて第１目標駐車枠情報を生成する。第２生成部２７２は、リアカメラ１０ｂによって撮像された撮像画像に基づいて第２目標駐車枠情報を生成する。なお、例えば、車両Ｃにおいて前進して自動駐車が行われる場合、第２生成部２７２は、フロントカメラ１０ｃによって撮像された撮像画像に基づいて第２目標駐車枠情報を生成してもよい。
【００７１】
また、第１目標駐車枠情報には、第１目標駐車位置Ｐ１を示す情報が含まれ、第２目標駐車枠情報には、第２目標駐車位置Ｐ２を示す情報が含まれる。
【００７２】
距離算出部２７３は、車両Ｃと停車位置（目標駐車位置）との離間距離を算出する。例えば、距離算出部２７３は、前回処理で得られた離間距離に対し、前回処理からの移動距離を加算あるいは減算することで、今回処理における離間距離を算出することができる。なお、上記した、距離算出部２７３での離間距離の算出手法は、あくまでも例示であって限定されるものではない。
【００７３】
決定部２７４は、第１目標駐車枠情報と第２目標駐車枠情報とに基づき、停車の目標となる第３目標駐車枠情報を生成して駐車枠における停車位置を決定する。かかる第３目標駐車枠情報には、自動運転が行われる車両Ｃの目標となる停車位置である第３目標駐車位置Ｐ３を示す情報が含まれる。
【００７４】
このように、第１目標駐車枠情報と第２目標駐車枠情報とを両方用いることで、車両Ｃの目標駐車位置（ここでは第３目標駐車位置Ｐ３）が急激に変化することを抑制することができる。
【００７５】
また、例えば、決定部２７４は、第１目標駐車枠情報に含まれる第１目標駐車位置Ｐ１（第１所定値の一例）と第２目標駐車枠情報に含まれる第２目標駐車位置Ｐ２（第２所定値の一例）との加重和を求めることで、第３目標駐車枠情報（ここでは第３目標駐車位置Ｐ３）を生成して駐車枠における停車位置を決定する。
【００７６】
具体的には、決定部２７４は、下記の式（１）を用いて第３目標駐車位置Ｐを算出する。
第３目標駐車位置Ｐ３＝第１目標駐車位置Ｐ１×第１目標駐車位置Ｐ１の重みパラメータＷ１＋第２目標駐車位置Ｐ２×第２目標駐車位置Ｐ２の重みパラメータＷ２
但し、重みパラメータＷ１＋重みパラメータＷ２＝１
・・・式（１）
【００７７】
また、例えば、決定部２７４は、距離算出部２７３によって算出された離間距離Ａに応じた重みパラメータＷ１，Ｗ２を用いて、第１目標駐車位置Ｐ１と第２目標駐車位置Ｐ２との加重和を求める（図３参照）。
【００７８】
車両Ｃの目標駐車位置は、離間距離Ａに応じて急激に変化しやすいことから、上記のように、離間距離Ａに応じた重みパラメータＷ１，Ｗ２を用いることで、目標駐車位置が急激に変化することを効果的に抑制することができる。
【００７９】
また、例えば、決定部２７４は、離間距離Ａが短くなるにつれて、第１目標駐車位置Ｐ１に対する重みパラメータＷ１の重みを増加させる（図３参照）、すなわち、サイドカメラ１０ａによって撮像された撮像画像に基づく第１目標駐車位置Ｐ１の重みパラメータＷ１の重みを増加させる。
【００８０】
言い換えると、決定部２７４は、離間距離Ａが短くなるにつれて、第２目標駐車位置Ｐ２に対する重みパラメータＷ２の重みを減少させる（図３参照）、すなわち、リアカメラ１０ｂによって撮像された撮像画像に基づく第２目標駐車位置Ｐ２の重みパラメータＷ２の重みを減少させる。
【００８１】
これにより、目標駐車位置を精度良く算出することができる。すなわち、離間距離Ａが短くなるにつれて、サイドカメラ１０ａは、撮像できる駐車枠ＰＳが大きくなるため第１目標駐車位置Ｐ１の信頼度が増加する一方、リアカメラ１０ｂは、撮像できる駐車枠ＰＳが小さくなったり撮像画像の端部になったりするため第２目標駐車位置Ｐ２の信頼度が低下する。従って、重みパラメータＷ１，Ｗ２を上記のように設定することで、目標駐車位置を精度良く算出することができる。
【００８２】
次に、図６以降を用いて実施形態に係る画像処理装置１が実行する処理手順について説明する。図６は、画像処理装置１が実行する全体処理の手順を示すフローチャートである。なお、かかる全体処理は、例えば、車両Ｃの車速が所定値以下（例えば、３０Ｋｍ／ｈ）である場合に、制御部２によって繰り返し実行される。
【００８３】
図６に示すように、画像処理装置１は、まず、グレースケール画像からエッジ点を抽出するエッジ抽出処理を行い（ステップＳ１０１）、エッジ抽出処理の処理結果に基づいて不適領域判定処理を行う（ステップＳ１０２）。
【００８４】
続いて、画像処理装置１は、ステップＳ１０１にて抽出したエッジ点から区画線候補を検出する区画線検出処理を行う（ステップＳ１０３）。
【００８５】
その後、画像処理装置１は、ステップＳ１０３までの処理結果に基づき、駐車不可領域などの有無を判定する除外判定処理を行い（ステップＳ１０４）、駐車枠ＰＳを検出する駐車枠検出処理を行う（ステップＳ１０５）。
【００８６】
その後、画像処理装置１は、ステップＳ１０５において検出した駐車枠ＰＳを管理する駐車枠管理を行い（ステップＳ１０６）、車両Ｃの駐車枠ＰＳ内において停車させる停車位置を決定する停車位置決定処理を行い（ステップＳ１０７）、処理を終了する。
【００８７】
次に、上述した停車位置決定処理の処理手順について詳細に説明する。図７は、画像処理装置１が実行する停車位置決定処理における全体処理の手順を示すフローチャートである。
【００８８】
図７に示すように、停車位置決定部２７は、サイドカメラ１０ａによって撮像された撮像画像に基づいて第１目標駐車枠情報を生成する（ステップＳ２０１）。続いて、停車位置決定部２７は、リアカメラ１０ｂによって撮像された撮像画像に基づいて第２目標駐車枠情報を生成する（ステップＳ２０２）。
【００８９】
なお、上記では、第１目標駐車枠情報を生成した後、第２目標駐車枠情報を生成するようにしたが、これに限られず、第２目標駐車枠情報を生成した後、第１目標駐車枠情報を生成したり、第１、第２目標駐車枠情報を同じタイミングで生成したりしてもよい。
【００９０】
次いで、停車位置決定部２７は、車両Ｃと停車位置（目標駐車位置）との離間距離Ａを算出する（ステップＳ２０３）。続いて、停車位置決定部２７は、離間距離Ａに応じた重みパラメータＷ１，Ｗ２を用い、第１目標駐車位置Ｐ１と第２目標駐車位置Ｐ２との加重和を求めることで、第３目標駐車枠情報（第３目標駐車位置Ｐ３）を生成して駐車枠における停車位置を決定する（ステップＳ２０４）。
【００９１】
上述してきたように、実施形態に係る画像処理装置１は、第１生成部２７１と、第２生成部２７２と、決定部２７４とを備える。第１生成部２７１は、車両Ｃの側方に設けられる第１撮像部（サイドカメラ１０ａ）によって撮像された撮像画像に基づいて第１目標駐車枠情報を生成する。第２生成部２７２は、車両Ｃの前方または後方に設けられる第２撮像部（リアカメラ１０ｂ、フロントカメラ１０ｃ）によって撮像された撮像画像に基づいて第２目標駐車枠情報を生成する。決定部２７４は、第１生成部２７１によって生成された第１目標駐車枠情報と第２生成部２７２によって生成された第２目標駐車枠情報とに基づき、停車の目標となる第３目標駐車枠情報を生成して駐車枠における停車位置を決定する。これにより、目標駐車位置の急激な変化を抑制することができる。
【００９２】
なお、上記では、第１目標駐車位置Ｐ１と第２目標駐車位置Ｐ２との加重和を求めるようにしたが、これに限定されるものではない。例えば、第１目標駐車枠情報に含まれる目標駐車枠ＰＳａにおける端点Ｑ（図１参照）の位置と、第２目標駐車枠情報に含まれる目標駐車枠ＰＳａにおける端点Ｑの位置との加重和を求め、加重和で求めた端点Ｑを基に第３目標駐車枠情報（第３目標駐車位置Ｐ３）を生成して停車位置を決定してもよい。
【００９３】
さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。
【符号の説明】
【００９４】
１    画像処理装置
１０ａ  サイドカメラ
１０ｂ  リアカメラ
１０ｃ  フロントカメラ
２７１    第１生成部
２７２    第２生成部
２７３    距離算出部
２７４    決定部
Ｃ    車両
【図１】
2020166758.tif 000003
【図２】
2020166758.tif 000004
【図３】
2020166758.tif 000005
【図４】
2020166758.tif 000006
【図５】
2020166758.tif 000007
【図６】
2020166758.tif 000008
【図７】
2020166758.tif 000009