(57)【特許請求の範囲】
【請求項１】
車両周辺の駐車可能な領域を認識するための車載用画像処理装置であって、
前記車両に搭載されたカメラで撮影した周辺車両と路面の画像を視点変換して該路面を基準とする俯瞰画像を生成する俯瞰画像生成部と、
前記画像又は前記俯瞰画像から前記周辺車両のタイヤを認識するタイヤ認識部と、
前記画像又は前記俯瞰画像から前記周辺車両の車体を含む立体物を認識する立体物認識部と、
前記タイヤの接地位置と、該接地位置から前記車体までの地上高とを算出し、該地上高に基づいて前記俯瞰画像で前記車体下方に位置する前記路面の車体下領域を認識する車体下領域認識部と、
前記車体が存在する領域と前記車体下領域とを駐車不能領域として認識し、該駐車不能領域に基づいて前記路面上の駐車可能領域を認識する駐車可能領域認識部と、
を備えることを特徴とする車載用画像処理装置。
【請求項２】
前記車体下領域認識部は、
前記画像又は前記俯瞰画像に基づいて前記接地位置を算出する接地位置算出部と、
前記立体物から前記車体を認識する車体認識部と、
前記接地位置から前記車体までの距離に基づいて前記地上高を算出する地上高算出部と、
前記車体の輪郭線と前記地上高とに基づいて前記車体下領域を算出する車体下領域算出部と、
を備えることを特徴とする請求項１に記載の車載用画像処理装置。
【請求項３】
前記車体認識部は、前記タイヤ認識部が認識した前記タイヤに隣接している前記立体物を前記車体として認識することを特徴とする請求項２に記載の車載用画像処理装置。
【請求項４】
前記車両に搭載された画像表示部に前記駐車可能領域を表示させる画面設定を行う画面設定部をさらに備えることを特徴とする請求項１に記載の車載用画像処理装置。
【請求項５】
前記俯瞰画像生成部は、
前記カメラから画像を取得する画像取得部と、
前記画像取得部が取得した複数の前記画像を視点変換する画像変換部と、
を備えることを特徴とする請求項１から請求項４のいずれか一項に記載の車載用画像処理装置。
【請求項６】
前記立体物認識部は、複数の前記画像の差分又は複数の前記俯瞰画像の差分から前記立体物を認識することを特徴とする請求項１から請求項４のいずれか一項に記載の車載用画像処理装置。
【請求項７】
前記車両の速度及び角速度を計測する車載センサから計測データを取得するセンサ出力取得部をさらに備え、
前記立体物認識部は、前記カメラで異なる時間に撮影された第１の画像と第２の画像に基づいて前記俯瞰画像生成部が生成した第１の俯瞰画像と第２の俯瞰画像を取得すると共に、前記センサ出力取得部から取得した前記計測データに基づいて並行移動又は回転移動させた前記第１の俯瞰画像から前記第２の俯瞰画像を減算処理することで、前記立体物を認識することを特徴とする請求項６に記載の車載用画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば自動車の駐車支援に用いられる車載用画像処理装置に関する。
【背景技術】
【０００２】
近年、車載カメラの画像に基づいて駐車可能な領域が存在しているかどうかを判断することのできる車載用画像処理装置が開発されている。このような装置の一例として、車両の車幅を推定するための装置が知られている（例えば、下記特許文献１を参照）。
【０００３】
特許文献１に記載された装置では、駐車可能な領域が存在しているかどうかを判断するために、以下の手順によって車両の車幅を推定している。まず、車両を撮像し、撮像された画像から、車両のホイールおよびナンバープレートを認識する。次に、路面に平行な仮想平面上に、認識されたナンバープレート上の第１の点を投影する。次に、認識されたホイール上の、車両の車両長方向に沿った第２および第３の点を投影し、該第２および第３の点を結ぶよう第１の線を設定する。次に、第１の線に直交するよう第１の点から伸長する第２の線を設定して、第１の線および第２の線の交点を算出する。そして、この交点と、認識されたナンバープレートの車幅方向における中心との間の距離に基づいて、車両の車幅を推定する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−１９７５２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に記載された装置では、駐車可能な領域が存在しているかどうかを判断するために、車両のナンバープレートを認識することが前提となる。したがって、例えば、ナンバープレートを装着する前の車両を移動させて駐車する場合や、何らかの原因でナンバープレートを認識することができない場合等には、駐車可能な領域が存在しているかどうかを判断することができない。
【０００６】
本発明は、前記課題に鑑みてなされたものであり、その目的とするところは、ナンバープレートの認識を前提とすることなく、車両に搭載されたカメラの画像を処理して車両の周辺の駐車可能な領域を認識することができる車載用画像処理装置を提供することにある。
【課題を解決するための手段】
【０００７】
前記目的を達成すべく、本発明の車載用画像処理装置は、車両周辺の駐車可能な領域を認識するための車載用画像処理装置であって、前記車両に搭載されたカメラで撮影した周辺車両と路面の画像を視点変換して該路面を基準とする俯瞰画像を生成する俯瞰画像生成部と、前記画像又は前記俯瞰画像から前記周辺車両のタイヤを認識するタイヤ認識部と、前記画像又は前記俯瞰画像から前記周辺車両の車体を含む立体物を認識する立体物認識部と、前記タイヤの接地位置と、該接地位置から前記車体までの地上高とを算出し、該地上高に基づいて前記俯瞰画像で前記車体下方に位置する前記路面の車体下領域を認識する車体下領域認識部と、前記車体が存在する領域と前記車体下領域とを駐車不能領域として認識し、該駐車不能領域に基づいて前記路面上の駐車可能領域を認識する駐車可能領域認識部と、を備えることを特徴とする。
【発明の効果】
【０００８】
本発明の車載用画像処理装置によれば、カメラの画像を処理して車両の周辺の俯瞰画像を生成し、周辺車両の車体と車体下領域とを俯瞰画像で認識することで、ナンバープレートの認識を前提とすることなく、車両の周辺の駐車可能領域を認識することができ、駐車枠線がない場合でも、目標駐車位置を適切に認識することができる。
【図面の簡単な説明】
【０００９】
【図１】車両が周辺車両の間の駐車スペースに駐車する場面を想定した平面図。
【図２】車載用画像処理装置及びその周辺装置の構成を示すブロック図。
【図３】図２に示す車体下領域認識部のさらに詳細な構成を示すブロック図。
【図４】車体下領域認識部の画像処理を説明する画像図。
【図５】車体認識部が車体を認識する処理の一例を説明する画像図。
【図６】車載用画像処理装置の処理のステップを示すフロー図。
【発明を実施するための形態】
【００１０】
以下、図面を参照して本発明の車載用画像処理装置の実施の形態を説明する。
【００１１】
図１（ａ）及び（ｂ）は、車両１００が周辺車両Ｖの間の駐車スペースに駐車する場面を想定した平面図である。図２は、車載用画像処理装置１及びその周辺装置の構成を示すブロック図である。
【００１２】
車両１００には、車載用画像処理装置１と、車載カメラ２と、車載センサ３と、画像表示部４と、車両制御部５が搭載されている。本実施形態の車載用画像処理装置１は、車載カメラ２の画像を処理して周辺車両Ｖを含む車両１００周辺の立体物の間の駐車可能領域ＰＡを判定する装置である。以下、車両１００に搭載される車載用画像処理装置１及びその他の装置の構成について詳細に説明する。
【００１３】
車載カメラ２は、レンズ及び撮像素子を介して撮影した映像をデジタル変換し、画像データを出力する撮像装置である。車載カメラ２としては、例えば、ＣＣＤカメラが用いられる。車載カメラ２は、通常、カメラモジュールとしてモジュール化され、例えば、車両１００の側部のサイドミラーに設けられて、車両１００の斜め前方から斜め後方までの車両１００側方を広角で撮影する。なお、車載カメラ２を車両１００の側部だけでなく前部及び後部にも設け、複数の車載カメラ２によって車両１００の側方に加えて前方及び後方を撮影するようにしてもよい。
【００１４】
車載センサ３は、例えば、速度センサ、加速度センサ、角速度センサ、ジャイロスコープ、全地球測位システム（ＧＰＳ）等を含み、車両１００の速度、加速度、角速度、位置等を計測して計測データとして出力する。また、車載センサ３は、計測データとして、例えば、車両１００の走行経路、移動距離等を出力することができる。
【００１５】
画像表示部４は、車両１００のドライバーの運転の支障にならず、ドライバーに視認可能な位置に配置された画像表示装置である。画像表示部４としては、例えば、液晶表示装置、有機ＥＬディスプレイ、ヘッドアップディスプレイ、その他、公知の画像表示装置を用いることができる。画像表示部４は、車載用画像処理装置１によって処理された画像を、車載用画像処理装置１の設定に基づいて表示する。
【００１６】
車両制御部５は、車載用画像処理装置１から出力される制御信号に基づいて車両を制御する。具体的には、車両制御部５は、車載用画像処理装置１からの制御信号に含まれる、例えば、車両１００の現在位置と、駐車可能領域ＰＡの車両１００を駐車すべき位置との差分に基づいて、例えば、車両１００のステアリング、ギア、アクセル、ブレーキ等を操作して、自動運転によって車両１００を駐車可能領域ＰＡに駐車する。
【００１７】
本実施形態の車載用画像処理装置１は、例えば、中央演算処理装置（ＣＰＵ）と、ＣＰＵが直接アクセス可能な記憶装置と、該記憶装置に記憶されたプログラム等によって実現されている。車載用画像処理装置１は、主に、俯瞰画像生成部１１としての画像変換部１１ａと、タイヤ認識部１２と、立体物認識部１３と、車体下領域認識部１４と、駐車可能領域認識部１６と、によって構成されている。また、本実施形態の車載用画像処理装置１は、さらに、俯瞰画像生成部１１の一部としての画像取得部１１ｂと、センサ出力取得部１５と、画面設定部１７と、制御信号生成部１８とを備えている。
【００１８】
画像取得部１１ｂは、ＣＰＵの制御の下、車両１００に搭載された車載カメラ２から画像データを取得し、取得した画像データを記憶装置に格納する。同様に、センサ出力取得部１５は、ＣＰＵの制御の下、車両１００に搭載された車載センサ３から車両１００の速度及び加速度を含む計測データを取得し、取得した計測データを記憶装置に格納する。また、センサ出力取得部１５は、車載センサ３から取得した計測データから車両１００の走行経路、総移動距離をＣＰＵによって算出し、算出した走行経路、総移動距離を計測データとして記憶装置に格納するようにしてもよい。
【００１９】
画像変換部１１ａは、画像取得部１１ｂが取得して記憶装置に記憶された車載カメラ２の画像データを視点変換して、車両１００の上方に想定した仮想の視点から見下ろした車両１００周辺の俯瞰画像を生成する。ここで、画像変換部１１ａは、ＣＰＵの制御の下、車載カメラ２の画像データから路面Ｒを認識し、画像データに対して路面Ｒを基準とする座標変換を行って車両１００周辺の俯瞰画像を生成し、俯瞰画像データとして記憶装置に格納する。ここで、座標変換は、カメラパラメータを基に作成した座標変換テーブルを用いて行う。カメラパラメータは、焦点距離、画素ピッチ、レンズ歪、車両１００における車載カメラ２の取り付け位置及び姿勢である。
【００２０】
画像変換部１１ａは、カメラパラメータを用いて車両１００から所定の距離までの範囲の映像を変換し、俯瞰画像を生成することができる。車載カメラ２の画像から俯瞰画像を生成する技術は、車両周辺のモニタリングシステムとして実用化されている公知の技術であるため、ここでは詳細な処理方法についての説明を省略する。画像変換部１１ａが生成した俯瞰画像は、立体物認識部１３及びタイヤ認識部１２で用いられ、最終的に画像表示部４に表示させる画像の元になる。
【００２１】
以上のように、本実施形態の俯瞰画像生成部１１は、画像取得部１１ｂと画像変換部１１ａとを備え、車両１００に搭載された車載カメラ２で撮影した周辺車両Ｖと路面Ｒの画像を視点変換して、路面Ｒを基準とする俯瞰画像を生成する。
【００２２】
立体物認識部１３は、車載カメラ２がモノラルカメラである場合には、以下のデータに基づいて、周辺車両Ｖの車体及びタイヤを含む立体物が存在する領域を認識する。一つは、画像取得部１１ｂが異なる時間に取得した複数の画像から画像変換部１１ａが生成した複数の俯瞰画像のデータである。もう一つは、画像取得部１１ｂが前記複数の画像を取得する間にセンサ出力取得部１５が取得した車載センサ３の計測データである。
【００２３】
立体物認識部１３は、例えば、ある時間に撮影された第１の画像から生成した第１の俯瞰画像と、第１の画像の撮影から所定時間経過後に撮影された第２の画像から生成した第２の俯瞰画像とを取得する。このとき、立体物認識部１３は、画像取得部１１ｂが第１の画像及び第２の画像を取得した時刻であるタイムスタンプと、第１の俯瞰画像及び第２の俯瞰画像とを、それぞれ対応付けて記憶装置に格納する。
【００２４】
さらに、立体物認識部１３は、車載センサ３から取得した例えば移動距離とヨー角の計測データに基づいて、第１の俯瞰画像を並行移動又は回転移動させ、その移動後の第１の俯瞰画像から第２の俯瞰画像を減算処理して差分画像を取得する。ここで、第１の俯瞰画像の路面パターンと第２の俯瞰画像の路面パターンが重なるように、第１の俯瞰画像を並行移動又は回転移動して減算処理を行うことで、路面Ｒでは差分が小さくなり、路面Ｒ以外の立体物が存在する領域では差分が大きくなる。立体物認識部１３は、前記差分画像に対してラベリング処理を行い、ラベル画像を生成する。
【００２５】
ラベリング処理は、前記差分画像に含まれる各画素について、近傍点との濃淡差を計算し、その濃淡差の大きさが所定の範囲内であった場合に、同じ番号を各領域固有の番号として付与したラベル画像として出力する処理である。ラベリング処理で、前記差分画像の濃淡差が所定値よりも低い部分は、路面Ｒ又は不明領域として扱うが、自車近傍の不明領域は、路面Ｒとみなしてもよい。すなわち、前記ラベル画像は、車両１００周辺の路面Ｒと、車両１００周辺に駐車している周辺車両Ｖの車体を含む立体物が存在する領域とが認識された画像である。
【００２６】
なお、立体物認識部１３によって周辺車両Ｖの車体を含む立体物を認識する画像処理は、俯瞰画像ではなく、画像取得部１１ｂが取得した車載カメラ２の複数の画像を用いて行ってもよい。以上のように、立体物認識部１３は、車載カメラ２の画像又は俯瞰画像から、周辺車両Ｖの車体を含む立体物を認識する。
【００２７】
タイヤ認識部１２は、画像取得部１１ｂが取得した車載カメラ２の画像、又は、画像変換部１１ａが生成した俯瞰画像に、周辺車両Ｖが撮影されている場合に、カメラ画像又は俯瞰画像に対して、例えば、周辺車両Ｖの車体のエッジを抽出する処理や、パターンマッチング等の画像処理を行う。このような画像処理によって、タイヤ認識部１２は、周辺車両Ｖのタイヤを俯瞰画像上で直接認識し、又は、車載カメラ２の画像から周辺車両Ｖのタイヤを認識してタイヤの位置と領域を俯瞰画像上での位置と領域に変換し、俯瞰画像上でのタイヤの位置と領域を認識する。画像からタイヤを認識する技術は公知であるため、ここでは、これ以上の詳細な説明を省略する。以上のように、タイヤ認識部１２は、車載カメラ２の画像又は俯瞰画像から周辺車両Ｖのタイヤを認識する。
【００２８】
図３は、図２に示す車体下領域認識部１４のさらに詳細な構成を示すブロック図である。車体下領域認識部１４は、接地位置算出部１４ａと、車体認識部１４ｂと、地上高算出部１４ｃと、車体下領域算出部１４ｄと、を備えている。これにより、車体下領域認識部１４は、周辺車両Ｖのタイヤの接地位置と、その接地位置から周辺車両Ｖの車体までの地上高とを算出し、その地上高に基づいて俯瞰画像で車体下方に位置する路面Ｒの領域である車体下領域を認識することができる。以下、車体下領域認識部１４の各構成について詳細に説明する。
【００２９】
図４は、車体下領域認識部１４の画像処理を説明する画像図である。図４（ａ）は、画像取得部１１ｂが取得した車載カメラ２の画像の一例を示している。図４（ｂ）から（ｅ）は、画像変換部１１ａが生成した俯瞰画像に基づいて、車体下領域Ｒｄを認識する手順を示している。図４（ｆ）は、図４（ｅ）に示す車体下領域Ｒｄに対応する、車載カメラ２の画像内での車体下領域Ｒｄを示している。
【００３０】
接地位置算出部１４ａは、図４（ａ）に示すカメラ画像から画像変換部１１ａが生成した図４（ｂ）に示す俯瞰画像を用いて、タイヤＶｔの接地位置Ｔｇを認識する。カメラ画像及び俯瞰画像には、それぞれ、周辺車両Ｖの車体ＶｂとタイヤＶｔが含まれている。
【００３１】
まず、接地位置算出部１４ａは、立体物認識部１３から俯瞰画像内で立体物が存在する領域を取得する。ここで、俯瞰画像上で立体物が存在する領域は、車体Ｖｂが存在する領域とタイヤＶｔが存在する領域とを併せた領域として認識されている。また、接地位置算出部１４ａは、タイヤ認識部１２から俯瞰画像上でのタイヤＶｔの位置と領域を取得する。
【００３２】
次に、接地位置算出部１４ａは、俯瞰画像上でのタイヤＶｔの位置及び領域に基づいて、タイヤＶｔの輪郭計算を行い、タイヤＶｔの接地位置Ｔｇを認識する。より具体的には、接地位置算出部１４ａは、タイヤＶｔ全体を含む領域を選択し、その領域に対して、例えば、エッジ抽出処理、輝度補正処理、円検知処理等を実行してタイヤＶｔの外周部分すなわち外周輪郭を認識する。そして、外周輪郭に対して、エッジ方向抽出処理を実行して接線方向を算出し、その接線方向すなわちエッジ方向が路面Ｒに対して平行か否かを判定する。外周輪郭のエッジ方向が路面Ｒに対して平行であった点のうち、画面下部に最も近い点をタイヤＶｔの接地位置Ｔｇとして認識する。
【００３３】
図４（ｂ）に示す例において、周辺車両ＶのタイヤＶｔの接地点又は接地位置Ｔｇは、タイヤＶｔの外周輪郭上で車載カメラ２の位置Ｐｃまでの距離が最短となる点又は位置である。すなわち、車載カメラ２の位置ＰｃからタイヤＶｔの外周輪郭に交差する直線Ｌを引いたときに、外周輪郭と直線Ｌとの交点から車載カメラ２の位置Ｐｃまでの距離が最短となる交点の位置が、タイヤＶｔの接地点又は接地位置Ｔｇである。なお、接地位置算出部１４ａは、俯瞰画像ではなく、車載カメラ２の画像に基づいてタイヤＶｔの接地点又は接地位置Ｔｇを算出してもよい。以上のように、接地位置算出部１４ａは、車載カメラ２の画像又は俯瞰画像上でのタイヤＶｔの位置及び領域に基づいて、タイヤＶｔの接地点又は接地位置Ｔｇを算出する。
【００３４】
車体認識部１４ｂは、立体物認識部１３が認識した周辺車両Ｖの車体Ｖｂ及びタイヤＶｔを含む立体物から周辺車両Ｖの車体Ｖｂを認識する。ここで、車体認識部１４ｂは、タイヤ認識部１２が認識したタイヤＶｔに隣接している立体物を車体Ｖｂとして認識する。
【００３５】
例えば、立体物認識部１３が生成したラベル画像の一つのラベルが、一つの立体物と１対１で対応付けられている場合に、車体認識部１４ｂは、ラベル画像からタイヤＶｔの位置に対応するラベルを読み出す。そして、車体認識部１４ｂは、タイヤＶｔの位置に対応するラベル番号と同一のラベルを付され、タイヤＶｔに隣接している立体物を車体Ｖｂとして認識する。一方、立体物認識部１３が生成したラベル画像のラベルと立体物とが１対１で対応付けられていない場合に、車体認識部１４ｂは、立体物の路面Ｒに沿って延びる輪郭線Ｌｐ１，Ｌｐ２を認識する。そして、車体認識部１４ｂは、路面Ｒに沿って延びる輪郭線Ｌｐ１，Ｌｐ２を有し、タイヤＶｔに隣接している立体物を車体Ｖｂとして認識する。
【００３６】
図５は、立体物認識部１３が認識した立体物から、車体認識部１４ｂが車体Ｖｂを認識する処理の一例を説明する画像図である。ここで、図５に示す立体物は、車載カメラ２に撮影された周辺車両Ｖであり、車体ＶｂとタイヤＶｔとを含んでいる。車体認識部１４ｂは、タイヤ認識部１２によって認識されたタイヤＶｔの位置及び範囲を囲み、かつ路面Ｒよりも上方の領域を、例えば、前方領域Ａ１、後方領域Ａ２、及び上方領域Ａ３の三つの領域に分割する。ここで、分割する領域の数は、特に限定されない。
【００３７】
車体認識部１４ｂは、立体物認識部１３によって認識した立体物の位置に基づいて、各領域における立体物の有無を判定する。また、車体認識部１４ｂは、各領域Ａ１，Ａ２，Ａ３において、画像取得部１１ｂが取得した画像に対してエッジ抽出を行って輪郭を強調する。この輪郭情報を所定の方向に斜方投影し、得られた頻度ヒストグラムを参考にして、車体Ｖｂ全体を覆う外接矩形を算出する。
【００３８】
すなわち、車体認識部１４ｂは、周辺車両Ｖの車体ＶｂとタイヤＶｔの位置関係から車体Ｖｂの位置を算出し、車体Ｖｂの輪郭情報を任意の方向に斜方投影して、輪郭情報の頻度ヒストグラムを算出し、図４（ｃ）及び（ｄ）に示す車体Ｖｂ側面の下端の輪郭線Ｌｐ１とその延長線Ｌ１を算出する。同様に、車体認識部１４ｂは、図４（ｄ）に示す車体Ｖｂの前部又は後部の下端の輪郭線Ｌｐ２とその延長線Ｌ２を算出する。以上のように、車体認識部１４ｂは、立体物認識部１３が認識した立体物から周辺車両Ｖの車体Ｖｂを認識する。
【００３９】
地上高算出部１４ｃは、接地位置算出部１４ａが算出したタイヤＶｔの接地位置Ｔｇと、車体認識部１４ｂが認識した車体Ｖｂの位置とに基づいて、接地位置Ｔｇから車体Ｖｂまでの高さである周辺車両Ｖの地上高Ｖｈを算出する。より具体的には、地上高算出部１４ｃは、タイヤＶｔの接地位置Ｔｇから、車体Ｖｂの輪郭線Ｌｐ１の延長線Ｌ１までの距離を地上高Ｖｈとして算出する。すなわち、地上高算出部１４ｃは、路面Ｒに垂直な垂線を設定し、接地位置Ｔｇと車体Ｖｂの輪郭線Ｌｐ１の延長線Ｌ１との距離、又は、接地位置Ｔｇと車体Ｖｂの外接矩形の下辺との距離を、設定した垂線に沿って計測することで、地上高Ｖｈを算出する。
【００４０】
例えば、地上高算出部１４ｃは、図４（ｃ）に示すように、車載カメラ２の位置Ｐｃ及びタイヤＶｔの接地位置Ｔｇを通る直線Ｌと、車体Ｖｂ側面の下端の輪郭線Ｌｐ１の延長線Ｌ１との交点Ｐｘ１を算出し、この交点Ｐｘ１と接地点又は接地位置Ｔｇとの距離を、周辺車両ＶのタイヤＶｔの接地位置Ｔｇから車体Ｖｂまでの地上高Ｖｈとして算出する。以上のように、地上高算出部１４ｃは、周辺車両ＶのタイヤＶｔの接地位置Ｔｇから車体Ｖｂまでの距離に基づいて、周辺車両Ｖの地上高Ｖｈを算出する。
【００４１】
車体下領域算出部１４ｄは、地上高算出部１４ｃが算出した車体Ｖｂの下端の輪郭線Ｌｐ１と地上高Ｖｈとに基づいて、車体Ｖｂの下方に位置する路面Ｒ上の領域である車体下領域Ｒｄを算出する。車体下領域算出部１４ｄは、図４（ｄ）に示すように、車体認識部１４ｂによって算出された車体Ｖｂ側面の下端の輪郭線Ｌｐ１の延長線Ｌ１と、車体Ｖｂ前部又は後部の下端の輪郭線Ｌｐ２の延長線Ｌ２との交点Ｐｘ２を算出する。車体下領域算出部１４ｄは、この交点Ｐｘ２を、図４（ｃ）及び（ｅ）に示すように、路面Ｒに対する垂線すなわち車載カメラ２の位置及びタイヤＶｔの接地位置Ｔｇを通る直線Ｌと平行に、地上高Ｖｈと同じ距離だけ移動した点Ｐｘ３を算出する。
【００４２】
さらに、車体下領域算出部１４ｄは、交点Ｐｘ２を移動した点Ｐｘ３を基準として、車体下領域Ｒｄを算出する。例えば、車体下領域算出部１４ｄは、図４（ｄ）及び（ｅ）に示すように、車体Ｖｂ側面の下端の輪郭線Ｌｐ１の延長線Ｌ１と平行でかつ点Ｐｘ３を通る直線Ｌ１ａと、車体Ｖｂ前部又は後部の下端の輪郭線Ｌｐ２の延長線Ｌ２と平行でかつ点Ｐｘ３を通る直線Ｌ２ａとを算出する。そして、車体下領域算出部１４ｄは、例えば、輪郭線Ｌｐ１，Ｌｐ２と直線Ｌ１ａ，Ｌ２ａとの間の領域を、車体下領域Ｒｄとして算出する。
【００４３】
また、車体下領域算出部１４ｄは、俯瞰画像で算出した車体下領域Ｒｄ上の各点を、高さ０ｍの基準面である路面Ｒ又は地表面上に座標変換してもよい。これにより、図４（ｆ）に示すように、画像取得部１１ｂが取得した車載カメラ２の画像において、車体Ｖｂの下方に位置する路面Ｒ上の領域を車体下領域Ｒｄとして認識し、出力することができる。
【００４４】
以上のように、車体下領域認識部１４は、接地位置算出部１４ａと、車体認識部１４ｂと、車体下領域算出部１４ｄと、地上高算出部１４ｃと、を用い、タイヤＶｔの接地位置Ｔｇと、その接地位置Ｔｇから車体Ｖｂの下端までの地上高Ｖｈとを算出し、その地上高Ｖｈに基づいて俯瞰画像で車体Ｖｂ下方に位置する路面Ｒの車体下領域Ｒｄを認識する。
【００４５】
図２に示すように、駐車可能領域認識部１６は、車体下領域認識部１４によって認識した車体Ｖｂが存在する領域と車体下領域Ｒｄとを取得し、これらの領域を駐車不能領域ＮＰＡとして認識する。また、駐車可能領域認識部１６は、タイヤ認識部１２が認識したタイヤＶｔの位置及び範囲についても、駐車不能領域ＮＰＡとして認識する。そして、駐車可能領域認識部１６は、駐車不能領域ＮＰＡに基づいて路面Ｒ上の駐車可能領域ＰＡを認識する。
【００４６】
駐車可能領域認識部１６は、例えば、周辺車両Ｖ以外の立体物が存在する領域、及び、駐車不能領域ＮＰＡ以外の路面Ｒ上の領域を駐車可能領域ＰＡとして認識する。なお、駐車可能領域認識部１６は、例えば、周辺車両Ｖ以外の立体物が存在する領域、及び、駐車不能領域ＮＰＡを除いた路面Ｒ上の領域から駐車対象車両である車両１００の大きさ等を考慮して駐車可能領域ＰＡを認識するようにしてもよい。この場合、例えば、周辺車両Ｖの間の領域の大きさが車両１００の大きさよりも大きい場合には、当該領域を駐車可能領域ＰＡとして認識する。また、例えば、周辺車両Ｖの間の領域の大きさが車両１００の大きさよりも小さい場合には、当該領域を駐車不能領域ＮＰＡとして認識する。
【００４７】
画面設定部１７は、車両１００に搭載された画像表示部４に駐車可能領域ＰＡを表示させる画面設定を行う。例えば、画面設定部１７は、駐車可能領域認識部１６が認識した駐車可能領域ＰＡを、画像変換部１１ａが生成した俯瞰画像上に表示する画面設定を行う。また、画面設定部１７によって、画像取得部１１ｂが取得した車載カメラ２の画像上に駐車可能領域ＰＡを表示する画面設定を行うこともできる。
【００４８】
制御信号生成部１８は、駐車可能領域ＰＡを目標とする制御信号を生成して車両制御部５に対して出力する。より具体的には、制御信号生成部１８は、例えば、車両１００の現在位置と駐車可能領域ＰＡの車両１００の将来の駐車位置とを比較して位置の差分を算出し、その位置の差分に基づいて車両制御部５が車両１００と周辺車両Ｖとの衝突を回避して車両１００を移動させることができるように、制御信号を生成する。
【００４９】
以下、本実施形態の車載用画像処理装置１の作用について説明する。
【００５０】
図６は、車載用画像処理装置１の処理のステップＳ１〜Ｓ１５を示すフロー図である。図１に示すように、車両１００が周辺車両Ｖの間の駐車スペースＰの側方に差し掛かると、例えば車両１００のサイドミラーに設けられた車載カメラ２は、車両１００の斜め前方から斜め後方までの路面Ｒと、路面Ｒ上の周辺車両Ｖの画像を撮影する（ステップＳ１）。また、車載センサ３は、例えば、車両１００の速度、加速度、移動距離、ヨー角等を計測する（ステップＳ２）。画像取得部１１ｂは、車載カメラ２が撮影した画像を画像データとして取得する（ステップＳ３）。センサ出力取得部１５は、車載センサ３によって計測された計測データを取得する（ステップＳ４）。
【００５１】
画像変換部１１ａは、画像取得部１１ｂから取得した画像データを視点変換して、路面Ｒを基準とする俯瞰画像を生成する（ステップＳ５）。このように、本実施形態の車載用画像処理装置１は、俯瞰画像生成部１１として、画像取得部１１ｂと画像変換部１１ａとを備えている。そのため、俯瞰画像生成部１１は、画像取得部１１ｂによって車載カメラ２から画像を取得し、画像変換部１１ａによって画像取得部１１ｂが取得した複数の画像を視点変換することができる。これにより、俯瞰画像生成部１１は、車両１００に搭載された車載カメラ２で撮影した周辺車両Ｖと路面Ｒの画像を視点変換して路面Ｒを基準とする俯瞰画像を生成することができる。
【００５２】
立体物認識部１３は、画像変換部１１ａから取得した複数の俯瞰画像と、センサ出力取得部１５から取得した計測データに基づいて、差分画像を生成する（ステップＳ６）。さらに、立体物認識部１３は、差分画像に基づいて、周辺車両Ｖの車体Ｖｂ及びタイヤＶｔを含む立体物の抽出を行う（ステップＳ７）。このように、本実施形態の車載用画像処理装置１は、立体物認識部１３が、複数の画像の差分又は複数の俯瞰画像の差分を計算することで、立体物を認識することができる。また、車載用画像処理装置１がセンサ出力取得部１５を備えることで、車両１００の速度、加速度、移動距離、角速度等を計測する車載センサ３から計測データを取得することができる。
【００５３】
また、立体物認識部１３は、車載カメラ２で異なる時間に撮影された第１の画像と第２の画像に基づいて前記画像変換部１１ａが生成した第１の俯瞰画像と第２の俯瞰画像を取得する。さらに、立体物認識部１３は、センサ出力取得部１５から取得した計測データに基づいて並行移動又は回転移動させた第１の俯瞰画像から第２の俯瞰画像を減算処理することで、立体物を認識する。したがって、本実施形態の車載用画像処理装置１によれば、車載カメラ２としてモノラルカメラを用いた場合でも、車載カメラ２の画像又は俯瞰画像から立体物を認識することができる。
【００５４】
立体物認識部１３による立体物の認識の後、又はそれと並行して、タイヤ認識部１２は、画像取得部１１ｂが取得した車載カメラ２の画像、又は、画像変換部１１ａが視点変換した俯瞰画像から、周辺車両ＶのタイヤＶｔを検知して認識する（ステップＳ８）。
【００５５】
次に、車体下領域認識部１４は、例えば、接地位置算出部１４ａによって、車載カメラ２の画像又は俯瞰画像上でのタイヤＶｔの位置及び領域に基づいて、タイヤＶｔの接地点又は接地位置Ｔｇを算出する（ステップＳ９）。次に、車体下領域認識部１４は、例えば、車体認識部１４ｂによって、立体物認識部１３が認識した周辺車両Ｖの車体Ｖｂ及びタイヤＶｔを含む立体物から車体Ｖｂが存在する車体領域を検知し、周辺車両Ｖの車体Ｖｂを認識する（ステップＳ１０）。次に、車体下領域認識部１４は、例えば、地上高算出部１４ｃによって、接地位置算出部１４ａが算出したタイヤＶｔの接地位置Ｔｇと、車体認識部１４ｂが認識した車体Ｖｂの位置とに基づいて、接地位置Ｔｇからの車体高さである周辺車両Ｖの地上高Ｖｈを算出する（ステップＳ１１）。
【００５６】
次に、車体下領域認識部１４は、例えば、車体下領域算出部１４ｄによって、地上高算出部１４ｃが算出した車体Ｖｂの下端の輪郭線と地上高Ｖｈとに基づいて、車体Ｖｂの下方に位置する路面Ｒ上の領域である車体下領域Ｒｄを算出する（ステップＳ１２）。このように、本実施形態の車載用画像処理装置１は、タイヤＶｔの接地位置Ｔｇと、該接地位置Ｔｇから前記車体Ｖｂまでの地上高Ｖｈとを算出し、地上高Ｖｈに基づいて俯瞰画像で車体Ｖｂ下方に位置する路面Ｒの車体下領域Ｒｄを認識する車体下領域認識部１４を備えている。したがって、俯瞰画像で車体Ｖｂ下方に位置する路面Ｒ上の領域を誤って駐車可能領域ＰＡと判断することがない。
【００５７】
一方、車体下領域認識部１４を備えない場合には、図４（ｅ）に示すように、俯瞰画像において周辺車両Ｖの車体Ｖｂ下方に位置する路面Ｒ上の駐車不能領域ＮＰＡが、駐車可能領域ＰＡと判定される。これは、周辺車両Ｖが路面Ｒから車体Ｖｂまで所定の地上高Ｖｈを有し、車載カメラ２の画像に周辺車両Ｖの真下に位置する路面Ｒが撮影され、そこには立体物である車体Ｖｂ及びタイヤＶｔが存在しないからである。すなわち、車体下領域認識部１４を備えない場合には、路面Ｒを基準として車載カメラ２の画像を視点変換して俯瞰画像を生成すると、実際には車両１００の駐車が不可能な周辺車両Ｖの真下の路面Ｒと、周辺車両Ｖの周囲の駐車可能な路面Ｒとが区別できない。そのため、周辺車両Ｖが存在する駐車不能領域ＮＰＡが実際よりも小さく判定され、駐車の際に車両１００が周辺車両Ｖに衝突する可能性がある。
【００５８】
これに対し、本実施形態の車載用画像処理装置１は、タイヤＶｔの接地位置Ｔｇと、該接地位置Ｔｇから前記車体Ｖｂまでの地上高Ｖｈとを算出し、地上高Ｖｈに基づいて俯瞰画像で車体Ｖｂ下方に位置する路面Ｒの車体下領域Ｒｄを認識する車体下領域認識部１４を備えている。したがって、本実施形態の車載用画像処理装置１によれば、車両１００を駐車することができない周辺車両Ｖの真下の路面Ｒと、周辺車両Ｖの周囲の駐車可能な路面Ｒとを区別し、駐車可能領域ＰＡを正確に判断することができ、仮に駐車枠線がない場所でも、目標駐車位置を適切に認識することができる。また、ナンバープレートの認識を必要としないので、例えば、ナンバープレートを装着する前の車両１００を移動させて駐車する場合や、何らかの原因でナンバープレートを認識することができない場合でも、駐車可能領域ＰＡを正確に判断することができる。
【００５９】
また、本実施形態の車載用画像処理装置１は、周辺車両ＶのタイヤＶｔを認識する手法を採用するため、周辺車両Ｖの大きさや、種類（例えば、小型自動車等の軽自動車、通常の乗用車、大型車等）によらずに適切に駐車可能領域ＰＡを認識することができる。さらには、一部のバスやトラックのように、後輪が２つのタイヤになっている場合であっても、最も外側のタイヤを認識するため、内側のタイヤの存在に関わらず、適切に駐車可能領域ＰＡを認識することができる。
【００６０】
なお、図１（ａ）に示すように、車両１００を駐車可能領域ＰＡに駐車する際に、車両１００を進行方向と交差する方向に向けて駐車する並列駐車では、車両１００の進行方向の前後に隣接する周辺車両Ｖ，Ｖの側面の間隔から、駐車スペースの幅を求め、駐車可能領域とすることができる。また、図１（ｂ）に示すように、車両１００を駐車可能領域ＰＡに駐車する際に、車両１００を進行方向に沿う方向に向けて駐車する縦列駐車では、車両１００の進行方向の前後に隣接する周辺車両Ｖ，Ｖの背面と前面から駐車スペースの幅を求め、駐車可能領域ＰＡとすることができる。
【００６１】
ここで、車体下領域認識部１４は、接地位置算出部１４ａと、車体認識部１４ｂと、地上高算出部１４ｃと、車体下領域算出部１４ｄと、を備えている。そのため、車体下領域認識部１４は、接地位置算出部１４ａによって車載カメラ２の画像又は俯瞰画像に基づいて周辺車両ＶのタイヤＶｔの接地位置Ｔｇを算出することができる。また、車体下領域認識部１４は、車体認識部１４ｂによって立体物から車体Ｖｂを認識し、地上高算出部１４ｃによって車体Ｖｂの下端の輪郭線Ｌｐ１と地上高Ｖｈとに基づいて車体下領域Ｒｄを算出することができる。そして、車体下領域認識部１４は、車体下領域算出部１４ｄによって、車体Ｖｂの下端の輪郭線Ｌｐ１，Ｌｐ２と地上高Ｖｈとに基づいて車体下領域Ｒｄを算出することができる。また、車体認識部１４ｂが、タイヤ認識部１２が認識したタイヤＶｔに隣接している立体物を車体Ｖｂとして認識することで、立体物から周辺車両Ｖの車体Ｖｂを抽出して認識することができる。
【００６２】
以上のように、車体下領域認識部１４が車体下領域Ｒｄを判定した後、駐車可能領域認識部１６は、周辺車両Ｖの車体Ｖｂが存在する領域と、車体下領域Ｒｄとを、駐車不能領域ＮＰＡとして認識し、駐車不能領域ＮＰＡに基づいて路面Ｒ上の駐車可能領域ＰＡを認識する（ステップＳ１３）。このように、周辺車両Ｖの車体Ｖｂが存在する領域と車体下領域Ｒｄとを駐車不能領域ＮＰＡとして認識する駐車可能領域認識部１６を備えることで、駐車不能領域ＮＰＡが実際よりも小さく認識されることがなく、駐車の際に車両１００が周辺車両Ｖに衝突することを防止できる。
【００６３】
さらに、画面設定部１７は、車両１００に搭載された画像表示部４に駐車可能領域ＰＡを表示させる画面設定を行う（ステップＳ１４）。これにより、画像表示部４に車載カメラ２の画像又は俯瞰画像と共に駐車可能領域ＰＡを表示することが可能になる。最後に、画像表示部４は、画面設定部１７の設定に基づいて、画面に車載カメラ２の画像又は俯瞰画像と共に駐車可能領域ＰＡを表示する（ステップＳ１５）。これにより、車両１００のドライバーの駐車を支援し、又は、駐車可能領域ＰＡに基づいて制御信号生成部１８が制御信号を生成し、車両制御部５によって車両１００を制御することで、車両１００を自動駐車させることが可能になる。
【００６４】
以上説明したように、本実施形態の車載用画像処理装置１によれば、ナンバープレートの認識を前提とすることなく、駐車枠線がない場所でも、車載カメラ２の画像を処理して駐車可能領域ＰＡを正確に判断することができる。
【００６５】
以上、図面を用いて本発明の実施の形態を詳述してきたが、具体的な構成はこの実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲における設計変更等があっても、それらは本発明に含まれるものである。
【００６６】
例えば、前述の実施の形態では、車載用画像処理装置、車載カメラ、車載センサ及び画像表示部とは、別の構成として説明した。しかし、画像処理装置、車載カメラ、車載センサ及び画像表示部の少なくとも一つを画像処理装置の構成に含めてもよい。また、前述の実施の形態では、車載カメラがモノカメラである場合について説明したが、車載カメラはステレオカメラであってもよい。この場合、立体物認識部は、ステレオカメラによって同時に撮影された２つの画像に基づいて、立体物が存在する領域を認識することができる。
【符号の説明】
【００６７】
１  車載用画像処理装置、２  車載カメラ、３  車載センサ、４  画像表示部、１１  俯瞰画像生成部、１１ａ  画像変換部、１１ｂ  画像取得部、１２  タイヤ認識部、１３  立体物認識部、１４  車体下領域認識部、１４ａ  接地位置算出部、１４ｂ  車体認識部、１４ｃ  地上高算出部、１４ｄ  車体下領域算出部、１５  センサ出力取得部、１６  駐車可能領域認識部、１７  画面設定部、１００  車両、ＮＰＡ  駐車不能領域、ＰＡ  駐車可能領域、Ｒ  路面、Ｒｄ  車体下領域、Ｔｇ  接地位置、Ｖ  周辺車両、Ｖｂ  車体（立体物）、Ｖｈ  地上高、Ｖｔ  タイヤ
【図１】
0006316161.tif 000002
【図２】
0006316161.tif 000003
【図３】
0006316161.tif 000004
【図４】
0006316161.tif 000005
【図５】
0006316161.tif 000006
【図６】
0006316161.tif 000007