(57)【特許請求の範囲】
【請求項１】
車両後方を撮像する撮像手段と、この撮像手段により撮像した後方画像の歪みを補正する歪み補正手段と、前記撮像手段により撮像した後方画像を俯瞰画像に変換する画像変換手段と、画像を表示する表示手段と、車両進行方向と直行方向に延びる駐車枠の白線と車両との距離に基づいて、前記表示手段に表示する画像を歪み補正画像と俯瞰画像とのいずれかに切り換える表示切換制御手段とを備えた駐車支援装置において、前記画像変換手段により変換された俯瞰画像の駐車枠の２本の略垂直の縦線間の領域を上端から下端まで等間隔に複数の画素行を設定する画素行設定手段と、各画素行の輝度と上下の画素行の輝度との差分を算出する差分算出手段と、この差分算出手段により算出された差分の最大値を抽出する最大値抽出手段と、この最大値抽出手段により抽出された差分の最大値が予め設定されたしきい値以上か否かを判定するしきい値判定手段とを備え、このしきい値判定手段により差分がしきい値以上と判定された時には、差分が最大の画素行の位置を前記車両進行方向と直行方向に延びる駐車枠の白線と認識し、前記表示切換制御手段により俯瞰画像に切り換えることを特徴とする駐車支援装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は駐車枠の横線検出方法及び駐車支援装置に係り、特に輝度画像から縦の白線間の横線を検出するとともに、輝度画像から横線を検出するための計算を容易とし、駐車枠の後端を検出して適当なタイミングで表示画像を切り換える駐車枠の横線検出方法及び駐車支援装置に関するものである。
【背景技術】
【０００２】
車両には、駐車時の運転を支援するために、自車両の後方を撮像する撮像手段を設け、画像を表示する表示手段を設け、撮像手段により撮像された自車両の後方画像（カメラ画像）を表示手段に表示させる制御手段を設けた駐車支援装置を搭載しているものがある。
この駐車支援装置においては、画像処理技術により、超広角の撮影手段（バックカメラ等）の画像を、歪みを補正した歪み補正画像及び真上から見下ろしたような俯瞰画像に変換して、運転者に提示するシステムが実用化されている。
上述の歪み補正画像は、周囲の視野を確保しつつ駐車枠（駐車スペース）の白線が直線として見えるため、駐車枠に接近するときに有効な画像である。また、上述の俯瞰画像は、車両に近接するエリアの距離感が掴みやすいこと、白線と自車両との関係が直観的に分かりやすいことから、駐車位置に近づいたときに有効な画像である。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−２９１７９１号公報
【特許文献２】特開２００９−２００９２５号公報
【特許文献３】特開２００９−２８４３８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、従来の駐車支援装置においては、俯瞰画像から白線の縦エッジを抽出し、ハフ変換処理により白線の位置と角度とを求め、その後に、白線の後端位置を検出している。
このとき、白線の後端と車両の後端との距離が一定以下になった際に、駐車目標位置に近づいたとして、歪み補正画像から俯瞰画像に切り換えている。
【０００５】
そして、駐車場によっては駐車区画が連続して存在し、白線が繋がって引かれている場合がある。
このとき、駐車しようとする区画の白線の後端は存在しないため、従来の手法では白線の後端が検出できず、画面を切り換えることができないという不都合がある。
【０００６】
上記特許文献１の段落［００４６］には、駐車枠線の縦線と横線との両方を検出することが記載されている。
しかし、縦線及び横線の検出方法については、エッジ抽出としか記載されていない。
これに対して、この発明においては、駐車枠の横線を検出するのにエッジ抽出することなく、輝度画像から横線を検出するものである。
したがって、この発明は、簡単な処理で横線を検出することができるので、上記特許文献１にはない効果を有している。
【０００７】
また、上記特許文献２に開示されるものは、駐車枠の縦線の長さが設定距離以下になった時に俯瞰画像に切り換えるものである。
したがって、輪止めの有無にかかわらず、俯瞰画像に切り換えることができる。
しかし、上記特許文献２に開示されるものでは、前後の駐車枠が横線で区切られている場合には対応できない。
これに対して、この発明は、駐車枠の横線を検出し、俯瞰画像に切り換えることができるという効果を有している。
【０００８】
更に、上記特許文献３に開示されるものは、駐車枠の縦線と車両が平行になった時に俯瞰画像に切り換えるものである。
したがって、輪止めの有無にかかわらず、俯瞰画像に切り換えることができる。
しかし、上記特許文献３に開示されるものも、上述した特許文献２に開示されるものと同様に、前後の駐車枠が横線で区切られている場合には対応できない。
【０００９】
追記すれば、超広角のバックカメラ画像を画像処理技術により、歪みを補正した画像及び真上から見下ろしたような俯瞰画像に変換して、運転者に提示するシステムが実用化されている。
このとき、歪み補正画像は周囲の視野を確保しつつ白線が直線として見えるため、駐車枠に接近するときに有効な画像である。
前記俯瞰画像は車両に近接するエリアの距離感が掴み易いこと、白線と自車両との関係が直感的に分かり易いことから、駐車位置に近づいたときに有効な画像である。
従来、歪み補正画像と俯瞰画像との切換は、運転者が自らスイッチ操作をしていたが、駐車後退時は周囲確認やハンドル操作などの運転タスクが集中するため、画像切換のスイッチ操作が煩わしいという不都合があった。
前記歪み補正画像と俯瞰画像とを自動的に切り換える方法としては、カメラ画像から左右の白線を検出して自車両と白線とが平行になった場合に、白線の後端を検出して車両と白線後端との距離がしきい値以下になったら、画像切換を自動で行う手法がある。
【００１０】
上述の画像切換を自動で行う手法を実現する駐車支援装置３０１は、図１１に示す如く、自車両の後方を撮像する撮像手段（「カメラ」ともいう。）３０２と、画像を表示する表示手段（「モニタ」ともいう。）３０３と、撮像手段３０２により撮像された自車両の後方画像（カメラ画像）を表示手段３０３に表示させる制御手段３０４とを備えている。
このとき、前記撮像手段３０２は、車両の後部に取り付けた超広角のバックカメラ等の撮像機器からなる。
また、前記表示手段３０３は、車両の車室内に配置されたカーナビゲーションシステムのモニタ等の表示機器からなる。
更に、前記制御手段３０４は、撮像手段３０２により撮像された後方画像（図１３（ａ）参照。）を映像記録部３０５に取り込み、映像切換え判定部３０６に入力している。
そして、この映像切換え判定部３０６からのデータを後方画像の歪みを補正して歪み補正画像にする歪み補正変換部３０７と、撮像手段３０２により撮像された後方画像を俯瞰画像に変換する俯瞰変換部３０８と、前記歪み補正変換部３０７と俯瞰変換部３０８とに接続し、歪み補正映像を俯瞰映像に自動切換えして、前記表示手段３０３に表示する（図１３（ｂ）参照。）映像出力部３０９とを備えている。
【００１１】
ここで、前記駐車支援装置３０１の制御動作を、図１２のシステム動作用フローチャートに沿って説明する。
前記駐車支援装置３０１のシステム動作用プログラムがスタート（４０１）すると、前記撮像手段３０２からのカメラ映像を映像記録部３０５に取り込んで記録する処理（４０２）に移行する。
そして、このカメラ映像を記録する処理（４０２）の後に、白線の位置と角度を算出する処理（４０３）に移行する。
この白線の位置と角度を算出する処理（４０３）の後に、車両と白線が平行であるか否かの判断（４０４）に移行する。
そして、車両と白線が平行であるか否かの判断（４０４）において、判断（４０４）がＹＥＳの場合には、白線端の検出、及び、輪留めの検出、車速パルスのカウントを行う処理（４０５）に移行する一方、判断（４０４）がＮＯの場合には、歪み補正映像に変換する処理（４０８）に移行する。
前記白線端の検出、及び、輪留めの検出、車速パルスのカウントを行う処理（４０５）の後には、画像を切り換えるか否かの判断（４０６）に移行する。
この画像を切り換えるか否かの判断（４０６）において、判断（４０６）がＹＥＳの場合には、俯瞰映像に変換する処理（４０７）に移行し、判断（４０６）がＮＯの場合には、歪み補正映像に変換する処理（４０８）に移行する。
そして、俯瞰映像に変換する処理（４０７）、及び、歪み補正映像に変換する処理（４０８）の後には、前記表示手段３０３に映像出力を行う処理（４０９）に移行し、その後に前記駐車支援装置３０１のシステム動作用プログラムのエンド（４１０）に移行する。
【００１２】
また、従来手法による白線の後端の検出例を、図１４に開示する。
この図１４（ａ）の検出例１のカメラ画像のような白線の場合には、エッジの俯瞰変換から明らかなように、白線の後端が検出可能である。
しかし、図１４（ｂ）の検出例２のカメラ画像のような白線の場合には、白線が後ろの駐車枠と続いているため、白線の後端が検出できない。
図１４（ｂ）の検出例２のエッジの俯瞰変換から明らかなように、横線と交差する箇所にわずかに途切れができる場合があるが、全体の長さに対して微少であるため、汚れや隠れなどによる途切れとの区別がつかず、この箇所を白線の後端と検出することは困難であるという不都合がある。
【００１３】
この発明は、輝度画像から縦の白線間の横線を検出すること、輝度画像から横線を検出するための計算を容易にすること、駐車枠の後端を検出して適当なタイミングで表示画像を切り換えることを目的としている。
【課題を解決するための手段】
【００１４】
そこで、この発明は、上述不都合を除去するために、車両後方を撮像する撮像手段と、この撮像手段により撮像した後方画像の歪みを補正する歪み補正手段と、前記撮像手段により撮像した後方画像を俯瞰画像に変換する画像変換手段と、画像を表示する表示手段と、車両進行方向と直行方向に延びる駐車枠の白線と車両との距離に基づいて、前記表示手段に表示する画像を歪み補正画像と俯瞰画像とのいずれかに切り換える表示切換制御手段とを備えた駐車支援装置において、前記画像変換手段により変換された俯瞰画像の駐車枠の２本の略垂直の縦線間の領域を上端から下端まで等間隔に複数の画素行を設定する画素行設定手段と、各画素行の輝度と上下の画素行の輝度との差分を算出する差分算出手段と、この差分算出手段により算出された差分の最大値を抽出する最大値抽出手段と、この最大値抽出手段により抽出された差分の最大値が予め設定されたしきい値以上か否かを判定するしきい値判定手段とを備え、このしきい値判定手段により差分がしきい値以上と判定された時には、差分が最大の画素行の位置を前記車両進行方向と直行方向に延びる駐車枠の白線と認識し、前記表示切換制御手段により俯瞰画像に切り換えることを特徴とする。
【発明の効果】
【００１５】
この発明によれば、駐車枠が後方の駐車枠と白線で区切られているだけの場合でも、駐車枠の後端を検出することができ、適当なタイミングで表示画像を切り換えることができる。
【図面の簡単な説明】
【００１６】
【図１】図１はこの発明の実施例を示す駐車支援装置のシステム構成図である。（実施例）
【図２】図２は駐車支援装置のシステム動作用フローチャートである。（実施例）
【図３】図３は交差線検出用のフローチャートである。（実施例）
【図４】図４はカメラ映像記録例を示す図である。（実施例）
【図５】図５は縦エッジの俯瞰画像変換例を示す図である。（実施例）
【図６】図６はハフ変換による白線検出を示す図である。（実施例）
【図７】図７は輝度の俯瞰変換を示す図である。（実施例）
【図８】図８は輝度の差分計算範囲を示す図である。（実施例）
【図９】図９は差分計算点を示す図である。（実施例）
【図１０】図１０は輝度の差分値の計算例を示す図である。（実施例）
【図１１】図１１はこの発明の従来技術を示す駐車支援装置のシステム構成図である。
【図１２】図１２は従来の駐車支援装置のシステム動作用フローチャートである。
【図１３】図１３はバックカメラの表示映像を示し、（ａ）はバックカメラ映像を示す図、（ｂ）は自動切換えのモニタ画面を示す図である。
【図１４】図１４は従来手法による白線後端の検出例を示し、（ａ）は検出例１のカメラ画像とエッジの俯瞰変換を示す図、（ｂ）は検出例２のカメラ画像とエッジの俯瞰変換を示す図である。
【発明を実施するための形態】
【００１７】
以下図面に基づいてこの発明の実施例を詳細に説明する。
【実施例】
【００１８】
図１〜図１０はこの発明の実施例を示すものである。
図１において、１は駐車支援装置である。
この駐車支援装置１は、図１に示す如く、自車両後方を撮像する撮像手段２と、画像を表示する表示手段３と、撮像手段２により撮像された自車両の後方画像を表示手段３に表示させる制御手段４とを備えている。
このとき、前記撮像手段２は、車両の後部に取り付けた超広角のバックカメラ等の撮像機器からなる。
また、前記表示手段３は、車両の車室内に配置されたカーナビゲーションシステムのモニタ等の表示機器からなる。
更に、前記制御手段４は、前記撮像手段２により撮像した後方画像の歪みを補正する歪み補正手段５と、前記撮像手段２により撮像した後方画像を俯瞰画像に変換する画像変換手段６と、表示切換制御手段７と、を備えている。
つまり、前記駐車支援装置１は、図１に示す如く、車両後方を撮像する前記撮像手段２と、この撮像手段２により撮像した後方画像の歪みを補正する前記歪み補正手段５と、前記撮像手段２により撮像した後方画像を俯瞰画像に変換する前記画像変換手段６と、画像を表示する前記表示手段３と、駐車枠の白線後端と車両との距離に基づいて、前記表示手段３に表示する画像を歪み補正画像と俯瞰画像とのいずれかに切り換える前記表示切換制御手段７とを備えている。
【００１９】
そして、前記駐車支援装置１は、図１に示す如く、前記画像変換手段６により変換された俯瞰画像の駐車枠の２本の略垂直の縦線間の領域を上端から下端まで等間隔に複数の画素行を設定する画素行設定手段８と、各画素行の輝度と上下の画素行の輝度との差分を算出する差分算出手段９と、この差分算出手段９により算出された差分の最大値を抽出する最大値抽出手段１０と、この最大値抽出手段１０により抽出された差分の最大値が予め設定されたしきい値以上か否かを判定するしきい値判定手段１１とを備え、このしきい値判定手段１１により差分がしきい値以上と判定された時には、差分が最大の画素行の位置を縦線間に横線が引かれている位置とし、駐車枠の後端と認識し、前記表示切換制御手段７により俯瞰画像に切り換える構成を有している。
従って、駐車枠が後方の駐車枠と白線で区切られているだけの場合でも、駐車枠の後端を検出することができ、適当なタイミングで表示画像を切り換えることができる。
【００２０】
また、前記駐車支援装置１における駐車枠の横線検出方法は、２本の略垂直の白線を検出済みの輝度画像を俯瞰画像に変換し、前記俯瞰画像上の２本の略垂直の白線間の領域において、領域の上端から下端まで等間隔に複数の画素行を設定し、前記各画素行の輝度と上下の画素行の輝度との差分を算出し、前記算出された差分の最大値を抽出し、この最大値が予め設定された値以上の時には、差分が最大の画素行の位置を２本の略垂直の白線間に横線が引かれている位置とする構成を有している。
従って、横方向のエッジ画像を作成することなく、輝度画像から縦の白線間の横線を検出することができる。
そして、縦の白線が垂直になった時に輝度画像から横線を検出するため、探索範囲を単純な矩形とすることができ、計算を容易にすることができる。
【００２１】
詳述すれば、前記駐車支援装置１は、従来の画面切換判定でＮＯとなった場合に、さらに交差線の検出を行い、交差線が存在する場合には白線後端として俯瞰画像に変換する。
また、交差線が存在しない場合には白線の後端はないものとして、歪み補正映像に変換する。
【００２２】
そして、この発明の提案手法において、前記駐車支援装置１は、はじめに前記撮像手段２から入力された映像を記録する（図４のカメラ映像記録例参照。）。
記録された映像から縦エッジを抽出して俯瞰画像に変換する（図５の縦エッジの俯瞰画像変換例参照。）。
そして、俯瞰画像上のエッジ点を投票点としてハフ変換処理（図６のハフ変換による白線検出参照。）により、白線の位置と傾きとを検出する。
画像の各候補点ｐ（ｘ、ｙ）の座標値ｘ、ｙからθｍｉｎからθｍａｘまでのρの値を計算して、ρ−θ空間に投票する。
画像の右半分と左半分とのそれぞれの投票点数が最も高かった箇所（ρL、θL）と（ρR、θR）とを左右それぞれの白線Ｌ、Ｒとする。
その後、輝度画像を俯瞰画像に変換する（図７の輝度の俯瞰変換参照。）。
輝度の俯瞰画像上で白線Ｌと白線Ｒとの間の交差線を探索する。
図８〜図１０に示す如く、上端ｙＵを探索開始行、下端ｙＤを探索終了行とし、各行ｙｃにおける輝度の差分値ｄｉｆ＿ｙを計算する。
輝度の差分値が最大の行ｙｐｅａｋを抽出し、差分値が一定値以上なら交差線とする。
各行ｙｃにおける輝度の差分値ｄｉｆ＿ｙの計算方法として、以下の計算式の「数１」と「数２」とのいずれか一方を用いる。
このとき、どちらを使用するかは、経験的に決定すれば良い。
【数１】
0005510900.tif 000002
【数２】
0005510900.tif 000003
【００２３】
次に、図２の駐車支援装置１のシステム動作用フローチャートに沿って作用を説明する。
【００２４】
前記駐車支援装置１のシステム動作用プログラムが開始（１０１）すると、前記撮像手段２から入力された映像を記録、つまりカメラ映像を記録する処理（１０２）に移行する。
そして、カメラ映像を記録する処理（１０２）の後に、白線の位置と角度を算出する処理（１０３）に移行する。
また、白線の位置と角度を算出する処理（１０３）の後には、車両と白線が平行か否かの判断（１０４）に移行する。
この車両と白線が平行か否かの判断（１０４）において、判断（１０４）がＹＥＳの場合には、白線端の検出、輪留めの検出、車速パルスのカウントを行う処理（１０５）に移行する。
判断（１０４）がＮＯの場合には、歪み補正映像に変換する処理（１０６）に移行する。
そして、白線端の検出、輪留めの検出、車速パルスのカウントを行う処理（１０５）の後には、画像を切り換えるか否かの判断（１０７）に移行する。
この画像を切り換えるか否かの判断（１０７）において、判断（１０７）がＮＯの場合には、交差線の検出を行う処理（１０８）に移行し、その後に、交差線があるか否かの判断（１０９）に移行する。
この交差線があるか否かの判断（１０９）において、判断（１０９）がＮＯの場合には、上述した歪み補正映像に変換する処理（１０６）に移行する。
また、交差線があるか否かの判断（１０９）がＹＥＳの場合、そして、上述した画像を切り換えるか否かの判断（１０７）がＹＥＳの場合には、俯瞰画像に変換する処理（１１０）に移行する。
そして、この俯瞰画像に変換する処理（１１０）、及び、上述の歪み補正映像に変換する処理（１０６）の後には、前記表示手段３に映像出力する処理（１１１）に移行し、その後に、前記駐車支援装置１のシステム動作用プログラムの終了（１１２）に移行する。
【００２５】
また、図３の交差線検出用のフローチャートに沿って作用を説明する。
【００２６】
前記駐車支援装置１の交差線検出用のプログラムが開始（２０１）すると、前記撮像手段２から入力された映像を記録（図４参照。）する処理（２０２）に移行する。
そして、記録された映像から縦エッジの抽出及び俯瞰画像に変換（図５参照。）する処理（２０３）に移行する。
この処理（２０３）には、俯瞰画像上のエッジ点を投票点としてハフ変換（図６参照。）による左右の白線の検出を行う処理（２０４）に移行する。この処理（２０４）においては、白線の傾きを検出する。
つまり、図６に示す如く、画像の各候補点ｐ（ｘ，ｙ）からθｍｉｎからθｍａｘまでのρの値を計算して、ρ−θ空間に投票する。画面の右半分と左半分とのそれぞれで投票点数が最も高かった箇所（ρL、θL）と（ρR、θR）を左右それぞれの白線とする。
その後、俯瞰画像の俯瞰変換する処理（２０５）に移行する。
そして、左右の白線位置Ｌ、Ｒをセットする処理（２０６）に移行する。
この左右の白線位置Ｌ、Ｒをセットする処理（２０６）の後には、開始行ｙＵをセットする処理（２０７）に移行し、各行の輝度の差分値ｄｉｆ＿ｙを計算する処理（２０８）に移行する。
また、各行の輝度の差分値ｄｉｆ＿ｙを計算する処理（２０８）の後には、最終行ｙＤに達したか否かの判断（２０９）に移行する。
この最終行ｙＤに達したか否かの判断（２０９）において、判断（２０９）がＮＯの場合には、各行の輝度の差分値ｄｉｆ＿ｙを計算する処理（２０８）に戻る。
判断（２０９）がＹＥＳの場合には、差分値が最大の行ｙｐｅａｋを抽出する処理（２１０）に移行する。
そして、差分値が最大の行ｙｐｅａｋを抽出する処理（２１０）の後には、差分値が一定値以上であるか否かの判断（２１１）に移行する。
この差分値が一定値以上であるか否かの判断（２１１）において、判断（２１１）がＹＥＳの場合には、ｙｐｅａｋを後端として出力する判断（２１２）に移行し、その後に、前記駐車支援装置１の交差線検出用のプログラムの終了（２１３）に移行する。
また、差分値が一定値以上であるか否かの判断（２１１）がＮＯの場合には、そのまま前記駐車支援装置１の交差線検出用のプログラムの終了（２１３）に移行する。
【符号の説明】
【００２７】
１  駐車支援装置
２  撮像手段
３  表示手段
４  制御手段
５  歪み補正手段
６  画像変換手段
７  表示切換制御手段
８  画素行設定手段
９  差分算出手段
１０  最大値抽出手段
１１  しきい値判定手段
【図１】
0005510900.tif 000004
【図２】
0005510900.tif 000005
【図３】
0005510900.tif 000006
【図５】
0005510900.tif 000007
【図９】
0005510900.tif 000008
【図１０】
0005510900.tif 000009
【図１１】
0005510900.tif 000010
【図１２】
0005510900.tif 000011
【図４】
0005510900.tif 000012
【図６】
0005510900.tif 000013
【図７】
0005510900.tif 000014
【図８】
0005510900.tif 000015
【図１３】
0005510900.tif 000016
【図１４】
0005510900.tif 000017