(57)【特許請求の範囲】
【請求項１】
画像からエッジを抽出して、このエッジを抽出した画像を俯瞰画像に変換し、この俯瞰画像からハフ変換により白線を検出し、この白線上に一定幅のウインドウを設定し、縦方向の白線に対して前記ウインドウ内を横方向にスキャンして、前記エッジが存在する場所を１、エッジが存在しない場所を０として縦のデータ列を作成し、このデータ列の各要素に対して、データ列の各要素よりも上側の領域のデータを反転させ、データ列のデータが１の要素数を合計し、合計値が最大となる要素の位置を白線の後端とすることを特徴とする白線端検出方法。
【請求項２】
画像からエッジを抽出して、このエッジを抽出した画像を俯瞰画像に変換し、この俯瞰画像からハフ変換により白線を検出し、この白線上に一定幅のウインドウを設定し、縦方向の白線に対して前記ウインドウ内を横方向にスキャンして、前記エッジが存在する場所を１、エッジが存在しない場所を０として縦のデータ列を作成し、このデータ列の各要素に対して、データ列の各要素よりも下側の領域のデータを反転させ、データ列のデータが１の要素数を合計し、合計値が最大となる要素の位置を白線の前端とすることを特徴とする白線端検出方法。
【請求項３】
自車両後方を撮像する撮像手段と、この撮像手段により撮像した後方画像の歪みを補正する歪み補正手段と、前記撮像手段により撮像した後方画像を俯瞰画像に変換する画像変換手段と、画像を表示する表示手段と、この表示手段に表示する画像を歪みを補正した歪み補正画像と俯瞰画像とのいずれかに切り換える表示切換制御手段とを備え、白線の端を検出する白線端検出方法を利用した駐車支援装置において、請求項１または２に記載の白線端検出方法により白線の端を検出し、検出された駐車枠の白線の端と自車両との距離に基づいて前記表示手段に表示する画像を切り換えることを特徴とする白線端検出方法を利用した駐車支援装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は白線端検出方法及びそれを利用した駐車支援装置に係り、特に白線に擦れや汚れがある場合や白線に土や枯葉等が乗っている場合でも、確実な白線端の検出を図る白線端検出方法及びそれを利用した駐車支援装置に関するものである。
【背景技術】
【０００２】
車両には、駐車時の運転を支援するために、自車両の後方を撮像する撮像手段を設け、画像を表示する表示手段を設け、撮像手段により撮像された自車両の後方画像（カメラ画像）を表示手段に表示させる制御手段を設けた駐車支援装置を搭載しているものがある。
この駐車支援装置においては、画像処理技術により、超広角の撮影手段（バックカメラ等）の画像を、歪みを補正した歪み補正画像及び真上から見下ろしたような俯瞰画像に変換して、運転者に提示するシステムが実用化されている。
上述の歪み補正画像は、周囲の視野を確保しつつ駐車枠（駐車スペース）の白線が直線として見えるため、駐車枠に接近するときに有効な画像である。また、上述の俯瞰画像は、車両に近接するエリアの距離感が掴みやすいこと、白線と自車両との関係が直観的に分かりやすいことから、駐車位置に近づいたときに有効な画像である。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０００−７９８６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、従来の駐車支援装置においては、俯瞰画像から白線の縦エッジを抽出し、ハフ変換処理により直線の位置と角度とを求め、その後に、直線の後端位置を検出している。
このとき、白線の後端は、上下が対の一定サイズのウィンドウ（図１５のａｒｅａＵとａｒｅａＤ参照。）を設定し、ピクセル（Ｐｉｘｅｌ）数をカウントして、上下のピクセル数の差が最も大きい箇所を白線の端点としていた。
【０００５】
追記すれば、超広角のバックカメラ画像を画像処理技術により、歪みを補正した画像及び真上から見下ろしたような俯瞰画像に変換して、運転者に提示するシステムが実用化されている。
このとき、歪み補正画像は周囲の視野を確保しつつ白線が直線として見えるため、駐車枠に接近するときに有効な画像である。
前記俯瞰画像は車両に近接するエリアの距離感が掴み易いこと、白線と自車両との関係が直感的に分かり易いことから、駐車位置に近づいたときに有効な画像である。
従来、歪み補正画像と俯瞰画像との切換は、運転者が自らスイッチ操作をしていたが、駐車後退時は周囲確認やハンドル操作などの運転タスクが集中するため、画像切換のスイッチ操作が煩わしいという不都合があった。
前記歪み補正画像と俯瞰画像とを自動的に切り換える方法としては、カメラ画像から左右の白線を検出して自車両と白線とが平行になった場合に、白線の後端を検出して車両と白線後端との距離がしきい値以下になったら、画像切換を自動で行う手法がある。
【０００６】
上述の画像切換を自動で行う手法を実現する駐車支援装置２０１は、図８に示す如く、自車両の後方を撮像する撮像手段（「カメラ」ともいう。）２０２と、画像を表示する表示手段（「モニタ」ともいう。）２０３と、撮像手段２０２により撮像された自車両の後方画像（カメラ画像）を表示手段２０３に表示させる制御手段２０４とを備えている。
このとき、前記撮像手段２０２は、車両の後部に取り付けた超広角のバックカメラ等の撮像機器からなる。
また、前記表示手段２０３は、車両の車室内に配置されたカーナビゲーションシステムのモニタ等の表示機器からなる。
更に、前記制御手段２０４は、撮像手段２０２により撮像された後方画像（図１０（ａ）参照。）を映像記録部２０５に取り込み、映像切換え判定部２０６に入力している。
そして、この映像切換え判定部２０６からのデータを後方画像の歪みを補正して歪み補正画像にする歪み補正変換部２０７と、撮像手段２０２により撮像された後方画像を俯瞰画像に変換する俯瞰変換部２０８と、前記歪み補正変換部２０７と俯瞰変換部２０８とに接続し、歪み補正映像を俯瞰映像に自動切換えして、前記表示手段２０３に表示する（図１０（ｂ）参照。）映像出力部２０９とを備えている。
【０００７】
ここで、前記駐車支援装置２０１の制御動作を、図９のシステム動作用フローチャートに沿って説明する。
前記駐車支援装置２０１のシステム動作用プログラムがスタート（３０１）すると、前記撮像手段２０２からのカメラ映像を映像記録部２０５に取り込んで記録する処理（３０２）に移行する。
そして、このカメラ映像を記録する処理（３０２）の後に、白線の位置と角度を算出する処理（３０３）に移行する。
この白線の位置と角度を算出する処理（３０３）の後に、車両と白線が平行であるか否かの判断（３０４）に移行する。
そして、車両と白線が平行であるか否かの判断（３０４）において、判断（３０４）がＹＥＳの場合には、白線端の検出、及び、輪留めの検出、車速パルスのカウントを行う処理（３０５）に移行する一方、判断（３０４）がＮＯの場合には、歪み補正映像に変換する処理（３０８）に移行する。
前記白線端の検出、及び、輪留めの検出、車速パルスのカウントを行う処理（３０５）の後には、画像を切り換えるか否かの判断（３０６）に移行する。
この画像を切り換えるか否かの判断（３０６）において、判断（３０６）がＹＥＳの場合には、俯瞰映像に変換する処理（３０７）に移行し、判断（３０７）がＮＯの場合には、歪み補正映像に変換する処理（３０８）に移行する。
そして、俯瞰映像に変換する処理（３０７）、及び、歪み補正映像に変換する処理（３０８）の後には、前記表示手段２０３に映像出力を行う処理（３０９）に移行し、その後に前記駐車支援装置２０１のシステム動作用プログラムのエンド（３１０）に移行する。
【０００８】
また、図１１の前記駐車支援装置２０１の映像切換え判定部２０６における白線端検出用フローチャートに沿って説明する。
前記駐車支援装置２０１の白線端検出用プログラムがスタート（４０１）すると、前記撮像手段２０２から入力された映像を記録（図１２参照。）する処理（４０２）に移行する。
そして、記録された映像から縦エッジの抽出及び俯瞰画像に変換（図１３参照。）する処理（４０３）に移行する。
この処理（４０３）には、俯瞰画像上のエッジ点を投票点としてハフ変換（図１４参照。）による左右の白線の検出を行う処理（４０４）に移行する。この処理（４０４）においては、白線の傾きを検出する。
つまり、図１４に示す如く、画像の各候補点ｐ（ｘ，ｙ）からθｍｉｎからθｍａｘまでのρの値を計算して、ρ−θ空間に投票する。画面の右半分と左半分とのそれぞれで投票点数が最も高かった箇所（ρL、θL）と（ρR、θR）を左右それぞれの白線とする。
その後、白線後端の検出を行うために、図１５に示す如く、検出した白線上に一定幅のウィンドウをセットする処理（４０５）に移行する。
そして、上下エリア内の点数の差を計算する処理（４０６）を行う。つまり、ウィンドウ上に小領域ａｒｅａＵとａｒｅａＤを設定し、各エリア内のエッジ点数をカウントし、その差分値ｄｉｆ＿ｙを求める。
その後は、差が最大となる位置を求める処理（４０７）に移行し、前記駐車支援装置２０１の白線端検出用プログラムをエンド（４０８）とする。つまり、上述の差が最大となる位置を求める処理（４０７）においては、差分値ｄｉｆ＿ｙの値が最も大きいｙpeakを白線の後端とするものである。
しかし、上述した従来手法においては、白線の後端の検出性能がエッジ点数をカウントする小領域ａｒｅａＵとａｒｅａＤのサイズに左右される。
つまり、白線がきれいではっきりしている場合は良いが、白線に擦れや汚れがある場合や、白線に土や枯葉が乗っている場合など、白線のエッジ画像が途切れ途切れになったときには対応できないという不都合がある。
特に、直線の途中が長く途切れている場合には対応できないという不都合がある。
小領域のサイズを変えれば対応できるが、サイズを大きくし過ぎると上下の端の領域が検出できなくなってしまうという不都合がある。
【０００９】
この発明は、白線に擦れや汚れがある場合や白線に土や枯葉等が乗っている場合でも、確実に白線端を検出することを目的としている。
【課題を解決するための手段】
【００１０】
そこで、この発明は、上述不都合を除去するために、画像からエッジを抽出して、このエッジを抽出した画像を俯瞰画像に変換し、この俯瞰画像からハフ変換により白線を検出し、この白線上に一定幅のウインドウを設定し、縦方向の白線に対して前記ウインドウ内を横方向にスキャンして、前記エッジが存在する場所を１、エッジが存在しない場所を０として縦のデータ列を作成し、このデータ列の各要素に対して、データ列の各要素よりも上側の領域のデータを反転させ、データ列のデータが１の要素数を合計し、合計値が最大となる要素の位置を白線の後端とすることを特徴とする。
また、画像からエッジを抽出して、このエッジを抽出した画像を俯瞰画像に変換し、この俯瞰画像からハフ変換により白線を検出し、この白線上に一定幅のウインドウを設定し、縦方向の白線に対して前記ウインドウ内を横方向にスキャンして、前記エッジが存在する場所を１、エッジが存在しない場所を０として縦のデータ列を作成し、このデータ列の各要素に対して、データ列の各要素よりも下側の領域のデータを反転させ、データ列のデータが１の要素数を合計し、合計値が最大となる要素の位置を白線の前端とすることを特徴とする。
更に、自車両後方を撮像する撮像手段と、この撮像手段により撮像した後方画像の歪みを補正する歪み補正手段と、前記撮像手段により撮像した後方画像を俯瞰画像に変換する画像変換手段と、画像を表示する表示手段と、この表示手段に表示する画像を歪みを補正した歪み補正画像と俯瞰画像とのいずれかに切り換える表示切換制御手段とを備え、白線の端を検出する白線端検出方法を利用した駐車支援装置において、請求項１または２に記載の白線端検出方法により白線の端を検出し、検出された駐車枠の白線の端と自車両との距離に基づいて前記表示手段に表示する画像を切り換えることを特徴とする。
【発明の効果】
【００１１】
この発明によれば、白線に擦れや汚れがある場合や白線に土や枯葉等が乗っている場合でも、白線端を検出することができる。
また、白線の前端を検出することができる。
更に、白線に擦れや汚れがある場合や白線に土や枯葉等が乗っている場合でも、白線端を検出することができるため、画像の表示切換タイミングの精度を向上することができる。
【図面の簡単な説明】
【００１２】
【図１】図１はこの発明の実施例を示す白線端検出方法を利用した駐車支援装置のシステム構成図である。（実施例１）
【図２】図２は縦のデータを横にして表示した状態の図である。（実施例１）
【図３】図３は縦のデータを横にして表示した状態で１から９までのデータを反転させた際の図である。（実施例１）
【図４】図４は縦のデータを横にして表示した状態で合計値が最大となる位置（ｉ＝８の１６）を求め、この位置を白線の後端とする図である。（実施例１）
【図５】図５は白線端検出方法を利用した駐車支援装置の白線後端検出用フローチャートである。（実施例１）
【図６】図６はエッジ点のデータ列作成例を示す図である。（実施例１）
【図７】図７は手法の比較を説明するものであり、（ａ）は従来手法を示す図、（ｂ）は本発明の提案手法を示す図である。（実施例１）
【図８】図８はこの発明の従来技術を示す駐車支援装置のシステム構成図である。
【図９】図９は駐車支援装置のシステム動作用フローチャートである。
【図１０】図１０はバックカメラの表示映像を示し、（ａ）はバックカメラ映像を示す図、（ｂ）は自動切換えのモニタ画面を示す図である。
【図１１】図１１は白線後端検出用フローチャートである。
【図１２】図１２はカメラ映像記録例を示す図である。
【図１３】図１３はエッジの俯瞰画像変換例を示す図である。
【図１４】図１４はハフ変換による白線検出を示す図である。
【図１５】図１５は従来手法による白線後端検出を示す図である。
【発明を実施するための形態】
【００１３】
以下図面に基づいてこの発明の実施例を詳細に説明する。
【実施例】
【００１４】
図１〜図７はこの発明の実施例を示すものである。
図１において、１は駐車支援装置である。
この駐車支援装置１は、図１に示す如く、自車両後方を撮像する撮像手段２と、画像を表示する表示手段３と、撮像手段２により撮像された自車両の後方画像を表示手段３に表示させる制御手段４とを備えている。
このとき、前記撮像手段２は、車両の後部に取り付けた超広角のバックカメラ等の撮像機器からなる。
また、前記表示手段３は、車両の車室内に配置されたカーナビゲーションシステムのモニタ等の表示機器からなる。
更に、前記制御手段４は、前記撮像手段２により撮像した後方画像の歪みを補正する歪み補正手段５と、前記撮像手段２により撮像した後方画像を俯瞰画像に変換する画像変換手段６と、表示切換制御手段７とを備えている。
このとき、前記駐車支援装置１は、白線端を検出する後述する白線端検出方法により白線端を検出し、検出された駐車枠の白線端と前記自車両との距離に基づいて、前記表示切換制御手段７によって、前記表示手段に表示する画像を歪み補正画像と俯瞰画像とのいずれかに切り換える構成を有する。
従って、白線に擦れや汚れがある場合や白線に土や枯葉等が乗っている場合でも、白線端を検出することができるため、画像の表示切換タイミングの精度を向上することができる。
【００１５】
また、前記駐車支援装置１の利用する白線端検出方法は、画像からエッジを抽出して、このエッジを抽出した画像を俯瞰画像に変換し、この俯瞰画像からハフ変換により白線を検出し、この白線上に一定幅のウインドウを設定し、縦方向の白線に対して前記ウインドウ内を横方向にスキャンして、前記エッジが存在する場所を１、エッジが存在しない場所を０として縦のデータ列を作成し、このデータ列の各要素に対して、データ列の各要素よりも上側の領域のデータを反転させ、データ列のデータが１の要素数を合計し、合計値が最大となる要素の位置を白線の後端とする構成を有する。
詳述すれば、前記ウインドウ内の各行でエッジ点を横方向にスキャンし、前記エッジが存在する場所を１、エッジが存在しない場所を０として、１次元のデータ列、つまり、図６に示す如く、縦のデータ列を作成する。
そして、図６の縦のデータ列を、図２に示す如く、横にして表示し、データ列の１からＮまでの各要素（「各点」とも換言できる。）において、データ列の各要素よりも上側の領域のデータを反転させる。
例えば、図３に示す如く、ｉ＝１０のときは、１から９までのデータを反転（０なら１に、１なら０に）させる。
また、反転後のデータを含めて、１からＮまでの全体のデータを合計し、ｉ＝１０における合計値とする。なお、合計値の代わりに、平均値を使用することも可能である。そして、ｉ＝１からＮまでの各要素において上述した処理を行う。
更に、各要素における合計値が最大となるｉを求め、この位置を白線の後端とする。つまり、データ列のデータが１の要素数を合計し、合計値が最大となる要素の位置を白線の後端とするものである。
図４の例では、ｉ＝８の１６が最大であるため、白線の後端となる。
従って、白線に擦れや汚れがある場合や白線に土や枯葉等が乗っている場合でも、白線の後端を検出することができる。
【００１６】
更に、この発明の提案手法においては、従来手法で必要であったウィンドウサイズや、しきい値といった各種パラメータが不要となる。そのため、白線の後端の検出精度が向上する。そして、検出したい領域全体に亘って検出することができる。
つまり、従来手法では、検出精度が上下領域のサイズとしきい値とに依存してたため、例えば図７（ａ）に示す如く、途中で擦れているような白線を検出できなかった。これに対して、この発明の提案手法においては、図７（ｂ）に示す如く、白線全体の点数をカウントするため、途中で擦れているような白線でも検出可能である。
【００１７】
なお、画像からエッジを抽出して、このエッジを抽出した画像を俯瞰画像に変換し、この俯瞰画像からハフ変換により白線を検出し、この白線上に一定幅のウインドウを設定し、縦方向の白線に対して前記ウインドウ内を横方向にスキャンして、前記エッジが存在する場所を１、エッジが存在しない場所を０として縦のデータ列を作成し、このデータ列の各要素に対して、データ列の各要素よりも下側の領域のデータを反転させ、データ列のデータが１の要素数を合計し、合計値が最大となる要素の位置を白線の前端とする構成とすることも可能である。
つまり、上述した白線の後端を検出する方策とは逆に、白線の前端を検出する方策とする。
このとき、前記データ列の各要素に対して、データ列の各要素よりも下側の領域のデータを反転させ、データ列のデータが１の要素数を合計し、合計値が最大となる要素の位置を白線の前端とするものである。
従って、白線の前端を検出することができる。
【００１８】
次に、図５の白線端検出方法を利用した駐車支援装置１の白線後端検出用フローチャートに沿って作用を説明する。
【００１９】
前記駐車支援装置１の白線後端検出用プログラムがスタート（１０１）すると、縦方向の白線に対して前記ウインドウ内を横方向にスキャンして、エッジ点列、縦のデータ列を作成する処理（１０２）に移行する。なお、この処理（１０２）においては、前記エッジが存在する場所を１、エッジが存在しない場所を０として縦のデータ列を作成している。
そして、縦のデータ列を作成する処理（１０２）の後に、Ｙ座標値の開始位置をセット、つまり、ｉ＝１とする処理（１０３）に移行する。
また、Ｙ座標値の開始位置をセット、つまり、ｉ＝１とする処理（１０３）の後には、１〜ｉ−１までのデータを反転させる処理（１０４）の後に、１〜Ｎまでのデータを合計する処理（１０５）に移行する。
そして、終了位置に到達したか否かの判断（１０６）に移行する。
この終了位置に到達したか否かの判断（１０６）において、判断（１０６）がＮＯの場合には、ｉを＋１加算する処理（１０７）に移行し、その後に上述した１〜ｉ−１までのデータを反転させる処理（１０４）に戻る。
更に、判断（１０６）がＹＥＳの場合には、合計値が最大となる位置を求める処理（１０８）に移行し、その後に、前記駐車支援装置１の白線後端検出用プログラムのエンド（１０９）に移行する。
【符号の説明】
【００２０】
１  駐車支援装置
２  撮像手段
３  表示手段
４  制御手段
５  歪み補正手段
６  画像変換手段
７  表示切換制御手段
【図１】
0005549812.tif 000002
【図２】
0005549812.tif 000003
【図３】
0005549812.tif 000004
【図４】
0005549812.tif 000005
【図５】
0005549812.tif 000006
【図６】
0005549812.tif 000007
【図７】
0005549812.tif 000008
【図８】
0005549812.tif 000009
【図９】
0005549812.tif 000010
【図１１】
0005549812.tif 000011
【図１３】
0005549812.tif 000012
【図１４】
0005549812.tif 000013
【図１５】
0005549812.tif 000014
【図１０】
0005549812.tif 000015
【図１２】
0005549812.tif 000016