(57)【特許請求の範囲】
【請求項１】
車両に設置されて、前記車両の周囲を観測して、少なくとも路面を含む画像を撮像する撮像部と、
前記撮像部によって撮像された画像を所定の方向にスキャンしたときに、輝度値が明るい方向に所定値よりも大きく変化する第１の画素の位置と、前記第１の画素から所定距離以内にあり、輝度値が暗い方向に所定値よりも大きく変化する第２の画素の位置を検出し、直線をなす複数の前記第１の画素からなる線素の両端点と複数の前記第２の画素からなる線素の両端点に囲まれた領域を、駐車枠を構成する白線候補領域として検出する白線候補領域検出部と、
前記白線候補領域を構成する複数の前記第１の画素の周囲の輝度分布と複数の前記第２の画素の周囲の輝度分布に基づいて、個々の前記白線候補領域が駐車枠を構成すると想定したときの駐車枠らしさを算出する駐車枠らしさ算出部と、
前記白線候補領域の位置と前記駐車枠らしさと前記画像の中で観測されると予想される駐車枠のサイズに基づいて駐車枠を検出する駐車枠検出部と、を有し、前記駐車枠らしさ算出部は、前記白線候補領域を構成する複数の第１の画素の周囲の輝度分布と複数の第２の画素の周囲の輝度分布が所定の条件を満たすときに、前記白線候補領域の駐車枠らしさを引き下げることを特徴とする車載画像処理装置。
【請求項２】
前記車両に設置されて、前記撮像部の撮像範囲内の立体物の有無を検出する立体物検出部を有し、前記立体物検出部において立体物が検出されたときには、立体物検出範囲に相当する前記画像の領域内において、前記白線候補領域検出部が白線候補領域を検出しにくくなるように、前記所定値および前記所定距離を設定するとともに、前記白線候補領域が前記所定の条件を満たしていても、前記白線候補領域の駐車枠らしさを変更しないことを特徴とする請求項１に記載の車載画像処理装置。
【請求項３】
前記所定の条件は、白線候補領域において、複数の前記第１の画素と複数の前記第２の画素の中点同士を連結した中心線に対して、
前記中点を前記中心線に沿って移動したときに、前記中点の輝度と、前記中点から前記第１の画素に向かう方向に第１の所定距離離れた第３の画素の輝度の差と、前記中点の輝度と、前記中点から前記第２の画素に向かう方向に第１の所定距離離れた第４の画素の輝度の差と、のうち少なくとも一方が所定値よりも小さくなるような中点が、前記白線候補領域を構成する中点の総数に対して所定の割合よりも多いとき、
前記中点を前記中心線に沿って移動したときに、前記第３の画素の輝度と前記第４の画素の輝度の差が所定値以上異なるような第３の画素と第４の画素のペアが、前記白線候補領域を構成する中点の総数に対して所定の割合よりも多いとき、
前記中点の位置から前記第１の画素に向かう方向に第２の所定距離離れた第５の画素と、前記中点の位置から前記第２の画素に向かう方向に第２の所定距離離れた第６の画素とを設定し、前記中点を前記中心線に沿って移動したときに前記中点と前記第５の画素を結ぶ線分が描く領域の内部の輝度分布と、前記中点を前記中心線に沿って移動したときに前記中点と前記第６の画素を結ぶ線分が描く領域の内部の輝度分布との差が所定値よりも大きいとき、のうち少なくとも１つであることを特徴とする請求項１または請求項２に記載の車載画像処理装置。
【請求項４】
前記駐車枠らしさ算出部は、前記所定の条件のうち、複数の条件を満たす場合には、前記所定の条件を１つだけ満たす場合よりも、前記白線候補領域の駐車枠らしさを低く設定することを特徴とする請求項３に記載の車載画像処理装置。
【請求項５】
前記撮像部で撮像された画像を、前記車両を真上から見下ろした俯瞰画像に変換する画像変換部を有し、前記画像変換部で変換された画像に対して、前記白線候補領域検出部が白線候補領域の検出を行うことを特徴とする請求項１から請求項４のいずれか１項に記載の車載画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車載カメラによって、路面に描かれた駐車枠の位置を検出する車載画像処理装置に関するものである。
【背景技術】
【０００２】
近年、車両にカメラを搭載して、そのカメラで車両の周辺を観測し、観測された画像の中から、路面に引かれた白線や黄線によって区分された駐車枠の位置を検出して、こうして検出された駐車枠の位置に基づいて車両の位置と車線の位置との関係を算出して、駐車動作を支援する装置が研究開発されている。【０００３】
このようなシステムでは、例えば、路面との輝度差が大きいという駐車枠の特徴を用いて、路面との輝度差の大きい画素を検出して、検出された画素の列に対して直線を当てはめることによって駐車枠の位置を検出している。（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−１２６４３３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に記載された駐車支援装置では、画像の中から直線を構成する成分を検出するハフ変換を用いて、駐車枠を構成する白線の検出を行っている。【０００６】
しかしながら、特許文献１に開示された発明によると、路面に描かれた白線のコントラストが高い状態であることを想定してこれを検出しているため、実際の路面のように、様々なノイズ、例えば、駐車枠のそばに立体物があったとき、壁面や植え込みがあったとき、路面に縁石や段差があったとき、路面反射があったとき、路面に影が落ちているときなどには、これらのノイズによって、駐車枠を構成する白線とよく似た輝度分布を有する領域が検出されたり、本来検出すべき白線のコントラストが低下するなどの状況が発生して、駐車枠を構成する白線のみを正しく検出することが困難になるという問題があった。【０００７】
本発明は、上記課題に鑑みてなされたもので、立体物，路面状態，天候，影等のノイズの影響を受けずに、路面に描かれた駐車枠の位置を安定して検出することができる車載画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る車載画像処理装置は、車両に設置されて、前記車両の周囲を観測して、少なくとも路面を含む画像を撮像する撮像部と、前記撮像部によって撮像された画像を所定の方向にスキャンしたときに、輝度値が明るい方向に所定値よりも大きく変化する第１の画素の位置と、前記第１の画素から所定距離以内にあり、輝度値が暗い方向に所定値よりも大きく変化する第２の画素の位置を検出し、直線をなす複数の前記第１の画素からなる線素の両端点と複数の前記第２の画素からなる線素の両端点に囲まれた領域を、駐車枠を構成する白線候補領域として検出する白線候補領域検出部と、前記白線候補領域を構成する複数の前記第１の画素の周囲の輝度分布と複数の前記第２の画素の周囲の輝度分布に基づいて、個々の前記白線候補領域が駐車枠を構成すると想定したときの駐車枠らしさを算出する駐車枠らしさ算出部と、前記白線候補領域の位置と前記駐車枠らしさと前記画像の中で観測されると予想される駐車枠のサイズに基づいて駐車枠を検出する駐車枠検出部と、を有し、前記駐車枠らしさ算出部は、前記白線候補領域を構成する複数の第１の画素の周囲の輝度分布と複数の第２の画素の周囲の輝度分布が所定の条件を満たすときに、前記白線候補領域の駐車枠らしさを引き下げることを特徴とする。【０００９】
このように構成された本発明に係る車載画像処理装置によれば、車両に設置された撮像部が、車両の周囲の、少なくとも路面を含む画像を撮像して、白線候補領域検出部が、撮像された画像の中から駐車枠を構成する可能性がある白線候補領域を検出して、駐車枠らしさ算出部が、こうして検出された白線候補領域と路面の境界点の周囲の輝度分布を算出して、この輝度分布が所定の条件を満たすときほど、白線候補領域が駐車枠をなす度合いである駐車枠らしさが低いものと判断して、駐車枠検出部が、画像の中で観測されると予想される駐車枠のサイズに基づいて駐車枠を検出した後で、駐車枠を構成する白線候補領域の駐車枠らしさが低いときには、検出された駐車枠の信頼度を低く設定するため、路面上のノイズによる駐車枠の誤検出を防止することができ、これによって、路面に描かれた駐車枠の位置を安定して検出することができる。
【発明の効果】
【００１０】
本発明に係る車載画像処理装置は、路面に描かれた駐車枠の位置を安定して検出することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の一実施形態に係る車載画像処理装置の実施例１が実装された車両について説明する図である。
【図２】本発明の一実施形態に係る実施例１の全体構成を示すブロック図である。
【図３】本発明の一実施形態に係る実施例１における駐車枠らしさ算出部の詳細な構成を示すブロック図である。
【図４Ａ】本発明の一実施形態に係る実施例１において撮像されて合成された画像の一例を示す図である。
【図４Ｂ】図４Ａの画像の中の、点Ａと点Ｂの間の輝度分布を示す図である。
【図４Ｃ】図４Ａの画像の中の、点Ｃと点Ｄの間の輝度分布を示す図である。
【図５Ａ】本発明の一実施形態に係る実施例１において検出された駐車枠を構成すると考えられる白線候補の一例を示す図である。
【図５Ｂ】図５Ａに示す白線候補の上に、輝度分布を算出する領域を設定した例を示す図である。
【図５Ｃ】図５Ｂで設定した領域内部の輝度分布の例を示す図である。
【図６Ａ】本発明の一実施形態に係る実施例１において検出された駐車枠を構成すると考えられる白線候補の一例を示す図である。
【図６Ｂ】図６Ａに示す白線候補の上に、白線候補の左右の輝度差を算出する画素を設定した例を示す図である。
【図６Ｃ】図６Ｂで設定した画素の位置を、白線候補の方向に直交するように変換した例を示す図である。
【図６Ｄ】図６Ｃで設定した画素の位置をずらしながら、白線候補の左右の輝度差を算出する方法について説明する図である。
【図７】駐車枠らしさを表す情報の記憶方法について説明する図である。
【図８Ａ】駐車枠の信頼度を算出する方法の一例について説明する図であり、白線候補領域を検出した結果を示す図である。
【図８Ｂ】駐車枠らしさに基づいて、検出された白線候補領域の中心線の長さを補正する様子を示す図である。
【図８Ｃ】検出された駐車枠の信頼度を算出する様子を示す図である。
【図９】本発明を適用することによって効果が得られる場面について説明する図である。
【図１０】本発明の一実施形態に係る実施例１の処理の流れを示すフローチャートである。
【図１１】本発明一実施形態に係る車載画像処理装置の実施例２が実装された車両について説明する図である。
【図１２】本発明の一実施形態に係る実施例２の全体構成を示すブロック図である。
【図１３】本発明の一実施形態に係る実施例２における駐車枠らしさ算出部の詳細な構成を示すブロック図である。
【図１４】本発明の一実施形態に係る実施例２の処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００１２】
以下、本発明の一実施形態に係る車載画像処理装置について、図面を参照して説明する。なお、以下の説明において、画像に格納された濃淡値のことを輝度値と呼ぶ。
【実施例１】
【００１３】
本発明の一実施形態である実施例１は、本発明の車載画像処理装置を、運転者が、路面に駐車枠が描かれた駐車場で駐車動作を行っているときに、ブレーキペダルを踏むべきタイミングで、誤ってアクセルペダルを踏んでしまうことにより、車両が予期せぬタイミングで突然発進する、所謂ペダル踏み間違いによる急発進を防止するシステムに適用した例である。【００１４】
まず、図１から図３を用いて、実施例１の構成を説明する。実施例１に示す車載画像処理装置は、車両１に実装されて、図１に示すように、車両１の前方を撮像する前方カメラ１０Ａと、車両１の左ドアミラーに装着されて、車両の左方向を撮像する左方カメラ１０Ｂと、車両１の右ドアミラーに装着されて、車両の右方向を撮像する右方カメラ１０Ｃと、車両１の後方を撮像する後方カメラ１０Ｄを有している。そして、これら４台のカメラによって構成された撮像部１０によって、車両１の周囲の路面を観測できるようになっている。なお、各カメラは、レンズ等の集光機能を有する光学系とＣ−ＭＯＳ等の光電変換素子とから構成されている。【００１５】
図２は、車載画像処理装置５の全体構成を示すブロック図である。本車載画像処理装置５は、車両１（図１参照）に実装されて、車両１の周囲の路面を含む領域を撮像する撮像部１０と、撮像部１０を構成する前方カメラ１０Ａ，左方カメラ１０Ｂ，右方カメラ１０Ｃ，後方カメラ１０Ｄで撮像された画像を、それぞれ、車両１を真上から見下ろした俯瞰画像に変換して、１枚の画像に合成する画像変換、合成部２０と、画像変換、合成部２０で合成された画像の中から、駐車枠を構成すると考えられる白線候補領域を検出する白線候補領域検出部３０と、白線候補領域検出部３０で検出された各々の領域に対して、駐車枠らしさを算出する駐車枠らしさ算出部４０と、駐車枠らしさ算出部４０で算出された駐車枠らしさに基づいて、画像の中から駐車枠を検出する駐車枠検出部６０と、車両１のアクセル開度を検出するアクセル開度検出部７０と、駐車枠検出部６０で駐車枠が検出されたときに、所定値以上のアクセル開度が検出されたときには、車両１のエンジン出力を抑制して、車両１の急発進を防止する車両挙動制御部８０と、車両１の運転者に対して、駐車枠が検出されていることやエンジン出力を抑制する制御を行っていることを表示する、ディスプレイ装置や音声出力装置からなる情報出力部９０と、からなる。【００１６】
白線候補領域検出部３０は、さらに、所定の方向（後述する）に隣接する＋エッジと−エッジのペアを検出するエッジペア検出部３２と、各白線候補領域の中から、エッジペア同士を結ぶ線分の中点同士が連結されて構成される中心線を検出する中心線検出部３４とからなる。【００１７】
駐車枠らしさ算出部４０は、さらに、図３に示す構成を有している。すなわち、白線候補領域とその周辺領域の輝度分布の対称性を評価する対称性評価部４３と、白線候補領域を構成する画素と、白線候補領域以外を構成する画素の輝度差の大きさを評価する輝度差評価部４４と、白線候補領域の中心線を構成する画素と、その中心線に関して左右の対称な位置にある白線候補領域以外を構成する画素の間の輝度差を評価する左右差評価部４５と、対称性評価部４３，輝度差評価部４４，左右差評価部４５で算出された各評価値を記憶して管理する駐車枠らしさ管理部４７とからなる。【００１８】
以下、本実施例の動作概要について、順を追って説明する。
＜白線候補領域検出方法の説明＞【００１９】
まず、図４Ａ〜図４Ｃを用いて、白線候補領域検出部３０で行われる、白線候補領域の検出方法について説明する。【００２０】
図４Ａは、車両１が前進しながら、白線Ｆ１〜Ｆ４で構成された駐車枠に近づいているときに、前方カメラ１０Ａで撮像した画像Ｉ１と、左方カメラ１０Ｂで撮像した画像Ｉ２と、右方カメラ１０Ｃで撮像した画像Ｉ３と、後方カメラ１０Ｄで撮像した画像Ｉ４と、を画像変換、合成部２０において、車両１を真上から見下ろした俯瞰画像に変換して、さらに、１枚の画像Ｉとして合成した様子を示す。【００２１】
図４Ａに示すように、画像Ｉは、車両１の位置を模した領域Ｖの回りに、俯瞰画像に変換された画像Ｉ１と、画像Ｉ２と、画像Ｉ３と、画像Ｉ４とが合成されることによって構成されている。この画像Ｉは、車両１すなわち路面を真上から見下ろしたものであるため、駐車枠に駐車した車両の左右に描画された、車両の前後方向に向かって延びる直線状の白線Ｆ１，Ｆ２，Ｆ３は、画像Ｉの中に互いに平行に映る。また、車両の幅方向に向かって延びる直線状の白線Ｆ４は、白線Ｆ１，Ｆ２，Ｆ３と直交するように映る。【００２２】
なお、撮像部１０で撮像された画像を俯瞰画像に変換して、さらに１枚の画像に合成する処理は、昨今、車両周囲のモニタリングシステムとして実用化されている公知の技術であるため、詳細な処理方法の説明は省略する。【００２３】
このようにして生成された画像Ｉの左右方向をｘ、上下方向をｙとして、画像Ｉの左上を原点（０，０）とする。以後、画像Ｉの画素（ｘ，ｙ）の輝度値をＩ（ｘ，ｙ）で表し、また、特定の画素を単に画素Ｘと表した場合、画素Ｘの輝度値をＩ（Ｘ）で表すものとする。【００２４】
そして、白線候補領域検出部３０（図２参照）において、画像Ｉの中を、左右方向に左から右に向かって（所定の方向）、画像Ｉに格納された輝度値Ｉ（ｘ，ｙ）をスキャンしながら、隣接する２つの画素の輝度値の差分値を計算する。すなわち、スキャンした画素（ｘ，ｙ）に対して、輝度差Ｉ（ｘ−１，ｙ）−Ｉ（ｘ，ｙ）と、輝度差Ｉ（ｘ，ｙ）−Ｉ（ｘ＋１，ｙ）を、画像Ｉの全ての画素に対して順次計算する。【００２５】
そして、左から右に向かって輝度値が所定値よりも大きく明るく変化する画素、すなわち、予め設定した輝度差しきい値Ｉｔｈに対して、Ｉ（ｘ，ｙ）−Ｉ（ｘ−１，ｙ）＞Ｉｔｈを満たす画素を第１の画素として検出する。この画素を＋エッジと呼ぶ。【００２６】
さらに、左から右に向かって輝度値が所定値よりも大きく暗く変化する画素、すなわち、Ｉ（ｘ，ｙ）−Ｉ（ｘ＋１，ｙ）＞Ｉｔｈである画素を第２の画素として検出する。この画素を−エッジと呼ぶ。【００２７】
駐車枠を構成する白線であれば、＋エッジを構成する画素（白線と路面の境界点）と−エッジを構成する画素（白線と路面の境界点）は、それぞれ直線状に検出されて、それらの画素の間隔は、駐車枠を構成する白線の幅とほぼ等しくなるため、画像Ｉの中から検出された＋エッジを構成する画素と、その＋エッジに隣接して検出された−エッジを構成する画素の間隔ｗが、所定の方向（画像内を左から右に向かう方向）に沿って所定距離以内であるとき、この＋エッジを構成する画素と−エッジを構成する画素に挟まれた領域は、駐車枠を構成する白線である可能性が高いと判断して、これらの画素を検出する。【００２８】
例えば、画像Ｉに格納された輝度値を、図４Ａの点Ａから点Ｂに向かってスキャンしたときには、図４Ｂに示すように、画素Ｓ１が＋エッジとして検出されて、画素Ｓ２が−エッジとして検出される。【００２９】
このようにして検出された＋エッジを構成する画素Ｓ１と、−エッジを構成する画素Ｓ２のペアをエッジペアと呼ぶことにする。【００３０】
このような大きな輝度値の差を有する画素の探索は、画像Ｉの上下方向（所定の方向に直交する方向）についても行うのが望ましい。そして、画像Ｉに格納された輝度値を、図４Ａの点Ｃから点Ｄに向かってスキャンしたときには、図４Ｃに示すように、画素Ｓ３が＋エッジとして検出されて、画素Ｓ４が−エッジとして検出される。そして、画素Ｓ３と画素Ｓ４もエッジペアをなす。【００３１】
こうして検出された画素Ｓ１，Ｓ２，Ｓ３，Ｓ４，…を、駐車枠を構成する白線である可能性が高いエッジ構成点とする。【００３２】
なお、このように、画像Ｉの画素の輝度値を、左右方向（所定の方向）と上下方向（所定の方向に直交する方向）に２回スキャンするのは、駐車枠を構成する白線の延びる方向が不明であるため、いかなる方向に向かって延びている白線の候補も、漏れなく検出するためである。【００３３】
このようにして検出されたエッジペアに挟まれた画素からなる領域、言い換えれば、直線をなす複数の第１の画素からなる線素の両端点と複数の第２の画素からなる線素の両端点に囲まれた領域を、白線候補領域と呼ぶ。そして、画像Ｉの中から検出された複数の白線候補領域に対してラベリング処理を行い、各々の白線候補領域に通し番号を付与しておく。
＜駐車枠らしさ算出方法の説明＞【００３４】
次に、検出された白線候補領域に対して、個々の白線候補領域が駐車枠を構成すると想定したときの駐車枠らしさを算出する。駐車枠らしさは、白線候補領域とその白線候補領域に隣接する領域の輝度分布に基づいて算出される。【００３５】
本実施例では、駐車枠らしさは、「対称性」，「輝度差」，「左右差」の３つの評価指標によって判断される。以下、その各々の評価指標について、順に説明する。
＜対称性の評価指標の説明＞【００３６】
まず、対称性の評価指標について説明する。駐車枠を構成する白線は、路面との間に輝度差を有して、なおかつ、白線の中心線に対して白線の両側に対称な領域を設定したときに、この対称な領域の輝度分布はほぼ等しくなるはずである。そこで、この輝度分布の対称性を評価する。【００３７】
対称性が所定値よりも低いときは、その白線候補領域は駐車枠を構成する白線でない可能性があるため、白線候補領域に対して対称性フラグを立てる。そして、白線候補領域に対称性フラグが立っていることは、後ほど、駐車枠の検出処理を行う中で利用する。【００３８】
次に、対称性の具体的な評価方法について、図５Ａ〜図５Ｃを用いて説明する。まず、エッジペア検出部３２（図２参照）において、画像Ｉを左から右に向かって探索して、各々の白線候補領域の中のエッジペアを抽出する。そして、図５Ａに示すように、＋エッジで構成された白線候補領域境界線Ｌ１と、−エッジで構成された白線候補領域境界線Ｌ２を特定する。【００３９】
そして、中心線検出部３４（図２参照）において、白線候補領域境界線Ｌ１と白線候補領域境界線Ｌ２の中心線Ｍを検出する。中心線Ｍは、各々の＋エッジと−エッジの中点同士を連結した線として検出することができる。【００４０】
次に、図５Ｂに示すように、中心線Ｍを中心として、＋エッジ側と−エッジ側にそれぞれ幅Ｗ１（第２の所定距離）を有する領域を設定する。幅Ｗ１は、駐車枠を構成する白線幅の半分の値に所定の値を加算した値とする。＋エッジ側に設定した領域を領域Ｒ１とし、−エッジ側に設定した領域を領域Ｒ２と呼ぶ。すなわち、白線候補領域の長さ、すなわち中心線の長さをＴとすると、領域Ｒ１と領域Ｒ２は、それぞれ、Ｗ１Ｔ個の画素を含む。【００４１】
そして、図５Ｃに示すように、領域Ｒ１の内部の輝度ヒストグラムＨ（Ｒ１）と、領域Ｒ２の内部の輝度ヒストグラムＨ（Ｒ２）を作成する。さらに、こうして作成された輝度ヒストグラムＨ（Ｒ１）と輝度ヒストグラムＨ（Ｒ２）の類似性を数値化するため、２つのヒストグラムの相互相関を計算する。そして、相互相関値が所定値未満であるとき、輝度ヒストグラムＨ（Ｒ１）と輝度ヒストグラムＨ（Ｒ２）の類似性が低いと判断する。なお、ヒストグラム同士の類似度の評価は、相互相関以外の方法、例えば、Bhattacharyya距離を用いて２つのヒストグラムの類似度を算出する手法等を用いて行ってもよい。【００４２】
そして、類似性が低いときは、評価を行った白線候補領域に対して対称性フラグを立てる。そして、同様の評価を、全ての白線候補領域に対して実施する。
＜輝度差の評価指標の説明＞【００４３】
次に、輝度差の評価指標について説明する。駐車枠を構成する白線は、路面との間に大きな輝度差を有しているはずである。そこで、この輝度差を評価する。【００４４】
輝度差が所定値よりも小さいときは、その白線候補領域は駐車枠を構成する白線でない可能性があるため、白線候補領域に対して輝度差フラグを立てる。そして、白線候補領域に輝度差フラグが立っていることは、後ほど、駐車枠の検出処理を行う中で利用する。【００４５】
次に、輝度差の具体的な評価方法について、図６Ａに示す白線候補領域境界線Ｌ１，Ｌ２が検出された場合を用いて説明する。まず、先に説明した対称性の評価において検出した中心線Ｍに対して、図６Ｂに示すように、中心線Ｍ上の画素ｍ１から、＋エッジ側と−エッジ側にそれぞれ距離Ｗ２（第１の所定距離）離れた画素を設定する。距離Ｗ２は、駐車枠を構成する白線幅の値に所定の値を加算した値とする。＋エッジ側に設定した画素（第３の画素）をＰ１１と呼び、−エッジ側に設定した画素（第４の画素）をＰ２１と呼ぶ。【００４６】
白線候補領域の延びる方向は、画像内の上下方向、あるいは左右方向に限定されるものではなく、図６Ａに示すように、任意の方向に延びている。したがって、先に設定した画素Ｐ１１と画素Ｐ２１を、図６Ｃに示すように、中心線Ｍに直交する方向の画素Ｐ１１’と画素Ｐ２１’に変換する。【００４７】
次に、画素ｍ１の輝度値Ｉ（ｍ１）と、画素Ｐ１１’の輝度値Ｉ（Ｐ１１’）と、画素Ｐ２１’の輝度値Ｉ（Ｐ２１’）を求めて、輝度差Ｉ（ｍ１）−Ｉ（Ｐ１１’）と、輝度差Ｉ（ｍ１）−Ｉ（Ｐ２１’）のうち、小さい方の輝度差を求める。【００４８】
こうして求めた、小さい方の輝度差が、予め決めておいた所定値よりも小さいときに、現在着目している白線候補領域と路面の輝度差を表す投票値をインクリメントする。【００４９】
そして、図６Ｄに示すように、画素ｍ１の位置を、中心線Ｍの他方の端点である画素ｍｎの位置まで動かしながら、同様にして輝度差の評価を行う。【００５０】
１つの白線候補領域について、前記評価が終了したとき、投票値を白線候補領域の長さ、すなわち中心線の長さＴ（図５Ｂ参照）で正規化して、この正規化された値が所定値よりも高いとき、すなわち、白線候補領域の中心線を構成する画素の所定割合以上の画素において、白線候補領域とそれに接する路面領域の輝度差が所定値よりも小さいときに、評価を行った白線候補領域に対して輝度差フラグを立てる。そして、同様の評価を、全ての白線候補領域に対して実施する。
＜左右差の評価指標の説明＞【００５１】
最後に、左右差の評価指標について説明する。駐車枠を構成する白線は、路面との間に輝度差を有して、その輝度差は、白線の左右でほぼ等しくなっているはずである。そこで、この輝度の左右差を評価する。【００５２】
輝度の左右差が所定値よりも大きいときは、その白線候補領域は駐車枠を構成する白線でない可能性があるため、白線候補領域に対して左右差フラグを立てる。そして、白線候補領域に左右差フラグが立っていることは、後ほど、駐車枠の検出処理を行う中で利用する。【００５３】
次に、左右差の具体的な評価方法について、図６Ａ〜図６Ｄを用いて説明する。まず、先の輝度差の評価を行う際に設定した、中心線Ｍ上の画素ｍ１から、＋エッジ側に距離Ｗ２離れた画素Ｐ１１’と、−エッジ側に距離Ｗ２離れた画素Ｐ２１’について、画素Ｐ１１’の輝度値Ｉ（Ｐ１１’）と、画素Ｐ２１’の輝度値Ｉ（Ｐ２１’）を求めて、輝度差Ｉ（Ｐ１１’）−Ｉ（Ｐ２１’）を求める。【００５４】
こうして求めた輝度差が、予め決めておいた所定値よりも大きいときに、現在着目している白線候補領域に対して、左右の輝度差を評価するための投票値をインクリメントする。【００５５】
そして、図６Ｄに示すように、画素ｍ１の位置を、中心線Ｍの他方の端点である画素ｍｎの位置まで動かしながら、同様にして左右の輝度差の評価を行う。【００５６】
１つの白線候補領域について、前記評価が終了したとき、投票値を白線候補領域の長さ、すなわち中心線の長さＴで正規化して、この正規化された値が所定値よりも高いとき、すなわち、白線候補領域の＋エッジ側と−エッジ側の輝度差が所定値よりも大きいときに、評価を行った白線候補領域に対して左右差フラグを立てる。そして、同様の評価を、全ての白線候補領域に対して実施する。【００５７】
こうして、各々の白線候補領域に付与された対称性フラグ，輝度差フラグ，左右差フラグは、駐車枠らしさ管理部４７に記憶されて、後述するように、駐車枠の検出を行う際に利用される。図７は、対称性フラグ，輝度差フラグ，左右差フラグの記憶、管理方法について説明する図である。【００５８】
図７に示すように、画像Ｉの中から検出された全ての白線候補領域の各々に対して、白線候補領域の位置（例えば、中心線Ｍの両端の画素ｍ１，ｍｎの位置）と、対称性フラグ，輝度差フラグ，左右差フラグの付与状態が記憶され、以降の処理は、このリストを用いて行われる。なお、図７に示すように、一つの白線候補領域に複数のフラグが付与される場合もある。
＜駐車枠の検出方法の説明＞【００５９】
次に、駐車枠の検出方法について説明する。駐車枠を検出する方法には様々なものが考えられ、そのいずれの方法を適用してもよい。ここでは、駐車枠の形状特徴を利用した検出方法について説明する。【００６０】
駐車枠の形状特徴とは、例えば、以下の（１）〜（３）のようなものである。【００６１】
（１）駐車枠は、所定の間隔と所定の長さを有する平行な白線で形成された２本の線分に挟まれた領域である。【００６２】
（２）平行な白線で形成された２本の線分のうちの１本は、図４Ａに示すように、隣り合った２つの駐車枠で共有される場合もあれば、隣接した駐車枠の間に、２本の白線が引かれている場合もある。【００６３】
（３）平行な白線の端点同士は、白線によって連結されている場合もあれば、図４Ａのように、駐車枠の奥側のみが連結されている場合もある。また、平行な白線の端点同士が連結されていない場合もある。【００６４】
本実施例では、まず、画像Ｉの中に観測される駐車枠のサイズを記憶しておく。駐車枠のサイズとは、駐車枠に車両を駐車したときに、車両の前後方向に向かって延びる平行な白線で形成された２本の線分の長さ（前述した中心線Ｍの長さと考えてもよい）と、その２本の線分の間隔である。【００６５】
画像Ｉは、車両１を真上から見下ろした俯瞰図であるため、画像Ｉが観測している範囲は、撮像した画像を俯瞰図に変換するパラメータを用いて容易に推定できる。したがって、想定したサイズの駐車枠が、画像Ｉの中でどの位の大きさで観測されるかを推定することができる。ここでは、車両の前後方向に向かって延びる平行な白線で形成された２本の線分の長さが第１の所定の画素数Ｏ１で観測されて、２本の線分の間隔が第２の所定の画素数Ｏ２で観測されるものと推定される。【００６６】
そして、まず、画像Ｉの中から検出された白線候補領域の中から、その方向がほぼ等しくなっている複数の白線候補領域のペアを検出する。白線候補領域の方向は、先に検出した中心線Ｍの方向（２つの端点である画素ｍ１，ｍｎを結ぶ線分の方向）と考えてよい。検出した白線候補領域の情報は、図７に示すようなリスト形式で記憶されているため、平行な白線候補領域の検出は、このリストに記憶された情報を用いて行う。【００６７】
こうして検出された平行な白線候補領域の間隔が、第２の所定の画素数Ｏ２に近いときに、駐車枠を構成する平行な白線候補領域のペアが見つかったものと判断する。そして、次に、こうして検出された白線候補領域の長さを求める。白線候補領域の長さは、その白線候補領域の中心線Ｍの長さとして算出される。算出された中心線Ｍの長さが、先に想定した駐車枠の長さ、すなわち第１の所定の画素数Ｏ１に近い値であるとき、その白線候補領域は駐車枠を構成しているものと判断する。
＜駐車枠らしさの利用方法の説明＞【００６８】
駐車枠の検出を行った後で、図７で説明した、各白線候補領域に付与された対称性フラグ，輝度差フラグ，左右差フラグの付与状態を利用して、検出された駐車枠の信頼度Ｕを算出する。【００６９】
すなわち、駐車枠を構成する白線候補領域に対称性フラグ，輝度差フラグ，左右差フラグのいずれかが付与されているときは、仮に、その白線候補領域が駐車枠を構成していても、その信頼性が低下するものとして取り扱う。また、複数のフラグが付与されているときには、いずれか１つのフラグのみが付与されている場合と比較して、その白線候補領域が駐車枠を構成する信頼性が、より一層低下するものとして取り扱う。このようにすることによって、その白線候補領域がノイズである可能性を持つことが反映される。【００７０】
信頼度Ｕは、具体的には、以下のようにして算出する。すなわち、まず、駐車枠を検出した後で、その駐車枠に含まれる白線候補領域に対するフラグの付与状態を確認して、フラグの付与状態に応じて、その白線候補領域の中心線Ｍの長さＭＬを所定の割合で短く補正して、中心線Ｍの長さをＭＬ’とする。【００７１】
例えば、フラグが１つ付与されている毎に、中心線Ｍの長さＭＬを１０％ずつ短く補正すればよい。こうして、全ての白線候補領域の中心線Ｍに対して、フラグの付与状態に応じた補正を行った後、駐車枠の周囲長のうち、画像Ｉの中に表示されている部分の長さに対する、その駐車枠を構成する全ての白線候補領域の補正後の中心線Ｍの長さＭＬ’の総和の割合Ｅを求め、こうして算出された割合Ｅに基づいて、割合Ｅが高いほど大きな信頼度Ｕを、その駐車枠に付与する。この信頼度Ｕの算出例を図８Ａ〜図８Ｃに示す。【００７２】
図８Ａ〜図８Ｃに示した例では、検出された駐車枠ＰＲ１を構成する白線候補領域は３つ検出される。それぞれの白線候補領域の中心線の長さは、図８Ａに示すようにＴ１，Ｔ２，Ｔ４であり、それぞれの白線候補領域に付与されたフラグの状態に基づいて、それぞれの中心線の長さが、図８Ｂに示すように、長さＴ１’，Ｔ２’，Ｔ４’に補正される。【００７３】
さらに、図８Ｃに示すように、検出された駐車枠ＰＲ１の周囲長Ｑ１のうち、画像Ｉの中に表示されている部分の長さＱ１’に対する、Ｔ１’＋Ｔ２’＋Ｔ４’の割合Ｅ（ＰＲ１）を求め、こうして算出された割合Ｅ（ＰＲ１）に基づいて、駐車枠ＰＲ１の信頼度Ｕが算出される。駐車枠ＰＲ２についても、同様にして信頼度Ｕが算出される。【００７４】
なお、同じ白線候補領域に複数のフラグが同時に立っているときには、前記した所定の割合を更に高い値として、白線候補領域の中心線の長さを、より一層短く補正し、その白線候補領域がノイズである可能性がより一層高いことを反映したものとする。【００７５】
そして、信頼度Ｕは、その大きさに応じて、例えば、最も信頼できない信頼度Ｕ１から、最も信頼できる信頼度Ｕ４まで４段階にグルーピングされて、後で車両制御に利用される。
＜駐車枠の信頼度の算出効果の説明＞【００７６】
前述した駐車枠の信頼度Ｕｉを算出することによって効果が期待できる具体的な場面について、図９を用いて説明する。【００７７】
図９は、前述した「対称性」，「輝度差」，「左右差」が効果を発揮する具体的な場面について説明したものである。なお、最も右列の「ソナーの利用」と書かれている欄は、実施例２で説明する。【００７８】
まず、対称性が効果をもつ場面について説明する。対称性の評価によって、白線の左右で輝度分布が大きく異なっていることを認識することができる。したがって、例えば、路面から垂直に立った立体物のうち、他車のホイールや植え込みがあったときには、輝度分布の対称性が崩れる恐れがあるため、対称性の評価値が低い値となる可能性がある。【００７９】
また、非垂直な立体物である、他車両の車体の模様や壁面があったときには、輝度分布の対称性が崩れる恐れがあるため、対称性の評価値が低い値となる可能性がある。【００８０】
さらに、路面に縁石や段差があるとき、また雨水路があるときには、輝度分布の対称性が崩れる恐れがあるため、対称性の評価値が低い値となる可能性がある。【００８１】
また、路面に車の影があるとき、また、電線の影があるときには、輝度分布の対称性が崩れる恐れがあるため、対称性の評価値が低い値となる可能性がある。【００８２】
そして、このように対称性の評価値が低い値になったときには、駐車枠を誤検出する可能性があるため、仮に白線候補領域が検出された場合であってもその信頼度が低く設定される。【００８３】
次に、輝度差が効果をもつ場面について説明する。輝度差の評価によって、白線の左側または右側に輝度差が小さい、すなわち、コントラストが低い領域があることを認識することができる。したがって、例えば、路面から垂直に立った立体物のうち、他車のホイールや植え込みがあったときには、輝度差が小さくなる恐れがあるため、輝度差の評価値が低い値となる可能性がある。【００８４】
また、非垂直な立体物である、他車両の車体の模様や壁面があったときには、輝度差が小さくなる恐れがあるため、輝度差の評価値が低い値となる可能性がある。【００８５】
さらに、路面に縁石や段差があるとき、また雨水路があるときには、場面によっては、輝度差が小さくなる恐れがあるため、輝度差の評価値が低い値となる可能性がある。【００８６】
また、悪天候時には、例えば、レンズに雨滴が付着して、この雨滴の存在によって輝度差が小さくなる恐れがあるため、輝度差の評価値が低い値となる可能性がある。【００８７】
また、路面に車の影があるとき、また、電線の影があるときには、輝度差が小さくなる恐れがあるため、輝度差の評価値が低い値となる可能性がある。【００８８】
そして、このように輝度差の評価値が低い値になったときには、駐車枠を誤検出する可能性があるため、仮に白線候補領域が検出された場合であってもその信頼度が低く設定される。【００８９】
次に、輝度の左右差が効果をもつ場面について説明する。輝度の左右差の評価によって、白線の左側と右側とで輝度差が大きい、すなわち、明るさが大きく異なる領域があることを認識することができる。したがって、例えば、路面から垂直に立った立体物のうち、他車のホイールや植え込みがあったときには、場面によっては、輝度の左右差が大きくなる恐れがあるため、左右差の評価値が高い値となる可能性がある。【００９０】
また、非垂直な立体物である、他車両の車体の模様や壁面があったときには、場面によっては、輝度の左右差が大きくなる恐れがあるため、左右差の評価値が高い値となる可能性がある。【００９１】
さらに、路面に縁石や段差があるとき、また雨水路があるときには、輝度の左右差が大きくなる恐れがあるため、左右差の評価値が高い値となる可能性がある。【００９２】
また、悪天候時には、例えば、路面反射の発生や、レンズへの雨滴の付着によって、輝度の左右差が大きくなる恐れがあるため、左右差の評価値が高い値となる可能性がある。【００９３】
そして、このように輝度の左右差の評価値が高い値になったときには、駐車枠を誤検出する恐れがあるため、仮に白線候補領域が検出された場合であってもその信頼度が低く設定される。
＜駐車枠の検出結果の利用方法の説明＞【００９４】
こうして検出された駐車枠の検出結果に基づいて、車両１の周囲に駐車枠があること、および、その駐車枠をどの程度信頼してよいかを示す信頼度Ｕが決定される。そして、車両挙動制御部８０（図２）は、検出された駐車枠の信頼度Ｕに基づいて、以下に説明する車両制御を行う。【００９５】
画像Ｉの中に駐車枠が検出されたときに、アクセル開度検出部７０（図２参照）において所定値以上のアクセル開度を検出したときには、ブレーキを踏むべきタイミングで、間違ってアクセルを踏み込んでしまったと判断して、車両挙動制御部８０（図２参照）の作用によって、エンジン出力を絞る制御を行い、実際に踏み込まれたアクセル開度に対応するエンジン出力を出さないようにする。そして、情報出力部９０（図２参照）によって、駐車枠を検出したためにエンジン出力を絞ったことを表示して、運転者に報知する。【００９６】
このような車両制御を行うことによって、駐車場において、ペダルの踏み間違いによる車両の暴走を防止することができる。【００９７】
なお、このとき、検出した駐車枠の信頼度Ｕに基づいて、実行する車両制御の内容を変更することができる。【００９８】
先に説明した駐車枠を検出する処理によって、画像Ｉの中からは、複数の駐車枠が検出される。そして、検出された駐車枠には、信頼度Ｕｉ（ｉ＝１〜４）が付与されている。なお、Ｕ１＜Ｕ２＜Ｕ３＜Ｕ４であるとし、ｉが大きいほど信頼度が高いものとする。【００９９】
このとき、画像の中に存在する駐車枠のうち、最も信頼度の低い駐車枠に付与された信頼度Ｕｉを、その画像Ｉの中の駐車枠の信頼度とする。【０１００】
そして、画像Ｉの中の駐車枠の信頼度がＵ１であると判断されたときには、駐車枠が検出されなかったものと判断して、何の制御も表示も行わない。また、画像Ｉの中の駐車枠の信頼度がＵ２であると判断されたときには、情報出力部９０から、駐車場ではアクセル操作とブレーキ操作を間違えないように注意する旨の情報を、画面表示もしくは音声ガイドによって出力し、運転者の注意喚起を行う。さらに、画像Ｉの中の駐車枠の信頼度がＵ３であると判断されたときには、前述したエンジン出力の低減制御を行うが、そのときの制御量（エンジンの出力抑制量）は小さく設定する。そして、画像Ｉの中の駐車枠の信頼度がＵ４であると判断されたときには、前述したエンジン出力の低減制御を行うが、そのときの制御量（エンジンの出力抑制量）は大きく設定する。【０１０１】
このように、検出された駐車枠の信頼度Ｕｉに応じて、適切な車両制御を実行することができ、駐車枠を誤検出した可能性があるときには、車両制御の実行を抑制することによって、駐車枠の検出状態に応じた適切な車両制御を行うことができる。
＜実施例１の作用の説明＞【０１０２】
次に、実施例１に係る車載画像処理装置５の一連の動作の流れについて、図１０のフローチャートを用いて説明する。【０１０３】
（ステップＳ１０）図２に図示しない車速センサの出力に基づいて、車両１の車速を検出する。そして、検出した車速が０でなく、かつ、予め設定された所定の車速以下であるか否かを判断する。検出した車速が０でなく、かつ、予め設定された所定の車速以下であると判断されたときはステップＳ２０に進み、それ以外のときは、図１０の処理を終了する。【０１０４】
（ステップＳ２０）撮像部１０によって、車両１の周囲を撮像する。【０１０５】
（ステップＳ３０）画像変換、合成部２０において、撮像部１０で撮像された画像が俯瞰図に変換され、さらに、図４Ａに示すような１枚の画像Ｉに合成される。【０１０６】
（ステップＳ４０）エッジペア検出部３２において、画像Ｉの中から、＋エッジと−エッジを構成するエッジ構成点を検出する。【０１０７】
（ステップＳ５０）さらに、中心線検出部３４において、＋エッジと−エッジの中点で構成される中心線Ｍを検出する。【０１０８】
（ステップＳ６０）対称性評価部４３において、検出された白線候補領域の輝度分布の対称性に基づく駐車枠らしさを算出する。詳しい処理内容は、前述したため省略する。【０１０９】
（ステップＳ７０）輝度差評価部４４において、検出された白線候補領域の輝度差に基づく駐車枠らしさを算出する。詳しい処理説明は、前述したため省略する。【０１１０】
（ステップＳ８０）左右差評価部４５において、検出された白線候補領域の輝度の左右差に基づく駐車枠らしさを算出する。詳しい処理説明は、前述したため省略する。【０１１１】
（ステップＳ９０）駐車枠検出部６０において、画像Ｉの中から駐車枠を検出する。詳しい処理内容は、前述したため省略する。【０１１２】
（ステップＳ９５）ステップＳ９０を行った結果、駐車枠が見つかったか否かを判断する。駐車枠が見つかったときはステップＳ１００に進み、駐車枠が見つからなかったときは、ステップＳ１０に戻る。【０１１３】
（ステップＳ１００）駐車枠検出部６０において、画像Ｉの中から検出された全ての駐車枠の信頼度の中から、最も低い信頼度を、画像Ｉの中の駐車枠の信頼度Ｕｉとする。【０１１４】
（ステップＳ１１０）算出された信頼度ＵｉがＵ４と等しいか、もしくはＵｉがＵ３と等しいかが判断される。Ｕｉが、Ｕ４かＵ３のいずれかと等しいときは、ステップＳ１２０に進み、それ以外のときはステップＳ１５０に進む。【０１１５】
（ステップＳ１２０）情報出力部９０の作用で、駐車場ではアクセル操作とブレーキ操作を間違えないように注意する旨の情報を、画面表示もしくは音声ガイドによって出力し、運転者の注意喚起を行う。【０１１６】
（ステップＳ１３０）アクセル開度検出部７０において、アクセル開度が所定値以上であるか否かを判断する。アクセル開度が所定値以上のときはステップＳ１４０に進み、アクセル開度が所定値に満たないときは、ステップＳ１０に戻る。【０１１７】
（ステップＳ１４０）車両挙動制御部８０において、信頼度Ｕ４またはＵ３に応じた、エンジン出力の抑制制御を行う。その制御の内容は前述した通りである。その後、ステップＳ１０に戻る。【０１１８】
（ステップＳ１５０）算出された信頼度ＵｉがＵ２と等しいか否かが判断される。ＵｉがＵ２と等しいときは、ステップＳ１６０に進み、それ以外のときはステップＳ１０に戻る。【０１１９】
（ステップＳ１６０）情報出力部９０から、駐車場ではアクセル操作とブレーキ操作を間違えないように注意する旨の情報を、画面表示もしくは音声ガイドによって出力し、運転者の注意喚起を行う。その後、ステップＳ１０に戻る。【０１２０】
以上説明したように、このように構成された本発明の一実施形態である車載画像処理装置５によれば、車両１に設置された撮像部１０が、車両１の周囲の、少なくとも路面を含む画像Ｉを撮像して、白線候補領域検出部３０が、撮像された画像Ｉを左から右に向かって（所定の方向）スキャンしたときに、画像Ｉの輝度値が明るい方向に輝度差しきい値Ｉｔｈ（所定値）よりも大きく変化する第１の画素の位置と、前記第１の画素からの間隔ｗが所定距離以内にあって、画像Ｉの輝度値が暗い方向に輝度差しきい値Ｉｔｈ（所定値）よりも大きく変化する第２の画素の位置を検出し、直線をなす複数の第１の画素からなる線素の両端点と複数の第２の画素からなる線素の両端点に囲まれた領域を、駐車枠を構成する白線候補領域として検出して、駐車枠らしさ算出部４０が、こうして検出された白線候補領域と路面の境界点の周囲の輝度分布を算出して、この輝度分布が所定の条件を満たすときほど、白線候補領域が駐車枠をなす度合いである駐車枠らしさが低いものと判断して、駐車枠検出部６０が、画像Ｉの中で観測されると予想される駐車枠のサイズに基づいて駐車枠を検出した後で、駐車枠を構成する白線候補領域の駐車枠らしさが低いときには、検出された駐車枠の信頼度Ｕを低く設定するため、路面上のノイズによる駐車枠の誤検出を防止することができ、これによって、路面に描かれた駐車枠の位置を安定して検出することができる。【０１２１】
また、本発明の一実施形態である車載画像処理装置５によれば、輝度差評価部４４が、白線候補領域の中で、＋エッジを構成する第１の画素と−エッジを構成する第２の画素の複数の中点同士を連結した中心線Ｍに対して、中点をこの中心線Ｍに沿って移動したときに、中点の輝度と、中点から第１の画素に向かう方向に距離Ｗ２（第１の所定距離）離れた第３の画素Ｐ１１の輝度の差と、中点の輝度と、中点から第２の画素に向かう方向に距離Ｗ２（第１の所定距離）離れた第４の画素Ｐ２１の輝度の差を算出して、そのうち少なくとも一方が所定値よりも小さくなるような中点が、白線候補領域を構成する中点の総数に対して所定の割合よりも多いか否かを評価する。（輝度差評価指標）【０１２２】
また、左右差評価部４５が、中点を中心線Ｍに沿って移動したときに、第３の画素Ｐ１１の輝度と第４の画素Ｐ２１の輝度の差を算出して、この輝度の差が所定値以上異なるような第３の画素Ｐ１１と第４の画素Ｐ２１のペアが、白線候補領域を構成する中点の総数に対して所定の割合よりも多いか否かを評価する。（輝度の左右差評価指標）【０１２３】
また、対称性評価部４３が、中点の位置から第１の画素に向かう方向に幅Ｗ１（第２の所定距離）離れた第５の画素と、中点の位置から第２の点に向かう方向に幅Ｗ１（第２の所定距離）離れた第６の画素とを設定し、中点を中心線Ｍに沿って移動したときに中点と第５の画素を結ぶ線分が描く領域Ｒ１の内部の輝度分布と、中点を中心線Ｍに沿って移動したときに中点と第６の画素を結ぶ線分が描く領域Ｒ２の内部の輝度分布との差が所定値よりも大きいか否かを評価する。（対称性評価指標）【０１２４】
そして、前述した３つの評価指標のうち少なくとも１つが成立したときに、白線候補領域の駐車枠らしさを引き下げるため、路面上に存在するノイズの影響によって駐車枠の輝度分布が変化したときには、その変化に応じた駐車枠らしさを算出することができ、これによって、検出された駐車枠の信頼度を判断することができる。【０１２５】
また、本発明の一実施形態である車載画像処理装置５によれば、駐車枠らしさ算出部４０が、白線候補領域検出部３０で検出された白線候補領域に対して、白線候補領域の周囲の輝度分布に基づいて、対称性，輝度差，左右差をそれぞれ評価して、対称性，輝度差，左右差のうち、複数の条件を同時に満たす場合には、対称性，輝度差，左右差のうち、いずれか１つの条件だけを満たす場合よりも、白線候補領域の駐車枠らしさをより一層低く設定して信頼度Ｕｉを付与するため、検出された白線候補領域の駐車枠らしさをより確実に判定することができる。【０１２６】
さらに、本発明の一実施形態である車載画像処理装置５によれば、撮像部１０で撮像された画像を、車両１を真上から見下ろした俯瞰画像（画像Ｉ）に変換する画像変換、合成部２０（画像変換部）を有し、画像変換部２０で変換された画像に対して、白線候補領域検出部３０が白線候補領域の検出を行うため、路面に描かれた駐車枠が矩形領域に変換されることによって、駐車枠の形状特徴を用いて、画像Ｉの中の駐車枠を容易に検出することができる。
【実施例２】
【０１２７】
次に、第２の実施例である実施例２について説明する。実施例２は、実施例１の構成に、さらに、車両周囲の立体物を検出する立体物検出部を付加して、車両の周囲に立体物が検出されたときに、立体物の検出結果を用いて、白線候補領域の駐車枠らしさを算出するものである。【０１２８】
まず、図１１から図１３を用いて、実施例２の構成を説明する。実施例２に示す車載画像処理装置６は、車両１に実装されて、図１１に示すように、車両１から異なる４方向の画像を撮像するために設けられた前方カメラ１０Ａ，左方カメラ１０Ｂ，右方カメラ１０Ｃ，後方カメラ１０Ｄに加えて、車両１の４隅に設置された、所定の測距範囲の内部の立体物の有無を判断する測距センサ１００Ａ，１００Ｂ，１００Ｃ，１００Ｄを有している。【０１２９】
測距センサ１００Ａは、車両１の右前部に装着されて、測距範囲ＤＡの内部を観測する。また、測距センサ１００Ｂは、車両１の左前部に装着されて、測距範囲ＤＢの内部を観測する。測距センサ１００Ｃは、車両１の左後部に装着されて、測距範囲ＤＣの内部を観測する。そして、測距センサ１００Ｄは、車両１の右後部に装着されて、測距範囲ＤＤの内部を観測する。【０１３０】
図１２は、車載画像処理装置６の全体構成を示すブロック図である。本車載画像処理装置６は、実施例１の構成に加えて、図示しない車両１の周囲の立体物までの距離を測定する、前述した立体物検出部１００と、立体物検出部１００で検出した立体物情報を集約する立体物情報取得部１１０と、を有する。【０１３１】
また、実施例１の白線候補領域検出部３０は、実施例２では、内部の構成が変化するため、白線候補領域検出部３６となり、駐車枠らしさ算出部４０は、実施例２では、内部の構成が変化するため駐車枠らしさ算出部５０となる。【０１３２】
立体物検出部１００は、超音波センサやミリ波レーダ等の測距センサで構成されており、先に説明した測距範囲ＤＡからＤＤの内部の立体物の有無を検出する。【０１３３】
白線候補領域検出部３６は、さらに、予め設定された所定の方向に隣接する＋エッジと−エッジのペアを検出するエッジペア検出部３７と、各白線候補領域の中から、エッジペア同士を結ぶ線分の中点で構成される中心線を検出する中心線検出部３４とからなる。【０１３４】
駐車枠らしさ算出部５０は、さらに、図１３に示す構成を有している。すなわち、図３で説明した駐車枠らしさ算出部４０を構成する対称性評価部４３，輝度差評価部４４，左右差評価部４５に加えて、立体物検出部１００で測定された立体物の存在に関する情報を評価する立体物情報評価部５１と、各評価値を記憶して管理する駐車枠らしさ管理部５２とからなる。【０１３５】
以下、実施例２の作用について、実施例１と差異がある点を中心に説明する。なお、実施例１の作用と重複する部分については説明を省略する。
＜立体物情報の利用方法の説明＞【０１３６】
白線候補領域の近傍の輝度分布の対称性，輝度差の大きさ，輝度の左右差を評価した後で、立体物検出部１００によって取得された、車両１の周辺の立体物情報に基づいて、駐車枠らしさの補正を行う。【０１３７】
撮像部１０の撮像範囲内に立体物が存在したときには、その立体物が存在しないときに路面の輝度分布が撮像されるべき位置において、立体物の輝度分布が撮像される。したがって、画像Ｉの中で取得された輝度分布は、白線候補領域の輝度分布や路面の輝度分布とは異なる分布を示す。【０１３８】
例えば、車両１の近傍に他の車両が存在したときには、本来駐車枠が撮像される位置に、他の車両や、他の車両の影が撮像される。したがって、本来、白線候補領域となるはずの位置に白線以外のものが映ったり、あるいは、白線に他の車両の影がかかることによって、路面と白線との輝度差が小さくなる。【０１３９】
このようなときに、実施例１では「対称性」，「輝度差」，「左右差」の３つの評価指標に基づいて、駐車枠らしさを算出し、この駐車枠らしさに基づいて、検出された駐車枠の信頼度を設定した。【０１４０】
したがって、車両１の近傍に立体物が存在したときには、駐車枠らしさが低くなって、その結果、検出された駐車枠の信頼度が低い値になってしまう。もしくは、駐車枠自体が検出できなくなってしまう。【０１４１】
本実施例では、このように、車両１の近傍に立体物が存在したときには、白線候補領域の検出方法と、駐車枠らしさの評価方法を、実施例１とは異なる方法によって実施する。【０１４２】
すなわち、車両１の近傍に立体物が存在したときには、例えば、路面から立ち上がったポールの影を白線と誤認識してしまう可能性がある。そのため、立体物が存在することがわかったときには、白線候補領域を検出するしきい値を、白線候補領域を検出しにくくするように設定する。ここで、白線候補領域を検出するしきい値は、＋エッジと−エッジを検出する輝度差しきい値Ｉｔｈと、＋エッジと−エッジの間隔ｗである。【０１４３】
さらに、車両１の近傍に立体物が存在したときには、駐車枠を検出しにくくしてもよい。この場合は、駐車枠の形状特徴である幅と長さ、および平行度を、駐車枠を検出しにくくなるように設定すればよい。【０１４４】
一方、車両１の近傍に立体物が存在しても、駐車枠が正しく検出される場合もある。しかしながら、本来確実に検出されるはずの駐車枠が、例えば立体物の影によってコントラストが低下し、駐車枠らしさが低い状態で検出される可能性があると想定される。【０１４５】
したがって、立体物が検出されたときには、前述した「対称性」，「輝度差」，「左右差」に基づくフラグが立っていても、そのフラグを無視することが効果的である。この場合、フラグが立っていても、駐車枠らしさを引き下げない。
＜駐車枠の信頼度の算出効果の説明＞【０１４６】
前述した駐車枠の信頼度Ｕｉを算出することによって効果が期待できる具体的な場面について、図９を用いて説明する。【０１４７】
ここでは、図９の最も右列の「ソナーの利用」と書かれている欄について説明する。【０１４８】
まず、立体物が存在することを検出することによって、路面から立ち上がった物体があることが検知されるため、白線候補領域を検出する「しきい値を、」白線候補領域を検出しにくくなるように設定することができる。これにより、例えば、路面から垂直に立った立体物のうち、ポールや他車のホイール、また、場合によっては植え込みを駐車枠と誤認識することを防止できる。【０１４９】
また、非垂直立体物である、車体模様や壁面についても、白線候補領域を検出するしきい値を、白線候補領域を検出しにくくなるように設定することによって、これらを白線候補領域と誤認識することを防止できる。【０１５０】
さらに、立体物である他車両の影によって白線候補領域が検出しにくくなる場合があるが、白線候補領域から算出する駐車枠らしさが低い場合であっても、あえて駐車枠らしさを引き下げないことによって、影に覆われた駐車枠であっても検出することができる。
＜実施例２の作用の説明＞【０１５１】
次に、実施例２に係る車載画像処理装置６の一連の動作の流れについて、図１４のフローチャートを用いて説明する。【０１５２】
（ステップＳ２００）図１２に図示しない車速センサの出力に基づいて、車両１の車速を検出する。そして、検出した車速が０でなく、かつ、予め設定された所定の車速以下であるか否かを判断する。検出した車速が０でなく、かつ、予め設定された所定の車速以下であると判断されたときはステップＳ２１０に進み、それ以外のときは図１４の処理を終了する。【０１５３】
（ステップＳ２１０）撮像部１０によって、車両１の周囲を撮像する。【０１５４】
（ステップＳ２２０）画像変換、合成部２０において、撮像部１０で撮像された画像が俯瞰図に変換され、さらに、図４Ａに示すような１枚の画像Ｉに合成される。【０１５５】
（ステップＳ２２２）立体物検出部１００を構成する測距センサ１００Ａ，１００Ｂ，１００Ｃ，１００Ｄのいずれかで、立体物を検知したか否かを判断する。いずれかの測距センサで立体物が検出されたときはステップＳ２３０に進み、立体物が検出されないときはステップＳ２３２に進む。【０１５６】
（ステップＳ２３０）エッジペア検出部３７において、画像Ｉの中から、＋エッジと−エッジを構成するエッジ構成点を検出する。なお、このとき、画像Ｉ１，Ｉ２，Ｉ３，Ｉ４の中で、立体物が検出された方向に対応する画像の中では、＋エッジと−エッジを検出する輝度差しきい値Ｉｔｈと、＋エッジと−エッジの間隔ｗを、白線候補領域が検出しにくくなるように設定する。【０１５７】
（ステップＳ２３２）エッジペア検出部３７において、画像Ｉの中から、＋エッジと−エッジを構成するエッジ構成点を検出する。なお、このとき、＋エッジと−エッジを検出する輝度差しきい値Ｉｔｈと、＋エッジと−エッジの間隔ｗは、所定の値に設定して、白線候補領域が検出しにくくなるような設定は行わない。【０１５８】
（ステップＳ２４０）中心線検出部３４において、＋エッジと−エッジの中点で構成される中心線Ｍを検出する。【０１５９】
（ステップＳ２５０）対称性評価部４３において、検出された白線候補領域の輝度分布の対称性に基づく駐車枠らしさを算出する。詳しい処理内容は前述したため省略する。【０１６０】
（ステップＳ２６０）輝度差評価部４４において、検出された白線候補領域の輝度差に基づく駐車枠らしさを算出する。詳しい処理内容は前述したため省略する。【０１６１】
（ステップＳ２７０）左右差評価部４５において、検出された白線候補領域の輝度の左右差に基づく駐車枠らしさを算出する。詳しい処理内容は前述したため省略する。【０１６２】
（ステップＳ２９０）駐車枠検出部６０において、画像Ｉの中から駐車枠を検出する。詳しい処理内容は前述したため省略する。【０１６３】
（ステップＳ３００）立体物検出部１００を構成する測距センサ１００Ａ，１００Ｂ，１００Ｃ，１００Ｄのいずれかで、立体物を検知したか否かを判断する。いずれかの測距センサで立体物が検出されたときはステップＳ３１０に進み、立体物が検出されないときはステップＳ３２０に進む。【０１６４】
（ステップＳ３１０）駐車枠検出部６０において、画像Ｉの中から検出された全ての駐車枠の信頼度の中から、最も低い信頼度を、画像Ｉの中の駐車枠の信頼度Ｕｉとする。なお、このときに、「対称性」，「輝度差」，「左右差」に基づくフラグが立っていても、画像Ｉ１，Ｉ２，Ｉ３，Ｉ４の中で、立体物が検出された方向に対応する画像の中では、このフラグを無視して、白線候補領域の駐車枠らしさは引き下げないようにする。【０１６５】
（ステップＳ３２０）駐車枠検出部６０において、画像Ｉの中から検出された全ての駐車枠の信頼度の中から、最も低い信頼度を、画像Ｉの中の駐車枠の信頼度Ｕｉとする。なお、このときに、「対称性」，「輝度差」，「左右差」に基づくフラグが立っていたら、そのフラグに応じて、白線候補領域の駐車枠らしさを引き下げるようにする。【０１６６】
（ステップＳ３３０）算出された信頼度ＵｉがＵ４と等しいか、もしくはＵｉがＵ３と等しいかが判断される。Ｕｉが、Ｕ４かＵ３のいずれかと等しいときは、ステップＳ３４０に進み、それ以外のときはステップＳ３５０に進む。【０１６７】
（ステップＳ３４０）情報出力部９０から、駐車場ではアクセル操作とブレーキ操作を間違えないように注意する旨の情報を、画面表示もしくは音声ガイドによって出力し、運転者の注意喚起を行う。【０１６８】
（ステップＳ３７０）アクセル開度検出部７０において、アクセル開度が所定値以上であるか否かを判断する。アクセル開度が所定値以上のときはステップＳ３８０に進み、アクセル開度が所定値に満たないときは、ステップＳ１０に戻る。【０１６９】
（ステップＳ３８０）車両挙動制御部８０において、信頼度Ｕ４またはＵ３に応じた、エンジン出力の抑制制御を行う。その制御の内容は前述した通りである。その後、ステップＳ１０に戻る。【０１７０】
（ステップＳ３５０）算出された信頼度ＵｉがＵ２と等しいか否かが判断される。ＵｉがＵ２と等しいときは、ステップＳ３６０に進み、それ以外のときはステップＳ１０に戻る。【０１７１】
（ステップＳ３６０）情報出力部９０から、駐車場ではアクセル操作とブレーキ操作を間違えないように注意する旨の情報を、画面表示もしくは音声ガイドによって出力し、運転者の注意喚起を行う。その後、ステップＳ１０に戻る。【０１７２】
以上説明したように、このように構成された本発明の一実施形態である車載画像処理装置６によれば、車両１に設置されて、撮像部１０の撮像範囲内の立体物の有無を検出する立体物検出部１００を有し、立体物検出部１００において立体物が検出されたときには、立体物検出範囲に相当する画像Ｉの領域内において、白線候補領域検出部３６が白線候補領域を検出しにくくなるように、輝度差しきい値Ｉｔｈおよび間隔ｗを設定するとともに、白線候補領域が所定の条件を満たしていても、白線候補領域の駐車枠らしさを変更しないため、車両１の近傍に立体物が存在した場合であっても、路面に描かれた駐車枠の位置を確実に検出することができる。【０１７３】
以上、本発明の実施例を図面により詳述したが、実施例は本発明の例示にしか過ぎないものであるため、本発明は実施例の構成にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲の設計の変更等があっても、本発明に含まれることは勿論である。
【関連出願への相互参照】
【０１７４】
本出願は、２０１２年１１月２７日に日本国特許庁に出願された特願２０１２−２５８６９７に基づいて優先権を主張し、その全ての開示は完全に本明細書で参照により組み込まれる。
【符号の説明】
【０１７５】
５      車載画像処理装置
１０    撮像部
１０Ａ  前方カメラ
１０Ｂ  左方カメラ
１０Ｃ  右方カメラ
１０Ｄ  後方カメラ
２０    画像変換、合成部（画像変換部）
３０    白線候補領域検出部
３２    エッジペア検出部
３４    中心線検出部
４０    駐車枠らしさ算出部
６０    駐車枠検出部
７０    アクセル開度検出部
８０    車両挙動制御部
９０    情報出力部
【図１】
0006023216.tif 000002
【図２】
0006023216.tif 000003
【図３】
0006023216.tif 000004
【図４Ａ】
0006023216.tif 000005
【図４Ｂ】
0006023216.tif 000006
【図４Ｃ】
0006023216.tif 000007
【図５Ａ】
0006023216.tif 000008
【図５Ｂ】
0006023216.tif 000009
【図５Ｃ】
0006023216.tif 000010
【図６Ａ】
0006023216.tif 000011
【図６Ｂ】
0006023216.tif 000012
【図６Ｃ】
0006023216.tif 000013
【図６Ｄ】
0006023216.tif 000014
【図７】
0006023216.tif 000015
【図８Ａ】
0006023216.tif 000016
【図８Ｂ】
0006023216.tif 000017
【図８Ｃ】
0006023216.tif 000018
【図９】
0006023216.tif 000019
【図１０】
0006023216.tif 000020
【図１１】
0006023216.tif 000021
【図１２】
0006023216.tif 000022
【図１３】
0006023216.tif 000023
【図１４】
0006023216.tif 000024