(57)【特許請求の範囲】
【請求項１】
所定領域を撮像する撮像手段と、
前記撮像手段により撮像された画像に対して視点変換処理を行って鳥瞰画像を作成する視点変換手段と、
実空間で鉛直方向に伸びる線分を鉛直仮想線として前記鳥瞰画像に対して設定し、当該鉛直仮想線に沿った複数の位置ごとに当該鉛直仮想線の近傍に実空間上において略同じ高さとなる２つの画素を設定し、当該鉛直仮想線に沿った複数の位置ごとに、前記設定された２つの画素間の輝度差を算出する輝度差算出手段と、
前記輝度差算出手段により算出された前記位置毎の輝度差の連続性に基づいて、立体物を検出する立体物検出手段と
を備えることを特徴とする立体物検出装置。
【請求項２】
前記鉛直仮想線は、前記実空間における鉛直方向に伸びる第１鉛直仮想線と、前記第１鉛直仮想線から実空間における所定距離だけ離間して前記実空間における鉛直方向に伸びる第２鉛直仮想線とを含み、
前記輝度差算出手段は、前記第１鉛直仮想線上の画素と前記第２鉛直仮想線上の画素との輝度差を算出すること
を特徴とする請求項１に記載の立体物検出装置。
【請求項３】
前記輝度差算出手段は、前記鉛直仮想線から実空間における等距離だけ離間した２つの画素の輝度差を算出することを特徴とする請求項１に記載の立体物検出装置。
【請求項４】
前記輝度差算出手段は、前記鉛直仮想線から前記鳥瞰画像における等距離だけ離間した２つの画素の輝度差を算出し、
前記立体物検出手段は、前記鉛直仮想線に沿った複数の位置が実空間における上方となるほど、前記輝度差算出手段により算出された輝度差に基づいて立体物を判定する閾値を低くすること
を特徴とする請求項１に記載の立体物検出装置。
【請求項５】
前記輝度差算出手段により算出された複数の位置間における輝度差の連続性に基づいて、エッジ線を検出するエッジ線検出手段を備え、
前記立体物検出手段は、前記エッジ線検出手段により検出されたエッジ線の量に基づいて、立体物を検出することを特徴とする請求項１に記載の立体物検出装置。
【請求項６】
前記エッジ線検出手段は、前記輝度差算出手段により算出された鉛直仮想線上の位置ごとの輝度差に基づいて当該鉛直仮想線上の位置ごとに属性を付け、当該属性の連続性に基づいて当該鉛直仮想線がエッジ線であるか否かを判断することを特徴とする請求項５に記載の立体物検出装置。
【請求項７】
前記立体物検出手段は、前記エッジ線検出手段により検出されたエッジ線に沿った画素の輝度変化が所定値よりも大きい場合に、当該エッジ線を立体物の検出には使用しないことを特徴とする請求項５又は請求項６に記載の立体物検出装置。
【請求項８】
前記輝度差算出手段により算出された輝度差に基づいて、前記鉛直仮想線のエッジ強度を算出するエッジ強度算出手段を備え、
前記立体物検出手段は、前記エッジ強度算出手段により算出されたエッジ強度の総和に基づいて、立体物を検出すること
を特徴とする請求項１に記載の立体物検出装置。
【請求項９】
所定領域を撮像し、
前記撮像された画像に対して視点変換処理を行って鳥瞰画像を作成し、
実空間で鉛直方向に伸びる線分を鉛直仮想線として前記鳥瞰画像に対して設定し、当該鉛直仮想線に沿った複数の位置ごとに当該鉛直仮想線の近傍に実空間上において略同じ高さとなる２つの画素を設定し、当該鉛直仮想線に沿った複数の位置ごとに、前記設定された２つの画素間の輝度差を算出し、
前記算出された前記位置毎の輝度差の連続性に基づいて、立体物を検出すること
を特徴とする立体物検出方法。
【請求項１０】
所定領域を撮像する手段と、
撮像された画像に対して視点変換処理を行って鳥瞰画像を作成する手段と、
実空間で鉛直方向に伸びる鉛直仮想線を前記鳥瞰画像上に設定する手段と、
前記鳥瞰画像上に、前記鉛直仮想線に沿って、実空間上における略同じ高さの輝度差が連続してなるエッジ線を検出して立体物を検出する手段と
を備えることを特徴とする立体物検出装置。
【請求項１１】
所定領域を撮像する手段と、
撮像された画像に対して視点変換処理を行って鳥瞰画像を作成する手段と、
実空間で鉛直方向に伸びる鉛直仮想線を前記鳥瞰画像上に設定する手段と、
前記鉛直仮想線に沿った複数の位置毎に実空間上における略同じ高さの２つの画素の輝度を検出し、
前記鳥瞰画像上に、前記鉛直仮想線に沿って、輝度差が連続してなるエッジ線を検出して立体物を検出する手段と
を備えることを特徴とする立体物検出装置。
【請求項１２】
所定領域を撮像し、
前記撮像された画像に対して視点変換処理を行って鳥瞰画像を作成し、
実空間で鉛直方向に伸びる鉛直仮想線を前記鳥瞰画像上に設定し、
前記鳥瞰画像上に、前記鉛直仮想線に沿って、実空間上における略同じ高さの輝度差が連続してなるエッジ線を検出して立体物を検出すること
を特徴とする立体物検出方法。
【請求項１３】
所定領域を撮像し、
前記撮像された画像に対して視点変換処理を行って鳥瞰画像を作成し、
実空間で鉛直方向に伸びる鉛直仮想線を前記鳥瞰画像上に設定し、
前記鉛直仮想線に沿った複数の位置毎に実空間上における略同じ高さの２つの画素の輝度を検出し、
前記鳥瞰画像上に、前記鉛直仮想線に沿って、輝度差が連続するエッジ線を検出して立体物を検出すること
を特徴とする立体物検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体物検出装置及び立体物検出方法に関する。
【背景技術】
【０００２】
従来、撮像した画像を鳥瞰視に視点変換することによって得られる鳥瞰図から、実空間における水平エッジ又は垂直エッジを検出し、これらエッジの数を用いて車両等の立体物を検出する立体物検出装置が提案されている。この立体物検出装置において、実空間における垂直エッジは、カメラの視点を通る放射状の直線群として投影されて、鳥瞰図に現れる。この立体物検出装置は、この知見に基づき、垂直エッジを検出して、垂直エッジの量を用いて立体物を検出している（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平４−１６３２４９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、撮像した画像を鳥瞰視に視点変換することによって得られた鳥瞰図内の立体物は、その高さに応じて引き延ばされてしまう。このため、鳥瞰図において、立体物の高い位置によって現れるエッジ（実空間では高い位置のエッジ）は、立体物の低い位置におけるエッジ（実空間では低い位置のエッジ）に対して解像度が低下してしまう。一方、立体物の低い位置のエッジは、当該エッジの幅が小さくなってしまう。【０００５】
このために、特許文献１に記載された技術のように、３画素×３画素の微分フィルタを用いてエッジを検出する場合に問題が生ずる。立体物の高い位置に関しては、エッジの解像度が低下しているために、エッジであるにも拘わらずエッジであることが検出できない可能性がある。立体物の低い位置のエッジに関しては、そのエッジの幅が小さくなっているために、ノイズであると判定してしまい、エッジであることが検出できない可能性がある。このような理由により、特許文献１に記載された立体物検出装置は、立体物の検出精度が低下してしまう問題がある。【０００６】
本発明は、このような従来の課題を解決するためになされたものであり、その目的とするところは、立体物の検出精度を向上させることが可能な立体物検出装置及び立体物検出方法を提供することにある。
【課題を解決するための手段】
【０００７】
上述の課題を解決するために、本発明は、撮像手段により撮像された画像に対して視点変換処理を行って鳥瞰画像を作成し、実空間における鉛直方向に伸びる鉛直仮想線に沿った複数の位置ごとに、当該各位置の近傍の２つの画素間の輝度差を算出し、算出された前記位置毎の輝度差の連続性に基づいて、立体物を検出する。
【発明の効果】
【０００８】
本発明によれば、所定領域の画像が俯瞰視された場合において、実空間で鉛直方向に伸びる鉛直仮想線を設定し、当該鉛直仮想線に沿った輝度差の連続性に基づいて立体物を検出する。すなわち、本発明によれば、輝度差が高い場合にはその箇所に立体物のエッジがある可能性が高く、連続的な輝度差に基づいて立体物を検出することができる。特に、実空間において鉛直方向に伸びる鉛直仮想線に沿った２つの画素の比較を行うため、撮像画像を俯瞰画像に視点変換することに伴う立体物が路面からの高さに応じて引き延ばされてしまう現象に影響されることがない。従って、本発明によれば、立体物の検出精度を向上させることができる。
【図面の簡単な説明】
【０００９】
【図１】図１は、本実施形態に係る立体物検出装置の概略構成図であって、立体物検出装置が車両に搭載された例を示す概略ブロック図である。
【図２】図２は、第１実施形態として示す立体物検出装置におけるカメラの撮像領域等を示す図であって、（ａ）は検出領域等の位置関係を示す上面図であり、（ｂ）は実空間上における検出領域等の位置関係を示す斜視図を示している。
【図３】図３は、第１実施形態として示す立体物検出装置の機能的な構成を示すブロック図である。
【図４】図４は、第１実施形態として示す立体物検出装置における輝度差算出部の動作を示す図であって、（ａ）は鳥瞰画像における注目線と参照線と注目点と参照点との位置関係を示す図である、（ｂ）は実空間における注目線と参照線と注目点と参照点との位置関係を示す図である。
【図５】図５は、第１実施形態として示す立体物検出装置における輝度算出部の詳細動作を示す図であって、（ａ）は鳥瞰画像における検出領域を示し、（ｂ）は鳥瞰画像における注目線と参照線と注目点と参照点との位置関係を示す図である。
【図６】図６は、エッジ線とエッジ線上の輝度分布とを示す図であり、（ａ）は検出領域に立体物（車両）が存在している場合のエッジ線とエッジ線上の輝度分布を示し、（ｂ）は検出領域に立体物が存在しない場合のエッジ線とエッジ線上の輝度分布を示している。
【図７】図７は、第１実施形態として示す立体物検出装置による動作手順を示すフローチャートである。
【図８】図８は、第１実施形態として示す立体物検出装置による動作手順を示すフローチャートである。
【図９】図９は、第１実施形態として示す立体物検出装置におけるエッジ検出動作を説明するための画像例を示す図である。
【図１０】図１０は、第２実施形態として示す立体物検出装置における輝度算出部の詳細動作を示す図であって、（ａ）は鳥瞰画像における検出領域を示し、（ｂ）は鳥瞰画像における鉛直仮想線Ｌと第１参照点と第２参照点との位置関係を示す図である。
【図１１】図１１は、第２実施形態として示す立体物検出装置における全体動作を示すフローチャートである。
【図１２】図１２は、第２実施形態として示す立体物検出装置による鉛直エッジの検出動作を示すフローチャートである。
【図１３】図１３は、第２実施形態として示す立体物検出装置における輝度算出部の詳細動作を示す他の図であって、（ａ）は鳥瞰画像における検出領域を示し、（ｂ）は鳥瞰画像における鉛直仮想線Ｌと第１参照点と第２参照点との位置関係を示す図である。
【図１４】図１４は、第２実施形態として示す立体物検出装置において、鉛直仮想線と第１参照点及び第２参照点との関係に応じて閾値を変更することの説明図である。
【図１５】図１５は、第２実施形態として示す立体物検出装置による他の鉛直エッジの検出動作を示すフローチャートである。
【図１６】図１６は、第３実施形態として示す立体物検出装置の機能的な構成を示すブロック図である。
【図１７】図１７は、第３実施形態として示す立体物検出装置におけるエッジ強度算出部の動作を示す図であり、（ａ）は立体物が存在する俯瞰画像上における検出領域と注目線Ｌａとエッジ強度との関係を示す図であり、（ｂ）は立体物が存在しない俯瞰画像上における検出領域と注目線Ｌａとエッジ強度との関係を示す図である。
【図１８】図１８は、第３実施形態として示す立体物検出装置による動作手順を示すフローチャートである。
【発明を実施するための形態】
【００１０】
以下、本発明の実施形態を図面に基づいて説明する。図１は、本実施形態に係る立体物検出装置１の概略構成図である。本実施形態は、立体物検出装置１が自車両Ｖ１に搭載される場合の例を示している。図１に示すように、立体物検出装置１は、カメラ（撮像手段）１０と、計算機２０とを備えている。
【００１１】
カメラ１０は、自車両Ｖ１の後端部における高さｈの箇所に取り付けられる。カメラ１０は、その光軸が水平から下向きに角度θとなるように取り付けられている。カメラ１０は、この取付位置から所定領域を撮像する。カメラ１０は、撮像した画像を計算機２０に供給する。計算機２０は、カメラ１０から供給された画像を用いて、自車両Ｖ１から後側方における立体物の有無を検出する。
【００１２】
図２は、図１に示したカメラ１０の撮像範囲等を示す図である。図２（ａ）は、上面図を示す。図２（ｂ）は、自車両Ｖ１から後側方における実空間上の斜視図を示している。図２（ａ）に示すように、カメラ１０は、所定の画角ａとなっている。カメラ１０は、所定の画角ａに含まれる自車両Ｖ１から後側方を撮像する。カメラ１０の画角ａは、カメラ１０の撮像範囲に自車両Ｖ１が走行する車線に加えて、隣接する車線も含まれるように設定されている。
【００１３】
計算機２０は、カメラ１０によって撮像した撮像画像のうち、検出対象としての立体物の検出領域Ａ１，Ａ２内の部位について各種処理を実行する。これにより、計算機２０は、検出領域Ａ１，Ａ２内に立体物（特に他車両Ｖ２）が存在するか否かを判定する。検出領域Ａ１，Ａ２は、上面からみると台形状となっている。検出領域Ａ１，Ａ２の位置、大きさ及び形状は、距離ｄ１〜ｄ４に基づいて決定される。
【００１４】
距離ｄ１は、自車両Ｖ１から接地線Ｌ１，Ｌ２までの距離である。接地線Ｌ１，Ｌ２は、自車両Ｖ１が走行する車線に隣接する車線に存在する立体物が地面に接触する線を意味する。本実施形態においては、自車両Ｖ１の後側方において自車両Ｖ１の車線に隣接する左右の車線を走行する他車両Ｖ２等（２輪車等を含む）を検出することが目的である。このため、自車両Ｖ１から白線Ｗまでの距離ｄ１１及び白線Ｗから他車両Ｖ２が走行すると予測される位置までの距離ｄ１２から、他車両Ｖ２の接地線Ｌ１，Ｌ２となる位置である距離ｄ１を略固定的に決定しておくことができる。
【００１５】
なお、距離ｄ１については、固定的に決定されている場合に限らず、可変としても良い。この場合、計算機２０は、白線認識等の技術により自車両Ｖ１に対する白線Ｗの位置を認識し、認識した白線Ｗの位置に基づいて距離ｄ１１を決定する。これにより、距離ｄ１は、決定された距離ｄ１１を用いて可変的に設定される。
【００１６】
本実施形態においては、他車両Ｖ２が走行する位置（白線Ｗからの距離ｄ１２）及び自車両Ｖ１が走行する位置（白線Ｗからの距離ｄ１１）は大凡決まっていることから、距離ｄ１は固定的に決定されているものとする。
【００１７】
距離ｄ２は、自車両Ｖ１の後端部から車両進行方向に伸びる距離である。この距離ｄ２は、検出領域Ａ１，Ａ２が少なくともカメラ１０の画角ａ内に収まるように決定されている。特に、本実施形態において、距離ｄ２は、画角ａに区分される範囲に接するよう設定されている。
【００１８】
距離ｄ３は、検出領域Ａ１，Ａ２の車両進行方向における長さを示す距離である。この距離ｄ３は、検出対象となる立体物の大きさに基づいて決定される。本実施形態においては、検出対象が他車両Ｖ２等であるため、距離ｄ３は、他車両Ｖ２を含む長さに設定される。
【００１９】
距離ｄ４は、図２（ｂ）に示すように、実空間において他車両Ｖ２等のタイヤを含むように設定された高さを示す距離である。距離ｄ４は、鳥瞰画像においては図２（ａ）に示すだけの長さとされる。なお、距離ｄ４は、鳥瞰画像において左右の隣接車線よりも更に隣接する車線（すなわち２車線隣りの車線）を含まないだけの長さとされることが望ましい。自車両Ｖ１の車線から２車線隣の車線を含んでしまうと、自車両Ｖ１が走行している車線である自車線の左右の隣接車線に他車両Ｖ２が存在するのか、２車線隣りの車線に他車両Ｖ２が存在するのかについて、区別が付かなくなってしまうためである。
【００２０】
以上のように、距離ｄ１〜距離ｄ４が決定される。これにより、検出領域Ａ１，Ａ２の位置、大きさ及び形状が決定される。具体的に説明すると、距離ｄ１により、台形をなす検出領域Ａ１，Ａ２の上辺ｂ１の位置が決定される。距離ｄ２により、上辺ｂ１の始点位置Ｃ１が決定される。距離ｄ３により、上辺ｂ１の終点位置Ｃ２が決定される。カメラ１０から始点位置Ｃ１に向かって伸びる直線Ｌ３により、台形をなす検出領域Ａ１，Ａ２の側辺ｂ２が決定される。同様に、カメラ１０から終点位置Ｃ２に向かって伸びる直線Ｌ４により、台形をなす検出領域Ａ１，Ａ２の側辺ｂ３が決定される。距離ｄ４により、台形をなす検出領域Ａ１，Ａ２の下辺ｂ４の位置が決定される。このように、各辺ｂ１〜ｂ４により囲まれる領域が検出領域Ａ１，Ａ２とされる。この検出領域Ａ１，Ａ２は、図２（ｂ）に示すように、自車両Ｖ１から後側方における実空間上では真四角（長方形）となる。
【００２１】
なお、本実施形態において検出領域Ａ１，Ａ２は、鳥瞰視された状態では台形状であるが、これに限らず、鳥瞰視された状態で真四角などの他の形状であっても良い。
【００２２】
図３は、図１に示した計算機２０の詳細を示すブロック図である。なお、図３においては、接続関係を明確とするためにカメラ１０についても図示するものとする。
【００２３】
図３に示すように、計算機２０は、視点変換部（視点変換手段）２１と、輝度差算出部（輝度差算出手段）２２と、エッジ線検出部（エッジ線検出手段）２３と、立体物検出部（立体物検出手段）２４とを含む。なお、計算機２０は、ＣＰＵやＲＡＭ、ＲＯＭ等からなるコンピュータである。計算機２０は、予め設定されたプログラムに従って画像処理等を行うことによって、視点変換部２１、輝度差算出部２２、エッジ線検出部２３、立体物検出部２４といった各部の機能を実現する。
【００２４】
視点変換部２１は、カメラ１０による撮像にて得られた所定領域の撮像画像データを入力する。視点変換部２１は、入力した撮像画像データをに対して、鳥瞰視される状態の鳥瞰画像データに視点変換処理を行う。鳥瞰画像される状態とは、上空から例えば鉛直下向き（又は、やや斜め下向き）に見下ろす仮想カメラの視点から見た状態である。この視点変換処理は、例えば特開２００８−２１９０６３号公報に記載された技術によって実現される。
【００２５】
輝度差算出部２２は、鳥瞰画像に含まれる立体物のエッジを検出するために、視点変換部２１により視点変換された鳥瞰画像データに対して、輝度差の算出を行う。輝度差算出部２２は、実空間における鉛直方向に伸びる鉛直仮想線に沿った複数の位置ごとに、当該各位置の近傍の２つの画素間の輝度差を算出する。
【００２６】
輝度差算出部２２は、実空間における鉛直方向に伸びる鉛直仮想線を１本だけ設定する手法と、鉛直仮想線を２本設定する手法との何れかによって輝度差を算出する。
【００２７】
鉛直仮想線を２本設定する具体的な手法について説明する。輝度差算出部２２は、視点変換された鳥瞰画像に対して実空間で鉛直方向に伸びる線分に該当する第１鉛直仮想線と、第１鉛直仮想線と異なり実空間で鉛直方向に伸びる線分に該当する第２鉛直仮想線とを設定する。輝度差算出部２２は、第１鉛直仮想線上の点と第２鉛直仮想線上の点との輝度差を、第１鉛直仮想線及び第２鉛直仮想線に沿って連続的に求める。以下、この輝度差算出部２２の動作について詳細に説明する。
【００２８】
輝度差算出部２２は、図４（ａ）に示すように、実空間で鉛直方向に伸びる線分に該当し、且つ、検出領域Ａ１を通過する第１鉛直仮想線Ｌａ（以下、注目線Ｌａという）を設定する。輝度差算出部２２は、注目線Ｌａと異なり、実空間で鉛直方向に伸びる線分に該当し、且つ、検出領域Ａ１を通過する第２鉛直仮想線Ｌｒ（以下、参照線Ｌｒという）を設定する。参照線Ｌｒは、実空間における所定距離だけ注目線Ｌａから離間する位置に設定される。なお、実空間で鉛直方向に伸びる線分に該当する線とは、鳥瞰画像においてはカメラ１０の位置Ｐｓから放射状に広がる線となる。
【００２９】
輝度差算出部２２は、注目線Ｌａ上に注目点Ｐａ（第１鉛直仮想線上の点）を設定する。輝度差算出部２２は、参照線Ｌｒ上に参照点Ｐｒ（第２鉛直仮想線上の点）を設定する。
【００３０】
注目線Ｌａ、注目点Ｐａ、参照線Ｌｒ、参照点Ｐｒは、実空間上において図４（ｂ）に示すような関係となる。図４（ｂ）から明らかなように、注目線Ｌａ及び参照線Ｌｒは、実空間上において鉛直方向に伸びている。注目点Ｐａと参照点Ｐｒとは、実空間上において略同じ高さに設定される。なお、注目点Ｐａと参照点Ｐｒとは必ずしも厳密に同じ高さである必要はなく、注目点Ｐａと参照点Ｐｒとが同じ高さとみなせる程度の誤差は許容されることは勿論である。
【００３１】
輝度差算出部２２は、注目点Ｐａと参照点Ｐｒとの輝度差を求める。仮に、注目点Ｐａと参照点Ｐｒとの輝度差が大きいとすると、注目点Ｐａと参照点Ｐｒとの間にエッジが存在すると考えられる。このため、図３に示したエッジ線検出部２３は、注目点Ｐａと参照点Ｐｒとの輝度差に基づいてエッジ線を検出する。
【００３２】
より詳細に説明する。図５は、図３に示した輝度差算出部２２の詳細動作を示す第２の図である。図５（ａ）は鳥瞰視された状態の鳥瞰画像を示し、図５（ｂ）は、図５（ａ）に示した鳥瞰画像の一部拡大図である。なお、図５についても検出領域Ａ１のみを図示して説明するが、検出領域Ａ２についても同様に輝度差を算出できる。
【００３３】
カメラ１０が撮像した撮像画像内に他車両Ｖ２が映っていた場合、図５（ａ）に示すように、鳥瞰画像内の検出領域Ａ１に他車両Ｖ２が現れる。図５（ｂ）に図５（ａ）中の領域Ｂ１の拡大図を示すように、鳥瞰画像上において、他車両Ｖ２のタイヤのゴム部分上に注目線Ｌａが設定されていたとする。
【００３４】
この状態において、輝度差算出部２２は、先ず、参照線Ｌｒを設定する。参照線Ｌｒは、注目線Ｌａから実空間上において所定の距離だけ離れた位置に、鉛直方向に沿って設定される。具体的には、本実施形態に係る立体物検出装置１において、参照線Ｌｒは、注目線Ｌａから実空間上において１０ｃｍだけ離れた位置に設定される。これにより、参照線Ｌｒは、鳥瞰画像上において、例えば、他車両Ｖ２のタイヤのゴムから１０ｃｍ相当だけ離れた他車両Ｖ２のタイヤのホイール上に設定される。
【００３５】
次に、輝度差算出部２２は、注目線Ｌａ上に複数の注目点Ｐａ１〜ＰａＮを設定する。例えば、図５（ｂ）においては、説明の便宜上、６つの注目点Ｐａ１〜Ｐａ６（以下、任意の点を示す場合には単に注目点Ｐａｉという）を設定している。なお、注目線Ｌａ上に設定する注目点Ｐａの数は任意でよい。以下の説明では、Ｎ固の注目点Ｐａが注目線Ｌａ上に設定されたものとして説明する。
【００３６】
次に、輝度差算出部２２は、実空間上において各注目点Ｐａ１〜ＰａＮと同じ高さとなるように各参照点Ｐｒ１〜ＰｒＮを設定する。
【００３７】
次に、輝度差算出部２２は、同じ高さ同士の注目点Ｐａと参照点Ｐｒとの輝度差を算出する。これにより、輝度差算出部２２は、実空間における鉛直方向に伸びる鉛直仮想線に沿った複数の位置（１〜Ｎ）ごとに、２つの画素間の輝度差を算出する。輝度差算出部２２は、例えば、第１注目点Ｐａ１とは、第１参照点Ｐｒ１との間で輝度差を算出し、第２注目点Ｐａ２とは、第２参照点Ｐｒ２との間で輝度差を算出することとなる。これにより、輝度差算出部２２は、注目線Ｌａ及び参照線Ｌｒに沿って、連続的に輝度差を求める。すなわち、輝度差算出部２２は、第３〜第Ｎ注目点Ｐａ３〜ＰａＮと第３〜第Ｎ参照点Ｐｒ３〜ＰｒＮとの輝度差を順次求めていくこととなる。
【００３８】
輝度差算出部２２は、検出領域Ａ１内において注目線Ｌａをずらしながら、上記の参照線Ｌｒの設定、注目点Ｐａ及び参照点Ｐｒの設定、輝度差の算出、といった処理を繰り返し実行する。すなわち、輝度差算出部２２は、注目線Ｌａ及び参照線Ｌｒのそれぞれを、実空間上において接地線の延在方向に同一距離だけ位置を変えながら上記の処理を繰り返し実行する。輝度差算出部２２は、例えば、前回処理において参照線Ｌｒとなっていた線を注目線Ｌａに設定し、この注目線Ｌａに対して参照線Ｌｒを設定して、順次輝度差を求めていくこととなる。
【００３９】
再度、図３を参照する。エッジ線検出部２３は、輝度差算出部２２により算出された連続的な輝度差から、エッジ線を検出する。例えば、図５（ｂ）に示す場合、第１注目点Ｐａ１と第１参照点Ｐｒ１とは、同じタイヤ部分に位置するために、輝度差は、小さい。一方、第２〜第６注目点Ｐａ２〜Ｐａ６はタイヤのゴム部分に位置し、第２〜第６参照点Ｐｒ２〜Ｐｒ６はタイヤのホイール部分に位置する。したがって、第２〜第６注目点Ｐａ２〜Ｐａ６と第２〜第６参照点Ｐｒ２〜Ｐｒ６との輝度差は大きくなる。このため、エッジ線検出部２３は、輝度差が大きい第２〜第６注目点Ｐａ２〜Ｐａ６と第２〜第６参照点Ｐｒ２〜Ｐｒ６との間にエッジ線が存在することを検出できる。
【００４０】
具体的には、エッジ線検出部２３は、エッジ線を検出するにあたり、先ず、下記の式（１）に従って、ｉ番目の注目点Ｐａｉ（座標ｘｉ，ｙｉ））とｉ番目の参照点Ｐｒｉ（座標（ｘｉ’，ｙｉ’））との輝度差から、ｉ番目の注目点Ｐａｉに属性付けを行う。
【数１】
0005413516.tif 000002
【００４１】
上記式（１）において、ｔは閾値を示している。Ｉ（ｘｉ，ｙｉ）はｉ番目の注目点Ｐａｉの輝度値を示している。Ｉ（ｘｉ’，ｙｉ’）はｉ番目の参照点Ｐｒｉの輝度値を示している。上記式（１）によれば、注目点Ｐａｉの輝度値が、参照点Ｐｒｉに閾値ｔを加えた輝度値よりも高い場合には、当該注目点Ｐａｉの属性ｓ（ｘｉ，ｙｉ）は“１”となる。一方、注目点Ｐａｉの輝度値が、参照点Ｐｒｉから閾値ｔを減じた輝度値よりも低い場合には、当該注目点Ｐａｉの属性ｓ（ｘｉ，ｙｉ）は“−１”となる。注目点Ｐａｉの輝度値と参照点Ｐｒｉの輝度値とがそれ以外の関係である場合には、注目点Ｐａｉの属性ｓ（ｘｉ，ｙｉ）は“０”となる。
【００４２】
次にエッジ線検出部２３は、下記の式（２）に基づいて、注目線Ｌａに沿った属性ｓの連続性ｃ（ｘｉ，ｙｉ）から、注目線Ｌａがエッジ線であるか否かを判定する。
【数２】
0005413516.tif 000003
【００４３】
注目点Ｐａｉの属性ｓ（ｘｉ，ｙｉ）と隣接する注目点Ｐａｉ＋１の属性ｓ（ｘｉ＋１，ｙｉ＋１）とが同じである場合には、連続性ｃ（ｘｉ，ｙｉ）は“１”となる。注目点Ｐａｉの属性ｓ（ｘｉ，ｙｉ）と隣接する注目点Ｐａｉ＋１の属性ｓ（ｘｉ＋１，ｙｉ＋１）とが同じではない場合には、連続性ｃ（ｘｉ，ｙｉ）は“０”となる。
【００４４】
次にエッジ線検出部２３は、注目線Ｌａ上の全ての注目点Ｐａの連続性ｃについて総和を求める。エッジ線検出部２３は、求めた連続性ｃの総和を注目点Ｐａの数Ｎで割ることにより、連続性ｃを正規化する。エッジ線検出部２３は、正規化した値が閾値θを超えた場合に、注目線Ｌａをエッジ線と判断する。なお、閾値θは、予め実験等によって設定された値である。
【００４５】
すなわち、エッジ線検出部２３は、下記の式（３）に基づいて注目線Ｌａがエッジ線であるか否かを判断する。
【数３】
0005413516.tif 000004
【００４６】
そして、エッジ線検出部２３は、検出領域Ａ１上に描かれた注目線Ｌａの全てについてエッジ線であるか否かを判断する。
【００４７】
再度図３を参照する。立体物検出部２４は、エッジ線検出部２３により検出されたエッジ線の量に基づいて立体物を検出する。上記したように、本実施形態に係る立体物検出装置１は、実空間上において鉛直方向に伸びるエッジ線を検出する。鉛直方向に伸びるエッジ線が多く検出されるということは、検出領域Ａ１，Ａ２に立体物が存在する可能性が高いということである。このため、立体物検出部２４は、エッジ線検出部２３により検出されたエッジ線の量に基づいて立体物を検出する。
【００４８】
更に、立体物検出部２４は、立体物を検出するに先立って、エッジ線検出部２３により検出されたエッジ線が正しいものであるか否かを判定する。立体物検出部２４は、エッジ線上の俯瞰画像のエッジ線に沿った輝度変化が所定の閾値よりも大きいか否かを判定する。エッジ線上の俯瞰画像の輝度変化が閾値よりも大きい場合には、当該エッジ線が誤判定により検出されたものと判定する。一方、エッジ線上の俯瞰画像の輝度変化が閾値よりも大きくない場合には、当該エッジ線が正しいものと判定する。なお、この閾値は、実験等により予め設定された値である。
【００４９】
図６は、エッジ線及び輝度分布を示す図である。図６（ａ）は検出領域Ａ１に立体物としての他車両Ｖ２が存在した場合のエッジ線及び輝度分布を示す。図６（ｂ）は検出領域Ａ１に立体物が存在しない場合のエッジ線及び輝度分布を示している。
【００５０】
図６（ａ）に示すように、鳥瞰画像において他車両Ｖ２のタイヤゴム部分に設定された注目線Ｌａがエッジ線であると判断されていたとする。この場合、注目線Ｌａ上の俯瞰画像の輝度変化はなだらかなものとなる。これは、カメラ１０により撮像された画像が鳥瞰画像（鳥瞰視）に視点変換されたことにより、他車両Ｖ２のタイヤが俯瞰画像内で引き延ばされたことによる。
【００５１】
一方、図６（ｂ）に示すように、鳥瞰画像において路面に描かれた「５０」という白色文字部分に設定された注目線Ｌａがエッジ線であると誤判定されていたとする。この場合、注目線Ｌａ上の俯瞰画像の輝度変化は起伏の大きいものとなる。これは、エッジ線上に、白色文字における輝度が高い部分と、路面等の輝度が低い部分とが混在しているからである。
【００５２】
以上のような注目線Ｌａ上の輝度分布の相違に基づいて、エッジ線検出部２３は、エッジ線が誤判定により検出されたものか否かを判定する。立体物検出部２４は、エッジ線に沿った輝度変化が所定の閾値よりも大きい場合には、当該エッジ線が誤判定により検出されたものであると判定する。そして、当該エッジ線は、立体物の検出には使用しない。これにより、路面上の「５０」といった白色文字や路肩の雑草等がエッジ線として判定されてしまい、立体物の検出精度が低下することを抑制する。
【００５３】
具体的には、立体物検出部２４は、下記の式（４）、（５）の何れかにより、エッジ線の輝度変化を算出する。このエッジ線の輝度変化は、実空間上における鉛直方向の評価値に相当する。下記の式（４）は、注目線Ｌａ上のｉ番目の輝度値Ｉ（ｘｉ，ｙｉ）と隣接するｉ＋１番目の輝度値Ｉ（ｘｉ＋１，ｙｉ＋１）との差分の二乗の合計値によって輝度分布を評価する。下記の式（５）は、注目線Ｌａ上のｉ番目の輝度値Ｉ（ｘｉ，ｙｉ）と隣接するｉ＋１番目の輝度値Ｉ（ｘｉ＋１，ｙｉ＋１）との差分の絶対値の合計値よって輝度分布を評価する。
【数４】
0005413516.tif 000005
【数５】
0005413516.tif 000006
【００５４】
なお、式（５）に限らず、下記の式（６）のように、閾値ｔ２を用いて隣接する輝度値の属性ｂを二値化して、当該二値化した属性ｂを全ての注目点Ｐａについて総和しても良い。
【数６】
0005413516.tif 000007
【００５５】
注目点Ｐａｉの輝度値と参照点Ｐｒｉの輝度値との輝度差の絶対値が閾値ｔ２よりも大きい場合、当該注目点Ｐａ（ｘｉ，ｙｉ）の属性ｂは“１”となる。それ以外の関係である場合には、注目点Ｐａｉの属性ｂ（ｘｉ，ｙｉ）は“０”となる。この閾値ｔ２は、注目線Ｌａが同じ立体物上にないことを判定するために実験等によって予め設定されている。そして、立体物検出部２４は、注目線Ｌａ上の全注目点Ｐａについての属性ｂを総和して、鉛直相当方向の評価値を求めて、エッジ線が正しいものかを判定する。
【００５６】
つぎに、本実施形態に係る立体物検出方法について説明する。図７及び図８は、本実施形態に係る立体物検出方法の詳細を示すフローチャートである。なお、図７及び図８においては、便宜上、検出領域Ａ１を対象とする処理について説明するが、検出領域Ａ２についても同様に処理できる。
【００５７】
図７に示すように、先ずステップＳ１において、カメラ１０は、画角ａ及び取付位置によって特定された所定領域を撮像する。
【００５８】
次に輝度差算出部２２は、ステップＳ２において、ステップＳ１にてカメラ１０により撮像された撮像画像データを入力し、視点変換を行って鳥瞰画像データを生成する。
【００５９】
次に輝度差算出部２２は、ステップＳ３において、検出領域Ａ１上に注目線Ｌａを設定する。このとき、輝度差算出部２２は、実空間上において鉛直方向に伸びる線に相当する線を注目線Ｌａとして設定する。
【００６０】
次に輝度差算出部２２は、ステップＳ４において、検出領域Ａ１上に参照線Ｌｒを設定する。このとき、輝度差算出部２２は、実空間上において鉛直方向に伸びる線分に該当し、且つ、注目線Ｌａと実空間上において所定距離離れた線を参照線Ｌｒとして設定する。
【００６１】
次に輝度差算出部２２は、ステップＳ５において、注目線Ｌａ上に複数の注目点Ｐａを設定する。この際に、輝度差算出部２２は、エッジ線検出部２３によるエッジ検出時に問題とならない程度の数の注目点Ｐａを設定する。
【００６２】
また、輝度差算出部２２は、ステップＳ６において、実空間上において注目点Ｐａと参照点Ｐｒとが略同じ高さとなるように、参照点Ｐｒを設定する。これにより、注目点Ｐａと参照点Ｐｒとが略水平方向に並ぶこととなり、実空間上において鉛直方向に伸びるエッジ線を検出しやすくなる。
【００６３】
次に輝度差算出部２２は、ステップＳ７において、実空間上において同じ高さとなる注目点Ｐａと参照点Ｐｒとの輝度差を算出する。
【００６４】
次にエッジ線検出部２３は、上記の式（１）に従って、各注目点Ｐａの属性ｓを算出する。次にエッジ線検出部２３は、ステップＳ８において、上記の式（２）に従って、各注目点Ｐａの属性ｓの連続性ｃを算出する。
【００６５】
次にエッジ線検出部２３は、ステップＳ９において、上記式（３）に従って、連続性ｃの総和を正規化した値が閾値θより大きいか否かを判定する。正規化した値が閾値θよりも大きいと判断した場合（Ｓ９：ＹＥＳ）、エッジ線検出部２３は、ステップＳ１０において、当該注目線Ｌａをエッジ線として検出する。そして、処理は、ステップＳ１１に移行する。正規化した値が閾値θより大きくないと判断した場合（Ｓ９：ＮＯ）、エッジ線検出部２３は、当該注目線Ｌａをエッジ線として検出せず、処理は、ステップＳ１１に移行する。
【００６６】
ステップＳ１１において、計算機２０は、検出領域Ａ１上に設定可能な注目線Ｌａの全てについて上記のステップＳ３〜ステップＳ１０の処理を実行したか否かを判断する。全ての注目線Ｌａについて上記処理をしていないと判断した場合（Ｓ１１：ＮＯ）、ステップＳ３に処理を戻して、新たに注目線Ｌａを設定して、ステップＳ１１までの処理を繰り返す。一方、全ての注目線Ｌａについて上記処理をしたと判断した場合（Ｓ１１：ＹＥＳ）、処理は図８のステップＳ１２に移行する。
【００６７】
図８のステップＳ１２において、立体物検出部２４は、図７のステップＳ１０において検出された各エッジ線について、当該エッジ線に沿った輝度変化を算出する。立体物検出部２４は、上記式（４）、式（５）、式（６）の何れかの式に従って、エッジ線の輝度変化を算出する。
【００６８】
次に立体物検出部２４は、ステップＳ１３において、エッジ線のうち、輝度変化が所定の閾値よりも大きいエッジ線を除外する。すなわち、輝度変化の大きいエッジ線は正しいエッジ線ではないと判定し、エッジ線を立体物の検出には使用しない。これは、上述したように、検出領域Ａ１に含まれる路面上の文字や路肩の雑草等がエッジ線として検出されてしまうことを抑制するためである。したがって、所定の閾値とは、予め実験等によって求められた、路面上の文字や路肩の雑草等によって発生する輝度変化に基づいて設定された値となる。
【００６９】
次に立体物検出部２４は、ステップＳ１４において、エッジ線の量が所定値以上であるか否かを判断する。なお、上記の所定値は、予め実験等によって求めておいて設定された値である。例えば、検出対象の立体物として四輪車を設定した場合、当該所定値は、予め実験等によって検出領域Ａ１内において出現した四輪車のエッジ線の数に基づいて設定される。
【００７０】
エッジ線の量が所定値以上であると判定した場合（Ｓ１４：ＹＥＳ）、立体物検出部２４は、ステップＳ１５において、検出領域Ａ１内に立体物が存在すると検出する。一方、エッジ線の量が所定値以上ではないと判定した場合（Ｓ１４：ＮＯ）、立体物検出部２４は、検出領域Ａ１内に立体物が存在しないと判断する。その後、図７及び図８に示す処理は終了する。
【００７１】
以上のように、本実施形態に係る立体物検出装置１によれば、検出領域Ａ１，Ａ２に存在する立体物を検出するために、鳥瞰画像に対して実空間において鉛直方向に伸びる線分としての鉛直仮想線を設定する。そして、立体物検出装置１は、鉛直仮想線に沿った複数の位置ごとに、当該各位置の近傍の２つの画素の輝度差を算出し、当該輝度差の連続性に基づいて立体物の有無を判定できる。
【００７２】
具体的には、立体物検出装置１は、鳥瞰画像における検出領域Ａ１，Ａ２に対して、実空間において鉛直方向に伸びる線分に該当する注目線Ｌａと、注目線Ｌａとは異なる参照線Ｌｒとを設定する。立体物検出装置１は、注目線Ｌａ上の注目点Ｐａと参照線Ｌｒ上の参照点Ｐｒとの輝度差を注目線Ｌａ及び参照線Ｌｒに沿って連続的に求める。このように、点同士の輝度差を連続的に求めることにより、注目線Ｌａと参照線Ｌｒとの輝度差を求める。注目線Ｌａと参照線Ｌｒとの輝度差が高い場合には、注目線Ｌａの設定箇所に立体物のエッジがある可能性が高い。これによって、立体物検出装置１は、連続的な輝度差に基づいて立体物を検出することができる。特に、実空間において鉛直方向に伸びる鉛直仮想線同士との輝度比較を行うために、俯瞰画像に変換することによって立体物が路面からの高さに応じて引き伸ばされてしまっても、立体物の検出処理が影響されることはない。したがって、この立体物検出装置１によれば、立体物の検出精度を向上させることができる。
【００７３】
また、この立体物検出装置１によれば、鉛直仮想線付近の略同じ高さの２つの点の輝度差を求める。具体的には、実空間上で略同じ高さとなる注目線Ｌａ上の注目点Ｐａと参照線Ｌｒ上の参照点Ｐｒとから輝度差を求める。このため、この立体物検出装置１によれば、鉛直方向に伸びるエッジが存在する場合における輝度差を明確に検出することができる。
【００７４】
更に、この立体物検出装置１によれば。注目線Ｌａ上の注目点Ｐａと参照線Ｌｒ上の参照点Ｐｒとの輝度差に基づいて注目点Ｐａに属性付けを行い、注目線Ｌａに沿った属性の連続性ｃに基づいて当該注目線Ｌａがエッジ線であるかを判断する。このため、立体物検出装置１によれば、輝度の高い領域と輝度の低い領域との境界をエッジ線して検出して、人間の自然な感覚に沿ったエッジ検出を行うことができる。
【００７５】
この効果について詳細に説明する。図９は、図３に示したエッジ線検出部２３の処理を説明する画像例を示す図である。この画像例は、輝度の高い領域と輝度の低い領域とが繰り返される縞模様を示す第１縞模様１０１と、輝度の低い領域と輝度の高い領域とが繰り返される縞模様を示す第２縞模様１０２とが隣接している。また、この画像例は、第１縞模様１０１の輝度が高い領域と第２縞模様１０２の輝度の低い領域とが隣接すると共に、第１縞模様１０１の輝度が低い領域と第２縞模様１０２の輝度が高い領域とが隣接している。この第１縞模様１０１と第２縞模様１０２との境界に位置する部位１０３は、人間の感覚によってはエッジとは知覚されない傾向にある。
【００７６】
これに対し、輝度の低い領域と輝度が高い領域とが隣接しているために、輝度差のみでエッジを検出すると、当該部位１０３はエッジとして認識されてしまう。しかし、エッジ線検出部２３は、部位１０３における輝度差に加えて、当該輝度差の属性に連続性がある場合にのみ部位１０３をエッジ線として判定する。したがって、エッジ線検出部２３は、人間の感覚としてエッジ線として認識しない部位１０３をエッジ線として認識する誤判定を抑制でき、人間の感覚に沿ったエッジ検出を行うことができる。
【００７７】
更に、この立体物検出装置１は、エッジ線検出部２３により検出されたエッジ線の輝度変化が所定の閾値よりも大きい場合には、当該エッジ線が誤判定により検出されたものと判断する。カメラ１０により取得された撮像画像を鳥瞰画像に変換した場合、当該撮像画像に含まれる立体物は、引き伸ばされた状態で俯瞰画像に現れる傾向がある。例えば、上述したように他車両Ｖ２のタイヤが引き伸ばされた場合、タイヤという１つの部位が引き伸ばされるため、引き伸ばされた方向における俯瞰画像の輝度変化は小さい傾向となる。これに対し、路面に描かれた文字等をエッジ線として誤判定した場合、俯瞰画像には、文字部分といった輝度が高い領域と路面部分といった輝度が低い領域とが混合されて含まれる。この場合、俯瞰画像において、引き伸ばされた方向の輝度変化は大きくなる傾向がある。したがって、立体物検出装置１は、エッジ線に沿った俯瞰画像の輝度変化を判定することによって、誤判定により検出されたエッジ線を認識することができ、立体物の検出精度を高くできる。
【００７８】
つぎに、第２実施形態に係る立体物検出装置１について説明する。なお、上述の第１実施形態と同様の部分については同一符号を付することによりその詳細な説明を省略する。
【００７９】
第２実施形態として示す立体物検出装置１は、俯瞰画像に対して１本の鉛直仮想線を設定して立体物を検出する点で、第１実施形態とは異なる。この立体物検出装置１は、輝度差算出部２２によって、鉛直仮想線から実空間における等距離だけ離間した２つの画素の輝度差を算出する。
【００８０】
具体的には、図１０（ａ）に示すように、カメラ１０の位置Ｐｓから、実空間上において鉛直方向に伸びる１本の鉛直仮想線Ｌを設定する。なお、図１０では、鉛直仮想線Ｌを１本だけ示しているが、この鉛直仮想線Ｌは、検出領域Ａ１において放射線状に複数設定される。検出領域Ａ１のうち一部を拡大した領域Ｂ１を図１０（ｂ）に示す。なお、図１０においては、説明の便宜上、検出領域Ａ１についてのみ説明するが、検出領域Ａ２についても同様に処理を行うものとする。
【００８１】
図１０（ｂ）に示すように、輝度差算出部２２は、鉛直仮想線Ｌを跨いで実空間上における水平方向に２つの画素を設定する。具体的には、鉛直仮想線Ｌから実空間上における水平方向に第１参照点Ｐａ１〜Ｐａ６（以下、任意の点を示す場合には単に第１参照点Ｐａｉという）を設定し、当該第１参照点から鉛直仮想線Ｌを跨いで第２参照点Ｐｂ１〜Ｐｂ６を設定する。すなわち、第１参照点Ｐａ１〜Ｐａ６及び第２参照点Ｐｂ１〜Ｐｂ６（以下、任意の点を示す場合には単に第２参照点Ｐｂｉという）は、鉛直仮想線Ｌと同様に、カメラ１０の位置Ｐｓから放射線に伸びる線上に設定される。
【００８２】
これにより、輝度差算出部２２は、第１参照点Ｐａｉと第２参照点Ｐｂｉとの実空間上における距離を同じとなるよう設定する。したがって、俯瞰画像において、画素Ｐａ１と画素Ｐｂ１との距離Ｄ１、画素Ｐａ２と画素Ｐｂ２との距離Ｄ２，画素Ｐａ３と画素Ｐｂ３との距離Ｄ３、画素Ｐａ４と画素Ｐｂ４との距離Ｄ４、画素Ｐａ５と画素Ｐｂ５との距離Ｄ５、画素Ｐａ６と画素Ｐｂ６との距離Ｄ６、となるほど、画像内距離は長くなる。
【００８３】
このように、輝度差算出部２２は、鉛直仮想線Ｌ付近に位置する実空間上で略同じ高さとなり、且つ、鉛直仮想線Ｌから実空間における等距離だけ離間した２つの画素Ｐａｉ、Ｐｂｉを設定する。輝度差算出部２２は、２つの画素間ＰａｉとＰｂｉの輝度差を算出する。これにより、輝度差算出部２２は、実空間における鉛直方向に伸びる鉛直仮想線Ｌに沿った複数の位置ごとに、当該各位置の近傍の２つの画素間の輝度差を算出する。
【００８４】
これにより、エッジ線検出部２３は、輝度差算出部２２により算出された輝度差を用いてエッジ線を検出する。立体物検出部２４は、エッジ線検出部２３により検出されたエッジ線を用いて立体物を検出する。
【００８５】
このような立体物検出装置１の動作を、図１１及び図１２を参照して説明する。
【００８６】
図１１によれば、先ずステップＳ４１において、計算機２０によってカメラ１０により撮像された撮像画像データを取り込む。
【００８７】
次のステップＳ４２において、視点変換部２１は、ステップＳ４１にて取り込まれた撮像画像データに対して視点変換処理を行う。これにより視点変換部２１は、俯瞰画像データを作成する。
【００８８】
次のステップＳ４３において、輝度差算出部２２及びエッジ線検出部２３は、鉛直仮想線Ｌにおける左側に設定した第１参照点Ｐａｉ（左側参照点）を用いて、エッジ線（左側鉛直エッジ）を検出する。次のステップＳ４４において、鉛直仮想線Ｌにおける右側に設定した第２参照点Ｐｂｉ（右側参照点）を用いて、エッジ線（右側鉛直エッジ）を検出する。なお、このステップＳ４３及びステップＳ４４の処理は、図１２を参照して後述する。
【００８９】
次のステップＳ４５において、立体物検出部２４は、ステップＳ４３にて検出された左側鉛直エッジとステップＳ４４にて検出された右側鉛直エッジとを用いて、検出領域Ａ１における立体物を検出する。
【００９０】
つぎに、図１２を参照して左側鉛直エッジ及び右側鉛直エッジを検出する処理を説明する。なお、図１２の説明では、左側鉛直エッジ及び右側鉛直エッジを総称して単に“鉛直エッジ”と呼ぶ。
【００９１】
先ず輝度差算出部２２は、ステップＳ５１において、第１参照点Ｐａｉ及び第２参照点Ｐｂｉを設定するための基準となる鉛直仮想線Ｌを設定する。この鉛直仮想線Ｌは、カメラ１０の位置Ｐｓを通る放射方向であって、実空間上において鉛直方向に伸びるよう設定される。鉛直仮想線Ｌは、ステップＳ５１の処理の度に、検出領域Ａ１の内側線を所定の間隔で横切るように設定される。
【００９２】
次のステップＳ５２において、属性ｓ、属性ｓの前回値ｓ＿ｐｒｅ、変化回数カウントｄ、スコアカウントｎを初期化する。
【００９３】
次のステップＳ５３において、輝度差算出部２２は、第１参照点Ｐａｉ及び第２参照点Ｐｂｉを設定する。このとき、輝度差算出部２２は、図１０（ｂ）に示したように、鉛直仮想線Ｌを跨いで実空間上において同じ高さ且つ等距離となるよう各参照点を設定する。これにより、輝度差算出部２２は、検出領域Ａ１において外側となるほど間隔が長くなるよう第１参照点Ｐａｉ及び第２参照点Ｐｂｉを設定する。
【００９４】
次のステップＳ５４においては、鉛直仮想線Ｌの位置ごとに、属性ｓ（輝度パターン）の判定を行う。このとき、輝度差算出部２２によって対応する第１参照点Ｐａｉと第２参照点Ｐｂｉとの輝度差を求める。エッジ線検出部２３は、輝度差算出部２２によって求められた輝度差の関係と上述した式（１）とに従って、属性ｓ（輝度パターン）を設定する。この属性ｓは、例えば第１参照点Ｐａｉと第２参照点Ｐｂｉとを結ぶ線分と鉛直仮想線Ｌとが交差する位置の属性ｓである。
【００９５】
属性ｓは、第１参照点Ｐａｉの輝度が第２参照点Ｐｂｉよりも閾値ｔを超えて大きくなった場合に、“１”となる。一方、第１参照点Ｐａｉの輝度値が、第２参照点Ｐｂｉから閾値ｔを減じた輝度値よりも低い場合に、当該属性ｓは“−１”となる。第１参照点Ｐａｉの輝度値と第２参照点Ｐｂｉの輝度値とがそれ以外の関係である場合には、属性ｓは“０”となる。
【００９６】
次のステップＳ５５において、エッジ線検出部２３は、ステップＳ５４において属性ｓが所定値である場合のみに、スコアｎとしてカウントアップする。この属性ｓの所定値は、“１”又は“−１”の何れであっても良い。すなわち、エッジ線検出部２３は、第１参照点Ｐａｉと第２参照点Ｐｂｉのうち一方が明るい又は暗いという合計をカウントする。なお、属性ｓが“０”であった場合にはスコアｎをカウントアップはしない。
【００９７】
次のステップＳ５６において、エッジ線検出部２３は、属性ｓの変化回数ｄをカウントする。このとき、今回のステップＳ５４にて判定された属性ｓと、前回にステップＳ５４にて判定された属性ｓ＿ｐｒｅとを比較する。この属性ｓ＿ｐｒｅは、属性ｓを求めた第１参照点Ｐａｉ及び第２参照点Ｐｂｉと鉛直仮想線Ｌに沿って隣接している第１参照点Ｐａｉ及び第２参照点Ｐｂｉから求められた属性ｓである。属性ｓと属性ｓ＿ｐｒｅとが同じ値である場合、変化回数ｄはカウントアップされる。
【００９８】
次のステップＳ５７において、エッジ線検出部２３は、属性ｓを記憶する。
【００９９】
次のステップＳ５８において、エッジ線検出部２３は、ステップＳ５１にて設定された基準線としての鉛直仮想線Ｌに設定された全ての参照点についてステップＳ５３〜ステップＳ５７の処理を実行したか否かを判定する。全ての参照点について処理を実行していない場合には、ステップＳ５３に処理は戻る。この再度のステップＳ５３においては、次の参照点を設定する。一方、全ての参照点について処理を実行したと判定した場合にはステップＳ５９に処理を進める。ステップＳ５９においては、検出領域Ａ１に設定される全ての鉛直仮想線ＬについてステップＳ５２〜ステップＳ５８の処理を実行したか否かを判定する。全ての鉛直仮想線Ｌについて処理を実行したと判定していない場合にはステップＳ５１に処理を進める。この再度のステップＳ５１において、次の鉛直仮想線Ｌを設定する。一方、全ての鉛直仮想線Ｌについて処理を実行したと判定した場合にはステップＳ６０に処理を進める。
【０１００】
ステップＳ６０において、エッジ線検出部２３は、検出領域Ａ１に現れた鉛直エッジを判定する。このとき、エッジ線検出部２３は、同じ属性ｓが判定されたことを表すスコアｎと、第１参照点Ｐａｉと第２参照点Ｐｂｉとの組の総数Ｎ、及び、変化回数ｄに基づいて鉛直エッジを判定する。具体的には、エッジ線検出部２３は、スコアｎ／総数Ｎ＞θであり、且つ、５＞ｄである場合に、当該鉛直仮想線Ｌを鉛直エッジであると判定する。
【０１０１】
スコアｎ／総数Ｎは、スコアｎを参照点の総数で割ることにより、スコアｎを正規化している。これにより、エッジ線検出部２３は、参照点の総数Ｎに対して第１参照点Ｐａｉと第２参照点Ｐｂｉとの関係が同じ（明るい又は暗い）と判定された割合が大きい場合には、鉛直エッジがあると推定できる。
【０１０２】
また、エッジ線検出部２３は、変化回数ｄが上限値（この例では５）よりも少ない場合、当該鉛直仮想線Ｌが鉛直エッジであると推定できる。この変化回数ｄの上限値は、検出領域Ａ１内で属性ｓが大きく変化する物体は路肩の雑草や路面表示記号・文字等である可能性が高いことを考慮して設定される。したがって、この上限値は、予め実験等によって、雑草や路面表示記号・文字等を鉛直エッジであると判断しないよう設定されている。
【０１０３】
一方、エッジ線検出部２３は、この条件を満たさない場合、鉛直仮想線Ｌが鉛直エッジではないと判定する。
【０１０４】
以上のように、この立体物検出装置１によれば、第１実施形態と同様に、実空間において鉛直方向に伸びる鉛直仮想線を設定し、輝度差の連続性に基づいて立体物を検出するので、立体物の検出精度を向上させることができる。
【０１０５】
また、この立体物検出装置１によれば、単一の鉛直仮想線Ｌに対して２つの第１参照点Ｐａｉ及び第２参照点Ｐｂｉを設定し、当該第１参照点Ｐａｉと第２参照点Ｐｂｉとの画像内距離を実空間における距離としている。これにより、この立体物検出装置１によれば、第１実施形態のように２本の注目線Ｌａ及び参照線Ｌｒを設けなくても、鉛直エッジを検出して立体物を検出することができる。したがって、この立体物検出装置１によれば、第１実施形態よりも処理負担を少なくできる。
【０１０６】
つぎに、第２実施形態として示す他の立体物検出装置１について説明する。この第２実施形態として示す立体物検出装置１は、鉛直仮想線Ｌを１本だけ設定する点で一致する。この立体物検出装置１は、図１３（ａ）に示す俯瞰画像を一部拡大した図１３（ｂ）に示すように、鉛直仮想線Ｌに沿って俯瞰画像上に設定する第１参照点Ｐａｉと第２参照点Ｐｂｉとの全ての距離を、同じ距離Ｄとしている。
【０１０７】
すなわち、図１４に示すように、輝度差算出部２２は、カメラ１０の位置Ｐｓから放射線状に鉛直仮想線Ｌを設定する。一方、輝度差算出部２２は、第１参照点Ｐａｉが配置される仮想線ｌ１及び第２参照点Ｐｂｉが配置されるｌ２を、鉛直仮想線Ｌと平行となるよう設定する。この仮想線ｌ１及び仮想線ｌ２は、鉛直仮想線Ｌから最も近い検出領域Ａ１内の参照点Ｐａ１、Ｐｂ１が、カメラ１０の位置Ｐｓから鉛直方向に伸びる放射線状の仮想線ｌと交差する位置に設定される。
【０１０８】
このように第１参照点Ｐａｉ及び第２参照点Ｐｂｉを設定した場合、第１参照点Ｐａ１と第２参照点Ｐｂ１との距離及び第１参照点Ｐａ２と第２参照点Ｐｂ２との距離は、共に、ｄとなる。一方、カメラの位置Ｐｓから伸びる放射線状の仮想線Ｉ上であって、第１参照点Ｐａ２と第２参照点Ｐｂ２とを結ぶ線上の点Ｐａ’とＰｂ’の距離は、ｄよりも長いｄ’となる。このことより、属性ｓを判定するための閾値ｔは、検出領域Ａ１において外側となるほど（自車両Ｖ１から離間するほど）、小さく設定される。具体的には、第１参照点Ｐａ１及び第２参照点Ｐｂ１の属性ｓを判定する閾値ｔは、第１参照点Ｐａ２及び第２参照点Ｐｂ２の属性ｓを判定する閾値ｔ’よりも大きな値とされる。また、ｔ’は、ｔ×（ｄ／ｄ’）となる。したがって、エッジ線検出部２３は、上述した式（１）と同様の演算によって、鉛直仮想線Ｌにおける位置毎の属性ｓを判定する。
【０１０９】
すなわち、エッジ線検出部２３は、第１参照点Ｐａｉ及び第２参照点Ｐｂｉの組ごとに閾値ｔを設定する。そして、第１参照点Ｐａｉの輝度値が、第２参照点Ｐｂｉに閾値ｔを加えた輝度値よりも高い場合には、属性ｓ（ｘｉ，ｙｉ）は“１”となる。一方、第１参照点Ｐａｉの輝度値が、第２参照点Ｐｂｉから閾値ｔを減じた輝度値よりも低い場合には、属性ｓ（ｘｉ，ｙｉ）は“−１”となる。第１参照点Ｐａｉの輝度値と第２参照点Ｐｂｉの輝度値とがそれ以外の関係である場合には、属性ｓ（ｘｉ，ｙｉ）は“０”となる。
【０１１０】
このような立体物検出装置１は、図１５に示すような動作を行って、鉛直エッジを検出する。この立体物検出装置１の動作は、図１２に示した動作に対して、ステップＳ５３’が異なる。
【０１１１】
このステップＳ５３’は、輝度差算出部２２によって、鉛直仮想線Ｌに平行した仮想線ｌ１、ｌ２上に第１参照点Ｐａｉ及び第２参照点Ｐｂｉを設定する。また、輝度差算出部２２は、設定した第１参照点Ｐａｉ及び第２参照点Ｐｂｉごとに、閾値ｔを設定する。これにより、エッジ線検出部２３は、ステップＳ５４において、第１参照点Ｐａｉと第２参照点Ｐｂｉとの間の輝度差と、当該第１参照点Ｐａｉ及び第２参照点Ｐｂｉごとに設定された閾値ｔとを比較して、属性ｓを判定する。
【０１１２】
以上のように、この立体物検出装置１によれば、第１実施形態と同様に、実空間において鉛直方向に伸びる鉛直仮想線を設定し、輝度差の連続性に基づいて立体物を検出するので、立体物の検出精度を向上させることができる。
【０１１３】
また、この立体物検出装置１によれば、鉛直仮想線Ｌから俯瞰画像における等距離だけ離間した２つの画素の輝度差を算出し、鉛直仮想線Ｌに沿った複数の位置が実空間における上方となるほど、輝度差に基づいて立体物を判定する閾値を低くする。これにより、この立体物検出装置１によれば、撮像画像を視点変換によって実空間における上方の画像が引き伸ばされても、閾値ｔを変更して、エッジを検出することができる。また、この立体物検出装置１によれば、第１実施形態のように２本の注目線Ｌａ及び参照線Ｌｒを設けなくても鉛直エッジを検出して、立体物を検出することができる。したがって、この立体物検出装置１によれば、第１実施形態よりも処理負担を少なくできる。
【０１１４】
なお、この立体物検出装置１では、閾値を一定にしたまま、鉛直仮想線の位置を変更しながら鉛直仮想線を跨ぐ２つの画素の輝度差を検出しても、鉛直方向に伸びるエッジ線を検出して、立体物を検出することもできる。
【０１１５】
つぎに、第３実施形態に係る立体物検出装置１について説明する。なお、上述の実施形態と同様の部分については同一符号を付することによりその詳細な説明を省略する。
【０１１６】
図１６は、第３実施形態に係る立体物検出装置１における計算機２０の機能的な構成を示すブロック図である。なお、図１６においては、接続関係を明確にするためにカメラ１０についても図示するものとする。
【０１１７】
図１６に示すように、計算機２０は、第１実施形態のエッジ線検出部２３に代えて、エッジ強度算出部（エッジ強度算出手段）２５を備えている。
【０１１８】
エッジ強度算出部２５は、輝度差算出部２２により算出された連続的な輝度差から、注目線Ｌａのエッジ強度を算出する。このエッジ強度とは、よりエッジ線らしいかを示す数値である。具体的には、エッジ強度は、下記の式（７）により算出される。
【数７】
0005413516.tif 000008
【０１１９】
上記式（７）において、ｃ（ｘｉ，ｙｉ）は、注目点Ｐａｉの属性の連続性ｃである。Ｎは、注目線Ｌａに設定された注目点Ｐａの数である。式（７）より、エッジ強度は、各注目線Ｌａの連続性ｃの総和を、注目点Ｐａの設定数で除した値となる。
【０１２０】
図１７は、図１６に示したエッジ強度算出部２５による処理を示す概念図である。図１７（ａ）は検出領域Ａ１に立体物としての他車両Ｖ２が存在している場合のエッジ強度を示す。図１７（ｂ）は検出領域Ａ１に立体物が存在しない場合のエッジ強度を示している。なお、図１７においては、検出領域Ａ１のみを図示してエッジ強度算出部２５の説明をするが、検出領域Ａ２についても同様に処理を行うことができる。
【０１２１】
図１７（ａ）に示すように、検出領域Ａ１に他車両Ｖ２が存在する場合、上述した式（７）のように注目点Ｐａの属性の連続性ｃの総和が高くなるため、各注目線Ｌａのエッジ強度は高くなる傾向がある。したがって、検出領域Ａ１に含まれる複数のエッジ強度の総和は高くなる。
【０１２２】
一方、図１７（ｂ）に示すように、検出領域Ａ１に立体物が存在しない場合、上述した式（７）のように注目点Ｐａの属性の連続性ｃの総和が低くなるため、各注目線Ｌａのエッジ強度は低くなる傾向がある。したがって、検出領域Ａ１に含まれる複数のエッジ強度の総和は低くなる。
【０１２３】
以上のように、立体物検出部２４は、注目線Ｌａのエッジ強度の総和が所定の閾値以上である場合、検出領域Ａ１に立体物が存在すると判断できる。ところで、立体物の撮像環境等によっては、実空間における鉛直方向のエッジが弱くなって俯瞰画像内に表現される可能性がある。この場合には、立体物検出装置１は、立体物が検出できなくなる可能性がある。しかし、第３実施形態に係る立体物検出装置１によれば、エッジ強度に基づいて立体物を検出するので、弱いエッジのみしか俯瞰画像内に現れなかった場合であっても、弱いエッジが数多く集まることにより、立体物を検出することができる。
【０１２４】
図１８は、第３実施形態に係る立体物検出方法の詳細を示すフローチャートである。なお、図１８においては、便宜上、検出領域Ａ１を対象とする処理について説明するが、検出領域Ａ２についても同様に処理できる。
【０１２５】
立体物検出装置１は、先ず、ステップＳ２１〜ステップＳ２８の処理において、図７に示したステップＳ１〜ステップＳ８と同様の処理を実行する。
【０１２６】
このステップＳ２８の次のステップＳ２９において、エッジ強度算出部２５は、上記の式（７）に従って、エッジ強度を算出する。
【０１２７】
次に計算機２０は、ステップＳ３０において、検出領域Ａ１上に設定可能な注目線Ｌａの全てについてエッジ強度を算出したか否かを判断する。注目線Ｌａの全てについて検出領域Ａ１上に設定可能な注目線Ｌａの全てについてエッジ強度を算出したか否かを判定する。注目線Ｌａの全てについてエッジ強度を算出していないと判断した場合（Ｓ３０：ＮＯ）、処理はステップＳ２３に移行する。一方、注目線Ｌａの全てについてエッジ強度を算出したと判断した場合（Ｓ３０：ＹＥＳ）、処理はステップＳ３１に移行する。
【０１２８】
ステップＳ３１において、立体物検出部２４は、エッジ強度算出部２５により算出されたエッジ強度の総和を算出する。
【０１２９】
次に立体物検出部２４は、ステップＳ３２において、ステップＳ３１にて算出したエッジ強度の総和が閾値以上であるか否かを判断する。エッジ強度の総和が閾値以上であると判断した場合（Ｓ３２：ＹＥＳ）、立体物検出部２４は、ステップＳ３３において、検出領域Ａ１内に立体物が存在することを検出する。一方、エッジ強度の総和が閾値以上ではないと判断した場合（Ｓ３２：ＮＯ）、立体物検出部２４は、検出領域Ａ１内に立体物が存在しないと判断する。その後、図１８に示す処理は終了する。
【０１３０】
以上のように、この第３実施形態に係る立体物検出装置１及び立体物検出方法によれば、第１実施形態と同様に、実空間において鉛直方向に伸びる鉛直仮想線を設定し、輝度差の連続性に基づいて立体物を検出するので、立体物の検出精度を向上させることができる。
【０１３１】
また、この第３実施形態に係る立体物検出装置１によれば、鉛直仮想線を設定して取得した連続的な輝度差から注目線Ｌａのエッジ強度を算出し、当該エッジ強度に基づいて立体物を検出する。したがって、この立体物検出装置１によれば、立体物の撮像環境等によっては鉛直方向のエッジが弱く画像内に現れても、立体物が検出できないことを抑制できる。すなわち、この立体物検出装置１によれば、俯瞰画像内に現れた実空間において鉛直方向におけるエッジが弱くても、当該弱いエッジが数多く集まることによってエッジ強度に基づいて立体物を検出することができる。したがって、この立体物検出装置１によれば、撮像環境等により立体物の検出精度が低下してしまう事態を抑制することができる。
【０１３２】
なお、上述の実施の形態は本発明の一例である。このため、本発明は、上述の実施形態に限定されることはなく、この実施の形態以外であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論である
例えば、上記の実施形態において、計算機２０は視点変換部２１を備えることによって鳥瞰画像データを生成している。しかし、これに限るものではない。例えば、撮像画像データに対して上記実施形態と同様に処理を実行すれば必ずしも明確に鳥瞰画像データを作成しなくても良い。
【産業上の利用可能性】
【０１３３】
本発明によれば、周囲の立体物を検出する産業上の分野に利用できる。
【符号の説明】
【０１３４】
１  立体物検出装置
１０  カメラ
２０  計算機
２１  視点変換部
２２  輝度差算出部
２３  エッジ線検出部
２４  立体物検出部
２５  エッジ強度算出部
【図１】
0005413516.tif 000009
【図２】
0005413516.tif 000010
【図３】
0005413516.tif 000011
【図４】
0005413516.tif 000012
【図５】
0005413516.tif 000013
【図６】
0005413516.tif 000014
【図７】
0005413516.tif 000015
【図８】
0005413516.tif 000016
【図９】
0005413516.tif 000017
【図１０】
0005413516.tif 000018
【図１１】
0005413516.tif 000019
【図１２】
0005413516.tif 000020
【図１３】
0005413516.tif 000021
【図１４】
0005413516.tif 000022
【図１５】
0005413516.tif 000023
【図１６】
0005413516.tif 000024
【図１７】
0005413516.tif 000025
【図１８】
0005413516.tif 000026