(57)【要約】【課題】  路面でない領域が画像上の多数を占める場合で、且つ路面の勾配が大きい場合においても、より路面を正確に検出し、路面上の障害物を従来よりも正確に検出できる物体検出装置を提供すること。【解決手段】  複数の画像に基づいて視差画像を生成する視差算出部と、視差画像の画素毎に、所定の画素と所定の画素の隣接する画素の視差に基づいて画素毎の視差勾配を算出する視差勾配算出部と、画素毎の視差勾配に基づいて、検出候補か否かを判断する検出候補判断部と、検出候補であると判断された場合、検出候補と判断された各画素を用いてヒストグラム投票を行い、画素毎にヒストグラム度数を生成する投票部と、ヒストグラム度数に基づいて、物体の存在及び物体の位置を検出する物体検出部と、を有する。【選択図】  図１
2015075800.tif 000002
【特許請求の範囲】
【請求項１】
複数の画像に基づいて視差画像を生成する視差算出部と、
前記視差画像の画素毎に、所定の画素と前記所定の画素の隣接する画素の視差に基づいて画素毎の視差勾配を算出する視差勾配算出部と、
前記画素毎の視差勾配に基づいて、検出候補か否かを判断する検出候補判断部と、
前記検出候補であると判断された場合、前記検出候補と判断された各画素を用いてヒストグラム投票を行い、画素毎にヒストグラム度数を生成する投票部と、
前記ヒストグラム度数に基づいて、物体の存在及び物体の位置を検出する物体検出部と、を有する物体検出装置。
【請求項２】
請求項１記載の物体検出装置において、
前記検出候補判断部は、前記視差画像の画素毎に、前記画素の視差勾配と取得した前記画素の視差に対応する視差勾配閾値とを比較して、各画素から検出候補か否かを判断する物体検出装置。
【請求項３】
請求項１記載の物体検出装置において、
前記物体検出部で検出される物体とは、路面、又は障害物である物体検出装置。
【請求項４】
請求項２記載の物体検出装置において、
前記検出候補判断部の検出候補は、路面候補であり、
前記視差勾配閾値は、ある一定範囲の視差ごとに，路面か否かを判断する閾値であって、予め視差勾配閾値テーブルに記憶された物体検出装置。
【請求項５】
請求項１記載の物体検出装置において、
前記物体検出部によって検出された前記物体の存在及び物体の位置に基づいて、制動力又は駆動力を制御する指令を生成する走行制御部を有する車両。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物体を検出する物体検出装置及びそれを用いた車両に関する。
【背景技術】
【０００２】
近年、ステレオカメラ装置やレーザレーダ装置など，外界をセンシングすることにより取得した距離情報を処理することにより周囲の物体を検出する物体検出装置が実用化されている。これらの物体検出装置は、不審者の侵入や異常を検知する監視システムや車の安全走行を支援する車載システムなどに適用することができる。
【０００３】
車載システムにおいては、走行の障害になる前方の物体を障害物であるとみなし、障害物と衝突の危険がある場合においては、警報や自動制動などの手段によって衝突を回避あるいは軽減する機能を提供することができる。
【０００４】
車載システムにおいて、正確に障害物および障害物の位置を検出するためには、路面の幾何学的位置関係を推定することが重要である。車載システムの環境においては、路面が、ほぼ確実にセンシング範囲に含まれており、この路面の幾何学的位置を算出することができれば、例えば、路上に検出されている物体を障害物とみなすなど障害物が存在する領域を絞り込むことが可能であるためである。障害物が存在する領域を絞り込むことにより、障害物が存在しない空間領域において誤って障害物を検知する誤検知や、障害物が存在する空間領域において障害物を検知しない未検知の問題を低減することが可能になる。このため、障害物を正確に検出するためには、路面を正確に検出することが重要である。
【０００５】
本技術分野の背景技術として、特許文献１がある。この特許文献１では、路面上に車線が標示されている場合は勿論、車線が標示されていない場合でも実際の路面形状を的確に検出することが可能な路面形状認識装置を提供することが開示されている。また、非特許文献１には、「The computation of the free space computation has two main goals: 1. Find the distances to the closest objects. 2. Find the road surface segmentation. While finding the distance to objects aims at navigating the car or triggering safety systems, the second objective is probably of the same importance. It is crucial for the road surface estimation task described in the first part of this paper. The reason for this is, that measurements on vehicles and other objects in crowded scenarios influence the B-spline curve and the resulting curve estimation may become unstable in such scenarios. Therefore, only 3D measurements in the free space are used for the spline estimation, neglecting all stereo measurements on objects.」と記載があり，「how is the correct free space boundary found? The key idea is to inspect every individual image column u. A matching score is obtained, summing up a score which evaluates the likelihood of pixels belonging to the road surface from the bottom of the image up to the free space boundary v(d,u). A second matching score evaluates the fit of pixels belonging to objects with disparity d from the free space boundary in the image on upwards. The total score for an image row u and an obstacle at disparity d becomes: SCORE(u,d) = ROAD(u,d) + OBJECT(u,d). The best boundary match is given as the maximal score」と記載がある。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開2011-128844号公報
【非特許文献】
【０００７】
【非特許文献１】’ B-Spline Modeling of Road Surfaces with an Application to Free Space Estimation’, page 428, Andreas Wedel,et al., pp572,IEEE Transactions on ITS, 2009
【発明の概要】
【発明が解決しようとする課題】
【０００８】
特許文献１には、ステレオカメラを用いて算出した距離画像を処理することにより、路面を検出するステレオカメラ装置が記載されている。しかし、特許文献１に記載のステレオカメラ装置は、路面でない領域、例えば車両や歩行者やガードレールなどの障害物が撮像されている領域、が画像上の多数を占める場合においては、正確に路面が検出されづらく、改善の余地がある。
【０００９】
特許文献２には、事前に障害物候補領域を検出し、障害物候補領域でない領域を路面候補とみなすことにより、路面候補の距離データのみを用いて路面を推定する方法が記載されており、障害物の距離データが路面推定へ与える悪影響が低減されている。  
しかし、特許文献２に記載の方法では、路面の勾配が大きい場合や、距離を計測する視線に対して障害物の背面が垂直ではなく傾いている場合や、遠方の障害物の場合や、路面が撮像されている領域の場合において、路面であるか障害物であるかの判断が困難になり、路面候補の距離データを正確に抽出できないために路面が正確に検出されないという問題がある。
【００１０】
そこで、本発明の目的は、路面でない領域が画像上の多数を占める場合で、且つ路面の勾配が大きい場合や、距離を計測する視線に対して障害物の背面が垂直ではなく傾いている場合や、遠方の障害物の場合や、遠方の路面が撮像されている領域の場合においても、より路面を正確に検出し、路面上の障害物を従来よりも正確に検出できる物体検出装置を提供する。
【課題を解決するための手段】
【００１１】
上記課題を解決するために本発明の物体検出装置は、複数の画像に基づいて視差画像を生成する視差算出部と、視差画像の画素毎に、所定の画素と所定の画素の隣接する画素の視差に基づいて画素毎の視差勾配を算出する視差勾配算出部と、画素毎の視差勾配に基づいて、検出候補か否かを判断する検出候補判断部と、検出候補であると判断された場合、検出候補と判断された各画素を用いてヒストグラム投票を行い、画素毎にヒストグラム度数を生成する投票部と、ヒストグラム度数に基づいて、物体の存在及び物体の位置を検出する物体検出部と、を有する構成とする。
【発明の効果】
【００１２】
本発明によれば，路面でない領域、例えば車両や歩行者やガードレールなどの障害物が画像上の多数を占める場合で，かつ路面の勾配が大きい場合や障害物が路面に対して垂直ではなく勾配をもっている場合においても，路面を正確に検出し，その結果，路面上の障害物を正確に検出することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明に係る物体検知装置の一実施形態を示すシステム概要図である。
【図２】本発明の物体検知装置の視差算出部の処理を説明する図である。
【図３】本発明の物体検知装置の視差勾配算出部の処理を説明する図である。
【図４】本発明の物体検知装置のV-disparity画像生成部の処理を説明する図である。
【図５】本発明の物体検知装置のハードウェアの処理構成を示すブロック図である。
【図６】本発明の物体検知装置のハードウェアの処理構成を説明する図である。
【図７】本発明の物体検知装置のU-disparity画像生成部、障害物検出部の処理を説明する図である。
【発明を実施するための形態】
【００１４】
次に、本実施の形態について以下に図面を用いて説明する。
【００１５】
本実施の形態では、本発明を自車両に搭載された物体検出装置であるステレオカメラ装置の映像を用いて自車両前方の路面や障害物などの物体を検出するシステムに適用した場合について説明する。
【００１６】
まず、図１を用いて本システムの概要について説明する。図１において、105は車両104に搭載されたステレオカメラ装置である。ステレオカメラ装置105は、画像処理により車両（自車両）104の前方の路面101の存在およびその位置を検出するとともに，車両104の前方のたとえば先行車両102やガードレール103などの障害物の存在およびその位置を検出する。
【００１７】
ステレオカメラ装置105は、車両104の前方を撮像する一対の撮像手段として左撮像部（左カメラ）108と右撮像部（右カメラ）109を備えており，前期撮像手段からの信号を処理するためのハードウェアによる処理構成106とソフトウェアによる処理構成107によって構成されている。
左撮像部108と右撮像部109は、光を電荷信号に変換するＣＣＤなどの撮像素子をそれぞれ有しており、互いに車幅方向に離間した位置から車両前方を撮像するように車両104に設置されている。左画像取得部110は左撮像部108から一定周期ごとに電荷信号を入力して左画像110aを出力し、右画像取得部111は上記一定周期と同期したタイミングで右撮像部109から電荷信号を入力して右画像111aを出力するようになっている。
【００１８】
視差算出部112は，左画像110aと右画像111aを照合することによって右画像11aの画素毎に視差を算出し，画素毎に視差が格納された視差画像112aを出力する。
【００１９】
視差勾配算出部113は，視差画像112aの画素毎に，該画素の視差と該画素の上下となりの画素の視差を用いて該画素の視差勾配を算出する。
【００２０】
路面候補判断部114は，視差画像112aの画素毎に，該画素の視差勾配と視差勾配閾値テーブル120aから取得した該画素の視差に対応する視差勾配閾値を比較して，該画素のデータ点（画素の画像座標と画素が格納する視差によって表される３次元空間上の点を表す）が路面候補か否かを判断する。
【００２１】
V-disparity画像生成部115は，視差画像112aの各画素のうち路面候補であると判断されたデータ点を用いてヒストグラム投票処理を行い，縦方向の画像座標と視差を座標軸とする２次元画像であって画素毎にデータ点の投票合計を示すヒストグラム度数が格納されているV-disparity画像115aを生成する。
【００２２】
ハードウェアによる処理構成106は，画像処理専用回路となっており，前記左画像取得部110および右画像取得部111からV-disparity画像生成部115までの一連の処理を画素ごとに並列的に実行するようになっている。
【００２３】
路面検出部116は，V-disparity画像のヒストグラム度数に基づいて，車両104の前方の路面101の存在およびその位置を検出する。
【００２４】
障害物候補判断部117は，視差画像112aの各画素ごとに，該画素のデータ点の空間位置と路面検出部116によって検出された路面位置とを比較して，該画素のデータ点が障害物候補か否かを判断する。
【００２５】
U-disparity画像生成部118は，視差画像112aの各画素のうち障害物候補であると判断されたデータ点を用いてヒストグラム投票処理を行い，横方向の画像座標と視差を座標軸とする２次元画像であって各画素ごとにデータ点の投票合計を示すヒストグラム度数が格納されているU-disparity画像118aを生成する。
【００２６】
障害物検出部119では，U-disparity画像のヒストグラム度数に基づいて，車両104の前方のたとえば先行車両102やガードレール103などの障害物の存在およびその位置を検出する。
【００２７】
視差勾配閾値設定部120では，ある一定範囲の視差ごとに，路面か否かを判断する閾値となる視差勾配閾値を計算し，これらをテーブルにまとめた視差勾配閾値テーブル120aをメモリ上に格納する。
【００２８】
車両104は，走行制御部121において、路面検出部116によって検出された路面位置および障害物検出部119によって検出された障害物位置を元にアクセル・ブレーキ等を制御し，例えば先行車両やガードレールなどの障害物への衝突を防止する制御や，先行車両に追従する制御や，坂道や起伏のある道路を低燃費に走行する制御などの走行制御を行う。
【００２９】
次に、図２を用いて視差算出部112の処理を詳細に説明する。視差算出部112は，右画像111aの各画素について対応する左画像110aとの画素を検出し，視差（対応する画素間の画像位置のずれ）を算出する処理を行う。
【００３０】
図２において，例として，ある光源201からの光202および203がそれぞれ右カメラのレンズ204および左カメラのレンズ205を通過して右画像111aの画素206および左画像110aの画素207に対応する撮像素子上の位置に結像している場合において，視差算出処理により画素206の視差を算出する処理について説明する。
【００３１】
このとき視差算出処理は，右画像111aの画素206に対応する左画像110aの画素207を検出するため，画素206の信号と左画像110aのエピポーラライン208上の各画素の信号とを比較して最も信号が近い画素を対応する画素として検出する。信号の近さを算出する指標は様々な指標が考えられるが，例えば，左右の画素の信号値の差分の絶対値であるＡＤ（Absolute Difference）の指標を用いると，前記エピポーラライン208上でこのＡＤが最も小さくなる画素が対応する画素と判断されるようになっている。このとき仮に対応の算出結果が正しく，右画像111aの画素206と左画像110aの画素207が対応しているとみなされた場合の画素206に対応する視差は，画素206と画素207の横方向の画像座標の差分として算出される。
【００３２】
以上のようにして視差を算出する処理を右画像111aのすべての画素について行うことで，視差算出部112は，右画像111aの各画素に対応する視差が格納されている視差画像112aを生成する。
【００３３】
本実施形態では，視差算出処理は左右間の画素の信号値を比較して対応を検出する方法を説明したが，複数画素からなる領域の信号値を比較して対応を検出してもよく，より安定的に正しくマッチング処理を行うために有効な方法である。この場合，たとえば画素206の周辺3x3の領域209の信号と左画像110aのエピポーラライン208上の各画素の周辺3x3の領域の信号とを比較して最も信号が近い画素を対応する画素として検出する。信号の近さはたとえばＳＡＤ(Sum of Absolute Differences)の指標を用いて計算することができる。
【００３４】
なお，本実施形態の視差算出処理部は視差画像112aを出力するようになっており，以降ではこの視差画像112aを様々に処理することで路面および障害物を検出するになっているが，該処理部においては視差画像ではなく各画素に距離が格納された距離画像を出力し，以降ではこの距離画像を様々に処理して同様の結果を得ることも可能である。視差は三角測量の原理によって容易に距離に変換することできるため，本実施形態の説明においては視差は距離に等価な情報とみなす。
【００３５】
したがって，以降の処理部によって路面および障害物の存在が検出されその領域における視差が取得されている場合は，車両104と該路面および障害物との間の幾何学的位置関係が取得されたものとする。
【００３６】
次に、図３を用いて視差勾配算出部113の処理を詳細に説明する。
【００３７】
視差勾配算出部113では，視差画像112aの各画素ごとに，該画素の視差と該画素の上下となりの画素の視差を用いて該画素の視差勾配を算出する。図３(a)は，右画像111a上のある画素301の視差勾配を算出するときに関係する画素301,302,303を示しており，図３(b)は，各画素のデータ点を画像縦座標Ｖおよび視差Disparityを軸とするV-disparity空間上にそれぞれ投影した点301i,302i,303iと，前記３点の位置を元に計算される前記３点の近傍を通過する直線304を示している。視差勾配算出部では，図３(b)に示した直線304を最小二乗法によって計算し，その勾配αｉ＝ΔDisparity / ΔVを計算し，出力するようになっている。
【００３８】
次に、路面候補判断部114の処理を詳細に説明する。
【００３９】
路面候補判断部114では，視差画像112aの各画素ごとに，視差勾配算出部113によって算出された視差勾配αiと視差勾配閾値テーブル120aから取得した該画素の視差ｄiに対応する視差勾配閾値αth（di）を比較することにより，該画素のデータ点が路面候補か否かを判断する。
【００４０】
判断基準は、以下表1に示した通りとする。
【００４１】
【表１】
2015075800.tif 000003
【００４２】
次に、図４を用いてV-disparity画像生成部115の処理を詳細に説明する。
【００４３】
図４(a)は右画像109aを示しており，右画像109aには，主な撮像対象として路面101と先行車両102とガードレール103と木401が映っているものとする。
【００４４】
V-disparity画像生成部115は，右画像109aに対応する視差画像112aの各画素のうち路面候補判断部114において路面候補であると判断されたデータ点をV-disparity画像にヒストグラム投票する処理を行う。ここでV-disparity画像とは，画像縦座標Ｖおよび視差Disparityを軸とする２次元画像であって，画素毎にデータ点のヒストグラム度数が格納されている画像を表す。
【００４５】
前記投票処理は，そのV-disparity画像の各画素のヒストグラム度数が全て０である初期状態から開始して，前記対象のデータ点ごとに，データ点の空間位置がV-disparity画像に投影される画素のヒストグラム度数を１ずつカウントアップすることによる。
【００４６】
図４(b2)に，投票処理を行った場合に出力されるV-disparity画像115aの例を示し，図４(b1)に，前記投票処理においてデータ点が路面候補であるか否かを判断することなく，視差画像112aの全ての画素のデータ点を投票した場合に出力されるV-disparity画像115aの例を示す。
【００４７】
なお図４(b1) および図４(b2)は，画素のヒストグラム度数がゼロである場合に白色で，画素のヒストグラム度数が高い場合に黒色でV-disparity画像を可視化したものである。
【００４８】
図４(b1)において，路面101のデータ点は斜め方向の直線402，先行車両102のデータ点はＶ方向の直線403，木401およびその他遠方の障害物のデータ点はＶ方向の直線の集合404のように，V-disparity画像上にそれぞれ反映されている。路面検出部116はV-disparity画像のヒストグラム頻度値を元にして路面の存在および位置を検出するため，図４(b1)のように路面の投影402以外に403，404などの路面以外の投影が多い場合には路面が正確に検出できなくなる。
【００４９】
正確に検出できなくなるケースをさらに具体的に述べると，例えば先行車両102のような障害物が近傍に多数存在するか，少数であってもごく近傍に存在することにより画像横ラインでみたときに道路領域よりも障害物領域のほうが多数を占めてしまう場合や，木401のような障害物が遠方に少数であっても存在し画像横方向に見たときに道路領域よりも障害物領域のほうが多数を占めてしまう場合である。
【００５０】
しかしながら、本実施形態において出力されるV-disparity画像115aは図４(b2)に示されているように，路面102の投影402iにおいてヒストグラム度数が高く，路面でない障害物たとえば前方車両102，ガードレール103，木401等の大部分は路面候補と判断されないためにV-disparity画像に投票されず，前記路面でない障害物が投影される画素位置におけるヒストグラム度数が低くなるになっていることにより，従来よりも正確に路面が検出できるようになっている。
【００５１】
次に、図５，図６を用いてハードウェアによる処理構成106の処理全体の流れを説明する。
【００５２】
図５において，左画像取得部110および右画像取得部111は一定周期ごと同期したタイミングで左撮像部108および右撮像部109より画像信号の読み出しを開始して，画像を構成する画素ごとの輝度値の信号をバッファメモリ501に転送するようになっている。
【００５３】
また，右画像取得部111は，前記画素ごとの信号をメモリ503にも転送するようになっている。画像信号は，図６(a)に示すように画像の下端ラインを基準に左から右方向の順序で転送され，１ライン分の処理が終わればその上のラインの画像信号が同様の順序で転送されるようになっている。
【００５４】
次に図５において，視差算出部112は右画像取得部111の転送順序と同一の順序で，かつ右画像取得部111より１ライン分遅れたタイミングで視差算出処理を実施し，画素ごとに計算された視差データをバッファメモリ502およびメモリ503に転送するようになっている。
【００５５】
次に図５において，視差勾配算出部113は視差算出部112の転送順序と同一の順序で，かつ視差算出部112より１ライン＋1画素分遅れたタイミングで視差算出処理を実施し，画素ごとに視差勾配データを計算するようになっている。
【００５６】
V-disparity画像生成部115は，記述のとおり路面候補であると判定されたデータ点についてV-disparity空間上に投影される画素位置を計算し，メモリ503に格納されているV-disparity画像の前記画素位置におけるヒストグラム度数を１カウントアップするようになっている。
【００５７】
次に図５において，前記一定周期ごとのタイミングにおいて開始された画像１フレーム分の処理が全て完了すると，ＣＰＵ504は適宜メモリ503から必要なデータを読み出し，ソフトウェアによる処理構成107に示される処理を実施するようになっている。
【００５８】
図６(b)に，あるタイミングにおいて右画像取得部111および視差算出部112および視差勾配算出部113が処理を実施している画素位置を示すことにより各部の処理タイミングを示す。
【００５９】
画素位置601は右画像取得部111が処理している画素の位置を示し，画素位置602は視差算出部112が処理している画素の位置を示し，画素位置603は視差勾配算出部112が処理している画素の位置を示す。視差算出部112が右画像取得部111より１ライン分遅れたタイミングで処理を実施する理由は，右画像111aの画素位置602における視差を算出するためには，左画像110aの同一ライン上のすべての画素位置の信号がバッファメモリ１に格納済みである必要があり，このためのタイミング調整が必要であるためである。
【００６０】
視差勾配算出部113が視差算出部112より１ライン＋１画素分遅れたタイミングで処理を実施する理由は，右画像111aの画素位置603における視差勾配を算出するためには，画素位置603およびその上下となりの画素位置の信号がバッファメモリ２に格納済みである必要があり，このためのタイミング調整が必要であるためである。
【００６１】
以上のようにしてハードウェアによる処理構成106は各部の処理を並列化したパイプライン処理を行うことによって高速にリアルタイムに処理されるようになっている。
【００６２】
次に、図４(b2)を用いて路面検出部116の処理を詳細に説明する。
【００６３】
路面検出部では図４(b2)によって示されるV-disparity画像のヒストグラム度数を元に，直線あるいは曲線を検出することにより路面を検出できるが，たとえば特許文献１に示される方法によって直線を検出する。検出した直線は，V-disparity空間上で以下の式１で表現できる。
【００６４】
〔式１〕
dg  =  αd・(vg − v0 ) + βd      ・・・（１）
ここで，dgは路面の視差、vgは路面の画像縦座標，v0は右画像111aの光軸中心位置の画像縦座標，αdとβdはそれぞれ（Ｖ＝ｖ０，Disparity＝０）を原点とするV-disparity空間上の直線の傾きと切片，を表す。
【００６５】
路面を検出するということは，式１のαdとβdをそれぞれ算出することを意味しており，αdとβdが決まれば式１より任意の視差dgの距離における路面が撮像されている画像縦座標vgを計算できるようになっている。更に，以下に三角測量の関する式２を示す。
【００６６】
〔式２〕
Y = −b・(v - v0) / d  ・・・（２）
ここで、Yはカメラ位置を原点とするデータ点の実空間上の高さ，vはデータ点が投影される画像上の縦座標，dはデータ点の視差，bは基線長すなわち左右カメラ間の距離を示す。
【００６７】
式１と式２を用いることにより，任意の視差dgの距離における路面が撮像されている実空間上の路面高さYgは以下式３で計算できるようになっている。
【００６８】
〔式３〕
Yg  = −b・(dg−βd) / (αd・d)  ・・・（３）
【００６９】
路面検出部116は，上記式３より，指定の間隔の視差ごとに路面高さＹｇを計算した路面高さテーブルを出力する。
【００７０】
次に、障害物候補判断部117の処理を詳細に説明する。
【００７１】
障害物候補判断部117は，視差画像112aの画素毎に，該画素のデータ点の実空間上の高さＹと，路面検出部116によって出力された路面高さテーブルを参照して得られる該画素のデータ点の距離に対応する実空間上の路面高さYgとを比較して，該画素のデータ点が障害物候補か否かを判断する。
【００７２】
判断基準は，該画素のデータ点が空中に浮いた位置になく，地下に埋まった位置にもなく，障害物となりえる範囲の路面上に位置しているか否かによる。具体的には以下表２のような判定式で表すことができる。
【００７３】
【表２】
2015075800.tif 000004
【００７４】
ここでΔYupは車両が存在しうる路面からの最大高さとして大型トラックの路面からの高さ相当の値を設定しており，ΔYdownは0を設定している。Y≦Yg+ΔYupという条件は該画素のデータ点が路面からΔYupだけ上の高さよりも低い位置にあるという条件を意味しており，Yg-ΔYdown≦Yという条件は，該画素のデータ点が路面よりも高い位置にあるという条件を意味している。
また，本実施形態においてはΔYupおよびΔYdownをそれぞれ上記のような値に設定したが，ΔYupおよびΔYdownを調整することにより，たとえば該画素のデータ点が空中の信号機や道路標識などの空中の物体候補であるか否かを判断し，後段の検出部によって空中の物体を検出するといった応用も可能である。
【００７５】
次に、図７を用いてU-disparity画像生成部118の処理を詳細に説明する。
【００７６】
図７(a)は右画像109aを示しており，右画像109aには，主な撮像対象として路面101と先行車両102とガードレール103が映っているものとする。U-disparity画像生成部118は，右画像109aに対応する視差画像112aの各画素のうち障害物候補判断部114において障害物候補であると判断されたデータ点をU-disparity画像にヒストグラム投票する処理を行う。ここでU-disparity画像とは，画像横座標Ｕおよび視差Disparityを軸とする２次元画像であって，画素毎にデータ点のヒストグラム度数が格納されている画像を表す。投票処理は，そのU-disparity画像の各画素のヒストグラム度数が全て０である初期状態から開始して，前記対象のデータ点ごとに，データ点の空間位置がU-disparity画像に投影される画素のヒストグラム度数を１ずつカウントアップすることによる。
【００７７】
図７(b)に，投票処理を行った場合に出力されるU-disparity画像115aの例を示している。
【００７８】
なお図７(b)は，画素のヒストグラム度数がゼロである場合に白色で，画素のヒストグラム度数が高い場合に黒色でU-disparity画像を可視化したものである。前方車両102のデータ点はＵ方向の直線801，ガードレール103のデータ点は斜め方向の直線802および803のようにU-disparity画像上にそれぞれ反映されている。
【００７９】
次に、図７を用いて障害物検出部119の処理を詳細に説明する。
【００８０】
障害物検出部119では図７(b)によって示されるU-disparity画像のヒストグラム度数を元に，障害物を算出する。具体的には，U-disparity画像の左端列において下から上へ１画素ずつ走査して１列の中でヒストグラム度数が最大かつヒストグラム度数が閾値Hthよりも大きいピーク画素を検出する処理を行い，右側に１列ずらせて同処理を行う，ということを画像の右端位置まで繰り返す。
【００８１】
さらに，前記の画像列ごとの各ピーク画素の位置と，その左となりの列のピーク画素の位置との差分が閾値DPthより小さいときに，該ピーク画素とその左となりの列のピーク画素とは同じ物体を構成している物体候補であるとみなすものとし，前記物体候補のU方向の長さが閾値Lthより大きいときに、その物体候補を物体として検出し，物体候補を構成するピーク画素に同じ物体IDを関連付ける処理を行う。
【００８２】
上記処理結果を，図７(b)によって示されるU-disparity画像を入力とした場合で説明すると，たとえば左側ガードレールの投影802は物体ID=1，前方車両の投影801は物体ID=2，右側ガードレールの投影803は物体ID=3となるように物体IDが関連付けられ，３つの物体が検出される。
【００８３】
次に，視差勾配閾値設定部120の処理を詳細に説明する。
【００８４】
視差勾配閾値設定部120は，ある視差と視差勾配をもつ視差画像112aの画素のデータ点がステレオカメラ装置105によって撮像されうる勾配の路面であるか否かを判断するために，視差画像112aの画素がとりうる各視差値に対応した視差勾配閾値を設定し，視差勾配閾値テーブル120aとしてメモリ上に格納する。視差勾配閾値には，ステレオカメラ装置105によって撮像されうる路面の最大勾配を実空間上でαmax[rad]（ = ΔY/ / ΔZ  ：  Yは路面高さ，Zは奥行き距離）と設定した場合に，上記最大勾配αmaxの路面がV-disparity空間上に投影されている直線の視差勾配αthe（＝ΔDisparith / Δv）を計算した値を設定するようになっている。
【００８５】
本実施例で適用される式を用いて具体的に説明する。
【００８６】
まず，実空間上の路面座標系において任意の距離で路面高さＹ＝０であり勾配０°である路面を標準路面と定義したとき，標準路面がV-disparity空間に投影されている直線の傾きαｄ０および切片βｄ０は以下式４によって表される。
【００８７】
〔式４〕
αd0  ＝  b / （β0 + h）  
βd0  ＝− b・fc・α0  /（β0 + h）  ・・・（４）
ここで，bは基線長，hはカメラ取り付け高さ，fcはレンズの焦点距離を撮像素子の画素ピッチで除した値である。α0およびβ0はそれぞれ実空間上の標準路面の勾配および切片であり，前述のように任意の距離で路面高さY=0であり勾配0°である場合は，それぞれ0が設定されている。
【００８８】
次に，該画素のデータ点（視差d，画像縦座標vであるとする）の視差dにおける標準路面のV座標位置vgを以下式５により計算して，該画素のデータ点がV-disparity空間に投影される画素位置の近似位置（視差d，画像縦座標vg）を設定する。
【００８９】
〔式５〕
vg  ＝  v0 +(d−βd0) / αd0  ・・・（５）
上式において近似位置を算出する理由は，単に計算式を簡略化可能であるために過ぎない。
【００９０】
次に，上記画素位置（視差d，画像縦座標vg）において，実空間上での路面の勾配が最大勾配αmaxであった場合の視差勾配閾値αthを以下の式６によって表現できる。
【００９１】
〔式６〕
αth ＝ −d  / ( v0 − vg + fc・αmax)  ・・・（６）
【００９２】
以上のようにして，視差勾配閾値設定部120は，上記視差勾配閾値αthを視差画像112aの画素がとりうる各視差値ｄごとに計算し視差勾配閾値テーブル120aに格納する。  
前述のように，このテーブルは路面候補判断部114によって参照されて対象画素のデータ点が路面候補であるか否かが判断され，路面候補のデータ点のみがV-disparity画像生成部115においてヒストグラム投票され，V-disparity画像が生成されるようになっている。
【００９３】
したがって，生成されたV-disparity画像は，路面候補でないと考えられるデータ点がヒストグラムに投票されていないため，V-disparity画像を元に路面検出部116において路面を検出する場合に，路面でない領域、例えば車両や歩行者やガードレールなどの障害物が画像上の多数を占める場合であっても路面を正確に検出し，その結果，路面上の障害物を正確に検出することができる。
【００９４】
更に，路面とみなしうる路面の最大勾配αｍａｘの閾値を変化させることにより路面候補とみなすか路面候補でないとみなすか明らかな判断基準を設定することができるため，路面の勾配が大きい場合や障害物が路面に対して垂直ではなく勾配をもっている場合においても，適切にαmaxの値を設定することにより路面を正確に検出することができる。
【００９５】
更に，一般道路を走行中であるか，高速道路を走行中であるかを認識し，路面のとりうる最大勾配αmaxを動的に調整することによって，シーンに合わせて最適に路面候補を判断し，路面をより正確に検出することも可能である。
【図１】
2015075800.tif 000005
【図２】
2015075800.tif 000006
【図３】
2015075800.tif 000007
【図４】
2015075800.tif 000008
【図５】
2015075800.tif 000009
【図６】
2015075800.tif 000010
【図７】
2015075800.tif 000011