(57)【要約】【課題】障害物の候補となる領域の危険度をより正確に算出すること。【解決手段】障害物危険度算出装置は、自車両の周囲環境を異なる視点で撮影して得られる複数の画像データから自車両周囲の視差分布情報を算出するステレオ画像処理部１と、視差分布情報から複数の障害物候補領域を生成する障害物候補領域生成部２と、複数の前記障害物候補領域の１つである第１の障害物候補領域が画像データから認識した危険物にどれだけ遮蔽されているかを表す第１の遮蔽度、および、第１の障害物候補領域が予め設定した危険物にどれだけ遮蔽されているかを表す第２の遮蔽度の少なくとも１つから第１の障害物候補領域の危険度を算出する危険度算出部６と、を備えた。【選択図】図１
2010231400.tif 000002
【特許請求の範囲】
【請求項１】
自車両の周囲環境を異なる視点で撮影して得られる複数の画像データから自車両周囲の視差分布情報を算出するステレオ画像処理部と、
前記視差分布情報から複数の障害物候補領域を生成する障害物候補領域生成部と、
複数の前記障害物候補領域の１つである第１の障害物候補領域が前記画像データから認識した危険物にどれだけ遮蔽されているかを表す第１の遮蔽度、および、前記第１の障害物候補領域が予め設定した危険物にどれだけ遮蔽されているかを表す第２の遮蔽度の少なくとも１つから前記第１の障害物候補領域の危険度を算出する危険度算出部と、を備えたこと、
を特徴とする障害物危険度算出装置。
【請求項２】
前記画像データから認識した前記危険物は、複数の前記障害物候補領域のうち前記第１の障害物候補領域とは異なる第２の障害物候補領域として設定され、
前記第１の障害物候補領域と前記第２の障害物候補領域の位置関係を用いて第１の遮蔽度を算出する第１の遮蔽度算出部をさらに備えたこと、
を特徴とする請求項１に記載の障害物危険度算出装置。
【請求項３】
予め設定した前記危険物は、運転者の死角領域範囲として設定され、
前記第１の障害物候補領域と前記死角領域の位置関係を用いて第２の遮蔽度を算出する第２の遮蔽度算出部をさらに備えたこと、
を特徴とする請求項１または２に記載の障害物危険度算出装置。
【請求項４】
前記危険度算出部は、前記第１の遮蔽度と前記第２の遮蔽度のうち、値の大きな方を前記危険度とすること、を特徴とする請求項１から３のいずれか一項に記載の障害物危険度算出装置。
【請求項５】
前記危険度算出部は、前記第１の遮蔽度と前記第２の遮蔽度とに、それぞれ異なった係数をかけた後の値を合計した値を前記危険度とすること、を特徴とする請求項１から３のいずれか一項に記載の障害物危険度算出装置。
【請求項６】
障害物危険度算出方法であって、
ステレオ画像処理部が、自車両の周囲環境を異なる視点で撮影して得られる複数の画像データから自車両周囲の視差分布情報を算出するステレオ画像処理ステップと、
障害物候補領域生成部が、前記視差分布情報から複数の障害物候補領域を生成する障害物候補領域生成ステップと、
危険度算出部が、複数の前記障害物候補領域の１つである第１の障害物候補領域が前記画像データから認識した危険物にどれだけ遮蔽されているかを表す第１の遮蔽度、および、前記第１の障害物候補領域が予め設定した危険物にどれだけ遮蔽されているかを表す第２の遮蔽度の少なくとも１つから前記第１の障害物候補領域の危険度を算出する危険度算出ステップと、を含むこと、
を特徴とする障害物危険度算出方法。
【請求項７】
コンピュータに、
ステレオ画像処理部が、自車両の周囲環境を異なる視点で撮影して得られる複数の画像データから自車両周囲の視差分布情報を算出するステレオ画像処理ステップと、
障害物候補領域生成部が、前記視差分布情報から複数の障害物候補領域を生成する障害物候補領域生成ステップと、
危険度算出部が、複数の前記障害物候補領域の１つである第１の障害物候補領域が前記画像データから認識した危険物にどれだけ遮蔽されているかを表す第１の遮蔽度、および、前記第１の障害物候補領域が予め設定した危険物にどれだけ遮蔽されているかを表す第２の遮蔽度の少なくとも１つから前記第１の障害物候補領域の危険度を算出する危険度算出ステップと、
を実行させるための障害物危険度算出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自動車に搭載されたカメラで撮影された画像から運転者から見えにくい障害物の危険度を算出する技術に関する。
【背景技術】
【０００２】
カメラにより撮影された画像から人物・自転車・バイク・その他障害物を検出する技術は、自動車などの移動物体における安全確保にとって重要な役割を果たす。さらに、運転者が運転している車両（以後、自車両と呼ぶ）の周囲環境に存在する立体物それぞれについて、運転者にとってどれだけ危険であるかを数値化した“危険度”を評価することができれば、本当に危険な障害物だけに警告を発するというように、運転者にとってより有益な安全装置を提供することが可能になる。
【０００３】
特許文献１は、自車両に近い物体ほど危険度が高いとみなして画像を複数の領域に分割し、自車両に近い領域から先に障害物検出処理を実行することで、危険な障害物ほど早く検出できるようにした技術を開示している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第３５４０００５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、運転者にとって危険な障害物は、単に近くにあるものに限らず、他の物体に隠れているものや、運転者の死角に入っているものなど、状況に応じて動的に決まるものも存在しうる。また、運転者から見えにくい位置関係にあるものは、運転者、相手（障害物が歩行者などの場合）双方にとって気付きにくい。
【０００６】
本発明は、上記に鑑みてなされたものであって、障害物の候補となる領域の危険度をより正確に算出することを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決し、目的を達成するために、本発明の一態様は、自車両の周囲環境を異なる視点で撮影して得られる複数の画像データから自車両周囲の視差分布情報を算出するステレオ画像処理部と、前記視差分布情報から複数の障害物候補領域を生成する障害物候補領域生成部と、複数の前記障害物候補領域の１つである第１の障害物候補領域が前記画像データから認識した危険物にどれだけ遮蔽されているかを表す第１の遮蔽度、および、前記第１の障害物候補領域が予め設定した危険物にどれだけ遮蔽されているかを表す第２の遮蔽度の少なくとも１つから前記第１の障害物候補領域の危険度を算出する危険度算出部と、を備えたこと、を特徴とする。
【発明の効果】
【０００８】
本発明によれば、障害物の候補となる領域の危険度をより正確に算出することができる。
【図面の簡単な説明】
【０００９】
【図１】本実施の形態にかかる障害物危険度算出装置の構成を示すブロック図である。
【図２】視差算出におけるブロックマッチングについて説明する図である。
【図３】立体物領域から障害物候補領域を生成する方法を説明する図である。
【図４】車両周辺状況の一例を示す図である。
【図５】図４の車両周辺状況から得られる障害物候補領域集合を示す図である。
【図６】運転者遮蔽を説明する図である。
【図７】運転者遮蔽を説明する他の図である。
【図８】運転者遮蔽を説明する他の図である。
【図９】運転者遮蔽度の算出方法を説明する図である。
【図１０】障害物候補領域遮蔽を説明する図である。
【図１１】障害物危険度の算出方法のフローチャートを示す図である。
【発明を実施するための形態】
【００１０】
以下に添付図面を参照して、この発明にかかる障害物危険度算出装置および障害物危険度算出方法の最良な実施の形態を詳細に説明する。本実施の形態では、車両前方に存在する障害物に対する危険度算出について主に説明しているが、車両後方など、車両周囲全般に対して同じ方法で危険度算出が可能であり、車両前方の危険度算出だけに限定するものではない。
【００１１】
本実施の形態では、障害物危険度算出装置は走行する車両上に搭載されており、車両前方に存在する障害物の危険度を算出する。算出された障害物の危険度は、車両前方にある危険な障害物の検出に利用される。
【００１２】
そして、後ほど説明する障害物候補領域の位置情報とその危険度をそのまま用いて運転者への警報や車両の危険回避制御を行うことも可能であるし、本実施の形態を障害物検出装置の前処理として、障害物候補領域に対してパターン認識処理を適用することにより、たとえば障害物のうち歩行者だけを検出するといった装置構成も可能である。この場合、算出される危険度の高いものから順に認識処理を行うようにすれば、本当に危険なものはより早い段階で検出できるようになるため、より早く警報を発したり危険回避制御をしたりすることが可能になる。
【００１３】
また、危険度が高いものから順に処理していき、あらかじめ指定した数だけ障害物候補領域を認識処理したら処理を打ち切るようにすれば、状況により障害物候補領域の数が増大して認識処理に要する計算量が膨大になるというような事態を防止して計算量を一定に保つことが可能になる。なお、本実施形態における危険度算出は障害物候補領域位置情報から算出可能なものであり、画像中の画素を対象として計算を行う認識処理と比較すると計算量はずっと小さいとみなしてよい。
【００１４】
図１は、本実施の形態にかかる障害物危険度算出装置の構成を示すブロック図である。障害物危険度算出装置は、ステレオ画像処理部１、障害物候補領域生成部２、頭部位置検出部３、運転者遮蔽度算出部４、障害物候補領域遮蔽度算出部５、および、危険度算出部６を備えて構成されている。
【００１５】
ステレオ画像処理部１は、複数のステレオカメラからなるステレオ画像取得装置（図示せず）が自車両の周囲環境を撮影して得られる画像データ（ステレオ画像対）から、撮影範囲内の視差分布情報（三次元位置情報）を算出する。
【００１６】
ここで、視差とは、一方の画像における点ａに対応する点がもう一方の画像で点ｂに映っている場合、二つの点の距離によって算出され、この距離の差が視差値となる。一般に、視差が小さいほど実世界中では遠くにあり、視差が大きくなるとカメラの近くに存在することになる。視差は画像中の任意の領域に対して算出できる。よって、視差分布情報とは、視差の二次元配列であり、視差が画像内でどのように変化するかを表したものである。
【００１７】
そして、ステレオカメラ間の相対位置関係を表すカメラの外部パラメータ、および、焦点距離やレンズひずみなどのカメラの内部パラメータを取得していれば、視差値から対象領域の三次元位置情報（奥行き距離情報）を容易に算出できる。したがって、視差分布情報を求めるということは、撮影範囲（車両周囲）内の三次元位置情報（奥行き距離情報）を求めていると考えても良いため、ステレオ画像処理部１は、撮影範囲（車両周囲）内の三次元位置情報（奥行き距離情報）を算出するともいえる。
【００１８】
なお、カメラの外部パラメータおよび内部パラメータの算出方法については、コンピュータビジョン、ロボットビジョンの分野で従来から盛んに研究されており、ステレオ画像処理にとって十分な精度を持ったパラメータ算出法が知られているため、詳細についての説明は省略する。ここでは、最も簡単な場合である、ステレオ画像取得装置がステレオカメラ２台を有する場合の視差推定手順について説明する。
【００１９】
図２は、視差算出におけるブロックマッチングについて説明する図である。まず前提として、２台のステレオカメラは、車両前方向きに平行に設置されているものとする。特に平行に並んでいなくても視差分布情報を求めることは可能であるが、このような平行カメラの場合、左右画像で対応点の垂直座標が一致するため問題がより簡単になる。視差を求めるには、一方の画像のある画素に対応する点をもう一方の画像から見つける必要があるが、この場合、対応点の垂直座標は元の画素と同じであることが分かっているので、水平座標だけを変化させながら探索を行えばよいことになる。
【００２０】
図２に示すように、対応点の探索は、左側の画像１１における注目画素１２の周辺部分画像１３を切り出し、右側の画像１４において同じサイズの部分画像１５を切り出して類似度を評価することで実現する。類似度は、（１）式で表される正規化相互相関で評価することができ、この値が大きい（１に近い）ほど類似度が高い。
【００２１】
【数１】
2010231400.tif 000003
【００２２】
（１）式において、Ｌ（ｉ，ｊ）は周辺部分画像１３の画素値、Ｌは周辺部分画像１３の平均画素値、Ｒ（ｉ，ｊ）は部分画像１５の画素値、Ｒは部分画像１５の平均画素値を表す。Σは部分画像内で値を合計することを表す。この類似度計算を部分画像１５の範囲を移動させながら行い、類似度が最も高くなる点を探索する。対応点が見つかったら今度は部分画像１５を固定して左側の画像１１に対してマッチングを行い、注目画素１２周辺で類似度が最大になればマッチングが成功したとみなして、部分画像１３と部分画像１５の水平座標の差を注目画素１２の視差値とする。
【００２３】
以上の処理を画像全体に渡って繰り返すことで視差分布情報が得られる。視差分布から奥行き距離を得るにはもう１つ処理が必要である。平行に設置された２台のカメラの場合、視差値ｄに対する奥行き距離Ｚは（２）式で求められる。
【００２４】
【数２】
2010231400.tif 000004
【００２５】
（２）式において、ｆはカメラの焦点距離、Ｂはステレオカメラ間のベースライン距離である。これらの値はカメラキャリブレーションを行うことで求めることができる。これを画像全体に渡って繰り返せば奥行き距離情報が得られる。
【００２６】
障害物候補領域生成部２は、視差分布情報から、道路から垂直に立った立体物を抽出し（立体物抽出処理）、さらに、抽出した立体物から障害物検出の単位である障害物候補領域を複数切り出す（障害物候補領域生成処理）。
【００２７】
立体物抽出処理では、最初に、視差分布情報における各視差分布データを、ｕ（水平座標）−ｄ（視差）空間に投票（集計）する。すなわち、ある水平座標ｕ１、視差ｄ１を持ったデータの個数を算出し、その分布を取得する。既に述べたように、入力画像を撮影するカメラはほぼ水平を保って設置されているため、道路面に対して垂直に立った領域内は視差値ｄがほぼ一定になる。そのため、ｕ−ｄ空間で投票数（集計数）の多い箇所は地面に対し垂直に立った立体物領域であるとみなせる。そこで、投票結果（集計結果）に基づいてｕ−ｄ空間を閾値処理で２値化することで、立体物−非立体物（道路面もしくは空）に分けることができる。閾値の決定の仕方には、ｕ−ｄ空間全体に対して一定の値Ｔｕｄを用いることもできるし、または、ステレオカメラの場合、視差が大きい、つまり近くにある物体ほど大きく映る傾向にあるため、視差ｄに比例するように、（３）式の様に、ｄの関数により閾値を決定してもよい。
【００２８】
【数３】
2010231400.tif 000005
【００２９】
（３）式において、α、ｔ０はあらかじめ決めた定数である。ステレオカメラの場合は視差ｄに応じて閾値を決定するほうが、誤った視差などのノイズに対して頑健になる。
【００３０】
この立体物−非立体物判定の結果に基づいて、元の三次元位置情報のうち立体物に対応する箇所のみを残す処理を行う。処理の手順は、視差分布データを１つ読み、１つのデータにつきｕ（水平座標）、ｖ（垂直座標）、ｄ（視差）のデータが得られるため、二値化されたｕ−ｄ空間から座標（ｕ，ｄ）のデータを読む。読んだデータが立体物であれば視差情報を残し、非立体物であれば視差情報を無効にする。以上を視差分布全体に繰り返すことで立体物領域だけの視差分布が得られることになる。
【００３１】
障害物候補領域生成処理では、得られた立体物領域を障害物検出の単位である障害物候補領域の集合に切り分ける。障害物のうち歩行者を抽出するといった処理の場合、立体物領域全体と歩行者モデルとを直接比較するのは困難であるため、立体物領域から歩行者に対応するサイズを切り出した部分領域を生成し、これを照合処理に用いる。この部分領域が障害物候補領域である。この障害物候補領域は以後、遮蔽度および危険度の算出の最小単位としても利用される。
【００３２】
図３は、立体物領域から障害物候補領域を生成する方法を説明する図である。道路面１６は自車両の周囲環境中の道路面である。道路面１６の任意の地点に矩形の仮想障害物１７が立っていると仮定する。この仮想障害物１７はカメラの画像面１８に投影され、画像中の矩形領域１９となる。カメラパラメータをあらかじめ求めておけば、仮想障害物１７の三次元座標とサイズとから矩形領域１９の位置・サイズは算出可能である。仮想障害物１７のサイズは、検出したい障害物の最小サイズに合わせて事前に設定しておくものである。例えば、歩行者サイズの障害物まで検出しようとすると、仮想障害物のサイズは幅８００ｍｍ、高さ１６００ｍｍ程度を指定しておく。なお、このサイズは大人の場合で、子供の場合は、小さくなる。
【００３３】
このように、投影計算によって仮想障害物１７の画像への投影像の位置・サイズを算出できるが、仮想障害物１７の位置に立体物が存在するとは限らない。立体物が存在する箇所だけに仮想障害物１７を配置していけばよいので、前に求めた視差分布情報を用いて判定を行い、判定を通過した仮想障害物１７を障害物候補領域集合に加えていく。
【００３４】
仮想障害物１７が視差分布情報中の立体物領域に対応するかどうかの判定は以下のように行う。まず、画像面１８に投影したときの矩形領域１９の左上の画像座標（ｕ１，ｖ１）、右下の座標（ｕ２，ｖ２）を算出する。次に（ｕ１，ｖ１）を左上隅、（ｕ２，ｖ２）を右下隅とする矩形の部分領域内の視差分布を評価する。ある画素における視差がｄであった場合、その画素におけるスコアを（４）式により求める。
【００３５】
【数４】
2010231400.tif 000006
【００３６】
（４）式において、ｚ（ｄ）は視差ｄから奥行き距離を算出する関数であり、（２）式に対応する。ｚ０は仮想障害物１７の奥行き座標値である。σはｚ（ｄ）とｚ０のずれをどこまで許容するかを決定するパラメータであり、事前に設定しておく。（４）式のスコアを部分領域内の画素のうち、立体物領域に対応するものに対して計算し、すべての和をとる。最後に部分領域の面積で割ることでこの仮想障害物のスコアとするが、このスコアが大きいほど、仮想障害物１７の位置に立体物が存在することが視差分布情報により確認されていることになる。
【００３７】
したがって、仮想障害物１７のスコアをあらかじめ決めた閾値と比較し、閾値よりも大きい場合、仮想障害物１７の位置に立体物が存在すると判定し、仮想障害物１７の位置・サイズ情報を障害物候補領域集合に追加する。スコアが閾値より小さい場合、仮想障害物１７の位置に立体物が存在しないと判定し、障害物候補としない。
【００３８】
図４は、車両周辺状況の一例を示す図である。図４では、運転者２０が運転する自車両２１に、２台のステレオカメラ２２および２３が車両前方向きに平行に設置されている。そして、自車両２１の右前方には歩行者２４が存在し、左前方には歩行者２５が存在している。さらに、自車両２１の左側面から左前方にかけて側壁２６が存在している。
【００３９】
そして、このような車両周辺状況に対して、障害物候補領域を生成する。図５は、図４の車両周辺状況から得られる障害物候補領域集合を示す図である。図５のように、歩行者２４および２５に対応する障害物候補領域群２７と、側壁２６に相当する障害物候補領域群２８からなる障害物候補領域集合を得ることができる。
【００４０】
歩行者の標準的なサイズを障害物候補領域のサイズとすると、歩行者２４および２５に対応する領域が正しく障害物候補領域として抽出されるが、側壁２６のように元々大きな立体物も歩行者サイズの多数の障害物候補領域に分割されてしまう。ただし、このような部分は近接した障害物候補領域が連続して現れるのが特徴である。
【００４１】
以上のようにして得られる障害物候補領域集合は、要素それぞれが実空間でのサイズと位置情報とを保持している。したがって、障害物候補領域生成部２は、車両周囲の立体物の三次元配置情報を単純化していることに相当する。そして、障害物候補領域生成部２で得られた障害物候補領域集合のそれぞれに対し、二種類の遮蔽度（運転者遮蔽度および障害物候補領域遮蔽度）を算出する。
【００４２】
頭部位置検出部３は、運転者２０の頭部位置を検出する。頭部位置の検出は、画像処理などにより行われる。
【００４３】
運転者遮蔽度算出部４は、各障害物候補領域の位置情報および領域サイズを使って運転者の死角領域内に入っているかを判定して運転者遮蔽度を算出する。運転者遮蔽度は、障害物候補領域１つの位置・サイズに対して一意に決まる遮蔽度である。ここで、運転者遮蔽とは、運転者と障害物のうち、運転者にとって障害物を視認しにくいような遮蔽状態のこととする。
【００４４】
図６は、運転者遮蔽を説明する図である。運転者遮蔽の状態とは、図のように、自車両２１の右前方にあるピラー２９によって死角３０が発生し、運転者２０の視界が阻害され、運転者２０が歩行者２４の存在を認識できない状態をいい、このような場合に遮蔽度が高くなるように評価方法を設定する。
【００４５】
図７および図８は、運転者遮蔽を説明する他の図である。図６のような運転席にあるピラー２９による遮蔽の他にも、図７のように、運転者２０の視野範囲外にあたる領域３１も運転者が遮蔽された状態にあるとみなすことができる。さらに、降雨によりワイパーが動作している場合は、図８のように、領域３１に加えて、フロントガラスのワイパー動作範囲外やサイドガラス部分にあたる領域３２も運転者が遮蔽された状態にあるとみなすことができる。また、そして、各障害物候補領域（図６の場合は歩行者２４が存在する領域）が遮蔽されている度合いを運転者遮蔽度として数値で評価する。
【００４６】
運転者遮蔽度は以下のようにして算出する。図９は、運転者遮蔽度の算出方法を説明する図である。ここでは、ピラー２９による遮蔽が起こっている場合の運転者遮蔽度を算出する。まず、自車両２１の周辺に対し、遮蔽が起こっている領域を表す遮蔽スコアの分布を求める。図９では、遮蔽が起こる部分（死角３０）を斜線で表現しているが、この遮蔽部分について０から１の遮蔽スコアを与えておく。もっとも単純なやり方は、遮蔽が起こっていない部分を０、遮蔽されている斜線部分を１に設定することであるが、境界部分に対して中間値を与えるといった設定も可能である。
【００４７】
図９では、運転席のピラー２９の影の領域（死角３０）に遮蔽が発生することを表現したスコア分布になっているが、さらに、運転者２０の視野範囲外にあたる領域３１や、フロントガラスのワイパー動作範囲外やサイドガラス部分にあたる領域３２などの異なる遮蔽要因を組み合わせたスコア分布を作成することも可能である。この場合、各地点での遮蔽スコアは全ての遮蔽要因に対するスコアのうち最大のものを採用する。
【００４８】
運転者遮蔽は運転者２０の視界が阻害されることにより発生するものであるから、厳密に言えば運転者２０の頭部位置、視線方向により遮蔽スコアは変化する。従って、一回の処理ごとに、頭部位置検出部３が検出した運転者２０の頭部位置から遮蔽スコアを更新するようにする。なお、それほど厳密に遮蔽スコアを評価しなくてもよい場合は、あらかじめ平均的な頭部位置、視線方向を想定しておいて遮蔽スコアを固定的に与えるというやり方でもある程度の精度は確保できる。
【００４９】
こうして得られる遮蔽スコア分布から障害物候補領域の運転者遮蔽度を算出する。具体的には、障害物候補領域の範囲内で遮蔽スコアを合計し、スコアの面積平均を算出することで運転者遮蔽度を算出する。そして、運転者遮蔽度の値は障害物候補領域がどれだけ遮蔽領域に入り込んでいるかを表すことになる。
【００５０】
障害物候補領域遮蔽度算出部５は、障害物候補領域が他の障害物候補領域によってどれだけ遮蔽されて見えにくくなっているかを評価して障害物候補領域遮蔽度を算出する。障害物候補領域遮蔽とは、運転者と障害物候補領域との間に別の障害物候補領域が存在することにより、運転者および障害物候補領域がお互いに相手を視認しにくくなっている状況のことを指す。従って、障害物候補領域遮蔽度は、運転者遮蔽度とは異なり、１つの障害物候補領域と異なる障害物候補領域との相対的位置関係により決まる遮蔽度である。
【００５１】
ここで、障害物候補領域遮蔽について、もう少し詳しく説明する。図１０は、障害物候補領域遮蔽を説明する図である。図１０のように、歩行者２４に相当する障害物候補領域３３、歩行者２５に相当する障害物候補領域３４、および、側壁２６に相当する障害物候補領域３５および障害物候補領域３６を要素に持った障害物候補領域群を考える。それぞれの障害物候補領域は実空間上での領域中心の３次元座標と幅、高さというサイズ情報を属性として持っているため、画像平面内での位置、サイズについても即座に求められるようになっている。このとき、障害物候補領域の１つを障害物候補領域Ａとし、別の障害物候補領域の１つを障害物候補領域Ｂとする。そして、障害物候補領域Ａが障害物候補領域Ｂによって遮蔽されている度合いＯＢ→Ａを（５）式で算出する。
【００５２】
【数５】
2010231400.tif 000007
【００５３】
（５）式において、ｕＡ、ｕＢは候補領域Ａ、Ｂの画像中での水平座標、ＺＡ、ＺＢは実空間での二つの領域の奥行き座標であるとする。ただし、奥行き座標値は自車両から離れていくほど増加するものとする。ｆｕ、ｆｚはそれぞれ水平座標の距離の絶対値、および、奥行き座標の符号付き距離を入力とする関数である。ｆｕの例としては（６）式があり、ｆｚの例としては、（７）式がある。
【００５４】
【数６】
2010231400.tif 000008
【数７】
2010231400.tif 000009
【００５５】
（６）式および（７）式において、ｋ１、ｋ２は遮蔽度の変化度合いを決める定数で、事前に設定しておくパラメータである。ｗは障害物候補領域生成部２で用いられる障害物の標準の幅を画像平面に投影したときのサイズである。Ｖは障害物の奥行きの標準サイズであり、事前に設定しておく。
【００５６】
（６）式は、Δｕが０に近い、すなわち障害物候補領域Ａと障害物候補領域Ｂとが画像中で重なっているほど１に近くなり、ｗを境にして０に向かって減少していく。一方、（７）式は、ΔＺが負、つまり障害物候補領域Ｂが障害物候補領域Ａよりも奥にある場合は０であり、障害物候補領域Ｂが障害物候補領域Ａよりも手前に来るほど大きな値をとるようになっている。ただし、それも比例の関係ではなく、Ｖを境にして急激に増加するようになっている。そのため障害物候補領域Ｂが手前にある場合でもその差が小さければｆｚの値は小さなままである。
【００５７】
以上のような二つの関数の積を障害物候補領域遮蔽度ＯＢ→Ａとすることにより、障害物候補領域３４を障害物候補領域Ａ、障害物候補領域３５を障害物候補領域Ｂをした場合のように、画像中での距離が近く、かつ奥行きに間隔があいている場合はその値が大きくなる。一方、障害物候補領域３５を障害物候補領域Ａ、障害物候補領域３６を障害物候補領域Ｂとした場合は、画像中の距離は同様に近いが奥行きの差が小さいため、ｆｚの値が小さくなり、結果としてＯＢ→Ａは小さくなるという効果が得られる。一方、障害物候補領域３３を障害物候補領域Ａとした場合、奥行きに関係なくｆｕの影響によりＯＢ→Ａは０に近い小さな値になる。
【００５８】
（６）式および（７）式は、障害物候補領域遮蔽度の算出方法の一例であり、ｆｕについては、ｗを境界として１から０に減少する関数であれば他の形式であっても問題ない。ｆｚについても、負の領域では０、非負の領域ではＶを境界として０から１に向かって増加するような関数であれば他の関数であっても良い。
【００５９】
以上の計算により、障害物候補領域Ａと障害物候補領域Ｂの組み合わせに対する遮蔽度合いＯＢ→Ａを求めることができる。最後に、障害物候補領域遮蔽度算出部５は、障害物候補領域Ａ以外の障害物候補領域を障害物候補領域Ｂとした上で、それぞれの場合の遮蔽度合いＯＢ→Ａを求め、これらの遮蔽度合いＯＢ→Ａのうち、最もその値が大きい遮蔽度を、障害物候補領域遮蔽度と決定する。
【００６０】
危険度算出部６は、運転者遮蔽度算出部４で算出した運転者遮蔽度と、障害物候補領域遮蔽度算出部５で算出した障害物候補領域遮蔽度とから危険度を算出する。最終的に、障害物危険度算出装置の出力は、各障害物候補領域の位置・サイズとその危険度の組になる。
【００６１】
なお、危険度の算出方法としては、二つの遮蔽度（運転者遮蔽度および障害物候補領域遮蔽度）のうち値の大きな方の値を危険度とする方法、または、二つの遮蔽度にそれぞれ異なった係数をかけた後、それらの値を合計した値を危険度とする方法がある。いずれの方法をとるにしても、二つの遮蔽度のうちどちらかが大きければ危険度が高くなるという結果を得られる。それぞれの遮蔽度をどれだけ重視するかの要求に応じて、障害物危険度算出装置の実行前に算出方法を設定すればよい。
【００６２】
次に、上述したように構成されている障害物危険度算出装置による障害物危険度の算出方法について説明する。図１１は、障害物危険度の算出方法のフローチャートを示す図である。
【００６３】
ステレオ画像処理部１は、ステレオ画像取得装置７からの画像データ（ステレオ画像対）から視差分布情報（三次元位置情報）を算出する（ステップＳ１０１）。ここでは、後段の障害物候補領域生成部２における処理のため、画像データはほぼ水平方向を向いて設置されたステレオカメラ対を用いて撮影されたものとする。周囲環境の撮影のため車両にカメラを設置する場合、上下に大きく傾ける必要はないため、これは大きな制約とはならない。
【００６４】
次に、障害物候補領域生成部２は、視差分布情報から道路面に立っている立体物の領域を抽出する（ステップＳ１０２）。車両周囲の環境を考えると、他の車両、歩行者、ガードレール、壁などはすべて道路面に対して垂直に立った物体であるとみなせる。したがってこの処理により、自車両にとって危険な障害物には該当しない道路面および空の領域を視差分布情報から除去することになる。
【００６５】
次に、障害物候補領域生成部２は、仮想障害物のサイズに基づいて画像領域内の所定の領域に障害物候補領域を設定し、抽出した立体物領域と照合し（ステップＳ１０３）、障害物候補領域が立体物領域に対応しているか否かを判定する（ステップＳ１０４）。
【００６６】
障害物候補領域生成部２は、障害物候補領域が立体物領域に対応していると判定した場合、すなわち、仮想障害物の位置に立体物が存在すると判定した場合（ステップＳ１０４：Ｙｅｓ）、当該障害物候補領域（仮想障害物の位置・サイズ情報）を障害物候補領域集合に追加（ステップＳ１０５）し、ステップＳ１０６へ進む。
【００６７】
障害物候補領域生成部２は、障害物候補領域が立体物領域に対応していないと判定した場合、すなわち、仮想障害物の位置に立体物が存在しないと判定した場合（ステップＳ１０４：Ｎｏ）、何もせずにそのままステップＳ１０６へ進む。
【００６８】
ステップＳ１０６で、障害物候補領域生成部２は、画像領域内全てに障害物候補領域を設定したか否かを判定する。障害物候補領域生成部２は、画像領域内全てに障害物候補領域を設定していないと判定した場合（ステップＳ１０６：Ｎｏ）、ステップＳ１０３へ戻り以下のステップを行う。
【００６９】
障害物候補領域生成部２は、画像領域内全てに障害物候補領域を設定していると判定した場合（ステップＳ１０６：Ｙｅｓ）、ステップＳ１０７へ進む。すなわち、ステップＳ１０３からステップＳ１０５までの処理を、仮想障害物の位置を動かしながら、事前に決めた実空間中の一定領域に対して適用する。そして、ステップＳ１０６ですべての判定を終えたかをチェックし、処理が完了したら次へ進む。
【００７０】
このように、ステップＳ１０３からステップＳ１０６を経ることにより、ステップＳ１０２で得られた立体物領域は、障害物検出の単位である障害物候補領域の集合に切り分けられる。
【００７１】
次に、運転者遮蔽度算出部４は、障害物候補領域の集合から障害物候補領域を１つ選択する（ステップＳ１０７）。この時、選択した障害物候補領域を障害物候補領域Ａとする。次に、運転者遮蔽度算出部４は、障害物候補領域Ａの運転者遮蔽度を算出する（ステップＳ１０８）。
【００７２】
次に、障害物候補領域遮蔽度算出部５は、障害物候補領域の集合から障害物候補領域Ａ以外の障害物候補領域を１つ選択する（ステップＳ１０９）。この時、選択した障害物候補領域を障害物候補領域Ｂとする。
【００７３】
次に、障害物候補領域遮蔽度算出部５は、障害物候補領域Ａを障害物、障害物候補領域Ｂを遮蔽物と仮定して、障害物候補領域Ａと障害物候補領域Ｂの相対的位置関係に基づいて障害物候補領域Ａの障害物候補領域遮蔽度を算出する。そして、以前に算出した障害物候補領域Ａの障害物候補領域遮蔽度がある場合、これに合算する（ステップＳ１１０）。なお、以前に算出した障害物候補領域遮蔽度とは、以前に算出した障害物候補領域遮蔽度のうち、最もその値が大きい遮蔽度をいい、ここでの合算は、今回算出した障害物候補領域遮蔽度と、以前に算出した障害物候補領域遮蔽度とを比べて、その値が大きい方の遮蔽度を、障害物候補領域遮蔽度として決定することをいう。
【００７４】
次に、障害物候補領域遮蔽度算出部５は、障害物候補領域Ａ以外の障害物候補領域を全て障害物候補領域Ｂとして選択したか否かを判定する（ステップＳ１１１）。障害物候補領域遮蔽度算出部５は、障害物候補領域Ａ以外の障害物候補領域を全て障害物候補領域Ｂとして選択していないと判定した場合（ステップＳ１１１：Ｎｏ）、ステップＳ１０９へ戻り、別の障害物候補領域を１つ選択し障害物候補領域Ｂとし、以後のステップを繰り返す。障害物候補領域遮蔽度算出部５は、障害物候補領域Ａ以外の障害物候補領域を全て選択していると判定した場合（ステップＳ１１１：Ｙｅｓ）、ステップＳ１１２へ進む。
【００７５】
ステップＳ１１２において、危険度算出部６は、ステップＳ１０８で算出した障害物候補領域Ａの運転者遮蔽度と、ステップＳ１１０で算出し合算した障害物候補領域Ａの障害物候補領域遮蔽度とから障害物候補領域Ａの危険度を算出する。
【００７６】
次に、危険度算出部６は、障害物候補領域の全てを障害物候補領域Ａとして選択したか否か、すなわち、障害物候補領域の全てについて危険度を計算したか否かを判定（ステップＳ１１３）。危険度算出部６は、障害物候補領域の全てを障害物候補領域Ａとして選択していないと判定した場合（ステップＳ１１３：Ｎｏ）、ステップＳ１０７へ戻り、別の障害物候補領域の１つを障害物候補領域Ａとして選択し、以後のステップを繰り返す。危険度算出部６は、障害物候補領域の全てを障害物候補領域Ａとして選択していると判定した場合（ステップＳ１１３：Ｙｅｓ）、ステップＳ１１４へ進む。
【００７７】
ステップＳ１１４において、危険度算出部６は、ステップＳ１０５で切り分けられた全ての障害物候補領域の情報（仮想障害物の位置・サイズ情報）に、危険度の情報をそれぞれ付加して出力する（ステップＳ１１４）。以上のステップを経て、障害物危険度の算出が終了する。
【００７８】
以上のような障害物候補の危険度算出の仕組みにより、危険度の高い障害物候補領域が存在すれば警告を出す、ブレーキ、操舵装置を制御して危険を回避する、というように危険性が高い物体に応じた対策を実行できるようになる。危険物の検知については連続するフレームで継続して危険度を算出し、危険度が高い障害物が連続して現れる、もしくは自車両に近付いてくる場合に危険回避行動を実行する、といったより複雑な条件判断も可能になる。
【００７９】
さらに、本発明による障害物危険度算出装置の後段に、障害物候補領域に対しそれが歩行者かそうでないかを判定する歩行者識別器、車両か否かを判定する車両識別器などを追加することもできる。一般に識別は比較的計算量が大きな処理であるため、危険度算出装置で算出された危険度を用いることで、危険度の高い順に識別処理を実行し、目的の物体が発見されたら即座に警告を出すことでより早くドライバーに危険を知らせることができるようにしたり、危険度の高い順に決まった数だけ識別処理することで危険なものは優先しつつ計算時間を一定に保ったり、一定の危険度以上のものだけ識別処理したりというように、より危険の高いものだけを優先して処理するといったことにも応用することができる。
【００８０】
なお、本実施の形態にかかる障害物危険度算出装置は、運転者の頭部位置を検出する頭部位置検出部を備えているが、頭部位置検出部を備えずに外部に設けられた頭部位置検出装置から運転者の頭部位置情報を受け取る様に構成してもよい。
【００８１】
また、本実施の形態にかかる障害物危険度算出装置の各部は、例えば、コンピュータをハードウェアとして用い、コンピュータにプログラムを実行させることにより実現することが可能である。
【００８２】
このように、本実施の形態にかかる障害物危険度算出装置によれば、自車両の周囲環境を異なる視点で撮影して得られる複数の画像データから自車両周囲の視差分布情報を算出し、視差分布情報から立体物領域を抽出し、立体物領域から複数の障害物候補領域を生成し、選択した１つの障害物候補領域が他の障害物候補領域にどれだけ遮蔽されているかを表す障害物候補領域遮蔽度、および、選択した１つの障害物候補領域が運転者の死角領域にどれだけ遮蔽されているかを表す運転者遮蔽度の少なくとも１つから、選択した障害物候補領域の危険度を算出することができるので、運転者から見えにくい障害物の危険度を算出することが可能となる。
【００８３】
また、本発明は、上記実施の形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施の形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態にわたる構成要素を適宜組み合わせても良い。
【符号の説明】
【００８４】
１  ステレオ画像処理部
２  障害物候補領域生成部
６  危険度算出部
２１  自車両
３３、３４、３５、３６  障害物候補領域
【図１】
2010231400.tif 000010
【図２】
2010231400.tif 000011
【図３】
2010231400.tif 000012
【図４】
2010231400.tif 000013
【図５】
2010231400.tif 000014
【図６】
2010231400.tif 000015
【図７】
2010231400.tif 000016
【図８】
2010231400.tif 000017
【図９】
2010231400.tif 000018
【図１０】
2010231400.tif 000019
【図１１】
2010231400.tif 000020