(57)【特許請求の範囲】
【請求項１】
前方空間の物体の距離分布データを取得する距離分布計測手段と、
撮像装置によって前方空間の時間の異なる複数の画像データを取得して、前記物体の移動量を算出する移動量算出手段と、
上記画像データに対して、画像の垂直方向について前記物体が存在する解析領域を設定すると共に当該物体の大きさに見合う検出ウィンドウを設け、その検出ウィンドウを水平方向に隙間なく配置する横断者検出手段と、
前記検出ウィンドウ毎に検出ウィンドウ内の垂直エッジ数を算出する垂直エッジ数算出手段と、
前記検出ウィンドウ内における、前記垂直エッジ数算出手段により算出された垂直エッジ数が所定のしきい値以上のとき、その検出ウィンドウを横断者が存在する候補となる候補ウィンドウとして検出する横断者候補ウィンドウ検出手段と
を備え、前記横断者検出手段は、前記候補ウィンドウ内に前記前方空間の物体の距離分布データが存在する場合であって、その候補ウィンドウ内の前記物体における前記移動量算出手段によって得られた移動量の方向が自車両の走行路中心に向かっているとき、その候補ウィンドウに横断者が存在するとして当該横断者を検出することを特徴とする横断者の検出装置。
【請求項２】
請求項１に記載の横断者の検出装置において、
上記画像データから自車両の走行路を示すレーンマーク等を検出する走行路データ検出手段を備え、
前記横断者検出手段は、前記走行路データ検出手段の検出結果に基づいて走行路中心を検出する横断者の検出装置。
【請求項３】
請求項１又は２に記載の横断者の検出装置において、
前記検出ウィンドウは、隣合うウィンドウに所定量だけ重ねて配置される横断者の検出装置。
【請求項４】
前記横断者検出手段は、１サイクルでの横断者の検出結果を仮検出結果として、その仮検出された横断者の時間的な対応付け処理を行い、所定サイクル以上の対応付けがなされたとき、横断者の存在を決定する請求項１〜３のいずれかに記載の横断者の検出装置。
【請求項５】
自車両の走行のヨーイング成分を計測するためのヨーイング検出手段を更に備え、
前記横断者検出手段は、前記移動量算出手段による移動量データから自車両のヨーイング成分を排除し、該自車両のヨーイング成分が排除された結果から横断者を特定する請求項１〜４のいずれかに記載の横断者の検出装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、横断者の検出装置に係り、詳しくはＣＣＤカメラ等により撮像された画像データ、或いはスキャニングレーダ装置により得られた距離分布データ等を用いて自車両の走行路上に存在する横断者を検出するための横断者の検出装置に関するものである。
【０００２】
【従来の技術】
従来の方法として、画像処理の立体視を用いたり、レーザレーダをスキャニングしたりすることで前方空間に存在する物体の距離分布を算出し、この距離分布の密度から横断者を含む障害物を検出していた。
【０００３】
【発明が解決しようとする課題】
ところが、上記の如く距離分布の密度から障害物を検出する方法では、道路脇に横断者が存在する場合において、当該横断者が道路の自動車走行路上（例えば白線レーンマーク内）に出てくる以前にそれを検出することが困難であるという問題があった。即ち、横断者が道路脇にいる時には、横断者とその背後の建物との距離分布が一体化してしまうことがある。かかる場合、この段階で横断者を検出することができず、横断者が自動車走行路上に来た後にしか単独の物体として検出できない。その結果、横断者の検出が遅れてしまうおそれがあった。
【０００４】
また、道路上の移動物体を検出する方法として、オプティカルフローを用いた手法が従来より提案されている。これは、画像内の移動物体を一塊の動いている領域として捕らえ、当該領域から例えば交差路における自動車の飛び出しを検出するものである。ところが、既存の技術では自動車等の比較的大きな移動物体の検出が可能となるものの、人や自転車等の比較的小さな物体の検出に際しては、画像全体における存在データ数が少ないためにその検出が不可能であるといった問題を生ずる。
【０００５】
この発明は、上記問題に着目してなされたものであって、その目的とするところは、比較的小さな横断者をも精度良く且つ効率的に検出することができる横断者の検出装置を提供することにある。
【０００６】
【課題を解決するための手段】
上記目的を達成するために、請求項１に記載の発明では、距離分布計測手段は、前方空間の物体の距離分布データを取得する。より具体的には、ＣＣＤカメラによるステレオ画像を利用して距離分布データを取得したり、或いはスキャニングレーダ装置による光反射を利用して距離分布データを取得する。移動量算出手段は、撮像装置によって前方空間の時間の異なる複数の画像データを取得して、物体の移動量を算出する。
垂直エッジ数算出手段は、前記検出ウィンドウ毎に検出ウィンドウ内の垂直エッジ数を算出する。横断者候補ウィンドウ検出手段は、前記垂直エッジ数算出手段による垂直エッジ数が所定のしきい値以上のとき、その検出ウィンドウを横断者の候補ウィンドウとして検出する。さらに、横断者検出手段は、前記検出された候補ウィンドウ内に上記前方空間の物体の距離分布データが存在する場合であって、その候補ウィンドウ内の前記物体における前記移動量算出手段によって得られた移動量の方向が自車両の走行路中心に向かっているとき、その候補ウィンドウに横断者が存在するとして当該横断者を検出する。
つまり、横断者の画像では垂直エッジ数の密度が高いことに着目し、当該垂直エッジ数に基づいて横断者の存在するウィンドウを検出することにより、その検出処理を効率的に実施することができる。このとき、検出されたウィンドウを「候補ウィンドウ」とし、その後、距離分布データと移動量データとを用いて「候補ウィンドウ」の中から実際の横断者の判別を行うことで、より一層確実な横断者検出が可能となる。
【０００７】
つまり、図１５に示すように、例えば自車両前方の３０〜６０ｍの撮像画像の領域が横断者の存在領域（解析領域）として設定され、当該解析領域において物体（横断者）の移動量が算出される。
また、図１６に示すように、例えば横断者に見合う大きさで検出ウィンドウが設定される。この検出ウィンドウは、請求項３に記載の発明のように、図１８に（Ａ），（Ｂ），（Ｃ）で示すように、隣合うウィンドウに所定量（例えば、横幅半分）だけ重ねて配置されるのが好ましい。そして、距離分布データが存在する検出ウィンドウについてその中の物体の移動方向（移動量の方向）が自車両の走行路中心に向かっていれば横断者の存在が検出されることとなる。この場合、請求項２に記載の発明のように、例えば図１７に示すように、自車両の走行路を示すレーンマーク等の画像情報から走行路中心が検出される。
【０００８】
上記構成によれば、道路脇に存在する横断者の検出が可能となり、その横断者が自車両の走行路を横断しようとしていること、或いは走行路上に飛び出してくること等が予測可能となる。また、検出ウィンドウという単位にて横断者を検出することにより、比較的小さな横断者に対してもその検出洩れが回避でき、検出精度を向上させることができる。その結果、自車両前方について高精度な認識処理を実施することができる。
【００１１】
また、請求項４に記載の発明では、横断者検出手段は、１サイクルでの横断者の検出結果を仮検出結果として、その仮検出された横断者の時間的な対応付け処理を行い、所定サイクル以上の対応付けがなされたとき、横断者の存在を決定する。この場合、横断者検出の信頼性をより一層高めることができる。
【００１２】
請求項５に記載の発明では、横断者検出手段は、前記移動量算出手段による移動量データから自車両のヨーイング成分を排除し、該自車両のヨーイング成分が排除された結果から横断者を特定する。この場合、横断者の正確な動きが分かり、精度高い検出結果が得られる。
【００１３】
【発明の実施の形態】
以下、この発明を具体化した一実施形態を図面に従って説明する。
図１は本実施の形態における横断者検出システムの概要を示すブロック構成図である。図１において、撮像装置１は、左右一対のカメラにより立体視画像のデータを取り込む装置であって、左右のカメラはその光軸が互いに平行で、その基線長が路面に平行になるように構成されている。このとき、当該撮像装置１では図２に示すようなステレオ画像が得られる。
【００１４】
撮像装置１の光学系の基本的構成を図３に示す。即ち、撮像装置１には、２つの視点を形成するために物体（横断者）に対向して２つのレンズ１１，１２が設けられ、この２つのレンズ１１，１２の後ろにそれらの光軸がそれぞれ一致する撮像素子としてのＣＣＤ（Charge Coupled Device ）１３，１４が設けられている。
【００１５】
ここで、図中の「ｄ」はレンズ１１，１２と物体との距離〔ｍ〕、「ｆ」はレンズ１１，１２の焦点距離〔ｍｍ〕、「ａ」，「ｂ」はそれぞれ物体からレンズ１１，１２を経てＣＣＤ１３，１４へ焦点を結ぶ点と光軸との距離〔ｍｍ〕、「ｍ」はカメラ基線長〔ｃｍ〕である。かかる場合、距離ｄ〔ｍ〕は、
ｄ＝ｆ・ｍ／（ａ＋ｂ）
で求めることができる。即ち、基線長ｍ，焦点距離ｆが既知であるため、（ａ＋ｂ）が求まれば物体までの距離ｄが算出できることになる。なお、（ａ＋ｂ）は、左右の画像中の物体の輝度値を少しずつずらしながら比較した際に、最も一致するずらし量として求められる。
【００１６】
また、上式における（ａ＋ｂ）を、ドット数で表される視差ｓ及びＣＣＤ１３，１４のセルの大きさｃ〔ｍｍ／ドット〕に置き換えると、次の（１）式が得られる。
【００１７】
【数１】
0003727400.tif 000002
一方、図１において、前記撮像装置１により得られた画像情報は、右カメラ画像保存メモリＭ１及び左カメラ画像保存メモリＭ２に保存される。両メモリＭ１，Ｍ２の保存データは、距離算出回路２に入力される。距離算出回路２では、縦８ドット、横８ドットを単位領域として画像がメッシュ状に分割され、右画像データを基準データ、左画像データを参照データとした相関計算により視差ｓ〔ドット〕が算出される。そして、該算出された視差ｓを前記（１）式に代入すれば画像内の距離分布が求められる。この距離分布データは距離データ保存メモリＭ３に保存される。
【００１８】
また、解析データ算出回路３は、前記右カメラ画像保存メモリＭ１に保存されている右カメラの画像データを取り込み、単位領域の縦方向の８ドット分のデータの総和（これを解析データという）を算出する。そして、解析データ算出回路３にて算出された最新の解析データは、「本サイクル解析データ」として本サイクル解析データ保存メモリＭ４に保存される。このとき、解析データは、８ドット分のデータの総和で保存されるため、データ容量は１／８に削減される。解析データ算出回路３は、上記解析データの算出処理を６６ｍｓサイクルで実施する。また、本サイクル解析データ保存メモリＭ４に保存された解析データは、６６ｍｓ毎に「前サイクル解析データ」として前サイクル解析データ保存メモリＭ５に転送される。従って、メモリＭ４，Ｍ５には、６６ｍｓ間隔の前後サイクルの解析データが保存されることとなる。
【００１９】
ここで、前記解析データ算出回路３による解析領域は、画面上において例えば図４のように設定されている。即ち、本実施の形態では、自車両の前方３０ｍ〜６０ｍの範囲に存在する横断者を検出することを目的としており、より具体的には、５０ｍ前方で地上に立っている横断者を基準として当該解析領域が設定されている。図４の画面上では、水平方向に延びる６０ドット幅の垂直領域が解析領域として設定されている。
【００２０】
また、移動量算出回路４は、前記本サイクル解析データ保存メモリＭ４及び前サイクル解析データ保存メモリＭ５に保存されている解析データを取り込み、両解析データ間の単位領域毎の画像のずれから横断者の移動量を算出する。ここでは、計算量削減のため、横方向（水平走差線方向）のみの探索を行う。つまり、横断者が移動する最大範囲を机上検討して相関計算の探索範囲を設定し、この探索範囲内で、前サイクル解析データを１ドットずつずらしながら差の絶対値の総和（相関値Ｓ（ｚ））を算出する。具体的には、次の（２）式を用いて単位領域についての相関値Ｓ（ｚ）を算出する。
【００２１】
【数２】
0003727400.tif 000003
但し、「Ｄ0 」は本サイクル解析データ、「Ｄ1 」は前サイクル解析データ、「ｘ0 」は画像の左上座標（相関計算の探索開始点）、「ｗ」は画像内における検索範囲の横幅〔ドット〕、「ｚ」はずらし量〔ドット〕である。なお、図５は、前サイクル時と本サイクル時との間に、横断者が水平右方向に所定量だけ移動した状態を示している。
【００２２】
上記の如く求めた相関値Ｓ（ｚ）の最小値について、その時のずらし量が横断者の移動量に相当する。このとき、画像上で、横断者の移動量が「０」のとき、つまり、ずらし量が「０」のとき、横断者と衝突するケースに相当する。これは、自車両の進行方向と横断者の角度が変化しないとき、横断者との距離が０ｍになったとき衝突するためである。図６は、横断者が水平右方向に移動した場合の相関値Ｓ（ｚ）とずらし量との関係を示しており、かかる場合にはずらし量＝ｋが移動量に相当する。この際、精度向上のために、相関値の最小値とそれに隣合う２つの相関値を用いて補間計算を行い、１０分の１ドット精度で移動量を算出するようにしてもよい。
【００２３】
このようにして移動量算出回路４では、６６ｍｓ毎で取り込まれた時間的に連続な２枚の画像の相関計算から横断者の移動量が算出される。そして、この移動量は移動量データ保存メモリＭ６に保存される。
【００２４】
垂直エッジ数算出回路５は、前記右カメラ画像保存メモリＭ１に保存されている右カメラの画像データを取り込み、所定の大きさで区画された検出ウィンドウ毎に同ウィンドウ内の垂直エッジ数をカウントする。ここで、検出ウインドウは、前記図４の解析領域内における横断者の大きさに見合うように設定される。本実施の形態では、５０ｍ前方の横断者の大きさを基準として、図７に示すように縦６０ドット×横１６ドットの領域にて検出ウィンドウを設定している。
【００２５】
また、検出ウィンドウは、図１８に示すように、検出ウィンドウの横幅の半分の８ドットが隣の検出ウィンドウと重なるように配列される。この場合、画像の水平方向の画素数が５１２ドットであることから、１２７個の検出ウィンドウが設定される。
【００２６】
垂直エッジ数の算出方法を以下に記載する。即ち、解析領域の左上から本サイクルの画像データを読み込み、走査線方向に輝度変化量の大きさが所定のしきい値以上である点ｘについて、そのｘ位置に対応する垂直エッジ数データ保存メモリＭ７の位置に「１」を加算していく。これを解析領域すべてについて行う。次に検出ウィンドウの横幅について、垂直エッジ数データ保存メモリＭ７から対応するｘ位置のデータの総和を求めると、検出ウィンドウの垂直エッジ数が得られる。
【００２７】
さらに、走行路検出回路６は、前記右カメラ画像保存メモリＭ１に保存されている右カメラの画像データを取り込み、自車両の走行路を検出する。より具体的には、画像内の輝度情報から道路上の左右の白線レーンマークを検出し、このレーンマーク内を走行路として検出する。
【００２８】
マイクロコンピュータ７は、周知のＣＰＵ，メモリ，入出力回路等にて構成されており、前記距離データ保存メモリＭ３、移動量データ保存メモリＭ６、垂直エッジ数データ保存メモリＭ７、及び走行路データ保存データＭ８内の保存データを読み込んで後述する横断者検出処理を実行する。そして、マイクロコンピュータ７は、道路上における横断者の検出結果に応じて警報ブザー８を作動させる。また、マイクロコンピュータ７にはヨーレイトセンサ９が接続されており、マイクロコンピュータ７は同センサ９の出力結果から自車両のヨーイング成分を検出する。
【００２９】
なお、本実施の形態では、マイクロコンピュータ７により横断者候補ウィンドウ検出手段及び横断者検出手段が構成され、ヨーレイトセンサ９によりヨーイング検出手段が構成されている。
【００３０】
次いで、本実施の形態における一連の横断者検出手順をマイクロコンピュータ７による演算処理を中心に説明する。なお、図８は横断者検出ルーチンを示すフローチャートであり、同ルーチンはマイクロコンピュータ７により６６ｍｓ毎に実行される。
【００３１】
さて、同ルーチンがスタートすると、ステップ１０１では、検出ウィンドウ毎に前記垂直エッジ数データ保存メモリＭ７から垂直エッジ数を読み出し、その数が設定しきい値以上のウィンドウを横断者の候補ウィンドウとして検出する（図９）。
【００３２】
続いてステップ１０２では、距離データ保存メモリＭ３から距離データを読み込み、横断者候補ウィンドウに対応する距離データが存在する場合、その領域に対応する移動量データを移動量データ保存メモリＭ６から呼び込んで平均化する。また、その平均化データにより前記候補ウィンドウの物体（横断者）の移動量を算出する。このとき、同時に物体までの距離も保持しておく。
【００３３】
さらに、ステップ１０３では、前記算出された移動値から事前に計測しておいた自車両のヨーイング量を差し引き、この値を画像上での絶対的な物体移動量とする。即ち、ヨーレイトセンサ９の検出値は角度変化（ｄｅｇ／ｓｅｃ）であるため、これを画像上でのふらつき量に変換する。画角２０度で画像の水平方向の分解能が５１２ドットのとき、分解能を画角で割った値２５．６（ドット／ｄｅｇ）にヨーレイト値を掛けたものが画像上でのヨーイング量となる。これを、先に算出した物体の移動量から引くことで自車両のヨーイング成分が物体移動量から排除される。
【００３４】
一方、上記の如く算出された物体の水平方向の移動量は、画像上におけるドット数単位の移動量であるため、続くステップ１０４，１０５では、前記移動量を実空間での物体の水平方向の移動速度ｖ〔ｋｍ／ｈ〕に変換する。つまり、ステップ１０４では、次の（３）式を用い、その時の画像上における水平方向の移動量ｇ〔ドット〕から実空間での移動距離Ｌ〔ｍ〕を算出する。
【００３５】
【数３】
0003727400.tif 000004
但し、上記（３）式において、「ｃ」はＣＣＤのセルの大きさ（ｍｍ／ドット）、「ｆ」はレンズの焦点距離〔ｍｍ〕、「ｄ１」は物体の移動前の物体と自車両との距離〔ｍ〕、「ｄ２」は物体の移動後の物体と自車両との距離〔ｍ〕である。
【００３６】
さらに、ステップ１０５では、次の（４）式を用い、６６ｍｓサイクル内における実空間での移動距離Ｌ〔ｍ〕を移動速度ｖ〔ｋｍ／ｈ〕に変換する。この移動速度ｖ〔ｋｍ／ｈ〕は、物体の移動量としてマイクロコンピュータ７内のメモリに保持される。
【００３７】
【数４】
0003727400.tif 000005
次に、ステップ１０６では、物体の移動量（移動速度）と走行路中心との関係より横断者を仮検出する。即ち、前記走行路データ保存メモリＭ８の保存データを呼び込み、物体の距離に対応する走行路の中心位置を算出する。そして、走行路の中心位置と物体の移動方向に基づき、走行路中心に向かう物体を横断者として仮検出する。このとき、図１０に示すように、横断者は画像内において走行路中心に向かう物体として特定され、電柱や立木は画像内において走行路中心から外側に向かう物体として特定される。この仮検出結果はマイクロコンピュータ内のメモリに保存される。
【００３８】
その後、ステップ１０７では、前記仮検出結果に対して時間的な対応付け処理（以後、追跡処理という）を行うことにより、横断者が実際に存在するかどうかを判定する。以下に、追跡処理の具体的内容を説明する。
【００３９】
つまり、４サイクル分の仮検出結果を得た段階でそれを平均化し、追跡処理のための追跡データを作成する。この場合、存在するデータの処理サイクルの重み（事前に設定）の合計が所定のしきい値以上であれば、それらのデータの重みを加えて平均値を算出し、その算出値を追跡データとする。その詳細を図１１に示す。各サイクルの重み付けに際し、本サイクルでは「４」、１サイクル前では「３」、２サイクル前では「２」、３サイクル前では「１」として、重みの合計が「６」以上であれば追跡データを算出する。その結果、追跡データが存在すれば、該当する検出ウィンドウに横断者が存在する旨が検出されることとなる。かかる追跡処理では、検出ミスでデータが飛び飛びでしか存在しない場合にも当該検出ミスによるデータの不在を考慮する必要はなく、その連続性に基づいて横断者が検出される。
【００４０】
次に、追跡データマップ上の具体的な追跡処理について、それを追跡処理Ａ〜Ｄの事例に分けて説明する。なお、追跡処理Ａ〜Ｄの内容を図１２（ａ）〜（ｄ）に図示し、上記追跡処理Ａ〜Ｄを反映した一連の追跡例を図１３に示す。マップ上の数字は追跡データ（移動量）であり、実空間での横断者の移動速度〔ｋｍ／ｈ〕を表している。マイナスの移動速度は、走行路中心から外側に移動する速度値を表す。
【００４１】
追跡処理Ａ：前サイクルの追跡データ及び本サイクルの追跡データが同じ検出ウィンドウ又は隣の検出ウィンドウにある場合、それらの移動速度を比較してその差が許容範囲内（ここでは、２ｋｍ／ｈ）であれば、データの追跡が可能であるとみなす。即ち、図１２（ａ）では、追跡データのウィンドウが隣のウィンドウに移動しているが、これは移動可能なウィンドウとして処理される。
【００４２】
追跡処理Ｂ：移動可能なウィンドウ１個に対して、２個又は３個の追跡データが対応することがある。この場合、図１２（ｂ）に示すように、追跡回数の多いウィンドウを選択して処理する。但し、追跡回数が同じである場合、走行路中心より左側画像の領域では右側のデータを、右側画像の領域では左側のデータを優先する（図１３のＢ’参照）。
【００４３】
追跡処理Ｃ：図１２（ｃ）に示すように、１つの追跡データに対して２個又は３個の移動可能ウィンドウが対応する場合には、その対応する数だけ同じ追跡データを誕生させる。但し、各々の追跡データには識別ラベルを付けておく。
【００４４】
追跡処理Ｄ：図１２（ｄ）に示すように、移動可能ウィンドウがないとき、そこで追跡処理を中断する。
上記追跡データはマイクロコンピュータ７内のメモリに保存されるが、それと同時に、対応する距離データ〔ｍ〕、画像中心からの水平位置ｚｘ〔ｍ〕も保存される。保存量は１０サイクル分までとする。
【００４５】
前記水平位置ｚｘ〔ｍ〕は、画像中心からの物体の水平位置ＤＸ〔ドット〕と、距離データとから以下のようにして算出する。つまり、前記（２）式より、距離から物体の視差ｓ〔ドット〕が算出され、これはこの距離データにおいて、この視差ｓの大きさ〔ドット〕がカメラ基長線ｍ〔ｃｍ〕に相当することを意味する。従って、次の（５）式から水平位置ｚｘ〔ｍ〕が算出される。
【００４６】
【数５】
0003727400.tif 000006
追跡データの追跡回数が１０サイクルを越えたら、過去９サイクル分と本サイクルとの合計１０サイクル分の保存データから、横断者の平均移動速度ＡＭＶ〔ｋｍ／ｈ〕及び平均水平位置ＡＸ〔ｍ〕を算出する。なお、平均水平位置ＡＸ〔ｍ〕は、画像中心から横断者までの水平距離（前記水平位置ｚｘ）と、画像中心から走行路の白線レーンマークまでの水平距離との和から求められる。この関係を示したのが図１４である。自車両が横断者と同じ距離の走行路までの道のりＤＬ〔ｍ〕及び走行路幅Ｗ〔ｍ〕は、距離データや走行路検出データに基づいて算出される。
【００４７】
以上のデータを用い、図８のステップ１０８では、上記の如く検出された横断者に対して、今現在の自車両の走行状態が危険であるか否かを判定する。本実施の形態では、その一例として、横断者が走行路に達するまでの時間ｔｍ１〔ｓ〕と、走行路を通過し終える時間ｔｍ２〔ｓ〕と、自車両が横断者と同距離の点に達する時間ｔｃ〔ｓ〕とに基づいて危険判定を実施する。つまり、ｔｍ１≦ｔｃ≦ｔｍ２であれば、自車両と横断者との衝突の危険性があるとして、マイクロコンピュータ７はステップ１０９で警報ブザー８を作動させ、横断者の検出の旨をドライバに警告する。また、ｔｃ＜ｔｍ１又はｔｃ＞ｔｍ２であれば、自車両と横断者との衝突の危険性がない、即ち安全であるとしてマイクロコンピュータ７はそのまま本ルーチンを終了する。
【００４８】
ここで、横断者が走行路に達するまでの時間ｔｍ１〔ｓ〕は、上記平均水平位置ＡＸ〔ｍ〕、平均移動速度ＡＭＶ〔ｋｍ／ｈ〕に基づいて次の（６）から算出されるようになっている。
【００４９】
ｔｍ１＝ＡＸ・３．６／ＡＭＶ              ・・・（６）
走行路を通過し終える時間ｔｍ２〔ｓ〕は、時間ｔｍ１〔ｓ〕に走行路幅Ｗ〔ｍ〕を通過する時間を加算した（７）式から算出される。
【００５０】
ｔｍ２＝Ｗ・３．６／ＡＭＶ＋ｔｍ１        ・・・（７）
また、自車両が横断者と同距離の点に達する時間ｔｃ〔ｓ〕は、道のりＤＬ〔ｍ〕及び自車両の速度ＡＣＶ〔ｋｍ／ｈ〕に基づいて次の（８）式から算出される。
【００５１】
ｔｃ＝ＤＬ・３．６／ＡＣＶ                  ・・・（８）
以上詳述した本実施の形態によれば、以下に示す効果が得られる。
（ａ）要するに、本実施の形態では、撮像画像の垂直方向の領域（解析領域）について横断者に見合う大きさの検出ウィンドウを水平方向に隙間なく配置し、前方空間の距離データが存在する検出ウィンドウについてその中の物体の移動方向（移動量データの方向）が走行路中心に向かっていれば走行路上にいる横断者の存在を検出するようにした。上記構成によれば、道路脇に存在する横断者の検出が可能となり、その横断者が自車両の走行路を横断しようとしていること、或いは走行路上に飛び出してくること等が予測可能となる。また、検出ウィンドウという単位にて横断者を検出することにより、横断者のような比較的小さな物体に対してもその検出洩れが回避でき、検出精度を向上させることができる。その結果、自車両に対して安全性の高い撮像処理が実現できる。
【００５２】
（ｂ）白線レーンマークの検出情報から自車両の走行路データ（走行路中心の検出結果を含む）を抽出し、その走行路データから横断者の有無（危険度の判定）を行うようにした。かかる構成によれば、より安全性の高い撮像処理が実現できる。
【００５３】
（ｃ）検出ウィンドウを、隣合うウィンドウに所定量（例えば、横幅半分）だけ重ねて配置した。それにより、検出ウィンドウを並べて配置する場合に比べて、横断者に対応する検出ウィンドウが適切に得られ、横断者の動きが精度良く算出できる。
【００５４】
（ｄ）検出ウィンドウ毎に垂直エッジ数を算出し、垂直エッジ数が所定のしきい値以上のとき、その検出ウィンドウを候補ウィンドウとして検出するようにした。そして、それら候補ウィンドウについて、移動量データから道路上の横断者を検出するようにした。つまり、横断者の画像では垂直エッジ数の密度が高いことに着目し、当該垂直エッジ数に基づいて横断者の存在するウィンドウを検出することにより、その検出処理を効率的に実施できる。このとき、検出されたウィンドウを「候補ウィンドウ」とし、その後、距離分布データと移動量データとを用いて「候補ウィンドウ」の中から実際の横断者の判別を行うようにしたため、より一層確実な横断者検出が可能となる。
【００５５】
（ｅ）１サイクルでの横断者の検出結果を仮検出結果として、その仮検出された横断者の時間的な対応付け処理（追跡処理）を行い、所定サイクル以上の対応付けがなされたとき、横断者の存在を決定するようにした。従って、横断者検出の信頼性をより一層高めることができる。特に、本実施の形態では、４サイクル分の加重平均値を追跡データとして算出し、その追跡データを用いて横断者の検出処理を実施した。そのため、様々な外乱、歩行速度の不均一性等に起因した検出ミスが抑制できる。また、横断者の最初の発見から追跡処理を行い、その連続性を観測することにより、突発的な検出ミスが発生しても横断者の存在を的確に推定して、突発的な検出ミスによる悪影響を減らすことができる。
【００５６】
（ｅ）移動量データから自車両のヨーイング成分を排除し、該自車両のヨーイング成分が排除された結果から画像内の横断者を特定するようにした。この場合、横断者の正確な動きが分かり、精度高い検出結果が得られる。
【００５７】
なお、本発明は上記実施の形態の他に次の形態にて具体化できる。
（１）上記実施の形態では、走行路上の横断者を検出するために、横断者の大きさに適応した検出ウインドウを設定した（縦６０ドット×横１６ドット）。しかし、これを任意に変更してもよい。例えば走行路上を横断する自転車の大きさに適用した検出ウィンドウを設定してもよい。
【００５８】
（２）上記実施の形態では、隣合う検出ウィンドウを横幅半分だけ重ねて配置したが、これを変更してもよい。例えば、隣合う検出ウィンドウの横幅の１／３を重ねて配置したり、横幅の２／３を重ねて配置したりしてもよい。重なり合う部分が少なければ演算負荷が低減でき、重なり合う部分が多ければ検出精度が向上する。
【００５９】
（３）検出ウィンドウの仮検出結果から実際に横断者が存在するウィンドウを特定する処理を変更してもよい。例えば、９サイクル分の仮検出結果が得られた時点で６回以上検出されたウィンドウがある場合、当該ウィンドウに横断者が存在する旨を特定する。
【００６０】
（４）上記実施の形態では、距離算出回路２、解析データ算出回路３、移動量算出回路４、垂直エッジ数算出回路５及び走行路検出回路６をハードで構成したが、これらの全てを又はその一部をマイクロコンピュータ７によるソフト処理にて構成してもよい。
【００６１】
（５）上記実施の形態では、前方の距離分布データを取得するためにステレオ画像の解析（立体視）を用いた。しかし、距離分布データの取得方法はこれのみに限定されるものではなく、例えばスキャニングレーダ装置を用いてもよい。これは、光が物体に反射して戻ってくるまでの往復時間より距離を算出する手段として知られており、この光を前方の所定角度内でスキャニング（走査）することで、距離分布データを取得することができる。
【００６２】
より具体的には、光の走査角の範囲を撮像装置の画角とし、光を放射する走査角を次に述べるように設定し用いることで、本発明の実施に利用できる。ここでは、撮像装置の画角を２０度、水平方向画素数５１２ドットのとき、画像処理の立体視で画像を水平方向８ドット、垂直方向８ドットのメッシュ状に分割して距離分布を算出する場合について述べる。この場合、水平方向８ドットの領域は、０．３１３度に相当するため、画角の範囲内において、この角度（０．３１３度）単位で走査角を逐次変化させていく。そして、得られた距離データをメモリに転送し、必要時にＣＰＵから呼び出す。このようにして、検出ウィンドウに対応した距離分布データが取得できる。
【図面の簡単な説明】
【図１】発明の実施の形態における横断者検出システムの概要を示すブロック構成図。
【図２】左右カメラによるステレオ画像を示す図。
【図３】撮像装置の基本的な構成を示す概略図。
【図４】画像内に解析領域を設定した図。
【図５】横断者が水平右方向に所定量だけ移動した状態を示す図。
【図６】相関値と移動量との関係を示すグラフ。
【図７】検出ウィンドウの大きさを示す図。
【図８】横断者検出ルーチンを示すフローチャート。
【図９】画像内における横断者の候補ウィンドウを示す図。
【図１０】横断者の仮検出結果を示す図。
【図１１】追跡処理を説明するための図。
【図１２】追跡処理の事例を個々に説明するための図。
【図１３】一連の追跡処理を説明するための図。
【図１４】自車両と横断者の位置関係を示す図。
【図１５】画像内における解析領域を説明するための図。
【図１６】検出ウィンドウを説明するための図。
【図１７】検出ウィンドウにて横断者が検出された状態を示す図。
【図１８】検出ウィンドウの配列状態を示す図。
【符号の説明】
１…撮像装置、２…距離分布計測手段としての距離算出回路、４…移動量算出手段としての移動量算出回路、５…垂直エッジ数算出手段としての垂直エッジ数算出回路、６…走行路データ検出手段としての走行路検出回路、７…横断者候補ウィンドウ検出手段及び横断者検出手段としてのマイクロコンピュータ、９…ヨーイング検出手段としてのヨーレイトセンサ。
【図１】
0003727400.tif 000007
【図２】
0003727400.tif 000008
【図３】
0003727400.tif 000009
【図４】
0003727400.tif 000010
【図５】
0003727400.tif 000011
【図６】
0003727400.tif 000012
【図７】
0003727400.tif 000013
【図８】
0003727400.tif 000014
【図９】
0003727400.tif 000015
【図１０】
0003727400.tif 000016
【図１１】
0003727400.tif 000017
【図１２】
0003727400.tif 000018
【図１３】
0003727400.tif 000019
【図１４】
0003727400.tif 000020
【図１５】
0003727400.tif 000021
【図１６】
0003727400.tif 000022
【図１７】
0003727400.tif 000023
【図１８】
0003727400.tif 000024