(57)【要約】【課題】  自車両前方に向かって移動している歩行者を検出して、自車両から歩行者までの距離を推定すること。【解決手段】  ＣＰＵ１０３は、カメラ１０１で撮像した自車両前方の画像を画像処理して、各画素の画像の速度情報を算出し、算出した各画素の画像の速度情報に基づいて、自車両前方を横切る方向に移動してくる歩行者を検出する。検出した歩行者の画像内における身長と歩幅を算出し、この算出結果、および人間の歩行姿勢に基づいてあらかじめ設定された所定の身長と歩幅との比に基づいて、実空間上における歩行者の歩幅を推定する。推定した歩行者の歩幅に基づいて、自車両から歩行者までの距離を推定する。【選択図】      図１
2006172063.tif 000002
【特許請求の範囲】
【請求項１】
自車両前方の画像を撮像する撮像手段と、
前記撮像手段で撮像した画像を画像処理して、各画素の画像の速度情報を算出する速度情報算出手段と、
前記速度情報算出手段で算出した各画素の画像の速度情報に基づいて、自車両の推定進行経路に側方から接近してくる歩行者を検出する歩行者検出手段と、
前記歩行者検出手段で検出した歩行者の画像内における身長と歩幅を算出する算出手段と、
前記算出手段で算出した歩行者の画像内における身長と歩幅との比、および人間の歩行姿勢に基づいてあらかじめ設定された所定の身長と歩幅との比に基づいて、実空間上における歩行者の歩幅を推定する歩幅推定手段と、
前記歩幅推定手段で推定した実空間上における歩行者の歩幅に基づいて、自車両から歩行者までの距離を推定する距離推定手段とを備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記歩行者検出手段で検出した歩行者の種類を、前記算出手段で算出した歩行者の画像内における身長と歩幅との比に基づいて判定する歩行者判定手段をさらに備え、
前記歩幅推定手段は、前記歩行者判定手段で判定した歩行者の種類に応じた推定方法で歩行者の歩幅を推定することを特徴とする画像処理装置。
【請求項３】
撮像手段で撮像した自車両前方の画像を画像処理して、各画素の画像の速度情報を算出し、
算出した各画素の画像の速度情報に基づいて、自車両の推定進行経路に側方から接近してくる歩行者を検出し、
検出した歩行者の画像内における身長と歩幅を算出し、
算出した歩行者の画像内における身長と歩幅との比、および人間の歩行姿勢に基づいてあらかじめ設定された所定の身長と歩幅との比に基づいて、実空間上における歩行者の歩幅を推定し、
推定した実空間上における歩行者の歩幅に基づいて、自車両から歩行者までの距離を推定することを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に搭載されたカメラによって撮像された画像を処理する画像処理装置、および方法に関する。
【背景技術】
【０００２】
次のような歩行者検出装置が特許文献１によって知られている。この歩行者検出装置では、水平方向に並列に配置された一対のステレオカメラで撮像された画像を画像処理して、周辺に存在する歩行者を検出し、歩行者までの距離を算出する。
【０００３】
【特許文献１】特開２００２−２４９８６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の装置のようにステレオカメラを使用する場合には、カメラ同士のキャリブレーション作業などが必要となるため、カメラのコストが高くなるという問題が生じていた。
【課題を解決するための手段】
【０００５】
本発明は、撮像手段で撮像した自車両前方の画像を画像処理して、各画素の画像の速度情報を算出し、算出した各画素の画像の速度情報に基づいて、自車両の推定進行経路に側方から接近してくる歩行者を検出し、検出した歩行者の画像内における身長と歩幅を算出し、算出した歩行者の画像内における身長と歩幅との比、および人間の歩行姿勢に基づいてあらかじめ設定された所定の身長と歩幅との比に基づいて、実空間上における歩行者の歩幅を推定し、推定した実空間上における歩行者の歩幅に基づいて、自車両から歩行者までの距離を推定することを特徴とする。
【発明の効果】
【０００６】
本発明によれば、撮像手段で撮像した自車両前方の画像を画像処理して、各画素の画像の速度情報を算出し、算出した各画素の画像の速度情報に基づいて、自車両の推定進行経路に側方から接近してくる歩行者を検出するようにした。また、実空間上における歩行者の歩幅を推定し、推定した歩行者の歩幅に基づいて自車両から歩行者までの距離を推定することとした。これによって、１台のカメラで撮像した画像に基づいて、歩行者の検出、および歩行者までの距離の推定を行うことができ、コスト面で有利となる。
【発明を実施するための最良の形態】
【０００７】
―第1の実施の形態―
図１は、第1の実施の形態における画像処理装置の一実施の形態の構成例を示すブロック図である。画像処理装置１００は車両に搭載され、車両前方を撮像するカメラ１０１と、カメラ１０１で撮像した画像を格納する画像メモリ１０２と、カメラ１０１で撮像されて画像メモリ１０２に記憶した画像に対して後述する画像処理を実行する制御装置１０３と、後述する画素カウンタのカウント値を記憶するカウンタメモリ１０４とを備えている。
【０００８】
カメラ１０１は、例えばＣＣＤやＣＭＯＳなどの撮像素子を有した高速カメラであり、自車両の走行中に極めて微小な一定時間Δｔ間隔、例えば２ｍｓ間隔で連続的に車両前方を撮像し、各フレームごとに画像メモリ１０２に出力する。なお、カメラ１０１は、図２に示すように車両の室内上部前方に設置され、その視軸向きＺは車両前方正面方向に向き、撮像面の水平軸Ｘは地表面と平行となるように、また撮像面の垂直軸Ｙは地表面と垂直になるように設定されている。カメラ１０１で撮像した連続画像は、画像メモリ１０２に出力されて格納される。カメラ１０１で撮像した画像の具体例を図３に示す。撮像画像３ａ内には、背景を構成する静止物体３ｂ、および道路脇から自車両前方を横切る方向に移動してくる移動物体、すなわち自車両の推定進行経路に側方から接近してくる歩行者３ｃが存在している。
【０００９】
制御装置１０３は、撮像画像３ａ内に存在する各物体の画像内における横方向（水平方向）の移動速度、およびその移動方向を示す速度方向を速度成分とする速度情報を画像速度として算出する。そして算出した画像速度に基づいて、撮像画像３ａ内に存在する物体の中から、道路脇から自車両前方を横切る方向に移動してくる歩行者３ｃを検出する。そして、検出した歩行者３ｃの歩幅を推定し、推定した歩幅に基づいて、歩行者３ｃと自車両との間の距離を算出する。具体的には次のように処理する。
【００１０】
まず、カメラ１０１で撮像された画像を画像メモリ１０２から取り込み、取り込んだ撮像画像３ａに対して所定の閾値を用いて２値化することによって、画像内に存在する物体のエッジを抽出する。そして、抽出した画像内の各エッジに対して、細線化処理を行ってエッジの中心を正確に求める。そして、細線化されたエッジを、エッジ幅が一定の幅、例えば３画素分の幅になるように膨張させる。このように抽出したエッジを正規化することによって、各エッジが均一な幅を持ったエッジ画像を得ることができる。
【００１１】
図４は、上述した抽出したエッジを正規化して、エッジ画像を得るために行う各処理の具体例を示す図である。すなわち、図４（ａ）に示す２値化して得たエッジに対して、細線化処理を行って図４（ｂ）に示す細線化後のエッジを得る。そして、細線化したエッジを膨張させ、図４（ｃ）に示すようにエッジに一定の幅を持たせる。
【００１２】
その後、カウンタメモリ１０４に保存された画素カウンタの内、現在エッジ画像内にエッジが存在している画素に対応した画素カウンタのカウント値を更新する。画素カウンタとは、エッジ画像の各画素に対応したカウンタであり、エッジが存在する画素に対応する画素カウンタのカウント値に１を加算し、エッジが存在しない画素に対応する画素カウンタのカウント値は０で初期化する。このカウンタ値の更新処理を、カメラ１０１で連続的に撮像される毎フレームごとに行うことで、エッジ存在時間が長い画素はカウント値が大きく、エッジ存在時間が短い画素はカウント値が小さくなる。
【００１３】
そして、エッジ画像において、横方向に隣接するそれぞれの画素に対応する画素カウンタのカウント値の差分を取ることで各画素におけるエッジ存在時間の差を算出して、当該エッジが１画素移動するのに要する時間を得る。そして、この値の逆数を得ることで、各画素における画像空間内の横方向の速度を算出することができる。この各画素における画像空間内の横方向の速度は、各画素に含まれるエッジの横方向の移動速度に相当する。また、算出した移動速度が有する速度方向にエッジは移動していることになる。これによって、画像上の各画素における横方向のエッジの移動方向と移動速度、すなわち画像速度を算出することができる。
【００１４】
上述した処理で算出した画像速度に基づいて、撮像画像３ａ内に存在する横方向の速度成分を有する画素のうち、道路脇から自車両前方を横切る方向に移動してくる移動物体を構成するエッジを含む画素のみを抽出する。すなわち、一般的に、自車両が走行しているときに連続して撮像された撮像画像３ａでは、図５に示すように、画像内で背景を構成する静止物体３ｂは、画像内のＦＯＥ（Ｆｏｃｕｓ ｏｆ Ｅｘｐａｎｓｉｏｎ）５ａから撮像画像３ａの外方向に向かう放射状に速度方向を持つ。すなわち、自車両が直進しているときは静止物体３ｂは画像中央から画像外側に向かって湧き出すように移動する。これに対し道路脇から自車両前方を横切る方向に移動してくる歩行者３ｃは画像外側から画像中央に向かう横方向の移動速度を持つ。
【００１５】
このことを加味して、撮像画像３ａ内から画像中央に向かう横方向の移動速度を持つ画素のみを抽出することによって、道路脇から自車両前方を横切る方向に移動してくるエッジを含む画素のみを抽出することができる。そして、抽出した画素がある範囲内に所定以上の密度で存在しており、かつその範囲内における画素の速度成分が近似している場合には、当該範囲内に存在する速度成分を有する画素は、個別の移動物体を構成していると判断する。すなわち、この範囲内には識別可能な個別の移動物体、例えば歩行者３ｃが存在していると判断する。
【００１６】
次に、このように撮像画像３ａ内から検出された歩行者３ｃの画像上におけるアスペクト比（縦横比）に基づいて、実空間上における歩行者３ｃの歩幅を推定する。すなわち、図６に示すように、撮像画像３ａ内で検出された歩行者３ｃの画像上における縦の長さ（身長）ＨＤ、および横の長さ（歩幅）ＷＤを算出し、ＷＤ／ＨＤをアスペクト比として算出する。算出した撮像画像３ａ内における歩行者３ｃのアスペクト比は、実空間上においても同様になる。すなわち、実空間上における身長をＨＲ、歩幅をＷＲとすると、次式（１）に示す関係式が成り立つ。
ＨＤ：ＷＤ  ＝  ＨＲ：ＷＲ  ・・・（１）
【００１７】
また、一般的に、実空間上における人間の身長ＨＲと歩幅ＷＲには、図７に示すような線形関係があり、次式（２）に示す関係式が成り立つことが知られている。
ＷＲ（ｍ）  ＝  ａ・ＨＲ（ｍ）＋ｂ  ・・・（２）
なお、変数ａおよびｂは、歩行者の年齢や性別などによって変化する。
したがって、式（１）および（２）より、歩行者３ｃの実空間上における歩幅ＷＲは、次式（３）によって推定可能である。
ＷＲ  ＝  （−ｂ・ＷＤ／ａ）／（ＨＤ−ＷＤ／ａ）  ・・・（３）
【００１８】
例えば、実空間上における一般成人などの一般的な歩行者においては、歩行姿勢に基づいて設定された身長ＨＲと歩幅ＷＲとの既知の比に基づいて、式（２）において、ａ＝１、ｂ＝−０．９とした次式（４）の関係式が成立することから、式（３）により、歩行者３ｃの実空間上における歩幅ＷＲは、次式（５）によって推定可能である。
ＷＲ（ｍ）  ＝  ＨＲ（ｍ）−０．９（ｍ）  ・・・（４）
ＷＲ（ｍ）  ＝  ０．９・ＷＤ／（ＨＤ−ＷＤ）  ・・・（５）
【００１９】
式（５）によって推定した歩幅を有する歩行者３ｃと、自車両との実空間上における位置関係は、図８（ａ）に示すようになる。この場合において、実空間上における自車両と歩行者３ｃとの間の推定距離Ｌは、カメラ１０１の焦点距離をＦとすると、図８（ｂ）に示すように模式的に表すことができ、次式（６）によって算出することができる。
Ｌ  ＝  Ｆ・ＷＲ／ＷＤ  ・・・（６）
これによって、撮像画像３ａ内に存在する物体の中から、道路脇から自車両前方を横切る方向に移動してくる歩行者３ｃの歩幅を推定し、推定した歩幅に基づいて、歩行者３ｃと自車両との間の推定距離を算出することができる。
【００２０】
図９は、第１の実施の形態における画像処理装置１００の処理を示すフローチャートである。図９に示す処理は、車両のイグニションスイッチがオンされて、画像処理装置１００の電源がオンされると制御装置１０３によって実行される。ステップＳ１０において、カメラ１０１で撮像された自車両前方の画像３ａを画像メモリ１０２から取り込む。その後、ステップＳ２０へ進み、上述したように、画像３ａに対してエッジ抽出処理を行って、撮像画像３ａ内に存在する物体の輪郭を抽出したエッジ画像を生成する。そして、各画素における画素カウンタのカウント値に基づいて画像速度を算出する。
【００２１】
その後、ステップＳ３０へ進み、撮像画像３ａ内において画像中央に向かう横方向の移動速度を持つ画素のみを抽出して、撮像画像３ａ内に存在する歩行者３ｃを検出して、ステップＳ４０へ進む。ステップＳ４０では、撮像画像３ａ内で検出した歩行者３ｃのアスペクト比を算出して、ステップＳ５０へ進み、算出したアスペクト比に基づいて、上述した式（５）により歩行者３ｃの実空間上における歩幅ＷＲを推定する。その後、ステップＳ６０へ進む。
【００２２】
ステップＳ６０では、速度画像３ａ上における歩行者の歩幅、実空間上における歩行者の歩幅ＷＤ、およびカメラ１０１の焦点距離Ｆに基づいて、上述した式（６）により自車両と歩行者３ｃとの間の推定距離Ｌを算出する。その後、ステップＳ７０へ進み、自車両のイグニションスイッチがオフされたか否かを判断し、オフされないと判断した場合には、ステップＳ１０へ戻って処理を繰り返す。これに対して、自車両のイグニションスイッチがオフされたと判断した場合には、処理を終了する。
【００２３】
以上説明した第１の実施の形態によれば、以下のような作用効果を得ることができる。
（１）撮像画像上における歩行者のアスペクト比を算出し、算出したアスペクト比、および一般的な歩行者の身長と歩幅との関係に基づいて、実空間上における歩行者の歩幅を推定することとした。これによって、一般的な歩行者は身長と歩幅が線形関係になることを加味して、精度高く歩行者の歩幅を推定することができる。
（２）推定した実空間上における歩行者の歩幅、速度画像上における歩行者の歩幅、およびカメラ１０１の焦点距離推に基づいて、自車両と歩行者との間の推定距離を算出することとした。これによって、歩行者までの距離を計測するための特別な計測機器を用いずに、用意に自車両と歩行者との間の距離を推定することができる。
（３）撮像画像３ａ内において画像中央に向かう横方向の移動速度を持つ画素で構成される移動物体を撮像画像３ａ内に存在する歩行者３ｃとして検出するようにした。これによって、一般的に、自車両が直進しているときは静止物体などの背景は画像中央から画像外側に向かう速度成分を有するのに対して、自車両に道路脇から接近してくる歩行者は、画像外側から画像中央に向かう速度成分を有することを加味して、正確に道路脇から自車両前方を横切る方向に移動してくる歩行者のみを検出することができる。
【００２４】
―第２の実施の形態―
第２の実施の形態では、高齢者は第１の実施の形態で上述した一般成人などの一般的な歩行者とはアスペクト比が異なることを考慮して、画像内で検出した歩行者の歩幅を推定し、自車両から歩行者までの推定距離を算出する。なお、図１〜図５の各図については、第１の実施の形態と同様のため、説明を省略する。
【００２５】
図１０（ａ）に示すように、高齢者１０ａは、一般成人１０ｂよりも相対的な歩幅ＷＤ２が小さいことが一般的である。よって、高齢者１０ａのアスペクト比、すなわちＷＤ２／ＨＤ２は一般成人１０ｂよりも小さくなる。このため、制御装置１０３は、撮像画像３ａ内から検出された道路脇から自車両前方を横切る方向に移動してくる歩行者のアスペクト比が、あらかじめ設定した所定値以下である場合には、当該歩行者は高齢者であると判定する。
【００２６】
また、上述したように高齢者１０ａのアスペクト比は一般成人１０ｂとは異なることから、図１０（ｂ）に示すように、高齢者１０ａの実空間上における身長ＨＲ２と歩幅ＷＲ２との関係は、一般成人１０ｂにおける身長ＨＲと歩幅ＷＲとの線形関係１０ｄとは異なる線形関係１０ｃとなる。したがって、撮像画像３ａ内で検出された歩行者が高齢者である場合には、第１の実施の形態における式（５）とは異なる関係式、すなわち次式（７）によって実空間上における歩行者の歩幅を推定する必要がある。
ＷＲ（ｍ）  ＝  ａ´・ＨＲ（ｍ）＋ｂ´  ・・・（７）
【００２７】
例えば、実空間上における高齢者１０ａの身長ＨＲ２と歩幅ＷＲ２においては、式（７）において、ａ´＝１／２、ｂ´＝−０．５とした次式（８）の関係式が成立することが知られていることから、第１の実施の形態における式（３）より、高齢者１０ａの実空間上における歩幅ＷＲ２は、次式（９）によって推定可能である。
ＷＲ２（ｍ）  ＝  ＨＲ２（ｍ）／２−０．５（ｍ）  ・・・（８）
ＷＲ２（ｍ）  ＝  ＷＤ２／（ＨＤ２−２・ＷＤ２）  ・・・（９）
【００２８】
したがって、実空間上における自車両と高齢者１０ａとの間の推定距離Ｌは、式（９）で算出した高齢者１０ａの歩幅ＷＲ２に基づいて、第１の実施の形態における式（６）より、次式（１０）によって算出することができる。
Ｌ  ＝  Ｆ・ＷＲ２／ＷＤ２  ・・・（１０）
これによって、撮像画像３ａ内から検出された道路脇から自車両前方を横切る方向に移動してくる歩行者が高齢者である場合でも、歩幅を推定して高齢者１０ａと自車両との間の推定距離を算出することができる。
【００２９】
図１１は、第２の実施の形態における画像処理装置１００の処理を示すフローチャートである。図１１に示す処理は、車両のイグニションスイッチがオンされて、画像処理装置１００の電源がオンされると制御装置１０３によって実行される。なお、第１の実施の形態における図９と共通する処理については同じステップ番号を付与し、相違点を中心に説明する。
【００３０】
ステップＳ４１において、算出した歩行者のアスペクト比があらかじめ設定した所定値以下であるか否かを判定する。アスペクト比が所定値より大きいと判断した場合には、ステップＳ４２へ進む。ステップＳ４２では、検出された歩行者は一般成人であると判断して、ステップＳ５１へ進み、一般成人用の歩幅推定式、すなわち第１の実施の形態で上述した式（５）によって、歩行者の歩幅ＷＲを推定する。その後、ステップＳ６０へ進む。
【００３１】
これに対して、アスペクト比が所定値以下である判断した場合には、ステップＳ４３へ進む。ステップＳ４３では、検出された歩行者は高齢者であると判断して、ステップＳ５２へ進み、高齢者用の歩幅推定式、すなわち式（９）によって、歩行者の歩幅ＷＲ２を推定する。その後、ステップＳ６０へ進む。
【００３２】
以上説明した第２の実施の形態によれば、第１の実施の形態における作用効果に加えて以下のような効果を得ることができる。
（１）撮像画像内で検出された歩行者が一般成人であるか高齢者であるかを判定して、判定結果に基づいて歩幅の推定方法を変化させるようにした。これによって、高齢者は、一般成人よりも歩幅が小さいという、一般成人との歩行姿勢の違いを加味して、より精度高く歩幅を推定することができる。
（２）撮像画像内で検出された歩行者のアスペクト比が、あらかじめ設定した所定値以下である場合には、当該歩行者は高齢者であると判定するようにした。これによって、高齢者と一般成人との歩行姿勢の違いを考慮して、歩行者が一般成人であるか高齢者であるかを的確に判定することができる。
【００３３】
―変形例―
なお、上述した実施の形態における画像処理装置は、以下のように変形することもできる。
（１）上述した第１、および第２の実施の形態では、本発明による画像処理装置１００を車両に搭載する例について説明したが、これに限定されず、その他の移動体に搭載してもよい。
【００３４】
（２）上述した第１、および第２の実施の形態では、撮像画像に対してエッジ抽出処理を行ってエッジ画像を得た後、エッジが存在する画素の画素カウンタを更新していき、当該画素カウンタのカウント値に基づいて画像上の各画素におけるエッジの速度成分を算出する例について説明した。しかし、これに限定されず、例えば一般的な手法である勾配法やブロックマッチングを用いてオプティカルフローを算出してもよい。
【００３５】
（３）上述した第１、および第２の実施の形態では、歩行者のアスペクト比、および身長と歩幅の線形関係に基づいて歩行者の歩幅を推定した。そして、推定した歩幅に基づいて自車両と歩行者との間の推定距離を算出する例について説明した。しかし、これに限定されず、歩行者のアスペクト比、および身長と歩幅の線形関係に基づいて歩行者の身長を推定し、推定した身長に基づいて自車両と歩行者との間の推定距離を算出してもよい。
【００３６】
（４）上述した第２の実施の形態では、撮像画像内で検出された歩行者を、アスペクト比に基づいて一般成人、および高齢者のいずれかであると判定して、一般成人、および高齢者用のそれぞれに対応した歩幅推定用計算式を適用して歩幅を推定するようにした。しかしこれに限定されず、歩行者の種類として、アスペクト比の違いにより判定可能なその他の歩行者の種類、例えば子供や男性女性などを区別し、それぞれの種類に応じた歩幅推定用計算式を適用して歩幅を推定するようにしてもよい。
【００３７】
なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。
【００３８】
特許請求の範囲の構成要素と実施の形態との対応関係について説明する。カメラ１０１は撮像手段に、制御装置１０３は速度情報算出手段、歩行者検出手段、算出手段、歩幅推定手段、距離推定手段、および歩行者判定手段に相当する。なお、この対応は一例であり、実施の形態の構成によって対応関係は異なるものである。
【図面の簡単な説明】
【００３９】
【図１】画像処理装置の一実施の形態の構成例を示すブロック図である。
【図２】カメラ１０１の車両への設置例を示す図である。
【図３】カメラ１０１で撮像した画像の具体例を示す図である。
【図４】抽出したエッジを正規化して、エッジ画像を得るために行う各処理の具体例を示す図である。
【図５】自車両が走行しているときに連続して撮像された撮像画像において各物体で検出される速度方向の具体例を示す図である。
【図６】撮像画像内で検出された歩行者の画像上における縦の長さ（高さ）ＨＤ、および横の長さ（歩幅）ＷＤを示す図である。
【図７】実空間上における人間の縦の長さ（身長）ＨＲと歩幅ＷＲの線形関係を示す図である。
【図８】歩行者と自車両との実空間上における位置関係の具体例を示す図である。
【図９】第１の実施の形態における画像処理装置１００の処理を示すフローチャート図である。
【図１０】第２の実施の形態における一般成人と高齢者のアスペクト比の違いを表す図である。
【図１１】第２の実施の形態における画像処理装置１００の処理を示すフローチャート図である。
【符号の説明】
【００４０】
１００  画像処理装置
１０１  カメラ
１０２  画像メモリ
１０３  制御装置
１０４  カウンタメモリ
【図１】
2006172063.tif 000003
【図２】
2006172063.tif 000004
【図３】
2006172063.tif 000005
【図４】
2006172063.tif 000006
【図５】
2006172063.tif 000007
【図６】
2006172063.tif 000008
【図７】
2006172063.tif 000009
【図８】
2006172063.tif 000010
【図９】
2006172063.tif 000011
【図１０】
2006172063.tif 000012
【図１１】
2006172063.tif 000013