(57)【特許請求の範囲】
【請求項１】
撮像された物体の画像に基づきカーネル判別分析を行う画像処理装置において、
前記物体の大きさと、前記物体の上部形状と、前記物体の側部形状とを要素として含む入力特徴ベクトルを、前記画像に関するデータに基づいて生成する入力特徴ベクトル生成部と、
前記入力特徴ベクトルに基づいてカーネル判別分析のための演算を行うことにより、判別空間へ写像したベクトルを生成する判別分析演算部と、
前記判別空間へ写像されたベクトルが判別空間上の所定の領域内にあるか否かに応じて、前記物体が歩行者であるか否かを判別する物体判別部とを有し、
前記物体の上部形状は、当該物体が撮像された領域を水平方向に所定の幅で区切った区間のそれぞれにおける、鉛直方向の前記領域の下端から前記物体の上端までの物体の長さの代表値によって特徴付けられることを特徴とする画像処理装置。
【請求項２】
前記物体の大きさは、当該物体が撮像された領域と、当該物体までの距離とに基づいて算出される実寸の横幅、または、実寸の縦幅を含むことを特徴とする請求項１に記載された画像処理装置。
【請求項３】
前記入力特徴ベクトル生成部は、前記代表値を鉛直方向の縦幅に対し正規化し、かつ区間の個数についても所定の個数に正規化して、前記入力特徴ベクトルの要素とすることを特徴とする請求項１に記載された画像処理装置。
【請求項４】
前記物体の側部形状は、当該物体が撮像された領域を鉛直方向に所定の幅で区切った区間のそれぞれにおける、水平方向の前記領域の右端から前記物体の左端までの物体の長さの代表値と、前記領域の左端から前記物体の右端までの物体の長さの代表値とによって特徴付けられることを特徴とする請求項１に記載された画像処理装置。
【請求項５】
前記入力特徴ベクトル生成部は、前記領域の右端から前記物体の左端への物体の長さの代表値を水平方向の横幅に対し正規化し、かつ区間の個数について所定の個数に正規化して、前記入力特徴ベクトルの要素とするとともに、
前記領域の左端から前記物体の右端への物体の長さの代表値を水平方向の横幅に対し正規化し、かつ区間の個数について所定の個数に正規化して、前記入力特徴ベクトルの要素とすることを特徴とする請求項４に記載された画像処理装置。
【請求項６】
前記判別空間は、前記入力特徴ベクトルにおいて前記物体が歩行者の第１の訓練データと、前記物体が歩行者以外の第２の訓練データとに関する所定の行列の固有ベクトルを基底に用いて構成され、
前記判別分析演算部は、前記入力特徴ベクトル生成部により前記物体に関して生成された前記入力特徴ベクトルと、予め記憶された前記第１および前記第２の訓練データとに基づいて、所定のカーネル特徴ベクトルを生成するとともに、当該生成されたカーネル特徴ベクトルと、前記行列とに基づいて前記判別空間に写像したベクトルを生成することを特徴とする請求項１に記載された画像処理装置。
【請求項７】
基準画像と、前記基準画像に対応する比較画像とを撮像するステレオカメラと、
撮像された前記基準画像と、前記比較画像とに基づいて、前記基準画像を構成する所定の小領域毎に視差を算出するステレオ画像処理部と、
前記算出された小領域についての視差に基づいて、前記物体の存在を認識する物体認識部とをさらに有し、
前記入力特徴ベクトル生成部は、前記認識された物体に対し、前記算出された視差に基づいて前記入力特徴ベクトルを生成することを特徴とする請求項１から６のいずれかに記載された画像処理装置。
【請求項８】
１フレームの画像における、前記物体に関する前記物体判別部による判別の結果に応じた、物体の歩行者らしさを表す所定の得点を、連続する複数フレームにおいて現れる同一物体に対し累積する得点累積部と、
前記累積された得点に基づいて、前記複数フレームにおける同一物体が歩行者であるか否かを判定する得点判定部とをさらに有することを特徴とする請求項１から７のいずれかに記載された画像処理装置。
【請求項９】
前記得点累積部は、前記物体判別部による判別の結果に応じて所定の値を加減しつつ前記得点を累積し、
前記得点判定部は、前記累積された得点が、所定の第１のしきい値より大きい場合に、前記複数フレームにおける同一物体が歩行者であると判定するとともに、前記累積された得点が、前記第１のしきい値より小さな所定の第２のしきい値より小さい場合に、前記同一物体が歩行者でないと判定することを特徴とする請求項８に記載された画像処理装置。
【請求項１０】
前記物体に対してカーネル判別分析による歩行者の識別を実施するべきか否かの前提条件を判定する前提条件判定部をさらに有し、
前記得点累積部は、
前記前提条件判定部による判定の結果前記物体が前提条件を満足し、かつ、前記物体判別部による判別の結果前記物体が歩行者である場合に、前記物体に対し、第１の所定値を加算し、
前記前提条件判定部による判定の結果前記物体が前提条件を満足し、かつ、前記物体判別部による判別の結果前記物体が歩行者以外の場合に、前記物体に対し、前記第１の所定値より小さい第２の所定値を減算し、
前記前提条件判定部による判定の結果前記物体が前提条件を満たさない場合に、前記物体に対し、前記第１の所定値より小さく前記第２の所定値より大きい第３の所定値を減算することを特徴とする請求項８または９に記載された画像処理装置。
【請求項１１】
前記得点累積部による前記物体についての得点の累積および前記得点判定部による前記累積された得点に基づく判定は、順次フレーム毎に行われ、
前記得点判定部は、前フレームまでに前記同一物体に対し累積された得点が、所定の第３のしきい値より大きい場合には、前記得点累積部による前記得点の累積を行うことなく、前記複数フレームにおける同一物体が歩行者であると判定することを特徴とする請求項８から１０のいずれかに記載された画像処理装置。
【請求項１２】
前記得点累積部による前記物体についての得点の累積および前記得点判定部による前記累積された得点に基づく判定は、順次フレーム毎に行われ、
前記得点判定部は、累積得点が増加していく際のしきい値と、累積得点が減少していく際のしきい値とをそれぞれ別に設け、累積得点が減少していく際のしきい値を累積得点が増加していく際のしきい値よりも小さな値に設定することを特徴とする請求項８から１１のいずれかに記載された画像処理装置。
【請求項１３】
撮像された物体の画像に基づき歩行者を判別する画像処理装置において、
前記物体の大きさと、前記物体の上部形状と、前記物体の側部形状とを要素として含む入力特徴ベクトルを、前記画像に関するデータに基づいて生成する入力特徴ベクトル生成部と、
前記入力特徴ベクトルに基づいて、特定の空間へ写像したベクトルを生成する演算部と、
前記特定の空間へ写像されたベクトルが識別境界を定めた空間上の所定の領域内にあるか否かに応じて、前記物体が歩行者であるか否かを判別する物体判別部とを有し、
前記物体の上部形状は、当該物体が撮像された領域を水平方向に所定の幅で区切った区間のそれぞれにおける、鉛直方向の前記領域の下端から前記物体の上端までの物体の長さの代表値によって特徴付けられることを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に係り、特に、撮像画像から検出された物体の識別に関する。
【背景技術】
【０００２】
従来より、車載された２台のカメラから前方の画像を撮像し、その２つの撮像画像を用いて、車両と前方にある物体との距離を計測する技術が開発されている。この技術では、計測される車両と物体との間の距離に基づいて、ディスプレイやスピーカからドライバおよび乗員に対し警告を発し、また、ブレーキ、エンジン等の制御装置を通じて車両の走行制御を行う。このような車両の制御に関しては、特に、車両前方にある物体が歩行者であるか否かを識別することは、重要な技術要素となっている。
【０００３】
特許文献１に記載された車両周辺監視装置は、遠赤外線カメラにより撮像された画像を処理して歩行者が前方にいることを検出し、検出された歩行者と車両との衝突の可能性が高いときに警報を発する。
【特許文献１】特開平２００３−２８４０５７
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１の車両周辺監視装置においては、遠赤外線カメラを用いることが前提となっており、人体から発せられる熱の検出に基づいて画像処理が行われる。このため、昼夜や季節による環境の変動によっては、歩行者識別の精度の低下が懸念される。つまり、例えば人体と周囲雰囲気との温度差が少ない場合に、本監視装置の性能が低下し、歩行者が適正に検出されない恐れがある。
【０００５】
本発明の目的は、画像に基づくデータにおける歩行者の高精度な識別を図ることである。
【０００６】
また、本発明の別の目的は、演算負荷をより小さく抑えつつ、上記歩行者識別の高速化を図ることである。
【課題を解決するための手段】
【０００７】
かかる課題を解決するために、第１の発明は、撮像された物体の画像に基づきカーネル判別分析を行う画像処理装置を提供する。この画像処理装置は、入力特徴ベクトル生成部と、判別分析演算部と、物体判別部とを有する。入力特徴ベクトル生成部は、物体の大きさと、物体の上部形状と、物体の側部形状とを要素として含む入力特徴ベクトルを、画像に関するデータに基づいて生成する。判別分析演算部は、入力特徴ベクトルに基づいてカーネル判別分析のための演算を行うことにより、判別空間へ写像したベクトルを生成する。物体判別部は、判別空間へ写像されたベクトルが判別空間上の所定の領域内にあるか否かに応じて、物体が歩行者であるか否かを判別する。さらに、物体の上部形状は、この物体が撮像された領域を水平方向に所定の幅で区切った区間のそれぞれにおける、鉛直方向の上記領域の下端から物体の上端までの物体の長さの代表値によって特徴付けられる。
【０００８】
第１の発明においては、物体の大きさは、当該物体が撮像された領域と、当該物体までの距離とに基づいて算出される実寸の横幅、または、実寸の縦幅を含んでいてよい。
【００１０】
この第１の発明においては、入力特徴ベクトル生成部は、上記代表値を鉛直方向の縦幅に対し正規化し、かつ水平方向に所定の幅で区切った区間の個数についても所定の個数に正規化して、入力特徴ベクトルの要素とすることが好ましい。
【００１１】
また、第１の発明においては、物体の側部形状は、当該物体が撮像された領域を鉛直方向に所定の幅で区切った区間のそれぞれにおける、水平方向の物体の領域の右端から物体の左端までの物体の長さの代表値と、物体の領域の左端から物体の右端までの物体の長さの代表値とによって特徴付けられることが望ましい。
【００１２】
この第１の発明においては、入力特徴ベクトル生成部は、物体の領域の右端から物体の左端への物体の長さの代表値を水平方向の横幅に対し正規化し、かつ鉛直方向に所定の幅で区切った区間の個数について所定の個数に正規化して、入力特徴ベクトルの要素とするとともに、物体の領域の左端から物体の右端への物体の長さの代表値を水平方向の横幅に対し正規化し、かつ上記区間の個数について所定の個数に正規化して、入力特徴ベクトルの要素とすることが好ましい。
【００１３】
第１の発明においては、判別空間は、入力特徴ベクトルにおいて物体が歩行者の第１の訓練データと、物体が歩行者以外の第２の訓練データとに関する所定の行列の固有ベクトルを基底に用いて構成され、判別分析演算部は、入力特徴ベクトル生成部により物体に関して生成された入力特徴ベクトルと、予め記憶された第１および第２の訓練データとに基づいて、所定のカーネル特徴ベクトルを生成するとともに、当該生成されたカーネル特徴ベクトルと、上記行列とに基づいて判別空間に写像したベクトルを生成することが望ましい。
【００１４】
第１の発明においては、基準画像と、基準画像に対応する比較画像とを撮像するステレオカメラと、撮像された基準画像と、比較画像とに基づいて、基準画像を構成する所定の小領域毎に視差を算出するステレオ画像処理部と、算出された小領域についての視差に基づいて、物体の存在を認識する物体認識部とをさらに有し、入力特徴ベクトル生成部は、認識された物体に対し、算出された視差に基づいて入力特徴ベクトルを生成することが望ましい。
【００１５】
また、第１の発明においては、１フレームの画像における、物体に関する物体判別部による判別の結果に応じた、物体の歩行者らしさを表す所定の得点を、連続する複数フレームにおいて現れる同一物体に対し累積する得点累積部と、累積された得点に基づいて、複数フレームにおける同一物体が歩行者であるか否かを判定する得点判定部とをさらに有していてもよい。
【００１６】
第１の発明においては、得点累積部は、物体判別部による判別の結果に応じて所定の値を加減しつつ得点を累積し、得点判定部は、累積された得点が、所定の第１のしきい値より大きい場合に、複数フレームにおける同一物体が歩行者であると判定するとともに、累積された得点が、第１のしきい値より小さな所定の第２のしきい値より小さい場合に、同一物体が歩行者でないと判定してもよい。
【００１７】
この第１の発明においては、物体に対してカーネル判別分析による歩行者の識別を実施するべきか否かの前提条件を判定する前提条件判定部をさらに有し、得点累積部は、前提条件判定部による判定の結果物体が前提条件を満足し、かつ、物体判別部による判別の結果物体が歩行者である場合に、物体に対し、第１の所定値を加算し、前提条件判定部による判定の結果物体が前提条件を満足し、かつ、物体判別部による判別の結果物体が歩行者以外の場合に、物体に対し、第１の所定値より小さい第２の所定値を減算し、前提条件判定部による判定の結果物体が前提条件を満たさない場合に、物体に対し、第１の所定値より小さく第２の所定値より大きい第３の所定値を減算することが望ましい。
【００１８】
第１の発明においては、得点累積部による物体についての得点の累積および得点判定部による累積された得点に基づく判定は、順次フレーム毎に行われ、得点判定部は、前フレームまでに同一物体に対し累積された得点が、所定の第３のしきい値より大きい場合には、得点累積部による得点の累積を行うことなく、複数フレームにおける同一物体が歩行者であると判定することが望ましい。
【００１９】
また、第１の発明においては、得点累積部による物体についての得点の累積および得点判定部による累積された得点に基づく判定は、順次フレーム毎に行われ、得点判定部は、累積得点が増加していく際のしきい値と、累積得点が減少していく際のしきい値とをそれぞれ別に設け、累積得点が減少していく際のしきい値を累積得点が増加していく際のしきい値よりも小さな値に設定することが好ましい。
【００２０】
第２の発明は、撮像された物体の画像に基づき歩行者を判別する画像処理装置を提供する。この画像処理装置は、入力特徴ベクトル生成部と、演算部と、物体判別部とを有する。入力特徴ベクトル生成部は、物体の大きさと、物体の上部形状と、物体の側部形状とを要素として含む入力特徴ベクトルを、画像に関するデータに基づいて生成する。演算部は、入力特徴ベクトルに基づいて、特定の空間へ写像したベクトルを生成する。物体判別部は、特定の空間へ写像されたベクトルが識別境界を定めた空間上の所定の領域内にあるか否かに応じて、物体が歩行者であるか否かを判別する。さらに、物体の上部形状は、この物体が撮像された領域を水平方向に所定の幅で区切った区間のそれぞれにおける、鉛直方向の上記領域の下端から物体の上端までの物体の長さの代表値によって特徴付けられる。
【発明の効果】
【００２１】
本発明によれば、物体の画像に基づいてカーネル判別分析が行われる。すなわち、まず、入力特徴ベクトルが、撮像された物体の画像に基づいて生成される。この入力特徴ベクトルに基づいてカーネル判別分析のための演算が行われ、この演算により、判別空間へ写像されたベクトルが生成される。そして、この写像されたベクトルが、判別空間上、所定の領域内にあるか否かに応じて、上記物体が歩行者であるか否かが判別される。特に、入力特徴ベクトルは、その要素として、物体の大きさ、物体の上部形状および物体の側部形状を含み、これによって、物体の特徴を的確に捉え、物体が歩行者であるか否かを高精度に識別することができる。また、この入力特徴ベクトルの構成によると、歩行者の識別処理についての演算負荷をより小さく抑えながら、識別処理を高速に行うことができる。
【発明を実施するための最良の形態】
【００２２】
（第１の実施形態）
図１は、第１の実施形態に係るステレオ画像処理装置１の主要な構成を示すブロック図である。このステレオ画像処理装置１は、車両に搭載され、ステレオ画像処理に基づいて、車両前方の車外監視情報を得る。この監視情報と他の運転支援情報とはドライバに伝達される。特に、ステレオ画像処理装置１は、ステレオ画像（後述の基準画像および比較画像）中の撮像された物体の画像に基づきカーネル判別分析を行い、これによって、この物体が歩行者であるか否かを識別することが可能である。
【００２３】
ステレオ画像処理装置１のヘッドライト操作スイッチ２は、ドライバが手動でオン／オフするスイッチである。このヘッドライト操作スイッチ２のオンに伴い、一対のヘッドライト４ａ，４ｂ、一対の近赤外ランプ５ａ，５ｂ、図示しないヘッドアップディスプレイ等がオンされる。近赤外ランプ制御装置３は、夜間であること等を検出して近赤外ランプ５ａ，５ｂをオンすることが可能である。ヘッドライト４ａ，４ｂは、それぞれ、車両の前部右側、左側に取り付けられており、車両前方に可視光を照射する。また、近赤外ランプ５ａ，５ｂは、それぞれ、ヘッドライト４ａ，４ｂの近傍に設けられており、車両前方に近赤外光を照射する。この近赤外ランプ５ａ，５ｂは、可視光を照射するランプに可視光カットフィルタを装着することによって構成することができ、また、このランプ５ａ，５ｂに、近赤外光ＬＥＤを用いることもできる。
【００２４】
ステレオカメラ６は、車内のルームミラー近傍等に取り付けられており、車両前方の道路状況や障害物に関する監視情報を取得する。このステレオカメラ６は、近赤外線感応型カメラであるメインカメラ６ａ，サブカメラ６ｂからなる。これらカメラ６ａ，６ｂには、それぞれＣＣＤセンサやＣＭＯＳセンサ等のイメージセンサが内蔵されており、可視光、および、近赤外ランプ５ａ，５ｂまたはヘッドライト４ａ，４ｂから前方に投光された近赤外線の反射光に感光する。メインカメラ６ａは、進行方向右側に配置され、ステレオ画像処理時の基準画像を撮像する。一方、サブカメラ６ｂは、進行方向左側に配置され、メインカメラ６ａと同期して、（基準画像に対応する）比較画像を撮像する。メインカメラ６ａから出力されたアナログ信号は、Ａ／Ｄコンバータ７ａによって所定の輝度階調（例えば、256階調のグレースケール）のデジタルデータに変換される。このデジタルデータは、基準画像データとして補正処理部８に供給される。同様に、サブカメラ６ｂから出力されたアナログ信号は、Ａ／Ｄコンバータ７ｂによってデジタルデータに変換された後、比較画像データとして補正処理部８に供給される。
【００２５】
補正処理部８は、基準画像データおよび比較画像データに対して、輝度の補正や画像の幾何学的変換などの画像補正を行う。通常、カメラ６ａ，６ｂの取付位置には、ボディのゆがみ等に起因する誤差が存在するため、撮像された画像にもずれが生じる。アフィン変換等の幾何学的変換がこのずれを補正するために行われる。このような画像処理を経た後、１フレーム分の基準画像データおよび比較画像データは、後段のステレオ画像処理部９に出力されるとともに、画像データメモリ１０に保存される。
【００２６】
ステレオ画像処理部９は、基準画像と比較画像とに基づいて、距離データを算出する。この距離データとは、基準画像データによって規定される画像平面において小領域（所定の大きさの画素ブロック）毎に算出された視差の集合である。基準画像におけるある画素領域（相関元）の視差を算出する際には、この画素領域の輝度特性と相関を有する領域（相関先）を比較画像において特定する。周知のように、ステレオカメラ６から対象物までの距離は、基準画像と比較画像との間における水平方向のずれ量として現れる。したがって、比較画像において相関先を探索するときには、相関元となる画素領域に対応する水平線（エピポーラライン）上を探索すればよい。また、２つの画素領域の相関は、例えばシティブロック距離を算出することにより評価することができ、その値が最小となる画素領域が相関先と判断される。この特定された相関先と相関元との間のずれ量が視差となる。このような処理を経て算出された距離データ、すなわち、画像平面上の位置と対応付けられた視差の集合が、距離データメモリ１１に保存される。視差のそれぞれは、画像平面上の位置と対応付けられているから、１フレーム相当の視差群で構成された距離データを距離画像という。
【００２７】
マイクロコンピュータ２０は、ＣＰＵ、ＲＡＭ、ＲＯＭ、入出力インターフェース等からなり、実行されるプログラムにより、車両前方に存在する対象物（例えば、先行車や歩行者等）を認識し、その動きを監視する。この認識および監視は、距離データメモリ１１に保存された距離データに基づいて、また必要に応じて、画像データメモリ１０に保存された画像データを参照しながら行われる。認識された対象物の挙動やその自車両までの距離等の監視情報その他のドライバに伝達すべき情報（運転支援情報）は、マイクロコンピュータ２０からヘッドアップディスプレイ等の表示装置にリアルタイムに伝送されて出力される。この運転支援情報の例として車間距離警報、障害物情報、車線逸脱警報がある。ヘッドアップディスプレイへの表示には、夜間特性に合わせて基準画像（または比較画像）が変換された画像の表示、歩行者などの対象物についてのズーム画像、強調表示画像の表示などが含まれる。また、距離データに基づく物体の監視情報に基づいて、マイクロコンピュータ２０は、ブレーキ、自動変速機、エンジン、ステアリング等をそれぞれ制御する他の制御装置を通じて車両の走行制御を行う。各制御装置は、マイクロコンピュータ、制御プログラム等により構成され、走行制御の例として、車間距離感応クルーズコントロール、衝突回避制御および車線維持制御がある。マイクロコンピュータ２０は、シートベルトやエアバッグについての衝突直前制御を行うことも可能である。
【００２８】
本実施形態は、マイクロコンピュータ２０での物体の識別に係り、ここで実行されるプログラムは、機能的に、次に示す道路認識部２１と、物体認識部２２と、歩行者識別部２３とを含む。道路認識部２１は、距離データおよび画像データ（基準画像または比較画像のいずれか一方のもの）に基づいて、道路中に引かれた車線や路傍に設けられたガードレールの形状等を認識する。つまり、道路認識部２１では、自車両を中心とする３次元空間上で道路の位置が認識される。物体認識部２２は、同様に、距離データおよび画像データに基づいて、３次元空間上で、自車両前方にある道路近傍の物体（特に、立体物）の存在、すなわち、この物体の横方向の位置、距離および大きさを認識する。また、物体認識部２２は、第nフレームの撮像画像（もしくは距離データから構成される距離画像）中の物体と第(n-1)フレームの撮像画像中の物体との間で同一性を判定し時間的な追跡を行う。この追跡には、２つの撮像画像中の物体の間での輝度の相関や物体の移動位置の予測等が用いられる。歩行者識別部２３は、視差（距離画像、物体の画像に関するデータ）に基づくカーネル判別分析を行う。このカーネル判別分析によって、物体認識部２２で認識された物体が歩行者であるか否かが識別される。
【００２９】
この歩行者識別部２３は、より詳細には、次に示す前提条件判定部２３ａと、入力特徴ベクトル生成部２３ｂと、カーネル判別分析演算部２３ｃと、物体判別部２３ｄとを有する。前提条件判定部２３ａは、物体認識部２２で検出された物体の距離、大きさ等に基づいて、物体に対してカーネル判別分析による歩行者の識別を実施するべきか否かの前提条件を判定する。物体がこの前提条件を満足している（カーネル判別分析のための演算を行う前提条件を物体が満たしている）場合には、入力特徴ベクトル生成部２３ｂでの処理が行われる。物体が前提条件を満たしていない場合には、カーネル判別分析に関する演算は行われることなく、物体判別部２３ｄで物体が歩行者でないと判別される。例えば、前提条件判定部２３ａは、明らかに歩行者よりも大きな物体を歩行者以外と判定する。入力特徴ベクトル生成部２３ｂは、前提条件を満たす物体（物体に対応する距離画像上の領域）に対し、算出された視差に基づいて入力特徴ベクトルuを生成する。この入力特徴ベクトルuは、その要素として、物体の大きさ、物体の上部形状および物体の側部形状を含み、その構成は、本ステレオ画像処理装置１に特有のものである。入力特徴ベクトルuの構成については、後に図３〜６を用いて説明する。
【００３０】
カーネル判別分析演算部２３ｃは、生成された入力特徴ベクトルuに基づいてカーネル判別分析のための演算を行うことにより、判別空間へ写像されたベクトルyを生成する。すなわち、カーネル判別分析演算部２３ｃは、まず、入力特徴ベクトルuと、予め記憶された訓練データdiとを次の数式１に代入することにより、カーネル特徴空間におけるカーネル特徴ベクトルx(u)を生成する。入力特徴ベクトルuは、後に示すように画像中の物体に関して生成され、訓練データdiは、入力特徴ベクトルuと同様の規則に則って配置された要素を持つベクトルである。Nは、訓練データdiの全個数である。このN個の訓練データdiからなる集合は、物体が歩行者であるパターンと物体が歩行者以外であるパターンとを含む。歩行者のパターンは、歩行者の画像から予め抽出しておき、また、歩行者以外のバターンは、歩行者以外の画像から抽出しておく。|u-di|は入力特徴ベクトルuと第ｉ番目の訓練データ（ベクトル）diとの間の距離であり、σはパラメータである。パラメータσの値が小さい場合には、入力特徴ベクトルuとの距離が近い局所的な情報からなるカーネル特徴ベクトルx(u)が生成される。また、σの値が大きい場合には、入力特徴ベクトルuとの距離が離れた広い範囲の情報を含むカーネル特徴ベクトルx(u)が生成される。このσを適切に設定することによって、判別力の強い判別空間（後述）を得ることが可能である。なお、このようにして生成されるカーネル特徴ベクトルx(u)は、全訓練データ数Nの要素を有するベクトルである。訓練データdiを、歩行者の正面、背面および側面の画像から生成しておくことによって、種々の態様の歩行者を識別することが可能である。
【数１】
0004708124.tif 000002
【００３１】
次に、カーネル判別分析演算部２３ｃは、生成されたカーネル特徴ベクトルx(u)と、訓練データdiに関する所定の行列Aとを次の数式２に代入することによって、判別空間に写像されたベクトルyを生成する。この行列Aは、後に数式３〜１７を用いて示すように、歩行者クラスの訓練データ集合（入力特徴ベクトルuにおいて物体が歩行者である訓練データの集合）と歩行者以外のクラスの訓練データ集合とについて定められ、予め記憶されている。判別空間は、この行列Aの固有ベクトルを基底として構成される。
【数２】
0004708124.tif 000003
【００３２】
物体判別部２３ｄは、判別空間に写像したベクトルyが、この判別空間上の予め特定されている所定の領域にあるか否かに応じて、このベクトルyに対応する物体が、歩行者であるか否かを判別する。
【００３３】
以上のようにして、歩行者識別部２３において、物体が歩行者であるか否かが識別されるが、上述した行列Aの算出方法について説明する。この行列Aは、前述のように、歩行者クラスの訓練データ集合と歩行者以外のクラスの訓練データ集合とから定められる。まず、歩行者クラスの訓練データ集合C、歩行者以外のクラスの訓練データ集合/Cを、それぞれ、カーネル特徴ベクトルxを用いて、次の数式３，４のように表す。
【数３】
0004708124.tif 000004
【数４】
0004708124.tif 000005
【００３４】
ここで、nfは、全訓練データ数Nのうちの歩行者の画像の数であり、n/fは、歩行者以外の画像の数である。このとき、歩行者クラスの平均/kf、分散共分散行列Σfは、それぞれ、数式５，６となる。
【数５】
0004708124.tif 000006
【数６】
0004708124.tif 000007
【００３５】
また、歩行者以外のクラスの平均ベクトル/k/f、全平均ベクトル/kTは、それぞれ、数式７，８となる。
【数７】
0004708124.tif 000008
【数８】
0004708124.tif 000009
【００３６】
ここで、全訓練データ数N、歩行者クラスの先見確率ωf、歩行者以外のクラスの先見確率ω/fは、それぞれ、数式９，１０，１１による。
【数９】
0004708124.tif 000010
【数１０】
0004708124.tif 000011
【数１１】
0004708124.tif 000012
【００３７】
これらから、平均クラス内分散共分散行列Σ(f)W、平均クラス間共分散行列Σ(f)Bは、それぞれ、数式１２，１３となる。
【数１２】
0004708124.tif 000013
【数１３】
0004708124.tif 000014
【００３８】
判別力の強い判別空間を得るためには、判別空間でのクラス内共分散をより小さく、かつ、クラス間共分散をより大きくすればよい。そのような判別力の強い判別空間は、数式１４の判別基準Jを最大とする条件から得られる。この数式１４の右辺中の数式１５に示す行列は、判別空間でのクラス内共分散行列であり、数式１４の右辺中の数式１６に示す行列は、判別空間でのクラス間共分散行列である。判別基準Jを最大とする最適な行列Aは、数式１７での固有値問題を解くことにより求められる。ここで、Λは固有値からなる対角行列であり、Ｉは単位行列である。
【数１４】
0004708124.tif 000015
【数１５】
0004708124.tif 000016
【数１６】
0004708124.tif 000017
【数１７】
0004708124.tif 000018
【００３９】
以上のように、歩行者クラスの訓練データ集合Cと歩行者以外クラスの訓練データ集合/Cとから行列Aが求められる。この行列Aにより、カーネル特徴ベクトルx(u)は、歩行者クラスと歩行者以外のクラスに対して判別力の強い判別空間へ写像される。また、この行列Aに基づく判別空間に、すべての訓練データdiを写像すると、歩行者クラスに属するベクトルはなるべく集まり、歩行者以外のクラスに属するベクトルは歩行者クラスの重心からなるべく離れていることを確認できる。
【００４０】
図２は、本実施形態に係る歩行者識別処理の詳細な手順を示すフローチャートである。この歩行者識別処理においては、上述のように、カーネル判別分析に基づいて、検出された物体が歩行者であるか否かが識別される。
【００４１】
歩行者識別処理のステップ１〜４においては、検出された物体（立体物）に対し、後段のカーネル判別分析による歩行者の識別（ステップ６〜９）を実施する前提条件が満たされているか否かが判断される。この前提条件は複数設定されており、ステップ１，３，４での判定により、前提条件のいずれかが満たされない物体についてはステップ６〜９が実行されない。このため、そのような前提条件を満たさない物体について、歩行者でないとの判別を高速に的確に行うことができる。また、ここで前提条件についての判定を行うことによって、訓練データdiに、歩行者よりも大きな物体のデータを含める必要がなくなり、処理時間およびメモリ消費をより小さく抑えることができる。
【００４２】
ステップ１においては、自車両から物体までの距離が所定値以下であるか否かが判定される。本歩行者識別処理では、視差に基づく物体の形状から、この物体が歩行者があるか否かが判断される。カメラ６ａ，６ｂの特性に応じて、視差に基づいた物体の形状が利用可能となる最長距離が定まり、この最長距離に応じて、ステップ１の所定値が設定されている。このステップ１での判定によって、最長距離以下の物体のみが、歩行者識別処理の対象とされる。ステップ１において否定判定された場合、すなわち、物体までの距離が所定値以上である場合には、ステップ２〜９を行うことなく、ステップ５に進み、この検出された物体は「歩行者以外」と判別して、本ルーチンを抜ける。ステップ１において肯定判定された場合、すなわち、物体までの距離が所定値以下の場合には、ステップ２に進む。
【００４３】
ステップ２〜４においては、検出された物体の実際の大きさが歩行者であり得るか否かが判断される。この物体が、歩行者の大きさとして設定された所定の値よりも大きい場合には、ステップ６〜９は実行されることなく、この物体は「歩行者以外」と判別される。まず、ステップ２では、物体の実寸の横幅（物体の水平方向への実寸長さ）、実寸の縦幅（物体の鉛直方向への実寸長さ）が、ピンホールカメラモデルに基づき、物体が撮像された領域と、物体までの距離とにより算出される。すなわち、実寸横幅W[cm]および実寸縦幅H[cm]が、次に示す数式１８，１９により求められる。
【数１８】
0004708124.tif 000019
【数１９】
0004708124.tif 000020
【００４４】
ここで、di[pix]，dj[pix]，zcg[cm]は、それぞれ、画像上の物体の横幅、画像上の物体の縦幅、物体と自車両との距離を示す。これらは、すでに、物体認識部２２において、視差に基づき求められている。また、CAMWi[cm/pix]，CAMWj[cm/pix]，CAMF[cm]は、カメラの特性による定数であり、それぞれ、横方向(ここでは水平方向)の撮像素子サイズ、縦方向(鉛直方向)の撮像素子サイズ、焦点距離である。
【００４５】
ステップ３，４においては、ステップ２で求められた実寸横幅W、実寸縦幅Hが、それぞれ、個別に設定された所定値以下であるか否かが判定される。ステップ３で否定判定された場合、すなわち、物体の実寸横幅Wが所定値より大きい場合、ステップ６〜９は実行されず、ステップ５において物体が「歩行者以外」と判別され、本ルーチンを抜ける。ステップ４で否定判定され、物体の実寸縦幅Hが所定値より大きい場合にも、同様に、ステップ５において物体が「歩行者以外」と判別され、本ルーチンを抜ける。また、ステップ３で肯定判定され、かつ、ステップ４で肯定判定された場合、すなわち、実寸横幅Wが所定値以下であり、かつ、実寸縦幅Hが所定値以下である場合には、ステップ６に進む。なお、所定値としては歩行者と見なせる大きさであり、横幅および縦幅の値としては例えば１〜２ｍ程度に設定される。ただし、縦幅については、下限値を設定せずに２ｍ以下に設定してもよい。
【００４６】
ステップ６においては、物体３０に関する視差に基づいて入力特徴ベクトルuが生成される。図３は、入力特徴ベクトルuの構成を示す図である。この入力特徴ベクトルuは、後述するように正規化されており、ENUM個の要素を有する。その要素として、物体３０の大きさを表す数値、物体３０の上部形状を表す数値、および、物体３０の側部形状を表す数値が含まれる。この物体３０の上部形状は、物体３０が撮像された(矩形状)領域を水平方向に所定の幅で区切った区間のそれぞれにおける、鉛直方向へのこの物体３０の領域の下端から物体３０の上端までの物体の長さの代表値によって特徴付けることが可能である。また、物体３０の側部形状は、物体３０の左側形状と物体３０の右側形状とからなるものとしてよい。この物体３０の左側形状は、物体３０が撮像された領域を鉛直方向に所定の幅で区切った区間のそれぞれにおける、水平方向へのこの物体３０の領域の右端から物体３０の左端までの物体の長さの代表値によって特徴付けることが可能である。物体３０の右側形状は、物体３０が撮像された領域を鉛直方向に所定の幅で区切った区間のそれぞれにおける、水平方向へのこの物体３０の領域の左端から物体３０の右端までの物体の長さの代表値によって特徴付けることが可能である。これら水平方向への区間の幅および鉛直方向への区間の幅は、同一とし、また異ならせることが可能である。
【００４７】
より具体的には、入力特徴ベクトルuの第１番目の要素を、ステップ２で算出された物体３０の実寸横幅W[cm]とし、第２番目の要素を、物体３０の実寸縦幅H[cm]としてよい。また、上述のように、ステレオ画像処理部９においては、基準画像上、（例えば４×４の）画素ブロック３１毎に視差が対応付けられている。この１フレーム分の視差群から距離画像が構成され、物体３０は、距離画像上で、物体３０を囲む矩形状領域として認識されている。この領域内では、物体３０までの距離とその背景までの距離とは異なるため、物体３０についての視差とその背景についての視差との違いに基づいて物体３０の形状を特定することが可能である。つまり、上述のようにして、画像を水平方向および鉛直方向に区切ることにより得られる最小の画像領域と、視差の対応付けられた（距離画像を構成する）画素ブロックとを対応させることが可能である。同図において、距離画像上の物体３０に対応する領域は、横方向に、第i1ブロック、第i2ブロック、…、第imブロックと、mブロック分の長さを有し、縦方向に、第j1ブロック、第j2ブロック、…、第jnブロックと、nブロック分の長さを有する。横方向の各ブロック位置ik（k=1,2,…,m）に対して、物体３０の縦方向の長さを特定することが可能であり、縦方向の各ブロック位置il（l=1,2,…,n）に対して、物体３０の横方向の長さを特定することが可能である。入力特徴ベクトルuの要素について、ここでは、上部形状を表すm個の数値は、横方向に、Eshape個に正規化されており、入力特徴ベクトルuの第3番目から第(Eshape+2)番目までの(Eshape)個の要素に対応する。各要素の値は、(Eshape)個に正規化された後の各区間において、上部形状を表す各代表値を、物体３０の実寸縦幅に対して正規化した数値であり、0からMAXnorの値をとる。また、左側形状を表すn個の数値は、縦方向に、Eshape個に正規化されており、入力特徴ベクトルuの第(Eshape+3)番目から第(2×Eshape+2)番目までの要素に対応する。各要素の値は、(Eshape)個に正規化された後の各区間において、左側形状を表す各代表値を、物体３０の実寸横幅に対して正規化した数値であり、0からMAXnorの値をとる。同様に、右側形状を表すn個の数値は、縦方向に、Eshape個に正規化されており、入力特徴ベクトルuの第(2×Eshape+3)番目から第(3×Eshape+2)番目までの要素に対応する。各要素の値は、物体３０の実寸横幅に対して正規化した後の右側形状を表す0からMAXnorの数値である。例えば、Eshapeを１０個とすると、入力特徴ベクトルuの全要素数ENUMは３２個となる。また、MAXnorを２５５とすると、実寸横幅W[cm]および実寸縦幅H[cm]は２５５cmまで扱うことができ、実際の歩行者の大きさと、その形状を同じ値で表現することが可能である。さらに、この値を０〜２５５までの整数値とすることによって、演算の高速化を図ることができる。ここでは、正規化して得られる要素の数は、Eshape個と、上部形状、左側形状および右側形状について等しいものとしているが、当然ながら、これらの要素数を異ならせてもよい。
【００４８】
図４は、入力特徴ベクトルuにおける、上部形状に係る要素の生成を説明するための図である。物体３０の上部形状を表すm個の数値は、鉛直方向に、縦幅に対して正規化され、かつ、その区間の個数について、上述のEshape個となるように正規化される。物体３０は、第ikブロック（k=1,2,…,m）において、縦方向に、物体３０に対応する領域の下端から、この領域内の(上端付近の背景を除いた)物体３０の上端まで、jmax[ik]分の長さを有する。すなわち、物体３０は、横方向に並ぶ第i1ブロック、第i2ブロック、…、第imブロックの各位置で、jmax[i1]ブロック分、jmax[i2]ブロック分、…、jmax[im]ブロック分の長さを有する。この物体３０の上部形状を表す数値jmax[ik]を、次のように正規化して、入力特徴ベクトルuの第3番目から第(Eshape+2)番目までの(Eshape)個の要素とする。物体認識部２２で認識された物体３０について、まず、横方向のブロック数m個を要素数Eshape個に正規化するために採用するikを数式２０により算出する。
【数２０】
0004708124.tif 000021
【００４９】
int［］は、[]内の数値の整数部分をとる演算である。この数式２０においては、iを１からEshapeまで順次１ずつ増加させて更新しつつ、各iに対してinorを算出する。算出されたinorは、m個からEshape個への上部形状を表す数値の正規化において採用するikである。さらに、この第inorブロックにおける物体３０の縦方向のブロック数jmax[inor]を次の数式２１に代入して、物体３０の上部形状を表す数値を縦方向に正規化する。
【数２１】
0004708124.tif 000022
【００５０】
ここで、nは、物体の縦方向のブロック数である。この数式２１によって、jmax[inor]の各値のnに対する比率が、０〜MAXnorの範囲の整数値に正規化され、この正規化後の値がjmax_nor[i]に格納される。このjmax_nor[i]が、入力特徴ベクトルuの第3番目から第（Eshape+2）番目までの要素として配置されることになる。ここで入力特徴ベクトルu中で左から右へと配置されていく各要素は、順に、物体３０の上部形状の左側から右側に対応する。
【００５１】
図５は、入力特徴ベクトルuにおける、左側形状に係る要素の生成を説明するための図である。物体３０の左側形状を示すn個の数値は、水平方向に、横幅に対して正規化され、かつ、その区間の個数について、上述のEshape個となるように正規化される。物体３０は、第jlブロック（l=1,2,…,n）において、横方向に、物体３０に対応する領域の右端から、この領域内の物体３０の左端まで、ileft[jl]分の長さを有する。すなわち、物体３０は、縦方向の第j1ブロック、第j2ブロック、…、第jnブロックの各位置で、ileft[j1]ブロック分、ileft[j2]ブロック分、…、ileft[jn]ブロック分の長さを有する。この物体３０の左側形状を表す数値を、上述の上部形状を表す数値と同様に、次のように正規化して、入力特徴ベクトルuの第(Eshape+3)番目から第(2×Eshape+2)番目までの(Eshape)個の要素とする。物体３０について、まず、縦方向のブロック数n個を要素数Eshape個に正規化するために採用するjlを数式２２により算出する。
【数２２】
0004708124.tif 000023
【００５２】
この数式２２においても、jを１からEshapeまで順次１ずつ増加させて更新し、各jに対してjnor_side、すなわち、採用するjlを算出する。さらに、この第jnor_sideブロックにおける物体３０の左側へのブロック数ileft[jnor_side]を次の数式２３に代入して、物体３０の左側形状を表す数値を横方向に正規化する。
【数２３】
0004708124.tif 000024
【００５３】
ここで、mは、物体の横方向のブロック数である。この数式２３によって、ileft[jnor_side]の各値のmに対する比率が、０〜MAXnorの範囲の整数に正規化され、この値がimax_nor_left[j]に格納される。このimax_nor_left[j]が、入力特徴ベクトルuの第(Eshape+3)番目から第(2×Eshape+2)番目までの要素として配置される。ここで左から右へと配置される各要素は、順に、物体３０の左側形状の下側から上側に対応する。
【００５４】
図６は、入力特徴ベクトルuにおける、右側形状に係る要素の生成を説明するための図である。物体３０の右側形状を表すn個の数値は、水平方向に、横幅に対して正規化され、かつ、その区間の個数について、上述のEshape個となるように正規化される。すなわち、物体３０は、第jlブロック（l=1,2,…,n）において、横方向に、物体３０に対応する領域の左端から、この領域内の物体３０の右端まで、iright[jl]分の長さを有する。この物体３０の右側形状を表す数値を、上述の左側形状を表す数値と同様に、次のように正規化して、入力特徴ベクトルuの第(2×Eshape+3)番目から第(3×Eshape+2)番目までの(Eshape)個の要素とする。ここでは、物体３０の右側形状を抽出するために、物体３０に対応する領域を区切る区間が、左側形状を抽出するために領域を区切る区間と同じであること、また、正規化後の要素数が同じであることを前提としている。このため、上述した数式２２によって算出したjnor_sideは、ここで、物体３０について、縦方向のブロック数n個を要素数Eshape個に正規化するために採用するjlと同一である。この第jnor_sideブロックにおける物体３０の右側へのブロック数iright[jnor_side]を次の数式２４に代入し、これによって、物体３０の右側形状を表す数値の横方向への正規化を行う。
【数２４】
0004708124.tif 000025
【００５５】
すなわち、この数式２４によって、iright[jnor_side]の各値のmに対する比率が、０〜MAXnorの範囲の整数に正規化され、この値がimax_nor_right[j]に格納される。このimax_nor_right[j]が、入力特徴ベクトルuの第(2×Eshape+3)番目から第(3×Eshape+2)番目までの要素として配置される。ここで左から右へと配置される各要素は、上述の左側形状を表す正規化後の各値と同様に、順に、物体３０の右側形状の下側から上側に対応する。
【００５６】
特に、ここでは、入力特徴ベクトルuの上部形状、左側形状および右側形状を、（視差の対応付けられた）ブロック単位で特定した。これとは異なり、距離の離れた物体が画像上に小さく写ることを考慮して、物体の形状を必要に応じて画素単位で特定し、上記同様の処理を行ってもよい。また、形状の抽出をより安定して行うために、入力特徴ベクトルuに対して、例えば、メディアンフィルタ処理や移動平均をとる処理を施してもよい。
【００５７】
図２に示すステップ７においては、ステップ６で生成された入力特徴ベクトルuと、記憶された訓練データdiとに基づいて、上記数式１よってカーネル特徴ベクトルx(u)が生成される。すべての訓練データdiに対してこの計算が行われ、訓練データ数Nを要素数とするカーネル特徴ベクトルx(u)=(x1,x2,…,xN)が生成される。
【００５８】
ステップ８においては、ステップ７で生成されたカーネル特徴ベクトルx(u)が上記した数式２により判別空間に写像され、判別空間におけるベクトルyが生成される。この行列Aは、上述のように、上記数式３の訓練データ集合C、および、数式４の訓練データ集合/Cに基づいて、予め求められて記憶されている。
【００５９】
ステップ９においては、ステップ８で判別空間に写像されたベクトルyが、判別空間上で予め設定した歩行者クラスの領域内に存在するか否かが判定される。ステップ９で肯定判定された場合、すなわち、ベクトルyが歩行者クラスの領域内に存在する場合には、ステップ１０に進み、ベクトルyを生成する元となった物体は「歩行者」と判別される。この後、本ルーチンを抜ける。一方、ステップ９で否定判定された場合、すなわち、ベクトルyが歩行者クラスの領域内に存在しない場合には、ステップ５において、この物体は「歩行者以外」と判別され、その後、本ルーチンを抜ける。このステップ９での判定に用いられる歩行者クラスの領域は、歩行者の全訓練データを判別空間に写像し、これら写像ベクトルを全て包含するような閉空間領域として予め設定されている。例えば、判別空間を、行列Aの固有値のうち最大のものから２つに対応する２つの固有ベクトルを基底とする２次元平面とするときには、歩行者クラスと歩行者以外クラスとの境界は、２次元の閉領域として設定することが可能である。判別空間上のこの閉領域内に歩行者の全訓練データが写像される。これら領域内に、写像されたベクトルy（の終点）があるか否かは、この境界（または領域）を特定する方程式に数値を代入することにより判定される。
【００６０】
本実施形態によれば、その特有の入力特徴ベクトルuに基づいてカーネル判別分析が行われる。そして、この判別結果に基づいて、入力特徴ベクトルuを構成する元となった物体が歩行者であるかか否かが識別される。ここでの入力特徴ベクトルuは、その要素に、物体の大きさ、物体の上部形状および物体の側部形状を採用しているため、画像に基づくデータにおいて、物体の輪郭の特徴を的確に捉え、歩行者識別を高速に行うことができる。また、訓練データ集合に、特に識別を要するパターンを含めることによって、高精度にこの識別を行うことができる。
【００６１】
なお、上記実施形態においては、ステレオ画像（またはこの画像に関するデータである視差）に基づいて物体が歩行者であるか否かを識別する技術について説明した。本発明は、ステレオ画像への適用に限定されない。例えば、レーザーレーダ、単眼カメラ等によって生成される画像を用いることが可能である。これら画像（またはこの画像に関するデータ）中で物体の輪郭を抽出し、この物体に対して入力特徴ベクトルを生成し、カーネル判別分析に関する演算を行い、これによって、この物体が歩行者であるか否かを識別してよい。
【００６２】
また、カーネル判別分析演算部２３ｃ等においてカーネル判別分析が行われることを前提とした。これに対し、カーネル判別分析とは異なる処理を行うパターン識別器を用いてもよい。この識別器では、特定の空間が用いられて特徴ベクトルが２クラスに分類される。すなわち、物体の大きさと、物体の上部形状と、物体の側部形状とを要素として含む入力特徴ベクトルが、画像に関するデータに基づいて生成される。この入力特徴ベクトルに基づいて、特定の空間へ写像したベクトルが生成される。そして、特定の空間へ写像されたベクトルが識別境界を定めた空間上の所定の領域内にあるか否かに応じて、この物体が歩行者であるか否かが判別される。識別境界は、訓練データを用いて識別関数にて設定される。このような識別器によっても、上述と同様の効果を得ることができる。例えば、この識別器として、サポートベクターマシンを用いることが可能である。
【００６３】
カーネル判別分析に際しては、数式１によって、カーネル特徴ベクトルx(u)を算出した。この計算の一部または全部に代えて、計算結果を予めテーブルに記憶させ、このテーブルから参照される数値から補間演算を行ってもよい。これにより、演算をさらに高速化することができる。
【００６４】
また、入力特徴ベクトルuの要素とする物体の大きさとして、物体の実寸横幅および物体の実寸縦幅を採用したが、これらの一方を用い、また、縦横に代えて、任意の方向への物体の実寸の長さを用いることが可能である。
【００６５】
（第２の実施形態）
図７は、第２の実施形態に係るステレオ画像処理装置１２の主な構成を示すブロック図である。本実施形態において、第１の実施形態で説明した構成要素と同一の要素については、同一の符号を付し、その説明を省略する。ステレオ画像処理装置１２の特徴の１つは、複数フレームの同一物体について歩行者であることの確からしさ（歩行者らしさ）が所定値より大きくなった場合、この物体を歩行者と判断することである。つまり、本実施形態では、物体検出に関するフレーム間における追跡処理と、判別空間における識別結果に基づいた歩行者らしさを示す得点の複数フレームでの累積とが組み合わされている。これによって、歩行者識別の精度および確実性を向上させることができる。この点、第１の実施形態においては、１フレームの画像中の物体について直ちに歩行者であるか否かを判断していたが、２つの実施形態のこの相違により、特に、歩行者識別部３３は、得点累積部３３ｅと得点判定部３３ｆとを有する。物体判別部３３ｄは、１フレームの画像中の物体が歩行者であるか否かを判別する。得点累積部３３ｅでは、所定の得点が物体の歩行者らしさを表すものとして設定されており、物体判別部３３ｄによる判別の結果に応じて、その得点の値および加減のいずれを行うかが異なっている。得点累積部３３ｅは、この得点を、連続する複数フレームにおいて現れる同一物体に対し累積して保持する。得点判定部３３ｆは、累積された得点に基づいて、この同一物体が歩行者であるか否かを判定する。また、特に、物体認識部３２では、第(n-1)フレームの画像中で検出された物体Ａと第nフレームの画像中で検出された物体Ｂとが同一である場合、この複数フレームで検出された同一の物体に対し、固有のID番号が付与されている。このID番号により、物体が歩行者であるか否かを示す情報、および、物体の動きに関する情報等が管理される。
【００６６】
本実施形態においては、歩行者識別についての処理は、歩行者判別処理と得点累積判定処理とからなる。これらの歩行者判別処理と累積判定処理とは、それぞれ、順次フレーム毎に、１フレームの画像において検出された物体について実行される。歩行者判別処理においては、第１の実施形態における歩行者識別処理に類似する処理によって、各フレームに含まれる物体が歩行者であるか否かが判別される。得点累積判定処理においては、この判別結果に応じて、物体に対する得点が予め設定されており、複数フレームに現れる同一物体に対し、得点が累積されていく。そして、累積された得点に基づいて、この複数フレームにおける同一物体が歩行者であるか否かが判定される。第１の実施形態における歩行者識別処理では、１フレームに現れる物体が歩行者であるか否かの判別が、直接、物体が歩行者であるか否かの識別につながった。これに対し、本実施形態においては、得点累積判定処理で、複数フレームにわたり累積される得点に基づいて、物体が歩行者であるか否かが識別される。
【００６７】
図８は、歩行者判別処理の詳細な手順を示すフローチャートである。ステップ１〜４において、物体にカーネル判別分析による歩行者の識別（ステップ６〜８，２１）を実施するべきか否かを判定するための前提条件を満たさない場合、ステップ２２において、物体のID番号に対応する歩行者フラグに−１が設定される。その前提条件は、第１の実施形態と同一であり、自車両から物体までの距離が所定値以下であり、物体の横幅が所定値以下であり、かつ、物体の縦幅が所定値以下であることである。また、物体がこの前提条件を満たす場合には、まず、ステップ６〜８において、入力特徴ベクトルuが生成され、カーネル判別分析に関する演算が行われる。続いて、ステップ２１における判別空間での判定に基づき、歩行者フラグに１または０が設定される。すなわち、ステップ２１で肯定判定され、判別空間に写像されたベクトルが歩行者クラス領域内にある場合には、ステップ２３において、物体のID番号に対応する歩行者フラグに１が設定される。一方、ステップ２１で否定判定され、判別空間に写像されたベクトルが歩行者クラス領域内にない場合には、ステップ２４において、このID番号に対応する歩行者フラグに０が設定される。
【００６８】
図９は、得点累積判定処理の詳細な手順を示すフローチャートである。この処理においては、物体に対してカーネル判別分析による歩行者の識別を実施する前提条件が満たされているか否か、および、物体がカーネル判別分析において歩行者と判定されたか否かに応じて、この物体に対し、異なる所定値の加減が行われる。まず、ステップ３１において物体に付与されたID番号が読み込まれ、処理の対象とする物体が特定される。続くステップ３２においては、このID番号に対応する歩行者フラグが読み込まれ、ステップ３３〜３８での処理に備えられる。ステップ３３〜３５においては、歩行者フラグが１，０，−１のいずれであるかが判定され、ステップ３６〜３８においては、この歩行者フラグに応じて、得点が加減される。すなわち、ステップ３３において、肯定判定され、歩行者フラグが１である場合には、ステップ３６において、累積得点に所定値f1が加算される。この歩行者フラグが１の場合とは、上述の歩行者判別処理での設定のように、物体が上記前提条件を満足し、かつ、歩行者判別処理による判別の結果、物体が歩行者である場合である。ステップ３４において、肯定判定され、歩行者フラグが０である場合には、ステップ３７において、累積得点から所定値f2が減算される。歩行者フラグが０の場合とは、物体が前提条件を満足し、かつ、歩行者判別処理による判別の結果、物体が歩行者でない(歩行者以外である)場合である。また、ステップ３５において、肯定判定され、歩行者フラグが−１である場合には、ステップ３８において、累積得点から所定値f3が減算される。歩行者フラグが−１の場合とは、物体が前提条件を満たさない場合である。ここで、所定値f1，f2，f3（いずれも正の数）の間には次に数式２５に示す関係を持たせる。
【数２５】
0004708124.tif 000026
【００６９】
つまり、所定値f1は、判別空間に写像されたベクトルyが歩行者領域内にある場合に、このベクトルyに対応する物体に対して加算される値である。また、所定値f2は、このベクトルyが歩行者領域内にない場合に、その物体に対し減算される値である。ここで、この所定値f2には、所定値f1より小さい値が設定される。さらに、所定値f3は、物体についてカーネル判別分析処理を行う前提条件が満たされない場合に、その物体に対し減算される値である。この所定値f3には、所定値f1より小さく、所定値f2よりも大きい値が設定される。これらの値の大小の設定は、カーネル判別分析処理で歩行者と判定された場合には、歩行者である確からしさが高いことを前提とし、特に、この場合の得点に重み付けを行ったものである。これにより、歩行者識別にとって有利な撮像条件（上記前提条件を含む）が、全てのフレームに渡って継続しなくとも、安定した識別結果を得ることができる。
【００７０】
複数のフレームで物体はID番号により特定されているが、ステップ３９〜４１においては、同一の物体に対する累積得点が所定値より大きいか否かに基づいて、この物体が歩行者であるか否かが判定される。ステップ３９では、累積得点が、しきい値Sより大きいか否かが判定される。ステップ３９において、肯定判定され、累積得点がしきい値Sより大きい場合には、ステップ４０において、この物体は「歩行者」と判定される。一方、ステップ３９において、否定判定され、累積得点がしきい値S以下である場合には、ステップ４１において、この物体は「歩行者以外」と判定される。
【００７１】
本実施形態によれば、複数フレーム内の同一物体に対して、物体の歩行者らしさを示す得点が累積される。その累積得点が所定値より大きくなった場合に、この物体は歩行者であると判定される。このため、歩行者識別の精度を、１フレームのみにおける識別よりも高くすることができる。
【００７２】
（第３の実施形態）
図１０は、第３の実施形態に係るステレオ画像処理装置における得点累積判定処理の詳細な手順を示すフローチャートである。本ステレオ画像処理装置の構成は、第２の実施の形態のステレオ画像処理装置に準ずる。ここでも、第２の実施形態と同様に、複数フレームにおける同一物体についての得点の累積、および、累積された得点に基づく判定が、順次フレーム毎に行われる。また、現フレームにおけるカーネル判別分析による判別の結果に応じて、物体に対し、前フレームまでに累積された得点が増加および減少される。
【００７３】
本処理の特徴の１つは、前フレームまでに同一物体に対して累積された得点が十分大きな値になっている場合の処理にある。すなわち、本処理においては、その前フレームまでに物体に対し累積された得点が、しきい値S1より大きい場合、現フレームに対して得点累積についての処理を行うことなく、この物体は歩行者であると判定する。このような判定により、あるフレームの処理時に物体が歩行者であると確定した際に、その後の演算を軽減することが可能である。また、本処理の他の特徴の１つは、累積得点が所定値より大きいか否かについて、ヒステリシスを設けていることである。すなわち、累積得点が増加していく際のしきい値S2と、累積得点が減少していく際のしきい値S3とをそれぞれ別に設ける。ここで、このしきい値S3をしきい値S2よりも小さな値に設定する。このヒステリシスによって、識別結果に対するハンチング（累積得点がフレーム毎にしきい値近傍を上下する際に、識別結果が歩行者となったり歩行者以外となったり不安定な状態になること）を防止することが可能である。
【００７４】
本実施形態のステレオ画像処理装置における得点累積判定処理においては、上述した２つの特徴から、第２の実施形態のステレオ画像処理装置１２の得点累積判定処理と次の２点が異なる。ステップ５１における判定がステップ３３〜３８における得点の累積についての処理の前段に挿入されている点と、ステップ３９（図９）における判定がステップ５２，５３における判定に置き換えられている点である。
【００７５】
その特徴の１つであるステップ５１においては、前フレームまでに物体に対して累積された得点が、十分大きなしきい値S1より大きいか否かが判定される。ステップ５１で、肯定判定され、この累積得点がしきい値S1より大きい場合には、ステップ３３〜３８,５２,５３がスキップされ、ステップ４０に進む。ステップ４０においては、ステップ３１で特定された物体が歩行者であると判定される。ステップ５１において、否定判定され、累積得点がしきい値S1以下である場合には、ステップ３３〜ステップ３８において、第２の実施形態と同様に、得点の累積処理が行われる。
【００７６】
また、他の１つの特徴であるステップ５２，５３について、累積得点を増加させる際と減少させる際とでは、その直後に、その物体が歩行者であるか否かを判定するしきい値が異なる。すなわち、累積得点を減少させる際のしきい値S3を、増加させる際のしきい値S2よりも小さく設定している。このため、ステップ３６において累積得点への加算が行われた後には、続いてステップ５２へと進み、ステップ３７または３８において累積得点からの減算が行われた後には、ステップ５３へと進む。ステップ５２においては、ステップ３６で増加した累積得点がしきい値S2より大きい場合に、この物体が歩行者であると判定する。また、ステップ５３においては、ステップ３７または３８で減少した累積得点がしきい値S3よりも小さい場合に、この物体が歩行者以外であると判定する。
【００７７】
本実施形態によれば、前フレームまでに物体に対して累積された得点が、所定のしきい値以上である場合、この物体は歩行者であると判定される。このような判定によって、現フレーム中の物体については、得点累積についての処理が行われない。このため、演算を軽減することができる。
【００７８】
また、本実施形態によれば、１フレームの画像（に基づくデータ）における物体についての判別の結果に応じて、所定の値が加減されつつ得点が累積される。そして、累積された得点が所定のしきい値より大きい場合に、複数フレームにおける同一物体が歩行者であると判定される。これとともに、累積された得点が、このしきい値よりも小さな所定のしきい値より小さい場合に、上記同一物体が歩行者でないと判定される。すなわち、２つのしきい値の差を適度なものとしてヒステリシスが設けられ、これによって、ハンチングを防止し、より安定した識別結果を出力することができる。
【００７９】
なお、上述した実施形態では、近赤外線感応型カメラを用いた例について説明したが、本発明はこれに限定されず、可視光カメラを用いてもよい。
【図面の簡単な説明】
【００８０】
【図１】第１の実施形態のステレオ画像処理装置の構成を示すブロック図
【図２】歩行者識別処理の手順を示すフローチャート
【図３】歩行者識別処理のステップ６で生成される入力特徴ベクトルの構成図
【図４】入力特徴ベクトルの上部形状に係る要素の生成についての説明図
【図５】入力特徴ベクトルの左側形状に係る要素の生成についての説明図
【図６】入力特徴ベクトルの右側形状に係る要素の生成についての説明図
【図７】第２の実施形態のステレオ画像処理装置の構成を示すブロック図
【図８】歩行者判別処理の手順を示すフローチャート
【図９】得点累積判定処理の手順を示すフローチャート
【図１０】第３の実施形態に係る得点累積判定処理の手順を示すフローチャート
【符号の説明】
【００８１】
１，１２      ステレオ画像処理装置
２            ヘッドライト操作スイッチ
３            近赤外ランプ制御装置
４ａ，４ｂ    ヘッドライト
５ａ，５ｂ    近赤外ランプ
６            ステレオカメラ
６ａ          メインカメラ
６ｂ          サブカメラ
７ａ，７ｂ    Ａ／Ｄコンバータ
８            補正処理部
９            ステレオ画像処理部
１０            画像データメモリ
１１            距離データメモリ
２０            マイクロコンピュータ
２１            道路認識部
２２            物体認識部
２３，３３      歩行者識別部
２３ａ，３３ａ  前提条件判定部
２３ｂ，３３ｂ  入力特徴ベクトル生成部
２３ｃ，３３ｃ  カーネル判別分析演算部
２３ｄ，３３ｄ  物体判別部
３３ｅ          得点累積部
３３ｆ          得点判定部
３０            物体
３１            画素ブロック
【図１】
0004708124.tif 000027
【図２】
0004708124.tif 000028
【図３】
0004708124.tif 000029
【図４】
0004708124.tif 000030
【図５】
0004708124.tif 000031
【図６】
0004708124.tif 000032
【図７】
0004708124.tif 000033
【図８】
0004708124.tif 000034
【図９】
0004708124.tif 000035
【図１０】
0004708124.tif 000036