(57)【要約】  【課題】  検出した画像データから抽出された人間候補領域の画素の輝度値を補正することにより、人間の存在を認識する人間認識システム、該人間認識システムを構成する画像処理装置を提供する。  【解決手段】  基準パターン補正部３５３は、記憶部３３から基準パターンＨを読み出し、人間の輝度分布における胴体部分の輝度値を「０」に変更し、変更した画素の座標を輝度補正部３５４へ出力する。輝度補正部３５４は、距離算出部３５２から入力された人間候補領域Ｐ１に対して、前記座標に対応する画素の輝度値を「０」に補正し、輝度値を補正した基準パターンＨｈと人間候補領域Ｐ１ｈを演算部３５５へ出力する。演算部３５５は人間候補領域Ｐ１ｈ及び基準パターンＨｈの相関値を算出し、認識部３５６は算出した相関値に基づいて人間の存否を判定する。【選択図】      図３
2005327129.tif 000002
【特許請求の範囲】
【請求項１】
外界の温度分布に応じた画像データを検出する検出装置と、該検出装置が検出した画像データを処理して人間の存在の認識をする画像処理装置と、該画像処理装置が認識した人間の存在を出力する出力装置とを備える人間認識システムにおいて、
前記画像処理装置は、
人間の温度分布に応じた輝度分布を表す基準パターンを記憶する記憶手段と、
検出した画像データが有する画素の輝度に基づいて人間候補領域を抽出する抽出手段と、
抽出した人間候補領域の画素の一部を予め定められた輝度値以下に補正する補正手段と、
補正した人間候補領域と前記基準パターンとを比較して人間の存在を認識する認識手段と
を備えたことを特徴とする人間認識システム。
【請求項２】
画像データを処理して人間の存在の認識をする画像処理装置において、
人間の温度分布に応じた輝度分布を表す基準パターンを記憶する記憶手段と、
画像データが有する画素の輝度に基づいて人間候補領域を抽出する抽出手段と、
抽出した人間候補領域の画素の一部を予め定められた輝度値以下に補正する補正手段と、
補正した人間候補領域と前記基準パターンとを比較して人間の存在を認識する認識手段と
を備えたことを特徴とする画像処理装置。
【請求項３】
前記基準パターンの画素の一部は削除してあり、
前記補正手段は、前記画素の一部に対応する前記人間候補領域の画素の一部を除去すべくなしてあることを特徴とする請求項２に記載された画像処理装置。
【請求項４】
前記基準パターンの画素の一部は予め定められた一の輝度値を有し、
前記補正手段は、
前記画素の一部に対応する前記人間候補領域の画素の一部を前記一の輝度値に補正すべくなしてあることを特徴とする請求項２に記載された画像処理装置。
【請求項５】
前記基準パターン及び人間候補領域の画素の一部は、人間の温度分布に応じて輝度が変動する画素を含むことを特徴とする請求項３又は請求項４に記載された画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、外界の温度分布に応じた画像データを検出する検出装置が検出した画像データに基づいて、人間の存在を認識する人間認識システム、及び該人間認識システムを構成する画像処理装置に関する。
【背景技術】
【０００２】
自動車などの車両に、ボロメータ又は焦電型撮像素子を備えた遠赤外用のビデオカメラを搭載し、夜間走行時に車両前方の歩行者、自転車に乗った人間などを認識して運転者に注意を促す前方監視システムが提案されている。
【０００３】
このようなシステムは、遠赤外用のビデオカメラで人間を撮像した場合、熱源である人間は他の背景物に対して高い輝度を有することを利用して、予め人間の輝度分布を示す基準パターンを記憶しておき、遠赤外用のビデオカメラが検出した画像データと前記基準パターンとを比較して、その類似度を算出し、算出した類似度に基づいて人間の存在を認識している（非特許文献１参照）。
【非特許文献１】「ホンダ  アールアンドディー  テクニカル  レビュー(Honda R&D Technical Review)」 Vol.13 No.1,  ２００１年４月
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、従来のシステムにあっては、人間の服装は多様であり、着用された服装に応じて、服の表面温度が異なるため、前記ビデオカメラが検出した画像データと基準パターンとを比較した場合に、服装に応じて検出した画像データの輝度分布が異なるため、画像データと基準パターンとの類似度が変動し正確な認識結果が得られないことがあった。特に、人間の胴体部分は、衣服の素材、上着を着用した場合又は非着用の場合など多様に変わり、検出した画像データの輝度分布が変動するため、人間の認識結果に及ぼす影響も大きい。また、あらゆる服装に対応した基準パターンを記憶する場合には、膨大な数の基準パターンを記憶し、検出した画像データと記憶した基準パターンとを比較する処理を行う必要があり、記憶量及び処理量が増加するという問題もあった。
【０００５】
本発明は、斯かる事情に鑑みてなされたものであり、検出した画像データから抽出された人間候補領域の画素の輝度値を予め定められた輝度値以下に補正し、補正した人間候補領域と基準パターンとを比較することにより、人間の存在を認識する人間認識システム、及び該人間認識システムを構成する画像処理装置を提供することを目的とする。
【０００６】
また、本発明の他の目的は、前記基準パターンの画素の一部を削除し、前記画素の一部に対応する前記人間候補領域の画素の一部を除去することにより、人間の存在を認識する画像処理装置を提供することにある。
【０００７】
また、本発明の他の目的は、前記基準パターンの画素の一部を予め定められた一の輝度値にし、前記画素の一部に対応する前記人間候補領域の画素の輝度値を前記一の輝度値に補正することにより、人間の存在の認識をする画像処理装置を提供することにある。
【０００８】
また、本発明の他の目的は、前記基準パターン及び人間候補領域の画素の一部を人間の温度分布に応じて輝度値が変動する画素にすることにより、人間の存在の認識をする画像処理装置を提供することにある。
【課題を解決するための手段】
【０００９】
第１の発明の人間認識システムは、外界の温度分布に応じた画像データを検出する検出装置と、該検出装置が検出した画像データを処理して人間の存在の認識をする画像処理装置と、該画像処理装置が認識した人間の存在を出力する出力装置とを備える人間認識システムにおいて、前記画像処理装置は、人間の温度分布に応じた輝度分布を表す基準パターンを記憶する記憶手段と、検出した画像データが有する画素の輝度に基づいて人間候補領域を抽出する抽出手段と、抽出した人間候補領域の画素の一部を予め定められた輝度値以下に補正する補正手段と、補正した人間候補領域と前記基準パターンとを比較して人間の存在を認識する認識手段とを備えたことを特徴とする。
【００１０】
第２の発明の画像処理装置は、画像データを処理して人間の存在の認識をする画像処理装置において、人間の温度分布に応じた輝度分布を表す基準パターンを記憶する記憶手段と、画像データが有する画素の輝度に基づいて人間候補領域を抽出する抽出手段と、抽出した人間候補領域の画素の一部を予め定められた輝度値以下に補正する補正手段と、補正した人間候補領域と前記基準パターンとを比較して人間の存在を認識する認識手段とを備えたことを特徴とする。
【００１１】
第３の発明の画像処理装置は、前記基準パターンの画素の一部は削除してあり、前記補正手段は、前記画素の一部に対応する前記人間候補領域の画素の一部を除去すべくなしてあることを特徴とする。
【００１２】
第４の発明の画像処理装置は、前記基準パターンの画素の一部は予め定められた一の輝度値を有し、前記補正手段は、前記画素の一部に対応する前記人間候補領域の画素の一部を前記一の輝度値に補正すべくなしてあることを特徴とする。
【００１３】
第５の発明の画像処理装置は、前記基準パターン及び人間候補領域の画素の一部は、人間の温度分布に応じて輝度が変動する画素を含むことを特徴とする。
【００１４】
第１の発明及び第２の発明にあっては、画像データが有する画素の輝度値に基づいて、人間候補領域を抽出する。抽出した人間候補領域の画素の一部を予め定められた輝度値以下に補正することにより、人間候補領域の画素の一部の輝度が変動した場合であっても、所定の値以下に補正し、補正した人間候補領域と予め記憶された基準パターンとを比較して、人間の存在の認識をする。
【００１５】
第３の発明にあっては、基準パターンが有する画素の一部を削除し、該画素の一部に対応する人間候補領域の画素の一部を除去することにより、前記人間候補領域が有する画素のすべてを前記基準パターンと比較することなく人間の存在の認識をする。
【００１６】
第４の発明にあっては、基準パターンの画素の一部を予め定められた一の輝度値にしておき、前記画素の一部に対応する人間候補領域の画素の輝度値を前記一の輝度値に補正する。これにより、前記人間候補領域と基準パターンとの対応する画素の輝度値を同一の輝度値に補正し、各画素間の輝度値の差を少なくし、基準パターンと補正した輝度値を有する人間候補領域とを比較して、人間の存在の認識をする。
【００１７】
第５の発明にあっては、前記基準パターン及び人間候補領域の画素の一部を、人間の温度分布に応じて輝度値が変動する画素にすることにより、人間の服装の変化に応じて輝度値が変動する領域の画素を特定する。
【発明の効果】
【００１８】
第１の発明及び第２の発明にあっては、人間の服装が変化して服の表面温度が異なった場合においても、抽出した人間候補領域の画素の輝度値を補正することにより、従来に比較して、人間の認識を正確に行うことができる。
【００１９】
第３の発明にあっては、人間の服装が変化して服の表面温度が異なった場合に、人間候補領域の画素の一部を除去して、輝度値が変動する画素を除去することにより、従来に比較して、人間の認識を正確に行うことができる。
【００２０】
第４の発明にあっては、人間候補領域と基準パターンとの画素の一部の輝度値を同一の値に補正することにより、人間の服装が変化して服の表面温度が異なり、輝度値が変動した場合であっても、従来に比較して、人間の認識を正確に行うことができる。
【００２１】
第５の発明にあっては、人間の温度分布に応じて輝度値が変動する画素を特定することにより、人間の服装の変化の影響を受けずに、人間の認識を正確に行うことができる。
【発明を実施するための最良の形態】
【００２２】
図１は本発明に係る人間認識システムの概要を示す模式図である。図において、１及び２は車両に搭載され、夜間の歩行者、自転車に乗った人間などを認識する遠赤外用のビデオカメラである。ビデオカメラ１、２夫々は、同一高さであって水平方向に適長の間隔を隔ててフロントグリルに並置されてあり、ＩＥＥＥ１３９４に準拠した車載ＬＡＮ通信線６を介して画像処理装置３に接続されている。
【００２３】
画像処理装置３には、操作部を有する表示装置４、スピーカーを有し、音声又は効果音により警告を発する警報装置５が接続されている。
【００２４】
図２は、ビデオカメラ１の構成を示すブロック図である。図において、１１は画像撮像部であり、光学信号を電気信号に変換する焦電型撮像素子が配置され、車両の外界の赤外光像をＲＧＢ（Ｒ：赤、Ｇ：緑、Ｂ：青）のアナログ信号として読み取り、読み取ったＲＧＢ信号を、内部バス１６を介して信号処理部１２へ出力する。
【００２５】
信号処理部１２は、画像撮像部１１から入力されたアナログ信号をＲＧＢのデジタル信号に変換し、光学系で生じた各種の歪みを取り除くための処理、低周波ノイズの除去処理、ガンマ特性を補正する補正処理などを行う。さらに、ＲＧＢ信号をＹＵＶ（Ｙ：輝度、Ｕ、Ｖ：色差）信号に変換し、変換したＹＵＶ信号を画像データとして一旦画像メモリ１３へ記憶する。
【００２６】
図において、１４は車載ＬＡＮ通信線６を介して画像処理装置３と通信を行うインターフェース部を示し、インターフェース部１４は、画像処理装置３から送信される指令に従って、画像メモリ１３に記憶された画像データを画像処理装置３へ出力するための制御、ビデオカメラ１で撮像した画像の解像度による転送レートの変換、画像データからパケットデータの作成などを行う。また、インターフェース部１４は、制御部１５の制御に従って、画像メモリ１３に記憶された画像データをビデオカメラ１の識別番号とともに画像処理装置３へ出力する。
【００２７】
制御部１５は、バス１６を介して画像撮像部１１、信号処理部１２、インターフェース部１４の処理を制御する。例えば、画像処理装置３からの指令を解釈して、画像撮像部１１が撮像した画像データを画像メモリ１３に記憶する。また、記憶された画像データを読み出し、インターフェース部１４を介して画像処理装置３へ出力する。なお、ビデオカメラ２も同様の構成を有する。
【００２８】
図３は、画像処理装置３の構成を示すブロック図である。図において、３１はインターフェース部であり、ビデオカメラ１、２に対する指令の転送、ビデオカメラ１、２からの画像データの転送などを行う。
【００２９】
画像処理制御部３４は、インターフェース部３１を介してビデオカメラ１及び２から入力された画像データ夫々を１フレーム単位に同期させて、フレームごとの画像データを画像メモリ３２に記憶する。また、画像処理制御部３４は、画像メモリ３２に記憶された画像データをフレーム単位で画像処理部３５へ出力する。
【００３０】
画像処理部３５において、輝度抽出部３５１は、画像メモリ３２から読み出されたビデオカメラ１及び２夫々が撮像して得られた１フレーム夫々の各画素の輝度値を算出し、予め定められた標準輝度値Ｌ１に基づいて、算出した輝度値を二値化して標準輝度値以上の輝度値を有する領域（以下、人間候補領域という）Ｐ１を、前記１フレーム夫々について抽出する。輝度抽出部３５１は、抽出された人間候補領域Ｐ１の領域内の画素が有する輝度値とともに、人間候補領域Ｐ１を距離算出部３５２へ出力する。人間候補領域が複数ある場合は、他の人間候補領域についても同様の処理を行う。
【００３１】
距離算出部３５２は、ビデオカメラ１の１フレーム内で抽出された人間候補領域Ｐ１のエピポーラ線（ビデオカメラの走査線と一致する）上に存在する画素から、輝度値の変位が大きい特徴点を抽出する。次に、ビデオカメラ２の１フレーム内で抽出された人間候補領域Ｐ１の同一位置のエピポーラ線上の画素を検索して、前記特徴点に対応する対応点を求め、前記特徴点と対応点との横位置差（以下、視差という）Ｕを算出する。距離算出部３５２は、視差Ｕに基づいて、数１で表される人間候補領域Ｐ１までの距離Ｚを算出する。算出する距離Ｚは、連続値である必要はなく、人間の存在を認識するための画像処理を容易にするため、離散値でよい。例えば、近距離の場合は、１０メートル、２０メートル、及び３０メートル、中距離の場合は、６０メートル、及び９０メートル、遠距離の場合は、１２０メートル、及び２００メートルなどのように設定する。
【００３２】
【数１】
2005327129.tif 000003
【００３３】
ここで、Ｌはビデオカメラ１及び２夫々の光軸の間隔、ｆはビデオカメラ１、２夫々の光学系における撮像レンズの焦点距離である。
【００３４】
距離算出部３５２は、人間候補領域Ｐ１について算出された距離Ｚを人間候補領域Ｐ１に対応させ、人間候補領域Ｐ１を示す画像データを輝度補正部３５４へ出力するとともに、算出された距離Ｚを基準パターン補正部３５３へ出力する。人間候補領域が複数ある場合は、他の人間候補領域についても同様の処理を行う。
【００３５】
記憶部３３は、人間の温度分布に応じた輝度分布を示す基準パターンＨを記憶している。図４は基準パターンの一例を示す説明図である。
【００３６】
基準パターン補正部３５３は、記憶部３３から基準パターンＨを読み出すとともに、距離算出部３５２から入力された距離Ｚに対応して予め定められた画素数になるように基準パターンＨが有する画素の補間又は間引きを行い、検出された画像データから抽出された人間候補領域Ｐ１の画素数に一致した基準パターンＨを作成する。人間候補領域が複数ある場合は、他の人間候補領域についても同様の処理を行う。図４（a）に示すように、距離Ｚが近距離である場合は、記憶部３３から読み出された基準パターンＨの画素数は変更されずに、そのまま使用される。図４（b）、（c）は、距離Ｚが夫々中距離及び遠距離である場合であり、距離Ｚの大小に応じて、基準パターンＨの画素数を変更する。
【００３７】
基準パターン補正部３５３は、距離Ｚに応じて画素数を変更した基準パターンＨから、人間の胴体領域に対応する画素の輝度を「０」（最小輝度）に変更するとともに、輝度を変更した画素の画像座標値（１フレームの画像におけるＸ座標及びＹ座標）を輝度補正部３５４へ出力する。また、輝度値を変更した基準パターンＨｈを演算部３５５へ出力する。人間候補領域が複数ある場合は、他の人間候補領域についても同様の処理を行う。
【００３８】
輝度補正部３５４は、基準パターン補正部３５３から入力された基準パターンＨの輝度値が変更された画素の画像座標値を一旦記憶し、距離算出部３５２から入力された人間候補領域Ｐ１について、記憶した画像座標値に対応する画素の輝度値を「０」（最小輝度）に変更し、輝度値を変更した人間候補領域Ｐ１ｈを演算部３５５へ出力する。人間候補領域が複数ある場合は、他の人間候補領域についても同様の処理を行う。
【００３９】
演算部３５５は、輝度補正部３５４から入力された人間候補領域Ｐ１ｈを示す画像データ及び基準パターン補正部３５３から入力された基準パターンＨｈが有する輝度値の間において、相関値を算出して、算出した相関値を認識部３５６へ出力する。相関値の算出は、数２で表される式に基づいて行う。人間候補領域が複数ある場合は、他の人間候補領域についても同様の処理を行う。
【００４０】
【数２】
2005327129.tif 000004
【００４１】
ここで、Ｎは人間候補領域Ｐ１ｈ及び基準パターンＨｈにおける総画素数、ｋは零からＮ−１までの整数、Ｆｋは基準パターン内におけるｋ番目の画素の輝度値、Ｇｋは人間候補領域におけるｋ番目の画素の輝度値、及びＲは相関値を表す。
【００４２】
認識部３５６は、演算部３５５から出力された人間候補領域Ｐ１ｈについて、設定された基準パターンＨｈとの相関値と、予め定められた閾値Ｔ１（０＜Ｔ１＜１）とを比較し、前記相関値が閾値Ｔ１より大きい場合は、人間候補領域Ｐ１ｈには人間が存在すると判定し、判定結果をインターフェース部３１へ出力する。人間候補領域が複数ある場合は、他の人間候補領域についても同様の処理を行う。
【００４３】
画像処理部３５は、上述の処理を１フレーム単位で行い、１フレーム分の画像データに対して処理が終了すると、次のフレームに対して同様の処理を続ける。
【００４４】
インターフェース部３１は、画像メモリ３２に記憶された画像データを表示装置４へ出力するとともに、認識部３５６で判定された判定結果及び人間までの距離Ｚを表示装置４及び警報装置へ出力する。
【００４５】
表示装置４は、画像処理装置３から出力された画像データに基づき、外界の状況をディスプレイに表示するとともに、認識部３５６から入力された判定結果により車両の前方に歩行者などの人間の存在が認識された場合には、検出した人間の周囲に枠を付して、運転者に人間の存在を促すべく強調表示をする。
【００４６】
警報装置５は、認識部３５６から出力された判定結果により車両の前方に歩行者などの人間の存在が認識された場合には、音声又は警告音を発し、運転者に注意を促す。また、距離Ｚの長さに応じて音量を変えることにより、運転者への警告を行うことも可能である。さらに、雨天時の路面の状態はスリップし易いため、ワイパースイッチなどと連動して早めに警告を発することもできる。
【００４７】
次に本発明に係る人間認識システムの動作について説明する。夜間走行時に運転者が、表示装置４に備えられた操作部を操作してビデオカメラ１、２の動作スイッチをオンにすると、動作信号を前記操作部から受信した画像処理装置３は、インターフェース部３１を介して、初期コマンドをビデオカメラ１、２へ送出する。
【００４８】
初期コマンドを受信したビデオカメラ１、２は、画像撮像部１１から車両の外界の撮像を開始する。信号処理部１２は、撮像した画像データに対して、ＲＧＢ信号からＹＵＶ信号に変換し、ビデオカメラ１、２ごとの識別番号が挿入された画像データは、一旦画像メモリ１３に記録された後に、１フレーム分の画像データごとに同期させて、インターフェース部１４を介して、画像処理装置３へ送出される。
【００４９】
画像処理装置３は、ビデオカメラの識別番号ごとに、１フレーム分の画像データを一旦画像メモリ３２に記憶する。画像処理部３５は、画像メモリ３２に記憶された画像データを読み出し、輝度抽出部３５１へ出力する。
【００５０】
輝度抽出部３５１は、画像メモリ３２から読み出されたビデオカメラ１及び２夫々が撮像して得られた１フレーム夫々の各画素の輝度値を算出し、算出した輝度値に基づいて、人間候補領域Ｐ１を抽出し、抽出した人間候補領域Ｐ１を距離算出部３５２へ出力する。
【００５１】
距離算出部３５２は、ビデオカメラ１及び２夫々の１フレーム内で抽出された人間候補領域Ｐ１を切り出し、人間候補領域Ｐ１の特徴点の位置を算出することにより、人間候補領域Ｐ１内の対象物の視差を算出して、人間候補領域Ｐ１までの距離Ｚを算出する。また、距離算出部３５２は、算出された距離Ｚを人間候補領域Ｐ１に対応させて、人間候補領域Ｐ１を示す画像データを輝度補正部３５４へ出力するとともに、算出された距離Ｚを基準パターン補正部３５３へ出力する。
【００５２】
図５は人間候補領域における人間の輝度分布の例を示す説明図である。輝度分布Ｓ１は、夏服（例えば、半袖のＴシャツ）を着た人間の輝度分布を示す。半袖のＴシャツを着た人間は、頭部と腕の部分が露出するため、かかる部分の輝度値は高い。また、Ｔシャツは人間の体温を表面に伝えやすいため、上体部の輝度値も比較的高くなる。一方、腰部及び脚部は、ズボンの生地がＴシャツよりも厚いため、かかる部分の輝度値はやや低くなる。
【００５３】
輝度分布Ｓ２は、長袖でやや厚めの生地のシャツを着た場合の人間の輝度分布を示す。人間の体温はＴシャツの場合ほど表面に伝わらず、上体部、腕部、腰部、脚部の輝度値はやや低い値になる。一方、頭部は露出しているため、かかる部分の輝度値は高い。また、脚部は、ズボンの生地は、季節、流行などにより変化しないため、図５（a）と同様な輝度分布を示す。
【００５４】
輝度分布Ｓ３は、冬服（例えば、防寒着）を着た人間の輝度分布を示す。防寒着は生地が厚く、体温を表面にほとんど伝えないため、上体部、腕部の輝度値は低い。一方、ズボンの生地は、季節、流行などにより変化しないため、図５（a）と同様な輝度分布を示す。また、頭部は露出しているため、かかる部分の輝度値は高い。
【００５５】
上述のとおり、人間の輝度分布は、特に胴体部分における輝度は、服装の変化により大きく変化するものの、頭部及び脚部は胴体部に比較して、輝度の変化の度合いは小さい。
【００５６】
基準パターン補正部３５３は、記憶部３３から基準パターンＨを読み出すとともに、距離算出部３５２から入力された距離Ｚに対応して予め定められた画素数になるように基準パターンＨが有する画素の補間又は間引きを行い、検出された画像データから抽出された人間候補領域Ｐ１の画素数に一致した基準パターンＨを作成する。例えば、車両から人間候補である対象物までの距離が３０ｍの場合は、３２×８０の画素数に、距離が６０ｍの場合は、１６×４０の画素数に、距離が１２０ｍである場合は、８×２０の画素数にする。
【００５７】
また、基準パターン補正部３５３は、距離Ｚに応じて画素数を変更した基準パターンＨから、人間の胴体領域に対応する画素の輝度を「０」（最小輝度）に変更するとともに、輝度を変更した画素の画像座標値（１フレームの画像におけるＸ座標及びＹ座標）を輝度補正部３５４へ出力する。また、輝度値を変更した基準パターンＨｈを演算部３５５へ出力する。
【００５８】
図６は基準パターンＨの輝度補正を示す説明図である。図６（a）は補正前の基準パターンＨを示す。基準パターン補正部３５３は、読み出した基準パターンＨの画素の中で、人間の胴体部分に相当する画素の輝度値を「０」にする。図６（b）は補正後の基準パターンＨｈを示す。また、輝度値を「０」に変更した画素の画像座標ｐ（ｘ，ｙ）を輝度補正部３５４へ出力する。
【００５９】
輝度補正部３５４は、基準パターン補正部３５３から入力された基準パターンＨの輝度値が変更された画素の画像座標ｐ（ｘ，ｙ）を一旦記憶し、距離算出部３５２から入力された人間候補領域Ｐ１について、記憶した画像座標ｐ（ｘ，ｙ）に対応する画素の輝度値を「０」（最小輝度）に変更し、輝度値を変更した人間候補領域Ｐ１ｈを演算部３５５へ出力する。
【００６０】
図７は人間候補領域Ｐ１の輝度補正を示す説明図である。輝度補正部３５４は、人間候補領域Ｐ１から画像座標ｐ（ｘ，ｙ）に対応する画素の輝度値を「０」にすることにより、図７（b）に示すように、補正後の人間候補領域Ｐ１ｈは、人間の胴体部分の輝度値が「０」にする。これにより、図５において説明したように、人間の服装に応じて輝度値が変動する胴体部分について、人間候補領域Ｐ１及び基準パターンＨが有する画素の輝度値を「０」にすることができる。
【００６１】
演算部３５５は、輝度補正部３５４から入力された人間候補領域Ｐ１ｈを示す画像データ及び基準パターン補正部３５３から入力された基準パターンＨｈが有する輝度値の間において、相関値を算出して、算出した相関値を認識部３５６へ出力する。相関値の算出は、数２で表される式に基づいて行う。
【００６２】
ここで、Ｎは人間候補領域Ｐ１及び基準パターンＨｈにおける総画素数、ｋは零からＮ−１までの整数、Ｆｋは基準パターン内におけるｋ番目の画素の輝度値、Ｇｋは人間候補領域におけるｋ番目の画素の輝度値、及びＲは相関値を表す。
【００６３】
人間候補領域Ｐ１ｈと基準パターンＨｈとの対応する画素の輝度値を「０」にすることにより、数２で表される相関式の分母が増加することを避けることができ、相関度合いが増加する。
【００６４】
認識部３５６は、演算部３５５から出力された人間候補領域Ｐ１ｈについて、設定された基準パターンＨｈとの相関値と、予め定められた閾値Ｔ１（０＜Ｔ１＜１）とを比較し、前記相関値が閾値Ｔ１より大きい場合は、人間候補領域Ｐ１には人間が存在すると判定し、判定結果をインターフェース部３１へ出力する。上述のとおり、人間候補領域Ｐ１ｈ及び基準パターンＨｈにおいて人間の輝度分布が変動する領域の画素の輝度値は「０」であり、両者の輝度値を一致させることにより、算出される相関値が大きくすることができる。
【００６５】
表示装置４は、インターフェース部３１を介して出力された画像データに基づき、外界の状況をディスプレイに表示するとともに、検出した人間の周囲に枠を付して、運転者に人間の存在を促すべく強調表示をする。
【００６６】
警報装置５は、インターフェース部３１から出力された判定結果に基づき、音声又は警告音を発し、運転者に注意を促す。
【００６７】
上述の実施の形態においては、ビデオカメラと画像処理装置との接続は、ＩＥＥＥ１３９４に準拠した車載ＬＡＮ通信線を介して行われたが、これに限らず、ＮＴＳＣに準拠した通信方式であってもよい。
【００６８】
上述の実施の形態においては、ビデオカメラ１、２を車両のフロントグリルに併設する構成であったが、これに限らず、レーザレーダ、ミリ波レーダなどの測距センサを搭載して、歩行者までの距離を測定する構成であってもよい。この場合は、ビデオカメラは１台のみ搭載すれば足りる。
【００６９】
上述の実施の形態においては、車両から人間までの距離Ｚに応じて、基準パターンが有する画素の補間又は間引き処理をすることにより画素数を変更する構成であったが、これに限らず、抽出した人間候補領域の画素数を変更する構成でもよい。これにより、例えば、近距離又は中距離の人間候補領域の画素を補間又は間引きすることにより、遠距離の人間候補領域の画素数まで少なくすることにより、基準パターンの画素数を少なくすることができ、記憶容量の低減を図ることが可能である。
【００７０】
上述の実施の形態においては、基準パターンの画素数を車両から人間までの距離Ｚに応じて少なくする構成であったが、予め遠距離用の大きさに合わせた基準パターンを記憶しておき、距離Ｚに応じて画素数を多くする構成であってもよい。
【００７１】
上述の実施の形態においては、距離Ｚに応じて基準パターンの画素数を変更した例（例えば、３０ｍの場合には、３２×８０）を示したが、画素数は、これらに限られるものではなく、他の画素数を用いてもよい。
【００７２】
上述の実施の形態においては、基準パターンを記憶部から読み出し、読み出した基準パターンの輝度値を補正する構成であったが、予め人間の胴体領域など輝度値の変動が大きい領域の輝度値を「０」にした基準パターンを記憶しておく構成でもよい。
【００７３】
上述の実施の形態においては、人間候補領域が有する画素の輝度値を「０」に補正する構成であったが、これに限らず、所定の輝度値を予め設定しておき、該所定の輝度値以上の輝度を前記所定の輝度値に補正する構成でもよい。
【００７４】
上述の実施の形態においては、人間候補領域が有する画素の輝度値を「０」に補正する構成であったが、これに限らず、予め輝度分布の変動が大きい胴体部分の画素の画像座標を算出し、算出した画像座標に対して、相関値の算出を行なう前に、前記胴体部分の画素を除去し、相関値の算出を行なわない構成であってもよい。
【００７５】
上述の実施の形態においては、人間候補領域が有する画素の輝度値を「０」に補正する構成であったが、「０」以外の低い輝度値を用いる構成でもよい。
【図面の簡単な説明】
【００７６】
【図１】本発明に係る人間認識システムの概要を示す模式図である。
【図２】ビデオカメラの構成を示すブロック図である。
【図３】画像処理装置の構成を示すブロック図である。
【図４】基準パターンの一例を示す説明図である。
【図５】人間候補領域における人間の輝度分布の例を示す説明図である。
【図６】基準パターンの輝度補正を示す説明図である。
【図７】人間候補領域の輝度補正を示す説明図である。
【符号の説明】
【００７７】
１  ビデオカメラ
２  ビデオカメラ
３  画像処理装置
４  表示装置
５  警報装置
３１  インターフェース部
３２  画像メモリ
３３  記憶部
３４  画像処理制御部
３５  画像処理部
３５１  輝度抽出部
３５２  距離算出部
３５３  基準パターン補正部
３５４  輝度補正部
３５５  演算部
３５６  認識部
【図１】
2005327129.tif 000005
【図２】
2005327129.tif 000006
【図３】
2005327129.tif 000007
【図４】
2005327129.tif 000008
【図５】
2005327129.tif 000009
【図６】
2005327129.tif 000010
【図７】
2005327129.tif 000011