(57)【要約】  【課題】  入力された外界情報に応じて、人間の温度分布を表す基準パターンを設定することにより、人間の存在を認識する人間認識システム、該人間認識システムを構成する画像処理装置を提供する。  【解決手段】  季節、天候、気温などの外界情報に応じて、予め外界情報に関連付けて記憶部３４に記憶された基準パターンＨ１、Ｈ２、…を選択し、ビデオカメラが撮像した画像データから抽出された人間候補領域Ｐ１、Ｐ２、…と基準パターンＨ１、Ｈ２、…との夫々の画素が有する輝度値の相関値を算出する。算出した相関値と予め定められた閾値Ｔ１とを比較して、人間候補領域Ｐ１、Ｐ２、…に人間が存在するか否かを判定し、人間の存在を表示又は警告する。【選択図】      図３
2005242914.tif 000002
【特許請求の範囲】
【請求項１】
車両の外界の温度分布に応じた画像データを検出する検出装置と、該検出装置が検出した画像データを画像処理して人間の存在の認識をする画像処理装置と、該画像処理装置が認識した人間の存在を出力する出力装置とを備える人間認識システムにおいて、
前記画像処理装置は、外界情報を受付ける受付手段と、
人間の認識に用いる認識基準を記憶する記憶手段と、
受付けた外界情報に応じて、前記認識基準を設定する設定手段と
を備え、設定された認識基準に基づいて人間の存在を認識すべくなしてあることを特徴とする人間認識システム。
【請求項２】
前記認識基準は、人間の温度分布を表す基準パターンを含み、
前記設定手段は、受付けた外界情報に応じて前記基準パターンを設定すべくなしてあり、
前記画像処理装置は、検出した画像データと設定された基準パターンとを比較して人間の存在を認識する認識手段を備えたことを特徴とする請求項１に記載された人間認識システム。
【請求項３】
前記記憶手段は、外界情報に関連付けた前記基準パターンを複数記憶してあることを特徴とする請求項２に記載された人間認識システム。
【請求項４】
前記認識基準は検出した画像データと人間の温度分布を表す基準パターンとの類似度を表す閾値を含み、
前記設定手段は、受付けた外界情報に応じて前記閾値を設定すべくなしてあり、
前記画像処理装置は、検出した画像データと前記基準パターンとの類似度を算出し、算出した類似度と設定された閾値とを比較して人間の存在を認識する認識手段を備えたことを特徴とする請求項１に記載された人間認識システム。
【請求項５】
前記認識基準は、複数の画素からなる画像データの各画素の輝度値を補正する輝度階調補正値を含み、
前記設定手段は、受付けた外界情報に応じて前記輝度階調補正値を設定すべくなしてあり、
前記画像処理装置は、検出した画像データを設定された輝度階調補正値により補正し、補正された画像データと人間の温度分布を表す基準パターンとを比較して人間の存在を認識する認識手段を備えたことを特徴とする請求項１に記載された人間認識システム。
【請求項６】
前記出力装置による人間の存在の出力が、受付けた外界情報に応じて行われることを特徴とする請求項１乃至請求項５のいずれかに記載された人間認識システム。
【請求項７】
外界情報を受付け、外界の温度分布に応じた画像データに基づいて人間の存在の認識のための画像処理をする画像処理装置において、
人間の認識に用いる認識基準を記憶する記憶手段と、
受付けた外界情報に応じて、前記認識基準を設定する設定手段と
を備え、設定された認識基準に基づいて人間の存在を認識すべくなしてあることを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に搭載され、外界の温度分布に応じた画像データを検出する検出装置が検出した画像データに基づいて、人間の存在を認識する人間認識システム、及び該人間認識システムを構成する画像処理装置に関する。
【背景技術】
【０００２】
自動車などの車両に、ボロメータ又は焦電型撮像素子を備えた遠赤外用のビデオカメラを搭載し、夜間走行時に車両前方の歩行者、自転車に乗った人間などを認識して運転者に注意を促す前方監視システムが提案されている。
【０００３】
このようなシステムは、遠赤外用のビデオカメラで人間を撮像した場合、熱源である人間は他の背景物に対して高い輝度を有することを利用して、予め人間の輝度分布を示す基準パターンを記憶しておき、遠赤外用のビデオカメラが検出した画像データと前記基準パターンとを比較して人間を認識している（非特許文献１参照）。
【非特許文献１】「ホンダ  アールアンドディー  テクニカル  レヴュー  （Honda R&D Technical Review）」 Vol.13 No.1， ２００１年４月
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、従来のシステムにあっては、季節、天候、気温などの外界情報に応じて人間の服装が変化し、服の表面温度が異なるため、前記ビデオカメラが検出した画像データと常時一定の基準パターンとを比較した場合に、外界情報の変化に応じて検出した画像データの輝度分布が異なるため、正確な認識結果が得られないことがあった。例えば、夏の場合は、検出した画像データの輝度が比較的高いため、歩行者の認識が容易であったとしても、冬の場合は、検出した画像データの輝度が夏時に比べて低くなるため、歩行者の認識が困難になる。また、あらゆる外界の状況に対応した基準パターンを記憶する場合には、膨大な数の基準パターンを記憶し、検出した画像データと記憶した基準パターンとを比較する処理を行う必要があり、記憶量及び処理量が増加するという問題もあった。
【０００５】
本発明は、斯かる事情に鑑みてなされたものであり、人間の認識に用いる認識基準を記憶し、受付けた外界情報に応じて、前記認識基準を設定して、前記外界情報に対応した認識基準を用いることにより、前記外界情報に応じて人間の存在の認識処理をすることができる人間認識システム、及び該人間認識システムを構成する画像処理装置を提供することを目的とする。
【０００６】
また、本発明の他の目的は、人間の温度分布を表す基準パターンを記憶し、受付けた外界情報に応じて前記基準パターンを設定し、検出した画像データと設定された基準パターンとを比較して人間の存在を認識することにより、前記外界情報に応じて基準パターンを設定して人間の存在の認識処理をすることができる人間認識システムを提供することにある。
【０００７】
また、本発明の他の目的は、外界情報に関連付けた前記基準パターンを複数記憶することにより、共通の基準パターンを複数の外界情報に対応させて記憶することができる人間認識システムを提供することにある。
【０００８】
また、本発明の他の目的は、検出した画像データと人間の温度分布を表す基準パターンとの類似度を表す閾値を記憶し、受付けた外界情報に応じて前記閾値を設定し、検出した画像データと前記基準パターンとの類似度を算出し、算出した類似度と設定された閾値とを比較して人間の存在を認識することにより、前記外界情報に応じて閾値を設定して人間の存在の認識処理をすることができる人間認識システムを提供することにある。
【０００９】
また、本発明の他の目的は、受付けた外界情報に応じて、複数の画素からなる画像データの各画素の輝度値を補正する輝度階調補正値を設定し、設定された輝度階調補正値により補正された画像データと人間の温度分布を表す基準パターンとを比較して人間の存在を認識することにより、前記外界情報に応じて、検出した画像データの輝度階調を補正して人間の存在の認識処理をすることができる人間認識システムを提供することにある。
【００１０】
また、本発明の他の目的は、受付けた外界情報に応じて、人間の存在の出力が行われることにより、前記外界情報に応じて、認識した人間の存在を強調することができる人間認識システムを提供することにある。
【課題を解決するための手段】
【００１１】
本発明に係る人間認識システムは、車両の外界の温度分布に応じた画像データを検出する検出装置と、該検出装置が検出した画像データを画像処理して人間の存在の認識をする画像処理装置と、該画像処理装置が認識した人間の存在を出力する出力装置とを備える人間認識システムにおいて、前記画像処理装置は、外界情報を受付ける受付手段と、人間の認識に用いる認識基準を記憶する記憶手段と、受付けた外界情報に応じて、前記認識基準を設定する設定手段とを備え、設定された認識基準に基づいて人間の存在を認識すべくなしてあることを特徴とする。
【００１２】
また、本発明に係る人間認識システムは、前記認識基準は、人間の温度分布を表す基準パターンを含み、前記設定手段は、受付けた外界情報に応じて前記基準パターンを設定すべくなしてあり、前記画像処理装置は、検出した画像データと設定された基準パターンとを比較して人間の存在を認識する認識手段を備えたことを特徴とする。
【００１３】
また、本発明に係る人間認識システムは、前記記憶手段は、外界情報に関連付けた前記基準パターンを複数記憶してあることを特徴とする。
【００１４】
また、本発明に係る人間認識システムは、前記認識基準は検出した画像データと人間の温度分布を表す基準パターンとの類似度を表す閾値を含み、前記設定手段は、受付けた外界情報に応じて前記閾値を設定すべくなしてあり、前記画像処理装置は、検出した画像データと前記基準パターンとの類似度を算出し、算出した類似度と設定された閾値とを比較して人間の存在を認識する認識手段を備えたことを特徴とする。
【００１５】
また、本発明に係る人間認識システムは、前記認識基準は、複数の画素からなる画像データの各画素の輝度値を補正する輝度階調補正値を含み、前記設定手段は、受付けた外界情報に応じて前記輝度階調補正値を設定すべくなしてあり、前記画像処理装置は、検出した画像データを設定された輝度階調補正値により補正し、補正された画像データと人間の温度分布を表す基準パターンとを比較して人間の存在を認識する認識手段を備えたことを特徴とする。
【００１６】
また、本発明に係る人間認識システムは、前記出力装置による人間の存在の出力が、受付けた外界情報に応じて行われることを特徴とする。
【００１７】
また、本発明に係る画像処理装置は、外界情報を受付け、外界の温度分布に応じた画像データに基づいて人間の存在の認識のための画像処理をする画像処理装置において、人間の認識に用いる認識基準を記憶する記憶手段と、受付けた外界情報に応じて、前記認識基準を設定する設定手段とを備え、設定された認識基準に基づいて人間の存在を認識すべくなしてあることを特徴とする。
【００１８】
第１の発明及び第７の発明にあっては、季節、天候、気温などの外界情報に対応して人間の服装が厚着から薄着へ、又はその逆に変化し、服の表面温度が異なった場合においても、前記外界情報に応じて、人間の認識をする認識基準を設定することができる。
【００１９】
第２の発明の発明にあっては、季節、天候、気温などの外界情報に対応して人間の服装が厚着から薄着へ、又はその逆に変化し、服の表面温度が異なった場合においても、前記外界情報に応じて、前記基準パターンを設定することができる。また、外界情報に応じて使用する基準パターンを設定するため、検出した画像データとすべての基準パターンとを比較する必要がない。
【００２０】
第３の発明にあっては、基準パターンを外界情報に対応させて複数記憶することができ、外界情報に対応して共通する基準パターンを使用することができる。
【００２１】
第４の発明にあっては、季節、天候、気温などの外界情報に対応して人間の服装が厚着から薄着へ、又はその逆に変化し、服の表面温度が異なった場合においても、検出した画像データと前記基準パターンとの比較した結果を判定する前記閾値を、前記外界情報に応じて設定することができる。
【００２２】
第５の発明にあっては、季節、天候、気温などの外界情報に対応して人間の服装が厚着から薄着へ、又はその逆に変化し、服の表面温度が異なった場合においても、前記外界情報に応じて、検出した画像データの輝度値の輝度階調補正を行うことができる。
【００２３】
第６の発明にあっては、車両から認識された人間までの距離、道路の路面などの外界情報に応じて、認識した人間の存在を強調することができる。
【発明の効果】
【００２４】
本発明にあっては、季節、天候、気温などの外界情報に対応して服装が変化して服の表面温度が異なった場合においても、前記外界情報に応じて、人間の認識に用いる認識基準を設定することができ、常時一定の認識基準を用いる場合に比較して、人間の認識をより正確に行うことができる。
【００２５】
また、本発明にあっては、季節、天候、気温などの外界情報に対応して服装が変化して服の表面温度が異なった場合においても、前記外界情報に応じて使用する基準パターンを設定するため、人間の存在の認識を正確に行うことができるとともに、人間の存在を認識する処理量を低減することができる。
【００２６】
また、本発明にあっては、前記外界情報に関連付けた前記基準パターンを記憶することにより、前記基準パターンを記憶する記憶量を低減することができる。
【００２７】
また、本発明にあっては、季節、天候、気温などの外界情報に対応して服装が変化して服の表面温度が異なった場合においても、前記外界情報に応じて前記閾値を設定することができ、人間の存在の認識を正確に行うことができる。
【００２８】
また、本発明にあっては、季節、天候、気温などの外界情報に対応して服装が変化して服の表面温度が異なった場合においても、前記外界情報に応じて輝度階調補正された画像データと前記基準パターンとを比較して人間の存在の認識を正確に行うことができる。
【００２９】
また、本発明にあっては、車両から人間までの距離、道路の路面などの外界情報に応じて、認識した人間の存在の表示を強調することができ、前記人間との接触事故を回避することができる。
【発明を実施するための最良の形態】
【００３０】
実施の形態１
図１は本発明に係る人間認識システムの概要を示す模式図である。図において、１及び２は車両に搭載され、夜間の歩行者、自転車に乗った人間などを認識する遠赤外用のビデオカメラである。ビデオカメラ１、２夫々は、同一高さであって水平方向に適長の間隔を隔ててフロントグリルに並置されてあり、ＩＥＥＥ１３９４に準拠した車載ＬＡＮ通信線９を介して画像処理装置３に接続されている。
【００３１】
画像処理装置３には、操作部を有する表示装置４、スピーカーを有し、音声又は効果音により警告を発する警報装置５、車両外部の気温を検出する温度センサ６、バックミラーに固定された降雨センサ７、及びＧＰＳ機能を備えたカーナビゲーション装置８が接続されている。
【００３２】
図２は、ビデオカメラ１の構成を示すブロック図である。図において、１１は画像撮像部であり、光学信号を電気信号に変換する焦電型撮像素子が配置され、車両の外界の赤外光像をＲＧＢ（Ｒ：赤、Ｇ：緑、Ｂ：青）のアナログ信号として読み取り、読み取ったＲＧＢ信号を、内部バス１６を介して信号処理部１２へ出力する。
【００３３】
信号処理部１２は、画像撮像部１１から入力されたアナログ信号をＲＧＢのデジタル信号に変換し、光学系で生じた各種の歪みを取り除くための処理、低周波ノイズの除去処理、ガンマ特性を補正する補正処理などを行う。さらに、ＲＧＢ信号をＹＵＶ（Ｙ：輝度、Ｕ、Ｖ：色差）信号に変換し、変換したＹＵＶ信号を画像データとして一旦画像メモリ１３へ記憶する。
【００３４】
図において、１４は車載ＬＡＮ通信線９を介して画像処理装置３と通信を行うインターフェース部を示し、インターフェース部１４は、画像処理装置３から送信される指令に従って、画像メモリ１３に記憶された画像データを画像処理装置３へ出力するための制御、ビデオカメラ１で撮像した画像の解像度による転送レートの変換、画像データからパケットデータの作成などを行う。また、インターフェース部１４は、制御部１５の制御に従って、画像メモリ１３に記憶された画像データをビデオカメラ１の識別番号とともに画像処理装置３へ出力する。
【００３５】
制御部１５は、画像撮像部１１、信号処理部１２、インターフェース部１４の処理を制御する。例えば、画像処理装置３からの指令を解釈して、画像撮像部１１が撮像した画像データを画像メモリ１３に記憶する。また、記憶された画像データを読み出し、インターフェース部１４を介して画像処理装置３へ出力する。なお、ビデオカメラ２も同様の構成を有する。
【００３６】
図３は、画像処理装置３の構成を示すブロック図である。図において、３１はインターフェース部であり、ビデオカメラ１、２に対する指令の転送、ビデオカメラ１、２からの画像データの転送などを行う。
【００３７】
画像処理制御部３７は、インターフェース部３１を介してビデオカメラ１及び２から入力された画像データ夫々を１フレーム単位に同期させて、フレームごとの画像データを画像メモリ３３に記憶する。また、画像処理制御部３７は、画像メモリ３３に記憶された画像データをフレーム単位で画像処理部３５へ出力する。
【００３８】
画像処理部３５において、輝度抽出部３５１は、画像メモリ３３から読み出されたビデオカメラ１及び２夫々が撮像して得られた１フレーム夫々の各画素の輝度値を算出し、予め定められた標準輝度値Ｌ１に基づいて、算出した輝度値を二値化して標準輝度値Ｌ１以上の輝度値を有する領域（以下、人間候補領域という）Ｐ１、Ｐ２…を、前記１フレーム夫々について抽出する。輝度抽出部３５１は、抽出された人間候補領域Ｐ１、Ｐ２、…の領域内の画素が有する輝度値とともに、人間候補領域Ｐ１、Ｐ２、…を距離算出部３５２へ出力する。
【００３９】
距離算出部３５２は、ビデオカメラ１の１フレーム内で抽出された人間候補領域Ｐ１のエピポーラ線（ビデオカメラの走査線と一致する）上に存在する画素から、輝度値の変位が大きい特徴点を抽出する。次に、ビデオカメラ２の１フレーム内で抽出された人間候補領域Ｐ１の同一位置のエピポーラ線上の画素を検索して、前記特徴点に対応する対応点を求め、前記特徴点と対応点との横位置差（以下、視差という）Ｕを算出する。距離算出部３５２は、視差Ｕに基づいて、数１で表される人間候補領域Ｐ１までの距離Ｚを算出する。距離算出部３５２は、入力された人間候補領域Ｐ２、…についても同様の処理を行い、人間候補領域Ｐ２、…までの距離を算出する。算出する距離Ｚは、連続値である必要はなく、人間の存在を認識するための画像処理を容易にするため、離散値でよい。例えば、近距離の場合は、１０メートル、２０メートル、及び３０メートル、中距離の場合は、６０メートル、及び９０メートル、遠距離の場合は、１２０メートル、及び２００メートルなどのように設定する。
【００４０】
【数１】
2005242914.tif 000003
【００４１】
ここで、Ｌはビデオカメラ１及び２夫々の光軸の間隔、ｆはビデオカメラ１、２夫々の光学系における撮像レンズの焦点距離である。
【００４２】
距離算出部３５２は、人間候補領域Ｐ１、Ｐ２、…ごとに算出された距離Ｚを人間候補領域Ｐ１、Ｐ２、…夫々対応させ、人間候補領域Ｐ１、Ｐ２、…を示す画像データを演算部３５５へ出力するとともに、算出された距離Ｚを基準パターン設定部３５３を介して基準パターン補正部３５４へ出力する。
【００４３】
記憶部３４は、基準パターンＨ１、Ｈ２、…を季節、天候、気温などの外界情報に関連付けて記憶している。図４及び図５は基準パターンを示す説明図である。基準パターンＨ１は、夏服（例えば、半袖のＴシャツ）を着た人間の輝度分布を示す。半袖のＴシャツを着た人間は、頭部と腕の部分が露出するため、かかる部分の輝度値は高い。また、Ｔシャツは人間の体温を表面に伝えやすいため、上体部の輝度値も比較的高くなる。一方、腰部及び脚部は、ズボンの生地がＴシャツよりも厚いため、かかる部分の輝度値はやや低くなる。
【００４４】
基準パターンＨ２は、春又は秋における服装を着た人間の輝度分布を示す。春又は秋においては、長袖でやや厚めの生地のシャツを着るため、人間の体温はＴシャツの場合ほど表面に伝わらず、上体部、腕部、腰部、脚部の輝度値はやや低い値になる。一方、頭部は露出しているため、かかる部分の輝度値は高い。
【００４５】
基準パターンＨ３は、冬服（例えば、防寒着）を着た人間の輝度分布を示す。防寒着は生地が厚く、体温を表面にほとんど伝えないため、上体部、腕部の輝度値は低い。ズボンの生地は、上着の生地より薄いため、脚部の輝度値は、上体部に比べて、やや高くなる。一方、頭部は露出しているため、かかる部分の輝度値は高い。
【００４６】
基準パターンＨ４は、夏の雨天時の場合における人間の輝度分布を示す。Ｈ４とＨ１との違いは、Ｈ１に対してＨ４は傘を持った姿勢を表す。また、基準パターンＨ５は、春又は秋の雨天時の場合における人間の輝度分布を示す。Ｈ５とＨ２との違いは、Ｈ２に対してＨ５は傘を持った姿勢を表す。
【００４７】
図６は記憶部３４におけるデータ構造３４１の概念図である。図に示すように、季節の欄は春夏秋冬の区別、天候の欄は、晴、曇、雨の区別、気温の欄は、所定の温度範囲の区別がなされ、季節、天候、及び気温の各欄に対応して基準パターンＨ１、Ｈ２、…が記憶されている。外界情報に関連付けて基準パターンＨ１、Ｈ２、…を記憶することにより、共通の基準パターンを複数の外界情報に対応して使用することができ、記憶量を減少させることが可能である。例えば、図６において、基準パターンＨ３は、季節が冬、天候が晴、及び気温が５度以下である場合と、季節が秋、天候が曇、及び気温が１０度以上２０度未満である場合とで共通に使用できる。
【００４８】
基準パターン設定部３５３は、外界情報の受付手段である入力部３２を介して、温度センサ６から入力された気温、降雨センサ７から入力された降雨状態、カーナビゲーション装置８から入力された車両走行地域における天候情報、降水確率、日時などの外界情報を受け取り、一旦記録する。基準パターン設定部３５３は、受け取った外界情報に基づいて、記憶部３４に記憶されている基準パターンＨ１、Ｈ２、…から、外界情報に応じて複数の基準パターンＨ１、Ｈ２、…を設定して読み出す。例えば、記録された外界情報の組合せが、夏、晴、及び気温が３０度以上である場合は、基準パターンＨ１を設定するとともに、気温２０度から３０度の範囲の基準パターンも併せて設定する。これにより、外界情報に応じて、複数の基準パターンを設定して、歩行者などの人間の認識を漏れなく確実に行えるとともに、すべての基準パターンについて検出した画像データとの比較処理を行う必要がなくなる。
【００４９】
基準パターン設定部３５３は、読み出した基準パターンＨ１、Ｈ２、…を基準パターン補正部３５４へ出力する。
【００５０】
基準パターン補正部３５４は、距離算出部３５２から入力された距離Ｚ及び基準パターン設定部３５３から入力された基準パターンＨ１、Ｈ２、…に基づき、距離Ｚに対応して
予め定められた画素数になるように、基準パターンＨ１、Ｈ２、…が有する画素の補間又は間引きを行い、画素数を変更した基準パターンを演算部３５５へ出力する。図７は基準パターンの画素数を変更した例を示す説明図である。図７（ａ）は、距離Ｚが近距離である場合であり、記憶部３４から読み出された基準パターンＨ１、Ｈ２、…の画素数は変更されずに、そのまま使用される。図７（ｂ）及び（ｃ）は、距離Ｚが夫々中距離及び遠距離である場合であり、距離Ｚの大小に応じて、基準パターンＨ１、Ｈ２、…の画素数を変更する。これにより、検出された画像データから抽出された人間候補領域Ｐ１、Ｐ２、…の画素数と基準パターンＨ１、Ｈ２、…の画素数とを一致させる。
【００５１】
演算部３５５は、距離算出部３５２から入力された人間候補領域Ｐ１、Ｐ２、…を示す画像データ及び基準パターン補正部３５４から入力された基準パターンＨ１、Ｈ２、…が有する輝度値の間において、相関値を算出して、算出した相関値を認識部３５６へ出力する。相関値の算出は、数２で表される式に基づいて行われる。
【００５２】
【数２】
2005242914.tif 000004
【００５３】
ここで、Ｎは人間候補領域Ｐ１、Ｐ２、…、及び基準パターンＨ１、Ｈ２、…における総画素数、ｋは零からＮ−１までの整数、Ｆｋは基準パターン内におけるｋ番目の画素の輝度値、Ｇｋは人間候補領域におけるｋ番目の画素の輝度値、及びＲは相関値を表す。
【００５４】
認識部３５６は、演算部３５５から出力された人間候補領域Ｐ１、Ｐ２、…夫々について、設定された基準パターンＨ１、Ｈ２、…との相関値と、予め定められた閾値Ｔ１（０＜Ｔ１＜１）とを比較し、設定された基準パターンＨ１、Ｈ２、…の中で１つでも相関値が閾値Ｔ１より大きい場合は、人間候補領域Ｐ１、Ｐ２、…には人間が存在すると判定し、判定結果を出力部３６へ出力する。
【００５５】
画像処理部３５は、上述の処理を１フレーム単位で行い、１フレーム分の画像データに対して処理が終了すると、次のフレームに対して同様の処理を続ける。
【００５６】
出力部３６は、画像メモリ３３に記憶された画像データを表示装置４へ出力するとともに、認識部３５６で判定された判定結果及び人間までの距離Ｚを表示装置４及び警報装置５へ出力する。
【００５７】
また、画像処理制御部３７は、入力部３２から入力された降雨状態を警報装置５へ出力する。
【００５８】
表示装置４は、画像処理装置３から出力された画像データに基づき、外界の状況をディスプレイに表示するとともに、認識部３５６から出力された判定結果により車両の前方に歩行者などの人間の存在が認識された場合には、検出した人間の周囲に枠を付して、運転者に人間の存在を促すべく強調表示をする。また、雨天時の路面の状態はスリップし易いため、人間までの距離Ｚが長い場合でも検出した人間の周囲に枠を付して、早めに運転者に人間の存在を促すべく強調表示をすることもできる。
【００５９】
警報装置５は、認識部３５６から出力された判定結果により車両の前方に歩行者などの人間の存在が認識された場合には、出力部３６から出力された人間までの距離Ｚが所定の距離よりも短い場合は、音声又は警告音を発し、運転者に注意を促す。また、距離Ｚの長さに応じて音量を変えることにより、運転者への警告を行う。さらに、雨天時の路面の状態はスリップし易いため、早めに警告を発することもできる。
【００６０】
上述の通り、季節、天候、気温などの外界情報に応じて、予め外界情報に関連付けて記憶された基準パターンＨ１、Ｈ２、…を設定し、ビデオカメラ１、２が撮像した画像データから抽出された人間候補領域Ｐ１、Ｐ２、…と基準パターンＨ１、Ｈ２、…との夫々の画素が有する輝度値の相関値を算出して、算出した相関値と予め定められた閾値Ｔ１とを比較して、人間候補領域Ｐ１、Ｐ２、…に人間が存在するか否かを判定することにより、従来の例に比べて、人間の認識を正確に行うことができるとともに、基準パターンＨ１、Ｈ２、…を記憶する記憶量を減少し、認識処理の処理量も低減することが可能となる。
【００６１】
次に人間認識方法について説明する。夜間走行時に運転者が、表示装置４に備えられた操作部を操作してビデオカメラ１、２の動作スイッチをオンにすると、動作信号を前記操作部から受信した画像処理装置３は、インターフェース部３１を介して、初期コマンドをビデオカメラ１、２へ送出する。
【００６２】
初期コマンドを受信したビデオカメラ１、２は、画像撮像部１１から車両の外界の撮像を開始する。信号処理部１２は、撮像した画像データに対して、ＲＧＢ信号からＹＵＶ信号に変換し、ビデオカメラ１、２ごとの識別番号が挿入された画像データは、一旦画像メモリ１３に記録された後に、１フレーム分の画像データごとに同期させて、インターフェース部１４を介して、画像処理装置３へ送出される。
【００６３】
画像処理装置３は、ビデオカメラの識別番号ごとに、１フレーム分の画像データを一旦画像メモリ３３に記憶する。画像処理部３５は、画像メモリ３３に記憶された画像データを読み出し、輝度抽出部３５１へ出力する。
【００６４】
輝度抽出部３５１は、画像メモリ３３から読み出されたビデオカメラ１及び２夫々が撮像して得られた１フレーム夫々の各画素の輝度値を算出し、算出した輝度値に基づいて、人間候補領域Ｐ１、Ｐ２…を抽出し、抽出結果を距離算出部３５２へ出力する。
【００６５】
距離算出部３５２は、ビデオカメラ１及び２夫々の１フレーム内で抽出された人間候補領域Ｐ１、Ｐ２、…を切り出し、人間候補領域Ｐ１、Ｐ２、…夫々の特徴点の位置を算出することにより、人間候補領域Ｐ１、Ｐ２、…内の対象物の視差を算出して、人間候補領域Ｐ１、Ｐ２、…までの距離Ｚを算出する。また、距離算出部３５２は、算出された距離Ｚを人間候補領域Ｐ１、Ｐ２、…夫々対応させて、人間候補領域Ｐ１、Ｐ２、…を示す画像データを演算部３５５へ出力するとともに、算出された距離Ｚを基準パターン補正部３５４へ出力する。
【００６６】
基準パターン設定部３５３は、入力部３２を介して受け取った外界情報に基づいて、記憶部３４に記憶されている基準パターンＨ１、Ｈ２、…から、外界情報に応じて複数の基準パターンＨ１、Ｈ２、…を設定して読み出し、読み出した基準パターンＨ１、Ｈ２、…を基準パターン補正部３５４へ出力する。
【００６７】
基準パターン補正部３５４は、距離算出部３５２から入力された距離Ｚ及び基準パターン設定部３５３から入力された基準パターンＨ１、Ｈ２、…に基づき、距離Ｚに対応して基準パターンＨ１、Ｈ２、…が有する画素の補間又は間引きを行い、画素数を変更した基準パターンを演算部３５５へ出力する。
【００６８】
演算部３５５は、距離算出部３５２から入力された人間候補領域Ｐ１、Ｐ２、…を示す画像データ及び基準パターン補正部３５４から入力された基準パターンＨ１、Ｈ２、…が有する輝度値の間において、相関値を算出して、算出した相関値を認識部３５６へ出力する。
【００６９】
認識部３５６は、演算部３５５から出力された人間候補領域Ｐ１、Ｐ２、…夫々について、設定された基準パターンＨ１、Ｈ２、…との相関値と、予め定められた閾値Ｔ１（０＜Ｔ１＜１）とを比較し、設定された基準パターンＨ１、Ｈ２、…の中で１つでも相関値が閾値Ｔ１より大きい場合は、人間候補領域Ｐ１、Ｐ２、…には人間が存在すると判定し、判定結果を出力部３６へ出力する。
【００７０】
表示装置４は、出力部３６を介して出力された画像データに基づき、外界の状況をディスプレイに表示するとともに、検出した人間の周囲に枠を付して、運転者に人間の存在を促すべく強調表示をする。
【００７１】
警報装置５は、出力部３６から出力された人間までの距離Ｚが所定の距離よりも短い場合は、音声又は警告音を発し、運転者に注意を促す。また、距離Ｚの長さに応じて音量を変えることにより、運転者への警告を行う。
【００７２】
上述の実施の形態においては、ビデオカメラと画像処理装置との接続は、ＩＥＥＥ１３９４に準拠した車載ＬＡＮ通信線を介して行われたが、これに限らず、ＮＴＳＣに準拠した通信方式であってもよい。
【００７３】
上述の実施の形態においては、ビデオカメラ１、２を車両のフロントグリルに併設する構成であったが、これに限らず、レーザレーダ、ミリ波レーダなどの測距センサを搭載して、歩行者までの距離を測定する構成であってもよい。この場合は、ビデオカメラは１台のみ搭載すれば足りる。
【００７４】
上述の実施の形態においては、外界情報に応じて基準パターンを複数設定する構成であるが、冬季に比較して夏季の方が歩行者の認識が容易であることに鑑みて、冬季の場合には、設定する基準パターンの数を増加するなど、季節に応じて設定する数を変化するように構成してもよい。
【００７５】
上述の実施の形態においては、車両から人間までの距離Ｚに応じて、基準パターンが有する画素の補間又は間引き処理をすることにより画素数を変更する構成であったが、これに限らず、抽出した人間候補領域の画素数を変更する構成でもよい。これにより、例えば、近距離又は中距離の人間候補領域の画素を補間又は間引きすることにより、遠距離の人間候補領域の画素数まで少なくすることにより、基準パターンの画素数を少なくすることができ、記憶容量の低減を図ることが可能である。
【００７６】
上述の実施の形態においては、基準パターンの画素数を車両から人間までの距離Ｚに応じて少なくする構成であったが、予め遠距離用の大きさに合わせた基準パターンを記憶しておき、距離Ｚに応じて画素数を多くする構成であってもよい。
【００７７】
上述の実施の形態においては、降雨センサ７を用いる構成であったが、これに限らず、ワイパのスイッチと連動して降雨状態を検出する構成でもよい。
【００７８】
実施の形態２  
次に、基準パターンＨ１、Ｈ２、…に代えて、外界情報に応じて閾値を設定する場合について説明する。
【００７９】
図８は、画像処理装置３の構成を示すブロック図である。図において、インターフェース部３１、入力部３２、画像メモリ３３、出力部３６、輝度抽出部３８１、及び画像処理制御部３７は、実施の形態１と同様であるので、説明は省略する。
【００８０】
距離算出部３８２は、人間候補領域Ｐ１、Ｐ２、…ごとに算出された距離Ｚを人間候補領域Ｐ１、Ｐ２、…夫々対応させて、人間候補領域Ｐ１、Ｐ２、…を示す画像データを演算部３８４へ出力するとともに、算出された距離Ｚを閾値設定部３８３へ出力する。なお、距離Ｚの算出は実施の形態１と同様である。
【００８１】
閾値設定部３８３は、記憶部３４に記憶された基準パターン（例えば、基準パターンＨ２）を読み出し、距離算出部３８２から入力された距離Ｚに対応して基準パターンＨ２の画素の補間又は間引き処理を行い、距離Ｚに対応して画素数を変更した基準パターンＨ２を演算部３８４へ出力する。なお、記憶する基準パターンは基準パターンＨ２に限らす、他の基準パターンであってもよい。
【００８２】
また、閾値設定部３８３は、外界情報の受付手段である入力部３２を介して、受け取った外界情報に基づいて、記憶部３４に記憶されている閾値Ｔ１、Ｔ２、…の中から１の閾値Ｔｘを設定して、設定された閾値Ｔｘを読み出し、読み出した閾値Ｔｘを演算部３８４へ出力する。
【００８３】
記憶部３４は、閾値Ｔ１、Ｔ２、…を季節、天候、気温などの外界情報に関連付けて記憶している。図９は記憶部３４におけるデータ構造３４２の概念図である。図に示すように、閾値Ｔ１、Ｔ２、…は、季節、天候、及び気温に関連付けて記憶されている。季節の欄は春夏秋冬の区別、天候の欄は、晴、曇、雨の区別、気温の欄は、所定の温度範囲の区別がなされ、季節、天候、及び気温の各欄に対応して閾値Ｔ１、Ｔ２、…が記憶されている。例えば、閾値設定部３８３は、記録された外界情報の組合せが、春、晴、及び気温が２０度以上である場合は、閾値Ｔ３を設定する。
【００８４】
演算部３８４は、距離算出部３８２から入力された人間候補領域Ｐ１、Ｐ２、…を示す画像データ及び閾値設定部３８３から入力された基準パターンＨ２の各画素が有する輝度値の間において、実施の形態１と同様の式に基づいて相関値を算出して、算出した相関値を認識部３８５へ出力する。
【００８５】
認識部３８５は、演算部３８４から出力された人間候補領域Ｐ１、Ｐ２、…夫々について、設定された基準パターンＨ２との相関値と、予め定められた閾値Ｔｘ（０＜Ｔｘ＜１）とを比較し、相関値が閾値Ｔｘより大きい場合は、人間候補領域Ｐ１、Ｐ２、…には人間が存在すると判定し、判定結果を出力部３６へ出力する。
【００８６】
上述の通り、季節、天候、気温などの外界情報に応じて、予め外界情報に関連付けて記憶された閾値Ｔ１、Ｔ２、…から１の閾値Ｔｘを設定し、ビデオカメラ１、２が撮像した画像データから抽出された人間候補領域Ｐ１、Ｐ２、…と基準パターンＨ２との夫々の画素が有する輝度値の相関値を算出して、算出した相関値と設定された閾値Ｔｘとを比較して、人間候補領域Ｐ１、Ｐ２、…に人間が存在するか否かを判定することにより、外界情報に応じて認識基準を変更することができ、従来の例に比べて、人間の認識を正確に行うことができる。
【００８７】
次に本発明に係る人間認識方法について説明する。実施の形態１と同様な部分の説明は省略する。
【００８８】
距離算出部３８２は、人間候補領域Ｐ１、Ｐ２、…ごとに算出された距離Ｚを人間候補領域Ｐ１、Ｐ２、…夫々対応させて、人間候補領域Ｐ１、Ｐ２、…を示す画像データを演算部３８４へ出力するとともに、算出された距離Ｚを閾値設定部３８３へ出力する。
【００８９】
閾値設定部３８３は、記憶部３４に記憶された基準パターンＨ２を読み出し、算出された距離Ｚに対応して基準パターンＨ２の画素の補間又は間引き処理を行い、画素数を変更した基準パターンＨ２を演算部３８４へ出力する。
【００９０】
また、閾値設定部３８３は、入力部３２を介して、受け取った外界情報に基づいて、記憶部３４に記憶されている閾値Ｔ１、Ｔ２、…の中から１の閾値Ｔｘを設定して、設定された閾値Ｔｘを読み出し、読み出した閾値Ｔｘを演算部３８４へ出力する。
【００９１】
演算部３８４は、距離算出部３８２から入力された人間候補領域Ｐ１、Ｐ２、…を示す画像データ及び閾値設定部３８３から入力された基準パターンＨ２の各画素が有する輝度値の間において、実施の形態１と同様の相関値を算出して、算出した相関値を認識部３８５へ出力する。
【００９２】
認識部３８５は、演算部３８４から出力された人間候補領域Ｐ１、Ｐ２、…夫々について、設定された基準パターンＨ２との相関値と、予め定められた閾値Ｔｘ（０＜Ｔｘ＜１）とを比較し、相関値が閾値Ｔｘより大きい場合は、人間候補領域Ｐ１、Ｐ２、…には人間が存在すると判定し、判定結果を出力部３６へ出力する。以降の処理は実施の形態１と同様であるので説明を省略する。
【００９３】
上述の実施の形態においては、予め記憶部３４に記憶された閾値を、外界情報に応じて設定する構成であったが、これに限らず、気温、天候、季節などを変数として閾値を関数として表し、受け取った外界情報に基づいて、閾値を算出する構成であってもよい。
【００９４】
実施の形態３
次に、人間候補領域Ｐ１、Ｐ２、…の各画素が有する輝度値を、外界情報に応じて輝度階調補正を行い、輝度階調補正された人間候補領域Ｐ１１、Ｐ２１、…と基準パターンＨ２との各画素が有する輝度値の相関を、予め定められた閾値Ｔと比較する場合について説明する。
【００９５】
図１０は、画像処理装置３の構成を示すブロック図である。図において、インターフェース部３１、入力部３２、画像メモリ３３、出力部３６、輝度抽出部３９１、画像処理制御部３７は、実施の形態１と同様であるので、説明は省略する。
【００９６】
距離算出部３９２は、人間候補領域Ｐ１、Ｐ２、…ごとに算出された距離Ｚを人間候補領域Ｐ１、Ｐ２、…夫々対応させて、人間候補領域Ｐ１、Ｐ２、…を示す画像データ及び算出された距離Ｚを輝度階調補正設定部３９３へ出力する。なお、距離Ｚの算出は実施の形態１と同様である。
【００９７】
記憶部３４は、基準パターンＨ２、閾値Ｔ、及びＬＵＴアドレスａ１、ａ２、…を季節、天候、気温などの外界情報に関連付けて記憶している。図１１は記憶部３４におけるデータ構造３４３の概念図である。図に示すように、ＬＵＴアドレスａ１、ａ２、…は、季節、天候、及び気温に関連付けて記憶されている。季節の欄は春夏秋冬の区別、天候の欄は、晴、曇、雨の区別、気温の欄は、所定の温度範囲の区別がなされ、季節、天候、及び気温の各欄に対応してＬＵＴアドレスａ１、ａ２、…が記憶されている。
【００９８】
図１２は輝度階調補正値を示す輝度階調補正テーブルＡｘの補正曲線の説明図である。図において横軸は入力輝度値、縦軸は補正後の出力輝度値を示す。輝度階調補正テーブルＡ１は、ＬＵＴアドレスａ１に対応し、入力輝度値が零から中程度までの範囲は、補正後の出力輝度値を小さく（すなわち輝度値が低い）し、入力輝度値が大きくなるにつれて（すなわち、輝度が高くなるにつれて）出力輝度値を大きく（すなわち出力輝度を高く）してある。夏服（例えば、Ｔシャツ）を着た人間の輝度分布が、頭部、上体部、腕部において輝度値が高くなるため、人間の輝度分布は高輝度に偏っている。輝度階調補正テーブルＡ１により輝度階調を補正して上体部、腕部などの輝度値を小さく、頭部の輝度値は変更しない。
【００９９】
輝度階調補正テーブルＡ２は、ＬＵＴアドレスａ２に対応し、入力輝度値に対する出力輝度値が同じ（すなわち補正なし）にしてある。春又は秋における服装を着た人間の輝度分布が、上体部、腕部、腰部、脚部の輝度値はやや低い値になり、頭部は露出しているため輝度値は高い値となり、人間の輝度分布は全体として中輝度に偏り、基準パターンＨ２が有する輝度分布に近似する。輝度階調補正テーブルＡ２により輝度階調の補正を行わない。
【０１００】
輝度階調補正テーブルＡ３は、ＬＵＴアドレスａ３に対応し、入力輝度値が零から中程度までの範囲は、補正後の出力輝度値を大きく（すなわち輝度を高く）し、入力輝度値が大きくなるにつれて（すなわち、輝度が高くなるにつれて）出力輝度値をほぼ一定にしてある。冬服（例えば、防寒着）を着た人間の輝度分布が、頭部を除いて、体の他の部分の輝度値が小さく、人間の輝度分布は低輝度に偏っている。輝度階調補正テーブルＡ３により輝度階調を補正して上体部、腕部などの輝度値を大きくする。
【０１０１】
輝度階調補正設定部３９３は、記憶部３４に記憶された基準パターンＨ２を読み出し、算出された距離Ｚに対応して基準パターンＨ２の画素に補間又は間引き処理を行い、画素数を変更した基準パターンＨ２を演算部３９５へ出力する。
【０１０２】
また、輝度階調補正設定部３９３は、入力部３２を介して、受け取った外界情報に基づいて、記憶部３４に記憶されているＬＵＴアドレスａ１、ａ２、…の中から１のＬＵＴアドレスａｘを設定する。例えば、記録された外界情報の組合せが、春、晴、及び気温が１０度以上２０度未満である場合は、ＬＵＴアドレスａ２を設定する。輝度階調補正設定部３９３は、設定されたＬＵＴアドレスａｘに対応する輝度階調補正テーブルＡｘをＬＵＴ３９４から読み出し、人間候補領域Ｐ１、Ｐ２、…の各画素の有する輝度値に対して輝度階調補正テーブルＡｘに基づいて輝度階調補正を行い、輝度階調補正された人間候補領域Ｐ１１、Ｐ２１、…を演算部３９５へ出力する。
【０１０３】
演算部３９５は、輝度階調補正設定部３９３から入力された人間候補領域Ｐ１１、Ｐ２１、…を示す画像データ及び基準パターンＨ２の各画素が有する輝度値の間において、実施の形態１と同様の式に基づいて相関値を算出して、算出した相関値を認識部３９６へ出力する。
【０１０４】
認識部３９６は、演算部３９５から出力された人間候補領域Ｐ１１、Ｐ２１、…夫々について、基準パターンＨ２との相関値と、記憶部３４から読み出した閾値Ｔ（０＜Ｔ＜１）とを比較し、相関値が閾値Ｔより大きい場合は、人間候補領域Ｐ１１、Ｐ２１、…には人間が存在すると判定し、判定結果を出力部３６へ出力する。
【０１０５】
上述の通り、季節、天候、気温などの外界情報に応じて、予め外界情報に関連付けて記憶された輝度階調補正値を示す輝度階調補正テーブルＡｘから１の輝度階調補正テーブルＡｘ設定し、ビデオカメラ１、２が撮像した画像データから抽出された人間候補領域Ｐ１、Ｐ２、…に対して輝度階調補正をした人間候補領域Ｐ１１、Ｐ２１、…と基準パターンＨ２との夫々の画素が有する輝度値の相関値を算出して、算出した相関値と閾値Ｔとを比較して、人間候補領域Ｐ１１、Ｐ２１、…に人間が存在するか否かを判定することにより、外界情報に応じて認識基準を変更することができ、従来の例に比べて、人間の認識を正確に行うことができる。
【０１０６】
次に人間認識方法について説明する。実施の形態１と同様な部分の説明は省略する。
【０１０７】
距離算出部３９２は、人間候補領域Ｐ１、Ｐ２、…ごとに算出された距離Ｚを人間候補領域Ｐ１、Ｐ２、…夫々対応させて、人間候補領域Ｐ１、Ｐ２、…を示す画像データ及び算出された距離Ｚを輝度階調補正設定部３９３へ出力する。
【０１０８】
輝度階調補正設定部３９３は、記憶部３４に記憶された基準パターンＨ２を読み出し、算出された距離Ｚに対応して基準パターンＨ２の大きさを補正し、補正した基準パターンＨ２を演算部３９５へ出力する。
【０１０９】
また、輝度階調補正設定部３９３は、外界情報の受付手段である入力部３２を介して、受け取った外界情報に基づいて、記憶部３４に記憶されているＬＵＴアドレスａ１、ａ２、…の中から１のＬＵＴアドレスａｘを設定して、設定されたＬＵＴアドレスａｘに対応する輝度階調補正テーブルＡｘをＬＵＴ３９４から読み出し、人間候補領域Ｐ１、Ｐ２、…の各画素の有する輝度値に対して輝度階調補正テーブルＡｘに基づいて輝度階調補正を行い、輝度階調補正された人間候補領域Ｐ１１、Ｐ２１、…と距離Ｚとを演算部３９５へ出力する。
【０１１０】
演算部３９５は、輝度階調補正設定部３９３から入力された人間候補領域Ｐ１１、Ｐ２１、…を示す画像データ及び基準パターンＨ２の各画素が有する輝度値の間において、実施の形態１と同様の式に基づいて相関値を算出して、算出した相関値を認識部３９６へ出力する。
【０１１１】
認識部３９６は、演算部３９５から出力された人間候補領域Ｐ１１、Ｐ２１、…夫々について、基準パターンＨ２との相関値と、記憶部３４から読み出された閾値Ｔ（０＜Ｔ＜１）とを比較し、相関値が閾値Ｔより大きい場合は、人間候補領域Ｐ１１、Ｐ２１、…には人間が存在すると判定し、判定結果を出力部３６へ出力する。以降の処理は実施の形態１と同様であるので説明を省略する。
【０１１２】
実施の形態３において、基準パターンＨ２が用いられたが、これに限らず、他の基準パターンを用いてもよい。また、閾値についても他の閾値を使用することができる。この場合は、使用する基準パターンに応じて、輝度階調補正値を示す輝度階調補正値テーブルを変更することができる。
【図面の簡単な説明】
【０１１３】
【図１】本発明に係る人間認識システムの概要を示す模式図である。
【図２】ビデオカメラの構成を示すブロック図である。
【図３】画像処理装置の構成を示すブロック図である。
【図４】基準パターンを示す説明図である。
【図５】基準パターンを示す説明図である。
【図６】記憶部におけるデータ構造の概念図である。
【図７】基準パターンの画素数を変更した例を示す説明図である。
【図８】画像処理装置の構成を示すブロック図である。
【図９】記憶部におけるデータ構造の概念図である。
【図１０】画像処理装置の構成を示すブロック図である。
【図１１】記憶部におけるデータ構造の概念図である。
【図１２】輝度階調補正値を示す輝度階調補正テーブルの補正曲線の説明図である。
【符号の説明】
【０１１４】
１，２  ビデオカメラ
３  画像処理装置
４  表示装置
５  警報装置
６  温度センサ
７  降雨センサ
８  カーナビゲーション装置
３２  入力部
３４  記憶部
３５，３８，３９  画像処理部
３７  画像処理制御部
３５１  輝度抽出部
３５２  距離算出部
３５３  基準パターン設定部
３５４  基準パターン補正部
３５５  演算部
３５６  認識部
３８３  閾値設定部
３９３  輝度階調補正設定部
３９４  ＬＵＴ
【図１】
2005242914.tif 000005
【図２】
2005242914.tif 000006
【図３】
2005242914.tif 000007
【図４】
2005242914.tif 000008
【図５】
2005242914.tif 000009
【図６】
2005242914.tif 000010
【図７】
2005242914.tif 000011
【図８】
2005242914.tif 000012
【図９】
2005242914.tif 000013
【図１０】
2005242914.tif 000014
【図１１】
2005242914.tif 000015
【図１２】
2005242914.tif 000016