(57)【要約】  【課題】  車両の外界を撮像して得られた画像データに基づいて、外界の対象物の存在を認識し、誤認識を低減して対象物の存在を出力することができる対象物認識システム、及び該対象物認識システムを構成する画像処理装置を提供する。  【解決手段】  距離算出部３５２は、人間候補抽出部３５１で抽出した人間候補領域Ｐ１、Ｐ２、…で表される人間候補と車両との距離Ｚを算出し、算出した距離ＺがＬＵＴ３５５から読み出した第１の閾値ＴＨ１より小さく、第２の閾値ＴＨ２より大きい場合に、人間候補領域Ｐ１、Ｐ２、…を比較部３５３へ出力する。比較部３５３は、入力された人間候補領域Ｐ１、Ｐ２、…と標準パターンＨ１、Ｈ２、…との相関値を算出し、算出結果を判定部３５４へ出力する。判定部３５４は、入力された相関値と閾値Ｔ１とを比較し、相関値が閾値Ｔ１より大きい場合は、人間が存在すると判定する。【選択図】      図３
2006127058.tif 000002
【特許請求の範囲】
【請求項１】
車両の外界を撮像する撮像装置で外界を撮像し、該撮像装置が撮像した画像データを処理する画像処理装置で前記画像データを処理して外界の対象物の存在を認識し、認識した対象物の存在を出力する対象物認識システムにおいて、
前記画像処理装置は、
前記画像データが有する画素の輝度に基づいて対象物候補領域を抽出する抽出手段と、
抽出された対象物候補領域で表される対象物候補と車両との距離を算出する算出手段と、
抽出された対象物候補領域が所定の標準パターンと類似しているか否かを判断する判断手段と、
該判断手段が判断した結果に基づいて対象物の存否を判定する判定手段と
を備え、
前記算出手段が算出した距離に基づいて、対象物の存在を出力するように構成してあることを特徴とする対象物認識システム。
【請求項２】
前記算出手段は、算出した距離と第１の閾値との大小を算出するようにしてあり、
算出した距離が前記第１の閾値よりも小さい場合に、対象物の存在を出力するように構成してあることを特徴とする請求項１に記載の対象物認識システム。
【請求項３】
前記算出手段は、算出した距離と前記第１の閾値よりも小さい第２の閾値との大小を算出するようにしてあり、
算出した距離が前記第２の閾値よりも大きい場合に、対象物の存在を出力するように構成してあることを特徴とする請求項１又は請求項２に記載の対象物認識システム。
【請求項４】
車両の速度を検出する検出手段と、
該検出手段が検出した速度の大小に応じて、前記第１の閾値又は第２の閾値を変更する変更手段と
を備えたことを特徴とする請求項２又は請求項３に記載の対象物認識システム。
【請求項５】
前記撮像装置は、
可視光を透過する光学素子と、透過した可視光を撮像する可視光用撮像素子とを備えたことを特徴とする請求項１乃至請求項４のいずれかに記載の対象物認識システム。
【請求項６】
前記撮像装置は、赤外光を透過する光学素子と、透過した赤外光を撮像する赤外光用撮像素子とをさらに備えたことを特徴とする請求項５に記載の対象物認識システム。
【請求項７】
前記撮像装置は、
赤外光を透過する光学素子と、透過した赤外光を撮像する赤外光用撮像素子とを備えたことを特徴とする請求項１乃至請求項４のいずれかに記載の対象物認識システム。
【請求項８】
前記算出手段が算出した距離が、前記第１の閾値よりも大きい場合、又は前記第２の閾値よりも小さい場合に、抽出した対象物候補領域の画素の輝度を予め定められた輝度閾値以下に補正する補正手段を備えたことを特徴とする請求項６又は請求項７に記載の対象物認識システム。
【請求項９】
画像データを処理して対象物の存在を認識し、認識した対象物の存在を出力する画像処理装置において、
前記画像データが有する画素の輝度に基づいて対象物候補領域を抽出する抽出手段と、
抽出された対象物候補領域で表される対象物候補と車両との距離を算出する算出手段と、
抽出された対象物候補領域が所定の標準パターンと類似しているか否かを判断する判断手段と、
該判断手段が判断した結果に基づいて対象物の存否を判定する判定手段と
を備え、
前記算出手段が算出した距離に基づいて、対象物の存在を出力するように構成してあることを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両の外界を撮像する撮像装置で撮像した画像データを画像処理装置で処理して外界の対象物の存在を認識し、認識した対象物の存在を出力する対象物認識システム、及び該対象物認識システムを構成する画像処理装置に関する。
【背景技術】
【０００２】
車両（例えば、自動車）の前部にビデオカメラを搭載し、車両前方の歩行者、自転車に乗った人間などを認識して運転者に注意を促す前方監視システムが提案されている。
【０００３】
このようなシステムでは、予め人間の輝度分布を示す標準パターンを記憶しておき、ビデオカメラで撮像した画像データと前記標準パターンとを比較することにより歩行者などの対象物を認識している（非特許文献１参照）。
【非特許文献１】「ホンダ  アールアンドディ  テクニカルレビュー」（Honda R&D Technical Review）Vol.13 No.1 ２００１年４月
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来のシステムにあっては、ビデオカメラで撮像した画像の中には人間だけでなく人間以外の背景部分も含まれ、該背景部分には、人間と似た輝度分布を有するものも存在するため、人間でないものを人間であると誤認識する場合があり、人間以外のものを排除する必要があった。また、運転者に注意を促す必要性が低い、車両より遠方に存在するものについても人間の認識を行うため、誤認識をする場合もあった。さらに、車両近傍に存在する道路標識、路肩などの背景部分についても人間の認識を行うため、誤認識をする場合もあり、却って運転者に不必要な負担をかけるという問題があった。
【０００５】
本発明は、斯かる事情に鑑みてなされたものであり、撮像した画像データに基づいて対象物候補領域を抽出する抽出手段と、抽出した対象物候補領域で表される対象物候補と車両との距離を算出する算出手段と、抽出された対象物候補領域が所定の標準パターンと類似しているか否かを判断する判断手段と、判断した結果に基づいて対象物の存否を判定する判定手段とを備え、算出した距離に基づいて対象物の存在を出力するように構成することにより、算出した距離に基づいて、誤認識を低減して対象物の存在を出力することができる対象物認識システム、及び該対象物認識システムを構成する画像処理装置を提供することを目的とする。
【０００６】
また、本発明の他の目的は、前記算出手段が算出した距離が第１の閾値より小さい場合に、対象物の存在を出力するように構成することにより、車両から遠方における誤認識を排除して対象物の存在を出力することができる対象物認識システムを提供することにある。
【０００７】
また、本発明の他の目的は、前記算出手段が算出した距離が第１の閾値よりも小さい第２の閾値より大きい場合に、対象物の存在を出力するように構成することにより、車両近傍の誤認識を排除して対象物の存在を出力することができる対象物認識システムを提供することにある。
【０００８】
また、本発明の他の目的は、車両の速度の検出手段が検出した速度の大小に応じて、前記第１の閾値又は第２の閾値を変更する変更手段を備えることにより、車両の速度に応じて、車両の遠方又は近傍における誤認識を排除して対象物の存在を出力することができる対象物認識システムを提供することにある。
【０００９】
また、本発明の他の目的は、前記撮像装置が可視光を透過する光学素子と透過した可視光を撮像する可視光用撮像素子とを備えることにより、昼夜を問わず撮像装置が撮像した場合に、誤認識を低減して対象物の存在を出力することができる対象物認識システムを提供することにある。
【００１０】
また、本発明の他の目的は、前記撮像装置が赤外光を透過する光学素子と透過した赤外光を撮像する赤外光用撮像素子とをさらに備えることにより、対象物の存在を精度良く出力することができる対象物認識システムを提供することにある。
【００１１】
また、本発明の他の目的は、前記撮像装置が赤外光を透過する光学素子と透過した赤外光を撮像する赤外光用撮像素子とを備えることにより、夜間走行時に撮像装置が撮像した場合に、誤認識を低減して対象物の存在を出力することができる対象物認識システムを提供することにある。
【００１２】
また、本発明の他の目的は、前記算出手段が算出した距離が、前記第１の閾値よりも大きい場合、又は前記第２の閾値よりも小さい場合に、抽出した対象物候補領域の画素の輝度を予め定められた輝度閾値以下に補正する補正手段を備えることにより、運転者に不必要な対象物候補を排除し、誤認識を低減して対象物の存在を出力することができる対象物認識システムを提供することにある。
【課題を解決するための手段】
【００１３】
第１発明に係る対象物認識システムは、車両の外界を撮像する撮像装置で外界を撮像し、該撮像装置が撮像した画像データを処理する画像処理装置で前記画像データを処理して外界の対象物の存在を認識し、認識した対象物の存在を出力する対象物認識システムにおいて、前記画像処理装置は、前記画像データが有する画素の輝度に基づいて対象物候補領域を抽出する抽出手段と、抽出された対象物候補領域で表される対象物候補と車両との距離を算出する算出手段と、抽出された対象物候補領域が所定の標準パターンと類似しているか否かを判断する判断手段と、該判断手段が判断した結果に基づいて対象物の存否を判定する判定手段とを備え、前記算出手段が算出した距離に基づいて、対象物の存在を出力するように構成してあることを特徴とする。
【００１４】
第２発明に係る対象物認識システムは、第１発明において、前記算出手段は、算出した距離と第１の閾値との大小を算出するようにしてあり、算出した距離が前記第１の閾値よりも小さい場合に、対象物の存在を出力するように構成してあることを特徴とする。
【００１５】
第３発明に係る対象物認識システムは、第１発明又は第２発明において、前記算出手段は、算出した距離と前記第１の閾値よりも小さい第２の閾値との大小を算出するようにしてあり、算出した距離が前記第２の閾値よりも大きい場合に、対象物の存在を出力するように構成してあることを特徴とする。
【００１６】
第４発明に係る対象物認識システムは、第２発明又は第３発明において、車両の速度を検出する検出手段と、該検出手段が検出した速度の大小に応じて、前記第１の閾値又は第２の閾値を変更する変更手段とを備えたことを特徴とする。
【００１７】
第５発明に係る対象物認識システムは、第１発明乃至第４発明のいずれかにおいて、前記撮像装置は、可視光を透過する光学素子と、透過した可視光を撮像する可視光用撮像素子とを備えたことを特徴とする。
【００１８】
第６発明に係る対象物認識システムは、第５発明において、前記撮像装置は、赤外光を透過する光学素子と、透過した赤外光を撮像する赤外光用撮像素子とをさらに備えたことを特徴とする。
【００１９】
第７発明に係る対象物認識システムは、第１発明乃至第４発明のいずれかにおいて、前記撮像装置は、赤外光を透過する光学素子と、透過した赤外光を撮像する赤外光用撮像素子とを備えたことを特徴とする。
【００２０】
第８発明に係る対象物認識システムは、第６発明又は第７発明において、前記算出手段が算出した距離が、前記第１の閾値よりも大きい場合、又は前記第２の閾値よりも小さい場合に、抽出した対象物候補領域の画素の輝度を予め定められた輝度閾値以下に補正する補正手段を備えたことを特徴とする。
【００２１】
第９発明に係る画像処理装置は、画像データを処理して対象物の存在を認識し、認識した対象物の存在を出力する画像処理装置において、前記画像データが有する画素の輝度に基づいて対象物候補領域を抽出する抽出手段と、抽出された対象物候補領域で表される対象物候補と車両との距離を算出する算出手段と、抽出された対象物候補領域が所定の標準パターンと類似しているか否かを判断する判断手段と、該判断手段が判断した結果に基づいて対象物の存否を判定する判定手段とを備え、前記算出手段が算出した距離に基づいて、対象物の存在を出力するように構成してあることを特徴とする。
【００２２】
第１発明及び第９発明にあっては、抽出手段は、画像データが有する画素の輝度に基づいて対象物候補領域を抽出する。算出手段は、抽出された対象物候補領域で表される対象物候補と車両との距離を算出する。判断手段は、抽出手段が抽出した対象物候補領域が所定の標準パターンと類似しているか否かを判断し、判定手段は、前記判断手段が判断した結果に基づいて、対象物候補領域の中から対象物の存否を判定する。前記判定手段が判定した対象物の存否の中から、前記算出手段が算出した距離に基づいて対象物の存在を出力する。
【００２３】
第２発明にあっては、前記算出手段は、算出した距離と第１の閾値との大小を算出する。抽出された対象物候補領域で表される対象物候補と車両との距離が第１の閾値より小さい場合は、前記判定手段が判定した対象物の存否の中から対象物の存在を出力する。対象物候補と車両との距離が第１の閾値より大きい場合は、対象物の存在を出力しない。
【００２４】
第３発明にあっては、前記算出手段は、算出した距離と第１の閾値より小さい第２の閾値との大小を算出する。抽出された対象物候補領域で表される対象物候補と車両との距離が第２の閾値より大きい場合は、前記判定手段が判定した対象物の存否の中から対象物の存在を出力する。対象物候補と車両との距離が第２の閾値より小さい場合は、対象物の存在を出力しない。
【００２５】
第４発明にあっては、検出手段は車両の速度を検出する。変更手段は、前記検出手段が検出した速度の大小に応じて、前記第１の閾値又は第２の閾値を変更する。検出した速度が大きい場合は、前記第１の閾値又は第２の閾値を大きくし、検出した速度が小さい場合は、前記第１の閾値又は第２の閾値を小さくする。
【００２６】
第５発明にあっては、光学素子を透過した可視光を可視光用撮像素子で撮像する。
【００２７】
第６発明にあっては、光学素子を透過した可視光及び赤外光夫々を可視光用撮像素子及び赤外光用撮像素子で撮像する。
【００２８】
第７発明にあっては、光学素子を透過した赤外光を赤外光用撮像素子で撮像する。
【００２９】
第８発明にあっては、補正手段は、前記算出手段が算出した対象物候補領域で表される対象物候補と車両との距離が、第１の閾値より大きい場合、又は第２の閾値より小さい場合に、前記対象物候補領域の画素の輝度を予め定められた輝度閾値以下に補正する。これにより、前記対象物候補領域を排除して、該対象物候補領域における対象物の存否を判定しない。
【発明の効果】
【００３０】
第１発明及び第９発明にあっては、車両と対象物候補との間の距離に基づいて、認識した対象物の存在を出力することにより、誤認識を低減して対象物の存在を出力することができる。
【００３１】
第２発明にあっては、車両と対象物候補との間の距離が第１の閾値より小さい場合に、対象物の存在を出力することにより、運転者に注意を促す必要性が低い、車両の遠方における誤認識を排除し、車両と対象物候補との距離が近づいた場合に、対象物の存在を出力して運転者に注意を促すことができる。
【００３２】
第３発明にあっては、車両と対象物候補との間の距離が第２の閾値より大きい場合に、対象物の存在を出力することにより、車両近傍の背景部分で生じる誤認識を排除し、車両と対象物候補との距離が所定の距離以上になった場合に、対象物の存在を出力して運転者に注意を促すことができる。
【００３３】
第４発明にあっては、車両の速度の大小に応じて、前記第１の閾値又は第２の閾値を変更することにより、車両の速度が異なる場合であっても、車両の速度に応じて運転者に注意を促すことができる。
【００３４】
第５発明にあっては、可視光を撮像することにより、昼夜を問わず対象物の存在を出力することができる。
【００３５】
第６発明にあっては、可視光及び赤外光を撮像することにより、精度良く対象物の存在を出力することができる。
【００３６】
第７発明にあっては、赤外光を撮像することにより、夜間走行時においても対象物の存在を出力することができる。
【００３７】
第８発明にあっては、対象物候補と車両との距離が、第１の閾値より大きい場合、又は第２の閾値より小さい場合に、対象物候補領域の画素を輝度予め定められた輝度閾値以下に補正することにより、運転者に注意を促す必要性が低く、誤認識を生じる背景部分を予め排除して、誤認識を低減して対象物の存在を出力することができる。
【発明を実施するための最良の形態】
【００３８】
実施の形態１
図１は本発明に係る対象物認識システムの概要を示す模式図である。図において、１及び２は車両に搭載され、歩行者、自転車に乗った人間などを認識する可視光用のビデオカメラである。ビデオカメラ１、２夫々は、同一高さであって水平方向に適長の間隔を隔ててフロントグリルに並置されてあり、ＩＥＥＥ１３９４に準拠した車載ＬＡＮ用の通信線７を介して画像処理装置３に接続されている。
【００３９】
画像処理装置３には、通信線７を介して操作部を有する表示装置４、スピーカーを有し、音声又は効果音により警告を発する警報装置５、車両の速度を検出する速度センサ６が接続されている。
【００４０】
図２は、ビデオカメラ１の構成を示すブロック図である。なお、ビデオカメラ２も同様の構成を有するので、説明は省略する。図において、１１は画像撮像部であり、光学信号を電気信号に変換するＣＣＤが配置され、車両の外界の赤外光像をＲＧＢ（Ｒ：赤、Ｇ：緑、Ｂ：青）のアナログ信号として読み取り、読み取ったＲＧＢ信号を、内部バス１６を介して信号処理部１２へ出力する。
【００４１】
信号処理部１２は、画像撮像部１１から入力されたアナログ信号をＲＧＢのデジタル信号に変換し、光学系で生じた各種の歪みを取り除くための処理、低周波ノイズの除去処理、ガンマ特性を補正する補正処理などを行う。さらに、ＲＧＢ信号をＹＵＶ（Ｙ：輝度、Ｕ、Ｖ：色差）信号に変換し、変換したＹＵＶ信号を画像データとして一旦画像メモリ１３へ記憶する。
【００４２】
図において、１４は通信線７を介して画像処理装置３と通信を行うインタフェース部である。インタフェース部１４は、画像処理装置３から送信される指令に従って、画像メモリ１３に記憶された画像データを画像処理装置３へ出力するための制御、ビデオカメラ１で撮像した画像の解像度による転送レートの変換、画像データからパケットデータの作成などを行う。また、インタフェース部１４は、制御部１５の制御に従って、画像メモリ１３に記憶された画像データをビデオカメラ１の識別番号とともに画像処理装置３へ出力する。
【００４３】
制御部１５は、画像撮像部１１、信号処理部１２、インタフェース部１４の処理を制御する。例えば、画像処理装置３からの指令を解釈して、画像撮像部１１が撮像した画像データを画像メモリ１３に記憶する。また、記憶された画像データを読み出し、インタフェース部１４を介して画像処理装置３へ出力する。
【００４４】
図３は、画像処理装置３の構成を示すブロック図である。図において、３１はインタフェース部であり、ビデオカメラ１、２に対する指令の転送、ビデオカメラ１、２からの画像データの転送などを行う。
【００４５】
画像処理制御部３７は、インタフェース部３１を介してビデオカメラ１、２から入力された画像データ夫々を１フレーム単位に同期させて、フレームごとの画像データを画像メモリ３３に記憶する。また、画像処理制御部３７は、画像メモリ３３に記憶された画像データをフレーム単位で画像処理部３５へ出力する。
【００４６】
入力部３２は、速度センサ６で検出された車両の速度データを受信し、受信した速度データを画像処理部３５へ出力する。
【００４７】
記憶部３４は、人間の輝度分布を示す標準パターンＨ１、Ｈ２、…を記憶している。図４は標準パターンＨ１、Ｈ２、…を示す説明図である。標準パターンＨ１、Ｈ２、…は人間の輝度分布に対応した輝度分布を有し、人間の体形、子供と大人の区別、服装などに応じて複数のパターンを有する。
【００４８】
画像処理部３５において、ＬＵＴ３５５は、車両の速度に対応して、第１の閾値ＴＨ１、及び第２の閾値ＴＨ２を関連付けて記憶している。図５はＬＵＴ３５５の構成を示す説明図である。図に示すように、ＬＵＴ３５５は車両の速度、第１の閾値ＴＨ１、及び第２の閾値ＴＨ２の各欄で構成してある。例えば、車両の速度が４０ｋｍ／ｈの場合は、第１の閾値ＴＨ１、及び第２の閾値ＴＨ２夫々は、ＴＨ１４、ＴＨ２４である。
【００４９】
一般道路の制限速度である時速６０ｋｍ／ｈで走行する車両の停止距離は、路面状況に応じて３０〜４０ｍであり、車両が停止するまでの余裕を勘案して、時速６０ｋｍ／ｈの場合には、第１の閾値ＴＨ１は８０ｍ程度に設定することができる。また、車両近傍の背景部分を排除するため、第２の閾値ＴＨ２は５ｍ程度に設定することができる。
【００５０】
ＬＵＴ３５５は、入力部３２から入力された車両の速度データに基づき、車両速度に対応した閾値が後述する距離算出部３５２へ出力されるように、画像処理制御部３７により制御される。
【００５１】
人間候補抽出部３５１は、画像メモリ３３から読み出されたビデオカメラ１、２夫々が撮像して得られた１フレーム分の画像データから、注目画素を中心とする画素ブロック（例えば、３×３の画素ブロック）を抽出し、抽出した画素ブロックの平均輝度値を算出する。人間候補抽出部３５１は、ビデオカメラの走査線に沿って、ビデオカメラ１の画像データの画素ブロックと、ビデオカメラ２の画像データの画素ブロックを比較し、輝度値が一致する点を特徴点として抽出する。同様の動作を各走査線について行い、１フレーム分の画像データに対して特徴点を抽出することにより、前記特徴点で構成される領域（以下、人間候補領域という）Ｐ１、Ｐ２…を、前記１フレーム夫々について抽出する。人間候補抽出部３５１は、抽出された人間候補領域Ｐ１、Ｐ２、…の領域内の画素が有する輝度値とともに、人間候補領域Ｐ１、Ｐ２、…を距離算出部３５２へ出力する。
【００５２】
距離算出部３５２は、ビデオカメラ１の１フレーム内で抽出された人間候補領域Ｐ１のエピポーラ線（ビデオカメラの走査線と一致する）上に存在する画素から、輝度値の変位が大きい特徴点を抽出する。次に、ビデオカメラ２の１フレーム内で抽出された人間候補領域Ｐ１の同一位置のエピポーラ線上の画素を検索して、前記特徴点に対応する対応点を求め、前記特徴点と対応点との横位置差（以下、視差という）Ｕを算出する。距離算出部３５２は、視差Ｕに基づいて、数１で表される人間候補領域Ｐ１で表される人間候補までの距離Ｚを算出する。距離算出部３５２は、入力された人間候補領域Ｐ２、…についても同様の処理を行い、人間候補領域Ｐ２、…までの距離を算出する。算出する距離Ｚは、連続値である必要はなく、人間の存在を認識するための画像処理を容易にするため、例えば１０ｍ毎の離散値でよい。
【００５３】
【数１】
2006127058.tif 000003
【００５４】
ここで、Ｌはビデオカメラ１及び２夫々の光軸の間隔、ｆはビデオカメラ１、２夫々の光学系における撮像レンズの焦点距離である。
【００５５】
距離算出部３５２は、車両の速度に応じた第１の閾値ＴＨ１、第２の閾値ＴＨ２をＬＵＴ３５５から読み出し、人間候補領域Ｐ１、Ｐ２、…で表される人間候補までの距離Ｚが、第１の閾値ＴＨ１より小さく、かつ、第２の閾値ＴＨ２より大きい値である人間候補領域Ｐ１、Ｐ２、…を示す画像データを比較部３５３へ出力する。
【００５６】
比較部３５３は、距離算出部３５２から入力された距離Ｚに対応して、記憶部３４から読み出した標準パターンＨ１、Ｈ２、…が有する画素数が予め定められた画素数になるように、標準パターンＨ１、Ｈ２、…が有する画素の補間又は間引きを行い、画素数を変更する。これにより、人間候補領域Ｐ１、Ｐ２、…の画素数と標準パターンＨ１、Ｈ２、…の画素数とを一致させる。
【００５７】
比較部３５３は、人間候補領域Ｐ１、Ｐ２、…が標準パターンＨ１、Ｈ２、…のいずれと類似しているかを判断するために、距離算出部３５２から入力された人間候補領域Ｐ１、Ｐ２、…を示す画像データ及び標準パターンＨ１、Ｈ２、…が有する輝度値の間において、相関値を算出して、算出した相関値を判定部３５４へ出力する。相関値の算出は、数２で表される式に基づいて行われる。
【００５８】
【数２】
2006127058.tif 000004
【００５９】
ここで、Ｎは人間候補領域Ｐ１、Ｐ２、…、及び標準パターンＨ１、Ｈ２、…における総画素数、ｋは零からＮ−１までの整数、Ｆｋは標準パターン内におけるｋ番目の画素の輝度値、Ｇｋは人間候補領域におけるｋ番目の画素の輝度値、及びＲは相関値を表す。
【００６０】
判定部３５４は、比較部３５３から出力された人間候補領域Ｐ１、Ｐ２、…夫々について、標準パターンＨ１、Ｈ２、…との相関値と、予め定められた閾値Ｔ１（０＜Ｔ１＜１）とを比較し、相関値が閾値Ｔ１より大きい場合は、人間候補領域Ｐ１、Ｐ２、…には人間が存在すると判定し、判定結果を画像処理制御部３７へ出力する。
【００６１】
画像処理部３５は、上述の処理を１フレーム単位で行い、１フレーム分の画像データに対して処理が終了すると、次のフレームに対して同様の処理を続ける。
【００６２】
画像処理制御部３７は、画像メモリ３３に記憶された画像データを読み出し、判定部３５４で人間が存在すると判定された人間候補領域Ｐ１、Ｐ２、…を強調するための処理（例えば、人間が存在する領域を矩形状の枠で囲む処理、又は人間が存在する領域を点滅させる処理など）を行い、処理済の画像データを出力部３６へ出力する。また、画像処理制御部３７は、人間が存在すると判定された場合に、人間までの距離に応じた警告音を発生させるための警告音制御信号を出力部３６へ出力する。
【００６３】
出力部３６は、入力された画像データを表示装置４へ出力するとともに、警告音制御信号を警報装置５へ出力する。
【００６４】
表示装置４は、画像処理装置３から出力された画像データに基づき、外界の状況とともに、認識した人間の存在をディスプレイに表示する。
【００６５】
警報装置５は、画像処理装置３から出力された警告音制御信号に基づき、音声又は警告音を発し、運転者に注意を促す。なお、警告音を発するスピーカは、表示装置４の周囲に複数箇所配置し、人間の存在位置に応じて、警告音を発するスピーカを制御してもよい。
【００６６】
次に本発明に係る対象物認識方法について説明する。運転者が、表示装置４に備えられた操作部を操作してビデオカメラ１、２の動作スイッチをオンにすると、動作信号を前記操作部から受信した画像処理装置３は、インタフェース部３１を介して、初期コマンドをビデオカメラ１、２へ送出する。
【００６７】
初期コマンドを受信したビデオカメラ１、２は、画像撮像部１１から車両の外界の撮像を開始する。信号処理部１２は、撮像した画像データに対して、ＲＧＢ信号からＹＵＶ信号に変換し、ビデオカメラ１、２ごとの識別番号が挿入された画像データは、一旦画像メモリ１３に記録された後に、１フレーム分の画像データごとに同期させて、インタフェース部１４を介して、画像処理装置３へ送出される。
【００６８】
画像処理装置３は、ビデオカメラの識別番号ごとに、１フレーム分の画像データを一旦画像メモリ３３に記憶する。画像処理部３５は、画像メモリ３３に記憶された画像データを読み出し、人間候補抽出部３５１へ出力する。
【００６９】
人間候補抽出部３５１は、画像メモリ３３から読み出されたビデオカメラ１及び２夫々が撮像して得られた１フレーム夫々の画素ブロックを抽出し、抽出した画素ブロック同士を走査線に沿って比較することにより、人間候補領域Ｐ１、Ｐ２…を抽出し、抽出結果を距離算出部３５２へ出力する。
【００７０】
距離算出部３５２は、ビデオカメラ１及び２夫々の１フレーム内で抽出された人間候補領域Ｐ１、Ｐ２、…を切り出し、人間候補領域Ｐ１、Ｐ２、…夫々の特徴点の位置を算出することにより、人間候補領域Ｐ１、Ｐ２、…の視差を算出して、人間候補領域Ｐ１、Ｐ２、…までの距離Ｚを算出する。
【００７１】
距離算出部３５２は、車両の速度に応じた第１の閾値ＴＨ１、第２の閾値ＴＨ２をＬＵＴ３５５から読み出し、人間候補領域Ｐ１、Ｐ２、…で表される人間候補までの距離Ｚが、第１の閾値ＴＨ１より小さく、かつ、第２の閾値ＴＨ２より大きい値である人間候補領域Ｐ１、Ｐ２、…を示す画像データを比較部３５３へ出力する。
【００７２】
比較部３５３は、距離算出部３５２から入力された距離Ｚに対応して、記憶部３４から読み出した標準パターンＨ１、Ｈ２、…が有する画素数が予め定められた画素数になるように、標準パターンＨ１、Ｈ２、…が有する画素の補間又は間引きを行い、画素数を変更する。
【００７３】
比較部３５３は、人間候補領域Ｐ１、Ｐ２、…が標準パターンＨ１、Ｈ２、…のいずれと類似しているかを判断するために、距離算出部３５２から入力された人間候補領域Ｐ１、Ｐ２、…を示す画像データ及び標準パターンＨ１、Ｈ２、…が有する輝度値の間において、相関値を算出して、算出した相関値を判定部３５４へ出力する。
【００７４】
判定部３５４は、比較部３５３から出力された人間候補領域Ｐ１、Ｐ２、…夫々について、標準パターンＨ１、Ｈ２、…との相関値と、予め定められた閾値Ｔ１（０＜Ｔ１＜１）とを比較し、相関値が閾値Ｔ１より大きい場合は、人間候補領域Ｐ１、Ｐ２、…には人間が存在すると判定し、判定結果を画像処理制御部３７へ出力する。
【００７５】
画像処理部３５は、上述の処理を１フレーム単位で行い、１フレーム分の画像データに対して処理が終了すると、次のフレームに対して同様の処理を続ける。
【００７６】
画像処理制御部３７は、画像メモリ３３に記憶された画像データを読み出し、判定部３５４で人間が存在すると判定された人間候補領域Ｐ１、Ｐ２、…を強調するための処理を行い、処理済の画像データを出力部３６へ出力する。また、画像処理制御部３７は、人間が存在すると判定された場合に、人間までの距離に応じた警告音を発生させるための警告音制御信号を出力部３６へ出力する。
【００７７】
出力部３６は、入力された画像データを表示装置４へ出力するとともに、警告音制御信号を警報装置５へ出力する。
【００７８】
表示装置４は、画像処理装置３から出力された画像データに基づき、認識された人間に枠を付加し、又は点滅表示などを施して、人間の存在を強調しディスプレイに表示する。
【００７９】
警報装置５は、画像処理装置３から出力された警告音制御信号に基づき、音声又は警告音を発し、運転者に注意を促す。
【００８０】
上述の通り、本発明にあっては、抽出した人間候補領域Ｐ１、Ｐ２、…で表される人間候補と車両との距離Ｚを算出し、算出した距離Ｚが第１の閾値ＴＨ１より小さく、第２の閾値ＴＨ２より大きい場合に人間の存在を出力する。これにより、車両の遠方に存在し、運転者に注意を促す必要性が低いものについては、人間の存否の判定を行わず、誤認識を排除することができる。また、車両の近傍において誤認識が生じる可能性がある道路標識、路肩などの物体についても、人間の存否を行わずに、誤認識されることを防止することができる。
【００８１】
上述の実施の形態においては、ビデオカメラと画像処理装置との接続は、ＩＥＥＥ１３９４に準拠した車載ＬＡＮ通信線を介して行われたが、これに限らず、ＮＴＳＣに準拠した通信方式であってもよい。
【００８２】
上述の実施の形態においては、ビデオカメラ１、２を車両のフロントグリルに併設する構成であったが、これに限らず、レーザレーダ、ミリ波レーダなどの測距センサを搭載して、歩行者までの距離を測定する構成であってもよい。この場合は、ビデオカメラは１台のみ搭載すれば足りる。
【００８３】
上述の実施の形態においては、距離算出部３５２で算出した距離Ｚが第１の閾値ＴＨ１より小さく、第２の閾値ＴＨ２より大きい場合に、人間候補抽出部３５１で抽出した人間候補領域Ｐ１、Ｐ２、…を比較部３５３へ出力する構成であったが、これに限定されるものではない。例えば、距離算出部３５２で算出した距離Ｚを判定部３５４へ出力しておき、判定部３５４で人間が存在すると判定された人間候補領域Ｐ１、Ｐ２、…の中から、距離Ｚが第１の閾値ＴＨ１より小さく、第２の閾値ＴＨ２より大きいものだけを出力する構成であってもよい。
【００８４】
上述の実施の形態においては、人間の存在を出力する構成であったが、これに限定されるものではなく、歩行者などの人間以外に、動物、自動車などの車両、道路上の障害物などの外界に存在する対象物を検出して、その存在を出力するものであってもよい。この場合は、対象物に応じた標準パターンを複数記憶することができる。
【００８５】
上述の実施の形態においては、標準パターンＨ１、Ｈ２、…は、人間の輝度分布に対応したものであったが、これに限定されるものではなく、人間の形状の特徴を抽出した標準パターンであってもよい。
【００８６】
上述の実施の形態においては、車両の速度に関連付けて第１及び第２の閾値を記憶したＬＵＴ３５５から第１及び第２の閾値を読み出す構成であったが、これに限らず、車両の速度に応じて、第１及び第２の閾値を算出する構成でもよい。また、第１及び第２の閾値の設定は、上述の例に限られず、時速６０ｋｍ／ｈの場合に、７０ｍ、９０ｍなどの値に設定することも可能である。
【００８７】
実施の形態２
次に可視光用のビデオカメラに代えて、赤外光用のビデオカメラを使用する場合について説明する。
【００８８】
図１において、１及び２は車両に搭載され、夜間の歩行者、自転車に乗った人間などを認識する遠赤外用のビデオカメラである。なお、図中他の同符号を記したものは、実施の形態１と同様であるので、説明を省略する。
【００８９】
図２において、１１は画像撮像部であり、光学信号を電気信号に変換する焦電型撮像素子が配置され、車両の外界の赤外光像をＲＧＢ（Ｒ：赤、Ｇ：緑、Ｂ：青）のアナログ信号として読み取り、読み取ったＲＧＢ信号を、内部バス１６を介して信号処理部１２へ出力する。なお、図中他の同符号を記したものは、実施の形態１と同様であるので、説明を省略する。
【００９０】
図６は実施の形態２の画像処理装置３の構成を示すブロック図である。実施の形態１との相違点は、実施の形態２では、輝度補正部３５６が追加されている点である。
【００９１】
ＬＵＴ３５５は、画像処理制御部３７の制御により、入力部３２から入力された車両の速度データに基づき、車両速度に対応した第１の閾値ＴＨ１、第２の閾値ＴＨ２を輝度補正部３５６へ出力する。
【００９２】
人間候補抽出部３５１は、画像メモリ３３から読み出されたビデオカメラ１及び２夫々が撮像して得られた１フレーム夫々の画素ブロックを抽出し、抽出した画素ブロック同士を走査線に沿って比較することにより、人間候補領域Ｐ１、Ｐ２…を抽出し、抽出結果を距離算出部３５２へ出力する。
【００９３】
距離算出部３５２は、ビデオカメラ１及び２夫々の１フレーム内で抽出された人間候補領域Ｐ１、Ｐ２、…を切り出し、人間候補領域Ｐ１、Ｐ２、…夫々の特徴点の位置を算出することにより、人間候補領域Ｐ１、Ｐ２、…の視差を算出して、人間候補領域Ｐ１、Ｐ２、…までの距離Ｚを算出し、算出した距離Ｚとともに、抽出した人間候補領域Ｐ１、Ｐ２、…を含む１フレーム分の画像データを輝度補正部３５６へ出力する。
【００９４】
輝度補正部３５６は、距離算出部３５２から入力された画像データを、予め定められた標準輝度値Ｌ１に基づいて、人間候補領域Ｐ１、Ｐ２、…に高輝度値を割り当て、人間候補領域Ｐ１、Ｐ２、…以外の領域に低輝度値（例えば、「０」）を割り当てることにより二値化する。
【００９５】
輝度補正部３５６は、ＬＵＴ３５５から第１の閾値ＴＨ１、及び第２の閾値ＴＨ２を読み出すとともに、距離算出部３５２から入力された人間候補領域Ｐ１、Ｐ２、…のうち、距離Ｚが、第１の閾値ＴＨ１より大きく、又は第２の閾値ＴＨ２より小さい値である人間候補領域Ｐ１、Ｐ２、…が有する輝度を予め定められた輝度閾値ＬＴ以下の輝度値（例えば、「０」）に補正する。これにより、距離Ｚが、第１の閾値ＴＨ１より大きく、又は第２の閾値ＴＨ２より小さい人間候補領域Ｐ１、Ｐ２、…を排除する。
【００９６】
判定部３５４は、輝度補正部３５６から出力された人間候補領域Ｐ１、Ｐ２、…夫々について、標準パターンＨ１、Ｈ２、…との相関値と、予め定められた閾値Ｔ１（０＜Ｔ１＜１）とを比較し、相関値が閾値Ｔ１より大きい場合は、人間候補領域Ｐ１、Ｐ２、…には人間が存在すると判定し、判定結果を出力部３６へ出力する。輝度補正部３５６で画素の輝度値を「０」に補正された人間候補領域Ｐ１、Ｐ２、…と標準パターンＨ１、Ｈ２、…との相関値は、一方の輝度値が「０」であるため、閾値Ｔ１より小さく。これにより、補正された人間候補領域Ｐ１、Ｐ２、…を人間の存在の判定から除外する。
【００９７】
画像処理部３５は、上述の処理を１フレーム単位で行い、１フレーム分の画像データに対して処理が終了すると、次のフレームに対して同様の処理を続ける。
【００９８】
出力部３６は、画像メモリ３３に記憶された画像データを表示装置４へ出力するとともに、判定部３５４で判定された判定結果及び人間までの距離Ｚを表示装置４及び警報装置へ出力する。
【００９９】
表示装置４は、画像処理装置３から出力された画像データに基づき、外界の状況をディスプレイに表示するとともに、判定部３５４から出力された判定結果により車両の前方に歩行者などの人間の存在が認識された場合には、検出した人間の周囲に枠を付して、運転者に人間の存在を促すべく強調表示をする。
【０１００】
警報装置５は、判定部３５４から出力された判定結果により車両の前方に歩行者などの人間の存在が認識された場合には、音声又は警告音を発し、運転者に注意を促す。また、距離Ｚの長さに応じて音量を変えることにより、運転者への警告を行う。
【０１０１】
上述の実施の形態においては、輝度補正部３５６は、算出された距離Ｚが第１の閾値ＴＨ１より大きく、又は第２の閾値ＴＨ２より小さい値である人間候補領域Ｐ１、Ｐ２、…が有する輝度を「０」に補正する構成であったが、これに限らず、相関値が閾値Ｔ１より小さくなる程度の輝度閾値ＬＴ以下であればよい。
【０１０２】
上述の実施の形態においては、赤外光用のビデオカメラを用いる構成であったが、赤外光用のビデオカメラと可視光用のビデオカメラとを併用する構成であってもよい。これにより、可視光及び赤外光の両方をビデオカメラで撮像して、歩行者などの人間の存在を検出することにより、人間の存在をさらに精度よく出力することができる。この場合は、可視光用のビデオカメラ及び赤外光用のビデオカメラ夫々を車両に搭載することができる。また、近赤外光を遮断する近赤外光カットフィルタを装着した可視光用のビデオカメラと、可視光を遮断する可視光カットフィルタを装着した赤外光用のビデオカメラとを車両に搭載することができる。また、赤外光を透過し可視光を反射する誘電体多層膜が形成されたプリズムを設け、可視光と赤外光を分離する光学系を備え、分離した可視光及び赤外光夫々を撮像するビデオカメラを用いることもできる。
【０１０３】
上述の実施の形態においては、撮像素子は焦電型撮像素子を用いる構成であったが、これに限定されるものではなく、ボロメータ、サーモパイル、ＳＯＩダイオードなどの撮像素子を用いる構成であってもよい。
【０１０４】
上述の実施の形態においては、赤外光用のビデオカメラは、遠赤外光用のビデオカメラに限定されるものではなく、近赤外光用のビデオカメラを用いる構成であってもよい。
【図面の簡単な説明】
【０１０５】
【図１】本発明に係る対象物認識システムの概要を示す模式図である。
【図２】ビデオカメラの構成を示すブロック図である。
【図３】画像処理装置の構成を示すブロック図である。
【図４】標準パターンを示す説明図である。
【図５】ＬＵＴの構成を示す説明図である。
【図６】実施の形態２の画像処理装置の構成を示すブロック図である。
【符号の説明】
【０１０６】
１、２  ビデオカメラ  
３  画像処理装置
４  表示装置
５  警報装置
６  速度センサ
７  通信線
１１  画像撮像部
１２  信号処理部
１３  画像メモリ
１４  インタフェース部
１５  制御部
３１  インタフェース部
３２  入力部
３３  画像メモリ
３４  記憶部
３５  画像処理部
３６  出力部
３７  画像処理制御部
３５１  人間候補抽出部
３５２  距離算出部
３５３  比較部
３５４  判定部
３５５  ＬＵＴ
３５６  輝度補正部
【図１】
2006127058.tif 000005
【図２】
2006127058.tif 000006
【図３】
2006127058.tif 000007
【図４】
2006127058.tif 000008
【図５】
2006127058.tif 000009
【図６】
2006127058.tif 000010