(57)【要約】  【課題】  運転者が目視確認することができない領域で赤外光画像により歩行者、自転車等の障害物を検出された場合にのみ、運転者に対して何らかの警告情報を出力することができる障害物検出システム及び障害物検出方法を提供する。  【解決手段】  撮像装置は、可視光に基づいて画像を取得する可視光撮像装置及び赤外光に基づいて画像を取得する赤外光撮像装置で構成する。画像処理装置は、可視光撮像装置から取得した画像データ中に物体検出領域が存在するか否か判断し、存在すると判断した場合、赤外光撮像装置から取得した画像データ中に物体検出領域が存在するか否かを判断し、存在すると判断した場合、双方の物体検出領域が同一であるか否かを判断する。同一でないと判断した場合、物体検出領域が存在する旨を示す情報を出力装置へ送出し、物体検出領域が存在する旨を出力する。【選択図】        図６
2007045336.tif 000002
【特許請求の範囲】
【請求項１】
車両の外部を撮像する撮像装置と、該撮像装置で撮像した画像データを取得して画像認識処理を施し、処理結果に基づき障害物の有無を検出する画像処理装置と、該画像処理装置で検出した障害物の有無に関する情報を出力する出力装置とを備える障害物検出システムにおいて、
前記撮像装置は、
可視光に基づいて画像を取得する可視光撮像装置及び赤外光に基づいて画像を取得する赤外光撮像装置であり、
前記画像処理装置は、
前記可視光撮像装置から取得した画像データ中に物体検出領域が存在するか否かを判断する手段と、
該手段で物体検出領域が存在すると判断した場合、前記赤外光撮像装置から取得した画像データ中に物体検出領域が存在するか否かを判断する手段と、
該手段で物体検出領域が存在すると判断した場合、双方の物体検出領域が同一であるか否かを判断する手段と、
該手段で同一でないと判断した場合、障害物が存在する旨を示す情報を送出する手段とを備え、
前記出力装置は、
障害物が存在する旨を示す情報を受けた場合、障害物が存在する旨を出力する手段を備えることを特徴とする障害物検出システム。
【請求項２】
双方の物体検出領域が同一対象物であるか否かを判断する手段は、
前記可視光撮像装置で撮像した画像の座標系と、前記赤外光撮像装置で撮像した画像の座標系との座標変換テーブルを有し、
前記赤外光撮像装置で撮像した画像の座標系を前記可視光撮像装置で撮像した画像の座標系に変換する手段と、
物体検出領域が存在する領域の合致度を算出する手段と、
算出した合致度が所定値より大きいか否かを判断する手段と
を備え、
該手段で、合致度が所定値より大きいと判断した場合、双方の物体検出領域が同一であると判断するようにしてあることを特徴とする請求項１記載の障害物検出システム。
【請求項３】
前記撮像装置は、一の光学系で可視光画像と赤外光画像とを取得することが可能にしてあり、
双方の物体検出領域が同一であるか否かを判断する手段は、
前記可視光画像及び前記赤外光画像での物体検出領域が存在する領域の合致度を算出する手段と、
算出した合致度が所定値より大きいか否かを判断する手段と
を備え、
該手段で、合致度が所定値より大きいと判断した場合、双方の物体検出領域が同一であると判断するようにしてあることを特徴とする請求項１記載の障害物検出システム。
【請求項４】
車両の外部を撮像する撮像装置と、該撮像装置で撮像した画像データを取得して画像認識処理を施し、処理結果に基づき障害物の有無を検出する画像処理装置と、該画像処理装置で検出した障害物の有無に関する情報を出力する出力装置とを用いる障害物検出方法において、
前記撮像装置は、
可視光に基づいて画像を取得する可視光撮像装置及び赤外光に基づいて画像を取得する赤外光撮像装置であり、
前記画像処理装置は、
前記可視光撮像装置から取得した画像データ中に物体検出領域が存在するか否かを判断し、
物体検出領域が存在すると判断した場合、前記赤外光撮像装置から取得した画像データ中に物体検出領域が存在するか否かを判断し、
物体検出領域が存在すると判断した場合、双方の物体検出領域が同一であるか否かを判断し、
同一でないと判断した場合、物体検出領域が存在する旨を示す情報を送出し、
前記出力装置は、
物体検出領域が存在する旨を示す情報を受けた場合、物体検出領域が存在する旨を出力することを特徴とする障害物検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両の外部を撮像する撮像装置が撮像した画像データに基づいて、運転者が目視確認することができない歩行者等の存在を認識した場合にのみ、物体検出領域である歩行者等の存在を運転中のドライバに対して出力することができる障害物検出システム及び障害物検出方法に関する。
【背景技術】
【０００２】
自動車等の車両に、ボロメータ又は焦電型撮像素子を備えた遠赤外用の撮像装置を搭載し、例えば夜間走行時に、車両前方の歩行者、自転車等の存在を認識して運転者に注意を促す周囲監視システムが多々開発されている。
【０００３】
すなわち、遠赤外用の撮像装置で人間を撮像した場合、熱源である人間は他の背景物に対して高い輝度を有する。従来の周囲監視システムは、予め人間の体温分布に応じた輝度分布を示す基準パターンを記憶しておき、遠赤外用の撮像装置で撮像した画像データと記憶してある基準パターンとをパターンマッチングすることにより、人間が存在する領域を特定することが可能となっている（非特許文献１参照）。
【０００４】
また、非特許文献２では、可視光用のビデオカメラと赤外光用のビデオカメラを併置し、夫々のビデオカメラにより取得した画像データを合成した合成画像を表示する方法が開示されており、表示された合成画像により、運転者が容易に歩行者等の障害物を識別することができる。
【非特許文献１】「ホンダ  アールアンドディー  テクニカル  レビュー  (Honda R&D Technical Review)」 Vol.13 No.1、２００１年４月
【非特許文献２】トーマス  ワイドナー他１名、「自動車アプリケーション分野での遠赤外画像と夜間可視画像との融合アルゴリズム」、ベーエムベー  カンパニー、２００３年（Thomas Weidner, etc.“Algorithm for Fusion of Far Infrared and Visual Night-Time Images with Scope to Automotive Application”,BMW, 2003）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、上述した従来の方法では、赤外光による画像（赤外光画像）で歩行者等の存在が確認された場合、可視光による画像（可視光画像）で歩行者等の存在を確認しているときであっても、何らかの警告情報が運転者に対して出力される。運転者にとっては、目視により歩行者等の存在を確認しているにもかかわらず警告情報が出力されるという煩わしさが生じるという問題点があった。
【０００６】
本発明は、斯かる事情に鑑みてなされたものであり、運転者が目視確認することができない領域で赤外光画像により歩行者、自転車等の障害物を検出された場合にのみ、運転者に対して何らかの警告情報を出力することができる障害物検出システム及び障害物検出方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために第１発明に係る障害物検出システムは、車両の外部を撮像する撮像装置と、該撮像装置で撮像した画像データを取得して画像認識処理を施し、処理結果に基づき障害物の有無を検出する画像処理装置と、該画像処理装置で検出した障害物の有無に関する情報を出力する出力装置とを備える障害物検出システムにおいて、前記撮像装置は、可視光に基づいて画像を取得する可視光撮像装置及び赤外光に基づいて画像を取
得する赤外光撮像装置であり、前記画像処理装置は、前記可視光撮像装置から取得した画像データ中に物体検出領域が存在するか否かを判断する手段と、該手段で物体検出領域が存在すると判断した場合、前記赤外光撮像装置から取得した画像データ中に物体検出領域が存在するか否かを判断する手段と、該手段で物体検出領域が存在すると判断した場合、双方の物体検出領域が同一であるか否かを判断する手段と、該手段で同一でないと判断した場合、障害物が存在する旨を示す情報を送出する手段とを備え、前記出力装置は、障害物が存在する旨を示す情報を受けた場合、障害物が存在する旨を出力する手段を備えることを特徴とする。
【０００８】
また、第２発明に係る障害物検出システムは、第１発明において、双方の物体検出領域が同一対象物であるか否かを判断する手段は、前記可視光撮像装置で撮像した画像の座標系と、前記赤外光撮像装置で撮像した画像の座標系との座標変換テーブルを有し、前記赤外光撮像装置で撮像した画像の座標系を前記可視光撮像装置で撮像した画像の座標系に変換する手段と、物体検出領域が存在する領域の合致度を算出する手段と、算出した合致度が所定値より大きいか否かを判断する手段とを備え、該手段で、合致度が所定値より大きいと判断した場合、双方の物体検出領域が同一であると判断するようにしてあることを特徴とする。
【０００９】
また、第３発明に係る障害物検出システムは、第１発明において、前記撮像装置は、一の光学系で可視光画像と赤外光画像とを取得することが可能にしてあり、双方の物体検出領域が同一であるか否かを判断する手段は、前記可視光画像及び前記赤外光画像での物体検出領域が存在する領域の合致度を算出する手段と、算出した合致度が所定値より大きいか否かを判断する手段とを備え、該手段で、合致度が所定値より大きいと判断した場合、双方の物体検出領域が同一であると判断するようにしてあることを特徴とする。
【００１０】
また、第４発明に係る障害物検出方法は、車両の外部を撮像する撮像装置と、該撮像装置で撮像した画像データを取得して画像認識処理を施し、処理結果に基づき障害物の有無を検出する画像処理装置と、該画像処理装置で検出した障害物の有無に関する情報を出力する出力装置とを用いる障害物検出方法において、前記撮像装置は、可視光に基づいて画像を取得する可視光撮像装置及び赤外光に基づいて画像を取得する赤外光撮像装置であり、前記画像処理装置は、前記可視光撮像装置から取得した画像データ中に物体検出領域が存在するか否かを判断し、物体検出領域が存在すると判断した場合、前記赤外光撮像装置から取得した画像データ中に物体検出領域が存在するか否かを判断し、物体検出領域が存在すると判断した場合、双方の物体検出領域が同一であるか否かを判断し、同一でないと判断した場合、物体検出領域が存在する旨を示す情報を送出し、前記出力装置は、物体検出領域が存在する旨を示す情報を受けた場合、物体検出領域が存在する旨を出力することを特徴とする。
【００１１】
第１及び第４発明では、可視光に基づいて画像を取得する可視光撮像装置及び赤外光に基づいて画像を取得する赤外光撮像装置を有する撮像装置を用い、画像処理装置は、可視光撮像装置から取得した画像データ中に物体検出領域が存在すると判断した場合、赤外光撮像装置から取得した画像データ中に物体検出領域が存在するか否かを判断し、物体検出領域が存在すると判断した場合、双方の物体検出領域が同一であるか否かを判断する。同一でないと判断した場合、障害物が存在する旨を示す情報を送出し、出力装置は障害物が存在する旨を出力する。これにより、歩行者、自転車等の障害物を赤外光撮像装置から取得した画像データ中から検出した場合であっても、可視光撮像装置から取得した画像データ中で同一の障害物を検出したときには、運転者に対して障害物を検出した旨を出力しない。したがって、運転者が障害物の存在を目視で確認できる場合にはあえて障害物を検出した旨を出力することがなく、目視で確認することができない場合にのみ出力することで、運転者が警告情報の確認に煩わしさを感ずることなく、安全に障害物を回避する動作へ
と移行することが可能となる。
【００１２】
第２発明では、可視光撮像装置で撮像した画像の座標系と、赤外光撮像装置で撮像した画像の座標系との座標変換テーブルを有しており、赤外光撮像装置で撮像した画像の座標系を可視光撮像装置で撮像した画像の座標系に変換し、物体検出領域が存在する領域の合致度を算出する。算出した合致度が所定値より大きい場合、双方の物体検出領域が同一であると判断する。これにより、取付位置が異なる可視光撮像装置で撮像した画像と赤外光撮像装置で撮像した画像との間で、座標変換を容易に行うことができ、物体検出領域として検出された領域が同一の領域であるか否かを容易に判断することが可能となる。
【００１３】
第３発明では、撮像装置は、一の光学系で可視光画像と赤外光画像とを取得することができ、可視光画像及び赤外光画像での物体検出領域が存在する領域の合致度を座標変換することなく算出する。光学系が同一であることから座標変換処理を行う必要がなく、演算処理負荷を軽減しつつ、物体検出領域として検出された領域が同一の領域であるか否かを判断することが可能となる。
【発明の効果】
【００１４】
第１及び第４発明によれば、歩行者、自転車等の障害物を赤外光撮像装置から取得した画像データ中から検出した場合であっても、可視光撮像装置から取得した画像データ中で同一の障害物を検出したときには、運転者に対して障害物を検出した旨を出力しない。したがって、運転者が障害物の存在を目視で確認できる場合にはあえて障害物を検出した旨を出力することがなく、目視で確認することができない場合にのみ出力することで、運転者が警告情報の確認に煩わしさを感ずることなく、安全に障害物を回避する動作へと移行することが可能となる。
【００１５】
第２発明によれば、取付位置が異なる可視光撮像装置で撮像した画像と赤外光撮像装置で撮像した画像との間で、座標変換を容易に行うことができ、物体検出領域として検出された領域が同一の領域であるか否かを容易に判断することが可能となる。
【００１６】
第３発明によれば、光学系が同一であることから座標変換処理を行う必要がなく、演算処理負荷を軽減しつつ、物体検出領域として検出された領域が同一の領域であるか否かを判断することが可能となる。
【発明を実施するための最良の形態】
【００１７】
以下、本発明の実施の形態について、図面を参照しながら詳細に説明する。
【００１８】
（実施の形態１）
図１は、本発明の実施の形態１に係る障害物検出システムの構成を示す模式図である。本実施の形態１では、車両に搭載した画像認識システムにより、車両の前方に物体検出領域、すなわち歩行者、自転車等の障害物が存在するか否かを判断する場合を例として説明する。
【００１９】
１、２は、夜間の歩行者、自転車に乗った人間等を撮像する赤外光用のビデオカメラ（赤外光撮像装置）である。赤外光ビデオカメラ１、２は、車両のフロントグリル内に、適長の間隔を隔てて略水平方向に並置してある。撮像した画像データは、ＩＥＥＥ１３９４に準拠した車載ＬＡＮケーブル７を介して接続してある画像処理装置４に送信される。
【００２０】
３は、日中の歩行者、自転車に乗った人間等を撮像する可視光用のビデオカメラ（可視光撮像装置）である。可視光ビデオカメラ３は、車両のフロントグリル内の略中央近傍に配置してある。撮像した画像データは、ＩＥＥＥ１３９４に準拠した車載ＬＡＮケーブル
７を介して接続してある画像処理装置４に送信される。
【００２１】
画像処理装置４は、赤外光ビデオカメラ１、２、可視光ビデオカメラ３の他、操作部を備えた表示装置５、音声、効果音等により聴覚的な警告を発する警報装置６等の出力装置とも、車載ＬＡＮケーブル７を介して接続されている。
【００２２】
図２は、本発明の実施の形態１に係る障害物検出システムの赤外光ビデオカメラ１（２）の構成を示すブロック図である。画像撮像部１１は、光学信号を電気信号に変換する撮像素子を備えている。画像撮像部１１は、車両の周囲の赤外光像をＲＧＢ（Ｒ：赤、Ｇ：緑、Ｂ：青）のアナログ信号として読み取り、読み取ったＲＧＢ信号を、内部バス１５を介して信号処理部１２へ送信する。
【００２３】
信号処理部１２は、ＬＳＩ基板であり、画像撮像部１１から受信したアナログ信号をＲＧＢのデジタル信号に変換し、光学系で生じた各種の歪みを取り除くための処理、低周波ノイズの除去処理、ガンマ特性を補正する補正処理等を行う。さらに、ＲＧＢ信号をＹＵＶ（Ｙ：輝度、Ｕ、Ｖ：色差）信号に変換し、変換したＹＵＶ信号を画像データとして画像メモリ１３へ記憶する。
【００２４】
通信インタフェース部１４は、ＬＳＩ基板であり、車載ＬＡＮケーブル７を介して画像処理装置４とデータの送受信を行う。通信インタフェース部１４は、画像処理装置４から送出される指令に従って、画像メモリ１３に記憶された画像データの画像処理装置４への送出、ビデオカメラ１、２で撮像した画像の解像度による転送レートの変換、画像データを送出するためのパケットデータの生成等を行う。
【００２５】
図３は、本発明の実施の形態１に係る障害物検出システムの可視光ビデオカメラ３の構成を示すブロック図である。画像撮像部３１は、光学信号を電気信号に変換する撮像素子であるＣＣＤを備えている。画像撮像部３１は、車両の周囲の可視光像をＲＧＢ（Ｒ：赤、Ｇ：緑、Ｂ：青）のアナログ信号として読み取り、読み取ったＲＧＢ信号を、内部バス３５を介して信号処理部３２へ送信する。
【００２６】
なお、撮像素子はＣＣＤに限定されるものではなく、ダイナミックレンジが改善されてきているＣＭＯＳであっても良い。本実施の形態では、ＣＣＤ、ＣＭＯＳ等のダイナミックレンジ、感度等を可能な限り人間の目に近づけることにより、人間が目視確認することができる障害物と、可視光ビデオカメラ３で撮像することが可能な障害物との乖離を少なくするようにしてある。
【００２７】
信号処理部３２は、画像撮像部３１から入力されたアナログ信号をデジタル信号に変換し、光学系で生じた各種の歪みを取り除くための処理、低周波ノイズの除去処理、ガンマ特性を補正する補正処理等を行う。さらに、ＲＧＢ信号をＹＵＶ（Ｙ：輝度、Ｕ、Ｖ：色差）信号に変換し、変換したＹＵＶ信号を画像データとして画像メモリ３３へ一時記憶する。
【００２８】
通信インタフェース部３４は、車載ＬＡＮケーブル７を介して画像処理装置４と通信を行い、画像処理装置４から受信した指示信号に応じて、画像メモリ３３に一時記憶してある画像データを画像処理装置４へ送信する。
【００２９】
図４は、本発明の実施の形態１に係る障害物検出システムの画像処理装置４の構成を示すブロック図である。通信インタフェース部４１は、赤外光ビデオカメラ１、２、及び可視光ビデオカメラ３に対する指令の送信、赤外光ビデオカメラ１、２、及び可視光ビデオカメラ３からの画像データの受信を行う。通信インタフェース部４１は、赤外光ビデオカ
メラ１、２、及び可視光ビデオカメラ３から受信した画像データを、１フレーム単位に同期させて画像メモリ４２に記憶する。
【００３０】
また、通信インタフェース部４１は、車載ＬＡＮケーブル７を介して液晶ディスプレイ等の表示装置４に対して画像データを送出し、ブザー、スピーカ等の警報装置５に対して合成音等の出力信号を送信する。
【００３１】
画像メモリ４２は、ＳＲＡＭ、フラッシュメモリ等であり、通信インタフェース部４１を介して赤外光ビデオカメラ１、２、及び可視光ビデオカメラ３から受信した画像データを記憶する。
【００３２】
画像処理を行う基板であるＬＳＩ４３は、画像メモリ４２に記憶された画像データをフレーム単位で内蔵するＲＡＭへ読出し、読出した画像データ中に歩行者、自転車等の障害物と認識される領域が存在するか否かをパターンマッチング処理により判断する。ＬＳＩ４３は、画像メモリ４２に記憶してある可視光ビデオカメラ３で撮像した画像について、パターンマッチング処理を行い、障害物が存在するか否かを判断する。ＬＳＩ４３が、障害物が存在すると判断した場合、ＬＳＩ４３は、画像メモリ４２に記憶してある赤外光ビデオカメラ１、２で撮像した画像について、パターンマッチング処理を行い、障害物が存在するか否かを判断する。ＬＳＩ４３が、障害物が存在すると判断した場合、ＬＳＩ４３は、可視光ビデオカメラ３で撮像した画像に基づいて存在すると判断した障害物と、赤外光ビデオカメラ１、２で撮像した画像に基づいて存在すると判断した障害物とが同一の障害物であるか否かを判断し、ＬＳＩ４３が同一の障害物ではないと判断した場合には、障害物が存在する旨を示す警告情報を表示装置５へ出力する、又は聴覚的な警告情報を警報装置６へ出力する。
【００３３】
ＬＳＩ４３は、可視光ビデオカメラ３で撮像した画像に基づいて存在すると判断した障害物と、赤外光ビデオカメラ１、２で撮像した画像に基づいて存在すると判断した障害物とが同一の障害物であるか否かを判断するために、例えば赤外光ビデオカメラ１、２で撮像した画像の座標系を、可視光ビデオカメラ３で撮像した画像の座標系に変換する。座標系の変換は、固定した所定のテスト画像を赤外光ビデオカメラ１、２及び可視光ビデオカメラ３で撮像した両画像をマッピングすることにより、座標変換テーブルを生成する。生成した座標変換テーブルは、ＬＳＩ４３のＲＡＭに記憶しておく。
【００３４】
ＬＳＩ４３での詳細な処理について以下に説明する。図５及び図６は、本発明の実施の形態１に係る画像認識システムの画像処理装置４のＬＳＩ４３の歩行者等の検出処理の手順を示すフローチャートである。
【００３５】
ＬＳＩ４３は、画像メモリ４２に記憶してある可視光ビデオカメラ３で撮像した可視光画像データを読出し（ステップＳ５０１）、画素値に基づいてエッジ部分を抽出する（ステップＳ５０２）。エッジ部分の抽出方法は特に限定されるものではない。例えば、以下に示すように、ラプラシアンフィルタを用いてエッジ部分を抽出する。
【００３６】
ラプラシアンフィルタは、所定の画素の画素値と該画素の周囲に存在する画素の画素値とを対比し、画素値の差分値が所定値より大きい場合に‘１’を出力し、所定値より小さい場合に‘０’を出力する。すなわち、周囲の画素と画素値の差分が所定値より大きい場合、エッジ部分であるとして‘１’を出力する。（数１）は、所定の画素の上下左右に存在する画素の画素値を用いる場合のラプラシアンフィルタにおける演算処理を示す数式である。
【００３７】
【数１】
2007045336.tif 000003
【００３８】
（数１）において、ｆ（ｘ、ｙ）は、受け付けた画像データにおける所定の位置での画素の画素値を、ｇ（ｘ、ｙ）は、エッジ画素の画素値を、ＴＨは所定値を、それぞれ示している。ラプラシアンフィルタにより画素値が‘１’となった画素をエッジ部分として抽出する。
【００３９】
ＬＳＩ４３は、歩行者が存在するか否かを判断するのに使用する特徴量、例えば人間の標準的な温度分布を示すテンプレートと抽出したエッジ部分で構成される画像データとをマッチングすることによる相関値を算出し（ステップＳ５０３）、相関値が所定値より大きい領域が存在するか否かを判断する（ステップＳ５０４）。ＬＳＩ４３が、相関値が所定値より大きい領域が存在しないと判断した場合（ステップＳ５０４：ＮＯ）、ＬＳＩ４３は、ステップＳ５０１へ戻り、次の画像データを読み出す。ＬＳＩ４３が、相関値が所定値より大きい領域が存在すると判断した場合（ステップＳ５０４：ＹＥＳ）、ＬＳＩ４３は、該領域が歩行者を示す領域であると判断して、該領域の表示画像内での位置をＲＡＭに記憶する（ステップＳ５０５）。
【００４０】
なお、ＬＳＩ４３が、歩行者が存在するか否かを判断するのに使用する特徴量として、人間の標準的な温度分布を示すテンプレートと、抽出したエッジ部分で構成される画像データ（ラプラシアンフィルタ適用後の画像データ）とをマッチングすることにより算出した相関値Ｒを用いる場合、相関値Ｒは（数２）に基づいて算出される。
【００４１】
【数２】
2007045336.tif 000004
【００４２】
（数２）において、Ｎはマッチング処理を行う領域の総画素数を、ｋは０≦ｋ≦（Ｎ−１）の整数を、Ｆｋは人間の標準的な温度分布を示すテンプレート内におけるｋ番目の画素の画素値を、Ｇｋはマッチング処理する画像におけるｋ番目の画素の画素値を、それぞれ示している。
【００４３】
なお、抽出したエッジ部分が歩行者と認識すべき画像であるか否かを判断するのに使用する特徴量としては、上述した人間の標準的な温度分布を示すテンプレートと画像データとをマッチングすることによる相関値に限定されるものではなく、歩行者と認識される領域の大きさ、縦横比、画素値の平均値、分散等、歩行者と認識される領域を特定することが可能な特徴量であれば何でも良いし、これらを組み合わせて判断するものであっても良い。
【００４４】
ＬＳＩ４３は、画像メモリ４２に記憶してある赤外光ビデオカメラ１、２で撮像した赤外光画像データを読出し（ステップＳ５０６）、画素値に基づいてエッジ部分を抽出する（ステップＳ５０７）。エッジ部分の抽出方法は特に限定されるものではなく、可視光ビデオカメラ３で撮像した可視光画像データに対する処理と同様である。
【００４５】
ＬＳＩ４３は、歩行者が存在するか否かを判断するのに使用する特徴量、例えば人間の標準的な温度分布を示すテンプレートと抽出したエッジ部分で構成される画像データとをマッチングすることによる相関値を算出し（ステップＳ５０８）、相関値が所定の閾値より大きい領域が存在するか否かを判断する（ステップＳ５０９）。ＬＳＩ４３が、相関値が所定値より大きい領域が存在しないと判断した場合（ステップＳ５０９：ＮＯ）、ＬＳＩ４３は、ステップＳ５０６へ戻り、次の画像データを読出す。ＬＳＩ４３が、相関値が所定値より大きい領域が存在すると判断した場合（ステップＳ５０９：ＹＥＳ）、ＬＳＩ４３は、該領域が歩行者を示す領域であると判断して、該領域の表示画像内での位置をＲＡＭに記憶する（ステップＳ５１０）。
【００４６】
なお、抽出したエッジ部分が歩行者と認識すべき画像であるか否かを判断するのに使用する特徴量としては、上述した人間の標準的な温度分布を示すテンプレートと画像データとをマッチングすることによる相関値に限定されるものではなく、歩行者と認識される領域の大きさ、縦横比、画素値の平均値、分散等、歩行者と認識される領域を特定することが可能な特徴量であれば何でも良いし、これらを組み合わせて判断するものであっても良い。
【００４７】
ＬＳＩ４３は、ＲＡＭに記憶してある座標変換テーブルを照会して、ＲＡＭに記憶してある赤外光画像データに基づいて検出した歩行者を示す領域の表示画像内での位置を、可視光画像データの座標系に変換する(ステップＳ６０１)。ＬＳＩ４３は、可視光画像データに基づいて検出した歩行者を示す領域と、変換した赤外光画像データに基づいて検出した歩行者を示す領域との重複している度合である合致度を算出する(ステップＳ６０２)。
【００４８】
ＬＳＩ４３は算出した合致度が所定値より大きいか否かを判断し(ステップＳ６０３)、ＬＳＩ４３が、合致度が所定値より大きいと判断した場合(ステップＳ６０３：ＹＥＳ)、ＬＳＩ４３は、同一の障害物を検出したものと判断して、処理を終了する。
【００４９】
ＬＳＩ４３が、合致度が所定値以下であると判断した場合(ステップＳ６０３：ＮＯ)、ＬＳＩ４３は、可視光画像で検出していない障害物を赤外光画像で検出したものと判断して、表示装置５、警報装置６等の出力装置へ警告情報を出力する(ステップＳ６０４)。
【００５０】
以上のように本実施の形態１によれば、歩行者、自転車等の障害物を赤外光撮像装置から取得した赤外光画像データ中から検出した場合であっても、可視光撮像装置から取得した可視光画像データ中で同一の障害物を検出したときには、運転者に対して障害物を検出した旨を出力しない。したがって、運転者が障害物の存在を目視で確認できる場合にはあえて障害物を検出した旨を出力することがなく、目視で確認することができない場合にのみ表示装置５に警告情報が表示され、警報装置６が鳴動する等により、運転者が警告情報の確認に煩わしさを感ずることなく、安全に障害物を回避する動作へと移行することが可能となる。
【００５１】
（実施の形態２）
図７は、本発明の実施の形態２に係る障害物検出システムの構成を示す模式図である。本実施の形態２では、車両に搭載した画像認識システムにより、車両の前方に物体検出領域、すなわち歩行者、自転車等の障害物が存在するか否かを判断する場合を例として説明する。
【００５２】
８、９は、夜間の歩行者、自転車に乗った人間等を撮像する赤外光用の撮像素子、及び日中の歩行者、自転車に乗った人間等を撮像する可視光用の撮像素子を、１つの光学系に対して配置してあるビデオカメラである。ビデオカメラ８、９は、車両のフロントグリル内に、適長の間隔を隔てて略水平方向に並置してある。撮像した画像データは、ＩＥＥＥ１３９４に準拠した車載ＬＡＮケーブル７を介して接続してある画像処理装置４に送信される。
【００５３】
画像処理装置４は、ビデオカメラ８、９の他、操作部を備えた表示装置５、音声、効果音等により聴覚的な警告を発する警報装置６等の出力装置とも、車載ＬＡＮケーブル７を介して接続されている。
【００５４】
図８は、本発明の実施の形態２に係る画像表示システムのビデオカメラ８（９）の構成を示すブロック図である。画像撮像部８１は、外部から入射する光を受光する対物レンズ８１０を備え、対物レンズ８１０の光軸上に、入射光を屈折させることが可能なプリズム８１１を設けている。
【００５５】
プリズム８１１は、表面にＦＩＲパスフィルタを貼付してあり、赤外光は屈折せずに透過する。透過した赤外光が結像する位置に、遠赤外光用撮像素子である焦電型撮像素子８１２を配設し、例えば略９０度屈折した可視光が結像する位置に、可視光用撮像素子であるＣＣＤ８１３を配置している。なお、遠赤外光用撮像素子は焦電型撮像素子８１２に限定されるものではなく、例えばボロメータであっても良い。また、可視光用撮像素子はＣＣＤ８１３に限定されるものではなく、例えばＣＭＯＳであっても良い。さらに、ＦＩＲパスフィルタは、例えばメタクリル樹脂、ポリエチレン樹脂等からなる遠赤外域の周波数成分を有する光を選択的に通過させることができるフィルタである。
【００５６】
同一の撮像領域を焦電型撮像素子８１２及びＣＣＤ８１３の対応する撮像面に合致させるべく、焦電型撮像素子８１２及びＣＣＤ８１３の撮像面の大きさ並びに撮像レンズ８１４及び撮像レンズ８１５の焦点距離を一致させている。これにより、プリズム８１１の配置に応じて、撮像領域に対する赤外光及び可視光の光軸及び画角を一致させることができ、対物レンズ８１０を介した同一の撮像領域が、焦電型撮像素子８１２及びＣＣＤ８１３のそれぞれの撮像面に配設してある画素に結像される。
【００５７】
赤外光は、ＦＩＲパスフィルタの貼付してある撮像レンズ８１４を介した焦電型撮像素子８１２に入力される。焦電型撮像素子８１２は、入力された赤外光をＲＧＢ（Ｒ：赤、Ｇ：緑、Ｂ：青）のアナログ信号に変換し、信号処理部８２へ出力する。
【００５８】
同様に、プリズム８１１により、入射光の光軸方向と略９０度の角度へ屈折した可視光は、撮像レンズ８１５を介してＣＣＤ８１３に入力される。ＣＣＤ８１３は、入力された可視光をＲＧＢのアナログ信号に変換し、信号処理部８３へ出力する。
【００５９】
信号処理部８２、８３は、それぞれ焦電型撮像素子８１２及びＣＣＤ８１３から入力されたアナログ信号をデジタル信号に変換し、光学系で生じた各種の歪みを取り除くための処理、低周波ノイズの除去処理、ガンマ特性を補正する補正処理等を行う。さらに、ＲＧＢ信号をＹＵＶ（Ｙ：輝度、Ｕ、Ｖ：色差）信号に変換し、変換したＹＵＶ信号を画像データとして画像メモリ８４へ一時記憶する。
【００６０】
通信インタフェース部８５は、車載ＬＡＮケーブル７を介して画像処理装置４と通信を行い、画像処理装置４から受信した指示信号に応じて、画像メモリ８４に一時記憶してある画像データを画像処理装置４へ送信する。例えば、夜間走行時には、画像メモリ８４に
一時記憶してある可視光データ及び赤外光データを画像処理装置４へ送信し、昼間走行時には、画像メモリ８４に一時記憶してある可視光データのみを画像処理装置４へ送信する。
【００６１】
画像処理装置４の構成は、ビデオカメラ８、９に接続してあること以外は、実施の形態１と同様である。画像処理装置４の画像メモリ４２は、ＳＲＡＭ、フラッシュメモリ等であり、通信インタフェース部４１を介して、焦電型撮像素子８１２及びＣＣＤ８１３で結像し、通信インタフェース部８５を介して受信した画像データを記憶する。
【００６２】
画像処理を行う基板であるＬＳＩ４３は、画像メモリ４２に記憶された画像データをフレーム単位で内蔵するＲＡＭへ読出し、読出した画像データ中に歩行者、自転車等の障害物と認識される領域が存在するか否かをパターンマッチング処理により判断する。ＬＳＩ４３は、画像メモリ４２に記憶してあるＣＣＤ８１３で結像した可視光画像データについて、パターンマッチング処理を行い、障害物が存在するか否かを判断する。ＬＳＩ４３が、障害物が存在すると判断した場合、ＬＳＩ４３は、画像メモリ４２に記憶してある焦電型撮像素子８１２で結像した赤外光画像データについて、パターンマッチング処理を行い、障害物が存在するか否かを判断する。ＬＳＩ４３が、障害物が存在すると判断した場合、ＬＳＩ４３は、可視光画像データに基づいて存在すると判断した障害物と、赤外光画像データに基づいて存在すると判断した障害物とが同一の障害物であるか否かを判断し、ＬＳＩ４３が同一の障害物ではないと判断した場合には、障害物が存在する旨を示す警告情報を表示装置５へ出力する、又は聴覚的な警告情報を警報装置６へ出力する。
【００６３】
図９及び図１０は、本発明の実施の形態２に係る画像認識システムの画像処理装置４のＬＳＩ４３の歩行者等の検出処理の手順を示すフローチャートである。
【００６４】
ＬＳＩ４３は、画像メモリ４２に記憶してあるＣＣＤ８１３で結像した可視光画像データを読出し（ステップＳ９０１）、画素値に基づいてエッジ部分を抽出する（ステップＳ９０２）。エッジ部分の抽出方法は特に限定されるものではなく、例えば実施の形態１と同様に、ラプラシアンフィルタを用いてエッジ部分を抽出する。
【００６５】
ＬＳＩ４３は、歩行者が存在するか否かを判断するのに使用する特徴量、例えば人間の標準的な温度分布を示すテンプレートと抽出したエッジ部分で構成される画像データとをマッチングすることによる相関値を算出し（ステップＳ９０３）、相関値が所定値より大きい領域が存在するか否かを判断する（ステップＳ９０４）。ＬＳＩ４３が、相関値が所定値より大きい領域が存在しないと判断した場合（ステップＳ９０４：ＮＯ）、ＬＳＩ４３は、ステップＳ９０１へ戻り、次の画像データを読出す。ＬＳＩ４３が、相関値が所定値より大きい領域が存在すると判断した場合（ステップＳ９０４：ＹＥＳ）、ＬＳＩ４３は、該領域が歩行者を示す領域であると判断して、該領域の表示画像内での位置をＲＡＭに記憶する（ステップＳ９０５）。
【００６６】
なお、抽出したエッジ部分が歩行者と認識すべき画像であるか否かを判断するのに使用する特徴量としては、上述した人間の標準的な温度分布を示すテンプレートと画像データとをマッチングすることによる相関値に限定されるものではなく、歩行者と認識される領域の大きさ、縦横比、画素値の平均値、分散等、歩行者と認識される領域を特定することが可能な特徴量であれば何でも良いし、これらを組み合わせて判断するものであっても良い。
【００６７】
ＬＳＩ４３は、画像メモリ４２に記憶してある焦電型撮像素子８１２で結像した赤外光画像データを読出し（ステップＳ９０６）、画素値に基づいてエッジ部分を抽出する（ステップＳ９０７）。エッジ部分の抽出方法は特に限定されるものではなく、ＣＣＤ８１３
で結像した可視光画像データに対する処理と同様である。
【００６８】
ＬＳＩ４３は、歩行者が存在するか否かを判断するのに使用する特徴量、例えば人間の標準的な温度分布を示すテンプレートと抽出したエッジ部分で構成される画像データとをマッチングすることによる相関値を算出し（ステップＳ９０８）、相関値が所定値より大きい領域が存在するか否かを判断する（ステップＳ９０９）。ＬＳＩ４３が、相関値が所定値より大きい領域が存在しないと判断した場合（ステップＳ９０９：ＮＯ）、ＬＳＩ４３は、ステップＳ９０６へ戻り、次の画像データを読出す。ＬＳＩ４３が、相関値が所定値より大きい領域が存在すると判断した場合（ステップＳ９０９：ＹＥＳ）、ＬＳＩ４３は、該領域が歩行者を示す領域であると判断して、該領域の表示画像内での位置をＲＡＭに記憶する（ステップＳ９１０）。
【００６９】
なお、抽出したエッジ部分が歩行者と認識すべき画像であるか否かを判断するのに使用する特徴量としては、上述した人間の標準的な温度分布を示すテンプレートと画像データとをマッチングすることによる相関値に限定されるものではなく、歩行者と認識される領域の大きさ、縦横比、画素値の平均値、分散等、歩行者と認識される領域を特定することが可能な特徴量であれば何でも良いし、これらを組み合わせて判断するものであっても良い。
【００７０】
ＬＳＩ４３は、可視光画像データに基づいて検出した歩行者を示す領域と、変換した赤外光画像データに基づいて検出した歩行者を示す領域との重複している度合である合致度を算出する(ステップＳ１００１)。すなわち、同一の光学系を介して同一の領域を撮像した画像データを対比すれば足り、実施の形態１のような座標変換処理を行う必要がない。したがって、ＬＳＩ４３の演算処理負荷を軽減することが可能となる。
【００７１】
ＬＳＩ４３は算出した合致度が所定値より大きいか否かを判断し(ステップＳ１００２)、ＬＳＩ４３が、合致度が所定値より大きいと判断した場合(ステップＳ１００２：ＹＥＳ)、ＬＳＩ４３は、同一の障害物を検出したものと判断して、処理を終了する。
【００７２】
ＬＳＩ４３が、合致度が所定値以下であると判断した場合(ステップＳ１００２：ＮＯ)、ＬＳＩ４３は、可視光画像で検出していない障害物を赤外光画像で検出したものと判断して、表示装置５、警報装置６等の出力装置へ警告情報を出力する(ステップＳ１００３)。
【００７３】
以上のように本実施の形態２によれば、歩行者、自転車等の障害物を赤外光画像データ中から検出した場合であっても、可視光画像データ中で同一の障害物を検出したときには、運転者に対して障害物を検出した旨を出力しない。したがって、運転者が障害物の存在を目視で確認できる場合にはあえて障害物を検出した旨を出力することがなく、目視で確認することができない場合にのみ表示装置５に警告情報が表示され、警報装置６が鳴動する等により、運転者が警告情報の確認に煩わしさを感ずることなく、安全に障害物を回避する動作へと移行することが可能となる。
【００７４】
なお、上述した赤外光画像及び可視光画像を同一の光学系を介して取得する一体型ビデオカメラの構成は、本実施の形態２に示す構成に限定されるものではなく、プリズムによる屈折角度も略９０度に限定されるものでもなく、光学機構としてプリズムを用いる構成に限定されるものでもない。
【００７５】
また、上述した実施の形態１及び２では、画像処理装置３のＬＳＩ３３が上述した制御を行っているが、別個に制御装置を設けても良いし、他の機器の制御装置が兼用しても良い。
【図面の簡単な説明】
【００７６】
【図１】本発明の実施の形態１に係る障害物検出システムの構成を示す模式図である。
【図２】本発明の実施の形態１に係る障害物検出システムの赤外光ビデオカメラの構成を示すブロック図である。
【図３】本発明の実施の形態１に係る障害物検出システムの可視光ビデオカメラの構成を示すブロック図である。
【図４】本発明の実施の形態１に係る障害物検出システムの画像処理装置の構成を示すブロック図である。
【図５】本発明の実施の形態１に係る画像認識システムの画像処理装置のＬＳＩの歩行者等の検出処理の手順を示すフローチャートである。
【図６】本発明の実施の形態１に係る画像認識システムの画像処理装置のＬＳＩの歩行者等の検出処理の手順を示すフローチャートである。
【図７】本発明の実施の形態２に係る障害物検出システムの構成を示す模式図である。
【図８】本発明の実施の形態２に係る画像表示システムのビデオカメラの構成を示すブロック図である。
【図９】本発明の実施の形態２に係る画像認識システムの画像処理装置のＬＳＩの歩行者等の検出処理の手順を示すフローチャートである。
【図１０】本発明の実施の形態２に係る画像認識システムの画像処理装置のＬＳＩの歩行者等の検出処理の手順を示すフローチャートである。
【符号の説明】
【００７７】
１、２  赤外光ビデオカメラ
３  可視光ビデオカメラ
４  画像処理装置
５  表示装置
６  警報装置
４１  通信インタフェース部
４２  画像メモリ
４３  ＬＳＩ
【図１】
2007045336.tif 000005
【図２】
2007045336.tif 000006
【図３】
2007045336.tif 000007
【図４】
2007045336.tif 000008
【図５】
2007045336.tif 000009
【図６】
2007045336.tif 000010
【図７】
2007045336.tif 000011
【図８】
2007045336.tif 000012
【図９】
2007045336.tif 000013
【図１０】
2007045336.tif 000014