(57)【要約】  【課題】  サイドミラーに配設することができ、車両の前方及び後方の死角を監視することができる画像認識システム、撮像装置、及び画像認識方法を提供する。  【解決手段】  外部を撮像する撮像装置は、視野角が１８０度以上であるレンズを有し、該レンズが車両側方で略鉛直下向きになるよう配設してあり、車両の走行速度を検出して、車両の走行速度が所定速度より速い場合、撮像装置から取得した画像データの車両後方を撮像している部分を抽出し、車両の走行速度が所定速度以下である場合、撮像装置から取得した画像データの車両前方を撮像している部分を抽出し、それぞれ抽出した画像データに対して画像認識処理を施す。【選択図】        図５
2006197034.tif 000002
【特許請求の範囲】
【請求項１】
外部を撮像する撮像装置と、該撮像装置で撮像した画像データを取得して、画像認識処理を施し、処理結果に基づき出力する画像データを生成する画像処理装置と、該画像処理装置で生成した画像データを取得して出力する出力装置とを備える画像認識システムにおいて、
前記撮像装置は、視野角が１８０度以上であるレンズを有し、該レンズが車両側方で略鉛直下向きになるよう配設してあり、
車両の走行速度を検出する手段と、
検出した車両の走行速度が所定速度より速いか否かを判断する手段と、
該手段で車両の走行速度が所定速度より速いと判断した場合、前記撮像装置から取得した画像データの車両後方を撮像している部分を抽出する手段と、
前記手段で車両の走行速度が所定速度以下であると判断した場合、前記撮像装置から取得した画像データの車両前方を撮像している部分を抽出する手段と
を備え、
抽出した画像データに対して画像認識処理を施すようにしてあることを特徴とする画像認識システム。
【請求項２】
車両の走行速度及び画像認識結果に基づいて、対象物までの距離及び相対速度を算出する手段と、
算出した距離及び相対速度に基づいて、衝突の危険の度合を示す危険度を算出する手段と、
算出した危険度が所定値より大きいか否かを判断する手段と、
該手段で危険度が所定値より大きいと判断した場合、前記出力装置に対して警告情報を送出する手段と
を備えることを特徴とする請求項１記載の画像認識システム。
【請求項３】
前記撮像装置を、サイドミラーに装着してあることを特徴とする請求項１又は２記載の画像認識システム。
【請求項４】
他の装置に対して撮像した画像データを送出する撮像装置において、
視野角が１８０度以上であるレンズを有し、
該レンズが車両側方で略鉛直下向きになるよう配設してあることを特徴とする撮像装置。
【請求項５】
他の装置から撮像した画像データの一部を抽出する抽出信号を受け付ける手段と、
前記抽出信号に基づいて、撮像した画像データの車両後方を撮像している部分又は車両前方を撮像している部分を抽出する手段と、
抽出した画像データを外部に対して送出する手段と
を備えることを特徴とする請求項４記載の撮像装置。
【請求項６】
サイドミラーに装着してあることを特徴とする請求項４又は５記載の撮像装置。
【請求項７】
視野角が１８０度以上であるレンズを有し、該レンズが車両側方で略鉛直下向きになるよう配設してある外部を撮像する撮像装置と、該撮像装置で撮像した画像データを取得して、画像認識処理を施し、処理結果に基づき出力する画像データを生成する画像処理装置と、該画像処理装置で生成した画像データを取得して出力する出力装置とを備え、
車両の走行速度が所定速度より速いか否かを判断し、
車両の走行速度が所定速度より速いと判断した場合、前記撮像装置から取得した画像データの車両後方を撮像している部分を抽出し、
車両の走行速度が所定速度以下であると判断した場合、前記撮像装置から取得した画像データの車両前方を撮像している部分を抽出し、
抽出した画像データに対して画像認識処理を施すことを特徴とする画像認識方法。
【請求項８】
車両の走行速度及び画像認識結果に基づいて、対象物までの距離及び相対速度を算出し、
算出した距離及び相対速度に基づいて、衝突の危険の度合を示す危険度を算出し、
算出した危険度が所定値より大きいか否かを判断し、
危険度が所定値より大きいと判断した場合、前記出力装置に対して警告情報を送出することを特徴とする請求項７記載の画像認識方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、単一の撮像装置により、車両の前方及び後方の状況を把握することができる画像認識システム、撮像装置及び画像認識方法に関する。
【背景技術】
【０００２】
自動車などの車両に、ボロメータ又は焦電型撮像素子を備えた遠赤外線カメラ、又はＣＣＤセンサ、ＣＭＯＳセンサ等を備えた可視カメラを搭載し、例えば車両前方の死角に存在する子供、自転車等の存在を認識する、あるいは車両後方の死角に存在する二輪車等の存在を認識して、運転者に注意を促す周囲監視システムが多々開発されている。
【０００３】
例えば、特許文献１では、ドアミラーに備えた撮像装置で撮像した画像に基づいて、車両前方の死角部分を遠赤外用の撮像装置で撮像する。熱源である車両の排気管、死角に存在する人間等は、他の背景部分に対して高い輝度を有する。したがって、例えば死角を走行している二輪車、死角で遊んでいる子供等の存在を確認することができる周囲監視システムが開示されている。
【０００４】
また特許文献２では、ドアミラーに備えた撮像装置で撮像した画像に基づいて、車両後方の死角から接近してくる車両を遠赤外用の撮像装置で撮像することにより、接近する車両の存在を確認することができる周囲監視システムが開示されている。
【特許文献１】特開２０００−２４２８９１号公報
【特許文献２】特開平１１−３２１４９５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、上述した従来の車両検出装置では、前方又は後方を走行している車両を検出することはできるが、それぞれ独立した撮像装置を設ける必要が有る。すなわち、前方の死角を監視する場合、撮像装置は車両の前向きに配設する必要があり、後方の死角を監視する場合は、撮像装置は車両の後ろ向きに配設する必要がある。したがって、撮像装置を別個に準備する必要があり、設置コストが高くなるという問題点があった。
【０００６】
また、前方撮像用の撮像装置と、後方撮像用の撮像装置との両方をドアミラーに配設する場合、特に設置スペースの制約が大きく、配設することができない、又はドアミラーが大型化することから、死角監視用の撮像装置を配設する位置として最適であるドアミラーに配設することが困難であるという問題点もあった。
【０００７】
本発明は、斯かる事情に鑑みてなされたものであり、ドアミラー等のサイドミラーに配設することができ、車両の前方及び後方の死角を監視することができる画像認識システム、撮像装置、及び画像認識方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために第１発明に係る画像認識システムは、外部を撮像する撮像装置と、該撮像装置で撮像した画像データを取得して、画像認識処理を施し、処理結果に基づき出力する画像データを生成する画像処理装置と、該画像処理装置で生成した画像データを取得して出力する出力装置とを備える画像認識システムにおいて、前記撮像装置は、視野角が１８０度以上であるレンズを有し、該レンズが車両側方で略鉛直下向きになるよう配設してあり、車両の走行速度を検出する手段と、検出した車両の走行速度が所定速度より速いか否かを判断する手段と、該手段で車両の走行速度が所定速度より速いと判断した場合、前記撮像装置から取得した画像データの車両後方を撮像している部分を抽出する手段と、前記手段で車両の走行速度が所定速度以下であると判断した場合、前記撮像装置から取得した画像データの車両前方を撮像している部分を抽出する手段とを備え、抽出した画像データに対して画像認識処理を施すようにしてあることを特徴とする。
【０００９】
また、第２発明に係る画像認識システムは、第１発明において、車両の走行速度及び画像認識結果に基づいて、対象物までの距離及び相対速度を算出する手段と、算出した距離及び相対速度に基づいて、衝突の危険の度合を示す危険度を算出する手段と、算出した危険度が所定値より大きいか否かを判断する手段と、該手段で危険度が所定値より大きいと判断した場合、前記出力装置に対して警告情報を送出する手段とを備えることを特徴とする。
【００１０】
また、第３発明に係る画像認識システムは、第１又は第２発明において、前記撮像装置を、サイドミラーに装着してあることを特徴とする。
【００１１】
また、第４発明に係る撮像装置は、他の装置に対して撮像した画像データを送出する撮像装置において、視野角が１８０度以上であるレンズを有し、該レンズが車両側方で略鉛直下向きになるよう配設してあることを特徴とする。
【００１２】
また、第５発明に係る撮像装置は、第４発明において、他の装置から撮像した画像データの一部を抽出する抽出信号を受け付ける手段と、前記抽出信号に基づいて、撮像した画像データの車両後方を撮像している部分又は車両前方を撮像している部分を抽出する手段と、抽出した画像データを外部に対して送出する手段とを備えることを特徴とする。
【００１３】
また、第６発明に係る撮像装置は、第４又は第５発明において、サイドミラーに装着してあることを特徴とする。
【００１４】
また、第７発明に係る画像認識方法は、視野角が１８０度以上であるレンズを有し、該レンズが車両側方で略鉛直下向きになるよう配設してある外部を撮像する撮像装置と、該撮像装置で撮像した画像データを取得して、画像認識処理を施し、処理結果に基づき出力する画像データを生成する画像処理装置と、該画像処理装置で生成した画像データを取得して出力する出力装置とを備え、車両の走行速度が所定速度より速いか否かを判断し、車両の走行速度が所定速度より速いと判断した場合、前記撮像装置から取得した画像データの車両後方を撮像している部分を抽出し、車両の走行速度が所定速度以下であると判断した場合、前記撮像装置から取得した画像データの車両前方を撮像している部分を抽出し、抽出した画像データに対して画像認識処理を施すことを特徴とする。
【００１５】
また、第８発明に係る画像認識方法は、第７発明において、車両の走行速度及び画像認識結果に基づいて、対象物までの距離及び相対速度を算出し、算出した距離及び相対速度に基づいて、衝突の危険の度合を示す危険度を算出し、算出した危険度が所定値より大きいか否かを判断し、危険度が所定値より大きいと判断した場合、前記出力装置に対して警告情報を送出することを特徴とする。
【００１６】
第１発明及び第７発明では、視野角が１８０度以上であるレンズを有する撮像装置を、例えば左右のサイドミラーにレンズが略鉛直下向きになるよう配設し、車両の走行速度に応じて該撮像装置で撮像した画像データの一部を抽出して、車両の前方又は後方の監視用に用いる。すなわち、車両の走行速度が所定速度より速い場合、前方の見通しが良いものと判断し、後方の死角から接近する車両を認識すべく撮像装置から取得した画像データの車両後方を撮像している部分を抽出する。車両の走行速度が所定速度以下である場合、慎重に走行する必要があるものと判断し、前方の死角に存在する対象物を認識すべく撮像装置から取得した画像データの車両前方を撮像している部分を抽出する。
【００１７】
これにより、単一の撮像装置で車両の前方及び後方を撮像することができることから、撮像装置を小型化することができ、例えばサイドミラーに配設する場合のように、設置スペースに物理的制約がある場合であっても、容易に取り付けることが可能となる。また、車両の走行速度に応じて、画像データのうち前方を撮像した部分又は後方を撮像した部分のみを画像認識すれば足りることから、画像認識の処理負荷を軽減することが可能となる。
【００１８】
第２発明、及び第８発明では、車両の走行速度及び画像認識結果に基づいて、衝突の危険の度合を示す危険度を算出し、算出した危険度が所定値より大きい場合に、メッセージ、警報等の警告情報を送出する。これにより、前方の死角に存在する障害物への衝突、又は後方の死角から接近してくる車両との衝突の危険度が高い場合には、運転者に対する警告情報を出力することで、未然に危険状態を回避する時間を確保することが可能となる。
【００１９】
第３発明、及び第６発明では、撮像装置を、サイドミラーに装着してあり、車両側前方及び側後方の死角を確実に撮像することができ、後方の死角から接近する車両、又は前方の死角に存在する対象物を認識することが可能となる。
【００２０】
第４発明では、視野角が１８０度以上であるレンズを有し、該レンズが車両側方で略鉛直下向きになるよう配設してあることにより、前方及び後方の映像を単一の撮像装置により撮像することができ、例えばサイドミラーに配設する場合のように、設置スペースに物理的制約がある場合であっても、容易に取り付けることが可能となる。
【００２１】
第５発明では、他の装置から撮像した画像データの一部を抽出する抽出信号を受け付け、撮像した画像データの車両後方を撮像している部分又は車両前方を撮像している部分を抽出して外部に対して送出する。これにより、車両の走行速度に応じて、画像データのうち前方を撮像した部分又は後方を撮像した部分のみ送出することができ、画像処理装置までの通信回線の負荷を軽減することができ、画像認識の処理負荷を軽減することが可能となる。
【発明の効果】
【００２２】
第１発明及び第７発明によれば、単一の撮像装置で車両の前方及び後方を撮像することができることから、撮像装置を小型化することができ、例えばサイドミラーに配設する場合のように、設置スペースに物理的制約がある場合であっても、容易に取り付けることが可能となる。また、車両の走行速度に応じて、画像データのうち前方を撮像した部分又は後方を撮像した部分のみを画像認識すれば足りることから、画像認識の処理負荷を軽減することが可能となる。
【００２３】
第２発明、及び第８発明によれば、前方の死角に存在する障害物への衝突、又は後方の死角から接近してくる車両との衝突の危険度が高い場合には、運転者に対する警告情報を出力することで、未然に危険状態を回避する時間を確保することが可能となる。
【００２４】
第３発明、及び第６発明によれば、撮像装置を、サイドミラーに装着してあり、車両側前方及び側後方の死角を確実に撮像することができ、後方の死角から接近する車両、又は前方の死角に存在する対象物を認識することが可能となる。
【００２５】
第４発明によれば、前方及び後方の映像を単一の撮像装置により撮像することができ、例えばサイドミラーに配設する場合のように、設置スペースに物理的制約がある場合であっても、容易に取り付けることが可能となる。
【００２６】
第５発明によれば、車両の走行速度に応じて、画像データのうち前方を撮像した部分又は後方を撮像した部分のみ送出することができ、画像処理装置までの通信回線の負荷を軽減することができ、画像認識の処理負荷を軽減することが可能となる。
【発明を実施するための最良の形態】
【００２７】
図１は、本発明の実施の形態に係る画像認識システムの構成を示す模式図である。１、２は、死角に存在する歩行者、二輪車に乗った人間等を撮像する遠赤外用のビデオカメラ（撮像装置）である。ビデオカメラ１、２は、車両のサイドミラー、例えばドアミラー内に、画像を撮像するレンズが略鉛直方向下向きになるよう設置してあり、レンズが１８０度より大きい視野角を有する。したがって、車両側方の前方及び後方を１台のビデオカメラで撮像することができる。ビデオカメラ１、２で撮像した画像データは、ＩＥＥＥ１３９４に準拠した車載ＬＡＮケーブル６を介して接続してある画像処理装置３に送信される。
【００２８】
画像処理装置３は、ビデオカメラ１、２の他、操作部を備えた表示装置４、及び音声、効果音等により聴覚的な警告を発する警報装置５とも、車載ＬＡＮケーブル６を介して接続されている。
【００２９】
図２は、本発明の実施の形態に係る画像認識システムの遠赤外用ビデオカメラ１（２）の構成を示すブロック図である。レンズ１１は、視野角を１８０度より大きく確保すべく、魚眼レンズを用いている。魚眼レンズの射影方式は、通常の等距離射影方式（ｙ＝ｆθ）でも良いが、周縁部の画像の歪みを最小限に抑制すべく、立体射影方式（ｙ＝２ｆｔａｎθ／２）を採用している。
【００３０】
レンズ１１は、被撮像体側より順に、被撮像体側に凸面を向けた負メニスカス形状の第１レンズ成分１１１、同じく被撮像体側に凸面を向けた負メニスカス形状の第２レンズ成分１１２、負レンズと正レンズとの接合からなり全体として負屈折力を有する第３レンズ成分１１３、及び正レンズと負レンズとの接合からなり全体として正屈折力を有する第４レンズ成分１１４とからなり、全体として負屈折力を有する前群Ｇ１と、間隔をあけて配置されており、両凸形状の正屈折力の第５レンズ成分１１５、負レンズと正レンズとの接合からなり全体として負屈折力を有する第６レンズ成分１１６、及び両凸形状の正屈折力の第７レンズ成分１１７とからなり、全体として正屈折力を有する後群Ｇ２とから構成されている。
【００３１】
開口絞りＳ、及び平行平面板であるフィルタＰは、前群Ｇ１と後群Ｇ２との間に配置してある。フィルタＰは、光学系中どこに挿入しても性能に影響はなく、また光学系中にフィルタＰの挿入がない場合であっても、魚眼レンズとしての基本的な性能に影響はない。
【００３２】
レンズ１１の材質は、Ｇｅ（ゲルマニウム）、カルコゲンガラス等の他、ＺｎＳ（硫化亜鉛）を用いても良い。ＺｎＳガラスは、焼結モールド成形することにより容易に量産することができ、製造コストを低減することができる。
【００３３】
撮像素子１２は、レンズ１１により集光された光、特に波長が８〜１２μｍの赤外光を、画素毎にアナログの撮像信号に変換するボロメータ、サーモパイル、ＳＯＩダイオード等の非冷却熱型撮像素子であり、画素毎にアナログ信号に変換された撮像信号を、内部バス１７を介して順次的に信号処理部１３へ出力する。
【００３４】
信号処理部１３は、ＬＳＩ基板であり、撮像素子１２から受信したアナログ信号を輝度（Ｙ）のデジタル信号に変換し、光学系で生じた各種の歪みを取り除くための処理、低周波ノイズの除去処理、ガンマ特性を補正する補正処理等を行い、画像データとして画像メモリ１４へ記憶する。
【００３５】
通信インタフェース部１５は、ＬＳＩ基板であり、車載ＬＡＮケーブル６を介して画像処理装置３とデータの送受信を行う。通信インタフェース部１５は、画像処理装置３から送出される指令に従って、画像メモリ１４に記憶された画像データの画像処理装置３への送出、ビデオカメラ１、２で撮像した画像の解像度による転送レートの変換、画像データを送出するためのパケットデータの生成等を行う。
【００３６】
図３は、本発明の実施の形態に係るビデオカメラ１、２をドアミラーに配設した場合の撮影可能な範囲を示す模式図である。レンズ１１がドアミラーの鉛直下向きになるようビデオカメラ１、２を配設することにより、ドアミラーよりも下方の領域であり、図３の斜線部の範囲の画像を撮像することができる。そして、後述する画像データの２分割処理により、車両前方を撮像している部分５１と、車両後方を撮像している部分５２とを抽出することができる。抽出する車両前方を撮像している部分５１及び車両後方を撮像している部分５２は、図３の例に限定されるものではなく、後述する危険度算出に必要な範囲のみに限定しても良い。例えば車両前方を撮像している部分５１では、所定距離以上離れた部分は運転者が目視で確認することができることから不要であり、側面方向（サイドミラー側）は、運転者が横を向くことで目視で確認することができることから不要である。
【００３７】
図４は、本発明の実施の形態に係る画像認識システムの画像処理装置３の構成を示すブロック図である。通信インタフェース部３１は、ビデオカメラ１、２に対する指令の送信、ビデオカメラ１、２からの画像データの受信を行う。通信インタフェース部３１は、ビデオカメラ１、２から受信した画像データを、１フレーム単位に同期させて画像メモリ３２に記憶する。
【００３８】
また、通信インタフェース部３１は、液晶ディスプレイ等の表示装置４に対して画像データを送出し、ブザー、スピーカ等の警報装置５に対して合成音等の出力信号を送信する。
【００３９】
画像メモリ３２は、ＳＲＡＭ、フラッシュメモリ等であり、通信インタフェース部３１を介してビデオカメラ１、２から受信した画像データを記憶する。
【００４０】
画像処理部３３は、ＬＳＩ基板であり、画像メモリ３２に記憶された画像データをフレーム単位で読出し、読み出した画像データを左右又は上下に２分割し、分割したいずれかの画像データに基づいて、人間の存在、二輪車等の車両の存在等を、パターンマッチング等を実行して判断する。画像処理部３３が、分割した画像データ内に人間、二輪車等の車両に対応する部分が存在すると判断した場合、画像処理部３３は、人間、二輪車等の車両に対応する部分までの距離を算出し、車両との相対速度に基づいて、車両と衝突する危険性の度合を示す危険度を算出する。また、画像処理部３３は、算出した危険度が所定値より大きいか否かを判断し、所定値より大きいと判断した場合、警告メッセージを表示、又は警告音を出力する。
【００４１】
画像処理部３３での詳細な処理について以下に説明する。本実施の形態では、車両に搭載している速度センサ７により車両の走行速度を検出し、通信インタフェース部３１を介して画像処理部３３が取得する。画像処理部３３は、車両の走行速度が所定値、例えば時速１０ｋｍより大きいか否かを判断し、時速１０ｋｍより大きいと判断した場合、車両の運転者は前方に人間、車両等の障害物が存在しないことを確認しているものと判断する。したがって、車両の後方の死角から接近する車両の有無のみを撮像装置１、２により確認すれば足りることから、画像処理部３３は、取得した画像データを上下又は左右方向に２分割し、車両後方の画像に対応する部分のみについて画像認識処理を行う。
【００４２】
画像処理部３３が、車両の走行速度が所定値、例えば時速１０ｋｍより小さいと判断した場合、車両の運転者は前方に人間、車両等の障害物が存在するか否かを注視する必要があるものと判断する。したがって、車両の前方の死角に存在する人間、車両等の有無を撮像装置１、２により確認する必要があることから、画像処理部３３は、取得した画像データを上下又は左右方向に２分割し、車両前方の画像に対応する部分のみについて画像認識処理を行う。
【００４３】
図５は、本発明の実施の形態に係る画像認識システムの画像処理装置３の画像処理部３３の処理手順を示すフローチャートである。画像処理部３３は、通信インタフェース部３１を介して速度センサ７の検出値である車両の速度を取得し（ステップＳ５０１）、車両の速度が所定値より大きいか否かを判断する（ステップＳ５０２）。
【００４４】
画像処理部３３が、検出した速度が所定値より大きいと判断した場合（ステップＳ５０２：ＹＥＳ）、画像処理部３３は、画像メモリ３２に記憶してある画像データを読出し（ステップＳ５０３）、読み出した画像データを２分割して（ステップＳ５０４）、分割した画像データのうち車両の後方を撮像した部分に対応する画像データを抽出する（ステップＳ５０５）。
【００４５】
画像処理部３３が、検出した速度が所定値以下であると判断した場合（ステップＳ５０２：ＮＯ）、画像処理部３３は、画像メモリ３２に記憶してある画像データを読出し（ステップＳ５０６）、読み出した画像データを２分割して（ステップＳ５０７）、分割した画像データのうち車両の前方を撮像した部分に対応する画像データを抽出する（ステップＳ５０８）。
【００４６】
画像データの分割方法は特に限定されるものではなく、魚眼レンズ１１を介して撮像素子１２で撮像する場合に、車両の前後方向を上下方向に撮像したか、左右方向に撮像したかに応じて、それぞれ上下方向又は左右方向に分割すれば良い。
【００４７】
また、例えば上下方向に分割された場合、上下いずれの画像が車両の前方を撮像した画像であるか否かは、ビデオカメラ１、２を左右いずれのドアミラーに配設したかに応じて固定的に設定しておけば良い。すなわち、レンズ１１は、ドアミラーから鉛直下向きに設けてあることから、同一のビデオカメラを左右に配設した場合には、左ドアミラーに配設したビデオカメラ１では、上方向の画像データが、右ドアミラーに配設したビデオカメラ２では、下方向の画像データが、それぞれ車両の前方を撮像した画像に対応する。
【００４８】
同様に、例えば左右方向に分割された場合においても、左右いずれの画像が車両の前方を撮像した画像であるか否かは、ビデオカメラ１、２を左右いずれのドアミラーに配設したかに応じて固定的に設定しておけば良い。
【００４９】
画像処理部３３は、抽出した画像データに対して、人間、二輪車等に対応する標準パターンテンプレートとのマッチング処理を行うことにより相関値Ｒを算出し（ステップＳ５０９）、相関値Ｒが所定値より大きい領域が存在するか否かを判断する（ステップＳ５１０）。画像処理部３３が、相関値Ｒが所定値より大きい領域が存在すると判断した場合（ステップＳ５１０：ＹＥＳ）、画像処理部３３は、抽出した画像データに人間、二輪車等が存在すると判断して、人間、二輪車等に対応する部分までの距離を算出する（ステップＳ５１１）。
【００５０】
相関値Ｒの算出は（数１）に沿って行われる。
【００５１】
【数１】
2006197034.tif 000003
【００５２】
（数１）において、Ｎはマッチング処理を行う画像領域の総画素数を、ｋは０≦ｋ≦（Ｎ−１）の整数を、Ｆｋは検出する対象物の温度分布を示すテンプレート内におけるｋ番目の画素の画素値を、Ｇｋはマッチング処理する画像領域におけるｋ番目の画素の画素値を、それぞれ示している。
【００５３】
なお、分割された画像領域に、人間、車両等が存在するか否かを判断する方法は、上述した検出対象である人間、車両等に固有の温度分布を示す標準テンプレートと画像領域とをマッチングすることによる相関値を単独で用いることに限定されるものではなく、人間、車両等と認識される領域の大きさ、縦横比、画素値の平均値、分散等を相関値と組み合わせて判断するものであっても良い。
【００５４】
画像処理部３３は、算出した距離及び存在を検出した人間、二輪車等との相対速度に基づいて、死角に存在する人間、二輪車等と衝突する危険性の度合を示す危険度を算出する（ステップＳ５１２）。
【００５５】
画像処理部３３は、算出した危険度が所定値より大きいか否かを判断し（ステップＳ５１３）、画像処理部３３が、危険度が所定値より大きいと判断した場合（ステップＳ５１３：ＹＥＳ）、通信インタフェース部３１を介して警告メッセージを表示、又は警告音を出力する（ステップＳ５１４）。
【００５６】
また、表示装置４及び警報装置５に対して送出する警報に関する情報は、例えば表示装置４に対しては、車両として認識された領域を強調表示した画像データである。また、警報装置５に対しては、ブザーの鳴動開始を指示する信号、再生対象となる合成音声信号等である。警報に関する情報についても、特にこれらに限定されるものではない。
【００５７】
以上のように本実施の形態によれば、単一のビデオカメラで車両の前方及び後方を撮像することができることから、ビデオカメラを小型化することができ、例えばドアミラーに配設する場合のように、設置スペースに物理的制約がある場合であっても、容易に取り付けることが可能となる。また、車両の走行速度に応じて、画像データのうち前方を撮像した部分又は後方を撮像した部分のみを画像認識すれば足りることから、画像認識の処理負荷を軽減することが可能となる。
【００５８】
なお、上述した実施の形態では、画像データを２分割して必要な画像データを抽出する処理を、画像処理装置３で実行する場合について説明しているが、撮像装置であるビデオカメラ１、２に処理用ＬＳＩを搭載し、ビデオカメラ１、２で必要な画像データを抽出しても良い。この場合、ビデオカメラ１，２は、画像処理装置３から送出された抽出信号を受信し、外部を撮像した画像データのうち、車両後方を撮像している部分又は車両前方を撮像している部分を抽出して、画像処理装置３に対して送出する。
【００５９】
このようにすることで、車両の走行速度に応じて、画像データのうち前方を撮像した部分又は後方を撮像した部分のみを、ビデオカメラ１、２から画像処理装置３へ送出することができ、ビデオカメラ１、２と画像処理装置３との間の車載ＬＡＮ６の通信負荷を軽減することができ、画像処理装置３における演算処理負荷を軽減することも可能となる。
【図面の簡単な説明】
【００６０】
【図１】本発明の実施の形態に係る画像認識システムの構成を示す模式図である。
【図２】本発明の実施の形態に係る画像認識システムの遠赤外用ビデオカメラの構成を示すブロック図である。
【図３】本発明の実施の形態に係るビデオカメラをドアミラーに配設した場合の撮影可能な範囲を示す模式図である。
【図４】本発明の実施の形態に係る画像認識システムの画像処理装置の構成を示すブロック図である。
【図５】本発明の実施の形態に係る画像認識システムの画像処理装置の画像処理部の処理手順を示すフローチャートである。
【符号の説明】
【００６１】
１、２  ビデオカメラ（撮像装置）
３  画像処理装置
４  表示装置
５  警報装置
６  車載ＬＡＮ
７  速度センサ
１１  レンズ
３１  通信インタフェース部
３２  画像メモリ
３３  画像処理部
５１  車両前方を撮像している部分
５２  車両後方を撮像している部分
【図１】
2006197034.tif 000004
【図２】
2006197034.tif 000005
【図３】
2006197034.tif 000006
【図４】
2006197034.tif 000007
【図５】
2006197034.tif 000008