(57)【要約】  【課題】  撮像した画像データにて認識された認識対象物を、実在する位置及び方向に即して表示することができる画像認識システム、及び画像認識結果出力方法を提供する。  【解決手段】  車両の外部を撮像する撮像装置と、該撮像装置で撮像した画像データを通信手段を介して取得し、画像認識処理を行い、出力する画像データを生成する画像処理装置と、該画像処理装置で生成した画像データを取得して出力する出力装置とを備える画像認識システムにおいて、画像処理装置は、撮像装置から取得した画像データ中の認識対象物を認識する手段と、認識された認識対象物の実在する位置及び方向を推定する手段とを備え、出力装置は、認識対象物が実在する位置及び方向に対応する情報を、運転時の視界の範囲内で表示する手段を備える。【選択図】        図４
2006171885.tif 000002
【特許請求の範囲】
【請求項１】
外部を撮像する撮像装置と、該撮像装置で撮像した画像データを取得して、画像認識処理を施し、処理結果に基づき出力する画像データを生成する画像処理装置と、該画像処理装置で生成した画像データを取得して出力する出力装置とを備える画像認識システムにおいて、
前記画像処理装置は、
前記撮像装置から取得した画像データ中の認識対象物を認識する手段と、
認識された認識対象物の実在する位置及び方向を推定する手段とを備え、
前記出力装置は、
認識対象物が実在する位置及び方向に対応する情報を、運転時の視界の範囲内で表示する手段を備えることを特徴とする画像認識システム。
【請求項２】
前記出力装置は、ダッシュボードの運転席側の上面に並置してある複数の発光体であり、認識対象物が実在する位置及び方向に対応する発光体が発光するようにしてあることを特徴とする請求項１記載の画像認識システム。
【請求項３】
前記出力装置は、ダッシュボードの運転席側の上面に着脱可能な表示部であり、該表示部は並置してある複数の発光体を備え、認識対象物が実在する位置及び方向に対応する発光体が発光するようにしてあることを特徴とする請求項１記載の画像認識システム。
【請求項４】
前記出力装置は、インスツルメンタルパネル内に並置してある複数の発光体であり、認識対象物が実在する位置及び方向に対応する発光体が発光するようにしてあることを特徴とする請求項１記載の画像認識システム。
【請求項５】
前記複数の発光体は、操舵部材を中心とした円弧状に並置してあることを特徴とする請求項２乃至４のいずれか一項に記載の画像認識システム。
【請求項６】
前記出力装置は、ダッシュボードの運転席側の上面に、操舵部材を中心として放射状に並置してある複数の発光体であり、認識対象物が実在する位置及び方向に対応する一連の発光体が発光するようにしてあることを特徴とする請求項１記載の画像認識システム。
【請求項７】
前記出力装置は、ダッシュボードの運転席側の上面に着脱可能な表示部であり、該表示部は操舵部材を中心として放射状に並置してある複数の発光体であり、認識対象物が実在する位置及び方向に対応する一連の発光体が発光するようにしてあることを特徴とする請求項１記載の画像認識システム。
【請求項８】
前記出力装置は、インスツルメンタルパネル内に、操舵部材を中心として放射状に並置してある複数の発光体であり、認識対象物が実在する位置及び方向に対応する一連の発光体が発光するようにしてあることを特徴とする請求項１記載の画像認識システム。
【請求項９】
前記画像処理装置は、
前記認識対象物が実在する位置及び方向に応じて、危険である度合を示す危険度を算出する手段を備え、
前記出力装置は、前記危険度に応じて前記発光体の発光を変更する発光変更手段を備えることを特徴とする請求項２乃至８のいずれか一項に記載の画像認識システム。
【請求項１０】
前記発光変更手段は、
前記危険度に応じて、前記発光体の明るさを変更するようにしてあることを特徴とする請求項９記載の画像認識システム。
【請求項１１】
前記発光変更手段は、
前記危険度に応じて、前記発光体の色彩を変更するようにしてあることを特徴とする請求項９記載の画像認識システム。
【請求項１２】
外部を撮像した画像データに画像認識処理を施し、処理結果に基づき生成された画像データを取得して出力する出力装置での画像認識結果出力方法において、
前記出力装置は、
撮像された画像データ中の認識対象物を認識して、該認識対象物の実在する位置及び方向に対応する情報を外部から取得し、
取得した認識対象物が実在する位置及び方向に対応する情報を、運転時の視界の範囲内で表示することを特徴とする画像認識結果出力方法。
【請求項１３】
前記出力装置は、ダッシュボードの運転席側の上面に並置してある複数の発光体であり、認識対象物が実在する位置及び方向に対応する発光体が発光することを特徴とする請求項１２記載の画像認識結果出力方法。
【請求項１４】
前記出力装置は、ダッシュボードの運転席側の上面に着脱可能な表示部であり、該表示部は並置してある複数の発光体を備え、認識対象物が実在する位置及び方向に対応する発光体が発光することを特徴とする請求項１２記載の画像認識結果出力方法。
【請求項１５】
前記出力装置は、インスツルメンタルパネル内に並置してある複数の発光体であり、認識対象物が実在する位置及び方向に対応する発光体が発光することを特徴とする請求項１２記載の画像認識結果出力方法。
【請求項１６】
前記複数の発光体は、操舵部材を中心とした円弧状に並置してあることを特徴とする請求項１３乃至１５のいずれか一項に記載の画像認識結果出力方法。
【請求項１７】
前記出力装置は、ダッシュボードの運転席側の上面に、操舵部材を中心として放射状に並置してある複数の発光体であり、認識対象物が実在する位置及び方向に対応する一連の発光体が発光することを特徴とする請求項１２記載の画像認識結果出力方法。
【請求項１８】
前記出力装置は、ダッシュボードの運転席側の上面に着脱可能な表示部であり、該表示部は操舵部材を中心として放射状に並置してある複数の発光体であり、認識対象物が実在する位置及び方向に対応する一連の発光体が発光することを特徴とする請求項１２記載の画像認識結果出力方法。
【請求項１９】
前記出力装置は、インスツルメンタルパネル内に、操舵部材を中心として放射状に並置してある複数の発光体であり、認識対象物が実在する位置及び方向に対応する一連の発光体が発光することを特徴とする請求項１２記載の画像認識結果出力方法。
【請求項２０】
前記画像処理装置は、前記認識対象物が実在する位置及び方向に応じて、危険である度合を示す危険度を算出し、
前記出力装置は、前記危険度に応じて前記発光体の発光を変更することを特徴とする請求項１３乃至１９のいずれか一項に記載の画像認識結果出力方法。
【請求項２１】
前記発光変更手段は、前記危険度に応じて、前記発光体の明るさを変更することを特徴とする請求項２０記載の画像認識結果出力方法。
【請求項２２】
前記発光変更手段は、前記危険度に応じて、前記発光体の色彩を変更することを特徴とする請求項２０記載の画像認識結果出力方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、外部を撮像する撮像装置が撮像した画像データに基づいて、歩行者の存在を認識した場合に、認識対象物の存在を運転中の視線を移動することなく確認することができる画像認識システム、及び画像認識結果出力方法に関する。
【背景技術】
【０００２】
自動車などの車両に、ボロメータ又は焦電型撮像素子を備えた遠赤外用の撮像装置を搭載し、例えば夜間走行時に、車両前方の歩行者、自転車等の存在を認識して運転者に注意を促す周囲監視システムが多々開発されている。
【０００３】
すなわち、遠赤外用の撮像装置で人間を撮像した場合、熱源である人間は他の背景物に対して高い輝度を有する。従来の周囲監視システムは、予め人間の体温分布に応じた輝度分布を示す基準パターンを記憶しておき、遠赤外用の撮像装置で撮像した画像データと記憶してある基準パターンとをパターンマッチングすることにより、人間が存在する領域を特定することが可能となっている（非特許文献１参照）。
【非特許文献１】「ホンダ  アールアンドディー  テクニカル  レビュー  (Honda R&D Technical Review)」 Vol.13 No.1、２００１年４月
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上述した従来の周囲監視システムの多くは、歩行者の存在を認識した結果を、例えばヘッドアップディスプレイに表示することにより運転者に対して警告表示を行っている。しかし、運転者がヘッドアップディスプレイに表示された警告表示を確認するためには、運転中であるにもかかわらず視線を大きく移動させる必要が有り、運転中の安全の観点から好ましくないという問題点があった。
【０００５】
一方、従来の周囲監視システムは、画角１０乃至１２度の撮像装置により、前方に特定の部分のみを撮像し、比較的遠方に存在する歩行者まで認識することが可能な構成となっている。しかし、ヘッドアップディスプレイに表示する場合、実際の目線との乖離が大きく、歩行者の存在する位置を運転者が直感的に把握することが困難であることから、危険を未然に回避することが困難となるおそれがあるという問題点があった。
【０００６】
本発明は、斯かる事情に鑑みてなされたものであり、撮像した画像データにて認識された認識対象物を、実在する位置及び方向に即して表示することができる画像認識システム、及び画像認識結果出力方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために第１発明に係る画像認識システムは、外部を撮像する撮像装置と、該撮像装置で撮像した画像データを取得して、画像認識処理を施し、処理結果に基づき出力する画像データを生成する画像処理装置と、該画像処理装置で生成した画像データを取得して出力する出力装置とを備える画像認識システムにおいて、前記画像処理装置は、前記撮像装置から取得した画像データ中の認識対象物を認識する手段と、認識された認識対象物の実在する位置及び方向を推定する手段とを備え、前記出力装置は、認識対象物が実在する位置及び方向に対応する情報を、運転時の視界の範囲内で表示する手段を備えることを特徴とする。
【０００８】
また、第２発明に係る画像認識システムは、第１発明において、前記出力装置は、ダッシュボードの運転席側の上面に並置してある複数の発光体であり、認識対象物が実在する位置及び方向に対応する発光体が発光するようにしてあることを特徴とする。
【０００９】
また、第３発明に係る画像認識システムは、第１発明において、前記出力装置は、ダッシュボードの運転席側の上面に着脱可能な表示部であり、該表示部は並置してある複数の発光体を備え、認識対象物が実在する位置及び方向に対応する発光体が発光するようにしてあることを特徴とする。
【００１０】
また、第４発明に係る画像認識システムは、第１発明において、前記出力装置は、インスツルメンタルパネル内に並置してある複数の発光体であり、認識対象物が実在する位置及び方向に対応する発光体が発光するようにしてあることを特徴とする。
【００１１】
また、第５発明に係る画像認識システムは、第２乃至第４発明のいずれか１つにおいて、前記複数の発光体は、操舵部材を中心とした円弧状に並置してあることを特徴とする。
【００１２】
また、第６発明に係る画像認識システムは、第１発明において、前記出力装置は、ダッシュボードの運転席側の上面に、操舵部材を中心として放射状に並置してある複数の発光体であり、認識対象物が実在する位置及び方向に対応する一連の発光体が発光するようにしてあることを特徴とする。
【００１３】
また、第７発明に係る画像認識システムは、第１発明において、前記出力装置は、ダッシュボードの運転席側の上面に着脱可能な表示部であり、該表示部は操舵部材を中心として放射状に並置してある複数の発光体であり、認識対象物が実在する位置及び方向に対応する一連の発光体が発光するようにしてあることを特徴とする。
【００１４】
また、第８発明に係る画像認識システムは、第１発明において、前記出力装置は、インスツルメンタルパネル内に、操舵部材を中心として放射状に並置してある複数の発光体であり、認識対象物が実在する位置及び方向に対応する一連の発光体が発光するようにしてあることを特徴とする。
【００１５】
また、第９発明に係る画像認識システムは、第２乃至第８発明のいずれか１つにおいて、前記画像処理装置は、前記認識対象物が実在する位置及び方向に応じて、危険である度合を示す危険度を算出する手段を備え、前記出力装置は、前記危険度に応じて前記発光体の発光を変更する発光変更手段を備えることを特徴とする。
【００１６】
また、第１０発明に係る画像認識システムは、第９発明において、前記発光変更手段は、前記危険度に応じて、前記発光体の明るさを変更するようにしてあることを特徴とする。
【００１７】
また、第１１発明に係る画像認識システムは、第９発明において、前記発光変更手段は、前記危険度に応じて、前記発光体の色彩を変更するようにしてあることを特徴とする。
【００１８】
また、第１２発明に係る画像認識結果出力方法は、外部を撮像した画像データに画像認識処理を施し、処理結果に基づき生成された画像データを取得して出力する出力装置での画像認識結果出力方法において、前記出力装置は、撮像された画像データ中の認識対象物を認識して、該認識対象物の実在する位置及び方向に対応する情報を外部から取得し、取得した認識対象物が実在する位置及び方向に対応する情報を、運転時の視界の範囲内で表示することを特徴とする。
【００１９】
また、第１３発明に係る画像認識結果出力方法は、第１２発明において、前記出力装置は、ダッシュボードの運転席側の上面に並置してある複数の発光体であり、認識対象物が実在する位置及び方向に対応する発光体が発光することを特徴とする。
【００２０】
また、第１４発明に係る画像認識結果出力方法は、第１２発明において、前記出力装置は、ダッシュボードの運転席側の上面に着脱可能な表示部であり、該表示部は並置してある複数の発光体を備え、認識対象物が実在する位置及び方向に対応する発光体が発光することを特徴とする。
【００２１】
また、第１５発明に係る画像認識結果出力方法は、第１２発明において、前記出力装置は、インスツルメンタルパネル内に並置してある複数の発光体であり、認識対象物が実在する位置及び方向に対応する発光体が発光することを特徴とする。
【００２２】
また、第１６発明に係る画像認識結果出力方法は、第１３乃至第１５発明のいずれか１つにおいて、前記複数の発光体は、操舵部材を中心とした円弧状に並置してあることを特徴とする。
【００２３】
また、第１７発明に係る画像認識結果出力方法は、第１２発明において、前記出力装置は、ダッシュボードの運転席側の上面に、操舵部材を中心として放射状に並置してある複数の発光体であり、認識対象物が実在する位置及び方向に対応する一連の発光体が発光することを特徴とする。
【００２４】
また、第１８発明に係る画像認識結果出力方法は、第１２発明において、前記出力装置は、ダッシュボードの運転席側の上面に着脱可能な表示部であり、該表示部は操舵部材を中心として放射状に並置してある複数の発光体であり、認識対象物が実在する位置及び方向に対応する一連の発光体が発光することを特徴とする。
【００２５】
また、第１９発明に係る画像認識結果出力方法は、第１２発明において、前記出力装置は、インスツルメンタルパネル内に、操舵部材を中心として放射状に並置してある複数の発光体であり、認識対象物が実在する位置及び方向に対応する一連の発光体が発光することを特徴とする。
【００２６】
また、第２０発明に係る画像認識結果出力方法は、第１３乃至１９発明のいずれか１つにおいて、前記画像処理装置は、前記認識対象物が実在する位置及び方向に応じて、危険である度合を示す危険度を算出し、前記出力装置は、前記危険度に応じて前記発光体の発光を変更することを特徴とする。
【００２７】
また、第２１発明に係る画像認識結果出力方法は、第２０発明において、前記発光変更手段は、前記危険度に応じて、前記発光体の明るさを変更することを特徴とする。
【００２８】
また、第２２発明に係る画像認識結果出力方法は、第２０発明において、前記発光変更手段は、前記危険度に応じて、前記発光体の色彩を変更することを特徴とする。
【００２９】
第１発明及び第１２発明では、外部を撮像する画像データにつき、認識対象物を認識して、認識対象物の実在する位置及び方向を推定し、推定した位置及び方向に対応する情報を、運転時の視界の範囲内で表示する。これにより、運転者は、運転中に視線を前方から大きく移動させること無く、歩行者等の存在、存在する位置及び方向を視覚により直感的に把握することができ、必要な場合には危険回避行動をとることで安全を確保することが可能となる。
【００３０】
第２発明及び第１３発明では、出力装置は、ダッシュボードの運転席側の上面に並置してある複数の発光体であり、認識対象物が実在する位置及び方向に対応する発光体が発光する。これにより、認識対象物が実在すると推定された方向に対応する方向に配置してある発光体がダッシュボード上で発光することから、運転者は視線を大きく移動することなく歩行者等の存在する位置と方向を直感的に把握することができ、必要な場合には危険回避行動をとることで安全を確保することが可能となる。
【００３１】
第３発明及び第１４発明では、出力装置は、ダッシュボードの運転席側の上面に着脱可能な表示部であり、該表示部は並置してある複数の発光体を備え、認識対象物が実在する位置及び方向に対応する発光体が発光する。これにより、認識対象物が実在すると推定された方向に対応する方向に配置してある発光体がダッシュボード上で発光することから、運転者は視線を大きく移動することなく歩行者等の存在する位置と方向を直感的に把握することができ、必要な場合には危険回避行動をとることで安全を確保することが可能となる。また、目視による確認が容易な日中は、出力装置を装着せずに広い視界を確保することができ、目視による確認が困難な夜間は、出力装置を装着して、歩行者等の存在する位置と方向を直感的に把握することが可能となる。
【００３２】
第４発明及び第１５発明では、出力装置は、インスツルメンタルパネル内に並置してある複数の発光体であり、認識対象物が実在する位置及び方向に対応する発光体が発光する。これにより、認識対象物が実在すると推定された方向に対応する方向に配置してある発光体がインスツルメンタルパネル内で発光することから、運転者は視線を大きく移動することなく歩行者等の存在する位置と方向を直感的に把握することができ、必要な場合には危険回避行動をとることで安全を確保することが可能となる。
【００３３】
第５発明及び第１６発明では、複数の発光体は、運転者の視点と略一致する操舵部材を中心とした円弧状に並置してある。これにより、視覚的に運転者から見た方向と一致する方向に配置してある発光体をダッシュボード上又はインスツルメンタルパネル内で発光することから、運転者は視線を大きく移動することなく歩行者等の存在する位置と方向を直感的に把握することができ、必要な場合には危険回避行動をとることで安全を確保することが可能となる。
【００３４】
第６発明及び第１７発明では、出力装置は、ダッシュボードの運転席側の上面に、操舵部材を中心として放射状に並置してある複数の発光体であり、認識対象物が実在する位置及び方向に対応する一連の発光体が発光する。これにより、視覚的に運転者から見た方向と一致する方向に放射状に配置してある一連の発光体をダッシュボード上で発光することから、運転者は視線を大きく移動することなく歩行者等の存在する位置と方向を直感的に把握することができ、必要な場合には危険回避行動をとることで安全を確保することが可能となる。
【００３５】
第７発明及び第１８発明では、出力装置は、ダッシュボードの運転席側の上面に着脱可能な表示部であり、該表示部は操舵部材を中心として放射状に並置してある複数の発光体であり、認識対象物が実在する位置及び方向に対応する一連の発光体が発光する。これにより、視覚的に運転者から見た方向と一致する方向に放射状に配置してある一連の発光体をダッシュボード上で発光することから、運転者は視線を大きく移動することなく歩行者等の存在する位置と方向を直感的に把握することができ、必要な場合には危険回避行動をとることで安全を確保することが可能となる。また、目視による確認が容易な日中は、出力装置を装着せずに広い視界を確保することができ、目視による確認が困難な夜間は、出力装置を装着して、歩行者等の存在する位置と方向を直感的に把握することが可能となる。
【００３６】
第８発明及び第１９発明では、出力装置は、インスツルメンタルパネル内に、操舵部材を中心として放射状に並置してある複数の発光体であり、認識対象物が実在する位置及び方向に対応する一連の発光体が発光する。これにより、視覚的に運転者から見た方向と一致する方向に放射状に配置してある一連の発光体をインスツルメンタルパネル内で発光することから、運転者は視線を大きく移動することなく歩行者等の存在する位置と方向を直感的に把握することができ、必要な場合には危険回避行動をとることで安全を確保することが可能となる。
【００３７】
第９発明及び第２０発明では、認識対象物が実在する位置及び方向に応じて、危険である度合を示す危険度を算出し、算出した危険度に応じて発光体の発光を変更する。これにより、運転者は視線を大きく移動することなく歩行者等の存在する位置、方向、及び危険度の大小を直感的に把握することができ、必要な場合には危険回避行動をとることで安全を確保することが可能となる。
【００３８】
第１０発明及び第２１発明では、危険度に応じて、発光体の明るさを変更する。例えば危険度が高いほど発光体が明るく発光することにより、運転者は視線を大きく移動することなく歩行者等の存在する位置、方向、及び危険度の大小を直感的に把握することができ、必要な場合には危険回避行動をとることで安全を確保することが可能となる。
【００３９】
第１１発明及び第２２発明では、危険度に応じて、発光体の色彩を変更する。例えば危険度が高い場合には発光体が赤く発光し、危険度が低い場合には発光体が黄色く発光することにより、運転者は視線を大きく移動することなく歩行者等の存在する位置、方向、及び危険度の大小を直感的に把握することができ、必要な場合には危険回避行動をとることで安全を確保することが可能となる。
【発明の効果】
【００４０】
本発明によれば、例えば認識対象物が実在すると推定された方向に対応する方向に配置してある発光体がダッシュボード上又はインスツルメンタルパネル内で発光する、視覚的に運転者から見た方向と一致する方向に放射状に配置してある一連の発光体をダッシュボード上又はインスツルメンタルパネル内で発光する等により、運転者は、運転中に視線を前方から大きく移動させること無く、歩行者等の存在、存在する位置及び方向を視覚により直感的に把握することができ、必要な場合には危険回避行動をとることで安全を確保することが可能となる。
【００４１】
また、危険度に応じて発光体の発光を変化させることにより、運転者は、運転中に視線を前方から大きく移動させること無く、歩行者等の存在、存在する位置、方向、及び危険度の大小を視覚により直感的に把握することができ、必要な場合には危険回避行動をとることで安全を確保することが可能となる。
【００４２】
また、目視による確認が容易な日中は、出力装置を装着せずに広い視界を確保することができ、目視による確認が困難な夜間は、出力装置を装着して、歩行者等の存在する位置、方向、危険度の大小を直感的に把握し、必要な場合には危険回避行動をとることで安全を確保することが可能となる。
【発明を実施するための最良の形態】
【００４３】
図１は、本発明の実施の形態に係る画像認識システムの構成を示す模式図である。本実施の形態では、画像認識システムを車両に搭載した場合を例として説明する。１、２は、夜間の歩行者、自転車に乗った人間等を撮像する遠赤外用のビデオカメラ（撮像装置）である。ビデオカメラ１、２は、車両のフロントグリル内に、適長の間隔を隔てて略水平方向に並置してある。撮像した画像データは、ＩＥＥＥ１３９４に準拠した車載ＬＡＮケーブル６を介して接続してある画像処理装置３に送信される。
【００４４】
画像処理装置３は、ビデオカメラ１、２の他、操作部を備えた表示装置４、及び音声、効果音等により聴覚的な警告を発する警報装置５とも、車載ＬＡＮケーブル６を介して接続されている。
【００４５】
図２は、本発明の実施の形態に係る画像認識システムの遠赤外用ビデオカメラ１の構成を示すブロック図である。画像撮像部１１は、光学信号を電気信号に変換する撮像素子を備えている。画像撮像部１１は、車両の周囲の赤外光像をＲＧＢ（Ｒ：赤、Ｇ：緑、Ｂ：青）のアナログ信号として読み取り、読み取ったＲＧＢ信号を、内部バス１５を介して信号処理部１２へ送信する。
【００４６】
信号処理部１２は、ＬＳＩ基板であり、画像撮像部１１から受信したアナログ信号をＲＧＢのデジタル信号に変換し、光学系で生じた各種の歪みを取り除くための処理、低周波ノイズの除去処理、ガンマ特性を補正する補正処理等を行う。さらに、ＲＧＢ信号をＹＵＶ（Ｙ：輝度、Ｕ、Ｖ：色差）信号に変換し、変換したＹＵＶ信号を画像データとして画像メモリ１３へ記憶する。
【００４７】
通信インタフェース部１４は、ＬＳＩ基板であり、車載ＬＡＮケーブル６を介して画像処理装置３とデータの送受信を行う。通信インタフェース部１４は、画像処理装置３から送出される指令に従って、画像メモリ１３に記憶された画像データの画像処理装置３への送出、ビデオカメラ１、２で撮像した画像の解像度による転送レートの変換、画像データを送出するためのパケットデータの生成等を行う。
【００４８】
図３は、本発明の実施の形態に係る画像認識システムの画像処理装置３の構成を示すブロック図である。通信インタフェース部３１は、ビデオカメラ１、２に対する指令の送信、ビデオカメラ１、２からの画像データの受信を行う。通信インタフェース部３１は、ビデオカメラ１、２から受信した画像データを、１フレーム単位に同期させて画像メモリ３２に記憶する。
【００４９】
また、通信インタフェース部３１は、液晶ディスプレイ等の表示装置４に対して画像データを送出し、ブザー、スピーカ等の警報装置５に対して合成音等の出力信号を送信する。
【００５０】
画像メモリ３２は、ＳＲＡＭ、フラッシュメモリ等であり、通信インタフェース部３１を介してビデオカメラ１、２から受信した画像データを記憶する。
【００５１】
画像処理部３３は、ＬＳＩ基板であり、画像メモリ３２に記憶された画像データをフレーム単位で読出し、読み出した画像データ中に直線部分又は角部分と認識する部分が存在するか否かを判断する。画像処理部３３が、直線部分又は角部分と認識する部分が存在すると判断した場合、画像処理部３３は、直線部分又は角部分を含む認識領域を画像データから削除し、通信インタフェース部３１を介して表示装置４へ削除処理を施した後の画像データを送出する。また、画像処理部３３は、演算処理の途上で生成したデータを記憶するＲＡＭを内蔵している。
【００５２】
画像処理部３３での詳細な処理について以下に説明する。図４は、本発明の実施の形態に係る画像認識システムの画像処理装置３の画像処理部３３の歩行者等の認識処理の手順を示すフローチャートである。
【００５３】
画像処理部３３は、画像メモリ３２に記憶してある画像データを読出し（ステップＳ４０１）、画素値に基づいてエッジ部分を抽出する（ステップＳ４０２）。エッジ部分の抽出方法は特に限定されるものではない。例えば、以下に示すように、ラプラシアンフィルタを用いてエッジ部分を抽出する。
【００５４】
ラプラシアンフィルタは、所定の画素の画素値と該画素の周囲に存在する画素の画素値とを対比し、画素値の差分値が所定の閾値より大きい場合に‘１’を出力し、所定の閾値より小さい場合に‘０’を出力する。すなわち、周囲の画素と画素値の差分が所定の閾値より大きい場合、エッジ部分であるとして‘１’を出力する。（数１）は、所定の画素の上下左右に存在する画素の画素値を用いる場合のラプラシアンフィルタにおける演算処理を示す数式である。
【００５５】
【数１】
2006171885.tif 000003
【００５６】
（数１）において、ｆ（ｘ、ｙ）は、受け付けた画像データにおける所定の位置での画素の画素値を、ｇ（ｘ、ｙ）は、エッジ画素の画素値を、ＴＨは所定の閾値を、それぞれ示している。ラプラシアンフィルタにより画素値が‘１’となった画素をエッジ部分として抽出する。
【００５７】
画像処理部３３は、歩行者が存在するか否かを判断するのに使用する特徴量、例えば人間の標準的な温度分布を示すテンプレートと抽出したエッジ部分で構成される画像データとをマッチングすることによる相関値を算出し（ステップＳ４０３）、相関値が所定の閾値より大きい領域が存在するか否かを判断する（ステップＳ４０４）。画像処理部３３が、相関値が所定の閾値より大きい領域が存在すると判断した場合（ステップＳ４０４：ＹＥＳ）、画像処理部３３は、該領域が歩行者を示す領域であると判断して、表示装置４及び警報装置５に対して、通信インタフェース部３１を介して警報に関する情報を送出する（ステップＳ４０５）。
【００５８】
なお、画像処理部３３が、歩行者が存在するか否かを判断するのに使用する特徴量として、人間の標準的な温度分布を示すテンプレートと、抽出したエッジ部分で構成される画像データ（ラプラシアンフィルタ適用後の画像データ）とをマッチングすることにより算出した相関値Ｒを用いる場合、相関値Ｒは（数２）に基づいて算出される。
【００５９】
【数２】
2006171885.tif 000004
【００６０】
（数２）において、Ｎはマッチング処理を行う領域の総画素数を、ｋは０≦ｋ≦（Ｎ−１）の整数を、Ｆｋは人間の標準的な温度分布を示すテンプレート内におけるｋ番目の画素の画素値を、Ｇｋはマッチング処理する画像におけるｋ番目の画素の画素値を、それぞれ示している。
【００６１】
なお、抽出したエッジ部分が歩行者と認識すべき画像であるか否かを判断するのに使用する特徴量としては、上述した人間の標準的な温度分布を示すテンプレートと画像データとをマッチングすることによる相関値に限定されるものではなく、歩行者と認識される領域の大きさ、縦横比、画素値の平均値、分散等、歩行者と認識される領域を特定することが可能な特徴量であれば何でも良いし、これらを組み合わせて判断するものであっても良い。
【００６２】
上述した処理により、歩行者と認識された対象物と自車両との距離、及び歩行者と認識された対象物への方向は、ビデオカメラ１、２をステレオ配置しておき、左右のビデオカメラ１、２の画像データをステレオ画像処理することにより、画像処理部３３が算出する。なお、別途レーダ装置を車両前方下部に装着しておき、直接的に歩行者と認識された対象物と自車両との距離、及び歩行者と認識された対象物への方向を測定するものであっても良い。
【００６３】
表示装置（出力装置）４は、画像を表示するディスプレイに限定されるものではなく、運転者が、運転中に大きく視線を移動することなく状況を確認できるようにしてある。例えば運転席側のダッシュボードの上側に複数の発光体を配設し、歩行者と認識された対象物が存在する方向に応じて、実際に存在すると推定される方向に対応する発光体を発光させる。図５は、発光体の配置状態の例を示す平面図である。
【００６４】
図５（ａ）の例では、ダッシュボード５１の操舵部材５２が取り付けてある側の上面に、複数の発光体５３、５３、・・・を一列に並べて配置してある。この場合、歩行者と認識された対象物が存在する方向は、操舵部材５２の取り付けてある位置、すなわち操舵部材５２の中心点を基準に決定する。図５（ａ）では、右から２番目のハッチングしてある発光体５３が発光している状態であることを示しており、歩行者と認識された対象物が、破線矢印で示す方向に存在することを、運転者が視線を大きく移動することなく確認することができる。
【００６５】
図５（ｂ）の例では、ダッシュボード５１の操舵部材５２が取り付けてある側の上面に、複数の発光体５３、５３、・・・を、操舵部材５２の取り付けてある位置、すなわち操舵部材５２の中心点を中心とした略円弧上に一列に並べて配置してある。歩行者と認識された対象物が存在する方向は、図５（ａ）と同様、操舵部材５２の取り付けてある位置、すなわち操舵部材５２の中心点を基準に決定する。図５（ｂ）では、左から２番目のハッチングしてある発光体５３が発光している状態であることを示しており、歩行者と認識された対象物が、破線矢印で示す方向に存在することを、運転者が視線を大きく移動することなく確認することができる。
【００６６】
また、画像処理部３３が算出した歩行者と認識された対象物と自車両との距離、及び歩行者と認識された対象物への方向に基づいて、画像処理部３３は危険度を算出することが望ましい。すなわち、歩行者との距離が近いほど危険度を高く算出する。
【００６７】
図５（ｃ）の例では、ダッシュボード５１の操舵部材５２が取り付けてある側の上面のみを示しており、複数の発光体５３、５３、・・・を、操舵部材５２の取り付けてある位置、すなわち操舵部材５２の中心点を中心として、放射状に４列の発光体５３、５３、・・・を配置してある。歩行者と認識された対象物が存在する方向は、図５（ａ）、（ｂ）と同様、操舵部材５２の取り付けてある位置、すなわち操舵部材５２の中心点を基準に決定する。図５（ｃ）では、一番右に位置する列のハッチングしてある発光体５３、５３、・・・が発光している状態であることを示しており、歩行者と認識された対象物が、一番右に位置する発光体列の方向に存在することを、運転者が視線を大きく移動することなく確認することができる。
【００６８】
また、発光体５３、５３、・・・は、一番右に位置する発光体列の手前から４個のみが発光している。すなわち、本実施例では、画像処理部３３が算出した危険度に応じて、危険度レベルを１乃至５と階段的に定め、危険度レベルに対応した１乃至５個の発光体が発光するようにしてある。したがって、算出した危険度がレベル‘４’であった場合、図５（ｃ）のように発光体を発光体列の手前から４個発光する。
【００６９】
危険度に応じて発光体の発光を変更する方法は、特にこれに限定されるものではなく、発光体５３、５３、・・・の発光する色彩を変更するものであっても良い。例えば、危険度が高い場合には赤色、低い場合には黄色に発光させることにより、運転者は、運転中に大きく視線を移動することなく状況を確認することができる。
【００７０】
また、警報装置５に対して送出する警報に関する情報に、上述した危険度を示す情報を付与しても良く、例えば危険度が所定の閾値以上であると画像処理部３３が判断した場合に、ブザーの鳴動開始を指示する信号、再生対象となる合成音声信号等を警報装置５に対して送出することが望ましい。
【００７１】
以上のように本実施の形態によれば、例えば認識対象物が実在すると推定された方向に対応する方向に配置してある発光体５３、５３、・・・がダッシュボード５１上で発光する、視覚的に運転者から見た方向と一致する方向に放射状に配置してある一連の発光体５３、５３、・・・をダッシュボード５１上で発光する等により、運転者は、運転中に視線を前方から大きく移動させること無く、歩行者等の存在、存在する位置及び方向を視覚により直感的に把握することができ、必要な場合には危険回避行動をとることで安全を確保することが可能となる。
【００７２】
また、危険度に応じて発光体の発光を変化させることにより、運転者は、運転中に視線を前方から大きく移動させること無く、歩行者等の存在、存在する位置、方向、及び危険度の大小を視覚により直感的に把握することができ、必要な場合には危険回避行動をとることで安全を確保することが可能となる。
【００７３】
なお、表示装置４は、ダッシュボード５１に内蔵するものに限定されるものではなく、ダッシュボード５１に着脱可能なものであっても良い。この場合、目視による確認が容易な日中は、表示装置４を装着せずに広い視界を確保することができ、目視による確認が困難な夜間にのみ表示装置４を装着して、歩行者等の存在する位置、方向、危険度の大小を直感的に把握し、必要な場合には危険回避行動をとることで安全を確保することが可能となる。
【００７４】
また、インスツルメンタルパネル内に表示部分を設けても良く、運転者が運転中の姿勢を変更することなく、目視により容易に確認することができる位置に表示部分を装着することができる方法であれば何でも良い。
【図面の簡単な説明】
【００７５】
【図１】本発明の実施の形態に係る画像認識システムの構成を示す模式図である。
【図２】本発明の実施の形態に係る画像認識システムの遠赤外用ビデオカメラの構成を示すブロック図である。
【図３】本発明の実施の形態に係る画像認識システムの画像処理装置の構成を示すブロック図である。
【図４】本発明の実施の形態に係る画像認識システムの画像処理装置の画像処理部の歩行者等の認識処理の手順を示すフローチャートである。
【図５】発光体の配置状態の例を示す平面図である。
【符号の説明】
【００７６】
１、２  ビデオカメラ
３  画像処理装置
４  表示装置
５  警報装置
３１  通信インタフェース部
３２  画像メモリ
３３  画像処理部
５１  ダッシュボード
５３  発光体
【図１】
2006171885.tif 000005
【図２】
2006171885.tif 000006
【図３】
2006171885.tif 000007
【図４】
2006171885.tif 000008
【図５】
2006171885.tif 000009