(57)【要約】【課題】単眼で撮像された画像から効率的に物体を判別することを課題とする。【解決手段】単眼カメラで撮像された画像に対して顕著性算出手法を適用して判別の対象となる物体（ここでは、歩行者）を検出する（図１の（１）参照）。かかる物体検出によって判別対象となる候補物体が検出されると、検出された物体に対してニューラルネットワーク手法を適用して候補物体が歩行者であるかを判別する（図１の（２）参照）。さらに、上記した物体判別によって得られた判別結果の他に、レーダによって得られた物体に対する距離情報（車両から物体までの距離）を用いて、物体との衝突危険度を判定し、この判定結果に応じて車両制御や報知制御を行う（図１の（３）および（４）参照）。【選択図】        図１
2007148835.tif 000002
【特許請求の範囲】
【請求項１】
単眼で撮像された画像に基づいて画像内で撮像されている物体を判別する物体判別装置であって、
前記画像に対して顕著性算出手法を適用して前記判別の対象となる物体を検出する物体検出手段と、
前記物体検出手段によって検出された物体に対してニューラルネットワーク手法を適用して当該物体を判別する物体判別手段と、
を備えたことを特徴とする物体判別装置。
【請求項２】
前記物体判別手段による判別結果に応じて、物体との衝突危険度を判定し、警告の報知および／または車両の制御を行うための判定信号を出力する判定手段をさらに備えたことを特徴とする請求項１に記載の物体判別装置。
【請求項３】
前記判定手段は、前記物体判別手段による判別結果の他に、照射による物体からの反射波によって当該物体に対する距離情報を取得する照射手段によって得られた前記物体に対する距離情報に応じて、物体との衝突危険度を判定し、前記警告の報知および／または車両の制御を行うための判定信号を出力することを特徴とする請求項２に記載の物体判別装置。
【請求項４】
前記判定手段は、前記物体判別手段による判別結果、前記照射手段によって得られた前記物体に対する距離情報の他に、前記画像から前記物体に対する距離情報を取得する画像距離情報取得手段によって得られた前記物体に対する距離情報に応じて、物体との衝突危険度を判定し、前記警告の報知および／または車両の制御を行うための判定信号を出力することを特徴とする請求項３に記載の物体判別装置。
【請求項５】
前記判定手段は、前記物体判別手段による判別結果の他に、前記物体を判別する照射手段による判別結果に応じて、物体との衝突危険度を判定し、前記警告の報知および／または車両の制御を行うための判定信号を出力することを特徴とする請求項２に記載の物体判別装置。
【請求項６】
前記物体検出手段は、照射による物体からの反射波によって当該物体に対する方向情報を取得する照射手段によって得られた前記物体に対する方向情報に応じて、前記画像における当該方向情報に対応する領域に対して、前記顕著性算出手法を適用して前記判別の対象となる物体を検出することを特徴とする請求項１に記載の物体判別装置。
【請求項７】
前記物体判別手段は、照射による物体からの反射波によって当該物体に対する距離情報を取得する照射手段によって得られた前記物体に対する距離情報に応じて、前記物体検出手段によって検出された物体に対して、当該距離情報に応じたニューラルネットワーク手法を適用して当該物体を判別することを特徴とする請求項１に記載の物体判別装置。
【請求項８】
単眼で撮像された画像に基づいて画像内で撮像されている物体を判別する物体判別方法であって、
前記画像に対して顕著性算出手法を適用して前記判別の対象となる物体を検出する物体検出工程と、
前記物体検出工程によって検出された物体に対してニューラルネットワーク手法を適用して当該物体を判別する物体判別工程と、
を含んだことを特徴とする物体判別方法。
【請求項９】
単眼で撮像された画像に基づいて画像内で撮像されている物体を判別する方法をコンピュータに実行させる物体判別プログラムであって、
前記画像に対して顕著性算出手法を適用して前記判別の対象となる物体を検出する物体検出手順と、
前記物体検出手順によって検出された物体に対してニューラルネットワーク手法を適用して当該物体を判別する物体判別手順と、
をコンピュータに実行させることを特徴とする物体判別プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、単眼で撮像された画像に基づいて画像内で撮像されている物体を判別する物体判別装置、物体判別方法および物体判別プログラムに関する。
【背景技術】
【０００２】
従来より、車両走行の障害となる物体との衝突を回避すること等を目的として、車両から撮像された画像に基づいて画像内で撮像されている物体（例えば、歩行者）の検出や判別を行う技術が知られている。例えば、特許文献１では、二つのカメラで撮像された一組のステレオ画像から判別対象の候補となる物体を検出し、その画像内における候補物体に対してニューラルネットワークの物体判別手法を適用して、候補物体が歩行者であるか等を判別する技術が開示されている。このニューラルネットワークでは、歩行者等の形状を学習させているので、多少歩行者等の形状が異なったとしても認識することができ、認識漏れを低減させることができる。
【０００３】
【特許文献１】特表２００３−５０２７４５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、上記した従来の技術は、複数のカメラを用いることが前提となるので、一つのカメラを用いる手法に比較して、構造が複雑になり、製造コストが高くなるという課題がある。
【０００５】
一方、このような課題を解決するために、単眼カメラを用いて判別対象となる候補物体（例えば、歩行者）を検出する方法として背景差分法（現画像の画素値（輝度等）と前画像の画素値との差分から候補物体を検出する方法）が考えられるが、候補物体が静止している場合には現画像の画素値と前画像の画素値との差分を取ることができないため、候補物体を検出できない。また、単眼で撮像された画像（一つのカメラで撮像された画像）に対してニューラルネットワークの物体判別手法をそのまま適用するという手法も考えられるが、候補物体が存在する領域を特定せずに画像の全領域に対してニューラルネットワークの物体判別手法を適用したのでは、無駄に物体判別処理が行われることになり、処理効率が悪くなるという課題がある。
【０００６】
そこで、この発明は、上述した従来技術の課題を解決するためになされたものであり、単眼で撮像された画像から効率的に物体を判別することが可能な物体判別装置、物体判別方法および物体判別プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決し、目的を達成するため、請求項１に係る発明は、単眼で撮像された画像に基づいて画像内で撮像されている物体を判別する物体判別装置であって、前記画像に対して顕著性算出手法を適用して前記判別の対象となる物体を検出する物体検出手段と、前記物体検出手段によって検出された物体に対してニューラルネットワーク手法を適用して当該物体を判別する物体判別手段と、を備えたことを特徴とする。
【０００８】
また、請求項２に係る発明は、上記の発明において、前記物体判別手段による判別結果に応じて、物体との衝突危険度を判定し、警告の報知および／または車両の制御を行うための判定信号を出力する判定手段をさらに備えたことを特徴とする。
【０００９】
また、請求項３に係る発明は、上記の発明において、前記判定手段は、前記物体判別手段による判別結果の他に、照射による物体からの反射波によって当該物体に対する距離情報を取得する照射手段によって得られた前記物体に対する距離情報に応じて、物体との衝突危険度を判定し、前記警告の報知および／または車両の制御を行うための判定信号を出力することを特徴とする。
【００１０】
また、請求項４に係る発明は、上記の発明において、前記判定手段は、前記物体判別手段による判別結果、前記照射手段によって得られた前記物体に対する距離情報の他に、前記画像から前記物体に対する距離情報を取得する画像距離情報取得手段によって得られた前記物体に対する距離情報に応じて、物体との衝突危険度を判定し、前記警告の報知および／または車両の制御を行うための判定信号を出力することを特徴とする。
【００１１】
また、請求項５に係る発明は、上記の発明において、前記判定手段は、前記物体判別手段による判別結果の他に、前記物体を判別する照射手段による判別結果に応じて、物体との衝突危険度を判定し、前記警告の報知および／または車両の制御を行うための判定信号を出力することを特徴とする。
【００１２】
また、請求項６に係る発明は、上記の発明において、前記物体検出手段は、照射による物体からの反射波によって当該物体に対する方向情報を取得する照射手段によって得られた前記物体に対する方向情報に応じて、前記画像における当該方向情報に対応する領域に対して、前記顕著性算出手法を適用して前記判別の対象となる物体を検出することを特徴とする。
【００１３】
また、請求項７に係る発明は、上記の発明において、前記物体判別手段は、照射による物体からの反射波によって当該物体に対する距離情報を取得する照射手段によって得られた前記物体に対する距離情報に応じて、前記物体検出手段によって検出された物体に対して、当該距離情報に応じたニューラルネットワーク手法を適用して当該物体を判別することを特徴とする。
【００１４】
また、請求項８に係る発明は、単眼で撮像された画像に基づいて画像内で撮像されている物体を判別する物体判別方法であって、前記画像に対して顕著性算出手法を適用して前記判別の対象となる物体を検出する物体検出工程と、前記物体検出工程によって検出された物体に対してニューラルネットワーク手法を適用して当該物体を判別する物体判別工程と、を含んだことを特徴とする。
【００１５】
また、請求項９に係る発明は、単眼で撮像された画像に基づいて画像内で撮像されている物体を判別する方法をコンピュータに実行させる物体判別プログラムであって、前記画像に対して顕著性算出手法を適用して前記判別の対象となる物体を検出する物体検出手順と、前記物体検出手順によって検出された物体に対してニューラルネットワーク手法を適用して当該物体を判別する物体判別手順と、をコンピュータに実行させることを特徴とする。
【発明の効果】
【００１６】
請求項１，８および９の発明によれば、単眼で撮像された画像に対して顕著性算出手法を適用して判別の対象となる物体を検出し、検出された物体に対してニューラルネットワーク手法を適用して当該物体を判別するので、単眼で撮像された画像からも判別の対象となる物体（例えば、歩行者）を検出することができ、また、画像内の物体が静止していても判別の対象として検出することができ、さらに、画像内の物体が画素変化の少ない遠方の物体であっても判別の対象として検出することができ、このようにして検出された物体に対してニューラルネットワークの物体判別手法を適用することによって、単眼で撮像された画像に対して判別対象を検出することなくニューラルネットワークの物体判別手法をそのまま適用する手法に比較して、単眼で撮像された画像から効率的に物体を判別することが可能である。なお、予め保持する定形のパターンと検出された物体とを比較して物体判別を行うパターンマッチングでは、この定形のパターンに基づくものしか検出できないが、ニューラルネットワークによる物体判別では、定形パターンには存在しない曖昧な形状で検出された物体（例えば、歩行者）も判別することが可能である。
【００１７】
また、請求項２の発明によれば、顕著性算出手法を適用して検出された判別対象の物体に対してニューラルネットワークを適用して得られた判別結果に応じて、警告の報知および／または車両の制御を行うので、効率的な物体判別結果に基づいて、警告の報知や車両制御を効率的に行うことも可能である。
【００１８】
また、請求項３の発明によれば、画像から得られた物体判別結果の他に、照射手段（例えば、ミリ波レーダ、光レーダなど）によって得られた車両から物体までの距離に応じて、警告の報知や車両の制御を行うので、精度が良い距離情報を利用して、例えば、車両から物体までの距離が近くなるに従って、画像による警告、音声による警告、ブレーキ制御による速度減速、ハンドル制御による衝突回避といった具合に、警告報知や車両制御を行うことができ、これによって、車両から物体までの距離に応じて警告報知や車両制御を的確に行うことも可能である。
【００１９】
また、請求項４の発明によれば、画像から得られた物体判別結果や、照射手段（例えば、ミリ波レーダ、光レーダなど）によって得られた車両から物体までの距離の他に、画像から得られた車両から物体までの距離に応じて、警告の報知や車両の制御を行うので、例えば、照射手段によって得られた車両から物体までの距離と画像から得られた車両から物体までの距離との平均値である距離を算出して、これを警告報知や車両制御に利用することができ、これによって、車両から物体までの距離に応じた警告報知や車両制御を精度良く行うことも可能である。
【００２０】
また、請求項５の発明によれば、画像から得られた物体判別結果の他に、照射手段（例えば、ミリ波レーダ、光レーダなど）によって得られた物体判別結果に応じて、警告の報知や車両の制御を行うので、例えば、両者から同一の物体判別結果が得られた場合にのみ当該物体判別結果を採用して警告報知や車両制御を行う、いずれか一方の物体判別結果が得られれば当該物体判別結果を採用して警告報知や車両制御を行う、または、それぞれの判別結果（判別値）の平均や加重平均から一つの物体判別結果を導き出して警告報知や車両制御を行うなどができ、これによって、物体の誤判別を防止して、警告報知や車両制御を精度良く行うことも可能である。
【００２１】
また、請求項６の発明によれば、例えば、照射手段（例えば、ミリ波レーダ、光レーダなど）によって車両から見て物体が存在する方向を検出し、画像における当該方向に対応する領域に対して優先的に顕著性算出手法を適用して判別の対象となる物体を検出するので、画像内の全領域に対して順番に顕著性算出手法を適用する場合（例えば、画像の左上にある領域から順番に右下の領域へ顕著性算出手法を適用する場合）に比較して、判別対象となる物体を早急かつ効率的に検出することも可能である。
【００２２】
また、請求項７の発明によれば、例えば、照射手段（例えば、ミリ波レーダ、光レーダなど）によって車両から物体までの距離を測定し、この距離に応じたニューラルネットワーク手法を適用して物体を判別するので、全ての距離について順番にニューラルネットワーク手法を適用する場合（例えば、近い距離の定義から順番に遠い距離の定義へニューラルネットワーク手法を適用する場合）に比較して、早急かつ効率的に物体を判別することも可能である。
【発明を実施するための最良の形態】
【００２３】
以下に添付図面を参照して、この発明に係る物体判別装置、物体判別方法および物体判別プログラムの実施例を詳細に説明する。なお、以下では、歩行者を判別して車両を制御する場合の実施例を説明する。
【実施例１】
【００２４】
以下の実施例１では、実施例１に係る物体判別装置の概要および特徴、物体判別装置の構成、物体判別装置による処理の流れを順に説明し、最後に実施例１による効果を説明する。
【００２５】
［物体判別装置の概要および特徴］
まず最初に、図１を用いて、実施例１に係る物体判別装置の概要および特徴を説明する。図１は、実施例１に係る物体判別装置の概要および特徴を説明するための図である。
【００２６】
実施例１に係る物体判別装置は、単眼カメラで撮像された画像に基づいて画像内で撮像されている物体（例えば、歩行者）を判別するとともに、判別結果に応じて報知制御や車両を行うことを概要とするものであるが、単眼で撮像された画像から効率的に物体を判別することを主たる特徴とするとともに、車両から物体までの距離に応じて警告報知や車両走行制御を的確に行うことにも特徴がある。
【００２７】
この概要および特徴を具体的に説明すると、この物体判別装置では、単眼カメラで撮像された画像に対して顕著性算出手法を適用して判別の対象となる物体（ここでは、歩行者）を検出する（図１の（１）参照）。ここで、顕著性算出手法による物体検出とは、学習プロセスによって予め生成して記憶している学習基底に基づいて、入力画像に顕著な特徴が検出されるか否かによって行う物体検出をいう。
【００２８】
具体的には、まず、学習プロセスにおいて、特定の物体（例えば、歩行者）が存在しない同一のオブジェクト（バックグラウンド、例えば、道路）が撮像されている複数の学習用画像を入力して学習領域を切り出す（例えば、２０×２０ピクセル）。続いて、この切り出した学習領域をＮ次元のベクトル（Ｎは画素値であり、例えば、２０×２０ピクセルであれば４００次元）として扱い、このＮ次元ベクトルからなる学習領域内について主成分分析を行って、特徴ベクトル（Ｎ次元ベクトルの主成分）を抽出する。そして、入力される全ての学習画像に対して特徴ベクトルの抽出を行って、同一オブジェクトに対して共通する特徴ベクトル成分から学習基底を生成して記憶する。
【００２９】
また、物体検出は、撮像装置（例えば、単眼カメラ）から入力された入力画像から学習領域と同一のサイズ（例えば、２０×２０ピクセル）の処理領域を切り出す。続いて、入力画像から切り出した処理領域をＮ次元のベクトルとして扱い、学習基底で展開する（すなわち、特徴ベクトルとの内積を算出する）。そして、この展開によって得られたベクトルと処理領域内のベクトルとの残差を顕著な特徴（顕著性）として算出し、より顕著性の大きい部分を所定の物体（例えば、歩行者）が存在するであろう領域として検出する。
【００３０】
かかる物体検出によって判別対象となる候補物体が検出されると、この物体判別装置では、検出された物体（すなわち、その画像の領域）に対してニューラルネットワーク手法を適用して候補物体が歩行者であるかを判別する（図１の（２）参照）。ここで、ニューラルネットワーク手法による物体判別とは、人間の脳の構造を真似て作成した情報処理機構であり、人間の脳の中に張り巡らされた「ニューロン」と呼ばれる神経細胞の複雑な組合せ構造を応用したネットワークを構成することで、人間の得意とする物体判別を情報処理機構に取り入れて実現する方法である。具体的には、あらかじめ学習して記憶している物体のパターンと、画像内から、例えば、顕著性算出法によって検出された走行障害の候補となる物体の検出領域とを照らし合わせることによって、その物体が特定の物体（例えば、歩行者）であるか否か判別している。
【００３１】
このようなことから、実施例１による物体判別装置では、単眼で撮像された画像からも判別の対象となる物体（例えば、歩行者）を検出することができ、また、画像内の物体が静止していても判別の対象として検出することができ、さらに、画像内の物体が画素変化の少ない遠方の物体であっても判別の対象として検出することができる。そして、このようにして検出された物体に対してニューラルネットワークの物体判別手法を適用することによって、上記した主たる特徴の如く、単眼で撮像された画像に対して判別対象を検出することなくニューラルネットワークの物体判別手法をそのまま適用する手法に比較して、単眼で撮像された画像から効率的に物体を判別することが可能である。なお、予め保持する定形のパターンと検出された物体とを比較して物体判別を行うパターンマッチングでは、この定形のパターンに基づくものしか検出できないが、ニューラルネットワークによる物体判別では、定形パターンには存在しない曖昧な形状で検出された物体（例えば、歩行者）も判別することが可能である。
【００３２】
さらに、実施例１による物体判別装置では、図１に示すように、上記した物体判別によって得られた判別結果（例えば、「歩行者である」または「歩行者でない」でないという判別結果）の他に、レーダ（例えば、ミリ波レーダ、光レーダなど）によって得られた物体に対する距離情報（車両から物体までの距離）を用いて、物体との衝突危険度を判定し、この判定結果に応じて車両走行制御や報知制御を行う（図１の（３）および（４）参照）。
【００３３】
すなわち、例を挙げると、物体判別によって「歩行者でない」との判別結果が得られた場合には、衝突の危険度はないもの（レベル０）と判定して特に車両走行制御や報知制御は行わないが、物体判別によって「歩行者である」との判別結果が得られた場合には、画像における歩行者の足元（接地面）を認識し、その接地面から車両までの距離をレーダによって取得する。そして、例えば、歩行者までの距離が遠い場合（例えば、３０ｍ以上である場合）には、衝突の危険度は低いもの（レベル１）と判定して歩行者を示す画像をモニタ（例えば、カーナビのモニタ）に出力し、また、歩行者までの距離が中程度に近い場合（例えば、１０ｍ以上３０ｍ未満である場合）には、衝突の危険度は中程度（レベル２）と判定してブレーキ制御による速度減速を行い、さらに、歩行者までの距離が極めて近い場合（例えば、１０ｍ未満である場合）には、衝突の危険度は高いもの（レベル３）と判定してハンドル制御による衝突回避を行うなど、レーダによって得られた歩行者までの距離に応じた車両走行制御や報知制御を行う。このようなことから、実施例１による物体判別装置では、上記した特徴の如く、車両から物体までの距離に応じて警告報知や車両制御を的確に行うことも可能である。
【００３４】
［物体判別装置の構成（実施例１）］
次に、図２および図３を用いて、実施例１に係る物体判別装置の構成を説明する。図２は、実施例１に係る物体判別装置の構成を示すブロック図であり、図３は、実施例１に係る物体判別装置が採用する衝突危険度判定テーブルの構成例を示す図である。
【００３５】
図２に示すように、この物体判別装置３０は、レーダ部１２、前処理部１３、報知制御部１５、車両制御部１６に接続される他、撮像装置（単眼カメラ）１０、ナビ部１１、車内通知部１４をこれらの周辺に配置する。また、物体判別装置３０は、記憶部３１と認識部３２とから構成される。
【００３６】
ナビ（ナビゲーション）部１１は、ＧＰＳ（Global Positioning System）人工衛星と通信を行って、特定した自動車の位置と地図データとから走行経路の設定および誘導を行う手段である。また、ナビ部１１は、自動車の位置情報や道路形状、路幅、傾斜など車両運転操作に有用な各種の情報を、後述する車内通知部１４を介して運転者に供給する。
【００３７】
レーダ部１２は、レーダ（例えば、７６．５ＧＨｚのミリ波レーダや光レーダなど）を照射して、前方の車両や障害物（例えば、歩行者）との距離や速度、方向などを測定する手段である。具体的には、この実施例１では、後述する衝突危険度判定部３２ｃから歩行者までの距離の測定指令を受け付けると、レーダ部１２は、歩行者から車両までの距離をレーダによって取得した後、衝突危険度判定部３２ｃにその距離情報（車両から歩行者までの距離）を送る。なお、レーダ部１２は、特許請求の範囲に記載の「照射手段」に対応する。
【００３８】
前処理部１３は、撮像装置１０（単眼カメラ）から送信されてくる画像に前処理を行う処理部であり、フィルタ部１３ａと輪郭抽出部１３ｂとから構成される。このうち、フィルタ部１３ａは、画像内に映し出された物体の輪郭を強調するための前処理（例えば、シャープネス、コントラスト調整、彩度調整）を行う手段である。また、輪郭抽出部１３ｂは、フィルタ部１３ａによって施されたフィルタリングに基づいて、画像内の物体の輪郭を抽出する手段である。
【００３９】
車内通知部１４は、ナビ部１１や後述する報知制御部１５からの情報を通知する手段であり、モニタやスピーカなどで構成される。例えば、報知制御部１５からの指令を受け付けて、歩行者の存在を示す画像をモニタに出力して運転者の注意を促したり、メッセージやアラーム音をスピーカから流すことにより運転者に対して警告を行ったりする。
【００４０】
報知制御部１５は、後述する衝突危険度判定部３２ｃからの判定信号を受け付けて、報知制御を行う処理部である。具体的には、この実施例１では、衝突危険度判定部３２ｃから歩行者の存在を示す画像の出力を促す判定信号（例えば、危険度レベル１の判定信号）を受け付けた場合には、報知制御部１５は、状況に応じて、車内通知部１４に対し、例えば、歩行者の存在を示す画像の出力指令や音声による警告の出力指令を出力する。
【００４１】
車両制御部１６は、衝突危険度判定部３２ｃからの判定信号を受け付けて、車両走行制御を行う処理部である。具体的には、この実施例１では、衝突危険度判定部３２ｃからブレーキ制御を促す判定信号（例えば、危険度レベル２の判定信号）を受け付けた場合には、車両制御部１６は、車両走行状態に応じて、例えば、ブレーキ制御による速度減速指令を出力する。また、衝突危険度判定部３２ｃからハンドル制御を促す判定信号（例えば、危険度レベル３の判定信号）を受け付けた場合には、車両制御部１６は、同じく車両走行状況に応じて、例えば、ハンドル制御による衝突回避指令や車両制動制御によるプリクラッシュ指令を出力する。
【００４２】
物体判別装置３０の記憶部３１は、制御部３２による各種処理に必要なデータおよびプログラムを格納する格納手段（記憶手段）である。そして、特に本発明に密接に関連するものとしては、学習基底記憶部３１ａ、判別パターン記憶部３１ｂおよび衝突危険度判定テーブル３１ｃを備える。
【００４３】
このうち、学習基底記憶部３１ａは、後述する物体検出部３２ａによる物体検出処理に必要な学習基底を記憶する記憶手段である。具体的には、特定の物体（例えば、歩行者）が存在しない同一のオブジェクト（バックグラウンド）が撮像されている複数の学習用画像を入力して学習領域を切り出す（例えば、２０×２０ピクセル）。続いて、この切り出した学習領域をＮ次元のベクトル（Ｎは画素値であり、例えば、２０×２０ピクセルであれば４００次元）として扱い、このＮ次元ベクトルからなる学習領域内について主成分分析を行って、特徴ベクトル（Ｎ次元ベクトルの主成分）を抽出する。そして、入力される全ての学習画像に対して特徴ベクトルの抽出を行って、同一のオブジェクトに対して共通する特徴ベクトル成分から学習基底を生成して記憶する。
【００４４】
判別パターン記憶部３１ｂは、後述する物体判別部３２ｂによる物体判別処理に必要な判別パターンを記憶する記憶手段である。具体的には、例えば、あらかじめ学習して歩行者についてのパターン（例えば、全身、頭、足および肩などの組合せからなる歩行者のパターン）を様々な条件（例えば、距離）に応じて記憶している。
【００４５】
衝突危険度判定テーブル３１ｃは、後述する衝突危険度判定部３２ｃによる衝突危険度判定処理に必要な判定テーブルを記憶する記憶手段である。具体的には、図３に例示するように、例えば、候補物体が「歩行者でない」場合には、その候補物体までの距離「ＡＬＬ」で危険度「０」、一方、候補物体が「歩行者である」場合には、その候補物体までの距離「３０ｍ以上」で危険度「レベル１」、距離「１０〜３０ｍ」で危険度「レベル２」、距離「１０ｍ未満」で危険度「レベル３」とする判定結果を規定して構成される。
【００４６】
物体判別装置３０の認識部３２は、所定の制御プログラム、各種の処理手順などを規定したプログラムおよび所要データを格納するための内部メモリを有し、これらによって種々の処理を実行する処理部である。そして、特に本発明に密接に関連するものとしては、物体検出部３２ａと、物体判別部３２ｂと、衝突危険度判定部３２ｃとを備える。なお、物体検出部３２ａは、特許請求の範囲に記載の「物体検出手段」に対応し、物体判別部３２ｂは、同じく「物体判別手段」に対応する。
【００４７】
このうち、物体検出部３２ａは、入力画像内から判別の対象となる物体（候補物体）を顕著性算出法によって検出する処理部である。具体的には、物体検出部３２ａは、学習基底記憶部３１ａから学習基底を読み出し、撮像装置１０から前処理部１３を介して受け付けた入力画像内に学習基底には見られない顕著な特徴（例えば、特異なベクトル）が現れている場合には、候補物体が存在するものとしてその領域を画像内から検出する。
【００４８】
物体判別部３２ｂは、物体検出部３２ａによって検出された候補物体をニューラルネットワークによって詳細に判別する処理部である。具体的には、物体判別部３２ｂは、あらかじめ学習して記憶している物体のパターン（例えば、全身、頭、足および肩などの組合せからなる歩行者のパターン）と、物体検出部３２ａによって判別の対象として検出された候補物体の存在する領域とを照らし合わせ、その物体が特定の物体（例えば、歩行者）であるか否かを判別する。
【００４９】
衝突危険度判定部３２ｃは、物体判別部３２ｂによる候補物体の判別結果等に基づいて、その物体との衝突危険度を判定し、車両走行制御や報知制御を促すような判定信号を報知制御部１５あるいは車両制御部１６に対して出力する処理部である。具体的には、衝突危険度判定部３２ｃは、物体判別部３２ｂから候補物体の判別結果を受け付けると、レーダ部１２に対してその候補物体までの距離を測定するように指令を送るとともに、衝突危険度判定テーブル３１ｃから衝突危険度判定テーブル（図３参照）を読み出す。そして、衝突危険度判定部３２ｃは、物体判別部３２ｂから受け付けた判別結果、レーダ部１２から得た候補物体までの距離および衝突危険度判定テーブルに基づいて衝突危険度を判定し、所定の危険度であると判定した場合には、車両制御部１６に車両走行制御を促すような判定信号を出力し、あるいは、報知制御部１５に報知制御を促すような判定信号を送る。
【００５０】
すなわち、例を挙げて説明すると、衝突危険度判定部３２ｃは、物体判別部３２ｂから「歩行者ではない」との判別結果を受け付けた場合には、衝突の危険度はないもの（レベル０）と判定し（図３参照）、特に車両制御部１６や報知制御部１５に対して車両走行制御や報知制御を促すような判定信号を出力しない。一方、衝突危険度判定部３２ｃは、物体判別部３２ｂから「歩行者である」との判別結果を受け付けた場合には、画像で認識された歩行者の位置から車両までの距離を測定するようにレーダ部１２に対して指令を送り、その距離を取得する。そして、例えば、歩行者までの距離が遠い場合（例えば、３０ｍ以上である場合）には、衝突の危険度は低いもの（レベル１）と判定して、歩行者の存在を示す画像のモニタ（例えば、カーナビのモニタ）への出力を促すような判定信号（危険度レベル１の判定信号）を報知制御部１５に対して出力し、また、歩行者までの距離が中程度に近い場合（例えば、１０ｍ以上３０ｍ未満である場合）には、衝突の危険度は中程度（レベル２）と判定して、ブレーキ制御による速度減速を促すような判定信号（危険度レベル２の判定信号）を車両制御部１６に対して出力し、さらに、歩行者までの距離が極めて近い場合（例えば、１０ｍ未満である場合）には、衝突の危険度は高いもの（レベル３）と判定して、ハンドル制御による衝突回避を促すような判定信号（危険度レベル３の判定信号）を車両制御部１６に対して出力する。なお、衝突危険度判定部３２ｃは、特許請求の範囲に記載の「判定手段」に対応する。
【００５１】
なお、上記に示した衝突危険度判定テーブル３１ｃの構成はあくまで一例であり、例えば、候補物体が歩行者でない場合であっても衝突危険度を設定して、その危険度に応じた車両走行制御あるいは報知制御を促すような判定信号を出力するようにしてもよいし、候補物体までの距離に対応させている衝突危険度の設定を車両の走行速度に応じて自動的に更新（例えば、車両の速度が速い場合には衝突を回避できるように設定距離を長めに自動更新）するようにしてもよい。
【００５２】
［物体判別装置による処理（実施例１）］
続いて、図４を用いて、実施例１に係る物体判別装置による処理の流れを説明する。図４は、実施例１に係る物体判別装置による処理の流れを示すフローチャートである。
【００５３】
同図に示すように、画像の入力を受け付けると（ステップＳ４０１）、物体検出部３２ａは、顕著性（算出法）による物体検出を行う（ステップＳ４０２）。そして、入力画像内に判別の対象となる候補物体を検出した場合には（ステップＳ４０３肯定）、次に、物体判別部３２ｂは、ニューラルネットワークによる候補物体の判別を行う（ステップＳ４０４）。その結果、候補物体を歩行者と判別した場合には（ステップＳ４０５肯定）、続いて、衝突危険度判定部３２ｃは、歩行者までの距離を測定する（ステップＳ４０６）。具体的には、衝突危険度判定部３２ｃは、レーダ部１２に対して歩行者までの距離を測定するように指令を送る。
【００５４】
レーダ部１２から距離の測定結果を得て衝突危険度判定部３２ｃは、その距離に応じて危険度判定を行う（ステップＳ４０７）。具体的には、衝突危険度判定部３２ｃは、読み出した衝突危険度判定テーブル（図３参照）に基づいて、例えば、歩行者までの距離が遠い場合（例えば、３０ｍ以上である場合）には、衝突の危険度は低いもの（レベル１）と判定し、また、歩行者までの距離が中程度に近い場合（例えば、１０ｍ以上３０ｍ未満である場合）には、衝突の危険度は中程度（レベル２）と判定し、さらに、歩行者までの距離が極めて近い場合（例えば、１０ｍ未満である場合）には、衝突の危険度は高いもの（レベル３）と判定する。
【００５５】
そして、衝突危険度判定部３２ｃは、判定した危険度に応じて車両走行制御あるいは報知制御を促すような判定信号を報知制御部１５あるいは車両制御部１６に対して出力する（ステップＳ４０８）。具体的には、衝突危険度判定部３２ｃは、衝突の危険度は低いもの（レベル１）と判定した場合には、歩行者を示す画像のモニタ（例えば、カーナビのモニタ）への出力を促すような判定信号を報知制御部１５に対して出力し、この信号に基づいて報知制御部１５は車内通知部１４を介して画像を出力し、また、衝突の危険度は中程度（レベル２）と判定した場合には、ブレーキ制御による速度減速を促すような判定信号を車両制御部１６に対して出力し、この信号に基づいて車両制御部１６は速度減速を行い、さらに、衝突の危険度は高いもの（レベル３）と判定した場合には、ハンドル制御による衝突回避を促すような判定信号を車両制御部１６に対して出力し、この信号に基づいて車両制御部１６は衝突回避を行う。
【００５６】
ここでステップＳ４０３の説明に戻ると、入力画像内に判別の対象となる候補物体を検出しなかった場合には（ステップＳ４０３否定）、物体判別部３２ａは、次の画像入力を待つ。また、ステップＳ４０５の説明に戻ると、候補物体を歩行者と判別しなかった場合には（ステップＳ４０５否定）、衝突危険度判定部３２ｃは衝突危険度の判定を行わず、物体判別装置３０は処理を終了する。
【００５７】
［実施例１に効果］
上述してきたように、実施例１によれば、この物体判別装置３０は、単眼で撮像された画像に対して顕著性算出手法を適用して判別の対象となる物体を検出し、検出された物体に対してニューラルネットワーク手法を適用して当該物体を判別するので、単眼で撮像された画像からも判別の対象となる物体（例えば、歩行者）を検出することができ、また、画像内の物体が静止していても判別の対象として検出することができ、さらに、画像内の物体が画素変化の少ない遠方の物体であっても判別の対象として検出することができ、このようにして検出された物体に対してニューラルネットワークの物体判別手法を適用することによって、単眼で撮像された画像に対して判別対象を検出することなくニューラルネットワークの物体判別手法をそのまま適用する手法に比較して、単眼で撮像された画像から効率的に物体を判別することが可能である。なお、予め保持する定形のパターンと検出された物体とを比較して物体判別を行うパターンマッチングでは、この定形のパターンに基づくものしか検出できないが、ニューラルネットワークによる物体判別では、定形パターンには存在しない曖昧な形状で検出された物体（例えば、歩行者）も判別することが可能である。
【００５８】
また、実施例１によれば、この物体判別装置３０は、顕著性算出手法を適用して検出された判別対象の物体に対してニューラルネットワークを適用して得られた判別結果に応じて、警告の報知および／または車両の制御を行うので、効率的な物体判別結果に基づいて、警告の報知や車両の制御を効率的に行うことも可能である。
【００５９】
また、実施例１によれば、この物体判別装置３０は、画像から得られた物体判別結果の他に、照射手段（例えば、ミリ波レーダ、光レーダなど）によって得られた車両から物体までの距離に応じて、警告の報知や車両の制御を行うので、精度が良い距離情報を利用して、例えば、車両から物体までの距離が近くなるに従って、画像による警告、音声による警告、ブレーキ制御による速度減速、ハンドル制御による衝突回避といった具合に、警告報知や車両制御を行うことができ、これによって、車両から物体までの距離に応じて警告報知や車両制御を的確に行うことも可能である。
【実施例２】
【００６０】
さて、これまで本発明の実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では実施例２として本発明に含まれる他の実施例を説明する。
【００６１】
（１）画像から得られる物体までの距離も利用して車両走行制御あるいは報知制御
上記の実施例１では、物体判別部３２ｂによって得られた物体判別結果や、レーダ部１２によって得られた車両から物体（例えば、歩行者）までの距離に応じて車両走行制御などを行う場合を説明したが、本発明はこれに限定されるものではなく、物体判別部３２ｂによって得られた物体判別結果や、レーダ部１２によって得られた車両から物体までの距離の他に、画像から得られた車両から物体（例えば、歩行者の足元（接地面））までの距離に応じて車両走行制御などを行うようにしてもよい。
【００６２】
具体的には、図５の（Ａ）に例示するように、物体判別部３２ｂによって得られた物体判別結果およびレーダ部１２によって得られた車両から物体までの距離だけでなく、さらに、画像から得られた車両から物体までの距離（例えば、画像内における歩行者の足元の位置までの画素数から算出した距離）も利用して、衝突危険度判定部３２ｃは危険度判定を行い、その危険度に応じた車両走行制御などを促すような判定信号を出力し、その信号に基づいて車両走行制御などを行う。
【００６３】
このように、画像から得られた物体判別結果や、照射手段（例えば、ミリ波レーダ、光レーダなど）によって得られた車両から物体までの距離の他に、画像から得られた車両から物体（例えば、歩行者の足元（接地面））から車両までの距離に応じて、警告の報知や車両の制御を行うので、例えば、照射手段によって得られた車両から物体までの距離と画像から得られた車両から物体までの距離との平均値である距離を算出して、これを警告報知や車両制御に利用することができ、これによって、車両から物体までの距離に応じた警告報知や車両制御を精度良く行うことも可能である。
【００６４】
（２）他の物体判別結果も利用して車両走行制御あるいは報知制御
また、上記の実施例１では、物体判別部３２ｃによって得られた物体判別結果に応じて車両走行制御などを行う場合を説明したが、本発明はこれに限定されるものではなく、例えば、レーダ部１２によって得られる物体判別結果も利用して車両走行制御などを行うようにしてもよい。
【００６５】
具体的には、図５の（Ｂ）に例示するように、物体判別部３２ｂによって得られた物体判別結果およびレーダ部１２によって得られた車両から物体までの距離だけでなく、さらに、レーダ部１２から得られた物体判別結果も利用して、衝突危険度判定部３２ｃは危険度判定を行い、例えば、両者から同一の物体判別結果が得られた場合にのみ当該物体判別結果を採用して警告報知や車両走行制御を行う、いずれか一方の物体判別結果が得られれば当該物体判別結果を採用して警告報知や車両走行制御を行う、または、それぞれの判別結果（判別値）の平均や加重平均から一つの物体判別結果を導き出して警告報知や車両走行制御を行うため、その危険度判定の結果に応じて車両走行制御などの指令を出力する。
【００６６】
このように、画像から得られた物体判別結果の他に、照射手段（例えば、ミリ波レーダ、光レーダなど）によって得られた物体判別結果に応じて、警告の報知や車両の制御を行うので、物体の誤判別を防止して、警告報知や車両制御を精度良く行うことも可能である。
【００６７】
（３）物体が存在する方向を特定して物体検出
また、上記の実施例１では、入力される画像に対してそのまま顕著性算出法を適用して判別の対象となる物体を検出する場合を説明したが、本発明はこれに限定されるものではなく、車両から見て物体が存在する方向を検出し、画像における当該方向に対応する領域に対して優先的に顕著性算出手法を適用して判別の対象となる物体を検出するようにしてもよい。具体的には、図５の（Ｃ）に例示するように、レーダ部１２によって車両からみた物体の存在する方向を検出し、物体検出部３２ａは、画像内におけるその方向に対応する領域に対して優先的に顕著性算出法を適用して判別の対象となる物体の検出を行う。
【００６８】
このように、例えば、照射手段（例えば、ミリ波レーダ、光レーダなど）によって車両から見て物体が存在する方向を検出し、画像における当該方向に対応する領域に対して優先的に顕著性算出手法を適用して判別の対象となる物体を検出するので、画像内の全領域に対して順番に顕著性算出手法を適用する場合（例えば、画像の左上にある領域から順番に右下の領域へ顕著性算出手法を適用する場合）に比較して、判別対象となる物体を早急かつ効率的に検出することも可能である。
【００６９】
（４）距離に応じた物体判別
また、上記の実施例１では、判別の対象として検出された物体に対して一様にニューラルネットワーク手法を適用して物体を判別する場合を説明したが、本発明はこれに限定されるものではなく、車両から物体までの距離を測定し、この距離に応じたニューラルネットワーク手法を適用して物体を判別するようにしてもよい。具体的には、図５の（Ｄ）に例示するように、レーダ部１２によって車両から物体までの距離を測定し、物体判別部３２ｂは、ニューラルネットワーク手法を適用する際に、その距離に対応するパターンを用いて判別の対象として検出された物体を判別する。
【００７０】
このように、例えば、照射手段（例えば、ミリ波レーダ、光レーダなど）によって車両から物体までの距離を測定し、この距離に応じたニューラルネットワーク手法を適用して物体を判別するので、全ての距離について順番にニューラルネットワーク手法を適用する場合（例えば、近い距離の定義から順番に遠い距離の定義へニューラルネットワーク手法を適用する場合）に比較して、早急かつ効率的に物体を判別することも可能である。
【００７１】
（５）歩行者以外の検出
また、上記の実施例１では、判別の対象となる物体として歩行者を検出する場合を説明したが、本発明はこれに限定されるものではなく、歩行者以外の物体（倒木などの走行の障害をなり得る障害物）を検出するようにしてもよい。これにより、走行の障害となり得る様々な物体に対応した車両制御などを効率的に行うことも可能となる。
【００７２】
（６）装置構成等
また、本実施例において説明した各処理のうち、自動的におこなわれるものとして説明した処理の全部または一部を手動的におこなうこともでき、あるいは、手動的におこなわれるものとして説明した処理の全部または一部を公知の方法で自動的におこなうこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
【００７３】
また、図２に示した物体判別装置３０の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、物体検出部３２ａと物体判別部３２ｂを統合し、あるいは、物体検出部３２ａ、物体判別部３２ｂおよび衝突危険度判定部３２ｃを統合するなど、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、物体判別装置３０にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
【００７４】
なお、上記の実施例１で説明した物体検出、物体判別および制御方法（図４参照）は、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。このプログラムは、インターネットなどのネットワークを介して配布することができる。また、このプログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することもできる。
【００７５】
また、上記の実施例１において説明した衝突危険度判定部３２ｃにおいて、衝突危険度の判定結果のみを信号として報知制御部１５もしくは車両制御部１６に対して出力させ、この信号を受け付けた報知制御部１５もしくは車両制御部１６において、その信号に基づいてどのように報知制御もしくは車両走行制御は判断させるようにしてもよい。
【産業上の利用可能性】
【００７６】
以上のように、本発明に係る物体判別装置、物体判別方法および物体判別プログラムは、単眼で撮像された画像に基づいて画像内で撮像されている物体を判別する場合に有用であり、特に、単眼で撮像された画像から効率的に物体を判別することに適する。
【図面の簡単な説明】
【００７７】
【図１】実施例１に係る物体判別装置の概要および特徴を説明するための図である。
【図２】実施例１に係る物体判別装置の構成を示すブロック図である。
【図３】実施例１に係る物体判別装置が採用する衝突危険度判定テーブルの構成例を示す図である。
【図４】実施例１に係る物体判別装置による処理の流れを示すフローチャートである。
【図５】実施例２に係る物体判別装置の概要を説明するための図である。
【符号の説明】
【００７８】
１０  撮像装置（単眼カメラ）
１１  ナビ部
１２  レーダ部
１３  前処理部
１３ａ  フィルタ部
１３ｂ  輪郭抽出部
１４  車内通知部
１５  報知制御部
１６  車両制御部
３０  物体判別装置
３１  記憶部
３１ａ  学習基底記憶部
３１ｂ  判別パターン記憶部
３１ｃ  衝突危険度判定テーブル
３２  制御部
３２ａ  物体検出部
３２ｂ  物体判別部
３２ｃ  衝突危険度判定部
【図１】
2007148835.tif 000003
【図２】
2007148835.tif 000004
【図３】
2007148835.tif 000005
【図４】
2007148835.tif 000006
【図５】
2007148835.tif 000007
【手続補正書】
【提出日】平成18年7月3日(2006.7.3)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
撮像された画像に基づいて画像内で撮像されている物体を判別する物体判別装置であって、
複数の背景画像に対して学習基底を生成して記憶しておき、記憶した学習基底と現に入力した背景画像とを比較し、残差を候補物体として検出する物体検出手段と、
前記物体検出手段によって検出された候補物体に対して予め記憶しておいた特定のパターンと比較し、候補物体が特定の物体か否かを判別する物体判別手段と、
を備えたことを特徴とする物体判別装置。
【請求項２】
撮像された画像に基づいて画像内で撮像されている物体を判別する物体判別方法であって、
複数の背景画像に対して学習基底を生成して記憶しておき、記憶した学習基底と現に入力した背景画像とを比較し、残差を候補物体として検出し、
前記物体検出手段によって検出された候補物体に対して予め記憶しておいた特定のパターンと比較し、候補物体が特定の物体か否かを判別する、
ことを特徴とする物体判別方法。
【請求項３】
複数の背景画像に対して学習基底を生成して記憶しておき、記憶した学習基底と現に入力した背景画像とを比較し、残差を候補物体として検出する物体検出手段と、前記物体検出手段によって検出された候補物体に対して予め記憶しておいた特定のパターンと比較し、候補物体が特定の物体か否かを判別する物体判別手段とを備えた物体判別装置からの判別結果に応じて警告報知を行うことを特徴とする報知制御装置。
【請求項４】
単眼で撮像された画像に基づいて画像内で撮像されている物体を判別する物体判別装置であって、
前記画像に対して顕著性算出手法を適用して前記判別の対象となる物体を検出する物体検出手段と、
前記物体検出手段によって検出された物体に対してニューラルネットワーク手法を適用して当該物体を判別する物体判別手段と、
を備えたことを特徴とする物体判別装置。
【請求項５】
前記物体判別手段による判別結果に応じて、物体との衝突危険度を判定し、警告の報知および／または車両の制御を行うための判定信号を出力する判定手段をさらに備えたことを特徴とする請求項４に記載の物体判別装置。
【請求項６】
前記判定手段は、前記物体判別手段による判別結果の他に、照射による物体からの反射波によって当該物体に対する距離情報を取得する照射手段によって得られた前記物体に対する距離情報に応じて、物体との衝突危険度を判定し、前記警告の報知および／または車両の制御を行うための判定信号を出力することを特徴とする請求項５に記載の物体判別装置。
【請求項７】
前記判定手段は、前記物体判別手段による判別結果、前記照射手段によって得られた前記物体に対する距離情報の他に、前記画像から前記物体に対する距離情報を取得する画像距離情報取得手段によって得られた前記物体に対する距離情報に応じて、物体との衝突危険度を判定し、前記警告の報知および／または車両の制御を行うための判定信号を出力することを特徴とする請求項６に記載の物体判別装置。
【請求項８】
前記判定手段は、前記物体判別手段による判別結果の他に、前記物体を判別する照射手段による判別結果に応じて、物体との衝突危険度を判定し、前記警告の報知および／または車両の制御を行うための判定信号を出力することを特徴とする請求項５に記載の物体判別装置。
【請求項９】
前記物体検出手段は、照射による物体からの反射波によって当該物体に対する方向情報を取得する照射手段によって得られた前記物体に対する方向情報に応じて、前記画像における当該方向情報に対応する領域に対して、前記顕著性算出手法を適用して前記判別の対象となる物体を検出することを特徴とする請求項４に記載の物体判別装置。
【請求項１０】
前記物体判別手段は、照射による物体からの反射波によって当該物体に対する距離情報を取得する照射手段によって得られた前記物体に対する距離情報に応じて、前記物体検出手段によって検出された物体に対して、当該距離情報に応じたニューラルネットワーク手法を適用して当該物体を判別することを特徴とする請求項４に記載の物体判別装置。
【請求項１１】
単眼で撮像された画像に基づいて画像内で撮像されている物体を判別する物体判別方法であって、
前記画像に対して顕著性算出手法を適用して前記判別の対象となる物体を検出する物体検出工程と、
前記物体検出工程によって検出された物体に対してニューラルネットワーク手法を適用して当該物体を判別する物体判別工程と、
を含んだことを特徴とする物体判別方法。
【請求項１２】
単眼で撮像された画像に基づいて画像内で撮像されている物体を判別する方法をコンピュータに実行させる物体判別プログラムであって、
前記画像に対して顕著性算出手法を適用して前記判別の対象となる物体を検出する物体検出手順と、
前記物体検出手順によって検出された物体に対してニューラルネットワーク手法を適用して当該物体を判別する物体判別手順と、
をコンピュータに実行させることを特徴とする物体判別プログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、単眼で撮像された画像に基づいて画像内で撮像されている物体を判別する物体判別装置、報知制御装置、物体判別方法および物体判別プログラムに関する。
【背景技術】
【０００２】
従来より、車両走行の障害となる物体との衝突を回避すること等を目的として、車両から撮像された画像に基づいて画像内で撮像されている物体（例えば、歩行者）の検出や判別を行う技術が知られている。例えば、特許文献１では、二つのカメラで撮像された一組のステレオ画像から判別対象の候補となる物体を検出し、その画像内における候補物体に対してニューラルネットワークの物体判別手法を適用して、候補物体が歩行者であるか等を判別する技術が開示されている。このニューラルネットワークでは、歩行者等の形状を学習させているので、多少歩行者等の形状が異なったとしても認識することができ、認識漏れを低減させることができる。
【０００３】
【特許文献１】特表２００３−５０２７４５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、上記した従来の技術は、複数のカメラを用いることが前提となるので、一つのカメラを用いる手法に比較して、構造が複雑になり、製造コストが高くなるという課題がある。
【０００５】
一方、このような課題を解決するために、単眼カメラを用いて判別対象となる候補物体（例えば、歩行者）を検出する方法として背景差分法（現画像の画素値（輝度等）と前画像の画素値との差分から候補物体を検出する方法）が考えられるが、候補物体が静止している場合には現画像の画素値と前画像の画素値との差分を取ることができないため、候補物体を検出できない。また、単眼で撮像された画像（一つのカメラで撮像された画像）に対してニューラルネットワークの物体判別手法をそのまま適用するという手法も考えられるが、候補物体が存在する領域を特定せずに画像の全領域に対してニューラルネットワークの物体判別手法を適用したのでは、無駄に物体判別処理が行われることになり、処理効率が悪くなるという課題がある。
【０００６】
そこで、この発明は、上述した従来技術の課題を解決するためになされたものであり、単眼で撮像された画像から効率的に物体を判別することが可能な物体判別装置、報知制御装置、物体判別方法および物体判別プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決し、目的を達成するため、請求項１に係る発明は、撮像された画像に基づいて画像内で撮像されている物体を判別する物体判別装置であって、複数の背景画像に対して学習基底を生成して記憶しておき、記憶した学習基底と現に入力した背景画像とを比較し、残差を候補物体として検出する物体検出手段と、前記物体検出手段によって検出された候補物体に対して予め記憶しておいた特定のパターンと比較し、候補物体が特定の物体か否かを判別する物体判別手段と、を備えたことを特徴とする。
【０００８】
また、請求項２に係る発明は、撮像された画像に基づいて画像内で撮像されている物体を判別する物体判別方法であって、複数の背景画像に対して学習基底を生成して記憶しておき、記憶した学習基底と現に入力した背景画像とを比較し、残差を候補物体として検出し、前記物体検出手段によって検出された候補物体に対して予め記憶しておいた特定のパターンと比較し、候補物体が特定の物体か否かを判別する、ことを特徴とする。
【０００９】
また、請求項３に係る発明は、複数の背景画像に対して学習基底を生成して記憶しておき、記憶した学習基底と現に入力した背景画像とを比較し、残差を候補物体として検出する物体検出手段と、前記物体検出手段によって検出された候補物体に対して予め記憶しておいた特定のパターンと比較し、候補物体が特定の物体か否かを判別する物体判別手段とを備えた物体判別装置からの判別結果に応じて警告報知を行うことを特徴とする。
【００１０】
請求項４に係る発明は、単眼で撮像された画像に基づいて画像内で撮像されている物体を判別する物体判別装置であって、前記画像に対して顕著性算出手法を適用して前記判別の対象となる物体を検出する物体検出手段と、前記物体検出手段によって検出された物体に対してニューラルネットワーク手法を適用して当該物体を判別する物体判別手段と、を備えたことを特徴とする。
【００１１】
また、請求項５に係る発明は、上記の発明において、前記物体判別手段による判別結果に応じて、物体との衝突危険度を判定し、警告の報知および／または車両の制御を行うための判定信号を出力する判定手段をさらに備えたことを特徴とする。
【００１２】
また、請求項６に係る発明は、上記の発明において、前記判定手段は、前記物体判別手段による判別結果の他に、照射による物体からの反射波によって当該物体に対する距離情報を取得する照射手段によって得られた前記物体に対する距離情報に応じて、物体との衝突危険度を判定し、前記警告の報知および／または車両の制御を行うための判定信号を出力することを特徴とする。
【００１３】
また、請求項７に係る発明は、上記の発明において、前記判定手段は、前記物体判別手段による判別結果、前記照射手段によって得られた前記物体に対する距離情報の他に、前記画像から前記物体に対する距離情報を取得する画像距離情報取得手段によって得られた前記物体に対する距離情報に応じて、物体との衝突危険度を判定し、前記警告の報知および／または車両の制御を行うための判定信号を出力することを特徴とする。
【００１４】
また、請求項８に係る発明は、上記の発明において、前記判定手段は、前記物体判別手段による判別結果の他に、前記物体を判別する照射手段による判別結果に応じて、物体との衝突危険度を判定し、前記警告の報知および／または車両の制御を行うための判定信号を出力することを特徴とする。
【００１５】
また、請求項９に係る発明は、上記の発明において、前記物体検出手段は、照射による物体からの反射波によって当該物体に対する方向情報を取得する照射手段によって得られた前記物体に対する方向情報に応じて、前記画像における当該方向情報に対応する領域に対して、前記顕著性算出手法を適用して前記判別の対象となる物体を検出することを特徴とする。
【００１６】
また、請求項１０に係る発明は、上記の発明において、前記物体判別手段は、照射による物体からの反射波によって当該物体に対する距離情報を取得する照射手段によって得られた前記物体に対する距離情報に応じて、前記物体検出手段によって検出された物体に対して、当該距離情報に応じたニューラルネットワーク手法を適用して当該物体を判別することを特徴とする。
【００１７】
また、請求項１１に係る発明は、単眼で撮像された画像に基づいて画像内で撮像されている物体を判別する物体判別方法であって、前記画像に対して顕著性算出手法を適用して前記判別の対象となる物体を検出する物体検出工程と、前記物体検出工程によって検出された物体に対してニューラルネットワーク手法を適用して当該物体を判別する物体判別工程と、を含んだことを特徴とする。
【００１８】
また、請求項１２に係る発明は、単眼で撮像された画像に基づいて画像内で撮像されている物体を判別する方法をコンピュータに実行させる物体判別プログラムであって、前記画像に対して顕著性算出手法を適用して前記判別の対象となる物体を検出する物体検出手順と、前記物体検出手順によって検出された物体に対してニューラルネットワーク手法を適用して当該物体を判別する物体判別手順と、をコンピュータに実行させることを特徴とする。
【発明の効果】
【００１９】
請求項１および２の発明によれば、撮像された画像に基づいて画像内で撮像されている物体を判別する物体判別装置であって、複数の背景画像に対して学習基底を生成して記憶しておき、記憶した学習基底と現に入力した背景画像とを比較し、残差を候補物体として検出し、検出された候補物体に対して予め記憶しておいた特定のパターンと比較し、候補物体が特定の物体か否かを判別するので、例えば、単眼で撮像された画像からも判別の対象となる物体（例えば、歩行者）を検出することができ、また、画像内の物体が静止していても判別の対象として検出することができ、さらに、画像内の物体が画素変化の少ない遠方の物体であっても判別の対象として検出することができ、このようにして検出された物体に対してニューラルネットワークの物体判別手法を適用することによって、単眼で撮像された画像に対して判別対象を検出することなくニューラルネットワークの物体判別手法をそのまま適用する手法に比較して、単眼で撮像された画像から効率的に物体を判別することが可能である。
【００２０】
請求項３の発明によれば、複数の背景画像に対して学習基底を生成して記憶しておき、記憶した学習基底と現に入力した背景画像とを比較し、残差を候補物体として検出する物体検出手段と、前記物体検出手段によって検出された候補物体に対して予め記憶しておいた特定のパターンと比較し、候補物体が特定の物体か否かを判別する物体判別手段とを備えた物体判別装置からの判別結果に応じて警告報知を行うので、効率的な物体判別結果に基づいて、警告の報知や車両制御を効率的に行うことが可能である。
【００２１】
請求項４、１１および１２の発明によれば、単眼で撮像された画像に対して顕著性算出手法を適用して判別の対象となる物体を検出し、検出された物体に対してニューラルネットワーク手法を適用して当該物体を判別するので、単眼で撮像された画像からも判別の対象となる物体（例えば、歩行者）を検出することができ、また、画像内の物体が静止していても判別の対象として検出することができ、さらに、画像内の物体が画素変化の少ない遠方の物体であっても判別の対象として検出することができ、このようにして検出された物体に対してニューラルネットワークの物体判別手法を適用することによって、単眼で撮像された画像に対して判別対象を検出することなくニューラルネットワークの物体判別手法をそのまま適用する手法に比較して、単眼で撮像された画像から効率的に物体を判別することが可能である。なお、予め保持する定形のパターンと検出された物体とを比較して物体判別を行うパターンマッチングでは、この定形のパターンに基づくものしか検出できないが、ニューラルネットワークによる物体判別では、定形パターンには存在しない曖昧な形状で検出された物体（例えば、歩行者）も判別することが可能である。
【００２２】
また、請求項２の発明によれば、顕著性算出手法を適用して検出された判別対象の物体に対してニューラルネットワークを適用して得られた判別結果に応じて、警告の報知および／または車両の制御を行うので、効率的な物体判別結果に基づいて、警告の報知や車両制御を効率的に行うことも可能である。
【００２３】
また、請求項３の発明によれば、画像から得られた物体判別結果の他に、照射手段（例えば、ミリ波レーダ、光レーダなど）によって得られた車両から物体までの距離に応じて、警告の報知や車両の制御を行うので、精度が良い距離情報を利用して、例えば、車両から物体までの距離が近くなるに従って、画像による警告、音声による警告、ブレーキ制御による速度減速、ハンドル制御による衝突回避といった具合に、警告報知や車両制御を行うことができ、これによって、車両から物体までの距離に応じて警告報知や車両制御を的確に行うことも可能である。
【００２４】
また、請求項４の発明によれば、画像から得られた物体判別結果や、照射手段（例えば、ミリ波レーダ、光レーダなど）によって得られた車両から物体までの距離の他に、画像から得られた車両から物体までの距離に応じて、警告の報知や車両の制御を行うので、例えば、照射手段によって得られた車両から物体までの距離と画像から得られた車両から物体までの距離との平均値である距離を算出して、これを警告報知や車両制御に利用することができ、これによって、車両から物体までの距離に応じた警告報知や車両制御を精度良く行うことも可能である。
【００２５】
また、請求項５の発明によれば、画像から得られた物体判別結果の他に、照射手段（例えば、ミリ波レーダ、光レーダなど）によって得られた物体判別結果に応じて、警告の報知や車両の制御を行うので、例えば、両者から同一の物体判別結果が得られた場合にのみ当該物体判別結果を採用して警告報知や車両制御を行う、いずれか一方の物体判別結果が得られれば当該物体判別結果を採用して警告報知や車両制御を行う、または、それぞれの判別結果（判別値）の平均や加重平均から一つの物体判別結果を導き出して警告報知や車両制御を行うなどができ、これによって、物体の誤判別を防止して、警告報知や車両制御を精度良く行うことも可能である。
【００２６】
また、請求項６の発明によれば、例えば、照射手段（例えば、ミリ波レーダ、光レーダなど）によって車両から見て物体が存在する方向を検出し、画像における当該方向に対応する領域に対して優先的に顕著性算出手法を適用して判別の対象となる物体を検出するので、画像内の全領域に対して順番に顕著性算出手法を適用する場合（例えば、画像の左上にある領域から順番に右下の領域へ顕著性算出手法を適用する場合）に比較して、判別対象となる物体を早急かつ効率的に検出することも可能である。
【００２７】
また、請求項７の発明によれば、例えば、照射手段（例えば、ミリ波レーダ、光レーダなど）によって車両から物体までの距離を測定し、この距離に応じたニューラルネットワーク手法を適用して物体を判別するので、全ての距離について順番にニューラルネットワーク手法を適用する場合（例えば、近い距離の定義から順番に遠い距離の定義へニューラルネットワーク手法を適用する場合）に比較して、早急かつ効率的に物体を判別することも可能である。
【発明を実施するための最良の形態】
【００２８】
以下に添付図面を参照して、この発明に係る物体判別装置、物体判別方法および物体判別プログラムの実施例を詳細に説明する。なお、以下では、歩行者を判別して車両を制御する場合の実施例を説明する。
【実施例１】
【００２９】
以下の実施例１では、実施例１に係る物体判別装置の概要および特徴、物体判別装置の構成、物体判別装置による処理の流れを順に説明し、最後に実施例１による効果を説明する。
【００３０】
［物体判別装置の概要および特徴］
まず最初に、図１を用いて、実施例１に係る物体判別装置の概要および特徴を説明する。図１は、実施例１に係る物体判別装置の概要および特徴を説明するための図である。
【００３１】
実施例１に係る物体判別装置は、単眼カメラで撮像された画像に基づいて画像内で撮像されている物体（例えば、歩行者）を判別するとともに、判別結果に応じて報知制御や車両を行うことを概要とするものであるが、単眼で撮像された画像から効率的に物体を判別することを主たる特徴とするとともに、車両から物体までの距離に応じて警告報知や車両走行制御を的確に行うことにも特徴がある。
【００３２】
この概要および特徴を具体的に説明すると、この物体判別装置では、単眼カメラで撮像された画像に対して顕著性算出手法を適用して判別の対象となる物体（ここでは、歩行者）を検出する（図１の（１）参照）。ここで、顕著性算出手法による物体検出とは、学習プロセスによって予め生成して記憶している学習基底に基づいて、入力画像に顕著な特徴が検出されるか否かによって行う物体検出をいう。
【００３３】
具体的には、まず、学習プロセスにおいて、特定の物体（例えば、歩行者）が存在しない同一のオブジェクト（バックグラウンド、例えば、道路）が撮像されている複数の学習用画像を入力して学習領域を切り出す（例えば、２０×２０ピクセル）。続いて、この切り出した学習領域をＮ次元のベクトル（Ｎは画素値であり、例えば、２０×２０ピクセルであれば４００次元）として扱い、このＮ次元ベクトルからなる学習領域内について主成分分析を行って、特徴ベクトル（Ｎ次元ベクトルの主成分）を抽出する。そして、入力される全ての学習画像に対して特徴ベクトルの抽出を行って、同一オブジェクトに対して共通する特徴ベクトル成分から学習基底を生成して記憶する。
【００３４】
また、物体検出は、撮像装置（例えば、単眼カメラ）から入力された入力画像から学習領域と同一のサイズ（例えば、２０×２０ピクセル）の処理領域を切り出す。続いて、入力画像から切り出した処理領域をＮ次元のベクトルとして扱い、学習基底で展開する（すなわち、特徴ベクトルとの内積を算出する）。そして、この展開によって得られたベクトルと処理領域内のベクトルとの残差を顕著な特徴（顕著性）として算出し、より顕著性の大きい部分を所定の物体（例えば、歩行者）が存在するであろう領域として検出する。
【００３５】
かかる物体検出によって判別対象となる候補物体が検出されると、この物体判別装置では、検出された物体（すなわち、その画像の領域）に対してニューラルネットワーク手法を適用して候補物体が歩行者であるかを判別する（図１の（２）参照）。ここで、ニューラルネットワーク手法による物体判別とは、人間の脳の構造を真似て作成した情報処理機構であり、人間の脳の中に張り巡らされた「ニューロン」と呼ばれる神経細胞の複雑な組合せ構造を応用したネットワークを構成することで、人間の得意とする物体判別を情報処理機構に取り入れて実現する方法である。具体的には、あらかじめ学習して記憶している物体のパターンと、画像内から、例えば、顕著性算出法によって検出された走行障害の候補となる物体の検出領域とを照らし合わせることによって、その物体が特定の物体（例えば、歩行者）であるか否か判別している。
【００３６】
このようなことから、実施例１による物体判別装置では、単眼で撮像された画像からも判別の対象となる物体（例えば、歩行者）を検出することができ、また、画像内の物体が静止していても判別の対象として検出することができ、さらに、画像内の物体が画素変化の少ない遠方の物体であっても判別の対象として検出することができる。そして、このようにして検出された物体に対してニューラルネットワークの物体判別手法を適用することによって、上記した主たる特徴の如く、単眼で撮像された画像に対して判別対象を検出することなくニューラルネットワークの物体判別手法をそのまま適用する手法に比較して、単眼で撮像された画像から効率的に物体を判別することが可能である。なお、予め保持する定形のパターンと検出された物体とを比較して物体判別を行うパターンマッチングでは、この定形のパターンに基づくものしか検出できないが、ニューラルネットワークによる物体判別では、定形パターンには存在しない曖昧な形状で検出された物体（例えば、歩行者）も判別することが可能である。
【００３７】
さらに、実施例１による物体判別装置では、図１に示すように、上記した物体判別によって得られた判別結果（例えば、「歩行者である」または「歩行者でない」でないという判別結果）の他に、レーダ（例えば、ミリ波レーダ、光レーダなど）によって得られた物体に対する距離情報（車両から物体までの距離）を用いて、物体との衝突危険度を判定し、この判定結果に応じて車両走行制御や報知制御を行う（図１の（３）および（４）参照）。
【００３８】
すなわち、例を挙げると、物体判別によって「歩行者でない」との判別結果が得られた場合には、衝突の危険度はないもの（レベル０）と判定して特に車両走行制御や報知制御は行わないが、物体判別によって「歩行者である」との判別結果が得られた場合には、画像における歩行者の足元（接地面）を認識し、その接地面から車両までの距離をレーダによって取得する。そして、例えば、歩行者までの距離が遠い場合（例えば、３０ｍ以上である場合）には、衝突の危険度は低いもの（レベル１）と判定して歩行者を示す画像をモニタ（例えば、カーナビのモニタ）に出力し、また、歩行者までの距離が中程度に近い場合（例えば、１０ｍ以上３０ｍ未満である場合）には、衝突の危険度は中程度（レベル２）と判定してブレーキ制御による速度減速を行い、さらに、歩行者までの距離が極めて近い場合（例えば、１０ｍ未満である場合）には、衝突の危険度は高いもの（レベル３）と判定してハンドル制御による衝突回避を行うなど、レーダによって得られた歩行者までの距離に応じた車両走行制御や報知制御を行う。このようなことから、実施例１による物体判別装置では、上記した特徴の如く、車両から物体までの距離に応じて警告報知や車両制御を的確に行うことも可能である。
【００３９】
［物体判別装置の構成（実施例１）］
次に、図２および図３を用いて、実施例１に係る物体判別装置の構成を説明する。図２は、実施例１に係る物体判別装置の構成を示すブロック図であり、図３は、実施例１に係る物体判別装置が採用する衝突危険度判定テーブルの構成例を示す図である。
【００４０】
図２に示すように、この物体判別装置３０は、レーダ部１２、前処理部１３、報知制御部１５、車両制御部１６に接続される他、撮像装置（単眼カメラ）１０、ナビ部１１、車内通知部１４をこれらの周辺に配置する。また、物体判別装置３０は、記憶部３１と認識部３２とから構成される。
【００４１】
ナビ（ナビゲーション）部１１は、ＧＰＳ（Global Positioning System）人工衛星と通信を行って、特定した自動車の位置と地図データとから走行経路の設定および誘導を行う手段である。また、ナビ部１１は、自動車の位置情報や道路形状、路幅、傾斜など車両運転操作に有用な各種の情報を、後述する車内通知部１４を介して運転者に供給する。
【００４２】
レーダ部１２は、レーダ（例えば、７６．５ＧＨｚのミリ波レーダや光レーダなど）を照射して、前方の車両や障害物（例えば、歩行者）との距離や速度、方向などを測定する手段である。具体的には、この実施例１では、後述する衝突危険度判定部３２ｃから歩行者までの距離の測定指令を受け付けると、レーダ部１２は、歩行者から車両までの距離をレーダによって取得した後、衝突危険度判定部３２ｃにその距離情報（車両から歩行者までの距離）を送る。なお、レーダ部１２は、特許請求の範囲に記載の「照射手段」に対応する。
【００４３】
前処理部１３は、撮像装置１０（単眼カメラ）から送信されてくる画像に前処理を行う処理部であり、フィルタ部１３ａと輪郭抽出部１３ｂとから構成される。このうち、フィルタ部１３ａは、画像内に映し出された物体の輪郭を強調するための前処理（例えば、シャープネス、コントラスト調整、彩度調整）を行う手段である。また、輪郭抽出部１３ｂは、フィルタ部１３ａによって施されたフィルタリングに基づいて、画像内の物体の輪郭を抽出する手段である。
【００４４】
車内通知部１４は、ナビ部１１や後述する報知制御部１５からの情報を通知する手段であり、モニタやスピーカなどで構成される。例えば、報知制御部１５からの指令を受け付けて、歩行者の存在を示す画像をモニタに出力して運転者の注意を促したり、メッセージやアラーム音をスピーカから流すことにより運転者に対して警告を行ったりする。
【００４５】
報知制御部１５は、後述する衝突危険度判定部３２ｃからの判定信号を受け付けて、報知制御を行う処理部である。具体的には、この実施例１では、衝突危険度判定部３２ｃから歩行者の存在を示す画像の出力を促す判定信号（例えば、危険度レベル１の判定信号）を受け付けた場合には、報知制御部１５は、状況に応じて、車内通知部１４に対し、例えば、歩行者の存在を示す画像の出力指令や音声による警告の出力指令を出力する。
【００４６】
車両制御部１６は、衝突危険度判定部３２ｃからの判定信号を受け付けて、車両走行制御を行う処理部である。具体的には、この実施例１では、衝突危険度判定部３２ｃからブレーキ制御を促す判定信号（例えば、危険度レベル２の判定信号）を受け付けた場合には、車両制御部１６は、車両走行状態に応じて、例えば、ブレーキ制御による速度減速指令を出力する。また、衝突危険度判定部３２ｃからハンドル制御を促す判定信号（例えば、危険度レベル３の判定信号）を受け付けた場合には、車両制御部１６は、同じく車両走行状況に応じて、例えば、ハンドル制御による衝突回避指令や車両制動制御によるプリクラッシュ指令を出力する。
【００４７】
物体判別装置３０の記憶部３１は、制御部３２による各種処理に必要なデータおよびプログラムを格納する格納手段（記憶手段）である。そして、特に本発明に密接に関連するものとしては、学習基底記憶部３１ａ、判別パターン記憶部３１ｂおよび衝突危険度判定テーブル３１ｃを備える。
【００４８】
このうち、学習基底記憶部３１ａは、後述する物体検出部３２ａによる物体検出処理に必要な学習基底を記憶する記憶手段である。具体的には、特定の物体（例えば、歩行者）が存在しない同一のオブジェクト（バックグラウンド）が撮像されている複数の学習用画像を入力して学習領域を切り出す（例えば、２０×２０ピクセル）。続いて、この切り出した学習領域をＮ次元のベクトル（Ｎは画素値であり、例えば、２０×２０ピクセルであれば４００次元）として扱い、このＮ次元ベクトルからなる学習領域内について主成分分析を行って、特徴ベクトル（Ｎ次元ベクトルの主成分）を抽出する。そして、入力される全ての学習画像に対して特徴ベクトルの抽出を行って、同一のオブジェクトに対して共通する特徴ベクトル成分から学習基底を生成して記憶する。
【００４９】
判別パターン記憶部３１ｂは、後述する物体判別部３２ｂによる物体判別処理に必要な判別パターンを記憶する記憶手段である。具体的には、例えば、あらかじめ学習して歩行者についてのパターン（例えば、全身、頭、足および肩などの組合せからなる歩行者のパターン）を様々な条件（例えば、距離）に応じて記憶している。
【００５０】
衝突危険度判定テーブル３１ｃは、後述する衝突危険度判定部３２ｃによる衝突危険度判定処理に必要な判定テーブルを記憶する記憶手段である。具体的には、図３に例示するように、例えば、候補物体が「歩行者でない」場合には、その候補物体までの距離「ＡＬＬ」で危険度「０」、一方、候補物体が「歩行者である」場合には、その候補物体までの距離「３０ｍ以上」で危険度「レベル１」、距離「１０〜３０ｍ」で危険度「レベル２」、距離「１０ｍ未満」で危険度「レベル３」とする判定結果を規定して構成される。
【００５１】
物体判別装置３０の認識部３２は、所定の制御プログラム、各種の処理手順などを規定したプログラムおよび所要データを格納するための内部メモリを有し、これらによって種々の処理を実行する処理部である。そして、特に本発明に密接に関連するものとしては、物体検出部３２ａと、物体判別部３２ｂと、衝突危険度判定部３２ｃとを備える。なお、物体検出部３２ａは、特許請求の範囲に記載の「物体検出手段」に対応し、物体判別部３２ｂは、同じく「物体判別手段」に対応する。
【００５２】
このうち、物体検出部３２ａは、入力画像内から判別の対象となる物体（候補物体）を顕著性算出法によって検出する処理部である。具体的には、物体検出部３２ａは、学習基底記憶部３１ａから学習基底を読み出し、撮像装置１０から前処理部１３を介して受け付けた入力画像内に学習基底には見られない顕著な特徴（例えば、特異なベクトル）が現れている場合には、候補物体が存在するものとしてその領域を画像内から検出する。
【００５３】
物体判別部３２ｂは、物体検出部３２ａによって検出された候補物体をニューラルネットワークによって詳細に判別する処理部である。具体的には、物体判別部３２ｂは、あらかじめ学習して記憶している物体のパターン（例えば、全身、頭、足および肩などの組合せからなる歩行者のパターン）と、物体検出部３２ａによって判別の対象として検出された候補物体の存在する領域とを照らし合わせ、その物体が特定の物体（例えば、歩行者）であるか否かを判別する。
【００５４】
衝突危険度判定部３２ｃは、物体判別部３２ｂによる候補物体の判別結果等に基づいて、その物体との衝突危険度を判定し、車両走行制御や報知制御を促すような判定信号を報知制御部１５あるいは車両制御部１６に対して出力する処理部である。具体的には、衝突危険度判定部３２ｃは、物体判別部３２ｂから候補物体の判別結果を受け付けると、レーダ部１２に対してその候補物体までの距離を測定するように指令を送るとともに、衝突危険度判定テーブル３１ｃから衝突危険度判定テーブル（図３参照）を読み出す。そして、衝突危険度判定部３２ｃは、物体判別部３２ｂから受け付けた判別結果、レーダ部１２から得た候補物体までの距離および衝突危険度判定テーブルに基づいて衝突危険度を判定し、所定の危険度であると判定した場合には、車両制御部１６に車両走行制御を促すような判定信号を出力し、あるいは、報知制御部１５に報知制御を促すような判定信号を送る。
【００５５】
すなわち、例を挙げて説明すると、衝突危険度判定部３２ｃは、物体判別部３２ｂから「歩行者ではない」との判別結果を受け付けた場合には、衝突の危険度はないもの（レベル０）と判定し（図３参照）、特に車両制御部１６や報知制御部１５に対して車両走行制御や報知制御を促すような判定信号を出力しない。一方、衝突危険度判定部３２ｃは、物体判別部３２ｂから「歩行者である」との判別結果を受け付けた場合には、画像で認識された歩行者の位置から車両までの距離を測定するようにレーダ部１２に対して指令を送り、その距離を取得する。そして、例えば、歩行者までの距離が遠い場合（例えば、３０ｍ以上である場合）には、衝突の危険度は低いもの（レベル１）と判定して、歩行者の存在を示す画像のモニタ（例えば、カーナビのモニタ）への出力を促すような判定信号（危険度レベル１の判定信号）を報知制御部１５に対して出力し、また、歩行者までの距離が中程度に近い場合（例えば、１０ｍ以上３０ｍ未満である場合）には、衝突の危険度は中程度（レベル２）と判定して、ブレーキ制御による速度減速を促すような判定信号（危険度レベル２の判定信号）を車両制御部１６に対して出力し、さらに、歩行者までの距離が極めて近い場合（例えば、１０ｍ未満である場合）には、衝突の危険度は高いもの（レベル３）と判定して、ハンドル制御による衝突回避を促すような判定信号（危険度レベル３の判定信号）を車両制御部１６に対して出力する。なお、衝突危険度判定部３２ｃは、特許請求の範囲に記載の「判定手段」に対応する。
【００５６】
なお、上記に示した衝突危険度判定テーブル３１ｃの構成はあくまで一例であり、例えば、候補物体が歩行者でない場合であっても衝突危険度を設定して、その危険度に応じた車両走行制御あるいは報知制御を促すような判定信号を出力するようにしてもよいし、候補物体までの距離に対応させている衝突危険度の設定を車両の走行速度に応じて自動的に更新（例えば、車両の速度が速い場合には衝突を回避できるように設定距離を長めに自動更新）するようにしてもよい。
【００５７】
［物体判別装置による処理（実施例１）］
続いて、図４を用いて、実施例１に係る物体判別装置による処理の流れを説明する。図４は、実施例１に係る物体判別装置による処理の流れを示すフローチャートである。
【００５８】
同図に示すように、画像の入力を受け付けると（ステップＳ４０１）、物体検出部３２ａは、顕著性（算出法）による物体検出を行う（ステップＳ４０２）。そして、入力画像内に判別の対象となる候補物体を検出した場合には（ステップＳ４０３肯定）、次に、物体判別部３２ｂは、ニューラルネットワークによる候補物体の判別を行う（ステップＳ４０４）。その結果、候補物体を歩行者と判別した場合には（ステップＳ４０５肯定）、続いて、衝突危険度判定部３２ｃは、歩行者までの距離を測定する（ステップＳ４０６）。具体的には、衝突危険度判定部３２ｃは、レーダ部１２に対して歩行者までの距離を測定するように指令を送る。
【００５９】
レーダ部１２から距離の測定結果を得て衝突危険度判定部３２ｃは、その距離に応じて危険度判定を行う（ステップＳ４０７）。具体的には、衝突危険度判定部３２ｃは、読み出した衝突危険度判定テーブル（図３参照）に基づいて、例えば、歩行者までの距離が遠い場合（例えば、３０ｍ以上である場合）には、衝突の危険度は低いもの（レベル１）と判定し、また、歩行者までの距離が中程度に近い場合（例えば、１０ｍ以上３０ｍ未満である場合）には、衝突の危険度は中程度（レベル２）と判定し、さらに、歩行者までの距離が極めて近い場合（例えば、１０ｍ未満である場合）には、衝突の危険度は高いもの（レベル３）と判定する。
【００６０】
そして、衝突危険度判定部３２ｃは、判定した危険度に応じて車両走行制御あるいは報知制御を促すような判定信号を報知制御部１５あるいは車両制御部１６に対して出力する（ステップＳ４０８）。具体的には、衝突危険度判定部３２ｃは、衝突の危険度は低いもの（レベル１）と判定した場合には、歩行者を示す画像のモニタ（例えば、カーナビのモニタ）への出力を促すような判定信号を報知制御部１５に対して出力し、この信号に基づいて報知制御部１５は車内通知部１４を介して画像を出力し、また、衝突の危険度は中程度（レベル２）と判定した場合には、ブレーキ制御による速度減速を促すような判定信号を車両制御部１６に対して出力し、この信号に基づいて車両制御部１６は速度減速を行い、さらに、衝突の危険度は高いもの（レベル３）と判定した場合には、ハンドル制御による衝突回避を促すような判定信号を車両制御部１６に対して出力し、この信号に基づいて車両制御部１６は衝突回避を行う。
【００６１】
ここでステップＳ４０３の説明に戻ると、入力画像内に判別の対象となる候補物体を検出しなかった場合には（ステップＳ４０３否定）、物体判別部３２ａは、次の画像入力を待つ。また、ステップＳ４０５の説明に戻ると、候補物体を歩行者と判別しなかった場合には（ステップＳ４０５否定）、衝突危険度判定部３２ｃは衝突危険度の判定を行わず、物体判別装置３０は処理を終了する。
【００６２】
［実施例１に効果］
上述してきたように、実施例１によれば、この物体判別装置３０は、単眼で撮像された画像に対して顕著性算出手法を適用して判別の対象となる物体を検出し、検出された物体に対してニューラルネットワーク手法を適用して当該物体を判別するので、単眼で撮像された画像からも判別の対象となる物体（例えば、歩行者）を検出することができ、また、画像内の物体が静止していても判別の対象として検出することができ、さらに、画像内の物体が画素変化の少ない遠方の物体であっても判別の対象として検出することができ、このようにして検出された物体に対してニューラルネットワークの物体判別手法を適用することによって、単眼で撮像された画像に対して判別対象を検出することなくニューラルネットワークの物体判別手法をそのまま適用する手法に比較して、単眼で撮像された画像から効率的に物体を判別することが可能である。なお、予め保持する定形のパターンと検出された物体とを比較して物体判別を行うパターンマッチングでは、この定形のパターンに基づくものしか検出できないが、ニューラルネットワークによる物体判別では、定形パターンには存在しない曖昧な形状で検出された物体（例えば、歩行者）も判別することが可能である。
【００６３】
また、実施例１によれば、この物体判別装置３０は、顕著性算出手法を適用して検出された判別対象の物体に対してニューラルネットワークを適用して得られた判別結果に応じて、警告の報知および／または車両の制御を行うので、効率的な物体判別結果に基づいて、警告の報知や車両の制御を効率的に行うことも可能である。
【００６４】
また、実施例１によれば、この物体判別装置３０は、画像から得られた物体判別結果の他に、照射手段（例えば、ミリ波レーダ、光レーダなど）によって得られた車両から物体までの距離に応じて、警告の報知や車両の制御を行うので、精度が良い距離情報を利用して、例えば、車両から物体までの距離が近くなるに従って、画像による警告、音声による警告、ブレーキ制御による速度減速、ハンドル制御による衝突回避といった具合に、警告報知や車両制御を行うことができ、これによって、車両から物体までの距離に応じて警告報知や車両制御を的確に行うことも可能である。
【実施例２】
【００６５】
さて、これまで本発明の実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では実施例２として本発明に含まれる他の実施例を説明する。
【００６６】
（１）画像から得られる物体までの距離も利用して車両走行制御あるいは報知制御
上記の実施例１では、物体判別部３２ｂによって得られた物体判別結果や、レーダ部１２によって得られた車両から物体（例えば、歩行者）までの距離に応じて車両走行制御などを行う場合を説明したが、本発明はこれに限定されるものではなく、物体判別部３２ｂによって得られた物体判別結果や、レーダ部１２によって得られた車両から物体までの距離の他に、画像から得られた車両から物体（例えば、歩行者の足元（接地面））までの距離に応じて車両走行制御などを行うようにしてもよい。
【００６７】
具体的には、図５の（Ａ）に例示するように、物体判別部３２ｂによって得られた物体判別結果およびレーダ部１２によって得られた車両から物体までの距離だけでなく、さらに、画像から得られた車両から物体までの距離（例えば、画像内における歩行者の足元の位置までの画素数から算出した距離）も利用して、衝突危険度判定部３２ｃは危険度判定を行い、その危険度に応じた車両走行制御などを促すような判定信号を出力し、その信号に基づいて車両走行制御などを行う。
【００６８】
このように、画像から得られた物体判別結果や、照射手段（例えば、ミリ波レーダ、光レーダなど）によって得られた車両から物体までの距離の他に、画像から得られた車両から物体（例えば、歩行者の足元（接地面））から車両までの距離に応じて、警告の報知や車両の制御を行うので、例えば、照射手段によって得られた車両から物体までの距離と画像から得られた車両から物体までの距離との平均値である距離を算出して、これを警告報知や車両制御に利用することができ、これによって、車両から物体までの距離に応じた警告報知や車両制御を精度良く行うことも可能である。
【００６９】
（２）他の物体判別結果も利用して車両走行制御あるいは報知制御
また、上記の実施例１では、物体判別部３２ｃによって得られた物体判別結果に応じて車両走行制御などを行う場合を説明したが、本発明はこれに限定されるものではなく、例えば、レーダ部１２によって得られる物体判別結果も利用して車両走行制御などを行うようにしてもよい。
【００７０】
具体的には、図５の（Ｂ）に例示するように、物体判別部３２ｂによって得られた物体判別結果およびレーダ部１２によって得られた車両から物体までの距離だけでなく、さらに、レーダ部１２から得られた物体判別結果も利用して、衝突危険度判定部３２ｃは危険度判定を行い、例えば、両者から同一の物体判別結果が得られた場合にのみ当該物体判別結果を採用して警告報知や車両走行制御を行う、いずれか一方の物体判別結果が得られれば当該物体判別結果を採用して警告報知や車両走行制御を行う、または、それぞれの判別結果（判別値）の平均や加重平均から一つの物体判別結果を導き出して警告報知や車両走行制御を行うため、その危険度判定の結果に応じて車両走行制御などの指令を出力する。
【００７１】
このように、画像から得られた物体判別結果の他に、照射手段（例えば、ミリ波レーダ、光レーダなど）によって得られた物体判別結果に応じて、警告の報知や車両の制御を行うので、物体の誤判別を防止して、警告報知や車両制御を精度良く行うことも可能である。
【００７２】
（３）物体が存在する方向を特定して物体検出
また、上記の実施例１では、入力される画像に対してそのまま顕著性算出法を適用して判別の対象となる物体を検出する場合を説明したが、本発明はこれに限定されるものではなく、車両から見て物体が存在する方向を検出し、画像における当該方向に対応する領域に対して優先的に顕著性算出手法を適用して判別の対象となる物体を検出するようにしてもよい。具体的には、図５の（Ｃ）に例示するように、レーダ部１２によって車両からみた物体の存在する方向を検出し、物体検出部３２ａは、画像内におけるその方向に対応する領域に対して優先的に顕著性算出法を適用して判別の対象となる物体の検出を行う。
【００７３】
このように、例えば、照射手段（例えば、ミリ波レーダ、光レーダなど）によって車両から見て物体が存在する方向を検出し、画像における当該方向に対応する領域に対して優先的に顕著性算出手法を適用して判別の対象となる物体を検出するので、画像内の全領域に対して順番に顕著性算出手法を適用する場合（例えば、画像の左上にある領域から順番に右下の領域へ顕著性算出手法を適用する場合）に比較して、判別対象となる物体を早急かつ効率的に検出することも可能である。
【００７４】
（４）距離に応じた物体判別
また、上記の実施例１では、判別の対象として検出された物体に対して一様にニューラルネットワーク手法を適用して物体を判別する場合を説明したが、本発明はこれに限定されるものではなく、車両から物体までの距離を測定し、この距離に応じたニューラルネットワーク手法を適用して物体を判別するようにしてもよい。具体的には、図５の（Ｄ）に例示するように、レーダ部１２によって車両から物体までの距離を測定し、物体判別部３２ｂは、ニューラルネットワーク手法を適用する際に、その距離に対応するパターンを用いて判別の対象として検出された物体を判別する。
【００７５】
このように、例えば、照射手段（例えば、ミリ波レーダ、光レーダなど）によって車両から物体までの距離を測定し、この距離に応じたニューラルネットワーク手法を適用して物体を判別するので、全ての距離について順番にニューラルネットワーク手法を適用する場合（例えば、近い距離の定義から順番に遠い距離の定義へニューラルネットワーク手法を適用する場合）に比較して、早急かつ効率的に物体を判別することも可能である。
【００７６】
（５）歩行者以外の検出
また、上記の実施例１では、判別の対象となる物体として歩行者を検出する場合を説明したが、本発明はこれに限定されるものではなく、歩行者以外の物体（倒木などの走行の障害をなり得る障害物）を検出するようにしてもよい。これにより、走行の障害となり得る様々な物体に対応した車両制御などを効率的に行うことも可能となる。
【００７７】
（６）装置構成等
また、本実施例において説明した各処理のうち、自動的におこなわれるものとして説明した処理の全部または一部を手動的におこなうこともでき、あるいは、手動的におこなわれるものとして説明した処理の全部または一部を公知の方法で自動的におこなうこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
【００７８】
また、図２に示した物体判別装置３０の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、物体検出部３２ａと物体判別部３２ｂを統合し、あるいは、物体検出部３２ａ、物体判別部３２ｂおよび衝突危険度判定部３２ｃを統合するなど、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、物体判別装置３０にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
【００７９】
なお、上記の実施例１で説明した物体検出、物体判別および制御方法（図４参照）は、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。このプログラムは、インターネットなどのネットワークを介して配布することができる。また、このプログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することもできる。
【００８０】
また、上記の実施例１において説明した衝突危険度判定部３２ｃにおいて、衝突危険度の判定結果のみを信号として報知制御部１５もしくは車両制御部１６に対して出力させ、この信号を受け付けた報知制御部１５もしくは車両制御部１６において、その信号に基づいてどのように報知制御もしくは車両走行制御は判断させるようにしてもよい。
【産業上の利用可能性】
【００８１】
以上のように、本発明に係る物体判別装置、報知制御装置、物体判別方法および物体判別プログラムは、単眼で撮像された画像に基づいて画像内で撮像されている物体を判別する場合に有用であり、特に、単眼で撮像された画像から効率的に物体を判別することに適する。
【図面の簡単な説明】
【００８２】
【図１】実施例１に係る物体判別装置の概要および特徴を説明するための図である。
【図２】実施例１に係る物体判別装置の構成を示すブロック図である。
【図３】実施例１に係る物体判別装置が採用する衝突危険度判定テーブルの構成例を示す図である。
【図４】実施例１に係る物体判別装置による処理の流れを示すフローチャートである。
【図５】実施例２に係る物体判別装置の概要を説明するための図である。
【符号の説明】
【００８３】
１０  撮像装置（単眼カメラ）
１１  ナビ部
１２  レーダ部
１３  前処理部
１３ａ  フィルタ部
１３ｂ  輪郭抽出部
１４  車内通知部
１５  報知制御部
１６  車両制御部
３０  物体判別装置
３１  記憶部
３１ａ  学習基底記憶部
３１ｂ  判別パターン記憶部
３１ｃ  衝突危険度判定テーブル
３２  制御部
３２ａ  物体検出部
３２ｂ  物体判別部
３２ｃ  衝突危険度判定部