(57)【要約】【課題】認識対象の確からしい位置を検出することを課題とする。【解決手段】探索窓で切り出される入力画像の領域について所定のパターンマッチングを実行し、当該パターンマッチングの度合いを導出する。また、探索窓で切り出される領域同士が各々いずれかの領域と一部重複するように当該探索窓を移動させながら、パターンマッチングを複数回実行させる。そして、導出された度合いを前記領域の度合いとして計上するとともに、パターンマッチングが複数回実行された結果、複数回重複してパターンマッチングが実行された領域の一部については、一回ごとのパターンマッチングで導出された度合いを前記領域の一部の度合いとして複数回分積算する。【選択図】        図１
2009070344.tif 000002
【特許請求の範囲】
【請求項１】
探索窓で切り出される入力画像の領域について所定のパターンマッチングを実行し、当該パターンマッチングの度合いを導出する度合い導出手段と、
探索窓で切り出される領域同士が各々いずれかの領域と一部重複するように当該探索窓を移動させながら、前記度合い導出手段によるパターンマッチングを複数回実行させる実行手段と、
前記度合い導出手段によって導出された度合いを前記領域の度合いとして計上するとともに、前記実行手段によってパターンマッチングが複数回実行された結果、前記度合い導出手段によって複数回重複してパターンマッチングが実行された領域の一部については、一回ごとのパターンマッチングで導出された度合いを前記領域の一部の度合いとして複数回分積算する積算手段と、
を備えたことを特徴とする画像認識装置。
【請求項２】
前記積算手段によって積算された値に応じてレベル分けされた色分けの表現をすることで、当該積算手段によって積算された結果を画像化して所定の出力部に出力する出力手段をさらに備えたことを特徴とする請求項１に記載の画像認識装置。
【請求項３】
前記積算手段によって積算された値に応じてレベル分けされたグラデーションの表現をすることで、当該積算手段によって積算された結果を画像化して所定の出力部に出力する出力手段をさらに備えたことを特徴とする請求項１に記載の画像認識装置。
【請求項４】
前記出力手段は、前記積算手段によって積算された値の内、所定の閾値を満たさない値については、画像化された結果が全て同レベルの前記表現となるように出力することを特徴とする請求項２または３に記載の画像認識装置。
【請求項５】
前記出力手段は、前記積算手段によって積算された値の内、所定の閾値以上の値については、画像化された結果が全て同レベルの前記表現となるように出力することを特徴とする請求項２〜４のいずれか一つに記載の画像認識装置。
【請求項６】
探索窓で切り出される入力画像の領域について所定のパターンマッチングを実行し、当該パターンマッチングの度合いを導出する度合い導出工程と、
探索窓で切り出される領域同士が各々いずれかの領域と一部重複するように当該探索窓を移動させながら、前記度合い導出工程によるパターンマッチングを複数回実行させる実行工程と、
前記度合い導出工程によって導出された度合いを前記領域の度合いとして計上するとともに、前記実行工程によってパターンマッチングが複数回実行された結果、前記度合い導出工程によって複数回重複してパターンマッチングが実行された領域の一部については、一回ごとのパターンマッチングで導出された度合いを前記領域の一部の度合いとして複数回分積算する積算工程と、
を含んだことを特徴とする画像認識方法。
【請求項７】
探索窓で切り出される入力画像の領域について所定のパターンマッチングを実行し、当該パターンマッチングの度合いを導出する度合い導出手段と、
探索窓で切り出される領域同士が各々いずれかの領域と一部重複するように当該探索窓を移動させながら、前記度合い導出手段によるパターンマッチングを複数回実行させる実行手段と、
前記度合い導出手段によって導出された度合いを前記領域の度合いとして計上するとともに、前記実行手段によってパターンマッチングが複数回実行された結果、前記度合い導出手段によって複数回重複してパターンマッチングが実行された領域の一部については、一回ごとのパターンマッチングで導出された度合いを前記領域の一部の度合いとして複数回分積算する積算手段と、
前記積算手段によって積算された結果に基づいて、物体との衝突が予測された場合に、車両の動作制御および／または運転者に対する通知制御を行う制御手段と、
を備えたことを特徴とする電子制御装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像認識装置、画像認識方法および電子制御装置に関する。
【背景技術】
【０００２】
車両の走行中においては、特に歩行者との衝突回避が重要である。このため、従来より、自車両周辺の歩行者を認識することを目的とした技術が開発されてきた。
【０００３】
例えば、画像認識装置が、カメラで撮影した入力画像をフーリエ変換し、歩行者の輪郭に対応する周波数領域を選択することで、もしくは、道路などの背景や服の模様などの個人差に対応する周波数領域を除外することで、歩行者を認識する技術がある。
【０００４】
また、例えば、特許文献１には、画像認識装置が、可視光カメラで撮影した入力画像からレーンマーキングを検出して探索領域を設定し、その後、赤外線カメラで撮影した入力画像から探索領域内の歩行者を認識する技術が開示されている。また、例えば、特許文献２には、画像認識装置が、ステレオカメラで撮影した入力画像を利用することで、認識した歩行者と車両との間の距離を計算する技術が開示されている。
【０００５】
【特許文献１】特開２００２−３６２３０２号公報
【特許文献２】特開２００５−６２９１０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ところで、上記した従来の技術では、認識対象の確からしい位置を検出することができないという課題があった。すなわち、例えば、画像認識装置が、入力画像に対して高速フーリエ変換を行い、高速フーリエ変換の結果を用いて歩行者を認識すると、位置ずれに対するロバスト性が増し（図１３を参照）、歩行者の確からしい位置（歩行者が存在する可能性の高い位置）を求めることができない。
【０００７】
このような課題は、特に、歩行者が複数人である場合などに顕著になる。すなわち、例えば、画像認識装置が、高速フーリエ変換の結果を用いて連れ添って歩いている複数人の歩行者を認識すると、歩行者の確からしい位置はおろか、歩行者の人数すら求めることができないおそれがある。
【０００８】
なお、特許文献１や特許文献２に開示されている技術は、いずれも複数のカメラを利用するものであり、単一のカメラで撮影された画像を入力画像とするものではなく、このことに起因する新たな課題（例えば、装置の構成が複雑になるなど）が生じることから、いずれにしても上記した課題を適切に解決し得るものではない。
【０００９】
そこで、この発明は、上記した従来技術の課題を解決するためになされたものであり、認識対象の確からしい位置を検出することが可能な画像認識装置、画像認識方法および電子制御装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上述した課題を解決し、目的を達成するため、本発明に係る画像認識装置、画像認識方法および電子制御装置は、探索窓で切り出される入力画像の領域について所定のパターンマッチングを実行し、当該パターンマッチングの度合いを導出する。また、探索窓で切り出される領域同士が各々いずれかの領域と一部重複するように当該探索窓を移動させながら、パターンマッチングを複数回実行させる。そして、導出された度合いを前記領域の度合いとして計上するとともに、パターンマッチングが複数回実行された結果、複数回重複してパターンマッチングが実行された領域の一部については、一回ごとのパターンマッチングで導出された度合いを前記領域の一部の度合いとして複数回分積算することを特徴とする。
【発明の効果】
【００１１】
本発明によれば、画像認識装置、画像認識方法および電子制御装置は、探索窓で切り出される入力画像の領域について所定のパターンマッチングを実行し、当該パターンマッチングの度合いを導出し、探索窓で切り出される領域同士が各々いずれかの領域と一部重複するように当該探索窓を移動させながら、パターンマッチングを複数回実行させ、導出された度合いを前記領域の度合いとして計上するとともに、パターンマッチングが複数回実行された結果、複数回重複してパターンマッチングが実行された領域の一部については、一回ごとのパターンマッチングで導出された度合いを前記領域の一部の度合いとして複数回分積算するので、認識対象の確からしい位置を検出することが可能になる。
【発明を実施するための最良の形態】
【００１２】
以下に添付図面を参照して、本発明に係る画像認識装置、画像認識方法および電子制御装置の実施例を詳細に説明する。なお、実施例１においては、車載用の画像認識装置を説明する。また、以下では、実施例で用いる主要な用語、実施例１に係る画像認識装置の概要および特徴、実施例１に係る画像認識装置の構成、実施例１に係る画像認識装置の処理の手順、および、実施例１の効果を説明し、次に、他の実施例について説明する。
【実施例１】
【００１３】
［用語の説明］
まず最初に、以下の実施例で用いる主要な用語を説明する。「パターンマッチング」とは、入力画像における認識対象を認識することを目的として、入力画像と基準パターンとを比較する手法のことである。具体的な手法としては、ニューラルネットによる識別器を利用するパターンマッチングや、入力画像と基準パターンとの間の相互相関係数を利用するパターンマッチングなどがある。本発明は、パターンマッチングの具体的な手法に限定されるものではないが、実施例１においては、ニューラルネットによる識別器を利用するパターンマッチングを想定することとする。
【００１４】
ニューラルネットによる識別器とは、基準パターンから学習する学習型の識別器のことである。すなわち、ニューラルネットによる識別器は、基準パターンとして、例えば、『子供』の画像や『大人』の画像など様々な対象の画像を予め学習し、様々なサイズの画像を予め学習することで、画像の入力を受け付けた際に、当該画像における認識対象が『人である』のか否かを識別することができるようになったものである。このような識別器は、画像の入力を受け付けると、当該画像を識別器が扱う所定のサイズに変換し、変換後の画像の画素値を入力として当該画像が『人である』のか否かを識別し、識別の結果を「パターンマッチングの度合い」として０から１の値で出力する。
【００１５】
ここで、識別器に入力される画像は、具体的には、「探索窓」によって切り出される入力画像の領域である。一般に、「パターンマッチング」において、処理の対象とされる入力画像が基準パターンよりもサイズの大きい画像である場合には、「探索窓」によって切り出される入力画像の領域と基準パターンとを比較することが行われる。また、「探索窓」は、入力画像を適宜移動することで、入力画像の全体について「パターンマッチング」を行う。なお、「探索窓」の形状について、認識対象と同程度の大きさの矩形とすることが既に行われているので、実施例１においてはこのような「探索窓」を想定することとするが、本発明はこれに限られるものではない。
【００１６】
［実施例１に係る画像認識装置の概要および特徴］
続いて、図１を用いて、実施例１に係る画像認識装置の概要および特徴を説明する。図１は、実施例１に係る画像認識装置の概要および特徴を説明するための図である。
【００１７】
実施例１に係る画像認識装置は、上記したように、探索窓で切り出される入力画像の領域についてパターンマッチングを実行することで、入力画像における認識対象を認識することを概要とし、認識対象の確からしい位置を検出することを主たる特徴とする。
【００１８】
この主たる特徴について簡単に説明すると、実施例１に係る画像認識装置は、探索窓で切り出される入力画像の領域について、パターンマッチングを実行し、パターンマッチングの度合いを導出する。例えば、画像認識装置は、図１の（１）に示すように、入力画像の領域について、ニューラルネットによる識別器を利用するパターンマッチングを実行し、図１の（２）に示すように、パターンマッチングの度合い『０．６』を導出する。なお、実施例１においては、識別器は、入力された画像が『人である』のか否かを識別するものであるとする。
【００１９】
ここで、実施例１に係る画像認識装置は、上記したようなパターンマッチングを複数回実行するが、この時、探索窓で切り出される領域同士が各々いずれかの領域と一部重複するように、探索窓を移動させる。例えば、画像認識装置は、図１の（３）に示すように、探索窓を移動させ、認識対象である『男性』の周辺領域を複数回切り出すが、切り出される領域同士が各々いずれかの領域と一部重複するように、探索窓を少しずつずらしながら移動させている。
【００２０】
また、実施例１に係る画像認識装置は、探索窓で切り出された領域各々について、導出された度合いを当該領域の度合いとして計上するとともに、パターンマッチングが複数回実行された結果、複数回重複してパターンマッチングが実行された領域の一部については、一回ごとのパターンマッチングで導出された度合いを領域の一部の度合いとして複数回分積算する。
【００２１】
例えば、画像認識装置は、図１の（４）に示すように、図１の（３）で『出力０．６』が導出された領域については、『６』を計上し、『出力０．８』が導出された領域については、『８』を計上する。また、画像認識装置は、図１の（３）で２回重複してパターンマッチングが実行された結果、『出力０．６』と『出力０．９』とが導出された領域の一部については、『６』と『９』とを積算して『１５』を計上する。また、画像認識装置は、図１の（３）で３回重複してパターンマッチングが実行された結果、『出力０．６』と『出力０．９』と『出力０．８』とが導出された領域の一部については、『６』と『９』と『８』とを積算して『２３』を計上する。また、画像認識装置は、図１の（３）で４回重複してパターンマッチングが実行された結果、『出力０．６』と『出力０．９』と『出力０．８』と『出力０．８』とが導出された領域の一部については、『６』と『９』と『８』と『８』とを積算して『３１』を計上する。
【００２２】
そして、実施例１に係る画像認識装置は、積算された結果を出力部に出力する。例えば、画像認識装置は、図１の（５）に示すように、積算された値に応じてレベル分けされたグラデーションの表現をすることで、結果を画像化して出力する。図１の（５）の例では、積算された値が大きいほど白に近く、積算された値が小さいほど黒に近いグラデーションの表現（領域については塗りつぶし）がなされている。
【００２３】
このようなことから、実施例１に係る画像認識装置は、認識対象の確からしい位置を検出することが可能になる。
【００２４】
すなわち、図１の（５）に示すように、実施例１に係る画像認識装置の出力は、積算された値が大きい部分が特に強調して表示されるものである（図１の（５）において、白く塗りつぶされた部分が強調して表示された部分である）。ここで、積算された値が大きい部分とは、『人である』と識別された値が大きい部分ということであり、その中でも、複数回分の度合いが積算された値が大きい部分ということは、『人』が存在する可能性が特に高い部分ということである。『人』が存在する可能性が特に高い部分が特に強調して表示されれば、例えば、このような出力によって通知を受けるユーザは、認識対象である『人』の確からしい位置を認識することが可能になる。
【００２５】
［実施例１に係る画像認識装置の構成］
次に、図２〜図１０を用いて、実施例１に係る画像認識装置の構成を説明する。図２は、実施例１に係る画像認識装置（車載用の画像認識装置）の構成を示すブロック図であり、図３は、入力画像について説明するための図であり、図４は、探索窓について説明するための図であり、図５は、マッチング実行部について説明するための図であり、図６は、マッチング度合い積算部について説明するための図であり、図７は、結果出力部（グラデーション）について説明するための図であり、図８は、結果出力部（色分け）について説明するための図であり、図９は、結果出力部（重ね合わせ）について説明するための図であり、図１０は、結果出力部（残像）について説明するための図である。
【００２６】
車両に搭載された画像認識装置１０は、ナビゲーション装置３０、カメラ３１、レーダ３３、およびプリクラッシュＥＣＵ４０と接続している。
【００２７】
ナビゲーション装置３０は、ＧＰＳ（Global  Positioning  System）人工衛星と通信して特定した自車両の位置と、予め記憶した地図データ３０ａとを利用して、走行経路の設定および誘導を行う車載装置である。また、ナビゲーション装置３０は、画像認識装置１０に対して、自車両の位置情報や周辺の地図情報、走行予定経路などを提供する。
【００２８】
カメラ３１は、自車両周辺を撮影し、撮影結果を画像認識装置１０に入力する。レーダ３３は、自車両周辺の物体検知、および、物体までの距離測定を行って、画像認識装置１０に入力する。
【００２９】
プリクラッシュＥＣＵ４０は、画像認識装置１０が自車両の衝突を予測した場合に、画像認識装置１０の制御を受け、ブレーキ４１やエンジン制御装置（ＥＦＩ）４２による車両の動作制御、また、ディスプレイ４３やスピーカ４４による通知を実行する電子制御装置である。
【００３０】
ディスプレイ４３は、ユーザ、すなわち、自車両乗員に対して表示による通知を行い、スピーカ４４は、音声による通知を行う。ディスプレイ４３およびスピーカ４４は、プリクラッシュＥＣＵ４０から制御を受けて出力を行う他、ナビゲーション装置３０や図示しない車載オーディオ装置など各種車載装置で共用することができる。
【００３１】
画像認識装置１０は、その内部に、前処理部１１、車両認識部１６、白線認識部１７、歩行者認識部１８、パターンデータベース１９、および衝突判定部２０を有する。ここで、車両認識部１６、白線認識部１７、歩行者認識部１８、および衝突判定部２０は、例えば、単一のマイコン１０ａ（ＣＰＵ、ＲＯＭ、ＲＡＭの組み合わせからなる演算処理ユニット）などによって実現されるなどする。
【００３２】
前処理部１１は、カメラ３１が撮影した画像に対して、フィルタリングやエッジ検出、輪郭抽出などの処理を施した後、車両認識部１６、白線認識部１７、および歩行者認識部１８に出力する。
【００３３】
車両認識部１６は、前処理部１１が出力した画像に対してパターンマッチングなどを施して車両を認識し、認識結果を、衝突判定部２０に出力する。また、白線認識部１７は、前処理部１１が出力した画像に対してパターンマッチングなどを施して白線を認識し、認識結果を衝突判定部２０に出力する。なお、パターンマッチングの具体的な手法は問わないが、画像認識装置１０は、必要に応じて、パターンマッチング用の基準パターンをパターンデータベース１９に記憶していてもよい。
【００３４】
歩行者認識部１８は、図２に示すように、マッチング度合い導出部１８ａと、マッチング実行部１８ｂと、マッチング度合い積算部１８ｃと、結果出力部１８ｄとを備える。なお、マッチング度合い導出部１８ａは、特許請求の範囲に記載の「度合い導出手段」に対応し、マッチング実行部１８ｂは、特許請求の範囲に記載の「実行手段」に対応し、マッチング度合い積算部１８ｃは、特許請求の範囲に記載の「積算手段」に対応し、結果出力部１８ｄは、特許請求の範囲に記載の「出力手段」に対応する。
【００３５】
マッチング度合い導出部１８ａは、パターンマッチングを実行し、パターンマッチングの度合いを導出する。具体的には、マッチング度合い導出部１８ａは、前処理部１１によって所定の処理が施された入力画像の内、探索窓で切り出される入力画像の領域についてパターンマッチングを実行し、パターンマッチングの度合いを導出し、導出した度合いは、マッチング度合い積算部１８ｃによる処理に利用される。
【００３６】
ここで、マッチング度合い導出部１８ａは、パターンマッチングを実行するニューラルネットによる識別器を備えている。実施例１におけるニューラルネットによる識別器は、上記したように、画像の入力を受け付けると、当該画像を識別器が扱う所定のサイズに変換し、変換後の画像の画素値を入力として当該画像が『人である』のか否かを識別し、識別の結果を「パターンマッチングの度合い」として０から１の値で出力するものである。なお、画像認識装置１０は、必要に応じて、識別器の学習用の基準パターンをパターンデータベース１９に記憶していてもよい。
【００３７】
例えば、マッチング度合い導出部１８ａは、前処理部１１によって所定の処理が施された入力画像として、図３に示すような画像の入力を受け付けると、図４に示すような探索窓で入力画像の領域を切り出し、切り出した当該領域を識別器が扱う所定のサイズに変換し、変換後の領域の画素値を入力として当該領域が『人である』のか否かを識別し、識別の結果を「パターンマッチングの度合い」として出力する。
【００３８】
なお、実施例１において、マッチング度合い導出部１８ａは、導出した「パターンマッチングの度合い」が『出力０．５』を満たさない場合には、『人』ではないと識別し、マッチング度合い積算部１８ｃによる積算処理を省略すべく、導出した度合いをマッチング度合い積算部１８ｃに送信せず、そのまま次の処理へと移行している。
【００３９】
マッチング実行部１８ｂは、パターンマッチングを複数回実行させる。具体的には、マッチング実行部１８ｂは、探索窓で切り出される領域同士が各々いずれかの領域と一部重複するように当該探索窓を移動させながら、マッチング度合い導出部１８ａによるパターンマッチングを複数回実行させる。
【００４０】
例えば、マッチング実行部１８ｂは、図５に示すように（もっとも、図５は、説明の便宜上から、移動させた探索窓の一部を示すものである）、探索窓で切り出される領域同士が各々いずれかの領域と一部重複するように、探索窓を移動させる。すなわち、マッチング実行部１８ｂは、図５に示すように、探索窓を移動させ、認識対象である『男性』の周辺領域を複数回切り出すが、切り出される領域同士が各々いずれかの領域と一部重複するように、探索窓を少しずつずらしながら移動させている。この移動に伴い、マッチング度合い導出部１８ａが、探索窓で切り出した領域を識別器によって識別し、「パターンマッチングの度合い」として出力する。ここで、マッチング実行部１８ｂが、どの程度探索窓をずらしながら移動させるべきかは、適宜選択されてよいものである。画素ごとにずらす手法や、数画素ごとにずらす手法、あるいは、認識対象となる物体の周辺だけを精密にずらし、あとはずらすのではなく単純に隣に移動する手法など、画像認識装置１０の目的などに応じて適宜選択されてよい。
【００４１】
なお、マッチング実行部１８ｂは、入力画像に対して探索窓を移動させることになるが、どのような探索窓を利用すべきか、といった点も、本発明において適宜選択されてよいものである。実施例１においては、画像認識装置１０が車両に搭載され、特に歩行者との衝突回避を目的として利用されるものであることを想定しているので、例えば、入力画像としては、図３に示すような、遠近感のある画像が入力されることが多いとする。そうであるとすると、同じ『人』であっても、図４に示すＹ座標が小さい値の場合には、探索窓は大きいものを利用すべきであるといえるし、Ｙ座標が大きい値の場合には、探索窓は小さいものを利用すべきであるといえる。もっとも、『人』には、『大人』もいれば『子供』もいて、また、『立っている人』もいれば『座っている人』もいて、さらには、身長や体型の異なる『人』もいるので、Ｙ座標によって単純に探索窓の大きさを変化させればよいというものではない。実施例１における画像認識装置１０は、Ｙ座標に応じた適切な選択と考え得る探索窓の大きさに関する情報を、図示しないデータベースに格納しており、マッチング実行部１８ｂは、このデータベースから探索窓の大きさに関する情報を取得して、適切な探索窓を取得している。
【００４２】
マッチング度合い積算部１８ｃは、導出された度合いを計上する。具体的には、マッチング度合い積算部１８ｃは、マッチング度合い導出部１８ａによって導出された度合いを領域の度合いとして計上するとともに、マッチング実行部１８ｂによってパターンマッチングが複数回実行された結果、マッチング度合い導出部１８ａによって複数回重複してパターンマッチングが実行された領域の一部については、一回ごとのパターンマッチングで導出された度合いを領域の一部の度合いとして複数回分積算し、積算した結果は、結果出力部１８ｄによる処理に利用される。
【００４３】
例えば、マッチング度合い積算部１８ｃは、図６に示すように（もっとも、図６は、説明の便宜上から、積算の一部を示すものである）、図５で『出力０．６』で導出された領域については、『６』を計上し、『出力０．８』が導出された領域については、『８』を計上する。また、画像認識装置１０は、図５で２回重複してパターンマッチングが実行された結果、『出力０．６』と『出力０．９』とが導出された領域の一部については、『６』と『９』とを積算して『１５』を計上する。また、画像認識装置１０は、図５で３回重複してパターンマッチングが実行された結果、『出力０．６』と『出力０．９』と『出力０．８』とが導出された領域の一部については、『６』と『９』と『８』とを積算して『２３』を計上する。また、画像認識装置１０は、図５で４回重複してパターンマッチングが実行された結果、『出力０．６』と『出力０．９』と『出力０．８』と『出力０．８』とが導出された領域の一部については、『６』と『９』と『８』と『８』とを積算して『３１』を計上する。
【００４４】
ここで、図６を改めて検討すると、まず、図６は、入力画像について、２箇所に、認識対象となる物体（実施例１においては『人』）が存在する可能性があることを示唆しているといえる。その上で、例えば、左の箇所に着目すると、認識対象である『人』は、『６』の値が書き込まれているあたりから、『８』の値が書き込まれているあたりまでを取り囲む広い領域全体のいずれかに存在する可能性があるということになる。この領域全体のいずれかに『人』が存在する可能性がある、という情報だけでは、認識対象である『人』の確からしい位置を検出できているとは言い難い。例えば、車両と歩行者とが衝突するおそれのある緊急事態を想定するならば、『６』の値が書き込まれているあたりに『人』が存在するのか、『８』の値が書き込まれているあたりに『人』が存在するのか、の違いは、大きな差異となるといえる。
【００４５】
この点、本発明によれば、積算した値が、認識対象である『人』の確からしい位置の検出に貢献することになる。すなわち、図６に示すように、広い領域全体の内の一部の領域については、『３１』という大きな値が書き込まれている。積算値が大きいということは、『人』が存在する可能性が特に高いということであり、『３１』という値が書き込まれている位置こそが、『人』の確からしい位置といえる。
【００４６】
結果出力部１８ｄは、積算された結果を出力部に出力する。具体的には、マッチング度合い積算部１８ｃによって積算された結果を（衝突判定部２０、プリクラッシュＥＣＵ４０に制御されるなどして）ディスプレイ４３などの出力部に出力する。
【００４７】
例えば、結果出力部１８ｄは、図７に示すように、積算された値に応じてレベル分けされたグラデーションの表現をすることで、結果を画像化してディスプレイ４３に出力する。図７の例では、積算された値が大きいほど白に近く、積算された値が小さいほど黒に近いグラデーションの表現（領域については塗りつぶし）がなされている。すなわち、図７に示すように、画像認識装置１０の出力は、積算された値が大きい部分が特に強調して表示されるものである（図７において、白く塗りつぶされた部分が強調して表示された部分である）。ここで、積算された値が大きい部分とは、『人である』と識別された値が大きい部分ということであり、その中でも、複数回分の度合いを積算して積算された値が大きい部分ということは、『人』が存在する可能性が特に高い部分ということである（図６の『３１』の値が書き込まれている位置に相当する）。『人』が存在する可能性が特に高い部分が特に強調して表示されれば、例えば、このような出力によって通知を受けるユーザは、認識対象である『人』の確からしい位置を認識することが可能になる。
【００４８】
なお、実施例１における結果出力部１８ｄは、積算値の内、所定の閾値（例えば、『５』（出力でいうと『０．５』に相当する））を満たさない値については、画像化された結果が全て同レベルの表現（例えば、黒く塗りつぶされた部分）となるように出力している。また、実施例１における結果出力部１８ｄは、積算値の内、所定の閾値以上（例えば、『３０』以上）の値については、画像化された結果が全て同レベルの表現（例えば、白く塗りつぶされた部分）となるように出力している。もっとも、本発明は、このような出力に限定されるものではなく、様々な出力のバリエーションに対応することができる。
【００４９】
例えば、結果出力部１８ｄは、図８に示すように、積算された値に応じてレベルわけされた色分けの表現をすることで、結果を画像化してディスプレイ４３に出力してもよい。図８の例では、積算された値が所定の閾値以上（例えば、『３０』以上）であれば『赤』で、次の値（もしくは値の範囲）については『黄』、次の値（もしくは値の範囲）については『緑』、その他、積算された値が所定の閾値（例えば、『５』）を満たさなければ『青』で表現するなどされている。すなわち、図８に示すように、画像認識装置１０の出力は、積算された値が大きい部分が特に強調して表示されるものである（図８において、赤く塗りつぶされた部分（凡例を参照）が強調して表示された部分である）。
【００５０】
また、例えば、結果出力部１８ｄは、画像化された結果と入力画像とを重ね合わせて出力してもよい。すなわち、図９に示すように、入力画像を背景とし、その上に、図９に示すような出力を透過処理を施して重ねるなどした上で、ディスプレイ４３に出力してもよい。また、例えば、結果出力部１８ｄは、画像化された結果と入力画像とを短時間に交互に出力してもよい。すなわち、図１０に示すように、画像化された結果を入力画像の後に挿入し、いわゆるパラパラ漫画のように連続してディスプレイ４３に出力してもよい。この場合には、ユーザにおける残像を利用することで、ユーザは、入力画像と確からしい位置との関係を把握することができる。
【００５１】
衝突判定部２０は、車両認識部１６、白線認識部１７、および歩行者認識部１８による認識結果、レーダ３３による検知結果およびナビゲーション装置３０が出力する位置情報を用いて、歩行者や他車両と自車両との衝突危険度を判定する。
【００５２】
具体的には、衝突判定部２０は、歩行者や他車両との衝突が発生する確率、衝突する時間、衝突する位置までの距離、衝突する角度などを判定し、その判定結果に基づいて、ディスプレイ４３に対する情報表示指示、スピーカ４４に対する警告音声出力指示、ブレーキ制御指示やＥＦＩ制御指示などを、プリクラッシュＥＣＵ４０に対して出力する。
【００５３】
なお、実施例１における衝突判定部２０は、歩行者認識部１８の結果出力部１８ｄから結果の出力指示を受け取ると、例えば、出力結果に所定の閾値以上の値が含まれていると判定することで衝突の判定を行うなどして、プリクラッシュＥＣＵ４０に伝達し、プリクラッシュＥＣＵ４０を介してディスプレイ４３に結果を出力するなどしている。
【００５４】
［実施例１に係る画像認識装置の処理の手順］
次に、図１１および図１２を用いて、実施例１に係る画像認識装置による処理を説明する。図１１は、画像認識装置の処理（全体）の流れについて示すフローチャートであり、図１２は、歩行者認識部の処理の流れについて示すフローチャートである。
【００５５】
［画像認識装置の処理（全体）］
図１１に示すフローチャートは、電源スイッチ（イグニッションスイッチなどと連動していてもよい）がオンされ、カメラ３１が画像を撮影した場合に開始され、画像フレームの処理ごと（例えば、数ｍｓｅｃごと）に繰り返し実行される処理である。
【００５６】
まず、画像認識装置１０は、カメラ３１が撮影した画像に対して、前処理部１１によるフィルタリング、エッジ検出、輪郭抽出などの処理を施す（ステップＳ１０１）。次に、画像認識装置１０は、白線認識部１７による白線認識処理（ステップＳ１０２）および車両認識部１６による車両認識処理（ステップＳ１０３）を実行する。
【００５７】
その後、歩行者認識部１８が歩行者認識を実行し（ステップＳ１０４）、衝突判定部２０が衝突判定を行って（ステップＳ１０５）、判定結果をプリクラッシュＥＣＵ４０に出力し（ステップＳ１０６）、処理を終了する。
【００５８】
［歩行者認識部の処理］
次に、図１２に示すフローチャートについて説明すると、まず、マッチング実行部１８ｂが、図示しないデータベースから、Ｙ座標に応じた適切な選択と考え得る探索窓の大きさに関する情報を取得し、適切な探索窓を取得する（ステップＳ２０１）。
【００５９】
次に、マッチング実行部１８ｂが探索窓を移動し、探索窓で入力画像の領域を切り出すと、マッチング度合い導出部１８ａが、パターンマッチングを実行し、パターンマッチングの度合いを導出する（ステップＳ２０２）。
【００６０】
続いて、マッチング度合い導出部１８ａは、導出したパターンマッチングの度合いが、所定の閾値（例えば、『出力０．５』）を満たすか否かを判定する（ステップＳ２０３）。ここで、度合いが閾値を満たさない場合には（ステップＳ２０３否定）、マッチング度合い導出部１８ａは、『人』ではないと識別し、導出した度合いをマッチング度合い積算部１８ｃに送信せず、そのままステップＳ２０５の処理へと移行する。
【００６１】
一方、度合いが閾値を満たす場合には（ステップＳ２０３肯定）、マッチング度合い導出部１８ａが、導出した度合いをマッチング度合い積算部１８ｃに送信し、マッチング度合い積算部１８ｃが、導出された度合いを積算する（ステップＳ２０４）。この時、マッチング度合い積算部１８ｃは、マッチング度合い導出部１８ａから送信された度合いを領域の度合いとして計上するとともに、複数回重複してパターンマッチングが実行された領域の一部については、積算する。
【００６２】
そして、マッチング実行部１８ｂが、当該探索窓によるパターンマッチングが終了したか否かを判定し（ステップＳ２０５）、終了していない場合には（ステップＳ２０５否定）、探索窓を移動して（ステップＳ２０６）、再び、パターンマッチングの実行処理へと移行する（ステップＳ２０２）。このステップＳ２０６において、マッチング実行部１８ｂは、探索窓で切り出される領域同士が各々いずれかの領域と一部重複するように、探索窓を移動させる。
【００６３】
一方、ステップＳ２０５において、マッチング実行部１８ｂが、当該探索窓によるパターンマッチングが終了したと判定すると（ステップＳ２０５肯定）、マッチング実行部１８ｂは、探索窓が終了したか否かを判定し（ステップＳ２０７）、探索窓が終了していない場合には（ステップＳ２０７否定）、マッチング実行部１８ｂは、再び、探索窓の取得を行う（ステップＳ２０１）。探索窓が終了した場合には（ステップＳ２０７肯定）、マッチング実行部１８ｂは、積算された結果を結果出力部１８ｄに送信し、結果出力部１８ｄが、画像化した結果をディスプレイに出力するなどする（ステップＳ２０８）。
【００６４】
［実施例１の効果］
上記してきたように、実施例１によれば、探索窓で切り出される入力画像の領域について所定のパターンマッチングを実行し、当該パターンマッチングの度合いを導出し、探索窓で切り出される領域同士が各々いずれかの領域と一部重複するように当該探索窓を移動させながら、パターンマッチングを複数回実行させ、導出された度合いを前記領域の度合いとして計上するとともに、パターンマッチングが複数回実行された結果、複数回重複してパターンマッチングが実行された領域の一部については、一回ごとのパターンマッチングで導出された度合いを前記領域の一部の度合いとして複数回分積算し、積算された結果を所定の出力部に出力するので、認識対象の確からしい位置を検出することが可能になる。
【００６５】
また、本発明に係る画像認識装置は、位置ずれに強く、認識対象の確からしい位置を検出することが可能になる結果、ひいては、誤検出を低減することも可能になる。
【００６６】
また、実施例１によれば、結果を画像化して出力するので、例えば、車両の運転者などに、認識対象の確からしい位置を通知することが可能になる。
【００６７】
また、実施例１によれば、画像化された結果と入力画像とを重ね合わせて出力したり、画像化された結果と入力画像とを短時間に交互に出力するので、認識対象の確からしい位置を適切に通知することが可能になる。
【００６８】
また、実施例１によれば、積算された値に応じてレベル分けされた色分けの表現やグラデーションの表現をすることで、結果を画像化して出力するので、認識対象の確からしい位置を、レベル分けした上で通知することが可能になる。
また、色分けの表現をする際に、枠ではなく、領域（例えば、矩形領域）の塗りつぶしにすることで、通知された者（車両の運転者等）の見落としを少なくすることも可能になる。
【００６９】
また、実施例１によれば、積算された値の内、所定の閾値を満たさない値については、画像化された結果が全て同レベルの表現となるように出力し、所定の閾値以上の値については、画像化された結果が全て同レベルの表現となるように出力するので、認識対象の確からしい位置を、効率的に通知することが可能になる。
【実施例２】
【００７０】
［他の実施例］
さて、これまで本発明の実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。
【００７１】
実施例１においては、本発明に係る画像認識装置が、車両に搭載され、認識対象である物体が『人である』のか否かを識別する事例について説明したが、本発明はこれに限られるものではない。画像を認識し、認識対象の確からしい位置を検出する画像認識装置として、その他の事例にも適用することが可能である。
【００７２】
また、実施例１においては、ニューラルネットによる識別器を利用するパターンマッチングを行う手法を想定したが、本発明はこれに限られるものではない。例えば、画像認識装置が、パターンデータベースに一つまたは複数の基準パターンを記憶し、マッチング度合い導出部が、探索窓で切り出される入力画像の領域とパターンデータベースに記憶されている基準パターンとの間の相互相関係数を利用してパターンマッチングを行う手法にも、本発明を同様に適用することができる。
【００７３】
また、この手法によった場合に、画像認識装置は、基準パターンとして『大人』のパターンや『子供』のパターンを記憶し、『大人』のパターンでパターンマッチングを実行した結果を積算した積算結果、『子供』のパターンでパターンマッチングを実行した結果を積算した積算結果などを、各々個別のプレーン（個別のプレーンは、例えば、１枚の出力画像に対応する）で管理してもよい。すなわち、例えば、マッチング度合い積算部が、『大人』のパターンによる積算結果、『子供』のパターンによる積算結果を個別のプレーンで管理するとともに、これらを合計した積算結果をも他のプレーンで管理し、結果出力部が、必要に応じて、合計の積算結果を出力したり、『子供』のパターンによる積算結果のみを出力してもよい。
【００７４】
このように、積算結果を、１プレーンではなく複数プレーンで管理する手法は、ニューラルネットによる識別器を利用する場合にも適用することができる。すなわち、例えば、ニューラルネットによる識別器が、『人である』か否かを識別する識別器と『動物である』か否かを識別する識別器とに分類されて複数存在すれば、マッチング度合い積算部は、『人』の識別器による積算結果、『動物』の識別器による積算結果を個別のプレーンで管理するとともに、これらを合計した積算結果をも他のプレーンで管理し、結果出力部が、必要に応じて、合計の積算結果を出力したり、『人』のパターンによる積算結果のみを出力してもよい。なお、各プレーンは、探索窓別に積算結果を管理するものであってもよい。
【００７５】
また、実施例１においては、出力結果を画像化してディスプレイに表示する手法について説明したが、本発明はこれに限られるものではない。例えば、画像処理装置は、検出した確からしい位置を示すデータとして、Ｘ座標やＹ座標などを出力し、これを衝突判定部に入力することで、衝突判定部による適切な制御に任せてもよい。
【００７６】
［システム構成等］
また、本実施例において説明した各処理のうち、自動的におこなわれるものとして説明した処理の全部または一部を手動的におこなうこともでき、あるいは、手動的におこなわれるものとして説明した処理の全部または一部を公知の方法で自動的におこなうこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
【００７７】
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示（例えば、図２など）の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
【００７８】
なお、本実施例で説明した画像認識方法は、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。このプログラムは、インターネットなどのネットワークを介して配布することができる。また、このプログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することもできる。
【産業上の利用可能性】
【００７９】
以上のように、本発明に係る画像認識装置、画像認識方法および電子制御装置は、探索窓で切り出される入力画像の領域についてパターンマッチングを実行することで、入力画像における認識対象を認識することに有用であり、特に、認識対象の確からしい位置を検出することに適する。
【図面の簡単な説明】
【００８０】
【図１】実施例１に係る画像認識装置の概要および特徴を説明するための図である。
【図２】実施例１に係る画像認識装置の構成を示すブロック図である。
【図３】入力画像について説明するための図である。
【図４】探索窓について説明するための図である。
【図５】マッチング実行部について説明するための図である。
【図６】マッチング度合い積算部について説明するための図である。
【図７】結果出力部（グラデーション）について説明するための図である。
【図８】結果出力部（色分け）について説明するための図である。
【図９】結果出力部（重ね合わせ）について説明するための図である。
【図１０】結果出力部（残像）について説明するための図である。
【図１１】画像認識装置の処理（全体）の流れについて示すフローチャートである。
【図１２】歩行者認識部の処理の流れについて示すフローチャートである。
【図１３】従来技術について説明するための図である。
【符号の説明】
【００８１】
１０  画像認識装置
１０ａ  マイコン
１１  前処理部
１６  車両認識部
１７  白線認識部
１８  歩行者認識部
１８ａ  マッチング度合い導出部
１８ｂ  マッチング実行部
１８ｃ  マッチング度合い積算部
１８ｄ  結果出力部
１９  パターンデータベース
２０  衝突判定部
３０  ナビゲーション装置
３０ａ  地図データ
３１  カメラ
３３  レーダ
４０  プリクラッシュＥＣＵ
４１  ブレーキ
４２  ＥＦＩ
４３  ディスプレイ
４４  スピーカ
【図２】
2009070344.tif 000003
【図３】
2009070344.tif 000004
【図４】
2009070344.tif 000005
【図５】
2009070344.tif 000006
【図６】
2009070344.tif 000007
【図１１】
2009070344.tif 000008
【図１２】
2009070344.tif 000009
【図１】
2009070344.tif 000010
【図７】
2009070344.tif 000011
【図８】
2009070344.tif 000012
【図９】
2009070344.tif 000013
【図１０】
2009070344.tif 000014
【図１３】
2009070344.tif 000015