(57)【要約】【課題】画像認識において認識性能を保ちながら処理量を低減する。【解決手段】画像探索部は、画像のフレームに設定された複数の探索領域のそれぞれについて画像から目標物体の画像を示す目標物体領域を探索し、画像追跡部は、画像探索部が複数の探索領域のそれぞれについて探索を行う毎に、過去に探索された目標物体領域が含まれる周辺領域について目標物体領域を追跡する。【選択図】図２
2014048702.tif 000002
【特許請求の範囲】
【請求項１】
画像のフレームに設定された複数の探索領域のそれぞれについて画像から目標物体の画像を示す目標物体領域を探索する画像探索部と、
前記画像探索部が前記複数の探索領域のそれぞれについて探索を行う毎に、過去に探索された前記目標物体領域が含まれる周辺領域について前記目標物体領域を追跡する画像追跡部と、
を備えることを特徴とする画像認識装置。
【請求項２】
前記目標物体領域を探索する探索領域の順序が予め定められており、前記画像探索部が前記複数のうち１つの探索領域について目標物体領域の探索を終了し、前記画像追跡部が前記目標物体領域を追跡した後、前記画像探索部は、前記複数のうち他の１つの探索領域について探索を開始することを特徴とする請求項１に記載の画像認識装置。
【請求項３】
大きさがそれぞれ異なる領域であって、前記複数の探索領域の全ての領域である全体領域が複数設定されており、前記画像探索部が前記１つの探索領域について目標物体領域の探索を行い、前記画像追跡部が前記目標物体領域を追跡する周期毎に、前記画像探索部は、前記複数の全体領域それぞれの当該周期に対応する探索領域について前記目標物体領域を探索することを特徴とする請求項１又は２に記載の画像認識装置。
【請求項４】
前記画像追跡部が追跡する領域における画像と前記目標物体の画像との相関性を示す判別値に対する閾値が、前記画像探索部における前記目標物体に対する閾値よりも低いことを特徴とする請求項１ないし３のいずれかに記載の画像認識装置。
【請求項５】
前記画像追跡部が前記目標物体を識別する識別器又は弱識別器の個数が、前記画像探索部が備える識別器又は弱識別器の個数よりも少ないことを特徴とする請求項１ないし３のいずれかに記載の画像認識装置。
【請求項６】
前記目標物体領域に画像が示された目標物体までの到達時間、距離又は相対速度を算出する相対情報算出部、
を備えることを特徴とする請求項１ないし５のいずれかに記載の画像認識装置。
【請求項７】
前記画像追跡部は、追跡した前記目標物体領域に画像が示された目標物体が、前記画像探索部が探索した目標物体領域に画像が示された目標物体と同一か否かを判定し、前記画像探索部が探索した目標物体領域に画像が示された目標物体と異なると判定されたとき、前記画像探索部が探索した目標物体領域を、自部が追跡する目標物体領域として追加することを特徴とする請求項１ないし６のいずれかに記載の画像認識装置。
【請求項８】
前記画像追跡部は、追跡した目標物体領域の位置及び大きさのパラメータのうち少なくとも一方のパラメータと前記画像探索部が探索した目標物体領域の当該少なくとも一方のパラメータに基づいて、前記追跡した目標物体領域に画像が示された目標物体と前記画像探索部が探索した目標物体領域に画像が示された目標物体とが同一か否かを判定することを特徴とする請求項７に記載の画像認識装置。
【請求項９】
前記目標物体の画像の特徴を示す画像特徴量に係る認識データを予め記憶した記憶部を備え、
前記画像追跡部は、前記周辺領域の一部の領域における画像特徴量に対応する認識データを用いて、前記目標物体の画像が示される目標物体領域を定めることを特徴とする請求項１ないし８のいずれかに記載の画像認識装置。
【請求項１０】
前記画像追跡部は、前記周辺領域の一部の領域から特徴点を検出し、検出した特徴点の位置の時間変化に基づいて、前記目標物体の画像が示される目標物体領域を定めることを特徴とする請求項９に記載の画像認識装置。
【請求項１１】
前記画像探索部及び前記画像追跡部は、予め定めた画像特徴量として輝度の勾配方向毎の勾配量、輝度の勾配方向毎の度数、勾配方向矩形特徴量又は輝度値を用いて前記目標物体を識別することを特徴とする請求項４又は５に記載の画像認識装置。
【請求項１２】
画像認識装置における画像認識方法であって、
前記画像認識装置は、画像のフレームに設定された複数の探索領域のそれぞれについて画像から目標物体の画像を示す目標物体領域を探索する第１の過程と、
前記画像認識装置は、前記複数の探索領域のそれぞれについて探索を行う毎に、過去に探索された前記目標物体領域が含まれる周辺領域について前記目標物体領域を追跡する第２の過程と、
を有することを特徴とする画像認識方法。
【請求項１３】
画像認識装置のコンピュータに、
画像のフレームに設定された複数の探索領域のそれぞれについて画像から目標物体の画像を示す目標物体領域を探索する第１の手順、
前記複数の探索領域のそれぞれについて探索を行う毎に、過去に探索された前記目標物体領域が含まれる周辺領域について前記目標物体領域を追跡する第２の手順、
を実行させるための画像認識プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像認識装置、画像認識方法、及び画像認識プログラムに関する。
【背景技術】
【０００２】
本発明は、画像認識装置、画像認識方法、及びこれに用いるコンピュータプログラムに関し、特にターゲットとする物体の認識に用いられる装置、方法、及びこれに用いるコンピュータプログラムに関する。
【０００３】
近年、車両の運転支援や事故の予防のために、車間距離制御装置（ＡＣＣ）や衝突警報装置、衝突回避・軽減装置等が開発されており、車載カメラを備えた経済的な装置の普及が期待されている。車載カメラによる目標物体の認識には、パターン認識が用いられている。パターン認識では、認識させようとする目標物体の特徴量を予め学習し、学習によって得られた特徴量からなる辞書データを生成する。生成した辞書データを参照して、撮影した画像から目標物体の画像を認識する。パターン認識では、撮影した広範囲の画像から目標物体を探索するために、例えば、目標物体を認識させようとする領域（ウィンドウ）を予め設定しておく。そして、撮影した画像において、例えば、ウィンドウの位置を変位（シフト）させ、変位させた位置毎に認識に係る処理を行う。
【０００４】
パターン認識の手法として、例えば、非特許文献１に示されるように輝度値に基づくＨａａｒ−ｌｉｋｅ特徴量とＡｄａＢｏｏｓｔを組み合わせて用いるアルゴリズムが提案されている。特許文献１には、そのアルゴリズムを応用した物体認識装置が提案されている。その他、認識に用いられる特徴量として、輝度値の勾配に基づくＨＯＧ（Ｈｉｓｔｏｇｒａｍｓ  ｏｆ  Ｏｒｉｅｎｔｅｄ  Ｇｒａｄｉｅｎｔｓ）特徴量やＳＶＭ（Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅ）識別器が提案されている。また、パターン認識においてウィンドウの変位量（移動ステップ、シフト量ともいう）が少ない場合には、１つの目標物体について複数のウィンドウが選択されることがある。このような場合に、この複数のウィンドウに対してクラスタリング処理を行い、最適なウィンドウを特定する方法が提案されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−３１０８０５号公報
【非特許文献】
【０００６】
【非特許文献１】Ｐａｕｌ  Ｖｉｏｌａ，  Ｍｉｃｈａｅｌ  Ｊｏｎｅｓ、“Ｒａｐｉｄ  Ｏｂｊｅｃｔ  Ｄｅｔｅｃｔｉｏｎ  ｕｓｉｎｇ  ａ  Ｂｏｏｓｔｅｄ  Ｃａｓｃａｄｅ  ｏｆ  Ｓｉｍｐｌｅ  Ｆｅａｔｕｒｅｓ”、「Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ  ２００１」、ＩＥＥＥ  Ｃｏｍｐｕｔｅｒ  Ｓｏｃｉｅｔｙ、８−１４  Ｄｅｃｅｍｂｅｒ  ２００１、（１）、５１１−５１８
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、パターン認識によって目標物体を認識する処理は、例えば、車載用の組込装置等に実装するには演算負荷が過大であったという問題がある。例えば車載用の物体認識装置では、他の四輪自動車、二輪自動車、自転車、歩行者、道路標識をはじめ、１個の装置において多種多様な物体を認識することが要求される。他方、目標物体を認識するには撮影された画像から認識対象となる物体が存在する可能性がある領域として画像の全領域を走査する。また、認識精度を向上させるために、数種類のウィンドウの大きさ（スケール）や一度にウィンドウを移動させる移動ステップ幅を設定し、ウィンドウのスケール、等の各条件で走査を行う。そのため、処理量は、組込装置に適用できないほど大きくなることがある。
【０００８】
本発明は上記の点に鑑みてなされたものであり、認識性能を保ちながら処理量を低減する画像認識装置、画像認識方法、及び画像認識プログラムを提供する。
【課題を解決するための手段】
【０００９】
（１）本発明は上記の課題を解決するためになされたものであり、本発明の一態様は、画像のフレームに設定された複数の探索領域のそれぞれについて画像から目標物体の画像を示す目標物体領域を探索する画像探索部と、前記画像探索部が前記複数の探索領域のそれぞれについて探索を行う毎に、過去に探索された前記目標物体領域が含まれる周辺領域について前記目標物体領域を追跡する画像追跡部とを備えることを特徴とする画像認識装置である。
【００１０】
（２）本発明のその他の態様は、上述の画像認識装置であって、前記目標物体領域を探索する探索領域の順序が予め定められており、前記画像探索部が前記複数のうち１つの探索領域について目標物体領域の探索を終了し、前記画像追跡部が前記目標物体領域を追跡した後、前記画像探索部は、前記複数のうち他の１つの探索領域について探索を開始することを特徴とする。
【００１１】
（３）本発明のその他の態様は、上述の画像認識装置であって、大きさがそれぞれ異なる領域であって、前記複数の探索領域の全ての領域である全体領域が複数設定されており、前記画像探索部が前記１つの探索領域について目標物体領域の探索を行い、前記画像追跡部が前記目標物体領域を追跡する周期毎に、前記画像探索部は、前記複数の全体領域それぞれの当該周期に対応する探索領域について前記目標物体領域を探索することを特徴とする。
【００１２】
（４）本発明のその他の態様は、上述の画像認識装置であって、前記画像追跡部が追跡する領域における画像と前記目標物体の画像との相関性を示す判別値に対する閾値が、前記画像探索部における前記目標物体に対する閾値よりも低いことを特徴とする。
【００１３】
（５）本発明のその他の態様は、上述の画像認識装置であって、前記画像追跡部が前記目標物体を識別する識別器又は弱識別器の個数が、前記画像探索部が備える識別器又は弱識別器の個数よりも少ないことを特徴とする。
【００１４】
（６）本発明のその他の態様は、上述の画像認識装置であって、前記目標物体領域に画像が示された目標物体までの到達時間、距離又は相対速度を算出する相対情報算出部を備えることを特徴とする。
【００１５】
（７）本発明のその他の態様は、上述の画像認識装置であって、前記画像追跡部は、追跡した前記目標物体領域に画像が示された目標物体が、前記画像探索部が探索した目標物体領域に画像が示された目標物体と同一か否かを判定し、前記画像探索部が探索した目標物体領域に画像が示された目標物体と異なると判定されたとき、前記画像探索部が探索した目標物体領域を、自部が追跡する目標物体領域として追加することを特徴とする。
【００１６】
（８）本発明のその他の態様は、上述の画像認識装置であって、前記画像追跡部は、追跡した目標物体領域の位置及び大きさのパラメータのうち少なくとも一方のパラメータと前記画像探索部が探索した目標物体領域の当該少なくとも一方のパラメータに基づいて、前記追跡した目標物体領域に画像が示された目標物体と前記画像探索部が探索した目標物体領域に画像が示された目標物体とが同一か否かを判定することを特徴とする。
【００１７】
（９）本発明のその他の態様は、上述の画像認識装置であって、前記目標物体の画像の特徴を示す画像特徴量に係る認識データを予め記憶した記憶部を備え、前記画像追跡部は、前記周辺領域の一部の領域における画像特徴量に対応する認識データを用いて、前記目標物体の画像が示される目標物体領域を定めることを特徴とする。
【００１８】
（１０）本発明のその他の態様は、上述の画像認識装置であって、前記画像追跡部は、前記周辺領域の一部の領域から特徴点を検出し、検出した特徴点の位置の時間変化に基づいて、前記目標物体の画像が示される目標物体領域を定めることを特徴とする。
【００１９】
（１１）本発明のその他の態様は、上述の画像認識装置であって、前記画像探索部及び前記画像追跡部は、予め定めた画像特徴量として輝度の勾配方向毎の勾配量、輝度の勾配方向毎の度数、勾配方向矩形特徴量又は輝度値を用いて前記目標物体を識別することを特徴とする。
【００２０】
（１２）本発明のその他の態様は、画像認識装置における画像認識方法であって、前記画像認識装置は、画像のフレームに設定された複数の探索領域のそれぞれについて画像から目標物体の画像を示す目標物体領域を探索する第１の過程と、前記画像認識装置は、前記複数の探索領域のそれぞれについて探索を行う毎に、過去に探索された前記目標物体領域が含まれる周辺領域について前記目標物体領域を追跡する第２の過程と、を有することを特徴とする画像認識方法である。
【００２１】
（１３）本発明のその他の態様は、画像認識装置のコンピュータに、画像のフレームに設定された複数の探索領域のそれぞれについて画像から目標物体の画像を示す目標物体領域を探索する第１の手順、前記複数の探索領域のそれぞれについて探索を行う毎に、過去に探索された前記目標物体領域が含まれる周辺領域について前記目標物体領域を追跡する第２の手順、を実行させるための画像認識プログラムである。
【発明の効果】
【００２２】
本発明によれば、画像認識において認識性能を保ちながら処理量を低減することができる。
【図面の簡単な説明】
【００２３】
【図１】本発明の実施形態に係る画像認識システムの構成を示す概略図である。
【図２】本実施形態に係る画像認識処理を示すフローチャートである。
【図３】本実施形態に係る分割領域の一例を示す概念図である。
【図４】本実施形態に係る処理のタイミングの一例を示す概念図である。
【図５】本実施形態に係る分割領域におけるラスタスキャンの例を示す概念図を示す。
【図６】本実施形態に係るウィンドウ更新処理を示す概念図である。
【図７】本実施形態に係るラスタスキャンにおけるパターン認識処理の一例を示すフローチャートである。
【図８】本実施形態に係るラスタスキャンにおけるパターン認識処理の一例を示すフローチャートである。
【図９】トラッキング対象ウィンドウの例を示す概念図である。
【図１０】本実施形態に係る周辺スキャン領域の一例を示す概念図である。
【図１１】本実施形態に係るトラッキング後のパターン認識処理の一例を示すフローチャートである。
【図１２】本実施形態に係るトラッキング後のパターン認識処理の他の例を示すフローチャートである。
【図１３】本実施形態の一変形例に係るラスタスキャン領域の一例を示す概念図である。
【図１４】本変形例に係る分割領域の一例を示す概念図である。
【図１５】本変形例に係る分割領域におけるラスタスキャンの例を示す概念図を示す。
【図１６】従来の画像認識処理の一例を示すフローチャートである。
【図１７】従来の画像認識処理の一例を示す概念図である。
【図１８】従来の画像認識処理の他の例を示すフローチャートである。
【図１９】従来の画像認識処理におけるラスタスキャン領域を示す概念図である。
【図２０】従来の画像認識処理におけるウィンドウ及び移動ステップを示す概念図である。
【発明を実施するための形態】
【００２４】
［用語の説明］
本願において、矩形とは、長方形ばかりではなく、正方形も含む。
本願において、勾配方向矩形特徴量（ＲＯＧ［Ｒｅｃｔａｎｇｌｅ  ｏｆ  Ｏｒｉｔｅｎｔｅｄ  Ｇｒａｄｉｅｎｔｓ］特徴量ともいう）とは、矩形の領域に示される画像の輝度の勾配方向と勾配強度に関する特徴量である。勾配強度として、勾配強度を示す値よりも情報量が低減されている勾配度数を用いてもよい。本願では、勾配強度と勾配度数を含む、広義の勾配値を勾配量と呼ぶ。
本願において、積分勾配画像は、画像の輝度について勾配方向と勾配強度を算出して、それぞれの勾配方向毎に勾配強度を積分した結果（積分勾配値）を示す画像である。この積分は、例えば、積分勾配画像を求める対象となる領域に含まれる全ての画素（ピクセル（ｐｉｘｅｌ））について行われる。
識別器として、例えば、ＡｄａＢｏｏｓｔ、Ｒｅａｌ  ＡｄａＢｏｏｓｔ、ＳＶＭ（Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅ）等の画像のパターン認識に係る処理を行う識別器を用いてもよい。
識別器の下位概念として、統計的学習を行う識別器があり、その下位概念として、Ｂｏｏｓｔｉｎｇの識別器があり、さらにＢｏｏｓｔｉｎｇの識別器の下位概念として、ＡｄａＢｏｏｓｔ等がある。さらにＡｄａＢｏｏｓｔの発展としてＲｅａｌ  ＡｄａＢｏｏｓｔ等がある。  
Ｂｏｏｓｔｉｎｇとは、複数の弱識別器を用いて識別を行う統計的学習手法のことである。ＡｄａＢｏｏｓｔとは、Ｂｏｏｓｔｉｎｇの学習工程において間違って分類されたサンプルに対する重みを高く、正しく分類されたサンプルの重みを低くし、適応的に更新する学習手法である。未知サンプルに対しては、各弱識別器の応答値（例えば、１又は−１）と信頼度を用いた重み付き多数決により最終出力値を得る。
Ｒｅａｌ  ＡｄａＢｏｏｓｔとは、ＡｄａＢｏｏｓｔの発展手法であり、弱識別器の出力が特徴量の分布に応じて実数化され、これにより学習サンプルに対し、より効果的な重みの更新が可能となる手法である。未知サンプルに対しては、各弱識別器の応答値の線形和により最終出力値を得る。
【００２５】
（本発明の実施形態）
以下、図面を参照しながら本発明の実施形態について説明する。
本実施形態では、車両に搭載される車載用の画像認識システムを例にとって説明する。
図１は、本実施形態に係る画像認識システムの構成を示す概略図である。
本画像認識システムは、カメラＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ  Ｃｏｎｔｒｏｌ  Ｕｎｉｔ）１、警報装置２、ＡＣＣ（Ａｄａｐｔｉｖｅ  Ｃｒｕｉｓｅ  Ｃｏｎｔｒｏｌ、適応巡行制御、車間距離制御）−ＥＣＵ３、及び衝突回避制御−ＥＣＵ４を備える。
カメラＥＣＵ１は、画像認識装置の１つの態様である。カメラＥＣＵ１は、カメラ１１、画像取得部１２、物体認識部１３、及び制御部１４を含んで構成される。
【００２６】
カメラ１１は、車両に設置され、予め定めた方向、例えばその車両の前方、左側方、右側方、又は後方の画像を撮影する。カメラ１１は、撮影した画像を示す画像信号を画像取得部１２に出力する。
画像取得部１２は、カメラ１１から画像信号を取り込み、取り込んだ画像信号を物体認識部１３に出力する。
【００２７】
物体認識部１３は、画像取得部１２から入力された画像信号に対して物体認識のための画像処理及びパターン認識に係る処理を行い、パターン認識の結果を示す認識データを制御部１４に出力する。この画像処理は、例えば、前処理としてのフィルタリング処理である。認識データは、例えば、入力された画像信号が示す画像内の目標物体のデータである。
物体認識部１３は、ＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）２１の機能と、マイクロコンピュータ２２の機能を用いて構成される。物体認識部１３は、ＦＰＧＡ２１の機能の代わりに、又はＦＰＧＡ２１の機能とともにＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）の機能が用いられていてもよい。
【００２８】
制御部１４は、物体認識部１３から入力された認識データに基づいて予め定められた処理を行い、その処理結果を示す処理データを警報装置２、ＡＣＣ−ＥＣＵ３及び衝突回避制御−ＥＣＵ４に出力する。予め定めた処理として、目標物体との間のＴＴＣ（Ｔｉｍｅ  ｔｏ  Ｃｏｌｌｉｓｉｏｎ、到達時間）や距離を算出する処理、目標物体を追跡する処理がある。制御部１４は、他の装置やＥＣＵ（図１に示す例では、警報装置２、ＡＣＣ−ＥＣＵ３又は衝突回避制御ＥＣＵ４）で実行されているアプリケーション機能とデータを入力又は出力する。
制御部１４は、マイクロコンピュータ２２の機能を用いて構成される。制御部１４は、マイクロコンピュータ２２の機能の代わりにＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）の機能が用いられてもよい。
【００２９】
物体認識部１３及び制御部１４のメモリ２３及び周辺回路は、ＦＰＧＡ２１もしくはＤＳＰ、マイクロコンピュータ２２もしくはＣＰＵのうち少なくともいずれかの集積回路に格納されているものであってもよいし、それらの外部に設けられているものであってもよい。
物体認識部１３及び制御部１４において、ＦＰＧＡ２１もしくはＤＳＰ、マイクロコンピュータ２２もしくはＣＰＵといったデバイスの個数は、各々１個に限られず１個より多い任意の数でよい。また、それらのデバイスの全てが、物体認識部１３及び制御部１４として用いられていてもよいし、それらのデバイスのうち任意の個数、例えば１個又は２個が用いられていてもよい。
メモリ２３は、物体認識部１３や制御部１４が行った処理によって生成されたデータや、  パターン認識に用いるパターン情報（例えば、辞書データ）を記憶している。
【００３０】
警報装置２、ＡＣＣ−ＥＣＵ３及び衝突回避制御−ＥＣＵ４は、制御部１４とデータを入力又は出力して、それぞれのアプリケーション機能を実行する。
警報装置２は、制御部１４から入力されるデータに基づいて、使用者に注意を促すことを示す情報を提示する。例えば、認識された目標物体が前方の車両である場合、その情報は前方車両衝突警報であり、目標物体が歩行者である場合、その情報は歩行者衝突警報である。前方車両衝突警報とは、その前方の車両に接触又は衝突する可能性が高いことを示す情報である。また、歩行者衝突警報とは、歩行者に接触又は衝突する可能性が高いことを示す情報である。
【００３１】
ＡＣＣ−ＥＣＵ３は、制御部１４から入力されるデータに基づいて、例えば、目標物体が前方の車両である場合、車間距離制御を行う。車間距離制御には、例えば、その前方の車両との距離を一定に保つように原動機の出力を増加又は減少させる制御や、ブレーキの動作を開始又は停止する制御がある。
衝突回避制御−ＥＣＵ４は、制御部１４から入力されるデータに基づいて、例えば、目標物体に対する衝突回避制御を行う。衝突回避制御には、例えば、目標物体との距離が予め定めた距離よりも減少した場合、出力を減少させる制御又はその制御とともにブレーキの動作を開始する制御がある。
【００３２】
（画像認識処理の基本的態様）
次に、本実施形態に係る画像認識処理の基本的な態様について説明する。
物体認識部１３は、前処理部、画像探索部、画像追跡部及び相対情報算出部（いずれも図示せず）を含んで構成される。前処理部が以下のステップＳ１０１を、画像探索部がステップＳ１０２、Ｓ１０３、Ｓ１０８、Ｓ１０９を、画像追跡部がステップＳ１０４−Ｓ１０６を、相対情報算出部がステップＳ１０７を実行する。
【００３３】
図２は、本実施形態に係る画像認識処理を示すフローチャートである。
（ステップＳ１０１）前処理部は、画像取得部１２から入力された画像（以下、入力画像と呼ぶ）に基づいて勾配方向毎の積分勾配画像（インテグラルヒストグラム、ｉｎｔｅｇｒａｌ  ｈｉｓｔｏｇｒａｍ）を算出する。ここで、前処理部は、入力画像の画素毎の輝度値に基づいて勾配方向と勾配強度を算出し、予め定めた勾配方向毎に算出した勾配強度を積分し、得られた積分値を信号値として有する画像を積分勾配画像として生成する。なお、積分勾配画像を生成する処理を行う目的は、積分勾配画像を用いて後の処理にかかる負荷を低減するためであり必須ではない。つまり、以降の処理において、積分勾配画像を用いずに同様な計算結果が得られる処理を用いてもよい。その後、ステップＳ１０２に進む。
【００３４】
（ステップＳ１０２）画像探索部は、積分勾配画像内のある分割領域においてパターン認識を行い、目標物体の画像を示す領域を探索（ラスタスキャン）する。分割領域とは、目標物体を探索する対象となる画像（この例では、積分勾配画像）内の領域の一部であり、探索領域ともいう。画像探索部は、パターン認識によって、積分勾配画像内の探索領域における、ある一点を基準点とする予め定めた大きさの領域に目標物体を示す画像の有無を検知する。この一点を基準点とする予め定めた大きさ（スケール）の領域をウィンドウ（検出窓）という。画像探索部は、ウィンドウの位置を予め定めた移動ステップ幅だけ変位させ、変位させたウィンドウについてパターン認識を行う処理を繰り返すことによって目標物体の画像を示す領域を探索する。なお、分割領域におけるラスタスキャンの範囲については後述する。その後、ステップＳ１０３に進む。
【００３５】
（ステップＳ１０３）画像探索部は、前述の分割領域において新規に認識された目標物体の画像を表すウィンドウを検知し、検知したウィンドウを新規に追跡（トラッキング）の対象とするウィンドウ（トラッキング対象ウィンドウ、目標物体領域）に追加する（ウィンドウ更新）。新規に認識された目標物体の画像を表すウィンドウを検知するウィンドウ更新処理については後述する。その後、ステップＳ１０４に進む。
【００３６】
（ステップＳ１０４）画像追跡部は、追加されたトラッキング対象ウィンドウと既存のトラッキング対象ウィンドウを、画像の全領域におけるトラッキング対象ウィンドウと確定する。トラッキング対象ウィンドウは、それぞれ認識された目標物体の画像を示す。なお、トラッキング対象ウィンドウを確定する処理は、画像探索部が実行してもよい。その後、ステップＳ１０５に進む。
（ステップＳ１０５）画像追跡部は、前フレームにおけるトラッキング対象ウィンドウと現フレームにおけるトラッキング対象ウィンドウに基づいて、消失したトラッキング対象ウィンドウの有無を検知する。ここで、画像はフレーム毎に予め定めた時間（フレーム時刻）ごとに入力されるが、現フレームとは現在処理対象となるフレームである。前フレームとは、現フレームから予め定めた数だけ過去のフレーム、例えば、現フレームの直前のフレームである。この処理をステップＳ１０６におけるトラッキング後のパターン認識と区別してフレーム間トラッキングと呼ぶ。画像追跡部は、フレーム間トラッキングにおいて、例えば、次の場合に、前フレームにおけるトラッキング対象ウィンドウが消失したと判断する。（１）前フレームにおけるトラッキング対象ウィンドウから予め定めた範囲内に現フレームのトラッキング対象ウィンドウの有無を判断し、かかる現フレームのトラッキング対象ウィンドウがないと判断した場合、又は（２）前フレームにおけるトラッキング対象ウィンドウから予め定めた範囲内の位置にあると判断された現フレームのトラッキング対象ウィンドウのスケールが前フレームにおけるトラッキング対象ウィンドウのスケールから予め定めた範囲外にある場合、等である。
本実施形態では、このフレーム間トラッキングは必須ではないが、このフレーム間トラッキングを行うことで、ステップＳ１０６における周辺スキャン領域を狭くすることができるため、周辺スキャンに係る処理を軽減することができる。
その後、ステップＳ１０６に進む。
【００３７】
（ステップＳ１０６）画像追跡部は、現フレームにおけるトラッキング対象ウィンドウについて、パターン認識処理を行う。但し、パターン認識の処理対象となる画像の領域は、現フレームにおけるトラッキング対象ウィンドウから予め定めた範囲内である。この予め定めた範囲内においてパターン認識を行う処理を周辺スキャンと呼ぶ。周辺スキャンの一例については後述する。これにより、画像追跡部は、現フレームにおけるトラッキング対象ウィンドウのスケール及び位置を定める。その後、ステップＳ１０７に進む。
【００３８】
（ステップＳ１０７）相対情報算出部は、全部又は一部のトラッキング対象ウィンドウに表される目標物体までの相対位置に係るパラメータ（相対位置パラメータ）を算出する。相対情報算出部は、相対位置パラメータとして、例えば、ＴＴＣ（Ｔｉｍｅ  ｔｏ  Ｃｏｌｌｉｓｉｏｎ、到達時間）、相対距離、相対速度、等の少なくともいずれか１つを算出する。相対情報算出部は、例えば後述する距離計測部が計測した距離を、フレーム毎にトラッキング対象ウィンドウに表される目標物体と対応付け、目標物体毎の距離を相対距離と定める。また、相対情報算出部は、現フレームにおける相対距離と直前のフレームにおける相対距離の差分とフレーム間の時間間隔に基づいて相対速度を算出し、定めた相対距離を相対速度で除算してＴＴＣを算出する。その後、ステップＳ１０８に進む。
【００３９】
（ステップＳ１０８）画像探索部は、カメラＥＣＵ１の電源状態監視等により、演算処理を終了するか否かを判断する。終了すると判断された場合（ステップＳ１０８  ＹＥＳ）、画像探索部は、処理を終了する。終了しないと判断された場合（ステップＳ１０８  ＮＯ）、ステップＳ１０９に進む。
（ステップＳ１０９）画像探索部は、処理対象とする分割領域を他の未処理の分割領域に変更する。その後、ステップＳ１０１に進む。
【００４０】
（分割領域の一例）
次に、本実施形態に係る分割領域の一例について説明する。
図３は、本実施形態に係る分割領域の一例を示す概念図である。
図３において、左右方向は画像の水平方向、上下方向は画像の垂直方向を示す。１フレームの処理対象となる画像５１にＮ（Ｎは、１よりも大きい整数）個の分割領域ｒ−１〜ｒ−Ｎが示されている。図３に示す例では、分割領域ｒ−１〜ｒ−Ｎは、左列から右列に向けて順に配列されている。分割領域ｒ−１〜ｒ−Ｎの形状及び寸法は共通している。分割領域の形状は、図３に示すように水平方向の長さよりも垂直方向の長さが長い縦長の形状に限られず、１フレームの画像の一部の領域であればいかなる形状、例えば、横長の形状であってもよいし、分割領域間で形状や寸法が異なっていてもよい。予め定めた複数個の分割領域が、１フレームの画像全体もしくは選定した領域を覆いつくすことができれば、任意の２個又は２個より多い個数の分割領域間で重複する領域があってもよい。
【００４１】
（処理タイミングの一例）
次に、探索と追跡に係る処理のタイミングの一例について説明する。
図４は、本実施形態に係る処理のタイミングの一例を示す概念図である。
図４において、横軸は時刻を示す。左から順に、処理サイクル（周期）Ｃ（１）、Ｃ（２）、Ｃ（３）の順にフレームごとに時間が経過することが示される。図４に示す例では、処理サイクルＣ（１）、Ｃ（２）、Ｃ（３）間で処理時間は同一である。処理サイクルＣ（１）における、白抜きの右向きの矢印は分割領域ｒ−１に対するラスタスキャン（探索）を示し、塗りつぶしの矢印は１フレーム全体の画像に対するトラッキング（追跡）を示す。つまり、図４は、ラスタスキャンとトラッキングが交互に繰り返され、ラスタスキャンが行われる分割領域が処理サイクルごとにｒ−１、ｒ−２、ｒ−３と順に変更されることを示す。例えば、図３のｒ−１、…、ｒ−Ｎまでの分割領域では、ｒ−Ｎの後、またｒ−１に戻り、繰り返される。なお、処理サイクルは、１フレームに限らず、１フレームより多い予め定めた数のフレームであってもよい。
【００４２】
１フレーム全体の画像に対するラスタスキャンは、処理の負荷が大きい。他方、例えば、車載用カメラが撮影する外界の画像では、１フレーム毎に目標物体の画像が頻繁に発生又は消滅しない傾向がある。従って、トラッキングで認識された目標物体についてパターン認識処理を行う場合は、スキャンするウィンドウが限定できるので、一般にラスタスキャンよりも処理量を少なくすることができる。従って、本実施形態のようにラスタスキャンを１度に行う領域を分割領域に限定することで、画像認識における処理全体の負荷量を低減することができる。
【００４３】
（分割領域におけるラスタスキャンの例）
次に、分割領域におけるラスタスキャンの例について説明する。
図５は、本実施形態に係る分割領域におけるラスタスキャンの例を示す概念図を示す。
図５は、左側から右側へ順に分割領域ｒ−１、ｒ−２、ｒ−３、…を示す。分割領域ｒ−１の左上端の破線で囲まれている領域はウィンドウ５２の初期位置である。この初期位置にあるウィンドウ５２の中心を起点として右側に向いている矢印は、この矢印の終点を中心とする位置（右端）に至るまでウィンドウ５２の位置を順次変位させることを示す。ウィンドウ５２の初期位置は、ウィンドウ５２の上辺と左辺が、分割領域ｒ−１の上辺と左辺が一致又は近似する位置（左上端）である。右端は、ウィンドウ５２の左側における一部の領域が分割領域ｒ−１に含まれ、他の全ての領域が分割領域ｒ−２に含まれている範囲において、可能な限り右側に変位することができる位置である。その後、予め定めた移動ステップ幅だけ下方であって、ウィンドウ５２の左辺が分割領域ｒ−１の左辺と一致する位置（左端）にウィンドウ５２を移動させる。そして、ウィンドウ５２が分割領域ｒ−１内の最終位置（右下端）に達するまで、このような変位を繰り返す。右下端は、ウィンドウ５２の下辺が分割領域ｒ−１の下辺と一致する位置（下端）であって、ウィンドウ５３の左側における一部の領域が分割領域ｒ−１に含まれ、他の全ての領域が分割領域ｒ−２に含まれている範囲において、可能な限り右側に変位することができる位置である。
この一連のウィンドウ５２の移動が分割領域ｒ−１のラスタスキャンである。
図５では、分割領域ｒ−３についてもウィンドウ５２の初期位置を順次最終位置にまで変更する分割領域ｒ−３のラスタスキャンが示されている。なお、図５において、分割領域ｒ−２のラスタスキャンが示されていないのは、記載スペースの都合であって、分割領域ｒ−２のラスタスキャンが行われないことを意味するものではない。
【００４４】
（ウィンドウ更新処理）
次に、ウィンドウ更新処理について説明する。
図６は、本実施形態に係るウィンドウ更新処理を示す概念図である。
図６は、積分勾配画像６１の分割領域ｒ−ｍにおける実線の四角形は、認識されたウィンドウ６２、６３である。認識されたウィンドウ６２、６３は、ともに分割領域ｒ−ｍにおいて認識された目標物体の画像を表すウィンドウである。分割領域ｒ−ｍにおける破線の四角形は、トラッキング対象ウィンドウ６４である。トラッキング対象ウィンドウは、過去に認識された目標物体、つまりトラッキング推定物体の画像を表すウィンドウである。
【００４５】
画像探索部は、認識されたウィンドウの各々について、そのスケール及び位置が、前回の処理サイクルにおけるトラッキング対象ウィンドウのスケール及び位置から予め定めた範囲のスケール及び距離であるトラッキング対象ウィンドウの有無を判断する。画像探索部は、認識されたウィンドウのうち、そのようなトラッキング対象ウィンドウがないものを新規のトラッキング対象ウィンドウと判断する。画像探索部は、認識されたウィンドウのうち、そのようなトラッキング対象ウィンドウがあるものを既存のトラッキング対象ウィンドウと判断する。
従って、図６に示す例では、画像探索部は、認識されたウィンドウ６３が新規のトラッキング対象ウィンドウと判断し、認識されたウィンドウ６２は新規のトラッキング対象ウィンドウとは判断しない。これにより、認識されたウィンドウ６２に示される目標物体がトラッキング対象ウィンドウ６４に示される目標物体が同一であると判断される。
【００４６】
（ラスタスキャンにおけるパターン認識処理）
次に、ラスタスキャンにおけるパターン認識処理の一例について説明する。
図７は、本実施形態に係るラスタスキャンにおけるパターン認識処理の一例を示すフローチャートである。
（ステップＳ２０１）画像探索部は、処理対象の領域を示すウィンドウが最終位置に到達したか否かをもってラスタスキャンが終了したか判断する。ラスタスキャンが終了したと判断されたとき（ステップＳ２０１  ＹＥＳ）、ステップＳ２０４に進む。ラスタスキャンが終了していないと判断されたとき（ステップＳ２０１  ＮＯ）、ステップＳ２０２に進む。
（ステップＳ２０２）画像探索部は、ウィンドウの位置を予め定めた移動ステップ幅で変位させる（ラスタスキャン）。処理の開始時には、画像探索部は、ウィンドウの位置を初期位置に設定する。その後、ステップＳ２０３に進む。
【００４７】
（ステップＳ２０３）画像探索部は、処理対象の画像のウィンドウ領域に関して勾配方向矩形特徴量（ベクトル）を算出し、算出した勾配方向矩形特徴量（ベクトル）を用いてＲｅａｌ  ＡｄａＢｏｏｓｔによる識別を行うことで、目標物体の画像を認識する。画像探索部は、勾配方向矩形特徴量として、例えば複数の種類の特徴量を用いる。従って、画像探索部は、各種類の勾配方向矩形特徴量を要素とするベクトルを算出する。Ｒｅａｌ  ＡｄａＢｏｏｓｔは、カスケード型の構成をとりコンパクトな構成で多段の識別を実現する。カスケード型の構成として、例えば、非特許文献１に記載と同様な構成を用いることができる。Ｒｅａｌ  ＡｄａＢｏｏｓｔでは、カスケード型の構成における強識別器の段数を増加することにより識別性能を向上し、処理時間を短縮できる。また、各段における弱識別器の個数を多くすることで識別精度を向上することができる
【００４８】
強識別器は、それぞれ目標物体の勾配方向矩形特徴量と入力画像に関する勾配方向矩形特徴量との相関性を示す応答値Ｈを算出し、算出した応答値Ｈが予め定めた閾値ＴＨよりも大きい場合に目標物体の画像と判断する。各強識別器は、算出した応答値Ｈが予め定めた閾値ＴＨと同等か、より低い場合に目標物体の画像を認識できなかったと判断し、当該ウィンドウを棄却する。ウィンドウが棄却された場合、ステップＳ２０１に進む。ウィンドウが棄却されず、目標物体の画像を示すウィンドウが認識された場合も、ステップＳ２０１に進む。
【００４９】
（ステップＳ２０４）画像探索部は、認識された目標物体の画像を示すウィンドウについてクラスタリングを行う。クラスタリングとは、同種の目標物体の画像を示すウィンドウのうち、予め定められた範囲の位置及びスケールをもつウィンドウを分類することである。画像探索部は、予め定められた範囲の位置及びスケールに分類されたウィンドウが複数ある場合には、例えば、これらの複数のウィンドウそれぞれの位置の重心点及びそれぞれのスケールの平均値をとることで当該目標物体の画像を示す１個のウィンドウを算出する。その後、処理を終了する。
【００５０】
ここで、勾配方向矩形特徴量とは、勾配方向毎の勾配強度を示す勾配強度画像から、形状が矩形である領域における特徴（矩形特徴）を抽出して、その特徴を表す特徴量である。勾配方向矩形特徴量には、多様な特徴量があるが、例えば、１個のウィンドウに１個の矩形の領域（単矩形）を有し、その領域において抽出した特徴量（単矩形特徴量）がある。この単矩形特徴量は、勾配方向毎の勾配強度画像から単矩形における特徴（単矩形特徴）を抽出し、その単一の領域の特徴である勾配を捉えることを目的とする。
その他、１個のウィンドウに２個の隣接した矩形の領域を有し、隣り合う矩形の領域の特徴量を互いに演算（例えば、差分）して得られる演算値がある。この演算値は、２つの領域間における勾配の関係を抽出するために用いられる。勾配強度に基づいて算出した演算値は、矩形の領域間の特徴の差が際立った領域を抽出するのに用いられる。
勾配方向矩形特徴量として、更に、１個のウィンドウに２個よりも多い複数の隣接した矩形の領域を有し、隣り合う矩形の領域の特徴量を互いに演算して得られる演算値等を用いてもよい。
【００５１】
また、特徴量の演算として、差分に限らず、和、積、商、もしくは、それらの任意の組み合わせの特徴を抽出してもよいし、差分の絶対値であってもよい。また、演算の対象となる数値として各矩形の領域における特徴量の総和、平均値、単位面積当たりの特徴量等を用いてもよい。本実施形態では、勾配方向矩形特徴量のうちの1個又は複数の組み合わせを用いることで目標物体の形状の特徴を、より少数の弱識別器を用いて抽出することができる。ここで、勾配方向矩形特徴量をＲｅａｌ  ＡｄａＢｏｏｓｔで用いることで、弱識別器の数を極力少なくしても、不検出率が低く、かつ誤検出率が低い画像認識を実現することができる。不検出率とは、目標物体を目標物体として検知できない確率のことである。誤検出率とは、目標物体以外の物体を目標物体として検出された確率のことである。
【００５２】
好ましい具体例として、本実施形態では、各勾配方向のウィンドウ内の矩形領域のスケールに特に制限を設けず、目標物体の各部位の大小を問わずＲｅａｌ  ＡｄａＢｏｏｓｔによる学習において目標物体の特徴を示す弱識別器を選択させておく。これにより、目標物体の様々な勾配矩形特徴の中で特に有効な部分を選択でき、少数の弱識別器で強識別器を構成できる。このため、計算回数とメモリアクセス回数が少なく短い演算処理時間で目標物体を示す領域であるウィンドウを絞り込み、その目標物体を識別することができる。
【００５３】
ここで、画像探索部がＲｅａｌ  ＡｄａＢｏｏｓｔを備える場合に行われる処理の一例について説明する。
（１）画像探索部は、処理対象の積分勾配画像からウィンドウの領域における勾配方向矩形特徴量を、その勾配方向矩形特徴毎に算出する。算出に用いられる勾配方向矩形特徴量の数を特徴次元という。算出される信号値として当該領域における勾配方向矩形特徴量で正規化した正規化特徴量を算出する。
（２）画像探索部は、メモリ２３に予め記憶させた辞書データから予め定めた特徴次元の特徴量を読み出す。
（３）画像探索部は、算出した正規化特徴量を予め定めた量子化数に基づいて量子化した量子化特徴量を算出する。
（４）画像探索部は、メモリ２３に予め記憶させた辞書データと対応付けられて記憶された確率密度関数（事前確率）から、算出した量子化特徴量に対応する確率密度値を読み出す。
当該確率密度関数は、勾配方向矩形特徴に該当するＰＯＳ（肯定Ｐｏｓｉｔｉｖｅ）の確率値ならびに勾配方向矩形特徴に該当しないＮＥＧ（否定Ｎｅｇａｔｉｖｅ）の確率値と量子化特徴量とを対応付ける関数（ヒストグラム）である。
（５）画像探索部は、読み出した確率密度値としてＰＯＳの確率値とＮＥＧの確率値に基づいて当該特徴量に係る弱識別器の応答値ｈを算出する。ｈは、例えば０．５×ｌｏｇ（（ｐｄｆ［ＰＯＳ］＋ε）／ｐｄｆ［ＮＥＧ］＋ε））と算出される。εは、予め定めた定数である。ｐｄｆ（…）は、変数…に対する確率値（ｐｒｏｂａｂｉｌｉｔｙ  ｄｅｎｓｉｔｙ  ｆｕｎｃｔｉｏｎ）を示す。即ち、応答値ｈは、肯定応答を与える確率と否定応答を与える確率との大小関係や、その度合いを示す変数である。
（６）画像探索部は、上述の（２）〜（５）を予め定めた数だけ、即ち勾配方向矩形特徴毎に繰り返す。この繰り返し回数が弱識別器の個数に相当する。
（７）画像探索部は、算出した各弱識別器の応答値ｈの合計値を強識別器の応答値Ｈとして算出する。画像探索部は、算出した応答値Ｈが予め定めた閾値ＴＨよりも大きい場合、対応する目標物体が認識対象（Ｔｒｕｅ）であると判断し、それ以外の場合には非認識対象（Ｆａｌｓｅ）であると判定する。
【００５４】
次に、ラスタスキャンにおけるパターン認識処理の他の例について説明する。
図８は、本実施形態に係るラスタスキャンにおけるパターン認識処理の一例を示すフローチャートである。
図８において、ステップＳ３０１−Ｓ３０３、Ｓ３０５は、ステップＳ２０１−Ｓ２０４とそれぞれ同様な処理である。但し、図８に示すパターン認識処理では、ステップＳ３０３において目標物体の画像を認識したウィンドウを候補として、当該ウィンドウについてステップＳ３０４を実行する。
【００５５】
（ステップＳ３０４）画像探索部は、処理対象の積分勾配画像の上述のウィンドウ領域からＨＯＧ（Ｈｉｓｔｏｇｒａｍｓ  ｏｆ  Ｏｒｉｅｎｔｅｄ  Ｇｒａｄｉｅｎｔｓ、勾配方向ヒストグラム）特徴量（ベクトル）を算出する。ＨＯＧ特徴量は、処理対象となる画像のうち予め定めた個数の画素の組であるセルにおける、量子化した輝度勾配毎の度数（画素数）である。即ち、ＨＯＧ特徴量は、各量子化方向の画素数を要素とするベクトル値であり、勾配方向矩形特徴量では表現し切れない輝度勾配の分布を示す。セルは、一般に画像を認識する単位であるウィンドウよりも小さい単位である。従って、ウィンドウには複数のセルが含まれ、画像探索部が算出するＨＯＧ特徴量の次元は、量子化方向の数と１個のウィンドウに含まれるセルの数との積となる。
【００５６】
画像探索部は、ＨＯＧ特徴量のベクトルを用いてカスケード型のＲｅａｌ  ＡｄａＢｏｏｓｔによる識別を行って、目標物体の画像を認識する。
ここで、画像探索部は、目標物体のＨＯＧ特徴量と入力画像に対するＨＯＧ特徴量との相関性を示す応答値Ｈを算出し、算出した応答値Ｈが予め定めた閾値ＴＨよりも大きい場合に目標物体の画像を認識する。各強識別器は、算出した応答値Ｈが予め定めた閾値ＴＨと同等か、より低い場合に目標物体の画像を認識できなかったと判断し、当該ウィンドウを棄却する。ウィンドウが棄却された場合、ステップＳ３０１に進む。ウィンドウが棄却されず、目標物体の画像を示すウィンドウが認識された場合も、ステップＳ３０１に進む。
これにより、ステップＳ３０３において用いられた画像特徴量と異なる画像特徴量を用いてステップＳ３０４においてパターン認識を行うことで、候補として認識されたウィンドウを、認識結果としてさらに絞り込むことができ、ひいては認識精度が向上する。
【００５７】
なお、画像探索部は、ＨＯＧ特徴量以外に他の画像特徴量を用いて目標物体の画像を認識してもよい。他の画像特徴量として、例えば、上述の勾配方向矩形特徴量とは異なる種類の画像特徴量であってもよい。また、画像探索部は、上述のような輝度勾配に基づく画像特徴量に限らず輝度に基づく画像特徴量を用いてもよい。
【００５８】
（トラッキング対象ウィンドウの例）
次に、トラッキング対象ウィンドウの例について説明する。
図９は、トラッキング対象ウィンドウの例を示す概念図である。
積分勾配画像６１の領域に含まれる破線の４個の四角形は、トラッキング対象ウィンドウ６４−６７をそれぞれ示す。トラッキング対象ウィンドウ６４−６７には、前フレームにおけるトラッキングにおいて処理の対象になったものと、新規にトラッキング対象ウィンドウとして判断されたものがある。また、前フレームにおいて存在していても、現フレームで消失したと判断されたトラッキング対象ウィンドウは、処理対象から除かれる。
【００５９】
（トラッキング後の周辺スキャンの例）
次に、トラッキング後のパターン認識（図２、ステップＳ１０６）における周辺スキャンの例について説明する。
図１０は、本実施形態に係る周辺スキャン領域の一例を示す概念図である。
積分勾配画像６１に含まれる太い実線は、トラッキング対象ウィンドウ６８を示す。トラッキング対象ウィンドウ６８の左右方向の幅、上下方向の高さは、ともに予め定めたスケールＳＣ１である。トラッキング対象ウィンドウ６８を囲む破線の四角形は、周辺スキャン領域（周辺領域）６９を示す。周辺スキャン領域６９は、周辺スキャンにおいてトラッキング対象ウィンドウ６８が占める可能性がある領域である。周辺スキャン領域６９の右辺は、トラッキング対象ウィンドウ６８の右辺から最大変位量Ｄｘ１だけ右側にある。周辺スキャン領域６９の左辺は、トラッキング対象ウィンドウ６８の左辺から最大変位量Ｄｘ１だけ左側にある。周辺スキャン領域６９の上辺は、トラッキング対象ウィンドウ６８の上辺から最大変位量Ｄｙ１だけ上方にある。周辺スキャン領域６９の下辺は、トラッキング対象ウィンドウ６８の下辺から最大変位量Ｄｙ１だけ下方にある。
【００６０】
周辺スキャンにおいて、画像追跡部は、周辺スキャン領域６９において、左右方向に移動ステップ幅ｄｘ１又は上下方向に移動ステップ幅ｄｙ１ずつ移動させた位置毎に、トラッキング対象ウィンドウ６８内の積分勾配画像６１に対してパターン認識処理を行う。これにより、画像追跡部は、トラッキング対象ウィンドウ６８が目標物体の画像が示されている領域を含むと判定した位置を、目標物体の画像が示されていると定める。従って、目標物体の画像が示されている領域が定められる。画像追跡部は、このような周辺スキャンを、認識対象の画像（例えば、積分勾配画像６１）全体に対してトラッキング対象ウィンドウ６８等それぞれについて行う。ここで、例えば周辺スキャンを開始するトラッキング対象ウィンドウの初期領域を周辺スキャン領域６９の左上端、周辺スキャンを終了するトラッキング対象ウィンドウの最終領域を周辺スキャン領域６９の右下端と、予め定めておいてもよい。
なお、画像追跡部は、周辺スキャン領域６９において、目標物体の画像が示されている領域を検知できなかった場合、目標物体の画像が示されている領域が消失したと判断する。
最大変位量Ｄｘ１、Ｄｙ１、移動ステップ幅ｄｘ１、ｄｙ１は、予め定めた一定値であってもよいし、トラッキング対象ウィンドウ６８のスケールによって可変、例えば比例するスケールであってもよい。
【００６１】
（トラッキング後のパターン認識処理の例）
次に、トラッキング後のパターン認識処理の例について説明する。
図１１は、本実施形態に係るトラッキング後のパターン認識処理の一例を示すフローチャートである。
（ステップＳ４０１）画像追跡部は、周辺スキャンが終了したか否かを判断する。ここで画像追跡部は、周辺スキャン領域のうちトラッキング対象ウィンドウにおけるパターン認識処理が完了していない領域がない場合に、周辺スキャンが終了したと判断する。そのような領域がある場合、周辺スキャンが終了していないと判断する。周辺スキャンが終了したと判断されたとき（ステップＳ４０１  ＹＥＳ）、ステップＳ４０４に進む。周辺スキャンが終了していないと判断されたとき（ステップＳ４０１  ＮＯ）、ステップＳ４０２に進む。
【００６２】
（ステップＳ４０２）画像追跡部は、トラッキング対象ウィンドウを移動ステップ幅ｄｘ１だけ、右側に変位させる。但し、トラッキング対象ウィンドウの一部が、周辺スキャン領域から外れる場合には、左辺が周辺スキャン領域の左辺に重なる位置にトラッキング対象ウィンドウを変位させ、さらに移動ステップ幅ｄｙ１だけ下方に変位させる。画像追跡部は、かかる処理を繰り返すことで、トラッキング対象ウィンドウを周辺スキャン領域の最終位置（右下端）に達するまで変位させる。なお、処理の開始時には、画像追跡部は、トラッキング対象ウィンドウの位置を周辺スキャン領域の初期位置（左上端）に設定する。その後、ステップＳ４０３に進む。
【００６３】
（ステップＳ４０３）画像追跡部は、処理対象となる積分勾配画像のトラッキング対象ウィンドウの領域からＨＯＧ特徴量（ベクトル）を算出し、算出したＨＯＧ特徴量のベクトルを用いてカスケード型のＲｅａｌ  ＡｄａＢｏｏｓｔによる識別を行う。これにより目標物体の画像を認識する。ステップＳ４０３で行われる処理は、ステップＳ３０４で画像探索部が行う処理と同様である。トラッキング対象ウィンドウが棄却された場合には、ステップＳ４０１に進む。トラッキング対象ウィンドウが棄却されず、目標物体の画像が認識された場合も、ステップＳ４０１に進む。
【００６４】
（ステップＳ４０４）画像追跡部は、認識された目標物体の画像を示すトラッキング対象ウィンドウについてクラスタリングを行い当該目標物体の画像を示す１個のトラッキング対象ウィンドウを算出する。ステップＳ４０４で行われる処理は、ステップＳ２０４で画像探索部が行う処理と同様である。その後、処理を終了する。
【００６５】
図１２は、本実施形態に係るトラッキング後のパターン認識処理の他の例を示すフローチャートである。
（ステップＳ５０１）画像追跡部は、トラッキング対象ウィンドウを予め定めた移動ステップ及び方向に移動させる（周辺スキャン）。ステップＳ５０１の処理はステップＳ４０２と同様であってもよい。その後、ステップＳ５０２に進む。
（ステップＳ５０２）画像追跡部は、処理対象の積分勾配画像のトラッキング対象ウィンドウ領域からＨＯＧ特徴量（ベクトル）を算出する。その後、ステップＳ５０３に進む。
（ステップＳ５０３）画像追跡部は、算出したＨＯＧ特徴量（ベクトル）を用いてＲｅａｌ  ＡｄａＢｏｏｓｔによって目標物体の画像を認識する。その後、ステップＳ５０４に進む。
（ステップＳ５０４）画像追跡部は、周辺スキャンが終了したか否かを判断する。ステップＳ５０４の処理はステップＳ４０１と同様であってもよい。周辺スキャンが終了したと判断されたとき（ステップＳ５０４  ＹＥＳ）、ステップＳ５０５に進む。周辺スキャンが終了していないと判断されたとき（ステップＳ５０４  ＮＯ）、ステップＳ５０１に進む。
（ステップＳ５０５）画像追跡部は、認識された目標物体の画像を示すトラッキング対象ウィンドウについてクラスタリングを行い当該目標物体の画像を示す１個のトラッキング対象ウィンドウを算出する。ステップＳ５０５で行われる処理は、ステップＳ２０４で画像探索部が行う処理と同様であってもよい。その後、処理を終了する。
【００６６】
なお、画像追跡部は、ＨＯＧ特徴量以外に他の画像特徴量を用いて目標物体の画像を認識してもよい。他の画像特徴量として、例えば、勾配方向矩形特徴量であってもよい。また、画像追跡部は、上述のような輝度勾配に基づく画像特徴量に限らず輝度に基づく画像特徴量を用いてもよい。
【００６７】
（フレーム間トラッキング）
次に、画像追跡部が行うフレーム間トラッキングに係る処理の具体例について説明する。フレーム間トラッキングにおいて、画像追跡部は、例えば、特徴点フローモデルを用いて前フレームにおけるトラッキング対象ウィンドウと現フレームにおけるトラッキング対象ウィンドウとを対応付ける。ここで、画像追跡部は、上述の周辺スキャンを用いて現フレームにおけるトラッキング対象ウィンドウを仮に定めるが、パターン認識処理の代わりに次の処理を行う。
【００６８】
（１）画像追跡部は、前フレームにおけるトラッキング対象ウィンドウ、現フレームにおけるトラッキング対象ウィンドウそれぞれから特徴点を抽出する。特徴点とは、信号値の空間変化量（例えば、勾配）が予め定めた値よりも大きく、かつ予め定めた範囲よりも狭い領域である。特徴点は、コーナ点、頂点とも呼ばれる。なお、画像追跡部は、前フレーム時刻において現フレームにおける特徴点として抽出したものを、前フレームにおける特徴点として用いてもよい。これにより、前フレームにおける特徴点を反復する処理を省略することができる。画像追跡部は、特徴点を抽出する際に、特徴量として、例えば、Ｈａｒｒｉｓ作用素（Ｏｐｅｒａｔｏｒ）を算出し、Ｈａｒｒｉｓ作用素が予め定めた値よりも大きい画素を特徴点と判断する。Ｈａｒｒｉｓ作用素は、２行２列の行列である方向テンソルの２つの固有値の積から、２つの固有値の和に対する平方値の差分に予め定めた係数を乗じた値を減算して与えられる値である。
【００６９】
（２）画像追跡部は、前フレームにおける特徴点の分布を示す特徴点パターンに対して線形変換を行い、線形変換パターンを算出する。画像追跡部は、算出した線形変換パターンと現フレームにおける特徴点の分布を示す特徴点パターンの相関性を示す指標値（例えば、相関値）を算出する。線形変換において変換行列が用いられるが、画像追跡部は、相関性が最も高くなることを示す指標値（以下、最大相関値と呼ぶ）を与える変換行列を探索する。変換行列は、フレーム間における座標の回転を示す行列である。これにより、現フレームにおけるトラッキング対象ウィンドウの位置毎に最大相関値が算出される。ここで、変換行列において、フレーム間における座標の並進を示す成分を含めるようにしてもよい。その場合には、周辺スキャンを省略することができる。
【００７０】
（３）画像追跡部は、算出した位置毎の最大相関値のうち相関性が最も高くなることを示す最大相関値を与える現フレームにおけるトラッキング対象ウィンドウの位置を定める。但し、その最大相関値が、予め定めた相関性よりも低い相関性を示す場合、画像追跡部は、前フレームにおけるトラッキング対象ウィンドウに対応するものが現フレームにおいて消失したと判断する。
【００７１】
なお、本実施形態では、画像追跡部におけるパターン認識の識別精度を、画像探索部におけるパターン認識の識別精度よりも低くしてもよい。ここで、画像追跡部における目標物体を識別する識別器（強識別器、弱識別器のいずれか、又は両方）の個数を、画像探索部における識別器の個数よりも少なくしてもよい。また、画像追跡部における応答値Ｈの閾値ＴＨを、画像探索部における閾値ＴＨよりも低くしてもよい。これらの閾値ＴＨは、それぞれウィンドウにおける画像と目標物体の画像との相関性、つまり類似性を示す指標値である。これにより、画像追跡部ではトラッキング対象ウィンドウを確実に追跡することができる。
なお、フレーム間トラッキングを実行する際、上述の手法に限らず、Ｍｅａｎ  Ｓｈｉｆｔ（平均値シフト）法やパーティクルフィルタ（粒子フィルタ）法など、他の手法を用いてもよい。
【００７２】
（変形例）
次に、本実施形態の変形例について説明する。
上述の実施形態では、ラスタスキャンにおける分割領域の全体（ラスタスキャン領域、全体領域）が１フレーム全体である場合を例にとって説明したが、これには限られない。本変形例では、ラスタスキャン領域が、１フレーム全体の大きさよりも小さくてもよい。また、大きさがそれぞれ異なるラスタスキャン領域を予め複数設定しておき、画像探索部は、１回のサイクルにおいて各々の大きさに対応した分割領域に対してそれぞれラスタスキャンを行うようにしてもよい。
【００７３】
図１３は、本変形例に係るラスタスキャン領域の一例を示す概念図である。
図１３は、それぞれ大きさが異なるＭ（Ｍは、１よりも大きい整数、例えば１５）個のラスタスキャン領域５１−１〜５１−Ｍを表す。５１−１〜５１−Ｍの順序は、各々が示すラスタスキャン領域の大きさの順序である。ラスタスキャン領域５１−１〜５１−Ｍがそれぞれ有する一辺の長さは、例えば、隣り合う順序間の比がそれぞれ等しい等比数列をなしていてもよい。図１３に示す例では、ラスタスキャン領域５１−１の外縁が画像５１の外縁であるが、これには限られない。ラスタスキャン領域５１−１〜５１−Ｍの重心点は、それぞれ共通する位置、例えば画像５１の重心に設定されていてもよい。
【００７４】
次に、本変形例に係る分割領域の一例について説明する。
図１４は、本変形例に係る分割領域の一例を示す概念図である。
図１４の上段、中段、下段にラスタスキャン領域５１−１、５１−２、５１−Ｍをそれぞれ示す。ラスタスキャン領域５１−１、５１−２、…、５１−Ｍは、それぞれＮ個の分割領域ｒ１−１〜ｒ１−Ｎ、ｒ２−１〜ｒ２−Ｎ、…、ｒＭ−１〜ｒＭ−Ｎを有する。
本変形例に係る画像探索部は、各処理サイクルにおいて対応する分割領域内でラスタスキャンを行う。例えば、処理サイクルＣ（２）において、画像探索部は、分割領域ｒ１−２、ｒ２−２、…、ｒＭ−２におけるラスタスキャンを行う。
【００７５】
ここで、カメラ１１は、その光軸を車両の前方（又は後方）であって水平面又は水平面に近似する方向（例えば、水平面より下方に３°の方向）に向けて設置されている場合、撮影された画像において中心部ほど遠方の被写体を示し、周辺部ほど近傍の被写体を示す。また、遠方の被写体ほど、画像に示されている領域が小さく、近傍の被写体ほど、画像に示されている領域が大きい。そのため、ラスタスキャン領域を図１３に示すように設定することで、大きい分割領域ｒ１−１〜ｒ１−Ｎほど、カメラ１１からの距離ｓ１が近い被写体の画像に対するパターン認識がなされる。これに対して、小さい分割領域ｒＭ−１〜ｒＭ−Ｎほど、カメラ１１からの距離ｓＭが遠い被写体の画像に対するパターン認識がなされる。
【００７６】
なお、本変形例では、被写体までの距離を計測する距離計測部を備え、距離計測部が計測した被写体までの距離に対応したラスタスキャン領域を選択し、撮影した画像から当該被写体が示されている位置を算出し、少なくとも１つの分割領域にその算出した位置が含まれるように選択したラスタスキャン領域の位置を定めるようにしてもよい。これにより、被写体の距離に応じた大きさのラスタスキャン領域を選択し、その領域が被写体の位置を含むため、その被写体が撮影されている領域の探索にかかる負荷を低減することができる。距離計測部は、例えば、予め位置関係が定まっている複数のカメラ間においてそれぞれ撮影された画像から視差を算出し、算出した距離を算出してもよい。距離計測部は、レーダ装置やレーザレンジファインダのように送信波と受信波との間の位相差に基づいて距離を算出してもよい。
【００７７】
次に、本変形例に係る分割領域におけるラスタスキャンの例について説明する。
図１５は、本変形例に係る分割領域におけるラスタスキャンの例を示す概念図を示す。
図１５の上段は、左側から右側へ順に分割領域ｒ１−１、ｒ１−２、ｒ１−３、…を示し、同図の下段は、左側から右側へ順に分割領域ｒ２−１、ｒ２−２、ｒ２−３、…を示す。
ここで、画像探索部は、処理サイクル毎に対応する分割領域に対してそれぞれラスタスキャンを行う。図１５において、破線で示されている四角形はラスタスキャンに係るウィンドウを示す。分割領域の大きさが大きいほど各分割領域におけるウィンドウのスケールを大きくしてもよい。また、分割領域が大きいほど、ラスタスキャンにおけるウィンドウの移動における移動ステップ幅ｄｘ１、ｄｙ１、最大変位量Ｄｘ１、Ｄｙ１のそれぞれの大きさを大きくしてもよい。例えば、ウィンドウの一辺の長さ、移動ステップ幅ｄｘ１、ｄｙ１、最大変位量Ｄｘ１、Ｄｙ１のそれぞれの大きさを、分割領域の一辺の長さと比例するように定めてもよい。これにより、画像内に示される領域が小さくなる傾向がある遠方の物体の画像に対して探索に係る領域を小さく、かつ探索された位置を精度よく推定することができる。従って、被写体の位置によって要求される精度を満足し、処理全体としての負荷を低減することができる。
【００７８】
画像探索部は、例えば、処理サイクルＣ（１）において、分割領域ｒ１−１〜ｒＭ−１それぞれについてラスタスキャンを行い、処理サイクルＣ（３）において、分割領域ｒ１−３〜ｒＭ−３それぞれについてラスタスキャンを行う。
なお、図１５において、分割領域ｒ１−２〜ｒＭ−２のラスタスキャンが示されていないのは、図５と同様に、分割領域ｒ１−２〜ｒＭ−２のラスタスキャンを行わないことを意味するものではない。
【００７９】
（従来の画像認識処理）
これに対して、従来の画像認識処理において、以下に説明するように１フレームの画像全体にわたり、フレームごとにラスタスキャンを行っていた。
従来の画像認識処理の一例は、図１６に示す処理ステップを含む。
図１６は、従来の画像認識処理の一例を示すフローチャートである。
（ステップＳ６０１）入力画像に基づいて積分勾配画像を算出する。その後、ステップＳ６０２に進む。
（ステップＳ６０２）ウィンドウを移動させる（ラスタスキャン）。その後、ステップＳ６０３に進む。
（ステップＳ６０３）積分勾配画像に基づいてＨＯＧ特徴量（ベクトル）を算出する。その後、ステップＳ６０４に進む。
（ステップＳ６０４）ＨＯＧ特徴量に基づくＡｄａＢｏｏｓｔにより目標物体を識別する。その後、ステップＳ６０５に進む。
（ステップＳ６０５）ラスタスキャンが終了したか否か判定する。ラスタスキャンが終了したと判定された場合（ステップＳ６０５  ＹＥＳ）、ステップＳ６０６に進む。ラスタスキャンが終了していないと判定された場合（ステップＳ６０５  ＮＯ）、ステップＳ６０２に進む。
（ステップＳ６０６）クラスタリングを行う。その後、処理を終了する。
【００８０】
ステップＳ６０１及びＳ６０２における処理の概念を、図１７に示す。
図１７は、従来の画像認識処理の一例を示す概念図である。
図１７において、左から右へ順に、入力画像４１、勾配強度４２、積分勾配画像４３及び積分勾配画像４３上におけるラスタスキャンを示す。
ステップＳ６０１では、入力画像４１に基づいて、予め定めた複数（図１７の例では、８）の勾配方向それぞれについて、輝度値の勾配強度を算出する。図１７に示す勾配強度４２は、算出したある方向の勾配強度を画像として示すものである。算出した勾配強度に基づいて、勾配方向毎に勾配強度の積分値を信号値とする積分勾配画像４３を算出する。
ステップＳ６０２では、積分勾配画像４３上においてウィンドウ４４を順次移動させることによってラスタスキャンを行う。ラスタスキャンは、勾配方向毎に行う。
【００８１】
従来の画像認識処理の他の例は、図１８に示すように次の処理ステップを含む。
図１８は、従来の画像認識処理の他の例を示すフローチャートである。
（ステップＳ７０１）入力画像に基づいて積分画像を算出する。その後、ステップＳ７０２に進む。
（ステップＳ７０２）ウィンドウを移動させる（ラスタスキャン）。その後、ステップＳ７０３に進む。
（ステップＳ７０３）積分画像に基づいてＨａａｒ−ｌｉｋｅ特徴量（ベクトル）を算出する。その後、ステップＳ７０４に進む。
（ステップＳ７０４）Ｈａａｒ−ｌｉｋｅ特徴量に基づいてＡｄａＢｏｏｓｔにより目標物体を識別する。その後、ステップＳ７０５に進む。
（ステップＳ７０５）ラスタスキャンが終了したか否か判定する。ラスタスキャンが終了したと判定された場合（ステップＳ７０５  ＹＥＳ）、ステップＳ７０６に進む。ラスタスキャンが終了していないと判定された場合（ステップＳ７０５  ＮＯ）、ステップＳ７０２に進む。
（ステップＳ７０６）クラスタリングを行う。その後、処理を終了する。
【００８２】
図１８に示す例では、パターン認識に用いる特徴量がＨａａｒ−ｌｉｋｅ特徴量である点が、図１６に示す例のようにＨＯＧ特徴量とは異なる。Ｈａａｒ−ｌｉｋｅ特徴とは、あるウィンドウ（検出窓）に含まれる複数の矩形領域それぞれの位置、配置及び個数の特徴である。また、各矩形領域は、ある1つの信号値を有する領域（黒領域）であるか、その信号値とは異なる信号値を有する領域（白領域）のいずれかである。Ｈａａｒ−ｌｉｋｅ特徴量は、黒領域に属する輝度値の合計値と白領域に属する輝度値の合計値との差分である。ＡｄａＢｏｏｓｔは、Ｈａａｒ−ｌｉｋｅ特徴毎に弱識別器を備えることで、ウィンドウ内の輝度値における黒領域、白領域の配置及び個数の特徴を識別する。
【００８３】
また、図１６、１８に示す例において、各処理サイクルにおいてラスタスキャン領域は、図１９に示すように１フレームの処理対象の画像全体である。また、認識対象となる目標物体の大きさによって、それぞれ異なるスケールのウィンドウ４５、４６、４７それぞれについてラスタスキャンを行う。また、図２０の左側のウィンドウ４６の移動ステップ幅ｄｘ１、ｄｙ１、スケールＳＣ１が、同図右側のウィンドウ４７の移動ステップ幅ｄｘ４、ｄｙ４、スケールＳＣ４が異なることを示す。目標物体の種別や位置が、限られている場合に、１フレーム全体に対して、目標物体の種別ごとにラスタスキャンを行うことは、大半のウィンドウについて目標物体が識別されない無用な処理になる。さらに、処理にかかる負荷は、車載用の組込装置等に実装することができないほど大きくなることがあった。
【００８４】
（まとめ）
これに対して、上述した本実施形態では、複数の探索領域のそれぞれについて画像から目標物体の画像を示す領域を探索し、複数の探索領域のそれぞれについて探索を行う周期毎に、過去に探索された前記領域が含まれる周辺領域について前記目標物体の画像が示されている領域を追跡する。これにより、画像の全領域、全目標物体について探索を行う処理を行う必要性がなくなり、目標物体については当該目標物体について、その周辺の領域が追跡される。そのため、認識精度を十分に保ちながら画像認識における処理を低減することができる。
【００８５】
また、本実施形態では、目標物体の画像を示す領域を探索する探索領域の順序は予め定められており、前記複数のうち１つの探索領域について探索を行う周期が終了した後、前記複数のうち他の１つの探索領域について探索を開始する。そのため、画像認識において探索領域を欠落することなく確実に新たな目標物体を探索することができる。
また、本実施形態では、複数の探索領域の全体の大きさが各々異なる全体領域が複数設定され、周期毎に複数の全体領域それぞれに対応する探索領域について目標物体の画像を示す領域を探索することを特徴とする。これにより、探索領域ごとのウィンドウのスケール及び移動ステップ幅に応じた認識精度が得られるため、システム全体として処理に係る負荷を低減することができる。
【００８６】
なお、上述した実施形態では、ラスタスキャンやトラッキング等におけるパターン認識において、必ずしもＡｄａＢｏｏｓｔやＲｅａｌ  ＡｄａＢｏｏｓｔを用いる必要はなく、他の方法を用いてもよい。本実施形態では、例えば、サポートベクタマシン（Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅ、ＳＶＭ）を用いた方法、ブロックマッチングを用いた方法、等を用いてもよい。
また、本実施形態では、パターン認識に用いる特徴量として、勾配方向矩形特徴量、ＨＯＧ特徴量以外にＨａａｒ−ｌｉｋｅ特徴量、勾配方向自体、勾配強度自体、輝度値自体、等、その他の特徴量を用いてもよい。
【００８７】
なお、上述した実施形態におけるカメラＥＣＵ１、即ち画像認識装置の一部、例えば、物体認識部１３及び制御部１４をコンピュータで実現するようにしても良い。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とはカメラＥＣＵ１に内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
また、上述した実施形態におけるカメラＥＣＵ１の一部、または全部を、ＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現しても良い。カメラＥＣＵ１の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化しても良い。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いても良い。
【００８８】
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
【符号の説明】
【００８９】
１…カメラＥＣＵ、
２…警報装置
３…ＡＣＣ−ＥＣＵ
４…衝突回避制御−ＥＣＵ
１１…カメラ、
１２…画像取得部、
１３…物体認識部、
１４…制御部、
２１…ＦＰＧＡ
２２…マイクロコンピュータ、
２３…メモリ
【図１】
2014048702.tif 000003
【図２】
2014048702.tif 000004
【図３】
2014048702.tif 000005
【図４】
2014048702.tif 000006
【図５】
2014048702.tif 000007
【図６】
2014048702.tif 000008
【図７】
2014048702.tif 000009
【図８】
2014048702.tif 000010
【図９】
2014048702.tif 000011
【図１０】
2014048702.tif 000012
【図１１】
2014048702.tif 000013
【図１２】
2014048702.tif 000014
【図１３】
2014048702.tif 000015
【図１４】
2014048702.tif 000016
【図１５】
2014048702.tif 000017
【図１６】
2014048702.tif 000018
【図１８】
2014048702.tif 000019
【図１９】
2014048702.tif 000020
【図２０】
2014048702.tif 000021
【図１７】
2014048702.tif 000022