(57)【特許請求の範囲】
【請求項１】
画像を取得する画像取得部と、
物体認識部と、
を備え、
前記物体認識部は、
前記画像取得部により取得された前記画像から、勾配方向が互いに異なる複数の勾配強度画像を求め、
前記勾配強度画像の内の何れか一つの勾配強度画像の上に設定された第１の領域における画素値と、前記何れか少なくとも一つの勾配強度画像とは異なる他の少なくとも一つの勾配強度画像の上に設定された第２の領域における画素値とを用いて、四則演算の内の何れか一つ以上の演算を行って矩形特徴量を求め、
前記矩形特徴量に基づき識別器により目標の物体を認識する、
画像認識装置。
【請求項２】
前記第１の領域と前記第２の領域は、画像上における位置、形状、および大きさ、の何れかが互いに異なる、
請求項１の画像認識装置。
【請求項３】
前記物体認識部は、
前記何れか少なくとも一つの勾配強度画像の上に設定された第３の領域における画素値を更に用いて前記演算を行う、
請求項１または２の画像認識装置。
【請求項４】
画像取得部と物体認識部を用いて目標の物体を認識する画像認識方法であって、
前記画像取得部により、画像を取得し、
前記物体認識部により、前記取得された画像から、勾配方向が互いに異なる複数の勾配強度画像を求め、
前記物体認識部により、前記複数の勾配強度画像の内の何れか少なくとも一つの勾配強度画像の上に設定された第１の領域における画素値と、前記複数の勾配強度画像の内の前記何れか少なくとも一つの勾配強度画像とは異なる他の少なくとも一つの勾配強度画像の上に設定された第２の領域における画素値とを用いて、四則演算の内の何れか一つ以上の演算を行って矩形特徴量を求め、
前記物体認識部により、前記矩形特徴量に基づき識別器により前記目標の物体を認識する、
画像認識方法。
【請求項５】
請求項４に記載の画像認識方法をコンピュータに実行させる画像認識プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像認識装置、画像認識方法および画像認識プログラムに関する。
【背景技術】
【０００２】
近年、車両の運転支援装置や予防安全装置として、車間距離制御装置（ＡＣＣ：Ａｄａｐｔｉｖｅ  Ｃｒｕｉｓｅ  Ｃｏｎｔｒｏｌ）や前方車両衝突警報装置（ＦＣＷ：Ｆｏｒｗａｒｄ  Ｃｏｌｌｉｓｉｏｎ  Ｗａｒｎｉｎｇ）や歩行者衝突警報装置などがあり、車載カメラを用いる安価な装置の普及が期待されている。
【０００３】
車載カメラを用いる物体の認識には、パターン認識が多く用いられている。
パターン認識の手法は、認識したい物体の特徴量をあらかじめ学習して、その学習結果を反映した辞書を作成し、当該辞書の内容と照合することで、撮像した画像の中に物体（物体の画像）があるか否かを認識する手法である。
パターン認識においては、Ｈａａｒ−ｌｉｋｅ特徴量とＡｄａＢｏｏｓｔの識別器とを組み合わせた顔認識アルゴリズム（例えば、非特許文献１参照。）が発表された後、近年では、車載用の物体認識に応用した技術（例えば、特許文献１参照。）も発表されている。
このような物体認識のアルゴリズムでは、Ｈａａｒ−ｌｉｋｅ特徴量を作る際に、積分画像（インテグラルイメージ）の作成により演算処理を高速にしたことも特色としてある。
【０００４】
また、他のよく使われる特徴量として、ＨＯＧ（Ｈｉｓｔｏｇｒａｍｓ  ｏｆ  Ｏｒｉｅｎｔｅｄ  Ｇｒａｄｉｅｎｔｓ）特徴量などがある。
また、前記のようなパターン認識では、撮像した画像の中から目標物体（目標物体の画像）を抽出するために、物体認識する領域（ウィンドウ）を各サイズで設定し、そのウィンドウ毎に前記した物体認識のアルゴリズムの処理を施す。
【０００５】
なお、図２１を参照して、背景技術に係る物体認識部（例えば、図１に示される物体認識部１３に対応する処理部）により行われるパターン認識の処理について説明する。
図２１は、背景技術に係る物体認識部により行われる処理の手順の一例を示すフローチャート図である。
この例では、Ｈａａｒ−ｌｉｋｅ特徴量とＡｄａＢｏｏｓｔの識別器により、認識アルゴリズムを構成している。
【０００６】
まず、物体認識部は、取得した輝度画像に対して、輝度画像を積分する処理を行い、この結果である積分画像（インテグラルイメージ）を算出する（ステップＳ１０１１）。
次に、物体認識部は、ラスタスキャンにより、積分画像の領域を、あらかじめ設定した任意の座標領域（ウィンドウ）で抽出する（ステップＳ１０１２）。
次に、物体認識部は、抽出した座標領域（ウィンドウ）について、Ｈａａｒ−ｌｉｋｅ特徴量（ベクトル）を算出する（ステップＳ１０１３）。
【０００７】
次に、物体認識部は、算出したＨａａｒ−ｌｉｋｅ特徴量（ベクトル）を用いて、Ｒｅａｌ  ＡｄａＢｏｏｓｔの識別器による識別を行い、あらかじめ目標（ターゲット）としている物体（物体の画像）を認識する（ステップＳ１０１４）。
ここで、物体認識部は、一連のラスタスキャンが終了したか否かを確認する（ステップＳ１０１５）。
そして、物体認識部は、一連のラスタスキャンが終了したと判定した場合には、本処理を終了する。
【０００８】
一方、物体認識部は、一連のラスタスキャンが終了していないと判定した場合には、ラスタスキャンの領域において、ウィンドウをずらして（スライドさせて）、ステップＳ１０１２の処理へ移行する。
これにより、物体認識部は、一連のラスタスキャンが終了するまで、ラスタスキャンの領域に対して、順次、ウィンドウをスライドさせて、ステップＳ１０１２〜ステップＳ１０１４の処理を繰り返して行う。
【０００９】
なお、一連のラスタスキャンでは、例えば、任意の画像領域に対して、同一のスケール（大きさ）のウィンドウを順次スライドさせて前記の処理を繰り返して行うことが終了した後に、ウィンドウのスケールや移動ステップ（スキャンステップ）を変化させて、再び、ウィンドウを順次スライドさせて前記の処理を繰り返して行うことを、あらかじめ定められた分だけ実行する。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２００７−３１０８０５号公報
【非特許文献】
【００１１】
【非特許文献１】Ｐａｕｌ  Ｖｉｏｌａ、Ｍｉｃｈａｅｌ  Ｊｏｎｅｓ、“Ｒａｐｉｄ  Ｏｂｊｅｃｔ  Ｄｅｔｅｃｔｉｏｎ  ｕｓｉｎｇ  ａ  Ｂｏｏｓｔｅｄ  Ｃａｓｃａｄｅ  ｏｆ  Ｓｉｍｐｌｅ  Ｆｅａｔｕｒｅｓ”、Ａｃｃｅｐｔｅｄ  Ｃｏｎｆｅｒｅｎｃｅ  Ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  Ａｎｄ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ  ２００１
【発明の概要】
【発明が解決しようとする課題】
【００１２】
しかしながら、上述のようなＨａａｒ−ｌｉｋｅ特徴量とＡｄａＢｏｏｓｔの識別器を使う物体認識のアルゴリズムでは、輝度による近隣領域の明暗差がローレベルな（情報量が少ない）特徴を用いるため、目標物体（目標物体の画像）の特徴を捉えるためには、弱識別器の数が多くなってしまうという問題があった。
また、ＨＯＧ特徴量のように、勾配方向毎に勾配強度を算出して、より情報量が多い特徴量を用いても、一般的に固定サイズに分割した領域（セル）とセルの集合（ブロック）から特徴量を算出するため、演算処理が複雑で処理時間が長くなる上、自由度が低く、弱識別器の数が多くなってしまうという同様な問題があった。
【００１３】
ここで、弱識別器の数が多くなると、計算回数とメモリアクセス回数が増え、１ウィンドウ当たりの演算処理時間が長くなり、結果的に、例えば、車載用などの認識装置に実装（組み込み）することが困難になってしまう。
【００１４】
本発明は、このような事情を考慮して為されたものであり、画像認識の効率化を図ることができる画像認識装置、画像認識方法および画像認識プログラムを提供することを目的としている。
【課題を解決するための手段】
【００１５】
本出願に係る画像認識装置は、画像を取得する画像取得部と、物体認識部と、を備え、  前記物体認識部は、前記画像取得部により取得された前記画像から、勾配方向が互いに異なる複数の勾配強度画像を求め、前記複数の勾配強度画像の内の何れか少なくとも一つの勾配強度画像の上に設定された第１の領域における画素値と、前記複数の勾配強度画像の内の前記何れか少なくとも一つの勾配強度画像とは異なる他の少なくとも一つの勾配強度画像の上に設定された第２の領域における画素値とを用いて、四則演算の内の何れか一つ以上の演算を行って矩形特徴量を求め、前記矩形特徴量に用いて識別器により目標の物体を認識する。
【発明の効果】
【００２６】
以上説明したように、本発明によれば、画像認識の効率化を図ることができる画像認識装置、画像認識方法および画像認識プログラムを提供することが可能になる。
【図面の簡単な説明】
【００２７】
【図１】本発明の一実施形態に係る画像認識システムの構成（ハードウェア構成）を示す概略ブロック図である。
【図２】本発明の一実施形態に係る物体認識部により行われる処理の手順の一例を示すフローチャート図である。
【図３】（Ａ）は輝度画像の一例を示す図であり、（Ｂ）は勾配の一例を示す図であり、（Ｃ）は勾配強度の一例を示す図であり、（Ｄ）は勾配方向の一例を示す図であり、（Ｅ）は各勾配方向の範囲の一例を示す図である。
【図４】（Ａ）、（Ｂ）はラスタスキャンのスケールと移動ステップの例を示す図である。
【図５】本発明の一実施形態に係る画像認識システムにおける画像取得から物体認識までの処理の概略的な一例を示す図である。
【図６】第１の例に係る勾配方向矩形特徴量Ａを示す図である。
【図７】（Ａ）、（Ｂ）、（Ｃ）は第２の例に係る勾配方向矩形特徴量Ｂを示す図である。
【図８】第３の例に係る勾配方向矩形特徴量Ｃを示す図である。
【図９】第４の例に係る勾配方向矩形特徴量Ｄを示す図である。
【図１０】第５の例に係る勾配方向矩形特徴量Ｅを示す図である。
【図１１】勾配方向矩形特徴量の具体例を示す図である。
【図１２】勾配方向矩形特徴量の具体例を示す図である。
【図１３】（Ａ）は勾配方向矩形特徴量の照明差の正規化係数の一例を示す図であり、（Ｂ）は勾配方向矩形特徴量の照明差の正規化係数の他の一例を示す図である。
【図１４】勾配方向矩形特徴量の照明差の正規化係数の他の例を示す図である。
【図１５】Ｒｅａｌ  ＡｄａＢｏｏｓｔの一例について説明するための図である。
【図１６】勾配方向矩形特徴量のレンジの正規化について説明するための図である。
【図１７】勾配方向矩形特徴量とＨＯＧ特徴量との比較を説明するための図である。
【図１８】（Ａ）はオリジナル画像の一例を示す図であり、（Ｂ）は累積行加算の結果の一例を示す図であり、（Ｃ）は積分画像の一例を示す図である。
【図１９】（Ａ）および（Ｂ）はＨａａｒ−ｌｉｋｅ特徴量を説明するための図である。
【図２０】（Ａ）および（Ｂ）はＨＯＧ特徴量を説明するための図である。
【図２１】背景技術に係る物体認識部により行われる処理の手順の一例を示すフローチャート図である。
【発明を実施するための形態】
【００２８】
［用語の説明］
本願において、矩形は、長方形ばかりでなく、正方形も含む。
本願において、勾配方向矩形特徴は、画像の輝度の勾配方向と勾配強度に関する矩形特徴のことである。また、本願において、勾配方向矩形特徴量（または、ＲＯＧ（Ｒｅｃｔａｎｇｌｅ  ｏｆ  Ｏｒｉｅｎｔｅｄ  Ｇｒａｄｉｅｎｔｓ）特徴量）は、勾配方向矩形特徴の特徴量のことであり、矩形の領域における勾配方向特徴量のことである。ここで、勾配方向特徴量は、画像の輝度の勾配方向と勾配強度に関する特徴量のことである。なお、矩形特徴としては、例えば、公知のものを用いることも可能であり、勾配強度は、情報量を低減した公知の勾配度数を用いることもできる。本願において、勾配強度と勾配度数を含む、広義の勾配値を勾配量と定義する。
本願において、積分勾配画像（インテグラルヒストグラム）は、画像の輝度について勾配方向と勾配強度（または、度数）を算出して、それぞれの勾配方向毎に勾配強度（または、度数）を積分した結果（積分勾配値）のことである。ここで、この積分は、例えば、積分勾配画像を求める対象となる領域に含まれる全ての画素（ｐｉｘｅｌ（ピクセル））について行われる。
【００２９】
また、識別器としては、Ｒｅａｌ  ＡｄａＢｏｏｓｔの識別器や、ＡｄａＢｏｏｓｔの識別器や、ＳＶＭの識別器など、様々なものを含む。
また、識別器の下位概念として、アンサンブル学習を行う識別器があり、その下位概念として、Ｂｏｏｓｔｉｎｇの識別器があり、その下位概念として、Ｒｅａｌ  ＡｄａＢｏｏｓｔの識別器などがある。
ここで、Ｂｏｏｓｔｉｎｇは、複数の弱識別器を使用してアンサンブル学習を行うものである。
【００３０】
［実施形態］
本実施形態では、車両に搭載される車載用の画像認識システムを例として説明する。
図１は、本発明の一実施形態に係る画像認識システムの構成（ハードウェア構成）を示す概略ブロック図である。
本実施形態に係る画像認識システムは、カメラＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ  Ｃｏｎｔｒｏｌ  Ｕｎｉｔ）１と、警報装置２と、ＡＣＣ−ＥＣＵ３と、を備える。
なお、カメラＥＣＵ１は、画像認識装置の一例である。
カメラＥＣＵ１は、カメラ１１と、画像取得部１２と、物体認識部１３と、制御部１４と、を備える。
【００３１】
物体認識部１３は、本実施形態では、ＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）２１の機能と、マイクロコンピュータ２２の機能と、を用いて構成される。
なお、ＦＰＧＡ２１の機能の代わりに、または、ＦＰＧＡ２１の機能と共に、ＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）の機能が用いられてもよい。
制御部１４は、本実施形態では、マイクロコンピュータ２２の機能を用いて構成される。
また、物体認識部１３および制御部１４のメモリおよび周辺回路は、ＦＰＧＡ、ＤＳＰ、マイクロコンピュータ内の集積回路に格納されているものを使用するか、もしくはそれらの外部に設けても良い。
【００３２】
ここで、物体認識部１３および制御部１４において、ＦＰＧＡ、ＤＳＰ、マイクロコンピュータといったデバイスについては、任意の数のデバイスが用いられてもよく、例えば、全てのデバイスが用いられてもよく、または、必ずしも全てのデバイスが必要ではなく、１つのデバイスあるいは２つのデバイスに全ての処理の機能を実装することも可能である。
【００３３】
本実施形態に係る画像認識システムに備えられる各処理部の概要を説明する。
カメラ１１は、本実施形態では、車両の前方、側方または後方等のようにあらかじめ定められた方向の画像を撮像する車両位置に設けられる。
カメラ１１は、画像を撮像し、撮像した画像の信号を画像取得部１２に出力する。
画像取得部１２は、カメラ１１からの画像を画像データとして取り込み、取り込んだ画像データを物体認識部１３に出力する。
【００３４】
物体認識部１３は、画像取得部１２から入力される画像データについて、ＦＰＧＡ２１やマイクロコンピュータ２２により、物体認識のために、画像処理およびパターン認識の演算を行い、物体認識の処理の結果の情報を制御部１４に出力する。この画像処理としては、例えば、前処理のフィルタリング処理などが行われる。
また、パターン認識の結果の情報としては、例えば、画像データの画像中における目標物体の情報が用いられる。
【００３５】
制御部１４は、物体認識部１３から入力される物体認識の処理の結果の情報に基づいて、あらかじめ定められた処理を行い、その結果の情報を警報装置２やＡＣＣ−ＥＣＵ３に出力する。
具体例として、制御部１４は、物体認識部１３から入力される物体認識の処理の結果の情報である目標物体の情報に基づいて、あらかじめ定められた処理として、目標物体との間のＴＴＣ（Ｔｉｍｅ  ｔｏ  Ｃｏｌｌｉｓｉｏｎ）や距離を算出する処理や、目標物体のトラッキングを行う処理や、他の装置やＥＣＵ（本実施形態では、警報装置２やＡＣＣ−ＥＣＵ３）のアプリケーション機能と通信する処理などを行う。
【００３６】
警報装置２やＡＣＣ−ＥＣＵ３は、カメラＥＣＵ１の制御部１４を介して各アプリケーション機能を実行するように設けられる。
警報装置２は、制御部１４から入力される情報に基づいて、例えば、目標物体が前方の車両である場合における前方車両衝突警報や、目標物体が歩行者である場合における歩行者衝突警報などを行う。
ＡＣＣ−ＥＣＵ３は、制御部１４から入力される情報に基づいて、例えば、目標物体が前方の車両である場合における車間距離制御などを行う。
【００３７】
図２を参照して、本実施形態に係る物体認識部１３により行われる処理について説明する。
図２は、本実施形態に係る物体認識部１３により行われる処理の手順の一例を示すフローチャート図である。
この例では、Ｈａａｒ−ｌｉｋｅ特徴量とＡｄａＢｏｏｓｔの識別器により、認識アルゴリズムを構成している。
【００３８】
まず、物体認識部１３は、取得した輝度画像に対して、輝度画像から勾配方向と勾配強度を算出して勾配方向毎に勾配強度を積分する処理を行い、この結果である積分勾配画像（インテグラルヒストグラム）を算出する（ステップＳ１）。
【００３９】
なお、積分勾配画像（インテグラルヒストグラム）を算出する処理は、積分勾配画像を利用して後の演算処理の時間を短縮するためであり、必ずしも行われなくてもよい。つまり、以降の処理において、積分勾配画像を利用せずに同じ結果が得られる演算を用いてもよい。
【００４０】
次に、物体認識部１３は、ラスタスキャンにより、積分勾配画像の領域を、あらかじめ設定した任意の座標領域（ウィンドウ）で抽出する（ステップＳ２）。
次に、物体認識部１３は、抽出した座標領域（ウィンドウ）について、あらかじめ定められた勾配方向矩形特徴量（ベクトル）を算出する（ステップＳ３）。
【００４１】
次に、物体認識部１３は、算出した勾配方向矩形特徴量（ベクトル）を用いて、Ｂｏｏｓｔｉｎｇの一例であるＲｅａｌ  ＡｄａＢｏｏｓｔの識別器による識別を行い、あらかじめ目標（ターゲット）としている物体（物体の画像）を認識する（ステップＳ４）。
【００４２】
ここで、物体認識部１３は、一連のラスタスキャンが終了したか否かを確認する（ステップＳ５）。
そして、物体認識部１３は、一連のラスタスキャンが終了したと判定した場合には、本処理を終了する。
【００４３】
一方、物体認識部１３は、一連のラスタスキャンが終了していないと判定した場合には、ラスタスキャンの領域において、ウィンドウをずらして（スライドさせて）、ステップＳ２の処理へ移行する。
これにより、物体認識部１３は、一連のラスタスキャンが終了するまで、ラスタスキャンの領域に対して、順次、ウィンドウをスライドさせて、ステップＳ２〜ステップＳ４の処理を繰り返して行う。
【００４４】
なお、一連のラスタスキャンでは、例えば、同一のスケール（大きさ）のウィンドウを順次スライドさせて前記の処理を繰り返して行うことが終了した後に、ウィンドウのスケールやスキャンステップを変化させて、再び、ウィンドウを順次スライドさせて前記の処理を繰り返して行うことを、あらかじめ定められた分だけ実行する。
【００４５】
ここで、識別器の機能は、本実施形態では、物体認識部１３により実現される。つまり、物体認識部１３が識別器を備える、と捉えることができる。
また、本実施形態に係る物体認識部１３では、一例として、積分勾配画像を算出する処理の機能をＦＰＧＡ２１により実現し、物体認識部１３により行われる他の処理の機能をマイクロコンピュータ２２により実現する。
【００４６】
図２に示される各処理について詳しく説明する。
図３（Ａ）〜図３（Ｅ）を参照して、勾配方向および勾配強度の算出例を説明する。
図３（Ａ）は、輝度画像の一例を示す図である。
この例では、横（水平）方向のｘ軸の画素位置をｕで表しており、右へ行くほど座標値が大きくなる。また、縦（垂直）方向のｙ軸の画素位置をｖで表しており、下へ行くほど座標値が大きくなる。
ｘ−ｙ直交座標の平面上における画素位置は、座標（ｕ、ｖ）で表される。
【００４７】
図３（Ｂ）は、勾配の一例を示す図である。
この例では、座標（ｕ、ｖ）の画素位置における輝度をＩ（ｕ、ｖ）で表す。
座標（ｕ、ｖ）の画素位置における横（水平）方向の輝度の勾配をＩｘで表し、Ｉｘを式（１）で表す。また、座標（ｕ、ｖ）の画素位置における縦（垂直）方向の輝度の勾配をＩｙで表し、Ｉｙを式（２）で表す。
【００４８】
【数１】
0005950441.tif 000002
【００４９】
【数２】
0005950441.tif 000003
【００５０】
図３（Ｃ）は、勾配強度の一例を示す図である。
この例では、座標（ｕ、ｖ）の画素位置における勾配強度をｍ（ｕ、ｖ）で表し、ｍ（ｕ、ｖ）を式（３）で表す。
図３（Ｄ）は、勾配方向の一例を示す図である。
この例では、座標（ｕ、ｖ）の画素位置における勾配方向をθ（ｕ、ｖ）で表し、θ（ｕ、ｖ）を式（４）で表す。
【００５１】
【数３】
0005950441.tif 000004
【００５２】
【数４】
0005950441.tif 000005
【００５３】
図３（Ｅ）は、各勾配方向の範囲の一例を示す図である。
この例では、１８０ｄｅｇを８個の方向（方向１〜方向８）の範囲に分けている。この場合、１個の方向の範囲は２２．５ｄｅｇとなり、その範囲の中心の角度を基準とすると±１１．２５ｄｅｇの範囲となる。
この例では、方向１を縦の勾配の範囲とすると、方向５が横の勾配の範囲となる。
【００５４】
ここで、画像における輝度の勾配は、微分画像に対応する。また、例えば、輝度の勾配が所定の閾値より大きい画素位置のつながりを勾配として検出することが可能である。
また、勾配を算出する手法としては、例えば、ソーベルフィルタを用いる手法などのように、他の手法を用いることもできる。
また、積分勾配画像は、例えば、ＨＯＧ特徴量を算出する際によく用いられるが、本実施形態では、矩形特徴量を算出する際に用いることを特徴とする。
【００５５】
図２に示されるステップＳ２の処理におけるラスタスキャンは、例えば、図２１に示されるステップＳ１０１２の処理におけるラスタスキャンと同様である。
ラスタスキャンでは、例えば、スケールＳＣと移動ステップｄｘ、ｄｙを可変に変化させてスキャンする。
【００５６】
図４（Ａ）、（Ｂ）は、ラスタスキャンのスケールと移動ステップの例を示す図である。
この例では、ラスタスキャンのスケールと移動ステップの組み合わせのパターンが４個以上あるとする。
【００５７】
図４（Ａ）は、第１のパターンにおけるラスタスキャンのスケールＳＣ１と移動ステップｄｘ１、ｄｙ１の一例を示す図である。
この例では、ラスタスキャン領域１０１において、横（水平）方向のｘ軸方向と縦（垂直）方向のｙ軸方向とのそれぞれについてスケールＳＣ１の長さを有する正方形のウィンドウ１０２を、あらかじめ定められた初期位置に、設定する。そして、このウィンドウ１０２を、ｘ軸方向に移動ステップｄｘ１ずつスライドさせていくことと、ｙ軸方向に移動ステップｄｙ１ずつスライドさせていくことを行う。
【００５８】
図４（Ｂ）は、第４のパターンにおけるラスタスキャンのスケールＳＣ４と移動ステップｄｘ４、ｄｙ４の一例を示す図である。
この例では、ラスタスキャン領域１１１において、横（水平）方向のｘ軸方向と縦（垂直）方向のｙ軸方向とのそれぞれについてスケールＳＣ４の長さを有する正方形のウィンドウ１１２を、あらかじめ定められた初期位置に、設定する。そして、このウィンドウ１１２を、ｘ軸方向に移動ステップｄｘ４ずつスライドさせていくことと、ｙ軸方向に移動ステップｄｙ４ずつスライドさせていくことを行う。
【００５９】
ここで、本実施形態では、第１のパターンにおけるラスタスキャンのスケールＳＣ１および移動ステップｄｘ１、ｄｙ１の値と、第４のパターンにおけるラスタスキャンのスケールＳＣ４および移動ステップｄｘ４、ｄｙ４の値とは異なっている。
本実施形態では、一例として、それぞれのパターンにおけるラスタスキャンのスケールＳＣが異なっており、そのスケールＳＣに比例した大きさを有する移動ステップｄｘ、ｄｙを用いている。また、本実施形態では、一例として、それぞれのパターンにおけるｘ軸方向の移動ステップｄｘとｙ軸方向の移動ステップｄｙとを同じ値にしている。
【００６０】
なお、他の構成例として、正方形以外の形状（例えば、正方形ではない矩形）を有するウィンドウが用いられてもよい。
また、他の構成例として、あるパターンにおけるｘ軸方向の移動ステップｄｘとｙ軸方向の移動ステップｄｙとを異なる値としてもよい。
【００６１】
図５は、本発明の一実施形態に係る画像認識システムにおける画像取得から物体認識までの処理の概略的な一例を示す図である。
カメラ１１により撮像される画像のデータが、画像取得部１２により入力画像２０１のデータとして取得される。
例えば、この画像には、道路と前方の車両が映っている。
【００６２】
物体認識部１３では、勾配強度画像２０２に示されるように、複数の勾配方向（本実施形態では、方向１〜方向８の８方向）のそれぞれについて、勾配強度を算出する。
そして、物体認識部１３では、勾配方向毎に、勾配強度の積分画像を、積分勾配画像２０３として作成する（図２に示されるステップＳ１の処理）。
【００６３】
次に、物体認識部１３では、ラスタスキャンの領域２０４において、ウィンドウのスキャンを行う（図２に示されるステップＳ２の処理）。
物体認識部１３では、ラスタスキャンで取得されるウィンドウの画像２０５に関し、各勾配方向の積分勾配画像２０６を取得する。
例えば、このウィンドウの画像２０５は、前方の車両が映る部分の画像である。
【００６４】
そして、物体認識部１３では、同一のウィンドウに関する勾配方向毎の積分勾配画像２０６について、あらかじめ定められた矩形特徴量（勾配方向矩形特徴量）２０７を演算して取得する（図２に示されるステップＳ３の処理）。
【００６５】
次に、物体認識部１３では、Ｒｅａｌ  ＡｄａＢｏｏｓｔの識別器による識別を行う（図２に示されるステップＳ４の処理）。
本実施形態では、識別器として、勾配方向毎に弱識別器が設定できる。
具体的には、物体認識部１３では、各勾配方向の積分勾配画像２０６（本実施形態では、８方向の勾配方向毎に、積分勾配画像２０８−１〜積分勾配画像２０８−８とする）について、あらかじめ学習しておいた弱識別器により識別を行う。
【００６６】
図５の例では、方向１の積分勾配画像２０８−１について、弱識別器により識別を行った結果、Ｗ１−ｒ１＝４１９．４／ｓ０という値が得られている。ｓ０は、この値が得られた矩形の領域の面積である。そして、物体認識部１３では、この値に基づいて、弱識別器の応答値ｈ１を算出する処理２１０−１を行う。
【００６７】
また、図５の例では、方向８の積分勾配画像２０８−８について、弱識別器により識別を行った結果、Ｗ８−ｒ１＝１９８．１／ｓ０という値が得られている。ｓ０は、この値が得られた矩形の領域の面積である。また、図５の例では、方向８の積分勾配画像２０８−８について、弱識別器により識別を行った結果、Ｗ８−ｒ２＝５８２．６／ｓ１という値が得られている。ｓ１は、この値が得られた矩形の領域の面積である。続いて、この例では、減算器２０９により、これら２つの値の減算結果（差）を求める。そして、物体認識部１３では、この減算結果の値に基づいて、弱識別器の応答値ｈ８を算出する処理２１０−８を行う。
【００６８】
図６〜図１０を参照して、勾配方向矩形特徴量の例について説明する。
本実施形態では、各勾配方向に分けた勾配強度画像から矩形特徴を抽出するため、その矩形特徴量のことを勾配方向矩形特徴量と定義する。
【００６９】
図６は、第１の例に係る勾配方向矩形特徴量Ａを示す図である。
この勾配方向矩形特徴量Ａは、１個の矩形（単矩形）３０１の特徴量（単矩形特徴量）を示す。
この勾配方向矩形特徴量Ａは、勾配方向毎の勾配強度画像から単矩形特徴を抽出し、単一領域の勾配を捉えることを目的としたものである。
例えば、目標物体のある部位が同一の勾配方向に集中しているような場合に、単矩形特徴で捉えることができる。
【００７０】
図７（Ａ）、図７（Ｂ）、図７（Ｃ）は、第２の例に係る勾配方向矩形特徴量Ｂを示す図である。
この勾配方向矩形特徴量Ｂは、勾配方向毎の勾配強度画像について、Ｈａａｒ−ｌｉｋｅ特徴量と同様に、矩形の特徴の差分等を用いるものである。また、この勾配方向矩形特徴量Ｂは、隣り合う矩形として同一の面積を有する矩形を用いて、同一の方向内での特徴の差分等を求めるものである。
図７（Ａ）は、２個の矩形に分けて勾配方向矩形特徴量Ｂを求める場合における勾配強度画像３１１、３１２を示す。この例では、隣り合う白い領域と黒い領域との間で特徴の差分等を求める。
図７（Ｂ）は、３個の矩形に分けて勾配方向矩形特徴量Ｂを求める場合における勾配強度画像３２１、３２２を示す。この例では、隣り合う白い領域と黒い領域との間で特徴の差分等を求める。
図７（Ｃ）は、４個の矩形に分けて勾配方向矩形特徴量Ｂを求める場合における勾配強度画像３３１を示す。この例では、隣り合う白い領域と黒い領域との間で特徴の差分等を求める。
この勾配方向矩形特徴量Ｂは、隣接領域の勾配関係を捉える手法であり、本実施形態では、勾配強度画像について抽出するため、通常の輝度画像から求める領域差分よりも、さらに特徴差が際立った部位を抽出することができるという効果が得られる。
【００７１】
図８は、第３の例に係る勾配方向矩形特徴量Ｃを示す図である。
この勾配方向矩形特徴量Ｃは、勾配方向毎の勾配強度画像について、Ｈａａｒ−ｌｉｋｅ特徴量を応用して、矩形の特徴の差分等を用いるものである。
この勾配方向矩形特徴量Ｃは、隣接領域の勾配関係を捉える手法であり、隣接領域とする２つの領域（白い領域と黒い領域）で領域の形状や面積が異なっている。また、この勾配方向矩形特徴量Ｃは、同一の方向内での特徴の差分等を求めるものである。
図８の例では、複数（Ｎ個）の勾配方向について、方向１のウィンドウの画像３４１−１、方向２のウィンドウの画像３４１−２、・・・、方向Ｎのウィンドウの画像３４１−Ｎを示す。この例では、勾配方向毎に、矩形の形状や数が異なってもよい。
この勾配方向矩形特徴量Ｃは、図７（Ａ）、図７（Ｂ）、図７（Ｃ）に示される勾配方向矩形特徴量Ｂと似ているが、例えば、隣接する領域の勾配面積比が異なるような場合にも、より適切な抽出を行うことができるという効果が得られる。
【００７２】
図９は、第４の例に係る勾配方向矩形特徴量Ｄを示す図である。
この勾配方向矩形特徴量Ｄは、勾配方向毎の勾配強度画像の内において、複数の離隔した（隔たれた）矩形の特徴の差分等を用いるものである。
この勾配方向矩形特徴量Ｄは、離隔した領域の勾配関係を捉える手法であり、離隔した領域とする２つの領域（白い領域と黒い領域）で、領域の形状や面積が同じでもよく、または、異なってもよい。また、この勾配方向矩形特徴量Ｄは、同一の方向内での特徴の差分等を求めるものである。
図９の例では、複数（Ｎ個）の勾配方向について、方向１のウィンドウの画像３５１−１、方向２のウィンドウの画像３５１−２、・・・、方向Ｎのウィンドウの画像３５１−Ｎを示す。この例では、勾配方向毎に、矩形の形状や数が異なってもよい。
この勾配方向矩形特徴量Ｄは、隣接していない領域の間でも特徴を抽出することができるようにしたものである。この勾配方向矩形特徴量Ｄは、目標物体のある方向の勾配が離れた部位の間で存在することを捉え易くする。
【００７３】
図１０は、第５の例に係る勾配方向矩形特徴量Ｅを示す図である。
この勾配方向矩形特徴量Ｅは、異なる勾配方向の勾配強度画像の間に跨って、複数の矩形の特徴の差分等を用いるものである。
この勾配方向矩形特徴量Ｅは、異なる勾配方向の勾配強度画像の間におけるそれぞれの領域の勾配関係を捉える手法であり、２つの領域（白い領域と黒い領域）で、領域の形状や面積や位置が同じでもよく、または、異なってもよい。この勾配方向矩形特徴量Ｅは、異なる方向間での特徴の差分等を求めるものである。
図１０の例では、複数（Ｎ個）の勾配方向について、方向１のウィンドウの画像３６１−１、方向２のウィンドウの画像３６１−２、・・・、方向Ｎのウィンドウの画像３６１−Ｎを示す。この例では、勾配方向毎に、矩形の形状や数が異なってもよい。
この勾配方向矩形特徴量Ｅは、異なる勾配方向に跨る勾配強度画像における複数の矩形の特徴関係を用いるため、異なる勾配方向の間の関係を捉えることができるという効果が得られる。
【００７４】
ここで、勾配方向矩形特徴量Ｂ〜Ｅにおいて、複数の矩形の特徴の差分等を求めることについては、必ずしも領域間の差分だけでなく、差、和、積、商といった四則演算を考慮して、これらのうちの任意の１つ以上の演算を用いて、最適な特徴量を使用する（または、選択などする）ことができるようにする。また、差分（差）としては、差分の絶対値を用いることも可能である。
また、複数の矩形の特徴の差分等における複数の矩形としては、例えば、２個の矩形に限られず、３個以上の矩形が用いられてもよい。
【００７５】
以上のように、本実施形態では、複数種類の勾配方向矩形特徴量Ａ〜Ｅのうちのいずれか１つ、または、任意の２つ以上の組み合わせを用いることができ、これにより、目標物体の特徴をより少ない識別器（本実施形態では、弱識別器）の数で捉えることができ、装置の構成を簡易化することができる。
【００７６】
ここで、勾配方向矩形特徴量を用いることにより得られる効果について、より詳しく説明する。
本実施形態では、図２に示されるステップＳ４の処理において、Ｒｅａｌ  ＡｄａＢｏｏｓｔによる識別器で、勾配方向矩形特徴量を識別する。
この場合、勾配方向矩形特徴量とＲｅａｌ  ＡｄａＢｏｏｓｔの識別器とを組み合わせると、例えば、弱識別器の数が極力少ない条件にしても、不検出率が低い性能を持ち、且つ、誤検出率が低い性能を持つ物体認識のアルゴリズムを構成することができる。
【００７７】
好ましい具体例として、勾配方向矩形特徴量について、各勾配方向のウィンドウの内の矩形領域（つまり、大きさ）に特に制限を設けず、目標物体の各部位の大小を問わず識別器（本実施形態では、Ｒｅａｌ  ＡｄａＢｏｏｓｔの識別器）により学習し、目標物体の特徴を示す弱識別器を選択させる。
これにより、目標物体の大小の勾配矩形特徴の中で、特に有効な部分を厳選することができ、少ない弱識別器の数で識別器を構成することができる。このため、計算回数とメモリアクセス回数が少なく、短い演算処理時間で、目標物体が存在するウィンドウを絞り込むことや、目標物体を識別することができる。
【００７８】
なお、識別器による識別に関して、不検出率は、目標物体を目標物体として検出（検知）することができない率のことであり、また、誤検出率は、目標物体以外を目標物体であると認識して検出する率のことである。
また、本実施形態では、ブースティング（Ｂｏｏｓｔｉｎｇ）として、Ｒｅａｌ  ＡｄａＢｏｏｓｔを例として説明したが、広義のブースティングに適用しても、同様な効果を得ることが可能である。
【００７９】
図１１は、勾配方向矩形特徴量の具体例を示す図である。
図１１は、学習した多数の勾配強度画像を、８個の勾配方向（方向１〜方向８）の全方向について平均（合成）したもの（平均勾配画像）４０１と、方向１のみ平均したウィンドウの画像４１１−１、方向２のみ平均したウィンドウの画像４１１−２、・・・、方向８のみ平均したウィンドウの画像４１１−８を示す。
この例では、目標物体を車両の背面とした場合を示す。平均勾配画像は、目標物体の勾配による形状を視覚的に把握できる効果がある。
【００８０】
図１１の例では、次のような特徴量（１）〜（５）を用いている。
（１）勾配方向矩形特徴量Ａとして、各勾配矩形フィルタ（図１１に示される各ウィンドウ中の各矩形）を１つ使用する場合に得られる特徴量を用いる。
（２）勾配方向矩形特徴量Ｂとして、複数の矩形の特徴の差分等として減算（差）を使用する場合に得られる特徴量を用いる。
（３）勾配方向矩形特徴量Ｃとして、複数の矩形の特徴の差分等として減算（差）を使用する場合に得られる特徴量を用いる。
（４）勾配方向矩形特徴量Ｄとして、複数の矩形の特徴の差分等として減算（差）を使用する場合に得られる特徴量を用いる。
（５）勾配方向矩形特徴量Ｅとして、複数の矩形の特徴の差分等として減算（差）を使用する場合に得られる特徴量を用いる。
【００８１】
図１１の例では、Ｗｉ−ｒｊにおいて、ｉ（ｉ＝１、２、・・・、８）は方向の番号を表し、ｊ（ｊ＝１、２、・・・）は各ウィンドウ内における矩形の番号を表す。また、Ｗｉ−ｒｊは、方向ｉのウィンドウ内におけるｊ番目の矩形について、単位面積当たりの特徴量の値を表す。
なお、この例では、勾配方向矩形特徴量Ｂ〜Ｅについては、差分等として減算（差）を用いる場合に特徴量が強く現れる関係を示している。
【００８２】
図１２は、勾配方向矩形特徴量の具体例を示す図である。
図１２は、方向１のみ平均したウィンドウの画像４２１−１、方向２のみ平均したウィンドウの画像４２１−２、・・・、方向８のみ平均したウィンドウの画像４２１−８を示す。
この例では、図１１の例の場合と同様に、目標物体を車両の背面とした場合を示す。
【００８３】
図１２の例では、次のような特徴量（３）〜（５）を用いている。
（３）勾配方向矩形特徴量Ｃとして、複数の矩形の特徴の差分等として加算（和）を使用する場合に得られる特徴量を用いる。
（４）勾配方向矩形特徴量Ｄとして、複数の矩形の特徴の差分等として加算（和）を使用する場合に得られる特徴量を用いる。
（５）勾配方向矩形特徴量Ｅとして、複数の矩形の特徴の差分等として加算（和）を使用する場合に得られる特徴量を用いる。
【００８４】
図１２の例では、Ｗｉ−ｒｊにおいて、ｉ（ｉ＝１、２、・・・、８）は方向の番号を表し、ｊ（ｊ＝１、２、・・・）は各ウィンドウ内における矩形の番号を表す。また、Ｗｉ−ｒｊは、方向ｉのウィンドウ内におけるｊ番目の矩形について、単位面積当たりの特徴量の値を表す。
なお、この例では、勾配方向矩形特徴量Ｃ〜Ｅについては、差分等として加算（和）を用いる場合に特徴量が強く現れる関係を示している。また、勾配強度が無いという特徴を用いることもできる。
【００８５】
以上、図１１の例及び図１２の例を示したように、四則演算を利用することで、各特徴量を強く現すことができる。
【００８６】
次に、勾配方向矩形特徴量の照明差の正規化について説明する。
目標物体に対する照明差を補正するために、例えば、ウィンドウサイズによる輝度画像の標準偏差により正規化することができる。なお、このような正規化については、例えば、非特許文献１に記載されている。
この場合、輝度の積分画像と輝度の２乗の積分画像を別に計算しておく。
【００８７】
他の手法として、図１３（Ａ）および図１３（Ｂ）に示されるように、目標物体に対する照明差を補正するために、ウィンドウをスキャンする際に、ウィンドウサイズにおける各勾配方向の勾配強度の平均値や標準偏差を計算し、各勾配矩形特徴をいずれかの計算値で正規化する手法を用いることもできる。
【００８８】
図１３（Ａ）は、勾配方向矩形特徴量の照明差の正規化係数の一例を示す図である。
この例では、ウィンドウ単位で照明差を正規化する。
積分勾配画像Ｘは、複数（Ｎ個）の方向の積分勾配画像である、方向１の積分勾配画像５０１−１、方向２の積分勾配画像５０１−２、・・・、方向Ｎの積分勾配画像５０１−Ｎを加えたものであり、全ての勾配方向についての積分勾配画像５１１である。
【００８９】
ここで、ＸＷｎは、積分勾配画像について、各方向ｎ（ｎは、方向番号）におけるウィンドウ単位での１画素（１ｐｉｘｅｌ）当たりの平均値を表す。
また、ＸＷは、積分勾配画像について、全ての勾配方向におけるウィンドウ単位での１画素（１ｐｉｘｅｌ）当たりの平均値を表す。
また、ＱＷは、積分勾配画像について、強方向勾配（本実施形態では、縦勾配と横勾配）のウィンドウ単位での１画素（１ｐｉｘｅｌ）当たりの平均値を表す。
【００９０】
この例では、平均値を用いて照明差を正規化するための係数（照明差係数１）を示す。
照明差係数１の第１の例として、正規化係数ＸＷは、式（５）により表される。この場合、各勾配方向矩形特徴量を正規化係数ＸＷで除算した値を用いる。
【００９１】
【数５】
0005950441.tif 000006
【００９２】
照明差係数１の第２の例として、正規化係数ＱＷは、式（６）により表される。この場合、各勾配方向矩形特徴量を正規化係数ＱＷで除算した値を用いる。
このように、目標物体の性質が強く現れる方向（例えば、車両の場合における縦勾配と横勾配）のみについて、係数値の計算に用いることも可能であり、これにより、演算時間を節約することができる。
【００９３】
なお、この例では、強方向勾配について、縦勾配が方向１にあり、横勾配が方向５にあるとしているが、他の構成が用いられてもよい。強方向は、例えば、ユーザにより手動で設定されてもよく、または、特徴量があらかじめ定められた閾値以上となる方向を強方向として決定するなどのように、所定の条件に基づいて設定されてもよい。
【００９４】
【数６】
0005950441.tif 000007
【００９５】
図１３（Ｂ）は、勾配方向矩形特徴量の照明差の正規化係数の他の一例を示す図である。
この例では、ウィンドウ単位で照明差を正規化する。
積分勾配２乗画像Ｘ２は、複数（Ｎ個）の方向の積分勾配２乗画像である、方向１の積分勾配２乗画像５２１−１、方向２の積分勾配２乗画像５２１−２、・・・、方向Ｎの積分勾配２乗画像５２１−Ｎを加えたものであり、全ての勾配方向についての積分勾配２乗画像５３１である。
【００９６】
ここで、Ｘ２Ｗｎは、積分勾配２乗画像について、各方向ｎ（ｎは、方向番号）におけるウィンドウ単位での１画素（１ｐｉｘｅｌ）当たりの平均値を表す。
また、Ｘ２Ｗは、積分勾配２乗画像について、全ての勾配方向におけるウィンドウ単位での１画素（１ｐｉｘｅｌ）当たりの平均値を表す。
また、Ｑ２Ｗは、積分勾配２乗画像について、強方向勾配（本実施形態では、縦勾配と横勾配）のウィンドウ単位での１画素（１ｐｉｘｅｌ）当たりの平均値を表す。
なお、これらの関係は、図１３（Ａ）に関して示した式（５）、式（６）と同様である。
【００９７】
この例では、標準偏差値を用いて照明差を正規化するための係数（照明差係数２）を示す。
照明差係数２の第１の例として、正規化係数ＸＳは、式（７）により表される。この場合、各勾配方向矩形特徴量を正規化係数ＸＳで除算した値を用いる。
【００９８】
【数７】
0005950441.tif 000008
【００９９】
照明差係数２の第２の例として、正規化係数ＱＳは、式（８）により表される。この場合、各勾配方向矩形特徴量を正規化係数ＱＳで除算した値を用いる。
このように、目標物体の性質が強く現れる方向（例えば、車両の場合における縦勾配と横勾配）のみについて、係数値の計算に用いることも可能であり、これにより、演算時間を節約することができる。
【０１００】
なお、この例では、強方向勾配について、縦勾配が方向１にあり、横勾配が方向５にあるとしているが、他の構成が用いられてもよい。強方向は、例えば、ユーザにより手動で設定されてもよく、または、特徴量があらかじめ定められた閾値以上となる方向を強方向として決定するなどのように、所定の条件に基づいて設定されてもよい。
【０１０１】
【数８】
0005950441.tif 000009
【０１０２】
ここで、このように標準偏差値を用いて照明差を正規化する場合には、例えば、あらかじめ、各画素位置における勾配強度を２乗した値を有する画像（勾配２乗画像）を計算しておき、この勾配２乗画像を積分して積分勾配２乗画像を得る。
【０１０３】
図１４は、勾配方向矩形特徴量の照明差の正規化係数の他の例を示す図である。
図１４は、撮像画像領域６０１と、その中に設定されるラスタスキャン領域６１１と、その中に設定されるウィンドウ（ウィンドウの領域）６２１を示す。
ラスタスキャン領域６１１を単位として、照明差を正規化することも可能である。
【０１０４】
具体的には、図１３（Ａ）を参照して説明したウィンドウを単位として平均値を用いて照明差の正規化係数を求める代わりに、ラスタスキャン領域を単位として平均値を用いて照明差の正規化係数を求めることができる。
また、図１３（Ｂ）を参照して説明したウィンドウを単位として標準偏差を用いて照明差の正規化係数を求める代わりに、ラスタスキャン領域を単位として標準偏差を用いて照明差の正規化係数を求めることができる。
【０１０５】
なお、画像全体の照明差を補正するために、ラスタスキャン領域で正規化係数を算出する手法のほかにも、様々なロバスト性を向上させるための手法が用いられてもよい。
【０１０６】
図１５を参照して、Ｒｅａｌ  ＡｄａＢｏｏｓｔの一例について説明する。
説明の便宜上、物体認識部１３により行われる（処理１）〜（処理７）に分けて、説明する。
画像７０１を例とする。なお、画像７０１としては、本実施形態では、積分勾配画像を用いることができる。
【０１０７】
（処理１）
画像７０１の中に設定されるラスタスキャン領域に設定されるウィンドウ７１１を例とする。
ウィンドウ７１１の特徴量を算出する処理７２１として、検出用のウィンドウ７１１から勾配方向矩形特徴量を算出する。この例では、正規化した特徴量を算出する。
また、この例では、特徴次元（インデックスＮｏ）が１からＭ（この例では、Ｍは２８１以上の整数値）まで全ての特徴を算出しているが、実処理では必要な特徴（例えば、事前に学習して辞書に載っているもののみ）を算出する。
【０１０８】
（処理２）
辞書から、指定された特徴次元の特徴量をピックアップする処理７２２を行う。
辞書には、あらかじめ行われた学習の結果の情報が記憶されている。
【０１０９】
（処理３）
特徴量を量子化する処理７２３を行う。
この例では、量子化数（ＢＩＮの数）を６４としている。０．０から１．０までの実数値となる正規化特徴量を０から６３に量子化するために、正規化特徴量に対してＢＩＮの数である６４との積を求めている。
【０１１０】
（処理４）
確率密度関数テーブルを参照する処理７２４を行う。
具体的には、事前に学習して用意しておいた辞書と対応する確率密度関数（事前確率）から、算出された特徴量のＰＯＳ（ポジティブ）の確率とＮＥＧ（ネガティブ）の確率を求める。
【０１１１】
（処理５）
弱識別器の応答値ｈを求める処理７２５を行う。
具体的には、弱識別器の出力値として、式（９）で表されるｈの値を算出する。なお、式（９）におけるεは、定数である。
例えば、図１５に示される１つ目の弱識別器では、ＰＯＳがＮＥＧの確率より高いため、ｈは正の値となる。
【０１１２】
【数９】
0005950441.tif 000010
【０１１３】
（処理６）
（処理２）〜（処理５）を任意の数だけ繰り返して実行する処理７２６を行う。この数が、弱識別器の数に相当する。
【０１１４】
（処理７）
算出された各弱識別器の応答値ｈの合計（線形和）を求めて、その合計値を強識別器の応答値Ｈとして算出する処理７２７を行う。
そして、算出された強識別器の応答値Ｈがあらかじめ定められた閾値ＴＨよりも大きいと判定した場合には、Ｔｒｕｅ（認識対象）であると判定する。一方、他の場合には、Ｆａｌｓｅ（非認識対象）であると判定する。
ここで、閾値ＴＨとしては、任意の値が用いられてもよく、例えば、あらかじめ、固定的な値が設定される。
【０１１５】
なお、識別器としては、Ｒｅａｌ  ＡｄａＢｏｏｓｔの識別器以外にも、例えば、Ｂｏｏｓｔｉｎｇ等のアンサンブル学習により作られるものを適用することができる。
【０１１６】
次に、図１６（Ａ）、図１６（Ｂ）、図１６（Ｃ）を参照して、勾配方向矩形特徴量のレンジの正規化について説明する。
一般的に、Ｂｏｏｓｔｉｎｇによる識別器では、入力する特徴量を０〜１に正規化する必要がある。
図１５を参照して説明したＲｅａｌ  ＡｄａＢｏｏｓｔは、確率密度関数を作成する方式のものであり、確率密度関数に入力する特徴量を０〜１に正規化する。通常は、０〜１の間で密な確率密度関数を作成する場合には、ＢＩＮ数を増やして対応するが、メモリ容量が増大するという問題がある。
【０１１７】
そこで、本実施形態では、勾配方向矩形特徴量について、ダイナミックレンジの中の特定の範囲に０〜１のレンジを設けられるように（例えば、Ｒｅａｌ  ＡｄａＢｏｏｓｔの場合には、検出率を向上する確率密度関数を作成するように）、正規化する。
ここで、ダイナミックレンジは、本実施形態の場合には、例として、単矩形（単領域）のときには３６０．６であり、２矩形（２領域）のときには±３６０．６である。
なお、前記したダイナミックレンジの中の特定の範囲は、例えば、実験による値により設定することができ、または、学習により最適な係数（例えば、図１６（Ｂ）、図１６（Ｃ）に示されるｏｆｆｓｅｔの値）を決定することにより設定することができる。
【０１１８】
図１６（Ａ）は、入力画像８０１と、入力画像８０１について８方向の勾配方向で強度を算出した勾配強度画像８０２を示す。
入力画像８０１について、１画素（１ｐｉｘｅｌ）当たりのレンジが０〜２５５であり、１画素（１ｐｉｘｅｌ）当たりの最大値が２５５であるときには、勾配強度画像８０２について、式（１０）に示されるように、１画素（１ｐｉｘｅｌ）当たりの最大値が３６０．６（厳密には、約３６０．６）となる。
【０１１９】
【数１０】
0005950441.tif 000011
【０１２０】
図１６（Ｂ）は、単矩形８１１の特徴の例を示す。
単矩形８１１では、例えば、単矩形８１１内の全ての画素位置の特徴量の平均値を勾配方向矩形特徴量とし、特徴量（勾配方向矩形特徴量）ｆのダイナミックレンジが最小値０から最大値３６０．６である。
特徴量ｆと、正規化係数ｏｆｆｓｅｔと、正規化後の特徴量ｆ＿ｎｏｒｍとの関係は、式（１１）により表される。
【０１２１】
【数１１】
0005950441.tif 000012
【０１２２】
図１６（Ｃ）は、２矩形８１２の特徴の例を示す。
２矩形８１２では、例えば、各矩形内の全ての画素位置の特徴量の平均値の差分を勾配方向矩形特徴量とし、特徴量（勾配方向矩形特徴量）ｆのダイナミックレンジが最小値−３６０．６から最大値＋３６０．６である。
特徴量ｆと、正規化係数ｏｆｆｓｅｔと、正規化後の特徴量ｆ＿ｎｏｒｍとの関係は、式（１２）により表される。
【０１２３】
【数１２】
0005950441.tif 000013
【０１２４】
図１７（Ａ）および図１７（Ｂ）を参照して、勾配方向矩形特徴量とＨＯＧ特徴量との比較を説明する。
この例では、車両が写る画像について、図６と図７で示した勾配方向矩形特徴量ＡとＢをＲｅａｌ  ＡｄａＢｏｏｓｔにより選択された特徴量で比較する。
【０１２５】
図１７（Ａ）には、勾配方向矩形特徴量について示してある。
図１７（Ａ）の上段には、８方向（方向１〜方向８）について、Ｒｅａｌ  ＡｄａＢｏｏｓｔにより選択された各勾配方向のみ平均した勾配画像と特徴量（勾配方向矩形特徴量）の領域を示してある（９０１−１〜９０１−６）。つまり、６つの弱識別器を構成させていることを示す。
また、図１７（Ａ）の下段には、平均勾配画像９１１に、図１７（Ａ）の上段で示した特徴量（勾配方向矩形特徴量）の領域を示してある。これは、目標物体（車両）のどの部位の勾配領域を選択しているかを視覚的に示すためである。
【０１２６】
具体的には、弱識別器１では、左縦勾配がある領域が選択されている。
弱識別器２では、横勾配がある領域が選択されている。
弱識別器３では、右縦勾配がある領域が選択されている。
弱識別器４では、縦勾配が無い領域が選択されている。
弱識別器５では、左タイヤに勾配差がある領域が選択されている。
弱識別器６では、右タイヤに勾配差がある領域が選択されている。
【０１２７】
このように、本実施形態に係る勾配方向矩形特徴量を用いると、大小の領域の特徴で、最適値を選択することが可能である。これにより、識別器（本実施形態では、弱識別器）の数を少なくすることが可能である。
【０１２８】
図１７（Ｂ）には、ＨＯＧ特徴量について示してある。
図１７（Ｂ）には、平均勾配画像９２１に、選択された特徴量（ＨＯＧ特徴量）の領域（セル）を示してある。
【０１２９】
このように、ＨＯＧ特徴量を用いると、固定セル単位の特徴を総合的に捉える。このため、比較的、識別器（本実施形態では、弱識別器）の数が多くなるため、図１７（Ｂ）で示した８つの弱識別器数以上が必要となる。図１７（Ｂ）の各選択されたセル内に示されているラインは、勾配方向を示す。
【０１３０】
ここで、弱識別器の数について、車両の認識を行うシミュレーションの結果の例を示す。
このシミュレーションの結果では、勾配方向矩形特徴量で学習した弱識別器の数が約４〜１６個であるときに、ＨＯＧ特徴量で学習した弱識別器の数が約１００個であった。
また、勾配方向矩形特徴量と識別器を用いた場合における１個のウィンドウ当たりの処理時間は、ＨＯＧ特徴量と識別器を用いた場合における１個のウィンドウ当たりの処理時間に対して、約１／５０〜１／６０であった。
【０１３１】
図１８（Ａ）、図１８（Ｂ）、図１８（Ｃ）を参照して、積分画像について説明する。
図１８（Ａ）は、オリジナル画像の一例を示す図である。
この例では、オリジナル画像として、輝度画像２００１を示す。
輝度画像２００１について、横（水平）方向のｘ軸、縦（垂直）方向のｙ軸に関し、画素位置（ｘ、ｙ）の輝度値をｉ（ｘ、ｙ）とする。
【０１３２】
図１８（Ｂ）は、累積行加算の結果の一例を示す図である。
この例では、枠内の左上から右下まで、繰り返して積分する。
累積行加算の結果２００２において、位置（ｘ、ｙ）の累積行加算値ｓ（ｘ、ｙ）は、式（１３）により表される。
【０１３３】
【数１３】
0005950441.tif 000014
【０１３４】
図１８（Ｃ）は、積分画像の一例を示す図である。
この例では、枠内の左上から右下まで、繰り返して積分する。
積分画像２００３において、位置（ｘ、ｙ）の積分値ｉｉ（ｘ、ｙ）は、式（１４）により表される。
【０１３５】
【数１４】
0005950441.tif 000015
【０１３６】
図１９（Ａ）および図１９（Ｂ）を参照して、Ｈａａｒ−ｌｉｋｅ特徴量を説明する。
図１９（Ａ）は、２矩形２０１１を示す。
２矩形２０１１の特徴として、左右の矩形の特徴量の差分を用いる。
【０１３７】
図１９（Ｂ）は、２矩形特徴の求め方を示す。
ａ、ｂ、ｃ、ｄ，ｅ、ｆを、それぞれ、各点における積分勾配値とする。
左側の領域（領域１）の単矩形特徴量は、式（１５）により表され、４点で算出することができる。
右側の領域（領域２）の単矩形特徴量は、式（１６）により表され、４点で算出することができる。
領域１の特徴量と領域２の特徴量との差分である２矩形特徴量は、式（１７）により表され、６点で算出することができる。
【０１３８】
【数１５】
0005950441.tif 000016
【０１３９】
【数１６】
0005950441.tif 000017
【０１４０】
【数１７】
0005950441.tif 000018
【０１４１】
図２０（Ａ）および図２０（Ｂ）を参照して、ＨＯＧ特徴量を説明する。
図２０（Ａ）は、セルによるヒストグラム化の一例を示す。
画像の中に設定されるセル２０２１と、３×３の計９個のセルから構成されるブロック２０２２を示す。
また、１個のセルが横（水平）方向に５画素（５ｐｉｘｅｌ）、縦（垂直）方向に５画素（５ｐｉｘｅｌ）から構成される場合を示す。
そして、セル２０２１について、セル単位での輝度勾配分布２０２３を示す。また、これについて、９方向を例として、方向を横軸とし且つ勾配強度を縦軸とした勾配方向ヒストグラムを示す。
また、この例では、ブロック２０２２の単位で、その領域で、セル内の輝度勾配を正規化する。
【０１４２】
図２０（Ｂ）は、ブロック領域により正規化された、ＨＯＧ特徴量を算出する例を示す。
９方向を例として、１個のセル２０３１の特徴ベクトルＦｊ，ｋは、式（１８）により表される。各方向（方向１〜方向９）の特徴ベクトルの成分ｆをｆ１〜ｆ９とする。ここで、ｋはセルの横（水平）方向の位置を表し、ｊは縦（垂直）方向の位置を表す。
ブロック２０３２の特徴ベクトルＶは、式（１９）により表される。
この特徴ベクトルＶの大きさにより正規化した結果ｖは、式（２０）により表される。
この例では、ＨＯＧ特徴ベクトルは、９セル×９次元×４ブロック数＝３２４次元となる。
【０１４３】
【数１８】
0005950441.tif 000019
【０１４４】
【数１９】
0005950441.tif 000020
【０１４５】
【数２０】
0005950441.tif 000021
【０１４６】
［以上に示した本実施形態に関する構成例の説明］
以上に示した本実施形態に係る画像認識システムについて、（本実施形態に係る構成例１）〜（本実施形態に係る構成例１７）を示す。
【０１４７】
（本実施形態に係る構成例１）
本実施形態に係る画像認識システムの物体認識部１３では、撮像された輝度画像から勾配方向と勾配量を求め、勾配方向毎の勾配量画像（その積分画像は、インテグラルヒストグラムと呼ばれる場合がある）について、それぞれウィンドウをスキャンして、学習した勾配方向矩形特徴量（各方向に分けた勾配量から矩形特徴を抽出するもの）によるパターン認識で、目標物体を認識する。
【０１４８】
（本実施形態に係る構成例２）
本実施形態に係る画像認識システムの物体認識部１３では、図６に示されるように、勾配方向矩形特徴量として、勾配量画像の単矩形特徴量を用いる。
【０１４９】
（本実施形態に係る構成例３）
本実施形態に係る画像認識システムの物体認識部１３では、図７に示されるように、勾配方向矩形特徴量として、勾配量画像のＨａａｒ−ｌｉｋｅ特徴量を用いる。
【０１５０】
（本実施形態に係る構成例４）
本実施形態に係る画像認識システムの物体認識部１３では、図８に示されるように、勾配方向矩形特徴量として、勾配量画像の同じ勾配方向で、隣接した異なる矩形面積の複数の特徴（Ｈａａｒ−ｌｉｋｅ応用）を用いる。
【０１５１】
（本実施形態に係る構成例５）
本実施形態に係る画像認識システムの物体認識部１３では、図９に示されるように、勾配方向矩形特徴量として、勾配量画像の同じ勾配方向で、隔たれた同じ（または、異なる）矩形面積の複数の特徴を用いる。
【０１５２】
（本実施形態に係る構成例６）
本実施形態に係る画像認識システムの物体認識部１３では、図１０に示されるように、勾配方向矩形特徴量として、勾配量画像の異なる勾配方向で、隔たれた同じ（または、異なる）矩形面積の複数の特徴を用いる。
【０１５３】
（本実施形態に係る構成例７）
本実施形態に係る画像認識システムの物体認識部１３では、勾配方向矩形特徴量で、複数の勾配矩形の関係を特徴量とする場合に、四則演算のうちのいずれかの演算式に適用する。
【０１５４】
（本実施形態に係る構成例８）
本実施形態に係る画像認識システムの物体認識部１３では、勾配方向矩形特徴量として、（本実施形態に係る構成例２）〜（本実施形態に係る構成例７）のうち、いずれか２つ以上を組み合わせたもの、または、全てを組み合わせたものを用いる。
【０１５５】
（本実施形態に係る構成例９）
本実施形態に係る画像認識システムの物体認識部１３では、図１３（Ａ）に示されるように、勾配方向矩形特徴量として、照明差による正規化を行うために、ウィンドウ単位の勾配平均値を用いる。
【０１５６】
（本実施形態に係る構成例１０）
本実施形態に係る画像認識システムの物体認識部１３では、図１３（Ｂ）に示されるように、勾配方向矩形特徴量として、照明差による正規化を行うために、ウィンドウ単位の勾配標準偏差値を用いる。
【０１５７】
（本実施形態に係る構成例１１）
本実施形態に係る画像認識システムの物体認識部１３では、図１４に示されるように、勾配方向矩形特徴量として、照明差による正規化を行うために、ラスタスキャン領域の勾配平均値を用いる。
【０１５８】
（本実施形態に係る構成例１２）
本実施形態に係る画像認識システムの物体認識部１３では、図１４に示されるように、勾配方向矩形特徴量として、照明差による正規化を行うために、ラスタスキャン領域の勾配標準偏差値を用いる。
【０１５９】
（本実施形態に係る構成例１３）
本実施形態に係る画像認識システムの物体認識部１３では、識別器は、勾配矩形特徴を学習して弱識別器として選択させ、認識の際に用いる。
なお、勾配方向矩形特徴量としては、例えば、（本実施形態に係る構成例１）〜（本実施形態に係る構成例１２）に示されるものを用いる。
【０１６０】
（本実施形態に係る構成例１４）
本実施形態に係る画像認識システムの物体認識部１３では、識別器は、Ｂｏｏｓｔｉｎｇ等のアンサンブル学習により作られる。
【０１６１】
（本実施形態に係る構成例１５）
本実施形態に係る画像認識システムの物体認識部１３では、識別器は、ＡｄａＢｏｏｓｔ、または、Ｒｅａｌ  ＡｄａＢｏｏｓｔを用いる。
【０１６２】
（本実施形態に係る構成例１６）
本実施形態に係る画像認識システムの物体認識部１３では、図１６（Ａ）、図１６（Ｂ）、図１６（Ｃ）に示されるように、識別器は、最適な弱識別器を選択するために、特徴量のレンジを正規化する係数を用いる。
【０１６３】
（本実施形態に係る構成例１７）
本実施形態に係る画像認識システムの物体認識部１３では、前記係数（特徴量のレンジを正規化する係数）は、識別器を学習により作成する際、同時に学習した値である。
【０１６４】
以上のように、本実施形態に係る画像認識システムの物体認識部１３によると、画像認識の効率化を図ることができる。
本実施形態に係る画像認識システムの物体認識部１３によると、例えば、少ない弱識別器の構成が可能であり、演算処理時間を短くすることができる。
また、本実施形態に係る画像認識システムの物体認識部１３によると、例えば、車載用の装置に実装（組み込み）することが可能である。
このように、本実施形態に係る画像認識システムの物体認識部１３によると、例えば、識別性能を維持した上で、車載用の装置に実装（組み込み）することができる程度に十分な演算処理速度が得られるため、１つの装置で、車間距離制御装置（ＡＣＣ）や前方車両衝突警報装置（ＦＣＷ）や歩行者衝突警報装置などの適用が可能となる効果を有する。
【０１６５】
本実施形態では、ターゲットとする物体の認識に好適な装置や、方法や、これらに用いるコンピュータプログラムなどを提供することができる。
【０１６６】
［以上の実施形態についてのまとめ］
ここで、以上の実施形態では、図１に示される物体認識部１３を含む装置やシステムを車載用として車両に設ける構成を示したが、他の例として、他の任意の移動体に設けることも可能である。
また、以上の実施形態では、目標物体として、車両の背面を具体例として説明したが、例えば、車両の側面、２輪車、歩行者などや、あるいは、車室内の乗員の認識や顔の認識などのように、他の目標物体を認識する場合に適用することも可能である。
【０１６７】
また、勾配方向矩形特徴量について、以上の実施形態では、勾配方向毎の積分画像による積分勾配画像（インテグラルヒストグラム）を用いて勾配方向矩形特徴量を作成する手法を例として示したが、必ずしも積分勾配画像（インテグラルヒストグラム）が用いられなくてもよく、他の構成例として、セル単位で１画素（１ｐｉｘｅｌ）毎に方向を投票するように処理する手法などのように、他の手法が用いられてもよい。
【０１６８】
なお、図１における任意の構成部により行われる処理の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、処理を行ってもよい。ここで言う「コンピュータシステム」とは、ＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）や周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは、表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことを言う。さらに、「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含むものとする。
【０１６９】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことを言う。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【０１７０】
また、上記に限られず、マイクロコンピュータのほか、例えば、ＦＰＧＡ、あるいは、ＤＳＰなどのデバイスを用いて、図１における任意の構成部により行われる処理を実現することも可能である。
【０１７１】
以上、本発明の各実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【０１７２】
１…カメラＥＣＵ、２…警報装置、３…ＡＣＣ−ＥＣＵ、１１…カメラ、１２…画像取得部、１３…物体認識部、１４…制御部、２１…ＦＰＧＡ（または、ＤＳＰ）、２２…マイクロコンピュータ、
１０１、１１１…ラスタスキャン領域、１０２、１１２…ウィンドウ、
２０１…画像、２０２…勾配強度画像、２０３、２０６、２０８−１〜２０８−８…積分勾配画像、２０４…ラスタスキャン領域、２０５…画像、２０７…勾配方向矩形特徴量、２０９…減算器、２１０−１〜２１０−８…処理、
３０１…単矩形、
３１１、３１２、３２１、３２２、３３１…勾配強度画像、
３４１−１〜３４１−Ｎ…画像、
３５１−１〜３５１−Ｎ…画像、
３６１−１〜３６１−Ｎ…画像、
４０１…平均勾配画像、４１１−１〜４１１−８…画像、
４２１−１〜４２１−８…画像、
５０１−１〜５０１−Ｎ、５１１…積分勾配画像、
５２１−１〜５２１−Ｎ、５３１…積分勾配２乗画像、
６０１…撮像画像領域、６１１…ラスタスキャン領域、６２１…ウィンドウ、
７０１…画像、７１１…ウィンドウ、７２１〜７２７…処理、
８０１…画像、８０２…勾配強度画像、８１１…単矩形、８１２…２矩形、
９０１−１〜９０１−８…勾配画像、９１１、９２１…平均勾配画像、
２００１…輝度画像、２００２…累積行加算の結果、２００３…積分画像、
２０１１…２矩形、
２０２１、２０３１…セル、２０２２、２０３２…ブロック、２０２３…輝度勾配分布
【図１】
0005950441.tif 000022
【図２】
0005950441.tif 000023
【図３】
0005950441.tif 000024
【図４】
0005950441.tif 000025
【図６】
0005950441.tif 000026
【図７】
0005950441.tif 000027
【図８】
0005950441.tif 000028
【図９】
0005950441.tif 000029
【図１０】
0005950441.tif 000030
【図１６】
0005950441.tif 000031
【図１８】
0005950441.tif 000032
【図１９】
0005950441.tif 000033
【図２１】
0005950441.tif 000034
【図５】
0005950441.tif 000035
【図１１】
0005950441.tif 000036
【図１２】
0005950441.tif 000037
【図１３】
0005950441.tif 000038
【図１４】
0005950441.tif 000039
【図１５】
0005950441.tif 000040
【図１７】
0005950441.tif 000041
【図２０】
0005950441.tif 000042