(57)【要約】【課題】左右対称性（または、上下対称性）判定処理により、目標物体の認識性能を向上させることができる画像認識装置を提供する【解決手段】画像認識装置（一例として、カメラＥＣＵ１）は、画像を取得する画像取得部１２と、前記画像取得部１２により取得された画像に設定されるウィンドウについて、あらかじめ定められた目標の物体を捉えるウィンドウを決定する識別を行う処理と、あらかじめ定められた左右対称性または上下対称性のうちの一方または両方について、対称性が無いと判定したウィンドウを不採用とする対称性判定を含んで、前記決定されたウィンドウをクラスタリングする処理と、を実行する物体認識部１３と、を備えることを特徴とする。【選択図】図１
2013250868.tif 000002
【特許請求の範囲】
【請求項１】
画像を取得する画像取得部と、
前記画像取得部により取得された画像に設定されるウィンドウについて、あらかじめ定められた目標の物体を捉えるウィンドウを決定する識別を行う処理と、あらかじめ定められた左右対称性または上下対称性のうちの一方または両方について、対称性が無いと判定したウィンドウを不採用とする対称性判定を含んで、前記決定されたウィンドウをクラスタリングする処理と、を実行する物体認識部と、
を備えることを特徴とする画像認識装置。
【請求項２】
前記物体認識部は、前記対称性判定において、ウィンドウにおける２つの対称領域のそれぞれにおける特徴ベクトルの間の距離に基づいて、対称性があるか否かを判定する、
ことを特徴とする請求項１に記載の画像認識装置。
【請求項３】
前記物体認識部は、前記対称性判定において、ウィンドウにおける２つの対称領域のそれぞれにおける特徴ベクトルの間の相互相関に基づいて、対称性があるか否かを判定する、
ことを特徴とする請求項１または請求項２に記載の画像認識装置。
【請求項４】
前記物体認識部は、前記対称性判定において、ウィンドウにおける２つの対称領域のそれぞれにおける特徴量を識別し、これら２つの識別結果をＡＮＤ論理で判定した結果に基づいて、対称性があるか否かを判定する、
ことを特徴とする請求項１から請求項３のいずれか１項に記載の画像認識装置。
【請求項５】
前記物体認識部は、特徴量として、勾配方向矩形特徴量またはＨＯＧ特徴量を用いており、
ウィンドウにおける２つの対称領域として、互いに対称となる方向の勾配量の領域を用いる、
ことを特徴とする請求項１から請求項４のいずれか１項に記載の画像認識装置。
【請求項６】
前記物体認識部は、前記対称性判定として、左右対称性について対称性が無いと判定したウィンドウを上下対称性の有無にかかわらず不採用とし、かつ、左右対称性があっても上下対称性について対称性があると判定したウィンドウを不採用とし、一方、左右対称性がありかつ上下対称性が無いと判定したウィンドウを採用する対称性判定を行う、
ことを特徴とする請求項１から請求項５のいずれか１項に記載の画像認識装置。
【請求項７】
画像取得部が、画像を取得し、
物体認識部が、前記画像取得部により取得された画像に設定されるウィンドウについて、あらかじめ定められた目標の物体を捉えるウィンドウを決定する識別を行う処理と、あらかじめ定められた左右対称性または上下対称性のうちの一方または両方について、対称性が無いと判定したウィンドウを不採用とする対称性判定を含んで、前記決定されたウィンドウをクラスタリングする処理と、を実行する、
ことを特徴とする画像認識方法。
【請求項８】
画像取得部が、画像を取得する手順と、
物体認識部が、前記画像取得部により取得された画像に設定されるウィンドウについて、あらかじめ定められた目標の物体を捉えるウィンドウを決定する識別を行う処理と、あらかじめ定められた左右対称性または上下対称性のうちの一方または両方について、対称性が無いと判定したウィンドウを不採用とする対称性判定を含んで、前記決定されたウィンドウをクラスタリングする処理と、を実行する手順と、
をコンピュータに実行させるための画像認識プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像認識装置、画像認識方法および画像認識プログラムに関する。
【背景技術】
【０００２】
近年、車両の運転支援装置や予防安全装置として、車間距離制御装置（ＡＣＣ：Ａｄａｐｔｉｖｅ  Ｃｒｕｉｓｅ  Ｃｏｎｔｒｏｌ）や前方車両衝突警報装置（ＦＣＷ：Ｆｏｒｗａｒｄ  Ｃｏｌｌｉｓｉｏｎ  Ｗａｒｎｉｎｇ）などがあり、車載カメラを用いる安価な装置の普及が期待されている。
【０００３】
車載カメラを用いる物体の認識には、パターン認識が多く用いられている。
パターン認識の手法は、認識したい物体の特徴量をあらかじめ学習して、その学習結果を反映した辞書を作成し、当該辞書の内容と照合することで、撮像した画像の中に物体（物体の画像）があるか否かを認識する手法である。
パターン認識においては、Ｈａａｒ−ｌｉｋｅ特徴量とＡｄａＢｏｏｓｔの識別器とを組み合わせた顔認識アルゴリズム（例えば、非特許文献１参照。）が発表された後、近年では、車載用の物体認識に応用した技術（例えば、特許文献１参照。）も発表されている。
このような物体認識のアルゴリズムでは、Ｈａａｒ−ｌｉｋｅ特徴量を作る際に、積分画像（インテグラルイメージ）を作成することや、ＡｄａＢｏｏｓｔの識別器をカスケード型にすることにより、演算処理を高速にしたことも特色としてある。
【０００４】
また、他のよく使われる特徴量として、ＨＯＧ（Ｈｉｓｔｏｇｒａｍｓ  ｏｆ  Ｏｒｉｅｎｔｅｄ  Ｇｒａｄｉｅｎｔｓ）特徴量などがある。
また、他のよく使われる識別器として、ＳＶＭ（Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅ）の識別器などがある。
また、前記のようなパターン認識では、撮像した画像の中から目標物体（目標物体の画像）を抽出するために、物体認識する領域（ウィンドウ）を各サイズで設定し、そのウィンドウ毎に前記した物体認識のアルゴリズムの処理を施す。
【０００５】
また、前記のようなパターン認識によって認識した複数のウィンドウの中から最適な目標物体のウィンドウを絞り込むために、後段にクラスタリング処理が設けられる場合がある。
なお、通常、ラスタスキャンのステップが細かい程、１つの目標物に対して複数のウィンドウが認識される。
【０００６】
なお、図１１および図１２を参照して、背景技術に係る物体認識部（例えば、図１（Ａ）に示される物体認識部１３に対応する処理部）により行われるパターン認識の処理について説明する。
図１１は、背景技術に係る物体認識部により行われる処理の手順の一例を示すフローチャート図である。
この例では、ＨＯＧ特徴量とＡｄａＢｏｏｓｔの識別器により、認識アルゴリズムを構成している。
【０００７】
まず、物体認識部は、取得した全ての輝度画像に対して、勾配方向と勾配強度を算出し、それぞれの勾配方向毎に勾配強度を積分する処理を行い、この結果である積分勾配画像（インテグラルヒストグラム）を算出する（ステップＳ１０１）。これにより、勾配方向数枚の積分勾配画像が算出される。
【０００８】
次に、物体認識部は、ラスタスキャンにより、勾配方向毎の各積分勾配画像の任意の領域を、あらかじめ設定した任意の座標領域（ウィンドウ）をスライドさせながら抽出する（ステップＳ１０２）。
次に、物体認識部は、抽出した座標領域（ウィンドウ）について、ＨＯＧ特徴量（ベクトル）を算出する（ステップＳ１０３）。これにより、セル単位で勾配ヒストグラムを作成する。
【０００９】
次に、物体認識部は、算出したＨＯＧ特徴量（ベクトル）を用いて、ＡｄａＢｏｏｓｔの識別器による識別を行い、あらかじめ目標（ターゲット）としている物体（物体の画像）を認識する（ステップＳ１０４）。
ここで、物体認識部は、一連のラスタスキャンが終了したか否かを確認する（ステップＳ１０５）。
そして、物体認識部は、一連のラスタスキャンが終了したと判定した場合には、クラスタリングにより、識別器により抽出されたウィンドウを部分集合でまとめることで、最終的な目標物体のウィンドウを特定し（ステップＳ１０６）、本処理を終了する。
【００１０】
一方、物体認識部は、一連のラスタスキャンが終了していないと判定した場合には、ステップＳ１０２の処理へ移行し、積分勾配画像の領域において、ウィンドウをずらして（スライドさせて）、次のスキャンを行う。
これにより、物体認識部は、一連のラスタスキャンが終了するまで、ラスタスキャンの領域に対して、順次、ステップＳ１０２〜ステップＳ１０４の処理を繰り返して行う。
【００１１】
なお、一連のラスタスキャンでは、例えば、任意の画像領域に対して、同一のスケール（大きさ）のウィンドウを順次スライドさせて前記の処理（勾配ヒストグラムを作成する処理）を繰り返して行うことが終了した後に、ウィンドウのスケールや移動ステップ（スキャンステップ）を変化させて、再び、ウィンドウを順次スライドさせて前記の処理を繰り返して行うことを、あらかじめ定められた分だけ実行する。これにより、各スキャンで特徴ベクトル化を行う。
【００１２】
また、勾配ヒストグラムを作成する処理の方法としては、積分勾配画像を使用しない方法もあるが、積分勾配画像を使用する方法の方が処理時間を短くすることができるため有効である。
【００１３】
ここで、ＨＯＧ特徴量などの輝度勾配ベースの特徴量の代わりにＨａａｒ−ｌｉｋｅ特徴量などの輝度ベースの特徴量を用いる場合には、上記した積分勾配画像の代わりに通常の積分輝度画像を用いる。この場合、１つの積分画像の作成で済ませることができるため処理を節減することが可能となるが、例えば、特定領域の輝度差の特徴のみを捉えられるだけに限られ、勾配方向毎で特徴を捉えることができない。
【００１４】
図１２は、背景技術に係る物体認識部により行われる処理の手順の他の一例を示すフローチャート図である。
この例では、Ｈａａｒ−ｌｉｋｅ特徴量とＡｄａＢｏｏｓｔの識別器により、認識アルゴリズムを構成している。
【００１５】
まず、物体認識部は、取得した輝度画像に対して、輝度画像を積分する処理を行い、この結果である積分画像（インテグラルイメージ）を算出する（ステップＳ１１１）。
次に、物体認識部は、ラスタスキャンにより、積分画像の領域を、あらかじめ設定した任意の座標領域（ウィンドウ）で抽出する（ステップＳ１１２）。
次に、物体認識部は、抽出した座標領域（ウィンドウ）について、Ｈａａｒ−ｌｉｋｅ特徴量（ベクトル）を算出する（ステップＳ１１３）。
【００１６】
次に、物体認識部は、算出したＨａａｒ−ｌｉｋｅ特徴量（ベクトル）を用いて、ＡｄａＢｏｏｓｔの識別器による識別を行い、あらかじめ目標（ターゲット）としている物体（物体の画像）を認識する（ステップＳ１１４）。
ここで、物体認識部は、一連のラスタスキャンが終了したか否かを確認する（ステップＳ１１５）。
そして、物体認識部は、一連のラスタスキャンが終了したと判定した場合には、クラスタリングにより、識別器により抽出されたウィンドウを部分集合でまとめることで、最終的な目標物体のウィンドウを特定し（ステップＳ１１６）、本処理を終了する。
【００１７】
一方、物体認識部は、一連のラスタスキャンが終了していないと判定した場合には、ステップＳ１１２の処理へ移行し、積分画像の領域において、ウィンドウをずらして（スライドさせて）、次のスキャンを行う。
これにより、物体認識部は、一連のラスタスキャンが終了するまで、ラスタスキャンの領域に対して、順次、ステップＳ１１２〜ステップＳ１１４の処理を繰り返して行う。
【００１８】
なお、一連のラスタスキャンでは、例えば、任意の画像領域に対して、同一のスケール（大きさ）のウィンドウを順次スライドさせて前記の処理を繰り返して行うことが終了した後に、ウィンドウのスケールや移動ステップ（スキャンステップ）を変化させて、再び、ウィンドウを順次スライドさせて前記の処理を繰り返して行うことを、あらかじめ定められた分だけ実行する。
【００１９】
ここで、特徴量としては、他の特徴量が用いられてもよい。
また、ＡｄａＢｏｏｓｔ以外にも、ＳＶＭなどの任意の認識アルゴリズムが用いられてもよい。
【先行技術文献】
【特許文献】
【００２０】
【特許文献１】特開２００７−３１０８０５号公報
【非特許文献】
【００２１】
【非特許文献１】Ｐａｕｌ  Ｖｉｏｌａ、Ｍｉｃｈａｅｌ  Ｊｏｎｅｓ、“Ｒａｐｉｄ  Ｏｂｊｅｃｔ  Ｄｅｔｅｃｔｉｏｎ  ｕｓｉｎｇ  ａ  Ｂｏｏｓｔｅｄ  Ｃａｓｃａｄｅ  ｏｆ  Ｓｉｍｐｌｅ  Ｆｅａｔｕｒｅｓ”、Ａｃｃｅｐｔｅｄ  Ｃｏｎｆｅｒｅｎｃｅ  Ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  Ａｎｄ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ  ２００１
【発明の概要】
【発明が解決しようとする課題】
【００２２】
認識アルゴリズムを装置に実装する場合には、性能だけではなく、処理負荷も考慮しなければならない。例えば、車載用途の物体認識装置では、車両、２輪、自転車、歩行者、道路標識など、一度に多種類の目標物体の認識が行われるため、装置全体においても処理負荷の軽減は重要である。
【００２３】
ここで、目標物体のパターン認識の処理は、ラスタスキャンの回数分繰り返されるため、１回あたりの処理負荷を削減する必要がある。このため、カスケード型識別器の段数や、その中の弱識別器の数を極力減らすこととなり、例えば、車両の認識の処理においても、その削減による性能低下とのトレードオフが問題であった。
【００２４】
そこで、識別器の段数あるいはその中の弱識別器の数を極力減らすことによる性能低下を補うために、車両の認識などの場合に、左右の対称性を判別する手法を用いることが考えられる。
しかしながら、パターン認識の中で左右対称性の判別を行うと、ラスタスキャンの回数分の演算が必要となるため、逆に、演算処理負荷が増加する可能性が考えられる。
【００２５】
本発明は、このような事情を考慮して為されたものであり、左右対称性（または、上下対称性）判定処理により、目標物体の認識性能を向上させることができる画像認識装置、画像認識方法および画像認識プログラムを提供することを目的としている。
【課題を解決するための手段】
【００２６】
（１）上述した課題を解決するために、本発明に係る画像認識装置は、画像を取得する画像取得部と、前記画像取得部により取得された画像に設定されるウィンドウについて、あらかじめ定められた目標の物体を捉えるウィンドウを決定する識別を行う処理と、あらかじめ定められた左右対称性または上下対称性のうちの一方または両方について、対称性が無いと判定したウィンドウを不採用とする対称性判定を含んで、前記決定されたウィンドウをクラスタリングする処理と、を実行する物体認識部と、を備えることを特徴とする。
【００２７】
（２）本発明は、上記した（１）に記載の画像認識装置において、前記物体認識部は、前記対称性判定において、ウィンドウにおける２つの対称領域のそれぞれにおける特徴ベクトルの間の距離に基づいて、対称性があるか否かを判定する、ことを特徴とする。
【００２８】
（３）本発明は、上記した（１）または上記した（２）に記載の画像認識装置において、前記物体認識部は、前記対称性判定において、ウィンドウにおける２つの対称領域のそれぞれにおける特徴ベクトルの間の相互相関に基づいて、対称性があるか否かを判定する、ことを特徴とする。
【００２９】
（４）本発明は、上記した（１）から上記した（３）のいずれか１つに記載の画像認識装置において、前記物体認識部は、前記対称性判定において、ウィンドウにおける２つの対称領域のそれぞれにおける特徴量を識別し、これら２つの識別結果をＡＮＤ論理で判定した結果に基づいて、対称性があるか否かを判定する、ことを特徴とする。
【００３０】
（５）本発明は、上記した（１）から上記した（４）のいずれか１つに記載の画像認識装置において、前記物体認識部は、特徴量として、勾配方向矩形特徴量またはＨＯＧ特徴量を用いており、ウィンドウにおける２つの対称領域として、互いに対称となる方向の勾配量の領域を用いる、ことを特徴とする。
【００３１】
（６）本発明は、上記した（１）から上記した（５）のいずれか１つに記載の画像認識装置において、前記物体認識部は、前記対称性判定として、左右対称性について対称性が無いと判定したウィンドウを上下対称性の有無にかかわらず不採用とし、かつ、左右対称性があっても上下対称性について対称性があると判定したウィンドウを不採用とし、一方、左右対称性がありかつ上下対称性が無いと判定したウィンドウを採用する対称性判定を行う、ことを特徴とする。
【００３２】
（７）上述した課題を解決するために、本発明に係る画像認識方法は、画像取得部が、画像を取得し、物体認識部が、前記画像取得部により取得された画像に設定されるウィンドウについて、あらかじめ定められた目標の物体を捉えるウィンドウを決定する識別を行う処理と、あらかじめ定められた左右対称性または上下対称性のうちの一方または両方について、対称性が無いと判定したウィンドウを不採用とする対称性判定を含んで、前記決定されたウィンドウをクラスタリングする処理と、を実行する、ことを特徴とする。
【００３３】
（８）上述した課題を解決するために、本発明に係る画像認識プログラムは、画像取得部が、画像を取得する手順と、物体認識部が、前記画像取得部により取得された画像に設定されるウィンドウについて、あらかじめ定められた目標の物体を捉えるウィンドウを決定する識別を行う処理と、あらかじめ定められた左右対称性または上下対称性のうちの一方または両方について、対称性が無いと判定したウィンドウを不採用とする対称性判定を含んで、前記決定されたウィンドウをクラスタリングする処理と、を実行する手順と、をコンピュータに実行させるためのプログラムである。
【発明の効果】
【００３４】
以上説明したように、本発明によれば、左右対称性（または、上下対称性）判定処理により、目標物体の認識性能を向上させることができる画像認識装置、画像認識方法および画像認識プログラムを提供することが可能になる。
【図面の簡単な説明】
【００３５】
【図１】（Ａ）は本発明の一実施形態に係る画像処理システムの構成（ハードウェア構成）を示す概略ブロック図であり、（Ｂ）は物体認識部の他の構成例（第３実施形態）を示す概略ブロック図である。
【図２】本発明の一実施形態に係るＡｄａＢｏｏｓｔのカスケード型識別器の構成例を示す概略ブロック図である。
【図３】本発明の第１実施形態に係る物体認識部により行われる処理の手順の一例を示すフローチャート図である。
【図４】本発明の第１実施形態に係る物体認識部により行われるクラスタリングの処理の手順の一例を示すフローチャート図である。
【図５】本発明の第１実施形態に係る物体認識部により行われるクラスタリング処理１の一例のイメージを示す図である。
【図６】勾配方向矩形特徴量の方向転換の一例を示す図である。
【図７】本発明の第１実施形態に係る物体認識部により行われるクラスタリング処理２の一例のイメージを示す図である。
【図８】ＨＯＧ特徴量の方向転換の一例を示す図である。
【図９】本発明の第２実施形態に係る物体認識部により行われるクラスタリング処理２の一例のイメージを示す図である。
【図１０】本発明の第３実施形態に係る物体認識部により行われる処理の手順の一例を示すフローチャート図である。
【図１１】背景技術に係る物体認識部により行われる処理の手順の一例を示すフローチャート図である。
【図１２】背景技術に係る物体認識部により行われる処理の手順の他の一例を示すフローチャート図である。
【図１３】画像処理システムにおける画像取得から物体認識までの処理の概略的な一例を示す図である。
【図１４】第１の例に係る勾配方向矩形特徴量Ａを示す図である。
【図１５】（Ａ）、（Ｂ）、（Ｃ）は第２の例に係る勾配方向矩形特徴量Ｂを示す図である。
【図１６】第３の例に係る勾配方向矩形特徴量Ｃを示す図である。
【図１７】第４の例に係る勾配方向矩形特徴量Ｄを示す図である。
【図１８】第５の例に係る勾配方向矩形特徴量Ｅを示す図である。
【図１９】（Ａ）は輝度画像の一例を示す図であり、（Ｂ）は勾配の一例を示す図であり、（Ｃ）は勾配強度の一例を示す図であり、（Ｄ）は勾配方向の一例を示す図であり、（Ｅ）は各勾配方向の範囲の一例を示す図である。
【図２０】（Ａ）〜（Ｄ）は左右（または、上下）対称とするための方向の組み合わせの例を示す図である。
【発明を実施するための形態】
【００３６】
［用語の説明］
本願において、矩形は、長方形ばかりでなく、正方形も含む。
本願において、勾配方向矩形特徴は、画像の輝度の勾配方向と勾配強度に関する矩形特徴のことである。また、本願において、勾配方向矩形特徴量（または、ＲＯＧ（Ｒｅｃｔａｎｇｌｅ  ｏｆ  Ｏｒｉｅｎｔｅｄ  Ｇｒａｄｉｅｎｔｓ）特徴量）は、勾配方向矩形特徴の特徴量のことであり、矩形の領域における勾配方向特徴量のことである。ここで、勾配方向特徴量は、画像の輝度の勾配方向と勾配強度に関する特徴量のことである。なお、矩形特徴としては、例えば、公知のものを用いることも可能であり、勾配強度は、情報量を低減した公知の勾配度数を用いることもできる。本願において、勾配強度と勾配度数を含む、広義の勾配値を勾配量と定義する。
本願において、積分勾配画像（インテグラルヒストグラム）は、画像の輝度について勾配方向と勾配量を算出して、それぞれの勾配方向毎に勾配量を積分した結果（積分勾配値）のことである。ここで、この積分は、例えば、積分勾配画像を求める対象となる領域に含まれる全ての画素（ｐｉｘｅｌ（ピクセル））について行われる。
【００３７】
また、識別器としては、ＡｄａＢｏｏｓｔの識別器や、ＳＶＭの識別器など、様々なものを含む。
また、識別器の下位概念として、統計的学習を行う識別器があり、その下位概念として、Ｂｏｏｓｔｉｎｇの識別器があり、その下位概念として、ＡｄａＢｏｏｓｔの識別器などがある。
【００３８】
［第１実施形態］
本実施形態では、車両に搭載されて物体認識の処理を行う車載用の画像処理システムを例として説明する。
図１（Ａ）は、本発明の一実施形態に係る画像処理システムの構成（ハードウェア構成）を示す概略ブロック図である。
本実施形態に係る画像処理システムは、カメラＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ  Ｃｏｎｔｒｏｌ  Ｕｎｉｔ）１と、警報装置２と、ＡＣＣ−ＥＣＵ３と、衝突回避制御−ＥＣＵ４と、を備える。
なお、カメラＥＣＵ１は、画像認識装置の一例である。
カメラＥＣＵ１は、カメラ１１と、画像取得部１２と、物体認識部１３と、制御部１４と、を備える。
【００３９】
物体認識部１３は、本実施形態では、ＦＰＧＡ２１の機能と、例えばＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）を有するマイクロコンピュータ２２の機能と、メモリ（記憶部の一例）２３の機能を用いて構成される。
なお、ＦＰＧＡ２１の機能の代わりに、または、ＦＰＧＡ２１の機能と共に、ＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）の機能が用いられてもよい。
制御部１４は、本実施形態では、例えばＣＰＵを有するマイクロコンピュータ２２の機能と、メモリ２３の機能を用いて構成される。
また、物体認識部１３および制御部１４のメモリ２３および周辺回路は、ＦＰＧＡ、ＤＳＰ、マイクロコンピュータ内の集積回路に格納されているものを使用するか、もしくはそれらの外部に設けても良い。
【００４０】
ここで、物体認識部１３および制御部１４において、ＦＰＧＡ、ＤＳＰ、マイクロコンピュータといったデバイスについては、任意の数のデバイスが用いられてもよく、例えば、全てのデバイスが用いられてもよく、または、必ずしも全てのデバイスが必要ではなく、１つのデバイスあるいは２つのデバイスに全ての処理の機能を実装することも可能である。
【００４１】
本実施形態に係る画像処理システムに備えられる各処理部の概要を説明する。
カメラ１１は、例えば、車両の前方、側方または後方等のようにあらかじめ定められた方向の画像を撮像する車両位置に設けられる。本実施形態では、カメラ１１は、車両の前方の目標物体を撮像して認識することができる車両位置に設けられる。そして、本実施形態では、目標物体の認識として、目標物体である車両について、車両の背面の認識を例に説明する。
カメラ１１は、画像を撮像し、撮像した画像の信号を画像取得部１２に出力する。
画像取得部１２は、カメラ１１からの画像を画像データとして取り込み、取り込んだ画像データを物体認識部１３に出力する。
【００４２】
物体認識部１３は、画像取得部１２から入力される画像データについて、ＦＰＧＡ２１やマイクロコンピュータ２２により、物体認識のために、画像処理およびパターン認識の演算を行い、物体認識の処理の結果の情報を制御部１４に出力する。この画像処理としては、例えば、前処理のフィルタリング処理などが行われる。
また、パターン認識の結果の情報としては、例えば、画像データの画像中における目標物体の情報が用いられる。
【００４３】
メモリ２３は、各種の情報を記憶する。
本実施形態では、例えば、インテグラルヒストグラム（または、インテグラルイメージ）のデータが、ＦＰＧＡ２１内（または、ＤＳＰ内）またはマイクロコンピュータ２２内で作成されて、メモリ２３に転送されて格納（記憶）される。
また、上記のほかにも、例えば、画像取得部１２からの画像データの情報や、装置（カメラＥＣＵ１）内で必要な諸々の情報が、ＦＰＧＡ（または、ＤＳＰ）２１やマイクロコンピュータ２２の内部または外部のメモリ（本実施形態では、メモリ２３）に格納（記憶）される。
【００４４】
制御部１４は、物体認識部１３から入力される物体認識の処理の結果の情報に基づいて、あらかじめ定められた処理を行い、その結果の情報を警報装置２やＡＣＣ−ＥＣＵ３や衝突回避制御−ＥＣＵ４に出力する。
具体例として、制御部１４は、物体認識部１３から入力される物体認識の処理の結果の情報である目標物体の情報に基づいて、あらかじめ定められた処理として、目標物体との間のＴＴＣ（Ｔｉｍｅ  ｔｏ  Ｃｏｌｌｉｓｉｏｎ）や距離を算出する処理や、目標物体のトラッキングを行う処理や、他の装置やＥＣＵ（本実施形態では、警報装置２やＡＣＣ−ＥＣＵ３や衝突回避制御−ＥＣＵ４）のアプリケーション機能と通信する処理などを行う。
【００４５】
警報装置２やＡＣＣ−ＥＣＵ３や衝突回避制御−ＥＣＵ４は、カメラＥＣＵ１の制御部１４を介して各アプリケーション機能を実行するように設けられる。
警報装置２は、制御部１４から入力される情報に基づいて、例えば、目標物体が前方の車両である場合における前方車両衝突警報などを行う。
ＡＣＣ−ＥＣＵ３は、制御部１４から入力される情報に基づいて、例えば、目標物体が前方の車両である場合における車間距離制御などを行う。
衝突回避制御−ＥＣＵ４は、制御部１４から入力される情報に基づいて、例えば、目標物体が前方の車両である場合における衝突回避制御などを行う。衝突回避制御−ＥＣＵ４は、例えば、ブレーキ制御やステアリング制御と連携する。
【００４６】
図２は、本発明の一実施形態に係るＡｄａＢｏｏｓｔのカスケード型識別器（カスケード型ＡｄａＢｏｏｓｔ識別器）の構成例を示す概略ブロック図である。
本実施形態では、このようなカスケード型識別器が、物体認識部１３に備えられる。
なお、本実施形態に係るカスケード型識別器は、一般的なものであり、本実施形態では、３段の識別器（ＡｄａＢｏｏｓｔ識別器）１０１〜１０３を用いている。
【００４７】
本実施形態に係るカスケード型識別器は、１段目の第１の識別器１０１と、２段目の第２の識別器１０２と、３段目の第３の識別器１０３と、を備える。
なお、それぞれの識別器１０１〜１０３は、特徴量が設定される弱識別器を有する。
ここで、本実施形態では、これら３段の識別器１０１〜１０３を直列に接続する構成により、カスケード型の識別器が構成されている。
【００４８】
本実施形態に係るカスケード型識別器において行われる動作の例を説明する。
ラスタスキャンにおけるウィンドウの情報が、１段目の識別器１０１に入力される。
１段目の識別器１０１は、入力されたウィンドウの情報に基づいて、処理対象となる画像における当該ウィンドウの内側について、目標物体（目標物体の画像）が存在すること（真）、または、目標物体が存在しないこと（偽）、を判定する。そして、１段目の識別器１０１は、ウィンドウ内に目標物体が存在すること（真）を判定した場合には、そのウィンドウの情報を２段目の識別器１０２に出力し、一方、ウィンドウ内に目標物体が存在しないこと（偽）を判定した場合には、そのウィンドウの情報を棄却する。
【００４９】
続いて、２段目の識別器１０２は、１段目の識別器１０１と同様に、入力されたウィンドウの情報に基づいて、処理対象となる画像における当該ウィンドウの内側について、ウィンドウ内に目標物体が存在すること（真）を判定した場合には、そのウィンドウの情報を３段目の識別器１０３に出力し、一方、ウィンドウ内に目標物体が存在しないこと（偽）を判定した場合には、そのウィンドウの情報を棄却する。
続いて、３段目の識別器１０３は、１段目の識別器１０１と同様に、入力されたウィンドウの情報に基づいて、処理対象となる画像における当該ウィンドウの内側について、ウィンドウ内に目標物体が存在すること（真）を判定した場合には、そのウィンドウの情報を目標物体が存在すると識別したウィンドウ（識別ウィンドウ）の情報として出力し、一方、ウィンドウ内に目標物体が存在しないこと（偽）を判定した場合には、そのウィンドウの情報を棄却する。
【００５０】
ここで、本実施形態に係るカスケード型識別器では、各段の識別器１０１〜１０３における弱識別器の数は、本実施形態で使用するクラスタリング手法により、当該クラスタリング手法を使用しない場合と比べて、少なくすることができる。
なお、本実施形態では、カスケード型の識別器を用いるが、他の構成例として、さらにマルチクラスの構成を有する識別器（カスケード型でマルチクラスの識別器）を用いることも可能である。
【００５１】
図３を参照して、本実施形態に係る物体認識部１３により行われる処理について説明する。
図３は、本実施形態に係る物体認識部１３により行われる処理の手順の一例を示すフローチャート図である。
この例では、物体認識部１３において、勾配方向矩形特徴量とカスケード型ＡｄａＢｏｏｓｔ識別器により、認識アルゴリズムを構成している。
本実施形態では、カスケード型ＡｄａＢｏｏｓｔ識別器として、図２に示されるものを用いる。
【００５２】
まず、物体認識部１３は、取得した輝度画像に対して、輝度画像から勾配方向と勾配強度を算出して勾配方向毎に勾配強度を積分する処理を行い、この結果である積分勾配画像（インテグラルヒストグラム）を算出する（ステップＳ１）。
【００５３】
なお、積分勾配画像（インテグラルヒストグラム）を算出する処理は、積分勾配画像を利用して後の演算処理の時間を短縮するためであり、必ずしも行われなくてもよい。つまり、以降の処理において、積分勾配画像を利用せずに同じ結果が得られる演算を用いてもよい。
【００５４】
次に、物体認識部１３は、ステップＳ３の処理で行うラスタスキャンに関して、一連のラスタスキャンが終了したか否かを判定する（ステップＳ２）。
そして、物体認識部１３は、一連のラスタスキャンが終了したと判定した場合には、ステップＳ５の処理へ移行させる。
一方、物体認識部１３は、一連のラスタスキャンが終了していないと判定した場合には、積分勾配画像の領域において、ラスタスキャンによりウィンドウをずらして（スライドさせて）、あらかじめ設定した任意の座標領域（ウィンドウ）で抽出する（ステップＳ３）。
【００５５】
次に、物体認識部１３は、抽出した座標領域（ウィンドウ）について、あらかじめ定められた勾配方向矩形特徴量（ベクトル）を算出する。そして、物体認識部１３は、算出した勾配方向矩形特徴量（ベクトル）を用いて、カスケード型ＡｄａＢｏｏｓｔ識別器による識別を行い、あらかじめ目標（ターゲット）としている物体（物体の画像）が存在していると認識（例えば、推測）される１個以上のウィンドウを抽出する（ステップＳ４）。
ここで、ステップＳ４の処理におけるカスケード型ＡｄａＢｏｏｓｔ識別器による識別では、カスケード型内における各強識別器（本実施形態では、識別器１０１〜１０３）によりウィンドウが棄却されると、ラスタスキャンに関する処理（ステップＳ２の処理）に戻る。
【００５６】
これにより、物体認識部１３は、一連のラスタスキャンが終了するまで、ラスタスキャンの領域に対して、順次、ステップＳ２〜ステップＳ４の処理を繰り返して行う。
【００５７】
なお、一連のラスタスキャンでは、例えば、同一のスケール（大きさ）のウィンドウを順次スライドさせて前記の処理を繰り返して行うことが終了した後に、ウィンドウのスケールやスキャンステップを変化させて、再び、ウィンドウを順次スライドさせて前記の処理を繰り返して行うことを、あらかじめ定められた分だけ実行する。
【００５８】
ステップＳ２の処理において、物体認識部１３は、一連のラスタスキャンが終了したと判定した場合には、あらかじめ定められたクラスタリングの処理を行う（ステップＳ５）。
その後、物体認識部１３は、本処理を終了する。
【００５９】
ここで、勾配方向矩形特徴量としては、例えば、図１４〜図１８に示されるものを用いることができる。
本実施形態では、勾配方向矩形特徴量について、各勾配方向のウィンドウ内の矩形領域には特に制限を設けず、目標物体の部位の大小を問わず識別器（本実施形態では、ＡｄａＢｏｏｓｔの識別器であり、他のものが用いられてもよい）により学習し、目標物体の特徴を示す弱識別器を選択させる。
従って、本実施形態では、目標物体の大小の勾配方向矩形特徴の中で、特に有効な部分を厳選することができ、少ない弱識別器数で識別器を構成することができるため、計算回数とメモリアクセス回数が少なく短い演算処理時間で、目標物体が存在するウィンドウを認識することができる。
【００６０】
勾配方向矩形特徴量を用いると、例えば、弱識別器の数が極力少ない条件においても、不検出率が比較的低い性能で且つ誤検出率が比較的低い性能を持つような認識アルゴリズムを使用しても有効とすることができる。
なお、識別器による識別に関して、不検出率は、目標物体を目標物体として検出（検知）することができない率のことであり、また、誤検出率は、目標物体以外を目標物体であると認識して検出する率のことである。
【００６１】
図４〜図７を参照して、クラスタリングの処理について説明する。
図４は、本実施形態に係る物体認識部１３により行われるクラスタリングの処理の手順の一例を示すフローチャート図である。
このクラスタリングの処理では、図２に示されるカスケード型識別器から出力される情報（ウィンドウの情報）について、識別された複数のウィンドウをクラスタリングする。具体的には、図３に示されるステップＳ１〜ステップＳ４の処理において認識された複数のウィンドウに基づいて、目標物体が存在する最適ウィンドウ（例えば、目標物体に対してウィンドウの位置およびスケールが最適なもの）を確定ウィンドウとして絞り込む処理を行う。
【００６２】
まず、物体認識部１３は、図２に示されるカスケード型識別器から出力される情報（識別した結果）に対応する複数のウィンドウについて、クラスタリング処理１として、類似するウィンドウをクラスタリングする（ステップＳ１１）。
次に、物体認識部１３は、クラスタリング処理２として、左右対称性判別の処理を行う（ステップＳ１２）。これにより、物体認識部１３は、左右対称性があると判別したウィンドウについては採用し、一方、左右対称性が無いと判別したウィンドウについては棄却する。本実施形態では、目標物体として、左右の対称性がある物体を設定しており、このため、物体認識部１３は、左右の対称性があると判別したウィンドウについては目標物体を捉えているとみなして採用する一方、左右の対称性が無いと判別したウィンドウについては目標物体を捉えていないとみなして棄却する。
【００６３】
ここで、ステップＳ１１の処理におけるクラスタリングの処理（クラスタリング処理１）について詳しく説明する。
クラスタリングのアルゴリズムとしては、様々なものが用いられてもよく、例えば、Ｍｅａｎ−Ｓｈｉｆｔなどの公知のアルゴリズムを用いることができる。
本実施形態では、類似ウィンドウのクラスタリングを行う。クラスタリングを行う部分集合の条件として、ウィンドウサイズの類似度が高いこと（ウィンドウサイズが近いこと）およびウィンドウ間の距離の類似度が高いこと（ウィンドウ間の距離が近いこと）を、ＡＮＤ条件（両方が成立する必要がある条件）として用いる。
【００６４】
具体的には、ウィンドウサイズが近いことという条件としては、例えば、２個のウィンドウのサイズの比とあらかじめ定められた閾値とを比較して、２個のウィンドウのサイズの比が当該閾値以下である場合に、ウィンドウサイズが近いと判定する条件を用いることができる。なお、他の任意の条件や判定方法が用いられてもよい。
また、具体的には、ウィンドウ間の距離が近いことという条件としては、例えば、２個のウィンドウの間で、Ｘ−Ｙ座標系におけるＸ座標間の差の絶対値とＹ座標間の差の絶対値との和（マンハッタン距離）、または、ユークリッド距離などを求めて、あらかじめ定められた閾値と比較して、その距離が当該閾値以下である場合に、ウィンドウ間の距離が近いと判定する条件を用いることができる。なお、他の任意の条件や判定方法が用いられてもよい。
【００６５】
一例として、式（１）および式（２）を参照して、マンハッタン距離を用いるクラスタリングの例を示す。
この例では、物体認識部１３は、Ｎ（Ｎは、２以上の整数）個のウィンドウ（説明の便宜上、仮のウィンドウと言う）を得ているとする。また、この例では、仮のウィンドウの形状が正方形であり、１つのウィンドウ幅によりサイズが特定されるとする。
また、この例では、ａ＝１、２、・・・、Ｎとして、Ｗ（ａ）はａ番目の仮のウィンドウを表し、Ｗ（ａ＋１）は（ａ＋１）番目の仮のウィンドウを表し、Ｗ（１）は１番目の仮のウィンドウを表し、Ｗ（Ｎ）はＮ番目（最大）の仮のウィンドウを表し、Ｗｂ（ａ）はａ番目の仮のウィンドウの幅を表し、Ｗｂ（ａ＋１）は（ａ＋１）番目の仮のウィンドウの幅を表し、Ｗｘ（ａ）はａ番目の仮のウィンドウの位置の画像座標（ｘ、ｙ）におけるｘ座標の値を表し、Ｗｘ（ａ＋１）は（ａ＋１）番目の仮のウィンドウの位置の画像座標（ｘ、ｙ）におけるｘ座標の値を表し、Ｗｙ（ａ）はａ番目の仮のウィンドウの位置の画像座標（ｘ、ｙ）におけるｙ座標の値を表し、Ｗｙ（ａ＋１）は（ａ＋１）番目の仮のウィンドウの位置の画像座標（ｘ、ｙ）におけるｙ座標の値を表す。
【００６６】
まず、物体認識部１３は、Ｎ個の仮のウィンドウについて、仮のウィンドウサイズが小さい方から順に、Ｗ（１）、Ｗ（２）、・・・、Ｗ（Ｎ）を割り付ける。
次に、物体認識部１３は、変数ａの値をａ＝１に設定して、割り付けの１番目とする。
次に、物体認識部１３は、Ｗ（ａ）に対応する仮のウィンドウとＷ（ａ＋１）に対応する仮のウィンドウについて、式（１）および式（２）の両方が満たされることが成り立つか否かを判定する。
【００６７】
ここで、式（１）は、仮のウィンドウのウィンドウ幅（本実施形態では、ウィンドウサイズ）に関する条件の例を示す。式（１）における閾値ＴＨ１としては、様々な値が設定されてもよい。
具体的には、式（１）では、ａ番目の仮のウィンドウのウィンドウ幅Ｗｂ（ａ）と（ａ＋１）番目の仮のウィンドウのウィンドウ幅Ｗｂ（ａ＋１）との比を求め、その比があらかじめ定められた閾値ＴＨ１より大きいか否かを判断する。ここで、ａについて仮のウィンドウのウィンドウサイズは小さい順であるため、Ｗｂ（ａ）＜Ｗｂ（ａ＋１）である。つまり、式（１）の条件は、隣接する仮のウィンドウのウィンドウサイズが近い場合には統合するという条件である。
【００６８】
また、式（２）は、仮のウィンドウの位置に関する条件の例を示す。式（２）において、Ａｂｓ（Ｐ）は、Ｐ（ここでは、Ｐ＝Ｗｘ（ａ）−Ｗｘ（ａ＋１）またはＰ＝Ｗｙ（ａ）−Ｗｙ（ａ＋１））の絶対値を表す。式（２）における閾値ＴＨ２としては、様々な値が設定されてもよい。
具体的には、式（２）では、ａ番目の仮のウィンドウの位置のｘ座標Ｗｘ（ａ）と（ａ＋１）番目の仮のウィンドウの位置のｘ座標Ｗｘ（ａ＋１）との差の絶対値と、ａ番目の仮のウィンドウの位置のｙ座標Ｗｙ（ａ）と（ａ＋１）番目の仮のウィンドウの位置のｙ座標Ｗｙ（ａ＋１）との差の絶対値との加算結果を求め、この加算結果があらかじめ定められた閾値ＴＨ２より小さいか否かを判断する。つまり、式（２）の条件は、隣接する仮のウィンドウの位置が近い場合には統合するという条件である。
【００６９】
そして、式（１）の条件と式（２）の条件とのＡＮＤ論理で、２つの仮のウィンドウを統合するか否かが決まる。
【００７０】
【数１】
2013250868.tif 000003
【００７１】
【数２】
2013250868.tif 000004
【００７２】
このような判定の結果、物体認識部１３は、Ｗ（ａ）に対応する仮のウィンドウとＷ（ａ＋１）に対応する仮のウィンドウについて、式（１）および式（２）の両方が満たされることが成り立つと判定した場合には、Ｗ（ａ）に対応する仮のウィンドウとＷ（ａ＋１）に対応する仮のウィンドウを統合する。
そして、物体認識部１３は、変数ａの値をインクリメントすることで、ａの値に１を加える。
一方、このような判定の結果、物体認識部１３は、Ｗ（ａ）に対応する仮のウィンドウとＷ（ａ＋１）に対応する仮のウィンドウについて、式（１）および式（２）の両方が満たされることが成り立たない（つまり、少なくとも一方が満たされない）と判定した場合には、統合を行わずに、変数ａの値をインクリメントすることで、ａの値に１を加える。
【００７３】
ここで、ａの値をインクリメントするのは、次回の処理へ移行させるためである。すなわち、次回の処理では、今回のＷ（ａ＋１）がＷ（ａ）となり、今回のＷ（ａ＋１）に対応する仮のウィンドウより次にサイズが大きい仮のウィンドウがＷ（ａ＋１）となる。
【００７４】
そして、物体認識部１３は、ａ＝Ｎになったか否かを判定する。
この判定の結果、物体認識部１３は、ａ＝Ｎになっていないと判定した場合には、次回の処理を行う。
一方、この判定の結果、物体認識部１３は、ａ＝Ｎになったと判定した場合には、処理を終了する。このように、ａ＝Ｎになるまで、処理が繰り返して行われる。
【００７５】
続けて、ステップＳ１１の処理におけるクラスタリングの処理（クラスタリング処理１）について説明する。
一例として、ステップＳ１１の処理における部分集合条件（ＡＮＤ条件）でまとまったクラスについて、その中で識別器の応答値が最も高いウィンドウを選択することができる。
【００７６】
次に、ステップＳ１２の処理におけるクラスタリングの処理（クラスタリング処理２）について詳しく説明する。
本実施形態では、物体認識部１３は、クラスタリングにより確定されたウィンドウについて、当該ウィンドウ内の画像（本実施形態では、車両の背面が目標物体である）が、あらかじめ定められた左右対称性を有しているか否かを判定する。そして、物体認識部１３は、左右対称性を有していると判定したウィンドウについては採用し、一方、左右対称性を有していないと判定したウィンドウについては棄却する。
【００７７】
図５は、本実施形態に係る物体認識部１３により行われるクラスタリング処理１の一例のイメージを示す図である。
画像領域２０１は、認識する対象となる全画面の画像領域を表す。
この例では、大別して、４個のウィンドウの群に絞り込まれている。
ＣｌａｓｓＷｉｎ＿ａ、ＣｌａｓｓＷｉｎ＿ｂ、ＣｌａｓｓＷｉｎ＿ｃ、ＣｌａｓｓＷｉｎ＿ｄは、それぞれ、部分集合するウィンドウの群を表す。
ＣｌａｓｓＷｉｎ＿ａ、ＣｌａｓｓＷｉｎ＿ｂ、ＣｌａｓｓＷｉｎ＿ｃ、ＣｌａｓｓＷｉｎ＿ｄでは、それぞれ、クラスタリング処理１により、１個のウィンドウ２１１、２２１、２３１、２４１が決定（例えば、選定）される。他のウィンドウについては、棄却される。
【００７８】
なお、図５の例では、さらに、マルチクラス識別を行う構成を用いる場合の結果の例も示してある。
具体的には、マルチクラスの識別器として、大型トラックの画像で学習したクラス１の識別器と、大型トラック以外の車両（主に、乗用車）の画像で学習したクラス２の識別器を用いる。
ＣｌａｓｓＷｉｎ＿ａ、ＣｌａｓｓＷｉｎ＿ｂ、ＣｌａｓｓＷｉｎ＿ｃ、ＣｌａｓｓＷｉｎ＿ｄでは、それぞれ、決定された１個のウィンドウ２１１、２２１、２３１、２４１の識別クラスが、クラス２（例えば、遠方の乗用車）、クラス１（例えば、遠方の大型トラック）、クラス２（例えば、近傍の乗用車）、クラス１（例えば、近傍の大型トラック）となる。
【００７９】
ここで、マルチクラスの識別器を用いる場合には、一例として、同一のクラスの複数のウィンドウについてクラスタリングを行う構成を用いることができ、他の一例として、異なるクラスが混じった複数のウィンドウについてクラスタリングを行って、当該クラスタリングにより得られたウィンドウに対応するクラスを採用する構成を用いることができる。
【００８０】
図６および図７を参照して、勾配方向矩形特徴量を用いた左右対称性の判別の処理を説明する。
図６は、勾配方向矩形特徴量の方向転換の一例を示す図である。
この例では、説明を簡易にするために、単矩形特徴量（のみ）を用いて、且つ、特徴があって勾配が出る側の矩形を示す。なお、これとは逆に、特徴が無くて勾配が出ない側の矩形（例えば、勾配が真黒な画像を囲む矩形）を用いることも可能である。
また、単矩形特徴量に限られず、様々な特徴量が用いられてもよい。
【００８１】
図６は、左右対称性を判別する対象となるウィンドウについて、当該ウィンドウの中心軸（左右方向の中心を通る縦の軸）に対して、左側の領域の特徴ベクトル（１）〜（１０）と右側の領域の特徴ベクトル（１）’〜（１０）’に分ける様子を示してある。
ここで、同じ番号（１〜１０）の特徴ベクトルは、左右で対応するものである。
【００８２】
具体的には、平均勾配画像３０１は、学習した多数の勾配強度画像を、全ての方向について平均した結果を示す。
また、方向０〜７の全８方向のそれぞれの方向毎に積分した画像を、方向０のウィンドウの画像３１１−０〜方向７のウィンドウの画像３１１−７として、示してある。
本実施形態では、方向０（縦の勾配）と方向４（横の勾配）については、左右の領域で同じ方向を用いる。また、斜め方向の勾配については、対となる左右の領域で異なる方向を用いることとなり、具体的には、方向１の左側（または、右側）は方向７の右側（または、左側）と対称であり、方向２の左側（または、右側）は方向６の右側（または、左側）と対称であり、方向３の左側（または、右側）は方向５の右側（または、左側）と対称であり、これを考慮して左右の領域における勾配方向矩形特徴ベクトルを揃える。
【００８３】
図７は、本実施形態に係る物体認識部１３により行われるクラスタリング処理２の一例のイメージを示す図である。
図７は、左右の領域における勾配方向矩形特徴ベクトルに対して、左右の対称性を判別する例を示す。
【００８４】
左領域の特徴ベクトルの情報４０１として、特徴量の次元に沿って、それぞれの方向の特徴量（例えば、勾配強度）が得られている。
同様に、右領域の特徴ベクトルの情報４０２として、特徴量の次元に沿って、それぞれの方向の特徴量（例えば、勾配強度）が得られている。
ここで、左領域の特徴ベクトルの情報４０１と右領域の特徴ベクトルの情報４０２とでは、互いに、左右の領域が対称となる方向の対応（例えば、図６に示される対応）が付けられている。
【００８５】
本実施形態において左右対称性を判別する第１の手法（手法ａ）を示す。
手法ａでは、左領域の特徴ベクトルの情報４０１と右領域の特徴ベクトルの情報４０２について、勾配方向矩形特徴ベクトル間の近さにより、左右対称性を判別する。
手法ａにおける第１の例（手法ａ１）では、特徴ベクトル間の距離が近い場合に、左右対称性があると判別する。具体的には、２つの特徴ベクトルの間の距離があらかじめ定められた閾値よりも小さい場合に、左右対称性があると判別する。
ここで、特徴ベクトルの間の距離としては、例えば、ユークリッド距離などの任意の距離を選んで計算することができる。
【００８６】
手法ａにおける第２の例（手法ａ２）では、特徴ベクトル間の相互相関値の高さにより、左右対称性を判別する。具体的には、２つの特徴ベクトルの間の相互相関値があらかじめ定められた閾値よりも高い場合に、左右対称性があると判別する。
【００８７】
ここで、相互相関値を算出する方法としては、様々なものが用いられてもよい。
一例として、式（３）に示される相互相関係数を用いることができる。ここで、ｘｌは左側特徴ベクトル（左領域の特徴ベクトル）を表すとし、ｘｒは右側特徴ベクトル（右領域の特徴ベクトル）を表すとする。ｉは特徴量の次元を表し、ｉ＝１、２、・・・、ｎとする。これにより、相互相関値Ｃｒが算出される。
【００８８】
【数３】
2013250868.tif 000005
【００８９】
他の一例として、式（４）〜式（５）に示される相互相関関数を用いることができる。ここで、ｘｌは左側特徴ベクトル（左領域の特徴ベクトル）を表すとし、ｘｒは右側特徴ベクトル（右領域の特徴ベクトル）を表すとする。また、τは時間間隔を表すとする。
【００９０】
【数４】
2013250868.tif 000006
【００９１】
【数５】
2013250868.tif 000007
【００９２】
本実施形態において左右対称性を判別する第２の手法（手法ｂ）を示す。
手法ｂでは、左領域の特徴ベクトルの情報４０１と右領域の特徴ベクトルの情報４０２について、識別器４１１〜４１２とＡＮＤ回路４２１を用いて、左右対称性を判別する。
ここで、識別器４１１〜４１２としては、様々なものが用いられてもよく、本実施形態では、ＡｄａＢｏｏｓｔの識別器を用いている。
【００９３】
具体的には、識別器４１１は、左領域の特徴ベクトルについて識別を行い、目標物体が存在すること（真）を判定した場合には、真を示す値（例えば、１）をＡＮＤ回路４２１に出力し、一方、目標物体が存在しないこと（偽）を判定した場合には、偽を示す値（例えば、０）をＡＮＤ回路４２１に出力する。
同様に、識別器４１２は、右領域の特徴ベクトルについて識別を行い、目標物体が存在すること（真）を判定した場合には、真を示す値（例えば、１）をＡＮＤ回路４２１に出力し、一方、目標物体が存在しないこと（偽）を判定した場合には、偽を示す値（例えば、０）をＡＮＤ回路４２１に出力する。
【００９４】
そして、ＡＮＤ回路４２１は、２つの識別器４１１〜４１２から入力される値が両方とも真を示す値である場合には、ＡＮＤ論理により、真を示す値（例えば、１）を出力し、この場合には、左領域の特徴ベクトルと右領域の特徴ベクトルとで左右対称性がある（真）と判別する。一方、ＡＮＤ回路４２１は、２つの識別器４１１〜４１２から入力される値のうちの一方または両方が偽を示す値である場合には、ＡＮＤ論理により、偽を示す値（例えば、０）を出力し、この場合には、左領域の特徴ベクトルと右領域の特徴ベクトルとで左右対称性が無い（偽）と判別する。
【００９５】
このように、本実施形態では、勾配方向矩形特徴量を用いることで、比較的次元数が少ない特徴ベクトルとなるため、演算処理負荷が軽い左右対称性の判別処理が可能となる。
また、例えば、パターン認識などの処理において勾配方向矩形特徴ベクトルが既に計算されている場合には、その計算結果をそのまま左右対称性の判別処理に使用することも可能であるため、新規に計算することなく効率的である。なお、左右対称性の判別処理において、新規に、勾配方向矩形特徴ベクトルを計算してもよい。
【００９６】
また、本実施形態では、クラスタリング処理１（図４に示されるステップＳ１１のクラスタリング処理１）により統合したウィンドウに対して左右対称性の判別処理（図４に示されるステップＳ１２のクラスタリング処理２）を行うため、ウィンドウの数を十分に絞り込んだ状態で誤識別のウィンドウ（本実施形態では、左右対称性が無いウィンドウ）を削除することができ、判別時間を短縮することができる。
【００９７】
なお、本実施形態では、図４に示されるように、クラスタリング処理１を行った後に、左右対称性の判別処理（クラスタリング処理２）を行う構成を示すが、他の構成例として、左右対称性の判別処理（クラスタリング処理２）を行った後に、クラスタリング処理１を行う構成を用いることもできる。この構成では、識別器（本実施形態では、カスケード型ＡｄａＢｏｏｓｔ識別器）により選択されたウィンドウについて、まず、左右対称性の判別処理（クラスタリング処理２）を行って、左右対称性があるウィンドウのみを採用し、次に、当該採用したウィンドウについて、クラスタリング処理１により、統合を行う。
【００９８】
また、手法ａ１、手法ａ２、手法ｂについては、例えば、２つ以上の手法が組み合わされて用いられてもよい。
【００９９】
［第２実施形態］
本実施形態に係る画像処理システムについて、主に、第１実施形態に係る画像処理システムとは異なる点について説明する。
本実施形態では、第１実施形態に係る図６および図７を参照して示した勾配方向矩形特徴量を用いた左右対称性判別処理に対応する処理（クラスタリング処理２）の他の例として、ＨＯＧ特徴量を用いた左右対称性判別処理について説明する。
【０１００】
図８および図９を参照して、ＨＯＧ特徴量を用いた左右対称性の判別の処理を説明する。
図８は、ＨＯＧ特徴量の方向転換の一例を示す図である。
図８は、左右対称性を判別する対象となるウィンドウについて、当該ウィンドウの中心軸（左右方向の中心を通る縦の軸）に対して、左側の領域のＨＯＧ特徴ベクトル（１）〜（８）と右側の領域のＨＯＧ特徴ベクトル（１）’〜（８）’に分ける様子を示してある。
ここで、互いに対となる方向の組み合わせにおいて、同じ番号（１〜８）のＨＯＧ特徴ベクトルは、左右で対応するものである。
【０１０１】
具体的には、平均勾配画像５０１は、学習した多数の勾配強度画像を、全ての方向について平均した結果を示す。
また、方向０〜７の全８方向のそれぞれの方向毎に積分した画像を、方向０のウィンドウの画像５１１−０〜方向７のウィンドウの画像５１１−７として、示してある。
本実施形態では、方向０（縦の勾配）と方向４（横の勾配）については、左右の領域で同じ方向を用いる。また、斜め方向の勾配については、対となる左右の領域で異なる方向を用いることとなり、具体的には、方向１の左側（または、右側）は方向７の右側（または、左側）と対称であり、方向２の左側（または、右側）は方向６の右側（または、左側）と対称であり、方向３の左側（または、右側）は方向５の右側（または、左側）と対称であり、これを考慮して左右の領域におけるＨＯＧ特徴ベクトルを揃える。
【０１０２】
ＨＯＧ特徴量を用いる場合には、セルによりウィンドウの左右の領域が均等に分割されるため、左側の領域における（１）〜（８）と右側の領域における（１）’〜（８）’は対称に配列される。
なお、セルのブロックによる正規化は、行われてもよく、または、行われなくてもよい。
【０１０３】
図９は、本実施形態に係る物体認識部１３により行われるクラスタリング処理２の一例のイメージを示す図である。
図９は、左右の領域におけるＨＯＧ特徴ベクトルに対して、左右の対称性を判別する例を示す。
【０１０４】
左領域の特徴ベクトルの情報６０１として、特徴量の次元に沿って、各セル番号（１）〜（８）について、それぞれの方向の特徴量（例えば、勾配強度）が得られている。
同様に、右領域の特徴ベクトルの情報６０２として、特徴量の次元に沿って、各セル番号（１）’〜（８）’について、それぞれの方向の特徴量（例えば、勾配強度）が得られている。
ここで、左領域の特徴ベクトルの情報６０１と右領域の特徴ベクトルの情報６０２とでは、互いに、左右の領域が対称となる方向の対応（例えば、図８に示される対応）が付けられている。
【０１０５】
本実施形態において、左右対称性を判別する手法としては、例えば、第１実施形態に係る図７を参照して説明したものと同様な、第１の手法（手法ａ１、手法ａ２）や、第２の手法（手法ｂ）を用いることができる。
なお、手法ａ１、手法ａ２、手法ｂについては、例えば、２つ以上の手法が組み合わされて用いられてもよい。
また、図９に示される識別器６１１〜６１２、ＡＮＤ回路６２１は、それぞれ、第１実施形態に係る図７に示される識別器４１１〜４１２、ＡＮＤ回路４２１と同様な機能を有し、同様な動作を行う。
【０１０６】
本実施形態では、クラスタリング処理１（図４に示されるステップＳ１１のクラスタリング処理１）により統合したウィンドウに対して左右対称性の判別処理（図４に示されるステップＳ１２のクラスタリング処理２）を行うため、ウィンドウの数を十分に絞り込んだ状態で誤識別のウィンドウ（本実施形態では、左右対称性が無いウィンドウ）を削除することができ、判別時間を短縮することができる。
【０１０７】
なお、本実施形態では、図４に示されるように、クラスタリング処理１を行った後に、左右対称性の判別処理（クラスタリング処理２）を行う構成を示すが、他の構成例として、左右対称性の判別処理（クラスタリング処理２）を行った後に、クラスタリング処理１を行う構成を用いることもできる。この構成では、識別器（本実施形態では、カスケード型ＡｄａＢｏｏｓｔ識別器）により選択されたウィンドウについて、まず、左右対称性の判別処理（クラスタリング処理２）を行って、左右対称性があるウィンドウのみを採用し、次に、当該採用したウィンドウについて、クラスタリング処理１により、統合を行う。
【０１０８】
ここで、第１実施形態に係る図６および図７を参照して示した勾配方向矩形特徴量を用いた左右対称性判別処理と、第２実施形態に係る図８および図９を参照して示したＨＯＧ特徴量を用いた左右対称性判別処理については、例えば、これらの両方を組み合わせて用いることも可能であり、これらの両方で左右対称性があるウィンドウを絞り込むことで、より精度が高い左右対称性の判別が可能となる。
【０１０９】
［第３実施形態］
本実施形態に係る画像処理システムについて、主に、第１実施形態に係る画像処理システムとは異なる点について説明する。
図１（Ｂ）は、本発明の他の一実施形態に係る物体認識部１３ａの構成（物体認識部の他の構成例）を示す概略ブロック図である。
本実施形態に係る物体認識部１３ａは、第１の認識部３１と、第２の認識部３２と、を備える。
【０１１０】
物体認識部１３ａにおいて、第１の認識部３１は、画像取得部１２から入力される画像データについて、第１の物体認識手法で、物体認識の処理を行う。
物体認識部１３ａにおいて、第２の認識部３２は、第１の認識部３１により行われる物体認識の処理の結果に基づいて、画像取得部１２から入力される画像データについて、第２の物体認識手法で、物体認識の処理を行う。
物体認識部１３ａは、第２の認識部３２により行われた物体認識の処理の結果の情報を制御部１４に出力する。
【０１１１】
図１０は、本実施形態に係る物体認識部１３ａにより行われる処理の手順の一例を示すフローチャート図である。
ここで、図１０に示す本実施形態に係るフローチャートの処理において、ステップＳ２１〜ステップＳ２３の処理およびステップＳ２６の処理は、それぞれ、図３に示されるフローチャートの処理におけるステップＳ１〜ステップＳ３の処理およびステップＳ５の処理と同様である。
概略的には、図１０に示す本実施形態に係るフローチャートの処理では、図３に示されるフローチャートの処理におけるステップＳ４の処理の代わりに、ステップＳ２４およびステップＳ２５の処理を行う。
【０１１２】
本実施形態では、ラスタスキャンにおいて、ステップＳ２４の処理では、物体認識部１３ａの第１の認識部３１は、抽出した座標領域（ウィンドウ）について、あらかじめ定められた勾配方向矩形特徴量（ベクトル）を算出する。そして、物体認識部１３ａの第１の認識部３１は、算出した勾配方向矩形特徴量（ベクトル）を用いて、カスケード型ＡｄａＢｏｏｓｔ識別器による識別を行い、あらかじめ目標（ターゲット）としている物体（物体の画像）が存在していると認識（例えば、推測）される１個以上のウィンドウを抽出する（ステップＳ２４）。
ここで、ステップＳ２４の処理におけるカスケード型ＡｄａＢｏｏｓｔ識別器による識別では、カスケード型内における各強識別器（本実施形態では、識別器１０１〜１０３）によりウィンドウが棄却されると、ラスタスキャンに関する処理（ステップＳ２２の処理）に戻る。
【０１１３】
続いて、ステップＳ２５の処理では、物体認識部１３ａの第２の認識部３２は、第１の認識部３１により抽出した座標領域（ウィンドウ）について、あらかじめ定められたＨＯＧ特徴量（ベクトル）を算出する。そして、物体認識部１３ａの第２の認識部３２は、算出したＨＯＧ特徴量（ベクトル）を用いて、カスケード型ＡｄａＢｏｏｓｔ識別器による識別を行い、あらかじめ目標（ターゲット）としている物体（物体の画像）が存在していると認識（例えば、推測）される１個以上のウィンドウを抽出する（ステップＳ２５）。そして、ステップＳ２６の処理（クラスタリングの処理）へ移行する。
ここで、ステップＳ２５の処理におけるカスケード型ＡｄａＢｏｏｓｔ識別器による識別では、カスケード型内における各強識別器によりウィンドウが棄却されると、ラスタスキャンに関する処理（ステップＳ２２の処理）に戻る。
【０１１４】
なお、本実施形態では、第２の認識部３２によるステップＳ２５の処理において、ＨＯＧ特徴量を用いている。このように、第２の認識部３２は、第１の認識部３１により用いられる特徴量（本実施形態では、勾配方向矩形特徴量）以外の特徴量を用いることが望ましい。勾配方向矩形特徴量以外の特徴量としては、ＨＯＧ特徴量以外の任意の特徴量が用いられてもよく、例えば、同じ勾配方向ベースのＨＯＧ特徴量のほかに、輝度値ベースの特徴量を用いることができる。
また、第２の認識部３２によるステップＳ２５の処理では、ＨＯＧ特徴量などで学習したカスケード型ＡｄａＢｏｏｓｔ識別器による識別を用いる構成のほかに、例えば、ＳＶＭによる識別などの任意の手法を用いることができる。また、マルチクラスの識別を行う構成が用いられてもよい。
本実施形態では、第２の認識部３２の処理により、第１の認識部３１とは異なる見方での認識性能が期待される。このような構成は、次のステップＳ２６の処理においてクラスタリングする対象とするウィンドウを事前にさらに絞り込んでおく場合に用いることができる。
【０１１５】
また、本実施形態では、第２の認識部３２によりＨＯＧ特徴量（ベクトル）が算出されるため、例えば、第２実施形態に係る図８および図９に示されるようなＨＯＧ特徴量を用いた左右対称性判別処理を行う場合に、第２の認識部３２により算出されるＨＯＧ特徴量（ベクトル）を利用（例えば、そのまま使用、または、変換して使用）することができ、左右対称性判別処理のために新規にＨＯＧ特徴量（ベクトル）を作成する処理を省略または簡易化することが可能であり、効率的である。
【０１１６】
［第４実施形態］
本実施形態に係る画像処理システムについて、主に、第１実施形態に係る画像処理システムとは異なる点について説明する。
本実施形態では、左右対称性の代わりに、上下対称性を用いて、判別処理を行う。または、左右対称性とともに、上下対称性を用いて、判別処理を行う。
ここで、上下対称性を用いる判別処理については、左右対称性を用いる判別処理と同様であり、上下が対称となる方向（本実施形態では、方向０〜７）の組み合わせについても、左右が対称となる方向（本実施形態では、方向０〜７）の組み合わせと同じである。
【０１１７】
具体的には、物体認識部１３は、クラスタリング処理２として、上下対称性判別の処理を行う（図４に示されるステップＳ１２）。これにより、物体認識部１３は、上下対称性があると判別したウィンドウについては採用し、一方、上下対称性が無いと判別したウィンドウについては棄却する。本実施形態では、目標物体として、上下の対称性がある物体を設定しており、このため、物体認識部１３は、上下の対称性があると判別したウィンドウについては目標物体を捉えているとみなして採用する一方、上下の対称性が無いと判別したウィンドウについては目標物体を捉えていないとみなして棄却する。
【０１１８】
なお、左右対称性に関する処理を上下対称性に関する処理に適用する場合には、一例として、左右対称性に関する処理における左側の処理（または、右側の処理）を上下対称性に関する処理における上側の処理に置き換えるとともに、左右対称性に関する処理における右側の処理（または、左側の処理）を上下対称性に関する処理における下側の処理に置き換えることを行う。
【０１１９】
［第５実施形態］
本実施形態に係る画像処理システムについて、主に、第４実施形態に係る画像処理システムとは異なる点について説明する。
本実施形態では、左右対称性とともに、上下対称性を用いて、判別処理を行う。
【０１２０】
具体的には、物体認識部１３は、クラスタリング処理２として、左右対称性判別の処理および上下対称性判別の処理を行う（図４に示されるステップＳ１２）。これにより、物体認識部１３は、左右対称性がありかつ上下対称性が無いと判別したウィンドウについては採用し、一方、それ以外のものであると判別したウィンドウについては棄却する。つまり、物体認識部１３は、左右対称性について対称性が無いと判別したウィンドウを上下対称性の有無にかかわらず不採用とし、かつ、左右対称性があっても上下対称性について対称性があると判別したウィンドウを不採用とし、一方、左右対称性がありかつ上下対称性が無いと判別したウィンドウを採用する
本実施形態では、目標物体として、左右の対称性がありかつ上下の対称性が無い物体を設定しており、このため、物体認識部１３は、左右の対称性がありかつ上下の対称性が無いと判別したウィンドウについては目標物体を捉えているとみなして採用する一方、それ以外のものであると判別したウィンドウについては目標物体を捉えていないとみなして棄却する。
【０１２１】
このような処理は、例えば、左右の対称性がありかつ上下の対称性が無い車両の識別に適用することができる。
具体例として、左右の対称性がありかつ上下の対称性が無い車両と、左右の対称性がありかつ上下の対称性がある看板（例えば、道路の付近にある看板）などとを区別することができ、つまり、このような車両を捉えるウィンドウを採用する一方、このような看板などを捉えるウィンドウを棄却することができる。これにより、物体（この例では、車両）の判別性を向上させることができる。
【０１２２】
ここで、左右対称性の有無と上下対称性の有無との組み合わせとしては、左右対称性がありかつ上下対称性が無いという組み合わせ以外には、左右対称性がありかつ上下対称性があるという組み合わせ、左右対称性が無くかつ上下対称性があるという組み合わせ、および、左右対称性が無くかつ上下対称性が無いという組み合わせがある。
本実施形態では、物体認識部１３は、左右対称性がありかつ上下対称性が無いと判別したウィンドウについては採用し、一方、それ以外のものであると判別したウィンドウについては棄却する構成としたが、前記のような４通りの組み合わせのうちで任意の組み合わせ（任意の１通り以上で３通り以下の組み合わせ）についてはウィンドウを採用し、一方、それ以外の組み合わせ（残りの３通り以下で１通り以上の組み合わせ）についてはウィンドウを棄却する、という構成が用いられてもよい。
【０１２３】
［以上の実施形態に関する関連技術の説明］
図１３〜図１９を参照して、以上の実施形態に関連する技術を説明する。
図１３は、画像処理システム（例えば、図１（Ａ）に示される画像処理システム）における画像取得から物体認識までの処理の概略的な一例を示す図である。
カメラ１１により撮像される画像のデータが、画像取得部１２により入力画像１２０１のデータとして取得される。
例えば、この画像には、道路と前方の車両が映っている。
【０１２４】
物体認識部１３では、勾配強度画像１２０２に示されるように、複数の勾配方向（本実施形態では、方向０〜方向７の８方向）のそれぞれについて、勾配強度を算出する。
そして、物体認識部１３では、勾配方向毎に、勾配強度の積分画像を、積分勾配画像１２０３として作成する（図３に示されるステップＳ１の処理）。
【０１２５】
次に、物体認識部１３では、ラスタスキャンの領域１２０４において、ウィンドウのスキャンを行う（図３に示されるステップＳ３の処理）。
物体認識部１３では、ラスタスキャンで取得されるウィンドウの画像１２０５に関し、各勾配方向の積分勾配画像１２０６を取得する。
例えば、このウィンドウの画像１２０５は、前方の車両が映る部分の画像である。
【０１２６】
そして、物体認識部１３では、同一のウィンドウに関する勾配方向毎の積分勾配画像１２０６について、あらかじめ定められた矩形特徴量（勾配方向矩形特徴量）１２０７を演算して取得する（図３に示されるステップＳ４の処理（および、図１０に示されるステップＳ２４も同様））。
【０１２７】
次に、物体認識部１３では、ＡｄａＢｏｏｓｔの識別器（本実施形態では、カスケード型ＡｄａＢｏｏｓｔ識別器）による識別を行う（図３に示されるステップＳ４の処理（および、図１０に示されるステップＳ２４も同様））。
本実施形態では、識別器として、勾配方向毎に弱識別器が設定できる。
具体的には、物体認識部１３では、各勾配方向の積分勾配画像１２０６（本実施形態では、８方向の勾配方向毎に、積分勾配画像１２０８−０〜積分勾配画像１２０８−７とする）について、あらかじめ学習しておいた弱識別器により識別を行う。
【０１２８】
図１３の例では、方向０の積分勾配画像１２０８―０について、弱識別器により識別を行った結果、Ｗ０−ｒ１＝４１９．４／ｓ０という値が得られている。ｓ０は、この値が得られた矩形の領域の面積である。そして、物体認識部１３では、この値に基づいて、弱識別器の応答値ｈ０を算出する処理２１０−０を行う。
【０１２９】
また、図１３の例では、方向７の積分勾配画像１２０８−７について、弱識別器により識別を行った結果、Ｗ７−ｒ１＝１９８．１／ｓ０という値が得られている。ｓ０は、この値が得られた矩形の領域の面積である。また、図１３の例では、方向７の積分勾配画像１２０８−７について、弱識別器により識別を行った結果、Ｗ７−ｒ２＝５８２．６／ｓ１という値が得られている。ｓ１は、この値が得られた矩形の領域の面積である。続いて、この例では、減算器１２０９により、これら２つの値の減算結果（差）を求める。そして、物体認識部１３では、この減算結果の値に基づいて、弱識別器の応答値ｈ７を算出する処理１２１０−７を行う。
【０１３０】
図１４〜図１８を参照して、勾配方向矩形特徴量の例について説明する。
本実施形態では、各勾配方向に分けた勾配強度画像から矩形特徴を抽出するため、その矩形特徴量のことを勾配方向矩形特徴量と定義する。
【０１３１】
図１４は、第１の例に係る勾配方向矩形特徴量Ａを示す図である。
この勾配方向矩形特徴量Ａは、１個の矩形（単矩形）１３０１の特徴量（単矩形特徴量）を示す。
この勾配方向矩形特徴量Ａは、勾配方向毎の勾配強度画像から単矩形特徴を抽出し、単一領域の勾配を捉えることを目的としたものである。
例えば、目標物体のある部位が同一の勾配方向に集中しているような場合に、単矩形特徴で捉えることができる。
【０１３２】
図１５（Ａ）、図１５（Ｂ）、図１５（Ｃ）は、第２の例に係る勾配方向矩形特徴量Ｂを示す図である。
この勾配方向矩形特徴量Ｂは、勾配方向毎の勾配強度画像について、Ｈａａｒ−ｌｉｋｅ特徴量と同様に、矩形の特徴の差分等を用いるものである。また、この勾配方向矩形特徴量Ｂは、隣り合う矩形として同一の面積を有する矩形を用いて、同一の方向内での特徴の差分等を求めるものである。
図１５（Ａ）は、２個の矩形に分けて勾配方向矩形特徴量Ｂを求める場合における勾配強度画像１３１１、１３１２を示す。この例では、隣り合う白い領域と黒い領域との間で特徴の差分等を求める。
図１５（Ｂ）は、３個の矩形に分けて勾配方向矩形特徴量Ｂを求める場合における勾配強度画像１３２１、１３２２を示す。この例では、隣り合う白い領域と黒い領域との間で特徴の差分等を求める。
図１５（Ｃ）は、４個の矩形に分けて勾配方向矩形特徴量Ｂを求める場合における勾配強度画像１３３１を示す。この例では、隣り合う白い領域と黒い領域との間で特徴の差分等を求める。
この勾配方向矩形特徴量Ｂは、隣接領域の勾配関係を捉える手法であり、本実施形態では、勾配強度画像について抽出するため、通常の輝度画像から求める領域差分よりも、さらに特徴差が際立った部位を抽出することができるという効果が得られる。
【０１３３】
図１６は、第３の例に係る勾配方向矩形特徴量Ｃを示す図である。
この勾配方向矩形特徴量Ｃは、勾配方向毎の勾配強度画像について、Ｈａａｒ−ｌｉｋｅ特徴量を応用して、矩形の特徴の差分等を用いるものである。
この勾配方向矩形特徴量Ｃは、隣接領域の勾配関係を捉える手法であり、隣接領域とする２つの領域（白い領域と黒い領域）で領域の形状や面積が異なっている。また、この勾配方向矩形特徴量Ｃは、同一の方向内での特徴の差分等を求めるものである。
図１６の例では、複数（Ｎ個）の勾配方向について、方向０のウィンドウの画像１３４１−０、方向１のウィンドウの画像１３４１−１、・・・、方向（Ｎ−１）のウィンドウの画像１３４１−（Ｎ−１）を示す。この例では、勾配方向毎に、矩形の形状や数が異なってもよい。
この勾配方向矩形特徴量Ｃは、図１５（Ａ）、図１５（Ｂ）、図１５（Ｃ）に示される勾配方向矩形特徴量Ｂと似ているが、例えば、隣接する領域の勾配面積比が異なるような場合にも、より適切な抽出を行うことができるという効果が得られる。
【０１３４】
図１７は、第４の例に係る勾配方向矩形特徴量Ｄを示す図である。
この勾配方向矩形特徴量Ｄは、勾配方向毎の勾配強度画像の内において、複数の離隔した（隔たれた）矩形の特徴の差分等を用いるものである。
この勾配方向矩形特徴量Ｄは、離隔した領域の勾配関係を捉える手法であり、離隔した領域とする２つの領域（白い領域と黒い領域）で、領域の形状や面積が同じでもよく、または、異なってもよい。また、この勾配方向矩形特徴量Ｄは、同一の方向内での特徴の差分等を求めるものである。
図１７の例では、複数（Ｎ個）の勾配方向について、方向０のウィンドウの画像１３５１−０、方向１のウィンドウの画像１３５１−１、・・・、方向（Ｎ−１）のウィンドウの画像１３５１−（Ｎ−１）を示す。この例では、勾配方向毎に、矩形の形状や数が異なってもよい。
この勾配方向矩形特徴量Ｄは、隣接していない領域の間でも特徴を抽出することができるようにしたものである。この勾配方向矩形特徴量Ｄは、目標物体のある方向の勾配が離れた部位の間で存在することを捉え易くする。
【０１３５】
図１８は、第５の例に係る勾配方向矩形特徴量Ｅを示す図である。
この勾配方向矩形特徴量Ｅは、異なる勾配方向の勾配強度画像の間に跨って、複数の矩形の特徴の差分等を用いるものである。
この勾配方向矩形特徴量Ｅは、異なる勾配方向の勾配強度画像の間におけるそれぞれの領域の勾配関係を捉える手法であり、２つの領域（白い領域と黒い領域）で、領域の形状や面積や位置が同じでもよく、または、異なってもよい。この勾配方向矩形特徴量Ｅは、異なる方向間での特徴の差分等を求めるものである。
図１８の例では、複数（Ｎ個）の勾配方向について、方向０のウィンドウの画像１３６１−０、方向１のウィンドウの画像１３６１−１、・・・、方向（Ｎ−１）のウィンドウの画像１３６１−（Ｎ−１）を示す。この例では、勾配方向毎に、矩形の形状や数が異なってもよい。
この勾配方向矩形特徴量Ｅは、異なる勾配方向に跨る勾配強度画像における複数の矩形の特徴関係を用いるため、異なる勾配方向の間の関係を捉えることができるという効果が得られる。
【０１３６】
ここで、勾配方向矩形特徴量Ｂ〜Ｅにおいて、複数の矩形の特徴の差分等を求めることについては、必ずしも領域間の差分だけでなく、差、和、積、商といった四則演算を考慮して、これらのうちの任意の１つ以上の演算を用いて、最適な特徴量を使用する（または、選択などする）ことができるようにする。また、差分（差）としては、差分の絶対値を用いることも可能である。
また、複数の矩形の特徴の差分等における複数の矩形としては、例えば、２個の矩形に限られず、３個以上の矩形が用いられてもよい。
【０１３７】
以上のように、本実施形態では、複数種類の勾配方向矩形特徴量Ａ〜Ｅのうちのいずれか１つ、または、任意の２つ以上の組み合わせを用いることができ、これにより、目標物体の特徴をより少ない識別器（本実施形態では、弱識別器）の数で捉えることができ、装置の構成を簡易化することができる。
【０１３８】
ここで、勾配方向矩形特徴量を用いることにより得られる効果について、より詳しく説明する。
本実施形態では、図３に示されるステップＳ４（および、図１０に示されるステップＳ２４も同様）の処理において、ＡｄａＢｏｏｓｔによる識別器で、勾配方向矩形特徴量を識別する。
この場合、勾配方向矩形特徴量とＡｄａＢｏｏｓｔの識別器とを組み合わせると、例えば、弱識別器の数が極力少ない条件にしても、不検出率が低い性能を持ち、且つ、誤検出率が低い性能を持つ物体認識のアルゴリズムを構成することができる。
【０１３９】
好ましい具体例として、勾配方向矩形特徴量について、各勾配方向のウィンドウの内の矩形領域（つまり、大きさ）に特に制限を設けず、目標物体の各部位の大小を問わず識別器（本実施形態では、ＡｄａＢｏｏｓｔの識別器）により学習し、目標物体の特徴を示す弱識別器を選択させる。
これにより、目標物体の大小の勾配矩形特徴の中で、特に有効な部分を厳選することができ、少ない弱識別器の数で識別器を構成することができる。このため、計算回数とメモリアクセス回数が少なく、短い演算処理時間で、目標物体が存在するウィンドウを絞り込むことや、目標物体を識別することができる。
【０１４０】
なお、識別器による識別に関して、不検出率は、目標物体を目標物体として検出（検知）することができない率のことであり、また、誤検出率は、目標物体以外を目標物体であると認識して検出する率のことである。
また、本実施形態では、ブースティング（Ｂｏｏｓｔｉｎｇ）として、ＡｄａＢｏｏｓｔを例として説明したが、広義のブースティングに適用しても、同様な効果を得ることが可能である。
【０１４１】
図１９（Ａ）〜図１９（Ｅ）を参照して、勾配方向および勾配強度の算出例を説明する。
図１９（Ａ）は、輝度画像の一例を示す図である。
この例では、横（水平）方向のｘ軸の画素位置をｕで表しており、右へ行くほど座標値が大きくなる。また、縦（垂直）方向のｙ軸の画素位置をｖで表しており、下へ行くほど座標値が大きくなる。
ｘ−ｙ直交座標の平面上における画素位置は、座標（ｕ、ｖ）で表される。
【０１４２】
図１９（Ｂ）は、勾配の一例を示す図である。
この例では、座標（ｕ、ｖ）の画素位置における輝度をＩ（ｕ、ｖ）で表す。
座標（ｕ、ｖ）の画素位置における横（水平）方向の輝度の勾配をＩｘで表し、Ｉｘを式（６）で表す。また、座標（ｕ、ｖ）の画素位置における縦（垂直）方向の輝度の勾配をＩｙで表し、Ｉｙを式（７）で表す。
【０１４３】
【数６】
2013250868.tif 000008
【０１４４】
【数７】
2013250868.tif 000009
【０１４５】
図１９（Ｃ）は、勾配強度の一例を示す図である。
この例では、座標（ｕ、ｖ）の画素位置における勾配強度をｍ（ｕ、ｖ）で表し、ｍ（ｕ、ｖ）を式（８）で表す。
図１９（Ｄ）は、勾配方向の一例を示す図である。
この例では、座標（ｕ、ｖ）の画素位置における勾配方向をθ（ｕ、ｖ）で表し、θ（ｕ、ｖ）を式（９）で表す。
【０１４６】
【数８】
2013250868.tif 000010
【０１４７】
【数９】
2013250868.tif 000011
【０１４８】
図１９（Ｅ）は、各勾配方向の範囲の一例を示す図である。
この例では、１８０ｄｅｇを８個の方向（方向０〜方向７）の範囲に分けている。この場合、１個の方向の範囲は２２．５ｄｅｇとなり、その範囲の中心の角度を基準とすると±１１．２５ｄｅｇの範囲となる。
この例では、方向０を縦の勾配の範囲とすると、方向４が横の勾配の範囲となる。
【０１４９】
ここで、画像における輝度の勾配は、微分画像に対応する。また、例えば、輝度の勾配が所定の閾値より大きい画素位置のつながりを勾配として検出することが可能である。
また、勾配を算出する手法としては、例えば、ソーベルフィルタを用いる手法などのように、他の手法を用いることもできる。
また、積分勾配画像は、例えば、ＨＯＧ特徴量を算出する際によく用いられるが、本実施形態では、矩形特徴量を算出する際に用いることを特徴とする。
【０１５０】
図２０（Ａ）〜図２０（Ｄ）は、左右（または、上下）対称とするための方向の組み合わせの例を示す図である。
この例では、図１９（Ｅ）に示される方向０〜７について示す。
【０１５１】
図２０（Ａ）に示されるように、方向１と方向７とが、対称性の対（組み合わせ）となる。
図２０（Ｂ）に示されるように、方向２と方向６とが、対称性の対となる。
図２０（Ｃ）に示されるように、方向３と方向５とが、対称性の対となる。
図２０（Ｄ）に示されるように、方向０はそれ自体が（つまり、方向０と方向０とが）、対称性の対となり、また、方向４はそれ自体が（つまり、方向４と方向４とが）、対称性の対となる。
【０１５２】
［以上に示した実施形態に関する構成例の説明］
以上に示した実施形態（第１実施形態〜第５実施形態）に係る画像処理システムについて、（実施形態に係る構成例１）〜（実施形態に係る構成例１４）を示す。
【０１５３】
（実施形態に係る構成例１）
目標物体の認識において、識別器（実施形態では、カスケード型の識別器）による識別結果で得られる複数のウィンドウについて、目標物体の左右対称性の判別を含めてクラスタリング処理する。
（実施形態に係る構成例２）
前記目標物体は、前走（前方に先行走行）する車両（より具体的には、その車両の背面）である。
【０１５４】
（実施形態に係る構成例３）
前記左右対称性の判別では、ウィンドウの左右領域のそれぞれで対称に勾配方向を合わせて、勾配方向矩形特徴量を用いて、対称性を判別（判定）する。
（実施形態に係る構成例４）
前記左右対称性の判別では、ウィンドウの左領域と右領域のそれぞれにおける勾配方向矩形特徴ベクトル間の距離に基づいて、対称性を判別する。
（実施形態に係る構成例５）
前記左右対称性の判別では、ウィンドウの左領域と右領域のそれぞれにおける勾配方向矩形特徴ベクトル間の相互相関に基づいて、対称性を判別する。
（実施形態に係る構成例６）
前記左右対称性の判別では、ウィンドウの左領域と右領域のそれぞれにおける勾配方向矩形特徴量を識別器で識別した結果をＡＮＤ論理で処理した結果に基づいて、対称性を判別する。
【０１５５】
（実施形態に係る構成例７）
前記左右対称性の判別では、ウィンドウの左右領域のそれぞれで対称に勾配方向を合わせて、ＨＯＧ特徴量を用いて、対称性を判別（判定）する。
（実施形態に係る構成例８）
前記左右対称性の判別では、ウィンドウの左領域と右領域のそれぞれにおけるＨＯＧ特徴ベクトル間の距離に基づいて、対称性を判別する。
（実施形態に係る構成例９）
前記左右対称性の判別では、ウィンドウの左領域と右領域のそれぞれにおけるＨＯＧ特徴ベクトル間の相互相関に基づいて、対称性を判別する。
（実施形態に係る構成例１０）
前記左右対称性の判別では、ウィンドウの左領域と右領域のそれぞれにおけるＨＯＧ特徴量を識別器で識別した結果をＡＮＤ論理で処理した結果に基づいて、対称性を判別する。
【０１５６】
（実施形態に係る構成例１１）
前記左右対称性の判別では、（実施形態に係る構成例３）〜（実施形態に係る構成例１０）のうちの１つまたは２つ以上の組み合わせで、対称性を判別する。
（実施形態に係る構成例１２）
前記識別器は、Ｂｏｏｓｔｉｎｇ等の統計的学習により作られる。
（実施形態に係る構成例１３）
前記識別器は、ＡｄａＢｏｏｓｔまたはＲｅａｌ  ＡｄａＢｏｏｓｔを用いる。
（実施形態に係る構成例１４）
以上において、左右対称性の代わりに、または、左右対称性とともに、上下対称性の判別を行う。
【０１５７】
以上のように、実施形態（第１実施形態〜第５実施形態）に示される画像処理システムにおける画像認識装置（実施形態では、カメラＥＣＵ１）の物体認識部１３、１３ａによると、左右対称性（または、上下対称性）判定処理により、目標物体の認識性能を向上させることができる。
また、実施形態では、パターン認識後のクラスタリング処理の中で、演算処理の負荷を極力抑えた左右（または、上下）対称性判別処理を施すことが可能である。
【０１５８】
本実施形態に係る物体認識部１３、１３ａによると、例えば、認識性能を向上した上で、車載用の装置に実装（組み込み）することができる程度に十分な演算処理速度が得られるため、１つの装置で、車間距離制御装置（ＡＣＣ）や前方車両衝突警報装置（ＦＣＷ）や衝突回避装置などの適用が可能となる効果を有する。
本実施形態では、ターゲットとする物体の認識に好適な装置や、方法や、これらに用いるコンピュータプログラムなどを提供することができる。
【０１５９】
ここで、実施形態では、目標物体として、車両を用いる場合を示したが、他の構成例として、一部の道路標識などのように左右対称性（または、上下対称性）がある物体を用いることも可能である。または、左右対称性と上下対称性との両方を有する物体を目標物体として用いることも可能である。
【０１６０】
［本発明に係る構成例の説明］
以下で、（本発明に係る構成例１）〜（本発明に係る構成例５）を示す。
（本発明に係る構成例１）
画像を取得する画像取得部（実施形態では、画像取得部１２）と、前記画像取得部により取得された画像に設定されるウィンドウ（実施形態では、ラスタスキャンにおけるウィンドウ）について、あらかじめ定められた目標の物体（実施形態では、車両）を捉えるウィンドウを決定する識別（実施形態では、カスケード型識別器による識別）を行う処理と、あらかじめ定められた左右対称性または上下対称性のうちの一方または両方について、対称性が無いと判定したウィンドウを不採用とする（例えば、棄却する）対称性判定を含んで、前記決定されたウィンドウをクラスタリングする処理と、を実行する物体認識部（実施形態では、物体認識部１３、１３ａ）と、を備えることを特徴とする画像認識装置（実施形態では、カメラＥＣＵ１）である。
【０１６１】
ここで、左右対称性と上下対称性の両方を判定する構成では、例えば、左右対称性が無い場合に（上下対称性の有無にかかわらずに）ウィンドウを不採用とする態様、上下対称性が無い場合に（左右対称性の有無にかかわらずに）ウィンドウを不採用とする態様、または、左右対称性が無く且つ上下対称性が無い場合にウィンドウを不採用とする態様を用いることができる。
【０１６２】
（本発明に係る構成例２）
前記物体認識部は、前記対称性判定において、ウィンドウにおける２つの対称領域のそれぞれにおける特徴ベクトルの間の距離に基づいて、対称性があるか否かを判定する、ことを特徴とする（本発明に係る構成例１）に記載の画像認識装置である（実施形態では、図７または図９に示される手法ａ１の処理）。
【０１６３】
（本発明に係る構成例３）
前記物体認識部は、前記対称性判定において、ウィンドウにおける２つの対称領域のそれぞれにおける特徴ベクトルの間の相互相関に基づいて、対称性があるか否かを判定する、ことを特徴とする（本発明に係る構成例１）または（本発明に係る構成例２）に記載の画像認識装置である（実施形態では、図７または図９に示される手法ａ２の処理）。
【０１６４】
（本発明に係る構成例４）
前記物体認識部は、前記対称性判定において、ウィンドウにおける２つの対称領域のそれぞれにおける特徴量を識別し、これら２つの識別結果をＡＮＤ論理で判定した結果に基づいて、対称性があるか否かを判定する、ことを特徴とする（本発明に係る構成例１）から（本発明に係る構成例３）のいずれか１つに記載の画像認識装置である（実施形態では、図７または図９に示される手法ｂの処理）。
【０１６５】
（本発明に係る構成例５）
前記物体認識部は、特徴量として、勾配方向矩形特徴量またはＨＯＧ特徴量を用いており、ウィンドウにおける２つの対称領域として、互いに対称となる方向の勾配量の領域を用いる、ことを特徴とする（本発明に係る構成例１）から（本発明に係る構成例４）のいずれか１つに記載の画像認識装置である（実施形態では、図６、図８、図２０に示される互いに対象となる方向）。
【０１６６】
（本発明に係る構成例６）
前記物体認識部は、前記対称性判定として、左右対称性について対称性が無いと判定したウィンドウを上下対称性の有無にかかわらず不採用とし、かつ、左右対称性があっても上下対称性について対称性があると判定したウィンドウを不採用とし、一方、左右対称性がありかつ上下対称性が無いと判定したウィンドウを採用する対称性判定を行う、ことを特徴とする（本発明に係る構成例１）から（本発明に係る構成例５）のいずれか１つに記載の画像認識装置である（第５実施形態を参照。）。
【０１６７】
［以上の実施形態についてのまとめ］
ここで、以上の実施形態では、図１（Ａ）に示される物体認識部１３または図１（Ｂ）に示される物体認識部１３ａを含む装置やシステムを車載用として車両に設ける構成を示したが、他の例として、他の任意の移動体に設けることも可能であり、あるいは、移動体以外のものに設けることも可能である。
また、以上の実施形態では、目標物体として、車両の背面を具体例として説明したが、例えば、車両の側面、２輪車、歩行者などや、あるいは、車室内の乗員の認識や顔の認識などのように、他の目標物体を認識する場合に適用することも可能であり、さらに、車両以外に関連する物体を認識する場合に適用することも可能である。
【０１６８】
また、勾配方向矩形特徴量について、以上の実施形態では、勾配方向毎の積分画像による積分勾配画像（インテグラルヒストグラム）を用いて勾配方向矩形特徴量を作成する手法を例として示したが、必ずしも積分勾配画像（インテグラルヒストグラム）が用いられなくてもよく、他の構成例として、セル単位で１画素（１ｐｉｘｅｌ）毎に方向を投票するように処理する手法などのように、他の手法が用いられてもよい。
【０１６９】
なお、図１（Ａ）や図１（Ｂ）などにおける任意の構成部（例えば、物体認識部１３、１３ａなど）により行われる処理の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、処理を行ってもよい。ここで言う「コンピュータシステム」とは、ＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）や周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは、表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことを言う。さらに、「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含むものとする。
【０１７０】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことを言う。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【０１７１】
また、上記に限られず、マイクロコンピュータのほか、例えば、ＦＰＧＡ、あるいは、ＤＳＰなどのデバイスを用いて、図１（Ａ）や図１（Ｂ）などにおける任意の構成部により行われる処理を実現することも可能である。
【０１７２】
以上、本発明の各実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
なお、以上に示した実施形態（第１実施形態〜第５実施形態）のうちの２つ以上が組み合わされて実施されてもよい。
【符号の説明】
【０１７３】
１…カメラＥＣＵ、２…警報装置、３…ＡＣＣ−ＥＣＵ、４…衝突回避制御−ＥＣＵ、１１…カメラ、１２…画像取得部、１３、１３ａ…物体認識部、１４…制御部、２１…ＦＰＧＡ（または、ＤＳＰ）、２２…マイクロコンピュータ、２３…メモリ、３１…第１の認識部、３２…第２の認識部、１０１〜１０３、４１１〜４１２、６１１〜６１２…識別器、２０１…画像領域、２１１、２２１、２３１、２４１、３１１〜３１３、３２１…ウィンドウ、３０１、５０１…平均勾配画像、３１１−０〜３１１−７、５１１−０〜５１１−７、１２０１、１２０５、１３４１−０〜１３４１−（Ｎ−１）、１３５１−０〜１３５１−（Ｎ−１）、１３６１−０〜１３６１−（Ｎ−１）、…画像、４０１、６０１…左領域の特徴ベクトルの情報、４０２、６０２…右領域の特徴ベクトルの情報、４２１、６２１…ＡＮＤ回路、１２０２、１３１１、１３１２、１３２１、１３２２、１３３１…勾配強度画像、１２０３、１２０６、１２０８−０〜１２０８−７…積分勾配画像、１２０４…ラスタスキャン領域、１２０７…勾配方向矩形特徴量、１２０９…減算器、１２１０−０〜１２１０−７…処理、１３０１…単矩形
【図１】
2013250868.tif 000012
【図２】
2013250868.tif 000013
【図３】
2013250868.tif 000014
【図４】
2013250868.tif 000015
【図５】
2013250868.tif 000016
【図７】
2013250868.tif 000017
【図９】
2013250868.tif 000018
【図１０】
2013250868.tif 000019
【図１１】
2013250868.tif 000020
【図１２】
2013250868.tif 000021
【図１４】
2013250868.tif 000022
【図１５】
2013250868.tif 000023
【図１６】
2013250868.tif 000024
【図１７】
2013250868.tif 000025
【図１８】
2013250868.tif 000026
【図１９】
2013250868.tif 000027
【図２０】
2013250868.tif 000028
【図６】
2013250868.tif 000029
【図８】
2013250868.tif 000030
【図１３】
2013250868.tif 000031