(57)【要約】検出対象画像についてＨＯＧ特徴量（Ａ）を算出し、被検出物Ｐを撮像したサンプル画像２０について予め算出したＨＯＧ特徴量（Ｂ）を基準にして検出対象画像中の被検出物Ｐの存否を検知する物体の検出方法及び物体の検出装置１０において、サンプル画像２０中の複数の局所領域１９それぞれについてビン数の異なる複数のＨＯＧ特徴量（Ｂ）を算出して求めた被検出物Ｐの存在を示す特徴量パターンを基に、検出対象画像中の被検出物Ｐの存否を判定する識別器１８を構築し、検出対象画像中の複数の局所領域１９それぞれに対して算出するビン数の異なる複数のＨＯＧ特徴量（Ａ）を基に、識別器１８によって検出対象画像中の被検出物Ｐの存否を判定する。
2012073894.tif 000002
【特許請求の範囲】
【請求項１】
検出対象画像について輝度勾配を示すＨＯＧ特徴量（Ａ）を算出し、被検出物を撮像したサンプル画像について予め算出した輝度勾配を示すＨＯＧ特徴量（Ｂ）を基準にして前記検出対象画像中の前記被検出物の存否を検知する物体の検出方法において、
前記サンプル画像中の複数の局所領域それぞれについてビン数の異なる複数の前記ＨＯＧ特徴量（Ｂ）を算出し、前記被検出物の存在を示す特徴量パターンを求める工程と、
前記検出対象画像中の前記被検出物の存否を判定する識別器を、前記特徴量パターンを基にして構築する工程と、
前記検出対象画像中の複数の局所領域それぞれに対して算出するビン数の異なる複数の前記ＨＯＧ特徴量（Ａ）を基に、前記識別器によって前記検出対象画像中の前記被検出物の存否を判定する工程とを有することを特徴とする物体の検出方法。
【請求項２】
請求項１記載の物体の検出方法において、前記被検出物は人であって、前記識別器は、ビン数の異なる複数の前記ＨＯＧ特徴量（Ａ）を基にして前記検出対象画像中の前記被検出物の全身、上半身及び下半身の検出を行い、検出した該被検出物の全身、上半身及び下半身のそれぞれの向きを検知して、該被検出物全体の向きを判定することを特徴とする物体の検出方法。
【請求項３】
請求項１又は２記載の物体の検出方法において、前記各ＨＯＧ特徴量（Ｂ）の複数のビンから、学習アルゴリズムによって前記特徴量パターンを求めるのに有効な前記ビンを選択することを特徴とする物体の検出方法。
【請求項４】
請求項３記載の物体の検出方法において、前記学習アルゴリズムはＡｄａＢｏｏｓｔであることを特徴とする物体の検出方法。
【請求項５】
検出対象画像について輝度勾配を示すＨＯＧ特徴量（Ａ）を算出し、被検出物を撮像したサンプル画像について予め算出した輝度勾配を示すＨＯＧ特徴量（Ｂ）を基準にして前記検出対象画像中の前記被検出物の存否を検知する物体の検出装置において、
前記サンプル画像中の複数の局所領域それぞれについてビン数の異なる複数の前記ＨＯＧ特徴量（Ｂ）を算出し、複数の該ＨＯＧ特徴量（Ｂ）から前記被検出物の存在を示す特徴量パターンを求め、しかも、前記検出対象画像中の複数の局所領域それぞれについてビン数の異なる複数の前記ＨＯＧ特徴量（Ａ）を算出する演算手段と、
前記演算手段によって前記特徴量パターンを基に構築され、前記検出対象画像中の前記被検出物の存否を判定する識別器とを有し、
前記識別器は、前記演算手段が算出したビン数の異なる複数の前記ＨＯＧ特徴量（Ａ）を基にして前記検出対象画像中の前記被検出物の存否を判定することを特徴とする物体の検出装置。
【請求項６】
請求項５記載の物体の検出装置において、前記被検出物は人であって、前記識別器は、ビン数の異なる複数の前記ＨＯＧ特徴量（Ａ）を基にして前記検出対象画像中の前記被検出物の全身、上半身及び下半身の検出を行い、検出した該被検出物の全身、上半身及び下半身のそれぞれの向きを検知して、該被検出物全体の向きを判定することを特徴とする物体の検出装置。
【請求項７】
請求項５又は６記載の物体の検出装置において、前記演算手段は、前記各ＨＯＧ特徴量（Ｂ）の複数のビンから、学習アルゴリズムによって前記特徴量パターンを求めるのに有効な前記ビンを選択することを特徴とする物体の検出装置。
【請求項８】
請求項７記載の物体の検出装置において、前記学習アルゴリズムはＡｄａＢｏｏｓｔであることを特徴とする物体の検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像された画像中に人物や特定の物が存在しているか否かを検出する物体の検出方法及びその方法を用いた物体の検出装置に関する。
【背景技術】
【０００２】
近年、ＩＴＳ（Ｉｎｔｅｌｌｉｇｅｎｔ  Ｔｒａｎｓｐｏｒｔ  Ｓｙｓｔｅｍ：高度交通システム）においては、車載カメラによって撮像される画像中の歩行者、車両、道路標識等をＩＴ（Ｉｎｆｏｒｍａｔｉｏｎ  Ｔｅｃｈｎｏｌｏｇｙ）を用いて検知する物体の検出技術が注目されている。
屋外で撮像された画像を対象とした物体の検出は、照明条件の変化やオクルージョン（画像上での移動体同士の重なり）等が影響して容易でないが、交通事故を減少させる効果があるため世界中で活発な研究がなされている。【０００３】
画像中の物体を検出する方法として、ＨＯＧ（Ｈｉｓｔｏｇｒａｍｓ  ｏｆ  Ｏｒｉｅｎｔｅｄ  Ｇｒａｄｉｅｎｔｓ）特徴量を用いたものがある。ＨＯＧ特徴量は、画像中に存在する物体の形状を表現可能な特徴量であり、画像の各画素（ピクセル）の輝度情報から求められ、画像中の局所領域（セル）における輝度勾配の方向及び大きさを基にして得られるヒストグラム化された特徴量である。
非特許文献１には、このＨＯＧ特徴量とＳＶＭ（Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅ）を用いた手法が記載されている。この方法は、一定の大きさを備えたセル（ブロック）を画像中で移動させながら順次そのブロック部分のＨＯＧ特徴量を算出し、その画像に人が存在するか否かを検出するものである。
また、その他にもＨＯＧ特徴量を用いた物体の検出方法として、非特許文献２には複数のＨＯＧ特徴量間の共起を表すＪｏｉｎｔ特徴を用いた方法が記載されている。そして、非特許文献３には、ブロックの大きさを変えて複数のＨＯＧ特徴量を算出する手法が記載されている。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Ｎ．Ｄａｌａｌ、Ｂ．Ｔｒｉｇｇｓ、「ヒストグラムズ  オブ  オリエンティッド  グラディエンツ  フォー  ヒューマン  ディテクション（Ｈｉｓｔｏｇｒａｍｓ  ｏｆ  Ｏｒｉｅｎｔｅｄ  Ｇｒａｄｉｅｎｔｓ  ｆｏｒ  Ｈｕｍａｎ  Ｄｅｔｅｃｔｉｏｎ）」、アイイーイーイー  シーブイピーアール（ＩＥＥＥ  ＣＶＰＲ）、ｐ．８８６−８９３、２００５年
【非特許文献２】藤吉弘亘、「局所特徴量の関連性に着目したＪｏｉｎｔ特徴による物体検出」、電子情報通信学会研究会、２００９年
【非特許文献３】Ｑ．Ｚｈｕ、Ｓ．Ａｖｉｄｅｎ、Ｍ．Ｙｅｈ、Ｋ．Ｃｈｅｎｇ、「ファースト  ヒューマン  ディテクション  ユージング  ア  カスケード  オブ  ヒストグラムズ  オブ  オリエンティッド  グラディエンツ（Ｆａｓｔ  Ｈｕｍａｎ  Ｄｅｔｅｃｔｉｏｎ  Ｕｓｉｎｇ  ａ  Ｃａｓｃａｄｅ  ｏｆ  Ｈｉｓｔｏｇｒａｍｓ  ｏｆ  Ｏｒｉｅｎｔｅｄ  Ｇｒａｄｉｅｎｔｓ）」、アイイーイーイー  シーブイピーアール（ＩＥＥＥ  ＣＶＰＲ）、６月、２００６年
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、前記従来の方法ではＨＯＧ特徴量のビン数が特定の一の値であることから、画像中のセルの位置によっては、得られるＨＯＧ特徴量が物体を特定するための基準として相応しくないものを含むことを出願人は研究によって確認した。
そこで、出願人は物体の存否を検知する識別器を、一のビン数からなるＨＯＧ特徴量を用いて構築する従来の手法を変えることによって、物体の検出精度の向上を図れないかという点に着目した。
本発明は、かかる事情に鑑みてなされるもので、画像中の局所領域の各位置に対してビン数の異なる複数のＨＯＧ特徴量を算出し、物体を検出するための基準を構築する物体の検出方法及びその方法を用いた物体の検出装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
前記目的に沿う本発明に係る物体の検出方法は、検出対象画像について輝度勾配を示すＨＯＧ特徴量（Ａ）を算出し、被検出物を撮像したサンプル画像について予め算出した輝度勾配を示すＨＯＧ特徴量（Ｂ）を基準にして前記検出対象画像中の前記被検出物の存否を検知する物体の検出方法において、前記サンプル画像中の複数の局所領域それぞれについてビン数の異なる複数の前記ＨＯＧ特徴量（Ｂ）を算出し、前記被検出物の存在を示す特徴量パターンを求める工程と、前記検出対象画像中の前記被検出物の存否を判定する識別器を、前記特徴量パターンを基にして構築する工程と、前記検出対象画像中の複数の局所領域それぞれに対して算出するビン数の異なる複数の前記ＨＯＧ特徴量（Ａ）を基に、前記識別器によって前記検出対象画像中の前記被検出物の存否を判定する工程とを有する。【０００７】
本発明に係る物体の検出方法において、前記被検出物は人であって、前記識別器は、ビン数の異なる複数の前記ＨＯＧ特徴量（Ａ）を基にして前記検出対象画像中の前記被検出物の全身、上半身及び下半身の検出を行い、検出した該被検出物の全身、上半身及び下半身のそれぞれの向きを検知して、該被検出物全体の向きを判定するのが好ましい。
ここで、全身、上半身及び下半身のそれぞれの向きを検知した中で最も多かった検知方向を、被検出物全体の向きと判定することができる。【０００８】
本発明に係る物体の検出方法において、前記各ＨＯＧ特徴量（Ｂ）の複数のビンから、学習アルゴリズムによって前記特徴量パターンを求めるのに有効な前記ビンを選択するのが好ましい。【０００９】
本発明に係る物体の検出方法において、前記学習アルゴリズムはＡｄａＢｏｏｓｔであるのが好ましい。【００１０】
前記目的に沿う本発明に係る物体の検出装置は、検出対象画像について輝度勾配を示すＨＯＧ特徴量（Ａ）を算出し、被検出物を撮像したサンプル画像について予め算出した輝度勾配を示すＨＯＧ特徴量（Ｂ）を基準にして前記検出対象画像中の前記被検出物の存否を検知する物体の検出装置において、前記サンプル画像中の複数の局所領域それぞれについてビン数の異なる複数の前記ＨＯＧ特徴量（Ｂ）を算出し、複数の該ＨＯＧ特徴量（Ｂ）から前記被検出物の存在を示す特徴量パターンを求め、しかも、前記検出対象画像中の複数の局所領域それぞれについてビン数の異なる複数の前記ＨＯＧ特徴量（Ａ）を算出する演算手段と、前記演算手段によって前記特徴量パターンを基に構築され、前記検出対象画像中の前記被検出物の存否を判定する識別器とを有し、前記識別器は、前記演算手段が算出したビン数の異なる複数の前記ＨＯＧ特徴量（Ａ）を基にして前記検出対象画像中の前記被検出物の存否を判定する。【００１１】
本発明に係る物体の検出装置において、前記被検出物は人であって、前記識別器は、ビン数の異なる複数の前記ＨＯＧ特徴量（Ａ）を基にして前記検出対象画像中の前記被検出物の全身、上半身及び下半身の検出を行い、検出した該被検出物の全身、上半身及び下半身のそれぞれの向きを検知して、該被検出物全体の向きを判定するのが好ましい。
ここで、全身、上半身及び下半身のそれぞれの向きを検知した中で最も多かった検知方向を、被検出物全体の向きと判定することができる。【００１２】
本発明に係る物体の検出装置において、前記演算手段は、前記各ＨＯＧ特徴量（Ｂ）の複数のビンから、学習アルゴリズムによって前記特徴量パターンを求めるのに有効な前記ビンを選択するのが好ましい。【００１３】
本発明に係る物体の検出装置において、前記学習アルゴリズムはＡｄａＢｏｏｓｔであるのが好ましい。
【発明の効果】
【００１４】
本発明に係る物体の検出方法及び物体の検出装置は、サンプル画像中の複数の局所領域それぞれについてビン数の異なる複数のＨＯＧ特徴量（Ｂ）を算出して求めた被検出物の存在を示す特徴量パターンを基にして、検出対象画像中の被検出物の存否を判定する識別器を構築し、検出対象画像中の複数の局所領域それぞれに対して算出するビン数の異なる複数のＨＯＧ特徴量（Ａ）を基に、識別器によって検出対象画像中の被検出物の存否を判定するので、ビン数の異なる複数のＨＯＧ特徴量（Ｂ）を算出することにより、被検出物の存在を検出する基準に相応しくないＨＯＧ特徴量（Ｂ）のビン（成分）は用いず、被検出物の存在を検出する基準に相応しい、同じヒストグラムの他のビン（成分）又はビン数の異なる他のＨＯＧ特徴量（Ｂ）のビン（成分）を用いることにより、物体検出に効果的な成分から構成される特徴量を抽出することができ、被検出物の存否判定精度を高めることが可能である。【００１５】
本発明に係る物体の検出方法及び物体の検出装置において、被検出物が人であって、識別器が、ビン数の異なる複数のＨＯＧ特徴量（Ａ）を基にして検出対象画像中の被検出物の全身、上半身及び下半身の検出を行い、検出した被検出物の全身、上半身及び下半身のそれぞれの向きを検知して、被検出物全体の向きを判定する場合、被検出物の全身のみを対象にして被検出物全体の向きの判定をするのに比べて判定対象が多くなり、判定精度の向上を図ることができる。【００１６】
本発明に係る物体の検出方法及び物体の検出装置において、各ＨＯＧ特徴量（Ｂ）の複数のビンから、学習アルゴリズムによって特徴量パターンを求めるのに有効なビンを選択する場合には、識別器を構築する基となる特徴量パターンを、被検出物の検出を行う基準に適したビンから求めることができ、被検出物の検出を確実に行うことが可能である。
【図面の簡単な説明】
【００１７】
【図１】本発明の一実施例に係る物体の検出装置のブロック図である。
【図２】本発明の一実施例に係る物体の検出方法の説明図である。
【図３】同物体の検出方法の説明図である。
【図４】同物体の検出方法の準備フェーズを示すフローチャートである。
【図５】同物体の検出方法の判定フェーズを示すフローチャートである。
【図６】実験例及び比較例１、２で使用する学習用画像と評価用画像の説明図である。
【発明を実施するための形態】
【００１８】
続いて、添付した図面を参照しつつ、本発明を具体化した実施例につき説明し、本発明の理解に供する。
図１〜図５に示すように、本発明の一実施例に係る物体の検出方法及びその方法を用いた物体の検出装置１０は、検出対象画像について輝度勾配を示すＨＯＧ特徴量（Ａ）を算出し、被検出物を撮像したサンプル画像２０について予め算出した輝度勾配を示すＨＯＧ特徴量（Ｂ）を基準にして検出対象画像中の被検出物の存否を検知するものである。
以下、これらについて詳細に説明する。
【００１９】
本発明の一実施例に係る物体の検出装置１０は、図１に示すように、主としてカメラ１１、計算機１２（例えばマイクロコンピュータ）及びディスプレイ１３を備え、例えば車両に搭載される。
計算機１２は、カメラ１１に信号接続されており、カメラ１１で撮像した画像に被検出物Ｐ（図２参照）が存在しているか否かを判定し、存在している場合はその向きの判定も行って、判定結果をディスプレイ１３に表示する。
【００２０】
計算機１２には、情報処理を行うＣＰＵ１４と、各種プログラムが搭載されたハードディスク１５と、ＣＰＵ１４がアクセス可能なメモリ１６が設けられている。
ハードディスク１５には、カメラ１１で撮像した画像について輝度勾配を示すＨＯＧ特徴量を算出する演算手段１７と、演算手段１７によって構築され、画像中の被検出物Ｐの存否を判定する識別器１８が搭載されている。ここでいう「画像」には、被検出物Ｐを撮像した図２に示すサンプル画像２０と、被検出物Ｐが撮像されているか否かの判定がなされる検出対象画像の２種類があり、共にカメラ１１によって撮像される（以下、単に「画像」という場合は、サンプル画像２０と検出対象画像の２種類を指す）。
なお、演算手段１７及び識別器１８はハードディスク１５に記憶されているプログラムである。また、計算機１２には、ＣＰＵ１４を搭載した回路とカメラ１１、ディスプレイ１３及びハードディスク１５をそれぞれ信号接続するインターフェース１１ａ、１３ａ、１５ａが設けられている。
【００２１】
演算手段１７は、カメラ１１で撮像した画像について、図２に示す一定の大きさのセル（局所領域）１９内の部分を対象にビン数の異なる複数のＨＯＧ特徴量を算出することができる。ここでいう「ＨＯＧ特徴量」は、検出対象画像について算出されるＨＯＧ特徴量（Ａ）とサンプル画像２０について算出されるＨＯＧ特徴量（Ｂ）の両方を指す（以下同じ）。
ＨＯＧ特徴量とは、図３で示すように、セル１９の輝度勾配方向を横軸、輝度勾配の大きさ（強度）を縦軸として輝度勾配をヒストグラム化した特徴量であり、０°〜１８０°の方向を複数の方向領域に分割し、各方向領域に対応する輝度勾配の大きさをヒストグラムのビンの高さで示したものである。
画像中では物体の輪郭（その物体と背景との境界）が位置する箇所で輝度勾配が大きくなるので、ＨＯＧ特徴量を求めることにより画像中にある物体の形状を検知することができる。このため、予めサンプル画像２０から被検出物Ｐ（本実施例では人）を示すＨＯＧ特徴量（Ｂ）のパターン（特徴量パターンを指し、以下単に「特徴量パターン」ともいう）を学習し、その学習した特徴量パターンを基にして検出対象画像中に被検出物が存在しているか否かを判定するための識別器１８を構築することができる。
【００２２】
本実施例では、カメラ１１で撮像される画像の大きさは、図２に示すように、３０×６０ピクセルであり、セル１９の大きさは５×５ピクセルである。
演算手段１７は、セル１９内にある各ピクセルの輝度を基にして、式１により輝度勾配の大きさｍを算出し、式２により輝度勾配方向θを算出する。
【００２３】
【数１】
2012073894.tif 000003
【００２４】
式１及び式２のｆｘ（ｘ、ｙ）は図２に示すＸ軸方向（左右方向）の輝度の差分であり、ｆｙ（ｘ、ｙ）は図１に示すＹ軸方向（上下方向）の輝度の差分である。ここで、画像中の座標（ｘ、ｙ）に位置するピクセルの輝度をＩ（ｘ、ｙ）とすると、ｆｘ（ｘ、ｙ）は式３で、ｆｙ（ｘ、ｙ）は式４でそれぞれ求めることができる。
【００２５】
【数２】
2012073894.tif 000004
【００２６】
演算手段１７は、セル１９を画像中で移動させ、セル１９が移動する度にセル１９内の各ピクセルの輝度を基にしてセル１９内の領域の輝度勾配の大きさｍと輝度勾配方向θを算出する。
セル１９は、画像のＸ軸方向両端部の一側から他側に１ピクセルずつ移動し、Ｘ軸方向の他側端部に到達した段階で、Ｘ方向の一側端部でかつＹ方向に１ピクセルずれた位置に移動し、その後Ｘ軸方向に１ピクセルずつの移動を行う。
演算手段１７は、セル１９が画像の全領域を移動し終えるまで、セル１９の移動を続け、セル１９が移動するごとに、ビン数の異なるＮ個（Ｎ≧２）のＨＯＧ特徴量を算出する。
従って演算手段１７はセル１９の移動の開始から終了までに、セル１９の１４５６個（１４５６＝（３０−５＋１）×（６０−５＋１））の配置位置についてそれぞれＮ個、合計で１４５６Ｎ個のＨＯＧ特徴量を算出することになる。本実施例では、画像中におけるセル１９の各配置位置についてビン数が３、５、７、９の計４つ（Ｎ＝４）のＨＯＧ特徴量が算出される。
【００２７】
演算手段１７は、被検出物Ｐである人（ここでいう「人」とは、特定の人を指さず、様々な物の中で人間のジャンルに属する物体を指し、以下についても同じとする）を撮像した複数のサンプル画像２０について、サンプル画像２０中でのセル１９の各配置位置に対してそれぞれビン数の異なるＮ個のＨＯＧ特徴量（Ｂ）を算出し、このサンプル画像２０について算出したＮ個のＨＯＧ特徴量（Ｂ）からサンプル画像２０中の人の存在を示す特徴量パターンを求め、この特徴量パターンから識別器１８を構築する。
そして、演算手段１７は、検出対象画像中のセル１９の各配置位置に対してそれぞれビン数の異なるＮ個のＨＯＧ特徴量（Ａ）を算出し、この算出されたＨＯＧ特徴量（Ａ）を識別器１８に与える。
【００２８】
識別器１８は、演算手段１７から与えられた検出対象画像について算出されたＨＯＧ特徴量（Ａ）を基にして検出対象画像中の人の存否を判定する。
また、識別器１８は、検出対象画像中に人が存在することを検知した場合、検出対象画像について演算手段１７が算出したＨＯＧ特徴量（Ａ）を基にして、検出対象画像中の人の全身、上半身及び下半身の検出を行い、その検出した人の全身、上半身及び下半身それぞれについて向きを検知して、検出対象画像中の人全体の向きを判定する。
【００２９】
以下に、検出対象画像中の人の存否及び人の向きの判定方法（即ち本発明の一実施例に係る物体の検出方法）について説明する。
検出対象画像中の人の存否及び人の向きの判定方法は、検出対象画像の人の存否及び人の向きを判定するための識別器１８を構築する準備フェーズと、識別器１８が検出対象画像中の人の存否及び人の向きの判定を行う判定フェーズに分けられる。
準備フェーズでは、サンプル画像２０中のセル１９の複数の異なる配置位置（即ち複数の局所領域）それぞれについてビン数の異なるＮ個のＨＯＧ特徴量（Ｂ）、人が存在しない場合の画像（図示せず）中のセルの複数の異なる配置位置それぞれについてビン数の異なる複数（例えば、ＨＯＧ特徴量（Ｂ）と同程度の個数）のＨＯＧ特徴量をそれぞれ算出し、人の存在を示す特徴量パターンを求める工程と、検出対象画像中の人の存否を判定する識別器１８を、特徴量パターンを基にして構築する工程が行われる。
判定フェーズでは、検出対象画像中のセル１９の複数の異なる配置位置それぞれに対して算出するビン数の異なるＮ個のＨＯＧ特徴量（Ａ）を基にして、識別器１８によって検出対象画像中の人の存否及び人の向きを判定する工程が行われる。
【００３０】
演算手段１７が準備フェーズ及び判定フェーズにおいて算出するＨＯＧ特徴量は、ＨＯＧ特徴量を構成するビン数の決定及び各ビンの要素（大きさ）を求めることにより導出される。
画像中のＨＯＧ特徴量を算出するセル１９の最初の位置を１番目のセル１９の位置、ｋ−１回目の移動を行った段階でのセル１９の位置をｋ番目のセル１９の位置とすると（ｋは２以上の整数）、ｋ番目のセル１９の位置のビン数ＢｂのＨＯＧ特徴量のｉ番目のビンの要素ａｋｂｉは、式５で求めることができる。
【００３１】
【数３】
2012073894.tif 000005
【００３２】
式５中のｂは、ａｋｂｉとＢｂの対応を示す添え字（インデックス、アイディー）であり、本実施例では、ｂ＝０、１、２、３でＢ０＝３、Ｂ１＝５、Ｂ２＝７、Ｂ３＝９、ａｋｂｉとＢｂは、ａｋ０ｉがＢ０、ａｋ１ｉがＢ１、ａｋ２ｉがＢ２、ａｋ３ｉがＢ３にそれぞれ対応している。
準備フェーズでは、まず、図４に示すように、画像内に人を収めた複数のサンプル画像２０をカメラ１１によって撮像し、そのサンプル画像２０を、記憶媒体（例えばＵＳＢメモリ）あるいは通信ネットワークを介してデータベースとして計算機１２のハードディスク１５に入力してハードディスク１５に記憶させる（ステップＳ１）。
各サンプル画像２０には、カメラ１１に対して正面を向いた人、左を向いた人、右を向いた人が撮像されている。
【００３３】
次に、ハードディスク１５に記憶した複数のサンプル画像２０それぞれについて、ビン数の異なる複数のＨＯＧ特徴量（Ｂ）を算出する（ステップＳ２）。なお、算出すべきＨＯＧ特徴量（Ｂ）のビン数は予め定められており、本実施例では、ビン数が３、５、７、９のＨＯＧ特徴量（Ｂ）が算出される。
ステップＳ２では、図４に示すように、サンプル画像２０中をセル１９が移動し（ステップＳ２−１）、演算手段１７は、セル１９が移動する度に、予め定められたビン数からＨＯＧ特徴量（Ｂ）の算出を行うビン数を決定し（ステップＳ２−２）、その決定したビン数のＨＯＧ特徴量（Ｂ）を算出する（ステップＳ２−３）。
演算手段１７は、セル１９をサンプル画像２０中で固定した状態で異なるビン数のＨＯＧ特徴量（Ｂ）の算出を行い、予め定められた全てのビン数のＨＯＧ特徴量（Ｂ）を算出し終えた後に、セル１９を移動する（ステップＳ２−４）。
このＨＯＧ特徴量（Ｂ）の算出は、各サンプル画像２０について、サンプル画像２０の始点（１番目のセル１９の位置）からセル１９が移動して終点位置（１４５６番目のセル１９の位置）に配置されるまで順次行われる（ステップＳ２−５）。
【００３４】
演算手段１７は、図３に示すように、学習アルゴリズムの一つであるＡｄａＢｏｏｓｔによって、算出された各ＨＯＧ特徴量（Ｂ）の複数のビンから特徴量パターンを求めるのに有効なビン（即ち、被検出物の検出を行う基準に適したビン）の選択が行われる（ステップＳ３）。
例えば、右向きの人を検出しようとする場合、右を向いた人のサンプル画像を用いて、画像内の全セルを対象に、ビン数３、５、７、及び９の各ＨＯＧ特徴量を算出し、ＡｄａＢｏｏｓｔのアルゴリズムを用いて特徴選択を行い、例えば、右向きの人の頭部前側を示すのに有効なビンのＨＯＧ特徴量を抽出する。図３には、ビン数３の場合では１番目及び３番目のＨＯＧ特徴量が、ビン数５の場合では１番目、３番目、及び４番目のＨＯＧ特徴量が、ビン数７の場合では１番目、２番目、３番目、５番目、及び７番目のＨＯＧ特徴量が、ビン数９の場合では１番目、２番目、５番目、６番目、及び８番目のＨＯＧ特徴量がそれぞれ選択されたことを示している。その結果、右向きの人の頭部前側を含むセルの初めのＨＯＧ特徴量は（３＋５＋７＋９）個の成分を有していたが、ＡｄａＢｏｏｓｔにより、このセルのＨＯＧ特徴量を、右向きの人の検出（物体検出）に有効な（２＋３＋５＋５）個の成分のみで構成することができる。
同様に、サンプル画像中の他の部位、例えば、胴体背面側上部、胴体前面側中部、臀部、脚前面上部、脚背面中部、脚前面下部等をそれぞれ含むセル内を対象にビン数３、５、７、及び９の各ＨＯＧ特徴量を算出し、ＡｄａＢｏｏｓｔのアルゴリズムを用いて特徴選択する。これにより、ビン数３、５、７、及び９の各ＨＯＧ特徴量から、右向きの人の各部位を示すのに有効なビンのみのＨＯＧ特徴量が求まる。
このように、ビン数３、５、７、及び９の各ＨＯＧ特徴量において、右を向いた人の存在を検出する基準に相応しくないＨＯＧ特徴量のビンは用いず、右を向いた人の存在を検出する基準に相応しい、同じヒストグラムの他のビン（成分）又はビン数の異なる他のＨＯＧ特徴量（Ｂ）のビン（成分）を用いることにより、右を向いた人の存在の検出に効果的な成分から構成される特徴量を抽出することができ、被検出物の存否判定精度を高めることが可能となる。
正面を向いた人を検出しようとする場合、正面を向いた人のサンプル画像を用いて、左向きの人を検出しようとする場合、左を向いた人のサンプル画像を用いて、同様の処理を行うことで、正面を向いた人のビン数３、５、７、及び９の各ＨＯＧ特徴量から、正面を向いた人の各部位を示すのに有効なビンのみのＨＯＧ特徴量が、左を向いた人のビン数３、５、７、及び９の各ＨＯＧ特徴量から、左を向いた人の各部位を示すのに有効なビンのみのＨＯＧ特徴量がそれぞれ求まる。
このステップＳ３を設けることにより、画像中の人の存否及び向きの判定をするのに有効なビンのみを、特徴量パターンを算出するための基にすることができる。なお、有効なビンの選択には、ＡｄａＢｏｏｓｔ以外にも、例えばＰＣＡ（Ｐｒｉｎｃｉｐｌｅ  Ｃｏｍｐｏｎｅｎｔ  Ａｎａｌｙｓｉｓ）のようなデータ圧縮法や他のアルゴリズムを用いることができる。
ステップＳ３が完了後、ＡｄａＢｏｏｓｔにより選択されたＨＯＧ特徴量（Ｂ）のビンの各要素ａｋｂｉに対し、式６により正規化を行う（ステップＳ４）。
【００３５】
【数４】
2012073894.tif 000006
【００３６】
ここで、ａ’ｋｂｉは正規化後の要素、Ａｋｂ（＝［ａｋｂ１、ａｋｂ２、・・・ａｋｂＢｂ］）はＢｂ方向（例えば５方向）の勾配方向ヒストグラム、そして、εは分母がゼロになるのを回避するための係数である。
ステップＳ４終了後、演算手段１７はパターン識別手法の一つであるＳＶＭ学習により、サンプル画像２０を基にして、画像中に人が存在することを示す特徴量パターンを求め、この特徴量パターンから、１）人の存否判定（人の全身検知判定）と、２）人の全身から上半身及び下半身を機械的に分ける過程と、３）人の向きの判定とを行う識別器１８をハードディスク１５内に構築する（ステップＳ５）。
以下、１）、２）、及び３）について各別に説明する。
１）人の存否判定
サンプル画像２０を用いて、ＡｄａＢｏｏｓｔのアルゴリズムにより、画像中に人が存在することを示す特徴量パターンであるＨＯＧ特徴量（正面を向いた人の検出用に選択されたＨＯＧ特徴量、左を向いた人の検出用に選択されたＨＯＧ特徴量、及び右を向いた人の検出用に選択されたＨＯＧ特徴量）を複数選択し、これらのＨＯＧ特徴量を組合せて人の検知を行う検知手段（識別器１８の一部）を形成する。
ここで、検知手段は、人の全身検知判定をした場合は正の出力値、人が存在しないと判定した場合は負の出力値をそれぞれ出力する機能を有するので、サンプル画像２０に対して判定手段が人が存在すると判定した結果（正の出力値）と、人が存在しない場合の画像に対して検知手段が人が存在しないと判定した結果（負の出力値）をＳＶＭ学習することから、検知手段が人の全身検知判定する際の出力値（人検知判定閾値）を決定することができる。
従って、検出対象画像を検知手段を用いて判定した際の出力値を求め、得られた出力値と人検知判定閾値を比較して、出力値が人検知判定閾値以上では人が存在すると判定し、出力値が人検知判定閾値未満では人が存在しないと判定する判定手段（識別器１８の一部）を形成する。
２）人の上半身及び下半身の検知
人の全身が検知された場合、人の全身を機械的に上下に２分割することにより、検知された人の上半身及び下半身をそれぞれ特定することができる。従って、人の全身検出用に選択されたＨＯＧ特徴量を、人の上半身及び下半身の検知にそれぞれ有効なＨＯＧ特徴量に分ける分割手段（識別器１８の一部）を形成することにより、人の上半身及び下半身がそれぞれ検知された場合に相当する出力値を求めることができる。
３）人の向きの判定
人の全身を検知した際の判定手段の出力値とサンプル画像２０中の人の向き（正面向き、左向き、及び右向き）をＳＶＭ学習することから、１ｖｓ．１法では、右向きか正面向きかの優劣判定の閾値、正面向きか左向きかの優劣判定の閾値、左向きか右向きかの優劣判定の閾値をそれぞれ決定する。また、１ｖｓ．ｒｅｓｔ法では、右向きか右向き以外か（即ち、正面向きか左向きか）の優劣判定の閾値、左向きか左向き以外か（即ち、正面向きか右向きか）の優劣判定の閾値、正面向きか正面向き以外か（即ち、右向きか左向きか）の優劣判定の閾値をそれぞれ決定する。同様に、人の上半身及び人の下半身の場合について、１ｖｓ．１法及び１ｖｓ．ｒｅｓｔ法での各閾値を求める。
そして、検出対象画像中に人が存在すると判定された場合において、人の全身、人の上半身、及び人の下半身それぞれの出力値とｖｓ．１法及び１ｖｓ．ｒｅｓｔ法の各優劣判定の閾値を比較して、右向きか正面向きか、正面向きか左向きか、左向きか右向きか、右向きか右向き以外か、左向きか左向き以外か、正面向きか正面向き以外かの優劣判定をそれぞれ行って、それらの結果を全て重ね合せて、最も頻度の多い方向を人全体の向き（被検出物全体）の向きとして判定する身体方向検出手段（識別器１８の一部）を形成する。
なお、検知手段、判定手段、分割手段、及び身体方向検出手段のそれぞれの機能を発現するプログラムをハードディスク１５内に記録することにより、識別器１８をハードディスク１５内に構築することができる。
ステップＳ５により識別器１８が構築され準備フェーズが終了する。
【００３７】
判定フェーズでは、演算手段１７が検出対象画像について算出するＨＯＧ特徴量（Ａ）を基にして、検出対象画像中に人が存在しているか否かの判定と、存在している場合にはその人の向きの判定が識別器１８によってなされる。
演算手段１７は、図５に示すように、検出対象画像中でセル１９を移動させながら、セル１９の移動ごとにビン数の異なる複数のＨＯＧ特徴量（Ａ）を算出し、識別器１８に与える（ステップＳ１’）。
識別器１８は、演算手段１７から与えられた検出対象画像のＨＯＧ特徴量（Ａ）を基にして検出対象画像中に人が存在するか否かを判定する（ステップＳ２’）。
【００３８】
そして、識別器１８が検出対象画像中に人が存在していないという判定をした場合、その判定結果がディスプレイ１３に表示される（ステップＳ３’）。
一方、識別器１８は、検出対象画像中に人が存在しているという判定をした場合、検出対象画像のＨＯＧ特徴量（Ａ）を基にして検出対象画像中の人の全身、上半身及び下半身を検出し、検出した被検出物の全身、上半身及び下半身のそれぞれの向きを検知して、人全体の向きを判定する（ステップＳ４’）。
そして、人が存在する旨とその人の向きの判定結果がディスプレイ１３上に表示される（ステップＳ５’）。
【００３９】
ステップＳ４’では、識別器１８が、検出対象画像中の検出された人の全身、この全身の上半身及び下半身それぞれについて、１ｖｓ．１法及び１ｖｓ．ｒｅｓｔ法による投票を行い（１ｖｓ．１法では、右向きか正面向きか、正面向きか左向きか、左向きか右向きかの３つの優劣判定（投票）を行い、右向きか右向き以外か、左向きか左向き以外か、正面向きか正面向き以外かの６通りの方向のどれに該当するかの３つの優劣判定（投票）を行い）、その投票結果（全身、上半身、及び下半身に対してそれぞれ６通りの方向のいずれであるかを判定した１８通りの優劣判定結果）を基に、最も投票数（判定結果）の多かった向きが検出対象画像中の人全体の向きとして判定される。
【００４０】
各投票は、ｐｏｓｉｔｉｖｅ又はｎｅｇａｔｉｖｅのいずれかを必ず選択することによって行われる。１ｖｓ．１法のｐｏｓｉｔｉｖｅ及びｎｅｇａｔｉｖｅは以下の通りである。
イ）正面向き：ｐｏｓｉｔｉｖｅ、右向き：ｎｅｇａｔｉｖｅ
ロ）右向き：ｐｏｓｉｔｉｖｅ、左向き：ｎｅｇａｔｉｖｅ
ハ）左向き：ｐｏｓｉｔｉｖｅ、正面向き：ｎｅｇａｔｉｖｅ
また、１ｖｓ．ｒｅｓｔ法のｐｏｓｉｔｉｖｅ及びｎｅｇａｔｉｖｅは以下の通りである。
ニ）正面向き：ｐｏｓｉｔｉｖｅ、右向き又は左向き（正面向き以外）：ｎｅｇａｔｉｖｅ
ホ）右向き：ｐｏｓｉｔｉｖｅ、正面向き又は左向き（右向き以外）：ｎｅｇａｔｉｖｅ
へ）左向き：ｐｏｓｉｔｉｖｅ、右向き又は正面向き（左向き以外）：ｎｅｇａｔｉｖｅ
【００４１】
例えば、身体方向検出部において、１ｖｓ．１法の判定では、右向きか正面向きかの優劣判定がｎｅｇａｔｉｖｅ、正面向きか左向きかの優劣判定がｐｏｓｉｔｉｖｅ、左向きか右向きかの優劣判定がｐｏｓｉｔｉｖｅ、１ｖｓ．ｒｅｓｔ法の判定では、右向きか右向き以外かの優劣判定がｐｏｓｉｔｉｖｅ、左向きか左向き以外かの優劣判定がｎｅｇａｔｉｖｅ、正面向きか正面向き以外かの優劣判定がｎｅｇａｔｉｖｅであった場合、１ｖｓ．１法ではいずれも右向きが判定され、１ｖｓ．ｒｅｓｔ法では右向き、左向き以外（即ち、右向き又は正面向き）、及び正面向き以外（即ち、右向き又は左向き）がそれぞれ判定される。その結果、累積投票数は、右向きが５票、正面向きが２票、左向きが１票となって、身体方向検出部からは、右向き方向の判定が出力される。
【実験例】
【００４２】
左向きの人の画像５００枚（その集合をＩＬで表す）、正面向きの人の画像５００枚（その集合をＩＦで表す）、及び右向きの人の画像５００枚（その集合をＩＲで表す）をそれぞれ準備する。そして、左向き、正面向き、及び右向きの人のそれぞれの画像５００枚を１００枚ずつの５セットに分ける。従って、
左向きの人の画像５００枚（ＩＬ）
＝１００枚（ＩＬ(1)）+１００枚（ＩＬ(2)）+１００枚（ＩＬ(3)）+１００枚（ＩＬ(4)）+１００枚（ＩＬ(5)）
正面向きの人の画像５００枚（ＩＦ）
＝１００枚（ＩＦ(1)）+１００枚（ＩＦ(2)）+１００枚（ＩＦ(3)）+１００枚（ＩＦ(4)）+１００枚（ＩＦ(5)）
右向きの人の画像５００枚（ＩＲ）＝１００枚（ＩＲ1)）+１００枚（ＩＲ(2)）+１００枚（ＩＲ(3)）+１００枚（ＩＲ(4)）+１００枚（ＩＲ(5)）
となる。
次いで、図６に示すように、各５００枚の画像を、ケース１〜ケース５として示す５通りのやり方で学習用画像４００枚と評価用画像１００枚に分ける
【００４３】
続いて、右向きか正面向きかを判定する識別器（身体方向検出手段）を、以下の手順で求める。
（１）ケース１について、学習用画像ＩＬ(2)+ＩＬ(3)+ＩＬ(4)+ＩＬ(5)及びＩＦ(2)+ＩＦ(3)+ＩＦ(4)+ＩＦ(5)のうちそれぞれＩＬ(2)+ＩＬ(3)+ＩＬ(4)の３００枚及びＩＦ(2)+ＩＦ(3)+ＩＦ(4)の３００枚に対してAdaboostを実行し、弱識別器（右を向いた人の検出用に選択された複数のＨＯＧ特徴量、正面を向いた人の検出用に選択された複数のＨＯＧ特徴量）を求めた後に、強識別器（右を向いた人の検出用に選択された複数の弱識別器を組み合わせたもの、正面を向いた人の検出用に選択された複数の弱識別器を組み合わせたもの）を求め、強識別器を用いて学習用画像のうちＩＬ(5)及びＩＦ(5)のそれぞれ１００枚、計２００枚を特徴空間に写像し、それらの分布を最も効果的に分ける識別面（分類面）をＳＶＭ学習により求める。これにより、右向きか正面向きかを判定する身体方向検出手段が求まる。
（２）ＳＶＭ学習により求めた識別面（右向きか正面向きかを判定する身体方向検出手段）を用いて、評価用画像ＩＬ(1)+ＩＦ(1)（２００枚）により識別率（認識率―正しく分類された画像の比率）を求める。
（３）ケース２〜ケース５について、（１）及び（２）の処理を行い、それぞれ識別率を求める。
（４）ケース１〜ケース５の識別率の平均識別率を求め、これを右向きか正面向きかを判定する身体方向検出手段の性能とする。
同様に、正面向きか左向きかを判定する識別器（身体方向検出手段）、右向きか左向きかを判定する識別器（身体方向検出手段）を、上記（１）〜（４）の手続により求める。
【００４４】
更に、右向きか右向き以外か（正面向き又は左向き）を判定する識別器（身体方向検出手段）を、以下の手順で求める。
（５）ケース１について、学習用画像ＩＬ(2)+ＩＬ(3)+ＩＬ(4)+ＩＬ(5)及びＩＦ(2)+ＩＦ(3)+ＩＦ(4)+ＩＦ(5)+ＩＲ(2)+ＩＲ(3)+ＩＲ(4)+ＩＲ(5)のうちそれぞれＩＬ(2)+ＩＬ(3)+ＩＬ(4)の３００枚及びＩＦ(2)+ＩＦ(3)+ＩＦ(4)+ＩＲ(2)+ＩＲ(3)+ＩＲ(4)の６００枚に対してAdaboostを実行し、弱識別器（右を向いた人の検出用に選択された複数のＨＯＧ特徴量、正面を向いた人及び左を向いた人の検出用にそれぞれ選択された複数のＨＯＧ特徴量）を求めた後に、強識別器（右を向いた人の検出用に選択された複数の弱識別器を組み合わせたもの、正面を向いた人及び左を向いた人の検出用にそれぞれ選択された複数の弱識別器を組み合わせたもの）を求め、強識別器を用いて学習用画像のうちＩＬ(5)+ＩＦ(5)+ＩＲ(5)の３００枚を特徴空間に写像し，それらの分布を最も効果的に分ける識別面（分類面）をＳＶＭ学習により求める．
（６）ＳＶＭ学習により求めた識別面（右向きか右向き以外かを判定する身体方向検出手段）を用いて、評価用画像ＩＬ(1)+ＩＦ(1)＋ＩＲ(1)（３００枚）により識別率（認識率―正しく分類された画像の比率）を求める。
（７）ケース２〜ケース５について、（５）及び（６）の処理を行い、それぞれ識別率を求める。
（８）ケース１〜ケース５の各識別率の平均識別率を求め、これを右向きか右向き以外かを判定する身体方向検出手段の性能とする。
同様に、正面向きか正面向き以外かを判定する識別器（身体方向検出手段）、左向きか左向き以外かを判定する識別器（身体方向検出手段）を、上記（５）〜（７）の手続によて求める。
【００４５】
身体方向検出手段としての総合性能は、ケース１〜ケース５の各場合について、評価用画像のうちの正しく識別された画像枚数が分かるので、識別率（認識率）を
識別率（認識率）＝正しく識別された画像枚数／評価用の全画像枚数
によって定義する。
ビン数を３、５、７、及び９としたＨＯＧ特徴量（Ａ）を基にして評価画像中の人の全身、上半身、及び下半身の検出を行い、検出した人の全身、上半身、及び下半身のそれぞれの向きを検知して、人全体の向きを判定した際の総合性能は、識別率（認識率）９０．１％であった。                          
【００４６】
（比較例１）
実験例と同様に、ケース１〜ケース５の学習用画像及び評価用画像をそれぞれ準備し、学習用画像について非特許文献１のＨＯＧ特徴量（即ち、DalalとTriggsによるオリジナルＨＯＧ特徴量）を算出し、Adaboostを実行して弱識別器を求めた後に、強識別器を求め、ＳＶＭ学習を行うことにより、右向きか正面向きか、正面向きか左向きか、左向きか右向きか、右向きか右向き以外か、左向きか左向き以外か、正面向きか正面向き以外かの人の向きを判定する身体方向検出手段をそれぞれ求めた。そして、評価用画像のオリジナルＨＯＧ特徴量を算出し、各身体方向検出手段を用いて人の向きを判定した際の識別率（認識率）を求めた。なお、オリジナルＨＯＧ特徴量は、セルを画像全体に亘って設定して算出するが、各セルの濃度ヒストグラムのビン数は一定である。
各身体方向検出手段で得られた識別率の平均識別率を求めると６６．５%であった。
【００４７】
（比較例２）
実験例と同様に、ケース１〜ケース５の学習用画像及び評価用画像をそれぞれ準備し、学習用画像について、人マスクを用いてＨＯＧ特徴量を算出し、Adaboostを実行して弱識別器を求めた後に、強識別器を求め、ＳＶＭ学習を行うことにより、右向きか正面向きか、正面向きか左向きか、左向きか右向きか、右向きか右向き以外か、左向きか左向き以外か、正面向きか正面向き以外かの人の向きを判定する身体方向検出手段をそれぞれ求めた。そして、評価用画像において、人マスクを用いてＨＯＧ特徴量を算出し、各身体方向検出手段を用いて人の向きを判定した際の識別率（認識率）を求めた。なお、人マスクを用いたＨＯＧ特徴量は、人の形をマスクとして定義し、そのマスクの範囲内の画像上にセルを設定して算出するが、各セルの濃度ヒストグラムのビン数は一定である（中島、タン、石川、森江、「ＨＯＧ特徴量と人マスクを用いた人物および身体方向の検出」、画像電子学会誌、３９巻、ｐ１１０４〜１１１１、２０１０年）。
各身体方向検出手段で得られた識別率の平均識別率を求めると８５．９%であった。
【００４８】
以上のように、本発明では、人の全身、人の上半身、及び人の下半身についてそれぞれ身体方向を検出し、その結果に基づいて身体方向を判定するので、比較例１、２（従来の方法）のように人全身を対象として身体方向を検出する場合と比較して、身体方向の識別率（認識率）を向上させることができる。
【００４９】
以上、本発明の実施例を説明したが、本発明は、上記した形態に限定されるものでなく、要旨を逸脱しない条件の変更等は全て本発明の適用範囲である。
例えば、セルの大きさは５×５ピクセルに限定されず、他の大きさにすることができる。
また、準備フェーズを行う物体の検出装置と、判定フェーズを行う物体の検出装置はそれぞれ別のものであってもよく、準備フェーズ用の装置で作成した識別器を、複数の判定フェーズ用の装置のハードディスクに記憶させて被検出物の検出を行う運用を採用することができる。
非特許文献１のＨＯＧの場合、画像上の複数の重要な個所で１個所毎にエッジの方向を調べるが、CO-ＨＯＧ（Co-occurrence-ＨＯＧ）では、画像上の複数の重要な個所で２個ずつ同時にエッジの方向を調べるので認識精度が上がる。しかし、ヒストグラムのビン数はオリジナルＨＯＧと同様にひとつに固定されている。従って、従来のCO-ＨＯＧの手法に本発明のＨＯＧを適用した（画像上の複数の重要な個所それぞれにおいて、ビン数の異なる複数のＨＯＧ特徴量を算出するようにした）改良型CO-ＨＯＧの手法を用いると、更に認識率の向上が可能になる。
【産業上の利用可能性】
【００５０】
画像中の局所領域の各位置に対してビン数の異なる複数のＨＯＧ特徴量を算出し、物体を検出するための基準を構築する物体の検出方法及びその方法を用いた物体の検出装置であって、本発明に係る方法及び装置を車両に搭載することによって、前方に障害物や人がいるかどうかを瞬時に判断でき、必要の場合、警報を発したり、車両を止める信号を発することができる。
【符号の説明】
【００５１】
１０：物体の検出装置、１１：カメラ、１１ａ：インターフェース、１２：計算機、１３：ディスプレイ、１３ａ：インターフェース、１４：ＣＰＵ、１５：ハードディスク、１５ａ：インターフェース、１６：メモリ、１７：演算手段、１８：識別器、１９：セル、２０：サンプル画像
【図１】
2012073894.tif 000007
【図２】
2012073894.tif 000008
【図４】
2012073894.tif 000009
【図５】
2012073894.tif 000010
【図６】
2012073894.tif 000011
【図３】
2012073894.tif 000012
【手続補正書】
【提出日】平成25年5月28日(2013.5.28)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００３４
【補正方法】変更
【補正の内容】
【００３４】
演算手段１７は、図３に示すように、学習アルゴリズムの一つであるＡｄａＢｏｏｓｔによって、算出された各ＨＯＧ特徴量（Ｂ）の複数のビンから特徴量パターンを求めるのに有効なビン（即ち、被検出物の検出を行う基準に適したビン）の選択が行われる（ステップＳ３）。
例えば、右向きの人を検出しようとする場合、右を向いた人のサンプル画像を用いて、画像内の全セルを対象に、ビン数３、５、７、及び９の各ＨＯＧ特徴量を算出し、ＡｄａＢｏｏｓｔのアルゴリズムを用いて特徴選択を行い、例えば、右向きの人の頭部前側を示すのに有効なビンのＨＯＧ特徴量を抽出する。図３には、ビン数３のＨＯＧ特徴量では、１番目及び３番目のビンが、ビン数５のＨＯＧ特徴量では、１番目、３番目、及び４番目のビンが、ビン数７のＨＯＧ特徴量では、１番目、２番目、３番目、５番目、及び７番目のビンが、ビン数９のＨＯＧ特徴量では、１番目、２番目、５番目、６番目、及び８番目のビンがそれぞれ選択されたことを示している。その結果、右向きの人の頭部前側を含むセルの初めのＨＯＧ特徴量は（３＋５＋７＋９）個の成分を有していたが、ＡｄａＢｏｏｓｔにより、このセルのＨＯＧ特徴量を、右向きの人の検出（物体検出）に有効な（２＋３＋５＋５）個の成分のみで構成することができる。
同様に、サンプル画像中の他の部位、例えば、胴体背面側上部、胴体前面側中部、臀部、脚前面上部、脚背面中部、脚前面下部等をそれぞれ含むセル内を対象にビン数３、５、７、及び９の各ＨＯＧ特徴量を算出し、ＡｄａＢｏｏｓｔのアルゴリズムを用いて特徴選択する。これにより、ビン数３、５、７、及び９の各ＨＯＧ特徴量から、右向きの人の各部位を示すのに有効なビンのみのＨＯＧ特徴量が求まる。
このように、ビン数３、５、７、及び９の各ＨＯＧ特徴量において、右を向いた人の存在を検出する基準に相応しくないＨＯＧ特徴量のビンは用いず、右を向いた人の存在を検出する基準に相応しい、同じヒストグラムの他のビン（成分）又はビン数の異なる他のＨＯＧ特徴量（Ｂ）のビン（成分）を用いることにより、右を向いた人の存在の検出に効果的な成分から構成される特徴量を抽出することができ、被検出物の存否判定精度を高めることが可能となる。
正面を向いた人を検出しようとする場合、正面を向いた人のサンプル画像を用いて、左向きの人を検出しようとする場合、左を向いた人のサンプル画像を用いて、同様の処理を行うことで、正面を向いた人のビン数３、５、７、及び９の各ＨＯＧ特徴量から、正面を向いた人の各部位を示すのに有効なビンのみのＨＯＧ特徴量が、左を向いた人のビン数３、５、７、及び９の各ＨＯＧ特徴量から、左を向いた人の各部位を示すのに有効なビンのみのＨＯＧ特徴量がそれぞれ求まる。
このステップＳ３を設けることにより、画像中の人の存否及び向きの判定をするのに有効なビンのみを、特徴量パターンを算出するための基にすることができる。なお、有効なビンの選択には、ＡｄａＢｏｏｓｔ以外にも、例えばＰＣＡ（Ｐｒｉｎｃｉｐｌｅ  Ｃｏｍｐｏｎｅｎｔ  Ａｎａｌｙｓｉｓ）のようなデータ圧縮法や他のアルゴリズムを用いることができる。
ステップＳ３が完了後、ＡｄａＢｏｏｓｔにより選択されたＨＯＧ特徴量（Ｂ）のビンの各要素ａｋｂｉに対し、式６により正規化を行う（ステップＳ４）。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００３６
【補正方法】変更
【補正の内容】
【００３６】
ここで、ａ’ｋｂｉは正規化後の要素、Ａｋｂ（＝［ａｋｂ１、ａｋｂ２、・・・ａｋｂＢｂ］）はＢｂ方向（例えば５方向）の勾配方向ヒストグラム、そして、εは分母がゼロになるのを回避するための係数である。
ステップＳ４終了後、演算手段１７はパターン識別手法の一つであるＳＶＭ学習により、サンプル画像２０を基にして、画像中に人が存在することを示す特徴量パターンを求め、この特徴量パターンから、１）人の存否判定（人の全身検知判定）と、２）人の全身から上半身及び下半身を機械的に分ける過程と、３）人の向きの判定とを行う識別器１８をハードディスク１５内に構築する（ステップＳ５）。
以下、１）、２）、及び３）について各別に説明する。
１）人の存否判定
サンプル画像２０を用いて、ＡｄａＢｏｏｓｔのアルゴリズムにより、画像中に人が存在することを示す特徴量パターンであるＨＯＧ特徴量（正面を向いた人の検出用に選択されたＨＯＧ特徴量、左を向いた人の検出用に選択されたＨＯＧ特徴量、及び右を向いた人の検出用に選択されたＨＯＧ特徴量）を複数選択し、これらのＨＯＧ特徴量を組合せて人の検知を行う検知手段（識別器１８の一部）を形成する。
ここで、検知手段は、人の全身検知判定をした場合は正の出力値、人が存在しないと判定した場合は負の出力値をそれぞれ出力する機能を有するので、サンプル画像２０に対して検知手段が人が存在すると判定した結果（正の出力値）と、人が存在しない場合の画像に対して検知手段が人が存在しないと判定した結果（負の出力値）をＳＶＭ学習することから、検知手段が人の全身検知判定する際の出力値（人検知判定閾値）を決定することができる。
従って、検出対象画像を検知手段を用いて判定した際の出力値を求め、得られた出力値と人検知判定閾値を比較して、出力値が人検知判定閾値以上では人が存在すると判定し、出力値が人検知判定閾値未満では人が存在しないと判定する判定手段（識別器１８の一部）を形成する。
２）人の上半身及び下半身の検知
人の全身が検知された場合、人の全身を機械的に上下に２分割することにより、検知された人の上半身及び下半身をそれぞれ特定することができる。従って、人の全身検出用に選択されたＨＯＧ特徴量を、人の上半身及び下半身の検知にそれぞれ有効なＨＯＧ特徴量に分ける分割手段（識別器１８の一部）を形成することにより、人の上半身及び下半身がそれぞれ検知された場合に相当する出力値を求めることができる。
３）人の向きの判定
人の全身を検知した際の判定手段の出力値とサンプル画像２０中の人の向き（正面向き、左向き、及び右向き）をＳＶＭ学習することから、１ｖｓ．１法では、右向きか正面向きかの優劣判定の閾値、正面向きか左向きかの優劣判定の閾値、左向きか右向きかの優劣判定の閾値をそれぞれ決定する。また、１ｖｓ．ｒｅｓｔ法では、右向きか右向き以外か（即ち、正面向きか左向きか）の優劣判定の閾値、左向きか左向き以外か（即ち、正面向きか右向きか）の優劣判定の閾値、正面向きか正面向き以外か（即ち、右向きか左向きか）の優劣判定の閾値をそれぞれ決定する。同様に、人の上半身及び人の下半身の場合について、１ｖｓ．１法及び１ｖｓ．ｒｅｓｔ法での各閾値を求める。
そして、検出対象画像中に人が存在すると判定された場合において、人の全身、人の上半身、及び人の下半身それぞれの出力値とｖｓ．１法及び１ｖｓ．ｒｅｓｔ法の各優劣判定の閾値を比較して、右向きか正面向きか、正面向きか左向きか、左向きか右向きか、右向きか右向き以外か、左向きか左向き以外か、正面向きか正面向き以外かの優劣判定をそれぞれ行って、それらの結果を全て重ね合せて、最も頻度の多い方向を人全体の向き（被検出物全体の向き）として判定する身体方向検出手段（識別器１８の一部）を形成する。
なお、検知手段、判定手段、分割手段、及び身体方向検出手段のそれぞれの機能を発現するプログラムをハードディスク１５内に記録することにより、識別器１８をハードディスク１５内に構築することができる。
ステップＳ５により識別器１８が構築され準備フェーズが終了する。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００３９
【補正方法】変更
【補正の内容】
【００３９】
ステップＳ４’では、識別器１８が、検出対象画像中の検出された人の全身、この全身の上半身及び下半身それぞれについて、１ｖｓ．１法及び１ｖｓ．ｒｅｓｔ法による投票を行い（１ｖｓ．１法では、右向きか正面向きか、正面向きか左向きか、左向きか右向きかの３つの優劣判定（投票）を行い、１ｖｓ．ｒｅｓｔ法では、右向きか右向き以外か、左向きか左向き以外か、正面向きか正面向き以外かの３つの優劣判定（投票）を行い）、その投票結果（全身、上半身、及び下半身に対してそれぞれ６通り、計１８通りの優劣判定結果）を基に、最も投票数（判定結果）の多かった向きが検出対象画像中の人全体の向きとして判定される。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００４２
【補正方法】変更
【補正の内容】
【００４２】
左向きの人の画像５００枚（その集合をＩＬで表す）、正面向きの人の画像５００枚（その集合をＩＦで表す）、及び右向きの人の画像５００枚（その集合をＩＲで表す）をそれぞれ準備する。そして、左向き、正面向き、及び右向きの人のそれぞれの画像５００枚を１００枚ずつの５セットに分ける。従って、
左向きの人の画像５００枚（ＩＬ）
＝１００枚（ＩＬ(1)）+
１００枚（ＩＬ(2)）+
１００枚（ＩＬ(3)）+
１００枚（ＩＬ(4)）+
１００枚（ＩＬ(5)）
正面向きの人の画像５００枚（ＩＦ）
＝１００枚（ＩＦ(1)）+
１００枚（ＩＦ(2)）+
１００枚（ＩＦ(3)）+
１００枚（ＩＦ(4)）+
１００枚（ＩＦ(5)）
右向きの人の画像５００枚（ＩＲ）＝１００枚（ＩＲ(1)）+
１００枚（ＩＲ(2)）+
１００枚（ＩＲ(3)）+
１００枚（ＩＲ(4)）+
１００枚（ＩＲ(5)）
となる。
次いで、図６に示すように、各５００枚の画像を、ケース１〜ケース５として示す５通りのやり方で学習用画像４００枚と評価用画像１００枚に分ける。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００４４
【補正方法】変更
【補正の内容】
【００４４】
更に、右向きか右向き以外か（正面向き又は左向き）を判定する識別器（身体方向検出手段）を、以下の手順で求める。
（５）ケース１について、学習用画像ＩＬ(2) +ＩＬ(3) +ＩＬ(4) +ＩＬ(5) 及びＩＦ(2) +ＩＦ(3) +ＩＦ(4) +ＩＦ(5) +ＩＲ(2) +ＩＲ(3) +ＩＲ(4) +ＩＲ(5) のうちそれぞれＩＬ(2) +ＩＬ(3) +ＩＬ(4)の３００枚及びＩＦ(2) +ＩＦ(3) +ＩＦ(4) +ＩＲ(2) +ＩＲ(3) +ＩＲ(4)の６００枚に対してAdaboost を実行し、弱識別器（右を向いた人の検出用に選択された複数のＨＯＧ特徴量、正面を向いた人及び左を向いた人の検出用にそれぞれ選択された複数のＨＯＧ特徴量）を求めた後に、強識別器（右を向いた人の検出用に選択された複数の弱識別器を組み合わせたもの、正面を向いた人及び左を向いた人の検出用にそれぞれ選択された複数の弱識別器を組み合わせたもの）を求め、強識別器を用いて学習用画像のうちＩＬ(5) +ＩＦ(5)+ ＩＲ(5) の３００枚を特徴空間に写像し，それらの分布を最も効果的に分ける識別面（分類面）をＳＶＭ 学習により求める。
（６）ＳＶＭ 学習により求めた識別面（右向きか右向き以外かを判定する身体方向検出手段）を用いて、評価用画像ＩＬ(1) +ＩＦ(1) ＋ＩＲ(1)（３００枚）により識別率（認識率 ― 正しく分類された画像の比率）を求める。
（７）ケース２〜ケース５について、（５）及び（６）の処理を行い、それぞれ識別率を求める。
（８）ケース１〜ケース５の各識別率の平均識別率を求め、これを右向きか右向き以外かを判定する身体方向検出手段の性能とする。
同様に、正面向きか正面向き以外かを判定する識別器（身体方向検出手段）、左向きか左向き以外かを判定する識別器（身体方向検出手段）を、上記（５）〜（７）の手続によって求める。
【国際調査報告】
2012073894.tif 000013
2012073894.tif 000014
2012073894.tif 000015
2012073894.tif 000016