(57)【特許請求の範囲】
【請求項１】
認識対象の対象物体が含まれている学習画像と、前記対象物体が含まれていない学習画像とからなる複数の学習画像のそれぞれについて、前記学習画像上の予め定められた複数の画素のうちの所定の画素と、前記複数の画素のうちの前記所定の画素とは異なる他の画素とを画素のペアとして、前記所定の画素を含む領域と、前記他の画素を含む領域とのテクスチャの距離を計算することで、前記複数の画素のそれぞれを前記所定の画素として定めた各前記ペアの第１の特徴量を計算する第１の特徴量計算手段と、
複数の前記第１の特徴量を用いた統計学習により、画像から前記対象物体を検出する第１の識別器を生成する第１の識別器生成手段と
を備える学習装置。
【請求項２】
前記複数の学習画像のそれぞれについて、前記学習画像に対するフィルタ処理を行なうことで前記学習画像から輪郭を抽出する計算を行い、その計算結果から第２の特徴量を生成する第２の特徴量計算手段と、
複数の前記第２の特徴量を用いた統計学習により、前記画像から前記対象物体を検出する第２の識別器を生成する第２の識別器生成手段と、
前記第１の識別器と、前記第２の識別器とを統合して、前記画像から前記対象物体を検出する第３の識別器を生成する第３の識別器生成手段と
をさらに備える請求項１に記載の学習装置。
【請求項３】
前記第３の識別器生成手段は、前記第１の識別器と前記第２の識別器とを線形結合することにより前記第３の識別器を生成する
請求項２に記載の学習装置。
【請求項４】
前記複数の学習画像のそれぞれについて、前記学習画像に対するフィルタ処理を行なうことで前記学習画像から輪郭を抽出する計算を行い、その計算結果から第２の特徴量を生成する第２の特徴量計算手段をさらに備え、
前記第１の識別器生成手段は、複数の前記第１の特徴量、および複数の前記第２の特徴量を用いた統計学習により、前記第１の識別器を生成する
請求項１に記載の学習装置。
【請求項５】
認識対象の対象物体が含まれている学習画像と、前記対象物体が含まれていない学習画像とからなる複数の学習画像のそれぞれについて、前記学習画像上の予め定められた複数の画素のうちの所定の画素と、前記複数の画素のうちの前記所定の画素とは異なる他の画素とを画素のペアとして、前記所定の画素を含む領域と、前記他の画素を含む領域とのテクスチャの距離を計算することで、前記複数の画素のそれぞれを前記所定の画素として定めた各前記ペアの特徴量を計算する特徴量計算ステップと、
複数の前記特徴量を用いた統計学習により、画像から前記対象物体を検出する識別器を生成する識別器生成ステップと
を含む学習方法。
【請求項６】
認識対象の対象物体が含まれている学習画像と、前記対象物体が含まれていない学習画像とからなる複数の学習画像のそれぞれについて、前記学習画像上の予め定められた複数の画素のうちの所定の画素と、前記複数の画素のうちの前記所定の画素とは異なる他の画素とを画素のペアとして、前記所定の画素を含む領域と、前記他の画素を含む領域とのテクスチャの距離を計算することで、前記複数の画素のそれぞれを前記所定の画素として定めた各前記ペアの特徴量を計算する特徴量計算ステップと、
複数の前記特徴量を用いた統計学習により、画像から前記対象物体を検出する識別器を生成する識別器生成ステップと
を含む処理をコンピュータに実行させるプログラム。
【請求項７】
入力画像上の所定の画素と、前記所定の画素とは異なる他の画素とを画素のペアとして、前記所定の画素を含む領域と、前記他の画素を含む領域とのテクスチャの距離を計算することで、予め定められた複数の前記ペアの第１の特徴量を計算する第１の特徴量計算手段と、
認識対象の対象物体が含まれている学習画像と、前記対象物体が含まれていない学習画像とから求められた複数の前記第１の特徴量を用いた統計学習により生成された第１の識別器を用い、前記第１の特徴量計算手段により計算された前記第１の特徴量に基づいて、前記入力画像から前記対象物体を検出する検出手段と
を備える認識装置。
【請求項８】
前記入力画像に対するフィルタ処理を行なうことで前記入力画像から輪郭を抽出する計算を行い、その計算結果から第２の特徴量を生成する第２の特徴量計算手段をさらに備え、
前記検出手段は、前記対象物体が含まれている学習画像と、前記対象物体が含まれていない学習画像とから求められた複数の前記第２の特徴量を用いた統計学習により生成された第２の識別器と前記第１の識別器とが統合された第３の識別器を用い、前記第１の特徴量計算手段により計算された前記第１の特徴量、および前記第２の特徴量計算手段により計算された前記第２の特徴量に基づいて、前記入力画像から前記対象物体を検出する
請求項７に記載の認識装置。
【請求項９】
前記入力画像に対するフィルタ処理を行なうことで前記入力画像から輪郭を抽出する計算を行い、その計算結果から第２の特徴量を生成する第２の特徴量計算手段をさらに備え、
前記検出手段は、前記対象物体が含まれている学習画像と、前記対象物体が含まれていない学習画像とから求められた複数の前記第２の特徴量と、前記複数の第１の特徴量とを用いた統計学習により生成された前記第１の識別器を用い、前記第１の特徴量計算手段により計算された前記第１の特徴量、および前記第２の特徴量計算手段により計算された前記第２の特徴量に基づいて、前記入力画像から前記対象物体を検出する
請求項７に記載の認識装置。
【請求項１０】
入力画像上の所定の画素と、前記所定の画素とは異なる他の画素とを画素のペアとして、前記所定の画素を含む領域と、前記他の画素を含む領域とのテクスチャの距離を計算することで、予め定められた複数の前記ペアの特徴量を計算する特徴量計算ステップと、
認識対象の対象物体が含まれている学習画像と、前記対象物体が含まれていない学習画像とから求められた複数の前記特徴量を用いた統計学習により生成された識別器を用い、前記特徴量計算ステップにおいて計算された前記特徴量に基づいて、前記入力画像から前記対象物体を検出する検出ステップと
を含む認識方法。
【請求項１１】
入力画像上の所定の画素と、前記所定の画素とは異なる他の画素とを画素のペアとして、前記所定の画素を含む領域と、前記他の画素を含む領域とのテクスチャの距離を計算することで、予め定められた複数の前記ペアの特徴量を計算する特徴量計算ステップと、
認識対象の対象物体が含まれている学習画像と、前記対象物体が含まれていない学習画像とから求められた複数の前記特徴量を用いた統計学習により生成された識別器を用い、前記特徴量計算ステップにおいて計算された前記特徴量に基づいて、前記入力画像から前記対象物体を検出する検出ステップと
を含む処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は学習装置および方法、認識装置および方法、並びにプログラムに関し、特に、画像からより確実に対象物体を検出できるようにした学習装置および方法、認識装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
従来、画像から人を検出する技術は、主にセキュリティや車載用途のために研究開発されてきた（例えば、非特許文献１乃至６参照）。
【０００３】
非特許文献２乃至非特許文献６においては、画像から人を検出（認識）するための主な特徴量として、エッジ抽出により得られる輪郭特徴量が用いられている。より詳細には、これらの技術においては、エッジ抽出で得られた輪郭特徴量の様々な変化形が新たな特徴量として定義されて、人の認識が行われる。
【０００４】
例えば、非特許文献３では、エッジのある小領域内の方向のヒストグラムをとることで特徴量が得られ、この特徴量を用いることで多少の輪郭の歪みなどに強くなるという利点がある。また、非特許文献５では、エッジの小領域の教師画像を用いた学習と、教師画像を用いて、エッジの小領域を階層的に学習したモデルが提案されている。
【０００５】
さらに、非特許文献２では、Gaussian Derivativesを用いた輪郭特徴量により、人の体の各パーツが表現されている。さらに、また、非特許文献６では、エッジのグローバルテンプレートが用いられて人の認識が行われている。
【０００６】
【非特許文献１】Papageorgiou, C., M. Oren, and T. Poggio. 「A General Framework for Object Detection」 Proceedings of the Sixth International Conference on Computer Vision (ICCV'98), Bombay, India, 555-562, January 1998
【非特許文献２】K. Mikolajczyk, C. Schmid, and A. Zisserman「Human detection based on a probabilistic assembly of robust part detectors」Proc. ECCV, 1:69.81, 2004
【非特許文献３】Navneet Dalal and Bill Triggs「Histograms of Oriented Gradients for Human Detection」CVPR2005
【非特許文献４】B. Wu and R. Nevatia「Detection of multiple, partially occluded humans in a single image by bayesian combination of edgelet part detectors」In Proc. 10th Int. Conf. Computer Vision, 2005
【非特許文献５】Payam Sabzmeydani and Greg Mori「Detecting Pedestrians by Learning Shapelet Features」CVPR2007
【非特許文献６】S.Munder and D.Gavrilla「An Experimental Study on Pedestrian Classification」
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、上述した技術では、輪郭により画像中の人を認識しようとすると、画像から輪郭がうまく抽出できない場合や、背景周辺に輪郭が多数抽出される場合に、人の不検出または誤検出が生じるという欠点があった。
【０００８】
本発明は、このような状況に鑑みてなされたものであり、画像からより確実に対象物体を検出することができるようにするものである。
【課題を解決するための手段】
【０００９】
本発明の第１の側面の学習装置は、認識対象の対象物体が含まれている学習画像と、前記対象物体が含まれていない学習画像とからなる複数の学習画像のそれぞれについて、前記学習画像上の予め定められた複数の画素のうちの所定の画素と、前記複数の画素のうちの前記所定の画素とは異なる他の画素とを画素のペアとして、前記所定の画素を含む領域と、前記他の画素を含む領域とのテクスチャの距離を計算することで、前記複数の画素のそれぞれを前記所定の画素として定めた各前記ペアの第１の特徴量を計算する第１の特徴量計算手段と、複数の前記第１の特徴量を用いた統計学習により、画像から前記対象物体を検出する第１の識別器を生成する第１の識別器生成手段とを備える。
【００１０】
学習装置には、前記複数の学習画像のそれぞれについて、前記学習画像に対するフィルタ処理を行なうことで前記学習画像から輪郭を抽出する計算を行い、その計算結果から第２の特徴量を生成する第２の特徴量計算手段と、複数の前記第２の特徴量を用いた統計学習により、前記画像から前記対象物体を検出する第２の識別器を生成する第２の識別器生成手段と、前記第１の識別器と、前記第２の識別器とを統合して、前記画像から前記対象物体を検出する第３の識別器を生成する第３の識別器生成手段とをさらに設けることができる。
【００１１】
前記第３の識別器生成手段には、前記第１の識別器と前記第２の識別器とを線形結合することにより前記第３の識別器を生成させることができる。
【００１２】
学習装置には、前記複数の学習画像のそれぞれについて、前記学習画像に対するフィルタ処理を行なうことで前記学習画像から輪郭を抽出する計算を行い、その計算結果から第２の特徴量を生成する第２の特徴量計算手段をさらに設け、前記第１の識別器生成手段には、複数の前記第１の特徴量、および複数の前記第２の特徴量を用いた統計学習により、前記第１の識別器を生成させることができる。
【００１３】
本発明の第１の側面の学習方法またはプログラムは、認識対象の対象物体が含まれている学習画像と、前記対象物体が含まれていない学習画像とからなる複数の学習画像のそれぞれについて、前記学習画像上の予め定められた複数の画素のうちの所定の画素と、前記複数の画素のうちの前記所定の画素とは異なる他の画素とを画素のペアとして、前記所定の画素を含む領域と、前記他の画素を含む領域とのテクスチャの距離を計算することで、前記複数の画素のそれぞれを前記所定の画素として定めた各前記ペアの特徴量を計算する特徴量計算ステップと、複数の前記特徴量を用いた統計学習により、画像から前記対象物体を検出する識別器を生成する識別器生成ステップとを含む。
【００１４】
本発明の第１の側面においては、認識対象の対象物体が含まれている学習画像と、前記対象物体が含まれていない学習画像とからなる複数の学習画像のそれぞれについて、前記学習画像上の予め定められた複数の画素のうちの所定の画素と、前記複数の画素のうちの前記所定の画素とは異なる他の画素とが画素のペアとされて、前記所定の画素を含む領域と、前記他の画素を含む領域とのテクスチャの距離が計算されることで、前記複数の画素のそれぞれを前記所定の画素として定めた各前記ペアの第１の特徴量が計算され、複数の前記第１の特徴量を用いた統計学習により、画像から前記対象物体を検出する第１の識別器が生成される。
【００１５】
本発明の第２の側面の認識装置は、入力画像上の所定の画素と、前記所定の画素とは異なる他の画素とを画素のペアとして、前記所定の画素を含む領域と、前記他の画素を含む領域とのテクスチャの距離を計算することで、予め定められた複数の前記ペアの第１の特徴量を計算する第１の特徴量計算手段と、認識対象の対象物体が含まれている学習画像と、前記対象物体が含まれていない学習画像とから求められた複数の前記第１の特徴量を用いた統計学習により生成された第１の識別器を用い、前記第１の特徴量計算手段により計算された前記第１の特徴量に基づいて、前記入力画像から前記対象物体を検出する検出手段とを備える。
【００１６】
認識装置には、前記入力画像に対するフィルタ処理を行なうことで前記入力画像から輪郭を抽出する計算を行い、その計算結果から第２の特徴量を生成する第２の特徴量計算手段をさらに設け、前記検出手段には、前記対象物体が含まれている学習画像と、前記対象物体が含まれていない学習画像とから求められた複数の前記第２の特徴量を用いた統計学習により生成された第２の識別器と前記第１の識別器とが統合された第３の識別器を用い、前記第１の特徴量計算手段により計算された前記第１の特徴量、および前記第２の特徴量計算手段により計算された前記第２の特徴量に基づいて、前記入力画像から前記対象物体を検出させることができる。
【００１７】
認識装置には、前記入力画像に対するフィルタ処理を行なうことで前記入力画像から輪郭を抽出する計算を行い、その計算結果から第２の特徴量を生成する第２の特徴量計算手段をさらに設け、前記検出手段には、前記対象物体が含まれている学習画像と、前記対象物体が含まれていない学習画像とから求められた複数の前記第２の特徴量と、前記複数の第１の特徴量とを用いた統計学習により生成された前記第１の識別器を用い、前記第１の特徴量計算手段により計算された前記第１の特徴量、および前記第２の特徴量計算手段により計算された前記第２の特徴量に基づいて、前記入力画像から前記対象物体を検出させることができる。
【００１８】
本発明の第２の側面の認識方法またはプログラムは、入力画像上の所定の画素と、前記所定の画素とは異なる他の画素とを画素のペアとして、前記所定の画素を含む領域と、前記他の画素を含む領域とのテクスチャの距離を計算することで、予め定められた複数の前記ペアの特徴量を計算する特徴量計算ステップと、認識対象の対象物体が含まれている学習画像と、前記対象物体が含まれていない学習画像とから求められた複数の前記特徴量を用いた統計学習により生成された識別器を用い、前記特徴量計算ステップにおいて計算された前記特徴量に基づいて、前記入力画像から前記対象物体を検出する検出ステップとを含む。
【００１９】
本発明の第２の側面においては、入力画像上の所定の画素と、前記所定の画素とは異なる他の画素とを画素のペアとして、前記所定の画素を含む領域と、前記他の画素を含む領域とのテクスチャの距離が計算されることで、予め定められた複数の前記ペアの第１の特徴量が計算され、認識対象の対象物体が含まれている学習画像と、前記対象物体が含まれていない学習画像とから求められた複数の前記第１の特徴量を用いた統計学習により生成された第１の識別器が用いられて、計算された前記第１の特徴量に基づいて、前記入力画像から前記対象物体が検出される。
【発明の効果】
【００２０】
本発明の第１の側面によれば、画像からより確実に対象物体を検出することができる識別器を提供することができる。
【００２１】
また、本発明の第２の側面によれば、画像からより確実に対象物体を検出することができる。
【発明を実施するための最良の形態】
【００２２】
以下、図面を参照して、本発明を適用した実施の形態について説明する。
【００２３】
図１は、本発明を適用した人識別システムの一実施の形態の構成例を示すブロック図である。この人識別システムは、学習装置１１、識別器記録部１２、および認識装置１３からなり、入力された画像における、対象物体として人間の画像のある領域を認識させるものである。
【００２４】
学習装置１１は、入力された学習画像に基づいて、認識装置１３において画像上における対象物体の有無を識別する処理を行うときに用いられる、識別用特徴量および統合識別器を生成し、識別器記録部１２に記録させる。認識装置１３は、識別器記録部１２に記録されている識別用特徴および統合識別器を用いて、入力された入力画像に対象物体である人の画像が存在するか否かを識別し、その識別結果を出力する。
【００２５】
学習装置１１は、服装特徴点抽出部２１、服装特徴量計算部２２、服装識別器生成部２３、輪郭特徴点抽出部２４、輪郭特徴量計算部２５、輪郭識別器生成部２６、および統合識別器生成部２７から構成される。
【００２６】
服装特徴点抽出部２１は、入力された学習画像から、その学習画像の画素のいくつかを服装識別器を生成するときに用いられる服装特徴点として抽出し、抽出した服装特徴点と学習画像とを服装特徴量計算部２２に供給する。ここで、服装識別器とは、統計学習により生成された、複数の弱識別器からなる強い識別器であり、人の服装の特徴を利用して、入力された画像中に人の画像の領域が存在するか否かを識別するときに用いられる。
【００２７】
服装特徴量計算部２２は、服装特徴点抽出部２１からの各服装特徴点について、その服装特徴点と、他の服装特徴点とを１つのペアとするペアリングを行う。また、服装特徴量計算部２２は、服装特徴点抽出部２１からの学習画像に基づいて、服装特徴点のペアごとに、任意の２つの領域のテクスチャの距離を示す服装特徴量を計算し、求められた服装特徴量と学習画像とを服装識別器生成部２３に供給する。
【００２８】
服装識別器生成部２３は、服装特徴量計算部２２から供給された学習画像および服装特徴量に基づいて、例えばAdaboostによる統計学習処理を行い、対象物体である人を認識する服装識別器を生成する。また、服装識別器生成部２３は、生成した服装識別器を統合識別器生成部２７に供給する。
【００２９】
輪郭特徴点抽出部２４は、入力された学習画像から、その学習画像の画素のいくつかを輪郭識別器を生成するときに用いられる輪郭特徴点として抽出し、抽出した輪郭特徴点と学習画像とを輪郭特徴量計算部２５に供給する。ここで、輪郭識別器とは、統計学習により生成された、複数の弱識別器からなる強い識別器であり、人の輪郭を利用して、入力された画像中に人の画像の領域が存在するか否かを識別するときに用いられる。
【００３０】
輪郭特徴量計算部２５は、輪郭特徴点抽出部２４からの学習画像に基づいて、例えばステアラブルフィルタ（Steerable Filter）を用いたフィルタ処理により、輪郭特徴点ごとに、抽出された輪郭を示す輪郭特徴量を計算し、求められた輪郭特徴量と学習画像とを輪郭識別器生成部２６に供給する。輪郭識別器生成部２６は、輪郭特徴量計算部２５から供給された学習画像および輪郭特徴量に基づいて、例えばAdaboostによる統計学習処理を行い、対象物体である人を認識する輪郭識別器を生成する。また、輪郭識別器生成部２６は、生成した輪郭識別器を統合識別器生成部２７に供給する。
【００３１】
統合識別器生成部２７は、服装識別器生成部２３からの服装識別器と、輪郭識別器生成部２６からの輪郭識別器とを統合して統合識別器を生成し、生成した統合識別器を識別器記録部１２に供給して記録させる。また、統合識別器生成部２７は、統合識別器を用いて対象物体の認識を行うときに用いられる服装特徴点のペアの服装特徴量、および輪郭特徴点の輪郭特徴量を、識別用特徴量として識別器記録部１２に供給し、記録させる。
【００３２】
また、認識装置１３は、服装特徴点抽出部３１、服装特徴量計算部３２、輪郭特徴点抽出部３３、輪郭特徴量計算部３４、識別計算部３５、および識別結果出力部３６から構成される。なお、認識装置１３の服装特徴点抽出部３１乃至輪郭特徴量計算部３４のそれぞれは、対象物体を認識しようとする入力画像に対して、学習装置１１の服装特徴点抽出部２１、服装特徴量計算部２２、輪郭特徴点抽出部２４、および輪郭特徴量計算部２５のそれぞれと同様の処理を行うものであるので、その説明は省略する。
【００３３】
識別計算部３５は、識別器記録部１２に記録されている識別用特徴量および統合識別器を読み出す。また、識別計算部３５は、服装特徴量計算部３２からの服装特徴量、および輪郭特徴量計算部３４からの輪郭特徴量のうちの識別用特徴量に対応するものを、読み出した統合識別器に代入して演算を行う。識別結果出力部３６は、識別計算部３５における演算結果を取得し、その演算結果に基づいて、対象物体が入力画像で認識されたか否かの識別結果を出力する。
【００３４】
次に、図２を参照して、図１の輪郭特徴量計算部２５のより詳細な構成例について説明する。輪郭特徴量計算部２５は、１次フィルタ処理部６１、２次フィルタ処理部６２、３次フィルタ処理部６３、および特徴量生成部６４から構成される。また、輪郭特徴点抽出部２４からの学習画像は、１次フィルタ処理部６１乃至特徴量生成部６４に供給され、輪郭特徴点は、１次フィルタ処理部６１乃至３次フィルタ処理部６３に供給される。
【００３５】
１次フィルタ処理部６１は、供給された輪郭特徴点ごとに、輪郭特徴点に対してガウス関数Ｇの１次微分関数Ｇ1によりフィルタ処理を施して特徴量を抽出し、特徴量生成部６４に供給する。ここで、ガウス関数Ｇ、および１次微分関数Ｇ1は、次式（１）および式（２）により示される。
【００３６】
【数１】
0005041229.tif 000002
【００３７】
【数２】
0005041229.tif 000003
【００３８】
なお、式（１）において、σはガウス幅を示しており、また式（２）において、θは任意の角度、つまり計算したいフィルタの方向を示している。
【００３９】
例えば、１次フィルタ処理部６１は、ガウス関数Ｇのガウス幅σを３つの所定値（例えば、ガウス幅σ１，σ２，σ３＝１，２，４）に変化させ、ガウス幅σごとに所定の４方向（例えば、θ＝θ１，θ２，θ３，θ４）について式（２）を計算する。なお、方向θは４方向に限らず、８方向、例えばｐｉを８方向に等分したときの各方向などとしてもよい。
【００４０】
２次フィルタ処理部６２は、供給された輪郭特徴点ごとに、輪郭特徴点に対してガウス関数Ｇの２次微分関数Ｇ2によりフィルタ処理を施して特徴量を抽出し、特徴量生成部６４に供給する。次式（３）は、２次微分関数Ｇ2を示しており、式（３）においてθは任意の角度を示している。
【００４１】
【数３】
0005041229.tif 000004
【００４２】
また、式（３）における係数ｋ2i（θ）（但し、ｉ＝１，２，３）は、次式（４）で示される関数である。
【００４３】
【数４】
0005041229.tif 000005
【００４４】
例えば、２次フィルタ処理部６２は、ガウス関数Ｇのガウス幅σを３つの所定値（例えば、ガウス幅σ１，σ２，σ３＝１，２，４）に変化させ、ガウス幅σごとに所定の４方向（例えば、θ＝θ１，θ２，θ３，θ４）について式（３）を計算する。
【００４５】
３次フィルタ処理部６３は、供給された輪郭特徴点ごとに、輪郭特徴点に対してガウス関数Ｇの３次微分関数Ｇ3によりフィルタ処理を施して特徴量を抽出し、特徴量生成部６４に供給する。次式（５）は、３次微分関数Ｇ3を示しており、式（５）においてθは任意の角度を示している。
【００４６】
【数５】
0005041229.tif 000006
【００４７】
また、式（５）における係数ｋ3i（θ）（但し、ｉ＝１，２，３）は、次式（６）で示される関数である。
【００４８】
【数６】
0005041229.tif 000007
【００４９】
例えば、３次フィルタ処理部６３は、ガウス関数Ｇのガウス幅σを３つの所定値（例えば、ガウス幅σ１，σ２，σ３＝１，２，４）に変化させ、ガウス幅σごとに所定の４方向（例えば、θ＝θ１，θ２，θ３，θ４）について、式（５）を計算する。
【００５０】
特徴量生成部６４は、１次フィルタ処理部６１、２次フィルタ処理部６２、および３次フィルタ処理部６３のそれぞれから供給された、３種類のガウス幅σごとに、４つの方向θについて計算された各輪郭特徴点の特徴量の供給を受け、供給された合計３６個（＝３（次数）×４（方向）×３（ガウス幅））の特徴量を並べて輪郭特徴点における輪郭特徴量とする。また、特徴量生成部６４は、生成した輪郭特徴量と、供給された学習画像とを輪郭識別器生成部２６に供給する。
【００５１】
このように、輪郭特徴量計算部２５では、ガウス関数を微分して得られる、方向および周波数、つまり方向θおよびガウス幅σに選択性を持つフィルタ（基底関数）が用いられて、微分の次数ごとに異なる特徴量（輪郭）が抽出され、輪郭特徴量とされている。
【００５２】
輪郭特徴量の抽出にステアラブルフィルタを用いる場合、図３に示すように、方向θおよびガウス幅σの異なるフィルタを用意すれば、それらのフィルタの線形結合により、任意の方向θのフィルタ、つまりガウス関数Ｇの微分関数Ｇn（但し、ｎ＝１，２，３）を表現することができる。
【００５３】
図３において、図中、左側の一番上の列の画像は、図中、左から順番にガウス幅σ＝２である場合における１次微分関数Ｇ1（０°）および１次微分関数Ｇ1（９０°）を表している。また、図中、左側の真ん中の列の画像は、図中、左から順番にガウス幅σ＝２である場合における２次微分関数Ｇ2（０°）、２次微分関数Ｇ2（６０°）、２次微分関数Ｇ2（１２０°）、およびラプラシアンを表している。さらに、図中、左側の一番下の列の画像は、図中、左から順番にガウス幅σ＝２である場合における３次微分関数Ｇ3（０°）、３次微分関数Ｇ3（４５°）、３次微分関数Ｇ3（９０°）、および３次微分関数Ｇ3（１３５°）を表している。
【００５４】
また、図中、右側の横方向の列のうちの一番上の列の画像は、図中、左側から順番に、ガウス幅σ＝１である場合における１次微分関数Ｇ1（θ）のθを０，１／８ｐｉ，２／８ｐｉ，３／８ｐｉ，４／８ｐｉ，５／８ｐｉ，６／８ｐｉ，７／８ｐｉとしたものを表している。
【００５５】
同様に、図中、右側の横方向の各列の画像は、図中、上から二番目から下方向に順番に、ガウス幅σ＝２である場合における１次微分関数Ｇ1（θ）、ガウス幅σ＝４である場合における１次微分関数Ｇ1（θ）、ガウス幅σ＝１である場合における２次微分関数Ｇ2（θ）、ガウス幅σ＝２である場合における２次微分関数Ｇ2（θ）、ガウス幅σ＝４である場合における２次微分関数Ｇ2（θ）、ガウス幅σ＝１である場合における３次微分関数Ｇ3（θ）、ガウス幅σ＝２である場合における３次微分関数Ｇ3（θ）、およびガウス幅σ＝４である場合における３次微分関数Ｇ3（θ）を示している。そして、それらの各列の画像は、図中、左側から順番に微分関数の方向θを０，１／８ｐｉ，２／８ｐｉ，３／８ｐｉ，４／８ｐｉ，５／８ｐｉ，６／８ｐｉ，７／８ｐｉとしたものを表している。
【００５６】
例えば、図中、左側のフィルタである１次微分関数Ｇ1（０°）および１次微分関数Ｇ1（９０°）を用いることで、図中、右側の上から二番目の列の各方向θにおける１次微分関数Ｇ1（θ）を表すことができる。同様に、図中、左側の２次微分関数Ｇ2を用いて、図中、右側の上から５番目の列に示す各方向θにおける２次微分関数Ｇ2（θ）を表すことができ、図中、左側の３次微分関数Ｇ3を用いて、図中、右側の上から８番目の列に示す各方向θにおける３次微分関数Ｇ3（θ）を表すことができる。つまり、各次元の任意の方向の微分関数は、その次元より１だけ多い数の基底関数があれば、それらの基底関数の線形結合により表現することができる。
【００５７】
また、図４乃至図６に、ガウス幅σを変えて、ガウス関数Ｇの微分関数により、人が写っている画像に対してフィルタ処理を行うことで得られた結果を示す。なお、図４乃至図６のそれぞれにおいて、図中、左側にはフィルタ処理の対象となる画像が示されている。
【００５８】
図４の右側において、一番上側の横方向の画像の列は、左側から順番に、ガウス幅σ＝１とし、１次微分関数Ｇ1（θ）のθを０，１／８ｐｉ，２／８ｐｉ，３／８ｐｉ，４／８ｐｉ，５／８ｐｉ，６／８ｐｉ，７／８ｐｉとした場合におけるフィルタ処理の結果のそれぞれを示している。
【００５９】
同様に、図４の右側において、真ん中の横方向の画像の列は、左側から順番に、ガウス幅σ＝１とし、２次微分関数Ｇ2（θ）のθを０，１／８ｐｉ，２／８ｐｉ，３／８ｐｉ，４／８ｐｉ，５／８ｐｉ，６／８ｐｉ，７／８ｐｉとした場合、およびラプラシアンを用いた場合におけるフィルタ処理の結果を示している。図中、一番下の横方向の画像の列は、左側から順番に、ガウス幅σ＝１とし、３次微分関数Ｇ3（θ）のθを０，１／８ｐｉ，２／８ｐｉ，３／８ｐｉ，４／８ｐｉ，５／８ｐｉ，６／８ｐｉ，７／８ｐｉとした場合におけるフィルタ処理の結果を示している。
【００６０】
また、図５は、ガウス幅σを２としたときのフィルタ処理の結果を示している。つまり、図５の右側において、一番上側の横方向の画像の列は、左側から順番に、ガウス幅σ＝２とし、１次微分関数Ｇ1（θ）のθを０，１／８ｐｉ，２／８ｐｉ，３／８ｐｉ，４／８ｐｉ，５／８ｐｉ，６／８ｐｉ，７／８ｐｉとした場合におけるフィルタ処理の結果を示している。
【００６１】
同様に、図５の右側において、真ん中の横方向の画像の列は、左側から順番に、ガウス幅σ＝２とし、２次微分関数Ｇ2（θ）のθを０，１／８ｐｉ，２／８ｐｉ，３／８ｐｉ，４／８ｐｉ，５／８ｐｉ，６／８ｐｉ，７／８ｐｉとした場合、およびラプラシアンを用いた場合におけるフィルタ処理の結果を示している、また、図中、一番下の横方向の画像の列は、左側から順番に、ガウス幅σ＝２とし、３次微分関数Ｇ3（θ）のθを０，１／８ｐｉ，２／８ｐｉ，３／８ｐｉ，４／８ｐｉ，５／８ｐｉ，６／８ｐｉ，７／８ｐｉとした場合におけるフィルタ処理の結果を示している。
【００６２】
さらに、図６は、ガウス幅σを４としたときのフィルタ処理の結果を示している。つまり、図６の右側において、一番上側の横方向の画像の列は、左側から順番に、ガウス幅σ＝４とし、１次微分関数Ｇ1（θ）のθを０，１／８ｐｉ，２／８ｐｉ，３／８ｐｉ，４／８ｐｉ，５／８ｐｉ，６／８ｐｉ，７／８ｐｉとした場合におけるフィルタ処理の結果を示している。
【００６３】
同様に、図６の右側において、真ん中の横方向の画像の列は、左側から順番に、ガウス幅σ＝４とし、２次微分関数Ｇ2（θ）のθを０，１／８ｐｉ，２／８ｐｉ，３／８ｐｉ，４／８ｐｉ，５／８ｐｉ，６／８ｐｉ，７／８ｐｉとした場合、およびラプラシアンを用いた場合におけるフィルタ処理の結果を示している。また、図中、一番下の横方向の画像の列は、左側から順番に、ガウス幅σ＝４とし、３次微分関数Ｇ3（θ）のθを０，１／８ｐｉ，２／８ｐｉ，３／８ｐｉ，４／８ｐｉ，５／８ｐｉ，６／８ｐｉ，７／８ｐｉとした場合におけるフィルタ処理の結果を示している。
【００６４】
また、図４乃至図６に示した各フィルタでのフィルタ処理を、複数の異なる画像に対して行い、それらの結果を平均して得られる画像を図７乃至図９に示す。すなわち、図７乃至図９のそれぞれは、ガウス幅σを１，２，４とした場合における、フィルタ処理の結果の平均を示しており、図７乃至図９のそれぞれにおいて、図中、左側にはフィルタ処理の対象となった画像を平均して得られる画像が示されている。
【００６５】
したがって、図７乃至図９の図中、右側の横方向に並んだ画像の各列は、それらの列と同じ位置にある図４乃至図６の図中、右側の各列と同様のフィルタ処理を、複数の画像に対して行った結果を平均したものを示している。例えば、図７の右側において、一番上側の画像の列は、左側から順番に、ガウス幅σ＝１とし、１次微分関数Ｇ1（θ）のθを０，１／８ｐｉ，２／８ｐｉ，３／８ｐｉ，４／８ｐｉ，５／８ｐｉ，６／８ｐｉ，７／８ｐｉとした場合におけるフィルタ処理の結果の平均を示している。
【００６６】
図７乃至図９において、各フィルタ処理の結果の平均の画像からは、人の輪郭を確認することができ、各フィルタを用いたフィルタ処理によって、画像から適切に人の輪郭が抽出されていることが分かる。
【００６７】
次に、図１０は、図１の服装識別器生成部２３のより詳細な構成例を示すブロック図である。服装識別器生成部２３は、サンプリング部１０１、重み設定部１０２、並び替え部１０３、識別器設定部１０４、識別器選択部１０５、および重み更新部１０６から構成される。
【００６８】
サンプリング部１０１は、重み設定部１０２により設定される学習画像単位の重みに応じて、服装特徴点のペアごとに、複数の学習画像のそれぞれの同じ位置の服装特徴点のペアの服装特徴量から、Ｍ個の服装特徴量をサンプリングして並び替え部１０３に供給する。
【００６９】
並び替え部１０３は、各服装特徴点のペアについて、サンプリングされたＭ個の服装特徴量を昇べきの順、または降べきの順に並び替えて識別器設定部１０４に供給する。
【００７０】
識別器設定部１０４は、服装特徴量が抽出された学習画像に認識しようとする対象物体が含まれているか否かを示す正誤情報に基づいて、昇べきの順、または降べきの順に並び替えられた各ペアの服装特徴量のそれぞれについて、閾値を変化させながら誤り率計算部１０４ａを制御して、誤り率を計算させ、誤り率が最小となるように閾値を設定する（この閾値が、弱識別器として設定される）。さらに、識別器設定部１０４は、弱識別器ごとの誤り率を識別器選択部１０５に供給する。
【００７１】
なお、より詳細には、学習画像には、その学習画像に対象物体が含まれているか否かを示す正誤情報（ラベル）が付加されており、識別器設定部１０４は、服装特徴量計算部２２から供給された学習画像に付加されている正誤情報に基づいて、弱識別器の設定を行う。
【００７２】
識別器選択部１０５は、弱識別器のうち、誤り率が最小となる弱識別器を選択して、弱識別器からなる服装識別器を更新し、最終的な服装識別器および各弱識別器に対応する服装特徴量を統合識別器生成部２７に供給する。さらに、識別器選択部１０５は、選択した弱識別器の誤り率に基づいて信頼度を計算し、重み更新部１０６に供給する。
【００７３】
重み更新部１０６は、供給された信頼度に基づいて学習画像ごとの重みを再計算すると共に、重みを正規化して更新し、更新結果を重み設定部１０２に供給する。重み設定部１０２は、重み更新部１０６より供給されてくる重みの更新結果に基づいて、学習画像単位の重みを設定する。
【００７４】
なお、図１の輪郭特徴量計算部３４は、図２に示した輪郭特徴量計算部２５と同様の構成とされ、図１の輪郭識別器生成部２６は、図１０に示した服装識別器生成部２３と同様の構成とされるため、その図示および説明は省略する。
【００７５】
ところで、学習装置１１に学習画像が入力され、統合識別器の生成が指示されると、学習装置１１は、学習処理を開始して統計学習により統合識別器を生成する。以下、図１１のフローチャートを参照して、学習装置１１による学習処理について説明する。
【００７６】
ステップＳ１１において、服装特徴点抽出部２１は、入力された学習画像から服装特徴点を抽出して、抽出した服装特徴点および学習画像を服装特徴量計算部２２に供給する。
【００７７】
ステップＳ１２において、服装特徴量計算部２２は、服装特徴点抽出部２１から供給された服装特徴点と学習画像とに基づいて、各服装特徴点について、服装特徴点のペアリングを行う。
【００７８】
ステップＳ１３において、服装特徴量計算部２２は、ペアリングによりペアとされた服装特徴点の各ペアについて服装特徴量を計算し、これにより得られた服装特徴量を服装識別器生成部２３に供給する。
【００７９】
例えば、図１２に示す学習画像が服装特徴点抽出部２１に入力された場合、服装特徴点抽出部２１は、予め定められたマージン（のりしろ）と、サンプリングスキップ数とに基づいて、学習画像から服装特徴点を抽出する。なお、図１２において、学習画像上の円は、服装特徴点とされた画素を示している。
【００８０】
ここで、マージンとは、学習画像において、学習画像の端から服装特徴点の抽出の対象となる領域までの画素数をいう。また、サンプリングスキップ数とは、服装特徴点とされる学習画像上の画素と画素との間隔をいう。
【００８１】
したがって、例えばマージンが５画素であり、サンプリングスキップ数が５画素である場合、服装特徴点抽出部２１は、学習画像の端から５画素以内の位置にある画素からなる領域を学習画像から除外し、残りの領域Ｅ１１を服装特徴点の抽出の対象とする。そして、服装特徴点抽出部２１は、領域Ｅ１１内の画素のうち、互いに５画素だけ離れている位置の画素を服装特徴点として抽出する。つまり、図中、縦方向または横方向に互いに隣り合う服装特徴点間の距離は５画素とされ、各服装特徴点は、領域Ｅ１１内の画素とされる。
【００８２】
次に、服装特徴量計算部２２は、予め定められた最小半径および最大半径に基づいて、各服装特徴点のペアリングを行う。例えば、最小半径がＲ１１であり、最大半径がＲ１２である場合、所定の服装特徴点ＫＴ１に注目したとき、服装特徴量計算部２２は、服装特徴点ＫＴ１からの距離が、最小半径Ｒ１１以上であり、かつ最大半径Ｒ１２以内である全ての服装特徴点について、その服装特徴点と、服装特徴点ＫＴ１とを１つのペアとする。
【００８３】
したがって、例えば、服装特徴点ＫＴ１からの距離が、最小半径Ｒ１１以上であり、かつ最大半径Ｒ１２以内である服装特徴点がＮ個存在する場合、Ｎ個の服装特徴点のペアが得られることになる。服装特徴量計算部２２は、全ての服装特徴点について、他の服装特徴点とのペアリングを行う。
【００８４】
さらに、服装特徴量計算部２２は、ペアリングにより得られた服装特徴点の各ペアについて、ペアとなる各服装特徴点を中心とする所定の形の所定の大きさの領域同士のテクスチャの距離を服装特徴量として計算する。
【００８５】
例えば、図１２に示す服装特徴点ＫＴ１と服装特徴点ＫＴ２とのペアについての服装特徴量をSSD（Sum of Square Distance）により求める場合、服装特徴量計算部２２は、服装特徴点ＫＴ１を中心とする所定の領域を領域ＴＸ１とし、服装特徴点ＫＴ２を中心とする領域ＴＸ１と同じ大きさの領域を領域ＴＸ２とする。そして、服装特徴量計算部２２は、領域ＴＸ１内の画素の画素値と、その画素に対応する領域ＴＸ２内の画素の画素値との差分の絶対値和を求め、求められた差分の絶対値和を服装特徴量とする。
【００８６】
なお、服装特徴量は、SSDに限らず、SAD（Sum of Absolute Distance）や、正規化相関などとされてもよい。
【００８７】
このようにして、服装特徴量計算部２２は、学習画像から抽出された服装特徴点の各ペアについて、服装特徴量を求める。なお、より詳細には、学習装置１１には、対象物体が含まれているいくつかの学習画像と、対象物体が含まれていないいくつかの学習画像とからなる複数の学習画像が入力される。そして、入力された学習画像ごとに、服装特徴点の抽出および服装特徴量の計算が行われる。
【００８８】
したがって、例えばＭ個（但し、Ｍは自然数）の学習画像ＰＩ1乃至学習画像ＰＩMが学習装置１１に入力された場合には、図１３に示すように、Ｍ個の学習画像ＰＩi（但し、１≦ｉ≦Ｍ）について、服装特徴点のペアごとの服装特徴量が得られる。
【００８９】
図１３では、１つの四角形は、１つの服装特徴点のペアの服装特徴量を表している。また、図中、縦方向に並べられた四角形の列は、１つの学習画像ＰＩi（但し、１≦ｉ≦Ｍ）から得られた服装特徴量の列を表しており、１つの列には、その学習画像ＰＩiから得られた服装特徴点のペアの数だけ服装特徴量が並んでいる。つまり、１つの学習画像ＰＩiから得られた服装特徴点のペアの数が、その学習画像ＰＩiの服装特徴量の次元となる。
【００９０】
さらに、各学習画像ＰＩiの服装特徴量の列の図中、下側には、その学習画像ＰＩiに対象物体が含まれているか否かを示すラベル（正誤情報）が示されている。例えば、学習画像ＰＩ1の服装特徴量の列の図中、下側に示されるラベル「＋１」は、学習画像ＰＩ1に対象物体が含まれることを表しており、学習画像ＰＩMの服装特徴量の列の図中、下側に示されるラベル「−１」は、学習画像ＰＩMに対象物体が含まれていないことを表している。
【００９１】
図１１のフローチャートの説明に戻り、ステップＳ１３において、服装特徴量が求められると、ステップＳ１４において、服装識別器生成部２３は、服装識別器生成処理を行って、服装識別器を生成する。
【００９２】
ここで、図１４のフローチャートを参照して、ステップＳ１４の処理に対応する服装識別器生成処理について説明する。
【００９３】
ステップＳ５１において、重み設定部１０２は、例えば、図１３で示される学習画像ＰＩi（１≦ｉ≦Ｍ）毎の重みＷｉを全て１／Ｍに初期化し、識別器選択部１０５は、カウンタｊを１に、弱識別器の和からなる服装識別器Ｒ（ｘ）を０にそれぞれ初期化する。
【００９４】
ここで、ｉは、図１３における学習画像ＰＩiを識別するものであり、１≦ｉ≦Ｍである。ステップＳ５１の処理により、全ての学習画像ＰＩiの重みＷｉは、いずれも正規化された同一の重み（＝１／Ｍ）とされる。また、カウンタｊは、予め定められた、服装識別器Ｒ（ｘ）を更新する回数を示している。
【００９５】
ステップＳ５２において、サンプリング部１０１は、各服装特徴点のペアごとに、複数の学習画像ＰＩiのそれぞれの同じ位置の服装特徴点のペアの服装特徴量から、学習画像ＰＩiの重みＷｉに応じて、Ｍ個の服装特徴量を選択し、並び替え部１０３に供給する。
【００９６】
例えば、服装特徴量計算部２２からサンプリング部１０１に、図１５に示すように、Ｍ個の学習画像ＰＩ1乃至学習画像ＰＩMの服装特徴量が供給されたとする。図１５では、図中、横方向に学習画像ＰＩi（但し、１≦ｉ≦Ｍ）から得られた服装特徴量が並べられており、学習画像を表す文字ＰＩiの図中、左側の数字「＋１」または「−１」は、その学習画像ＰＩiに付加されたラベル（正誤情報）を示している。
【００９７】
すなわち、図中、一番上側に横方向に並んでいる（Ａ1，Ａ2，Ａ3，・・・，ＡN）は、学習画像ＰＩ1の服装特徴点の各ペアの服装特徴量のそれぞれを表しており、学習画像ＰＩ1を示す文字「ＰＩ1」の図中、左側の文字「＋１」は、学習画像ＰＩ1に対象物体が含まれている旨のラベルを表している。
【００９８】
同様に、図中、上から二番目の横方向に並んでいる（Ｂ1，Ｂ2，Ｂ3，・・・，ＢN）は、学習画像ＰＩ2の服装特徴点の各ペアの服装特徴量のそれぞれを表しており、学習画像ＰＩ2を示す文字「ＰＩ2」の図中、左側の文字「＋１」は、学習画像ＰＩ2に対象物体が含まれている旨のラベルを表している。
【００９９】
また、図中、上から三番目の横方向に並んでいる（Ｃ1，Ｃ2，Ｃ3，・・・，ＣN）は、学習画像ＰＩ3の服装特徴点の各ペアの服装特徴量のそれぞれを表しており、文字「ＰＩ3」の図中、左側の文字「−１」は、学習画像ＰＩ3に対象物体が含まれていない旨のラベルを表している。さらに、図中、上からＭ番目の横方向に並んでいる（Ｍ1，Ｍ2，Ｍ3，・・・，ＭN）は、学習画像ＰＩMの服装特徴点の各ペアの服装特徴量のそれぞれを表しており、文字「ＰＩM」の図中、左側の文字「−１」は、学習画像ＰＩMに対象物体が含まれていない旨のラベルを表している。
【０１００】
このように、図１５の例では、１つの学習画像ＰＩiからは、服装特徴点のＮ個のペアのそれぞれの服装特徴量が得られる。また、図１５では、縦方向に並んだＭ個の服装特徴量Ａk乃至服装特徴量Ｍk（但し、１≦ｋ≦Ｎ）が１つのグループＧｒkとされており、このグループＧｒkに属す服装特徴量は、各学習画像ＰＩiにおける同じ位置の服装特徴点のペアの服装特徴量とされている。
【０１０１】
例えば、グループＧｒ1は、縦方向に並んだ服装特徴量Ａ1乃至服装特徴量Ｍ1からなり、服装特徴量Ａ1が求められる学習画像ＰＩ1のペアとなる２つの服装特徴点と、グループＧｒ1に属す他の服装特徴量、例えば服装特徴量Ｍ1が求められる学習画像ＰＩMのペアとなる２つの服装特徴点とは、学習画像上の同じ位置にある。なお、以下において、各学習画像ＰＩiにおける服装特徴点のペアであって、グループＧｒk（１≦ｋ≦Ｎ）に属す服装特徴量が求まめられるペアをペアｋと称する。
【０１０２】
サンプリング部１０１に、図１５に示される学習画像ＰＩiごとの服装特徴量が供給された場合、サンプリング部１０１は、ペアｋごと、つまりグループＧｒkごとに、そのグループに属す服装特徴量から学習画像ＰＩiの重みＷｉに応じて、Ｍ個の服装特徴量を抽選で選択する。例えば、サンプリング部１０１は、重みＷｉに応じて、グループＧｒ1に属す服装特徴量Ａ1乃至服装特徴量Ｍ1から、Ｍ個の服装特徴量を選択する。なお、最初の処理においては、いずれの重みＷｉも１／Ｍであり、等しいため、Ｍ個が抽選されると、確率的には全ての服装特徴量が選択されることになる。そのため、ここでは、最初の処理では各グループＧｒkにおいて、全ての服装特徴量が選択されたものとする。もちろん、実際には、同一の服装特徴量が重複して選択されることもある。
【０１０３】
なお、重みＷｉは、服装特徴点のペアごとのエラー計算に用いることもできる。この場合、データ重み係数（重みＷｉ）がエラー値に掛け合わされてエラー計算が行われる。
【０１０４】
ステップＳ５３において、並び替え部１０３は、Ｎ個のグループＧｒkのそれぞれについて、グループＧｒk、つまりペアｋごとに選択されたＭ個の服装特徴量を昇べきの順、または降べきの順に並び替えて、識別器設定部１０４に供給する。例えば、図１５のグループＧｒ1に属す服装特徴量から選択された、Ｍ個の服装特徴量が順番に並び替えられる。
【０１０５】
ステップＳ５４において、識別器設定部１０４は、服装特徴量計算部２２から供給された学習画像に付加されている正誤情報（ラベル）に基づいて、グループＧｒkごと、つまり服装特徴点のペアｋごとに、閾値を変化させながら誤り率計算部１０４ａを制御して、以下の式（７）で示すように誤り率ｅjkを計算させ、誤り率ｅjkが最小となるように閾値を設定する。
【０１０６】
ここで、服装特徴点のペアｋごとの閾値ｔｈjkが、１個の弱識別器ｆjkとなる。識別器設定部１０４は、弱識別器ｆjkごとの誤り率ｅjkを識別器選択部１０５に供給する。すなわち、Ｎ個のペアｋのそれぞれに対して、Ｎ個の弱識別器ｆjkのそれぞれが設定され、Ｎ個の弱識別器ｆjkのそれぞれについて誤り率ｅjkが求められることになる。なお、弱識別器ｆjkは、認識しようとする対象物体を含む場合「＋１」を出力し、認識しようとする対象物体を含まない場合「−１」を出力する関数である。
【０１０７】
例えば、図１６に示すように、ｊ＝１であって、服装特徴点のペアｋ＝１の服装特徴量がＬ1，Ａ1，Ｃ1，Ｂ1，・・・，Ｍ1に昇べき、または、降べきの順に並べられた場合、閾値ｔｈ11が服装特徴量Ａ1とＣ1の間に設定される。そして、閾値ｔｈ11より小さい範囲では、認識しようとする対象物体がないと認識され（「−１」で示されている範囲）、閾値ｔｈ11より大きい範囲では、認識しようとする対象物体があると認識される（「＋１」で示されている範囲）とき、図中の点線で囲まれた服装特徴量Ａ1は、認識しようとする対象物体が含まれた学習画像の服装特徴量であるので、エラーであるとみなされる。また、服装特徴量Ｃ1，Ｍ1は、逆に、認識しようとする対象物体が含まれていない学習画像の服装特徴量であるので、エラーであるとみなされる。
【０１０８】
図１６の例では、閾値ｔｈ11は、誤り率ｅjkが最小となる位置に設定されている。例えば、図１６に示す閾値ｔｈ11が、誤り率ｅjkの最小となる位置ではない場合には、識別器設定部１０４は、閾値ｔｈ11の位置を変化させて、各位置における誤り率ｅjkを参照しながら、誤り率ｅjkが最小となる閾値ｔｈ11の位置を探し出し、その位置を閾値ｔｈ11の位置とする。
【０１０９】
誤り率計算部１０４ａは、以下の式（７）で示されるように、学習画像の正誤情報（ラベル）に基づいて、エラーであるとみなされた服装特徴量が抽出された学習画像の重みＷｉを加算し、誤り率ｅjkを計算する。
【０１１０】
【数７】
0005041229.tif 000008
【０１１１】
ここで、ｙ≠ｆjkはエラーとなっている服装特徴点のペアｋの条件を示しており、Ｅwは、エラーの発生したペアｋにおける重みが加算されることを示している。
【０１１２】
ステップＳ５５において、識別器選択部１０５は、識別器設定部１０４から供給されたペアｋごとのＮ個の誤り率ｅjkに基づいて、Ｎ個の弱識別器ｆjkのうち、誤り率ｅjkが最小となる弱識別器ｆjkを選択する。そして、識別器選択部１０５は、識別器設定部１０４から選択した弱識別器ｆjkを取得する。
【０１１３】
ステップＳ５６において、識別器選択部１０５は、選択した弱識別器ｆjkの誤り率ｅjkに基づいて、以下の式（８）で示される信頼度ｃjを計算し、計算結果を重み更新部１０６に供給する。
【０１１４】
【数８】
0005041229.tif 000009
【０１１５】
なお、式（８）において、ｅjは、誤り率ｅjkのうち、選択された弱識別器ｆjkの誤り率ｅjk、つまりＮ個の誤り率ｅjkのうちの最小の誤り率ｅjkを示している。また、以下において、ステップＳ５５の処理において選択されたペアｋの弱識別器を、弱識別器ｆjとも称し、その弱識別器ｆjの誤り率ｅjkを誤り率ｅjとも称する。
【０１１６】
ステップＳ５７において、重み更新部１０６は、供給された信頼度ｃjに基づいて、以下の式（９）を計算することで、学習画像ＰＩiごとに重みＷｉを再計算すると共に、全ての重みＷｉを正規化して更新し、更新結果を重み設定部１０２に供給する。重み設定部１０２は、重み更新部１０６より供給されてくる重みの更新結果に基づいて、学習画像ごとの重みを設定する。
【０１１７】
【数９】
0005041229.tif 000010
【０１１８】
すなわち、式（９）においては、エラーの発生した服装特徴量を含む学習画像の重みＷｉが大きくなることが示されている。
【０１１９】
ステップＳ５８において、識別器選択部１０５は、新たに求められた弱識別器ｆjを用いて、保持している服装識別器Ｒ（ｘ）を更新する。すなわち、識別器選択部１０５は、次式（１０）を計算することで服装識別器Ｒ（ｘ）を更新する。
【０１２０】
Ｒ（ｘ）＝Ｒ’（ｘ）＋ｃj×ｆj（ｘ）                        ・・・（１０）
【０１２１】
なお、式（１０）において、Ｒ’（ｘ）は、識別器選択部１０５が保持している更新前の服装識別器を表しており、ｆj（ｘ）は、新たに求められた弱識別器ｆjを表している。すなわち、識別器選択部１０５は、保持している服装識別器に、信頼度ｃjが乗算されて重み付けされた、新たに求められた弱識別器を加算することで服装識別器を更新する。
【０１２２】
ステップＳ５９において、識別器選択部１０５は、誤り率ｅjkが最小となる弱認識器ｆjkに対応する服装特徴点のペアｋの服装特徴量を、識別用特徴量として保持する。
【０１２３】
ステップＳ６０において、識別器選択部１０５は、カウンタｊがＬ以上であるか否かを判定する。ステップＳ６０において、カウンタｊがＬ以上でないと判定された場合、ステップＳ６１において、識別器選択部１０５は、カウンタｊをインクリメントする。そして、その後、処理はステップＳ５２に戻り、上述した処理が繰り返される。
【０１２４】
すなわち、新たに設定された学習画像ごとの重みＷｉが用いられて、Ｎ個のペアｋについて、新たな弱識別器ｆjkが設定され、それらの弱識別器ｆjkから誤り率ｅjkが最小となる弱認識器ｆjkが選択される。そして、選択された弱認識器ｆjkにより、服装識別器が更新される。
【０１２５】
これに対して、ステップＳ６０において、カウンタｊがＬ以上であると判定された場合、ステップＳ６２において、識別器選択部１０５は、保持している服装識別器および識別用特徴を統合識別器生成部２７に出力する。そして、その後、処理は図１１のステップＳ１５に進む。
【０１２６】
以上の処理により、Ｌ個の比較的誤り率の低い弱識別器ｆj（１≦ｊ≦Ｌ）からなる服装識別器が統合識別器生成部２７に供給されるとともに、それぞれの弱識別器ｆjで使用されるべき服装特徴点のペアｋの服装特徴量が統合識別器生成部２７に供給される。ここでＬは、Ｌ≦Ｎである。
【０１２７】
なお、式（１０）の服装識別器を用いて、服装特徴量を代入した服装識別器が正である場合に「＋１」を出力し、服装識別器が負である場合に「−１」を出力する識別器（関数）を生成すると、その識別器は、Ｌ個の弱識別器の多数決により、認識しようとする対象物体の有無を出力する関数であると言える。また、図１４のフローチャートを参照して説明した弱識別器を学習処理により重み付けしつつ付加することを繰り返し、識別器を生成する学習処理は、Descrete Adaboost Algorithmと呼ばれている。
【０１２８】
すなわち、以上の服装識別器生成処理により、誤り率の高い学習画像の服装特徴量の重みが順次大きくなり、誤り率の低い服装特徴量の重みが小さくなるように、服装特徴点のペアごとに弱識別器と誤り率が計算される処理が繰り返されることになる。したがって、繰り返し処理（ステップＳ５２乃至Ｓ６１の処理）の中で、弱識別器を設定する際に選択される服装特徴量（ステップＳ５２で選択される服装特徴量）は、徐々に誤り率の高いものが選択されやすくなるので、認識し難い服装特徴量が繰り返されるほどに選択されて学習が繰り返されることになるため、認識し難い学習画像の服装特徴量がより多く選択されることになり、最終的に高い認識率にすることが可能となる。
【０１２９】
また、繰り返し処理（ステップＳ５２乃至Ｓ６１の処理）の中で、識別器選択部１０５は、常に誤り率の最も低いペアに対応する弱識別器を選択することになるので、学習処理の繰り返しにより、常に信頼度の最も高い服装特徴点のペアについての弱識別器が選択されて服装識別器に加算されることになり、繰り返されるごとに精度の高い弱識別器が順次加算されることになる。
【０１３０】
さらに、服装識別器は、服装特徴量を用いて画像に対象物体としての人が含まれているか否かを識別する識別器である。そして、服装識別器を構成する各弱識別器に代入される服装特徴量に対応する服装特徴点のペアは、服装特徴点のペアのうち、入力された画像から対象物体を検出するのに適したペアである。
【０１３１】
例えば、服装識別器に代入される服装特徴量に対応するペアは、図１７に示すように、画像中の対象物体としての人の周囲にある服装特徴点のペアとされている。図１７では、点線の直線は、ペアとなる２つの服装特徴点を結ぶ直線を表しており、その点線の端を中心とする四角形は、服装特徴量を求めるときに用いられるテクスチャの領域を表している。
【０１３２】
図１７の例では、画像上の人が身に着けている、その人の上半身の洋服内にある２つの服装特徴点からなり、テクスチャ間の距離、つまり服装特徴量が小さくなるペアや、人の洋服内の服装特徴点と、人ではなく背景上の服装特徴点とからなり、服装特徴量が大きくなるペアなどが選択されていることが分かる。
【０１３３】
図１１のフローチャートの説明に戻り、ステップＳ１５において、輪郭特徴点抽出部２４は、入力された学習画像から輪郭特徴点を抽出する。
【０１３４】
例えば、輪郭特徴点抽出部２４に図１８Ａに示す学習画像が入力された場合、輪郭特徴点抽出部２４は、図１８Ｂに示すように、学習画像において所定の間隔で並んでいる画素を、輪郭特徴点として抽出する。なお、図１８Ｂにおいて、学習画像上の円は輪郭特徴点とされた画素を表している。
【０１３５】
図１８Ａおよび図１８Ｂに示す学習画像は、図中、横方向に３２画素、縦方向に６４画素からなる学習画像であり、輪郭特徴点抽出部２４は、学習画像上の画素を、横方向および縦方向に２画素おきに輪郭特徴点とする画素として選択する。これにより、学習画像において、図中、横方向に１２画素、縦方向に２８画素、合計３３６（＝１２×２８）画素が輪郭特徴点として選択される。
【０１３６】
輪郭特徴点抽出部２４は、学習画像から輪郭特徴点を抽出すると、抽出した輪郭特徴点と、入力された学習画像とを輪郭特徴量計算部２５に供給する。
【０１３７】
ステップＳ１６において、輪郭特徴量計算部２５は、輪郭特徴量計算処理を行い、輪郭特徴点抽出部２４から供給された輪郭特徴点および学習画像に基づいて、各輪郭特徴点の輪郭特徴量を計算する。
【０１３８】
ここで、図１９のフローチャートを参照して、ステップＳ１６の処理に対応する輪郭特徴量計算処理について説明する。
【０１３９】
ステップＳ１０１において、輪郭特徴量計算部２５、より詳細には、輪郭特徴量計算部２５の１次フィルタ処理部６１、２次フィルタ処理部６２、および３次フィルタ処理部６３は、それぞれ輪郭特徴点抽出部２４から供給されてきた輪郭特徴点のうち、未処理の輪郭特徴点の１つを注目画素として選択する。
【０１４０】
ステップＳ１０２において、輪郭特徴量計算部２５は、方向θｑを示すカウンタｑを１とする。これにより、方向θｑはθ１とされる。
【０１４１】
ステップＳ１０３において、輪郭特徴量計算部２５は、ガウス幅σｐを示すカウンタｐを１とする。これにより、ガウス幅σｐはσ１とされる。
【０１４２】
ステップＳ１０４において、１次フィルタ処理部６１は、１次フィルタ処理を行う。すなわち、１次フィルタ処理部６１は、処理対象となる注目画素の画素値に基づいて、ガウス幅をσｐとし、かつ方向をθｑとして式（２）を演算し、フィルタ処理した結果を特徴量生成部６４に供給する。つまり、式（２）における方向θがθｑとされて演算が行われ、輪郭が抽出される。
【０１４３】
ステップＳ１０５において、２次フィルタ処理部６２は、２次フィルタ処理を行う。すなわち、２次フィルタ処理部６２は、注目画素の画素値に基づいて、ガウス幅をσｐとし、かつ方向をθｑとして式（３）を演算し、フィルタ処理した結果を特徴量生成部６４に供給する。つまり、式（３）における方向θがθｑとされて演算が行われ、輪郭が抽出される。
【０１４４】
ステップＳ１０６において、３次フィルタ処理部６３は、３次フィルタ処理を行う。すなわち、３次フィルタ処理部６３は、注目画素の画素値に基づいて、ガウス幅をσｐとし、かつ方向をθｑとして式（５）を演算し、フィルタ処理した結果を特徴量生成部６４に供給する。つまり、式（５）における方向θがθｑとされて演算が行われ、輪郭が抽出される。
【０１４５】
ステップＳ１０７において、輪郭特徴量計算部２５は、ガウス幅σｐがσ３であるか、つまりカウンタｐ＝３であるか否かを判定する。ステップＳ１０７において、ガウス幅σｐがσ３でないと判定された場合、ステップＳ１０８において、輪郭特徴量計算部２５は、カウンタｐをインクリメントする。例えば、カウンタｐ＝１であった場合、カウンタｐがインクリメントされてｐ＝２とされ、これによりガウス幅σｐはσ２とされる。カウンタｐがインクリメントされると、処理はステップＳ１０４に戻り、上述した処理が繰り返される。
【０１４６】
一方、ステップＳ１０７において、ガウス幅σｐがσ３であると判定された場合、ステップＳ１０９において、輪郭特徴量計算部２５は、方向θｑがθ４であるか否か、つまりカウンタｑ＝４であるか否かを判定する。
【０１４７】
ステップＳ１０９において、方向θｑがθ４でないと判定された場合、ステップＳ１１０において、輪郭特徴量計算部２５は、カウンタｑをインクリメントする。例えば、カウンタｑ＝１であった場合、カウンタｑがインクリメントされてｑ＝２とされ、これにより方向θｑはθ２とされる。カウンタｑがインクリメントされると、処理はステップＳ１０３に戻り、上述した処理が繰り返される。
【０１４８】
これに対して、ステップＳ１０９において、方向θｑがθ４であると判定された場合、ステップＳ１１１において、特徴量生成部６４は、１次フィルタ処理部６１、２次フィルタ処理部６２、および３次フィルタ処理部６３から供給された演算結果を輪郭特徴量として合成し、１つの輪郭特徴点に対する輪郭特徴量を生成する。
【０１４９】
ステップＳ１１２において、輪郭特徴量計算部２５は、全ての輪郭特徴点について処理が終了したか否かを判定する。例えば、輪郭特徴点抽出部２４から供給された全ての輪郭特徴点について、輪郭特徴量が求められた場合、処理が終了したと判定される。
【０１５０】
ステップＳ１１２において、全ての輪郭特徴点について処理が終了していないと判定された場合、処理はステップＳ１０１に戻り、次の輪郭特徴点が注目画素として選択される。
【０１５１】
これに対して、ステップＳ１１２において、全ての輪郭特徴点について処理が終了したと判定された場合、特徴量生成部６４は、輪郭特徴点抽出部２４から供給された学習画像と、生成された各輪郭特徴点の輪郭特徴量とを輪郭識別器生成部２６に供給する。そして、その後、処理は図１１のステップＳ１７に進む。
【０１５２】
なお、学習画像からの輪郭特徴量の抽出には、ステアラブルフィルタに限らず、ガボアフィルタなどが用いられるようにしてもよい。
【０１５３】
図１１のフローチャートの説明に戻り、各輪郭特徴点の輪郭特徴量が求められると、ステップＳ１７において、輪郭識別器生成部２６は、輪郭特徴量計算部２５から供給された学習画像および輪郭特徴量に基づいて、輪郭識別器生成処理を行い、輪郭識別器を生成する。なお、この輪郭識別器生成処理は、図１４を参照して説明した服装識別器生成処理と同様であるので、その説明は省略する。
【０１５４】
すなわち、服装識別器生成処理と輪郭識別器生成処理とは、処理対象となる特徴量が服装特徴量であるか、または輪郭特徴量であるかという点のみが異なる。したがって、輪郭識別器生成処理においては、最も誤り率の低い輪郭特徴点の輪郭特徴量に対応する弱識別器の和から輪郭識別器が生成される。輪郭識別器生成部２６は、生成した輪郭識別器および識別用特徴を統合識別器生成部２７に出力する。
【０１５５】
ステップＳ１８において、統合識別器生成部２７は、服装識別器生成部２３から供給された服装識別器と、輪郭識別器生成部２６から供給された輪郭識別器とを統合して統合識別器を生成する。
【０１５６】
例えば、Adaboostによる統計学習処理により得られた識別器は、弱識別器の線形結合により表現されるので、統合識別器生成部２７は、服装識別器と輪郭識別器とをLate Fusion方式により統合する。
【０１５７】
すなわち、統合識別器生成部２７は、次式（１１）を計算することで、服装識別器Ｒ（ｘ）と、輪郭識別器Ｔ（ｘ）との識別器和Ｕ（ｘ）を求める。つまり、服装識別器Ｒ（ｘ）と、輪郭識別器Ｔ（ｘ）との線形結合により、識別器和Ｕ（ｘ）が求められる。
【０１５８】
Ｕ（ｘ）＝α・Ｒ（ｘ）＋β・Ｔ（ｘ）                    ・・・（１１）
【０１５９】
なお、式（１１）において、αおよびβは所定の定数、つまりチューニングパラメータであり、例えば統計学習処理に用いられる学習画像に対する識別率などにより求められる。また、輪郭識別器Ｔ（ｘ）は、式（１０）により示される服装識別器Ｒ（ｘ）と同様に、信頼度が乗算された弱識別器の和とされる。
【０１６０】
さらに、統合識別器生成部２７は、求められた識別器和Ｕ（ｘ）を用いて、次式（１２）により示される統合識別器を生成する。
【０１６１】
統合識別器＝sign（Ｕ（ｘ））                                  ・・・（１２）
【０１６２】
なお、式（１２）において、sign（Ｕ（ｘ））は、識別器和Ｕ（ｘ）が正の場合、認識しようとする対象物体が、入力画像中に存在することを示す「＋１」を出力し、識別器和Ｕ（ｘ）が負の場合、認識しようとする対象物体が、入力画像中に存在しないことを示す「−１」を出力する関数である。
【０１６３】
このようにして、統合識別器が生成されると、統合識別器生成部２７は、生成した統合識別器を識別器記録部１２に供給して記録させる。また、統合識別器生成部２７は、服装識別器生成部２３から供給された識別用特徴量に、輪郭識別器生成部２６から供給された識別用特徴量を付加して最終的な識別用特徴量とし、最終的な識別用特徴量を識別器記録部１２に供給して記録させ、学習処理は終了する。
【０１６４】
以上のようにして、学習装置１１は、学習画像から服装特徴点を抽出して、服装特徴点のペアの服装特徴量を求め、統計学習により服装識別器を生成するとともに、学習画像から輪郭特徴点を抽出して輪郭特徴量を求め、統計学習により輪郭識別器を生成する。そして、学習装置１１は、服装識別器と輪郭識別器とを線形結合により統合して、統合識別器を生成する。
【０１６５】
このように、服装識別器と輪郭識別器とを統合して統合識別器を生成することで、画像からより確実に対象物体を検出できる統合識別器を提供することができる。すなわち、統合識別器は、対象物体の服装の特徴を利用した服装識別器と、対象物体の輪郭を利用した輪郭識別器とが統合されたものであるので、入力された画像から、少なくとも一方の特徴量を充分に抽出することができれば、画像から対象物体を検出することができる。
【０１６６】
画像から対象物体としての人を検出する場合、対象物体としての人は、服装が変化しても、人として検出されるべきである。そのため、従来は、人の服装の輝度によらない特徴量として、輪郭だけが用いられて画像からの人の検出が行われていた。
【０１６７】
これに対して、学習装置１１では、人の服装の特徴を利用した、人の服装のパターンの変化に対して不変な服装特徴量を画像からの人の検出に用いている。この服装特徴量は、統計的に、人が上半身（シャツ）で同じテクスチャの繰り返しのパターンであり、下半身（ズボン）で同じテクスチャの繰り返しのパターンである洋服を着用することが多いことに着目し、新たに定義された特徴量である。
【０１６８】
つまり、服装特徴量は、画像上の任意の２つの領域のテクスチャ、すなわち輝度のパターンの似ている度合い（類似度）を示している。例えば、人の上半身の２つの領域間のテクスチャの類似度は高く、上半身と下半身や、人の服装と背景とのテクスチャの類似度は低い。学習装置１１では、このような２つの領域のテクスチャの類似度を利用して、画像から人を検出する服装識別器が用いられ、統合識別器が生成される。
【０１６９】
したがって、例えば、入力された画像から輪郭が充分に抽出できなくても、画像から２つの領域のテクスチャの類似の特徴を充分に抽出できれば、統合識別器を用いて、画像から人を検出することができる。逆に、画像中において、人の着用している洋服が繰り返しでないパターンの服であったり、バッグなどで洋服が部分的に隠れていたりする場合には、画像からテクスチャの類似の特徴を充分に抽出できない恐れがあるが、画像から輪郭を充分に抽出することができれば、統合識別器により画像から人を検出することができる。
【０１７０】
ところで、認識装置１３に入力画像が入力され、対象物体としての人の検出が指示されると、認識装置１３は、人検出処理を開始して、入力画像から対象物体を検出する。以下、図２０のフローチャートを参照して、認識装置１３による人検出処理について説明する。
【０１７１】
なお、ステップＳ１５１の処理乃至ステップＳ１５３の処理のそれぞれは、図１１のステップＳ１１の処理乃至ステップＳ１３の処理のそれぞれと同様であるので、その説明は省略する。すなわち、服装特徴点抽出部３１は、入力された入力画像から服装特徴点を抽出し、服装特徴量計算部３２は、服装特徴点抽出部３１により抽出された服装特徴点のペアリングを行って、各ペアの服装特徴量を計算する。そして、服装特徴量計算部３２は、各ペアについて求めた服装特徴量を識別計算部３５に供給する。
【０１７２】
ステップＳ１５４において、輪郭特徴点抽出部３３は、図１１のステップＳ１５の処理と同様の処理を行い、入力された入力画像から輪郭特徴点を抽出し、入力画像とともに輪郭特徴量計算部３４に供給する。
【０１７３】
ステップＳ１５５において、輪郭特徴量計算部３４は、輪郭特徴点抽出部３３からの入力画像および輪郭特徴点に基づいて、輪郭特徴量計算処理を行い、各輪郭特徴点の輪郭特徴量を計算する。そして、輪郭特徴量計算部３４は、求められた輪郭特徴量を識別計算部３５に供給する。なお、この輪郭特徴量計算処理は、図１９を参照して説明した輪郭特徴量計算処理と同様の処理であるため、その説明は省略する。
【０１７４】
ステップＳ１５６において、識別計算部３５は、識別器記録部１２から識別用特徴量および統合識別器を読み出して、読み出した統合識別器に特徴量を代入して計算する。すなわち、識別計算部３５は、服装特徴量計算部３２からの服装特徴量、および輪郭特徴量計算部３４からの輪郭特徴量のうちの識別用特徴量に対応するものを、式（１２）により示される統合識別器に代入して演算を行う。
【０１７５】
ここで、統合識別器を構成する弱識別器に代入される特徴量は、識別用特徴量とされた特徴量が求められた、学習画像の服装特徴点のペアまたは輪郭特徴点と同じ位置にある、入力画像上の服装特徴点のペアまたは輪郭特徴点から求められた特徴量である。また、識別用特徴量とされる特徴量は、統計学習処理時において、統合識別器を構成する弱識別器の設定に用いられた特徴量である。
【０１７６】
式（１２）の演算が行われると、その演算の結果として、入力画像中に対象物体としての人が存在することを示す「＋１」、または入力画像中に対象物体としての人が存在しないことを示す「−１」が得られる。識別計算部３５は、統合識別器での演算結果を識別結果出力部３６に供給する。
【０１７７】
ステップＳ１５７において、識別結果出力部３６は、識別計算部３５からの演算結果に基づいて、人の検出結果を出力し、人検出処理は終了する。すなわち、対象物体が入力画像で認識されたか否かの識別結果が出力される。
【０１７８】
例えば、対象物体が入力画像で認識されたか否かの識別結果として、図２１に示すように、対象物体としての人が検出された領域に枠が表示された入力画像が、識別結果出力部３６に表示されるようにしてもよい。
【０１７９】
図２１に示す入力画像は、対象物体としての２人の人が写っている画像であり、入力画像には、それぞれの人を囲む枠が表示されている。この場合、識別結果出力部３６にも入力画像が入力され、識別計算部３５は、演算結果とともに入力画像における対象物体が検出された領域を示す情報を識別結果出力部３６に供給する。すると、識別結果出力部３６は、識別計算部３５からの演算結果および領域を示す情報に基づいて、入力画像から対象物体が検出された場合には、入力画像とともに、対象物体が検出された領域を囲む枠を表示する。
【０１８０】
このようにして、認識装置１３は、入力画像から服装特徴点を抽出して、服装特徴点のペアの服装特徴量を求めるとともに、入力画像から輪郭特徴点を抽出して輪郭特徴量を求める。そして、認識装置１３は、求めた服装特徴量および輪郭特徴量と、識別器記録部１２に記録されている統合識別器とを用いて、入力画像から対象物体を検出する。
【０１８１】
このように、服装特徴量および輪郭特徴量を用いて入力画像から対象物体を検出することで、より確実に画像から対象物体を検出することができる。すなわち、入力画像から服装特徴量または輪郭特徴量の少なくとも何れか一方を充分に抽出することができれば、入力画像から対象物体を確実に検出することができる。
【０１８２】
なお、以上においては、対象物体として人を検出すると説明したが、対象物体は、人に限らず、物体の表面のパターンが、同じテクスチャの繰り返しのパターンとなるものであれば、どのようなものであってもよい。
【０１８３】
また、以上においては、Descrete Adaboost Algorithmに基づいて、統計学習処理を実行する例について説明してきたが、それ以外のBoosting Algorithmを適用するようにしてもよく、例えば、Gentle Adaboost Algorithmを用いるようにしてもよい。Descrete Adaboost Algorithmと、Gentle Adaboost Algorithmとは、前者の識別器の出力結果が離散変量であるのに対して、後者は、連続変量である点で異なる。しかしながら、前者においては、信頼度が乗じられるため、出力結果は、実質的に連続変量として扱われており、本質的に処理の違いはない。
【０１８４】
さらに、その他、SVM（Support Vector Machine）やBaysianなどにより統計学習処理を行い、服装識別器や輪郭識別器を生成するようにしてもよい。なお、統計学習処理において、Adaboostなどで特徴量（服装特徴量または輪郭特徴量）を選択するようにすると、認識装置１３における統合識別器を用いた人の検出時に、より高速に処理を行うことができるようになる。
【０１８５】
また、以上においては、服装識別器と輪郭識別器とを生成し、それらの識別器を統合して統合識別器を生成すると説明したが、服装識別器および輪郭識別器を生成せずに、服装特徴量および輪郭特徴量から、直接、統合識別器が生成されるようにしてもよい。
【０１８６】
そのような場合、人識別システムは、例えば図２２に示すように構成される。なお、図２２において、図１における場合と対応する部分には、同一の符号を付してあり、その説明は省略する。
【０１８７】
図２２に示す人識別システムと、図１に示す人認識システムとでは、識別器記録部１２および認識装置１３は同じ構成とされ、学習装置１１の構成だけが異なる。
【０１８８】
すなわち、図２２に示す学習装置１１は、服装特徴点抽出部２１、服装特徴量計算部２２、輪郭特徴点抽出部２４、輪郭特徴量計算部２５、および統合識別器生成部２０１から構成される。なお、服装特徴点抽出部２１、服装特徴量計算部２２、輪郭特徴点抽出部２４、および輪郭特徴量計算部２５は、図１に示した学習装置１１における場合と同様であるので、その説明は省略する。
【０１８９】
統合識別器生成部２０１は、服装特徴量計算部２２から供給された服装特徴量、および輪郭特徴量計算部２５から供給された輪郭特徴量に基づいて、例えばAdaboostによる統計学習処理を行い、統合識別器を生成する。また、統合識別器生成部２０１は、生成した統合識別器、および識別用特徴量を識別器記録部１２に供給して記録させる。
【０１９０】
また、統合識別器生成部２０１は、より詳細には、例えば図２３に示すように構成される。統合識別器生成部２０１は、サンプリング部２３１、重み設定部２３２、並び替え部２３３、識別器設定部２３４、識別器選択部２３５、および重み更新部２３６から構成される。
【０１９１】
これらのサンプリング部２３１乃至重み更新部２３６のそれぞれは、処理の対象となる特徴量が服装特徴量および輪郭特徴量である点が異なるだけで、行われる処理自体は、図１０のサンプリング部１０１乃至重み更新部１０６のそれぞれと同様であるので、その説明は適宜、省略する。
【０１９２】
つまり、サンプリング部２３１には、服装特徴量計算部２２から学習画像および服装特徴量が供給されるとともに、輪郭特徴量計算部２５から学習画像および輪郭特徴量が供給される。そして、サンプリング部２３１は、同じ学習画像から抽出された服装特徴量および輪郭特徴量を並べて１つの特徴量とし、学習画像単位の重みに応じて、服装特徴点のペアまたは輪郭特徴点ごとに、複数の学習画像のそれぞれにおける同じ位置の服装特徴点のペアの服装特徴量、または同じ輪郭特徴点の輪郭特徴量のうちのＭ個の特徴量（服装特徴量または輪郭特徴量）をサンプリングし、並び替え部２３３に供給する。
【０１９３】
また、識別器設定部２３４は、服装特徴量計算部２２および輪郭特徴量計算部２５からの学習画像に付加されている正誤情報に基づいて、並び替えられた各服装特徴点のペアの服装特徴量、または各輪郭特徴点の輪郭特徴量のそれぞれについて、閾値を変化させながら誤り率計算部２３４ａを制御して、誤り率を計算させ、誤り率が最小となるように閾値設定する。
【０１９４】
識別器選択部２３５は、弱識別器のうち、誤り率が最小となる弱識別器を選択して、保持している弱識別器からなる統合識別器を更新し、最終的な統合識別器と、各弱識別器に対応する服装特徴量または輪郭特徴量とを識別用特徴量として識別器記録部１２に供給して記録させる。
【０１９５】
次に、図２４のフローチャートを参照して、図２２の学習装置１１による学習処理について説明する。なお、ステップＳ２０１の処理乃至ステップＳ２０３の処理のそれぞれは、図１１のステップＳ１１の処理乃至ステップＳ１３の処理のそれぞれと同様であるので、その説明は省略する。
【０１９６】
ステップＳ２０３において、服装特徴量計算部２２から統合識別器生成部２０１に、服装特徴量および学習画像が供給されると、ステップＳ２０４において、輪郭特徴点抽出部２４は、図１１のステップＳ１５の処理と同様の処理を行って、入力された学習画像から輪郭特徴点を抽出し、輪郭特徴点および学習画像を輪郭特徴量計算部２５に供給する。
【０１９７】
ステップＳ２０５において、輪郭特徴量計算部２５は、輪郭特徴点抽出部２４からの輪郭特徴点および学習画像に基づいて、輪郭特徴量計算処理を行い、各輪郭特徴点の輪郭特徴量を計算する。なお、この輪郭特徴量計算処理は、図１１のステップＳ１６の処理と同様であるため、その説明は省略する。
【０１９８】
輪郭特徴量計算処理が行われ、輪郭特徴量計算部２５から統合識別器生成部２０１に輪郭特徴量および学習画像が供給されると、ステップＳ２０６において、統合識別器生成部２０１は、服装特徴量計算部２２から供給された学習画像および服装特徴量と、輪郭特徴量計算部２５から供給された学習画像および輪郭特徴量とに基づいて、統合識別器生成処理を行って、統合識別器を生成する。なお、この統合識別器生成処理は、図１４を参照して説明した服装識別器生成処理と同様であるので、その説明は省略する。
【０１９９】
ステップＳ２０６の統合識別器生成処理では、服装特徴量および輪郭特徴量からなる１つの特徴量が用いられて、Early Fusion方式により統合識別器を生成する処理が行われる。したがって、例えば図１５に示したグループＧｒk（但し、服装特徴量の数をＮ１とし、輪郭特徴量の数をＮ２として、１≦ｋ≦Ｎ１＋Ｎ２）に属す特徴量は、服装特徴量または輪郭特徴量の何れかとされる。
【０２００】
また、グループＧｒkごとに設定された、Ｎ１＋Ｎ２個の弱識別器ｆjkのうち、選択される誤り率ｅjkが最小となる弱識別器ｆjkは、服装特徴点のペアの弱識別器、または輪郭特徴点の弱識別器の何れかとなる。つまり、服装特徴点のペアの弱識別器または輪郭特徴点の弱識別器のうち、そのときに最もエラーが少なくなるものがどの弱識別器であるかによって、統合識別器を構成する弱識別器として、統合識別器に加算される弱識別器が、服装特徴点のペアの弱識別器となるか、または輪郭特徴点の弱識別器となるかが定まる。
【０２０１】
このように、統合識別器を服装特徴量および輪郭特徴量から直接生成する場合にも、統合識別器は、服装特徴点のペアの弱識別器と、輪郭特徴点の弱識別器とが線形結合されて生成される。そして、統合識別器は、特徴量を代入したときの各弱識別器の和が正である場合、画像中に対象物体が存在することを示す「＋１」を出力し、各弱識別器の和が負である場合、画像中に対象物体が存在しないことを示す「−１」を出力する関数とされる。つまり、２つの強い識別器が独立に学習されるのではなく、２つの弱い特徴量が用いられて、１つの強い識別器が学習される。
【０２０２】
統合識別器生成部２０１により、統合識別器が生成されると、生成された統合識別器と識別用特徴量とが識別器記録部１２に供給されて記録され、学習処理は終了する。
【０２０３】
以上のようにして、学習装置１１は、服装特徴量と輪郭特徴量とから、直接、統計学習により１つの統合識別器を生成する。このように、服装特徴量および輪郭特徴量から統合識別器を生成することで、画像からより確実に人を検出できる識別器を提供することができる。
【０２０４】
また、図２２に示した学習装置１１により生成された統合識別器を用いて、認識装置１３が入力画像から対象物体を検出する場合、識別計算部３５は、服装特徴量計算部３２からの服装特徴量と、輪郭特徴量計算部３４からの輪郭特徴量とのうち、識別器記録部１２に記録されている識別用特徴量に対応する特徴量を統合識別器に代入して演算を行う。この処理は、識別用特徴量が異なるだけで、図２０を参照して説明した人検出処理と同様の処理であるため、その説明は省略する。
【０２０５】
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０２０６】
図２５は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０２０７】
コンピュータにおいて、CPU（Central Processing Unit）５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。
【０２０８】
バス５０４には、さらに、入出力インターフェース５０５が接続されている。入出力インターフェース５０５には、キーボード、マウス、マイクロホンなどよりなる入力部５０６、ディスプレイ、スピーカなどよりなる出力部５０７、ハードディスクや不揮発性のメモリなどよりなる記録部５０８、ネットワークインターフェースなどよりなる通信部５０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア５１１を駆動するドライブ５１０が接続されている。
【０２０９】
以上のように構成されるコンピュータでは、CPU５０１が、例えば、記録部５０８に記録されているプログラムを、入出力インターフェース５０５及びバス５０４を介して、RAM５０３にロードして実行することにより、上述した一連の処理が行われる。
【０２１０】
コンピュータ（CPU５０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア５１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０２１１】
そして、プログラムは、リムーバブルメディア５１１をドライブ５１０に装着することにより、入出力インターフェース５０５を介して、記録部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記録部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記録部５０８に、あらかじめインストールしておくことができる。
【０２１２】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０２１３】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０２１４】
【図１】本発明を適用した人識別システムの一実施の形態の構成例を示すブロック図である。
【図２】輪郭特徴量計算部の詳細な構成例を示すブロック図である。
【図３】ステアラブルフィルタについて説明する図である。
【図４】画像に対してフィルタ処理を行った結果を示す図である。
【図５】画像に対してフィルタ処理を行った結果を示す図である。
【図６】画像に対してフィルタ処理を行った結果を示す図である。
【図７】画像に対してフィルタ処理を行った結果の平均を示す図である。
【図８】画像に対してフィルタ処理を行った結果の平均を示す図である。
【図９】画像に対してフィルタ処理を行った結果の平均を示す図である。
【図１０】服装識別器生成部の詳細な構成例を示すブロック図である。
【図１１】学習処理を説明するフローチャートである。
【図１２】服装特徴点の抽出について説明する図である。
【図１３】服装特徴量を説明する図である。
【図１４】服装識別器生成処理を説明するフローチャートである。
【図１５】服装特徴点のペアごとの服装特徴量のサンプリングについて説明する図である。
【図１６】弱識別器の設定について説明する図である。
【図１７】服装特徴点のペアについて説明する図である。
【図１８】輪郭特徴点の抽出について説明する図である。
【図１９】輪郭特徴量計算処理を説明するフローチャートである。
【図２０】人検出処理を説明するフローチャートである。
【図２１】対象物体の認識結果の表示例を示す図である。
【図２２】本発明を適用した人識別システムの他の構成例を示すブロック図である。
【図２３】統合識別器生成部の詳細な構成例を示すブロック図である。
【図２４】学習処理を説明するフローチャートである。
【図２５】コンピュータの構成例を示すブロック図である。
【符号の説明】
【０２１５】
１１  学習装置，  １２  識別器記録部，  １３  認識装置，  ２１  服装特徴点抽出部，  ２２  服装特徴量計算部，  ２３  服装識別器生成部，  ２４  輪郭特徴点抽出部，  ２５  輪郭特徴量計算部，  ２６  輪郭識別器生成部，  ２７  統合識別器生成部，  ３１  服装特徴点抽出部，  ３２  服装特徴量計算部，  ３３  輪郭特徴点抽出部，  ３４  輪郭特徴量計算部，  ３５  識別計算部，  ２０１  統合識別器生成部
【図１】
0005041229.tif 000011
【図２】
0005041229.tif 000012
【図３】
0005041229.tif 000013
【図４】
0005041229.tif 000014
【図５】
0005041229.tif 000015
【図６】
0005041229.tif 000016
【図７】
0005041229.tif 000017
【図８】
0005041229.tif 000018
【図９】
0005041229.tif 000019
【図１０】
0005041229.tif 000020
【図１１】
0005041229.tif 000021
【図１２】
0005041229.tif 000022
【図１３】
0005041229.tif 000023
【図１４】
0005041229.tif 000024
【図１５】
0005041229.tif 000025
【図１６】
0005041229.tif 000026
【図１７】
0005041229.tif 000027
【図１８】
0005041229.tif 000028
【図１９】
0005041229.tif 000029
【図２０】
0005041229.tif 000030
【図２１】
0005041229.tif 000031
【図２２】
0005041229.tif 000032
【図２３】
0005041229.tif 000033
【図２４】
0005041229.tif 000034
【図２５】
0005041229.tif 000035