(57)【要約】【課題】処理速度を向上させた画像認識を行う。【解決手段】ピラミッド画像生成部２０は、入力された画像から、複数の解像度（スケール係数）が異なる画像を生成する。スケール係数の異なる画像に対して、フィルタ処理が施される。フィルタは、例えば、ガウス幅σ＝１のガウス関数のフィルタである。複数の画像に対してフィルタ処理を施すが、ガウス幅の異なる複数のフィルタを用いて処理を行うのではないために、処理の低減をはかることができる。本発明は、画像から対象物を認識する認識装置や認識装置のための学習を行う学習装置に適用できる。【選択図】図１
2010108475.tif 000002
【特許請求の範囲】
【請求項１】
第１の画像から対象物の画像の領域を検出する検出手段と、
前記検出手段により検出された前記領域内の対象物が、所定の条件に該当する場合、その該当する対象物の画像の領域を第１の領域に設定する設定手段と、
前記第１の領域内の画像、または、前記第１の画像内で前記第１の領域以外の第２の領域の画像に対して所定の処理を施して、第２の画像を生成する生成手段と
を備える画像処理装置。
【請求項２】
前記検出手段は、
前記第１の画像から異なるスケール係数の画像を生成する生成手段と、
前記生成手段により生成された画像毎に、特徴点を抽出する抽出手段と、
前記特徴点に所定のフィルタを用いたフィルタ処理を施すことで、前記特徴点の特徴量を計算する計算手段と、
統計学習により得られた、画像から対象物を検出するための識別器に、前記特徴量を代入し、前記第１の画像から、前記対象物を検出する検出手段と
を備える請求項１に記載の画像処理装置。
【請求項３】
前記所定の条件は、対象物が人であると検出されたが、顔は検出されない領域を、前記第１の領域とする条件である  請求項１または２に記載の画像処理装置。
【請求項４】
前記所定の条件は、前記検出された前記対象物が、登録されている対象物でない場合、その領域を第１の領域とする条件である
請求項１乃至３のいずれかに記載の画像処理装置。
【請求項５】
前記所定の条件は、前記検出された前記対象物が人であり、笑顔でないと判断されるとき、その領域を第１の領域とする条件である
請求項１乃至４のいずれかに記載の画像処理装置。
【請求項６】
前記生成手段は、前記第１の領域に、予め取得されている画像を合成することで、前記第２の画像を生成する
請求項１乃至５のいずれかに記載の画像処理装置。
【請求項７】
前記生成手段は、前記第２の領域の画像を予め取得されている画像に置き換え、その画像に、前記第１の領域内の画像を合成することで、前記第２の画像を生成する
請求項１乃至５のいずれかに記載の画像処理装置。
【請求項８】
前記生成手段は、前記第１の領域にモザイク処理を施すことで、前記第２の画像を生成する
請求項１乃至５のいずれかに記載の画像処理装置。
【請求項９】
前記生成手段は、前記第２の領域にモザイク処理を施すことで、前記第２の画像を生成する
請求項１乃至５に記載の画像処理装置。
【請求項１０】
検出手段、設定手段、および生成手段を備える画像処理装置の画像処理方法において、
前記検出手段は、第１の画像から対象物の画像の領域を検出し、
前記設定手段は、検出された前記領域内の対象物が、所定の条件に該当する場合、その該当する対象物の画像の領域を第１の領域に設定し、
前記生成手段は、前記第１の領域内の画像、または、前記第１の画像内で前記第１の領域以外の第２の領域の画像に対して所定の処理を施して、第２の画像を生成する
ステップを含む画像処理方法。
【請求項１１】
検出手段、設定手段、および生成手段を備える画像処理装置に、
前記検出手段は、第１の画像から対象物の画像の領域を検出し、
前記設定手段は、検出された前記領域内の対象物が、所定の条件に該当する場合、その該当する対象物の画像の領域を第１の領域に設定し、
前記生成手段は、前記第１の領域内の画像、または、前記第１の画像内で前記第１の領域以外の第２の領域の画像に対して所定の処理を施して、第２の画像を生成する
ステップを含む処理をコンピュータに実行させるためのプログラム。
【請求項１２】
請求項１１に記載のプログラムを記録している
記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置および方法、プログラム、並びに記録媒体に関し、特に、画像から、より確実に対象物体を検出できるようにした画像処理装置および方法、認識装置および方法、プログラム、並びに記録媒体に関する。
【背景技術】
【０００２】
従来、画像から人を検出する技術は、主にセキュリティや車載用途のために研究開発されてきた（例えば、非特許文献１，２参照）。非特許文献１，２においては、画像から人を検出（認識）するための主な特徴量として、エッジ抽出により得られる輪郭特徴量が用いられている。これらの技術においては、エッジ抽出で得られた輪郭特徴量の様々な変化形が新たな特徴量として定義されて、人の認識が行われる。
【０００３】
例えば、非特許文献１では、エッジのある小領域内の方向のヒストグラムをとることで特徴量が得られ、この特徴量を用いることで多少の輪郭の歪みなどに強くなるという利点がある。
【非特許文献１】Navneet Dalal and Bill Triggs「Histograms of Oriented Gradients for Human Detection」CVPR2005
【非特許文献２】B. Wu and R. Nevatia「Detection of multiple, partially occluded humans in a single image by bayesian combination of edgelet part detectors」In Proc. 10th Int. Conf. Computer Vision, 2005
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記した画像から人などを検出する方法では、輪郭の特徴を利用して人などを検出するが、そのような方法は、計算量が増大してしまい、例えば、リアルタイムに人を検出することが困難であった。
【０００５】
本発明は、このような状況に鑑みてなされたものであり、計算効率を向上させることで、リアルタイムに人などの対象物を検出できるようにするものである。
【課題を解決するための手段】
【０００６】
本発明の一側面の画像処理装置は、第１の画像から対象物の画像の領域を検出する検出手段と、前記検出手段により検出された前記領域内の対象物が、所定の条件に該当する場合、その該当する対象物の画像の領域を第１の領域に設定する設定手段と、前記第１の領域内の画像、または、前記第１の画像内で前記第１の領域以外の第２の領域の画像に対して所定の処理を施して、第２の画像を生成する生成手段とを備える。
【０００７】
前記検出手段は、前記第１の画像から異なるスケール係数の画像を生成する生成手段と、前記生成手段により生成された画像毎に、特徴点を抽出する抽出手段と、前記特徴点に所定のフィルタを用いたフィルタ処理を施すことで、前記特徴点の特徴量を計算する計算手段と、統計学習により得られた、画像から対象物を検出するための識別器に、前記特徴量を代入し、前記第１の画像から、前記対象物を検出する検出手段とを備えるようにすることができる。
【０００８】
前記所定の条件は、対象物が人であると検出されたが、顔は検出されない領域を、前記第１の領域とする条件であるようにすることができる。
【０００９】
前記所定の条件は、前記検出された前記対象物が、登録されている対象物でない場合、その領域を第１の領域とする条件であるようにすることができる。
【００１０】
前記所定の条件は、前記検出された前記対象物が人であり、笑顔でないと判断されるとき、その領域を第１の領域とする条件であるようにすることができる。
【００１１】
前記生成手段は、前記第１の領域に、予め取得されている画像を合成することで、前記第２の画像を生成するようにすることができる。
【００１２】
前記生成手段は、前記第２の領域の画像を予め取得されている画像に置き換え、その画像に、前記第１の領域内の画像を合成することで、前記第２の画像を生成するようにすることができる。
【００１３】
前記生成手段は、前記第１の領域にモザイク処理を施すことで、前記第２の画像を生成するようにすることができる。
【００１４】
前記生成手段は、前記第２の領域にモザイク処理を施すことで、前記第２の画像を生成するようにすることができる。
【００１５】
本発明の一側面の画像処理方法は、検出手段、設定手段、および生成手段を備える画像処理装置の画像処理方法において、前記検出手段は、第１の画像から対象物の画像の領域を検出し、前記設定手段は、検出された前記領域内の対象物が、所定の条件に該当する場合、その該当する対象物の画像の領域を第１の領域に設定し、前記生成手段は、前記第１の領域内の画像、または、前記第１の画像内で前記第１の領域以外の第２の領域の画像に対して所定の処理を施して、第２の画像を生成するステップを含む。
【００１６】
本発明の一側面のプログラムは、検出手段、設定手段、および生成手段を備える画像処理装置に、前記検出手段は、第１の画像から対象物の画像の領域を検出し、前記設定手段は、検出された前記領域内の対象物が、所定の条件に該当する場合、その該当する対象物の画像の領域を第１の領域に設定し、前記生成手段は、前記第１の領域内の画像、または、前記第１の画像内で前記第１の領域以外の第２の領域の画像に対して所定の処理を施して、第２の画像を生成するステップを含む処理をコンピュータに実行させるためのプログラム。
【００１７】
本発明の一側面の画像処理装置および方法、並びにプログラムにおいては、画像から対象物が検出され、その対象物、またはその対象物以外の部分に、他の画像が合成されることで新たな画像が生成される。
【発明の効果】
【００１８】
本発明の一側面によれば、計算効率を向上させた、リアルタイムな人などの対象物の検出や、そのための学習が可能となる。
【図面の簡単な説明】
【００１９】
【図１】本発明を適用した人識別システムの一実施の形態の構成を示す図である。
【図２】服装識別器生成部の詳細な構成例を示す図である。
【図３】輪郭特徴量計算部の詳細な構成例を示す図である。
【図４】ステアラブルフィルタについて説明する図である。
【図５】画像に対してフィルタ処理を行った結果を示す図である。
【図６】学習処理を説明するフローチャートである。
【図７】服装識別器生成処理を説明するフローチャートである。
【図８】輪郭特徴量計算処理を説明するフローチャートである。
【図９】服装特徴点の抽出について説明する図である。
【図１０】服装特徴量を説明する図である。
【図１１】服装特徴点のペア毎の服装特徴量のサンプリングについて説明する図である。
【図１２】弱識別器の設定について説明する図である。
【図１３】服装特徴点のペアについて説明する図である。
【図１４】輪郭特徴点の抽出について説明する図である。
【図１５】人検出処理を説明するフローチャートである。
【図１６】対象物体の認識結果の表示例を示す図である。
【図１７】撮影画像の一例を示す図である。
【図１８】背景画像と所望画像の一例を示す図である。
【図１９】画像処理装置の構成例を示す図である。
【図２０】画像処理装置の動作について説明するためのフローチャートである。
【図２１】条件について説明するための図である。
【図２２】顔検出について説明するための図である。
【図２３】モザイク処理について説明するための図である。
【図２４】モザイク処理について説明するための図である。
【図２５】画像処理装置の他の構成を示す図である。
【図２６】画像処理装置の動作について説明するためのフローチャートである。
【図２７】コンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００２０】
以下、図面を参照して、本発明を適用した実施の形態について説明する。
【００２１】
［システム構成について］
図１は、本発明を適用した人識別システムの一実施の形態の構成例を示すブロック図である。この人識別システムは、学習装置１１、識別器記録部１２、および認識装置１３からなり、入力された画像における、対象物体として人間の画像のある領域を認識させるものである。
【００２２】
学習装置１１は、入力された学習画像に基づいて、認識装置１３において画像上における対象物体の有無を識別する処理を行うときに用いられる、識別用特徴量および統合識別器を生成し、識別器記録部１２に記録させる。認識装置１３は、識別器記録部１２に記録されている識別用特徴量および統合識別器を用いて、入力された入力画像に対象物体である人の画像が存在するか否かを識別し、その識別結果を出力する。
【００２３】
学習装置１１は、ピラミッド画像生成部２０、服装特徴点抽出部２１、服装特徴量計算部２２、服装識別器生成部２３、輪郭特徴点抽出部２４、輪郭特徴量計算部２５、輪郭識別器生成部２６、および統合識別器生成部２７から構成される。
【００２４】
ピラミッド画像生成部２０は、入力された学習画像から、互いに解像度の異なる複数の画像を生成し、それらの画像をピラミッド画像として服装特徴点抽出部２１と輪郭特徴点抽出部２４に供給する。例えば、レベルＬ１乃至レベルＬ８までの８つの解像度の階層のピラミッド画像が生成され、レベルＬ１のピラミッド画像が最も解像度が高く、レベルＬ１からレベルＬ８まで順番にピラミッド画像の解像度が低くなるものとする。
【００２５】
服装特徴点抽出部２１は、ピラミッド画像生成部２０で生成されたピラミッド画像を構成する各画像（この各画像も、学習画像と記述する）から、その学習画像の画素のいくつかを服装識別器を生成するときに用いられる服装特徴点として抽出する。その抽出された服装特徴点は、学習画像とともに服装特徴量計算部２２に供給される。ここで、服装識別器とは、統計学習により生成された、複数の弱識別器からなる強い識別器であり、人の服装の特徴を利用して、入力された画像中に人の画像の領域が存在するか否かを識別するときに用いられる。
【００２６】
服装特徴量計算部２２は、服装特徴点抽出部２１からの各服装特徴点について、その服装特徴点と、他の服装特徴点とを１つのペアとするペアリングを行う。また、服装特徴量計算部２２は、服装特徴点抽出部２１からの学習画像に基づいて、服装特徴点のペア毎に、任意の２つの領域のテクスチャの距離を示す服装特徴量を計算し、求められた服装特徴量と学習画像とを服装識別器生成部２３に供給する。
【００２７】
服装識別器生成部２３は、服装特徴量計算部２２から供給された学習画像および服装特徴量に基づいて、例えばAdaboostによる統計学習処理を行い、対象物体である人を認識する服装識別器を生成する。また、服装識別器生成部２３は、生成した服装識別器を統合識別器生成部２７に供給する。
【００２８】
輪郭特徴点抽出部２４は、ピラミッド画像生成部２０で生成されたピラミッド画像を構成する各画像（学習画像）から、その学習画像の画素のいくつかを輪郭識別器を生成するときに用いられる輪郭特徴点として抽出し、抽出した輪郭特徴点と学習画像とを輪郭特徴量計算部２５に供給する。ここで、輪郭識別器とは、統計学習により生成された、複数の弱識別器からなる強い識別器であり、人の輪郭を利用して、入力された画像中に人の画像の領域が存在するか否かを識別するときに用いられる。
【００２９】
輪郭特徴量計算部２５は、輪郭特徴点抽出部２４からの学習画像に基づいて、例えばステアラブルフィルタ（Steerable Filter）を用いたフィルタ処理により、輪郭特徴点毎に、抽出された輪郭を示す輪郭特徴量を計算し、求められた輪郭特徴量と学習画像とを輪郭識別器生成部２６に供給する。輪郭識別器生成部２６は、輪郭特徴量計算部２５から供給された学習画像および輪郭特徴量に基づいて、例えばAdaboostによる統計学習処理を行い、対象物体である人を認識する輪郭識別器を生成する。また、輪郭識別器生成部２６は、生成した輪郭識別器を統合識別器生成部２７に供給する。
【００３０】
統合識別器生成部２７は、服装識別器生成部２３からの服装識別器と、輪郭識別器生成部２６からの輪郭識別器とを統合して統合識別器を生成し、生成した統合識別器を識別器記録部１２に供給して記録させる。また、統合識別器生成部２７は、統合識別器を用いて対象物体の認識を行うときに用いられる服装特徴点のペアの服装特徴量、および輪郭特徴点の輪郭特徴量を、識別用特徴量として識別器記録部１２に供給し、記録させる。
【００３１】
認識装置１３は、服装特徴点抽出部３１、服装特徴量計算部３２、輪郭特徴点抽出部３３、輪郭特徴量計算部３４、識別計算部３５、および識別結果出力部３６から構成される。認識装置１３の服装特徴点抽出部３１乃至輪郭特徴量計算部３４のそれぞれは、対象物体を認識しようとする入力画像に対して、学習装置１１の服装特徴点抽出部２１、服装特徴量計算部２２、輪郭特徴点抽出部２４、および輪郭特徴量計算部２５のそれぞれと同様の処理を行うものであるので、その詳細な説明は省略する。
【００３２】
識別計算部３５は、識別器記録部１２に記録されている識別用特徴量および統合識別器を読み出す。また、識別計算部３５は、服装特徴量計算部３２からの服装特徴量、および輪郭特徴量計算部３４からの輪郭特徴量のうちの識別用特徴量に対応するものを、読み出した統合識別器に代入して演算を行う。識別結果出力部３６は、識別計算部３５における演算結果を取得し、その演算結果に基づいて、対象物体が入力画像で認識されたか否かの識別結果を出力する。
【００３３】
［服装識別器生成部の構成について］
図２は、図１の服装識別器生成部２３のより詳細な構成例を示すブロック図である。服装識別器生成部２３は、サンプリング部５１、重み設定部５２、並び替え部５３、識別器設定部５４、識別器選択部５５、および重み更新部５６から構成される。
【００３４】
サンプリング部５１は、重み設定部５２により設定される学習画像単位の重みに応じて、服装特徴点のペア毎に、複数の学習画像のそれぞれの同じ位置の服装特徴点のペアの服装特徴量から、Ｍ個の服装特徴量をサンプリングして並び替え部５３に供給する。
【００３５】
並び替え部５３は、各服装特徴点のペアについて、サンプリングされたＭ個の服装特徴量を昇べきの順、または降べきの順に並び替えて識別器設定部５４に供給する。
【００３６】
識別器設定部５４は、服装特徴量が抽出された学習画像に認識しようとする対象物体が含まれているか否かを示す正誤情報に基づいて、昇順、または降順に並び替えられた各ペアの服装特徴量のそれぞれについて、閾値を変化させながら誤り率計算部５４ａを制御して、誤り率を計算させ、誤り率が最小となるように閾値を設定する（この閾値が、弱識別器として設定される）。さらに、識別器設定部５４は、弱識別器毎の誤り率を識別器選択部５５に供給する。
【００３７】
学習画像には、その学習画像に対象物体が含まれているか否かを示す正誤情報（ラベル）が付加されており、識別器設定部５４は、服装特徴量計算部２２から供給された学習画像に付加されている正誤情報に基づいて、弱識別器の設定を行う。
【００３８】
識別器選択部５５は、弱識別器のうち、誤り率が最小となる弱識別器を選択して、弱識別器からなる服装識別器を更新し、最終的な服装識別器および各弱識別器に対応する服装特徴量を統合識別器生成部２７に供給する。さらに、識別器選択部５５は、選択した弱識別器の誤り率に基づいて信頼度を計算し、重み更新部５６に供給する。
【００３９】
重み更新部５６は、供給された信頼度に基づいて学習画像毎の重みを再計算するとともに、重みを正規化して更新し、更新結果を重み設定部５２に供給する。重み設定部５２は、重み更新部５６より供給されてくる重みの更新結果に基づいて、学習画像単位の重みを設定する。
【００４０】
［輪郭特徴量計算部の構成について］
図３は、図１の輪郭特徴量計算部２５のより詳細な構成例を示す図である。輪郭特徴量計算部２５は、１次フィルタ処理部６１、２次フィルタ処理部６２、３次フィルタ処理部６３、および特徴量生成部６４から構成される。また、輪郭特徴点抽出部２４からの学習画像は、１次フィルタ処理部６１乃至特徴量生成部６４に供給され、輪郭特徴点は、１次フィルタ処理部６１乃至３次フィルタ処理部６３に供給される。
【００４１】
１次フィルタ処理部６１は、供給された輪郭特徴点毎に、輪郭特徴点に対してガウス関数Ｇの１次微分関数Ｇ1によりフィルタ処理を施して特徴量を抽出し、特徴量生成部６４に供給する。ここで、ガウス関数Ｇ、および１次微分関数Ｇ1は、次式（１）および式（２）により示される。
【００４２】
【数１】
2010108475.tif 000003
【００４３】
【数２】
2010108475.tif 000004
【００４４】
式（１）において、σはガウス幅を示している。式（２）において、θは任意の角度を示し、計算したいフィルタの方向を示している。
【００４５】
例えば、１次フィルタ処理部６１は、ガウス関数Ｇのガウス幅σを３つの所定値（例えば、ガウス幅σ１，σ２，σ３＝１，２，４）に変化させ、ガウス幅σ毎に所定の４方向（例えば、θ＝θ１，θ２，θ３，θ４）について式（２）を計算する。
【００４６】
なお、方向θは４方向に限らず、８方向、例えばｐｉを８方向に等分したときの各方向などとしてもよい。また、従来は、上記したように、複数のガウス幅を用いて処理を行っていたが、本実施の形態においては、後述するように、ガウス幅は１つだけ用意しておけば良い。換言すれば、ガウス幅を変化させる必要がない。よって、上記では、“ガウス幅を３つの所定値に変化させ、ガウス幅σ毎に所定の４方向について式（２）を計算する”と記載したが、本実施の形態においては、設定されているガウス幅σにおいて所定の方向の４方向について式（２）を計算するだけでよい。
【００４７】
よって、複数のガウス幅毎に計算する必要がないため、計算量を低減させることが可能となる。このようなことは、他のフィルタ、例えば、２次フィルタ処理部６２、３次フィルタ処理部６３においても同様である。
【００４８】
２次フィルタ処理部６２は、供給された輪郭特徴点毎に、輪郭特徴点に対してガウス関数Ｇの２次微分関数Ｇ2によりフィルタ処理を施して特徴量を抽出し、特徴量生成部６４に供給する。次式（３）は、２次微分関数Ｇ2を示しており、式（３）においてθは任意の角度を示している。
【００４９】
【数３】
2010108475.tif 000005
【００５０】
また、式（３）における係数ｋ2i（θ）（但し、ｉ＝１，２，３）は、次式（４）で示される関数である。
【００５１】
【数４】
2010108475.tif 000006
【００５２】
例えば、２次フィルタ処理部６２は、ガウス関数Ｇの所定のガウス幅σにおいて、所定の４方向（例えば、θ＝θ１，θ２，θ３，θ４）について式（３）を計算する。
【００５３】
３次フィルタ処理部６３は、供給された輪郭特徴点毎に、輪郭特徴点に対してガウス関数Ｇの３次微分関数Ｇ3によりフィルタ処理を施して特徴量を抽出し、特徴量生成部６４に供給する。次式（５）は、３次微分関数Ｇ3を示しており、式（５）においてθは任意の角度を示している。
【００５４】
【数５】
2010108475.tif 000007
【００５５】
また、式（５）における係数ｋ3i（θ）（但し、ｉ＝１，２，３）は、次式（６）で示される関数である。
【００５６】
【数６】
2010108475.tif 000008
【００５７】
例えば、３次フィルタ処理部６３は、ガウス関数Ｇの所定のガウス幅σにおいて、所定の４方向（例えば、θ＝θ１，θ２，θ３，θ４）について、式（５）を計算する。
【００５８】
特徴量生成部６４は、１次フィルタ処理部６１、２次フィルタ処理部６２、および３次フィルタ処理部６３のそれぞれから供給された、４つの方向θについて計算された各輪郭特徴点の特徴量の供給を受け、供給された合計１２個（＝３（次数）×４（方向））の特徴量を並べて輪郭特徴点における輪郭特徴量とする。
【００５９】
また、各フィルタ処理部には、ピラミッド画像生成部２０から異なる解像度の複数の画像が供給されるため、各画像から４つの方向θについて計算された各輪郭特徴点の特徴量も供給される。この供給される特徴量は、ピラミッド画像生成部２０が生成する画像の枚数に依存し、例えば、レベル１からレベル８までの８枚の画像が生成される場合、８枚分の４つの方向θについて計算された各輪郭特徴点の特徴量が供給されることになる。
【００６０】
また、特徴量生成部６４は、生成した輪郭特徴量と、供給された学習画像とを輪郭識別器生成部２６に供給する。
【００６１】
このように、輪郭特徴量計算部２５では、ガウス関数を微分して得られる、方向θに選択性を持つフィルタ（基底関数）が用いられて、微分の次数毎に異なる特徴量（輪郭）が抽出され、輪郭特徴量とされている。
【００６２】
輪郭特徴量の抽出にステアラブルフィルタを用いる場合、図４に示すように、方向θおよびガウス幅σの異なるフィルタを用意すれば、それらのフィルタの線形結合により、任意の方向θのフィルタ、すなわちガウス関数Ｇの微分関数Ｇn（但し、ｎ＝１，２，３）を表現することができる。
【００６３】
また、図中、右側の横方向の列のうちの一番上の列の画像は、図中、左側から順番に、ガウス幅σ＝１である場合における１次微分関数Ｇ1（θ）のθを０，１／８ｐｉ，２／８ｐｉ，３／８ｐｉ，４／８ｐｉ，５／８ｐｉ，６／８ｐｉ，７／８ｐｉとしたものを表している。
【００６４】
同様に、図中、右側の横方向の各列の画像は、図中、上から二番目から下方向に順番に、ガウス幅σ＝２である場合における１次微分関数Ｇ1（θ）、ガウス幅σ＝４である場合における１次微分関数Ｇ1（θ）、ガウス幅σ＝１である場合における２次微分関数Ｇ2（θ）、ガウス幅σ＝２である場合における２次微分関数Ｇ2（θ）、ガウス幅σ＝４である場合における２次微分関数Ｇ2（θ）、ガウス幅σ＝１である場合における３次微分関数Ｇ3（θ）、ガウス幅σ＝２である場合における３次微分関数Ｇ3（θ）、およびガウス幅σ＝４である場合における３次微分関数Ｇ3（θ）を示している。そして、それらの各列の画像は、図中、左側から順番に微分関数の方向θを０，１／８ｐｉ，２／８ｐｉ，３／８ｐｉ，４／８ｐｉ，５／８ｐｉ，６／８ｐｉ，７／８ｐｉとしたものを表している。
【００６５】
例えば、図中、左側のフィルタである１次微分関数Ｇ1（０°）および１次微分関数Ｇ1（９０°）を用いることで、図中、右側の上から二番目の列の各方向θにおける１次微分関数Ｇ1（θ）を表すことができる。同様に、図中、左側の２次微分関数Ｇ2を用いて、図中、右側の上から５番目の列に示す各方向θにおける２次微分関数Ｇ2（θ）を表すことができ、図中、左側の３次微分関数Ｇ3を用いて、図中、右側の上から８番目の列に示す各方向θにおける３次微分関数Ｇ3（θ）を表すことができる。すなわち、各次元の任意の方向の微分関数は、その次元より１だけ多い数の基底関数があれば、それらの基底関数の線形結合により表現することができる。
【００６６】
図５に、ガウス関数Ｇの微分関数により、人が写っている画像に対してフィルタ処理を行うことで得られた結果を示す。図５において、図中、左側にはフィルタ処理の対象となる画像が示され、中央には、フィルタが示され、右側にはフィルタ処理後の画像が示されている。
【００６７】
図５の左側に示した画像は、ピラミッド画像を構成する２枚の画像であり、異なる解像度の画像である。上記したようにピラミッド画像生成部２０は、例えば、レベルＬ１乃至Ｌ８までの異なる解像度の画像を生成する。そのうちの例えば、レベルＬ１の画像１０１とレベルＬ２の画像１０２を、図５の左側に示している。
【００６８】
図５の中央に示したフィルタは、１次微分関数Ｇ1、２次微分関数Ｇ2、および３次微分関数Ｇ3のガウス幅σがσ＝１のフィルタの一例を示している。この図５の中央に示したフィルタは、図４に示したフィルタの一部分を抜き出し、例示したものである。
【００６９】
図５の左側に示した画像に対して、図５の中央に示したフィルタのうち、例えば、３次微分関数Ｇ3のフィルタを用いて、フィルタ処理した場合、図５の右側に示した画像が生成される。すなわち、画像１０１に対して、３次微分関数Ｇ3のフィルタでフィルタ処理を行うと、画像１１１−１乃至１１１−４が生成される。また、画像１０２に対して、３次微分のフィルタでフィルタ処理を行うと、画像１１２−１乃至１１２−４が生成される。
【００７０】
画像１１１−１乃至１１１−４は、それぞれガウス幅σが１（σ＝１）の３次微分関数Ｇ3のフィルタを用いて、フィルタ処理を行ったため、ガウス幅σが１のフィルタでフィルタ処理が行われたときの画像となる。
【００７１】
同様に、画像１１２−１乃至１１２−４は、それぞれガウス幅σが１（σ＝１）の３次微分関数Ｇ3のフィルタを用いて、フィルタ処理を行ったため、ガウス幅σが１のフィルタでフィルタ処理が行われたときの画像となる。
【００７２】
しかしながら、画像１１２−１乃至１１２−４は、画像１０２をフィルタ処理した画像である。画像１０２は、画像１０１を縮小した画像である。このような場合、画像１１２−１乃至１１２−４は、ガウス幅σが２（σ＝２）の３次微分関数Ｇ3のフィルタを用いてフィルタ処理を行った結果、生成される画像に相当する画像とすることができる。換言すれば、画像１０１に対して、ガウス幅σが２（σ＝２）の３次微分関数Ｇ3のフィルタを用いてフィルタ処理したときに生成される画像に相当する画像が、画像１１２−１乃至１１２−４である。
【００７３】
すなわち、ピラミッド画像に対して、フィルタ処理を行うことで、異なるガウス幅のフィルタを用いて、フィルタ処理したときと同等の画像を得ることが可能となる。例えば、ガウス幅毎にフィルタを予め用意し、フィルタ処理を行うときの演算量や処理負担と比較し、上記したように１つのガウス幅のフィルタを予め用意し、ピラミッド画像にフィルタ処理を行うときの演算量や処理負担は大幅に軽減されたものとなる。
【００７４】
すなわち、ピラミッド画像を生成し、１つのガウス幅でフィルタ処理を行うことで、処理時間を大幅に短縮することが可能となる。よって、このような手法で、画像から人などの対象物を検出するようにした場合、処理時間が短くなることで、リアルタイムに画像から対象物を検出することが可能となる。
【００７５】
輪郭特徴量計算部２５は、このようにして、異なるガウス幅σのフィルタでフィルタ処理したときに相当する複数の画像を、さらに平均して得られる画像を生成する。その生成された平均の画像からは、人の輪郭を確認することができ、各フィルタを用いたフィルタ処理によって、画像から適切に人の輪郭が抽出される。
【００７６】
図１に示した認識装置１３の輪郭特徴量計算部３４の内部構成は、図３に示した輪郭特徴量計算部２５と同様の構成とされる。
【００７７】
［学習処理について］
次に、学習装置１１で行われる学習処理について説明を加える。学習装置１１に学習画像が入力され、統合識別器の生成が指示されると、学習装置１１は、学習処理を開始して統計学習により統合識別器を生成する。以下、図６乃至８のフローチャートを参照して、学習装置１１による学習処理について説明する。
【００７８】
ステップＳ１０において、ピラミッド画像生成部２０は、入力された学習画像から、ピラミッド画像を生成する。上記したように、ピラミッド画像生成部２０は、例えば、レベルＬ１乃至レベルＬ８までの８つの解像度の階層のピラミッド画像を生成し、その生成した画像を服装特徴点抽出部２１と輪郭特徴点抽出部２４に供給する。服装特徴点抽出部２１と輪郭特徴点抽出部２４は、それぞれ、供給されるピラミッド画像（異なる解像度の複数の画像）のうちの１つの画像を、処理対象の学習画像として、ステップＳ１１以下の処理を実行し、複数の画像毎に繰り返しステップＳ１１以下の処理を実行する。
【００７９】
ステップＳ１１において、服装特徴点抽出部２１は、供給された学習画像から服装特徴点を抽出して、抽出した服装特徴点および学習画像を服装特徴量計算部２２に供給する。
【００８０】
ステップＳ１２において、服装特徴量計算部２２は、服装特徴点抽出部２１から供給された服装特徴点と学習画像とに基づいて、各服装特徴点について、服装特徴点のペアリングを行う。
【００８１】
ステップＳ１３において、服装特徴量計算部２２は、ペアリングによりペアとされた服装特徴点の各ペアについて服装特徴量を計算し、これにより得られた服装特徴量を服装識別器生成部２３に供給する。
【００８２】
例えば、図９に示す学習画像が服装特徴点抽出部２１に入力された場合、服装特徴点抽出部２１は、予め定められたマージン（のりしろ）と、サンプリングスキップ数とに基づいて、学習画像から服装特徴点を抽出する。なお、図９において、学習画像上の円は、服装特徴点とされた画素を示している。
【００８３】
ここで、マージンとは、学習画像において、学習画像の端から服装特徴点の抽出の対象となる領域までの画素数である。また、サンプリングスキップ数とは、服装特徴点とされる学習画像上の画素と画素との間隔である。
【００８４】
したがって、例えばマージンが５画素であり、サンプリングスキップ数が５画素である場合、服装特徴点抽出部２１は、学習画像の端から５画素以内の位置にある画素からなる領域を学習画像から除外し、残りの領域Ｅ１１を服装特徴点の抽出の対象とする。そして、服装特徴点抽出部２１は、領域Ｅ１１内の画素のうち、互いに５画素だけ離れている位置の画素を服装特徴点として抽出する。すなわち、図中、縦方向または横方向に互いに隣り合う服装特徴点間の距離は５画素とされ、各服装特徴点は、領域Ｅ１１内の画素とされる。
【００８５】
次に、服装特徴量計算部２２は、予め定められた最小半径および最大半径に基づいて、各服装特徴点のペアリングを行う。例えば、最小半径がＲ１１であり、最大半径がＲ１２である場合、所定の服装特徴点ＫＴ１に注目したとき、服装特徴量計算部２２は、服装特徴点ＫＴ１からの距離が、最小半径Ｒ１１以上であり、かつ最大半径Ｒ１２以内である全ての服装特徴点について、その服装特徴点と、服装特徴点ＫＴ１とを１つのペアとする。
【００８６】
例えば、服装特徴点ＫＴ１からの距離が、最小半径Ｒ１１以上であり、かつ最大半径Ｒ１２以内である服装特徴点がＮ個存在する場合、Ｎ個の服装特徴点のペアが得られることになる。服装特徴量計算部２２は、全ての服装特徴点について、他の服装特徴点とのペアリングを行う。
【００８７】
さらに、服装特徴量計算部２２は、ペアリングにより得られた服装特徴点の各ペアについて、ペアとなる各服装特徴点を中心とする所定の形の所定の大きさの領域同士のテクスチャの距離を服装特徴量として計算する。
【００８８】
例えば、図９に示す服装特徴点ＫＴ１と服装特徴点ＫＴ２とのペアについての服装特徴量をSSD（Sum of Square Distance）により求める場合、服装特徴量計算部２２は、服装特徴点ＫＴ１を中心とする所定の領域を領域ＴＸ１とし、服装特徴点ＫＴ２を中心とする領域ＴＸ１と同じ大きさの領域を領域ＴＸ２とする。そして、服装特徴量計算部２２は、領域ＴＸ１内の画素の画素値と、その画素に対応する領域ＴＸ２内の画素の画素値との差分の絶対値和を求め、求められた差分の絶対値和を服装特徴量とする。
【００８９】
なお、服装特徴量は、SSDに限らず、SAD（Sum of Absolute Distance）や、正規化相関などとされてもよい。
【００９０】
このようにして、服装特徴量計算部２２は、学習画像から抽出された服装特徴点の各ペアについて、服装特徴量を求める。より詳細には、学習装置１１には、対象物体が含まれているいくつかの学習画像と、対象物体が含まれていないいくつかの学習画像とからなる複数の学習画像が入力される。そして、入力された学習画像毎に、服装特徴点の抽出および服装特徴量の計算が行われる。
【００９１】
例えば、Ｍ個（但し、Ｍは自然数）の学習画像ＰＩ1乃至学習画像ＰＩMが学習装置１１に入力された場合、図１０に示すように、Ｍ個の学習画像ＰＩi（但し、１≦ｉ≦Ｍ）について、服装特徴点のペア毎の服装特徴量が得られる。
【００９２】
図１０では、１つの四角形は、１つの服装特徴点のペアの服装特徴量を表している。また、図中、縦方向に並べられた四角形の列は、学習画像ＰＩi（但し、１≦ｉ≦Ｍ）から得られた服装特徴量の列を表している。１つの列には、学習画像ＰＩiから得られた服装特徴点のペアの数だけ服装特徴量が並んでいる。すなわち、学習画像ＰＩiから得られた服装特徴点のペアの数が、その学習画像ＰＩiの服装特徴量の次元となる。
【００９３】
学習画像は、上記したようにピラミッド画像の各画像のことを示している。図１０は、１枚の画像から３枚のピラミッド画像が生成され、それらの３枚のピラミッド画像がそれぞれ処理されたときを示している。すなわち、多重解像度のレベルを３に設定したときの学習時の特徴量ベクトルを、わかりやすく図示したのが図１０である。
【００９４】
図１０中において、スケールとは、スケール係数を表す。スケール係数とは、次のレベルで画像のサイズをどのくらいにするかという縮小率を表す。例えば、スケール１とは、スケール係数が１であることを示す。図１０の１つの列には、ピラミッド画像を構成する複数の学習画像ＰＩiから、それぞれ得られた服装特徴点のペアの数だけ服装特徴量が並んでいる。
【００９５】
さらに、各学習画像ＰＩiの服装特徴量の列の図１０中、下側には、その学習画像ＰＩiに対象物体が含まれているか否かを示すラベル（正誤情報）が示されている。例えば、学習画像ＰＩ1の服装特徴量の列の図中、下側に示されるラベル「＋１」は、学習画像ＰＩ1に対象物体が含まれることを表しており、学習画像ＰＩMの服装特徴量の列の図中、下側に示されるラベル「−１」は、学習画像ＰＩMに対象物体が含まれていないことを表している。
【００９６】
図６のフローチャートの説明に戻り、ステップＳ１３において、服装特徴量が求められると、ステップＳ１４において、服装識別器生成部２３は、服装識別器生成処理を行って、服装識別器を生成する。
【００９７】
ここで、図７のフローチャートを参照して、ステップＳ１４の処理に対応する服装識別器生成処理について説明する。
【００９８】
ステップＳ５１において、重み設定部５２は、例えば、図１０で示される学習画像ＰＩi（１≦ｉ≦Ｍ）毎の重みＷｉを全て１／Ｍに初期化し、識別器選択部５５は、カウンタｊを１に、弱識別器の和からなる服装識別器Ｒ（ｘ）を０にそれぞれ初期化する。
【００９９】
ここで、ｉは、図１０における学習画像ＰＩiを識別するものであり、１≦ｉ≦Ｍである。ステップＳ５１の処理により、全ての学習画像ＰＩiの重みＷｉは、いずれも正規化された同一の重み（＝１／Ｍ）とされる。また、カウンタｊは、予め定められた、服装識別器Ｒ（ｘ）を更新する回数を示している。
【０１００】
ステップＳ５２において、サンプリング部５１は、各服装特徴点のペア毎に、複数の学習画像ＰＩiのそれぞれの同じ位置の服装特徴点のペアの服装特徴量から、学習画像ＰＩiの重みＷｉに応じて、Ｍ個の服装特徴量を選択し、並び替え部５３に供給する。
【０１０１】
例えば、服装特徴量計算部２２からサンプリング部５１に、図１１に示すように、Ｍ個の学習画像ＰＩ1乃至学習画像ＰＩMの服装特徴量が供給されたとする。図１１では、図中、横方向に学習画像ＰＩi（但し、１≦ｉ≦Ｍ）から得られた服装特徴量が並べられており、学習画像を表す文字ＰＩiの図中、左側の数字「＋１」または「−１」は、その学習画像ＰＩiに付加されたラベル（正誤情報）を示している。
【０１０２】
すなわち、図中、一番上側に横方向に並んでいる（Ａ1，Ａ2，Ａ3，・・・，ＡN）は、学習画像ＰＩ1の服装特徴点の各ペアの服装特徴量のそれぞれを表しており、学習画像ＰＩ1を示す文字「ＰＩ1」の図中、左側の文字「＋１」は、学習画像ＰＩ1に対象物体が含まれている旨のラベルを表している。
【０１０３】
同様に、図中、上から二番目の横方向に並んでいる（Ｂ1，Ｂ2，Ｂ3，・・・，ＢN）は、学習画像ＰＩ2の服装特徴点の各ペアの服装特徴量のそれぞれを表しており、学習画像ＰＩ2を示す文字「ＰＩ2」の図中、左側の文字「＋１」は、学習画像ＰＩ2に対象物体が含まれている旨のラベルを表している。
【０１０４】
また、図中、上から三番目の横方向に並んでいる（Ｃ1，Ｃ2，Ｃ3，・・・，ＣN）は、学習画像ＰＩ3の服装特徴点の各ペアの服装特徴量のそれぞれを表しており、文字「ＰＩ3」の図中、左側の文字「−１」は、学習画像ＰＩ3に対象物体が含まれていない旨のラベルを表している。さらに、図中、上からＭ番目の横方向に並んでいる（Ｍ1，Ｍ2，Ｍ3，・・・，ＭN）は、学習画像ＰＩMの服装特徴点の各ペアの服装特徴量のそれぞれを表しており、文字「ＰＩM」の図中、左側の文字「−１」は、学習画像ＰＩMに対象物体が含まれていない旨のラベルを表している。
【０１０５】
このように、図１１の例では、１つの学習画像ＰＩiからは、服装特徴点のＮ個のペアのそれぞれの服装特徴量が得られる。また、図１１では、縦方向に並んだＭ個の服装特徴量Ａk乃至服装特徴量Ｍk（但し、１≦ｋ≦Ｎ）が１つのグループＧｒkとされており、このグループＧｒkに属す服装特徴量は、各学習画像ＰＩiにおける同じ位置の服装特徴点のペアの服装特徴量とされている。
【０１０６】
例えば、グループＧｒ1は、縦方向に並んだ服装特徴量Ａ1乃至服装特徴量Ｍ1からなり、服装特徴量Ａ1が求められる学習画像ＰＩ1のペアとなる２つの服装特徴点と、グループＧｒ1に属す他の服装特徴量、例えば服装特徴量Ｍ1が求められる学習画像ＰＩMのペアとなる２つの服装特徴点とは、学習画像上の同じ位置にある。なお、以下において、各学習画像ＰＩiにおける服装特徴点のペアであって、グループＧｒk（１≦ｋ≦Ｎ）に属す服装特徴量が求まめられるペアをペアｋと称する。
【０１０７】
サンプリング部５１に、図１１に示される学習画像ＰＩi毎の服装特徴量が供給された場合、サンプリング部５１は、ペアｋ毎、すなわちグループＧｒk毎に、そのグループに属す服装特徴量から学習画像ＰＩiの重みＷｉに応じて、Ｍ個の服装特徴量を抽選で選択する。例えば、サンプリング部５１は、重みＷｉに応じて、グループＧｒ1に属す服装特徴量Ａ1乃至服装特徴量Ｍ1から、Ｍ個の服装特徴量を選択する。なお、最初の処理においては、いずれの重みＷｉも１／Ｍであり、等しいため、Ｍ個が抽選されると、確率的には全ての服装特徴量が選択されることになる。そのため、ここでは、最初の処理では各グループＧｒkにおいて、全ての服装特徴量が選択されたものとする。もちろん、実際には、同一の服装特徴量が重複して選択されることもある。
【０１０８】
なお、重みＷｉは、服装特徴点のペア毎のエラー計算に用いることもできる。この場合、データ重み係数（重みＷｉ）がエラー値に掛け合わされてエラー計算が行われる。
【０１０９】
ステップＳ５３において、並び替え部５３は、Ｎ個のグループＧｒkのそれぞれについて、グループＧｒk、すなわちペアｋ毎に選択されたＭ個の服装特徴量を昇べきの順、または降べきの順に並び替えて、識別器設定部５４に供給する。例えば、図１１のグループＧｒ1に属す服装特徴量から選択された、Ｍ個の服装特徴量が順番に並び替えられる。
【０１１０】
ステップＳ５４において、識別器設定部５４は、服装特徴量計算部２２から供給された学習画像に付加されている正誤情報（ラベル）に基づいて、グループＧｒk毎、すなわち服装特徴点のペアｋ毎に、閾値を変化させながら誤り率計算部５４ａを制御して、以下の式（７）で示すように誤り率ｅjkを計算させ、誤り率ｅjkが最小となるように閾値を設定する。
【０１１１】
ここで、服装特徴点のペアｋ毎の閾値ｔｈjkが、１個の弱識別器ｆjkとなる。識別器設定部５４は、弱識別器ｆjkごとの誤り率ｅjkを識別器選択部５５に供給する。すなわち、Ｎ個のペアｋのそれぞれに対して、Ｎ個の弱識別器ｆjkのそれぞれが設定され、Ｎ個の弱識別器ｆjkのそれぞれについて誤り率ｅjkが求められることになる。なお、弱識別器ｆjkは、認識しようとする対象物体を含む場合「＋１」を出力し、認識しようとする対象物体を含まない場合「−１」を出力する関数である。
【０１１２】
例えば、図１２に示すように、ｊ＝１であって、服装特徴点のペアｋ＝１の服装特徴量がＬ1，Ａ1，Ｃ1，Ｂ1，・・・，Ｍ1に昇べき、または、降べきの順に並べられた場合、閾値ｔｈ11が服装特徴量Ａ1とＣ1の間に設定される。そして、閾値ｔｈ11より小さい範囲では、認識しようとする対象物体がないと認識され（「−１」で示されている範囲）、閾値ｔｈ11より大きい範囲では、認識しようとする対象物体があると認識される（「＋１」で示されている範囲）とき、図中の点線で囲まれた服装特徴量Ａ1は、認識しようとする対象物体が含まれた学習画像の服装特徴量であるので、エラーであるとみなされる。また、服装特徴量Ｃ1，Ｍ1は、逆に、認識しようとする対象物体が含まれていない学習画像の服装特徴量であるので、エラーであるとみなされる。
【０１１３】
図１２の例では、閾値ｔｈ11は、誤り率ｅjkが最小となる位置に設定されている。例えば、図１２に示す閾値ｔｈ11が、誤り率ｅjkの最小となる位置ではない場合には、識別器設定部５４は、閾値ｔｈ11の位置を変化させて、各位置における誤り率ｅjkを参照しながら、誤り率ｅjkが最小となる閾値ｔｈ11の位置を探し出し、その位置を閾値ｔｈ11の位置とする。
【０１１４】
誤り率計算部５４ａは、以下の式（７）で示されるように、学習画像の正誤情報（ラベル）に基づいて、エラーであるとみなされた服装特徴量が抽出された学習画像の重みＷｉを加算し、誤り率ｅjkを計算する。
【０１１５】
【数７】
2010108475.tif 000009
【０１１６】
ここで、ｙ≠ｆjkはエラーとなっている服装特徴点のペアｋの条件を示しており、Ｅwは、エラーの発生したペアｋにおける重みが加算されることを示している。
【０１１７】
ステップＳ５５において、識別器選択部５５は、識別器設定部５４から供給されたペアｋ毎のＮ個の誤り率ｅjkに基づいて、Ｎ個の弱識別器ｆjkのうち、誤り率ｅjkが最小となる弱識別器ｆjkを選択する。そして、識別器選択部５５は、識別器設定部５４から選択した弱識別器ｆjkを取得する。
【０１１８】
ステップＳ５６において、識別器選択部５５は、選択した弱識別器ｆjkの誤り率ｅjkに基づいて、以下の式（８）で示される信頼度ｃjを計算し、計算結果を重み更新部５６に供給する。
【０１１９】
【数８】
2010108475.tif 000010
【０１２０】
なお、式（８）において、ｅjは、誤り率ｅjkのうち、選択された弱識別器ｆjkの誤り率ｅjk、すなわちＮ個の誤り率ｅjkのうちの最小の誤り率ｅjkを示している。また、以下において、ステップＳ５５の処理において選択されたペアｋの弱識別器を、弱識別器ｆjとも称し、その弱識別器ｆjの誤り率ｅjkを誤り率ｅjとも称する。
【０１２１】
ステップＳ５７において、重み更新部５６は、供給された信頼度ｃjに基づいて、以下の式（９）を計算することで、学習画像ＰＩi毎に重みＷｉを再計算するとともに、全ての重みＷｉを正規化して更新し、更新結果を重み設定部５２に供給する。重み設定部５２は、重み更新部５６より供給されてくる重みの更新結果に基づいて、学習画像毎の重みを設定する。
【０１２２】
【数９】
2010108475.tif 000011
式（９）においては、エラーの発生した服装特徴量を含む学習画像の重みＷｉが大きくなることが示されている。
【０１２３】
ステップＳ５８において、識別器選択部５５は、新たに求められた弱識別器ｆjを用いて、保持している服装識別器Ｒ（ｘ）を更新する。すなわち、識別器選択部５５は、次式（１０）を計算することで服装識別器Ｒ（ｘ）を更新する。
【０１２４】
Ｒ（ｘ）＝Ｒ’（ｘ）＋ｃj×ｆj（ｘ）                        ・・・（１０）
【０１２５】
式（１０）において、Ｒ’（ｘ）は、識別器選択部５５が保持している更新前の服装識別器を表しており、ｆj（ｘ）は、新たに求められた弱識別器ｆjを表している。すなわち、識別器選択部５５は、保持している服装識別器に、信頼度ｃjが乗算されて重み付けされた、新たに求められた弱識別器を加算することで服装識別器を更新する。
【０１２６】
ステップＳ５９において、識別器選択部５５は、誤り率ｅjkが最小となる弱認識器ｆjkに対応する服装特徴点のペアｋの服装特徴量を、識別用特徴量として保持する。
【０１２７】
ステップＳ６０において、識別器選択部５５は、カウンタｊがＬ以上であるか否かを判定する。ステップＳ６０において、カウンタｊがＬ以上でないと判定された場合、ステップＳ６１において、識別器選択部５５は、カウンタｊをインクリメントする。そして、その後、処理はステップＳ５２に戻り、上述した処理が繰り返される。
【０１２８】
すなわち、新たに設定された学習画像毎の重みＷｉが用いられて、Ｎ個のペアｋについて、新たな弱識別器ｆjkが設定され、それらの弱識別器ｆjkから誤り率ｅjkが最小となる弱認識器ｆjkが選択される。そして、選択された弱認識器ｆjkにより、服装識別器が更新される。
【０１２９】
これに対して、ステップＳ６０において、カウンタｊがＬ以上であると判定された場合、ステップＳ６２において、識別器選択部５５は、保持している服装識別器および識別用特徴を統合識別器生成部２７に出力する。そして、その後、処理は図６のステップＳ１５に進む。
【０１３０】
以上の処理により、Ｌ個の比較的誤り率の低い弱識別器ｆj（１≦ｊ≦Ｌ）からなる服装識別器が統合識別器生成部２７に供給されるとともに、それぞれの弱識別器ｆjで使用されるべき服装特徴点のペアｋの服装特徴量が統合識別器生成部２７に供給される。ここでＬは、Ｌ≦Ｎである。
【０１３１】
なお、式（１０）の服装識別器を用いて、服装特徴量を代入した服装識別器が正である場合に「＋１」を出力し、服装識別器が負である場合に「−１」を出力する識別器（関数）を生成すると、その識別器は、Ｌ個の弱識別器の多数決により、認識しようとする対象物体の有無を出力する関数であると言える。また、図７のフローチャートを参照して説明した弱識別器を学習処理により重み付けしつつ付加することを繰り返し、識別器を生成する学習処理は、Descrete Adaboost Algorithmと呼ばれている。
【０１３２】
すなわち、以上の服装識別器生成処理により、誤り率の高い学習画像の服装特徴量の重みが順次大きくなり、誤り率の低い服装特徴量の重みが小さくなるように、服装特徴点のペア毎に弱識別器と誤り率が計算される処理が繰り返されることになる。したがって、繰り返し処理（ステップＳ５２乃至Ｓ６１の処理）の中で、弱識別器を設定する際に選択される服装特徴量（ステップＳ５２で選択される服装特徴量）は、徐々に誤り率の高いものが選択されやすくなるので、認識し難い服装特徴量が繰り返されるほどに選択されて学習が繰り返されることになるため、認識し難い学習画像の服装特徴量がより多く選択されることになり、最終的に高い認識率にすることが可能となる。
【０１３３】
また、繰り返し処理（ステップＳ５２乃至Ｓ６１の処理）の中で、識別器選択部５５は、常に誤り率の最も低いペアに対応する弱識別器を選択することになるので、学習処理の繰り返しにより、常に信頼度の最も高い服装特徴点のペアについての弱識別器が選択されて服装識別器に加算されることになり、繰り返される毎に精度の高い弱識別器が順次加算されることになる。
【０１３４】
さらに、服装識別器は、服装特徴量を用いて画像に対象物体としての人が含まれているか否かを識別する識別器である。そして、服装識別器を構成する各弱識別器に代入される服装特徴量に対応する服装特徴点のペアは、服装特徴点のペアのうち、入力された画像から対象物体を検出するのに適したペアである。
【０１３５】
例えば、服装識別器に代入される服装特徴量に対応するペアは、図１３に示すように、画像中の対象物体としての人の周囲にある服装特徴点のペアとされている。図１３では、点線の直線は、ペアとなる２つの服装特徴点を結ぶ直線を表しており、その点線の端を中心とする四角形は、服装特徴量を求めるときに用いられるテクスチャの領域を表している。
【０１３６】
図１３の例では、画像上の人が身に着けている、その人の上半身の洋服内にある２つの服装特徴点からなり、テクスチャ間の距離、すなわち服装特徴量が小さくなるペアや、人の洋服内の服装特徴点と、人ではなく背景上の服装特徴点とからなり、服装特徴量が大きくなるペアなどが選択されていることがわかる。
【０１３７】
図６のフローチャートの説明に戻り、ステップＳ１５において、輪郭特徴点抽出部２４は、入力された学習画像から輪郭特徴点を抽出する。
【０１３８】
例えば、輪郭特徴点抽出部２４に図１４Ａに示す学習画像が入力された場合、輪郭特徴点抽出部２４は、図１４Ｂに示すように、学習画像において所定の間隔で並んでいる画素を、輪郭特徴点として抽出する。なお、図１４Ｂにおいて、学習画像上の円は輪郭特徴点とされた画素を表している。
【０１３９】
図１４Ａおよび図１４Ｂに示す学習画像は、図中、横方向に３２画素、縦方向に６４画素からなる学習画像であり、輪郭特徴点抽出部２４は、学習画像上の画素を、横方向および縦方向に２画素おきに輪郭特徴点とする画素として選択する。これにより、学習画像において、図中、横方向に１２画素、縦方向に２８画素、合計３３６（＝１２×２８）画素が輪郭特徴点として選択される。
【０１４０】
輪郭特徴点抽出部２４は、学習画像から輪郭特徴点を抽出すると、抽出した輪郭特徴点と、入力された学習画像とを輪郭特徴量計算部２５に供給する。
【０１４１】
ステップＳ１６において、輪郭特徴量計算部２５は、輪郭特徴量計算処理を行い、輪郭特徴点抽出部２４から供給された輪郭特徴点および学習画像に基づいて、各輪郭特徴点の輪郭特徴量を計算する。
【０１４２】
ここで、図８のフローチャートを参照して、ステップＳ１６の処理に対応する輪郭特徴量計算処理について説明する。
【０１４３】
ステップＳ１０１において、輪郭特徴量計算部２５、より詳細には、輪郭特徴量計算部２５の１次フィルタ処理部６１、２次フィルタ処理部６２、および３次フィルタ処理部６３は、それぞれ輪郭特徴点抽出部２４から供給されてきた輪郭特徴点のうち、未処理の輪郭特徴点の１つを注目画素として選択する。
【０１４４】
ステップＳ１０２において、輪郭特徴量計算部２５は、方向θｑを示すカウンタｑを１とする。これにより、方向θｑはθ１とされる。
【０１４５】
ステップＳ１０３において、１次フィルタ処理部６１は、１次フィルタ処理を行う。すなわち、１次フィルタ処理部６１は、処理対象となる注目画素の画素値に基づいて、ガウス幅をσ＝１とし、かつ方向をθｑとして式（２）を演算し、フィルタ処理した結果を特徴量生成部６４に供給する。すなわち、式（２）における方向θがθｑとされて演算が行われ、輪郭が抽出される。
【０１４６】
なお、“ガウス幅をσ＝１として”と記述したが、本実施の形態の場合、ガウス幅は、σ＝１と固定されている（予め１つのガウス幅のフィルタが設定されている）ため、この“ガウス幅をσ＝１として”という処理は省略することが可能である。すなわち、本実施の形態においては、ガウス幅σが１のフィルタの方向をθｑとして式（２）を演算するという処理が、ステップＳ１０３において実行されることになる。また、ここでは、ガウス幅σをσ＝１として説明を続けるが、予め用意されているフィルタのガウス幅は、σ＝１以外のガウス幅でも勿論良い。
【０１４７】
ステップＳ１０４において、２次フィルタ処理部６２は、２次フィルタ処理を行う。すなわち、２次フィルタ処理部６２は、注目画素の画素値に基づいて、ガウス幅σ＝１のフィルタの方向をθｑとして式（３）を演算し、フィルタ処理した結果を特徴量生成部６４に供給する。すなわち、式（３）における方向θがθｑとされて演算が行われ、輪郭が抽出される。
【０１４８】
ステップＳ１０５において、３次フィルタ処理部６３は、３次フィルタ処理を行う。すなわち、３次フィルタ処理部６３は、注目画素の画素値に基づいて、ガウス幅σ＝１のフィルタの方向をθｑとして式（５）を演算し、フィルタ処理した結果を特徴量生成部６４に供給する。すなわち、式（５）における方向θがθｑとされて演算が行われ、輪郭が抽出される。
【０１４９】
ステップＳ１０６において、輪郭特徴量計算部２５は、方向θｑがθ４であるか否か、すなわちカウンタｑ＝４であるか否かを判定する。ステップＳ１０６において、方向θｑがθ４でないと判定された場合、ステップＳ１０７において、輪郭特徴量計算部２５は、カウンタｑをインクリメントする。例えば、カウンタｑ＝１であった場合、カウンタｑがインクリメントされてｑ＝２とされ、これにより方向θｑはθ２とされる。カウンタｑがインクリメントされると、処理はステップＳ１０３に戻り、上述した処理が繰り返される。
【０１５０】
これに対して、ステップＳ１０６において、方向θｑがθ４であると判定された場合、ステップＳ１０８において、特徴量生成部６４は、１次フィルタ処理部６１、２次フィルタ処理部６２、および３次フィルタ処理部６３から供給された演算結果を輪郭特徴量として合成し、１つの輪郭特徴点に対する輪郭特徴量を生成する。
【０１５１】
輪郭特徴量は、以下の式（１１）または式（１２）で求められる。
【数１０】
2010108475.tif 000012
【数１１】
2010108475.tif 000013
【０１５２】
式（１１）、式（１２）において、Ｇd,θは、式（２）などと同じく、任意の角度θにおけるガウス関数Ｇのｄ次微分関数である。また、Ｉ（ｘi，ｙi，ｓi）のうち、（ｘi，ｙi）は、処理対象とされている輪郭特徴点の画像内での座標を表し、（ｓi）は、ピラミッド画像を構成する画像のうち、処理対象とされている画像のスケールを表す。
【０１５３】
式（１１）は、任意の角度θにおけるガウス関数Ｇのｄ次微分関数と輪郭特徴量を畳込み演算し、その絶対値をΣで総和を演算する式である。式（１２）は、任意の角度θにおけるガウス関数Ｇのｄ次微分関数と輪郭特徴量を畳込み演算し、その絶対値をｍａｘで最大値をとる式である。
【０１５４】
式（１１）と式（１２）は、ともに、特徴量を算出する式であるが、式（１１）は、局所的なエネルギーを計算する式であり、式（１２）は、局所的な最大値を計算する式である。ここで、この式の意味ついて説明を加える。
【０１５５】
上記したような処理により、任意の角度における関数とスケールで抽出されたフィルタ係数を特徴量として、教師あり統計学習を行い、人などの対象物を検出する検出識別器を生成できる。しかしながら、この検出識別器では、例えば、人の着ている服装と背景の関係に依存する特徴量となってしまう。また、人のように歪みや変形の大きな認証対象に関しては、特徴量として選択性がありすぎる。よって、これらのことを吸収して処理する必要があり、それぞれの特徴量を不変性のある特徴量にする必要がある。
【０１５６】
“人の着ている服装と背景に関係に依存する特徴量”を、不変性のある特徴量にするには、フィルタ処理後の出力値の絶対値を演算することで解決することができる。絶対値を演算することで、人の輪郭に近い特徴量が抽出できる。さらに本実施の形態においては、１次微分関数、２次微分関数、さらに３次微分関数を演算し、それぞれ絶対値の演算を行っている。よって、１次微分関数による絶対値だけで演算を行う場合に比べて、はるかに精度を良くすることができ、不変性を有する特徴量を算出できるようになる。
【０１５７】
また、“人のように歪みや変形の大きな認証対象に関しては、特徴量として選択性がありすぎる”といったことに対しては、位置ずれによる不変演算を行うことで、そのようなこと吸収した特徴量を演算できるようになる。位置ずれによる不変演算とは、例えば、人の顔の輪郭を検出したとき、顔の形によらずその輪郭の長さはほぼ同じになるといったことを利用した演算である。換言すれば、輪郭の所定の部分に注目したとき、その部分が位置的にづれても、例えば、ほぼ丸顔の人の輪郭が位置的に移動し、細長い顔の人の輪郭に重なるようにしたときに、位置がづれただけで、その長さなどの値は不変であるとみなせる演算である。
【０１５８】
このような演算として、式（１１）のように、総和が演算される。総和を演算することにより、例えば、人の顔の輪郭の総和が演算されることになる。または、式（１２）のように、最大値が演算される。最大値を演算することにより、例えば、人の顔の輪郭のうちの最大値が演算されることになる。
【０１５９】
ここでは、総和と最大値という２つの演算を示した。換言すれば、上記したように、式（１１）に基づき、局所的なエネルギーを計算する演算か、式（１２）に基づき、局所的な最大値を計算する演算を示した。この他にも、局所的な最大値を有する点の周辺の局所的なエネルギーを計算する演算が行われるようにしても良い。これは、式（１２）の演算結果を受けて、式（１１）の演算を行うようなイメージである。または、局所的なエネルギーの周辺の最大値を計算する演算が行われるようにしても良い。これは、式（１１）の演算結果を受けて、式（１２）の演算を行うようなイメージである。具体的な式は示さないが、このような演算で特徴量が算出されるようにしても良い。
【０１６０】
このような演算により、各輪郭特徴点から特徴点が算出される。そして、ステップＳ１０９において、輪郭特徴量計算部２５は、全ての輪郭特徴点について処理が終了したか否かを判定する。例えば、輪郭特徴点抽出部２４から供給された全ての輪郭特徴点について、輪郭特徴量が求められた場合、処理が終了したと判定される。
【０１６１】
ステップＳ１０９において、全ての輪郭特徴点について処理が終了していないと判定された場合、処理はステップＳ１０１に戻り、次の輪郭特徴点が注目画素として選択される。
【０１６２】
これに対して、ステップＳ１０９において、全ての輪郭特徴点について処理が終了したと判定された場合、特徴量生成部６４は、輪郭特徴点抽出部２４から供給された学習画像と、生成された各輪郭特徴点の輪郭特徴量とを輪郭識別器生成部２６に供給する。そして、その後、処理は図６のステップＳ１７に進む。
【０１６３】
なお、学習画像からの輪郭特徴量の抽出には、ステアラブルフィルタに限らず、ガボアフィルタなどが用いられるようにしてもよい。
【０１６４】
図６のフローチャートの説明に戻り、各輪郭特徴点の輪郭特徴量が求められると、ステップＳ１７において、輪郭識別器生成部２６は、輪郭特徴量計算部２５から供給された学習画像および輪郭特徴量に基づいて、輪郭識別器生成処理を行い、輪郭識別器を生成する。なお、この輪郭識別器生成処理は、図７を参照して説明した服装識別器生成処理と同様であるので、その説明は省略する。
【０１６５】
すなわち、服装識別器生成処理と輪郭識別器生成処理とは、処理対象となる特徴量が服装特徴量であるか、または輪郭特徴量であるかという点のみが異なる。したがって、輪郭識別器生成処理においては、最も誤り率の低い輪郭特徴点の輪郭特徴量に対応する弱識別器の和から輪郭識別器が生成される。輪郭識別器生成部２６は、生成した輪郭識別器および識別用特徴を統合識別器生成部２７に出力する。
【０１６６】
ステップＳ１８において、統合識別器生成部２７は、服装識別器生成部２３から供給された服装識別器と、輪郭識別器生成部２６から供給された輪郭識別器とを統合して統合識別器を生成する。
【０１６７】
例えば、Adaboostによる統計学習処理により得られた識別器は、弱識別器の線形結合により表現されるので、統合識別器生成部２７は、服装識別器と輪郭識別器とをLate Fusion方式により統合する。
【０１６８】
すなわち、統合識別器生成部２７は、次式（１３）を計算することで、服装識別器Ｒ（ｘ）と、輪郭識別器Ｔ（ｘ）との識別器和Ｕ（ｘ）を求める。すなわち、服装識別器Ｒ（ｘ）と、輪郭識別器Ｔ（ｘ）との線形結合により、識別器和Ｕ（ｘ）が求められる。
【０１６９】
Ｕ（ｘ）＝α・Ｒ（ｘ）＋β・Ｔ（ｘ）                    ・・・（１３）
【０１７０】
なお、式（１３）において、αおよびβは所定の定数、すなわちチューニングパラメータであり、例えば統計学習処理に用いられる学習画像に対する識別率などにより求められる。また、輪郭識別器Ｔ（ｘ）は、式（１０）により示される服装識別器Ｒ（ｘ）と同様に、信頼度が乗算された弱識別器の和とされる。
【０１７１】
さらに、統合識別器生成部２７は、求められた識別器和Ｕ（ｘ）を用いて、次式（１４）により示される統合識別器を生成する。
【０１７２】
統合識別器＝sign（Ｕ（ｘ））                                  ・・・（１４）
【０１７３】
なお、式（１４）において、sign（Ｕ（ｘ））は、識別器和Ｕ（ｘ）が正の場合、認識しようとする対象物体が、入力画像中に存在することを示す「＋１」を出力し、識別器和Ｕ（ｘ）が負の場合、認識しようとする対象物体が、入力画像中に存在しないことを示す「−１」を出力する関数である。
【０１７４】
このようにして、統合識別器が生成されると、統合識別器生成部２７は、生成した統合識別器を識別器記録部１２に供給して記録させる。また、統合識別器生成部２７は、服装識別器生成部２３から供給された識別用特徴量に、輪郭識別器生成部２６から供給された識別用特徴量を付加して最終的な識別用特徴量とし、最終的な識別用特徴量を識別器記録部１２に供給して記録させ、学習処理は終了する。
【０１７５】
以上のようにして、学習装置１１は、学習画像から服装特徴点を抽出して、服装特徴点のペアの服装特徴量を求め、統計学習により服装識別器を生成するとともに、学習画像から輪郭特徴点を抽出して輪郭特徴量を求め、統計学習により輪郭識別器を生成する。そして、学習装置１１は、服装識別器と輪郭識別器とを線形結合により統合して、統合識別器を生成する。
【０１７６】
このように、服装識別器と輪郭識別器とを統合して統合識別器を生成することで、画像からより確実に対象物体を検出できる統合識別器を提供することができる。すなわち、統合識別器は、対象物体の服装の特徴を利用した服装識別器と、対象物体の輪郭を利用した輪郭識別器とが統合されたものであるので、入力された画像から、少なくとも一方の特徴量を充分に抽出することができれば、画像から対象物体を検出することができる。
【０１７７】
画像から対象物体としての人を検出する場合、対象物体としての人は、服装が変化しても、人として検出されるべきである。そのため、従来は、人の服装の輝度によらない特徴量として、輪郭だけが用いられて画像からの人の検出が行われていた。
【０１７８】
これに対して、学習装置１１では、人の服装の特徴を利用した、人の服装のパターンの変化に対して不変な服装特徴量を画像からの人の検出に用いている。この服装特徴量は、統計的に、人が上半身（シャツ）で同じテクスチャの繰り返しのパターンであり、下半身（ズボン）で同じテクスチャの繰り返しのパターンである洋服を着用することが多いことに着目し、新たに定義された特徴量である。
【０１７９】
すなわち、服装特徴量は、画像上の任意の２つの領域のテクスチャ、すなわち輝度のパターンの似ている度合い（類似度）を示している。例えば、人の上半身の２つの領域間のテクスチャの類似度は高く、上半身と下半身や、人の服装と背景とのテクスチャの類似度は低い。学習装置１１では、このような２つの領域のテクスチャの類似度を利用して、画像から人を検出する服装識別器が用いられ、統合識別器が生成される。
【０１８０】
したがって、例えば、入力された画像から輪郭が充分に抽出できなくても、画像から２つの領域のテクスチャの類似の特徴を充分に抽出できれば、統合識別器を用いて、画像から人を検出することができる。逆に、画像中において、人の着用している洋服が繰り返しでないパターンの服であったり、バッグなどで洋服が部分的に隠れていたりする場合には、画像からテクスチャの類似の特徴を充分に抽出できない恐れがあるが、画像から輪郭を充分に抽出することができれば、統合識別器により画像から人を検出することができる。
【０１８１】
［認識処理について］
次に、学習の結果を用いて、例えば、人などの対象物を検出（認識）するときの処理について説明を加える。認識装置１３に入力画像が入力され、対象物体としての人の検出が指示されると、認識装置１３は、人検出処理を開始して、入力画像から対象物体を検出する。以下、図１５のフローチャートを参照して、認識装置１３による人検出処理について説明する。
【０１８２】
なお、ステップＳ１５０の処理乃至ステップＳ１５３の処理のそれぞれは、図６のステップＳ１０の処理乃至ステップＳ１３の処理のそれぞれと同様であるので、その説明は省略する。すなわち、服装特徴点抽出部３１は、入力された入力画像から服装特徴点を抽出し、服装特徴量計算部３２は、服装特徴点抽出部３１により抽出された服装特徴点のペアリングを行って、各ペアの服装特徴量を計算する。そして、服装特徴量計算部３２は、各ペアについて求めた服装特徴量を識別計算部３５に供給する。
【０１８３】
なお、ピラミッド画像生成部３０でピラミッド画像を生成するとき、学習装置１１のピラミッド画像生成部２０が生成するピラミッド画像と同じスケール（解像度）の画像を生成するようにする。このように学習時のスケール係数と、認識時のスケール係数を合わせておくことで、認識時に効率の良いスキャンを行うことが可能となる。
【０１８４】
ステップＳ１５４において、輪郭特徴点抽出部３３は、図６のステップＳ１５の処理と同様の処理を行い、入力された入力画像から輪郭特徴点を抽出し、入力画像とともに輪郭特徴量計算部３４に供給する。
【０１８５】
ステップＳ１５５において、輪郭特徴量計算部３４は、輪郭特徴点抽出部３３からの入力画像および輪郭特徴点に基づいて、輪郭特徴量計算処理を行い、各輪郭特徴点の輪郭特徴量を計算する。そして、輪郭特徴量計算部３４は、求められた輪郭特徴量を識別計算部３５に供給する。なお、この輪郭特徴量計算処理は、図８を参照して説明した輪郭特徴量計算処理と同様の処理であるため、その説明は省略する。
【０１８６】
ステップＳ１５６において、識別計算部３５は、識別器記録部１２から識別用特徴量および統合識別器を読み出して、読み出した統合識別器に特徴量を代入して計算する。すなわち、識別計算部３５は、服装特徴量計算部３２からの服装特徴量、および輪郭特徴量計算部３４からの輪郭特徴量のうちの識別用特徴量に対応するものを、式（１４）により示される統合識別器に代入して演算を行う。
【０１８７】
ここで、統合識別器を構成する弱識別器に代入される特徴量は、識別用特徴量とされた特徴量が求められた、学習画像の服装特徴点のペアまたは輪郭特徴点と同じ位置にある、入力画像上の服装特徴点のペアまたは輪郭特徴点から求められた特徴量である。また、識別用特徴量とされる特徴量は、統計学習処理時において、統合識別器を構成する弱識別器の設定に用いられた特徴量である。
【０１８８】
式（１４）の演算が行われると、その演算の結果として、入力画像中に対象物体としての人が存在することを示す「＋１」、または入力画像中に対象物体としての人が存在しないことを示す「−１」が得られる。識別計算部３５は、統合識別器での演算結果を識別結果出力部３６に供給する。
【０１８９】
ステップＳ１５７において、識別結果出力部３６は、識別計算部３５からの演算結果に基づいて、人の検出結果を出力し、人検出処理は終了する。すなわち、対象物体が入力画像で認識されたか否かの識別結果が出力される。
【０１９０】
例えば、対象物体が入力画像で認識されたか否かの識別結果として、図１６に示すように、対象物体としての人が検出された領域に枠が表示された入力画像が、識別結果出力部３６に表示されるようにしてもよい。
【０１９１】
図１６に示す入力画像は、対象物体としての２人の人が写っている画像であり、入力画像には、それぞれの人を囲む枠が表示されている。この場合、識別結果出力部３６にも入力画像が入力され、識別計算部３５は、演算結果とともに入力画像における対象物体が検出された領域を示す情報を識別結果出力部３６に供給する。すると、識別結果出力部３６は、識別計算部３５からの演算結果および領域を示す情報に基づいて、入力画像から対象物体が検出された場合には、入力画像とともに、対象物体が検出された領域を囲む枠を表示する。
【０１９２】
このようにして、認識装置１３は、入力画像から服装特徴点を抽出して、服装特徴点のペアの服装特徴量を求めるとともに、入力画像から輪郭特徴点を抽出して輪郭特徴量を求める。そして、認識装置１３は、求めた服装特徴量および輪郭特徴量と、識別器記録部１２に記録されている統合識別器とを用いて、入力画像から対象物体を検出する。
【０１９３】
このように、服装特徴量および輪郭特徴量を用いて入力画像から対象物体を検出することで、より確実に画像から対象物体を検出することができる。すなわち、入力画像から服装特徴量または輪郭特徴量の少なくともいずれか一方を充分に抽出することができれば、入力画像から対象物体を確実に検出することができる。
【０１９４】
なお、以上においては、対象物体として人を検出すると説明したが、対象物体は、人に限らず、物体の表面のパターンが、同じテクスチャの繰り返しのパターンとなるものであれば、どのようなものであってもよい。
【０１９５】
また、以上においては、Descrete Adaboost Algorithmに基づいて、統計学習処理を実行する例について説明してきたが、それ以外のBoosting Algorithmを適用するようにしてもよく、例えば、Gentle Adaboost Algorithmを用いるようにしてもよい。Descrete Adaboost Algorithmと、Gentle Adaboost Algorithmとは、前者の識別器の出力結果が離散変量であるのに対して、後者は、連続変量である点で異なる。しかしながら、前者においては、信頼度が乗じられるため、出力結果は、実質的に連続変量として扱われており、本質的に処理の違いはない。
【０１９６】
さらに、その他、SVM（Support Vector Machine）やBaysianなどにより統計学習処理を行い、服装識別器や輪郭識別器を生成するようにしてもよい。なお、統計学習処理において、Adaboostなどで特徴量（服装特徴量または輪郭特徴量）を選択するようにすると、認識装置１３における統合識別器を用いた人の検出時に、より高速に処理を行うことができるようになる。
【０１９７】
また、以上においては、服装識別器と輪郭識別器とを生成し、それらの識別器を統合して統合識別器を生成すると説明したが、服装識別器および輪郭識別器を生成せずに、服装特徴量および輪郭特徴量から、直接、統合識別器が生成されるようにしてもよい。
【０１９８】
上述したように、入力された画像を、異なる解像度の画像（ピラミッド画像）にし、その異なる解像度の画像に対してフィルタ処理を施すことにより、計算効率を向上させることが可能となり、処理速度を向上させることが可能となる。よって、例えば、リアルタイムに人などの対象物を認識することが可能となる。
【０１９９】
例えば、複数のスケールの画像に、複数のフィルタを用いた処理を行うと、多くのフィルタ演算を必要とし、処理時間や処理能力が増大してしまう可能性があった。しかしながら本実施の形態のように、複数のスケールの画像に、１つのフィルタを用いた処理を行うため、換言すれば、畳み込みが１スケールですむため、多くの演算を必要とせず処理を行えるため、処理速度を向上させることが可能となる。
【０２００】
また、マルチスケールフィルタの場合、周波数が低くなる（ガウス幅σが大きくなる）と、畳み込み演算に時間がかかるが、本実施の形態によれば、上記したように、１つのガウス幅でフィルタを構成することが可能であり、複数のガウス幅のフィルタを用意する必要がなく、複数のガウス幅のフィルタで演算する必要がない。よって、本実施の形態によれば、仮に、最も高周波のフィルタを１つだけ用意して処理したとしても、マルチスケールフィルタの場合に比べて、はるかに処理速度を向上させることが可能となる。
【０２０１】
［所定の領域を除去する画像処理について］
上記したように、本発明によれば、入力された画像に撮影されている人などの対象物を認識することができる。このような、入力された画像に撮影されている対象物を認識(検出)することができることを用いて、以下のようなことを実現することが可能となる。
【０２０２】
デジタルスチルカメラで撮影された画像を処理対象とし、その画像から、対象物として人を検出することを例にあげて説明する。図１７は、デジタルスチルカメラで撮影された画像の一例を示している。図１７に示した画像２００は、人２０１、人２０２、人２０３、人２０４が建造物２０５の前に立っているときに撮影された画像である。人２０１乃至２０４のうち、人２０１と人２０２は、正面を向き、人２０３と人２０４は、正面を向いていないときに撮影されている。
【０２０３】
図１７に示し画像２００を撮影した撮影者は、人２０１と人２０２が建造物２０５の前に立っている状態を撮影したかった場合、人２０３と人２０４は撮影者が意図して撮影した人ではないことになる。このように、撮影者が意図していない人が撮影された画像を撮影してしまうことがある。例えば、タイマー撮影において、デジタルスチルカメラのシャッターが切れるタイミングで、意図してない人がフレーム内に入り込んでしまうと、図１７に示したような、撮影者が意図しない人(人達)も撮影された画像２００になってしまう。
【０２０４】
このように、撮影した画像に、撮影者が意図しなかった人や物が撮影されていた場合、撮影者は、本来、意図した人や建造物などしか撮影されていないことを所望していたので、残念な思いをすることがある。このようなときに、図１７に示したような画像２００から人が検出され、撮影者が意図していない人が削除され、その削除された部分に、建造物などの撮影者が意図した背景に置き換えられることにより、撮影者が意図した画像が生成される。
【０２０５】
すなわち、図１８を参照して説明するに、予め図１８Ａに示した建造物２０５の画像２１１を撮影する。撮影者は、まず、撮影を意図する人を除く画像であり、最終的に得たい画像の背景(撮影を意図しない人を含まず、撮影を意図する建造物などを含む画像)である画像を撮影する。この場合、建造物２０５だけの画像２１１が撮影される。その後、仮に、図１７に示したような、人２０１乃至２０４と建造物２０５を含む画像２００が撮影された場合、その画像が解析され、人２０１乃至人２０４がそれぞれ検出される。この検出は、上記した本発明を適用することで行われる。
【０２０６】
画像２００から人２０１と人２０２が切り出される。その切り出された人２０１と人２０２が、建造物２０５だけの画像２１１に足し込まれる（合成される）ことで、図１８Ｂに示したような、撮影者が撮影を意図した人２０１、人２０２と建造物２０５を含む画像２１２が生成される。
【０２０７】
または、画像２００から人２０１乃至人２０４が検出された後、人２０３と人２０４が画像２００から削除される。建造物２０５だけの画像２１１から、人２０３と人２０４が削除された部分に対応する部分が切り取られる。そして、切り取られた画像が、人２０３と人２０４が削除された画像２００の、人２０３と人２０４が削除された部分に足し込まれる。このような処理が行われることで、図１８Ｂに示したような、撮影者が撮影を意図した人２０１、人２０２、および建造物２０５を含む画像２１２が生成される。
【０２０８】
なお、ここでは、予め画像２１１が撮影されるとして説明をしたが、画像２００が撮影された後、撮影者は、画像２１２を生成させるために、画像２１１を撮影するといった処理の流れでも、上記したことは実現でき、画像２１２を生成することが可能である。
【０２０９】
このような画像の生成についてさらに説明する。以下の説明において背景画像とは、例えば、図１８Ａに示した画像２１１であり、撮影者が、撮影を意図しない人を含まず、撮影を意図する建造物などを含む画像であるとする。換言すれば、背景画像とは、撮影者が背景としたい画像のみが撮影された画像であるとする。
【０２１０】
撮影画像とは、例えば、図１７に示した画像２１０であり、撮影者が、撮影を意図した人と背景を含み、場合によっては、撮影者が意図しなかった人なども含まれる画像であるとする。所望画像とは、例えば、図１８Ｂに示した画像２１２であり、撮影者が、撮影を意図した人と背景を含む画像であり、最終的に得たい画像であるとする。
【０２１１】
図１９は、上記したような画像の生成を行う画像処理装置の機能的な構成例を示している。図１９に示した画像処理装置２３０は、画像取得部２３１、画像記憶部２３２、背景画像記憶部２３３、撮影画像記憶部２３４、認識装置１３、識別器記憶部１２、画像除去部２３５、条件記憶部２３６、画像合成部２３７、および所望画像記憶部２３８を含む構成とされている。
【０２１２】
このような構成を有する画像処理装置２３０は、例えば、デジタルスチルカメラ、デジタルビデオカメラなどに組み込まれる。このようなカメラに画像処理装置２３０が組み込まれた場合、撮影された画像に対して、以下に説明する処理が施される（ほぼリアルタイムに処理が実行される）。またパーソナルコンピュータなどに画像処理装置２３０が組み込まれるようにしても良い。パーソナルコンピュータなどに画像処理装置２３０が組み込まれた場合、画像が撮影された後の時点で、所定の記録媒体に記録されている画像が処理対象とされ、以下に説明する処理が施される。
【０２１３】
画像処理装置２３０が、デジタルスチルカメラに組み込まれた場合、画像取得部２３１には、撮像素子などが含まれる。そして、画像取得部２３１は、被写体の画像を撮影することで、背景画像や撮影画像を取得する。また、パーソナルコンピュータのようなネットワークなどを介して他の装置とデータの授受を行えるような装置に、画像処理装置２３０が組み込まれた場合、画像取得部２３１は、ネットワークを介して他の装置に記憶されている画像を取得する。または、画像取得部２３１は、所定の記録媒体から画像データを読み出すドライブを備え、そのドライブに装着された記録媒体から、データを読み出すことで画像を読み出す。
【０２１４】
画像記憶部２３２は、背景画像記憶部２３３と撮影画像記憶部２３４を含む構成とされている。背景画像記憶部２３３は、背景画像を記憶し、撮影画像記憶部２３４は、撮影画像を記憶する。なおここでは、背景画像記憶部２３３と撮影画像記憶部２３４を別々に設けたが、１つの記憶部とすることも可能であるし、例えば、物理的に１つの記憶部の記憶領域を、２つの記憶領域に分割することで、背景画像記憶部２３３と撮影画像記憶部２３４を別々に設けることも可能である。
【０２１５】
識別器記憶部１２と認識装置１３は、それぞれ図１に示した識別器記憶部１２と認識装置１３と同様の機能を有し、同様の構成を有する。そのために、同じ符号を付し、その説明は省略する。なお、上記したように、入力された画像から人などの対象物を検出するとき、識別器記憶部１２と認識装置１３によれば、計算効率を向上させ、処理速度を向上させることが可能となるため、デジタルスチルカメラなどの装置に画像処理装置２３０が組み込まれ、リアルタイムに撮影された画像を処理しなくてはならないような場合であっても対応することができる。
【０２１６】
認識装置１３では、対象物として人が認識(検出)されるとする。認識装置１３で検出された人の情報、例えば、人が検出された撮影画像内の領域（その領域の座標）に関する情報は、撮影画像の画像データとともに、画像除去部２３５に供給される。画像除去部２３５は、撮影画像から、人が検出された領域を、条件記憶部２３６に記憶されている条件を参照し、除去する。条件記憶部２３６は、除去すべき画像の条件を記憶する。この条件記憶部２３６に記憶される条件については後述する。
【０２１７】
なお、ここでは、画像除去部２３５は、所定の画像を除去するとして説明を続けるが、後述するように、画像を切り出す処理を実行することもある。例えば、所定の画像から、必要のない画像を除去することは、所定の画像から必要のある画像を切り出すのと同等の処理である。よって、後段の画像合成部２３７で、どのようにして画像を合成するかに依存し、画像除去部２３５からは、撮影画像から必要のない画像が除去され、その除去された後の画像が出力されるか、または、撮影画像から必要な画像が切り出され、その切り出された画像が出力される。
【０２１８】
画像合成部２３７は、画像除去部２３５から出力された撮影画像と、背景画像記憶部２３３に記憶されている背景画像を合成し、所望画像を生成する。生成された所望画像は、所定の記録媒体で構成される所望画像記憶部２３８に供給され、記憶される。また、画像除去部２３５で除去する画像がないと判断された場合、換言すれば、撮影画像が、所望画像であると判断された場合、画像合成部２３７を介さずに、画像除去部２３５から所望画像記憶部２３８に所望画像が供給され、記憶される。
【０２１９】
次に、図２０のフローチャートを参照し、画像処理装置２３０の動作について説明する。
【０２２０】
ステップＳ２１１において、画像取得部２３１は、背景画像を取得する。この背景画像は、撮影者により撮影される。撮影者は、図１８Ａを参照して説明したように、背景として撮影したい画像のみが撮影されるように、撮影を行う。そのようにして撮影された画像は、背景画像として取得され、背景画像記憶部２３３に記憶される。
【０２２１】
また、ここでは、背景画像も撮影者により撮影されるとして説明を続けるが、例えば、ネットワークなどを介して取得され、背景画像記憶部２３３に記憶されても良い。例えば、記念撮影がされるような建造物は、有名な建造物である。そのような有名な建造物であれば、撮影者以外の人が撮影し、ネット上で、その画像が公開されている可能性も高い。そのような公開されている画像を背景画像として取得し、背景画像記憶部２３３に記憶されるようにしても良い。また、観光地で、土産用として売られているポストカードなどが背景画像として取得され、記憶されるようにしても良い。
【０２２２】
ステップＳ２１２において、撮影画像が取得され、記憶される。撮影者は、撮影したい人を含めた画像であり、既に撮影した背景画像と同じ位置から撮影した画像を撮影する。その画像は、画像取得部２３１で取得され、撮影画像記憶部２３４に記憶される。このとき、撮影され、記憶される画像は、図１７に示した、撮影者が撮影を意図しない人も含まれた画像であるか、または、図１８Ｂに示した、撮影者が撮影を意図した人だけが含まれる画像である。
【０２２３】
ステップＳ２１４において、撮影画像から人が検出される。撮影画像が撮影画像記憶部２３４に記憶されると、認識装置１３は、撮影画像記憶部２３４に記憶された撮影画像を読み出す。この認識装置１３は、上記したように、入力された画像から、人を検出することができる。また、その検出時には、識別器記憶部１２に記憶されている識別器が用いられる。この画像から人を検出する処理、すなわち、認識装置１３における認識の処理については既に説明したので、ここではその説明を省略する。
【０２２４】
ステップＳ２１４において、所望でない画像が写っているか否かが判断される。画像除去部２３５は、認識装置１３からの認識結果を参照することで、撮影画像中に写っている人を認識することができる。その人が、撮影者が撮影することを意図した人であるか、そうでない人であるかを、画像除去部２３５は、条件記憶部２３６に記憶されている条件を参照して判断する。ここで、条件記憶部２３６に記憶される条件について、図２１を参照して説明を加える。
【０２２５】
図２１Ａに示した画像内の人２５１乃至Ｓ２５３は、後ろを向いている。例えば、記念撮影のときの画像では、通常、人は正面を向いた状態で撮影される。このようなことを考慮すると、図２１Ａに示した画像内の人２５１乃至Ｓ２５３は、撮影者が意図して撮影した人ではないと考えられる。よって、条件１として、後ろ向きの人の画像は、除去対象の画像とするという条件を設ける。
【０２２６】
条件１に該当するか否かを判断するために、撮影画像から人の領域を検出するだけでなく、検出された人の顔もさらに検出されるようにする。このことについて、図２２を参照して説明する。図２２は、図１７に示した画像２００が、認識装置１３の処理対象とされたときの認識結果について説明するための図である。図２２に示したように、画像２００からは、人２０１乃至２０４が検出される。図２２においては、その検出された領域を、領域２７１乃至２７４で示している。すなわち、画像２００から人２０１が検出された領域が領域２７１であり、人２０２が検出された領域が領域２７２である。同様に、画像２００から人２０３が検出された領域が領域２７３であり、人２０４が検出された領域が領域２７４である。
【０２２７】
さらに人２０１は、正面を向いているため、顔も検出される。その検出された顔の領域が領域２７５である。同様に、人２０２も、正面を向いているため、顔も検出され、その検出された顔の領域が領域２７６である。しかしながら、人２０３と人２０４は、後ろ向きであるため、顔は検出されない。このように、人が検出され、さらに顔が検出された場合、その人は正面を向いていると判断することができる。また、人が検出されたが、顔は検出されない場合、その人は後ろを向いていると判断することができる。
【０２２８】
このように、撮影画像から、人を検出し、さらに顔を検出することで、その人が正面を向いているか否かを判断することができる。このようにした場合、認識装置１３に、顔を検出するための顔検出機能が設けられる。認識装置１３が顔検出機能を有する場合、識別器記憶部１２には、顔検出のための識別器も記憶される。その顔検出のための識別器は、上記した人を検出する識別器と同様に、複数の画像を用いた学習が行われることで生成することが可能であり、そのようにして生成された識別器が、識別器記憶部１２に記憶される。または、別の学習方法で学習が行われることで、生成された識別器が、識別器記憶部１２に記憶されるようにしても良い。
【０２２９】
または、顔を検出する機能を、認識装置１３以外に設け、図１９に示した画像処理装置２３０に追加する構成としても良い。追加する構成とした場合も、識別器は、上記した人を検出する識別器と同様に、複数の画像を用いた学習が行われることで生成することが可能である。また、識別器を用いないで顔を識別する(検出する)機能を追加することも可能である。
【０２３０】
条件記憶部２３６に記憶されている条件についての説明に戻る。図２１Ｂに示した画像内の人達２５４は、撮影者の家族(撮影者を含む家族)であり、人達２５５は、撮影者の家族ではない(他人である)。このような画像においては、家族である人達２５４が、撮影者が撮影を意図した人(人達)であると考えられる。また、家族でない人達２５５は、撮影者が撮影を意図した人(人達)ではないと考えられる。よって、条件２として、家族でない人は、除去対象の画像とする条件を設ける。
【０２３１】
家族である人か、家族でない人かを判断するために、予め家族である人の情報を登録する仕組みを設ける。条件記憶部２３６には、家族の顔(画像データ)が記憶される。この登録は、ユーザ(撮影者)の指示により行われる。例えば、家族を撮影したときに、その画像に対して、顔検出が行われる。そして、その顔検出の結果が、デジタルスチルカメラのディスプレイに表示される。その表示される画面は、例えば、図２２に示したような画面であり、検出された顔の領域が、円などの所定の形状の図形で表された画面である。撮影者(ユーザ)は、そのような画面から、登録したい顔を選択する。選択された顔(画像データ)が、条件記憶部２３６に記憶される。
【０２３２】
このようにして条件記憶部２３６に記憶された顔と、撮影画像内の顔とのマッチング処理が行われることで、登録されている顔であるか否かが判断される。ここでは、マッチング処理により顔を識別するとして説明を続けるが、顔の識別は、マッチング処理以外の処理で実行されても良い。
【０２３３】
画像除去部２３５は、撮影画像から顔を検出する。このため、画像除去部２３５は、条件１の説明のところで記載したような顔検出機能を有する。画像除去部２３５は、顔が検出された場合、その検出された顔と一致する顔が、条件記憶部２３６に記憶されている否かを、条件記憶部２３６に記憶されている画像データを用いて判断する。そして、画像除去部２３５は、登録されている顔と一致する顔であると判断した場合、その顔は除去対象外の画像とし、登録されている顔と一致する顔ではないと判断した場合、その顔は除去対象の画像とする。
【０２３４】
このような処理が行われることで、家族である人と家族ない人とが区別され、家族でない人の画像が除去対象の画像とされる。なお、上記したように、条件記憶部２３６に記憶(登録)されている顔(人)以外が、除去対象の画像の画像とされるため、条件２は、登録されている人以外の人の画像は、除去対象の画像とする条件であると換言できる。
【０２３５】
なおここでは、顔の登録は、撮影者による選択と指示に基づき行われるとしたが、画像除去部２３５で、そのような撮影者の選択や指示以外の処理で、登録の処理までも行われるようにしても良い。例えば、複数枚の撮影画像が蓄積され、蓄積された撮影画像に共通して検出される顔が、登録されるようにしても良い。例えば、画像除去部２３５は、顔を検出した場合、その顔を一時的に、条件記憶部２３６に記憶する。そして、画像除去部２３５は、次に顔が検出されたときに、その検出された顔が、条件記憶部２３６に一時的に記憶されている顔と一致すれば、その顔の一致回数を１だけインクリメントする。そして、画像除去部２３５は、条件記憶部２３６に記憶された一致回数が所定の回数になった顔画像があるとき、その顔を条件記憶部２３６に正式に登録する。
【０２３６】
このようにすれば、例えば、子供の画像など、撮影される回数の多い顔は、撮影者（ユーザ）の手を煩わすことなく登録されるようにすることが可能となる。
【０２３７】
また、条件１と同じく、認識装置１３が家族の人を検出する機能を有する場合、識別器記憶部１２には、家族の人を検出のための識別器が記憶されるようにしても良い。その識別器は、上記した人を検出する識別器と同様に、複数の家族の人が撮影されている画像とそうでない画像を用いた学習が行われることで生成することが可能であり、そのようにして生成された識別器が、識別器記憶部１２に記憶される。または、別の学習方法で学習が行われることで、生成された識別器が、識別器記憶部１２に記憶されるようにしても良い。
【０２３８】
条件記憶部２３６に記憶されている条件についての説明に戻る。図２１Ｃに示した画像内の人２５６は、笑顔でない人である。通常、記念撮影などのときには、笑顔で撮影されることが多い。よって、条件３として、笑顔でない人の画像は除去対象の画像とする条件を設ける。笑顔であるか否かを判断するためには、顔を検出するとともに、その顔が笑顔であるか否かを判断する必要がある。このような判断を行うために、画像除去部２３５は、笑顔認識機能を有する。
【０２３９】
認識装置１３が笑顔認識機能を有する場合、識別器記憶部１２には、笑顔検出のための識別器も記憶される。その顔検出のための識別器は、上記した人を検出する識別器と同様に、複数の笑顔の画像とそうでない画像を用いた学習が行われることで生成することが可能であり、そのようにして生成された識別器が、識別器記憶部１２に記憶される。または、別の学習方法で学習が行われることで、生成された識別器が、識別器記憶部１２に記憶されるようにしても良い。
【０２４０】
このような条件が、条件記憶部２３６には記憶されている。上記した条件１乃至３のうちの１つの条件のみが、条件記憶部２３６に記憶され、処理されるようにしても良いし、条件１乃至３のうちの２または３個の条件が記憶され、組み合わされて処理されるようにしても良い。さらに、上記した条件１乃至３に条件が限定されるわけではなく、上記していない他の条件が、条件記憶部２３６に記憶され、処理されるようにしても良い。さらには、上記していない他の条件と、上記した条件１乃至３が組み合わされて処理されるようにしても良い。
【０２４１】
また、上記した条件１乃至３の全てが条件記憶部２３６に記憶され、処理されるようにした場合、画像除去部２３５は、まず、条件１により、除去対象の画像を検出し、除去対象の画像を設定する。そして、除去対象の画像として設定されなかった残りの画像、すなわち、正面を向いている人の画像を処理対象とし、条件２により、除去対象の画像が検出され、除去対象の画像が設定される。このとき、条件１の検出が行われたときに検出された顔が用いられて、条件２による検出が行われる。そして、条件２でも検出されなかった残りの画像（除去対象とされなかった残りの画像）、すなわち、正面を向いており、かつ、登録されている人の画像を処理対象として、条件３により、除去対象の画像が検出され、除去対象の画像が設定される。条件３により、正面を向いており、かつ、登録されている人であるが、笑顔でない人の画像が、除去対象の画像として検出される。
【０２４２】
このように、複数の条件が、条件記憶部２３６に記憶されている場合、順次条件に該当するか否かが判断される。または、条件毎に並列的に処理が行われ、最終的な除去対象の画像が設定されるようにしても良い。
【０２４３】
図２０のフローチャートの説明に戻る。ステップＳ２１４において、画像除去部２３５が、撮影画像には、所望でない画像が写っていると判断した場合、ステップＳ２１５に処理が進められる。ステップＳ２１５において、撮影画像から所望でない画像が除去される。すなわち、画像除去部２３５は、条件記憶部２３６に記憶されている条件（上記した条件１乃至３であるとする）に該当すると判断した画像を、撮影画像から除去する。
【０２４４】
画像除去部２３５は、条件１乃至３に該当した画像を除去した撮影画像（修正画像とする）を、画像合成部２３７に供給する。画像合成部２３７は、ステップＳ２１６において、画像除去部２３５からの修正画像と、背景画像記憶部２３３に記憶されている背景画像を合成し、所望画像を生成する。
【０２４５】
ここで、画像除去部２３５が、撮影画像から、所望でない画像を除去した修正画像を画像合成部２３７に供給する場合、すなわち、例えば、後ろ向きの人の画像が撮影画像から除去されたような画像を修正画像として、画像合成部２３７に供給する場合、画像合成部２３７は、その画像が除去された部分に対応する画像を背景画像から切り出し、修正画像に合成することで、所望画像を生成する。
【０２４６】
画像除去部２３５が、撮影画像から、所望でない画像を除去して、所望とされた画像を切り出した画像を修正画像として画像合成部２３７に供給する場合、すなわち、例えば、後ろ向きの人の画像以外の部分の画像が、撮影画像から切り出された画像を修正画像として、画像合成部２３７に供給する場合、画像合成部２３７は、その切り出された画像を、背景画像に合成する（足し込む）ことで、所望画像を生成する。
【０２４７】
または、画像除去部２３５は、除去対象とする画像を設定し、その設定情報と、撮影画像を、画像合成部２３７に出力する。そして、画像合成部２３７は、設定情報に基づき、撮影画像と背景画像を合成することで、所望画像を生成するようにしても良い。
【０２４８】
このようにして生成された所望画像は、ステップＳ２１７において、所望画像記憶部２３８に供給され、記憶される。また、ステップＳ２１４において、撮影画像に所望でない画像は写っていないと判断された場合、すなわち、撮影画像は所望画像であると判断された場合も、ステップＳ２１４に処理が進められ、その撮影画像が、所望画像として、所望画像記憶部２３８に供給され、記憶される。
【０２４９】
このように、人を検出し、その検出した人を画像として残すか否かを判断し、残すと判断された人だけを、背景画像と合成することで、撮影者が所望とする画像を、撮影者が取得できるようにすることが可能となる。または、このように、人を検出し、その検出した人を画像として除去するか否かを判断し、除去すると判断された人を除去し、その除去された領域に背景画像を合成することで、撮影者が所望とする画像を、撮影者が取得できるようにすることが可能となる。
【０２５０】
換言すれば、上記した本発明においては、撮影された画像から、所定の対象物が検出され、その対象物が検出された領域が、後段の処理で処理対象とする領域として設定される。そして、処理対象として設定された領域に対して、所定の処理が施されることで新たな画像が生成される。または、処理対象として設定された領域以外が、新たな処理対象の領域とされ、所定の処理が施されることで新たな画像が生成される。このような処理が実行されることで、撮影者が所望とする画像を、撮影者が取得できるようにすることが可能となる。
【０２５１】
なお、上述した実施の形態では、対象物を人とした場合を例に挙げて説明したが、例えば、車などを対象物として、上記した処理が実行されるようにしても良い。例えば、車が撮影画像に写っていた場合、その車が除去され、背景画像が足し込まれることで、所望画像が生成されるようにしても良い。
【０２５２】
なお、上述した実施の形態においては、撮影画像から条件に該当する画像が除去され、背景画像と合成されることで、所望画像が生成される例をあげて説明した。そのほかにも、例えば、画像除去部２３５で条件記憶部２３６に記憶されている条件に該当する画像がないと判断されたとき、画像取得部２３１で画像が取得されるようにしても良い。すなわち、デジタルスチルカメラにおいて、画像取得部２３１で取得されている画像が、リアルタイムに画像除去部２３５で処理され、条件に該当する画像がないと判断されたとき、画像除去部２３５から画像取得部２３１に指示が出て、シャッターがきれるように制御されるようにすることも可能である。
【０２５３】
このように制御されることで、所望画像が撮影できるときだけ、シャッターがきれるように制御されるようになるため、常に、所望画像が取得され、記憶されるようになる。また、設定されている条件により、前を向いている人がいると判断されたときに、シャッターが切れるように制御したり、後ろを向いている人がいないと判断されたときに、シャッターがきれるように制御したり、後ろ向きの人がいるときには、登録済みの背景画像で上書きしたりするといった制御も行うことが可能である。
【０２５４】
また、上述した実施の形態においては、人が検出される領域は、全身領域が検出されるようにしても良いし、上半身領域や下半身領域が検出されるようにしても良い。
【０２５５】
「モザイク処理を行う画像処理装置について」
次に、上述した人を検出することを利用し、検出された人以外の画像、または、検出された人の画像に、モザイクをかける処理を実行する場合について説明する。図２３と図２４はそれぞれ、モザイク処理された画像の一例を示す図である。図２３に示した画像３０１または図２４に示しが画像３０２は、図１８Ｂに示した画像２１２が撮影されたとき、または、図１７に示した画像に対して処理が施された結果、図１８Ｂに示した画像２１２が取得されたときに、その画像２１２に対してモザイク処理が施された画像である。
【０２５６】
図２３に示した画像３０１は、人２０１、人２０２以外の画像にモザイク処理が施された画像である。撮影画像から人２０１と人２０２が検出され、その人２０１と人２０２以外の部分に対してモザイク処理が施されることで、画像３０１が生成される。
【０２５７】
また図２４に示した画像３０２は、人２０１、人２０２の画像にモザイク処理が施された画像である。撮影画像から人２０１と人２０２が検出され、その人２０１と人２０２の部分に対してモザイク処理が施されることで、画像３０２が生成される。
【０２５８】
近年、ブログと称されるインターネット上で、日記を公開することが普及し、そのブログに写真が掲載されることが増えつつある。しかしながら、インターネット上で写真を公開した場合、不特定多数の人が閲覧する可能性がある。そこで、例えば、自分自身の顔は公開しても良いが、旅行先の建造物などの景色の写真は公開したくない、または、自分自身の顔は公開したくないが、旅行先の建造物などの景色の写真は公開したいといった要望がある。
【０２５９】
図２３に示した画像３０１は、前者、すなわち、人は公開するが、建造物などの背景画像は公開したくないときに、その公開したくない背景画像に対してモザイク処理が施された画像である。図２４に示した画像３０２は、後者、すなわち、人は公開しないが、建造物などの背景画像は公開するときに、その公開したくない人に対してモザイク処理が施された画像である。なお、ここでは、対象物を人とした場合を例に挙げて説明するが、例えば、車などが対象物とされ、このようなモザイク処理が施されるようにしても良い。
【０２６０】
図２５は、このようなモザイク処理を実行する画像処理装置の構成例を示す図である。図２５に示した画像処理装置３３０は、画像取得部２３１、撮影画像記憶部２３４、認識装置１３、識別器記憶部１２、画像除去部２３５、条件記憶部２３６、モザイク処理部３３１、および所望画像記憶部２３８を含む構成とされている。このような構成を有する画像処理装置３３０は、例えば、デジタルスチルカメラ、デジタルビデオカメラなどに組み込まれる。
【０２６１】
図２５に示した画像処理装置３３０において、図１９に示した画像処理装置２３０と同一の機能を有する機能には、同一の符号を付し、適宜その説明は省略する。図２５に示した画像処理装置３３０は、画像取得部２３１により取得された撮影画像を、一旦、撮影画像記憶部２３４に記憶し、その記憶された撮影画像に対して、認識装置１３による認識処理が実行される。
【０２６２】
認識装置１３は、上記した場合と同様に、人などの対象物を、識別機記憶部１２に記憶されている識別機を用いて認識（検出）し、その検出結果と、撮影画像を、画像除去部２３５に供給する。画像除去部２３５は、上記した場合と同様に、条件記憶部２３６に記憶されている条件に該当する画像が撮影画像内にあるか否かを判断し、ある場合にはその画像を除去対象とする。モザイク処理部３３１は、画像除去部２３５により除去対象とされた画像対してモザイク処理を施し、所望画像を生成する。このようにして生成された所望画像は、所望画像記憶部２３８に供給され、記憶される。
【０２６３】
図２６のフローチャートを参照し、さらに詳細に画像処理装置３３０の動作について説明する。ステップＳ３１１において、画像取得部２３１により撮影画像が取得され、その取得された撮影画像が、撮影画像記憶部２３４に記憶される。ステップＳ３１２において、認識装置１３は、撮影画像記憶部２３４に記憶されている撮影画像から、人などの対象物を検出する。ここでは、対象物が人であるとして説明を続ける。ステップＳ３１１，Ｓ３１２の処理は、図２０に示したフローチャートのステップＳ２１２，Ｓ２１３と基本的に同様の処理であるため、その詳細な説明は省略する。
【０２６４】
ステップＳ３１３において、画像除去部２３５は、所望でない画像が写っているか否かを判断する。所望でない画像とは、条件記憶部２３６に記憶されている条件に該当する画像である。この実施の形態においては、条件記憶部２３６に記憶されている条件は、以下の通りである。すなわち、図２３に示したような画像３０１が所望画像とされる場合、人以外の画像は、除去対象の画像とする条件である。また、図２４に示したような画像３０２が所望画像とされる場合、人の画像は、除去対象の画像とする条件である。このような条件の他に、人の画像に該当する画像で除去対象とされる画像は、上記した条件１乃至３を満たす、または、満たさない画像であるとすることも可能である。
【０２６５】
ステップＳ３１３において、撮影画像に所望でない画像が写っていると判断された場合、ステップＳ３１４に処理が進められる。ステップＳ３１４において、画像除去部２３５は、条件に該当した画像（そのような画像がある領域）を、除去対象の画像として設定する。その設定情報と、撮影画像は、モザイク処理部３３１に供給される。モザイク処理部３３１は、ステップＳ３１５において、供給された設定情報を参照し、除去対象とされた画像（そのような画像がある領域）に対してモザイク処理を施す。モザイク処理部３３１は、撮影画像に対して、除去対象とされた画像にモザイク処理を施すことで、所望画像を生成する。
【０２６６】
このようにして生成された所望画像は、ステップＳ３１６において、所望画像記憶部２３８に記憶される。また、ステップＳ３１３において、撮影画像には所望でない画像は写っていないと判断された場合、すなわち、撮影画像が所望画像であると判断された場合も、ステップＳ３１６に処理が進められ、所望画像記憶部２３８に撮影画像が所望画像として記憶される。
【０２６７】
このように、対象物を検出し、その対象物または対象物の他の部分がモザイク画像とされることで、撮影者が所望とする画像を、撮影者が取得できるようにすることが可能となる。よって、プライバシーが保護されて欲しい人物にモザイクをかけたり、周辺環境に関するプライバシーが保護されて欲しい背景画像にモザイクをかけたりすることが可能となる。かつ、そのようなモザイク処理は、撮影者(ユーザ)の手を煩わすことなく行うことが可能である。
【０２６８】
このように、本発明においては、人などの対象物を検出することで、撮影された画像に対して様々な処理を施すことが可能となる。またその人の検出は、精度高く、かつ計算量を軽減して行うことが可能なので、デジタルスチルカメラなど、小型化された装置においても実装することが可能である。
【０２６９】
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０２７０】
図２７は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０２７１】
コンピュータにおいて、CPU（Central Processing Unit）５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。
【０２７２】
バス５０４には、さらに、入出力インターフェース５０５が接続されている。入出力インターフェース５０５には、キーボード、マウス、マイクロホンなどよりなる入力部５０６、ディスプレイ、スピーカなどよりなる出力部５０７、ハードディスクや不揮発性のメモリなどよりなる記録部５０８、ネットワークインターフェースなどよりなる通信部５０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア５１１を駆動するドライブ５１０が接続されている。
【０２７３】
以上のように構成されるコンピュータでは、CPU５０１が、例えば、記録部５０８に記録されているプログラムを、入出力インターフェース５０５およびバス５０４を介して、RAM５０３にロードして実行することにより、上述した一連の処理が行われる。
【０２７４】
コンピュータ（CPU５０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア５１１に記録して、或いは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０２７５】
そして、プログラムは、リムーバブルメディア５１１をドライブ５１０に装着することにより、入出力インターフェース５０５を介して、記録部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記録部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記録部５０８に、予めインストールしておくことができる。
【０２７６】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、或いは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０２７７】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０２７８】
１１  学習装置，  １２  識別器記録部，  １３  認識装置，  ２０  ピラミッド画像生成部，  ２１  服装特徴点抽出部，  ２２  服装特徴量計算部，  ２３  服装識別器生成部，  ２４  輪郭特徴点抽出部，  ２５  輪郭特徴量計算部，  ２６  輪郭識別器生成部，  ２７  統合識別器生成部，  ３０  ピラミッド画像生成部，  ３１  服装特徴点抽出部，  ３２  服装特徴量計算部，  ３３  輪郭特徴点抽出部，  ３４  輪郭特徴量計算部，  ３５  識別計算部
【図１】
2010108475.tif 000014
【図２】
2010108475.tif 000015
【図３】
2010108475.tif 000016
【図４】
2010108475.tif 000017
【図５】
2010108475.tif 000018
【図６】
2010108475.tif 000019
【図７】
2010108475.tif 000020
【図８】
2010108475.tif 000021
【図９】
2010108475.tif 000022
【図１０】
2010108475.tif 000023
【図１１】
2010108475.tif 000024
【図１２】
2010108475.tif 000025
【図１３】
2010108475.tif 000026
【図１４】
2010108475.tif 000027
【図１５】
2010108475.tif 000028
【図１６】
2010108475.tif 000029
【図１７】
2010108475.tif 000030
【図１８】
2010108475.tif 000031
【図１９】
2010108475.tif 000032
【図２０】
2010108475.tif 000033
【図２１】
2010108475.tif 000034
【図２２】
2010108475.tif 000035
【図２３】
2010108475.tif 000036
【図２４】
2010108475.tif 000037
【図２５】
2010108475.tif 000038
【図２６】
2010108475.tif 000039
【図２７】
2010108475.tif 000040