(57)【要約】【課題】画像中のある注目領域内に人物の顔が含まれるか否かの判定処理に関して、高速化や高精度化を実現する装置などを提供すること。【解決手段】従来のように一つの閾値によって注目領域における特徴量と判定値とを対応付けるのではなく、ルックアップテーブル等を用いることによって特徴量毎に判定値を独立して対応付ける。このため、判定値と特徴量との対応付けがより正確になり、処理の高精度化を図ることが可能となる。また、従来は判定の精度を担保するために何度も判定を繰り返しその総合的な結果に基づいて最終的な判断を行っていたが、一度の処理における精度が向上するため、この繰り返しの回数を削減することにより高速化を図ることが可能となる。【選択図】  図９
2004362468.tif 000002
【特許請求の範囲】
【請求項１】
複数の特徴量と、各特徴量における判定値とを対応付けて記憶する記憶手段と、
画像から注目領域内の特徴量を算出する算出手段と、
前記算出手段によって算出された特徴量に対応付けて前記記憶手段に記憶される判定値を元に、前記注目領域内に特定の被写体が含まれるか否かを判定する判定手段と
を含む特定被写体検出装置。
【請求項２】
複数の特徴量と、各特徴量における判定値とを対応付けて記憶する記憶手段と、
画像から同一注目領域内の特徴量を、複数の異なる算出処理によって算出する算出手段と、
前記算出手段によって算出された特徴量に対応付けて前記記憶手段に記憶される判定値を元に、前記注目領域内に特定の被写体が含まれるか否かを判定する第一の判定手段と、
前記第一の判定手段に対し、算出手段による異なる算出処理によって得られた複数の特徴量を与えることにより、最終的な判定を得るに十分な数の判定結果を取得する制御手段と、
前記制御手段によって取得される複数の判定結果に基づいて、前記注目領域内に特定の被写体が含まれるか否かについて最終的な判定を行う第二の判定手段とを含む特定被写体検出装置。
【請求項３】
複数の異なるパターンそれぞれについて、複数の特徴量と、各特徴量における判定値とを対応付けて記憶する記憶手段と、
画像から同一注目領域内の特徴量を、複数の異なるパターンそれぞれに基づいて算出する算出手段と、
前記算出手段が用いたパターンと前記算出手段によって算出された特徴量とに対応する判定値を元に、前記注目領域内に特定の被写体が含まれるか否かを判定する第一の判定手段と、
前記第一の判定手段に対し、複数の異なるパターンに基づいた算出処理によって得られた複数の特徴量を与えることにより、最終的な判定を得るに十分な数の判定結果を取得する制御手段と、
前記制御手段によって取得される複数の判定結果に基づいて、前記注目領域内に特定の被写体が含まれるか否かについて最終的な判定を行う第二の判定手段とを含む特定被写体検出装置。
【請求項４】
前記記憶手段は、複数の区間に分割された前記特徴量と、各区間における判定値とを対応付けて記憶する請求項３に記載の特定被写体検出装置。
【請求項５】
前記各区間における判定値は、
任意のパターンに基づいて複数のサンプル画像各々の特徴量を算出するサンプル画像特徴量算出手段と、複数の特徴量の各区間について、前記サンプル画像特徴量算出手段によって算出された特徴量が前記区間内に含まれるサンプル画像の度数を求める度数獲得手段と、前記複数の各区間について、この区間における度数に基づいて、このパターンに基づいて算出された特徴量がこの区間に含まれる注目領域には特定の被写体が含まれると判定すべきか否かを判断することにより判定値を決定する判定値決定手段とを備える判断基準生成装置
によって決定された値である請求項４に記載の特定被写体検出装置。
【請求項６】
任意のパターンに基づいて複数のサンプル画像各々の特徴量を算出する算出手段と、
複数の特徴量の各区間について、前記算出手段によって算出された特徴量が前記区間内に含まれるサンプル画像の度数を求める度数獲得手段と、
前記複数の各区間について、この区間における度数に基づいて、このパターンに基づいて算出された特徴量がこの区間に含まれる注目領域には特定の被写体が含まれると判定すべきか否かを判断する判断手段と、
前記各区間と、前記判断手段による判断結果とが対応付けられた判断基準を生成する判断基準生成手段と
を含む判断基準生成装置。
【請求項７】
複数の特徴量と、各特徴量における判定値とを対応付けて記憶する記憶手段を備える情報処理装置に、
画像から注目領域内の特徴量を算出するステップと、
算出された特徴量に対応付けて前記記憶手段に記憶される判定値を元に、前記注目領域内に特定の被写体が含まれるか否かを判定するステップと
を実行させるプログラム。
【請求項８】
複数の特徴量と、各特徴量における判定値とを対応付けて記憶する記憶手段を備える情報処理装置に、
画像から同一注目領域内の特徴量を、複数の異なる算出処理によって算出するステップと、
算出された特徴量に対応付けて前記記憶手段に記憶される判定値を元に、前記注目領域内に特定の被写体が含まれるか否かを判定する第一の判定ステップと、
前記第一の判定ステップを、算出するステップによる異なる算出処理によって得られた複数の特徴量に基づいて実行することにより、最終的な判定を得るに十分な数の判定結果を取得するステップと、
取得される複数の判定結果に基づいて、前記注目領域内に特定の被写体が含まれるか否かについて最終的な判定を行う第二の判定ステップと
を実行させるプログラム。
【請求項９】
複数の異なるパターンそれぞれについて、複数の特徴量と、各特徴量における判定値とを対応付けて記憶する記憶手段を備える情報処理装置に、
画像から同一注目領域内の特徴量を、複数の異なるパターンそれぞれに基づいて算出するステップと、
前記算出するステップにおいて用いられたパターンと前記算出するステップによって算出された特徴量とに対応する判定値を元に、前記注目領域内に特定の被写体が含まれるか否かを判定する第一の判定ステップと、
前記第一の判定ステップを、複数の異なるパターンに基づいた前記算出するステップの実行によって得られた複数の特徴量に基づいて実行することにより、最終的な判定を得るに十分な数の判定結果を取得するステップと、
取得された複数の判定結果に基づいて、前記注目領域内に特定の被写体が含まれるか否かについて最終的な判定を行う第二の判定ステップと
を実行させるプログラム。
【請求項１０】
任意のパターンに基づいて複数のサンプル画像各々の特徴量を算出するステップと、
複数の特徴量の各区間について、算出された特徴量が前記区間内に含まれるサンプル画像の度数を求めるステップと、
前記複数の各区間について、この区間における度数に基づいて、このパターンに基づいて算出された特徴量がこの区間に含まれる注目領域には特定の被写体が含まれると判定すべきか否かを判断するステップと、
前記各区間と判断結果とが対応付けられたテーブルを生成するステップと
を情報処理装置に実行させるプログラム。
【請求項１１】
画像に対して部分領域を定義する領域パターン情報を参照する手段と、
前記領域パターン情報にしたがい所定の演算を実行することにより前記画像の特徴量を算出する演算手段と、
複数のサンプル画像に対して算出された特徴量とその特徴量が算出された画像が有する属性に係る判定値とを組み合わせて記憶する判定値記憶手段と、
前記画像に対して算出される特徴量により当該画像が前記属性を有するか否かを判定する判定手段とを備える特定被写体検出装置。
【請求項１２】
コンピュータに、
画像に対して部分領域を定義する領域パターン情報を参照するステップと、
前記領域パターン情報にしたがい所定の演算を実行することにより前記画像の特徴量を算出する演算ステップと、
複数のサンプル画像に対して算出された特徴量とその特徴量が算出された画像が有する属性に係る判定値とを組み合わせて記憶した判定値記憶手段を参照するステップと、
前記画像に対して算出される特徴量により当該画像が前記属性を有するか否かを判定する判定ステップとを実行させるプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、撮像された画像から、この画像中に含まれる人物や動物や物体などの特定の被写体又は被写体の一部を検出する装置や方法などに適用されて有効な技術に関する。
【０００２】
【従来の技術】
従来技術として、撮像された画像から、この画像中に含まれる人物や動物や物体などの特定の被写体又は被写体の一部を検出する技術がある。このような従来技術の一例として、撮像された画像から人物の顔を検出する技術がある（非特許文献１参照）。
【０００３】
非特許文献１では、特定の矩形（以下「顔判定矩形」と呼ぶ）を処理対象となる画像内で移動させ、各移動先の顔判定矩形内（以下「注目領域」と呼ぶ）に人物の顔が含まれるか否かが判定される。図１４は、顔判定矩形の例（顔判定矩形Ｐ１）を示す図である。図１４を用いて、顔判定矩形Ｐ１を用いた人物の顔の検出処理について説明する。
【０００４】
顔判定矩形Ｐ１は、その矩形内に複数の他の矩形（以下「第一矩形」，「第二矩形」と呼ぶ）Ｐ２，Ｐ３を含む。第一矩形Ｐ２と第二矩形Ｐ３とは、それぞれ顔判定矩形Ｐ１内の定位置に配置される。第一矩形Ｐ２と第二矩形Ｐ３とは、一つの顔判定矩形Ｐ１内にそれぞれ１以上配置される。
【０００５】
顔の検出処理では、各注目領域における第一矩形Ｐ２及び第二矩形Ｐ３によって囲まれるそれぞれの領域（以下、それぞれ「第一特徴領域」，「第二特徴領域」と呼ぶ）の特徴量が算出される。第一特徴領域及び第二特徴領域の特徴量とは、例えば各領域内の画素値の平均値を示す。
【０００６】
次に、第一特徴領域の特徴量Ｌａと、第二特徴領域の特徴量Ｌｂとの差分が算出される。そして、この差分値が、あらかじめ設定されている閾値αよりも大きいか否かに応じて、注目領域に人物の顔が含まれるか否かが判定される。閾値αは、サンプル画像を用いた学習によって求められる。サンプル画像を用いた学習の詳細については、発明の実施の形態の欄で説明する。
【０００７】
実際の処理では、このような顔判定矩形が複数パターン用意され、それぞれについて判定が実行される。各パターンでは、第一矩形Ｐ２や第二矩形Ｐ３の数や位置がそれぞれ異なる。そして、それぞれの判定結果を元に、注目領域に人物の顔が含まれるか否かについて最終的な判定が行われる。
【０００８】
また、このように、第一特徴領域と第二特徴領域との特徴量について差分を算出することにより人物の顔を検出する技術は、特許文献１でも用いられている。
【０００９】
【特許文献１】
特開２０００−１２３１４８
【非特許文献１】
Ｐａｕｌ  Ｖｉｏｌａ，Ｍｉｃｈａｅｌ  Ｊｏｎｅｓ，”Ｒｏｂｕｓｔ  Ｒｅａｌ−ｔｉｍｅ  Ｏｂｊｅｃｔ  Ｄｅｔｅｃｔｉｏｎ”，ＳＥＣＯＮＤ  ＩＮＴＥＲＮＡＴＩＯＮＡＬ  ＷＯＲＫＳＨＯＰ  ＯＮ  ＳＴＡＴＩＳＴＩＣＡＬ  ＡＮＤ  ＣＯＭＰＵＴＡＴＩＯＮＡＬ  ＴＨＥＯＲＩＥＳ  ＯＦ  ＶＩＳＩＯＮ  −ＭＯＤＥＬＩＮＧ，  ＬＥＡＲＮＩＮＧ，  ＣＯＭＰＵＴＩＮＧ，  ＡＮＤ  ＳＡＭＰＬＩＮＧ  ＶＡＮＣＯＵＶＥＲ  ＣＡＮＡＤＡ，ＪＵＬＹ  １３，  ２００１．
【００１０】
【発明が解決しようとする課題】
画像における人物の顔の検出は、上記のような顔判定矩形Ｐ１を用いた方法が適用されることにより、その精度が向上した。しかしながら、現在、画像中の人物の顔を検出する処理は、携帯電話機などのマシンスペックの比較的高くない装置上でリアルタイムで動作することが求められているため、処理速度の向上も要求されている。また、画像における人物の顔検出の精度の向上についても、引き続き要求がなされている。
【００１１】
本発明では、このような問題を解決し、画像中のある注目領域内に人物の顔が含まれるか否かの判定処理に関して、高速化や高精度化を実現する装置などを提供することを目的とする。
【００１２】
【課題を解決するための手段】
〔第一の態様〕
上記問題を解決するため、本発明は以下のような構成をとる。本発明の第一の態様は、特定被写体検出装置であって、記憶手段、算出手段及び判定手段を備える。
【００１３】
記憶手段は、複数の特徴量と、各特徴量における判定値とを対応付けて記憶する。以下、判定値とは、判定手段における判定処理に用いられる値である。判定値とは、例えば、対応する特徴量が算出手段によって算出された場合に、注目領域に特定の被写体が含まれる可能性が高いか否かを示す値である。
【００１４】
算出手段は、注目領域内の特徴量を算出する。以下、注目領域とは、特定の被写体が含まれるか否かが判定される領域である。即ち、注目領域とは、特定被写体検出装置の処理対象となる領域を示す。また、特徴量とは、注目領域に含まれる画素の状態から一意に決まる値である。例えば、注目領域内の全画素又は一部の画素の画素値の平均値、合計値、分散などである。
【００１５】
判定手段は、算出手段によって算出された特徴量に対応付けて記憶手段に記憶される判定値を元に、注目領域内に特定の被写体が含まれるか否かを判定する。例えば、算出された特徴量に対応する判定値が、注目領域に特定の被写体が含まれる可能性が高いことを示す値である場合、判定手段は注目領域内に特定の被写体が含まれると判定する。
【００１６】
このように構成された本発明の第一の態様では、判定手段による判定処理に用いられる判定値は、特徴量毎に対応付けて記憶手段に記憶される。このため、従来のように一つの閾値によって特徴量と判定値との対応付けがなされていた場合に比べて、より正確に判定値と特徴量とを対応付けることが可能となる。従って、判定手段は、与えられた各特徴量について、注目領域内に特定の被写体が含まれるか否かをより正確に判定することが可能となる。
【００１７】
この第１の態様は、以下のように変形することもできる。すなわち、変形された第１の態様は、画像に対して部分領域を定義する領域パターン情報を参照する手段と、上記領域パターン情報にしたがい所定の演算を実行することにより上記画像の特徴量を算出する演算手段と、複数のサンプル画像に対して算出された特徴量とその特徴量が算出された画像が有する属性に係る判定値とを組み合わせて記憶する判定値記憶手段と、上記画像に対して算出される特徴量により当該画像が上記属性を有するか否かを判定する判定手段とを備える。
【００１８】
この変形された第１の態様は、複数のサンプル画像に対して算出された特徴量とその特徴量が算出された画像が有する属性に係る判定値とを組み合わせて記憶する。例えば、ある属性（特定被写体の存在等）を有するサンプル画像に対して算出された特徴量とその属性有りとの判定値が記憶される。一方、その属性（特定被写体の存在等）を有しないサンプル画像に対して算出された特徴量とその属性なしとの判定値が記憶される。
【００１９】
複数のサンプル画像に対して、このような特徴量と判定値の組み合わせを事前に上記判定値記憶手段に記憶しておけばよい。複数のサンプル画像に対して、上記特徴量の度数分布を求めてもよい。そして、例えば、ある属性（特定被写体の存在等）を有するサンプル画像に対する度数が所定値以上となるような特徴量の範囲に対して、その属性ありとの判定値を記憶してもよい。また、その属性（特定被写体の存在等）を有しないサンプル画像に対する度数が所定値以上となるような特徴量の範囲に対して、その属性なしとの判定値を記憶してもよい。
【００２０】
〔第二の態様〕
本発明の第二の態様は、特定被写体検出装置であって、記憶手段、算出手段、第一の判定手段、制御手段及び第二の判定手段を備える。
【００２１】
記憶手段は、複数の特徴量と、各特徴量における判定値とを対応付けて記憶する。
【００２２】
算出手段は、同一注目領域内の特徴量を、複数の異なる算出処理によって算出する。この複数の異なる算出処理は、例えば算出される値の種類が異なる（例：平均、合計、分散）ような処理であっても良いし、算出処理を実行する上での入力が異なる（例：注目領域内の異なる部分領域に関するデータが入力される）ような処理であっても良い。また、算出される値の種類及び算出処理の入力が異なるような処理であっても良い。
【００２３】
第一の判定手段は、算出手段によって算出された特徴量に対応付けて記憶手段に記憶される判定値を元に、注目領域内に特定の被写体が含まれるか否かを判定する。例えば、算出された特徴量に対応する判定値が、注目領域内に特定の被写体が含まれる可能性が高いことを示す値である場合、判定手段は注目領域内に特定の被写体が含まれると判定する。
【００２４】
制御手段は、算出手段による異なる算出処理によって得られた複数の特徴量を第一の判定手段に対し与えることにより、最終的な判定を得るに十分な数の判定結果を取得する。従って、第一の判定手段は、制御手段から与えられる複数の特徴量それぞれについて、対応する判定値を記憶手段から読み出し、注目領域内に特定の被写体が含まれるか否かを判定する。このため、第一の判定手段は、複数の判定結果を導く。各判定結果は同一である必要は無い。
【００２５】
また、得られた判定結果の数が、最終的な判定を得るに十分な数であるか否かは、制御手段によって動的に判断されても良いし、あらかじめこの数が決められていても良い。例えば、学習アルゴリズム等の実行や管理者の経験的感覚などによって、最終的な判定を得るに十分な判定結果の数があらかじめ設定されていても良い。このとき、数のみならず、算出手段によって実行される算出処理もあらかじめ設定されていても良い。
【００２６】
なお、最終的な判定、即ち第二の判定手段による判定は、第一の判定手段による判定結果の数が多いほど精度が向上する。このため、最終的な判定を得るに十分な数とは、最終的な判定が一定の精度を確保するために必要な数を示す。
【００２７】
第二の判定手段は、制御手段によって取得される複数の判定結果に基づいて、注目領域内に特定の被写体が含まれるか否かについて最終的な判定を行う。
【００２８】
このように構成された本発明の第二の態様では、第一の判定手段による判定処理に用いられる判定値は、特徴量毎に対応付けて記憶手段に記憶される。このため、従来のように一つの閾値によって特徴量と判定値との対応付けがなされていた場合に比べて、より正確に判定値と特徴量とを対応付けることが可能となる。従って、第一の判定手段は、与えられた各特徴量を元に、注目領域内に特定の被写体が含まれるか否かをより正確に判定することが可能となる。
【００２９】
また、第一の判定手段における判定結果の精度が向上することにより、第一の判定手段による判定結果の数を削減しても、最終的な判定の精度を確保することが可能となる。即ち、最終的な判定を得るに十分な数が減少し、第一の判定手段による判定処理の回数が削減される。このため、注目領域内に特定の被写体が含まれるか否かの最終的な判定までに要する時間を短くすることが可能となる。即ち、特定の被写体を検出する処理を、精度を落とすことなく高速化することが可能となる。
【００３０】
〔第三の態様〕
本発明の第三の態様は、特定被写体検出装置であって、記憶手段、算出手段、第一の判定手段、制御手段及び第二の判定手段を備える。
【００３１】
記憶手段は、複数の異なるパターンそれぞれについて、複数の特徴量と、各特徴量における判定値とを対応付けて記憶する。従って、パターンと特徴量とが得られれば、判定値は一意に決まる。
【００３２】
算出手段は、画像から同一注目領域内の特徴量を、複数の異なるパターンそれぞれに基づいて算出する。
【００３３】
記憶手段は、複数のパターンそれぞれについて、特徴量と判定値とを対応付けて記憶する。従って、パターンと特徴量とが得られれば、判定値は一意に決まる。
【００３４】
第一の判定手段は、算出手段が用いたパターンと算出手段によって算出された特徴量とに対応する判定値を得る。そして、得られた判定値を元に、注目領域内に特定の被写体が含まれるか否かを判定する。
【００３５】
制御手段は、第一の判定手段に対し複数の特徴量を与えることにより、最終的な判定を得るに十分な数の判定結果を第一の判定手段から取得する。複数の特徴量とは、複数の異なるパターンに基づいた算出処理によって得られる。即ち、パターン毎の特徴量が算出手段によって算出される。そして、パターン毎に、第一の判定手段による判定結果が取得される。
【００３６】
第二の判定手段は、制御手段によって取得される複数の判定結果に基づいて、注目領域内に特定の被写体が含まれるか否かについて最終的な判定を行う。
【００３７】
このように構成された本発明の第三の態様では、第一の判定手段による判定処理に用いられる判定値は、各パターンについて、特徴量毎に対応付けて記憶手段に記憶される。このため、従来のように、各パターンについて一つの閾値によって特徴量と判定値との対応付けがなされていた場合に比べて、より正確に判定値と特徴量とを対応付けることが可能となる。従って、第一の判定手段は、各パターン毎に与えられる特徴量を元に、注目領域内に特定の被写体が含まれるか否かをより正確に判定することが可能となる。
【００３８】
また、第一の判定手段における判定結果の精度が向上することにより、第一の判定手段による判定結果の数を削減しても、最終的な判定の精度を確保することが可能となる。即ち、算出手段及び第一の判定手段において用いられるパターンの数を削減しても、最終的な判定の精度を確保することが可能となる。言い換えれば、最終的な判定を得るに十分な判断結果の数が減少し、第一の判定手段による判定処理の回数が削減される。このため、注目領域内に特定の被写体が含まれるか否かの最終的な判定までに要する時間を短くすることが可能となる。即ち、特定の被写体を検出する処理を、精度を落とすことなく高速化することが可能となる。
【００３９】
また、本発明の第三の態様における記憶手段は、複数の区間に分割された特徴量と、各区間における判定値とを対応付けて記憶しても良い。
【００４０】
また、本発明の第三の態様において、各区間における判定値は以下のような判断基準生成装置によって求められた値であっても良い。判断基準生成装置とは、サンプル画像特徴量算出手段、度数獲得手段及び判定値決定手段を備える。
【００４１】
サンプル画像特徴量算出手段は、任意のパターンに基づいて複数のサンプル画像各々の特徴量を算出する。度数獲得手段は、複数の特徴量の各区間について、サンプル画像特徴量算出手段によって算出された特徴量が区間内に含まれるサンプル画像の度数を求める。判定値決定手段は、複数の各区間について、この区間における度数に基づいて、このパターンに基づいて算出された特徴量がこの区間に含まれる注目領域には特定の被写体が含まれると判定すべきか否かを判断することにより判定値を決定する。
【００４２】
また、本発明の第三の態様において、サンプル画像は、第一の判定手段が判定を行う対象である特定の被写体を含む正解画像と、特定の被写体を含まない不正解画像とを含むように構成されても良い。
【００４３】
また、本発明の第三の態様において、各区間における判定値は、正解画像及び不正解画像それぞれの指標の相対的な値に基づいて設定されても良い。
【００４４】
また、本発明の第三の態様において、各区間における判定値は、正解画像及び不正解画像それぞれの度数の相対的な値に基づいて設定されても良い。相対的な値とは、例えば比や差分などである。
【００４５】
また、本発明の第三の態様におけるパターンは第一の特徴領域と第二の特徴領域とを有し、各特徴領域は、特定の領域内に位置及び大きさがパターン毎にそれぞれ固定されるように構成されても良い。
【００４６】
また、本発明の第三の態様の算出手段は、注目領域内の第一の特徴領域における第一の特徴量と第二の特徴領域における第二の特徴量との相対的な値を算出することによって注目領域内の特徴量を算出するように構成されても良い。相対的な値とは、例えば比や差分値などである。
【００４７】
〔第四の形態〕
本発明の第四の形態は、判断基準生成装置であって、算出手段、度数獲得手段、判断手段及び判断基準生成手段を含む。
【００４８】
算出手段は、任意のパターンに基づいて複数のサンプル画像各々の特徴量を算出する。
【００４９】
度数獲得手段は、特徴量が複数の区間に分割された各区間について、算出手段によって算出された特徴量が区間内に含まれるサンプル画像の度数を求める。度数とは、例えばサンプル画像の数や、この数にサンプル画像毎に設定された重みを乗じた値などを示す。
【００５０】
判断手段は、特徴量の各区間における度数に基づいて、各区間における判定値を決定する。判断手段は、パターンに基づいて算出された特徴量が任意の区間に含まれる注目領域には、特定の被写体が含まれると判定すべきか否かを判断することにより、判定値を決定する。例えば、あるパターンに基づいて算出された特徴量がいずれの区間に該当する場合に、特定の被写体が注目領域に含まれる可能性が高いかについて判断し、判定値を決定する。
【００５１】
判断基準生成手段は、判断手段の判断結果に基づいて、各区間と判定値とが対応付けられた判断基準を生成する。このような判断基準の具体的な例として、各区間と判定値とを対応付けたテーブルなどがある。
【００５２】
このように構成された本発明の第四の形態では、判定値が特徴量の各区間毎に対応付けられたテーブルが生成される。このため、従来のように一つの閾値によって特徴量と判定値との対応付けがなされていた場合に比べて、より正確に判定値と特徴量とが対応付けられたテーブルを生成することが可能となる。従って、このテーブルを利用して特定の被写体を検出する処理が実行される場合、注目領域内に特定の被写体が含まれるか否かをより正確に判定することが可能となる。
【００５３】
〔第五の態様〕
本発明の第五の態様は、情報処理装置を、本発明の第一の態様である特定被写体検出装置として動作させるためのプログラムである。具体的には、特徴量と判定値とを対応付けて記憶する記憶手段を備える情報処理装置に、注目領域内の特徴量を算出するステップと、算出された特徴量に対応付けて記憶手段に記憶される判定値を元に、注目領域内に特定の被写体が含まれるか否かを判定するステップとを実行させるプログラムである。
【００５４】
〔第六の態様〕
本発明の第六の態様は、情報処理装置を、本発明の第二の態様である特定被写体検出装置として動作させるためのプログラムである。具体的には、特徴量と判定値とを対応付けて記憶する記憶手段を備える情報処理装置に、同一注目領域内の特徴量を、複数の異なる算出処理によって算出するステップと、算出された特徴量に対応付けて記憶手段に記憶される判定値を元に、注目領域内に特定の被写体が含まれるか否かを判定する第一の判定ステップと、第一の判定ステップを、算出するステップによる異なる算出処理によって得られた複数の特徴量に基づいて実行することにより、最終的な判定を得るに十分な数の判定結果を取得するステップと、取得される複数の判定結果に基づいて、注目領域内に特定の被写体が含まれるか否かについて最終的な判定を行う第二の判定ステップとを実行させるプログラムである。
【００５５】
〔第七の態様〕
本発明の第七の態様は、情報処理装置を、本発明の第三の態様である特定被写体検出装置として動作させるためのプログラムである。具体的には、複数のパターンそれぞれについて、特徴量と判定値とを対応付けて記憶する記憶手段を備える情報処理装置に、同一注目領域内の特徴量を、複数の異なるパターンそれぞれに基づいて算出するステップと、算出するステップにおいて用いられたパターンと算出するステップによって算出された特徴量とに対応する判定値を元に、注目領域内に特定の被写体が含まれるか否かを判定する第一の判定ステップと、第一の判定ステップを、複数の異なるパターンに基づいた算出するステップの実行によって得られた複数の特徴量に基づいて実行することにより、最終的な判定を得るに十分な数の判定結果を取得するステップと、取得された複数の判定結果に基づいて、注目領域内に特定の被写体が含まれるか否かについて最終的な判定を行う第二の判定ステップとを実行させるプログラムである。
【００５６】
〔第八の態様〕
本発明の第八の態様は、情報処理装置を、本発明の第四の態様であるテーブル生成装置として動作させるためのプログラムである。具体的には、任意のパターンに基づいて複数のサンプル画像各々の特徴量を算出するステップと、複数の特徴量の各区間について、算出された特徴量が区間内に含まれるサンプル画像の度数を求めるステップと、複数の各区間について、この区間における度数に基づいて、このパターンに基づいて算出された特徴量がこの区間に含まれる注目領域には特定の被写体が含まれると判定すべきか否かを判断するステップと、各区間と判断結果とが対応付けられたテーブルを生成するステップとを情報処理装置に実行させるプログラムである。
【００５７】
【発明の実施の形態】
次に、図を用いて本発明による特定被写体検出装置などの実施形態について説明する。以下の説明では、特定被写体検出装置の具体例として、人物画像から人物の顔を検出する顔検出装置４（図１１参照）について説明する。
【００５８】
この説明において、人物画像とは、少なくとも人物の顔の一部または全部の画像が含まれる画像である。従って、人物画像は、人物全体の画像を含んでも良いし、人物の顔だけや上半身だけの画像を含んでも良い。また、人物画像は、複数の人物についての画像を含んでも良い。さらに、人物画像は、背景に人物以外の風景（被写体として注目された物も含む）や模様などのいかなるパターンを含んでも良い。
【００５９】
なお、顔検出装置４についての以下の説明は例示であり、その構成は以下の説明に限定されない。
【００６０】
〔顔検出の原理〕
まず、顔検出装置４において適用される顔検出技術の原理について説明する。顔検出装置４は顔検出技術が適用される際に、従来の顔検出技術に対しいくつかの変更点を有するが、ここでは従来の顔検出技術の原理についてはじめに説明する。この従来の顔検出技術では、あらかじめ、サンプル画像を用いた学習が実行され（以下「学習処理」と呼ぶ）、この学習結果に基づいて顔の検出が実行される（以下「顔検出処理」と呼ぶ）。
【００６１】
〈学習処理〉
まず、サンプル画像を用いた従来の学習処理について説明する。サンプル画像として、大きさの等しい複数の顔画像（正解画像）及び非顔画像（不正解画像）が用意される。ここでは、サンプル画像として、縦横のそれぞれの画素数が等しい複数の矩形の画像が用いられる。顔画像とは、人間の顔を含む画像であり、人の顔の大きさに対応してフレーミング又はトリミングなどされた画像である。また、非顔画像とは、人間の顔を含まない画像であり、例えば風景の画像や動物の画像を用いて構成される。顔検出装置４では、特定の被写体として人物の顔を検出するため、正解画像としてこのような顔画像が用意される。同様に、不正解画像として非顔画像が用意される。他の具体的な特定被写体検出装置においては、それぞれの装置で検出される特定の被写体を含む画像が正解画像として、特定の被写体を含まない画像が不正解画像として用意される。
【００６２】
学習処理では、サンプル画像と同じ大きさの領域を囲む矩形（以下「顔矩形」と呼ぶ）が用いられる。図１は顔矩形の例を示す図である。顔矩形１は、第一矩形２と第二矩形３とを含む。顔矩形１は、第一矩形２及び第二矩形３の数や配置される位置に応じて複数のパターンを有する（図１では（ａ）〜（ｌ）に相当）。即ち、各顔矩形１は、第一矩形２及び第二矩形３について固有の数や配置をパターンとして有する。以下、顔矩形１とサンプル画像とを用いた学習について説明する。
【００６３】
まず、あるパターンの顔矩形１について全てのサンプル画像を用いたデータ収集が実行される。このデータ収集では、まず、サンプル画像において、第一矩形２及び第二矩形３に対応する領域（以下、それぞれ「第一特徴領域」，「第二特徴領域」と呼ぶ）の特徴量（例えば領域内の画素値の平均値）が算出される。第一特徴領域及び／又は第二特徴領域が一つの顔矩形１に複数含まれる場合、それぞれの特徴量として各領域の特徴量の合計値が算出される。例えば、図１（ｊ）の場合、第一特徴領域の特徴量は、二つの第一特徴領域の特徴量の和として算出される。そして、第一特徴領域の特徴量と第二特徴領域の特徴量との相対値（例えば比や差分値。ここでは相対値として差分値を想定する）として差分値が算出される。
【００６４】
次に、算出された差分値に基づいて、各パターンの顔矩形１に対応する閾値が求められる。この閾値は、確率的な手法を使って求められる。通常、このような確率的な手法は、単純な数学モデル（例えばガウス分布）を想定して設計される。例えば、差分値がゼロから各値までにおける顔画像と非顔画像についてそれぞれのサンプル数の合計値（積分値）を求め、その合計値の差が最大となる値が閾値として設定される。
【００６５】
上記の処理が、用意された全てのパターンの顔矩形１について実行され、全てのパターンの顔矩形１それぞれに対応する閾値が設定される。
【００６６】
次に、閾値が設定された複数の顔矩形１のうち、いずれのパターンの顔矩形１を顔検出処理において使用すべきかが判断される。なお、本特定被写体検出装置は、レイヤという処理単位ごとに顔の有無について判定を実行する。例えば、レイヤ１の判定で、大まかに顔の存在の可能性を判定し、可能性のない場合には処理を停止する。一方、顔の存在の可能性がある場合に、次のレイヤ２でさらに詳細な判定を実行する。
【００６７】
上記判断の際に、顔検出処理において顔の有無の判定を実行する複数のレイヤ（レイヤの具体例については顔検出処理の欄で説明する）それぞれに対し、各レイヤにおいて使用されるパターンの顔矩形１の割り当てが実行される。この処理は、ＡｄａＢｏｏｓｔ等のブースティング学習アルゴリズムによって実行される。
【００６８】
顔検出処理の実行の際に必要となるレイヤ数や、各レイヤに割り当てられる顔矩形１の数も、この判断の際に設計者によって決定される。このとき、顔検出処理において用いられる顔矩形１の数が多いほど処理の精度が増すため、設計者は実験や経験等に基づいて顔検出処理における最終的な判定を得るに十分な顔矩形１の数を決定する。設計者は、この数に基づいて、レイヤ数や各レイヤに割り当てられる顔矩形１の数を決定する。この数は、顔検出処理に求められる処理の速度や精度に応じて適宜決定される。
【００６９】
〈顔検出処理〉
次に、従来の顔検出処理について説明する。図２は、顔検出処理の流れを示す図である。まず、図２を用いて、顔検出処理のおおまかな流れについて説明する。
【００７０】
顔検出処理は、複数のレイヤによって実行される。各レイヤには、異なる組み合わせの顔矩形１が割り当てられる。図２では、各レイヤに割り当てられる顔矩形１の数も異なる。また、各レイヤには判定を実施する順番が割り当てられており、各レイヤはその順番に従って処理を行う。即ち、例えば図２において、レイヤ１（Ｌａｙｅｒ  １）の次にレイヤ２（Ｌａｙｅｒ  ２）が判定を実施し、その次にレイヤ３（Ｌａｙｅｒ  ３）が判定を実施する。
【００７１】
各レイヤは、自身に割り当てられた順番に、自身に割り当てられたパターンの顔矩形１を用いて、注目領域内に人物の顔が含まれるか否かを判定する。あるレイヤにおいて、注目領域内に人物の顔が含まれないと判定された場合、それ以降の順番のレイヤでは、この注目領域についての判定は実施されない。そして、最後の順番のレイヤによる判定で、注目領域内に人物の顔が含まれると判定された場合に、最終的に顔検出処理において注目領域内に人物の顔が含まれると判定される。
【００７２】
図３は、顔検出処理の流れを示すフローチャートである。次に、図３を用いて、顔検出処理の具体的な流れについて説明する。
【００７３】
顔検出処理では、まず処理の対象となる注目領域が人物画像から選択される（Ｓ０１）。基本的には、この注目領域は、人物画像の端から一定間隔で縦方向又は横方向へずれることによって順に選択される。例えば、人物画像をラスタスキャンすることによって注目領域が選択される。このとき、任意の人物画像について、複数の大きさの注目領域について選択が実行される。この選択法には、注目領域の大きさを固定して人物画像の大きさを変化させる方法や、人物画像の大きさを固定して注目領域の大きさを変更する方法とがある。図４は、注目領域の大きさを固定する場合の方法を示す図である。図５は、人物画像の大きさを固定する場合の方法を示す図である。
【００７４】
次に、選択された注目領域について、注目領域に人物の顔が含まれるか否かの判定が実施される。この判定は、複数のレイヤ毎に実施される。このため、まず判定を実施するレイヤが選択される（Ｓ０２）。
【００７５】
次に、選択されたレイヤによって判定処理が実施される（Ｓ０３）。このレイヤの判定において、注目領域に人物の顔が含まれると判定されなかった場合（Ｓ０４−ＮＯ）、Ｓ０７以降の処理が実行される。Ｓ０７以降の処理については後述する。一方、注目領域に人物の顔が含まれると判定された場合（Ｓ０４−ＹＥＳ）、直前の判定処理（Ｓ０３の判定処理）が最後のレイヤによる処理であったか否かが判断される。最後のレイヤでなかった場合（Ｓ０５−ＮＯ）、Ｓ０２の処理に戻り次のレイヤが選択され、新たに選択されたレイヤによって判定処理が実施される。一方、最後のレイヤであった場合（Ｓ０５−ＹＥＳ）、現在の注目領域に人物の顔が含まれるという最終的な判定がなされる（Ｓ０６）。この時点で、顔検出装置４がこの注目領域に人物の顔が含まれると判断したことになる。即ち、この時点ではじめて顔検出装置４が人物の顔を検出したこととなる。
【００７６】
次に、判定の対象となっていた注目領域が、人物画像の中で最後の注目領域であったか否かを判断する。最後の注目領域ではなかった場合（Ｓ０７−ＮＯ）、Ｓ０１の処理に戻り、次の注目領域が選択され、Ｓ０２以降の処理が実行される。一方、最後の注目領域であった場合、この人物画像に対する顔検出処理は終了する。
【００７７】
図６は、各レイヤにおける判定の処理を示す図である。次に、図６を用いて、レイヤ及び各レイヤにおける判定の処理内容について説明する。
【００７８】
各レイヤには、１以上のパターンの顔矩形１が割り当てられる。この割り当ては学習処理において、ＡｄａＢｏｏｓｔ等のブースティング学習アルゴリズムによって実施される。各レイヤは、自身に割り当てられたパターンの顔矩形１に基づいて、注目領域内に顔が含まれるか否かの判定を行う。
【００７９】
各レイヤでは、各レイヤに割り当てられた各パターンの顔矩形１に基づいて、注目領域内の第一特徴領域及び第二特徴領域における特徴量が算出される。このとき、特徴量が各領域内の画素値の合計や平均などである場合、即ち画素値の合計を用いて算出される値である場合、積分画像が用いられると良い。図７は、積分画像の例を示す図である。図７を用いて積分画像を用いた特徴量の算出処理について説明する。
【００８０】
積分画像では、各画素は、元画像における各画素から左上全ての画素の画素値の合計をその画素値として持つ。例えば図７の画素ａは、元画像における領域Ａに含まれる全画素の画素値の合計を画素値として持つ。このため、例えば元画像における領域Ｄに含まれる全画素の画素値の合計（即ち領域Ｄの特徴量）は、ｄの画素値からｂ及びｃの画素値を減算し、ａの画素値を加算することによって算出される。
【００８１】
次に、算出された特徴量の相対値（例えば比や差分値。ここでは特徴量の差分値が算出されると想定する）としての差分値が算出され、この差分値に基づいて注目領域に人物の顔が含まれるか否かの判定が実施される。具体的には、算出された差分値が、判定に用いられているパターンの顔矩形１に設定された閾値よりも大きいか否か又は小さいか否かが判定される。そして、この判定の結果に応じて、注目領域における人物の顔の存否が判定される。
【００８２】
ただし、この時点での判定は、各パターンの顔矩形１それぞれに基づいた判定であり、レイヤによる判定ではない。このように、各レイヤでは、割り当てられた全てのパターンの顔矩形１それぞれに基づいて個別に判定が実施され、それぞれの判定結果が得られる（図６の「顔矩形個別の判定」に相当）。
【００８３】
次に、レイヤにおける得点が算出される。各パターンの顔矩形１には個別の得点（例：Ｐｔ１，Ｐｔ２，Ｐｔｎ）が割り当てられている。注目領域に人物の顔が含まれると判定されると、そのとき使用されたパターンの顔矩形１に割り当てられた得点が参照され、当該レイヤの得点に加算される。このようにして、加算された得点の総計が、レイヤにおける得点として算出される。そして、このレイヤにおける得点が特定の閾値を越えた場合に、このレイヤは注目領域に人物の顔が含まれると判定する。一方、このレイヤにおける得点が特定の閾値を越えない場合、このレイヤは注目領域に人物の顔が含まれないと判定する。
【００８４】
Ｓ０２〜Ｓ０６（図３参照）において、各レイヤによる判定は、処理の軽いレイヤ（例えば割り当てられた顔矩形１の数が少ないレイヤ）から順に実施される（図２参照）。また、各レイヤによる判定の前に、注目領域内の明るさの分散を算出し、算出された値に基づいて各レイヤによる判定を行うか否かを判断するように構成されても良い。このような構成においては、各レイヤによる判定を行わないと判断された場合、図３におけるＳ０７の処理が実行される。
【００８５】
〈変更点〉
上記では、顔検出装置４において適用される顔検出技術のうち、従来の顔検出技術について説明した。次に、この顔検出技術において顔検出装置４に適用されるにあたり変更された処理について説明する。なお、以下の説明では、変更された処理のみについて説明する。即ち、以下において説明の無い処理については、上記で説明した顔検出技術と同様の処理が実行される。
【００８６】
従来の顔検出技術では、各パターンの顔矩形における閾値の算出の際に単純な数学モデルが想定されていたため、差分値と顔画像及び非顔画像のサンプル数とのヒストグラムが実際にはどのような形状になるかについて想定されていなかった。例えば、図６の最上に例示される顔矩形１の場合、左右の目周囲における特徴量が第一特徴領域の特徴量として算出され、鼻や左右の頬周囲における特徴量が第二特徴領域の特徴量として算出される。
【００８７】
従来は、このような特徴領域の特徴量はそれぞれ単純な数学モデルに基づいて分布すると想定され、閾値が算出されていた。しかし、例えば上記の第一特徴領域の具体例の場合、実際には、左右の目が閉じている場合、片方の目が閉じている場合、左右の目が開いている場合など、特徴量が大きく変化するであろう三つのケースが想定される。また、例えば上記の第二特徴領域の具体例の場合、頬や鼻は顔の中でも凸型の部位であるため、凸の程度や肌の状態によっては光の反射が顕著な場合やそうでない場合など、特徴量が大きく変化するであろう二つのケースが想定される。そして、顔検出装置４では、このような想定に基づき、二つの特徴領域の特徴量の差分値は、ガウス分布のような単純な分布ではなく、複数のピークを有する分布になることを想定した。
【００８８】
図８は、学習処理におけるデータ収集によって算出された差分値のヒストグラムの例を示す図である。このヒストグラムは、ある一つのパターンの顔矩形１に関するものであり、各パターンの顔矩形１について同様にヒストグラムが形成される。
【００８９】
ヒストグラムの横軸は、第一特徴領域の特徴量と第二特徴領域の特徴量との差分値を示す。ヒストグラムの縦軸は、対応する差分値が算出されたサンプル画像の数（度数）を示す。正解分布とは顔画像のサンプル画像に関する分布を示し、不正解分布とは非顔画像のサンプル画像に関する分布を示す。
【００９０】
変更後の学習処理では、ヒストグラムが形成されると、横軸が特定の間隔で区切られる。この間隔は、一定の幅であっても良いし、差分値に応じて異なる幅であっても良い。次に、各区間において、正解分布の値（顔画像の度数）と不正解分布の値（非顔画像の度数）とに基づき、判定値が求められる。図９は、形成されたヒストグラムに基づいて各区間の判定値が求められる様子を示す図である。判定値は、対応する差分値の区間に分布する画像が顔画像である確率が高いか否かを示す値である。例えば、判定値は、顔画像である確率が高い区間（図９において色の淡い区間）では“１”を有し、顔画像である確率が低い区間（図９において色の濃い区間）では“０”を有する。
【００９１】
そして、このヒストグラムに基づいて、ＬＵＴ（ルックアップテーブル（Ｌｏｏｋ  Ｕｐ  Ｔａｂｌｅ））が作成される。図１０は、ＬＵＴの例を示す図である。ＬＵＴは、差分値の各区間に対応する判定値を有する。変更後の顔検出処理では、閾値ではなく、このような学習処理によって作成されたＬＵＴに基づいて、画像中の人物の顔が検出される。
【００９２】
上記の処理が、用意された全てのパターンの顔矩形１について実行され、全てのパターンの顔矩形１それぞれに対応するＬＵＴが作成される。
【００９３】
次に、得られた複数のＬＵＴのうち、いずれのＬＵＴを顔検出処理において使用すべきかが判断される。即ち、いずれのパターンの顔矩形１を用いて顔検出処理を実行すべきかが判断される。この判断の際に、顔検出処理において顔の検出を実行する複数のレイヤ（レイヤについては顔検出処理の欄で説明する）それぞれに対し、各レイヤにおいて使用されるパターンの顔矩形１の割り当てが実行される。この処理は、ＡｄａＢｏｏｓｔ等のブースティング学習アルゴリズムによって実行される。
【００９４】
変更後の顔検出処理における各レイヤでは、各レイヤに割り当てられた各パターンの顔矩形１に基づいて、注目領域内の第一特徴領域及び第二特徴領域の特徴量が算出される。次に、算出された特徴量の差分値が算出され、この差分値に基づいて注目領域に人物の顔が含まれるか否かの判定が実施される。具体的には、算出された差分値に対応する判定値が、各パターンの顔矩形に対応するＬＵＴから求められ、この値によって判定される。例えば、図１０に示されるＬＵＴに対応するパターンの顔矩形１を用いた判定では、少なくとも、差分値が４０以上６０未満の場合、１００以上１２０未満の場合、及び１４０以上１６０未満の場合には、注目領域内に人物の顔が含まれないと判定される。一方、少なくとも、差分値が６０以上１００未満の場合及び１２０以上１４０未満の場合には、注目領域内に人物の顔が含まれると判定される。
【００９５】
このように、従来は単純な分布の想定により設定された閾値を用いて実施されていた判定処理が、変更後は複数のピークを有する分布の想定により設定されたＬＵＴを用いて実施される。
【００９６】
〔システム構成〕
〔〔顔検出装置〕〕
次に、従来に比べて上記のような変更点を有する顔判定技術が適用された顔検出装置の構成について説明する。顔検出装置４は、ハードウェア的には、バスを介して接続されたＣＰＵ（中央演算処理装置），主記憶装置（ＲＡＭ），補助記憶装置などを備える。補助記憶装置は、不揮発性記憶装置を用いて構成される。ここで言う不揮発性記憶装置とは、いわゆるＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ：ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ），ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ），マスクＲＯＭ等を含む），ＦＲＡＭ（Ｆｅｒｒｏｅｌｅｃｔｒｉｃ  ＲＡＭ），ハードディスク等を指す。
【００９７】
図１１は、顔検出装置４の機能ブロックを示す図である。顔検出装置４は、補助記憶装置に記憶された各種のプログラム（ＯＳ，アプリケーションプログラム等）が主記憶装置にロードされＣＰＵにより実行されることによって、入力部５，出力部６，ＬＵＴ記憶部７，判定部８，及び設定記憶部９等を含む装置として機能する。以下、図１１を用いて、顔検出装置４が備える各機能部について説明する。
【００９８】
〈入力部〉
入力部５は、人物画像のデータを顔検出装置４へ入力するためのインタフェースとして機能する。入力部５は、顔検出装置４へ人物画像のデータを入力するためのどのような既存技術を用いて構成されても良い。
【００９９】
例えば、ネットワーク（例えばローカル・エリア・ネットワークやインターネット）を介して人物画像のデータが顔検出装置４へ入力されても良い。また、デジタルカメラやパーソナルコンピュータ等から人物画像のデータが顔検出装置４へ入力されても良い。また、記録装置や記録媒体（例えば各種フラッシュメモリやフロッピー（登録商標）ディスクやＣＤ（Ｃｏｍｐａｃｔ  Ｄｉｓｋ）やＤＶＤ）に記録された人物画像のデータが顔検出装置４へ入力されても良い。また、顔検出装置４がデジタルカメラ等の撮像装置又はデジタルカメラなどの撮像装置を備える各種装置（例えばＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔ）や携帯電話機）の内部に含まれ、撮像された人物画像がデータとして保存される前又は後に顔検出装置４へ入力されても良い。また、顔検出装置４が人物画像に対して画像処理を行う装置の内部に含まれ、画像処理の対象となる人物画像のデータが顔検出装置４に入力されても良い。また、顔検出装置４が、プリンタやディスプレイ等の画像出力装置の内部に含まれ、出力データとしてこの画像出力装置に入力された人物画像のデータが顔検出装置４へ入力されても良い。
【０１００】
入力部５は、上記されたそれぞれの場合に応じて構成される。入力部５は、上記された複数の場合に応じることが可能となるように構成されても良い。
【０１０１】
〈出力部〉
出力部６は、判定部８によって人物の顔が検出されたか否かを示すデータ及び／又は検出された顔の位置を示すデータなどを出力する。出力部６によって出力されるデータの使用方法は、出力部６を介してこのデータを取得する装置に依存する。例えば、顔検出装置４がディスプレイを備える場合、又はディスプレイに接続される場合、このディスプレイに対し出力部６による出力が実施され、検出された顔の領域を示す図形を表示するように出力部６が制御されるように構成されても良い。また、例えば、顔検出装置４がデジタルカメラ又はデジタルカメラを備える各種装置の内部に含まれる場合、デジタルカメラはこのデータを元にピント調整や露出補正などを実施しても良い。また、例えば顔検出装置４が画像処理装置の内部に含まれる場合、画像処理装置は、このデータを元に画像処理の処理領域や処理内容を決定しても良い。
【０１０２】
〈ＬＵＴ記憶部〉
ＬＵＴ記憶部７は、不揮発性記憶装置を用いて構成される。ＬＵＴ記憶部７は、判定部８が顔検出処理を行う際に利用するルックアップテーブルを記憶する。即ち、ＬＵＴ記憶部７は、学習処理の結果として得られた各パターンの顔矩形１に対するＬＵＴを記憶する。このため、ＬＵＴ記憶部７は、複数のＬＵＴを記憶する可能性がある。
【０１０３】
〈判定部〉
判定部８は、ＬＵＴ記憶部７に記憶されたＬＵＴを用いて、設定記憶部９に記憶された設定内容に基づいて顔検出処理を実行する。判定部８は、顔検出処理の実行による結果を、出力部６へ渡す。なお、判定部８は、不図示の入力部と出力部とによって、入力部５，出力部６，ＬＵＴ記憶部７及び設定記憶部９へのデータの入出力を行う。
【０１０４】
判定部８は、顔検出プログラムがＣＰＵによって実行されることにより実現される。また、判定部８は、専用のチップとして構成されても良い。
【０１０５】
図１２は、判定部８の内部の機能ブロックを示す図である。図１２を用いて、判定部８の機能ブロックについて説明する。判定部８は、特徴量算出部１０，第一判定部１１，制御部１２，及び第二判定部１３を含む。
【０１０６】
特徴量算出部１０は、各レイヤにおいて算出される、第一特徴領域及び第二特徴領域の特徴量を算出する。そして、特徴量算出部１０は、算出された二つの特徴量の相対値（ここでは差分値）を算出する。
【０１０７】
第一判定部１１は、特徴量算出部１０によって算出された差分値に基づいて、注目領域に人物の顔が含まれるか否かの判定を行う。
【０１０８】
制御部１２は、設定記憶部９に記憶される各種設定内容を読み出し、各パターンの第一矩形２及び第二矩形３の位置や大きさなどを特徴量算出部１０に与える。また、制御部１２は、特徴量算出部１０によって算出された特徴量と、この特徴量の算出に利用されたパターンとを第一判定部１１に与える。そして、第一判定部１１による判定結果を第二判定部１３へ与える。また、制御部１２は、その他にも注目領域の選択（図３のＳ０１に相当）や、判定部８の動作の制御（図３のＳ０２，Ｓ０５，Ｓ０７などに相当）を行う。
【０１０９】
第二判定部１３は、第一判定部１１の結果に基づいて、各レイヤによる判定処理（図３のＳ０３，Ｓ０４に相当）を行う。また、第二判定部１３は、各レイヤによる判定結果を元に、現在の注目領域に顔が含まれるか否かの判定を行う（図３の０６に相当）。
【０１１０】
〈設定記憶部〉
設定記憶部９は、不揮発性記憶装置を用いて構成される。設定記憶部９は、判定部８が顔検出処理を行う際の各種設定内容を記憶する。例えば、設定記憶部９は、各パターンの顔矩形１について記憶する。具体的には、各パターンの第一矩形２及び第二矩形３の位置や大きさなどについて記憶する。また、例えば設定記憶部９は、各レイヤにいずれのパターンの顔矩形１が割り当てられているかを記憶する。また、設定記憶部９は、人物画像内から注目領域を選択する方法などを記憶する。
【０１１１】
〔〔テーブル生成装置〕〕
次に、顔検出装置４によって利用されるＬＵＴを生成するテーブル生成装置１４の構成について説明する。テーブル生成装置１４は、ハートウェア的には、バスを介して接続されたＣＰＵ（中央演算処理装置），主記憶装置（ＲＡＭ），補助記憶装置などを備える。補助記憶装置は、不揮発性記憶装置を用いて構成される。
【０１１２】
図１３は、テーブル生成装置１４の機能ブロックを示す図である。テーブル生成装置１４は、補助記憶装置に記憶された各種のプログラム（ＯＳ，アプリケーション等）が主記憶装置にロードされＣＰＵによって実行されることによって、特徴量算出部１５，度数獲得部１６，判断部１７，及びテーブル生成部１８を含む装置として機能する。
【０１１３】
テーブル生成装置１４は、全体として、変更後の学習処理を実行する。以下、図１３を用いて、テーブル生成装置１４が備える各機能部について説明する。
【０１１４】
特徴量算出部１５は、各サンプル画像について、パターンに従って第一特徴領域及び第二特徴領域の特徴量を算出する。そして、特徴量算出部１５は、各特徴量の相対値として差分値を算出する。
【０１１５】
度数獲得部１６は、特徴量算出部１５の算出結果に基づき、正解分布及び不正解分布を得る。そして、度数獲得部１６は、正解分布及び不正解分布について、各区間の度数を獲得する。
【０１１６】
判断部１７は、度数獲得部１６によって獲得される正解分布及び不正解分布の各区間の度数に基づいて、各区間の判定値を求める。
【０１１７】
テーブル生成部１８は、判断部１７によって求められた判定値とその区間とを対応付けたＬＵＴを生成する。また、テーブル生成部１８は、ブースティング学習アルゴリズムの実行により、いずれのＬＵＴを顔検出装置４において使用すべきかを判断する。
【０１１８】
〔作用／効果〕
顔検出装置４によれば、顔検出処理の各レイヤの判定処理において、各パターンの顔矩形に基づいた判定の際に、閾値ではなくＬＵＴが使用される。このＬＵＴには、各特徴領域における特徴量の差分値の範囲と、差分値の各範囲に対応する判定値とが保持される。
【０１１９】
このため、顔検出装置４では、ある閾値に基づいて注目領域内における顔の存否を判定する場合と比べて、各パターンの顔矩形を用いた判定において、より正確な判定を行うことが可能となる。例えば、図９に示されるようなヒストグラムが学習によって得られた場合、従来の技術では単純な分布が想定されていたため、例えば左から４つ目の区間と５つ目の区間との境界が閾値として設定されていた。即ち、小さいピークを有する分布（図９では右から２つ目の区間及び３つ目の区間）については具体的に想定されることはなかった。しかし、顔検出装置４ではＬＵＴを用いることにより、このような小さいピークを有する分布についても独立した判定が行われる。従って、顔検出装置４では、各パターンの顔矩形を用いた個々の判定が従来に比べてより正確になった。
【０１２０】
また、顔検出装置４では、各レイヤに割り当てられる顔矩形のパターンが削減される。及び／又は、顔検出装置４では、顔検出処理において実行されるレイヤの数が削減される。即ち、一つの注目領域に対する顔検出処理において、判定が実施される顔矩形のパターンの総数が削減される。
【０１２１】
そもそも、顔検出装置４に適用される顔検出技術の顔検出処理において複数のパターンの顔矩形に基づいた判定が実施される理由は、各パターンの顔矩形に基づいた判定が個々では非常に不正確であるためである。即ち、個々では不正確な判定が実施されるため、多くのパターンの顔矩形に基づいた判定によって判定処理の精度の向上が図られる。しかし、顔検出装置４によれば、個々のパターンの顔矩形に基づいた判定の精度が向上される。このため、一つの注目領域に対する顔検出処理において利用される顔矩形のパターンの総数を削減することが可能となり、全体として顔検出処理の精度を落とすことなく高速化を図ることが可能となる。
【０１２２】
〔変形例〕
上記では、特定被写体検出装置の具体例として、画像中から人物の顔を検出する顔検出装置４について説明した。この他、特定被写体検出装置の具体例として、画像中から自動車の車体を検出する装置や、猫や犬などの特定の動物を検出する装置や、特定の文字や記号や標章などを検出する装置などがある。これらの装置は、学習処理に用いられるサンプル画像が異なるのみであり、基本的な構成などは顔検出装置４と同様に実装することが可能である。また、検出されるそれぞれの特定被写体に応じて、顔検出装置４に対し適宜変更が施されても良い。
【０１２３】
また、上記では、第一特徴領域の特徴量と第二特徴領域の特徴量との差分値が用いられたが、それぞれの特徴量の比など相対的な値が用いられても良い。
【０１２４】
【発明の効果】
本発明によれば、判定手段による判定処理に用いられる判定値は、特徴量毎に対応付けて記憶手段に記憶される。このため、従来のように一つの閾値によって特徴量と判定値との対応付けがなされていた場合に比べて、より正確に判定値と特徴量とを対応付けることが可能となる。従って、判定手段は、与えられた各特徴量について、注目領域内に特定の被写体が含まれるか否かをより正確に判定することが可能となる。
【０１２５】
また、最終的な判定の精度を確保するために複数の判定結果に基づいてさらに判定が実行される場合、判定値を用いた判定結果の精度が向上することにより、このような判定値を用いた判定結果の数を削減しても、最終的な判定の精度を確保することが可能となる。このため、注目領域内に特定の被写体が含まれるか否かの最終的な判定までに要する時間を短くすることが可能となる。即ち、特定の被写体を検出する処理を精度を落とすことなく高速化することが可能となる。
【図面の簡単な説明】
【図１】顔矩形のパターンの例を示す図である。
【図２】顔検出処理の流れを示す図である。
【図３】顔検出処理のフローチャートである。
【図４】注目領域の大きさを固定した場合の注目領域の選択方法を示す図である。
【図５】人物画像の大きさを固定した場合の注目領域の選択方法を示す図である。
【図６】レイヤの処理を示す図である。
【図７】積分画像の例を示す図である。
【図８】差分値と画像数とのヒストグラムの例を示す図である。
【図９】差分値の各区分によって判定値が与えられたヒストグラムの例を示す図である。
【図１０】ＬＵＴの例を示す図である。
【図１１】顔検出装置の構成例を示す機能ブロック図である。
【図１２】判定部の構成例を示す機能ブロック図である。
【図１３】テーブル生成装置の構成例を示す機能ブロック図である。
【図１４】顔判定矩形の例を示す図である。
【符号の説明】
１          顔矩形
２          第一矩形
３          第二矩形
４          顔検出装置
５          入力部
６          出力部
７          ＬＵＴ記憶部
８          判定部
９          設定記憶部
１０        特徴量算出部
１１        第一判定部
１２        制御部
１３        第二判定部
１４        テーブル生成装置
１５        特徴量算出部
１６        度数獲得部
１７        判断部
１８        テーブル生成部
Ｐ１        顔判定矩形
Ｐ２        第一矩形
Ｐ３        第二矩形
【図１】
2004362468.tif 000003
【図２】
2004362468.tif 000004
【図３】
2004362468.tif 000005
【図４】
2004362468.tif 000006
【図５】
2004362468.tif 000007
【図６】
2004362468.tif 000008
【図７】
2004362468.tif 000009
【図８】
2004362468.tif 000010
【図９】
2004362468.tif 000011
【図１０】
2004362468.tif 000012
【図１１】
2004362468.tif 000013
【図１２】
2004362468.tif 000014
【図１３】
2004362468.tif 000015
【図１４】
2004362468.tif 000016