(57)【要約】【課題】画質改善処理を適用するのに好適な高精度な被写体検出を行うことができるようにする。【解決手段】画像から所定の被写体パターンを検出する画像処理装置であって、画像から前記被写体パターンと照合するための所定の部分領域を抽出する。そして、前記抽出された部分領域が前記被写体パターンであるか否かを判別する。この判別によって前記被写体パターンであると判別された前記部分領域の画像特性を評価し、この評価結果に基づいて前記部分領域について前記被写体パターンであるか否かを判別する。【選択図】図１
2010257324.tif 000002
【特許請求の範囲】
【請求項１】
画像から所定の被写体パターンを検出する画像処理装置であって、
画像から前記被写体パターンと照合するための所定の部分領域を抽出する照合パターン抽出手段と、
前記照合パターン抽出手段によって抽出された部分領域が前記被写体パターンであるか否かを判別する第１のパターン判別手段と、
前記第１のパターン判別手段によって前記被写体パターンであると判別された前記部分領域の画像特性を評価する評価手段と、
前記評価手段による評価結果に基づいて前記部分領域について前記被写体パターンであるか否かを判別する第２のパターン判別手段とを備えたことを特徴とする画像処理装置。
【請求項２】
前記被写体パターンの検出結果をもとに前記画像の画像特性を変換することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像特性は画像の明るさであることを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記画像特性は画像の色であることを特徴とする請求項１または２に記載の画像処理装置。
【請求項５】
前記被写体が顔であることを特徴とする請求項１〜４の何れか１項に記載の画像処理装置。
【請求項６】
画像から所定の被写体パターンを検出する画像処理方法であって、
画像から前記被写体パターンと照合するための所定の部分領域を抽出する照合パターン抽出ステップと、
前記照合パターン抽出ステップにより抽出された部分領域が前記被写体パターンであるか否かを判別する第１のパターン判別ステップと、
前記第１のパターン判別ステップによって前記被写体パターンであると判別された前記部分領域の画像特性を評価する評価ステップと、
前記評価ステップにおける評価結果に基づいて前記部分領域について前記被写体パターンであるか否かを判別する第２のパターン判別ステップとを備えたことを特徴とする画像処理方法。
【請求項７】
請求項６に記載の画像処理方法の各ステップをコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置、画像処理方法及びプログラムに関し、特に、画像から特定の被写体を検出するために用いて好適な技術に関する。
【背景技術】
【０００２】
画像から特定の被写体パターンを自動的に検出する画像処理方法は非常に有用であり、例えば人間の顔の判定に利用することができる。このような方法は、通信会議、マン・マシン・インタフェース、セキュリティ、人間の顔を追跡するためのモニタ・システム、画像圧縮などの多くの分野で使用することができる。このような顔を検出する技術では、いくつかの顕著な特徴（目、口等）とその特徴間の固有の幾何学的位置関係とを利用するか、又は人間の顔の対称的特徴、人間の顔色の特徴、テンプレート・マッチング、ニューラル・ネットワークなどを利用する。
【０００３】
例えば、ニューラル・ネットワークにより画像中の顔パターンを検出する方法である。顔の検出を対象とする画像データをメモリに読み込み、顔と照合する所定の領域を読み込んだ画像中から切り出す。そして、切り出した領域の画素値の分布を入力し、ニューラル・ネットワークによる演算で１つの出力結果を得る。
【０００４】
このとき、ニューラル・ネットワークの重み、閾値が膨大な顔画像パターンと非顔画像パターンとによりあらかじめ学習されており、例えば、ニューラル・ネットワークによる出力結果が０以上なら顔と判別し、それ以外は非顔であると判別する。そして、ニューラル・ネットワークで入力される顔と照合する画像パターンの切り出し位置を、例えば、図３に示すように画像全域から縦横順次に走査していくことにより、画像中から顔を検出する。また、様々な大きさの顔の検出に対応するため、図３に示すように読み込んだ画像を所定の割合で順次縮小し、それに対して前述した顔検出の走査を行うようにしている。
【０００５】
また、処理の高速化に着目した例としては、AdaBoostを用いて多くの弱判別器を有効に組合せて顔判別の精度を向上させ、夫々の弱判別器をHaarタイプの矩形特徴量で構成し、しかも矩形特徴量の算出を、積分画像を利用して高速に行っている。また、AdaBoost学習によって得た判別器を直列に繋ぎ、カスケード型の顔検出器を構成するようにしている。このカスケード型の顔検出器は、まず前段の単純な判別器を使って明らかに顔でないパターンの候補をその場で除去し、それ以外の候補に対してのみ、より高い識別性能を持つ後段の複雑な判別器を使って顔かどうかの判定を行っている。すべての候補に対して複雑な判定を行う必要がないので高速である。
【０００６】
一方、このような自動的に画像中の被写体を認識した結果をもとに画質改善を行うことが提案されている。例えば、特許文献１には画像から自動的に人物顔の検出を行い、その結果をもとに画像の明るさを補正する方法が開示されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平６−３０３５３６号公報
【特許文献２】特開２００５−４２８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、顔の検出結果は必ずしも１００％成功するとは限らない。したがって、特許文献１の技術では、例えば適正な明るさで撮影された人物写真において比較的暗いパターンの誤検出が発生した場合には、適正な明るさの人物顔の部分がさらに明るくなってしまい、画質がもとの画像より悪くなってしまう。
【０００９】
実用上、このような画質改善処理に求められる被写体の自動認識処理は、画質が劣化しない範囲で画質改善を効果的に行えるものである。例えば、画像の明るさの補正においては、明るい顔に対しては比較的検出率が高く、暗い顔に対しては比較的誤検出率の低い性能が要求される。そのためには、検出する被写体の明るさに応じて被写体検出の性能を制御することが必要になる。このような被写体検出の性能の制御を行う方法として、特許文献２には、パターンの明るさに応じて閾値を変えることで暗い顔の検出率を上げている。しかしながら、暗い顔の誤検出による悪影響には着目されていないので明るさの補正を行おうとした場合には副作用の発生は避けられない。また、単純な閾値の制御では精度良く誤検出を抑えることはできない。
【００１０】
本発明は前述の問題点に鑑み、画質改善処理を適用するのに好適な高精度な被写体検出を行うことができるようにすることを目的としている。
【課題を解決するための手段】
【００１１】
本発明の画像処理装置は、画像から所定の被写体パターンを検出する画像処理装置であって、画像から前記被写体パターンと照合するための所定の部分領域を抽出する照合パターン抽出手段と、前記照合パターン抽出手段によって抽出された部分領域が前記被写体パターンであるか否かを判別する第１のパターン判別手段と、前記第１のパターン判別手段によって前記被写体パターンであると判別された前記部分領域の画像特性を評価する評価手段と、前記評価手段による評価結果に基づいて前記部分領域について前記被写体パターンであるか否かを判別する第２のパターン判別手段とを備えたことを特徴とする。
【発明の効果】
【００１２】
本発明によれば、画質改善処理を適用するのに好適な高精度な被写体検出を行うことができる。これにより、画質改善処理において副作用の発生を抑制することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施形態の画像処理装置の構成例を示すブロック図である。
【図２】顔認識の処理手順の一例を示すフローチャートである。
【図３】縮小画像から所定の大きさの部分領域を抽出する様子を示す図である。
【図４】顔領域の照合パターンの一例を示す図である。
【図５】様々な形状、およびサイズの局所領域を組合せたものを示す図である。
【図６】被写体の判別に有効な特徴を組合せる手順を示すフローチャートである。
【図７】第１の顔判別部の詳細な構成例を示すブロック図である。
【図８】弱判別器の詳細な構成例を示すブロック図である。
【図９】直列接続された組合せ判別器の構成例を示すブロック図である。
【発明を実施するための形態】
【００１４】
（第１の実施形態）
以下添付図面を参照して、本発明を好適な実施形態に従って詳細に説明する。
図１は、本実施形態の画像処理装置の構成例を示すブロック図である。
図１において、１０は画像入力部であり、例えばデジタルスチルカメラ、カムコーダ、フィルムスキャナーなどで構成され、画像データを撮像あるいはその他公知の手段により入力する。また、デジタル画像データを保持する記憶媒体から画像データを読み込むようなコンピュータ・システムのインターフェース機器であってもよい。
【００１５】
２０は画像メモリであり、画像入力部１０から出力された画像データを一時的に記憶する。３０は画像縮小部であり、画像メモリ２０に記憶されている画像データを所定の倍率にしたがって縮小し、出力する。４０は照合パターン抽出部であり、画像縮小部３０で縮小された画像データから所定の部分領域を照合対象のパターンとして抽出する。
【００１６】
５０は輝度補正部であり、照合パターン抽出部４０で抽出された照合パターンの輝度分布を補正する。６０は第１の顔判別部であり、照合パターン抽出部４０で抽出され、輝度補正部５０で補正された照合パターンが顔パターンか非顔パターンかを判別する。７０は明るさ評価部であり、第１の顔判別部が顔パターンと判別した照合パターンの輝度補正を行う前の画像パターンを照合パターン抽出部４０から受け取り、明るさの評価を行う。
【００１７】
８０は第２の顔判別部であり、明るさ評価部７０で所定の明るさよりも暗いと判定された照合パターンが顔パターンか非顔パターンかを判別する。９０は顔領域出力部であり、第１の顔判別部６０または第２の顔判別部８０で顔と判別されたパターンの領域を出力する。１００は画質改善部であり、顔領域出力部９０から出力されたパターンの明るさに基づき画像入力部１０によって入力された画像データの明るさの補正を行う。また、以上の各ブロックは不図示の制御部により動作を制御される。
【００１８】
次に、本実施形態の動作について図２を参照しながら説明する。図２は、本実施形態における顔認識の処理手順の一例を示すフローチャートである。
まず、ステップＳ１０１において、画像入力部１０は所望の画像データを画像メモリ２０に読み込む。
【００１９】
ここで読み込まれる画像データは、例えば８ビットの画素により構成される２次元配列のデータであり、Ｒ、Ｇ、Ｂ、３つの面により構成される。このとき、画像データがＪＰＥＧ等の方式により圧縮されている場合は、画像データを所定の解凍方式にしたがって解凍し、ＲＧＢ各画素により構成される画像データとする。さらに、本実施形態ではＲＧＢデータを輝度データに変換し、輝度画像データを以後の処理に適用するものとし、画像メモリ２０に格納する。画像データとしてＹＣｒＣｂのデータを入力する場合はＹ成分をそのまま輝度データとしてもよい。
【００２０】
次に、ステップＳ１０２において、画像縮小部３０は、輝度画像データを画像メモリ２０から読み込み、所定の倍率に縮小した輝度画像データを生成する。本実施形態では、特許文献２に記載の方法により様々な大きさの顔の検出に対応するため複数のサイズの画像データに対して順次検出を行うようにしている。例えば、倍率が１．２倍程度異なる複数の画像への縮小処理が後段の検出処理のために順次適用される。
【００２１】
次に、ステップＳ１０３において、照合パターン抽出部４０は、縮小された輝度画像データから所定の大きさの部分領域を抽出する。図３は、縮小画像から所定の大きさの部分領域を抽出する様子を示す図である。図３のＡの列は画像縮小部３０で縮小されたそれぞれの縮小画像を示しており、本実施形態では、それぞれの縮小画像に対して所定の大きさの矩形領域を切り出すものとする。図３のＢはそれぞれの縮小画像から縦横順次に走査を繰り返していく途中の切り出しの様子を示すものである。図３に示すように、縮小率の大きな画像から照合パターンを切り出して顔の判別を行う場合には、画像に対して大きな顔の検出を行うことになる。
【００２２】
次に、ステップＳ１０４において、輝度補正部５０は、照合パターン抽出部４０で切り出された部分領域の輝度をその分布をもとに正規化する。例えば、ヒストグラム平滑化などの輝度補正を行う。これは、撮像される被写体パターンはその照明条件によって輝度分布が変わるので被写体照合の精度が劣化するのを抑制するためである。
【００２３】
次に、ステップＳ１０５において、第１の顔判別部６０は、照合パターン抽出部４０で抽出され、輝度補正部５０で補正された照合パターンが顔パターンか非顔パターンか否かを判別し、顔パターンを検出する。
【００２４】
次に、ステップＳ１０６において、明るさ評価部７０は、第１の顔判別部６０で顔パターンと判別された照合パターンについて、明るさの判定を行う。具体的には、照合パターン抽出部４０から判別に用いた照合パターンに対応する輝度補正前の元の画像パターンを受け取り、輝度平均値を算出する。この判定の結果、評価結果として算出した輝度平均値が所定の閾値よりも大きい場合には、明るい顔パターンであると判定し、ステップＳ１０８に移行する。また、それ以外の場合には、暗い顔パターンであると判定し、さらに誤検出低減のためにステップＳ１０７に移行する。
【００２５】
次に、ステップＳ１０７において、第２の顔判別部８０は、第１の顔判別部６０で顔パターンであると判別され、明るさ評価部７０で暗い顔パターンであると判定した照合パターンが顔パターンか非顔パターンかを判別する。そして、顔パターンを検出する。
【００２６】
そして、ステップＳ１０８において、第１の顔判別部６０または第２の顔判別部８０での検出結果として顔パターンに対して顔領域出力部９０は、照合パターン抽出部４０で抽出した矩形を顔領域として出力する。
【００２７】
次に、ステップＳ１０９において、すべての領域及び倍率で走査が終了した否かを判断する。この判断の結果、すべての領域及び倍率で走査を終了した場合は、ステップＳ１１１に進む。一方、ステップＳ１０９の判断の結果、終了していない場合は、ステップＳ１１０において、矩形の倍率を変更するか否かを判断する。この判断の結果、倍率を変更しない場合はステップＳ１０３に戻り、倍率を変更する場合はステップＳ１０２に戻る。
【００２８】
以上のように、ステップＳ１０３からステップＳ１０８までの処理が、画像縮小部３０の出力である縮小輝度画像に対して図３に示すように所定のステップにおいて縦横順次に走査が繰り返される。また、倍率が異なる縮小処理が順次適用され、ステップＳ１０２からステップＳ１０８までの処理が繰り返される。
【００２９】
そして、ステップＳ１１１において、画質改善部１００は、顔領域出力部９０から出力されたパターンの明るさにもとづき画像入力部１０によって入力された画像データの明るさの補正を行う。なお、ここでの明るさの補正は、逆光などにより顔が暗く撮影された入力画像を明るくする方向に補正を行うものである。
【００３０】
以下、第１の顔判別部（第１のパターン判別手段）６０および第２の顔判別部８０（第２のパターン判別手段）における顔判別の方法について詳細を説明する。
人が被写体の判別を行うときには、被写体の様々な部分の特徴に注目し、それらの特徴の中から被写体の判別に有効な特徴を組合せていると考えられる。例えば、顔の判別を行う場合は、目、口、鼻などの部分に似た特徴があるかどうかの結果を総合的に判断して、対象とするパターンが顔であるかを判定している。そこで本実施形態では被写体の特徴として多くの局所特徴量を抽出し、局所特徴量を弱判別器としてブースティング学習により性能の良い組合せ判別器を求め、被写体判別に用いることとする。
【００３１】
本実施形態では、局所特徴量として、照合パターンのうち所定サイズ、形状の局所領域における線形識別特徴を用いる。図４は、顔領域の照合パターンの一例を示す図である。例えば、図４に示すように照合パターンＦが２０×２０画素からなる輝度パターンであるとすると、その一部である５×５画素の正方形の局所領域Ｐなどである。この場合、照合パターン内の全ての位置において同様の局所領域Ｐを設定すれば２５６の局所領域が考えられる。
【００３２】
そして、局所特徴量としては、照合パターンのうち、顔であるパターンと非顔（顔でない）パターンの多くのサンプルを用い、各局所領域について線形識別に基づく特徴抽出カーネルを求める。最も広く知られている線形識別の方法はフィッシャーの線形識別関数であり、局所領域における顔サンプルの平均及び分散を（μO，σO2）、非顔サンプルの平均と分散を（μN，σN2）としたとき、以下の式１により、特徴抽出カーネルφを求める。なお、argmaxは括弧内の値を最大とするパラメータを求めるという意味であり、固有方程式を解くことによってφが得られる。
φ＝argmax｛（μO−μN）2／（σO2＋σN2）｝  ・・・（式１）
【００３３】
なお、局所特徴量として、図５のＰ１、Ｐ２、Ｐ３に示すように、横長の矩形、縦長の矩形など様々な形状、およびサイズの局所領域から得られたものを組合せて用いてもよい。また、元の照合パターンを縮小して様々な低解像度の照合パターンを作成し、各解像度の照合パターン中の局所特徴量を組合せて用いてもよい。
【００３４】
また、本実施形態では特徴抽出カーネルとしてフィッシャーの線形識別関数から導出されたものを用いたが、その他、線形サポートベクターマシンにより線形識別関数を求めてもよい。また、ＭＲＣを用いてもよい。また、線形識別関数に限定されるものではなく、例えばニューラル・ネットワークにより構成される非線形識別関数を用いてもよい。
【００３５】
次に、以上の局所特徴量の中から被写体の判別に有効な特徴を組合せる方法について説明する。なお、本手法は識別特徴量の中から最初に最も識別性能の良い特徴を抽出し、その性能を補完するように別の特徴を追加していくことで性能向上を図るものでブースティング学習の考え方に基づくアルゴリズムである。図６は、局所特徴量の中から被写体の判別に有効な特徴を組合せる手順の一例を示すフローチャートである。
【００３６】
まず、ステップＳ２０１において、学習に必要なサンプルを入力する。本実施形態では、サンプルとして顔および非顔の照合パターンを用いる。すなわち、サンプルの特徴ベクトルをｘiとすると、ｘiは照合パターンが２０×２０画素の輝度パターンの場合、４００の輝度データからなる４００次元の特徴ベクトルということになる。また、サンプルの属するクラスをｙiとし、ｙiは顔であるかどうかを表し、顔ならば１、非顔ならば−１の値をとるようにする。ここでｉはサンプルの番号を表し、全サンプル数をＮとするとき、ｉ＝１，２，・・・Ｎである。
【００３７】
次に、ステップＳ２０２において、サンプルの重みを均等になるように初期化する。すなわち、サンプル重みをｄiとし、ｄi＝１／Ｎに初期化する。
【００３８】
次に、ステップＳ２０３において、サンプルおよびその重みから局所特徴の抽出を行う。なお、ここで求める局所特徴は前述したように照合パターンの所定の各局所領域について線形識別により得られるφである。ただし、局所特徴の領域の定義により複数の特徴抽出カーネルφj（ｊ＝１，２，・・・Ｍ。Ｍは局所領域の定義領域の数）を抽出しておく。また、特徴抽出カーネルを求める際に用いる顔、非顔サンプルの平均および分散はサンプル重みを考慮して重み付けられた値を用いる。
【００３９】
次に、ステップＳ２０４において、各局所特徴の識別性能を、サンプルを用いて評価し、最も識別性能の良い特徴を弱判別器として抽出する。すなわち、まず、各局所特徴の特徴抽出カーネルφjを用いてサンプルｘiの各局所領域に対応した局所パターン（ｚiとする）から特徴量ｕijを以下の式２のように算出する（Ｔはベクトルの転置を表す）。
ｕij＝φjTｚi  ・・・（式２）
【００４０】
そして、特徴量のサンプル分布を所定のサイズのビンを持つヒストグラムから推定する。そして、顔サンプルから求めたヒストグラムのｋ番目のビンの値をＷ+k、非顔サンプルから求めたヒストグラムのｋ番目のビンの値をＷ-kとするとき、以下の式３の｛｝内の値を最小とする局所特徴φtをＭ個の局所特徴の中から抽出する。なお、ここで求めるヒストグラムの値は特徴量ｕijが相当するビンの範囲に入るサンプル重みｄiの総和である。
φt＝argmin｛Σk（√Ｗ+k・Ｗ-k）｝  ・・・（式３）
【００４１】
すなわち、φtがｔ＝１番目の弱判別器の特徴抽出カーネルであり、弱判別器の出力は判別する被写体の信頼度を表すもので特徴量の各値に対応する顔である確率密度（頻度）と非顔である確率密度（頻度）との対数比とする。すなわち、以下の式４の値をビンのサイズ分、テーブルとする。但し、εは発散を避けるための適当な小さな定数である。
ｈt＝１／２・ｌｎ｛（Ｗ+k＋ε）／（Ｗ-k＋ε）｝  ・・・（式４）
【００４２】
なお、式４の代わりに、以下の式５の値を出力するようにしてもよい。
ｈt＝（Ｗ+k−Ｗ-k＋ε）／（Ｗ-k＋Ｗ-k＋ε）  ・・・（式５）
【００４３】
次に、ステップＳ２０５において、抽出した弱判別器での各サンプル出力値ｈtiの値をもとにサンプルの重みを更新する。ここで、更新式は以下の式６にしたがう。
ｄi＝ｄi×ｅｘｐ｛−ｙi・ｈti｝  ・・・（式６）
【００４４】
なお、式６によって抽出した弱判別器で誤判別するサンプルの重みは大きく、正判別するサンプルの重みは小さく更新される。
【００４５】
次に、ステップＳ２０６において、ステップＳ２０３〜Ｓ２０５の処理を所定回数繰り返し、所定回数分の弱判別器を得たか否かを判別する。この判別の結果、所定回数分繰り返していない場合は、ステップＳ２０３に戻る。一方、ステップＳ２０６の判別の結果、所定回数繰り返した場合は、ステップＳ２０７に進む。そして、求めた弱判別器を組合せた判別器を出力する。すなわち、Ｔ個の弱判別器を組合せる場合には、組合せ判別器の出力Ｈは以下の式７のようになる。
Ｈ＝Σtｈt  （ｔ＝１，２，・・・Ｔ）  ・・・（式７）
【００４６】
なお、組合せ判別器の出力Ｈを求めるのに必要な各弱判別器の特徴抽出カーネル、局所領域を特定する座標値および特徴抽出カーネルによって求めた特徴量を弱判別器の出力に変換する信頼度テーブルを学習結果として保存しておく。
【００４７】
以上の学習アルゴリズムを用いて被写体判別を行う方法を以下に説明する。すなわち、以下に説明する内容は図１の第１の顔判別部６０および第２の顔判別部８０の処理内容である。以下、第１の顔判別部６０を例に説明する。
【００４８】
図７は、第１の顔判別部６０の詳細な構成例を示すブロック図である。また、図８は、各弱判別器の詳細な構成例を示すブロック図である。
まず、第１の顔判別部６０に入力された照合パターンは第１の弱判別器６０１の局所領域抽出部６０１１により、特徴量の算出に必要な局所領域の輝度パターンｚが抽出される。そして、特徴量算出部６０１３は、カーネル記憶部６０１２に記憶されている学習によって得た特徴抽出カーネルφ1から特徴量ｕ1を以下の式８のように算出する。
ｕ1＝φ1Tｚ  ・・・（式８）
【００４９】
そして、テーブル変換部６０１５は、信頼度テーブル記憶部６０１４のデータを参照し、求めた特徴量ｕ1が属するビンの番号に基づいてテーブル変換により、被写体信頼度の値を第１の弱判別器６０１の出力とする。同様に、第２の弱判別器６０２から第Ｔの弱判別器６０Ｔの出力が得られ、加算器６００１によって総和を求め、組合せ判別器の出力とする。最後に閾値処理部６００２は所定の閾値に基づいて、第１の顔判別部６０の入力パターンが顔かどうかを判定し、その結果を出力する。
【００５０】
また、学習によって得た組合せ判別器を直列に繋ぎ、カスケード型の顔検出器を構成するのが処理速度の点では現実的である。これによると、第１の顔判別部６０の構成は図７に示したものの代わりに図９に示すようなものになる。すなわち、第１の組合せ判別器６１、第２の組合せ判別器６２、・・・第Ｋの組合せ判別器６ＫのＫ個の組合せ判別器の直列接続により構成される。なお、各組合せ判別器の構成は図７示したような弱判別器の組合せからなる。
【００５１】
なお、第２の顔判別部８０においては、特に暗い顔パターンにおける誤検出パターンを精度よく除去するよう構成するため、図６に示したアルゴリズムにより以下のように学習を行う。まず、サンプルとして第１の顔判別部６０で顔パターンと判別され、明るさ評価部７０で暗い顔パターンであると判定された顔および非顔の照合パターンを用いる。そして、第１の顔判別部６０と同様にして、ステップＳ２０１〜Ｓ２０６の手続きにより学習を行い、弱判別器の特徴抽出カーネル、局所領域を特定する座標値および特徴抽出カーネルによって求めた特徴量を弱判別器の出力に変換する信頼度テーブルを求める。すなわち、第２の顔判別部８０においては、顔を判別するためのパラメータとして別に用意する必要はあるが、図７〜図９に示した同様の構成となる。
【００５２】
以上、本実施形態では、暗いパターンに対しては、特に暗い顔パターンにおける誤検出パターンを精度よく除去するよう構成しているため、画像の明るさの補正を行う画質改善処理を行う場合には、副作用の発生を大幅に抑えることができる。
【００５３】
もちろん、本実施形態において、第１の顔判別部６０および第２の顔判別部８０は以上説明したものに限定される訳ではなく、特許文献２に記載の方法、または、その他の顔判別方法を用いて構成してもよい。また、第１の顔判別部６０及び第２の顔判別部８０は必ずしも同じ判別方法を用いる必要はない。例えば、本実施形態で用いた方法を第１の顔判別部６０で用い、特許文献２に記載の方法を第２の顔判別部８０に用いてもよい。
【００５４】
なお、以上の実施形態では画像から顔の検出を行い、その結果をもとに画像の明るさを補正する場合について説明したが、その他の画質改善処理を行う場合にも本発明は適用できる。例えば、画像から検出した顔領域の色を好適に補正する場合には、不適正な色の非顔パターンの誤検出率を低く抑えることによって副作用を避けることができる。すなわち、誤検出による色変換によって適正な色の人物顔の部分を悪い色に劣化させる確率を極めて低く抑えることができる。この場合には、第１の顔判別部により顔と判別されたパターンに対して画像特性として色の評価を行う。
【００５５】
例えば、照合パターン内を、色情報をもとに領域分割し、もっとも大きな色領域が肌領域と推定できるので、その平均色を算出する。そして、算出した平均色と所定の色（この場合は人が好ましいと感じる肌色の中心色）とのユークリッド距離が所定の閾値以上かどうかを判定する。そして、閾値以上の平均色をもつ照合パターンに対しては、そのようなパターンを用いて学習した第２の顔判別部でさらに判別を行うようにする。
【００５６】
なお、以上の実施形態では被写体パターンとして人物の顔を検出するようにしたが、その他の被写体のパターンであってもよい。また、本発明の方法としては、コンピュータに読み込まれたプログラムを実行することによっても実現できることは当然である。
【００５７】
（本発明に係る他の実施形態）
前述した本発明の実施形態における画像処理装置を構成する各手段、並びに画像処理方法の各工程は、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記録（記憶）したコンピュータ読み取り可能な記録媒体（記憶媒体）は本発明に含まれる。
【００５８】
また、本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体（記憶媒体）等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。
【００５９】
なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図２、図６に示すフローチャートに対応したプログラム）を、システムまたは装置に直接、または遠隔から供給する場合も含む。そして、そのシステムまたは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
【００６０】
したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【００６１】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。
【００６２】
プログラムを供給するための記録媒体（記憶媒体）としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどがある。さらに、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ）などもある。
【００６３】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する方法がある。そして、前記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体（記憶媒体）にダウンロードすることによっても供給できる。
【００６４】
また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
【００６５】
また、その他の方法として、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記録媒体（記憶媒体）に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【００６６】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。さらに、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
【００６７】
さらに、その他の方法として、まず記録媒体（記憶媒体）から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。そして、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。
【符号の説明】
【００６８】
４０  照合パターン抽出部、６０  第１の顔判別部、７０  明るさ評価部、８０  第２の顔判別部
【図１】
2010257324.tif 000003
【図２】
2010257324.tif 000004
【図３】
2010257324.tif 000005
【図４】
2010257324.tif 000006
【図５】
2010257324.tif 000007
【図６】
2010257324.tif 000008
【図７】
2010257324.tif 000009
【図８】
2010257324.tif 000010
【図９】
2010257324.tif 000011