(57)【要約】  【課題】  検出識別精度を維持し、処理量の少ない対象物体検出を行える画像処理装置を提供する。  【解決手段】  対象物体の画像ベクトルである対象物体参照ベクトルと非対象物体の画像ベクトルである非対象物体参照ベクトルを含む参照ベクトルと参照ベクトルの重み係数との組み合わせである複数の参照パラメータ１２を有する参照用データベース１１と、入力画像２から部分画像を切り出す部分画像切り出し部３と、切り出された部分画像の特徴量ベクトルを算出する特徴量ベクトル算出部４と、特徴量ベクトルと参照パラメータを用いて、部分画像から対象物体を検出する特徴量ベクトル評価部５を備える。特徴量ベクトル評価部は、演算結果に基づいて、部分画像の対象物体の包含／非包含を判定する画像識別部６を有し、画像識別部が、対象物体を非包含と判定した時点で検出処理を終了する。【選択図】  図１
2006163614.tif 000002
【特許請求の範囲】
【請求項１】
入力画像から対象物体を検出する画像処理装置であって、
前記対象物体の画像ベクトルである対象物体参照ベクトルと非対象物体の画像ベクトルである非対象物体参照ベクトルを含む参照ベクトルと前記参照ベクトルの重み係数との組み合わせである複数の参照パラメータを有する参照用データベースと、
前記入力画像から部分画像を切り出す部分画像切り出し部と、
前記画像切り出し部が切り出した部分画像の特徴量ベクトルを算出する特徴量ベクトル算出部と、
前記特徴量ベクトルと前記参照パラメータを用いて、前記部分画像から対象物体を検出する検出処理を行う特徴量ベクトル評価部を備え、
前記特徴量ベクトル評価部は、前記特徴量ベクトルと前記参照パラメータを用いて演算した演算結果に基づいて、前記部分画像の前記対象物体の包含／非包含を判定する画像識別部を有し、
前記画像識別部が、前記対象物体を非包含と判定した時点で前記検出処理を終了する画像処理装置。
【請求項２】
前記画像識別部が複数であって、前記複数の画像識別部の少なくとも一つが前記対象物体を非包含と判定した時点で、前記検出処理を終了する請求項１記載の画像処理装置。
【請求項３】
前記画像識別部が、前記特徴量ベクトルと前記対象物体参照データとの対象物体相関値と前記特徴量ベクトルと前記非対象物体参照データとの相関値を算出する相関値算出部と、前記相関値算出部で算出された前記対象物体相関値もしくは前記非対象物体相関値と前記重み係数との積である評価値を算出する評価値算出部と、前記評価値に従って前記部分画像の前記対象物体の包含／非包含判定を行う判定部を備える請求項１から２のいずれか記載の画像処理装置。
【請求項４】
前記判定部が、前記評価値算出部での算出処理が所定の回数以下の場合に異なる前記参照パラメータを用いて包含／非包含判定を繰り返して行う中間判定部と、前記評価算出部での算出処理が所定の回数以上の場合に包含／非包含判定を行う最終判定部をさらに備える請求項３記載の画像処理装置。
【請求項５】
前記特徴量ベクトル評価部が、前記複数の画像判定部の少なくとも一つが前記対象物体を包含と判断した場合には、異なる前記参照パラメータを用いて検出処理を続行する請求項１から４のいずれか記載の画像処理装置。
【請求項６】
前記特徴量ベクトル評価部が、異なる複数の前記参照パラメータを重み係数の降順に用いる請求項１から５のいずれか記載の画像処理装置。
【請求項７】
前記特徴量ベクトル評価部が、前記対象物体参照データと、前記非対象物体に関する非対象物体参照データの次元数の昇順に用いる請求項１から５のいずれか記載の画像処理装置。
【請求項８】
前記参照パラメータは、前記対象物体参照ベクトルと前記非対象物体参照ベクトルからアンサンブル学習で生成される請求項１から７のいずれか記載の画像処理装置。
【請求項９】
前記アンサンブル学習は、ブースティング手法を用いる請求項８記載の画像処理装置。
【請求項１０】
前記特徴量ベクトルは、エッジ特徴、およびハールウェーブレット変換による多重解像度特徴（以下、「ウェーブレット特徴」という）の少なくとも一つを算出するフィルタ処理により算出される請求項１から９のいずれか記載の画像処理装置。
【請求項１１】
前記ウェーブレット特徴は、オクターブ分割により得られる請求項１０記載の画像処理装置。
【請求項１２】
前記特徴量ベクトル評価部は、前記オクターブ分割による高レベル成分から順次用いる請求項１１記載の画像処理装置。
【請求項１３】
前記入力画像が、ウェーブレット対応のフォーマットで符号化、および復号化の少なくとも一方がなされている請求項１から１２いずれか記載の画像処理装置。
【請求項１４】
前記ウェーブレット対応のフォーマットがＪＰＥＧ２０００フォーマットに対応している請求項１３記載の画像処理装置。
【請求項１５】
入力画像から対象物体を検出する画像処理方法であって、
前記対象物体の画像ベクトルである対象物体参照ベクトルと非対象物体の画像ベクトルである非対象物体参照ベクトルを含む参照ベクトルと前記参照ベクトルの重み係数との組み合わせである複数のパラメータを設定するパラメータ設定ステップと、
前記入力画像から部分画像を切り出す部分画像切り出しステップと、
前記切り出された部分画像の特徴量ベクトルを算出する特徴量ベクトル算出ステップと、
前記特徴量ベクトルと前記パラメータを用いて、前記部分画像から対象物体を検出する検出処理を行う特徴量ベクトル評価ステップを備え、
前記特徴量ベクトル評価ステップは、前記特徴量ベクトルと前記パラメータを用いて演算した演算結果に基づいて、前記部分画像の前記対象物体の包含／非包含を判定する画像判定ステップを有し、
前記複数の画像判定ステップが、前記対象物体を非包含と判定した時点で前記検出処理を終了する画像処理方法。
【請求項１６】
前記画像判定ステップが、前記特徴量ベクトルと前記対象物体参照データとの対象物体相関値もしくは前記特徴量ベクトルと前記非対象物体参照データとの相関値を算出する相関値算出ステップと、前記相関値と前記重み係数との積である評価値を算出する評価値算出ステップを備える請求項１５記載の画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像から目的とする物体を検出する画像処理装置、および画像処理方法に関するものである。
【背景技術】
【０００２】
従来、セキュリティなどの監視カメラの活用において、画像の中から所望の物体を検出することが求められている。例えば、画像中の物体として「顔」を検出することが行われている。このような、画像中から特定の物体を検出する装置や方法として、顔と顔以外（以下、非顔）のベクトルを有するパラメータと入力画像との比較により識別する装置や方法が提案されている（例えば、特許文献１、２参照）。
【０００３】
特許文献１の記載では、まず、ブースティング（ｂｏｏｓｔｉｎｇ）手法で学習された参照パラメータに入力される。次いで、画像識別部の出力値の重み付き線形和が評価値として計算される。さらに、計算された評価値の大きさによって対象物体とそれ以外との識別が行われて、最終的な対象物体の検出結果が出力される。このブースティング手法は高い識別性能を有する参照パラメータを生成できることが実験的に確かめられている。
【０００４】
図１７は、従来の技術における画像処理装置のブロック図であり、特許文献１に記載の画像処理装置を表している。
【０００５】
まず入力画像の任意の部分が、部分画像切り出し部１８０１で部分画像として切り出される。部分画像は、種々のサイズのウィンドウを画像の所定の位置を起点として、順次適当な画素（例えば１画素）分を右側または下側にずらしながら走査することで切り出される。次に、特徴量ベクトル算出部１８０２は、部分画像から特徴量ベクトルを算出する。特徴量ベクトル評価部１８０３は、参照パラメータと部分画像の特徴量ベクトルを用いて評価値を算出する。このとき参照パラメータは、あらかじめブースティング手法で学習された対象物体と、非対象物体のベクトルをもったパラメータであり、これらを用いて評価値が算出されることで、対象物体もしくは非対象物体のいずれに類似するかが判定される。
【０００６】
この処理により、例えば顔を対象物体とする場合には、顔と非顔とが識別される。なお、参照用パラメータを生成するブースティング手法は、高い識別性能を有することが実験的に確かめられている。
【０００７】
次に、図１８は、従来の技術における画像処理装置のブロック図であり、特許文献２の画像処理装置を表している。
【０００８】
まず、部分画像切り出し部１９０１が、図１７の場合と同様にして入力画像から部分画像を切り出す。ついで特徴量ベクトル評価部１９０２が、切り出された部分画像の特徴量ベクトルを算出する。さらに、特徴量ベクトル評価部１９０２が、参照パラメータと部分画像の特徴量ベクトルを用いて評価値を算出する。算出された評価値により、部分画像が対象物体を包含するか非包含であるかを判定する。ここで、特徴量ベクトル評価部１９０２は、複数の画像識別部１９０３を有しており、画像識別部１９０３が評価値の算出を行う。ここで、複数の画像識別部１９０３は、おのおの異なる参照パラメータを用いて評価値算出を行う。図１８に示されるとおり、画像識別部１９０３は直列に接続され、順順に処理を実行する。図１８の装置では、直列に接続された画像識別部１９０３のいずれかで部分画像が対象物体を非包含と判定した時点で処理が終了される。処理が終了された以降は他の画像識別部は用いられない。このため、高速な処理が実現されている。
【０００９】
しかしながら、特許文献１の方法では、特徴量ベクトルは、ブースティング手法で生成した全ての学習パラメータを用いて評価されるため、評価に要する処理量が莫大になり、実時間処理ができないという問題を有していた。
【００１０】
また、特許文献２の方法では、異なる参照パラメータが与えられた複数の画像識別部が、特徴量ベクトルを評価していた。ここで、異なる参照パラメータは、対象物体を識別する性能などが異なる。このように相違する識別性能を有する参照パラメータが与えられた複数の画像識別部での処理を用いた処理では、識別性能の低い参照パラメータから順に識別を行うこともある。このため、高速処理が可能となっても、識別精度の高い検出処理ができないという問題も有していた。
【特許文献１】米国特許出願公開第２００３／０１０８２４４号公報
【特許文献２】米国特許出願公開第２００２／０１０２０２４号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
そこで本発明は、画像から所望の対象物体を検出する識別精度を維持し、従来よりも処理量の少ない対象物体検出を行なうことができる画像処理装置、および画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【００１２】
第１の発明に係る画像処理装置は、入力画像から対象物体を検出する画像処理装置であって、対象物体の画像ベクトルである対象物体参照ベクトルと非対象物体の画像ベクトルである非対象物体参照ベクトルを含む参照ベクトルと参照ベクトルの重み係数との組み合わせである複数の参照パラメータを有する参照用データベースと、入力画像から部分画像を切り出す部分画像切り出し部と、画像切り出し部が切り出した部分画像の特徴量ベクトルを算出する特徴量ベクトル算出部と、特徴量ベクトルと参照パラメータを用いて、部分画像から対象物体を検出する検出処理を行う特徴量ベクトル評価部を備え、特徴量ベクトル評価部は、特徴量ベクトルと参照パラメータを用いて演算した演算結果に基づいて、部分画像の対象物体の包含／非包含を判定する画像識別部を有し、画像識別部が、対象物体を非包含と判定した時点で検出処理を終了する。
【００１３】
この構成により、入力画像から切り出された部分画像が所望の対象物体を非包含である場合には、検出処理を終了することができるので、処理量を削減でき、高速処理を実現することが可能となる。
【００１４】
第２の発明に係る画像処理装置は、画像識別部が複数であって、複数の画像識別部の少なくとも一つが対象物体を非包含と判定した時点で、検出処理を終了する。
【００１５】
これにより、画像識別部における画像処理を異なる参照パラメータで順次実行し、実行中にいずれかの画像識別部で対象物体が非包含と判断された時点で検出処理を終了することができるので、高速処理を実現することができる。
【００１６】
第３の発明に係る画像処理装置は、画像識別部が、特徴量ベクトルと対象物体参照データとの対象物体相関値と特徴量ベクトルと非対象物体参照データとの相関値を算出する相関値算出部と、相関値算出部で算出された対象物体相関値と非対象物体相関値と重み係数との積である評価値を算出する評価値算出部と、評価値に従って部分画像の対象物体の包含／非包含判定を行う判定部を備える。
【００１７】
この構成により、対象物体と非対象物体の参照パラメータとの近似性を用いて切り出された部分画像の対象物体の包含／非包含判定を行うことができるので、精度の高い識別を行うことができる。
【００１８】
第４の発明に係る画像処理装置は、判定部が、評価値算出部での算出処理が所定の回数以下の場合に異なる参照パラメータを用いて包含／非包含判定を繰り返して行う中間判定部と、評価算出部での算出処理が所定の回数以上の場合に包含／非包含判定を行う最終判定部をさらに備える。
【００１９】
この構成により、任意の回数に基づく識別処理が実行された場合には、その時点で強制的に処理を終了させるので、仕様に応じた所定回数以下の処理量での検出処理とすることができる。これにより、高速処理が可能となる。
【００２０】
第５の発明に係る画像処理装置は、特徴量ベクトル評価部が、複数の画像判定部の少なくとも一つが対象物体を包含と判断した場合には、異なる参照パラメータを用いて検出処理を続行する。
【００２１】
この構成により、対象物体を包含すると判断した場合でも、さらに別の参照パラメータを用いて識別処理を続行することができるので、対象物体の検出の精度をさらに向上させることができる。
【００２２】
第６の発明に係る画像処理装置は、特徴量ベクトル評価部が、異なる複数の参照パラメータを重み係数の降順に用いる。
【００２３】
重み係数の降順に参照パラメータを用いて部分画像の対象物体の包含／非包含の識別処理を実行することができるので、対象物体を識別しやすい参照パラメータから順次識別処理を実行できる。これにより、検出処理を効率的に行うことができるとともに、早期に検出の続行の必要性を判定できるので高速処理を実現できる。
【００２４】
第７の発明に係る画像処理装置は、特徴量ベクトル評価部が、対象物体参照データと、非対象物体に関する非対象物体参照データの次元数の昇順に用いる。
【００２５】
この構成により、多次元の特徴量ベクトルを用いて評価を実行する場合でも、より識別力の高い順に検出処理を実行することができるので、効率的な検出処理を実現することができる。
【００２６】
第８の発明に係る画像処理装置は、参照パラメータは、対象物体参照ベクトルと非対象物体参照ベクトルからアンサンブル学習で生成される。
【００２７】
この構成により、識別処理に用いられる参照パラメータが学習的に生成されるため、識別能力の高い参照パラメータを用いることができる。
【００２８】
第９の発明に係る画像処理装置は、アンサンブル学習は、ブースティング手法を用いる。
【００２９】
この構成により、参照パラメータを生成するアンサンブル学習を容易かつ適切に実行することができる。
【００３０】
第１０の発明に係る画像処理装置は、特徴量ベクトルは、エッジ特徴、およびハールウェーブレット変換による多重解像度特徴（以下、「ウェーブレット特徴」という）の少なくとも一つを算出するフィルタ処理により算出される。
【００３１】
この構成により、特徴量ベクトルを周波数成分のレベル毎に生成することができ、その順序で識別処理を実行することができるので、効率の高い検出を実行することができる。さらに、あらかじめウェーブレット変換された入力画像の場合にも対応した検出が容易にできる。
【００３２】
第１１の発明に係る画像処理装置は、ウェーブレット特徴は、オクターブ分割により得られる。
【００３３】
この構成により、ウェーブレット変換のレベルに応じた画像から効率的に識別処理を実行することが可能となる。
【００３４】
第１２の発明に係る画像処理装置は、特徴量ベクトル評価部は、オクターブ分割による高レベル成分から順次用いる。
【００３５】
ウェーブレット変換で発生するレベルに応じた成分から識別処理が実行されるので、効率的に識別処理を実行できる。さらに、処理量を減らすことができるので、処理の高速化を実現することができる。
【００３６】
第１３の発明に係る画像処理装置は、入力画像が、ウェーブレット対応のフォーマットで符号化、および復号化の少なくとも一方がなされている。
【００３７】
この構成により、入力画像を改めてウェーブレット変換しなくとも、ウェーブレット変換に基づく参照パラメータを用いた識別処理を実行することができる。
【００３８】
第１４の発明に係る画像処理装置は、ウェーブレット対応のフォーマットがＪＰＥＧ２０００フォーマットに対応している。
【００３９】
この構成により、デジタルカメラなどで撮像されたＪＰＥＧ２０００フォーマットに対応する入力画像に対して識別処理を実行する場合に容易に対応することができるので、さまざまな撮像機能を有する電子機器を用いた対象物件の検出処理が可能となる。
【００４０】
第１５の発明に係る画像処理方法は、入力画像から対象物体を検出する画像処理方法であって、対象物体の画像ベクトルである対象物体参照ベクトルと非対象物体の画像ベクトルである非対象物体参照ベクトルを含む参照ベクトルと参照ベクトルの重み係数との組み合わせである複数のパラメータを設定するパラメータ設定ステップと、入力画像から部分画像を切り出す部分画像切り出しステップと、切り出された部分画像の特徴量ベクトルを算出する特徴量ベクトル算出ステップと、特徴量ベクトルとパラメータを用いて、部分画像から対象物体を検出する検出処理を行う特徴量ベクトル評価ステップを備え、特徴量ベクトル評価ステップは、特徴量ベクトルとパラメータを用いて演算した演算結果に基づいて、部分画像の対象物体の包含／非包含を判定する画像判定ステップを有し、複数の画像判定ステップが、対象物体を非包含と判定した時点で検出処理を終了する。
【００４１】
この構成により、入力画像から切り出された部分画像が所望の対象物体を非包含である場合には、検出処理を終了することができるので、処理量を削減でき、高速処理を実現することが可能となる。
【００４２】
第１６の発明に係る画像処理方法は、画像判定ステップが、特徴量ベクトルと対象物体参照データとの対象物体相関値と特徴量ベクトルと非対象物体参照データとの相関値を算出する相関値算出ステップと、相関値と重み係数との積である評価値を算出する評価値算出ステップを備える。
【００４３】
この構成により、画像識別部における画像処理を異なる参照パラメータで順次実行し、実行中にいずれかの画像識別部で対象物体が非包含と判断された時点で検出処理を終了することができるので、高速処理を実現することができる。
【発明の効果】
【００４４】
本発明によれば、識別精度の高い参照パラメータから順に検出処理を行うことで、識別精度を劣化させることがない。さらに、非対象物体と判断した時点で評価を終了するため、高速化も同時に実現できる。
【発明を実施するための最良の形態】
【００４５】
（実施の形態１）
本発明の実施の形態１では、物体検出の一例として、画像から顔を検出する画像処理装置、および画像処理方法について説明する。なお、対象物体は顔に限られず、他の所望のものであってもよい。
【００４６】
図１は本発明の実施の形態１における画像処理装置のブロック図である。
【００４７】
まず、画像処理装置１の構成を説明する。
【００４８】
画像処理装置１は、入力画像２から部分画像を切り出す部分画像切り出し部３と、切り出された部分画像の特徴量ベクトルを算出する特徴量ベクトル算出部４と、特徴量ベクトルと参照パラメータ１２から対象物体の包含／非包含を判定する特徴量ベクトル評価部５を備えている。さらに、参照パラメータ１２を含む参照用データベース１１を備えており、参照パラメータ１２は、対象物体参照ベクトル１３と、非対象物体参照ベクトル１４と、重み係数１５を含んでいる。特徴量ベクトル評価部５は、複数の画像識別部６を備えており、いずれか一つの画像識別部６において、部分画像が対象物体を非包含であると判定した場合には検出処理を終了する。さらに、画像識別部６は、特徴量ベクトルと対象物体参照ベクトル１３との相関値、および特徴量ベクトルと非対象物体参照ベクトル１４との相関値を算出する相関値算出部７を有する。さらに、相関値算出部７で算出された相関値から特徴量ベクトルと対象物体との類似度を算出する類似度算出部８と、算出された類似度と重み係数１５の積である評価値を算出する評価値算出部と、評価値から部分画像の対象物体の包含／非包含を判定する判定部を備えている。
【００４９】
最終的に検出結果が出力される。
【００５０】
次に、各部の詳細な構成と動作について説明する。
【００５１】
まず、部分画像切り出し部３について説明する。
【００５２】
部分画像切り出し部３は、入力画像２を任意のサイズに切り出す。任意のサイズは例えば画素単位で所定の大きさであってもよく、その大きさも任意である。また、入力画像２の左上の頂点を開始点として、順次右方向に移動し、右端に達すると左下方に移動して、最終的には右下を終了点とする順序で切り出してもよい。部分画像切り出し部３は、例えば、所定の大きさを有するウィンドウを入力画像２に当てることで、画像切り出しを実現する。
【００５３】
なお、部分画像切り出し部３は入力画像２のすべてからあらかじめ部分画像を切り出して、対象物体の検出処理を連続して行う切り出し処理でもよく、あるいは一つの部分画像を切り出し、この部分画像から対象物体の検出処理を行って、次の部分画像を切り出す処理でもよい。
【００５４】
次に、特徴量ベクトル算出部４について説明する。
【００５５】
特徴量ベクトル算出部４は、部分画像をから特徴量ベクトルを算出する。特徴量ベクトルは、部分画像から抽出された特徴量を一次元に並べたものである。画像処理で用いられる特徴量は、画像のテクスチャ情報そのものや、複数枚の検出対象物体の画像の画素値の平均などがある。これらは、画像中の色（グレースケール画像の場合は輝度）情報と物体の位置情報とを特徴量とした高次元特徴であり、光源の強弱などの影響を受けやすいことがある。
【００５６】
これに対して、色情報や輝度情報ではなく、特徴量としてエッジ情報が用いられることもある。エッジ情報は、ｘ方向、ｙ方向に微分フィルタをかけたものであり、物体の輪郭、形状情報などを表す。さらに、エッジ情報を強度で正規化した値を特徴量としてもよい。この値は、ｘ方向、ｙ方向のエッジ情報を強度で割ったものであり、エッジ特徴の方向成分を表すベクトルであることから、本明細書では、エッジ法線方向ベクトルと呼ぶ。エッジ法線方向ベクトルは、エッジを明るさ情報であるエッジ強度で正規化しているため、明るさ変化に対してロバストな特徴を有する。
【００５７】
ここで、エッジ法線方向ベクトルの算出について述べる。まず、部分画像にソーベルフィルタを施す。ソーベルフィルタは、ｘ方向について、
【００５８】
【数１】
2006163614.tif 000003
【００５９】
ｙ方向について、
【００６０】
【数２】
2006163614.tif 000004
【００６１】
とを有するフィルタである。これらのソーベルフィルタにより、ｘ方向の強度とｙ方向の強度であるｘｙ成分が得られる。このｘｙ成分は強度で正規化される。
【００６２】
ついで、部分画像の各画素について、エッジ法線方向ベクトルを算出したエッジ画像が得られる。このエッジ画像が所定のウィンドウサイズ（本実施の形態では３６×３６）に拡縮する。その後、拡縮したエッジ画像の画素値が１列に並べられ、特徴量ベクトルとされる。このとき、ウィンドウサイズは、参照用データベース１１の有する参照パラメータと同一サイズであることが好ましい。特徴量ベクトル評価部５での処理が容易となるからである。
【００６３】
以上のように、エッジ情報を基礎とした特徴量ベクトルが算出される。
【００６４】
次に、特徴量ベクトル評価部５について説明する。
【００６５】
特徴量ベクトル評価部５は、複数の画像識別部６を備えている。また、画像識別部６は、相関値算出部７、類似度算出部８、評価値算出部９、判定部１０を備えている。画像識別部６は複数備えられ、各々の画像識別部６は参照用データベース１１から異なる参照パラメータ１２を読み込む。すなわち、各画像識別部６は、異なる参照パラメータにしたがって、部分画像の対象物体の包含／非包含を検出する。参照パラメータ１２は、検出対象の対象物体（本実施の形態では顔）参照ベクトル１３と、非対象物体参照ベクトル１４と、重み係数１５を含んでいる。対象物体参照ベクトル１３と、非対象物体参照ベクトル１４のそれぞれが含まれていることで、部分画像が対象物体に類似するか、非対称物体に類似するかのいずれかが容易に判定される。
【００６６】
相関値算出部７は、読み込まれた参照パラメータに含まれる対象物体参照ベクトル１３と、非対象物体参照ベクトル１４を用いて、特徴量ベクトルとの相関値を算出する。相関値算出は、双方のベクトルの畳み込み演算などで実現される。相関値は、対象物体参照ベクトル１３との相関値と、非対象物体参照ベクトル１４との相関値の両方が算出される。相関値算出部７の算出結果は類似度算出部８に出力される。
【００６７】
類似度算出部８は、入力された相関値を元に対象物体もしくは非対象物体への類似度を算出する。相関値は、対象物体と非対象物体の両方に対して算出されるので、相関値の度合いがそのまま類似度として算出される。例えば、対象物体との相関値が高ければ、対象物体への類似度が高く、非対象物体との相関値が高ければ非対象物体への類似度が高いと算出される。算出された類似度は、評価値算出部９に出力される。
【００６８】
なお、類似度は相関値の置き換えに値するから、類似度を算出せず、相関値から直接評価値算出を行ってもよい。
【００６９】
評価値算出部９は重み係数１５と類似度の積である評価値を算出する。ここで、重み係数１５は、画像識別部６で用いられた参照パラメータ１２の重要度を表す係数である。すなわち、使用した参照パラメータ１２の識別精度の度合いを表した。重み係数が高いほど識別精度が高く、対象物体と非対象物体とを識別しやすい参照パラメータであることが示される。画像識別部６での対象物体の包含／非包含の判定では、参照ベクトルとの相関値だけではなく、重み係数も乗算することで、より識別精度の高い判定が可能となるメリットがある。また、重み係数が低い参照パラメータ、すなわち識別精度の低い参照パラメータが用いられた場合には、重み係数が乗算されることで、評価値が減少することになり、不正確な識別が行われないメリットもある。
【００７０】
評価値算出部９で算出された評価値は判定部１０に出力される。判定部１０は、入力した評価値から部分画像の対象物体の包含／非包含を判定する。例えば、評価値が対象物体へ類似する方向へ大きければ検出処理の対象となっている部分画像が対象物体を包含するものと判定し、非対象物体へ類似する方向へ大きければ対象物体を非包含として判定する。
【００７１】
ここで、異なる参照パラメータ１２が与えられた画像識別部６は、切り出された部分画像の特徴量ベクトルの評価を順に実行する。このとき複数の画像識別部６のいずれかで対象物体が非包含であると判定された時点で検出処理が終了する。対象物体が顔である場合には、部分画像が非顔であると判定されれば、これ以上処理を続行する必要がないからである。逆に、対象物体である顔と判定された場合には、非顔を含んでいる可能性もあるので処理が続行される。このとき、識別能力の高い参照パラメータから順に処理が実行されることで非顔と判定された場合には顔を包含することはないので処理を終了することができる。検出処理の終了後、部分画像切り出し部３は次の位置の部分画像を切り出して、新たな部分画像に対して検出処理が続行され、入力画像２全体に対する処理が終了して、対処物体を検出することが可能となる。
【００７２】
このように、複数の画像識別部６において、重み係数の高い参照パラメータ１２から順に検出処理が行われることで、検出における識別精度を低下させることなく高速処理を実現することが可能となる。
【００７３】
なお、ここでは画像識別部６が複数設けられた構成について説明したが、画像識別部６を単体として、単体の画像識別部６に次々と異なる参照パラメータ１２が読み込まれて準じ処理がなされる構成でもよい。
【００７４】
次に、別の形態の特徴量ベクトル評価部５について説明する。
【００７５】
図２は本発明の実施の形態１における特徴量ベクトル評価部５の内部構成図である。
【００７６】
特徴量ベクトル評価部５は、評価値算出部２１、中間判定部２２、最終判定部２３、参照パラメータ保持部２４、制御パラメータ保持部２５で構成される。評価値算出部２１は、入力された特徴量ベクトルの評価値を算出する。中間判定部２２および最終判定部２３は、評価値に基づいて顔であるか否かの判定を行う。制御パラメータ保持部２５は、評価値を、中間判定部２２と最終判定部２３のどちらに入力するかという判定パラメータを保持し、参照パラメータ保持部２４は、中間判定部６０２および最終判定部６０３での顔であるか否かの判定に必要となるパラメータと、各判定部での判定処理に用いる閾値を保持している。
【００７７】
図３は、本発明の実施の形態１における特徴量ベクトル評価部５の処理フローチャートである。
【００７８】
図２に表される特徴量ベクトル評価部５の動作について説明する。
【００７９】
まず、ステップ７０１ａにて、評価値算出部２１は、参照パラメータ保持部２４から、参照パラメータを読み込み、評価値を算出する。参照パラメータは、対象物体である顔の参照ベクトルＦｊと非顔の参照ベクトルＮＦｊとＦｊ、ＮＦｊに対応する重み係数αｊをＭ個格納している（１≦ｊ≦Ｍ）。重み係数αｊは、学習結果Ｆｊ、ＮＦｊの識別性能を表し、αｊの値が大きいほど識別性能が高い。参照パラメータ保持部には、参照パラメータが、Ｆｊ、ＮＦｊ、αｊの値に関わらず生成された順に格納されている。
【００８０】
次に、ステップ７０１ｂにて、評価値算出部２１は、制御パラメータ保持部２５から判定パラメータｐが読み込み、中間判定部２２と最終判定部２３のいずれかを選択する。本実施の形態では、判定パラメータｐは、あらかじめ初期値（０≦ｐ≦Ｍ）を有している。ここで、Ｍは生成された参照パラメータの数である。ついで、ステップ７０１ｃにて、中間判定部２２で処理をする毎に、ｐは値「１」だけ減少する。ｐが１以上の間は、中間判定部２２が処理を行い、ｐが０の場合は、最終判定部２３が処理を行う。すなわち、判定パラメータは参照パラメータの個数の検出処理の進行を確認するものであり、参照パラメータの個数だけ判定処理が行われた場合には、対象物体である顔の判定の有無に関わらず、処理が終了される。
【００８１】
また、ステップ７０１ｃにて中間判定部２２で判定処理が行われる。ステップ７０１ｄにて、判定処理として、計算された評価値が閾値と比較される。比較の結果、閾値以下であれば処理対象の部分画像は非顔と判定され、閾値より大きければ顔と判定される。部分画像が顔と判定された場合、評価値算出部２１の算出処理が再度実行される。評価値算出部２１は、評価中の特徴に対して未適用の参照パラメータを参照パラメータ保持部２４から新たに読み込み、評価値を再算出する。一方、非顔として判定された場合、判定結果を出力し処理を終了する。
【００８２】
最後に、判定パラメータｐが値「０」となった場合には、ステップ７０１ｅにて、最終判定部２３が、顔であるか否かの最終的な判定結果を出力する。
【００８３】
以上のように、中間判定部２２と最終判定部２３とに分けることで処理の終了を高速に判定することができる。
【００８４】
次に、評価値算出部２１、中間判定部２２、最終判定部２３の処理について、用いられる計算式を交えて説明する。
【００８５】
まず、評価値算出部２１は、評価値を（数３）によって算出する。
【００８６】
【数３】
2006163614.tif 000005
【００８７】
ここで、Ｘｎは特徴量ベクトル、ｈ（Ｆｊ、ＮＦｊ、Ｘｎ）は評価値算出部２１が有する評価関数であり、特徴量ベクトルＸｎと参照パラメータ保持部２４から入力される参照パラメータ（顔の参照ベクトルＦｊと非顔の参照ベクトルＮＦｊ）とを引数とする。αｊは参照パラメータＦｊ、ＮＦｊに対応する重み係数である。算出部２１は、参照パラメータ保持部２４からｍ個の参照パラメータとその重み係数を読み込み、これらの重み付き線形和により評価値を算出する。なお、読み込む参照パラメータ数ｍや、読み込む順番はあらかじめ設定されており、対象とする物体や画像によって適切に設定される。
【００８８】
この評価関数ｈ（Ｆｊ、ＮＦｊ、Ｘｎ）は、（数４）で定義される。
【００８９】
【数４】
2006163614.tif 000006
【００９０】
（数４）は、特徴量ベクトルＸｎと、顔の参照ベクトルＦｊ、および非顔の参照ベクトルＮＦｊとの正規化相関値をそれぞれ算出し、ＦｊとＮＦｊの相関値を比較する。比較の結果、特徴量ベクトルＸｎがＦｊとの相関値が大きければ値「１」を返し、ＮＦｊとの相関値が大きければ値「−１」を返す。これにより、対象物体を包含すると判定された場合には値「１」を返し、対象物体を非包含と判定された場合には値「−１」を返す。
【００９１】
なお、Ｘｎ（−）、Ｆｊ（−）、ＮＦｊ（−）は、ベクトルＸｎ、Ｆｊ、ＮＦｊの各平均値が格納された平均ベクトルである。
【００９２】
次に、中間判定部２２、最終判定部２３は、（数３）で算出された評価値Ｈ（Ｘｎ）を判定閾値ｔｈ（ｐ）により、対象物体である顔か非顔のいずれかに判定する。判定閾値ｔｈ（ｐ）は、判定パラメータがｐのときの判定閾値を表す。評価値Ｈ（Ｘｎ）がｔｈ（ｐ）より大きいとき、顔に判定し、そうでなければ非顔に判定する。判定閾値ｔｈ（ｐ）は参照パラメータ保持部２４から入力される。
【００９３】
判定閾値ｔｈ（ｐ）は、顔の参照ベクトルがｔｈ（ｐ）以下に含まれないように設定される。この判定閾値ｔｈ（ｐ）を、中間判定部２２で用いることで、評価値が判定閾値以下と判定された場合には、この部分画像は明らかに非顔と判断することができる。非顔と判断されれば、これ以上識別処理する必要がないので、そのまま終了することができる。逆に、判定閾値以上であれば、顔と判定されるので、新たな参照パラメータを用いて判定処理が続行される。
【００９４】
最終判定部２３は、保持されている参照パラメータの最後を用いて判定処理を実行し、その結果を出力する。最終判定部２３が用いられれば、顔、非顔のいずれに判断されても、そこで識別処理は終了する。この場合には次の部分画像に処理が移行する。なお、最終判定処理に入る判定パラメータｐの値の条件を値「０」より大きくすることで、処理の高速化を優先することもできる。
【００９５】
さらに、評価値算出部２１が読み込む参照パラメータは、重み係数の大きさの降順である。この重み係数の大きさは、参照パラメータの識別精度のレベルを表している。このため、重み係数の降順に読み込んで判定することで、顔と非顔を識別しやすい情報をもった参照パラメータから順に判定することが可能となる。この重み係数の降順に従った判定処理により、識別精度を維持したまま効率よく識別を可能とする。このため、処理量の減少を実現でき、入力画像から対象物体の検出において実時間での処理も可能となる。
【００９６】
なお、評価値算出部２１と中間判定部２２は、図４に示すような処理でもよい。
【００９７】
図４は、本発明の実施の形態１における特徴量ベクトル評価部の処理フローチャートであり、図５は本発明の実施の形態１における顔画像と非顔画像のイメージである。
【００９８】
まず、ステップ８０１ａにて、（数４）により特徴量ベクトルＸｎと顔の参照ベクトルＦｊとの相関値を求める。評価値算出部２１は、算出した相関値を中間判定部２２、および最終判定部２３に出力する。中間判定部２１および最終判定部２３は、評価値による判定ではなく、相関値の大きさにより顔／非顔の判定を行う。
【００９９】
判定方法は、図３の場合と同じく、、ステップ８０１ｄにて、相関値と相関閾値ＴｈＣｏｒ（ｐ）を比較して、相関閾値未満では非顔と判定し、相関閾値以上では顔と判定する。中間判定部２１と最終判定部２３との処理については図３で説明したのと同様である。
【０１００】
このように、顔の参照ベクトルとの相関値のみで顔／非顔の判定を行うことで、非顔の参照ベクトルに影響されずに判定できるメリットがある。例えば、図５に表されるように、左列の正面顔は、異なる人であっても、目鼻口がほぼ同じ位置、形状であるため顔の参照ベクトルは一定の値やレベルに収束させることが可能である。一方、背景である非顔は、正面顔以外全てを対象とするため、家や山などのようにさまざまな形状が存在する。このため、非顔の参照ベクトルをある一定の値やレベルに収束させるのは困難である。このため非顔の参照ベクトルを判定に用いることで、判定処理に負荷が大きくかかる可能性もある。このような場合を考慮して、対象物体である顔の参照ベクトルとの相関値のみを利用した判定を行うことは、高速処理などにおいてメリットが高い。
【０１０１】
次に、参照用データベース１１について説明する。
【０１０２】
参照用データベースは対象物体参照ベクトル、および非対象物体参照ベクトル、および重み係数を含む参照パラメータ１２を有するデータベースである。ここで、参照パラメータは、対象物体である顔と非顔の画像から学習的に生成される。
【０１０３】
この、学習処理によりパラメータが得られる処理について説明する。
【０１０４】
図６は学習処理の流れを示すフローチャートである。まず、画像データベースを用意する。画像データベースは、学習処理に用いられる顔と非顔の画像が集められた。学習処理に用いられる、種々の形態、形状、大きさの顔画像と非顔画像を、画像データベースに格納する。例えば、顔画像としては、あらかじめ顔のみが切り取られている画像であり、非顔画像は森や町などの顔を含まない背景画像などである。この画像データベースを元に、参照パラメータを学習処理により生成する。
【０１０５】
まず、ステップ１００１ａにて、画像データベースに格納されている顔画像と、非顔画像の特徴量ベクトルが算出される。部分画像の特徴量ベクトルの算出と同様に、特徴量ベクトルはエッジ法線方向ベクトルで表される。顔と非顔の画像から、（数１）、（数２）に示すソーベルフィルタでｘ方向、ｙ方向のエッジが抽出され、エッジ強度で除算されることで、エッジ法線方向ベクトルが算出される。さらに、エッジ法線方向ベクトルからエッジ画像が得られる。その画像を一定のサイズ（本実施の形態では３６画素×３６画素）に拡縮し、エッジ画像の画素値を、１列に並べることにより特徴量ベクトルが得られる。
【０１０６】
次に、参照パラメータの算出が、顔と非顔の特徴量ベクトルを用いて実行される。
【０１０７】
まず、特徴量ベクトル数がＶｎｕｍと定義される。ついで、ステップ１００１ｂにて、教師データＴｉ（１≦ｉ≦Ｖｎｕｍ）が、特徴量ベクトルＸｉに割り当てられる。この教師データＴｉは、顔の特徴量ベクトルに割り当てられるときには値「＋１」が、非顔の特徴量ベクトルに割り当てられるときには、値「−１」が設定される。
【０１０８】
ついで、ステップ１００１ｃにて、特徴量ベクトルＸｉと教師ベクトルＴｉを用いたアンサンブル学習により参照パラメータが生成される。学習的に参照パラメータが生成されることで、対象物体の検出に適した複数の参照パラメータを生成することができる。
【０１０９】
アンサンブル学習とは、汎化能力の向上のために、識別力の少しずつ異なった参照パラメータを複数生成することのできる学習法である。アンサンブル学習の例として、バギングやブースティングなどがある。図７にアンサンブル学習を行う学習部の構成図を示す。
【０１１０】
学習部は、顔と非顔の特徴量ベクトルが格納された特徴量ベクトル格納部１１０１、特徴量ベクトル格納部の一部のデータをサンプリングするフィルタ部１１０２、フィルタ部から出力されるデータを用いてアンサンブル学習により参照パラメータを算出する学習処理部１１０３、評価用の特徴量ベクトルが格納された評価データ格納部１１０４、評価データを用いて評価を行う評価部１１０５を有している。
【０１１１】
まず、フィルタ部１１０２が、特徴量ベクトル格納部１１０１に格納されている特長量ベクトルをサンプリングする。フィルタブ１１０２でサンプリングされたデータは、学習処理部１１０３に出力される。学習書リブ１１０３は、入力したデータを元にある参照パラメータを生成する。このときブースティングなどのアンサンブル学習法が用いられる。
【０１１２】
生成された参照パラメータは評価データ部１１０４に格納された評価データを元に評価部１１０５にて評価される。評価データは、あらかじめ汎用的な値を持つパラメータであり、このパラメータとの比較結果に基づき次の新たな参照パラメータが生成される。
【０１１３】
以上の処理手順により、異なる複数の参照パラメータを生成することができる。
【０１１４】
なお、アンサンブル学習による学習方法については、「Ｔ，Ｇ，  Ｄｉｅｔｔｅｒｉｃｈ．  ”Ｅｎｓｅｍｂｌｅ  ｍｅｔｈｏｄｓ  ｉｎ  ｍａｃｈｉｎｅ  ｌｅａｒｎｉｎｇ”  Ｉｎ  Ｍｕｌｔｉｐｌｅ  Ｃｌａｓｓｉｅｒ  Ｓｙｓｔｅｍｓ．  Ｆｉｒｓｔ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｗｏｒｋｓｈｏｐ，  ＭＣＳ２０００，  Ｃａｇｌｉａｒｉ  ｐ．１−１５，  ２０００  」  に詳しく説明されている。したがって、ここでは、これ以上の説明は省略する。
【０１１５】
以上により、（数３）、（数４）で用いる参照パラメータがＭ個生成される。この個数Ｍが多いほど、精度の高い識別が可能になるが、検出時の特徴量ベクトルの判定に要する計算量は増加する。したがって、参照パラメータの個数Ｍは目的に応じて決められればよい。
【０１１６】
最後に、実施の形態１における画像処理装置、および画像処理方法の全体動作について図８、図９を用いて説明する。
【０１１７】
図８は、本発明の実施の形態１における検出処理のフローチャートであり、図９は本発明の実施の形態１における検出処理の処理図である。
【０１１８】
図８において、（Ｘ、Ｙ）は、検出位置の左上座標、Ｓ×Ｓは検出サイズ、ＷＩＤＴＨ，ＨＥＩＧＨＴは、画像の横、縦のピクセル数、ＳＩＺＥＭＡＸは、ＷＩＤＴＨとＨＥＩＧＨＴとの大きい方の値である。
【０１１９】
まず、ステップ４０１ａにて、検出位置の左上座標（Ｘ、Ｙ）と検出サイズＳ×Ｓの初期設定を行う。本実施の形態では、画像の左上座標を原点とし、原点（０、０）を初期検出位置とし、初期検出サイズは２０×２０ピクセルとする。初期設定の後、ステップ４０１ｂにて、部分画像切り出し部３が、入力画像２の（Ｘ、Ｙ）から（Ｘ＋Ｓ、Ｙ＋Ｓ）までの部分画像を切り出す。ついで、ステップ４０１ｃにて、特徴量ベクトル算出部４が切り出された部分画像から特徴量ベクトルを算出する。次に、ステップ４０１ｄにて、特徴量ベクトル評価部５が、その特徴量ベクトルと参照パラメータを用いて部分画像の対象物体の包含／非包含を判定する。
【０１２０】
以上の処理を、入力画像の右下まで適当な画素（本実施の形態では１画素）分右側にずらす（ステップ４０１ｅ、ステップ４０１ｆ）、または下側にずらしながら走査する（ステップＳ４０１ｇ、ステップＳ４０１ｈ）ことで、順次Ｓ×Ｓ画素の部分画像を切り出して対象物体を含むかを判定する。また、部分画像のサイズＳが、画像サイズ（本実施の形態では３２０×２４０）まで、適当な倍数（本実施の形態では１．２倍）ずつ拡大される（ステップＳ４０１ｉ、ステップＳ４０１ｊ）ことで処理することでもよい。
【０１２１】
以上の対象物体を検出する画像処理装置、および画像処理方法は図１０に表される汎用装置で実現されてもよい。
【０１２２】
図１０は本発明の実施の形態１における画像処理装置を含む電子装置の構成図である。
【０１２３】
ＣＰＵ（中央演算処理装置）１０１は、ＲＯＭ（リードオンリーメモリー）１０２に格納されている図９で説明された画像処理プログラムを実行する。
【０１２４】
ＲＡＭ（ランダムアクセスメモリ）１０４およびハードディスク１０５は、入力画像の記憶のほか、参照パラメータを含む参照用データベースを記憶する。これ以外にも、画像処理の途中経過の中間データなどが記憶されていてもよい。カメラ１０８がインターフェース１０７を介してバス１０３に接続されており、カメラ１０８で撮像された画像が入力画像として入力される。この入力画像に対して対象物体の検出処理が実行される。
【０１２５】
なお、カメラ１０８は、スチルカメラ／ビデオカメラどちらでもよく、携帯電話に付属するカメラを用いることもできる。
【０１２６】
また、このような汎用装置ではなく専用装置で実現されてもよい。
【０１２７】
以上のように、本実施の形態によれば、複数の参照パラメータのうち、対象物体と非対象物体を識別する性能の高い参照パラメータから順に識別を行うことができ、部分画像を非対象物体に判定した場合、その時点で部分画像の識別を終えることができるため、画像中の大部分を占める非対象物体に対する処理量を削減できる。結果として、識別精度を低下させることなく、検出処理の高速化が実現される。
【０１２８】
（実施の形態２）
本発明の実施の形態２では、ハールウェーブレット変換で得られるウェーブレット特徴を特徴量とすることで、高速かつ高精度な対象物体の検出を行う技術について説明する。
【０１２９】
なお、説明の便宜のために対象物体を顔（人物や動物などの顔）として説明するが、実施の形態２で説明される画像処理装置、および画像処理方法は顔の検出に限られる技術ではない。
【０１３０】
図１１は、本発明の実施の形態２における画像処理装置のブロック図であり、図１２は、本発明の実施の形態２における特徴量ベクトル評価部の内部ブロック図であり、図１３は、本発明の実施の形態２における特徴量ベクトル評価部の動作フローチャートである。
【０１３１】
実施の形態２における画像処理装置は、実施の形態１で説明した画像処理装置と全体構成は同様である。ここで、図１１に表される構成において、入力画像１２０１と部分画像切り出し部１２０２は実施の形態１で説明したものと相違ないので説明を省略する。
【０１３２】
まず、特徴量ベクトル算出部１２０３について説明する。
【０１３３】
特徴量ベクトル算出部１２０３は、切り出された部分画像から特徴量ベクトルを算出する。実施の形態２では、特徴量として、実施の形態１のエッジ情報に代えて、光源の強弱の影響が少ない周波数特徴を用いる方法について説明する。
【０１３４】
ここで、周波数特徴の一つであるウェーブレット変換は、変換に用いられるウェーブレットの大きさを伸縮することでオリジナル信号の解析と取り出しができる。したがって、ウェーブレット変換を利用することは、オリジナル信号からの画像の形状情報に加え、周波数変換による画像上の周波数情報の両方が利用できるメリットがある。
【０１３５】
特徴量ベクトル算出部１２０３は、部分画像に対してハールウェーブレット変換による多重解像度解析を行う。ついで、ハールウェーブレット変換による多重解像度解析により得られるウェーブレット展開係数とスケーリング係数（以下、これらをウェーブレット特徴と呼ぶ）を一列に並べる。この一列に並べられたウェーブレット特徴が、特徴量ベクトルとして用いられる。
【０１３６】
ここで、このウェーブレット変換と多重解像度解析について説明する。
【０１３７】
まず、ウェーブレットについて説明する。ウェーブレットにおける基本ウェーブレットはマザーウェーブレットψ（ｘ）と呼ばれる。このマザーウェーブレットにより、画像上の周波数成分が検出される。すなわち、画像上の各部分における周波数成分の情報が得られる。さらに、マザーウェーブレットを引き伸ばして、それを適当な位置に平行移動させて合成することにより、オリジナル信号が表現される。ウェーブレット変換は、（数５）で定義される。
【０１３８】
【数５】
2006163614.tif 000007
【０１３９】
（数５）で、ｂはシフト、ａ＞０は拡大縮小のパラメータであり、スケールと呼ばれる。１／√ａは正規化のための係数である。このψ（）と信号ｆ（ｘ）との内積がウェーブレット変換の定義式である。
【０１４０】
マザーウェーブレットには、ハールウェーブレット、メキシカンハットウェーブレット、ガボールウェーブレットなどがある。なかでも、ハールウェーブレットは計算式が簡単であるため、他のウェーブレットに比べ計算コストを短縮できるメリットがある。そこで、実施の形態２では、ハールウェーブレットを用いる。
【０１４１】
ハールウェーブレット関数は（数６）で定義される。
【０１４２】
【数６】
2006163614.tif 000008
【０１４３】
次に、多重解像度解析について説明する。
【０１４４】
多重解像度解析は、信号をスケーリング関数と呼ばれる関数の一次結合で近似することである。ここで、多重解像度解析における原信号の近似の精度はレベルとして表される。多重解像度解析により、複数解像度で算出したウェーブレット特徴の一次結合で信号が表現される。画像に対し多重解像度解析を行った結果を特徴量とすることで、複数帯域の周波数を含んだ特徴量を利用して検出評価を行うことができる。そのため、入力画像の顔領域が高解像度であれば、高解像度成分で相関が高くなり、低解像度であれば低解像度成分で相関が高くなり、解像度の違いに対してロバストな検出が可能である。
【０１４５】
ハールウェーブレットのスケーリング関数は（数７）と定義される。
【０１４６】
【数７】
2006163614.tif 000009
【０１４７】
このスケーリング関数を用いて、任意の関数ｆ（ｘ）が（数８）として定義される。
【０１４８】
【数８】
2006163614.tif 000010
【０１４９】
次に、ハールのスケーリング関数の平行移動、拡大／縮小したものが（数９）で定義される。
【０１５０】
【数９】
2006163614.tif 000011
【０１５１】
このφｊ、ｓを用いてレベルｊの近似が（数１０）で定義される。
【０１５２】
【数１０】
2006163614.tif 000012
【０１５３】
ここで、ｓｋ（ｊ）をスケーリング係数と呼ぶ。ここで、レベルが値「０」となるとき最も精度の高い近似となり、レベルの値が大きくなるに従い、粗い近似となる。つまりｆ１（ｘ）はｆ０（ｘ）に比べて情報が欠落しているといえる。この欠落分をｇ１（ｘ）とすると、（数１１）が成り立つ。
【０１５４】
【数１１】
2006163614.tif 000013
【０１５５】
このときｇ１（ｘ）をレベル１のウェーブレット成分と呼ぶ。このウェーブレットφから（数１２）のようにして、平行移動、拡大／縮小した関数φｊ、ｋが得られ、このφｊ、ｋを用いてｇ１（ｘ）を表すと、（数１３）となる。このとき、ωｋ（１）をレベル１のウェーブレット展開係数と呼ぶ。
【０１５６】
【数１２】
2006163614.tif 000014
【０１５７】
【数１３】
2006163614.tif 000015
【０１５８】
以上により、レベル値「０」の近似関数ｆ０（ｘ）は、レベル値「１」の近似関数ｆ１（ｘ）とレベル値「１」のウェーブレットによって表現される関数ｇ１（ｘ）に分解され、（数１４）のように表される。これを一般化すると、（数１５）となる。
【０１５９】
【数１４】
2006163614.tif 000016
【０１６０】
【数１５】
2006163614.tif 000017
【０１６１】
以上のように、関数ｆ０（ｘ）を幅の異なる、つまり解像度の異なるウェーブレット成分の和で表現することが可能である。これを再帰的に利用すると、レベル０の近似関数ｆ０（ｘ）は、レベル１、２、・・・、ｊの近似関数を用いて、（数１６）のように表される。
【０１６２】
【数１６】
2006163614.tif 000018
【０１６３】
次に、ウェーブレット変換による多重解像度解析を画像に適用する場合について説明する。
【０１６４】
画像という２次元信号に対し、１次元の２分割フィルタバンクを繰り返し使用して、２次元ウェーブレット変換を実行する。具体的には、まず画像の水平方向にウェーブレット変換を施し、２：１のダウンサンプリングを行い、低周波成分と高周波成分に分離する。次に、その結果に対して、垂直方向にウェーブレット変換を施すことにより、低周波成分と３つの高周波成分が得られる。これらの操作を、低周波成分に対して繰り返し行うことにより、多重解像度解析を行った画像データが得られる。このように水平と垂直の処理を分離した形式で、二次元フィルタリングが可能になる。これには、２次元フィルタの設計が１次元フィルタの設計問題として実行でき容易であるという利点がある。図１４（ａ）は本発明の実施の形態２における元画像のイメージであり、（ｂ）は、（ａ）に対してレベル３の多重解像度解析を行った画像イメージである。このように、画像の左上が低周波成分となり、それ以外のところが高周波成分となる。
【０１６５】
多重解像度解析を行うことで得られるウェーブレット展開係数とスケーリング係数をウェーブレット特徴と呼ぶ。ウェーブレット特徴の高いレベルの成分から順に、１列に並べたものを特徴量ベクトルとする。
【０１６６】
さらに、ウェーブレット特徴には、符号化したデータを用いて、最低域の低解像度画像から高解像度画像まで順次解像度を上げて復号できるという特徴がある。このことは、自然画像の圧縮符号化方式であるＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ  ＦＣＤ  １５４４４−１）の符号化、復号化における空間解像度スケーラビリティとして知られている。さらに、最も高いレベルの成分を用いて画像を復号した場合、その解像度における元画像の色や形状情報を、十分に表現できるという特徴がある。
【０１６７】
次に、特徴量ベクトル評価部１２０４の処理を説明する。
【０１６８】
特徴量ベクトル評価部１２０４の処理の流れが図１２に示されている。評価値算出部１３０１は、参照パラメータ保持部１３０４から、参照パラメータと重みを読み込み、評価値を算出する。ここで、本実施の形態では、参照パラメータと重みは、ウェーブレット特徴の性質を利用して次のように読み込む。まず、特徴量ベクトルのうち、レベルの高い成分のみを利用して評価を行う。先述したように、レベルの高い成分のみでも、元画像の形状情報は保持されているため、精度の高い識別は可能である。レベルの高い成分のみを利用すると、評価に用いる特徴量ベクトルの次元数が少なくなるため、処理量を削減できる。これにより算出された評価値によって、中間判定部１３０２で評価を行うことで、処理量の少ない評価で非顔であるものの判定が可能になる。
【０１６９】
ついで、、順にレベルの低い成分も利用して評価を行う。レベルの低い成分も利用することにより、次元数が増加し、情報量が増えるため、より精度の高い識別は可能になり、顔と非顔をより精密に識別することが可能になる。以上により、顔検出に要する全体的な処理量を削減できる。
【０１７０】
実施の形態２では、（数１７）により評価値が算出される。
【０１７１】
【数１７】
2006163614.tif 000019
【０１７２】
ここで、Ｘｎは特徴量ベクトル、ｈ（Ｆｊ、ＮＦｊ、Ｘｎ、Ｌ）は評価値算出部１３０１が有する評価関数であり、特徴量ベクトルＸｎと、参照パラメータ保持部１３０４から入力される、顔の参照ベクトルＦｊと非顔の参照ベクトルＮＦｊと使用する特徴量ベクトルの次元数Ｌを引数とする。また、αｊはｊ番目の参照パラメータに対する重みであり、ｍは参照パラメータ保持部から入力される、顔と非顔の参照ベクトルとその結果に対応する重み係数αの数である。ここでは、簡単化のため、特徴量ベクトルＸｎ、学習結果Ｆｊ、ＮＦｊに格納されている特徴量は、ウェーブレット特徴の高いレベルの成分から順に格納されているとする。したがって、使用する次元数Ｌを変化させることにより、どのレベルの成分までを使用するかということを指定できる。本実施の形態では、４８×４８の画像においてレベル３の多重解像度解析を行い、最も高レベル成分のみであれば、次元数Ｌは１２×１２となり、次のレベルの成分まで使用するとＬは２４×２４、全成分を使用するとＬは４８×４８になるようにした。
【０１７３】
なお、以上のことを実現するため方法には以下の２通りがある。
【０１７４】
一つは、特徴量ベクトルの全てを用いてＦｊ、ＮＦｊを生成し、検出時には、そのうちＬ次元を用いて評価を行う方法である。
【０１７５】
さらに一つは、特徴量ベクトルのうち、ウェーブレット特徴の高いレベルの成分からＬ次元の成分を用いてＦｊ、ＮＦｊを生成し、検出時に評価を行う方法である。
【０１７６】
最初の方法では、多重解像度解析結果から得られる全ての特徴を用いて、Ｆｊ、ＮＦｊを生成するため、検出時に次元数Ｌを柔軟に変更できるという利点がある。次の方法には、多重解像度解析結果から得られる特徴量ベクトルのうち、Ｌ次元の特徴量ベクトルを使用してＦｊ、ＮＦｊを生成しているため、一つ目の方法に比べて、Ｌ次元中に学習で得られる全情報が含まれると考えられる。
【０１７７】
ＦｊとＮＦｊの生成方法については複数考えられるが、学習環境や対象画像によって、最適な方法を選択すればよい。実施の形態２においては、二つ目の方法で学習されたものを用いる。したがって、参照パラメータ保持部１２０４から読み込まれるｍ個の参照パラメータは全てＬ次元の特徴量ベクトルとする。
【０１７８】
（数１８）により、参照パラメータ保持部１２０４から入力されるｍ個の参照パラメータを用いた重み付き線形和により評価値が算出される。
【０１７９】
また、この評価関数ｈ（）は、（数１８）で定義される。
【０１８０】
【数１８】
2006163614.tif 000020
【０１８１】
（数１８）は、特徴量ベクトルＸｎと、顔の参照ベクトルＦｊ、および非顔の参照ベクトルＮＦｊとの正規化相関値を算出し、Ｆｊとの相関値が大きければ１を返し、一方、ＮＦｊとの相関値が大きけれ大きければ−１を返す関数である。なお、Ｓｉ（−）、Ｆｊ（−）、ＮＦｊ（−）は、Ｓｉ、Ｆｊ、ＮＦｊのそれぞれにおいて、Ｌ次元までの平均値が格納された平均ベクトルである。
【０１８２】
中間判定部１３０２、最終判定部１３０３は、（数１７）で算出された評価値Ｈ（Ｘｎ）を判定閾値により、顔か非顔のいずれに該当するかを判定する。評価値Ｈ（Ｘｎ）が判定閾値より大きいとき、顔に判定し、そうでなければ非顔に判定する。判定閾値は参照パラメータ保持部から入力される。
【０１８３】
以上までの方法で、検出処理が行われる。検出を行うためにはあらかじめ、参照パラメータ保持部１３０４に参照パラメータが格納されていなければならない。
【０１８４】
ここで、図１５は本発明の実施の形態２における参照パラメータ生成のフローチャートである。図１５を用いて説明する。
【０１８５】
参照パラメータの生成は、実施の形態１で説明したのと同様であるが、検出処理を行うに際してウェーブレット変換を用いた検出を行うので参照パラメータもウェーブレット変換を用いて生成することが必要となる。
【０１８６】
検出時の説明の際に述べたように、学習画像に対するハールウェーブレット変換により多重解像度解析を行った結果であるウェーブレット特徴を特徴量として用いる。まず、顔と非顔の画像を一定のサイズ（ここでは３６画素×３６画素）に拡縮処理し、それに対し多重解像度解析を行う。多重解像度解析より得られる結果のうち、学習に必要なレベルの成分を１列に並べることにより特徴量ベクトルを得る。この特徴量ベクトルに対して学習処理を行うことで、Ｌ次元の特徴量ベクトルから生成した参照パラメータが生成される。多重解像度解析で生成される複数の次元数（例えば、１２×１２、２４×２４、４８×４８）の特徴量ベクトルに対して学習処理を行うことで、複数次元の参照フォーマットを生成できる。
【０１８７】
なお、ウェーブレット対応のフォーマットにおける符号化、復号化の過程において、多重解像度解析が行われ、ウェーブレット特徴が得られる場合は、そのウェーブレット特徴を特徴量ベクトルとすることにより、変換作業に要する処理を行うことなく対象物体の検出が可能になる。特に、ＪＰＥＧ２０００においては、ウェーブレットの多重解像度解析による符号化、復号化を行うというだけでなく、複数の解像度レベルを順次合成する機能を利用することができる。この機能には、サーバから、モバイル端末やＰＣなどに、多重解像度解析結果の高いレベルの成分から順に、データが転送されるという特徴がある。本実施の形態では、高いレベルの成分から順に評価値を算出することができるため、全データの転送を待つことなく、処理を行うことができため、効率的な処理が可能になる。
【０１８８】
また、実施の形態１、２に示す画像処理装置は、図１６のように構成してもよい。
【０１８９】
図１６は本発明の実施の形態２における画像処理装置のブロック図である。図１６にあらわされる画像処理装置は、特徴量ベクトル評価部（左向き）１７０４、特徴量ベクトル評価部（正面）１７０５、特徴量ベクトル評価部（右向き）１７０６の３つの特徴量ベクトルを評価することで、対象物体である顔の検出を行う。同じ顔であっても、その向きにより検出の容易性などに相違があるので、それぞれに応じた参照パラメータを用いて検出することが好ましいからである。
【０１９０】
顔の向きに応じた特徴量ベクトルは、各評価部で独立に評価される。このとき、あらかじめ検出に用いられる参照パラメータを、顔の正面と左右向きにあわせたパラメータとして保持しておくことで、顔の正面と左右向きに対応した顔検出を行うことができる。これにより複数の方向を向いた顔検出が可能になり、例えばセキュリティなどにおいてよりフレキシブルな検出処理を行うことができるようになる。
【０１９１】
以上のように、多重解像度解析によって得られる特徴のうち、まず高いレベルの成分で検出処理を行い、その後、低いレベルの成分で検出処理に移行することで、検出完了を早期に実現できるため、処理量の削減が可能となる。さらに、高いレベルの成分での検出処理から行われるので、検出精度も高いまま維持できる。
【産業上の利用可能性】
【０１９２】
本発明は、例えば、入力画像から所望の対象物体を検出する画像処理分野等において好適に利用できる。
【図面の簡単な説明】
【０１９３】
【図１】本発明の実施の形態１における画像処理装置のブロック図
【図２】本発明の実施の形態１における特徴量ベクトル評価部の内部構成図
【図３】本発明の実施の形態１における特徴量ベクトル評価部５の処理フローチャート
【図４】本発明の実施の形態１における特徴量ベクトル評価部の処理フローチャート
【図５】（ａ）本発明の実施の形態１における顔画像のイメージ  （ｂ）本発明の実施の形態１における非顔画像のイメージ
【図６】学習処理の流れを示すフローチャート
【図７】アンサンブル学習を行う学習部の構成図
【図８】本発明の実施の形態１における検出処理のフローチャート
【図９】本発明の実施の形態１における検出処理の処理図
【図１０】本発明の実施の形態１における画像処理装置を含む電子装置の構成図
【図１１】本発明の実施の形態２における画像処理装置のブロック図
【図１２】本発明の実施の形態２における特徴量ベクトル評価部の内部ブロック図
【図１３】本発明の実施の形態２における特徴量ベクトル評価部の動作フローチャート
【図１４】（ａ）本発明の実施の形態２における元画像イメージ  （ｂ）本発明の実施の形態２における多重解像度解析を行った画像イメージ
【図１５】本発明の実施の形態２における参照パラメータ生成のフローチャート
【図１６】本発明の実施の形態２における画像処理装置のブロック図
【図１７】従来の技術における画像処理装置のブロック図
【図１８】従来の技術における画像処理装置のブロック図
【符号の説明】
【０１９４】
１  画像処理装置
２  入力画像
３  部分画像切り出し部
４  特徴量ベクトル算出部
５  特徴量ベクトル評価部
６  画像識別部
７  相関値算出部
８  類似度算出部
９、２１  評価値算出部
１０  判定部
１１  参照用データベース
１２  参照パラメータ
１３  対象物体参照ベクトル
１４  非対象物体参照ベクトル
１５  重み係数
１６  検出結果
２０  特徴量ベクトル
２２  中間判定部
２３  最終判定部
２４  参照パラメータ保持部
２５  制御パラメータ保持部
１０１  ＣＰＵ
１０２  ＲＯＭ
１０３  バス
１０４  ＲＡＭ
１０５  ＨＤ
１０７  Ｉ／Ｆ
１０８  カメラ
６０１、１３０１  評価値算出部
６０２、１３０２  中間判定部
６０３、１３０３  最終判定部
６０４、１３０４  参照パラメータ保持部
６０５、１３０５  制御パラメータ保持部
１１０１  参照データベース格納部
１１０２  フィルタ部
１１０３  学習処理部
１１０４  評価データ部
１１０４  評価部
１７０３  特徴量ベクトル評価部（左向き）
１７０４  特徴量ベクトル評価部（正面）
１７０５  特徴量ベクトル評価部（右向き）
【図１】
2006163614.tif 000021
【図２】
2006163614.tif 000022
【図３】
2006163614.tif 000023
【図４】
2006163614.tif 000024
【図５】
2006163614.tif 000025
【図６】
2006163614.tif 000026
【図７】
2006163614.tif 000027
【図８】
2006163614.tif 000028
【図９】
2006163614.tif 000029
【図１０】
2006163614.tif 000030
【図１１】
2006163614.tif 000031
【図１２】
2006163614.tif 000032
【図１３】
2006163614.tif 000033
【図１４】
2006163614.tif 000034
【図１５】
2006163614.tif 000035
【図１６】
2006163614.tif 000036
【図１７】
2006163614.tif 000037
【図１８】
2006163614.tif 000038