(57)【要約】  画像ストリームにおいて顔を探知するための画像処理装置は、画像ストリームから新規の取得画像を繰り返し取り込み、画像には、１つ又は複数の顔領域を含んでいる可能性がある。取得画像は、特定の解像度でサブサンプリング（１１２）されて、サブサンプリング画像が得られる。サブサンプリングされた取得画像の少なくとも一部に対して、インテグラルイメージを計算する。インテグラルイメージの少なくとも一部に対して固定サイズの顔検出（１２０）を行うことにより、顔候補領域のグループが得られる。生成された顔候補領域や前回検出された顔候補領域に応じて、次回の取得画像をサブサンプリングするときの解像度が調節される。
2010500687.tif 000002
【特許請求の範囲】
【請求項１】
デジタル画像取得装置を用いて、画像ストリームにおける顔探知を行う方法であって、
ａ．前記画像ストリームから、１つ又は複数の顔領域を含む可能性のある新規の取得画像を取り込み、
ｂ．前記取得画像に対して、第１のサブサンプリング画像を得るために、特定の解像度でサブサンプリングを行い、
ｃ．前記サブサンプリングされた取得画像の少なくとも一部に対して、対応するインテグラルイメージを演算し、
ｄ．前記インテグラルイメージの少なくとも一部分に対して、任意のサイズおよび位置を有する顔候補領域のグループを得るために、少なくとも固定サイズの顔検出を行い、
ｅ．顔候補領域のグループと前回検出された顔領域におけるそれぞれのサイズおよび位置に応じて、次回の取得画像をサブサンプリングするときの解像度を調節し、
ｆ．ａ〜ｅの処理を繰り返し行う、
ことを特徴とする方法。
【請求項２】
前記画像ストリームにおける複数の画像から、異なるサイズの顔候補領域を探知することを特徴とする請求項１に記載の方法。
【請求項３】
異なるサイズの顔候補領域のグループを得るために、前記顔候補領域のグループを前回検出された顔領域と合成するステップを有することを特徴とする請求項１に記載の方法。
【請求項４】
前記取得画像のうち、合成された前記顔候補領域のグループにおける領域に対応した領域に関して、
インテグラルイメージを演算し、
確定された顔領域のグループと、不採用の顔領域のグループとを得るために、インテグラルイメージの各合成領域に対して、可変サイズの顔検出を行う、
ことを特徴とする請求項３に記載の方法。
【請求項５】
代替基準に基づいて、前記固定サイズの顔検出および前記可変サイズの顔検出から、不採用の顔領域をチェックし、
前記不採用の顔領域のいずれかが顔領域であることを示すことをチェックすることに応じて、前回不採用の顔領域を前記確定された顔領域のグループに合成する、
ことを特徴とする請求項４に記載の方法。
【請求項６】
前記合成は、取得画像における顔候補領域のグループと、前回の取得画像における確定した顔領域のグループとを合成することであることを特徴とする請求項４に記載の方法。
【請求項７】
前記調節は、略４つのサブサンプリングの解像度で循環して行うことを特徴とする請求項１に記載の方法。
【請求項８】
前記調節では、無限遠のフォーカスで取得された画像に応じて、サブサンプリングの解像度を最大の解像度に調節することを特徴とする請求項１に記載の方法。
【請求項９】
ａ〜ｅの処理を、画像ストリームのうち選択された複数の画像に対して周期的に行い、
前記複数の画像は、前記選択された複数の画像のうち、複数の画像に続くメインの取得画像を含むことを特徴とする請求項１に記載の方法。
【請求項１０】
前記複数の選択画像の間における時間間隔が固定されていることを特徴とする請求項９に記載の方法。
【請求項１１】
前記複数の選択画像の間における時間間隔が変更可能であって、動作時に決定されることを特徴とする請求項１０に記載の方法。
【請求項１２】
前記時間間隔は、前回のメイン取得画像を処理する際の時間であることを特徴とする請求項１１に記載の方法。
【請求項１３】
前記時間間隔は、前記複数の選択画像のうち、１つ又は複数の画像における内容が変化することに依存することを特徴とする請求項１２に記載の方法。
【請求項１４】
前記画像ストリームにおける画像から画像への内容の変化に応じて、ａ〜ｅの処理を繰り返し行うことを特徴とする請求項１に記載の方法。
【請求項１５】
前記取得画像のうち、合成された顔候補領域のグループにおける領域に対応した領域は、合成された顔候補領域のグループにおける各領域を囲む領域であることを特徴とする請求項４に記載の方法。
【請求項１６】
前記固定サイズの顔検出を行うことは、固定サイズのハール分類器（Haar classifier）のカスケードを前記インテグラルイメージに適用することであることを特徴とする請求項１に記載の方法。
【請求項１７】
前記カスケードは、３２分類器を有することを特徴とする請求項１２に記載の方法。
【請求項１８】
前記可変サイズの顔検出を行うことは、可変サイズのハール分類器における複数のカスケードを、インテグラルイメージの各合成領域に適用することであることを特徴とする請求項４に記載の方法。
【請求項１９】
ハール分類器における１０〜１２サイズまでのカスケードを適用し、好ましくは、ハール分類器における３および４のサイズを適用することを特徴とする請求項１８に記載の方法。
【請求項２０】
各カスケードは、３２分類器を有することを特徴とする請求項１９に記載の方法。
【請求項２１】
前記チェックでは、不採用の顔領域に対して、スキンプロトタイプを適用することを特徴とする請求項５に記載の方法。
【請求項２２】
取得画像を表示し、
前記表示された取得画像に対して、探知された顔候補領域を重畳させる、
ことを特徴とする請求項１に記載の方法。
【請求項２３】
前記メイン取得画像とともに、顔候補領域のグループのうち、少なくとも一部におけるサイズおよび位置の少なくとも一方を記憶することを特徴とする請求項９に記載の方法。
【請求項２４】
照明光を用いて取得された画像に応じて、前記取得画像のうち、探知された顔候補領域に対応した領域を、赤目現象のために分析することを特徴とする請求項１に記載の方法。
【請求項２５】
記憶された顔候補領域のサイズ又は位置に基づいて、メイン取得画像の空間選択的なポスト処理を行うことを特徴とする請求項２３に記載の方法。
【請求項２６】
選択的な画像処理は、色補正、鮮鋭化、ぼけ、彩度、サブサンプリング、圧縮又は、これらの組み合わせであることを特徴とする請求項２５に記載の方法。
【請求項２７】
前記取得画像において、赤目現象を補正することを特徴とする請求項２４に記載の方法。
【請求項２８】
前記取得画像とともに、前記赤目現象を示す情報を記憶させることを特徴とする請求項２４に記載の方法。
【請求項２９】
画像ストリームにおいて、繰り返して得られる顔を探知するための画像処理装置であって、
ａ．前記画像ストリームから、１つ又は複数の顔領域を含む可能性のある新規の取得画像を取り込み、
ｂ．前記取得画像に対して、サブサンプリング画像を得るために特定の解像度でサブサンプリングを行い、
ｃ．サブサンプリングされた取得画像の少なくとも一部に対して、対応するインテグラルイメージを演算し、
ｄ．顔候補領域のグループを得るために、インテグラルイメージの少なくとも一部分に対して、少なくとも固定サイズの顔検出を行い、
ｅ．顔候補領域のグループと前回検出された顔候補領域とに応じて、次回の取得画像をサブサンプリングするときの解像度を調節する、
ことを特徴とする画像処理装置。
【請求項３０】
前記画像処理装置は、デジタルスチルカメラ、ビデオカメラ、画像取得メカニズムを備えた携帯電話または、内蔵カメラ若しくは外付けカメラを備えた携帯コンピュータであることを特徴とする請求項２９に記載の画像処理装置。
【請求項３１】
デジタル画像取得装置を用いて、画像ストリームにおける顔を認識する方法であって、
ａ．認識される複数の顔のそれぞれに対して、識別子および関連するパラメータを有するデータベースを提供し、
ｂ．前記画像ストリームから、１つ又は複数の顔領域を含む可能性のある新規な取得画像を取り込み、
ｃ．前記取得画像に対して、第１のサブサンプリング画像を得るために、特定の解像度でサブサンプリングを行い、
ｄ．サブサンプリングされた取得画像の少なくとも一部に対して、対応するインテグラルイメージを演算し、
ｅ．任意のサイズおよび位置を有する顔候補領域のグループを得るために、インテグラルイメージの少なくとも一部分に対して顔検出を行い、
ｆ．顔候補領域で認識される顔のための識別子を得るために、複数の顔候補領域の少なくとも一部に対して、前記データベースを用いた顔認識を選択的に行い、
ｇ．前記画像ストリームにおける少なくとも１つの画像とともに、認識された顔の識別子を記憶し、
ｇ．ｂ〜ｇの処理を繰り返し行う、
ことを特徴とする方法。
【請求項３２】
顔候補領域のグループと前回検出された顔領域におけるサイズおよび位置に応じて、新規の取得画像をサブサンプリングするときの解像度を調節することを特徴とする請求項３１に記載の方法。
【請求項３３】
顔検出は、各候補領域に対して信頼性のレベルを与え、
顔認識は、所定の閾値よりも高い信頼性レベルを有する顔候補領域に対して行われることを特徴とする請求項３１に記載の方法。
【請求項３４】
前記識別子は、前記画像ストリームにおけるフル解像度の画像とともに記憶されることを特徴とする請求項３１に記載の方法。
【請求項３５】
画像ストリームにおいて顔を認識するための画像処理装置であって、繰り返して得られ、認識される複数の顔のそれぞれに対する識別子および関連するパラメータを有するデータを備えた装置において、
ｂ．前記画像ストリームから、１つ又は複数の顔領域を含む可能性のある新規の取得画像を取り込み、
ｃ．前記取得画像に対して、第１のサブサンプリング画像を得るために、特定の解像度でサブサンプリングを行い、
ｄ．サブサンプリングされた取得画像の少なくとも一部に対して、対応するインテグラルイメージを演算し、
ｅ．前記インテグラルイメージの少なくとも一部に対して、任意のサイズおよび位置を有する顔候補領域のグループを得るために、顔検出を行い、
ｆ．前記顔候補領域において認識される顔の識別子を得るために、複数の顔候補領域の少なくとも一部に対して、前記データベースを用いた顔認識を選択的に行い、
ｇ．前記画像ストリームにおける少なくとも１つの画像とともに、認識された顔の識別子を記憶する、
ことを特徴とする画像処理装置。
【請求項３６】
デジタル画像取得装置を用いて画像ストリームにおける顔を検出する方法であって、
ａ．前記画像ストリームのうち少なくとも１つの画像に対して、前記取得装置の向きを判別し、
ｂ．前記画像ストリームから、１つ又は複数の顔領域を含む可能性のある画像を取得し、
ｃ．任意のサイズおよび位置を有し、判別された向きに応じた顔候補領域のグループを得るために、前記取得画像の少なくとも一部に対して顔検出を行う、
ことを特徴とする方法。
【請求項３７】
前記顔検出では、任意の向きにおいて利用可能な複数の分類器シーケンス（classifier sequence）から、１つの分類器シーケンスを選択的に採用することを特徴とする請求項３６に記載の方法。
【請求項３８】
画像ストリームにおいて顔を検出するための画像処理装置であって、
ａ．前記画像ストリームにおける少なくとも１つの画像に対して、取得装置の向きを判別し、
ｂ．前記画像ストリームから、１つ又は複数の顔領域を含む可能性のある画像を取得し、
ｃ．任意のサイズおよび位置を有し、判別された向きに応じた顔候補領域のグループを得るために、取得画像の少なくとも一部に対して顔検出を行う、
ことを特徴とする画像処理装置。
【請求項３９】
装置の向きを示すためのハードウエアの姿勢センサを有することを特徴とする請求項３８に記載の画像処理装置。
【請求項４０】
前記装置は、この装置の向きを判別するために、前記画像ストリームにおける１つ又は複数の画像の内容を分析することを特徴とする請求項３８に記載の画像処理装置。
【請求項４１】
デジタル画像取得装置を用いて、画像ストリームにおける顔を探知する方法であって、
ａ．前記画像ストリームから、１つ又は複数の顔領域を含む可能性のある新規な取得画像を取り込み、
ｂ．任意のサイズおよび位置を有する顔候補領域の関連するグループを有する前回の取得画像に対する新規の取得画像の相対的な移動を示す情報を取り込み、
ｃ．更新される顔候補領域のグループを得るために、前記移動に応じて、顔候補領域の近傍に位置する新規の取得画像の少なくとも一部に対して、調節された顔検出を行い、
ｄ．ａ〜ｃの処理を繰り返して行う、
ことを特徴とする方法。
【請求項４２】
相対的な移動を示す情報は、移動方向および移動サイズを含むことを特徴とする請求項４１に記載の方法。
【請求項４３】
調節された顔検出では、顔検出を行う前に、前記移動に応じて、顔候補領域の関連するグループをシフトさせることを特徴とする請求項４１に記載の方法。
【請求項４４】
前記顔領域は、このサイズおよび移動に応じてシフトされることを特徴とする請求項４３に記載の方法。
【請求項４５】
調節された顔検出では、移動に応じて拡大された前回の取得画像に関連した候補領域を有する新規の取得画像における領域に対して顔検出を行うことを特徴とする請求項４１に記載の方法。
【請求項４６】
前記領域は、元サイズおよび移動に応じて、拡大されることを特徴とする請求項４５に記載の方法。
【請求項４７】
画像ストリームにおいて繰り返して得られる顔を探知するための画像処理装置であって、
ａ．前記画像ストリームから、１つ又は複数の顔領域を含む可能性のある新規の取得画像を取り込み、
ｂ．任意のサイズおよび位置を有する顔候補領域の関連したグループを有する前回の取得画像に対する新規の取得画像の相対的な移動を示す情報を取得し、
ｃ．更新される顔候補領域のグループを得るために、移動に応じて、新規の取得画像のうち顔候補領域の近傍に位置する少なくとも一部に対して、調節された顔検出を行う、
ことを特徴とする画像処理装置。
【請求項４８】
加速度センサと、加速度センサに接続された制御利得増幅器とを備えた動きセンサを有し、
前記装置は、高解像度の画像を取得するために、前記増幅器のゲインを低下させるとともに、低解像度の画像のストリームを取得する間は、前記増幅器のゲインを上昇させることを特徴とする請求項４７に記載の画像処理装置。
【請求項４９】
動きセンサを有し、
前記動きセンサは、ＭＥＭＳセンサであることを特徴とする請求項４７に記載の画像処理装置。
【請求項５０】
デジタル画像取得装置を用いて画像ストリームにおける顔を検出する方法であって、
ａ．前記画像ストリームから、１つ又は複数の顔領域を含む可能性のある新規の取得画像を取り込み、
ｂ．取得画像に対して、サブサンプリング画像を得るために、特定の解像度でサブサンプリングを行い、
ｃ．前記取得画像のうち、大部分で肌の色合いを含む1つ又は複数の領域を識別し、
ｄ．サブサンプリングされた取得画像のうち、少なくとも肌の色合いを含む複数の領域に対して、対応するインテグラルイメージを演算し、
ｅ．任意のサイズおよび位置を有する顔候補領域のグループを得るために、インテグラルイメージの少なくとも一部に対して顔検出を行い、
ｆ．ａからｅの処理を繰り返し行う、
ことを特徴とする方法。
【請求項５１】
前記識別は、サブサンプリングされた画像に対して行われることを特徴とする請求項５０に記載の方法。
【請求項５２】
前記顔検出は、緩和された顔検出パラメータを用いて行われることを特徴とする請求項５０に記載の方法。
【請求項５３】
前回の取得画像に関連した顔候補領域のグループのいずれかに対して、新規の取得画像における対応領域の輝度特性のコントラストを強調することを特徴とする請求項５０に記載の方法。
【請求項５４】
前記強調は、サブサンプリング画像に対して行われることを特徴とする請求項５３に記載の方法。
【請求項５５】
前記強調は、インテグラルイメージの演算時に行われることを特徴とする請求項５３に記載の方法。
【請求項５６】
前記デジタル画像取得装置の顔検出モードにおいて、少なくとも１つの顔候補領域が検出されるまで、露出パラメータを徐々に増加させながら新規の画像を取得することを特徴とする請求項５０に記載の方法。
【請求項５７】
画像ストリームにおいて、繰り返して得られる顔を検出するための画像処理装置であって、
ａ．前記画像ストリームから、１つ又は複数の顔領域を含む可能性のある新規の取得画像を取り込み、
ｂ．取得画像に対して、サブサンプリング画像を得るために、特定の解像度でサブサンプリングを行い、
ｃ．前記取得画像のうち、大部分で肌の色合いを含む１つ又は複数の領域を識別し、
ｄ．サブサンプリングされた取得画像のうち、少なくとも肌の色合いを含む複数の領域のそれぞれに対して、対応するインテグラルイメージを演算し、
ｅ．任意のサイズおよび位置を有する顔候補領域のグループを得るために、前記インテグラルイメージの少なくとも一部に対して顔検出を行う、
ことを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、取得装置の画像処理において、改良された方法および装置を提供するものである。具体的には、本発明は、デジタル画像取得装置において、リアルタイムでの顔探知を改良したものである。
【背景技術】
【０００２】
デジタル画像取得装置における顔探知は、ビデオストリームやカメラのプレビューといった一連の画像において、人間の顔をマーキングするものである。顔探知によって、撮影者に対して、画像内における顔の位置を示すことができ、顔位置の認識に基づいて、取得パラメータを変更したり、画像の主な処理を行わせたりすることができる。
【０００３】
一般的に、画像探知システムでは、２つの主なモジュールが用いられる。（i）取得画像又は連続した複数の画像において、新しい候補である顔領域の位置のための検出モジュールと、（ii）顔領域を確定するための探知モジュールとがある。
【０００４】
公知である高速顔検出アルゴリズム（Fast-Face Detection Algorithm）が米国特許出願公開第２００２／０１０２０２４号明細書において、Violla Jonesによって開示されている。簡単には、まず、取得画像、通常は、ビデオストリームにおける画像フレームからインテグラルイメージを抽出する。インテグラルイメージの各要素は、すべての点および画像内の点の左の明度の合計として算出される。そして、サブウィンドウの底部右側の点におけるインテグラルイメージの値から、サブウィンドウの上部左側の点におけるインテグラルイメージの値を減じることにより、画像内におけるサブウィンドウの合計の明度を得ることができる。また、隣接するサブウィンドウの明度は、サブウィンドウの点から、インテグラルイメージの値の特定の組み合わせを用いて、比較することができる。
【０００５】
矩形のHaar特徴に基づく３２分類器のチェーン（カスケード）は、インテグラルイメージ内のサブウィンドウに対して分類器を用いることにより、インテグラルイメージとともに用いることができる。取得画像を完全に分析するためには、全体の画像をカバーするまで、インテグラルイメージにおいてサブウィンドウを徐々にシフトさせる。
【０００６】
全体のインテグラルイメージにおいてサブウィンドウを移動させることに加えて、顔のサイズの可能な領域をカバーするために、サブウィンドウのスケールを大きくしたり、小さくしたりしなければならない。Violla-Jonesでは、１．２５のスケール因子が用いられ、一般的には、ＸＶＧＡサイズの画像において可能な顔サイズをカバーするためには、互いに異なる約１０−１２のスケールの範囲が必要となる。
【０００７】
このため、大きなサイズのサブウィンドウが、演算のために、インテグラルイメージ内の中間点を用いることができるとき、インテグラルイメージの解像度は、最も小さいサイズの分類器のサブウィンドウ、例えば、検出対象となる最も小さなサイズの顔によって、決定される。
【０００８】
近年、Violla-Jonesの元の原理を変更したものが多く知られている。これらは、矩形のHaar特徴の分類器を適用し、Violla-Jonesにおけるインテグラルイメージの技術を用いている。
【０００９】
Violla-Jonesの顔検出は他の顔検出よりも大幅に速く行うことができるが、依然として多くの演算が要求され、Pentiumクラスのコンピュータにおいてリアルタイムの性能が達成できるだけである。携帯型画像取得装置（例えば、デジタルカメラ、携帯型コンピュータ、カメラを備えた携帯電話）といった資源制限の埋め込みシステムでは、ビデオに対して、リアルタイムのフレームレートでこのような顔検知を実行することはできない。一般的なデジタルカメラでのテストから、３−４分類器のカスケードで、１０−１２サブウィンドウのスケールの範囲を完了させることができるだけである。これは、初期の顔検出における幾つかのレベルを達成することはできるが、容認できない高い失敗割合がある。
【００１０】
米国特許出願公開第２００５／０１４７２７８において、Ruiは、複数のキュー（cues）を用いて複数の個人を自動的に検出して探知するシステムを開示している。Ruiは、高速顔検出として、Violla-Jonesの技術を用いている。Violla-Jonesの処理オーバーヘッドを避けるためには、ビデオシーケンスのフレームにおいて新規の顔を検出するために、動作、オーディオ、高速顔検出の組み合わせを利用する自動初期化モジュールを用いることを開示している。残りのシステムでは、フレーム間において、次に存在し、新しく発見された顔候補領域に対して公知の顔探知が適用される。また、Ruiは、完全な顔検出を実行するためには、幾つかのビデオフレームを省略する必要があることを開示している。
【発明の開示】
【００１１】
本発明の第１の観点では、請求項１に記載の方法を提供する。
【００１２】
本発明の第１の観点は、画像ストリームにおけるすべての取得画像に対して、高解像度の完全なインテグラルイメージを計算する必要性を省略して、顔探知システムで要求されるインテグラルイメージの計算を最小限にすることにある。これは、顔検出および顔探知のための処理を最小限にしたり、フレーム間の処理間隔の間で長い分類器チェーン（classifier chain）を実行したりすることにより、高品質の結果を得ることができる。これにより、リアルタイムの顔検出や顔探知の性能および／又は精度を大幅に向上させることができる。
【００１３】
好ましい実施例において、顔検出時に画像取得装置で本発明が実行されるときに、カメラハードウエアの画像取得サブシステムから取得画像のサブサンプリングされたコピーが抽出され、サブサンプリング画像に対してインテグラルイメージが計算される。顔探知時において、各候補領域を囲む画像パッチに対しては、インテグラルイメージが計算される。
【００１４】
このような動作において、顔検出の処理は、複数のフレームにおいて行われる。このことは、効果的な動作のためには有益である。一例として、デジタル画像取得ハードウエアにおいて、１つのサイズに対してサブサンプリングさせるようにする。本発明では、写真を撮るときに、ビデオシーケンスの複数のフレームには、一般的に顔が存在しているといった事実に基づいている。本発明では、効率を大幅に向上させながら、演算の軽減が最初の顔検出に大きな影響を与えることがない。
【００１５】
好ましい実施例において、３−４の最も小さなサイズ（最も低い解像度）のサブサンプリング画像は、周期的に用いられる。カメラのフォーカスが無限遠に設定されているといった場合には、取得画像内に小さな（遠い）顔があるときに、大きな画像のサブサンプルが周期的に含まれる。他の実施例において、複数のサブサンプリング画像は、予測された有力の顔サイズに基づいて、予測された被写体までの距離に基づいて、変更することができる。この距離は、焦点距離やフォーカス距離に基づいて予測することができ、これらの取得パラメータは、画像装置のファームウェアにおいて、他のサブシステムから利用可能である。インテグラルイメージを生成するために順に用いられるサブサンプリング画像の解像度／スケールを変更することにより、互いに異なるサイズのインテグラルイメージに対して、１つの固定されたサイズの分類器を適用することができる。このような手法は、ハードウエアの実施例に対して特に受け入れられる。この実施例において、サブサンプリング画像の記憶領域は、固定サイズのダイレクトメモリアクセス（ＤＭＡ）ウィンドウによってスキャンされることができ、Haar特徴の分類器チェーンを実行するためのデジタルロジックを、ＤＭＡウィンドウに適用することができる。ただし、幾つかのサイズの分類（ソフトウエアの実施例において）又は、複数の固定サイズの分類（ハードウエアの実施例において）を用いることができることは明らかである。
【００１６】
本発明の観点における重要な効果は、フレーム間において、最も低い解像度のインテグラルイメージを計算するだけである。
【００１７】
好ましくは、各顔候補領域を囲むフル解像度の画像パッチは、次の画像フレームを取得する前に取得される。そして、このような各画像パッチに対してインテグラルイメージが計算され、各画像パッチに対して複数スケールの顔検出が行われる。複数スケールの顔検出によって、顔領域であると発見された領域は、確定された顔領域となる。
【００１８】
本発明の第１の観点は、Ruiに記載された動作やオーディオキュー（audio queues）を行う必要がなく、しっかりした顔検出および顔探知をデジタルカメラで達成させることができる。
【００１９】
本発明の第２の観点は、請求項３１に記載の方法を提供することにある。
【００２０】
この観点によれば、顔探知によって画像ストリームから顔領域が検出されたときに、取得装置のファームウェアは、好ましくは取得装置に格納され、個別の識別子や関連する顔のパラメータを有するデータベースを用いて、顔の位置において顔認識アルゴリズムを動作させる。
【００２１】
この本発明の観点では、顔検出および顔認識のために、１つの画像を用いた、正確な動作の可能性が低いアルゴリズムの課題を低減させる。
【００２２】
本発明の第３の観点は、請求項３６に記載の方法を提供することにある。
【００２３】
この観点によれば、取得装置は、取得画像における顔の向きを示す姿勢センサを有している。判別されたカメラの向きは、顔の向きに対して顔検出だけを行う顔検出処理に送られる。これにより、処理要求および／又は顔検出精度が向上する。
【００２４】
本発明の第４の観点は、請求項４１に記載の方法を提供することにある。
【００２５】
この本発明の観点では、動きセンサのサブシステムを実行して、顔探知モジュールに対して、顔探知シーケンス時に取得装置の大きな動作を示すことにより、顔探知モジュールの性能が向上する。
【００２６】
取得装置が景色に対してゆっくりパンニングされるというよりは、ユーザによって突然動かされた場合には、このようなセンサを用いることなく、ビデオシーケンスの次回のフレームにおける顔候補領域を、前回のビデオフレームにおける対応する候補領域の近傍において、表示させることができ、顔探知モジュールは、候補の再検出を必要とする顔の探知を行わない。
【００２７】
本発明の第５の観点は、請求項５０に記載の方法を提供することにある。
【００２８】
肌の色調を含む領域は、実際には、顔を含むことが多いため、大部分で肌の色調を含む領域に対して顔検知器を動作させるだけで、より緩和された顔検出を行うことができる。このため、高速の顔検出を行うことができ、全体の画像に対して顔を確実に検出する必要がある厳密な顔検出を行う場合と同様の品質結果を効率的に得ることができる。
【図面の簡単な説明】
【００２９】
本発明の一例である実施例について、図面を参照しながら説明する。
【００３０】
【図１】図１は、本発明の好ましい実施例である画像処理装置における主な要素を説明するブロック図である。
【図２】図２は、図１の画像処理装置の動作を説明するフローチャートである。
【図３】図３（ａ）−（ｄ）は、本実施例の装置によって処理された画像の一例を示す。
【発明を実施するための形態】
【００３１】
図１は、本発明の好ましい実施例である顔探知システムの主なサブシステムを示す。実線は、画像データの流れを示し、点線は、モジュールにおける制御入力又は情報出力（例えば、検出された顔の位置）を示す。本実施例において、画像処理装置としては、デジタルスチルカメラ（ＤＳＣ）、ビデオカメラ、画像取得メカニズムを備えた携帯電話又は、カメラが内蔵又は外付けされる携帯型コンピュータがある。
【００３２】
デジタル画像は、画像センサ（ＣＣＤ又はＣＭＯＳ）［１０５］においてローフォーマット（Raw Format）の形式で取得され、画像サブサンプラ［１１２］は、メイン画像の小さなコピーを生成する。多くのデジタルカメラでは、画像のサブサンプリングを行うため、例えば、カメラのディスプレイにプレビュー画像を表示させるために、ハードウエアのサブシステムを既に備えている。一般的に、サブサンプリングされた画像は、ビットマップ形式（ＲＧＢ又はＹＣＣ）となっている。一方、一般的な画像取得チェーン（chain）は、ＲＡＷ画像［１１０］において、輝度や色の調節を一般的に含むポスト処理を行う。デジタル画像システムにおいて、サブサンプリングは、ポスト処理の後に行われたり、全体のポスト処理におけるフィルタチェーンが完了する前であって、特定のポスト処理のフィルタが適用された後に行われたりする。
【００３３】
次に、サブサンプリングされた画像は、サブサンプリング画像からインテグラルイメージを生成するインテグラルイメージ生成器［１１５］を通過する。インテグラルイメージは、次に、固定サイズ顔検出器［１２０］を通過する。顔検出は、インテグラルイメージの全体に対して行われる。ただし、インテグラルイメージが、メイン画像のサブサンプリングされたコピーのインテグラルイメージであるときには、顔検出器によって要求される処理は、比例して減らされる。サブサンプルがメイン画像の１／４である場合には、要求される処理時間は、全画像に対して要求されるものの２５％だけとなることを意味している。
【００３４】
この方法は、ハードウエアの実施例において特に適している。この実施例では、ハール特徴の分類器チェーンをＤＭＡウィンドウに適用することができるように、固定サイズのＤＭＡウィンドウおよびデジタルロジックによって、サブサンプリング画像のメモリ空き領域がスキャンされる。しかしながら、幾つかのサイズの分類器の使用（ソフトウエアの実施例）や、複数の固定サイズの分類の使用（ハードウエアの実施例）を妨げられない。重要な利益は、小さなインテグラルイメージを演算することにある。
【００３５】
高速顔検出器［２８０］を適用した後において、新しく検出された候補の顔領域［１４１］は、顔探知モジュール［１１１］を通過し、ここで、顔探知［２９０］を行う［１４２］前に、前回の分析［１４５］から確定された顔領域と、新しい候補の顔領域とが合成される。
【００３６】
後述する顔探知［２９０］は、確定した候補領域［１４３］のセットを探知モジュール［１１１］に戻す。更なる画像処理フィルタは、探知モジュール［１１１］によって行われ、これらの確定した領域［１４３］が顔領域であるか否かを確認したり、顔探知［２９０］によって確定されない場合には、候補としてメイン領域を確定したりする。最終的な顔領域のセット［１４５］は、モジュール［１１１］によって出力することができ、画像探知の次回の反復で使用されるだけでなく、カメラの他の部分で使用されたり、カメラ又はオフラインにおいて格納されたり、後処理のためにカメラ又はオフラインに取得画像と共に格納されたりすることができる。
【００３７】
主な画像取得チェーンが完了した後において、メイン画像［１３０］のフルサイズのコピーは、画像取得システムにおけるシステムメモリ［１４０］に格納しておくことができる。これは、候補領域抽出器［１２５］によってアクセスされることができる。候補領域抽出器は、顔探知［２９０］の要素であり、顔探知モジュール［１１１］から取得された顔候補領域データ［１４２］に基づいて、画像パッチを選択する。各候補領域に対する画像のパッチは、インテグラルイメージ生成器［１１５］に送られ、得られたインテグラルイメージは、ＶＪ検出器を一例として挙げられる可変サイズ検出器［１２１］に送られた後に、異なるスケールの範囲内における各候補領域のインテグラルイメージに対して、分類器チェーン（classifier chain）、好ましくは少なくとも３２分類器チェーンが適用される。
【００３８】
顔検出器［１２１］で採用されたスケールの範囲［１４４］は、顔探知モジュール［１１１］によって決定されるとともに供給される。そして、現在の顔候補領域［１４２］の履歴に関する統計的な情報や、画像取得システム内における他のサブシステムで決定された外部メタデータに部分的に基づいている。
【００３９】
前者の例としては、取得された画像フレームの特定番号に対する特定サイズにおいて顔候補領域が常に保持されている場合には、顔検出器［１２１］は、この特定のスケールで適用され、高いスケール（例えば、１．２５倍大きい）および低いスケール（例えば、１．２５倍小さい）で適用されることもある。
【００４０】
後者の例としては、画像取得システムのフォーカスが無限遠に移動した場合には、顔検出器［１２１］において最も小さなスケーリングを適用する必要がある。通常、これらのスケーリングは、顔候補領域に対して数倍も大きいものに適用しなければならないときには、完全にカバーするために、採用されない。顔候補領域がこれ以上小さくならない最小のサイズを有していることは無駄にならない。これは、フレーム間においてユーザによるカメラの移動を特定するために用いられる。動きセンサを有する画像取得システムにおいては、特定される動作を探知することができるとともに、この情報は、スケールの選択や候補領域のサイズを更に変更するために用いることができる。
【００４１】
候補領域探知器［２９０］は、画像パッチの可変サイズ顔検出のすべてに基づいて確定された顔領域のセット［１４３］を顔探知モジュール［１１１］に供給する。具体的には、幾つかの候補領域が確定されるとともに、他の領域が拒否される。これらは探知器［２９０］によって明確に戻すことができたり、確定領域［１４３］および候補領域［１４２］の間における相違を分析することにより、探知モジュール［１１１］によって演算されたりすることができる。いずれの場合においても、顔探知モジュール［１１１］は、（上述したように）探知器［２９０］によって拒否された候補領域に対して代替的なテストを行うことにより、これらが次回の探知サイクルにおける候補領域［１４２］として維持できるか否かを判別したり、これらが実際に探知から除外すべきか否かを判別したりすることができる。
【００４２】
確定した候補領域のセット［１４５］が顔探知モジュール［１１１］によって決定された場合には、モジュール［１１１］は、サブサンプラ［１１２］と通信して、次に取得された画像がサブサンプルされたものか、検出器［２８０］に供給されたか、次回取得した画像がサブサンプルされたときの解像度を提供したか否かを判別する。
【００４３】
次の画像を取得したときに検出器［２８０］が動作していない場合には、次回の取得画像のために抽出器［１２５］に送られた候補領域［１４２］が、最終的に取得された画像から探知モジュール［１１１］によって確定された領域［１４５］であることが分かる。一方、顔検出器［２８０］が候補領域の新しいセット［１４１］を顔探知モジュール［１１１］に供給したときには、これらの候補領域は、確定された領域の前回のセット［１４５］と合成され、次回の画像取得のために、候補領域［１４２］のセットを抽出器［１２５］に供給する。
【００４４】
図２は、メインのワークフローを詳細に示している。処理は、以下に分岐される。（ｉ）検出／初期化段階では、フル画像のサブサンプリング版で動作する高速顔検出器［２８０］を用いて、新しい顔候補領域［１４１］を探索する。（ｉｉ）第２の顔検出処理［２９０］は、前回取得された１つ以上の画像フレームにおける顔の位置に基づいて決定された候補領域［１４２］に対して抽出された画像パッチで行われる。（ｉｉｉ）主な探知処理では、確定して顔領域［１４３］の統計的な履歴を演算して記憶する。ここでは、候補領域探知器［２９０］を適用する前に、高速顔検出器［２８０］を適用しているが、この順序は重要ではない。また、高速検出は、各フレームに対して実行する必要はなく、特定の環境では、複数のフレームに対して適用することができる。
【００４５】
このため、ステップ２０５では、メイン画像が取得され、ステップ２１０では、図１で説明したように、メイン画像に対する一次画像処理が実行される。上述したように、ステップ２１１では、サブサンプラ［１１２］がサブサンプリングされた画像を生成し、これらの画像から生成器［１１５］はインテグラルイメージを生成する。ステップ２２０において、インテグラルイメージは固定サイズ顔検出器［１２０］に供給され、固定サイズのウィンドウは、インテグラルイメージ内における顔候補領域［１４１］のセットを顔探知モジュールに送る。これらの領域のサイズは、顔探知モジュールによってサブサンプラとして特定されたサブサンプリングスケール［１４６］によって決定され、このスケールは、前回のサブサンプリング画像／インテグラルイメージの検出器［２８０］による分析や、前回取得された画像からの探知［２９０］によるパッチだけでなく、カメラのフォーカスや移動といった他の入力に基づくものである。
【００４６】
ステップ２４２において、候補領域［１４１］のセットは、存在する確定した領域［１４５］のセットと合成され、確定のために用いられる、合成された候補領域［１４２］のセットを生成する。
【００４７】
ステップ２２５において、顔探知モジュール１１１によって特定された候補領域［１４２］に対して、候補領域抽出器［１２５］は、取得画像から、対応するフル解像度のパッチを抽出する。インテグラルイメージは、ステップ２３０において、抽出された各領域で生成される。そして、顔検出器１２１によって、インテグラルイメージ領域に対して、例えば、Violla-Jones分析といった可変サイズ顔検出が行われる。これらの結果［１４３］は、ステップ２４０において、順に、顔探知モジュール［１１１］に送られる。
【００４８】
探知モジュール［１１１］は、確定した一組の領域［１４５］を出力する前に、これらの領域［１４３］に対して処理を行う。これに関して、ステップ２４５において、探知［２９０］によって確定された領域［１４３］や、探知２９０によって確定されていないか、検出器［２８０］によって検出されていない維持された候補領域［１４２］のいずれかに対して、モジュール１１１による追加のフィルタを適用することができる。
【００４９】
例えば、一連の取得された複数の画像において、顔領域の探知を行っても、無い場合には、モジュール［１１１］の領域に対してスキンプロトタイプを適用して、カメラを向いている被写体がちょうど向きを変えているか否かを判別することができる。そうである場合には、この候補領域は、次に取得される画像におけるチェックのために保持させておき、被写体がカメラに振り向いているかを判断することができる。
【００５０】
任意のタイミングで保持された確定領域のサイズや、これらのサイズの履歴、例えば、これらが大きくなったり、小さくなったりすることに応じて、モジュール１１１は、ステップ２５０において、検出器［２８０］によって分析される次に取得された画像をサブサンプリングするためのスケール［１４６］を決定し、これをサブサンプラ［１１２］に供給する。
【００５１】
一般的には、高速顔検出器［２８０］は、すべての取得された画像に対して動作する必要はない。例えば、サブサンプリングされた複数の画像の１つの元画像だけが利用できる場合において、カメラが１秒間に６０フレームを取得するときには、ユーザのプレビューのためにカメラディスプレイに供給されるサブサンプリングされた画像を、１秒間に１５−２５フレーム（frames per second; fps）だけ取得することができる。明確には、これらの画像は、同一のスケールで、表示のための十分な高解像度でサブサンプリングされる必要がある。残りの３５−４５ｆｐｓの一部又はすべては、顔検出および顔探知の目的のために探知モジュール［１１１］で要求されるスケールにおいて、サンプリングすることができる。
【００５２】
複数の画像をストリームから選択する際の周期の決定は、固定の数に基づいて行ったり、実行時間を変更したりすることができる。このような場合において、次回サンプリングされた画像の決定は、取得された現時刻のストリームと顔探知処理の間における一致性を維持するために、前回の画像に要した処理時間に基づいて決めることができる。これにより、複雑な画像環境において、サンプリング割合を減らすことができる。
【００５３】
また、次回のサンプルの決定は、複数の選択画像における内容の処理に基づいて、行うこともできる。画像ストリームにおいて大きな変化が無い場合には、全体の顔探知処理を行う必要がない。このような場合には、サンプリング割合が一定であるにも拘わらず、単純な画像比較が行われ、妥当な違いがあると決定したときにのみ、顔探知アルゴリズムを開始させることができる。
【００５４】
顔検出器［２８０］は、規則的な間隔で動作する必要はない。例えば、カメラのフォーカスが大幅に変化したときには、顔検出器は、より頻繁に動作する必要があり、具体的には、サブサンプリングされた画像の異なるスケールを用いて、サイズを変更すべき顔を検出する必要がある。また、フォーカスが素早く変化した場合には、検出器［２８０］は、フォーカスが安定するまで、この間に存在するフレームをスキップすることができる。ただし、一般的には、無限遠にフォーカスしているときにのみ、生成器［１１５］によって高解像度のインテグラルイメージを生成すべきである。
【００５５】
後者の場合において、検出器は、１つのフレームにおいて、取得され、サブサンプリングされた画像の全領域をカバーすることができなくてもよい。すなわち、第１のフレームにおいて、取得され、サブサンプリングされた画像の一部だけと、連続的に取得された画像フレームにおける画像の他の部分に対して、検出器を適用することができる。好ましい実施例としては、周辺から画像に含まれる小さな顔を検出するために、最初に取得した画像フレームでは、取得画像の外側領域に対して検出器を適用し、後に続くフレームでは、画像の中央側の領域に対して検出器を適用することができる。
【００５６】
画像のうち、顔検出器１２０を適用する領域を制限する方法として、肌の色調を含む画像の領域を識別する方法がある。米国特許第６，６６１，９０７号明細書では、肌の色調を検出したり、これに続いて、主な肌の色を有する領域において、顔検出を適用したりするための技術が開示されている。
【００５７】
本発明の一実施例において、取得画像のサブサンプリングされたものに対して、好ましくは、スキンセグメンテーション１９０を適用することができる。サブサンプリングされたものの解像度が不十分である場合には、画像記憶部１５０に記憶された前回の画像又は、次回サブサンプリングされる画像を、２つの画像が現在の取得画像に対して内容が大きく異ならない限り、用いることができる。また、フルサイズのビデオ画像１３０に対して、スキンセグメンテーション１９０を適用することができる。
【００５８】
いずれの場合においても、肌の色調を含む領域は、複数の外接矩形によって区別され、これらの外接矩形は、インテグラルイメージ生成器１１５に供給され、探知インテグラルイメージ生成器１１５と同様に、矩形に対応したインテグラルイメージ領域が生成される。
【００５９】
この方法は、インテグラルイメージの生成や顔検出の動作に関連した処理オーバーヘッドを軽減させるだけでなく、本実施例において、肌の色合いの領域は実際には顔を含むことが多いため、顔検出器１２０は、外接矩形に対して緩和された顔検出を適用することができる。このため、ＶＪ検出器１２０に対しては、短い分類器のチェーンを適用することができ、顔を正確に検出する必要がある長いＶＪ分類器（VJ classifier）を用いて顔全体に対して顔検出を行った場合と同様の品質結果を効率的に得ることができる。
【００６０】
顔検出の更なる改良も可能である。例えば、顔検出は、照明状態に特に依存することが分かっており、照明の僅かな変化によって、顔検出が失敗することがあり、不安定な検出が生じてしまう。
【００６１】
本実施例において、確定した複数の顔領域１４５は、後に取得され、サブサンプリングされた画像のうち、輝度補正を行って、所望のパラメータに分析する画像の領域を提供する領域を区別するために用いられる。このような補正の一例としては、確定顔領域１４５によって定義されたサブサンプリング画像の領域内において、輝度のコントラストを改善させるものがある。
【００６２】
コントラストの強調は、よく知られており、一般的には、画像のローカルコントラストを上げるために、具体的には、画像の利用可能なデータを近いコントラスト値によって表示するときに用いられる。この調節を介して、ヒストグラムで表示するときに、近くに分布されるような領域の画素に対する明度を、より分散させることができる。これにより、低いローカルコントラストの領域において、幅広いコントラストに影響を与えることなく、高いコントラスを得ることができる。これは、ヒストグラム平坦化によって、頻度の高い明度の値を効率的に分散させることによって達成することができる。
【００６３】
この方法は、背景および前景がともに明るかったり、暗かったりした画像において、有効である。特に、この方法では、露出オーバー又は露出アンダーの写真において、より良い詳細が得られる。
【００６４】
また、輝度補正は、生成器１１５における調節されたインテグラルイメージの演算に含めることができる。
【００６５】
他の改良において、顔検出を用いるときに、顔検出によって顔にロックされるまで、カメラのアプリケーションが、演算されたデフォルトから高い値（フレーム間で、景色の露出を僅かにオーバーにする）に露出を同時に変更するように設定する。
【００６６】
他の実施例において、顔検出器１２０は、画像間において実質的に異なる領域に対してのみ動作することができる。内容の変化のために２つのサンプル画像を比較する前に、ズーミング、パンニングおよびチルティングといったカメラの動作によって生じるカメラの変化のバラツキを取り除くために、画像間における登録の段階が必要となる。
【００６７】
カメラのファームウェアからズーム情報を取得することができるとともに、カメラのメモリ１４０又は画像記憶１５０において画像を分析するソフトウエア技術を用いて、１つの画像から他の画像にかけて、カメラのパンニング又はチルティングの度合いを決定することができる。
【００６８】
本発明の実施例において、取得装置に動きセンサ１８０（図１）を設けて、１つの画像から他の画像にかけて、パンニングの度合いや方向を決定することができる。このため、ソフトウエアにおいて、カメラの動作を判別する処理要求を回避することができる。
【００６９】
多くのデジタルカメラでは、主にメイン画像の取得時に手振れのための補正や警告のために、カメラ内に動きセンサ（一般的には、加速度センサに基づくもの、選択的に、ジャイロ原理に基づくもの）が搭載されはじめている。米国特許第4,448,510号明細書において、Murakoshiは、従来のカメラとして上述したシステムを開示している。また、米国特許第6,747,690号明細書において、Molgaardは、現代のデジタルカメラで用いられる加速度センサを開示している。
【００７０】
動きセンサをカメラに搭載した場合には、一般的には、光軸周りにおける小さな動作に対して適している。一般的な加速度センサは、発生した加速度に基づいて信号を生成するセンサモジュールと、効果的に測定することができる加速度の範囲を決定する増幅モジュールとを有している。現代の加速度センサでは、感度を調節する増幅段階をソフトウエアで制御することができる。
【００７１】
動きセンサ１８０として、次世代の民生カメラやカメラ電話に搭載されるＭＥＭＳセンサを用いることができる。
【００７２】
カメラが顔探知モードで動作する場合において、例えば、メイン画像を取得することとは異なる一定のビデオ撮影では、画質が低いため、一般的に振れ補正は行われない。これにより、動きセンサの増幅モジュールを低いゲインに設定することにより、動きセンサ１８０において、大きな動きを検知できるように構成することができる。センサ１８０によって検出された動きの大きさや方向は、顔探知器１１１に送られる。探知された顔の大まかなサイズは、既に知られており、これにより、カメラから各顔までの距離を推定することができる。したがって、センサ１８０によって大きな移動の大まかな大きさを知ることにより、顔候補領域がカメラから異なる距離にあっても、各顔候補領域の大まかなズレを判別することができる。
【００７３】
このため、大きな動作を検出したときには、顔探知器１１１は、動作の方向および大きさに応じて、候補領域の位置をシフトさせる。また、探知アルゴリズムが動作する領域の大きさは、動作の方向および大きさに応じて、拡大させることができる。また、必要であれば、大きな画像領域のスキャニングを補償するために、探知の精度を低下させることができる。
【００７４】
カメラを動作させてメイン画像を取得するとき、または、他の理由によってカメラで顔探知モードが解除されたときには、動きセンサ１８０の増幅ゲインは、通常の状態に戻るようになっている。これにより、フルサイズ画像のためのメイン画像取得チェーン１０５，１１０を、動きセンサ１８０からの情報に基づいて、通常の振れ補正アルゴリズムに適用することができる。
【００７５】
他の実施例において、カメラの表示のためのサブサンプリングされたプレビュー画像は、画像のサブサンプラ［１１２］から供給される画像よりも、分岐パイプを介して供給することができる。そして、すべての取得画像および、このサブサンプリングのコピーは、カメラディスプレイとしてだけでなく、検出器［２８０］においても利用することができる。
【００７６】
ビデオストリームから周期的にサンプルを取得することに加えて、デジタルカメラで取得された１つの静止画像に対して処理を行うことができる。この場合において、顔探知のためのストリームは、プレビュー画像のストリームであり、一連の最終画像は、フル解像度で取得された画像である。このような場合において、顔探知の情報は、図２で説明した場合と同様に、最終画像に対して確認することができる。また、座標や顔のマスクといった情報は、最終画像とともに記憶することができる。例えば、このようなデータは、取得装置又は外部装置による最終段階において、将来のポスト処理のために、保存画像のヘッダに入力しておくことができる。
【００７７】
図３において、好ましい実施例における動作例を説明する。図３（ａ）は、ビデオのフレームにおいて、検出および探知の循環における最後の結果を説明するものであり、互いに異なるスケールの２つの確定した顔領域［３０１，３０２］を示している。本実施例において、実用上の理由により、各顔領域は、矩形の境界ボックスを有しており、矩形領域における演算が容易になる。この情報は、図１の探知モジュール［１１１］によって、［１４５］として記憶されるとともに、出力される。
【００７８】
顔領域［３０１，３０２］の履歴に基づいて、探知モジュール［１１１］は、提供されて分析されたインテグラルイメージを用いて、顔領域［３０１］のサイズの分類ウィンドウの固定の顔探知を実行することを決定する。
【００７９】
図３（ｂ）は、動画像列において、次のフレームが取得され、高速の顔検出が新しい画像に対して行われた後の状態を示している。２つの顔は、移動しており［３１１，３１２］、前回の顔領域［３０１，３０２］と相対的に示している。第３の顔領域［３０３］が現れており、高速顔探知器［３０３］によって検出される。また、高速顔探知器は、前回確定した２つの顔［３０４］が小さくなっていることを検知する。これは、高速顔探知器のために、補正されたスケールとなっているからである。領域［３０３］および領域［３０４］は、候補領域［１４１］として探知モジュール［１１１］に送られる。探知モジュールは、この新しい候補領域の情報［１４１］を、領域［３０１］および領域［３０１］を有する前回確定した領域の情報［１４５］と合成し、領域［３０３］、［３０４］、［３０２］を有する候補領域のグループを候補領域抽出器［２９０］に送る。探知モジュール［１１１］は、領域［３０２］が検出器［２８０］によって検知されていないことを認識する。これは、顔が、検出器［２８０］によって検出することができなかったサイズにおいて、見えなくなった残りの部分を有していたり、検出器によって検出することができなくなったサイズに変更されていたりするためである。したがって、この領域に対して、モジュール［１１１］は、探知器［２９０］によってチェックされる領域［３０２］の周りにおいて、大きなパッチ［３０５］を特定する。新しく検出された顔候補を区画する領域［３０３］だけは、探知器［２９０］によってチェックされる必要がある。ここで、顔［３０１］は動いているため、この領域を囲む比較的大きなパッチ［３０６］が、探知器［２９０］で特定される。
【００８０】
図３（ｃ）は、候補領域抽出器が画像に対して動作した後の状態を示しており、新しい領域［３０３］だけでなく、前回のビデオフレームから確定された顔領域［３０１，３０２］の両方を囲む候補領域［３０６，３０５］がフル解像度の画像［１３０］から抽出される。候補領域のサイズは、一部は現在の顔候補の履歴に関する統計データに基づいて、一部は画像取得システム内の他のサブシステムで決定された外部メタデータに基づいて、顔探知モジュール［１１１］によって演算される。抽出された候補領域は、可変サイズ顔検知器［１２１］に送られ、ＶＪ顔検知器がスケール範囲の全体において候補領域に適用される。そして、確定した顔領域の位置は、顔探知モジュール［１１１］に戻される。
【００８１】
図３（ｄ）は、顔探知モジュール［１１１］が高速顔検出器［２８０］および顔探知器［２９０］の両方からの結果を合成し、確定した顔領域に対して様々な確認フィルタを適用した後の状態を示している。確定した顔領域は、パッチ［３０５，３０６，３０３］内において、検出される［３０７，３０８，３０９］。最も大きな領域［３０７］は、認識されているが、前回のビデオフレームから動いており、この顔領域の履歴に対して関連データが追加される。前回認識され、移動した他の領域［３０８］も、二重確定としての高速顔検出器によって検出され、これらのデータは、この履歴に追加される。最後に、新しい顔領域［３０３］は、検出されて確定される。そして、新しい顔領域の履歴が、この新しく検出された顔に対して開始される。３つの顔領域は、次回のサイクルにおいて、確定した顔領域のグループを得るために用いられる。
【００８２】
領域１４５に対して、顔探知モジュールによって供給される多くの可能なアプリケーションがある。例えば、各領域［１４５］の境界ボックスは、カメラのディスプレイ上に重畳させることにより、被写体内において、検出された顔をカメラが自動的に探知していることを示すことができる。これは、様々なプレキャプチャのパラメータを改善するために用いることができる。一例は露出であり、顔の十分な露出を確保することができる。他の例はオートフォーカスであり、検出された顔へのフォーカスを確保したり、画像における顔の最適表現のために、他の取得設定を調節したりすることができる。
【００８３】
プレ処理の調節における一部として、補正を行うことができる。顔探知の位置は、ポスト処理、具体的には、顔を有する領域を強調させることができる選択的なポスト処理を行うために用いることができる。この例は、鮮鋭化、彩度の強調、明るさ、ローカルコントラストの増加を含む。顔の位置を用いたプレ処理は、顔以外の領域において用いることができ、例えば、選択的なぼけ、彩度の低下、暗くするといった視覚的な重要性を低減させることができる。
【００８４】
幾つかの顔領域を探知するとき、最も長く存在する顔又は最も大きい顔をフォーカシングのために用いることができたり、強調させたりすることができる。また、領域［１４５］は、例えば、必要な場合に赤目処理を行う領域を制限するために用いることができる。上述した軽量の顔検出とともに用いることができる他のポスト処理としては、顔認識がある。具体的には、多くのリソース消費アルゴリズムを実行するための十分なリソースを有する同一又はオフライン装置において実行される強固な顔検出および顔認識と組み合わせたときに、このような方法は有効である。
【００８５】
この場合において、顔探知モジュール［１１１］は、確定した顔領域［１４５］の位置を、カメラ内のファームウェアに対して、好ましくは信頼因子とともに報告する。
【００８６】
領域に対して、信頼因子が十分に高く、少なくとも１つの顔が像のフレーム内に実際に存在していることを示す場合には、カメラのファームウェアは、顔の位置において、例えば、ＤＣＴに基づくアルゴリズムといった軽量の顔認識アルゴリズム［１６０］を動作させる。顔認識アルゴリズム［１６０］は、好ましくはカメラに記憶され、個別の識別情報および関連する顔のパラメータを有するデータベースを用いる。
【００８７】
動作において、モジュール［１６０］は、一連のフレームにおいて、識別情報を収集する。複数のプレビューフレームにおいて探知された顔の識別情報が大部分で特定の人物である場合には、この人物は画像内に存在すると認識モジュールによって見なされる。人物の識別情報や最近取得した顔の位置は、カメラの記憶部［１５０］で記憶された別々のファイル内又は画像内（ヘッダ内）において記憶することができる。モジュール［１１１］によって顔領域が未だ検出および探知されないが、前回の複数のフレームに対して、認識モジュール［１６０］が失敗したときでも、個人ＩＤの記憶が行われる。
【００８８】
画像がカメラの記憶装置から、ディスプレイ又は、ＰＣ（不図示）といった永久記憶装置にコピーされた場合には、人物のＩＤは画像にしたがってコピーされる。このような装置は、一般的には、よりしっかりした顔検出や顔認識のアルゴリズムを実行することができ、結果をカメラからの認識結果と合成することにより、強固な顔認識からの認識結果に重みを置くことができる。合成された識別結果は、ユーザに表示され、識別が不可能であれば、ユーザは、探している人物の名前を入力するように要求される。ユーザが識別を拒否したり、新しい名前を入力したりした場合には、ＰＣは、顔プリントのデータベースを再構築し、軽量のデータベース［１６１］に記憶するために取得装置に対する適切な変更をダウンロードする。
【００８９】
複数の確定した顔領域［１４５］が検出されたときには、認識モジュール［１６０］は、画像内において、複数の人物を検出して認識することができる。
【００９０】
カメラ内において、人物が認識されるまで、又は、顔プリントデータベース内に人物が存在しないことが明らかになるまで、撮影を行わなかったり、人物が認識されたときに適切な指標を表示させたりするモードを設けることができる。これにより、画像内において、信頼性のある人物の識別を行うことができる。
【００９１】
本システムの観点は、顔検出および顔認識のための１つの画像を用いたアルゴリズムが、正確な動作の低い可能性の問題を解決する。一例として、認識のために、厳しい規制内で顔が整合されないときには、人物を正確に認識することができない。この方法は、この目的のために一連のプレビューフレームを用い、僅かに異なる様々なサンプルが利用可能であるときに、信頼性のある顔認識を行うことができると予測することができる。
【００９２】
さらに、上述したシステムの効率を改良することができる。例えば、従来の顔検出アルゴリズムは、一般的には、複数の方法を用い、写真内における異なる向き、０，９０，１８０，２７０度の顔を検知するために、複数の分類器を用いている。
【００９３】
本発明の更なる観点によれば、カメラには、図１の姿勢センサ１７０が設けられている。これは、カメラが上側に保持されているか、反対に保持されているか、時計方向又は反時計方向にチルトされているかを判別するためのハードウエアのセンサを用いることができる。また、姿勢センサは、画像が人物又は景観において取得されたものかを迅速に判別したり、カメラが時計方向又は反時計方向にチルトしているかを迅速に判別したりするために、画像取得ハードウエア１０５，１１０、カメラのメモリ１４０又は画像記憶装置１５０のいずれかに接続された画像分析モジュールを備えることができる。
【００９４】
この判別が行われれば、カメラの向きを、顔検出器１２０，１２１の一方又は両方に送ることができる。そして、検出器は、判別されたカメラの方向で取得された画像において、顔の向きに応じて、顔検出だけを適用する必要がある。この本発明の観点は、例えば、顔を検出する分類器の適用を避けることにより、顔検出処理を大幅に軽減できたり、より頻繁な向きにおいて顔検出を行うために分類器を実行することにより、精度を向上させたりすることができる。
【図１】
2010500687.tif 000003
【図２】
2010500687.tif 000004
【図３】
2010500687.tif 000005
【手続補正書】
【提出日】平成21年8月12日(2009.8.12)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
デジタル画像取得装置を用いて、画像ストリームにおける顔探知を行う方法であって、
ａ．前記画像ストリームから、１つ又は複数の顔領域を含む取得画像を取り込み、
ｂ．前記取得画像に対して、サブサンプリング画像を得るために、特定の解像度でサブサンプリングを行い、
ｃ．前記サブサンプリング画像の少なくとも一部に対して、対応するインテグラルイメージを演算し、
ｄ．前記インテグラルイメージの少なくとも一部分に対して、任意のサイズおよび位置を有する１つ又は複数の顔候補領域のセットを得るために、固定サイズの顔検出を行い、
ｅ．前記顔候補領域における前記任意のサイズおよび各位置の少なくとも一部に応じて、次回の取得画像をサブサンプリングするための解像度を調節し、
ｆ．調節された解像度において、ａ〜ｅの処理を繰り返し行い、
ｇ．異なるサイズの可能性のある顔候補領域のセットを得るために、前記顔候補領域のセットを前回検出された顔領域と合成し、
ｈ．前記取得画像のうち、合成された前記顔候補領域のセットにおける領域に対応した領域に関して、
インテグラルイメージを演算し、
確定された顔領域のセットと、不採用の顔領域のセットとを得るために、インテグラルイメージの各合成領域に対して、可変サイズの顔検出を行う、
ことを特徴とする方法。
【請求項２】
前記画像ストリームにおける複数の画像から、異なるサイズの顔候補領域を探知することを特徴とする請求項１に記載の方法。
【請求項３】
代替基準に基づいて、前記固定サイズの顔検出および前記可変サイズの顔検出から、不採用の顔領域をチェックし、
前記不採用の顔領域のいずれかが顔領域であることを示すことをチェックすることに応じて、前回不採用の顔領域を前記確定された顔領域のセットに追加する、
ことを特徴とする請求項１に記載の方法。
【請求項４】
前記チェックでは、不採用の顔領域に対して、スキンプロトタイプを適用することを特徴とする請求項３に記載の方法。
【請求項５】
前記合成は、取得画像における顔候補領域のセットと、前回の取得画像における確定した顔領域のセットとを合成することであることを特徴とする請求項１に記載の方法。
【請求項６】
前記取得画像のうち、合成された顔候補領域のセットにおける領域に対応した領域は、合成された顔候補領域のセットにおける各領域を囲む領域であることを特徴とする請求項１に記載の方法。
【請求項７】
前記可変サイズの顔検出を行うことは、可変サイズのハール分類器における複数のカスケードを、インテグラルイメージの各合成領域に適用することであることを特徴とする請求項１に記載の方法。
【請求項８】
ハール分類器における１２以下のサイズのカスケードを適用することを特徴とする請求項７に記載の方法。
【請求項９】
ハール分類器における３又は４のサイズを適用することを特徴とする請求項７に記載の方法。
【請求項１０】
各カスケードは、３２分類器を有することを特徴とする請求項９に記載の方法。
【請求項１１】
前記画像ストリームにおける画像から画像への内容の変化に応じて、ａ〜ｅの処理を繰り返し行うことを特徴とする請求項１に記載の方法。
【請求項１２】
前記固定サイズの顔検出を行うことは、固定サイズのハール分類器のカスケードを前記インテグラルイメージに適用することであることを特徴とする請求項１に記載の方法。
【請求項１３】
取得画像を表示し、
前記表示された取得画像に対して、探知された顔候補領域を重畳させる、
ことを特徴とする請求項１に記載の方法。
【請求項１４】
デジタル画像取得装置を用いて、画像ストリームにおける顔探知を行う方法であって、
ａ．前記画像ストリームから、１つ又は複数の顔領域を含む取得画像を取り込み、
ｂ．前記取得画像に対して、サブサンプリング画像を得るために、特定の解像度でサブサンプリングを行い、
ｃ．前記サブサンプリング画像の少なくとも一部に対して、対応するインテグラルイメージを演算し、
ｄ．前記インテグラルイメージの少なくとも一部分に対して、任意のサイズおよび位置を有する１つ又は複数の顔候補領域のセットを得るために、固定サイズの顔検出を行い、
ｅ．前記顔候補領域における前記任意のサイズおよび各位置の少なくとも一部に応じて、次回の取得画像をサブサンプリングするための解像度を調節し、
ｆ．調節された解像度において、ａ〜ｅの処理を繰り返し行い、
前記調節において、少なくとも略４つのサブサンプリングの解像度のセットで循環して行うことを特徴とする方法。
【請求項１５】
異なるサイズの可能性のある顔候補領域のセットを得るために、前記顔候補領域のセットを前回検出された顔領域と合成することを特徴とする請求項１４に記載の方法。
【請求項１６】
メイン取得画像とともに、顔候補領域のグループのうち、少なくとも一部におけるサイズおよび位置の少なくとも一方を記憶することを特徴とする請求項１４に記載の方法。
【請求項１７】
記憶された顔候補領域のサイズ又は位置に基づいて、前記メイン取得画像の空間選択的なポスト処理を行うことを特徴とする請求項１６に記載の方法。
【請求項１８】
選択的な画像処理は、色補正、鮮鋭化、ぼけ、彩度、サブサンプリング、圧縮又は、これらの組み合わせであることを特徴とする請求項１７に記載の方法。
【請求項１９】
デジタル画像取得装置を用いて、画像ストリームにおける顔探知を行う方法であって、
ａ．前記画像ストリームから、１つ又は複数の顔領域を含む取得画像を取り込み、
ｂ．前記取得画像に対して、サブサンプリング画像を得るために、特定の解像度でサブサンプリングを行い、
ｃ．前記サブサンプリング画像の少なくとも一部に対して、対応するインテグラルイメージを演算し、
ｄ．前記インテグラルイメージの少なくとも一部分に対して、任意のサイズおよび位置を有する１つ又は複数の顔候補領域のセットを得るために、固定サイズの顔検出を行い、
ｅ．前記顔候補領域における前記任意のサイズおよび各位置の少なくとも一部に応じて、次回の取得画像をサブサンプリングするための解像度を調節し、
ｆ．調節された解像度において、ａ〜ｅの処理を繰り返し行い、
前記調節において、無限遠のフォーカスで取得された画像に応じて、サブサンプリングの解像度を最大の解像度に調節することを特徴とする方法。
【請求項２０】
デジタル画像取得装置を用いて、画像ストリームにおける顔探知を行う方法であって、
ａ．前記画像ストリームから、１つ又は複数の顔領域を含む取得画像を取り込み、
ｂ．前記取得画像に対して、サブサンプリング画像を得るために、特定の解像度でサブサンプリングを行い、
ｃ．前記サブサンプリング画像の少なくとも一部に対して、対応するインテグラルイメージを演算し、
ｄ．前記インテグラルイメージの少なくとも一部分に対して、任意のサイズおよび位置を有する１つ又は複数の顔候補領域のセットを得るために、固定サイズの顔検出を行い、
ｅ．前記顔候補領域における前記任意のサイズおよび各位置の少なくとも一部に応じて、次回の取得画像をサブサンプリングするための解像度を調節し、
ｆ．調節された解像度において、ａ〜ｅの処理を繰り返し行い、
ａ〜ｅの処理を、画像ストリームのうち選択された複数の画像に対して周期的に行い、
前記複数の画像は、前記選択された複数の画像のうち、複数の画像に続くメインの取得画像を含むことを特徴とする方法。
【請求項２１】
前記複数の選択画像の間における時間間隔が固定されていることを特徴とする請求項２０に記載の方法。
【請求項２２】
前記複数の選択画像の間における時間間隔が変更可能であって、動作時に決定されることを特徴とする請求項２１に記載の方法。
【請求項２３】
前記時間間隔は、前回のメイン取得画像を処理する際の時間であることを特徴とする請求項２２に記載の方法。
【請求項２４】
前記時間間隔は、前記複数の選択画像のうち、１つ又は複数の画像における内容が変化することに依存することを特徴とする請求項２３に記載の方法。
【請求項２５】
前記カスケードは、少なくとも略３２分類器を有することを特徴とする請求項２３に記載の方法。
【請求項２６】
デジタル画像取得装置を用いて、画像ストリームにおける顔探知を行う方法であって、
ａ．前記画像ストリームから、１つ又は複数の顔領域を含む取得画像を取り込み、
ｂ．前記取得画像に対して、サブサンプリング画像を得るために、特定の解像度でサブサンプリングを行い、
ｃ．前記サブサンプリング画像の少なくとも一部に対して、対応するインテグラルイメージを演算し、
ｄ．前記インテグラルイメージの少なくとも一部分に対して、任意のサイズおよび位置を有する１つ又は複数の顔候補領域のセットを得るために、固定サイズの顔検出を行い、
ｅ．前記顔候補領域における前記任意のサイズおよび各位置の少なくとも一部に応じて、次回の取得画像をサブサンプリングするための解像度を調節し、
ｆ．調節された解像度において、ａ〜ｅの処理を繰り返し行い、
ｇ．照明光を用いて取得された画像に応じて、前記取得画像のうち、探知された顔候補領域に対応した領域を、赤目現象のために分析することを特徴とする方法。
【請求項２７】
前記取得画像において、赤目現象を補正することを特徴とする請求項２６に記載の方法。
【請求項２８】
前記取得画像とともに、前記赤目現象を示す情報を記憶させることを特徴とする請求項２６に記載の方法。
【請求項２９】
１つ又は複数のプロセッサと、認識される複数の顔のそれぞれに対する識別子および関連するパラメータを有するデータベースと、画像ストリームにおいて顔を探知する反復方法を前記プロセッサに実行させるプログラムが組み込まれ、デジタルコード化された命令を含む１つ又は複数のデジタル記録媒体と、を備え、画像ストリームにおいて顔を探知するための画像処理装置であって、
前記方法は、
ａ．前記画像ストリームから、１つ又は複数の顔領域を含む取得画像を取り込み、
ｂ．前記取得画像に対して、サブサンプリング画像を得るために特定の解像度でサブサンプリングを行い、
ｃ．サブサンプリングされた取得画像の少なくとも一部に対して、対応するインテグラルイメージを演算し、
ｄ．１つ又は複数の顔候補領域のセットを得るために、前記インテグラルイメージの少なくとも一部分に対して、固定サイズの顔検出を行い、
ｅ．前記顔候補領域のセットの少なくとも一部に応じて、次回の取得画像をサブサンプリングするための解像度を調節し、
前記取得画像のうち、合成された前記顔候補領域のセットにおける領域に対応した領域に関して、
ｆ．インテグラルイメージを演算し、
ｇ．確定された顔領域のセットと、不採用の顔領域のセットとを得るために、インテグラルイメージの各合成領域に対して、可変サイズの顔検出を行う、
ことを特徴とする画像処理装置。
【請求項３０】
前記画像処理装置は、デジタルスチルカメラ、ビデオカメラ、画像取得メカニズムを備えた携帯電話若しくは、内蔵カメラ若しくは外付けカメラを備えた携帯コンピュータ又は、これらの組み合わせであることを特徴とする請求項２９に記載の画像処理装置。
【請求項３１】
デジタル画像取得装置を用いて、画像ストリームにおける顔を認識する方法であって、
ａ．認識される複数の顔のそれぞれに対して、識別子および関連するパラメータを有するデータベースを提供し、
ｂ．前記画像ストリームから、１つ又は複数の顔領域を含む取得画像を取り込み、
ｃ．前記取得画像に対して、サブサンプリング画像を得るために、特定の解像度でサブサンプリングを行い、
ｄ．前記サブサンプリング画像の少なくとも一部に対して、対応するインテグラルイメージを演算し、
ｅ．任意のサイズおよび位置を有する１つ又は複数の顔候補領域のセットを得るために、前記インテグラルイメージの少なくとも一部分に対して顔検出を行い、
ｆ．複数の顔候補領域の少なくとも一部に対して、前記データベースを用いた顔認識を選択的に行い、
ｇ．少なくとも１つの顔候補領域で認識された顔に対して識別子を与え、
ｈ．前記画像ストリームにおける少なくとも１つの画像とともに、認識された顔の識別子を記憶し、
ｉ．顔検出に基づいて、各候補領域に対して信頼性のレベルを与えるとともに、所定の閾値よりも高い信頼性レベルを有する顔候補領域に対してのみ顔認識を行うことを特徴とする方法。
【請求項３２】
ｂ〜ｈの処理を繰り返し行うことを特徴とする請求項３１に記載の方法。
【請求項３３】
１つ又は複数の顔候補領域のセットと前回検出された顔領域におけるサイズおよび位置に応じて、次回の取得画像をサブサンプリングするための解像度を調節することを特徴とする請求項３１に記載の方法。
【請求項３４】
前記画像ストリームにおけるフル解像度の画像とともに、前記識別子を記憶することを特徴とする請求項３１に記載の方法。
【請求項３５】
１つ又は複数のプロセッサと、認識される複数の顔のそれぞれに対する識別子および関連するパラメータを有するデータベースと、画像ストリームにおいて顔を認識する反復方法を前記プロセッサに実行させるプログラムが組み込まれ、デジタルコード化された命令を含む１つ又は複数のデジタル記録媒体と、を備えた画像処理装置において、
前記方法は、
ａ．前記画像ストリームから、１つ又は複数の顔領域を含む取得画像を取り込み、
ｂ．前記取得画像に対して、第１のサブサンプリング画像を得るために、特定の解像度でサブサンプリングを行い、
ｃ．前記サブサンプリング画像の少なくとも一部に対して、対応するインテグラルイメージを演算し、
ｄ．前記インテグラルイメージの少なくとも一部に対して、任意のサイズおよび位置を有する１又は複数の顔候補領域のセットを得るために、顔検出を行い、
ｅ．前記顔候補領域で認識された顔に対して識別子を与えるために、複数の顔候補領域の少なくとも一部に対して、前記データベースを用いた顔認識を選択的に行い、
ｆ．前記画像ストリームにおける少なくとも１つの画像とともに、認識された顔の識別子を記憶し、
ｇ．顔検出に基づいて、各候補領域に対して信頼性のレベルを与えるとともに、所定の閾値よりも高い信頼性レベルを有する顔候補領域に対してのみ顔認識を行うことを特徴とする画像処理装置。
【請求項３６】
デジタル画像取得装置を用いて画像ストリームにおける顔を検出する方法であって、
ａ．前記画像ストリームから、１つ又は複数の顔領域を含む取得画像を取り込み、
ｂ．前記取得画像に対して、サブサンプリング画像を得るために、特定の解像度でサブサンプリングを行い、
ｃ．前記取得画像のうち、大部分で肌の色合いを含む1つ又は複数の領域を識別し、
ｄ．サブサンプリングされた取得画像のうち、肌の色合いを含む複数の領域の少なくとも一部に対して、対応するインテグラルイメージを演算し、
ｅ．任意のサイズおよび位置を有する１つ又は複数の顔候補領域のセットを得るために、インテグラルイメージの少なくとも一部に対して顔検出を行い、
前記デジタル画像取得装置の顔検出モードにおいて、少なくとも１つの顔候補領域が検出されるまで、露出パラメータを徐々に増加させながら新規の画像を取得する、
ことを特徴とする方法。
【請求項３７】
ａからｅの処理を繰り返し行うことを特徴とする請求項３６に記載の方法。
【請求項３８】
前記サブサンプリング画像に対して、前記識別が行われることを特徴とする請求項３６に記載の方法。
【請求項３９】
前記顔検出は、緩和された顔検出パラメータを用いて行われることを特徴とする請求項３６に記載の方法。
【請求項４０】
前回の画像に関連した顔候補領域に対して、取得画像における対応領域の輝度特性のコントラストを強調することを特徴とする請求項３６に記載の方法。
【請求項４１】
前記強調は、サブサンプリング画像に対して行われることを特徴とする請求項４０に記載の方法。
【請求項４２】
前記強調は、前記インテグラルイメージの演算時に行われることを特徴とする請求項４０に記載の方法。
【請求項４３】
１つ又は複数のプロセッサと、画像ストリームにおいて顔を検出する反復方法を前記プロセッサに実行させるプログラムが組み込まれ、デジタルコード化された命令を含む１つ又は複数のデジタル記録媒体と、を備えた画像処理装置において、
前記方法は、
ａ．前記画像ストリームから、１つ又は複数の顔領域を含む取得画像を取り込み、
ｂ．前記取得画像に対して、サブサンプリング画像を得るために、特定の解像度でサブサンプリングを行い、
ｃ．前記取得画像のうち、大部分で肌の色合いを含む１つ又は複数の領域を識別し、
ｄ．前記サブサンプリング画像のうち、肌の色合いを含む複数の領域の少なくとも一部に対して、対応するインテグラルイメージを演算し、
ｅ．任意のサイズおよび位置を有する顔候補領域のセットを得るために、前記インテグラルイメージの少なくとも一部に対して顔検出を行い、
前記デジタル画像取得装置の顔検出モードにおいて、少なくとも１つの顔候補領域が検出されるまで、露出パラメータを徐々に増加させながら新規の画像を取得する、
ことを特徴とする画像処理装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
本発明の第１の観点である方法を提供する。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１９
【補正方法】変更
【補正の内容】
【００１９】
本発明の第２の観点である方法を提供することにある。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００２２
【補正方法】変更
【補正の内容】
【００２２】
本発明の第３の観点である方法を提供することにある。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００２４
【補正方法】変更
【補正の内容】
【００２４】
本発明の第４の観点である方法を提供することにある。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００２７
【補正方法】変更
【補正の内容】
【００２７】
本発明の第５の観点である方法を提供することにある。
【国際調査報告】
2010500687.tif 000006