【手続補正書】
【提出日】平成17年4月28日(2005.4.28)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
顔画像が含まれているか否かが判明しない検索対象画像中から当該顔画像が存在する可能性が高い顔画像候補領域を検索する方法であって、
複数の学習用のサンプル画像を所定の円周フィルタでフィルタリングしてそれぞれ回転不変な画像特徴量を検出すると共にこれら各画像特徴量を識別手段に学習させておき、その後、前記検索対象画像内を前記円周フィルタで順次フィルタリングしてそれぞれフィルタリングされた領域毎の回転不変な画像特徴量を検出すると共に、検出した各画像特徴量を順次前記識別手段に入力し、その識別手段を用いて入力された画像特徴量に対応するフィルタリング領域が前記顔画像候補領域であるか否かを順次判別し、かつ前記回転不変な画像特徴量として、各画素におけるエッジの強さ、またはエッジの分散値、あるいは輝度のいずれか、あるいはその組み合わせを平均化した数値を前記円周フィルタの各円の円周に沿って線積分した値をその円の数だけ合計したものを用いることを特徴とする顔画像候補領域検索方法。
【請求項２】
顔画像が含まれているか否かが判明しない検索対象画像中から当該顔画像が存在する可能性が高い顔画像候補領域を検索する方法であって、
複数の学習用のサンプル画像を所定の円周フィルタでフィルタリングしてそれぞれ回転不変な画像特徴量を検出すると共にこれら各画像特徴量から前記サンプル画像の平均顔ベクトルを算出し、その後、前記検索対象画像内を前記円周フィルタで順次フィルタリングしてそれぞれフィルタリングされた領域毎の回転不変な画像特徴量を検出すると共にその画像特徴量からその領域毎の画像ベクトルを算出し、しかる後、算出した各画像ベクトルと前記平均顔ベクトルとのベクトル間距離を計算してこの距離に応じてその画像ベクトルに対応する領域が顔画像候補領域であるか否かを順次判別し、かつ前記回転不変な画像特徴量として、各画素におけるエッジの強さ、またはエッジの分散値、あるいは輝度のいずれか、あるいはその組み合わせを平均化した数値を前記円周フィルタの各円の円周に沿って線積分した値をその円の数だけ合計したものを用いることを特徴とする顔画像候補領域検索方法。
【請求項３】
顔画像が含まれているか否かが判明しない検索対象画像中から当該顔画像が存在する可能性が高い顔画像候補領域を検索するシステムであって、
前記検索対象画像内の所定の領域及び学習用のサンプル画像を読み取る画像読取手段と、
前記画像読取手段で読み取った前記検索対象画像内の所定の領域及び学習用のサンプル画像をそれぞれ同じ円周フィルタでフィルタリングしてそれぞれの回転不変な画像特徴量を算出する特徴量算出手段と、
前記特徴量算出手段で算出した学習用のサンプル画像の回転不変な画像特徴量を学習すると共に、その学習結果から前記特徴量算出手段で算出した前記検索対象画像内の所定の領域が前記顔画像候補領域であるかが否かを識別する識別手段と、
を備え、かつ前記回転不変な画像特徴量として、各画素におけるエッジの強さ、またはエッジの分散値、あるいは輝度のいずれか、あるいはその組み合わせを平均化した数値を前記円周フィルタの各円の円周に沿って線積分した値をその円の数だけ合計したものを用いるようになっていることを特徴とする顔画像候補領域検索システム。
【請求項４】
顔画像が含まれているか否かが判明しない検索対象画像中から当該顔画像が存在する可能性が高い顔画像候補領域を検索するシステムであって、
前記検索対象画像内の所定の領域及び学習用のサンプル画像を読み取る画像読取手段と、
前記画像読取手段で読み取った前記検索対象画像内の所定の領域及び学習用のサンプル画像をそれぞれ同じ円周フィルタでフィルタリングしてそれぞれの回転不変な画像特徴量を算出する特徴量算出手段と、
前記特徴量算出手段で得られた回転不変な画像特徴量から前記学習用のサンプル画像の平均顔ベクトルと、前記検索対象画像内の所定の領域の画像ベクトルとを算出すると共に、算出した両ベクトル間の距離を計算してこの距離に応じて前記検索対象画像内の所定の領域が前記顔画像候補領域であるか否かを識別する識別手段と、
を備え、かつ前記回転不変な画像特徴量として、各画素におけるエッジの強さ、またはエッジの分散値、あるいは輝度のいずれか、あるいはその組み合わせを平均化した数値を前記円周フィルタの各円の円周に沿って線積分した値をその円の数だけ合計したものを用いるようになっていることを特徴とする顔画像候補領域検索システム。
【請求項５】
顔画像が含まれているか否かが判明しない検索対象画像中から当該顔画像が存在する可能性が高い顔画像候補領域を検索するためのプログラムであって、
前記検索対象画像内の所定の領域及び学習用のサンプル画像を読み取る画像読取ステップと、前記画像読取ステップで読み取った前記検索対象画像内の所定の領域及び学習用のサンプル画像をそれぞれ同じ円周フィルタでフィルタリングしてそれぞれの回転不変な画像特徴量を算出する特徴量算出ステップと、前記特徴量算出ステップで算出した学習用のサンプル画像の回転不変な画像特徴量を学習すると共に、その学習結果から前記特徴量算出ステップで算出した前記検索対象画像内の所定の領域が前記顔画像候補領域であるかが否かを識別する識別ステップと、をコンピュータに機能させると共に、前記回転不変な画像特徴量として、各画素におけるエッジの強さ、またはエッジの分散値、あるいは輝度のいずれか、あるいはその組み合わせを平均化した数値を前記円周フィルタの各円の円周に沿って線積分した値をその円の数だけ合計したものを用いるようになっていることを特徴とする顔画像候補領域検索プログラム。
【請求項６】
顔画像が含まれているか否かが判明しない検索対象画像中から当該顔画像が存在する可能性が高い顔画像候補領域を検索するためのプログラムであって、
前記検索対象画像内の所定の領域及び学習用のサンプル画像を読み取る画像読取ステップと、前記画像読取ステップで読み取った前記検索対象画像内の所定の領域及び学習用のサンプル画像をそれぞれ同じ円周フィルタでフィルタリングしてそれぞれの回転不変な画像特徴量を算出する特徴量算出ステップと、前記特徴量算出ステップで得られた回転不変な画像特徴量から前記学習用のサンプル画像の平均顔ベクトルと、前記検索対象画像内の所定の領域の画像ベクトルとを算出すると共に、算出した両ベクトル間の距離を計算してこの距離に応じて前記検索対象画像内の所定の領域が前記顔画像候補領域であるか否かを識別する識別ステップと、をコンピュータに機能させると共に、前記回転不変な画像特徴量として、各画素におけるエッジの強さ、またはエッジの分散値、あるいは輝度のいずれか、あるいはその組み合わせを平均化した数値を前記円周フィルタの各円の円周に沿って線積分した値をその円の数だけ合計したものを用いるようになっていることを特徴とする顔画像候補領域検索プログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】発明の名称
【補正方法】変更
【補正の内容】
【発明の名称】顔画像候補領域検索方法及び顔画像候補領域検索システム並びに顔画像候補領域検索プログラム
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【０００１】
本発明は、パターン認識（Pattern recognition）やオブジェクト認識技術に係り、特に画像の中から人物の顔画像が存在する可能性が高い領域を高速に検索するための顔画像候補領域方法及び顔画像候補領域検索システム並びに顔画像候補領域検索プログラムに関するものである。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０００４
【補正方法】変更
【補正の内容】
【０００４】
例えば、以下の特許文献１等では、ある入力画像について、まず、肌色領域の有無を判定し、その肌色領域に対して自動的にモザイクサイズを決定してモザイク化し、そのモザイク領域と人物顔辞書との距離を計算することにより人物顔の有無を判定し、人物顔の切り出しを行うことによって、背景等の影響による誤抽出を減らし、効率的に画像中から人間の顔を自動的に見つけるようにしている。
【特許文献１】特開平９−５０５２８号公報
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】０００５
【補正方法】変更
【補正の内容】
【０００５】
しかしながら、前記従来技術は、回転して（傾いて）いる顔画像は、顔画像と判断せずに別のパターンとして扱うため、このような顔画像を抽出するまでに長時間かってしまうといった問題がある。
すなわち、傾いて（回転して）いる顔画像を検出する場合には、その回転角を仮定し、仮定した回転角毎（例えば１０゜毎）に人物顔辞書との一致度を計算するか、あるいは画像を一定角度毎に回転させてその角度毎に一致度を計算する必要があるため、膨大な計算時間を要するといった問題点がある。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【０００６】
そこで、本発明はこのような課題を有効に解決するために案出されたものであり、その目的は、画像の中から人の顔画像が存在する可能性が高い領域を高速に検索することができる新規な顔画像候補領域検索方法及び顔画像候補領域検索システム並びに顔画像候補領域検索プログラムを提供するものである。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
これによって、検索対象画像中に存在する顔の回転（傾き）によらず、フィルタリング領域が顔画像候補領域であるかどうかを高速に判別することができる。また、円周フィルタによるフィルタリング後の回転不変な画像特徴量を利用することによって画像特徴量の次元数が大幅に減少するため、識別作業における計算時間のみならず、サンプル画像の学習時間も大幅に短縮することができる。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
すなわち、このサポートベクタマシン（Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅ：以下、適宜「ＳＶＭ」と称する）とは、後に詳述するが、１９９５年にＡＴ＆ＴのＶ．Ｖａｐｎｉｋによって統計的学習理論の枠組みで提案され、マージン（ｍａｒｇｉｎ）という指標を用いて全ての入力データを線形分離するのに最適な超平面を求めることができる学習機械のことであり、パターン認識の能力において最も優秀な学習モデルの一つであることが知られている。また、線形分離不可能な場合でもカーネルトリックというテクニックを用いることにより、高い識別能力を発揮することが可能となっている。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００２０
【補正方法】変更
【補正の内容】
【００２０】
これによって、発明３と同様にＳＶＭ等の識別器からなる専用の識別手段を用いなくともフィルタリング領域が顔画像候補領域であるか否かを判別することが可能となる。
〔発明９〕
発明９の顔画像候補領域検索プログラムは、
顔画像が含まれているか否かが判明しない検索対象画像中から当該顔画像が存在する可能性が高い顔画像候補領域を検索するためのプログラムであって、前記検索対象画像内の所定の領域及び学習用のサンプル画像を読み取る画像読取ステップと、前記画像読取ステップで読み取った前記検索対象画像内の所定の領域及び学習用のサンプル画像をそれぞれ同じ円周フィルタでフィルタリングしてそれぞれの回転不変な画像特徴量を算出する特徴量算出ステップと、前記特徴量算出ステップで算出した学習用のサンプル画像の回転不変な画像特徴量を学習すると共に、その学習結果から前記特徴量算出ステップで算出した前記検索対象画像内の所定の領域が前記顔画像候補領域であるかが否かを識別する識別ステップと、をコンピュータに機能させることを特徴とするものである。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００２２
【補正方法】変更
【補正の内容】
【００２２】
〔発明１０〕
発明１０の顔画像候補領域検索プログラムは、
顔画像が含まれているか否かが判明しない検索対象画像中から当該顔画像が存在する可能性が高い顔画像候補領域を検索するためのプログラムであって、前記検索対象画像内の所定の領域及び学習用のサンプル画像を読み取る画像読取ステップと、前記画像読取ステップで読み取った前記検索対象画像内の所定の領域及び学習用のサンプル画像をそれぞれ同じ円周フィルタでフィルタリングしてそれぞれの回転不変な画像特徴量を算出する特徴量算出ステップと、前記特徴量算出ステップで得られた回転不変な画像特徴量から前記学習用のサンプル画像の平均顔ベクトルと、前記検索対象画像内の所定の領域の画像ベクトルとを算出すると共に、算出した両ベクトル間の距離を計算してこの距離に応じて前記検索対象画像内の所定の領域が前記顔画像候補領域であるか否かを識別する識別ステップと、をコンピュータに機能させることを特徴とするものである。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００２６
【補正方法】変更
【補正の内容】
【００２６】
特徴量算出手段２０は、さらに、画像中の輝度を算出する輝度算出部２２と、画像中のエッジの強度を算出するエッジ算出部２４と、エッジの強度の平均又は輝度の平均又はエッジの強度の分散値を求める平均・分散値算出部２６と、複数の同心円をもった円周フィルタ２８とから構成されており、平均・分散値算出部２６で離散的にサンプリングされる画素値を円周フィルタ２８の円周に沿って線積分し、その値を各円の円周の数で合計することでサンプル画像及び検索対象画像毎の回転不変な画像特徴量を算出してこれを識別手段３０に順次送る機能を提供するようになっている。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００２７
【補正方法】変更
【補正の内容】
【００２７】
識別手段３０は、具体的には、サポートベクタマシン（ＳＶＭ）からなる識別器３２を備えたものであり、前記特徴量算出手段２０で算出した学習用のサンプルとなる複数の顔画像及び非顔画像の回転不変な画像特徴量を学習すると共に、その学習結果から特徴量算出手段２０で算出した検索対象画像内の所定の領域が顔像候補領域であるか否かを識別する機能を提供するようになっている。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００２８
【補正方法】変更
【補正の内容】
【００２８】
このサポートベクタマシンは、前述したようにマージンという指標を用いて全ての入力データを線形分離するのに最適な超平面を求めることができる学習機械のことであり、線形分離不可能な場合でもカーネルトリックというテクニックを用いることにより、高い識別能力を発揮できることが知られている。
そして、本実施の形態で用いるＳＶＭは、１．学習を行うステップと、２．識別を行うステップ、といった２つのステップに分かれる。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００３０
【補正方法】変更
【補正の内容】
【００３０】
ここで、学習に用いられるサンプル用の顔画像及び非顔画像の大きさは、円周フィルタ２８の大きさと同じ大きさ、例えば円周フィルタ２８が１９×１９画素（ｐｉｘｅｌ）であれば、１９×１９画素で行われ、また、顔画像の検出に際しても同じ大きさの領域について行われることになる。
さらに、このＳＶＭについて「パターン認識と学習の統計学」（岩波書店、麻生英樹、津田宏治、村田昇著）ｐｐ．１０７〜１１８の記述に基づいて多少詳しく説明すると、識別する問題が非線形である場合、ＳＶＭでは非線形なカーネル関数を用いることができ、この場合の識別関数は以下の数式１で示される。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】００３６
【補正方法】変更
【補正の内容】
【００３６】
次に、本発明に係る顔画像候補領域検索方法の一例を説明する。
図２は、実際に検索対象となる画像に対する顔画像候補領域検索方法の一例を示すフローチャートであるが、実際に識別を行うに際しては、予め、識別に用いるＳＶＭからなる識別器３２に対する学習用のサンプル画像となる顔画像及び非顔画像を学習させるステップを経ておく必要がある。
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】００３７
【補正方法】変更
【補正の内容】
【００３７】
この学習ステップは、従来通り、サンプル画像となる顔画像及び非顔画像毎の特徴量を算出してその特徴量を顔画像であるか非顔画像であるかの情報と共に入力するものであるが、この入力される画像特徴量は、図６〜図８に示すような９つの同心円からなる９次元の円周フィルタでフィルタリングされた後の回転不変な特徴量を使用することになる。
図６〜図８に示すように、この円周フィルタ２８は、フィルタサイズを１９×１９、すなわち正規化した画像サイズを１９×１９ｐｉｘｅｌ（画素）とした例であり、各図中符号「１」に相当する画素をその円周に沿って線積分し、その積分値を各円で合計することで各画像について９次元の回転不変な特徴量が得られるようになっている。
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】００３８
【補正方法】変更
【補正の内容】
【００３８】
すなわち、図６（ａ）のフィルタＦ０は、線積分計算の対象となる画素を示す符号「１」からなる円が最も大きく、図６（ｂ）のフィルタＦ１は、これよりも縦横に１画素分だけ小さい円が示され、図６（ｃ）のフィルタＦ２はさらに図６（ｂ）よりも縦横に１画素分だけ小さい円が示されている。また、図７（ａ）〜（ｃ）のフィルタＦ３〜Ｆ５は、さらに縦横に１画素づつ小さい円が示され、図８の（ａ）〜（ｃ）のフィルタＦ６〜Ｆ８は、さらに縦横に１画素づつ小さい円が示され、フィルタＦ８の円が最小の円となっている。つまり、本実施の形態の円周フィルタ２８は、フィルタサイズが１９×１９画素であって、その中央から１画素づつ大きくなった９つの円周が同心円上に形成されているものである。
【手続補正１８】
【補正対象書類名】明細書
【補正対象項目名】００３９
【補正方法】変更
【補正の内容】
【００３９】
尚、予め学習させる学習画像が、１９×１９よりも大きい場合には、特徴量算出手段２０の平均・分散算出部２６によってその画像を１９×１９のブロックにモザイク化処理してから前記円周フィルタ２８によって９次元の回転不変な特徴量が得られるようになっている。
そして、このような９つの同心円からなる円周フィルタ２８を用い、前述した学習を行うと共に、以下の数式３に示すような計算式を用いることによって以下の識別に用いる回転不変な画像特徴量を求めることができる。
【手続補正１９】
【補正対象書類名】明細書
【補正対象項目名】００４１
【補正方法】変更
【補正の内容】
【００４１】
次に、このようにして識別器３２に対して回転不変な画像特徴量の学習が行われたならば、図２のステップＳ１０１に示すように、検索対象画像Ｇ内の識別対象となる領域を選択する。
ここで、検索対象画像Ｇとしては、例えば図３及び図４に示すような男女の若いカップルの写真であって男性の顔は垂直で正面を向いているのに対し、女性の顔は斜めに傾いている（回転している）状態であり、かつ、利用する円周フィルタ２８の大きさはその検索対象画像Ｇの約１／４であったとする。
【手続補正２０】
【補正対象書類名】明細書
【補正対象項目名】００４２
【補正方法】変更
【補正の内容】
【００４２】
この場合、先ず最初に選択される検索対象領域としては、その検索対象画像Ｇをその中央から縦横に４分割した左上の領域となり、図４に示すように、この領域の画像に対して前述した円周フィルタ２８をかけてその領域の回転不変な画像特徴量を生成する（ステップＳ１０３）。
次に、このようにしてその検索対象領域についての回転不変な画像特徴量が生成されたなら、次のステップＳ１０５に移行してその回転不変な画像特徴量を識別器３２であるＳＶＭに入力し、そのＳＶＭにてその領域が顔画像候補領域であるか否か判定する。尚、この判定結果は、別個図示しない記憶手段等に記憶させておく。
【手続補正２１】
【補正対象書類名】明細書
【補正対象項目名】００４３
【補正方法】変更
【補正の内容】
【００４３】
次に、このようにしてその検索対象画像Ｇの左上の領域についての判定が終了したならば、次のステップＳ１０７に移行して検索対象画像Ｇ内の全ての領域について判定が終了したか否かを判断し、終了していないと判断したとき（Ｎｏ）は、再度、最初のステップＳ１０１に移行して次の領域を選択して同様なステップを繰り返す。
図４の例にあっては、未だ検索対象画像Ｇの左上の領域についてのみしか判定が行われていないことから、ステップＳ１０７では当然にＮｏが選択されて最初のステップＳ１０１に移行した後、その最初の領域から図中右側に一定の距離、例えば、最初の領域から５画素分だけ図中右側に移動した領域を次の判定領域として選択して順次同様な判定を行う。その後、その円周フィルタ２８が検索対象画像Ｇ内の右端の領域に達したならば、その円周フィルタ２８をそのまま下方向に例えば５画素移動させてから今度は検索対象画像Ｇ内を左方向に順次移動させながら各領域毎に判定を行う。
【手続補正２２】
【補正対象書類名】明細書
【補正対象項目名】００４４
【補正方法】変更
【補正の内容】
【００４４】
そして、このようにしてその検索対象画像Ｇ内を順に次の領域に移動しながら判定を実施し、図５に示すように検索対象画像Ｇ内の最も右下の領域に達して全ての領域について判定が終了した（Ｙｅｓ）と判断したならば、次のステップＳ１０９に移行して前記ステップＳ１０５で顔画像領域であるとされた領域が実際に顔画像であるかを判定することで処理を終了することになる。図３〜図５の例では、円周フィルタ２８が男性の顔画像の領域に達したときは勿論、この領域に加えて同じく円周フィルタ２８が女性の顔画像の領域に達したときの２つの領域をも顔画像候補領域として検出することになる。尚、このステップＳ１０９における判定は先行技術、すなわち、前記特許文献１のように肌色領域をモザイク化し、そのモザイク領域と人物顔辞書との距離を計算することにより人物顔の有無を判定するといった技術をそのまま適用すれば自動的に人物顔の判定を実施することができる。
【手続補正２３】
【補正対象書類名】明細書
【補正対象項目名】００４５
【補正方法】変更
【補正の内容】
【００４５】
このように本発明は、学習用の画像及び検索画像に円周フィルタをかけて回転不変な画像特徴量を求め、この回転不変な画像特徴量に基づいて顔画像候補領域であるか否かを判定するようにしたことから学習に要する時間のみならず、検索に要する時間を大幅に減らすことが可能となり、顔画像候補領域の検索を高速に達成することができる。
すなわち、前記の例では１９×１９個の画素そのままに対応した画像特徴量では３６１次元（１９×１９）の特徴を計算する必要があるが、本発明によれば、計算に要する次元数は９次元であり、その分だけ計算時間を大幅に削減することができる。また、図３〜図５に示すように、各領域について原則として１回の判別作業で、垂直に立っている男性の顔のみならず傾いている女性の顔も確実に顔画像候補領域であると判別することが可能となる。