(57)【要約】【課題】顔画像認識の処理の計算量を削減できる顔画像認識装置及び顔画像認識プログラムを提供することを課題とする。【解決手段】映像中の人物の顔を認識する顔画像認識装置１０であって、認識対象となる人物の顔画像の人物特定テンプレート及び多数の人物の平均的な顔画像の人物不特定テンプレートが向きごとに登録されたテンプレート格納手段１３と、映像から人物の顔が写っている顔領域を抽出する顔領域抽出手段１１と、抽出された顔領域と前記テンプレート格納手段に登録された前記人物不特定テンプレートとを照合して、前記顔領域の特徴を抽出すると共に、抽出された前記顔領域の特徴を前記テンプレート格納手段に登録された前記人物特定テンプレートと比較して、前記顔領域に写っている人物の顔を認識する顔認識手段１２とを有することにより上記課題を解決する。【選択図】図３
2014021896.tif 000002
【特許請求の範囲】
【請求項１】
映像中の人物の顔を認識する顔画像認識装置であって、
認識対象となる人物の顔画像の人物特定テンプレート及び多数の人物の平均的な顔画像の人物不特定テンプレートが向きごとに登録されたテンプレート格納手段と、
映像から人物の顔が写っている顔領域を抽出する顔領域抽出手段と、
抽出された顔領域と前記テンプレート格納手段に登録された前記人物不特定テンプレートとを照合して、前記顔領域の特徴を抽出すると共に、抽出された前記顔領域の特徴を前記テンプレート格納手段に登録された前記人物特定テンプレートと比較して、前記顔領域に写っている人物の顔を認識する顔認識手段と
を有することを特徴とする顔画像認識装置。
【請求項２】
映像中の人物の顔を認識する顔画像認識装置であって、
認識対象となる人物の正面の向きの顔画像の人物特定テンプレート及び多数の人物の向きごとの平均的な顔画像の人物不特定テンプレートが登録されたテンプレート格納手段と、
映像から人物の顔が写っている顔領域を抽出する顔領域抽出手段と、
抽出された顔領域と前記テンプレート格納手段に登録された前記人物不特定テンプレートとを照合して、前記顔領域の特徴を抽出すると共に、抽出された前記顔領域の特徴を前記テンプレート格納手段に登録された前記人物特定テンプレートと比較して、前記顔領域に写っている人物の顔を認識する顔認識手段と、
抽出された顔領域と前記テンプレート格納手段に登録された前記人物不特定テンプレートとを照合して、前記顔領域に写っている前記認識した人物の顔の向きを追跡する顔追跡手段と
を有することを特徴とする顔画像認識装置。
【請求項３】
前記顔認識手段は、抽出された前記顔領域の特徴との類似度に基づいての競争により前記テンプレート格納手段に登録された前記人物特定テンプレートから前記顔領域に写っている人物の顔を認識すること
を特徴とする請求項１又は２記載の顔画像認識装置。
【請求項４】
前記人物特定テンプレート及び前記人物不特定テンプレートは複数の特徴点の座標と各特徴点で計測されたガボールウェーブレット特徴とを成分として有しており、
前記人物不特定テンプレートは、目標とする向きの複数の顔画像の各特徴点について、前記顔画像で前記特徴点を平均位置にずらして調整した第１の平均画像を算出し、
前記第１の平均画像の各平均特徴点で計測されたガボールウェーブレット特徴と前記複数の顔画像の各特徴点で計測されたガボールウェーブレット特徴との位相の差分により位置ずれを推定し、
推定した位置ずれを新たに前記複数の顔画像に適用して、複数の顔画像の各特徴点について、前記特徴点ごとに更にずらされた第２の平均画像を算出し、前記第２の平均画像の各平均特徴点で計測されたガボールウェーブレット特徴を成分として有すること
を特徴とする請求項１乃至３何れか一項記載の顔画像認識装置。
【請求項５】
コンピュータを、
認識対象となる人物の顔画像の人物特定テンプレート及び多数の人物の平均的な顔画像の人物不特定テンプレートが向きごとに登録されたテンプレート格納手段、
映像から人物の顔が写っている顔領域を抽出する顔領域抽出手段、
抽出された顔領域と前記テンプレート格納手段に登録された前記人物不特定テンプレートとを照合して、前記顔領域の特徴を抽出すると共に、抽出された前記顔領域の特徴を前記テンプレート格納手段に登録された前記人物特定テンプレートと比較して、前記顔領域に写っている人物の顔を認識する顔認識手段
として機能させるための顔画像認識プログラム。
【請求項６】
コンピュータを、
認識対象となる人物の正面の向きの顔画像の人物特定テンプレート及び多数の人物の向きごとの平均的な顔画像の人物不特定テンプレートが登録されたテンプレート格納手段、
映像から人物の顔が写っている顔領域を抽出する顔領域抽出手段、
抽出された顔領域と前記テンプレート格納手段に登録された前記人物不特定テンプレートとを照合して、前記顔領域の特徴を抽出すると共に、抽出された前記顔領域の特徴を前記テンプレート格納手段に登録された前記人物特定テンプレートと比較して、前記顔領域に写っている人物の顔を認識する顔認識手段、
抽出された顔領域と前記テンプレート格納手段に登録された前記人物不特定テンプレートとを照合して、前記顔領域に写っている前記認識した人物の顔の向きを追跡する顔追跡手段
として機能させるための顔画像認識プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は顔画像認識装置及び顔画像認識プログラムに係り、特に映像中の人物の顔を認識する顔画像認識装置及び顔画像認識プログラムに関する。
【背景技術】
【０００２】
従来の顔画像認識手法では、認識対象となる人物の顔が複数の向きで映った画像を集めて、各顔画像から可変テンプレートを構築してデータベース（ＤＢ）に登録する。そして従来の顔画像認識手法では、入力映像中の人物の顔が映る顔領域を検出し、その顔領域と各可変テンプレートとを照合して類似度を算出することにより、誰の顔であるかを認識していた（例えば非特許文献１及び２参照）。
【０００３】
図１は従来の顔画像認識システムの一例の構成図である。図１の顔画像認識システム１００は顔領域検出部１０１、顔部品追跡部１０２、可変テンプレートＤＢ１０３を有する構成である。顔領域検出部１０１は入力映像中の人物の顔が写る顔領域を検出する。入力映像から顔領域を検出する技術はＯｐｅｎＣＶライブラリーが提供するＶｉｏｌａ−Ｊｏｎｅｓ系の顔検出器など、既存の技術を利用できる（例えば非特許文献３参照）。
【０００４】
顔部品追跡部１０２は、顔領域検出部１０１によって検出された顔領域と可変テンプレートとの照合（可変テンプレートマッチング）を行うことにより、誰の顔であるかを認識する。可変テンプレートＤＢ１０３は認識対象となる人物の顔が複数の向きで写った画像を集めて、各顔画像から可変テンプレートを構築して登録している。
【０００５】
このように、図１の顔画像認識システム１００は入力映像中の人物の顔が写る顔領域を検出し、左右等の複数の向きについて、認識対象となる人物の人数分の可変テンプレートマッチングを行っていた。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】Simon CLIPPINGDALE，伊藤崇之，"動画像の顔検出・追跡・認識への統一されたアプローチ"，電子情報通信学会 PRMU 98−200，1999年1月．
【非特許文献２】S.Clippingdale,M.Fujii,M.Shibata,Multimedia Databases for Video Indexing: Toward Automatic Face Image Registration,Proc.IEEE International Symposium on Multimedia 2009, pp. 639-644,2009.
【非特許文献３】S. Clippingdale,"顔部品の実時間追跡システムの開発",映像情報メディア学会冬季大会，2010.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
従来の顔画像認識システム１００では、入力映像の各フレームに顔領域検出の処理を行い、検出された顔領域において可変テンプレートマッチングを初期化して人物を認識する。
【０００８】
従来の顔画像認識システム１００では、顔の向きが正面から離れて顔領域の検出が出来なくなっても、前フレームでの可変テンプレートマッチング結果に基づいて、正面以外の向きでの可変テンプレートと照合して、人物の追跡と認識を続ける。従来の顔画像認識システム１００では正面以外の向きでも、認識対象となる人物の人数分の可変テンプレートが必要であった。
【０００９】
したがって、従来の顔画像認識システム１００では複数の向きごとに認識対象となる人物の人数分の可変テンプレートが必要なため、認識対象となる人物の人数が多くなるほど、可変テンプレートマッチングの回数が多くなる。なお、可変テンプレートマッチングは一般的に計算量が多い。このように従来の顔画像認識システム１００では、認識対象となる人物の人数が多くなるほど、計算量の増加が問題となる。
【００１０】
本発明の一実施形態は、上記の点に鑑みなされたものであり、顔画像認識の処理の計算量を削減できる顔画像認識装置及び顔画像認識プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記課題を解決するため、本発明は、映像中の人物の顔を認識する顔画像認識装置であって、認識対象となる人物の顔画像の人物特定テンプレート及び多数の人物の平均的な顔画像の人物不特定テンプレートが向きごとに登録されたテンプレート格納手段と、映像から人物の顔が写っている顔領域を抽出する顔領域抽出手段と、抽出された顔領域と前記テンプレート格納手段に登録された前記人物不特定テンプレートとを照合して、前記顔領域の特徴を抽出すると共に、抽出された前記顔領域の特徴を前記テンプレート格納手段に登録された前記人物特定テンプレートと比較して、前記顔領域に写っている人物の顔を認識する顔認識手段とを有することを特徴とする。
【００１２】
なお、本発明の構成要素、表現または構成要素の任意の組合せを、方法、装置、システム、コンピュータプログラム、記録媒体、データ構造などに適用したものも本発明の態様として有効である。
【発明の効果】
【００１３】
本発明の一実施形態によれば、顔画像認識の処理の計算量を削減できる顔画像認識装置及び顔画像認識プログラムを提供可能である。
【図面の簡単な説明】
【００１４】
【図１】従来の顔画像認識システムの一例の構成図である。
【図２】ＰＣの一例のハードウェア構成図である。
【図３】本実施例の顔画像認識装置の一例の機能構成図である。
【図４】可変テンプレートの内容を示す一例の説明図である。
【図５】可変テンプレートマッチングのアルゴリズムを示す一例の説明図である。
【図６】ある向きにおける人物不特定可変テンプレートの構築方法を示す一例の説明図である。
【図７】従来の可変テンプレートマッチングの処理を表した一例のイメージ図である。
【図８】本発明の可変テンプレートマッチングの処理を表した一例のイメージ図である。
【図９】本実施例の顔画像認識装置の他の例の機能構成図である。
【図１０】肌色領域抽出の概要を示す一例の説明図である。
【図１１】顔部品追跡部の一例の機能構成図である。
【図１２】本発明による計算量の軽減の倍率を示したグラフ図である。
【発明を実施するための形態】
【００１５】
次に、本発明を実施するための形態を、以下の実施例に基づき図面を参照しつつ説明していく。
【実施例１】
【００１６】
＜本発明の概要＞
本発明はコンピュータによる顔画像認識において、入力映像に映る人物の顔領域を、認識対象となる人物の人数分の可変テンプレートと照合する代わりに特別に用意した顔テンプレート（人物不特定可変テンプレート）と照合し、照合により抽出された顔領域の特徴を、認識対象となる人物の人数分の可変テンプレートと比較することにより、入力映像に映る人物が誰であるかを認識する。
【００１７】
人物不特定可変テンプレートの詳細については後述するが、認識対象となる人物の人数によらず、向きごとに一つの人物不特定可変テンプレートを使用すればよい。顔領域と可変テンプレートとの照合（可変テンプレートマッチング）は計算量が多いため、向きごとに一つの人物不特定可変テンプレートを使用することにより、照合対象となる可変テンプレートの数を少なくすることができ、計算量を削減できる。
【００１８】
なお、人物不特定可変テンプレートとの照合により抽出された顔領域の特徴を認識対象となる人物の人数分の可変テンプレートと比較する処理は、可変テンプレートマッチングの処理と比べて圧倒的に計算量が少ない。このように、本発明は可変テンプレートマッチングの計算量と、顔領域の特徴を認識対象となる人物の人数分の可変テンプレートと比較する処理の計算量との合計を大幅に軽減することができるため、顔画像認識の処理の計算量を削減できる。結果として、本発明は顔領域と可変テンプレートとの照合の処理を高速化することで、高速な顔画像認識の処理を実現できる。
【００１９】
＜ハードウェア構成＞
本実施例の顔画像認識装置は、ＰＣやワークステーション等により実現することができる。ここでは、本実施例の顔画像認識装置をＰＣにより実現する例について説明する。なお、顔画像認識装置は必ずしも一つの筐体で構成されることを示すものではない。また、本実施例の顔画像認識装置は顔画像認識システムのように複数の装置に機能を分散させる構成とすることもできる。
【００２０】
本実施例の顔画像認識装置は例えば図２に示すようなハードウェア構成のＰＣにより実現される。図２はＰＣの一例のハードウェア構成図である。ＰＣ５０はバス５９で相互に接続されている入力装置５１、出力装置５２、記録媒体読取装置５３、補助記憶装置５４、主記憶装置５５、演算処理装置５６、インタフェース装置５７を含む。
【００２１】
入力装置５１はキーボードやマウス等である。入力装置５１は各種信号を入力するために用いられる。出力装置５２はディスプレイ装置等である。出力装置５２は各種ウィンドウやデータ等を表示するために用いられる。インタフェース装置５７は、モデム，ＬＡＮカード等である。インタフェース装置５７は、ネットワークに接続するために用いられる。
【００２２】
顔画像認識装置に搭載される顔画像認識プログラムは、ＰＣ５０を制御する各種プログラムの少なくとも一部である。顔画像認識プログラムは例えば記録媒体５８の配布やネットワーク等からのダウンロードなどによって提供される。
【００２３】
記録媒体５８はＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等の様に情報を光学的，電気的或いは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることができる。
【００２４】
顔画像認識プログラムを記録した記録媒体５８が記録媒体読取装置５３にセットされると、顔画像認識プログラムは記録媒体５８から記録媒体読取装置５３を介して補助記憶装置５４にインストールされる。ネットワーク等からダウンロードされた顔画像認識プログラムはインタフェース装置５７を介して補助記憶装置５４にインストールされる。
【００２５】
補助記憶装置５４は、インストールされた顔画像認識プログラム、必要なファイル、データ等を格納する。主記憶装置５５は顔画像認識プログラムの起動時に、補助記憶装置５４から顔画像認識プログラムを読み出して格納する。そして、演算処理装置５６は主記憶装置５５に格納された顔画像認識プログラムに従って、後述するような各種処理を実現している。
【００２６】
＜機能構成＞
図３は本実施例の顔画像認識装置の一例の機能構成図である。図３の顔画像認識装置１０は顔領域検出部１１、顔部品追跡部１２、可変テンプレートＤＢ１３を有する構成である。
【００２７】
顔領域検出部１１は入力映像中の人物の顔が写る顔領域を検出する。入力映像から顔領域を検出する技術は上記した既存の技術を利用すればよい。顔部品追跡部１２は、顔領域検出部１１によって検出された顔領域を、可変テンプレートＤＢ１３に登録されている人物不特定可変テンプレートと照合し、照合により抽出された顔領域の特徴を、可変テンプレートＤＢ１３に登録されている認識対象となる人物の人数分の可変テンプレートと比較することにより、誰の顔が映っているかを認識する。顔部品追跡部１２の処理の詳細は後述する。
【００２８】
なお、本実施例で利用する可変テンプレートＤＢ１３は以下のように従来の可変テンプレート１０３と異なっている。可変テンプレートＤＢ１３は複数の向きごとに認識対象となる人物の人数分の人物特定可変テンプレートと一つの人物不特定可変テンプレートとを登録している。
【００２９】
人物特定可変テンプレートは認識対象となる人物の複数の向きの顔画像の可変テンプレートである。人物不特定可変テンプレートは必ずしも認識対象とはならない多数の人物の目標とする向きの顔画像を集めて構築した平均的な顔画像の可変テンプレートである。
【００３０】
このように、可変テンプレートＤＢ１３は従来の可変テンプレートＤＢ１０３の複数の向きに対して、人物不特定可変テンプレートをそれぞれ追加して登録したものである。なお、可変テンプレートＤＢ１３の詳細は後述する。
【００３１】
＜可変テンプレートの構成＞
顔画像認識装置１０で用いる可変テンプレートは例えば図４に示すような成分を有する。図４は可変テンプレートの内容を示す一例の説明図である。顔画像認識装置１０で用いる可変テンプレートは顔画像において、顔の向きによって見えている最大９点の特徴点の座標と各特徴点で計測されたガボールウェーブレット特徴とを成分として有する。
【００３２】
なお、図４では特徴点の数をＮＦＰ＝９点としているが、その他の数を採用することもできる。特徴点は目頭、目尻など顔の部品に対して指定されるので顔画像の二次元的な形状を反映する。
【００３３】
また、図４ではガボールウェーブレット特徴を５つの解像度×８つの方位を持つガボールウェーブレットと、特徴点の近傍での画像とのベクトル同士の内積としているが、５つの解像度×８つの方位に限らない。ガボールウェーブレット特徴は各解像度と各方位において、特徴点の近傍に、どの程度の信号エネルギーがあるかを表現するものであるため、画像の輝度パターンを反映する。
【００３４】
＜可変テンプレートマッチング＞
顔画像認識装置１０では例えば図５に示すような可変テンプレートマッチングが行われる。図５は可変テンプレートマッチングのアルゴリズムを示す一例の説明図である。なお、可変テンプレートマッチングのアルゴリズムは非特許文献１及び２にも記載されている。
【００３５】
顔画像認識装置１０は入力映像の各フレームから検出された顔領域の各特徴点の位置を初期化し、そこで複数（今回の実施例では８つ）の方位でのガボールウェーブレット特徴ベクトル（以下、ガボールウェーブレット特徴と呼ぶ）を計測する。顔領域の各特徴点のガボールウェーブレット特徴と可変テンプレートのガボールウェーブレット特徴との位相の差分から、顔画像認識装置１０は顔領域の各特徴点と可変テンプレートとの特徴点が最も類似するための位置ずれを推定できる。
【００３６】
顔画像認識装置１０は推定した位置ずれで顔領域の各特徴点をずらし、ガボールウェーブレット特徴を計測する処理を、顔領域の各特徴点の位置ずれが収束するまで繰り返す。全特徴点が収束したら、顔画像認識装置１０は顔領域の各特徴点と可変テンプレートの各特徴点とのマッチスコアを以下の式（１）により算出する。
【００３７】
【数１】
2014021896.tif 000003
式（１）において、Ａは各フレームから検出された顔領域である。Ａ'は可変テンプレートである。ｃはガボールウェーブレット特徴である。Ｅは空間的な可変テンプレート全体の歪み（ペナルティ）である。
【００３８】
＜人物不特定可変テンプレートの構築＞
顔画像認識装置１０の可変テンプレートＤＢ１３は認識対象となる人物の複数の向きに対して、人物不特定可変テンプレートをそれぞれ追加して登録したものである。人物不特定可変テンプレートは例えば図６に示すように構築される。
【００３９】
図６は、ある向きにおける人物不特定可変テンプレートの構築方法を示す一例の説明図である。まず、ある向きにおける人物不特定可変テンプレートの構築方法では、必ずしも認識対象の人物を含まない多数の人物ｋ，０≦ｋ＜Ｋの、目標とする各向きの顔画像Ｉｋ（ｘ），０≦ｋ＜Ｋを集めて、特徴点
【００４０】
【数２】
2014021896.tif 000004
の位置（座標）を手動で指定する。各特徴点の平均位置
【００４１】
【数３】
2014021896.tif 000005
と各特徴点のガボールウェーブレット特徴
【００４２】
【数４】
2014021896.tif 000006
を計測する。次に、ある向きにおける人物不特定可変テンプレートの構築方法では各特徴点ｎ，０≦ｎ＜ＮＦＰについて、各画像でその特徴点ｎを平均位置にずらしてアラインした平均画像Ａｎ（ｘ）を算出する。
【００４３】
【数５】
2014021896.tif 000007
次に、ある向きにおける人物不特定可変テンプレートの構築方法ではガボールウェーブレット特徴ｃnを、平均画像Ａｎ（ｘ）での各平均特徴点位置
【００４４】
【数６】
2014021896.tif 000008
で計測する。次に、ある向きにおける人物不特定可変テンプレートの構築方法では人物ｋの顔画像Ｉｋと各特徴点ｎとで、ガボールウェーブレット特徴ｃnを平均画像Ａｎ（ｘ）において、各平均特徴点位置
【００４５】
【数７】
2014021896.tif 000009
で計測する。次に、ある向きにおける人物不特定可変テンプレートの構築方法では顔画像Ｉｋと各特徴点ｎとで、ガボールウェーブレット特徴
【００４６】
【数８】
2014021896.tif 000010
とｃｎとの位相の差分より、顔画像Ｉｋの特徴点nが平均画像Ａｎ（ｘ）での平均特徴点
【００４７】
【数９】
2014021896.tif 000011
から、どれだけずれているか、その位置ずれ
【００４８】
【数１０】
2014021896.tif 000012
を推定する。次に、ある向きにおける人物不特定可変テンプレートの構築方法では推定した位置ずれを新たに顔画像Ｉｋ（ｘ）に適用して特徴点ごとに、更にずらされた平均画像を算出する。
【００４９】
【数１１】
2014021896.tif 000013
次に、ある向きにおける人物不特定可変テンプレートの構築方法では、新たに
【００５０】
【数１２】
2014021896.tif 000014
において、平均特徴点位置
【００５１】
【数１３】
2014021896.tif 000015
でガボールウェーブレット特徴
【００５２】
【数１４】
2014021896.tif 000016
を計測する。人物不特定可変テンプレートは各平均特徴点位置
【００５３】
【数１５】
2014021896.tif 000017
とガボールウェーブレット特徴
【００５４】
【数１６】
2014021896.tif 000018
を有する。
【００５５】
次に、ある向きにおける人物不特定可変テンプレートの構築方法では、認識対象となる人物の複数の向きに対して、人物不特定可変テンプレートをそれぞれ追加して登録する。なお、人物特定可変テンプレートは複数の向きに対して、認識対象となる人物の人数分、登録されている。
【００５６】
＜本発明における可変テンプレートマッチング＞
図７は従来の可変テンプレートマッチングの処理を表した一例のイメージ図である。従来の可変テンプレートマッチングでは、入力映像の各フレームから検出された顔領域２００と、可変テンプレートＤＢ１０３に登録されている認識対象となる人物の人物特定可変テンプレート２０１とを照合する。
【００５７】
具体的に、従来の顔画像認識装置１００の顔部品追跡部１０２は人物特定可変テンプレート２０１を顔領域２００上で変形させ、ガボールウェーブレット特徴に基づき、顔領域２００及び人物特定可変テンプレート２０１の各特徴点近傍の類似度が最大になる特徴点の位置を見つけて、式（１）により各人物特定可変テンプレート２０１のマッチスコア（類似度）を算出する。そして、顔部品追跡部１０２は各人物特定可変テンプレート２０１の類似度が最大になる特徴点の位置ＦＰと類似度Ｓとを含むマッチ結果２０２により、類似度に基いての競争を行うことで、顔領域２００に映る人物が誰であるかを認識する。
【００５８】
図８は本発明の可変テンプレートマッチングの処理を表した一例のイメージ図である。本発明の可変テンプレートマッチングでは人物不特定可変テンプレートを顔画像認識の処理に利用する。本発明の可変テンプレートマッチングでは入力映像の各フレームから検出された顔領域２００と、可変テンプレートＤＢ１０３に登録されている人物不特定可変テンプレート２０３とを照合する。
【００５９】
具体的に、本発明の顔画像認識装置１０の顔部品追跡部１２は一つの人物不特定可変テンプレート２０３を顔領域２００上で変形させ、ガボールウェーブレット特徴に基づき、顔領域２００及び人物不特定可変テンプレート２０３の各特徴点近傍の類似度が最大になる特徴点の位置を見つける。
【００６０】
そして、顔部品追跡部１２は各特徴点近傍の類似度が最大になる特徴点の位置ＦＰを含むマッチ結果２０４のガボールウェーブレット特徴を計測する。マッチ結果２０４のガボールウェーブレット特徴は顔領域２００の特徴を表す。
【００６１】
顔部品追跡部１２は、計測した人物不特定可変テンプレート２０３のガボールウェーブレット特徴と比較することにより、顔領域２００と各人物特定可変テンプレート２０１とのマッチスコア（類似度）を式（１）で算出する。なお、各人物特定可変テンプレート２０１のマッチスコア（類似度）を式（１）で算出する処理は顔領域２００と人物特定可変テンプレート２０１とを照合する処理に比べて計算量が少ない。
【００６２】
そして、顔部品追跡部１２は算出した各人物特定可変テンプレート２０１の類似度に基づいての競争を行うことで、顔領域２００に映る人物が誰であるかを認識する。このように、本願発明は顔領域と人物特定可変テンプレート２０１との照合を減らすことにより、顔画像認識の処理の計算量を削減できる。
【実施例２】
【００６３】
＜本発明の概要＞
本発明はコンピュータによる顔画像認識において、映像中の人物の顔を追跡しながら、顔画像のデータベースに登録してある人物の顔と照合して、誰の顔であるかを認識する。実施例２は複数の人物と複数の顔の向きとに対応することに伴う計算量の増加及び登録作業の複雑化に対応するため、人物の顔が正面に近い向きで映ったときに顔画像のデータベースに登録してある人物の顔と照合して、誰の顔であるかを認識する。
【００６４】
また、実施例２は人物の顔が正面から離れた向きで映ったときに、人物不特定可変テンプレートを使用し、顔領域を追跡して認識結果を保持する。実施例２は認識対象となる人物の人数によらず、向きごとに一つの人物不特定可変テンプレートを使用すればよいため、顔領域を追跡する為の計算量を大幅に削減することができる。
【００６５】
このように、実施例２は顔領域を追跡する為の追跡技術の計算量が、複数の人物の様々な向きの顔を認識する計算量に比べて少ないため、図３の顔画像認識装置１０による顔画像認識の処理を更に高速化すると共に、可変テンプレートの登録作業を簡単化できる。
【００６６】
なお、ハードウェア構成は実施例１と同様であるため、説明を省略する。以下の説明においても、実施例１と同様な部分については適宜説明を省略する。
【００６７】
＜機能構成＞
図９は本実施例の顔画像認識装置の他の例の機能構成図である。図９の顔画像認識装置２０は肌色領域抽出部２１、顔領域検出部２２、顔部品追跡部２３、可変テンプレートＤＢ２４を有する構成である。
【００６８】
肌色領域抽出部２１は入力映像中から肌色の領域を抽出する。入力映像中から肌色の領域を抽出する処理の詳細は後述する。顔領域検出部２２は肌色領域抽出部２１によって抽出された肌色の領域から、人物の顔が写っている顔領域を抽出する。顔領域を抽出する技術は上記した既存の技術を利用すればよい。
【００６９】
顔部品追跡部２３は、顔領域検出部２２によって検出された顔領域を、可変テンプレートＤＢ２４に登録されている人物不特定可変テンプレートと照合し、照合により抽出された顔領域の特徴を、可変テンプレートＤＢ２４に登録されている認識対象となる人物の人数分の可変テンプレートと比較することにより、誰の顔が映っているかを認識する。
【００７０】
なお、本実施例で利用する可変テンプレートＤＢ２４は以下のように従来の可変テンプレートＤＢ１０３と異なっている。可変テンプレートＤＢ２４は正面の向きについて、認識対象となる人物の人数分の人物特定可変テンプレートと一つの人物不特定可変テンプレートとを登録している。また、可変テンプレートＤＢ２４は正面以外の向きについて、一つの人物不特定可変テンプレートを登録している。このように、可変テンプレートＤＢ２４は正面の向きについて、一つの人物不特定可変テンプレートを追加して登録したものである。
【００７１】
また、従来の顔画像認識システム１００では各向きに対して認識対象となる人物の人数分の人物特定可変テンプレートを準備する必要があった。本発明は正面以外の向きの登録人数分の人物特定可変テンプレートを一つの人物不特定可変テンプレートに置き換えて登録したものである。
【００７２】
顔部品追跡部２３は、正面に近い向きで顔が写っている顔領域と人物特定可変テンプレートとの照合により人物の認識を行い、その後、顔が正面の向きから回転して離れても、正面以外の向きで顔が写っている顔領域と人物不特定可変テンプレートとの照合により顔を追跡することで、顔領域と対応付けて人物の認識結果を保持することができる。
【００７３】
なお、実施例１で説明した可変テンプレートの構成、可変テンプレートマッチング、人物不特定可変テンプレートの構築、本発明における可変テンプレートマッチングは実施例２でも同様であるため、説明を省略する。
【００７４】
＜肌色領域抽出＞
肌色領域抽出部２１は正規化ＣｂＣｒ手法により入力フレームの各画素のＲＧＢ値が肌色に相当するか否かを判定する（例えば非特許文献３参照）。肌色領域抽出部２１はＲＧＢ値をＹＣｂＣｒ空間に変換し、ＣｂとＣｒとの値を式（２）により正規化する。
【００７５】
【数１７】
2014021896.tif 000019
なお、Ｙは輝度信号である。ＣｂはＢ信号から輝度信号Ｙを差し引いた色差信号Ｂ−Ｙに特定の定数を掛けた値である。また、ＣｒはＲ信号から輝度信号Ｙを差し引いた色差信号Ｒ−Ｙに特定の定数を掛けた値である。
【００７６】
肌色領域抽出部２１は、ある画素ｘに対応する（Ｃｂ′，Ｃｒ,′）（ｘ）の位置が肌色代表点から一定の距離以内にあれば、式（３）に示すように、その画素ｘを肌色と判定する。
【００７７】
【数１８】
2014021896.tif 000020
肌色領域抽出部２１は一般化されたメディアンフィルタにより、肌色または肌色ではないと判定され孤立した画素を除去する。以下の式（４）ではａ＝０．５の場合に、メディアンフィルタとなる。以下の式（４）では、ａの値により少なめ又は多めに画素がＯＮ（ｑ（ｘ）＝１）になる。
【００７８】
【数１９】
2014021896.tif 000021
肌色領域抽出部２１は連接領域抽出（connected component labeling）の処理と連接領域の外周ボックスに条件（閾値）をかけることにより、安定した肌色領域を抽出する。
【００７９】
図１０は肌色領域抽出の概要を示す一例の説明図である。肌色領域抽出部２１は各画素のＲＧＢ値をＹＣｂＣｒ空間に変換し、ＣｂとＣｒとの値を式（２）により正規化して、Ｙ＝１２８平面に射影している。肌色領域抽出部２１は、肌色代表点に近ければ画素を肌色と判定する。
【００８０】
肌色領域抽出部２１は一般化されたメディアンフィルタにより独立画素を取り除いた領域を出力する。また、肌色領域抽出部２１は連接領域抽出の処理により肌色領域リストを出力する。肌色領域抽出部２１はメディアンフィルタ及び連接領域抽出の処理により安定した肌色領域を抽出する。
【００８１】
＜顔部品追跡部２３の構成＞
図１１は顔部品追跡部の一例の機能構成図である。図１１の顔部品追跡部２３は認識部３１、追跡部３２を有する構成である。
【００８２】
認識部３１は顔領域検出部２２によって検出された顔領域を可変テンプレートＤＢ２４に登録されている人物不特定可変テンプレートと照合し、照合により抽出された顔領域の特徴を、可変テンプレートＤＢ２４に登録されている認識対象となる人物の人数分の可変テンプレートと比較することにより、誰の顔が映っているかを認識する。
【００８３】
また、追跡部３２は顔領域検出部２２によって検出された顔領域を可変テンプレートＤＢ２４に登録されている人物不特定可変テンプレートと照合することにより、認識部３１で認識した顔領域を追跡して認識結果を保持する。
【００８４】
ところで、顔領域検出部２２は肌色の領域に、正面に近い向きの顔が写っているときに顔領域として抽出する。言い換えれば顔領域検出部２２によって抽出された顔領域には正面に近い向きで顔が写っていることになる。結果として、顔領域検出部２２によって抽出された顔領域の特徴点の座標と各特徴点で計測されたガボールウェーブレット特徴とは人物特定可変テンプレートと最もマッチングすることになる。
【００８５】
その後、顔領域に写っている顔が正面の向きから回転して離れると、顔領域の特徴点の座標と各特徴点で計測されたガボールウェーブレット特徴とは人物不特定可変テンプレートと最もマッチングすることになる。ただし、人物不特定可変テンプレートは多数の人物の顔画像を集めて構築した平均的な可変テンプレートである。そこで、人物不特定可変テンプレートと最もマッチングするとき、認識部３１は既に人物特定可変テンプレートによって推定した推定（認識）結果を維持する。
【００８６】
このように、図１１の顔部品追跡部２３は顔領域に写っている顔が正面の向きから回転して離れても、追跡部３２により顔の追跡を行い、認識部３１により認識結果を維持（保持）することで、様々な顔の向きの人物を認識することを可能としている。
【００８７】
つまり、実施例２の顔画像認識装置２０は正面以外の向きについて、認識対象の人物の人数分の人物特定可変テンプレートが無くても、正面の向きで顔が認識されれば、認識には使用できない人物不特定可変テンプレートにより顔の向きの追跡を行い、既に認識した認識結果を連続的に引き継いでいくことにより、様々な向きの顔画像に対して人物の認識結果を付与することができる。
【００８８】
＜効果＞
例えば認識対象となる人物の可変テンプレートがＮ個あるとすれば、図７に示した従来の可変テンプレートマッチングではＮ回の照合を行う。１個の可変テンプレートとの照合に伴う計算量をＫと呼べば、従来の可変テンプレートマッチングの計算量は大体ＮＫに比例する。
【００８９】
一方、図８に示した本発明の可変テンプレートマッチングでは人物不特定可変テンプレートとの１回の照合により顔領域のガボールウェーブレット特徴を抽出し、そのガボールウェーブレット特徴をＮ個の人物特定可変テンプレートと比較する。１個の人物特定可変テンプレートとの比較に伴う計算量をＨと呼べば、本発明の可変テンプレートマッチングの計算量は大体Ｋ＋ＮＨに比例する。
【００９０】
したがって、図７に示した従来の可変テンプレートマッチングと図８に示した本発明の可変テンプレートマッチングとの計算量の比率（軽減の倍率）は
ＮＫ／（Ｋ＋ＮＨ）
となる。可変テンプレートの数Ｎが相当大きくない限り、図７に示した従来の可変テンプレートマッチングと図８に示した本発明の可変テンプレートマッチングとの計算量の比率はＮに近づく。なお、可変テンプレートの数Ｎが相当大きい場合、図７に示した従来の可変テンプレートマッチングと図８に示した本発明の可変テンプレートマッチングとの計算量の比率はＫ／Ｈに近づく。
【００９１】
しかし、特殊ハードウェアなしで通常のパソコン（ワークステーション）での実装例では、計った比率Ｋ／Ｈが３０００〜８０００位であった。このため、数千のオーダなどＮが相当大きくないと、比率の分母はＫに近く、軽減の倍率がＮに近くなる。なお、可変テンプレートの数が数千オーダとなると、軽減の倍率のパフォーマンスは別の原因で劣化していく。
【００９２】
図１２は本発明による計算量の軽減の倍率を示したグラフ図である。図１２では可変テンプレートの数Ｎが１０〜３００のときの、従来の可変テンプレートマッチングと比べた本発明の可変テンプレートマッチングの計算量の比率（軽減の倍率）を示している。図１２に示すように、一般的な可変テンプレートの数での軽減の倍率はＮ倍に近く、大幅に計算量の軽減を実現できる。
【００９３】
本発明は、図３の顔画像認識装置１０で行う複数の向きの認証対象となる人物の人数分の可変テンプレートマッチング及び図９の顔画像認識装置２０で行う単一の向きの認証対象となる人物の人数分の可変テンプレートマッチングに伴う計算量を軽減し、顔画像認識の高速化を計ることができる。
【００９４】
なお、顔画像認識装置２０は顔領域検出部２２による顔領域の検出を肌色領域抽出部２１によって抽出された肌色の領域に絞ることにより、顔領域の検出の処理時間を、ほぼ（肌色の領域／画面の面積）という比率で低減できる。
【００９５】
また、顔画像認識装置２０は以前の顔画像認識システム１００と比べて顔部品追跡部２３の追跡部３２の計算量を大幅に省くことができる。追跡部３２の計算量は、正面以外の向きで顔が写っているとき、ほぼ（１／認証対象となる人物の人数）に低減できる。
【００９６】
本発明は、具体的に開示された実施例に限定されるものではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。なお、特許請求の範囲に記載したテンプレート格納手段は可変テンプレートＤＢ１３、２４に相当し、顔領域抽出手段は顔領域検出部１１、２２に相当し、顔認識手段及び顔追跡手段は顔部品追跡部１２、２３に相当し、肌色領域抽出手段は肌色領域抽出部２１に相当し、人物特定テンプレートは人物特定可変テンプレートに相当し、人物不特定テンプレートは人物不特定可変テンプレートに相当する。
【符号の説明】
【００９７】
１０、２０    顔画像認識装置
１１、２２    顔領域検出部
１２、２３    顔部品追跡部
１３、２４    可変テンプレートＤＢ
２１    肌色領域抽出部
３１    認識部
３２    追跡部
５０    ＰＣ
５１    入力装置
５２    出力装置
５３    記録媒体読取装置
５４    補助記憶装置
５５    主記憶装置
５６    演算処理装置
５７    インタフェース装置
５８    記録媒体
５９    バス
【図１】
2014021896.tif 000022
【図２】
2014021896.tif 000023
【図３】
2014021896.tif 000024
【図４】
2014021896.tif 000025
【図５】
2014021896.tif 000026
【図６】
2014021896.tif 000027
【図７】
2014021896.tif 000028
【図８】
2014021896.tif 000029
【図９】
2014021896.tif 000030
【図１０】
2014021896.tif 000031
【図１１】
2014021896.tif 000032
【図１２】
2014021896.tif 000033