(57)【要約】      （修正有）【課題】高精度の視点非依存性顔認識が可能な顔認識システムを提供する。【解決手段】顔認識システムは構成要素学習／抽出モジュール、構成要素分類器訓練モジュール、構成要素分類用知識ベース、構成要素抽出モジュール、物体認知訓練モジュール、顔認知用知識ベース及び物体認知モジュールを備える。物体認知モジュールは、様々な視点における構成要素データ分類出力を受け、顔認知用知識ベースに格納された個人についての指標構成要素を用いて個人の顔を認知する。【選択図】図１Ａ
2010282640.tif 000002
【特許請求の範囲】
【請求項１】
構成要素分類用知識ベースに、顔構成要素学習に用いられ、第一集合の複数の視点における第一の個人の顔の訓練画像から抽出された第一集合の顔構成要素を含む顔構成要素および各顔構成要素に対応した該顔構成要素の構成要素分類を格納し；
前記第一集合の顔構成要素と関連付けられた第一集合の構成要素分類を決定し；
前記第一集合の構成要素分類中の各構成要素分類について、
前記第一集合の顔構成要素から、前記構成要素分類と関連付けられた、複数の視点における同じ個人の同じ構成要素分類の顔構成要素から構成される、副集合の顔構成要素を決定し；かつ
前記副集合の顔構成要素の個人クラスが第一の個人である確率を決定し；
前記第一集合の構成要素分類において前記確率を最大化する第一の構成要素分類を決定する
段階を含む個人の顔を認識することを特徴とする方法。
【請求項２】
前記確率を決定する段階が、ベイズ推定によって前記確率を決定することを含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記副集合の顔構成要素の個人クラスが第一の個人である前記確率を決定する段階が、
副集合の複数の顔構成要素の第一の視点における顔構成要素の、個人クラスが前記第一の個人である、第一の条件付き確率を決定し；
前記第一の視点における前記第一の条件付き確率と、個人クラスが前記第一の個人である事前確率とを乗算することにより、個人クラスが前記第一の個人である、第一の事後確率を決定し；
副集合の複数の顔構成要素の他の視点における顔構成要素の、個人クラスが前記第一の個人である、第二の条件付き確率を決定し；
前記第二の条件付き確率と前記第一の事後確率とを乗算することにより、個人クラスが前記第一の個人である、第二の事後確率を決定する段階を含むことを特徴とする請求項１に記載の方法。
【請求項４】
前記個人クラスが第一の個人である前記事前確率が１／Ｎ（Ｎは個人の数である）であることを特徴とする請求項３に記載の方法。
【請求項５】
さらに、顔認知用知識ベースに、前記第一の構成要素分類と関連付けられた前記第一集合の顔構成要素中の前記顔構成要素を格納する段階を含むことを特徴とする請求項１に記載の方法。
【請求項６】
さらに、認知対象の個人の様々な視点における顔構成要素を受け；
前記顔認知用知識ベースに格納された顔構成要素を用いて前記個人を認知する段階を含むことを特徴とする請求項５に記載の方法。
【請求項７】
前記構成要素分類用知識ベース中の前記顔構成要素が、さらに、顔構成要素学習に用いられた、第二集合の複数の視点における第二の個人の顔の訓練画像から抽出された、第二集合の顔構成要素を含む請求項１に記載の方法であって、さらに、
前記第二集合の顔構成要素と関連付けられた第二集合の構成要素分類を決定し；
前記第二集合の構成要素分類中の各構成要素分類について、
前記第二集合の顔構成要素から、前記構成要素分類と関連付けられた副集合の顔構成要素を決定し；
前記副集合の顔構成要素の個人クラスが前記第二の個人である確率を決定し；
前記第二集合の構成要素分類において前記確率を最大化する第二の構成要素分類を決定する
段階を含むことを特徴とする方法。
【請求項８】
前記第一集合の複数の視点と前記第二集合の複数の視点とが異なることを特徴とする請求項７に記載の方法。
【請求項９】
前記第一の構成要素分類と前記第二の構成要素分類とが異なることを特徴とする請求項７に記載の方法。
【請求項１０】
構成要素分類用知識ベースに、顔構成要素学習に用いられた、第一集合の複数の視点における第一の個人の顔の訓練画像から抽出された、第一集合の顔構成要素を含む顔構成要素、および各顔構成要素に対応した該顔構成要素の構成要素分類を格納するように構成された格納モジュールと；
前記第一集合の顔構成要素と関連付けられた第一集合の構成要素分類を決定し；
前記第一集合の構成要素分類中の各構成要素分類について、
前記第一集合の顔構成要素から、前記構成要素分類と関連付けられた、複数の視点における同じ個人の同じ構成要素分類の顔構成要素から構成される、副集合の顔構成要素を決定し；かつ
前記副集合の顔構成要素の個人クラスが第一の個人である確率を決定し；
前記第一集合の構成要素分類において前記確率を最大化する第一の構成要素分類を決定する指標構成要素モジュールと
を含むことを特徴とする、個人の顔を認識する顔認識システム。
【請求項１１】
前記指標構成要素モジュールが、さらに、ベイズ推定によって確率を決定するように構成されたことを特徴とする請求項１０に記載の顔認識システム。
【請求項１２】
前記指標構成要素モジュールが、さらに、
副集合の複数の顔構成要素の第一の視点における顔構成要素の、個人クラスが前記第一の個人である、第一の条件付き確率を決定し；
前記第一の視点における前記第一の条件付き確率と、個人クラスが前記第一の個人である事前確率とを乗算することにより、個人クラスが前記第一の個人である、第一の事後確率を決定し；
副集合の複数の顔構成要素の他の視点における顔構成要素の、個人クラスが前記第一の個人である、第二の条件付き確率を決定し；
前記第二の条件付き確率と前記第一の事後確率とを乗算することにより、個人クラスが前記第一の個人である、第二の事後確率を決定することにより、前記副集合の顔構成要素の前記個人クラスが第一の個人である前記確率を決定するよう構成されたことを特徴とする請求項１０に記載の顔認識システム。
【請求項１３】
前記個人クラスが第一の個人である前記事前確率が１／Ｎ（Ｎは個人の数である）であることを特徴とする請求項１２に記載の顔認識システム。
【請求項１４】
さらに、前記顔認知用知識ベースに、前記第一の構成要素分類と関連付けられた前記第一集合の顔構成要素中の前記顔構成要素を格納するように構成された格納モジュールを含むことを特徴とする請求項１０に記載の顔認識システム。
【請求項１５】
認知対象の個人の様々な視点における顔構成要素を受けるよう構成された受信モジュールと；
前記顔認知用知識ベースに格納された顔構成要素を用いて個人を認知するよう構成された認知モジュールとをさらに含むことを特徴とする請求項１４に記載の顔認識システム。
【請求項１６】
前記構成要素分類用知識ベース中の前記顔構成要素が、さらに、顔構成要素学習に用いられた、第二集合の複数の視点における第二の個人の顔の訓練画像から抽出された、第二集合の顔構成要素を含む請求項１０に記載の顔認識システムであって、前記指標構成要素モジュールが、さらに、
前記第二集合の顔構成要素と関連付けられた第二集合の構成要素分類を決定し；
前記第二集合の構成要素分類中の各構成要素分類について、
前記第二集合の顔構成要素から、前記構成要素分類と関連付けられた副集合の顔構成要素を決定し；
前記副集合の顔構成要素の個人クラスが前記第二の個人である確率を決定し；
前記第二集合の構成要素分類において前記確率を最大化する第二の構成要素分類を決定するよう構成されたことを特徴とする顔認識システム。
【請求項１７】
前記第一集合の複数の視点と前記第二集合の複数の視点とが異なることを特徴とする請求項１６に記載の顔認識システム。
【請求項１８】
前記第一の構成要素分類と前記第二の構成要素分類とが異なることを特徴とする請求項１６に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願
本出願は、米国仮出願第６０／４８４，２０１号（越膳孝方ら、２００３年6月３０日提出）に基づき優先権を主張し、この参照により開示に含まれるものとする。本出願は更に、米国実用新案出願第  号（Bernd Heiseleら、２００４年６月３０日提出）に関し、この参照により開示に含まれるものとする。
【０００２】
本発明は顔認識システム及び顔認識方法に関する。特に本発明は、少量のデータのみで高精度に顔を認識するシステム及び方法に関する。
【背景技術】
【０００３】
セキュリティー技術など多くの分野において、高精度で個人の顔を認識するシステム及び方法が必要とされている。
【０００４】
顔認識方法としては、テンプレートを用い、明度に基づいて得られた特徴を利用するものが一般に知られている。またHeisele,B.、Poggio,T.及びPontil,M.（（2000）、“Face detection in still gray images”、A.I.Memo 1687、マサチューセッツ工科大学生物学的・計算論的学習センター（マサチューセッツ州ケンブリッジ））は、高精度の顔認識を行うために、明るさの影響がない環境下で得た入力画像から目、鼻、口などの構成要素（component）の特徴を抽出する方法を提案している。この方法では、サポートベクタマシン（ＳＶＭ）を用いて目、鼻、口などの構成要素から抽出した特徴を分類して顔認識を行う。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし従来のシステム又は方法では、顔認識を高精度で行うために莫大な量のデータを必要とする。例えば様々な視点（viewpoint）のテンプレートを用意する場合、それに応じたデータ量がそのまま増えることになる。さらに目、鼻、口などの構成要素の特徴を様々な視点について様々な照明条件下で学習すると、確かに顔認識の精度は上がるが、情報とそのデータベースの量は指数関数的に増えたものとなってしまう。
【課題を解決するための手段】
【０００６】
本発明の一側面による顔認識システムは、構成要素学習／抽出モジュール、構成要素分類器訓練モジュール、構成要素分類用知識ベース、構成要素抽出モジュール、物体認知（identification）訓練モジュール、顔認知用知識ベース及び物体認知モジュールを備える。
【０００７】
構成要素学習／抽出モジュールは様々な視点における個人の顔画像データを受け、様々な視点における個人の顔画像データから様々な視点における構成要素データを抽出する。
【０００８】
構成要素分類器訓練モジュールは様々な視点における構成要素データを受け、様々な視点における構成要素データを用いた分類器訓練の結果を得る。
【０００９】
構成要素分類用知識ベースは、様々な視点における構成要素データを用いた分類器訓練の結果を格納する。
【００１０】
構成要素抽出モジュールは様々な視点における個人の顔画像データを受け、構成要素分類用知識ベースに格納された様々な視点における構成要素データを用いた分類器訓練の結果を用いて、様々な視点における構成要素データの分類出力を抽出する。
【００１１】
物体認知訓練モジュールは、様々な視点における構成要素データ分類出力を受け、様々な視点における構成要素データ分類出力の下で所与のアテンションクラス（attention class）の事後確率を最大化するように、ベイズ推定により各個人についての指標構成要素を決定する。
【００１２】
顔認知用知識ベースは個人についての指標構成要素を格納する。
【００１３】
物体認知モジュールは、様々な視点における構成要素データ分類出力を受け、顔認知用知識ベースに格納された各個人についての指標構成要素を用いて、個人の顔を認知する。
【００１４】
本発明の他の側面による個人の顔を認識する方法は、構成要素学習／抽出モジュール、構成要素分類器訓練モジュール、構成要素分類用知識ベース、構成要素抽出モジュール、物体認知訓練モジュール、顔認知用知識ベース及び物体認知モジュールを含む顔認識システムにより実行される。
【００１５】
本方法は、構成要素学習／抽出モジュールが、様々な視点における個人の顔画像データを受け、この画像データから様々な視点における構成要素データを抽出する段階を含む。
【００１６】
本方法は、構成要素分類器訓練モジュールが、様々な視点における構成要素データを受け、様々な視点における構成要素データを用いた分類器訓練の結果を得て、様々な視点における構成要素データを用いた分類器訓練の結果を構成要素分類用知識ベースに格納する段階を含む。
【００１７】
本方法は、構成要素抽出モジュールが、様々な視点における個人の顔画像データを受け、構成要素分類用知識ベースに格納された様々な視点における構成要素データを用いた分類器訓練の結果を用いて、様々な視点における構成要素データの分類出力を抽出する段階を含む。
【００１８】
本方法は、物体認知訓練モジュールが、様々な視点における構成要素データ分類出力を受け、様々な視点における構成要素データ分類出力の下で所与のアテンションクラスの事後確率を最大化するように、ベイズ推定により各個人についての指標構成要素を決定し、各個人についての指標構成要素を顔認知用知識ベースに格納する段階を含む。
【００１９】
本方法は、物体認知モジュールが、様々な視点における構成要素データ分類出力を受け、顔認知用知識ベースに格納された各個人についての指標構成要素を用いて個人の顔を認知する段階を含む。
【００２０】
本発明の他の側面による個人の顔を認識するプログラムは、コンピュータ上で実行するものであり、構成要素学習／抽出モジュール、構成要素分類器訓練モジュール、構成要素分類用知識ベース、構成要素抽出モジュール、物体認知訓練モジュール、顔認知用知識ベース及び物体認知モジュールを備える。
【００２１】
構成要素学習／抽出モジュールは、様々な視点における個人の顔画像データを受け、様々な視点における個人の顔画像データから様々な視点における構成要素データを抽出する段階を、コンピュータに実行させる。
【００２２】
構成要素分類器訓練モジュールは、様々な視点における構成要素データを受け、様々な視点における構成要素データを用いた分類器訓練の結果を得て、様々な視点における構成要素データを用いた分類器訓練の結果を構成要素分類用知識ベースに格納する段階を、コンピュータに実行させる。
【００２３】
構成要素抽出モジュールは、様々な視点における個人の顔画像データを受け、構成要素分類用知識ベースに格納された様々な視点における構成要素データを用いた分類器訓練の結果を用いて、様々な視点における構成要素データの分類出力を抽出する段階を、コンピュータに実行させる。
【００２４】
物体認知訓練モジュールは、様々な視点における構成要素データ分類出力を受け、様々な視点における構成要素データ分類出力の下で所与のアテンションクラスの事後確率を最大化するように、ベイズ推定により各個人についての指標構成要素を決定し、各個人についての指標構成要素を顔認知用知識ベースに格納する段階を、コンピュータに実行させる。
【００２５】
物体認知モジュールは、様々な視点における構成要素データ分類出力を受け、顔認知用知識ベースに格納された各個人についての指標構成要素を用いて個人の顔を認知する段階を、コンピュータに実行させる。
【発明の効果】
【００２６】
本発明によると、様々な視点における顔画像データを用いた訓練によって、個人の指標構成要素を得ることができる。従って本発明によるシステム及び方法を用いれば、高精度の視点非依存性顔認識が可能となる。さらに、指標構成要素のみが認知用知識ベースに格納されているので、顔認識に必要なデータ量を最小にすることができる。
【図面の簡単な説明】
【００２７】
【図１Ａ】構成要素学習／抽出を実行する、本発明の一態様による顔認知システムの部分を示す。
【図１Ｂ】認知学習を実行する、本発明の一態様による顔認知システムの部分を示す。
【図１Ｃ】認知を実行する、本発明の一態様による顔認知システムの部分を示す。
【図２】指標ＳＶＭ構成要素についての複数の分類器システムの概観を示す。
【図３】超平面（サポートベクタを通過する破線により定義される最大マージンを有する最適分離超平面）を用いた２クラス間の分類を示す。
【図４】顔構成要素を用いた二段階式分類器の概略図を示す。
【図５】上、下、右、左方向への構成要素の拡張例を示す。
【図６】ＰＦＣに基づく二方向アテンションネットワークモデルを示す。
【図７】学習計画案の概略図を示す（様々な視点を更新するフィードバック処理が、期待値を最大化するように考慮に入れられる。指標構成要素の抽出には、構成要素の特徴がはっきり目視でき他と区別が可能であることが好ましい）。
【図８】事後確率Ｐ（ｙ＝１｜ｆ）のシグモイド関数を示す（横軸の０は、顔構成要素に関する特徴についての最適超平面を表す。
【図９】顔の視点が−１０°〜＋１０°の範囲で右から左、又は左から右へ回転する顔の動きパターン（ケース１）を示す。
【図１０】顔の視点が＋１２°〜＋４２°の範囲で左側のみに回転する、顔の動きパターン（ケース２）を示す。
【図１１】１２個の顔構成要素位置の検出を示す。
【図１２】ＳＶＭ学習アルゴリズムにより算出されるヒストグラムを示す。縦軸は鼻右側についての学習結果（マージン）を表し、横軸は顔が−１０°〜＋１０°の範囲で回転する場合の該当視点を示す。
【図１３】ＳＶＭ学習アルゴリズムにより算出されるヒストグラムを示す。縦軸は口左端についての学習結果（マージン）を表し、横軸は顔が＋１２°〜＋４２°の範囲で回転する場合の該当視点を示す。
【図１４】指標構成要素が左目である場合の、可能なアテンションクラスの事後確率を示す。
【図１５】指標構成要素が右頬である場合の、可能なアテンションクラスの事後確率を示す。
【図１６】図１４に示す事後確率により計算した期待値を示す。
【図１７】図１５に示す事後確率により計算した期待値を示す。
【図１８】物体認知訓練モジュールの操作結果の一例を示す。
【図１９】物体認知訓練モジュールの手順を示す。
【発明を実施するための形態】
【００２８】
本明細書に記載した特徴及び利点のみならず、その他の特徴及び利点も図面、明細書、請求の範囲から当業者には明らかとなるであろう。なお、本明細書で用いる表現は主として可読性及び説明を考慮して選んだものであり、発明の内容を画定・制限するように選んだものであるとは限らない。
【００２９】
以下、図を参照に本発明の好ましい態様を説明するが、同様の参照番号は要素が同一であるか機能上同等であることを示す。さらに図において、各参照番号の左端の数字は最初に参照番号が使われた図の番号に対応する。
【００３０】
本明細書において「一つの態様」又は「一態様」とは、ある態様に関連して記述した特定の特徴、構造又は特性が、本発明の少なくとも一つの態様に含まれることを意味する。明細書を通じて用いられる「一態様による」の表現は、必ずしも同一の態様を示しているとは限らない。
【００３１】
後述する詳細な説明において、コンピュータメモリ内のデータビットを操作するアルゴリズムや記号表記を用いて示した部分がある。これらアルゴリズムを用いた説明及び表記は、データ処理の分野において当業者から他の当業者へ最も効率的に仕事内容を伝える手段として用いられている。本明細書において、また一般的にも、アルゴリズムとは望ましい結果に導く自己矛盾のない一連の段階（命令）と考えられるものである。これらの段階は物理量の物理的処置を必要とする。通常、こうした物理量は格納、転送、結合、比較及び他の操作が可能な電子、磁気又は光信号の形状をしている（ただしこれらに限定されるものではない）。主に一般的な慣習から、時としてこれらの信号をビット、値、要素、記号、文字、項、数などと称するのが便利である。更に時として、物理量の物理的処置を必要とする段階の一定の配列を、一般的な意味を損なわない範囲で、モジュール又はコード装置と称するのが便利である。
【００３２】
なお、これら全ての用語ならびに同様の用語は、適当な物理量に関連して使用するものであり、これらの物理量について便宜上用いた表現に過ぎない。下記の説明から明らかとなるように、本明細書にわたって、特に述べない限りは、「処理」、「算出」、「計算」、「判断」、「表示」、「決定」などの用語を用いた説明は、コンピュータシステムメモリ又はレジスタあるいは他の情報格納、伝送又はディスプレー装置内で、（電子的）物理量として表されるデータを処置及び転送する、コンピュータシステム又は同様の電子計算装置の実行や処理を意味することは理解されよう。
【００３３】
本発明のある側面として、アルゴリズムの形態で処理段階及び命令を本明細書に記載している部分がある。なお本発明の処理段階及び命令は、ソフトウェア、ファームウェア又はハードウェアの態様を取ることができ、ソフトウェアの場合には、様々なオペレーティング・システムによって用いられる様々なプラットフォームに、ダウンロードで常駐し操作することのできるものである。
【００３４】
本発明はまた、本明細書に記載の操作を実行する装置に関する。この装置は、所要の目的のために特別に作製したものであってもよいし、内部に格納されたプログラムによって選択的に作動する又は再構成される汎用コンピュータを含むものであってもよい。このようなコンピュータプログラムは、コンピュータによって可読の記憶媒体に格納することができ、例としてはフロッピー（登録商標）ディスク、光ディスク、ＣＤ−ＲＯＭ、光磁気ディスク等のあらゆる種類のディスクや、コンピュータ・システム・バスに接続した、リードオンリーメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気又は光カード、特定用途向け集積回路（ＡＳＩＣ）又は電子命令（electronic instructions）を格納するのに好適なあらゆる種類の媒体が挙げられるが、これらに限定されるものではない。さらに本明細書で言及するコンピュータは、単一のプロセッサであってもよいし、計算機能を強化した複数のプロセッサ設計を用いたアーキテクチャであってもよい。
【００３５】
本明細書に述べるアルゴリズムや表示は、特定のコンピュータやその他の特定の装置のみに関係するものではない。本明細書の教示に基づいたプログラムと共に、様々な汎用システムを用いることが可能であり、あるいは必要とされる方法段階を実行するために、より専門化した装置を構築することも可能である。これらシステムの様々な態様に必要な構造は、下記の説明により明らかとなるであろう。また本発明は、特定のプログラム言語を基準にして説明するものではない。本明細書に記載する本発明の教示を実施するのに、様々なプログラム言語が使用可能であり、特定の言語について参照している場合は本発明の実施可能性と最良の態様を開示するためのものであるということは理解されよう。
【００３６】
さらに、本明細書で用いる表現は主として可読性及び説明を考慮して選んだものであり、発明の内容を画定・制限するように選んだものであるとは限らない。このように、本発明の開示は例証のためのものであって、請求の範囲に記載する発明を制限するものではない。
【００３７】
図１Ａは、構成要素学習／抽出段階を実行する、本発明の一態様による顔認知システムの部分を示す。構成要素学習／抽出モジュール１は、カメラ又は画像データベース１０１から顔構成要素学習用訓練画像を受ける。構成要素学習／抽出モジュール１はまた、顔の方向や動き（視点）、構成要素が取りうる位置等を示すパラメータを、教師（teacher）１０２から受ける。構成要素学習／抽出モジュール１は学習したサイズ、形及び位置を用いて構成要素データを抽出し、構成要素分類器訓練モジュール２へ送る。構成要素分類器訓練モジュール２は、サポートベクタマシンを用いて、各個人について、様々な視点における構成要素データの「一対全（one−verses−all）分類」を行う。「一対全分類」は、「ボトムアップ一対一分類」と比べて少ない訓練量しか必要としない。分類器訓練の結果はサポートベクタによって示される。このサポートベクタは、訓練により超平面に近づくことが見込まれる。構成要素分類器訓練モジュール２は、分類器訓練の結果を構成要素分類用知識ベース３に格納する。
【００３８】
本明細書においてモジュールとは、所与の機能を実行するハードウェアユニット又はソフトウェアユニットを意味する。ハードウェアユニットは様々な種類のプロセッサを含む。ソフトウェアユニットは、様々な種類のプロセッサで実行される様々な種類のプログラムを含む。
【００３９】
図１Ｂは、認知学習段階を実行する、本発明の一態様による顔認知システムの部分を示す。構成要素抽出モジュール４は、カメラ又は画像データベース１０１から顔認知訓練用画像を受ける。構成要素抽出モジュール４はまた、顔の方向や動き（視点）等を示すパラメータと共に、分類器訓練の結果を構成要素分類用知識ベース３から受ける。構成要素抽出モジュール４は様々な視点における構成要素分類のＭ次元出力を作成し、その出力を物体認知訓練モジュール５に送る（Ｍは構成要素の数を表す）。構成要素分類の出力はサポートベクタによって表される。物体認知訓練モジュール５は、様々な視点における出力を受け、様々な視点における出力の下で所与のアテンションクラスの事後確率を最大化するように、ベイズ推定又は他の統計的手法によって各個人についての指標構成要素を決定する。次いで物体認知訓練モジュール５は各個人についての指標構成要素を顔認知用知識ベース６に格納する。顔認知用知識ベース６は各個人についての指標構成要素のみを格納す
るので、データベース量を著しく削減することができる。物体認知訓練モジュール５の操作は、後に詳述する。
【００４０】
図１Ｃは、認知段階を実行する、本発明の一態様による顔認知システムの部分を示す。構成要素抽出モジュール４は、カメラ又は画像データベース１０１から物体認知用画像を受ける。構成要素抽出モジュール４はさらに、顔の方向や動き（視点）等を示すパラメータと共に、分類器訓練の結果を構成要素分類用知識ベース３から受ける。構成要素抽出モジュール４は構成要素分類のＭ次元出力を作成し、その出力を物体認知モジュール７に送る（Ｍは構成要素の数を表す）。物体認知モジュール７は出力を受け、顔認知用知識ベース６に格納された各個人についての指標構成要素を読み出す。次いで物体認知モジュール７は、出力と各個人についての指標構成要素とを用いて個人を認知する。
【００４１】
図１９は、物体認知訓練モジュール５の手順を示す。ステップＳ１９１０では、各クラスの事前確率を１／Ｎとする（ここでＮは個人数を表す）。ステップＳ１９２０では、各クラスの下で、ある視点における構成要素データ分類出力の条件付き確率を、その視点における構成要素データ分類出力から決定する。ステップＳ１９３０では、条件付き確率に各クラスの事前確率を掛けて各クラスの事後確率を得る。ステップＳ１９４０では、上記ステップが上記構成要素データ分類出力における全ての視点について実行されたか否かを判断する。答えがＮＯであれば、ステップＳ１９５０において、得られた事後確率を次の視点についての事前確率に設定し、手順はステップＳ１９２０へ戻る。答えがＹＥＳであれば、手順はステップＳ１９６０へ進む。ステップＳ１９６０では、上記ステップが全ての構成要素データ分類出力について実行されたか否かを判断する。答えがＮＯであれば、手順はステップＳ１９１０へ戻る。答えがＹＥＳであれば、手順はステップＳ１９７０へ進む。ステップＳ１９７０では、各クラスについて最も高い事後確率を有する構成要素をそのクラスの指標構成要素として選択する。
【００４２】
図１８は、物体認知訓練モジュール５の操作結果の一例を示す。横軸は視点を表し、縦軸は事後確率又は確信度（belief）を表す。視点の数は６である。最初は、各クラスの事後確率は１／６である。操作する視点数が増えるにつれ、ある特定クラスの確率は増え、他クラスの確率はゼロに近づく。６視点について操作を行った後の特定クラスの確率は０．９より大きくなるが、他クラスの確率はほぼゼロとなる。
【００４３】
システムアーキテクチャ：指標顔構成要素を用いた学習手法
この項では、指標顔構成要素を用いた手法の計算的側面について説明する。指標顔構成要素を抽出するように学習を行い、情報源を要約して様々な顔を識別することのできる、複数の分類器システム案の概観を図２に示す。このシステム案は、Heisele,B.、Poggio.T. 及びPontil,M.により最初に提案された単一のサポートベクタマシン（ＳＶＭ）構成要素を用いた分類器に基づくものである（（2000）、“Face detection in Still Gray Images”、A.I.memo 1687、マサチューセッツ工科大学生物学的・計算論的学習センター（マサチューセッツ州ケンブリッジ）参照。ここに参照して説明に代える）。ＳＶＭ構成要素を用いた単一の分類器を基礎計算する目的は、濃淡値入力画像において様々なサイズで任意の位置にある顔を検出することにある。そのためには入力画像を呼び出し、サイズ変更した画像それぞれの上で、固定サイズのウィンドウを動かす。各ウィンドウ内のパターン分析は、ウィンドウ内に顔があるかないかをバイナリ出力で示す、本発明者らの構成要素を用いた二段階式分類器によって行う。簡単に言えば、第一段階では構成要素分類器はそれぞれ独立して顔の各構成要素を検出する役割を果たす。ＳＶＭ構成要素分類器は、目、鼻、口などの各顔構成要素の学習にも用いられる。
【００４４】
１）サポートベクタマシンの基礎
最も基本的なＳＶＭでは、構造的リスク最小化についてクラスを分離する最適超平面（又は識別平面としても知られる）を見つけることによって、２つのデータクラスを識別する。新しいデータポイントがどちらの平面に位置しているかを判定して分類する。ＳＶＭは２クラス間の距離を最大にする超平面を決定し、それを識別平面として選択する。特にこの平面は、識別平面に最も近い各クラスの訓練データポイントであるサポートベクタ（ＳＶ）によって完全に画定される。また、識別平面とＳＶの距離は「マージン」と呼ばれる。
【００４５】
データが線形分離可能ではない場合、入力空間におけるｘｉ及びｘを、濃淡値入力画像から抽出した高次元特徴空間のφ（ｘｉ）及びφ（ｘ）に写像する。場合によっては、濃淡値入力画像をヒストグラム平坦化法により変形し、より解像度の高い入力画像を得ることができる。本明細書の場合、合成顔について様々な照明及び回転を考慮に入れて正の訓練を行う。
【００４６】
図３は、二分類問題（two classification problem）の場合を説明する図である。
各特徴ベクタは、ＳＶＭ分類器によって非線形的に分離される。φ（ｘｉ）とφ（ｘ）の写像は、ガウス分布等によって与えられるカーネル関数Ｋ（ｘｉ，ｘ）によって表される。
【００４７】
一般的なＳＶＭ識別関数は下記式で表される。
【００４８】
【数１】
2010282640.tif 000003
【００４９】
【数２】
2010282640.tif 000004
【００５０】
ここでｘｉ∈Ｒｎ、ｉ＝１、２、・・・、ｌは訓練データである。ｘｉの各点はラベルｙｉ∈｛−１，１｝によって識別される２つのクラスのいずれかに属する。係数αｉ及びｂは二次計画問題の解として得られる。αｉはサポートベクタについては非ゼロであるが、そうでない場合はゼロである。
【００５１】
このような超平面の画定において、αには下記の汎関数が考慮に入れられる。
【００５２】
【数３】
2010282640.tif 000005
【００５３】
2010282640.tif 000006
【００５４】
Ｍはサポートベクタと超平面との距離の２倍であるとする。
Ｍはマージンを意味し、下記式で与えられる。
【００５５】
【数４】
2010282640.tif 000007
【００５６】
マージンは、置かれたデータポイントが分離可能であるかを示す指標となる。実際には、ＳＶＭの誤差確率の期待値ＥＰｅｒｒは下記の範囲を満たす。
【００５７】
【数５】
2010282640.tif 000008
【００５８】
２）顔構成要素を用いた学習
顔構成要素を用いた学習手法の目的は、濃淡値入力画像において様々なサイズで任意の位置にある顔を検出することにある（Heisele（上述）参照）。そのためには入力画像のサイズを変更し、サイズ変更した画像それぞれの上で、固定サイズのウィンドウを動かす。ウィンドウ内に顔があるかないかをバイナリ出力で示す、本発明者らの構成要素を用いた二段階式分類器によって、各ウィンドウ内のパターン分析を行う。より詳しい説明として、構成要素を用いた二段階式分類器の概観を図４に示す。第一段階では、複数の構成要素分類器がそれぞれ独立して顔構成要素を検知する。この分類器を用いることで、構成要素が目、鼻、口の周りの特徴を抽出することが可能になる。分類器は線形ＳＶＭを用いるが、例えば抽出された顔構成要素のセットと、ランダムに選択された非顔パターンのセットとについて構成要素の訓練を行う。構成要素は、３Ｄ頭部モデルから作成した合成顔画像から自動的に抽出される。第二段階では、構成要素分類器で得た結果を幾何学図形分類器で一次結合することによって最終的な顔の検出を行う。
【００５９】
ある入力ウィンドウについて、予想される構成要素位置の周辺における、矩形検索領域内での構成要素分類器の最大連続出力を、幾何学図形分類器への入力として用いる。検索領域は、訓練画像における構成要素位置の平均偏差及び標準偏差から計算する。また検索領域を用いることで、幾何学的分類器において、検出した構成要素の、入力ウィンドウの左上コーナーに対する正確な位置が得られる。最終的には１個の構成要素分類器につき、幾何学的分類器に伝播される３個の値が得られる。幾何学的分類器の出力は、ウィンドウ内に顔があるか無いかを示す。
【００６０】
図５は、顔構成要素を用いた手法の結果を表す変動性の矩形と、右目構成要素の左、右、上、下についてのマージンの変動の結果（グラフ）を示す。
【００６１】
３）ＰＦＣに基づく二方向神経ネットワークモデル
越膳らは、これまでにＰＦＣ（前前頭皮質）に基づく二方向アテンションネットワークモデルを提案している。このモデルでは、モニター処理によって発生する注意要求（attention demanding）に応じてアテンションクラスΩｉが得られる。次いで注意要求処理によって注意変調（attention modulation）処理が行われる。ヒトの脳において、注意要求は前帯状皮質（ＡＣＣ）に関連し、注意変調は後頭頂葉（ＰＰＣ）に関連すると考えられている。ＰＰＣはＰＦＣと組み合わせると、逐次学習において補助的な役割を担うことが知られている。ＰＰＣニューロンは、感覚運動の統合及び変換にも関与している（例えばAndersen,R.A.、Snyder,L.H.、Bradley,D.C.及びXmg.J（1997）“Multimodal representation of space in the posterior parietal cortex and its use in planning movements”、Annual Review of Neuroscience、Vol.20、pp.303−330参照。ここに参照して説明に代える）。即ちＰＦＣはＡＣＣ及びＰＰＣと密接に連結しており、心的表示及び認知内容に対する空間的注意及び無視の計算を行う（例えばMesulam M−M（1999）、“Spatial attention and neglect：parietal, frontal and cingulate contributions to the mental representation and attentional targeting of salient extrapersonal events”、Phil Trans R Soc Lond B Vol.354、pp.1325−1346参照。ここに参照して説明に代える）。このネットワークにおいてベイズ学習は、様々な時刻系で得た顔視点の事前確率について、時間的相関関係を訓練する重要な役割を果たす。ベイズ学習は下記のベイズ定理により導き出される。
【００６２】
【数６】
2010282640.tif 000009
【００６３】
ここでＩはＳＶＭ出力に由来する構成要素の特徴を意味し、Ωｗは指標構成要素のｗ番目の確率的アテンションクラスを意味する。ＰｐｒｉはアテンションクラスΩ１の事前確率である。まず、各クラスについて等しい事前確率を仮定するので
【００６４】
【数７】
2010282640.tif 000010
【００６５】
となる。実際には、θ＾ｆによってパラメータ化されるＰ（Ｉ｜Ωｗ）を概算する。仮にクラスの信頼度をθの積分で計算した場合、類似の外観で確率が加算され、その顔に有利なように結果を偏向させる。ここではクラスの事後確率を正しく推定するのではなく、正しいクラスを決定することが最終的な目標であるので、そのような偏向を排除する本明細書の方法は妥当である。
すなわち、
【００６６】
【数８】
2010282640.tif 000011
【００６７】
図６は、ＰＦＣに基づく二方向アテンションネットワークモデルを示す。このモデルは、Koshizen,T.、Ueda,Y.及びTsujino,H.（2002）、“The brain-like, sensory motor control system”、Journal of Intelligent Robotic Systems、Kluwer Academic Publisher、Vol.35、No.3、pp.265-288（ここに参照して説明に代える）に記載されるように、トップダウン及びボトムアップ処理から構成される。アテンションネットワークは基本的に、「ボトムアップ」及び「トップダウン」処理からなる二方向性ループを備える。ボトムアップ処理は入ってくる感覚入力の分析（分類）に関与し、トップダウン処理は、各アテンションクラス（期待値）に関連する格納されたモデルと情報に関与する。本フレームワークにおいて、アテンションクラスは、確率分布によって確率的モデル化することが可能である。従ってＥＭアルゴリズム（統計的学習計画の一種）は、図６におけるアテンションクラスとして内部状態（カラム）を計算するＰＦＣに基づく二方向アテンションネットワークモデルに適合する。他の側面によれば、帰納的時間推論（inductive temporal reasoning）としてのベイズ学習をアテンションネットワークに用いることが可能である。ベイズ計算とはすなわち目前のエビデンスに基づく尤度と予備知識による事前確率とから得られる結果のことである。実際には、この結果は事後確率と呼ばれる。
【００６８】
事後確率＝事前確率×尤度
認知される（perceived）構成要素は事後確率を最大化する要素の一つである。
事後確率（Ωperceived）＝ｍａｘ（事後確率）（最大事後確率の推定）
【００６９】
例えば尤度は、人の認識に重要な役割を果たす顔構成要素の特徴の確率分布を表す。以上をまとめると、ベイズ学習を導入して、顔構成要素の特徴について様々な視点を与える顔の連続的な動きを考慮に入れ、顔構成要素の各特徴の尤度にわたって生じる不確定性を排除できるようになる。本フレームワークにおいては、顔から構成要素の特徴を抽出する学習を行うのにＳＶＭを用いる。これに対してベイズ学習は、抽出した構成要素の特徴の時間的相関関係に用いる。ＰＦＣに基づく二方向アテンションネットワークモデルを用いて不確実性の基準を計算し、観察Ｉを必要条件とするアテンションクラスの実際のポーズと推定のポーズとの差の程度についての期待値を得る。根本的には期待値によって行われるトップダウン信号の損失を得るために、本モデル案は概念上、時空間計算に関するＰＦＣに基づく二方向アテンションネットワークの意味論的（semantic）計算方法を仮想的に決定する。後述するように、本アルゴリズム案を用いることで、顔の区別に注意変調を考慮に入れる場合の期待値を最大化して、顔又は物体の全体像を表す指標構成要素を抽出することが可能である。
【００７０】
４）画像処理
以下、指標構成要素を用いた手法について述べる。様々な照明条件及び黒背景の下で訓練画像をキャプチャーする。画像を集めた後、ピクセル値を入力して構成要素を用いた学習を行う。ＳＶＭ訓練処理ではまず、顔検出器を用いて画像の全体像から顔構成要素を抽出する。トリミングした画像を濃淡値に変換し、４０×４０ピクセルにサイズ変更する。また画像明度及びコントラストにおける偏差を除去するために、ヒストグラム平坦化を適用する。各顔画像につき１６００の濃淡値を、０〜１の範囲に正規化する。各画像は長さ１６００（画像中の全ピクセル数）の単一特徴ベクタによって表される。訓練処理中、顔ＳＶＭ構成要素分類器にこれら特徴ベクタを入力する。
【００７１】
５）学習アルゴリズム
ここで、ＳＶＭにより訓練した複数の分類器で指標構成要素を用いる手法に基づいた、学習アルゴリズムを説明する。
【００７２】
2010282640.tif 000012
【００７３】
2010282640.tif 000013
【００７４】
【数９】
2010282640.tif 000014
【００７５】
2010282640.tif 000015
【００７６】
【数１０】
2010282640.tif 000016
【００７７】
2010282640.tif 000017
【００７８】
【数１１】
2010282640.tif 000018
【００７９】
2010282640.tif 000019
【００８０】
【数１２】
2010282640.tif 000020
【００８１】
ここでＰｉ＝Ｐ（ｘｉ）である。このような機構の出力Ｐ（−）が事後確率となる。式（１１）により与えられる誤差関数の最小化からスパースマシン（sparse machine）は直接得られないが、この方法を改変するとスパースカーネルを生じる（Wahba（上述）参照）。
【００８２】
負例から殆どあるいは全ての正例を分離するようにＳＶＭが訓練されるので、一般に、事後確率Ｐ（ｙ＝１｜ｆ）によってｆを単調とすることができる。
【００８３】
2010282640.tif 000021
【００８４】
【数１３】
2010282640.tif 000022
【００８５】
ここでｔは顔視点を得たある特定の時間を意味する。
式（８）中のＰ（Ω（ｔ））が下記のように書き換えられるとする。
【００８６】
【数１４】
2010282640.tif 000023
【００８７】
ここでγ（ｔ）は、式（１２）の期待値の最大化について満足できるＳＶＭ訓練の結果を得るために、顔の視点を任意に変えることで算出した事後確率Ｐ（Ω（ｔ））により与えられるアテンションクラスΩ（ｔ）の大きさを示す。理論的には、γ（ｔ）は下記の数式により計算されるべきものである。
【００８８】
【数１５】
2010282640.tif 000024
【００８９】
ＥＭは様々な方法で得ることができるが、そのうち最も本質を得た方法は下限最大化である（Dempster（上述）ならびにNeal,R.及びHinton,G.（1998）、“A view of the EM algorithm that justifies incremental, sparse, and other variants”、Jordan, M.編、Learning in Graphical Models. Kluwer Academic Publishers参照。ここに参照して説明に代える）。隠れ変数Ωの存在下で、所与の出力の事後確率Ｉ（ｔ）を最大化することが目的である。同様に、結合分布の対数（事後確率に比例する）を最大化することが可能である。
Ω（ｔ＋１）＝ａｒｇｍａｘΩ（ｔ）ε（Ω，Ω（ｔ））    ・・・（１５）
Logothetisは、マカクザルを用いた実験により、下側頭皮質領域における神経反応が視点により可変であることを特徴付け、方向変化により見えない表示を滑らかに補間する特性を示した（27. Logothetis,N.K.、Pauls,J.及びPoggio,T.（1995）、“Shape representation in the inferior temporal cortex of monkeys”、Current Biology、Vol5.、pp.552−563参照。ここに参照して説明に代える）。
【００９０】
本発明のＥＭアルゴリズムは下記ステップを実行する。
――期待値（Ｅ）：式（１２）によって与えられる期待値を計算。
――最大化（Ｍ）：式（１３）によって与えられるΩ（ｔ＋１）を計算。
ε（Ω（ｔ））は、Ｅステップにおいて現在の推定値Ω（ｔ）（従って上付き文字ｔを用いる）を評価することで計算する。Ｍステップでは、自由変数ｔに関してε（Ω，Ω（ｔ））を最適化して新しい推定値Ω（ｔ＋１）を得る。実際には、自由変数は相互検証法によって得ることができる。
【００９１】
６）顔検出；最後に、指標顔構成要素を用いて顔検出を行い、また単一の被験者をその他の被験者から区別する。これは空間的構成要素学習段階（２）と時間的構成要素学習段階（５）との両方で実行する。指標構成要素を用いた手法の最も有利な点としては、図４に示すようにＳＶＭ構成要素学習計画を用いて、顔を分解して得られる全ての構成要素からなる単一の特徴ベクタを一般化することが挙げられる。
【００９２】
実験
この実験には２つの目的がある。第一の目的は、顔視点が揺れ動いたり激しく動いたりする場合の、空間的構成要素学習の訓練性能を統計的に評価することである。第二の目的は、空間的構成要素学習と一致した時間的構成要素学習へとつながる様々な顔構成要素の間での注意変調の推定性能を、比較することである。
【００９３】
システム案への入力を得るために、各構成要素のサイズを正規化し、濃淡値を単一の特徴ベクタに統合した。顔画像から構成要素を抽出する空間的構成要素学習を行い、１２の顔構成要素からなる１セットを単一の特徴ベクタとした。なお、顔画像から構成要素を抽出する前に、システム内で検出した４０×４０顔画像に同じ処理を適用した。
【００９４】
空間的学習処理に次いで時間的学習処理を行い、関連する構成要素間の関係を訓練する。本フレームワークにおいて、この処理は統計的学習計画により実行する。とりうる方向を向いた構成要素のアテンションクラスは、基本的に式（１１）から得られる。事前確率から導かれる事後確率Ｐ（Ω（ｔ）｜Ｉ（ｔ））を計算するのにベイズ式を用いる（ここでΩ（ｔ）は顔から各ＳＶＭ構成要素を抽出する空間学習段階で得た出力である）。
【００９５】
訓練データセットは、６被験者全ての９７４画像を含んでおり、さらに全ての被験者の前顔・横顔を含んでいる。回転の深さは、ここでも最大約±４２°である。図９及び１０は、６被験者の顔パターンを示す。いずれの顔も左側及び右側に等しく２°ごとに回転／動画化している。顔の向きは０°の正面視点が中心になるものとする。
【００９６】
本実験では、訓練セット中の８５９３個の回転・正面顔画像の全てを訓練する。
【００９７】
図１１は、アテンションクラスにより割り当てられる構成要素の位置を示す。これらの位置は顔構成要素に基づく検出により算出される。
【００９８】
図１２及び１３は、ＳＶＭ学習アルゴリズムにより算出されるヒストグラムを示す。図１２の縦軸は鼻右側の学習結果（マージン）を表し、横軸は、−１０°〜＋１０°の範囲で顔が回転した場合に得られる、該当視点（relevant viewpoint）を示す（ケース１）。被験者ＩＤ−６は明らかに、負例の分類について他と異なっていることが分かる。なおこの場合、負例は残りの被験者（すなわちＩＤ−１、ＩＤ−２、ＩＤ−３、ＩＤ−４及びＩＤ−５）から構成される。同様に図１３は、＋１２°〜＋４２°の範囲で顔が回転した場合に得られる、口左端についてのＳＶＭ学習の結果を示す（ケース２）。この結果、被験者ＩＤ−３が負例について他と異なっていることが分かる。
【００９９】
ここで、他と異なる構成要素を指標構成要素と称する。また図１４及び１５は、指標構成要素の事後確率を示す。これら事後確率は、ある視点について顔が回転した場合に事前確率と共に常に更新される。なお、図１４の指標構成要素はＩＤ−３の左目に相当し、図１５の指標構成要素はＩＤ−６の右頬に相当する。更に図１６及び１７は、事後確率によって計算された期待値を示す。期待値は、正例の指標構成要素を一般化できるようにするには、どのアテンションクラスを目的とすべきかを示す。ここで□＝ＩＤ−１、○＝ＩＤ−２、◇＝ＩＤ−３、＋＝ＩＤ−４、＊＝ＩＤ−５、Ｘ＝ＩＤ−６である。
【図１Ａ】
2010282640.tif 000025
【図１Ｂ】
2010282640.tif 000026
【図１Ｃ】
2010282640.tif 000027
【図２】
2010282640.tif 000028
【図３】
2010282640.tif 000029
【図４】
2010282640.tif 000030
【図５】
2010282640.tif 000031
【図６】
2010282640.tif 000032
【図７】
2010282640.tif 000033
【図８】
2010282640.tif 000034
【図９】
2010282640.tif 000035
【図１０】
2010282640.tif 000036
【図１１】
2010282640.tif 000037
【図１２】
2010282640.tif 000038
【図１３】
2010282640.tif 000039
【図１４】
2010282640.tif 000040
【図１５】
2010282640.tif 000041
【図１６】
2010282640.tif 000042
【図１７】
2010282640.tif 000043
【図１８】
2010282640.tif 000044
【図１９】
2010282640.tif 000045