(57)【要約】【課題】入力データに対するパラメタを正確に推定することができるパラメタ推定方法、パラメタ推定装置および照合方法を提供する。【解決手段】入力データに対して最大事後確率推定を行いパラメタを推定するパラメタ推定方法において、入力データに関する演算を入力データに関する内積で表し、内積をカーネル関数に置き換え、カーネル関数の計算結果を用いてパラメタを推定する。推定すべきパラメタが既知である複数の学習用入力データと学習用入力データのそれぞれに対応するパラメタとの相関を学習するステップ（オフライン動作）と、推定すべきパラメタが未知である推定用入力データに対するパラメタを学習した相関を用いて推定するステップ（オンライン動作）とを有する。【選択図】図２
2005327076.tif 000002
【特許請求の範囲】
【請求項１】
入力データに対して最大事後確率推定を行う演算方法を前記入力データに関する内積で表し、前記内積をカーネル関数に置き換え、前記カーネル関数の計算結果を用いてパラメタを推定するパラメタ推定方法。
【請求項２】
推定すべきパラメタが既知である複数の学習用入力データと前記学習用入力データのそれぞれに対応するパラメタとの相関を学習するステップと、
推定すべきパラメタが未知である推定用入力データに対するパラメタを前記学習した相関を用いて推定するステップとを有し、
前記学習するステップは、前記推定すべきパラメタが既知である複数の学習用入力データを用いて学習カーネル行列を計算するステップと、前記学習カーネル行列の逆行列の固有値および固有ベクトルを求めるステップとを有し、
前記推定するステップは、前記推定すべきパラメタが未知である推定用入力データと前記学習用入力データとを用いて推定カーネルを計算するステップと、前記学習カーネル行列、前記学習カーネル行列の逆行列の固有値、その固有ベクトルとを用いて前記推定用入力データのパラメタを推定するステップとを有することを特徴とするパラメタ推定方法。
【請求項３】
推定すべきパラメタが既知である複数の学習用入力データと前記学習用入力データのそれぞれに対応するパラメタとの相関を学習する学習手段と、
推定すべきパラメタが未知である推定用入力データのパラメタを前記学習した相関を用いて推定する推定手段とを備え、
前記学習手段は、前記推定すべきパラメタが既知である複数の学習用入力データを用いて学習カーネル行列を計算する学習カーネル行列計算手段と、前記学習カーネル行列の逆行列の固有値および固有ベクトルを求める固有値計算手段とを備え、
前記推定手段は、前記推定すべきパラメタが未知である推定用入力データと前記学習用入力データとを用いて推定カーネルを計算する推定カーネル計算手段と、前記学習カーネル行列、前記学習カーネル行列の逆行列の固有値、その固有ベクトルとを用いて前記推定用入力データのパラメタを算出するパラメタ算出手段とを備えたことを特徴とするパラメタ推定装置。
【請求項４】
前記推定用入力データおよび前記学習用入力データは顔を含む画像であり、推定すべきパラメタは顔の特徴点の座標であることを特徴とする請求項３に記載のパラメタ推定装置。
【請求項５】
請求項４に記載のパラメタ推定装置と、顔画像データベースとを用いた照合方法であって、
前記パラメタ推定装置を用いて照合すべき顔画像に対する顔の特徴点の座標を推定した後、前記顔の特徴点の座標にもとづき顔領域を切り出し、前記顔画像データベースに登録されている顔画像と前記切り出された顔領域とを照合することを特徴とする照合方法。
【請求項６】
請求項４に記載のパラメタ推定装置と、顔画像データベースとを用いた照合方法であって、
前記パラメタ推定装置を用いて顔の特徴点の座標を推定し前記顔の特徴点の座標にもとづき画像領域を正規化する顔画像正規化動作を複数回繰り返した後、前記顔の特徴点の座標にもとづき顔領域を切り出し、前記顔画像データベースに登録されている顔画像と前記切り出された顔領域とを照合することを特徴とする照合方法。
【請求項７】
前記推定用入力データおよび前記学習用入力データは顔を含む画像であり、推定すべきパラメタは顔画像の高さ情報であることを特徴とする請求項３に記載のパラメタ推定装置。
【請求項８】
請求項７に記載のパラメタ推定装置と顔画像データベースとを用いた照合方法であって、
前記パラメタ推定装置を用いて照合すべき顔画像に対する高さ情報を推定した後、前記顔画像の高さ情報にもとづき前記顔画像データベースに登録されている顔画像と同一の角度から見た２次元画像を合成し照合することを特徴とする照合方法。
【請求項９】
請求項７に記載のパラメタ推定装置と顔画像データベースとを用いた照合方法であって、
前記パラメタ推定装置を用いて前記顔画像データベースに登録されている顔画像に対する高さ情報を推定した後、前記登録されている顔画像以外の角度から見た２次元画像を合成して、前記顔画像データベースに追加登録したことを特徴とする照合方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力データから特定のパラメタを推定するパラメタ推定方法、パラメタ推定装置およびこれを用いた照合方法に関する。
【背景技術】
【０００２】
入力された画像から特定のパラメタを推定する処理は、パターン情報処理において一般的な処理である。例えば人物顔画像から目や鼻の位置を取り出す処理や、車両画像からナンバープレートの位置を抽出する処理がそれにあたる。
【０００３】
従来、このような処理に対してもっともポピュラーな方法はテンプレートを用いて比較照合する照合フィルター法と言われるもので、多くの使用例が提案されている。このような方法にもとづく顔の特徴抽出方法の一例が非特許文献１に詳しく報告されている。
【非特許文献１】Ｒ．Ｂｒｕｎｅｌｌｉ，  Ｔ．Ｐｏｇｇｉｏ，“Ｆａｃｅ  Ｒｅｃｏｇｎｉｔｉｏｎ：Ｆｅａｔｕｒｅｓ  ｖｅｒｓｕｓ  Ｔｅｍｐｌａｔｅ”，ＩＥＥＥ  Ｔｒａｎｓ．Ｐａｔｔ．Ａｎａｌ．Ｍａｃｈｉｎｅ  Ｉｎｔｅｌｌ．，  ｖｏｌ．ＰＡＭＩ−８，ｐｐ．３４−４３，１９９３
【発明の開示】
【発明が解決しようとする課題】
【０００４】
これら従来の方法における課題はコンピュータの処理時間が長い、あるいはそれにともなって処理コストが高くなることである。正規化相関を類似度基準とする場合、入力画像の画素数をＳ、テンプレートの画素数をＴとすると、乗算を単位演算として２×Ｔ×Ｓ回の演算が必要となる。これを顔画像の特徴点抽出にあてはめると、Ｓ＝１５０×１５０＝２２５００（ｐｅｌ）、Ｔ＝５０×２０＝１０００（ｐｅｌ）の場合、乗算だけで２×１０００×２２５００＝４５００万回となり、いくらコンピュータの演算速度が向上したといえ莫大な演算コストを要することになる。
【０００５】
また、照合に用いるテンプレートとしては全学習データの平均等のデータを用いることが多く、環境によってうまく照合できない場合が多い。このため入力画像に応じてテンプレートを複数用意して類似度計算を行う手法がある。しかしながら、テンプレートの数に応じて処理量が増大するため、コンピュータの処理時間がさらに大きくなってしまう。
【０００６】
本発明のパラメタ推定方法、パラメタ推定装置および照合方法はこれらの課題に鑑みなされたものであり、短い処理時間あるいは少ない処理コストで入力データに対するパラメタを正確に推定することを目的とする。
【課題を解決するための手段】
【０００７】
本発明のパラメタ推定方法は、入力データに対して最大事後確率推定を行う演算方法を入力データに関する内積で表し、内積をカーネル関数に置き換え、カーネル関数の計算結果を用いてパラメタを推定することを特徴とする。この方法により、短い処理時間あるいは少ない処理コストで入力データに対するパラメタを正確に推定することが可能となる。
【０００８】
また、本発明のパラメタ推定方法は、推定すべきパラメタが既知である複数の学習用入力データと学習用入力データのそれぞれに対応するパラメタとの相関を学習するステップと、推定すべきパラメタが未知である推定用入力データに対するパラメタを学習した相関を用いて推定するステップとを有し、学習するステップは、推定すべきパラメタが既知である複数の学習用入力データを用いて学習カーネル行列を計算するステップと、学習カーネル行列の逆行列の固有値および固有ベクトルを求めるステップとを有し、推定するステップは、推定すべきパラメタが未知である推定用入力データと学習用入力データとを用いて推定カーネルを計算するステップと、学習カーネル行列、学習カーネル行列の逆行列の固有値とその固有ベクトルとを用いて推定用入力データのパラメタを推定するステップとを有する。この方法により、コンピュータシステムを用いて、短い処理時間あるいは少ない処理コストで入力データに対するパラメタを正確に推定することが可能となる。
【０００９】
また、本発明のパラメタ推定装置は、推定すべきパラメタが既知である複数の学習用入力データと学習用入力データのそれぞれに対応するパラメタとの相関を学習する学習手段と、推定すべきパラメタが未知である推定用入力データのパラメタを学習した相関を用いて推定する推定手段とを備え、学習手段は、推定すべきパラメタが既知である複数の学習用入力データを用いて学習カーネル行列を計算する学習カーネル行列計算手段と、学習カーネル行列の逆行列の固有値および固有ベクトルを求める固有値計算手段とを備え、推定手段は、推定すべきパラメタが未知である推定用入力データと学習用入力データとを用いて推定カーネルを計算する推定カーネル計算手段と、学習カーネル行列、学習カーネル行列の逆行列の固有値、その固有ベクトルとを用いて推定用入力データのパラメタを算出するパラメタ算出手段とを備えたことを特徴とする。この構成により、短い処理時間あるいは少ない処理コストで入力データに対するパラメタを正確に推定するパラメタ推定装置を実現することが可能となる。
【００１０】
また、本発明のパラメタ推定装置は、推定用入力データおよび学習用入力データが顔を含む画像であり、推定すべきパラメタが顔の特徴点の座標であってもよい。この構成により、顔照合装置に適したパラメタ推定装置を提供できる。
【００１１】
また、本発明の照合方法は、請求項４に記載のパラメタ推定装置と顔画像データベースとを用いた照合方法であって、パラメタ推定装置を用いて照合すべき顔画像に対する顔の特徴点の座標を推定した後、顔の特徴点の座標にもとづき顔領域を切り出し、顔画像データベースに登録されている顔画像と切り出された顔領域とを照合する。この方法により、短い処理時間あるいは少ない処理コストで顔画像から顔照合に用いる顔領域を切り出すことが可能となる。
【００１２】
また、本発明の照合方法は、請求項４に記載のパラメタ推定装置と顔画像データベースとを用いた照合方法であって、パラメタ推定装置を用いて顔の特徴点の座標を推定し顔の特徴点の座標にもとづき画像領域を正規化する顔画像正規化動作を複数回繰り返した後、顔の特徴点の座標にもとづき顔領域を切り出し、顔画像データベースに登録されている顔画像と切り出された顔領域とを照合する。この方法により、画面内で顔位置が大きく移動している顔画像に対しても精度よく特徴点の座標を推定することが可能となる。
【００１３】
また、本発明のパラメタ推定装置は、推定用入力データおよび学習用入力データが顔を含む画像であり、推定すべきパラメタが顔画像の高さ情報であってもよい。この構成により、２次元顔画像から３次元の立体的な顔情報を推定できる。
【００１４】
また、本発明の照合方法は、請求項７に記載のパラメタ推定装置と顔画像データベースとを用いた照合方法であって、パラメタ推定装置を用いて照合すべき顔画像に対する高さ情報を推定した後、顔画像の高さ情報にもとづき顔画像データベースに登録されている顔画像と同一の角度から見た２次元画像を合成し照合する。この方法により、任意の方向を向いた顔画像であっても正面あるいは横向きの顔画像として登録された顔画像データベースとの照合が可能となる。
【００１５】
また、本発明の照合方法は、請求項７に記載のパラメタ推定装置と顔画像データベースとを用いた照合方法であって、パラメタ推定装置を用いて顔画像データベースに登録されている顔画像に対する高さ情報を推定した後、登録されている顔画像以外の角度から見た２次元画像を合成して、顔画像データベースに追加登録する。この方法によれば、入力した顔画像と顔画像データベースに登録されている顔画像とを直接照合することができるので高速に照合することができる。
【発明の効果】
【００１６】
本発明によれば、短い処理時間あるいは少ない処理コストで入力データに対するパラメタを正確に推定することができるパラメタ推定方法、パラメタ推定装置および照合方法を提供することができる。
【発明を実施するための最良の形態】
【００１７】
（実施の形態１）
図１は、本発明の実施の形態１におけるパラメタ推定装置のブロック図であり、コンピュータシステムで実現したものである。パラメタ推定装置１００は、外部機器とのデータのやりとりを行うデータ入力部１０、データ処理を行うＣＰＵ２０、プログラム格納用およびワーク用のメモリ３０、パラメタ推定用入力データや相関データ等、大規模なデータを保存するための二次記憶装置（ハードディスクや光磁気ディスク等）４０、システムコンソールとしてのディスプレイ５０、マン−マシンインターフェースとしてのマウス６０を備え、上記各ブロックはシステムバス９０に接続されている。
【００１８】
ＣＰＵ２０は、対応するプログラムを実行することにより、学習手段の学習カーネル行列計算手段２２、固有値計算手段２３として働き、また、推定手段の推定カーネル計算手段２６、パラメタ算出手段２７として働く。二次記憶装置４０には、後述する各種のデータを記憶する領域が確保されている。
【００１９】
パラメタ推定装置１００は、推定対象である入力データと推定すべきパラメタとの間に相関関係があることにもとづいている。すなわち、推定すべきパラメタのわかっている多くの学習用入力データに対して、入力データとパラメタとの相関をあらかじめ学習しておき、この相関関係を用いて任意の入力データに対するパラメタを推定するようにしたものである。
【００２０】
まず、学習サンプルを用いて入力データとパラメタとの相関を学習するステップ（以下、「オフライン処理」と記す）の動作について説明する。あらかじめ推定すべきパラメタのわかっている入力データをｎ次元の入力ベクトルＩ、入力ベクトルＩに対するパラメタをｍ次元のパラメタベクトルＱとし、学習サンプルの総数をＮとする。
【００２１】
図２は本発明の実施の形態１におけるパラメタ推定装置１００のフローチャートである。なお、ＣＰＵ２０がメモリ３０に格納されたプログラムを実行することで以下のフローを実行する。
【００２２】
まず、データ入力部１０には、Ｎ個の入力ベクトルＩｉ（ｉ＝１〜Ｎ）とパラメタベクトルＱｉを入力し、二次記憶装置４０に格納する（Ｓ１０）。
【００２３】
次に、ＣＰＵ２０は、（数式１）にしたがって、Ｎ個のパラメタベクトルＱｉから平均パラメタベクトルＱａを求め、二次記憶装置４０に転送し格納する（Ｓ１１）。
【００２４】
【数１】
2005327076.tif 000003
【００２５】
続いてＣＰＵ２０は、（数式２）にしたがい、Ｎ個のパラメタベクトルＱｉのそれぞれに対して、平均パラメタベクトルＱａからの偏差パラメタベクトルＱｃｉを求め、二次記憶装置４０に転送し格納する（Ｓ１２）。
【００２６】
【数２】
2005327076.tif 000004
【００２７】
次にＣＰＵ２０は学習カーネル行列計算手段２２として、入力ベクトルＩｉ、Ｉｊから学習カーネル行列Ｋｉｊ（ｉ、ｊ＝１〜Ｎ）を求める。カーネルとしては多項式カーネル、シグモイドカーネル等が使用できるが、本実施の形態においては（数式３）に示すガウスカーネルを使用した。求めた学習カーネル行列Ｋｉｊは二次記憶装置４０に転送し格納する（Ｓ１３）。
【００２８】
【数３】
2005327076.tif 000005
【００２９】
続いて、平均値のまわりの偏差学習カーネル行列Ｋｃｉｊを（数式４）にもとづいて求め、求めた偏差学習カーネル行列Ｋｃｉｊを二次記憶装置４０に転送し格納する（Ｓ１４）。
【００３０】
【数４】
2005327076.tif 000006
【００３１】
次にＣＰＵ２０は固有値計算手段２３として、偏差学習カーネル行列Ｋｃｉｊの固有方程式（数式５）を解き、固有値λｋ（ｋ＝１〜Ｍ）および固有ベクトルαｋを求める。求めた固有値λｋおよび固有ベクトルαｋを二次記憶装置４０に転送し格納する（Ｓ１５）。ここでＭは独立な固有ベクトルの数を示しており、最大は学習サンプルの数Ｎに等しい。
【００３２】
【数５】
2005327076.tif 000007
【００３３】
ここで、Ｋｃは偏差学習カーネル行列を表す。以上で、入力ベクトルＩｉとパラメタベクトルＱｉとの相関を表すために必要なデータはそろったが、後の推定するステップにおける計算を簡略化するために、さらに次の計算を行う。上記で求めた偏差パラメタベクトルＱｃｉ、偏差学習カーネル行列Ｋｃｉｊ、固有値λｋおよび固有ベクトルαｋを用いて、（数式６）にもとづきＭ個のｍ次元定数ベクトルΓｋを求め、さらに、定数ベクトルΓｋ、学習カーネル行列Ｋｉｊ、固有ベクトルαｋを用いて、（数式７）にしたがってｍ次元定数ベクトルΩを求める。これら定数ベクトルΓｋ、定数ベクトルΩは二次記憶装置４０に格納される（Ｓ１６）。
【００３４】
【数６】
2005327076.tif 000008
【００３５】
【数７】
2005327076.tif 000009
【００３６】
以上が、パラメタ推定装置１００のオフラインで実行する処理であり、二次記憶装置４０には、上述の処理で求めた平均パラメタベクトルＱａ、定数ベクトルΩ、定数ベクトルΓｋ、固有ベクトルαｋが格納されている。このようにオフライン処理においてはＣＰＵ２０は学習手段として働く。
【００３７】
つぎに、パラメタを推定すべき入力データに対して、実際にパラメタを推定するステップ（以下、「オンライン処理」と記す）について説明する。なお、オンライン処理においてもＣＰＵ２０がメモリ３０に格納されたプログラムを実行することで以下のフローを実行する。
【００３８】
まず、データ入力部１０には、パラメタを推定すべき入力データを入力ベクトルＩとして入力し、二次記憶装置４０に格納する（Ｓ２０）。
【００３９】
次にＣＰＵ２０は推定カーネル計算手段２６として、（数式８）にもとづいて、推定カーネルＫｉ（ｉ＝１〜Ｎ）を求める。求めた推定カーネルＫｉは二次記憶装置４０に転送し格納する（Ｓ２１）。
【００４０】
【数８】
2005327076.tif 000010
【００４１】
そして、ＣＰＵ２０はパラメタ算出手段２７として、オフライン処理で求めた平均パラメタベクトルＱａ、定数ベクトルΩ、定数ベクトルΓｋ、固有ベクトルαｋ、およびステップＳ２１で求めた推定カーネルＫｉを二次記憶装置４０から読出し、（数式９）を用いて推定すべきパラメタを示すパラメタベクトルＱを計算する。そして、推定されたパラメタベクトルＱを二次記憶装置４０に格納する（Ｓ２２）。
【００４２】
【数９】
2005327076.tif 000011
【００４３】
このようにオンライン処理においてはＣＰＵ２０は推定手段として働く。以上の説明の中ではガウスカーネルのスケールσについて言及しなかったが、推定対象である入力ベクトルおよび推定すべきパラメタによりスケールσの最適値が異なる。したがって、パラメタ推定実験を行いながら値を決めることが望ましい。
【００４４】
ここで、（数式１）〜（数式９）を用いた計算によってパラメタの推定が可能な理由を説明する。
【００４５】
以前より本発明者らは画像信号からパラメタを推定する方法としてＭＡＰ（ｍａｘｉｍｕｍ  ａ  ｐｏｓｔｅｒｉｏｒｉ）推定法について検討してきた。入力画像Ｉと推定すべきパラメタＱの同時分布がガウス分布にしたがうランダムベクトルである場合、パラメタＱの最適推定値は（数式１０）を用いて求めることができる。
【００４６】
【数１０】
2005327076.tif 000012
【００４７】
ここで、Σｑｉはクロス共分散行列、Σｉ−１は分散共分散行列の逆行列である。
【００４８】
（数式１０）はいわゆる重回帰分析に用いられる数式と類似のものである。しかしながら入力画像Ｉと推定すべきパラメタＱとの関係がより複雑となり、それらの同時分布がガウス分布で表せない場合には、この単純な数式ではうまく推定できないことが実験的に明らかになってきた。
【００４９】
そこで本発明者らは、サポートベクタマシンと呼ばれる画像認識手法に対して導入され、良好な結果が得られている「カーネルトリック」と呼ばれる新しい考え方について注目した。これは、入力ベクトルを非線形変換してその空間で線形の識別を行う方法である。本発明者らは、ＭＡＰ推定法に「カーネルトリック」を導入する検討を行った結果、ＫＭＡＰと称する新規なパラメタ推定方法を確立した。以下にその詳細について説明する。
【００５０】
（数式１１）に示すように、非線形関数φを用いて入力ベクトルＩｉを非線形変換する。ここで、変換された入力ベクトルφ（Ｉｉ）とパラメタＱとの同時分布がガウス分布になると仮定すると、パラメタＱは、（数式１２）で表される。ここでφ（Ｉｉ）をφｉと略記した。
【００５１】
【数１１】
2005327076.tif 000013
【００５２】
【数１２】
2005327076.tif 000014
【００５３】
（数式１２）を計算する上で、非線形に変換された統計量をそのまま計算しようとすると、より高次元空間での莫大な計算が必要となる。しかしながら、変換された入力ベクトルφｉに関する演算を内積の形φｉ・φｊにまとめることができれば、これをカーネルＫ（φｉ，φｊ）に置き換えることができ、計算量を大幅に減らすことができる。
【００５４】
まず、分散共分散行列の逆行列Σφ−１が（数式１３）のように展開できることに注目する。ここで、Φ＝［Φｋ］、Λ＝ｄｉａｇ［λｋ］はそれぞれΣφ−１の固有ベクトル、固有値行列である。一方、固有値λｋは（数式１４）に示すように偏差学習カーネル行列Ｋｃｉｊ＝Ｋｃ（φｉ，φｊ）の固有値でもある。
【００５５】
【数１３】
2005327076.tif 000015
【００５６】
【数１４】
2005327076.tif 000016
【００５７】
そして固有ベクトルΦｋは変換された入力ベクトルφｉを用いて（数式１５）のように展開できる。また、このときの展開係数αｋは偏差学習カーネル行列Ｋｃｉｊのｋ番目の固有ベクトルとして得られる。したがって、これらを代入することにより、分散共分散行列の逆行列Σφ−１を（数式１６）のように書換えることができる。
【００５８】
【数１５】
2005327076.tif 000017
【００５９】
【数１６】
2005327076.tif 000018
【００６０】
つぎに、クロス共分散行列ΣＱφは（数式１７）で得られる。そこで、（数式１６）と（数式１７）を（数式１２）に代入し計算順序を入れ替えて、内積φｉ・φｊを学習カーネル行列Ｋｉｊで置き換えることにより、（数式９）が得られる。
【００６１】
【数１７】
2005327076.tif 000019
【００６２】
したがって、あらかじめＮ個の学習サンプルを用いて、平均パラメタベクトルＱａ、定数ベクトルΩ、定数ベクトルΓｋ、固有ベクトルαｋを求めておき、推定対象である入力ベクトルが入力されたとき、（数式６）〜（数式９）を用いてパラメタＱを推定することができる。
【００６３】
カーネルとしては、多項式カーネル、シグモイドカーネル、ガウスカーネル等を用いることができるが、どのようなカーネルを用いるかについては、推定対象である入力ベクトルおよび推定すべきパラメタにより依存するので、パラメタ推定実験を行いながらカーネルを決定することが望ましい。
【００６４】
（実施の形態２）
本発明の実施の形態２では、実施の形態１におけるパラメタ推定装置１００を用いて顔画像の中から特徴点の座標を推定した顔画像照合装置について説明する。
【００６５】
図３は、本発明の実施の形態２における顔画像照合装置のブロック図である。パラメタ推定装置１００は実施の形態１と同様に、コンピュータシステムで構成され、各ブロックには実施の形態１と同じ符号を付して説明を省略する。顔画像照合装置２００には、人物の顔画像を撮影するためのビデオカメラ１１０が接続されている。さらに、あらかじめ登録された人物の顔画像を集めた顔画像データベース１４０も接続されている。
【００６６】
顔画像照合装置２００は、まず実施の形態１におけるパラメタ推定装置１００を用いて、入力された顔画像の中から目、鼻、眉、口等の特徴点の座標を見出す。つぎに顔画像照合装置２００は、特徴点の座標をもとに顔照合に用いる顔領域を切り出す。具体的には、例えば、鼻の座標を中心として一辺の長さが両目の間隔の２倍であり上下の辺が両目を結ぶ直線と平行であるような正方形領域を顔領域とする。そして、切り出された顔領域と顔画像データベース１４０に登録されている顔画像とを照合する。照合の方法としては、例えば統計的手法である主成分分析を利用した固有顔法等の手法を用いることができる。
【００６７】
以下に、入力された顔画像の中から目、鼻、眉、口等の特徴点の座標を見出すパラメタ推定装置１００の動作について詳しく説明する。
【００６８】
まず、学習用顔画像を用いて、入力画像と特徴点の座標との相関を学習するオフライン処理の動作について説明する。学習用顔画像の総数をＮとし、ｉ番目の学習用顔画像の各画素の値をラスタスキャン順に並べたｎ次元のベクトルを入力ベクトルＩｉ、各特徴点の位置座標をｍ次元のパラメタベクトルＱｉとする。
【００６９】
図４は本発明の実施の形態２における顔画像照合装置２００に用いられているパラメタ推定装置１００のフローチャートである。まず、カメラ１１０はＮ人分の学習用顔画像を撮影する。そしてデータ入力部１０は、それぞれの顔画像の各画素の値をラスタスキャン順に並べて学習用入力ベクトルＩｉ（ｉ＝１〜Ｎ）を作成し、二次記憶装置４０に転送し格納する（Ｓ３０）。つぎに、二次記憶装置４０に記憶した学習用顔画像（すなわち学習用入力ベクトルＩｉ）をディスプレイ５０に１枚ずつ表示する。そして、ユーザがこの学習用顔画像を見ながらマウス６０を用いて手動で顔の特徴点を入力する。図５はユーザが入力した顔の特徴点の一例を示す図である。顔画像の原点を基準に、右眉、右目、左眉、左目、鼻および口のそれぞれのＸ座標、Ｙ座標が特徴点座標としてユーザにより入力される。ＣＰＵ２０は、それぞれの学習用顔画像に対して入力された各特徴点の座標値を順に並べて連結して学習用パラメタベクトルＱｉとし、二次記憶装置４０に格納する（Ｓ３１）。
【００７０】
次にＣＰＵ２０は、（数式１）〜（数式７）を用いて平均パラメタベクトルＱａ、定数ベクトルΩ、定数ベクトルΓｋ、固有ベクトルαｋを求め、二次記憶装置４０に格納する（Ｓ３２）。以上が、パラメタ推定装置１００のオフラインで実行する処理である。
【００７１】
次に、オンライン処理について説明する。
【００７２】
まず、データ入力部１０は、照合すべき顔画像を入力し、顔画像の各画素の値をラスタスキャン順に並べて入力ベクトルＩに変換し二次記憶装置４０に転送する（Ｓ４０）。次にＣＰＵ２０は、（数式８）にもとづいて、推定カーネルＫｉ（ｉ＝１〜Ｎ）を求め、二次記憶装置４０に転送し格納する（Ｓ４１）。そして、オフライン処理で求めた平均パラメタベクトルＱａ、定数ベクトルΩ、定数ベクトルΓｋ、固有ベクトルαｋ、およびステップＳ４１で求めた推定カーネルＫｉを二次記憶装置４０から読出し、（数式９）を用いて推定すべきパラメタを示すパラメタベクトルＱを計算する。そして、推定されたパラメタベクトルＱを二次記憶装置４０に格納する（Ｓ４２）。次にＣＰＵ２０は、パラメタベクトルＱを特徴量の座標データに分解し、入力顔画像とともにディスプレイ上に表示する（Ｓ４３）。ここまでが入力された顔画像の中から目、鼻、眉、口等の特徴点の座標を見出す動作である。
【００７３】
その後、上述したように、特徴点の座標をもとに顔認証に用いる顔領域を切り出し、切り出された顔領域と顔画像データベース１４０に登録されている顔画像とを照合する。
【００７４】
つぎに、実施の形態２における顔画像照合装置２００において、ＫＭＡＰを用いた特徴点推定、特に顔画像の中から目の位置を推定した実験とその結果を示す。被験者２０００人に対して角度と距離を変えて撮影した顔画像７２００枚を用いて、本発明の実施の形態２におけるＫＭＡＰの推定精度およびその安定性を評価した。比較のために、（ｉ）ガウス分布を使用した最大推定値（ｍａｘｉｍｕｍ  ｌｉｋｅｌｉｈｏｏｄ）を基本とするテンプレートマッチング（以下、「ＭＬＧ」と記す）、（ｉｉ）Ｅｉｇｅｎｆａｃｅ法（以下、「ＥＦ」と記す）、（ｉｉｉ）ガウス分布を使用した従来のＭＡＰ推定法（以下、「ＴＭＡＰ」と記す）を用いた推定を同時に行った。
【００７５】
図６は本発明の実施の形態２において抽出された目位置のいくつかの例を示す図である。図６には、抽出された目の位置を入力画像上に×印で示してある。
【００７６】
図７は本発明の実施の形態２における顔画像照合装置の目位置推定の感度を示す図であり、図７（ａ）は撮影する距離を変化させたときの図、図７（ｂ）は撮影する角度を変化させたときの図である。横軸は推定した目位置の誤差を画素単位で示し、縦軸は累積抽出率（横軸に示す誤差を許容した場合における、推定した目位置座標の正しさ）を示している。したがって、誤差が小さい範囲で累積抽出率が大きくなるほど目位置推定の感度が高いことを示す。このように、いずれの場合においてもＫＭＡＰによる推定方法が他の方法に比べて優れていることが実証できた。
【００７７】
図８は画面内での顔位置の移動に対する目位置推定の感度を示す図であり、図８（ａ）は正面から撮影した顔画像に対するもの、図８（ｂ）は斜め方向から撮影した顔画像に対するものである。移動画像は回転対象ガウス分布を使用して人為的に作成した。移動量の分散は、０，１０，２０，３０画素とし、回転角度の分散は４５度、縮小率の平均が１倍、分散が０．５倍とした。図８（ａ）、図８（ｂ）には各移動量の分散に対するそれぞれの方法における目位置推定の感度を示している。ＭＬＧ法、およびＥＦ法の性能は移動量の変化に影響されないので移動量の分散０に対する結果のみを示している。図８（ａ）、図８（ｂ）ともに、移動量の分散が２０画素程度までならＫＭＡＰ法が他の方法より優れており、３０画素を超えるとＭＬＧ法がＫＭＡＰ法をわずかに上回っていることがわかる。これらの結果より、移動量の分散が大きくなるにつれ、ＫＭＡＰ法の性能は低下し、ＭＬＧを利用した従来の方法が一見優れているように見受けられる。しかしながら、つぎに述べるように、ＫＭＡＰ法を反復的に用いることで、よい性能が得られることがわかった。
【００７８】
ＫＭＡＰ法を反復的に用いる方法は以下のとおりである。まずＫＭＡＰ法を使用して目位置を推定し、つぎに推定した目位置を使用して画像領域を正規化する。そして正規化した顔画像を用いて再びＫＭＡＰ法により目位置を推定する。このようにＫＭＡＰ法をｎ回反復する方法をＫＭＡＰ（ｎ）と記することにする。図９は、移動量の分散が３０画素である顔画像に対するＫＭＡＰ（１）＝ＫＭＡＰ、ＫＭＡＰ（２）、ＫＭＡＰ（３）、ＭＬＧのそれぞれによる目位置推定の感度を示すグラフである。このように反復回数ｎが増すにつれてＫＭＡＰ（ｎ）の性能が改善されることを実証できた。
【００７９】
ＫＭＡＰによる目位置推定の速度は、１画像あたり０．８秒であった。ＭＬＧ法では１画像あたり６秒であった（ペンティアムＩＶ（商標）相当のプロセッサ使用時）。このように、ＫＭＡＰ法によれば推定精度が向上するだけでなく、計算時間も大幅に短縮することができた。このように、短い処理時間、したがって少ない処理コストで入力データの特徴点を正確に求めることが可能となった。
【００８０】
（実施の形態３）
本発明の実施の形態３では、実施の形態１におけるパラメタ推定装置１００を用いて顔画像の高さ情報を推定した顔画像照合装置について説明する。
【００８１】
図１０は本発明の実施の形態３における顔画像照合装置のブロック図である。顔画像照合装置３００は実施の形態２と同様にコンピュータシステムで構成されている。顔画像照合装置２００のブロック図と異なるところは、２方向からの顔画像を撮影するために、２台のカメラ１１０、１１５を備えている点である。
【００８２】
この顔画像照合装置３００は、まずパラメタ推定装置１００を用いて入力された顔画像の高さ情報を推定する。つぎに、推定された３次元の顔画像情報をもとに、顔画像データベース１４０に登録されている顔画像と同一の角度から見た２次元顔画像を合成し、これと登録されている顔画像とを照合するものである。３次元顔画像情報から２次元顔画像を合成する方法としては、例えばＣＧ（コンピュータグラフィックス）におけるレンダリング等の既知の方法を用いることができる。また顔画像の照合には、例えば統計的手法である主成分分析を利用した固有顔法等の手法を適用できる。
【００８３】
以下に、上記顔画像照合装置３００を用いて、入力された顔画像の高さ情報を推定する動作について説明する。まず、学習用顔画像を用いて、入力画像と入力画像の高さ情報との相関を学習するオフライン処理の動作について説明する。高さ情報の学習方法としては、入力画像の各画素のそれぞれに対して独立に高さ情報を学習することも可能ではあるが、入力画像を複数の領域に分割し各領域毎の平均の高さ情報を学習してもよい。この場合、推定すべきパラメタベクトルの次元を減らすことができるので、より実用的である。
【００８４】
本実施の形態においても実施の形態２と同様に、学習用顔画像の総数をＮとする。そして、ｉ番目の学習用顔画像の各画素の値をラスタスキャン順に並べたｎ次元のベクトルを入力ベクトルＩｉ、学習用顔画像の各画素あるいは各領域の高さ情報をラスタスキャン順に準じて並べたものをｍ次元のパラメタベクトルＱｉとする。
【００８５】
図１１は本発明の実施の形態３における顔画像照合装置３００に用いられているパラメタ推定装置１００のフローチャートである。まず、異なった方向から顔を撮影する２台のカメラ１１０およびカメラ１１５がＮ人分の学習用顔画像を撮影する。データ入力部１０はこれらの顔画像を二次記憶装置４０に転送し格納する。このうち一方のカメラ１１０で撮影した学習用顔画像は、各画素の値をラスタスキャン順に並べ学習用入力ベクトルＩｉとして用いられる（Ｓ５０）。つぎに、ＣＰＵ２０は、二次記憶装置４０に記憶した２枚の学習用顔画像にもとづいて顔画像の３次元情報を作成する。これはＣＧを用いたレンダリング等の既知の方法を用いて実行する。各画素あるいは各領域の高さ情報は順に並べて連結してひとつのベクトルとし、これを学習用パラメタベクトルＱｉとする。学習用パラメタベクトルＱｉは二次記憶装置４０に格納される（Ｓ５１）。
【００８６】
つぎに、ＣＰＵ２０は、（数式１）〜（数式７）を用いて平均パラメタベクトルＱａ、定数ベクトルΩ、定数ベクトルΓｋ、固有ベクトルαｋを求め、二次記憶装置４０に格納する（Ｓ５２）。以上が、パラメタ推定装置１００のオフラインで実行する処理である。
【００８７】
つぎに、オンライン処理について説明する。まず、データ入力部１０は、照合すべき顔画像を入力し、顔画像の各画素の値をラスタスキャン順に並べて入力ベクトルＩに変換し二次記憶装置４０に転送する（Ｓ６０）。つぎにＣＰＵ２０は、（数式８）にもとづいて、推定カーネルＫｉ（ｉ＝１〜Ｎ）を求め二次記憶装置４０に転送し格納する（Ｓ６１）。そして、オフライン処理で求めた平均パラメタベクトルＱａ、定数ベクトルΩ、定数ベクトルΓｋ、固有ベクトルαｋ、およびステップＳ６１で求めた推定カーネルＫｉを二次記憶装置４０から読出し、（数式９）を用いて推定すべきパラメタを示すパラメタベクトルＱを計算する。そして、推定されたパラメタベクトルＱを二次記憶装置４０に格納する（Ｓ６２）。つぎにＣＰＵ２０はパラメタベクトルを顔画像の高さ情報に変換する（Ｓ６３）。ここまでが入力された顔画像の高さ情報を推定する動作である。
【００８８】
このようにして照合すべき顔画像に対して推定した高さ情報を加え、３次元顔情報とする。その後、上述したように、３次元の顔画像情報をもとに、顔画像データベース１４０に登録されている顔画像と同一の角度から見た２次元顔画像を合成し、これと登録されている顔画像とを照合する特徴点の座標をもとに顔認証に用いる顔領域を切り出し、切り出された顔領域と顔画像データベース１４０に登録されている顔画像とを照合する。
【００８９】
以上のように本発明の実施の形態３によれば、任意の方向を向いた２次元の顔画像を用いて正面の顔画像、あるいは他の方向を向いた顔画像を合成することができる。したがって、任意の方向を向いた顔画像であっても、正面あるいは横向きの顔画像として登録された顔画像データベースとの照合が可能となる。
【００９０】
なお、実施の形態３においては、照合すべき顔画像に対してその高さ情報を推定することによって、顔画像データベースに登録されている顔画像と同一の角度から見た２次元顔画像を合成し、照合を行うものであった。しかし、本発明のパラメタ推定装置を応用して上記以外の顔画像照合装置を構成することも、もちろん可能である。例えば、顔画像データベースにすでに登録されている正面向きの顔画像に対してその高さ情報を推定し、いくつかの方向を向いた顔画像をデータベースとして新たに登録しておき、それらと照合すべき顔画像とを照合するという形式にて顔画像照合装置を構成してもよい。以下に実施の形態４としてその詳細について説明する。
【００９１】
（実施の形態４）
本発明の実施の形態４における顔画像照合装置のブロック図は実施の形態３と同様にコンピュータシステムで構成されており、ブロック図も実施の形態３と同様であるため説明を省略する。また、以下では、図１１に示したフローチャートを用いて本発明の実施の形態４における顔画像照合装置の動作を説明する。
【００９２】
学習用顔画像を用いて入力画像と入力画像の高さ情報との相関を学習するオフライン処理の動作についても実施の形態３と同様である。
【００９３】
すなわち、まず、異なった方向から顔を撮影する２台のカメラ１１０およびカメラ１１５がＮ人分の学習用顔画像を撮影する。データ入力部１０はこれらの顔画像を二次記憶装置４０に転送し格納する。このうち一方のカメラ１１０で撮影した学習用顔画像は、各画素の値をラスタスキャン順に並べ学習用入力ベクトルＩｉとして用いられる（Ｓ５０）。つぎに、ＣＰＵ２０は、二次記憶装置４０に記憶した２枚の学習用顔画像にもとづいて顔画像の３次元情報を作成する。各画素あるいは各領域の高さ情報は順に並べて連結してひとつのベクトルとし、これを学習用パラメタベクトルＱｉとする。学習用パラメタベクトルＱｉは二次記憶装置４０に格納される（Ｓ５１）。そしてＣＰＵ２０は、（数式１）〜（数式７）を用いて平均パラメタベクトルＱａ、定数ベクトルΩ、定数ベクトルΓｋ、固有ベクトルαｋを求め、二次記憶装置４０に格納する（Ｓ５２）。
【００９４】
つぎに、顔画像データベース１４０にすでに登録されている正面向きの顔画像のおのおのに対して、いくつかの方向を向いた顔画像を合成しデータベースとして新たに登録する。具体的には、まず、データ入力部１０は、顔画像データベース１４０にすでに登録されている正面向きの顔画像の各画素の値をラスタスキャン順に並べて入力ベクトルＩに変換し二次記憶装置４０に転送する（Ｓ６０）。つぎにＣＰＵ２０は、（数式８）にもとづいて、推定カーネルＫｉ（ｉ＝１〜Ｎ）を求め二次記憶装置４０に転送し格納する（Ｓ６１）。そして、オフライン処理で求めた平均パラメタベクトルＱａ、定数ベクトルΩ、定数ベクトルΓｋ、固有ベクトルαｋ、およびステップＳ６１で求めた推定カーネルＫｉを二次記憶装置４０から読出し、（数式９）を用いて推定すべきパラメタを示すパラメタベクトルＱを計算し二次記憶装置４０に格納する（Ｓ６２）。つぎにＣＰＵ２０はパラメタベクトルを顔画像の高さ情報に変換する。そして、登録されている顔画像に対して推定した高さ情報を加え３次元顔情報とする（Ｓ６３）。その後、３次元の顔画像情報をもとに、右方向、斜め右方向、斜め左方向、左方向、斜め上方向、斜め下方向等の角度から見た２次元顔画像を合成し、これらの合成画像を顔画像データベース１４０に新たに登録する。１方向から見た顔画像しか持たない登録顔画像のそれぞれについて以上の処理を行い、各方向から見た２次元顔画像を合成しデータベースとして登録する。
【００９５】
以上の準備を顔画像照合装置３００のオフラインで実行しておくと、オンライン処理が以下のように非常に簡素化される。顔画像照合装置３００は、カメラ１１０を用いて照合すべき顔画像を撮影する。そして、照合する特徴点の座標をもとに顔認証に用いる顔領域を切り出し、切り出された顔領域と顔画像データベース１４０に登録されている顔画像とを照合する。
【００９６】
以上のように本発明の実施の形態４によれば、顔画像データベースに登録すべき顔画像の数は増えるが、オンライン処理において入力した顔画像と顔画像データベースに登録されている顔画像とを直接照合することができるので高速に照合を行うことができる。
【００９７】
なお、実施の形態１〜４においては、ＣＰＵがプログラムを読み込むことで、フローチャートに示した動作を行う構成とした。しかし、学習手段、学習カーネル行列計算手段、固有値計算手段、推定手段、推定カーネル計算手段、パラメタ算出手段等を実行する専用のプロセッサを備えた構成であってもよい。
【００９８】
また、本発明を実施するコンピュータをプログラムするために使用できる命令を含む記憶媒体であるコンピュータプログラム製品が本発明の範囲に含まれる。これらの記憶媒体は、フレキシブルディスク、光ディスク、ＣＤＲＯＭ、磁気ディスク等のディスク、ＲＯＭ、ＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気光カード、メモリカード、ＤＶＤ等である。
【００９９】
また、実施の形態２〜４においては本発明のパラメタ推定装置を画像照合に用いた例を示したが、入力データとして画像以外のデータを入力することで画像照合以外の照合装置に用いることができる。例えば、入力データとして音声データを入力することで音声照合装置に用いることができる。
【産業上の利用可能性】
【０１００】
本発明は、短い処理時間あるいは少ない処理コストで入力データに対するパラメタを正確に推定することができるパラメタ推定方法、パラメタ推定装置および照合方法を提供することができるので、入力データから特定のパラメタを推定するパラメタ推定方法、パラメタ推定装置およびこれを用いた照合方法等に有効である。
【図面の簡単な説明】
【０１０１】
【図１】本発明の実施の形態１におけるパラメタ推定装置のブロック図
【図２】本発明の実施の形態１におけるパラメタ推定装置のフローチャート
【図３】本発明の実施の形態２における顔画像照合装置のブロック図
【図４】本発明の実施の形態２における顔画像照合装置のフローチャート
【図５】ユーザにより入力された顔の特徴点の一例を示す図
【図６】本発明の実施の形態２において抽出された目位置のいくつかの例を示す図
【図７】本発明の実施の形態２における顔画像照合装置の目位置推定の感度を示す図
【図８】画面内での顔位置の移動に対する目位置推定の感度を示す図
【図９】反復回数と目位置推定の感度を示す図
【図１０】本発明の実施の形態３における顔画像照合装置のブロック図
【図１１】本発明の実施の形態３および４における顔画像照合装置のフローチャート
【符号の説明】
【０１０２】
１０    データ入力部
２０    ＣＰＵ
２２    学習カーネル行列計算手段
２３    固有値計算手段
２６    推定カーネル計算手段
２７    パラメタ算出手段
３０    メモリ
４０    二次記憶装置
５０    ディスプレイ
６０    マウス
９０    システムバス
１００    パラメタ推定装置
１１０，１１５    （ビデオ）カメラ
１４０    顔画像データベース
２００，３００    顔画像照合装置
【図１】
2005327076.tif 000020
【図２】
2005327076.tif 000021
【図３】
2005327076.tif 000022
【図４】
2005327076.tif 000023
【図５】
2005327076.tif 000024
【図７】
2005327076.tif 000025
【図８】
2005327076.tif 000026
【図９】
2005327076.tif 000027
【図１０】
2005327076.tif 000028
【図１１】
2005327076.tif 000029
【図６】
2005327076.tif 000030