(57)【要約】【課題】本発明は、顔形状の変化を取得することで、被撮影者に負担をかけるとなく、顔画像の生成をする顔形状変化情報抽出装置、登録をする顔画像登録装置、認証をする顔画像認証装置を提供することを目的とする。【解決手段】人物と音声により対話を行う音声対話手段と、人物の顔画像を撮影する撮影手段と、撮影された顔画像から顔形状の変化情報を解析する顔形状変化情報解析手段と、解析された顔形状変化情報および顔画像情報を基に顔情報を生成する顔情報生成手段と、を有することを特徴とする顔形状変化情報抽出装置。【選択図】図１
2006323774.tif 000002
【特許請求の範囲】
【請求項１】
人物と音声により対話を行う音声対話手段と、
人物の顔画像を撮影する撮影手段と、
撮影された顔画像から顔形状の変化情報を解析する顔形状変化情報解析手段と、
解析された顔形状変化情報および顔画像情報を基に顔情報を生成する顔情報生成手段と、
を有することを特徴とする顔形状変化情報抽出装置。
【請求項２】
音声対話手段は、被撮影者の表情を変化させる発声を非明示的に誘引することで、被撮影者の表情を制御する音声対話を行うことを特徴とする請求項１記載の顔形状変化情報抽出装置。
【請求項３】
請求項1もしくは２いずれかの顔形状変化情報抽出装置と、
顔形状変化情報抽出装置を使い、被撮影者に気づかれることなく顔画像を撮影し、生成された顔情報を登録する顔情報登録手段と、
を有することを特徴とする顔画像登録装置。
【請求項４】
請求項1もしくは２いずれかの顔形状変化情報抽出装置と、
顔情報を登録する顔情報登録手段と、
顔形状変化情報抽出装置を使い、被撮影者の顔情報を生成し、生成された顔情報と登録された顔情報とを照合する顔情報認証処理手段と、
を有することを特徴とする顔画像認証装置。
【請求項５】
顔情報認証処理手段は、顔形状変化情報抽出装置により生成した顔形状変化情報に基づき、認証時に入力された顔情報と、登録された顔情報から同一表情の映像を生成し認証することを特徴とする請求項４記載の顔画像認証装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顔映像から人物を特定する顔認証技術の分野において、撮影時に様々変化する人物の表情に対する耐性を大幅に向上させるものである。
【背景技術】
【０００２】
従来の技術では、照合に用いる顔画像間での表情を一致させる手段として、様々な表情の像を撮影し、その中から一致する表情の映像を選択し、照合する方式を取っていた。しかし、様々な表情の顔画像を取得するためには、被撮影者に負担をかける必要があり、被撮影者の利便性が求められる場面等での適用が困難であった。
【０００３】
例えば、被撮影者に「笑ってください」等と指示を与え、その通りに表情を作らせ、撮影する方式を取る方式が提案されている（特許文献１参照）。
【０００４】
また、あらかじめ決められた動作をさせ、その間に撮影した顔映像中で、同じ動作中に撮影された登録画像と一致する表情の映像を選択し、照合する方式も提案されている（特許文献２参照）。
【特許文献１】特開2000-259834号公報（第１頁）
【特許文献２】特開2004-259255号公報（第１頁）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
特許文献１の発明では、被撮影者は指示に従い動作することが強制されてしまう。特許文献２の発明では、被撮影者は必ず動作をあらかじめ決定し、認証に際して決められた動作を行う必要が生じる。これらの方法では、いずれも被撮影者が必ずしも自然とは言えない動作を意識的に行う必要があり、表情の変化を確実にとるためには、被撮影者の負担が大きい。このため、特に利用者の利便性が求められるサービスの分野では適用が困難であった。
【０００６】
従って、本発明の目的は、利用者の利便性が重要となる場面において顔画像による認証を実施するため、被撮影者に負担をかけずに確実に表情の変化を撮影して抽出する顔形状変化情報抽出装置、生成した顔形状変化情報等を登録する顔画像登録装置および認証を行う顔画像認証装置の提供を目的とする。
【課題を解決するための手段】
【０００７】
本発明の顔画像登録装置は、人物と音声により対話を行う音声対話手段と、人物の顔画像を撮影する撮影手段と、撮影された顔画像から顔形状の変化情報を解析する顔形状変化情報解析手段と、解析された顔形状変化情報および顔画像情報を基に顔情報を生成する顔情報生成手段と、を有する構成である。
【０００８】
この構成により、音声で対話を行いなら、顔画像を撮影することで、顔画像の顔形状の変化情報を解析することができるので、被撮影者に負担をかけずに、被撮影者の顔情報を生成することができる。
【０００９】
また、音声対話手段は、被撮影者の表情を変化させる発声を非明示的に誘引することで、被撮影者の表情を制御する音声対話を行う構成である。
【００１０】
この構成により、被撮影者が意識して表情を作らなくとも、音声対話により、自然に撮影したい表情が誘引されるので、被撮影者の負担をかけずに、被撮影者の顔情報を生成することができる。
【００１１】
また、顔形状変化情報抽出装置と、顔形状変化情報抽出装置を使い、被撮影者に気づかれることなく顔画像を撮影し、生成された顔情報を登録する顔情報登録手段と、を有する構成である。
【００１２】
この構成により、生成された顔情報を登録することができる。
【００１３】
また、顔形状変化情報抽出装置と、顔情報を登録する顔情報登録手段と、顔形状変化情報抽出装置を使い、被撮影者の顔情報を生成し、生成された顔情報と登録された顔情報とを照合する顔情報認証処理手段と、を有する構成である。
【００１４】
この構成により、生成された顔画像と登録された顔画像とを照合することができる。
【００１５】
また、顔情報認証処理手段は、顔形状変化情報抽出装置により生成した顔形状変化情報に基づき、認証時に入力された顔情報と、登録された顔情報から同一表情の映像を生成し認証する構成である。
【００１６】
この構成により、同一表情を照合することができるので、精度が高い認証が可能となる。
【発明の効果】
【００１７】
本発明により、被撮影者にそれと気づかれることなく表情変化に強い顔認証が可能である。また、登録時もしくは照合時のいずれか片方での実施により表情変化に強い顔認証が可能であり、従って利用者の利便性が向上し、トータル作業コストが削減され、顔認証技術の適用範囲を拡大できる。
【発明を実施するための最良の形態】
【００１８】
《実施例１》      
図１に実施例の顔形状変化情報抽出装置の構成図を示す。
【００１９】
顔形状変化情報抽出装置１は、画像入力部４と、対話処理部５と顔形状変化情報解析部６と、顔情報生成部７と、撮影装置１１と音声対話装置１２とを有する。
【００２０】
図２に実施例の顔画像登録装置の構成図を示す。
【００２１】
顔画像登録装置２は、顔形状変化情報抽出装置１と、顔情報登録部８とを有する。
【００２２】
図３に、実施例の顔画像認証装置の構成図を示す。
【００２３】
顔画像認証装置３は、顔形状変化情報抽出装置１と、顔情報登録部８と、顔情報認証処理部９とを有する。
【００２４】
画像入力部４は、撮影装置１１で撮影された画像を入力する。
【００２５】
対話処理部５は、音声対話装置からの発話情報を入力し、被撮影者への指示を音声で出力する制御を行う。
【００２６】
顔形状変化情報解析部６は、撮影した映像から、顔の形状の変化の仕方、すなわち表情の変化の仕方を解析し特徴を抽出する。
【００２７】
顔情報生成部７は、登録時は、撮影し解析した顔形状の変化時のベクトル情報等の特徴情報と顔画像情報に基づき、顔情報を生成する。また、これらの情報を基に、特定の表情(真顔)の画像を生成する。
【００２８】
認証時には、登録顔情報と認証用の撮影画像をもとに同一表情の顔情報を生成する。
【００２９】
顔情報登録部８は、生成された顔情報を画像データベースへ登録する。
【００３０】
顔情報認証処理部９は、顔情報生成部７で生成された同一表情の顔情報等を基に、登録顔情報と撮影された顔情報とを照合する。
【００３１】
撮影装置１１は、様々に形状が変化する被撮影者の顔画像を撮影する。
【００３２】
音声対話装置１２は、被撮影者に各種指示を与えたり、被撮影者が音声入力したりして音声による対話を行う。
【００３３】
本発明では、音声による対話を行い発話に伴い様々に形状が変化する被撮影者の顔画像を撮影装置により撮影する。そして、撮影した映像から、顔の形状の変化の仕方、すなわち表情の変化の仕方を解析する。そして、解析の結果に基づき、照合に適した表情、例えば真顔の映像を生成し、顔画像の画像データベースへの登録または認証を行う。
【００３４】
具体的には、撮影時に被撮影者と対話を行い、発話中の顔映像を撮影して、例えば口や目といった形状が変動する顔の部品上に複数配置した特徴点の位置を検出して、複数枚撮影した顔映像間で特徴位置の対応をとり、発声に伴う各特徴位置の動き方と映像パターンの変化の仕方を解析する。なお、音声対話は、機械により実施してもよいし、人間により実施してもよい。この撮影および解析は、顔の形状変化の仕方を推測するために必要な形状のバリエーションを持った顔画像、例えば普通に口を開く、口を少し開いて小さく狭める、口を閉じて横に引き伸ばす、等の顔映像が撮影されるまで行う。撮影される形状のバリエーションが多ければ多いほど顔形状の変化の仕方を推測する精度を高めることができるため、出来る限り多く撮影する。ただし、枚数は少ない場合形状変化の推定精度が劣化するものの、二枚以上からならば実施が可能である。ここで、例えば形状変化映像を効率よく撮影するため、音声対話装置による対話において、例えば母音のように特徴的に顔形状を変化させる音を含む発声が誘引されるように対話の表現を工夫してもよい。具体的には、施設予約システム等においては、利用者数を問う場合に、「何名」と「mei」というように母音等の形状変化を引き出す音を多く含む語により応答することを期待して、「何名様でご利用ですか？」といった表現を選択してもよい。このようにして撮影し解析した顔変形時の特徴位置と映像パターンに基づき、例えば真顔のような特定の表情の顔映像を生成する。そして、この方法により生成した顔映像により顔認証を行う。なお、認証に際しては、以下の三通りのうちいずれの方法によっても良い。
1)画像登録時に収集した顔情報から認証時に撮影された顔映像と同一表情の映像を生成し、認証する。2)認証時に収集した顔情報から、データベースに登録された顔映像と同一表情の映像を生成し、認証する。3)画像登録時、認証時それぞれ収集した顔情報から、例えば真顔のように認証に適した表情の映像を生成し、認証する。
【００３５】
以下に、音声対話装置による対話を用いた実施例を示す。
【００３６】
顔画像データの登録時に顔形状の変動データを収集、解析し、解析したデータをデータベースに登録しておく。そして、認証時には撮影した顔画像の表情を判別し、登録された顔形状変動データから同一の表情の画像を生成し、照合を行う。従って表情の変動による影響を排除し、表情変化に強い顔認証が実現できる。具体的な登録時および認証時の実施例は下記の通りである。
（１）登録の実施
図４に、実施例１の登録処理の流れ図を示す。
【００３７】
まず、音声対話の処理を行う（Ｓ１ステップ）。本装置の備える音声対話装置により、被撮影者との音声対話を行う。このとき、例えば音声ポータルのようにあらかじめ被撮影者に伝達すべき情報が定められている場合は、情報の表現の仕方を、母音等の特徴的に顔の形状が変化する発話を被撮影者に誘引するように選択することで、効率的に顔の形状変化を行うことが期待できる。   例えば、施設予約システム等において、利用人数を確認する場合等においては、「何人ですか」と問えば、「三人」等と、「nin」といった発音が期待でき、これに伴い口を閉じて端を両側に引いた表情になるし、「何名様ですか」と問えば、「mei」といった母音を多く含み、形状が様々に変化する発音が期待できる。
【００３８】
次に、顔画像撮影の処理を行う（Ｓ２ステップ）。
【００３９】
ビデオカメラ等の顔画像撮影装置により、上記音声対話中の顔画像を撮影する。
【００４０】
次に、顔形状の変動解析を行う（Ｓ３ステップ）。
【００４１】
図５に顔画像撮影の説明図を示す。
上記の通り撮影された顔画像から、顔形状の変動の仕方を解析する。具体的には、画像中から、テンプレートマッチング等の方法を用いて顔領域を抽出し、さらに顔の中で、口や目等の形状が変動する部位の周辺、例えば図４(ａ)のように顔の特定部位に配置した特徴位置を同じくテンプレートマッチング等の方法を用いて検出する。
次に、検出した特徴位置を、例えば図４（ｂ）のように形状が個別に変動する部品毎にグループ１〜３に分ける。そして、グループ毎に、その形状をグループに含まれる特徴位置の画像中の座標を適当な順番で並べたベクトル(以下、顔形状ベクトルと呼ぶ)で下記のように表現する。
【００４２】
まず、顔画像番号k中のグループ番号iに含まれる点のj番目の特徴点の画像中の座標をVo(k,i,j) とする。ここで、画像中の座標とは、顔画像の左上を原点とし、横方向の画素位置を第一の成分、縦方向の画素位置を第二の成分とするベクトルである。また、グループ番号iに含まれる特徴位置の数をs(i) とする。特徴位置の数は全ての顔画像について同じである。これに対し、グループ番号iの基準位置を次の式の通り、そのグループに含まれる特徴位置の重心(平均)として、下記の通り と表す。
【００４３】
【数１】
2006323774.tif 000003
【００４４】
特徴位置のグループ内での座標を、画像中の座標からグループの重心座標を引いて下記の様に定める。
【００４５】
【数２】
2006323774.tif 000004

【００４６】
そして、グループ毎にこれらの特徴を一つのベクトルに並べてM(k,i) とし、これによりグループ毎の形状を表す。
【００４７】
【数３】
2006323774.tif 000005
【００４８】
このようにして、撮影された顔画像kに対し、それぞれ顔形状ベクトルM(k,i) を生成する。十分なバリエーションの顔形状が撮影されたか否かは、得られた形状ベクトルのばらつき具合を表す下記の分散値があらかじめ定められた閾値を越えているか否かで判定し、閾値を下回る場合には不足とみなして音声対話および撮影を継続する。なお、形状ベクトルの分散値は、解析した顔画像の枚数をpとして、下記の式の通り計算する。
【００４９】
【数４】
2006323774.tif 000006
【００５０】
次に、顔形状情報登録を行う（Ｓ４ステップ）。
【００５１】
上記の通り求めた顔形状ベクトルM(k,i)と、撮影した顔画像を顔情報として生成し、顔情報登録部７に登録する。
（２）認証の実施
図６に、実施例１の認証処理の流れ図を示す。
【００５２】
まず、顔画像撮影する（Ｓ１１ステップ）。
【００５３】
ビデオカメラ等の顔画像撮影装置により、顔画像を撮影する。
【００５４】
次に、画像中の表情解析を行う（Ｓ１２ステップ）。
【００５５】
撮影した顔画像から、Ｓ３ステップと同様の方法により、顔形状ベクトルM(l,i)を生成する。顔映像の番号lは、登録画像の番号と重複しないものとする。
【００５６】
次に、各顔登録データについて形状の変動情報から同一の表情画像生成を行う（Ｓ１３ステップ）。撮影画像の顔形状ベクトルM(l,i)を、登録顔データの形状ベクトルＭ(k,i)の線形和で表現する。具体的には、下記の式の通り、Ｍ(k,i) の線形和のうち、顔形状ベクトルM(l,i)との二乗誤差が最も小さくなる、すなわち最も表情が近くなる重み係数の組を一般的な数値計算法である最小二乗法により求める。これによって求められた線形和Ｍr(l,i)は、登録データの顔形状を入力顔画像と同一の形状に変形させたものである。
【００５７】
【数５】
2006323774.tif 000007
【００５８】
登録人物の同一表情顔形状ベクトル: 
さらに、登録データ中の適当な画像ｋを選び、その画像形状ベクトルＭ(k,i)と、Ｍ(l,i) との間の特徴位置の対応関係から、一般的にモーフィングと呼ばれる画像の形状変換法を用いて、撮影画像と同じ表情の顔画像を生成する。
【００５９】
次に、同一表情画像間で照合を行う（Ｓ１４ステップ）。撮影画像と、前記の通り生成した撮影画像と同一表情の顔画像とで、一般的な顔画像照合アルリズムを用いて照合を行う。
《実施例２》      
顔画像データの登録時は証明写真等をデータベースに登録しておき、認証時に本発明により顔形状の変動データを収集、解析し、解析した顔形状変動データから、登録画像と同一の表情の画像を生成し、照合を行う。実施例1と同じく、これにより表情変化に強い顔認証が実現できる。
具体的な登録時および認証時の実施例は下記の通りである。
装置構成は、実施例１と同様である。
（１）登録の実施
図７に実施例２の登録処理の流れ図を示す。
【００６０】
まず、顔画像撮影を行う（Ｓ２１ステップ）。
【００６１】
ビデオカメラ等の顔画像の撮影装置１１により顔画像を撮影する。もしくは、前もって撮影した証明写真等に基づいて顔画像を取得する。
【００６２】
次に、顔画像の表情解析を行う（Ｓ２２ステップ）。
【００６３】
実施例1のＳ３ステップと同様の方法により、顔形状ベクトルＭ(l,i)を生成する。
【００６４】
次に、顔形状情報登録を行う（Ｓ２３ステップ）。
【００６５】
上記の通り求めた顔形状ベクトルＭ(l,i)を、撮影した顔画像と共に顔情報として顔情報登録部８に登録する。
（２）認証の実施
図８に実施例２の認証処理の流れ図を示す。
【００６６】
まず、実施例１のＳ１ステップの音声対話と同様の方法により音声対話を実施する（Ｓ２５ステップ）。
【００６７】
次に、ビデオカメラ等の顔画像の撮影装置１１により、上記音声対話中の顔画像を撮影する（Ｓ２６ステップ）。
【００６８】
次に、顔形状の変動解析を行う（Ｓ２７ステップ）。
【００６９】
実施例１のＳ３ステップと同様の方法により、十分な顔形状のバリエーションが撮影されるまで顔形状ベクトルを求める。
【００７０】
次に、撮影画像の変形による登録画像と同一の表情画像生成する（Ｓ２８ステップ）。このため、実施例１のＳ１３ステップと同様の方法により撮影画像を変形させ、各登録画像と同一の表情の画像を生成する。
【００７１】
次に、撮影画像と、前記の通り生成した撮影画像と同一表情の顔画像とで、一般的な顔画像照合アルゴリズムを用いて照合を行う。（Ｓ２９ステップ）。
《実施例３》            
画像の登録時および認証時に本発明により顔形状の変動データを収集、解析し、解析したデータから認証に適した特定表情の映像、例えば真顔の顔映像を生成し、照合する。
【００７２】
特定表情が、あらかじめ登録された顔画像と同一である場合、特定表情が、認証時に撮影された顔画像と同一である場合も同様である。
【００７３】
具体的な登録時および認証時の実施例は下記の通りである。
【００７４】
装置構成は、実施例１と同様である。
（１）登録の実施
図９に実施例３の登録処理の流れ図を示す。
【００７５】
まず、実施例1のＳ１ステップと同様の方法により音声対話を実施する（Ｓ３１ステップ）。
【００７６】
次に、ビデオカメラ等の顔画像撮影装置により、上記音声対話中の顔画像を撮影する（Ｓ３２ステップ）。
【００７７】
次に、顔形状の変動解析を行う（Ｓ３３ステップ）。
【００７８】
実施例1のＳ３ステップと同様の方法により、十分な顔形状のバリエーションが撮影されるまで顔形状ベクトルＭ(k,i)を求める。また、撮影時の発音を対話装置に備えられたマイク等の音声信号入力装置から取得し、画像毎にＳ(k)とする。
【００７９】
次に、特定の表情(真顔)画像生成する（Ｓ３４ステップ）。
【００８０】
一般に、認証を行う際、表情の影響を受けない真顔による認証が最も高精度な認証を期待できる。そこで、計測した顔形状の変動データから、それらの変動を排除した無表情の映像を生成する。基本的には、あらかじめ計測した複数の人の発話時の形状変動データの中から、発音時に同じような形変動の仕方をする人物を抽出し、その人物の真顔時の形状データになるよう変形させることで、真顔の顔映像を生成することが出来る。
【００８１】
まず事前に、様々な人物について、顔形状変動データとその際の発音との対応を記録しておく。このとき、認証に用いる特定の表情、真顔の際の顔形状も計測しておく。具体的には、各人物(番号q、以降モデル人物qと呼ぶ)について、t番目の画像(以降、画像tと略記する)を撮影した時の音声データをＳ(q,t)とし、画像tから生成したグループiの顔形状ベクトルをＭ(q,t,i)として、共に記録する。撮影映像から前記にて得た各顔形状ベクトル について、各モデル人物qについて、Ｓ(k) と同じ音声データを持つＳ(q,t)を検索し、存在すればその画像番号を下記の通り記録し、対応付ける。
【００８２】
同一音声画像番号: Ｔ(k,i)=t  
そして、撮影画像とモデル人物の顔形状ベクトル間で、対応する音声データを持つ顔形状ベクトルの類似性を下記の通り評価し、この値が最も小さい、すなわち類似性が最も高いモデル人物を検索することで、撮影画像と同じように発声し、形状変動させている人物を探索する。
【００８３】
【数６】
2006323774.tif 000008
【００８４】
この顔形状変動の類似度が最も高い人物の形状変動データのうち、事前に計測した真顔の形状データをグループ毎にＭo(i) とする。そして、これらのＭo(i) に形状が合致するよう、撮影画像のうちのいずれかの画像をモーフィングさせ、真顔の画像を生成する。
次に、上記の通り生成した真顔の顔画像を顔情報登録部８に登録する（Ｓ３５ステップ）。
（２）認証の実施
図１０に実施例３の認証処理の流れ図を示す。
【００８５】
まず、実施例１のＳ１ステップと同様の方法により音声対話を実施する（Ｓ３６ステップ）。
【００８６】
次に、ビデオカメラ等の顔画像撮影装置により、上記音声対話中の顔画像を撮影する（Ｓ３７ステップ）。
【００８７】
次に、顔形状の変動解析を行う（Ｓ３８ステップ）。
【００８８】
実施例１のＳ３ステップと同様の方法により、十分な顔形状のバリエーションが撮影されるまで顔形状ベクトルＭ(k,i)を求める。また、撮影時の発音を対話装置に備えられたマイク等の音声信号入力装置から取得し、画像毎にＳ(k)とする。
【００８９】
次に、特定の表情(真顔)画像生成を行う（Ｓ３９ステップ）。Ｓ３４ステップと同様の方法により、撮影画像から真顔の画像を生成する。
【００９０】
次に、登録画像と照合する（Ｓ４０ステップ）。登録データベース中の各人物の登録時に生成した真顔の顔映像と、前記により撮影映像から生成した真顔の顔画像を、通常の顔画像照合アルゴリズムにより照合する。
【００９１】
その他の実施例として、人物との対話を用いた実施例もある。例えば、実施例1のうち、登録時の音声対話を人間が行う。それ以外については、実施例１と同様の方法で行う。
【００９２】
また、実施例２のうち、認証時の音声対話を人間が行う。それ以外については、実施例２と同様である。
【００９３】
また、実施例３において、登録時/認証時共に音声対話を人間が行う。それ以外については、実施例３と同様である。
【００９４】
これらにより、被撮影者にそれと気づかれることなく表情変化に強い顔認証が可能である。被撮影者にそれと気づかせず、従って負担をかけず、照合時の顔映像の表情を一致させることができ、表情変化に耐性の強い顔認証を実現できる。
【００９５】
また、登録時もしくは照合時のいずれか片方での実施により表情変化に強い顔認証が可能であり、従って利用者の利便性が向上し、トータル作業コストが削減され、顔認証技術の適用範囲を拡大できる。従来の方式では登録時と認証時と、共に複数の顔画像を撮影する必要があったのに対し、本発明は、事前に顔画像を登録する際、もしくは照合用画像を撮影する際のいずれか一方のみで実施すれば、同一表情での照合が可能となり、表情変化に強い顔認証が実現できる。例えば、本発明を用いれば、登録時には証明写真を一枚だけ登録し、認証時の映像から登録映像と同一表情の映像を生成し照合することが可能になる。従って、登録時の手続きを簡便に出来、利用者にとっての利便性を向上させるとともに、サービスとしての運用コストを格段に低減することが出来る。これにより、顔認証技術の適用範囲を拡大することが出来る。
【００９６】
以上の実施例１〜３を含む実施形態に関し、更に以下の付記を開示する。
（付記１）人物と音声により対話を行う音声対話手段と、人物の顔画像を撮影する撮影手段と、
撮影された顔画像から顔形状の変化情報を解析する顔形状変化情報解析手段と、解析された顔形状変化情報および顔画像情報を基に顔情報を生成する顔情報生成手段と、を有することを特徴とする顔形状変化情報抽出装置。
（付記２）音声対話手段は、被撮影者の表情を変化させる発声を非明示的に誘引することで、被撮影者の表情を制御する音声対話を行うことを特徴とする付記１記載の顔形状変化情報抽出装置。
（付記３）付記1もしくは２いずれかの顔形状変化情報抽出装置と、
顔形状変化情報抽出装置を使い、被撮影者に気づかれることなく顔画像を撮影し、生成された顔情報を登録する顔情報登録手段と、を有することを特徴とする顔画像登録装置。
（付記４）付記1もしくは２いずれかの顔形状変化情報抽出装置と、顔情報を登録する顔情報登録手段と、顔形状変化情報抽出装置を使い、被撮影者の顔情報を生成し、生成された顔情報と登録された顔情報とを照合する顔情報認証処理手段と、を有することを特徴とする顔画像認証装置。
（付記５）顔情報認証処理手段は、顔形状変化情報抽出装置により生成した顔形状変化情報に基づき、認証時に入力された顔情報と、登録された顔情報から同一表情の映像を生成し認証することを特徴とする付記４記載の顔画像認証装置。
（付記６）顔情報生成手段は、解析された顔形状変化情報を所定の表情に変形させて顔情報を生成することを特徴とする付記１記載の顔形状変化情報抽出装置。
（付記７）顔情報生成手段は、認証時に入力された顔情報と同一表情の画像を顔情報登録手段に登録されている顔情報を基に生成することを特徴とする付記５記載の顔画像認証装置。
（付記８）登録時に、顔情報生成手段が特定表情の顔画像を生成して登録し、認証時に、顔情報生成手段が特定表情の顔画像を生成して、登録された特定表情の顔情報と照合することを特徴とする付記４記載の顔画像認証装置。
（付記９）特定表情が、真顔であることを特徴とする付記８記載の顔画像認証装置。
（付記１０）特定表情が、あらかじめ登録された顔画像と同一であることを特徴とする付記８記載の顔画像認証装置。
（付記１１）特定表情は、認証時に撮影された顔画像と同一であることを特徴とする付記８記載の顔画像認証装置。
（付記１２）顔形状変化情報解析手段は、顔形状の所定の特徴位置を検出し、形状が個別に変化するグループにするグループ化手段と、各グループの形状ベクトルを生成するベクトル生成手段とを有することを特徴とする付記１記載の顔形状変化情報抽出装置。
【図面の簡単な説明】
【００９７】
【図１】実施例の顔形状変化情報抽出装置の構成図
【図２】実施例の顔画像登録装置の構成図
【図３】実施例の顔画像認証装置の構成図
【図４】実施例１の登録処理の流れ図
【図５】顔画像撮影の説明図
【図６】実施例１の認証処理の流れ図
【図７】実施例２の登録処理の流れ図
【図８】実施例２の認証処理の流れ図
【図９】実施例３の登録処理の流れ図
【図１０】実施例３の認証処理の流れ図
【符号の説明】
【００９８】
１  顔形状変化情報抽出装置
２  顔画像登録装置
３  顔画像認証装置
４  画像入力部
５  対話処理部
６  顔形状変化情報解析部
７  顔情報生成部
８  顔情報登録部
８  顔情報登録部
９  顔情報認証処理部
１１  撮影装置
１２  音声対話装置
【図１】
2006323774.tif 000009
【図２】
2006323774.tif 000010
【図３】
2006323774.tif 000011
【図４】
2006323774.tif 000012
【図５】
2006323774.tif 000013
【図６】
2006323774.tif 000014
【図７】
2006323774.tif 000015
【図８】
2006323774.tif 000016
【図９】
2006323774.tif 000017
【図１０】
2006323774.tif 000018