(57)【要約】【課題】顔パッチモデルの位置合わせに対する表情の影響を低減する。【解決手段】基準点情報記憶部３３には、顔パッチモデルを構成する特徴点群のうち、表情の変化による位置変化が少ない特徴点の識別情報が、基準点情報として登録されている。顔認証の場合、例えばユーザが呈示した顔をレンジファインダ１０で３次元計測し、その計測結果の３次元形状から顔パッチモデルを生成する。この顔パッチモデルを、登録モデルＤＢ３６に登録された当該ユーザの顔パッチモデルと比較することで、そのユーザの本人認証を行う。この場合、基準点情報記憶部３３に登録された基準点ごとに、呈示された顔の顔パッチモデルと登録された顔パッチモデルとの間でのその基準点の位置誤差を求め、すべての基準点の位置誤差が全体として最小となるように両者を位置合わせする。【選択図】図１
2008204200.tif 000002
【特許請求の範囲】
【請求項１】
顔形状モデルを構成する複数の特徴点のうちの一部の特徴点を、顔形状モデル同士の位置合わせの基準点として記憶する基準点記憶部と、
基準となる顔の顔形状モデルである基準顔モデルを記憶する基準顔モデル記憶部と、
ユーザから呈示された顔の３次元計測結果に基づき生成された顔形状モデルである呈示顔モデルと、前記基準顔モデル記憶部に記憶された基準顔モデルと位置合わせする位置合わせ部であって、前記呈示顔モデルと前記基準顔モデルとの間での同一基準点同士の位置誤差が最小となるように位置合わせを行う位置合わせ部と、
前記位置合わせ部により位置合わせされた前記呈示顔モデルと前記基準顔モデルとの比較に基づき前記呈示顔モデルについての解析処理を行う解析部と、
を備える顔解析システム。
【請求項２】
請求項１に記載の顔解析システムであって、
前記基準点記憶部は、前記顔形状モデルを構成する複数の特徴点のうち、人間の顔の鼻筋、額の下部、及び頬のうちの少なくとも１つの部位に該当する特徴点を、前記基準点として記憶する、
ことを特徴とする顔解析システム。
【請求項３】
請求項１又は２に記載の顔解析システムであって、更に、
ユーザごとに、そのユーザの複数の顔形状モデルを記憶した顔データベースと、
同一ユーザの複数の顔形状モデルの間での同一特徴点の３次元座標のばらつきである個人内ばらつきを計算する個人内ばらつき計算部と、
前記顔データベースに登録されたユーザの顔形状モデルの間での同一特徴点の３次元座標のばらつきである個人間ばらつきを計算する個人間ばらつき計算部と、
特徴点ごとに、その特徴点の個人内ばらつきと個人間ばらつきとに基づき重みを計算する重み計算部と、
を備え、
前記基準顔モデル記憶部は、ユーザごとに当該ユーザの基準顔モデルを記憶し、
前記解析部は、前記ユーザの前記呈示顔モデルと、前記基準顔モデル記憶部に記憶された当該ユーザの基準顔モデルとの間での同一特徴点同士の位置誤差をそれぞれの特徴点についての重みにより重み付けし、その重み付け結果を全ての特徴点について総合することで評価値を求め、その評価値に基づきユーザが呈示した顔が顔データベースに登録された顔と同一であるか否かを判定する、
ことを特徴とする顔解析システム。
【請求項４】
請求項１又は２に記載の顔解析システムであって、更に、
前記特徴点ごとに、同一ユーザの複数の顔形状モデルの間での当該特徴点の３次元座標のばらつきである個人内ばらつきと、複数のユーザの顔形状モデルの間での当該特徴点の３次元座標のばらつきである個人間ばらつきと、に基づき求められた重みを記憶する重み記憶部、
を備え、
前記基準顔モデル記憶部は、ユーザごとに当該ユーザの基準顔モデルを記憶し、
前記解析部は、前記ユーザの前記呈示顔モデルと、前記基準顔モデル記憶部に記憶された当該ユーザの基準顔モデルとの間での同一特徴点同士の位置誤差をそれぞれの特徴点についての重みにより重み付けし、その重み付け結果を全ての特徴点について総合することで評価値を求め、その評価値に基づきユーザが呈示した顔が顔データベースに登録された顔と同一であるか否かを判定する、
ことを特徴とする顔解析システム。
【請求項５】
請求項１又は２に記載の顔解析システムであって、
前記解析部は、
前記呈示顔モデルと前記基準顔モデルとの間での同一特徴点同士の座標の差分の、顔の左右についての非対称の度合いを求め、前記非対称の度合いに基づき顔面神経麻痺の評価値を求める評価値算出部、
を備えることを特徴とする顔解析システム。
【請求項６】
請求項５記載の顔解析システムであって、
前記解析部は、
表情種類ごとに、当該表情種類についての着目部位を登録した着目部位情報記憶部と、
前記呈示顔モデルの表情種類の入力を受ける入力部と、
とを備え、
前記評価値算出部は、前記入力部から入力された表情種類についての着目部位に該当する各特徴点についての、前記呈示顔モデルと前記基準顔モデルとの間での同一特徴点同士の座標の差分の、顔の左右についての非対称の度合いに基づき前記評価値を求める、
ことを特徴とする顔解析システム。
【請求項７】
コンピュータを、
顔形状モデルを構成する複数の特徴点のうちの一部の特徴点を、顔形状モデル同士の位置合わせの基準点として記憶する基準点記憶部、
基準となる顔の顔形状モデルである基準顔モデルを記憶する基準顔モデル記憶部と、
ユーザから呈示された顔の３次元計測結果に基づき生成された顔形状モデルである呈示顔モデルと、前記基準顔モデル記憶部に記憶された基準顔モデルと位置合わせする位置合わせ部であって、前記呈示顔モデルと前記基準顔モデルとの間での同一基準点同士の位置誤差が最小となるように位置合わせを行う位置合わせ部、
前記位置合わせ部により位置合わせされた前記呈示顔モデルと前記基準顔モデルとの比較に基づき前記呈示顔モデルについての解析処理を行う解析部、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば個人識別や個人認証その他の目的のための、顔解析のための技術に関する。
【背景技術】
【０００２】
近年、セキュリティ意識の高まりやネットワーク利用の拡大により、強固なセキュリティを保持できかつ利便性の高い個人認証システムが求められている。その中で最も期待されている技術の一つとして、本人の生体的特徴や特性といった個人特有の情報を利用して本人確認を行うバイオメトリクス認証が注目を浴びている。認証に用いるバイオメトリクスとしては、例えば指紋、顔、網膜パターン、声紋など、様々なものが提案されている。しかし、いずれの場合も、基本的な考え方は、登録ユーザの生体的特徴をシステムに登録しておき、認証対象のユーザから呈示された生体部分から取得した生体的特徴をその登録ユーザの生体的特徴と比較し、両者が所定範囲内の近さであれば、認証対象のユーザが登録ユーザであると判定する、というものである。
【０００３】
バイオメトリクス認証のうち顔認証は非接触で認証を行えるという大きな利点があるため有望視されている。
【０００４】
顔認証の従来技術は、大きく分けて２Ｄ−２Ｄ認証と２Ｄ−３Ｄ認証とに分類できる。前者は、認証対象として呈示された顔の画像データも、比較対象となるシステムに登録された顔画像データも、共に２次元の画像データを用いるというものである。後者は、システムに登録する顔データとして３次元のデータを用いることで、認証対象として呈示された顔の向きの違いに対応できるようにしたものである。
【０００５】
これら従来技術は、いずれも認証対象の顔をカメラで撮影して得られる２次元の顔画像を用いるため、撮影時の照明の影響や、認証対象の顔の位置及び向き（姿勢）の影響を受けやすいという問題がある。
【０００６】
このような問題に対する解決策として、呈示された顔のデータもこれに対する比較対象となる登録データも共に３次元の形状データと用いることが考えられる。顔の３次元形状データは、例えばレンジファインダを用いることで得ることができる。３次元の形状データ同士の比較であれば、照明の影響は受けない。また、３次元形状データを用いる場合、比較対象の形状同士の姿勢を３次元的に合わせることができるので、撮影時の顔の姿勢の影響も受けにくい。
【０００７】
ここで、レンジファインダにより得られる顔の３次元形状データは顔の表面の各点を示す３次元の点の集合である。高い精度を得るべく十分に高解像度のレンジファインダを用いた場合、顔表面を示す点の数は数万点規模に上る。呈示された顔のデータと登録データを比較する際、このような莫大な数に上る生の点の集合同士を比較するのは、計算量の点で現実的ではない。
【０００８】
そこで、顔の３次元形状を示す点群のうち、顔の構造上の特徴を示す特徴点の組合せにより顔をモデル化し、モデル同士の比較で認証を行うことが考えられる。このような顔の三次元形状のモデル化の手法として、非特許文献１に示される方式が知られている。この方式では、顔に数百点の特徴点を設定している。特徴点は、目頭や目尻、唇の両端など、顔の特徴となる構造部分に対して配される。目や鼻、口元などといった顔の特徴を強く示す部分ほど特徴点は密に配置される。非特許文献１に示される手法では、レンジファインダにより顔の３次元形状を示す生の点群と、２次元の顔画像とを取得し、２次元の顔画像上で特徴点の中でも重要度の高い代表点（例えば目頭や目尻など）をオペレータに指定させ、代表点以外の特徴点をそれら代表点同士の補間により推定している。このように求められた特徴点の３次元座標の組が、顔のモデルを表す。このモデルを非特許文献１ではパッチモデルと呼んでいる。
【０００９】
登録データ及び呈示された顔のデータとしてそれぞれパッチモデルを用いることで、認証は両モデルの数百点規模の点同士の比較となり、数万点規模の生データの比較からみて計算量を大幅に削減できる。
【００１０】
登録された顔のデータと呈示された顔のデータとを比較する場合、両方の顔のデータ同士が位置合わせされていなければ、正確な比較は難しい。顔認識・識別のためのシステムには、特許文献１に示されるものも含め従来より様々なものが存在するが、それら従来システムでは、そのような位置合わせのために、ユーザの顔を器具により所定の姿勢に固定した上で、撮影又は計測を行っていた。
【００１１】
【非特許文献１】中村公謙、子安健彦、市川知弥、天野敏之、佐藤幸男：”ＮＣＦを用いた標準顔パッチモデルの顔形状データへの当てはめ”  画像の認識・理解シンポジウム(2002)
【発明の開示】
【発明が解決しようとする課題】
【００１２】
しかしながら、顔を器具等で固定するのは、ユーザにとって負担を強いるものであった。なお、ユーザが呈示した顔のモデルを登録された顔のモデルと比較することで呈示された顔を解析するものは、顔認識・識別以外の応用分野にも存在し、そのような応用分野でも上述したモデル同士の位置合わせの必要性があった。
【００１３】
また、ユーザが呈示する顔には一般に表情があり、呈示された顔が登録された顔と異なる表情であれば、両者の位置合わせの精度に悪影響を及ぼすことが考えられる。
【００１４】
本発明は、１つの側面では、ユーザの顔を器具等で厳密に正しい姿勢に固定しなくても、登録された顔と呈示された顔との位置合わせが比較的容易にできるようにすることを目的とする。また、別の側面では、本発明は登録された顔と呈示された顔との位置合わせにおいて、表情の影響を低減することを目的とする。
【課題を解決するための手段】
【００１５】
本発明の１つの側面では、顔形状モデルを構成する複数の特徴点のうちの一部の特徴点を、顔形状モデル同士の位置合わせの基準点として記憶する基準点記憶部と、基準となる顔の顔形状モデルである基準顔モデルを記憶する基準顔モデル記憶部と、ユーザから呈示された顔の３次元計測結果に基づき生成された顔形状モデルである呈示顔モデルと、前記基準顔モデル記憶部に記憶された基準顔モデルと位置合わせする位置合わせ部であって、前記呈示顔モデルと前記基準顔モデルとの間での同一基準点同士の位置誤差が最小となるように位置合わせを行う位置合わせ部と、前記位置合わせ部により位置合わせされた前記呈示顔モデルと前記基準顔モデルとの比較に基づき前記呈示顔モデルについての解析処理を行う解析部と、を備える顔解析システムを提供する。
【００１６】
１つの態様では、前記基準点記憶部は、前記顔形状モデルを構成する複数の特徴点のうち、人間の顔の鼻筋、額の下部、及び頬のうちの少なくとも１つの部位に該当する特徴点を、前記基準点として記憶することを特徴とする。
【００１７】
別の態様では、ユーザごとに、そのユーザの複数の顔形状モデルを記憶した顔データベースと、同一ユーザの複数の顔形状モデルの間での同一特徴点の３次元座標のばらつきである個人内ばらつきを計算する個人内ばらつき計算部と、前記顔データベースに登録されたユーザの顔形状モデルの間での同一特徴点の３次元座標のばらつきである個人間ばらつきを計算する個人間ばらつき計算部と、特徴点ごとに、その特徴点の個人内ばらつきと個人間ばらつきとに基づき重みを計算する重み計算部と、を備え、前記基準顔モデル記憶部は、ユーザごとに当該ユーザの基準顔モデルを記憶し、前記解析部は、前記ユーザの前記呈示顔モデルと、前記基準顔モデル記憶部に記憶された当該ユーザの基準顔モデルとの間での同一特徴点同士の位置誤差をそれぞれの特徴点についての重みにより重み付けし、その重み付け結果を全ての特徴点について総合することで評価値を求め、その評価値に基づきユーザが呈示した顔が顔データベースに登録された顔と同一であるか否かを判定することを特徴とする。
【００１８】
更に別の態様では、前記特徴点ごとに、同一ユーザの複数の顔形状モデルの間での当該特徴点の３次元座標のばらつきである個人内ばらつきと、複数のユーザの顔形状モデルの間での当該特徴点の３次元座標のばらつきである個人間ばらつきと、に基づき求められた重みを記憶する重み記憶部、を備え、前記基準顔モデル記憶部は、ユーザごとに当該ユーザの基準顔モデルを記憶し、前記解析部は、前記ユーザの前記呈示顔モデルと、前記基準顔モデル記憶部に記憶された当該ユーザの基準顔モデルとの間での同一特徴点同士の位置誤差をそれぞれの特徴点についての重みにより重み付けし、その重み付け結果を全ての特徴点について総合することで評価値を求め、その評価値に基づきユーザが呈示した顔が顔データベースに登録された顔と同一であるか否かを判定することを特徴とする。
【００１９】
更に別の態様では、前記解析部は、前記呈示顔モデルと前記基準顔モデルとの間での同一特徴点同士の座標の差分の、顔の左右についての非対称の度合いを求め、前記非対称の度合いに基づき顔面神経麻痺の評価値を求める評価値算出部、を備えることを特徴とする。
【００２０】
更に別の態様では、前記解析部は、表情種類ごとに、当該表情種類についての着目部位を登録した着目部位情報記憶部と、前記呈示顔モデルの表情種類の入力を受ける入力部と、とを備え、前記評価値算出部は、前記入力部から入力された表情種類についての着目部位に該当する各特徴点についての、前記呈示顔モデルと前記基準顔モデルとの間での同一特徴点同士の座標の差分の、顔の左右についての非対称の度合いに基づき前記評価値を求めることを特徴とする。
【００２１】
また、本発明の別の側面では、コンピュータを、顔形状モデルを構成する複数の特徴点のうちの一部の特徴点を、顔形状モデル同士の位置合わせの基準点として記憶する基準点記憶部、基準となる顔の顔形状モデルである基準顔モデルを記憶する基準顔モデル記憶部と、ユーザから呈示された顔の３次元計測結果に基づき生成された顔形状モデルである呈示顔モデルと、前記基準顔モデル記憶部に記憶された基準顔モデルと位置合わせする位置合わせ部であって、前記呈示顔モデルと前記基準顔モデルとの間での同一基準点同士の位置誤差が最小となるように位置合わせを行う位置合わせ部、前記位置合わせ部により位置合わせされた前記呈示顔モデルと前記基準顔モデルとの比較に基づき前記呈示顔モデルについての解析処理を行う解析部、として機能させるためのプログラム、を提供する。
【発明を実施するための最良の形態】
【００２２】
以下、図面を参照して、本発明の実施の形態（以下「実施形態」と呼ぶ）について説明する。
【００２３】
図１を参照して、本発明の実施形態のシステム構成を説明する。図１に示すように、このシステムは、レンジファインダ１０と入力装置２０と顔解析装置３０とを備える。図１の例では、ユーザが呈示した顔に基づき、本人認証を行う場合の顔解析装置３０について説明する。
【００２４】
レンジファインダ１０は、ステレオ法等により三次元距離計測を行う装置である。レンジファインダ１０は、例えばレーザビームのスリットやスポットで対象物表面を走査し、それらスリット又はスポットを異なる位置に配置された２つのカメラで同時に撮影し、各カメラの配置位置と各カメラの撮影した画像内でのスリット又はスポットの位置との関係に基づき、三角測量の原理によりそれらスリット上の各点、或いはスポットの３次元位置を求める。対象物表面上の各点の３次元位置は、距離画像の形で表現される。距離画像では、マトリクス状に配列された各画素の画素位置がその画素に対応する対象物表面上の点の２次元座標（Ｘ，Ｙ座標）に対応し、各画素の画素値がその画素に対応する対象物表面上の点の基準点又は基準面からの距離（Ｚ座標）に対応する。ＸＹＺはこのシステムの世界座標系である。このようなレンジファインダは周知であるので、これ以上の説明は省略する。
【００２５】
また、よく知られるように、レンジファインダの中には、三次元形状計測の際のレーザ光の反射光から、対象物の可視画像（輝度画像又はＲＧＢ等のカラー画像）を生成できるものもある。このように生成される可視画像の画素は、三次元計測の結果である距離画像の画素と対応づけることができる。本実施形態のレンジファインダ１０も、このように距離画像とそれに対応する可視画像を出力するようなものであってよい。この可視画像は、後述する顔の３次元モデルである顔パッチモデルのテクスチャ情報として用いることができる。レンジファインダ１０が撮影した顔の画像をテクスチャ画像と呼ぶ。
【００２６】
本実施形態では、認証を受けるユーザが呈示したそのユーザの顔（以下「対象顔」又は「呈示顔」と呼ぶ）をこのレンジファインダ１０で計測し、その顔の距離画像を求める。レンジファインダ１０が求めた距離画像のデータは、顔解析装置３０の呈示モデル作成部３２に入力される。また、レンジファインダ１０が顔の距離画像と共にテクスチャ画像を撮影する場合は、そのテクスチャ画像の情報を更に呈示モデル作成部３２に入力してもよい。
【００２７】
入力装置２０は、認証を受けるユーザから、ユーザＩＤ（識別情報）の入力を受ける。ユーザＩＤは、ユーザが識別できる情報であればよく、例えばユーザの氏名であってもよいし、社員番号等の識別番号であってもよい。入力装置２０は、入力方式を問わない。例えば、ユーザＩＤの文字列の入力を受け付けるためのキーボードであってもよいし、ユーザＩＤの音声入力を受け付ける装置であってもよいし、ユーザが携帯するＩＤカードの磁気ストライプやＩＣチップからユーザＩＤを読み出す装置であってもよい。入力装置２０は、ユーザの入力からユーザＩＤを求め、そのユーザＩＤを顔解析装置３０の解析部３４に渡す。
【００２８】
顔解析装置３０は、対象顔の距離画像（もしあればテクスチャ画像も）に基づき、そのユーザの本人認証を行う。
【００２９】
呈示モデル作成部３２は、ユーザが呈示した対象顔の距離画像（もしあればテクスチャ画像も）から、その対象顔の呈示モデルを作成する。本実施形態では、顔を顔パッチモデルと呼ぶモデルで表現する。顔パッチモデルは、顔の表面形状を、その形状の構造上の特徴点の組合せで表現したモデルである。特徴点は、例えば目頭や目尻を含む目の輪郭、唇の輪郭、鼻の稜線、眉の生える額の稜線など、顔の構造上の特徴部位の３次元位置を示す頂点である。顔パッチモデルは、例えば、図２に示すように隣接する特徴点同士を線分で結んでできる三角形のパッチ群から構成されるワイヤーフレームモデルである。各特徴点は、その点の３次元位置座標、その点の法線情報を有する。また、顔パッチモデルにテクスチャも組み込む場合は、特徴点に、テクスチャ画像におけるその点の画素値（例えば輝度値又はＲＧＢ値）を持たせればよい。顔パッチモデルを構成する特徴点の数は予め取り決めておく。発明者らは、例えば顔形状に対して４８６点（もちろん、この点数は一例に過ぎない）の特徴点を設定した。各特徴点には、目頭や目尻、唇の右端などのように、顔の表面形状構造上での「意味」が割り当てられている。このように各特徴点には意味があるので、各特徴点に通し番号を割り当てることができる。この番号の順に各特徴点の３次元座標を並べることで、顔パッチモデルの３次元形状Ｐを次式のように多次元ベクトルで表現することができる（この例は４８６点の特徴点×３次元のベクトル）。この式において、γは、特徴点の識別番号である。
【００３０】
【数１】
2008204200.tif 000003
【００３１】
このように顔形状を多次元のベクトルで表現すれば、単純なベクトルの平均で標準顔を作ることができるなど、非常に加工や解析が容易に行えるという利点がある。
【００３２】
呈示モデル作成部３２による呈示モデルの作成の流れを図３に示す。この処理では、まず、入力された顔データ４０（すなわち距離画像）に対し、顔パッチモデルを当てはめるモデルフィッティングを行う（Ｓ１）。モデルフィッティングは、例えば非特許文献１と同様にして行えばよい。
【００３３】
すなわち、顔解析装置３０は、該装置を操作するオペレータに対し、図４に示すように代表点位置指定用画面５０を表示する。この画面には、距離画像と同時に撮影されたテクスチャ画像が表示され、そのテクスチャ画像上に、顔の特徴点の中の代表点（図中白丸で示す）が表示される。代表点としては、目頭や目尻など、特徴点の中で特に分かりやすい点が選ばれている。代表点の数は数十点程度である。これら代表点は、選択して位置を移動させることができる。オペレータはポインティングデバイス等で代表点を選択し、それを対象顔のテクスチャ画像に合わせて、目頭や目尻などの代表点の正しい位置へと移動させる。テクスチャ画像上での代表点の位置が分かれば、その位置に対応する距離画像上の画素の値から、代表点の３次元位置が特定できる。特定された各代表点の３次元位置に顔パッチモデルの各代表点を合わせ、残りの特徴点の３次元位置は、周囲の代表点からの補間により求める。このような処理により、対象顔の顔パッチモデル４２ができる。なお、このように補間により求められた各特徴点を代表点位置指定用画面５０のテクスチャ画像に表示し、オペレータがテクスチャ画像を参照しながら、それら各特徴点の位置をポインティングデバイス等で微調整できるようにしてもよい。
【００３４】
ここで、本実施形態では、ユーザの顔を器具等で固定するなどといったことをしないので、ユーザが呈示する顔の向きは常に一定しているわけではない。そこで、顔解析を行うために、呈示された顔の顔パッチモデル４２を、位置・姿勢の基準となる登録された顔のパッチモデルに対して位置合わせする（Ｓ２）。ここでの基準は、例えば、そのユーザがあらかじめ登録モデルＤＢ（データベース）３６に登録した顔パッチモデルである。登録モデルＤＢ３６に同一人の顔パッチモデルが複数登録されている場合（例えば表情ごとに別々の顔パッチモデルが登録されているなど）には、その中の特定のモデル（例えば真顔のもの）に、位置合わせのための基準であることを示す情報を付加しておけばよい。ステップＳ２では、入力装置２０から入力されたユーザＩＤに対応する基準の顔パッチモデルを登録モデルＤＢ３６から検索し、検索されたモデルに対し、顔パッチモデル４２を位置合わせする。以下では、登録モデルＤＢ３６に登録された顔パッチモデルを登録顔モデルと呼ぶ。
【００３５】
なお、以上では、ユーザ呈示した顔のパッチモデルをそのユーザ自身の登録顔モデルに対して位置合わせしたが、この代わりに、多くの人の顔パッチモデルから作成した平均的な顔のパッチモデルである標準顔パッチモデルに対して位置合わせしてもよい。標準顔パッチモデルは、各特徴点ごとに、その特徴点の３次元座標を、あらかじめ蓄積されている各人の顔パッチモデルの全体にわたって平均することにより求めればよい。標準顔パッチモデルに対して位置合わせを行う構成では、呈示モデル作成部３２はユーザＩＤを知らなくてもよい。
【００３６】
ステップＳ２の位置合わせは、例えば、顔パッチモデル４２と、対応する特徴点同士のユークリッド距離の総和が最小となるように、顔パッチモデル４２を位置合わせ対象の顔パッチモデルに対して並進、回転させることにより行えばよい。このような位置合わせの結果、位置合わせ（規格化又は正準化とも呼ぶ）された解析用顔パッチモデル（呈示モデル）４４ができる。
【００３７】
ここで、ユーザが呈示する顔には表情があり、その表情の影響により位置合わせの精度が悪くなる可能性がある。そこで、本実施形態では、表情が変化しても位置が変わりにくい特徴点を見つけ出し、そのような特徴点を基準点として基準点記憶部３３に登録しておく。そして、ステップＳ２の位置合わせ処理では、それら基準点のみに着目して位置合わせを行う。
【００３８】
このような基準点の求め方の一例を以下に説明する。この処理の手順の一例を図５に示す。図５の手順は、１人の人の様々な表情の顔から、その人の基準点群を見つけ出す手順である。
【００３９】
この手順では、ある１人の被験者に、真顔を含む様々な表情の顔をそれぞれ呈示してもらい、呈示された各表情の顔ごとに、その顔の３次元計測結果から顔パッチモデルを生成する（Ｓ１１）。ステップＳ１１は、例えば検査者が被験者に対し、真顔や笑顔その他の各表情の顔の呈示を指示しながら、呈示された各表情の顔をレンジファインダ１０で計測すればよい。そして、例えば、各表情の計測結果ごとに、検査者が上述のような手順で代表的な特徴点を指定すれば、残りの特徴点は顔解析装置３０が自動的に決定することができる。以下の処理では、真顔のモデルを基準とするので、検査者はどのモデルが真顔のモデルかを指定する。なお、ステップＳ１１では、被験者が呈示する顔を器具等で固定しなくてもよい。また、基準とする「真顔」は、極端な表情の顔でなければよく、検査者が適宜指定すればよい。
【００４０】
次に、装置３０は、このようにして収集された各表情の顔パッチモデルの中から、１つの表情のモデルを選択する（Ｓ１２）。ここでは、真顔以外のモデルから選択する。そして、選択した表情のモデルを、ＩＣＰ(Iterative Closest Point)アルゴリズムにより真顔のモデルに位置合わせする（Ｓ１３）。ＩＣＰアルゴリズムは、１９９２年にBeslらが提案したアルゴリズムであり、例えば、P. J. Besl and N. D. McKay: ”A Method for Registration of 3-D Shapes”IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.14, Issue.2,pp.239-256, 1992に説明されている。
【００４１】
ステップＳ１３の処理の詳細な手順の一例を、図６に示す。図６の手順では、まずステップＳ１２で選択されたある表情の顔の顔パッチモデルＰｍの各特徴点の３次元座標の組を点群Ｄｍとする（Ｓ２１）。次に、基準となる真顔のパッチモデルＰｎの特徴点群の中で、その点群Ｄｍに対する最近点の集合を点群Ｄｎとして求める（Ｓ２２）。ステップＳ２２では、点群Ｄｍに属する点ｐごとに、基準の顔モデルＰｎの特徴点のうちその点ｐに最も近い特徴点を特定する。これには、基準の顔モデルＰｎの特徴点ごとに、その特徴点と点ｐとのユークリッド距離ｄを求め、そのユークリッド距離ｄが最小となる特徴点を選べばよい。ユークリッド距離ｄは、次式で求めることができる。
【００４２】
【数２】
2008204200.tif 000004
【００４３】
ここで、点ｐの座標が（ｘｍ，ｙｍ，ｚｍ）であり、基準の顔モデルＰｎの特徴点の座標が（ｘｎ，ｙｎ，ｚｎ）である。これにより、モデルＰｍの点群Ｄｍ内の点ｐごとに、その点ｐに対応するモデルＰｎの特徴点が特定される。特定された特徴点の集合が点群Ｄｎである。
【００４４】
次に、ステップＳ２２で求めた対応付けにおいて、点群Ｄｍと点群Ｄｎとの間の対応点同士の誤差が最小となる変換パラメータＲを求める（Ｓ３３）。誤差は、ＩＣＰアルゴリズムの誤差関数により求められる。変換パラメータＲは、回転、並進を含む剛体変換パラメータであり、上記Beslらの文献その他に示される周知の方法で求めることができる。
【００４５】
次に、点群Ｄｍをその変換パラメータＲで変換し（Ｓ２４）、その変換結果を新たな点群Ｄｍとする。そして、ステップＳ２３で求めた誤差関数の値があらかじめ設定された閾値以下であるか否かを判定する（Ｓ２５）。その総和が閾値より大きい場合は、ステップＳ２２に戻って同様の処理を繰り返す。この繰り返しでは、Ｓ２４での変換結果の点群Ｄｍと、基準の顔モデルの点群Ｄｎとが比較される。
【００４６】
そして、以上のような繰り返しによりステップＳ２５で誤差の総和が閾値以下となった場合、位置合わせが完了する。なお、繰り返しを何度行ってもステップＳ２５の判定結果がＹｅｓとならない場合も考慮して、繰り返しの回数があらかじめ装置３０に設定された所定回数に達した場合に、位置合わせ完了としてもよい。
【００４７】
再び図５の手順に戻り、ステップＳ１３により、１つの表情の顔モデルが真顔のモデルに対して位置合わせされると、顔解析装置３０は、ステップＳ１１で収集したすべての表情のモデルを選択し終わったか否かを判定し（Ｓ１４）、まだ選択していない表情のモデルがあれば、ステップＳ１２に戻ってそのモデルを選択し、ステップＳ１３の処理を行う。
【００４８】
そして、ステップＳ１４ですべての表情のモデルが選択済みと判定された場合、その時点では、ステップＳ１１で収集された同一人のすべての表情の顔パッチモデルが、その人の真顔のパッチモデルに対して位置合わせされた状態となっている。このとき、それら位置合わせされたすべての表情（真顔を含んでもよい）のモデルの間で、同一の特徴点同士の位置の誤差を計算する（Ｓ１５）。真顔の特徴点を基準として、その特徴点に対応する各表情の特徴点（これはステップＳ２２で特定されている）を、それらモデル間での「同一の特徴点」と見なせばよい。各表情のモデル間での同一特徴点の位置の誤差は、例えば、それら各モデルにおける当該特徴点の３次元座標の分散として求めればよい。また、真顔の特徴点に対する、各表情の顔の対応する特徴点の距離の自乗和を上述の「位置の誤差」としてもよい。
【００４９】
このようにして、顔パッチモデルの各特徴点ごとに、各表情にわたるその特徴点の位置誤差を計算する。そして、計算された位置誤差が所定の閾値（この閾値は、ステップＳ２５の閾値とは異なるものである）以下となる特徴点を、基準点として選択する（Ｓ１６）。
【００５０】
図７に、このような処理により求められた基準点１００の例を示す。例示のように、鼻筋、額下部、頬の各部位に該当する特徴点が、基準点１００に選ばれている。この例では、４８６点の特徴点のうち、１２０点の基準点が選ばれている。これはあくまで一例であり、基準点の数はこれに限らない。ステップＳ１６で用いる閾値としては、実験等により適切な値を求めればよい。
【００５１】
以上のような処理により、特定の人についての基準点を求めることができる。例えば、本人認証の対象となる各人ごとに、それぞれ以上のような作業を行うことで、各人ごとの基準点群を求めればよい。顔パッチモデルを構成する各特徴点にそれぞれ識別情報を与えておけば、１人の人の基準点情報は、例えば、基準点に選ばれた特徴点の識別情報のリストとして構成すればよい。このように求めた各人の基準点情報は、それぞれその人のユーザＩＤと対応づけて基準点情報記憶部３３に登録される。
【００５２】
以上では、各人ごとに基準点情報を求めて登録したが、本実施形態はこのような例に限るものではない。この代わりに、又はこれに加えて、複数人の情報を総合して全ユーザに対する共通の基準点情報を求めて登録してもよい。この場合、例えば、各人について図５及び図６の処理を行い、各人ごとに求めた基準点のうち、全員に共通する点を、共通の基準点として選べばよい。また、図５のステップＳ１１〜Ｓ１５の処理を各人ごとに行い、各人ごとに求められた同一特徴点同士の位置誤差について、全員の間でのばらつきを求め、そのばらつきが所定の閾値より小さいものを基準点に選ぶようにしてもよい。もちろんそれらは一例であり、共通の基準点の定め方はそれらの方法に限るものではない。
【００５３】
以上の例では、図５及び図６の処理で、各人の真顔の顔パッチモデルを基準としたが、この代わりに、複数人の人の平均の顔パッチモデルを基準としてもよい。
【００５４】
さて、以上のような処理が行われることにより、基準点情報記憶部３３には、各人の、又は全員共通の基準点情報が記憶されている。呈示モデル作成部３２は、ステップＳ２において、基準点情報記憶部３３を参照して基準点群を特定し、呈示された顔のパッチモデルと位置合わせの基準となる顔パッチモデルの間で、対応する基準点同士の誤差が最小となるように位置合わせを行う。この手順の一例を、図８を参照して説明する。
【００５５】
この手順では、まず、ステップＳ１で生成した顔パッチモデル４２の特徴点の中から、基準の顔パッチモデルの各特徴点にそれぞれ最も近い点を、顔パッチモデル４２の基準点として求める（Ｓ２１）。基準の顔パッチモデルの特徴点のうちどれが位置合わせの基準点であるかは、その基準のモデルに例えば属性情報としてあらかじめ登録しておけばよい。このステップでは、呈示された顔パッチモデル４２と基準の顔パッチモデルとの間での、互いに対応する基準点（すなわち「同一の」基準点）が特定できる。
【００５６】
次に呈示モデル作成部３２は、呈示された顔パッチモデル４２と基準の顔パッチモデルとの間で、対応する基準点同士の３次元位置の誤差の総和が最小となる変換パラメータＴを算出する（Ｓ２２）。ここでは、剛体の並進及び回転を考慮した変換パラメータＴを、例えば最小自乗法などの計算法により計算すればよい。
【００５７】
このように求めた変換パラメータＴを呈示された顔パッチモデル４２の各特徴点に作用させることで、その顔パッチモデル４２を基準の顔パッチモデルに位置合わせすることができる。位置合わせにより得られた顔パッチモデルを、以下、解析用顔パッチモデル４４と呼ぶ。この解析用顔パッチモデル４４は、解析部３４に渡される。
【００５８】
この例では、解析部３４は、ユーザが呈示した顔が、そのユーザ本人の顔であるかどうかを判定する。すなわち、解析部３４は、認証対象のユーザの解析用顔パッチモデルを、そのユーザが入力装置２０に入力したユーザＩＤに対応する登録顔パッチモデルと比較することで、両者が同一人物のものかを判定する。登録顔パッチモデルは、ユーザ本人の顔パッチモデルとして本システムに登録されたモデルである。登録顔パッチモデルは、登録モデルＤＢ（データベース）３６に登録されている。
【００５９】
解析用顔パッチモデルと登録顔パッチモデルとが同一人物のものであるか否かは、両モデルの比較により判定できる。対応する特徴点同士の距離が近ければ、それら両モデルが近いといえる。例えば、それら両モデルの間で対応する特徴点同士の距離の総和（例えば対応する特徴点同士の位置の差の二乗和）から両モデルの相異度を求め、その相異度を閾値と比較することで、それら両モデルが同一人物のものか否かを判定すればよい。例えば総和が閾値より小さければ、２つのモデルが同一人物のものであると判定できる。
【００６０】
ただし、このような判定には次のような問題がある。すなわち、顔の三次元形状は、表情の影響などにより常に一定であるとはいえない。表情の影響を受けやすい領域では、同一人物を比較しても差異が大きくなってしまうことがある。レンジファインダ１０での撮影の際に、ユーザに真顔でいるようにしたとしても、表情の影響が少なからず残る。また、撮影時のユーザの姿勢によって輪郭にずれが生じてしまったり、オクルージョンが生じてしまったりすることもある。このようなことから、解析用顔パッチモデル４４と登録顔パッチモデルとを単純に比較したのでは、高精度の認証は望めない。
【００６１】
そこで、本実施形態では、高精度の認証を行うために、特徴点同士の距離の総和を求める際に、顔のなかで表情等が変わっても安定して抽出できる領域の特徴点に対し、表情等の変化による影響が大きい部分の特徴点よりも大きな重み付けを行う。
【００６２】
このために、本実施形態では、「個人内分散」を用いて、安定して抽出できる領域を求める。「個人」の顔パッチモデルの集合は、同一人物について異なる複数の時点で取得した顔パッチモデルの集合である。顔認証の場合母集団として複数の登録ユーザがあり、各登録ユーザごとに個人のモデルの集合が規定される。「個人内分散」は、１人の個人内の顔パッチモデル同士の間での、同じ特徴点の三次元位置の分散であり、特徴点ごとに規定される。
【００６３】
個人内分散は、複数の個人にわたって規定することができる。一つの特徴点（仮にｉ番目とする）の複数人にわたっての個人内分散は、個人ごとでの当該特徴点の個人内分散の総和と等しくなる。
【００６４】
図９に示すようにＮ人の個人があったとする。各個人内のサンプル数は同一でなくてもよい。そして、図９に示すように、同一個人内でのサンプルの番号をＪとし、個人の番号をｉとする。注目する特徴点γについてのＮ人にわたる個人内分散は、次式で表される。
【００６５】
【数３】
2008204200.tif 000005
【００６６】
ここでＰｉＪは、個人ｉのサンプルＪにおける注目する特徴点のベクトル（３次元座標）であり、Ｐiは、個人ｉの全サンプルにわたる注目する特徴点の平均ベクトルである。
【００６７】
この個人内分散の計算は、同一の特徴点の３次元座標をユーザの複数の顔形状モデルに渡って平均したものに対するそれら各顔形状モデルのその特徴点の３次元座標の分散を求め、その分散を全ユーザに渡って総合したものといえる。
【００６８】
個人内分散が小さい特徴点ほど同一人物において変化の少ない、安定して検出できる頂点であるといえる。逆に、個人内分散が大きい特徴点は、表情などの影響を受けやすい不安定な頂点であり、認証における本人拒否の原因となる。したがって、この母集団において求めた個人内分散が小さい特徴点ほど、解析用顔パッチモデルと登録顔パッチモデルとの比較（距離計算）の際の重みを大きくすると、個人の中で変化しにくい特徴点に重点をおいた比較が可能になる。
【００６９】
以上は、同一人物内での顔の表情変化や経時的変化に着目したものであった。顔の識別の観点には、そのような観点の他に人と人の間での違いの出やすさという観点がある。顔の容貌は人ごとに異なるので、同じ特徴点でもその位置は基本的に人ごとに異なるが、その相違の程度には部位ごとに差があり、人ごとに違いが出やすい特徴点と出にくい特徴点がある。人によって差の出やすい特徴点ほど個人識別において重要である。したがって、人によって差の出やすい特徴点ほど解析用顔パッチモデルと登録顔パッチモデルとの比較（距離計算）の際の重みを大きくすることが好適である。
【００７０】
そこで、「個人間分散」という概念を導入する。個人間分散は、同じ特徴点の位置の母集団に属する全個人にわたっての分散であり、特徴点ごとに計算される。個人間分散は、複数の人の顔パッチモデルの特徴点のばらつきの尺度となる。
【００７１】
複数個人における個人間分散は、当該特徴点についての個人ごとの平均ベクトルと全個人の平均ベクトルとの差の総和と等しくなる。Ｎ人のデータにおいて、Ｐｉを個人ｉにおける注目特徴点の平均ベクトル、Ｐを全個人に渡っての注目特徴点の平均ベクトルとすると、個人間分散は次式で表される。
【００７２】
【数４】
2008204200.tif 000006
【００７３】
この個人間分散は、同一の特徴点の３次元座標を全ユーザの全顔形状モデルに渡って平均したものに対する各ユーザの各顔形状モデルのその特徴点の３次元座標の平均値の分散である、ということができる。
【００７４】
個人間分散が大きい特徴点ほど人と人の間での差異が大きく、人物による違いが出やすい頂点であるといえる。逆に、個人間分散が小さい特徴点は、人物による違いが出にくく、認証における他人受入の原因となる。したがって、母集団において求めた個人間分散が大きい特徴点ほど解析用顔パッチモデルと登録顔パッチモデルとの比較の際の重みを大きくすると、人物ごとの違いの出やすい特徴点に重点をおいた比較が可能になる。
【００７５】
以上、個人内分散と個人間分散について説明した。これら個人内分散と個人間分散とは個別に用いてもよいが、両者を組み合わせることで、それら両者の特性を併せ持った評価を行うことができる。ここでは、両者の組合せ方として、両者の比をとる「分散比」を説明する。
【００７６】
ある特徴点γについての分散比Ｖγは、個人内分散ＶＷγで個人間分散ＶＢγを除した値でよい。ただし、ここで、顔パッチモデルにおいては各パッチ（三角形）の面積が異なっており、このため個々の特徴点が代表する面積も異なる。そこで、この例では、個人内分散を個人間分散で単に除した値ではなく、特徴点γが代表する顔部分の面積の比率によりその値を重み付けする。
【００７７】
個々の特徴点γに対する重みＭγは、例えば次式で求める。
【００７８】
【数５】
2008204200.tif 000007
【００７９】
ここで、Ｓγは、図１０に例示するように、特徴点γ１１０を含んでいるすべてのパッチ１２０の面積の合計である。また、Ｓｓｕｍは、すべての特徴点γについてのＳγの総和であり、例えば次式で求められる。
【００８０】
【数６】
2008204200.tif 000008
【００８１】
このような重みＭγによる重み付けを行った分散比Ｖγは、次式で表すことができる。
【００８２】
【数７】
2008204200.tif 000009
【００８３】
分散比Ｖγが大きい特徴点は、同一人物内の比較では差異が小さく、他者間の比較で差異が大きくなる頂点であるといえる。したがって、分散比が大きい特徴点ほど認証において有効な頂点となる。そこで、分散比が大きい特徴点ほど解析用顔パッチモデルと登録顔パッチモデルとの比較の際の重みを大きくすることで、精度のよい比較が可能になる。
【００８４】
各特徴点に対する具体的な重みの決め方は、分散比が大きい特徴点ほど大きい重みを与えるという条件の中で様々なものが考えられるが、一つの方法として、特徴点の分散比Ｖγそのものをその特徴点の重みとすることもできる。以下、この方法について説明する。
【００８５】
分散比Ｖγは顔パッチモデルの特徴点ごとに算出される。
【００８６】
分散比Ｖγを重みとして扱うために、上記分散比を次式で正規化する。
【００８７】
【数８】
2008204200.tif 000010
【００８８】
ただし、Ｖｓｕｍは次式で定義される。
【００８９】
【数９】
2008204200.tif 000011
【００９０】
そして、正規化後の分散比を重みとする。
【００９１】
本実施形態では、多くのユーザの様々な時点の撮影で得た顔パッチモデル（サンプル）から、上述のようにして各特徴点γの重みＶＮγの組を求めておき、それを図１の装置の重み情報記憶部３８に登録しておく。発明者らが実験で求めたところでは、図１１において太線で囲んだ額の下部、鼻の頂点近傍、頬骨近傍、及び口元の各部位が、その他の部分（例えば目など）といった部位よりも重みが大きくなった。従来の画像ベースでの顔認証・顔認識では、目などのように人間の目で見た時の顔の注目部位が重視されていたのに対し、この距離画像ベースの顔パッチモデルを用いた認証・認識では、それよりもむしろ額等といった比較的人間の目で見た時に注目されにくい部分に大きい重みが割り当てられる。
【００９２】
解析部３４は、解析用顔パッチモデルと登録顔パッチモデルとの相異度ｄを計算する際、各特徴点γの重みＶＮγの組を用いる。この相異度の計算は、例えば以下のように行う。
【００９３】
登録顔パッチモデルの特徴点γの３次元座標をｐａγとし、解析用顔パッチモデルの特徴点γの３次元座標をｐｃγとし、特徴点γの重みをＶＮγとすると、相異度ｄは、例えば以下の計算式で計算できる。ここで、「４８６」はこの例での特徴点の数であり、この数値はあくまで一例に過ぎない。
【００９４】
【数１０】
2008204200.tif 000012
【００９５】
解析部３４は、この計算で求めた相異度を閾値と比較することで、認証対象の人が本人であるか否かを判定できる。
【００９６】
上記の実施形態では、全個人における分散比から重みを求めることによって、全被験者における、つまり一般的な顔における個人性の出やすさを表現した。これに対し、各個人に対し個人内分散と個人間分散を定義して分散比を算出し、個人別の重みを求めることによって、個人毎の特徴を解析してもよい。
【００９７】
この場合の個人内分散は、注目個人Ｘ内での分散であり、注目人物のパッチモデルにおける特徴点の位置のばらつきを示す。また個人間分散は、注目個人Ｘと他の個人との間での２個人間の分散の総和であり、注目人物とその他の人物との間での特徴点位置のばらつきを示す。
【００９８】
このように、個々の人ごとの重みを用いて重み付けを行うので、より高精度に判定を行うことができる。
【００９９】
なお、上記実施形態のシステムでは、ユーザが本人認証を受けるたびに、そのユーザの顔パッチモデルを得ることができる。そこで、本人認証によりユーザ本人と確認できた顔パッチモデルを新たなサンプルとして順次登録モデルＤＢ３６に蓄積してもよい。そして、その蓄積の都度あるいは定期的など所定のタイミングで、図１２に示す顔解析装置３０内の重み計算部３９が、その時点で登録モデルＤＢ３６に蓄積されたサンプルのパッチモデル群に対して上記実施形態の処理を行う。これにより、各特徴点の重み固有を求め、重み情報記憶部３８に登録する。図１２の変形例によれば、順次新しいサンプルのパッチモデルを追加し、それに応じて重みベクトルを更新できるので、月日の流れに応じた顔の変化に対応することができる。なお、この場合、重みベクトルを求める際のサンプルを最新のものから所定数個などと限定し、古いサンプルを用いないようにすることも好適である。
【０１００】
また、図１２の例では、解析部３４で解析用顔パッチモデルと比較する登録顔パッチモデルとしては、該当するユーザのモデルのうち最も新しく登録モデルＤＢ３６に蓄積されたものを用いればよい。また、この代わりに、重みを求めるのに用いた当該ユーザのサンプルの平均（特徴点ごとにその位置を平均したもの）をそのユーザの登録顔パッチモデルとして作成し、利用してもよい。
【０１０１】
以上の例では、解析用顔パッチモデルを、当該ユーザの１つの登録顔モデルと比較して本人判定を行ったが、この方式に限定されるものではない。登録モデルＤＢ３６にユーザごとに、そのユーザの様々な表情の登録顔モデルを登録しておき、解析用顔パッチモデルを、当該ユーザのそれら複数の登録顔モデルと総当たりで比較するようにしてもよい。このようにすれば、ユーザが呈示した顔と近い表情の登録顔モデルは、解析用顔パッチモデルと近くなるので、本人を拒否してしまう可能性が低くなる。
【０１０２】
また、以上の実施形態、変形例では分散比を重みとして用いたが、同一人物内の比較では差異が小さくなり、他者間の比較で差異が大きくなるような特徴点ほど大きくなるような重みは、個人内分散と個人間分散を他の方法で組合せても作ることができる。
【０１０３】
また、個人内分散と個人間分散とを組み合わせた重みは非常に有効であるが、個人内分散又は個人間分散のうちの一方のみから重みを決定する方式でも、ある程度の効果を得ることができる。例えば、個人内分散が小さい特徴点ほど大きい重みを割り当てるようにすれば、個人の顔の表情変化や経年変化の影響を受けにくい特徴点を重視した本人認証ができる。また、個人間分散が大きい特徴点ほど大きい重みを割り当てるようにすれば、個人差の大きい特徴点を重視した本人認証を行うことができる。
【０１０４】
また、以上の実施形態では、特徴点の位置のばらつきの尺度として分散を用いたが、そのような尺度は分散に限らない。例えば標準偏差等、他の尺度を用いてもかまわない。
【０１０５】
また、以上に例示したシステムは、ユーザの呈示した顔が、そのユーザ自身が入力したユーザＩＤの登録顔と同じかどうかを判定する顔認証のためのシステムであった。しかし、上記実施形態及び変形例に示した手法は、顔認証以外に、顔認識にも利用することができる。顔認識では、ユーザの呈示した顔に基づき、そのユーザが誰であるかを認識する技術である。この場合、データベースに各ユーザの顔パッチモデルを登録しておき、ユーザが呈示した顔から生成した解析用顔パッチモデルと、それら各ユーザの登録顔パッチモデルと比較する。その比較の結果、解析用顔パッチモデルとの相異度が閾値以下の登録顔パッチモデルがあれば、顔を呈示したユーザが、その登録顔パッチモデルのユーザであると判定する。その比較の際に、上述の方式で作成した重みベクトルを利用することができる。
【０１０６】
以上、本発明の顔認証又は顔識別への応用例を説明した。次に別の例として、顔面神経麻痺の程度評価に対する応用例を説明する。
【０１０７】
顔面神経麻痺とは顔を動かす表情筋へ信号を送る神経が何らかの原因で阻害され、顔の筋肉が麻痺し主に顔面の片側が動かせなくなってしまう疾患である。脳幹より上位か下位の麻痺であるかによって、中枢性麻痺、末梢性麻痺に分類されるが、顔面神経麻痺症状患者の約７割が末梢神経麻痺のベル麻痺であり、ベル麻痺の原因としてはウイルス説（風邪の時の口の周りの水疱や口内炎をおこす単純ヘルペスウイルスや水ぼうそうや帯状疱疹をおこす水痘帯状疱疹ウイルス）や虚血説（冷たい風などにあたり、顔面神経に栄養を運んでいる血管が収縮し血のめぐりが悪くなる）が唱えられているが、未だ正確な原因は分かっていない。
【０１０８】
顔面神経の麻痺の程度を評価する方法は「運動評価法」とも言い、大きく分けて二つの方法がある。一つは「顔面全体の評価法」もう一つは「顔面部位評価法」である。臨床で専門家達によく使われている顔面全体の評価法が「house-brackmann 法」や「Fish 法」、顔面部位評価法が「４０点柳原法」である。これらの検査法は簡単で短時間内に行うことができる反面、大まかな判定基準であり、また医師の主観判断であるため、ある程度は顔面神経麻痺の臨床経過と予後に役に立つものの絶対的な判定法とは言い切ることができない。
【０１０９】
このような背景の中、２次元又は３次元の画像処理を用いてコンピュータ解析による麻痺の程度評価を行う研究は数多く行われている。画像処理を用いた麻痺程度評価手法は顔面にマーカを貼り付けその動きから、移動距離、軌跡、速度などを解析することで麻痺程度を評価するマーカー法と、顔面の面積・輝度・高低・筋電図といった変化を解析する領域変化解析法に分類される。マーカー法の例としては、逆行性反射球を用いた方法、赤外線カメラを用いた方法などがあるが、処理が煩雑で、マーカー位置の固定が難しいといった問題点がある。領域変化法には、顔面の２つの筋肉間の電気生理学的な差である筋電図を測定する筋電図カラーロポグラフィー、ビデオ画像をデジタル処理し、安静時と表情運動時の画面のサブトラクション（引き算）を行うサブトラクション法、光の干渉現象を応用し、顔面の３次元形状を等高線情報としてとらえるモアレトポグラフィー法、顔の両側に鏡を置いて表情変化を撮影し、そのオプティカル・フローから麻痺を評価する方法などがある。また領域変化解析法にも顔にマーカーを付け表情を変えて撮影し、その変化量から麻痺程度を評価するマーカー法があるが、これではマーカーを結ぶ三角形の面積の変化を比較することで麻痺を評価する。以上のような方法も「顔全体が麻痺していると変化が少なく誤った評価がなされる。」「頭のわずかな動きや照明条件に影響されやすい。」「計測時の顔の拘束がきつく被験者に負荷がかかる。」「変化に個人差が大きい」といったロバスト性に関する問題点と患者の拘束に関する問題点がある。
【０１１０】
これらの問題点のうち証明条件の問題は、輝度画像を使うことなく、３次元の表面形状を計測して作成した顔パッチモデルを使用することで解決される。ただし、単に顔パッチモデルを使用することだけでは、被験者の拘束に関する問題点は解決することはできない。被験者の強く拘束しないようにした場合、計測結果から生成した顔パッチモデルを基準となるモデルに対して位置合わせすることが重要になってくる。
【０１１１】
この応用例のシステム構成を、図１３に示す。図１３において、図１に示した要素と同一の要素には同一符号を付して、詳細な説明は省略する。
【０１１２】
このシステムは、柳原法と似たアプローチを採る。柳原法では、被験者の表情を、「安静時」「額のしわ寄せ」「軽い閉眼」「強閉眼」「片目つぶり」「鼻翼を動かす」「頬を膨らます」「口笛」「イーと歯を見せる」「口をへの字にまげる」といった１０の表情に区分して、それぞれの表情において健側と患側に明らかな差を認めない場合を４点、筋緊張と運動性の減弱を認める場合を２点、筋緊張と運動性が喪失している場合を０点と、３段階スケールで点数化し、この合計点（４０点満点）で麻痺の程度を評価する。例えば、３６点以上ならば正常、８点以下ならば完全麻痺と判断される。
【０１１３】
このシステムでは、それら１０の表情のうち、健常ならば顔がほぼ左右対称に変形する７つの表情、すなわち図１４に示す、安静時（真顔）・額のしわよせ・軽い閉眼・強閉眼・頬をふくらす・イーと歯を見せる・口をヘの字にまげるという７つの表情を用いて解析を行う。すなわち、このシステムでは、被験者に顔が左右対称に変形するべき表情を呈示させ、そのときの顔を三次元計測して顔パッチモデルを生成し、真顔の顔パッチモデルとの比較で表情による顔形状の変化を求める。そして、顔形状の変化の左右非対称性の程度を数値化することで、麻痺の程度の評価値を求める。
【０１１４】
図１３に示したシステムでは、顔解析装置３０ａのうち麻痺程度を評価する解析部３４ａと、表情別部位記憶部３７とが、図１の顔解析装置３０と異なる。
【０１１５】
表情別部位記憶部３７は、上記７つの表情（以下「比較表情」と呼ぶ）のそれぞれについて、顔パッチモデルの中で着目する特徴点群を記憶する。図１５に、表情別部位記憶部３７に記憶される情報の例を概念的に示す。この例では、７つの比較表情のそれぞれについて、その比較表情に関する評価の際に着目する顔の部位が記憶される。すなわち、人がある比較表情をとったときに、（真顔に対して）顕著に形状変化する部位が、その比較表情に対応する着目部位として記憶されている。
【０１１６】
図示例では、顔の部位として、額、目元、鼻、頬、口元を例示している。これら各部位は、真顔の顔表面に対して左右対称な領域である。各部位の領域内には、顔パッチモデルの特徴点群が含まれる。例えば、部位「額」には、図１６に示すような額の特徴点１５０が含まれる。また、部位「目元」には、図１７に示すような目元の特徴点１６０が含まれる。例示は省略するが、他の部位にも、同様に、対応する特徴点群が存在する。着目部位内の特徴点のことを、着目特徴点と呼ぶ。
【０１１７】
図１５の例では、比較表情ごとに着目する顔の部位が記憶されているとしたが、これはあくまで概念的なものであり、実際には、表情別部位記憶部３７には、比較表情ごとに、着目する各特徴点の識別情報が記憶される。１つの比較表情に対応する特徴点群は（真顔では）左右対称である。表情別部位記憶部３７には、各特徴点がそれぞれ顔の右側に属するか左側に属するかを表す左右識別情報が記憶されている。この左右識別情報の代わりに、又はこれに加えて、顔パッチモデルの特徴点群の中で、（真顔において）互いに左右対称な関係にある特徴点のペアを特定するための情報を表情別部位記憶部３７に格納しておいてもよい。
【０１１８】
このシステムでは、被験者にそれら各比較表情を呈示させ、各表情の顔をレンジファインダ１０で３次元計測する。そして、呈示モデル作成部３２が、それら各比較表情の顔の３次元計測結果から、上記実施例と同様の顔モデルフィッティング（図３のステップＳ１）により、それら各表情の顔パッチモデルを生成する。被験者が呈示している顔を計測する際に、そのときに呈示させている比較表情の種類を例えば検査者が入力装置２０から指定し、これを生成された顔パッチモデルに対応づけて記憶しておくことで、解析部３４ａが顔パッチモデルがどの比較表情に対するものかを判別できるようになる。複数人の検査を行う場合は、入力装置２０から被験者のユーザＩＤを入力し、このユーザＩＤを生成した顔パッチモデルに対応づけて記憶するようにしてもよい。
【０１１９】
このシステムでも、被験者の顔は特に拘束しないので、３次元計測結果から顔モデルフィッティングにより生成された顔パッチモデルの向きは、まちまちである。そこで、呈示モデル作成部３２は、基準点情報記憶部３３の情報を参照して、上記実施形態と同様の方法で各表情の顔パッチモデルを、基準となる顔パッチモデルに対して位置合わせする。表情変化を受けにくい基準点のみに基づいて位置合わせをするため、精度よく位置合わせできる。
【０１２０】
以上の処理により、１人の被験者について、７つの比較表情の、位置合わせされた顔パッチモデルが得られる。生成されたこれらのモデルは、モデルＤＢ３６ａに登録される。
【０１２１】
解析部３４ａは、被験者のそれら各比較表情の顔パッチモデルに基づき、その被験者の顔面麻痺の程度の評価値を算出する。この算出処理では、７つの表情のうち「真顔」を基準とし、他の表情の顔（表情顔と呼ぶ）のモデルと真顔のモデルとの間で、同一特徴点の位置変化を求める。そして、そのような各特徴点の位置変化の左右非対称性の程度を表す評価値を計算する。左右非対称性の程度の評価値は、真顔と表情顔との間での特徴点の位置変化が、顔の右側の特徴点（又は特徴点群）とそれに対応する顔の左側の特徴点（又は特徴点群）との間でどの程度違うか、その差に基づく値である。用いている７つの比較表情は、いずれも健常ならば顔の左右がほぼ対称に形状変化するものなので、左右の非対称性の程度が大きいほど、麻痺の程度が重いということができる。
【０１２２】
評価値の算出処理では、解析部３４ａは、各表情顔ごとに、以下の処理を行う。すなわち、まず、当該表情顔の表情に対応する着目部位（即ち着目特徴点群）の情報を表情別部位記憶部３７から読み出す。次に、その表情顔の顔パッチモデルと、当該被験者の真顔の顔パッチモデルとを取り出し、それら２つのモデルの各々での着目部位を特定する。ここで顔パッチモデルにおける特徴点の識別情報は当該特徴点の顔表面上でのトポロジカルな位置を示すものなので、表情により特徴点の３次元座標が真顔での３次元座標から大きく変化したとしても、識別情報により特徴点がどの部位に属するかは判別できる。真顔における着目部位の特徴点と同じ識別情報を持つ特徴点を表情顔のモデルから探せば、それが表情顔での当該着目部位の特徴点である。
【０１２３】
そして、特定した着目特徴点ごとに、その特徴点の真顔と表情顔との間での３次元座標の差、すなわち移動量、を求める。例えば特徴点の真顔のときの３次元座標から表情顔のときの３次元座標を引くことにより、当該特徴点の表情変化による移動量が求められる。
【０１２４】
解析部３４ａは、このように求めた各着目特徴点の移動量について、顔の左右での非対称性の程度の評価値を計算する。この計算の一例を以下に説明する。
【０１２５】
この例では、真顔モデルにおける顔の右側の着目特徴点の３次元の位置ベクトルをＰｎｒγとし、表情顔モデルにおける顔の右側の着目特徴点の３次元の一ベクトルをＰｍｒγとする。ここで、γは特徴点の識別番号である。解析部３４ａは、着目部位ｓのうち顔の右半分に属する領域に属する特徴点の移動量の平均値Ａｖｒｓを次式に従って計算する。
【０１２６】
【数１１】
2008204200.tif 000013
【０１２７】
ここで、Ｋは着目部位のうち顔の右半分に属する領域に含まれる着目特徴点の数である。この式では、真顔モデルと表情顔モデルとの間で、同じ着目特徴点同士の距離を求め、この距離をその領域内の全特徴点γについて総和した値を、それら特徴点の数Ｋで割って平均化している。なお、真顔モデル及び表情顔モデルの着目特徴点のうち、どれが顔の右側のものかは、表情別部位記憶部３７の記憶情報から判定できる。
【０１２８】
同様の計算式により、着目部位ｓのうち顔の左半分に属する領域に属する特徴点の移動量の平均値Ａｖｌｓも計算することができる。
【０１２９】
着目部位ｓについての、表情による顔の変形の左右非対称性の程度を示す評価値Ｅｓは、顔の右半分についての平均値Ａｖｒｓと顔の左半分についての移動量の平均値Ａｖｌｓとの差の大きさにより表すことができる。例えば、次式により計算できる。
【０１３０】
【数１２】
2008204200.tif 000014
【０１３１】
この式では、右辺を自乗しているが、自乗せずに単に差の絶対値を評価値としてもよい。
【０１３２】
このようにして、比較表情に対応する着目部位ｓについての左右非対称性の程度を示す評価値Ｅｓが計算される。この評価値は、値が大きいほど、麻痺の程度が強いことを示す。
【０１３３】
ここで、１つの比較表情に対して複数の着目部位ｓがある場合がある。例えば、図１５に例示した「額のしわ寄せ」に対しては、着目部位として「額」、「目元」がある。このような場合、個々の着目部位ごとに評価値Ｅｓを計算し、例えばそれらを平均したものを、その比較表情に対応する左右非対称性の程度の評価値とすればよい。なお、平均を取るのはあくまで一例である。当該比較表情の評価における重要度が着目部位ごとに異なる場合も考えられる。そのような場合を考慮すると、当該比較表情の評価における重要度に応じた重みωｓを着目部位ｓごとに顔解析装置３０ａに登録しておき、各着目部位ｓの評価値Ｅｓを重み付け加算することにより、当該比較表情についての全体としての評価値Ｅを計算してもよい。例えば、この計算は次式に従って行うことができる。
【０１３４】
【数１３】
2008204200.tif 000015
【０１３５】
ここで、当該比較表情の麻痺に無関係な部位は、重みωｓの値は０になる。
【０１３６】
以上では、着目部位の右半分と左半分とでそれぞれ移動量を平均した後、それら両者の差を求めたが、これに限らず、個々の着目特徴点単位で移動量の顔の左右での差を求め、それら特徴点単位の差を総合することで、その着目部位についての左右非対称性の程度の評価値を求めてもよい。
【０１３７】
また、比較表情ごとに着目部位の特徴点を登録しておく代わりに、次のような変形例も考えられる。すなわち、この変形例では、着目部位を登録する代わりに、各パッチモデルのすべての特徴点γに対して、それぞれ、麻痺の程度の評価における重要度を示す重みωγを登録しておく。すなわち、この場合、表情別部位記憶部３７には、各比較表情ごとに、その表情についてのすべての特徴点γの重みωγの組が記憶される。当該比較表情に対する重要度が小さい特徴点（例えば、真顔と表情顔との位置誤差が小さい特徴点）は、重みωγの値は小さくなる。
【０１３８】
ある比較表情についての麻痺程度の評価値Ｅは、例えば次式で求めればよい。
【０１３９】
【数１４】
2008204200.tif 000016
【０１４０】
ここで、Ｐｎｌγは、真顔の右側の特徴点Ｐｎｒγに対応する真顔の左側の特徴点である。同様に、Ｐｍｌγは、表情顔の右側の特徴点Ｐｍｒγに対応する表情顔の左側の特徴点である。この式では、真顔と表情顔との間での同じ特徴点の移動量が、顔の左右の対応する特徴点同士の間でどれだけ異なるかという差を求め、その差のωγによる重み付け自乗和をとっている。
【０１４１】
以上、評価値Ｅの計算式をいくつか例示したが、それらはあくまで例示的なものに過ぎない。顔の右側と左側との間での、対応する特徴点同士の移動量の差に応じた値を求めるものであれば、どのような計算式を用いてもよい。
【０１４２】
以上のような処理により、１つの比較表情についての評価値が求められる。この処理を、真顔以外の６つの比較表情すべてについて行えば、それら６つの比較表情についての麻痺程度の評価値を得ることができる。解析部３４ａは、このように求めた６つの評価値の情報を検査者に提示する。例えば、これら６つの評価値をレーダーチャートの形で表示するなどの提示形態を採用してもよい。
【０１４３】
また、このように求めた評価値を、既存の柳原法の点数に変換することも可能である。このシステムで求められる評価値は０以上の連続的な値をとり得るのに対し、柳原法の点数は０，２，４の３段階の値しかとり得ない。そこで、例えば、様々なサンプルの顔について、この応用例のシステムと評価値を求めると共に、熟練した診断者に柳原法による点数をつけてもらうという実験を行い、評価値のどの範囲が柳原法の０点、２点、４点に対応するかを求めればよい。
【０１４４】
以上説明したように、この応用例によれば、顔面神経麻痺の程度を顔パッチモデル同士の比較から求めるにあたり、顔パッチモデル同士の位置合わせが精度よく行うことができる。
【０１４５】
なお、以上の実施形態では、顔の３次元計測結果から顔パッチモデルを求めるにあたり代表点の指定などのように一部に人間のオペレータによる入力を求めたが、これに限らず、３次元計測結果から顔パッチモデルを自動生成する場合にも、上述の実施形態の位置合わせその他の手法は適用可能である。
【０１４６】
以上に説明した実施形態又は変形例の装置は、例えば、汎用のコンピュータにて上述の各部の機能又は処理内容を記述したプログラムを実行することにより実現される。コンピュータは、ハードウエアとして、例えばＣＰＵ（中央演算装置）、一次記憶、各種Ｉ／Ｏ（入出力）インタフェースなどがバスを介して相互に接続された構成を有する。そのバスに対し、Ｉ／Ｏインタフェースを介して、ハードディスク装置などの固定二次記憶や、ＣＤ又はＤＶＤ、フラッシュメモリなどの可搬型の不揮発性記録媒体を取り扱うドライブが接続される。上述の顔モデル作成装置の各部の処理内容が記述されたプログラムが、可搬型の記録媒体又はネットワークを経由して固定二次記憶に保存され、コンピュータにインストールされる。そして、インストールされたプログラムが一次記憶に読み出され、ＣＰＵで実行されることにより、上述の実施形態の装置が実現される。
【０１４７】
なお、このように実施形態又は変形例の装置の全てをソフトウエアで実現する代わりに、呈示モデル作成部３２などの要素モジュールを、ＡＳＩＣ(Application Specific Integrated Circuit)等のハードウエア回路や、デジタル・シグナル・プロセッサなどを用いて構成することも可能である。
【図面の簡単な説明】
【０１４８】
【図１】実施形態のシステム構成の一例を示す図である。
【図２】顔パッチモデルの例を示す図である。
【図３】解析用顔パッチモデルの作成処理の流れを示すフローチャートである。
【図４】代表点位置指定用の画面表示の例を示す図である。
【図５】基準点決定処理の手順の一例を示すフローチャートである。
【図６】ＩＣＰアルゴリズムによる位置合わせの手順の一例を示すフローチャートである。
【図７】求められた基準点の例を示す図である。
【図８】基準点に基づく顔パッチモデルの位置合わせ手順の一例を示すフローチャートである。
【図９】個人内分散及び個人間分散の母集団を説明するための図である。
【図１０】特徴点が代表するパッチ群の面積を説明するための図である。
【図１１】重みの高い領域を例示する図である。
【図１２】変形例のシステム構成を示す図である。
【図１３】麻痺評価のためのシステム構成の一例を示す図である。
【図１４】７つの比較表情を説明するための図である。
【図１５】表情別部位記憶部のデータ内容の一例を模式的に示す図である。
【図１６】額に属する特徴点を説明するための図である。
【図１７】目元に属する特徴点を説明するための図である。
【符号の説明】
【０１４９】
１０  レンジファインダ、２０  入力装置、３０  顔解析装置、  ３２  呈示モデル作成部、３３  基準点情報記憶部、３４  解析部、３６  登録モデルＤＢ、３８  重み情報記憶部。
【図１】
2008204200.tif 000017
【図３】
2008204200.tif 000018
【図５】
2008204200.tif 000019
【図６】
2008204200.tif 000020
【図８】
2008204200.tif 000021
【図９】
2008204200.tif 000022
【図１２】
2008204200.tif 000023
【図１３】
2008204200.tif 000024
【図２】
2008204200.tif 000025
【図４】
2008204200.tif 000026
【図７】
2008204200.tif 000027
【図１０】
2008204200.tif 000028
【図１１】
2008204200.tif 000029
【図１４】
2008204200.tif 000030
【図１５】
2008204200.tif 000031
【図１６】
2008204200.tif 000032
【図１７】
2008204200.tif 000033