(57)【特許請求の範囲】
【請求項１】
認証装置であって、
認証対象物の３次元情報を取得する手段と、
前記認証対象物の２次元情報を取得する手段と、
前記３次元情報から予め準備された標準モデルを変形するとともに、前記２次元情報をテクスチャ情報として標準モデルの表面に貼り付けることにより、前記認証対象物の個別モデルを生成する手段と、
前記個別モデルから３次元形状情報とテクスチャ情報を特徴情報として抽出する手段と、
前記特徴情報を用いて前記認証対象物の比較対象物に対する認証動作を行う認証手段と、
を備え、
前記認証手段は、
前記３次元情報と予め登録されている比較対象物の３次元情報との第１の類似度を算出する手段と、
前記２次元情報と前記比較対象物の２次元情報との第２の類似度を算出する手段と、
前記第１の類似度と前記第２の類似度との重みを規定する重み係数を、前記モデル生成時における前記認証対象物の顔の向きに関するアライメント補正量が大きい程、第１の類似度の重みが大きくなるように調整する調整手段と、
前記重み係数を用いて前記第１の類似度と前記第２の類似度とを合成し、前記認証対象物と前記比較対象物との総合類似度を算出する手段と、
前記総合類似度に基づいて、認証判定を行う手段と、
を有することを特徴とする認証装置。
【請求項２】
認証装置であって、
認証対象物の３次元情報を取得する手段と、
前記３次元情報と予め登録されている比較対象物の３次元情報との第１の類似度を算出する手段と、
前記認証対象物の２次元情報を取得する手段と、
前記２次元情報と前記比較対象物の２次元情報との第２の類似度を算出する手段と、
前記第１の類似度と前記第２の類似度との重みを規定する重み係数を、前記３次元情報を取得する際の撮影手段と前記認証対象物との距離が大きくなる程、第１の類似度の重みが小さくなるように調整する調整手段と、
前記重み係数を用いて前記第１の類似度と前記第２の類似度とを合成し、前記認証対象物と前記比較対象物との総合類似度を算出する手段と、
前記総合類似度に基づいて、認証判定を行う手段と、
を備えることを特徴とする認証装置。
【請求項３】
認証装置であって、
認証対象物の３次元情報を取得する手段と、
前記３次元情報と予め登録されている比較対象物の３次元情報との第１の類似度を算出する手段と、
前記認証対象物の２次元情報を取得する手段と、
前記２次元情報と前記比較対象物の２次元情報との第２の類似度を算出する手段と、
前記第１の類似度と前記第２の類似度との重みを規定する重み係数を、前記３次元情報を取得する際の画像における特徴点抽出の信頼度が低い程、第１の類似度の重みが小さくなるように調整する調整手段と、
前記重み係数を用いて前記第１の類似度と前記第２の類似度とを合成し、前記認証対象物と前記比較対象物との総合類似度を算出する手段と、
前記総合類似度に基づいて、認証判定を行う手段と、
を備えることを特徴とする認証装置。
【請求項４】
認証装置であって、
認証対象物の３次元情報を取得する手段と、
前記３次元情報と予め登録されている比較対象物の３次元情報との第１の類似度を算出する手段と、
前記認証対象物の２次元情報を取得する手段と、
前記２次元情報と前記比較対象物の２次元情報との第２の類似度を算出する手段と、
前記第１の類似度と前記第２の類似度との重みを規定する重み係数を、前記２次元情報を取得する際の画像の平均輝度値が、前記比較対象物のデータと異なる割合が大きい程、第２の類似度の重みが小さくなるように調整する調整手段と、
前記重み係数を用いて前記第１の類似度と前記第２の類似度とを合成し、前記認証対象物と前記比較対象物との総合類似度を算出する手段と、
前記総合類似度に基づいて、認証判定を行う手段と、
を備えることを特徴とする認証装置。
【請求項５】
認証装置であって、
認証対象物の３次元情報を取得する手段と、
前記３次元情報と予め登録されている比較対象物の３次元情報との第１の類似度を算出する手段と、
前記認証対象物の２次元情報を取得する手段と、
前記２次元情報と前記比較対象物の２次元情報との第２の類似度を算出する手段と、
前記第１の類似度と前記第２の類似度との重みを規定する重み係数を、前記比較対象物の登録情報の登録からの経過時間が大きい程、第２の類似度の重みが小さくなるように調整する調整手段と、
前記重み係数を用いて前記第１の類似度と前記第２の類似度とを合成し、前記認証対象物と前記比較対象物との総合類似度を算出する手段と、
前記総合類似度に基づいて、認証判定を行う手段と、
を備えることを特徴とする認証装置。
【請求項６】
請求項１から請求項５のいずれかに記載の認証装置において、
前記３次元情報は、前記認証対象物を異なる位置から撮影した複数の画像に基づいて求められ、
前記２次元情報は、前記複数の画像のうちの少なくとも１つに基づいて求められることを特徴とする認証装置。
【請求項７】
認証方法であって、
認証対象物の３次元情報を取得する工程と、
前記認証対象物の２次元情報を取得する工程と、
前記３次元情報から予め準備された標準モデルを変形するとともに、前記２次元情報をテクスチャ情報として標準モデルの表面に貼り付けることにより、前記認証対象物の個別モデルを生成する工程と、
前記個別モデルから３次元形状情報とテクスチャ情報を特徴情報として抽出する工程と、
前記特徴情報を用いて前記認証対象物の比較対象物に対する認証動作を行う認証工程と、
を備え、
前記認証工程は、
前記３次元情報と予め登録されている比較対象物の３次元情報との第１の類似度を算出する工程と、
前記２次元情報と前記比較対象物の２次元情報との第２の類似度を算出する工程と、
前記第１の類似度と前記第２の類似度との重みを規定する重み係数を、前記モデル生成時における前記認証対象物の顔の向きに関するアライメント補正量が大きい程、第１の類似度の重みが大きくなるように調整する調整工程と、
前記重み係数を用いて前記第１の類似度と前記第２の類似度とを合成し、前記認証対象物と前記比較対象物との総合類似度を算出する工程と、
前記総合類似度に基づいて、認証判定を行う工程と、
を有することを特徴とする認証方法。
【請求項８】
認証方法であって、
認証対象物の３次元情報を取得する工程と、
前記３次元情報と予め登録されている比較対象物の３次元情報との第１の類似度を算出する工程と、
前記認証対象物の２次元情報を取得する工程と、
前記２次元情報と前記比較対象物の２次元情報との第２の類似度を算出する工程と、
前記第１の類似度と前記第２の類似度との重みを規定する重み係数を、前記３次元情報を取得する際の撮影手段と前記認証対象物との距離が大きくなる程、第１の類似度の重みが小さくなるように調整する調整工程と、
前記重み係数を用いて前記第１の類似度と前記第２の類似度とを合成し、前記認証対象物と前記比較対象物との総合類似度を算出する工程と、
前記総合類似度に基づいて、認証判定を行う工程と、
を備えることを特徴とする認証方法。
【請求項９】
認証方法であって、
認証対象物の３次元情報を取得する工程と、
前記３次元情報と予め登録されている比較対象物の３次元情報との第１の類似度を算出する工程と、
前記認証対象物の２次元情報を取得する工程と、
前記２次元情報と前記比較対象物の２次元情報との第２の類似度を算出する工程と、
前記第１の類似度と前記第２の類似度との重みを規定する重み係数を、前記３次元情報を取得する際の画像における特徴点抽出の信頼度が低い程、第１の類似度の重みが小さくなるように調整する調整工程と、
前記重み係数を用いて前記第１の類似度と前記第２の類似度とを合成し、前記認証対象物と前記比較対象物との総合類似度を算出する工程と、
前記総合類似度に基づいて、認証判定を行う工程と、
を備えることを特徴とする認証方法。
【請求項１０】
認証方法であって、
認証対象物の３次元情報を取得する工程と、
前記３次元情報と予め登録されている比較対象物の３次元情報との第１の類似度を算出する工程と、
前記認証対象物の２次元情報を取得する工程と、
前記２次元情報と前記比較対象物の２次元情報との第２の類似度を算出する工程と、
前記第１の類似度と前記第２の類似度との重みを規定する重み係数を、前記２次元情報を取得する際の画像の平均輝度値が、前記比較対象物のデータと異なる割合が大きい程、第２の類似度の重みが小さくなるように調整する調整工程と、
前記重み係数を用いて前記第１の類似度と前記第２の類似度とを合成し、前記認証対象物と前記比較対象物との総合類似度を算出する工程と、
前記総合類似度に基づいて、認証判定を行う工程と、
を備えることを特徴とする認証方法。
【請求項１１】
認証方法であって、
認証対象物の３次元情報を取得する工程と、
前記３次元情報と予め登録されている比較対象物の３次元情報との第１の類似度を算出する工程と、
前記認証対象物の２次元情報を取得する工程と、
前記２次元情報と前記比較対象物の２次元情報との第２の類似度を算出する工程と、
前記第１の類似度と前記第２の類似度との重みを規定する重み係数を、前記比較対象物の登録情報の登録からの経過時間が大きい程、第２の類似度の重みが小さくなるように調整する調整工程と、
前記重み係数を用いて前記第１の類似度と前記第２の類似度とを合成し、前記認証対象物と前記比較対象物との総合類似度を算出する工程と、
前記総合類似度に基づいて、認証判定を行う工程と、
を備えることを特徴とする認証方法。
【請求項１２】
請求項７から請求項１１のいずれかに記載の認証方法において、
前記３次元情報は、前記認証対象物を異なる位置から撮影した複数の画像に基づいて求められ、
前記２次元情報は、前記複数の画像のうちの少なくとも１つに基づいて求められることを特徴とする認証方法。
【請求項１３】
コンピュータに、
認証対象物の３次元情報を取得する工程と、
前記認証対象物の２次元情報を取得する工程と、
前記３次元情報から予め準備された標準モデルを変形するとともに、前記２次元情報をテクスチャ情報として標準モデルの表面に貼り付けることにより、前記認証対象物の個別モデルを生成する工程と、
前記個別モデルから３次元形状情報とテクスチャ情報を特徴情報として抽出する工程と、
前記特徴情報を用いて前記認証対象物の比較対象物に対する認証動作を行う認証工程と、
を実行させ、
前記認証工程は、
前記コンピュータに、
前記３次元情報と予め登録されている比較対象物の３次元情報との第１の類似度を算出する工程と、
前記２次元情報と前記比較対象物の２次元情報との第２の類似度を算出する工程と、
前記第１の類似度と前記第２の類似度との重みを規定する重み係数を、前記モデル生成時における前記認証対象物の顔の向きに関するアライメント補正量が大きい程、第１の類似度の重みが大きくなるように調整する調整工程と、
前記重み係数を用いて前記第１の類似度と前記第２の類似度とを合成し、前記認証対象物と前記比較対象物との総合類似度を算出する工程と、
前記総合類似度に基づいて、認証判定を行う工程と、
をさらに実行させることを特徴とするプログラム。
【請求項１４】
コンピュータに、
認証対象物の３次元情報を取得する工程と、
前記３次元情報と予め登録されている比較対象物の３次元情報との第１の類似度を算出する工程と、
前記認証対象物の２次元情報を取得する工程と、
前記２次元情報と前記比較対象物の２次元情報との第２の類似度を算出する工程と、
前記第１の類似度と前記第２の類似度との重みを規定する重み係数を、前記３次元情報を取得する際の撮影手段と前記認証対象物との距離が大きくなる程、第１の類似度の重みが小さくなるように調整する調整工程と、
前記重み係数を用いて前記第１の類似度と前記第２の類似度とを合成し、前記認証対象物と前記比較対象物との総合類似度を算出する工程と、
前記総合類似度に基づいて、認証判定を行う工程と、
を実行させることを特徴とするプログラム。
【請求項１５】
コンピュータに、
認証対象物の３次元情報を取得する工程と、
前記３次元情報と予め登録されている比較対象物の３次元情報との第１の類似度を算出する工程と、
前記認証対象物の２次元情報を取得する工程と、
前記２次元情報と前記比較対象物の２次元情報との第２の類似度を算出する工程と、
前記第１の類似度と前記第２の類似度との重みを規定する重み係数を、前記３次元情報を取得する際の画像における特徴点抽出の信頼度が低い程、第１の類似度の重みが小さくなるように調整する調整工程と、
前記重み係数を用いて前記第１の類似度と前記第２の類似度とを合成し、前記認証対象物と前記比較対象物との総合類似度を算出する工程と、
前記総合類似度に基づいて、認証判定を行う工程と、
を実行させることを特徴とするプログラム。
【請求項１６】
コンピュータに、
認証対象物の３次元情報を取得する工程と、
前記３次元情報と予め登録されている比較対象物の３次元情報との第１の類似度を算出する工程と、
前記認証対象物の２次元情報を取得する工程と、
前記２次元情報と前記比較対象物の２次元情報との第２の類似度を算出する工程と、
前記第１の類似度と前記第２の類似度との重みを規定する重み係数を、前記２次元情報を取得する際の画像の平均輝度値が、前記比較対象物のデータと異なる割合が大きい程、第２の類似度の重みが小さくなるように調整する調整工程と、
前記重み係数を用いて前記第１の類似度と前記第２の類似度とを合成し、前記認証対象物と前記比較対象物との総合類似度を算出する工程と、
前記総合類似度に基づいて、認証判定を行う工程と、
を実行させることを特徴とするプログラム。
【請求項１７】
コンピュータに、
認証対象物の３次元情報を取得する工程と、
前記３次元情報と予め登録されている比較対象物の３次元情報との第１の類似度を算出する工程と、
前記認証対象物の２次元情報を取得する工程と、
前記２次元情報と前記比較対象物の２次元情報との第２の類似度を算出する工程と、
前記第１の類似度と前記第２の類似度との重みを規定する重み係数を、前記比較対象物の登録情報の登録からの経過時間が大きい程、第２の類似度の重みが小さくなるように調整する調整工程と、
前記重み係数を用いて前記第１の類似度と前記第２の類似度とを合成し、前記認証対象物と前記比較対象物との総合類似度を算出する工程と、
前記総合類似度に基づいて、認証判定を行う工程と、
を実行させることを特徴とするプログラム。
【請求項１８】
請求項１３から請求項１７のいずれかに記載のプログラムにおいて、
前記３次元情報は、前記認証対象物を異なる位置から撮影した複数の画像に基づいて求められ、
前記２次元情報は、前記複数の画像のうちの少なくとも１つに基づいて求められることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物体の認証技術に関する。
【背景技術】
【０００２】
近年、ネットワーク技術等の発展によって電子化された様々なサービスが普及し、人に頼らない非対面での本人認証技術の必要性が高まっている。これに伴い、人物の生体特徴によって自動的に個人の識別を行うバイオメトリクス認証技術（生体認証技術）の研究が盛んに行われている。バイオメトリクス認証技術の一つである顔認証技術は、非接触型の認証方法であり、監視カメラによるセキュリティ或いは顔をキーとした画像データベース検索等、様々な分野での応用が期待されている。
【０００３】
現在、顔認証技術として顔画像より得られる２次元の情報を用いた認証手法としては、顔の有する３次元形状を認証のための補助的な情報として利用することで、認証精度の向上を可能にする手法が提案されている（特許文献１参照）。
【０００４】
【特許文献１】特開２００４−１２６７３８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記手法は、顔の３次元形状情報（以下、３次元情報とも称する）を認証のための補助として用いているに過ぎず、基本的には２次元情報のみに基づいて認証を行っているため、その認識精度は十分に高いものではないという問題がある。
【０００６】
また、顔認証に限らず物体の認証においても、同様の問題が存在する。
【０００７】
そこで、本発明は上記課題に鑑みてなされたものであり、認証対象物より得られる２次元情報だけを用いる場合よりも、高い精度の認証を行うことが可能な技術を提供することを課題とする。
【課題を解決するための手段】
【０００８】
上記の課題を解決するため、請求項１の発明は、認証装置であって、認証対象物の３次元情報を取得する手段と、前記認証対象物の２次元情報を取得する手段と、前記３次元情報から予め準備された標準モデルを変形するとともに、前記２次元情報をテクスチャ情報として標準モデルの表面に貼り付けることにより、前記認証対象物の個別モデルを生成する手段と、前記個別モデルから３次元形状情報とテクスチャ情報を特徴情報として抽出する手段と、前記特徴情報を用いて前記認証対象物の比較対象物に対する認証動作を行う認証手段とを備え、前記認証手段は、前記３次元情報と予め登録されている比較対象物の３次元情報との第１の類似度を算出する手段と、前記２次元情報と前記比較対象物の２次元情報との第２の類似度を算出する手段と、前記第１の類似度と前記第２の類似度との重みを規定する重み係数を、前記モデル生成時における前記認証対象物の顔の向きに関するアライメント補正量が大きい程、第１の類似度の重みが大きくなるように調整する調整手段と、前記重み係数を用いて前記第１の類似度と前記第２の類似度とを合成し、前記認証対象物と前記比較対象物との総合類似度を算出する手段と、前記総合類似度に基づいて、認証判定を行う手段とを有することを特徴とする。
【００１０】
また、請求項２の発明は、認証装置であって、認証対象物の３次元情報を取得する手段と、前記３次元情報と予め登録されている比較対象物の３次元情報との第１の類似度を算出する手段と、前記認証対象物の２次元情報を取得する手段と、前記２次元情報と前記比較対象物の２次元情報との第２の類似度を算出する手段と、前記第１の類似度と前記第２の類似度との重みを規定する重み係数を、前記３次元情報を取得する際の撮影手段と前記認証対象物との距離が大きくなる程、第１の類似度の重みが小さくなるように調整する調整手段と、前記重み係数を用いて前記第１の類似度と前記第２の類似度とを合成し、前記認証対象物と前記比較対象物との総合類似度を算出する手段と、前記総合類似度に基づいて、認証判定を行う手段とを備えることを特徴とする。
【００１１】
また、請求項３の発明は、認証装置であって、認証対象物の３次元情報を取得する手段と、前記３次元情報と予め登録されている比較対象物の３次元情報との第１の類似度を算出する手段と、前記認証対象物の２次元情報を取得する手段と、前記２次元情報と前記比較対象物の２次元情報との第２の類似度を算出する手段と、前記第１の類似度と前記第２の類似度との重みを規定する重み係数を、前記３次元情報を取得する際の画像における特徴点抽出の信頼度が低い程、第１の類似度の重みが小さくなるように調整する調整手段と、前記重み係数を用いて前記第１の類似度と前記第２の類似度とを合成し、前記認証対象物と前記比較対象物との総合類似度を算出する手段と、前記総合類似度に基づいて、認証判定を行う手段とを備えることを特徴とする。
【００１２】
また、請求項４の発明は、認証装置であって、認証対象物の３次元情報を取得する手段と、前記３次元情報と予め登録されている比較対象物の３次元情報との第１の類似度を算出する手段と、前記認証対象物の２次元情報を取得する手段と、前記２次元情報と前記比較対象物の２次元情報との第２の類似度を算出する手段と、前記第１の類似度と前記第２の類似度との重みを規定する重み係数を、前記２次元情報を取得する際の画像の平均輝度値が、前記比較対象物のデータと異なる割合が大きい程、第２の類似度の重みが小さくなるように調整する調整手段と、前記重み係数を用いて前記第１の類似度と前記第２の類似度とを合成し、前記認証対象物と前記比較対象物との総合類似度を算出する手段と、前記総合類似度に基づいて、認証判定を行う手段とを備えることを特徴とする。
【００１３】
また、請求項５の発明は、認証装置であって、認証対象物の３次元情報を取得する手段と、前記３次元情報と予め登録されている比較対象物の３次元情報との第１の類似度を算出する手段と、前記認証対象物の２次元情報を取得する手段と、前記２次元情報と前記比較対象物の２次元情報との第２の類似度を算出する手段と、前記第１の類似度と前記第２の類似度との重みを規定する重み係数を、前記比較対象物の登録情報の登録からの経過時間が大きい程、第２の類似度の重みが小さくなるように調整する調整手段と、前記重み係数を用いて前記第１の類似度と前記第２の類似度とを合成し、前記認証対象物と前記比較対象物との総合類似度を算出する手段と、前記総合類似度に基づいて、認証判定を行う手段とを備えることを特徴とする。
【００１４】
また、請求項６の発明は、請求項１から請求項５のいずれかの発明に係る認証装置において、前記３次元情報は、前記認証対象物を異なる位置から撮影した複数の画像に基づいて求められ、前記２次元情報は、前記複数の画像のうちの少なくとも１つに基づいて求められることを特徴とする。
【００１５】
また、請求項７の発明は、認証方法であって、認証対象物の３次元情報を取得する工程と、前記認証対象物の２次元情報を取得する工程と、前記３次元情報から予め準備された標準モデルを変形するとともに、前記２次元情報をテクスチャ情報として標準モデルの表面に貼り付けることにより、前記認証対象物の個別モデルを生成する工程と、前記個別モデルから３次元形状情報とテクスチャ情報を特徴情報として抽出する工程と、前記特徴情報を用いて前記認証対象物の比較対象物に対する認証動作を行う認証工程とを備え、前記認証工程は、前記３次元情報と予め登録されている比較対象物の３次元情報との第１の類似度を算出する工程と、前記２次元情報と前記比較対象物の２次元情報との第２の類似度を算出する工程と、前記第１の類似度と前記第２の類似度との重みを規定する重み係数を、前記モデル生成時における前記認証対象物の顔の向きに関するアライメント補正量が大きい程、第１の類似度の重みが大きくなるように調整する調整工程と、前記重み係数を用いて前記第１の類似度と前記第２の類似度とを合成し、前記認証対象物と前記比較対象物との総合類似度を算出する工程と、前記総合類似度に基づいて、認証判定を行う工程とを有することを特徴とする。
【００１７】
また、請求項８の発明は、認証方法であって、認証対象物の３次元情報を取得する工程と、前記３次元情報と予め登録されている比較対象物の３次元情報との第１の類似度を算出する工程と、前記認証対象物の２次元情報を取得する工程と、前記２次元情報と前記比較対象物の２次元情報との第２の類似度を算出する工程と、前記第１の類似度と前記第２の類似度との重みを規定する重み係数を、前記３次元情報を取得する際の撮影手段と前記認証対象物との距離が大きくなる程、第１の類似度の重みが小さくなるように調整する調整工程と、前記重み係数を用いて前記第１の類似度と前記第２の類似度とを合成し、前記認証対象物と前記比較対象物との総合類似度を算出する工程と、前記総合類似度に基づいて、認証判定を行う工程とを備えることを特徴とする。
【００１８】
また、請求項９の発明は、認証方法であって、認証対象物の３次元情報を取得する工程と、前記３次元情報と予め登録されている比較対象物の３次元情報との第１の類似度を算出する工程と、前記認証対象物の２次元情報を取得する工程と、前記２次元情報と前記比較対象物の２次元情報との第２の類似度を算出する工程と、前記第１の類似度と前記第２の類似度との重みを規定する重み係数を、前記３次元情報を取得する際の画像における特徴点抽出の信頼度が低い程、第１の類似度の重みが小さくなるように調整する調整工程と、前記重み係数を用いて前記第１の類似度と前記第２の類似度とを合成し、前記認証対象物と前記比較対象物との総合類似度を算出する工程と、前記総合類似度に基づいて、認証判定を行う工程とを備えることを特徴とする。
【００１９】
また、請求項１０の発明は、認証方法であって、認証対象物の３次元情報を取得する工程と、前記３次元情報と予め登録されている比較対象物の３次元情報との第１の類似度を算出する工程と、前記認証対象物の２次元情報を取得する工程と、前記２次元情報と前記比較対象物の２次元情報との第２の類似度を算出する工程と、前記第１の類似度と前記第２の類似度との重みを規定する重み係数を、前記２次元情報を取得する際の画像の平均輝度値が、前記比較対象物のデータと異なる割合が大きい程、第２の類似度の重みが小さくなるように調整する調整工程と、前記重み係数を用いて前記第１の類似度と前記第２の類似度とを合成し、前記認証対象物と前記比較対象物との総合類似度を算出する工程と、前記総合類似度に基づいて、認証判定を行う工程とを備えることを特徴とする。
【００２０】
また、請求項１１の発明は、認証方法であって、認証対象物の３次元情報を取得する工程と、前記３次元情報と予め登録されている比較対象物の３次元情報との第１の類似度を算出する工程と、前記認証対象物の２次元情報を取得する工程と、前記２次元情報と前記比較対象物の２次元情報との第２の類似度を算出する工程と、前記第１の類似度と前記第２の類似度との重みを規定する重み係数を、前記比較対象物の登録情報の登録からの経過時間が大きい程、第２の類似度の重みが小さくなるように調整する調整工程と、前記重み係数を用いて前記第１の類似度と前記第２の類似度とを合成し、前記認証対象物と前記比較対象物との総合類似度を算出する工程と、前記総合類似度に基づいて、認証判定を行う工程とを備えることを特徴とする。
【００２１】
また、請求項１２の発明は、請求項７から請求項１１のいずれかの発明に係る認証方法において、前記３次元情報は、前記認証対象物を異なる位置から撮影した複数の画像に基づいて求められ、前記２次元情報は、前記複数の画像のうちの少なくとも１つに基づいて求められることを特徴とする。
【００２２】
また、請求項１３の発明は、プログラムであって、コンピュータに、認証対象物の３次元情報を取得する工程と、前記認証対象物の２次元情報を取得する工程と、前記３次元情報から予め準備された標準モデルを変形するとともに、前記２次元情報をテクスチャ情報として標準モデルの表面に貼り付けることにより、前記認証対象物の個別モデルを生成する工程と、前記個別モデルから３次元形状情報とテクスチャ情報を特徴情報として抽出する工程と、前記特徴情報を用いて前記認証対象物の比較対象物に対する認証動作を行う認証工程とを実行させ、前記認証工程は、前記コンピュータに、前記３次元情報と予め登録されている比較対象物の３次元情報との第１の類似度を算出する工程と、前記２次元情報と前記比較対象物の２次元情報との第２の類似度を算出する工程と、前記第１の類似度と前記第２の類似度との重みを規定する重み係数を、前記モデル生成時における前記認証対象物の顔の向きに関するアライメント補正量が大きい程、第１の類似度の重みが大きくなるように調整する調整工程と、前記重み係数を用いて前記第１の類似度と前記第２の類似度とを合成し、前記認証対象物と前記比較対象物との総合類似度を算出する工程と、前記総合類似度に基づいて、認証判定を行う工程とをさらに実行させることを特徴とする。
【００２４】
また、請求項１４の発明は、プログラムであって、コンピュータに、認証対象物の３次元情報を取得する工程と、前記３次元情報と予め登録されている比較対象物の３次元情報との第１の類似度を算出する工程と、前記認証対象物の２次元情報を取得する工程と、前記２次元情報と前記比較対象物の２次元情報との第２の類似度を算出する工程と、前記第１の類似度と前記第２の類似度との重みを規定する重み係数を、前記３次元情報を取得する際の撮影手段と前記認証対象物との距離が大きくなる程、第１の類似度の重みが小さくなるように調整する調整工程と、前記重み係数を用いて前記第１の類似度と前記第２の類似度とを合成し、前記認証対象物と前記比較対象物との総合類似度を算出する工程と、前記総合類似度に基づいて、認証判定を行う工程とを実行させることを特徴とする。
【００２５】
また、請求項１５の発明は、プログラムであって、コンピュータに、認証対象物の３次元情報を取得する工程と、前記３次元情報と予め登録されている比較対象物の３次元情報との第１の類似度を算出する工程と、前記認証対象物の２次元情報を取得する工程と、前記２次元情報と前記比較対象物の２次元情報との第２の類似度を算出する工程と、前記第１の類似度と前記第２の類似度との重みを規定する重み係数を、前記３次元情報を取得する際の画像における特徴点抽出の信頼度が低い程、第１の類似度の重みが小さくなるように調整する調整工程と、前記重み係数を用いて前記第１の類似度と前記第２の類似度とを合成し、前記認証対象物と前記比較対象物との総合類似度を算出する工程と、前記総合類似度に基づいて、認証判定を行う工程とを実行させることを特徴とする。
【００２６】
また、請求項１６の発明は、プログラムであって、コンピュータに、認証対象物の３次元情報を取得する工程と、前記３次元情報と予め登録されている比較対象物の３次元情報との第１の類似度を算出する工程と、前記認証対象物の２次元情報を取得する工程と、前記２次元情報と前記比較対象物の２次元情報との第２の類似度を算出する工程と、前記第１の類似度と前記第２の類似度との重みを規定する重み係数を、前記２次元情報を取得する際の画像の平均輝度値が、前記比較対象物のデータと異なる割合が大きい程、第２の類似度の重みが小さくなるように調整する調整工程と、前記重み係数を用いて前記第１の類似度と前記第２の類似度とを合成し、前記認証対象物と前記比較対象物との総合類似度を算出する工程と、前記総合類似度に基づいて、認証判定を行う工程とを実行させることを特徴とする。
【００２７】
また、請求項１７の発明は、プログラムであって、コンピュータに、認証対象物の３次元情報を取得する工程と、前記３次元情報と予め登録されている比較対象物の３次元情報との第１の類似度を算出する工程と、前記認証対象物の２次元情報を取得する工程と、前記２次元情報と前記比較対象物の２次元情報との第２の類似度を算出する工程と、前記第１の類似度と前記第２の類似度との重みを規定する重み係数を、前記比較対象物の登録情報の登録からの経過時間が大きい程、第２の類似度の重みが小さくなるように調整する調整工程と、前記重み係数を用いて前記第１の類似度と前記第２の類似度とを合成し、前記認証対象物と前記比較対象物との総合類似度を算出する工程と、前記総合類似度に基づいて、認証判定を行う工程とを実行させることを特徴とする。
【００２８】
また、請求項１８の発明は、請求項１３から請求項１７のいずれかの発明に係るプログラムにおいて、前記３次元情報は、前記認証対象物を異なる位置から撮影した複数の画像に基づいて求められ、前記２次元情報は、前記複数の画像のうちの少なくとも１つに基づいて求められることを特徴とする。
【発明の効果】
【００２９】
請求項１から請求項１８に記載の発明によれば、認証対象物の３次元情報と２次元情報とを用いて認証動作が行われるので精度の高い認証を行うことができる。
【発明を実施するための最良の形態】
【００３０】
以下、本発明の実施形態を図面に基づいて説明する。なお、以下の実施形態では顔の認証について説明するが、本発明は他の物体の認証にも適用できる。
【００３１】
＜実施形態＞
＜概要＞
図１は、本発明の実施形態に係る顔認証システム１を示す構成図である。図１に示すように顔認証システム１は、コントローラ１０と２台の画像撮影カメラ（以下、単に「カメラ」とも称する）ＣＡ１及びＣＡ２とで構成されている。カメラＣＡ１とカメラＣＡ２とは、それぞれ異なる位置から認証対象者ＨＭの顔を撮影できるように配置されている。カメラＣＡ１とカメラＣＡ２とによって認証対象者の顔画像が撮影されると、当該撮影により得られる認証対象者の外観情報すなわち２種類の顔画像がコントローラ１０に通信線を介して送信される。なお、各カメラとコントローラ１０との間での画像データの通信方式は有線方式に限定されず、無線方式であってもよい。
【００３２】
図２は、コントローラ１０の構成概要を示す図である。図２に示されるように、コントローラ１０は、ＣＰＵ２と、記憶部３と、メディアドライブ４と、液晶ディスプレイなどの表示部５と、キーボード６ａ及びポインティングデバイスであるマウス６ｂなどの入力部６と、ネットワークカードなどの通信部７とを備えたパーソナルコンピュータなどの一般的なコンピュータで構成される。記憶部３は、複数の記憶媒体、具体的には、ハードディスクドライブ（ＨＤＤ）３ａと、ＨＤＤ３ａよりも高速処理可能なＲＡＭ（半導体メモリ）３ｂとを有している。また、メディアドライブ４は、ＣＤ−ＲＯＭ、ＤＶＤ（Digital Versatile Disk）、フレキシブルディスク、メモリカードなどの可搬性の記録媒体８からその中に記録されている情報を読み出すことができる。なお、このコントローラ１０に対して供給される情報は、記録媒体８を介して供給される場合に限定されず、ＬＡＮ及びインターネットなどのネットワークを介して供給されてもよい。
【００３３】
次に、コントローラ１０が備える各種機能について説明する。
【００３４】
図３は、コントローラ１０が備える各種機能を示すブロック図である。図４は、個人認証部１４の詳細な機能構成を示すブロック図であり、図５は、画像正規化部２１のさらに詳細な機能構成を示すブロック図である。
【００３５】
コントローラ１０の備える各種機能は、コントローラ１０内のＣＰＵ等の各種ハードウェアを用いて所定のソフトウェアプログラム（以下、単に「プログラム」とも称する）を実行することによって、実現される機能を概念的に示すものである。
【００３６】
図３に示されるように、コントローラ１０は、画像入力部１１と顔領域検索部１２と顔部位検出部１３と個人認証部１４と出力部１５とを備えている。
【００３７】
画像入力部１１は、カメラＣＡ１及びＣＡ２によって撮影された２枚の画像をコントローラ１０に入力する機能を有している。
【００３８】
顔領域検索部１２は、入力された顔画像から顔領域を特定する機能を有している。
【００３９】
顔部位検出部１３は、特定した顔領域から顔の特徴的な部位（例えば、目、眉、鼻、口等）の位置を検出する機能を有している。
【００４０】
個人認証部１４は、顔の認証を主たる目的として構成され、各個人を顔画像で認証する機能を有している。この個人認証部１４の詳細については、次述する。
【００４１】
出力部１５は、個人認証部で得られた認証結果を出力する機能を有している。
【００４２】
次に、個人認証部１４の詳細構成について図４及び図５を用いて説明する。
【００４３】
図４に示すように、個人認証部１４は、画像正規化部２１と特徴抽出部２２と情報圧縮部２３と重み係数決定部２４と比較部２５とを有している。
【００４４】
画像正規化部２１は、認証対象者（認証対象物）に関する情報を正規化する機能を有している。画像正規化部２１は、図５に示されるように、入力画像から得られる顔の特徴的な部位の座標から各部位の３次元における座標を算出する３次元再構成部３１と、算出された３次元座標を用いて個別モデルを生成する最適化部３２と、生成された個別モデルを補正する補正部３３とを有している。これらの各処理部３１，３２，３３によって、認証対象者に関する情報は、正規化され、相互比較しやすい状態に変換される。また、各処理部の機能によって作成された個別モデルは、認証対象者に関する３次元情報と２次元情報との双方を含むものとして形成される。「３次元情報」は、３次元座標値等で構成される立体的構成に関連する情報であり、「２次元情報」は、表面情報（テクスチャ情報）及び／又は平面的な位置情報等で構成される平面的構成に関連する情報である。
【００４５】
特徴抽出部２２は、画像正規化部２１で得られた３次元顔モデルから３次元情報と２次元情報とを抽出する特徴抽出機能を有している。
【００４６】
情報圧縮部２３は、特徴抽出部２２で抽出された３次元情報と２次元情報とをそれぞれ、顔認証用の適切な顔特徴量に変換することで、顔認証に用いる３次元情報と２次元情報とをそれぞれ圧縮する機能を有している。この情報圧縮機能は、基底ベクトルデータベース２６に格納された情報等を用いて実現される。
【００４７】
重み係数決定部２４は、３次元及び２次元の顔特徴量の信頼性（３次元情報の信頼性及び２次元情報の信頼性）を撮影条件等に応じて判断し、類似度計算の際に用いる重み係数を決定する機能を有している。この重み係数は、重み係数決定情報記憶部２７に記憶された情報等を用いて決定される。
【００４８】
比較部２５は、人物パラメータデータベース２８に予め登録されている登録者（比較対象者）の顔特徴量と、上記各機能部によって得られる認証対象者の顔特徴量との類似度を計算し、顔の認証を行う機能を有している。
【００４９】
＜動作＞
以下では、上述したコントローラ１０の各機能についてより詳細に説明する。
【００５０】
図６は、コントローラ１０の全体動作を示すフローチャートであり、図７は、画像正規化処理工程（ステップＳＰ４）の詳細なフローチャートである。図８は、顔画像における特徴的な部位の特徴点を示す図である。図９は、２次元画像中の特徴点から三角測量の原理を用いて３次元座標を算出する様子を示す模式図である。なお、図９中の符号Ｇ１は、カメラＣＡ１により撮影されコントローラ１０に入力された画像Ｇ１を示し、符号Ｇ２は、カメラＣＡ２により撮影されコントローラ１０に入力された画像Ｇ２を示している。また、画像Ｇ１、Ｇ２中の点Ｑ２０は、図８における口の右端に相当する。
【００５１】
以下では、カメラＣＡ１及びＣＡ２で撮影した所定人物を認証対象者として、実際に顔認証を行う場合について説明する。ここでは、３次元情報として、カメラＣＡ１，ＣＡ２による画像を利用して三角測量の原理によって計測された３次元形状情報を用い、２次元情報としてテクスチャ（輝度）情報を用いる場合を例示する。
【００５２】
図６に示されるように、コントローラ１０は、ステップＳＰ１からステップＳＰ６までの工程において、認証対象者の顔を撮影した画像に基づいて、認証対象者に関する顔特徴量を取得し、さらにステップＳＰ７からステップＳＰ９の工程を経ることで、顔認証を実現する。
【００５３】
まず、ステップＳＰ１において、カメラＣＡ１及びＣＡ２によって撮影された所定の人物（認証対象者）の顔画像が、通信線を介しコントローラ１０に入力される。顔画像を撮影するカメラＣＡ１及びカメラＣＡ２は、それぞれ、２次元画像を撮影可能な一般的な撮影装置で構成される。また、当該各カメラＣＡｉの位置姿勢等を示すカメラパラメータＢｉ（ｉ＝１・・Ｎ）は既知であり、予めカメラパラメータ記憶部３４（図５）に記憶されている。ここで、Ｎはカメラの台数を示している。本実施形態ではＮ＝２の場合を例示しているが、Ｎ≧３としてもよい（３台以上のカメラを用いてもよい）。また、カメラパラメータＢｉについては後述する。
【００５４】
次に、ステップＳＰ２において、カメラＣＡ１及びＣＡ２より入力された２枚の画像それぞれにおいて、顔の存在する領域が検出される。顔領域検出手法としては、例えば、予め用意された標準の顔画像を用いたテンプレートマッチングにより、２枚の画像それぞれから顔領域を検出する手法を採用することができる。
【００５５】
次に、ステップＳＰ３において、ステップＳＰ２で検出された顔領域画像の中から、顔の特徴的な部位の位置が検出される。例えば、顔の特徴的な部位としては、目、眉、鼻又は口等が考えられ、ステップＳＰ３においては、図８に示されるような上記各部位の特徴点Ｑ１〜Ｑ２３の座標が算出される。特徴部位は、例えば、特徴部位の標準的なテンプレートを用いて行うテンプレートマッチングにより検出することができる。また、算出される特徴点の座標は、カメラより入力された画像Ｇ１、Ｇ２上の座標として表される。例えば、図８における口の右端に相当する特徴点Ｑ２０に関して、図９中に示すように、２枚の画像Ｇ１，Ｇ２のそれぞれにおける座標値が求められる。具体的には、画像Ｇ１の左上の端点を原点Ｏとして、特徴点Ｑ２０の画像Ｇ１上の座標（ｘ１，ｙ１）が算出される。画像Ｇ２においても同様に特徴点Ｑ２０の画像Ｇ２上の座標（ｘ２，ｙ２）が算出される。
【００５６】
また、入力された画像における各特徴点を頂点とする領域内の各画素の輝度値が、当該領域の有する情報（以下、「テクスチャ情報」とも称する）として取得される。各領域におけるテクスチャ情報は、後述のステップＳＰ１２等において、個別モデルに貼り付けられる。なお、本実施形態の場合、入力される画像は２枚であるので、各画像の対応する領域内の対応する画素における平均の輝度値を当該領域のテクスチャ情報として用いるものとする。
【００５７】
次のステップＳＰ４（画像正規化工程）においては、ステップＳＰ３で検出された各特徴点の座標値及び各領域のテクスチャ情報等に基づいて、認証対象者に関する画像情報が正規化される。この画像正規化工程（ステップＳＰ４）は、図７に示されるように、３次元再構成工程（ステップＳＰ１１）とモデルフィッテング工程（ステップＳＰ１２）と補正工程（ステップＳＰ１３）とを有している。これらの工程を経ることによって、認証対象者に関する情報は、認証対象者に関する３次元情報と２次元情報との双方を含む「個別モデル」として、正規化された状態で生成される。以下、各工程（ステップＳＰ１１〜ＳＰ１３）について詳細に説明する。
【００５８】
まず、３次元再構成工程（ステップＳＰ１１）では、ステップＳＰ３において検出された各特徴点Ｑｊの各画像Ｇｉ（ｉ＝１，...，Ｎ）における２次元座標Ｕｉ(j)と、各画像Ｇｉを撮影したカメラのカメラパラメータＢｉとに基づいて、各特徴点Ｑｊの３次元座標Ｍ(j)（ｊ＝１・・・ｍ）が算出される。なお、ｍは特徴点の数を示している。
【００５９】
以下、３次元座標Ｍ(j)の算出について具体的に説明する。
【００６０】
各特徴点Ｑｊの３次元座標Ｍ(j)と各特徴点Ｑｊの２次元座標Ｕｉ(j)とカメラパラメータＢｉとの関係は式（１）のように表される。
【００６１】
【数１】
0004696778.tif 000002
【００６２】
なお、μｉは、スケールの変動分を示す媒介変数である。また、カメラパラメータ行列Ｂｉは、予め３次元座標が既知の物体を撮影することにより求められる各カメラ固有の値であり、３×４の射影行列で表される。
【００６３】
例えば、上記式（１）を用いて３次元座標を算出する具体的な例として、特徴点Ｑ２０の３次元座標Ｍ(20)を算出する場合を図９を用いて考える。式（２）は画像Ｇ１上の特徴点Ｑ２０の座標（ｘ１，ｙ１）と特徴点Ｑ２０を３次元空間で表したときの３次元座標（ｘ，ｙ，ｚ）との関係を示している。同様に、式（３）は、画像Ｇ２上の特徴点Ｑ２０の座標（ｘ２，ｙ２）と特徴点Ｑ２０を３次元空間で表したときの３次元座標（ｘ，ｙ，ｚ）との関係を示している。
【００６４】
【数２】
0004696778.tif 000003
【００６５】
【数３】
0004696778.tif 000004
【００６６】
上記式（２）及び式（３）中の未知数は、２つの媒介変数μ１、μ２と３次元座標Ｍ(20)の３つの成分値ｘ，ｙ，ｚとの合計５つである。一方、式（２）及び式（３）に含まれる等式の数は６であるため、各未知数つまり特徴点Ｑ２０の３次元座標（ｘ，ｙ，ｚ）を算出することができる。また、同様にして、全ての特徴点Ｑｊについての３次元座標Ｍ(j)を取得することができる。
【００６７】
次のステップＳＰ１２では、モデルフィッテングが行われる。この「モデルフィッティング」は、予め準備された一般的（標準的）な顔の立体モデルである「（顔の）標準モデル」を、認証対象者に関する情報を用いて変形することによって、認証対象者の顔に関する入力情報が反映された「個別モデル」を生成する処理である。具体的には、算出された３次元座標Ｍ(j)を用いて標準モデルの３次元情報を変更する処理と、上記のテクスチャ情報を用いて標準モデルの２次元情報を変更する処理とが行われる。
【００６８】
図１０は、３次元の顔の標準モデルを示している。
【００６９】
図１０に示されるように、顔の標準モデルは、頂点データとポリゴンデータとで構成され、３次元モデルデータベース３５（図５）として記憶部３等に保存されている。頂点データは、標準モデルにおける特徴部位の頂点（以下、「標準制御点」とも称する）ＣＯｊの座標の集合であり、ステップＳＰ１１において算出される各特徴点Ｑｊの３次元座標と１対１に対応している。ポリゴンデータは、標準モデルの表面を微小な多角形（例えば、三角形）のポリゴンに分割し、ポリゴンを数値データとして表現したものである。なお、図１０では、各ポリゴンの頂点が標準制御点ＣＯｊ以外の中間点によっても構成される場合を例示しており、中間点の座標は標準制御点ＣＯｊの座標値を用いた適宜の補完手法によって得ることが可能である。
【００７０】
ここで、標準モデルから個別モデルを構成するモデルフィッティングについて詳述する。
【００７１】
まず、標準モデルの各特徴部位の頂点（標準制御点ＣＯｊ）を、ステップＳＰ１１において算出された各特徴点に移動させる。具体的には、各特徴点Ｑｊの３次元座標値を、対応する標準制御点ＣＯｊの３次元座標値として代入し、移動後の標準制御点（以下、「個別制御点」とも称する）Ｃｊを得る。これにより、標準モデルを３次元座標Ｍ(j)で表した個別モデルに変形することができる。なお、個別モデルにおける個別制御点Ｃｊ以外の中間点の座標は、個別制御点Ｃｊの座標値を用いた適宜の補間手法によって得ることが可能である。
【００７２】
また、この変形（移動）による各頂点の移動量から、後述のステップＳＰ１３において用いられる、標準モデルを基準にした場合の個別モデルのスケール、傾き及び位置を求めることができる。具体的には、標準モデルにおける所定の基準位置と、変形後の個別モデルにおける対応基準位置との間のずれ量によって、個別モデルの標準モデルに対する位置変化を求めることができる。また、標準モデルにおける所定の２点を結ぶ基準ベクトルと、変形後の個別モデルにおける当該所定の２点の対応点を結ぶ基準ベクトルとの間のずれ量によって、個別モデルの標準モデルに対する傾きの変化及びスケール変化を求めることができる。例えば、右目の目頭の特徴点Ｑ１と左目の目頭の特徴点Ｑ２との中点ＱＭの座標と標準モデルにおいて中点ＱＭに相当する点の座標とを比較することによって個別モデルの位置を求めることができ、さらに、中点ＱＭと他の特徴点とを比較することによって個別モデルのスケール及び傾きを算出することができる。
【００７３】
次の式（４）は、標準モデルと個別モデルとの間の対応関係を表現する変換パラメータ（ベクトル）ｖｔを示している。式（４）に示すように、この変換パラメータ（ベクトル）ｖｔは、両者のスケール変換指数ｓｚと、直交３軸方向における並進変位を示す変換パラメータ（ｔｘ，ｔｙ，ｔｚ）と、回転変位（傾き）を示す変換パラメータ（φ，θ，ψ）とをその要素とするベクトルである。
【００７４】
【数４】
0004696778.tif 000005
【００７５】
上述のようにして、認証対象者に関する３次元座標Ｍ(j)を用いて標準モデルの３次元情報を変更する処理が行われる。
【００７６】
その後、テクスチャ情報を用いて標準モデルの２次元情報を変更する処理も行われる。具体的には、入力画像Ｇ１，Ｇ２における各領域のテクスチャ情報が、３次元の個別モデル上の対応する領域（ポリゴン）に貼り付け（マッピング）られる。なお、立体モデル（個別モデル等）上でテクスチャ情報が貼り付けられる各領域（ポリゴン）は「パッチ」とも称せられる。
【００７７】
以上のようにして、モデルフィッティング処理（ステップＳＰ１２）が行われる。
【００７８】
次のステップＳＰ１３においては、標準モデルを基準にして個別モデルの補正が行われる。本工程では、アライメント補正と、シェーディング補正とが実行される。アライメント補正は、３次元情報に関する補正処理であり、シェーディング補正は、２次元情報に関する補正処理である。
【００７９】
アライメント（顔向き）補正は、上記ステップＳＰ１２において求められる標準モデルを基準にした際の個別モデルのスケール、傾き及び位置を基にして行われる。より詳細には、標準モデルを基準にした際の標準モデルと個別モデルとの関係を示す変換パラメータｖｔ（式（４）参照）を用いて個別モデルを座標変換することで、標準モデルの姿勢と同じ姿勢を有する３次元顔モデルを作成することができる。すなわち、このアライメント補正によって、認証対象者に関する３次元情報を適切に正規化することができる。
【００８０】
また、シェーディング補正は、個別モデルにマッピングされているパッチ内の各画素の輝度値（テクスチャ情報（図１１参照））を補正する処理である。このシェーディング補正によれば、光源と被写体人物との位置関係が標準モデル作成のための人物撮影時と個別モデルの対象人物撮影時（認証対象者撮影時）とで相違する場合に生じる、両モデル（標準モデルおよび個別モデル）のテクスチャ情報の相違を補正することができる。すなわち、シェーディング補正によれば、認証対象者に関する２次元情報の１つであるテクスチャ情報を適切に正規化することができる。
【００８１】
以上のように画像正規化工程（ステップＳＰ４）においては、認証対象者に関する情報が、認証対象者に関する３次元情報と２次元情報との双方を含む個別モデルとして、正規化された状態で生成される。
【００８２】
次のステップＳＰ５（図６）においては、個別モデルの特徴を表す情報として、３次元形状情報（３次元情報）とテクスチャ情報（２次元情報）とが抽出される。
【００８３】
３次元情報としては、個別モデルにおけるｍ個の個別制御点Ｃｊの３次元座標ベクトルが抽出される。具体的には、式（５）に示されるように、ｍ個の個別制御点Ｃｊ（ｊ＝１，...，ｍ）の３次元座標（Ｘｊ，Ｙｊ，Ｚｊ）を要素とするベクトルｈSが３次元情報（３次元形状情報）として抽出される。
【００８４】
【数５】
0004696778.tif 000006
【００８５】
また、２次元情報としては、個人認証にとって重要な情報となる顔の特徴的な部分つまり個別制御点付近のパッチ又はパッチのグループ（局所領域）が有するテクスチャ（輝度）情報（以下、「局所２次元情報」とも称する）が抽出される。
【００８６】
局所２次元情報は、例えば、正規化後の特徴的な部位の個別制御点を示す図１２中のグループＧＲ（個別制御点Ｃ２０、Ｃ２２及びＣ２３を頂点とするパッチＲ１と個別制御点Ｃ２１、Ｃ２２及びＣ２３を頂点とするパッチＲ２）から構成される領域、又は、単に一つのパッチからなる領域等の各局所領域が有する各画素の輝度情報として構成される。局所２次元情報ｈ(k)（ｋ＝１，...，Ｌ；Ｌは局所領域数）は、それぞれ、当該局所領域内の画素数をｎ、各画素の輝度値をＢＲ１，...，ＢＲｎとすると、式（６）のようなベクトル形式で表される。また、局所２次元情報ｈ(k)をＬ個の局所領域について集めた情報は、総合的な２次元情報であるとも表現される。
【００８７】
【数６】
0004696778.tif 000007
【００８８】
以上のように、ステップＳＰ５においては、個別モデルの特徴を表す情報として、３次元形状情報（３次元情報）とテクスチャ情報（２次元情報）とが抽出される。
【００８９】
抽出された情報は後述の認証動作（ステップＳＰ７〜ＳＰ９）に用いられる。当該認証動作においては、式（６）で得られる情報をそのまま用いて認証動作を行うようにしてもよいが、その場合、局所領域内の画素数が多いときには、認証動作での計算量が非常に大きくなってしまう。そこで、この実施形態では、計算量を低減して効率的に認証動作を行うことを企図して、式（６）で得られる情報を更に圧縮し圧縮後の情報を用いて認証動作を行うものとする。
【００９０】
そのため、次のステップＳＰ６においては、ステップＳＰ５で抽出された情報を、認証に適した状態に変換する次述の情報圧縮処理を行う。
【００９１】
情報圧縮処理は、３次元形状情報ｈS及び各局所２次元情報ｈ(k)のそれぞれに対して同様の手法を用いて行われるが、ここでは、局所２次元情報ｈ(k)に対して情報圧縮処理を施す場合について詳細に説明する。
【００９２】
局所２次元情報ｈ(k)は、複数のサンプル顔画像から予め取得される当該局所領域の平均情報（ベクトル）ｈave(k)と、複数のサンプル顔画像をＫＬ展開することによって予め算出される当該局所領域の固有ベクトルのセットで表現される行列Ｐ(k)（次述）とを用いて式（７）のように基底分解された形式で表すことができる。この結果、局所２次元顔情報量（ベクトル）ｃ(k)が、局所２次元情報ｈ(k)についての圧縮情報として取得される。
【００９３】
【数７】
0004696778.tif 000008
【００９４】
上述のように式（７）中の行列Ｐ(k)は、複数のサンプル顔画像から算出される。具体的には、行列Ｐ(k)は、複数のサンプル顔画像をＫＬ展開することによって求められる複数の固有ベクトルのうち、固有値の大きい数個の固有ベクトル（基底ベクトル）のセットとして求められる。これらの基底ベクトルは、基底ベクトルデータベース２６に記憶されている。顔画像についてのより大きな特徴を示す固有ベクトルを基底ベクトルとしてその顔画像を表現することによれば、顔画像の特徴を効率的に表現することが可能となる。
【００９５】
例えば、図１２に示されているグループＧＲからなる局所領域の局所２次元情報ｈ(GR)を基底分解された形式で表現する場合を考える。当該局所領域の固有ベクトルのセットＰが、３つの固有ベクトルＰ１、Ｐ２及びＰ３によってＰ＝（Ｐ１，Ｐ２，Ｐ３）と表現されているとすると、局所２次元情報ｈ(GR)は、当該局所領域の平均情報ｈave(GR)と固有ベクトルのセットＰ１，Ｐ２，Ｐ３を用いて式（８）のように表される。平均情報ｈave(GR)は、様々なサンプル顔画像についての複数の局所２次元情報（ベクトル）を対応要素ごとに平均して得られるベクトルである。なお、複数のサンプル顔画像は、適度なばらつきを有する標準的な複数の顔画像を用いればよい。
【００９６】
【数８】
0004696778.tif 000009
【００９７】
また、上記式（８）は、顔情報量ｃ(GR)＝（ｃ１，ｃ２，ｃ３）Tによって元の局所２次元情報を再現することが可能であることを示している。すなわち、顔情報量ｃ(GR)は、グループＧＲからなる局所領域の局所２次元情報ｈ(GR)を圧縮した情報といえる。
【００９８】
上記のようにして取得された局所２次元顔情報量ｃ(GR)をそのまま認証動作に用いてもよいが、この実施形態ではさらなる情報圧縮を行う。具体的には、局所２次元顔情報量ｃ(GR)が表す特徴空間を個人間の分離を大きくするような部分空間へと変換する処理を更に行う。より詳細には、式（９）に表されるようベクトルサイズｆの局所２次元顔情報量ｃ(GR)をベクトルサイズｇの局所２次元特徴量ｄ(GR)に低減させる変換行列Ａを考える。これにより、局所２次元顔情報量ｃ(GR)で表される特徴空間を局所２次元特徴量ｄ(GR)で表される部分空間に変換することができ、個人間の情報の相違が顕著になる。
【００９９】
【数９】
0004696778.tif 000010
【０１００】
ここで、変換行列Ａはｆ×ｇのサイズを有する行列である。重判別分析（ＭＤＡ：Multiple Discriminant Analysis）法を用いて、特徴空間から級内分散と級間分散との比率（Ｆ比）の大きい主成分をｇ個選び出すことによって、変換行列Ａを決定することができる。
【０１０１】
また、上述した局所２次元情報ｈ(GR)について行った情報圧縮処理と同様の処理を他の全ての局所領域にも実行することによって、各局所領域についての局所２次元顔特徴量ｄ(k)を取得することができる。また、３次元形状情報ｈSに対しても同様の手法を適用することにより３次元顔特徴量ｄSを取得することができる。
【０１０２】
上記ステップＳＰ６を経て取得される３次元顔特徴量ｄSと局所２次元顔特徴量ｄ(k)とを組み合わせた顔特徴量ｄは、ベクトル形式で式（１０）のように表すことができる。
【０１０３】
【数１０】
0004696778.tif 000011
【０１０４】
以上に述べたステップＳＰ１〜ＳＰ６の工程において、入力される認証対象者の顔画像から当該対象者の顔特徴量ｄが取得される。
【０１０５】
そして、次のステップＳＰ７〜ＳＰ９においては、この顔特徴量ｄを用いて所定人物の顔認証が行われる。
【０１０６】
具体的には、認証対象者（認証対象物）と比較対象者（比較対象物）との類似度である総合類似度Ｒｅが算出され（ステップＳＰ８）、その後、この総合類似度Ｒｅに基づく認証対象者と比較対象者との比較動作等（ステップＳＰ９）が行われる。この総合類似度Ｒｅは、３次元顔特徴量ｄSから算出される３次元類似度ＲｅSと、局所２次元顔特徴量ｄ(k)から算出される局所２次元類似度Ｒｅ(k)とに加えて、３次元類似度ＲｅSと局所２次元類似度Ｒｅ(k)との重みを規定する重み付け係数（以下、単に「重み係数」とも称する）を用いて算出される。そのため、ステップＳＰ７においては、ステップＳＰ８，ＳＰ９に先立って、３次元類似度ＲｅSと局所２次元類似度Ｒｅ(k)との重み係数を決定する処理が行われる。
【０１０７】
まず、ステップＳＰ７の処理について説明する。
【０１０８】
ここでは、３次元類似度ＲｅSと局所２次元類似度Ｒｅ(k)との重み係数として、３次元情報の重み係数ＷＴと２次元情報の重み係数ＷＳとを用いる場合を例示する。
【０１０９】
式（１１）は、両重み係数ＷＴ，ＷＳ相互間の関係を示している。
【０１１０】
【数１１】
0004696778.tif 000012
【０１１１】
式（１１）によると、３次元情報の重み係数ＷＴの値を大きくすると２次元情報の重み係数ＷＳの値は小さく設定される。重み係数ＷＴ、ＷＳを環境等に応じた適宜の値に設定することによれば、より適切な類似度を算出することができる。
【０１１２】
ここで、重み係数の決定手法について詳述する。
【０１１３】
重み係数の決定要素（パラメータ）には、認証対象者の被写体条件又は画像撮影の際の撮影条件等から得られる様々な変数を用いることができる。
【０１１４】
例えば、重み係数の決定要素（パラメータ）として、顔の距離情報（パラメータＰＴ１）、より詳細には認証対象者とカメラとの距離α、を用いることができる。この距離αは、上述の３次元再構成工程（ステップＳＰ１１）において三角測量の原理により算出された特徴点Ｑｊの３次元座標Ｍ(j)とカメラの位置とに基づいて算出される。
【０１１５】
２次元情報の信頼性は距離αの変動によってそれ程大きくは低下しないが、３次元形状情報の信頼性は距離αが大きくなるにつれて比較的大きく低下する。そこで、距離αが大きい場合には３次元情報の重み係数ＷＴを小さくすることが考えられる。より詳細には、図１３及び図１４を用いて説明する。
【０１１６】
図１３は、認証対象者とカメラとの距離αと重み係数ＷＴとの関係を示す図であり、図１４は、図１３の関係に基づいて定められる所定の距離αＫと重み係数ＷＴ（αＫ）との対応を示す図である。
【０１１７】
３次元情報の重み係数ＷＴの値は、認証対象者とカメラとの距離αを変数として関数ＷＴ（α）を用いて図１３のように表される。また、図１４に示されるように、このような重み係数ＷＴ（αＫ）に関するデータテーブルが「重み情報」として重み係数決定情報記憶部２７に格納されている。このため、重み係数決定の際に、認証対象者とカメラとの距離αを算出すれば、当該データテーブルを用いて３次元情報の重み係数ＷＴ（α）を決定することができる。さらに、３次元情報の重み係数ＷＴが決定すれば、式（１１）から２次元情報の重み係数ＷＳを決定することができる。このように決定された重み係数は、ステップＳＰ８で類似度計算に用いられる。
【０１１８】
また、上記以外の重み係数の決定要素（パラメータ）として、撮影の際の顔の向き情報（パラメータＰＴ２）を用いることもできる。具体的には、ステップＳＰ１３におけるアライメント補正における回転変位の補正量βが大きい場合、テクスチャ情報の個別モデルへの貼り付け精度が悪くなり２次元情報の信頼性は低くなるため、３次元情報の重み係数ＷＴを大きくする処理を行う。具体的な手法は、上述の距離αから重み係数を決定する場合と同様で、重み係数決定情報記憶部２７に格納されているアライメント補正における回転変位の補正量βと重み係数との関係を示す重み情報を用いて決定することができる。
【０１１９】
また、重み係数の決定要素を複数用いて重み係数を決定することもできる。図１５は、複数の決定要素（パラメータ）と重み係数との関係を示す図である。例えば、図１５に示されるように、３次元情報の重み係数ＷＴは、上述のパラメータＰＴ１とパラメータＰＴ２との２変数を含む複数の変数α、β、γから導き出される関数とすることによって、パラメータＰＴ１及びパラメータＰＴ２等の情報を反映した重み係数を得ることができる。
【０１２０】
次に、ステップＳＰ８では、人物パラメータデータベース２８に予め登録されている比較対象者の顔特徴量（比較特徴量）と、上記ステップＳＰ１〜ステップＳＰ６を経て算出された認証対象者の顔特徴量との類似性の評価が行われる。具体的には、登録されている顔特徴量（比較特徴量）（ＲｅSM及びＲｅ(k)M）と認証対象者の顔特徴量（ＲｅSI及びＲｅ(k)I）との間で類似度計算が実行され、３次元類似度ＲｅSと局所２次元類似度Ｒｅ(k)とが算出される。なお、この実施形態においては、顔認証動作において比較の対象とされる人物（比較対象者）についての顔特徴量は、図６の動作に先立って予め取得されているものとする。具体的には、１人又は複数人の比較対象者のそれぞれに関してステップＳＰ１〜ステップＳＰ６と同様の処理を行うことによって、各比較対象者の顔特徴量ｄをその人物固有の顔特徴量として予め取得し、人物パラメータデータベース２８に予め記憶（登録）しておけばよい。
【０１２１】
さて、認証対象者と比較対象者との３次元類似度ＲｅSは、式（１２）に示されるように対応するベクトル同士のユークリッド距離ＲｅSを求めることによって取得される。
【０１２２】
【数１２】
0004696778.tif 000013
【０１２３】
また、局所２次元の類似度Ｒｅ(k)は、式（１３）に示されるように対応する局所領域同士における特徴量の各ベクトル成分ごとのユークリッド距離Ｒｅ(k)を求めることによって取得される。
【０１２４】
【数１３】
0004696778.tif 000014
【０１２５】
そして、式（１４）に示されるように、３次元の類似度ＲｅSと局所２次元の類似度Ｒｅ(k)とを、ステップＳＰ７において決定された重み係数を用いて合成し、認証対象者（認証対象物）と比較対象者（比較対象物）との類似度である総合類似度Ｒｅを取得することができる。
【０１２６】
【数１４】
0004696778.tif 000015
【０１２７】
次に、ステップＳＰ９においては、総合類似度Ｒｅに基づいて認証判定が行われる。認証判定は、顔照合（Verification）の場合と顔識別(Identification)の場合とで、その手法が以下のように異なる。
【０１２８】
顔照合では、入力された顔（認証対象者の顔）が特定の登録者であるか否かが判定されればよいため、特定登録者つまり比較対象者の顔特徴量（比較特徴量）と認証対象者の顔特徴量との類似度Ｒｅを一定の閾値と比較することで、認証対象者と比較対象者との同一性が判定される。詳細には、類似度Ｒｅが一定の閾値ＴＨ１よりも小さいときに認証対象者が比較対象者と同一人物であると判定される。
【０１２９】
一方、顔識別は、入力された顔（認証対象者の顔）が誰のものであるかを判定するものである。この顔識別では、登録されている人物の顔特徴量と認証対象者の顔の特徴量との類似度を全て算出して、認証対象者と各比較対象者との同一性をそれぞれ判定する。そして、複数の比較対象者のうち最も高い同一性を有する比較対象者を認証対象者と同一人物であると判定する。詳細には、認証対象者と複数の比較対象者のそれぞれとの各類似度Ｒｅのうち、最小の類似度Ｒｅminに対応する比較対象者が、認証対象者と同一人物であると判定される。
【０１３０】
以上のように、３次元形状情報から得られる３次元の類似度と２次元情報から得られる２次元の類似度とを個別に算出し、双方の類似度を認証判断に用いることで、より精度の高い認証が可能になる。また、認証対象者の被写体条件等から決定する重み係数によって、認証の際に用いる３次元の類似度と２次元の類似度とを調整することができるので、被写体条件等の影響を受けにくい好適な認証を行うことが可能となる。
【０１３１】
＜変形例＞
以上、この発明の実施の形態について説明したが、この発明は、上記に説明した内容に限定されるものではない。
【０１３２】
例えば、上記実施形態においては、重み係数決定の際に用いられる決定要素（パラメータ）として、顔の距離情報（パラメータＰＴ１）又は撮影の際の顔の向き情報（パラメータＰＴ２）を用いているがこれに限定されない。具体的には、以下のパラメータＰＴ３〜ＰＴ５を用いることができる。
【０１３３】
◎ＰＴ３（ステップＳＰ３において実行される特徴点抽出の信頼度）：
特徴点抽出の信頼度は、ステップＳＰ４で作成される３次元顔モデルの精度に影響を与えるため、特徴点抽出の信頼度が低い場合、３次元情報の重み係数ＷＴを小さくする。なお、特徴点抽出の信頼度は、特徴部位抽出の際のテンプレートマッチングにおけるテンプレートと抽出部位との類似度で評価することができる。
【０１３４】
◎ＰＴ４（撮影の際の照明条件情報）：
入力された２次元画像の平均輝度値が、登録されているデータと大きく異なる場合は、登録時と入力時との照明変化が大きいと判断し、２次元情報の重み係数ＷＳを小さくする。また、２次元画像中の背景と顔領域との明度の比が小さい場合は、２次元情報の重み係数ＷＳを小さくする。
【０１３５】
◎ＰＴ５（登録時からの経過時間情報）：
比較特徴量の登録からの経過時間が大きい場合は、化粧又は髭等の容貌変化を生じている可能性が大きいため、２次元情報の重み係数ＷＳを小さくする。
【０１３６】
なお、撮影の際の顔の距離情報（パラメータＰＴ１）及び撮影の際の顔の向き情報（パラメータＰＴ２）は、「認証対象物の被写体条件」であるとも表現でき、撮影の際の照明条件情報（パラメータＰＴ４）は、「画像撮影の際の撮影条件」であるとも表現できる。
【０１３７】
また、上記実施形態においては、パッチ内の各画素の輝度値を２次元情報としていたが、各パッチが有する色合いを２次元情報として用いてもよい。
【０１３８】
また、上記実施形態においては、１回の撮影によって得られる顔特徴量ｄを用いて類似度計算を行っていたがこれに限定されない。具体的には、認証対象者の撮影を２度行い、２回の撮影で得られる顔特徴量同士の類似度を算出することで、取得した顔特徴量の値が妥当であるか否かを判断することができる。これにより、取得した顔特徴量の値が不適当であった場合、再度撮影をやり直すことができる。
【０１３９】
また、上記実施形態では、ステップＳＰ６において変換行列Ａを決定する手法としてＭＤＡ法を用いていたがこれに限定されず、例えば、所定の特徴空間から級間分散と級内分散との差が大きくなるような射影空間を求めるＥＭ（Eigenspace Method）法を用いてもよい。
【０１４０】
また、上記実施形態においては、複数台のカメラより入力される複数の画像を用いて顔の３次元形状情報を取得しているがこれに限定されない。具体的には、図１６に示されるようなレーザ光出射部Ｌ１とカメラＬＣＡとから構成される３次元形状測定器を用いてレーザ光出射部Ｌ１の照射するレーザの反射光をカメラＬＣＡによって計測することにより、認証対象者の顔の３次元形状情報を取得してもよい。但し、上記実施形態のようにカメラ２台を含む入力装置を用いて３次元の形状情報を取得する手法によれば、レーザ光を用いる入力装置に比べて、比較的簡易な構成で３次元の形状情報を取得することができる。
【０１４１】
また、上記実施形態においては、２次元情報としてテクスチャ（輝度）情報を用いる場合が例示されていたが、これに限定されない。例えば、２次元情報として、或る画像内での平面的な位置情報（各特徴点の相対位置情報等）を、テクスチャ情報とともに或いはテクスチャ情報に代えて、用いるようにしてもよい。
【図面の簡単な説明】
【０１４２】
【図１】本発明の実施形態に係る顔認証システムの適用例を示す構成図である。
【図２】コントローラの構成概要を示す図である。
【図３】コントローラが備える各種機能を示すブロック図である。
【図４】個人認証部の詳細な機能構成を示すブロック図である。
【図５】画像正規化部のさらに詳細な機能構成を示すブロック図である。
【図６】コントローラの全体動作を示すフローチャートである。
【図７】画像正規化処理の詳細なフローチャートである。
【図８】顔画像における特徴的な部位の特徴点を示す図である。
【図９】２次元画像中の特徴点から３次元座標を算出する模式図である。
【図１０】３次元の顔の標準モデルを示す図である。
【図１１】テクスチャ情報を示す図である。
【図１２】正規化後の特徴的な部位の個別制御点を示す図である。
【図１３】認証対象者とカメラとの距離と重み係数との関係を示す図である。
【図１４】図１３の関係に基づいて定められる所定の距離と重み係数との対応を示す図である。
【図１５】複数の決定要素（パラメータ）と重み係数との関係を示す図である。
【図１６】レーザ光出射部とカメラとから構成される３次元形状測定器を示す図である。
【符号の説明】
【０１４３】
１  顔認証システム
１０  コントローラ
１１  画像入力部
１２  顔領域検索部
１３  顔部位検出部
１４  個人認証部
１５  出力部
ＣＡ１  カメラ
ＣＡ２  カメラ
【図１】
0004696778.tif 000016
【図２】
0004696778.tif 000017
【図３】
0004696778.tif 000018
【図４】
0004696778.tif 000019
【図５】
0004696778.tif 000020
【図６】
0004696778.tif 000021
【図７】
0004696778.tif 000022
【図８】
0004696778.tif 000023
【図９】
0004696778.tif 000024
【図１２】
0004696778.tif 000025
【図１３】
0004696778.tif 000026
【図１４】
0004696778.tif 000027
【図１５】
0004696778.tif 000028
【図１６】
0004696778.tif 000029
【図１０】
0004696778.tif 000030
【図１１】
0004696778.tif 000031