(57)【特許請求の範囲】
【請求項１】
第１の角度から検査対象物体を撮影して第１画像を得るとともに、前記第１の角度と異なる第２の角度から前記検査対象物体を撮影して第２画像を得る撮像部と、
前記第１画像から第１の特徴点を検出し、当該検出された特徴点の位置を表す第１特徴点座標を得るとともに、前記第２画像から第２の特徴点を検出し、当該検出された特徴点の位置を表す第２特徴点座標を得る特徴点座標算出部と、
前記第１の特徴点と前記第２の特徴点を対応付ける特徴点対応付部と、
前記第２特徴点座標に対して前記第２画像から前記第１画像への平面的な射影変換を実行して変換座標を得る特徴変換部と、
前記変換座標と前記第１特徴点座標との誤差が一定値以下となる場合に、なりすましが試みられたと判定する類似度判定部と、
を備える、なりすまし検知システム。
【請求項２】
請求項１記載のなりすまし検知システムにおいて、
前記第１の特徴点と前記第２の特徴点は、画像上の濃淡の変化が大きい点である、なりすまし検知システム。
【請求項３】
請求項１記載のなりすまし検知システムにおいて、
前記第１の特徴点と前記第２の特徴点は、予め登録された部位に対応する点である、なりすまし検知システム。
【請求項４】
請求項１乃至３いずれか記載のなりすまし検知システムにおいて、
前記第１の特徴点と前記第２の特徴点は、前記検査対象物体の特徴点に加えて、検査対象物体以外の物体の特徴点を含む、なりすまし検知システム。
【請求項５】
請求項１乃至４いずれか記載のなりすまし検知システムにおいて、
前記第１特徴点座標と前記第２特徴点座標とを用いて前記第２画像から前記第１画像への変換行列を求める平面変換行列推定部を備え、前記特徴変換部は、前記変換行列を用いて前記射影変換を実行する、なりすまし検知システム。
【請求項６】
請求項５記載のなりすまし検知システムにおいて、
前記特徴点対応付部で対応付けられた前記第１の特徴点と前記第２の特徴点との対応関係は、前記第１の特徴点と前記第２の特徴点との周辺の輝度パターンに基づいて得られる、なりすまし検知システム。
【請求項７】
請求項５又は６記載のなりすまし検知システムにおいて、
前記平面変換行列推定部は、前記特徴点対応付部で対応付けられた前記第１の特徴点と第２の特徴点の内、一部の対応付けられた特徴点のペアから、各々が４個のペアを含む複数のグループを生成し、前記複数のグループについてそれぞれ複数の暫定変換行列を算出し、前記暫定変換行列を用いて前記第２の特徴点に対し前記射影変換を実行して暫定変換座標を得、前記暫定変換座標とこれに対応する第１の特徴点を表す座標との誤差を算出し、前記複数の暫定変換行列のうち最も小さな誤差を持つ暫定変換行列を前記変換行列として選択する、なりすまし検知システム。
【請求項８】
請求項５又は６記載のなりすまし検知システムにおいて、
前記平面変換行列推定部は、前記特徴点対応付部で対応付けられた前記第１の特徴点と、前記第２の特徴点とを用いて前記変換座標とこれに対応する前記第１特徴点座標との誤差が最小となるように前記変換行列を求める、なりすまし検知システム。
【請求項９】
請求項５乃至８いずれか記載のなりすまし検知システムにおいて、
前記変換行列が、ホモグラフィ行列である、なりすまし検知システム。
【請求項１０】
請求項５記載のなりすまし検知システムにおいて、
前記第１の角度と前記第２の角度とが予め決められており、前記第２画像から前記第１画像への変換行列が予め用意されている、なりすまし検知システム。
【請求項１１】
請求項１乃至１０いずれか記載のなりすまし検知システムにおいて、
予め前記検査対象物体の特徴が登録されている登録特徴記憶部と、
前記撮像部により前記第１の角度から前記検査対象物体を撮影して得た第１画像と、前記登録特徴記憶部に登録されていた特徴とのパターン照合を行う本人認証部と、
前記パターン照合により比較した結果、同一人物であると判断したときに、
前記検査対象物体を撮影する角度を変えるように指示を出すスピーカーと、
を備える、なりすまし検知システム。
【請求項１２】
請求項１乃至１１いずれか記載のなりすまし検知システムにおいて、
当該なりすまし検知システムが通信装置に組み込まれており、  
前記類似度判定部がなりすましでないと判定したときに通信装置のセキュリティロックを解除し、なりすましと判定したときに前記通信装置のセキュリティロックを解除しないロック解除部を備える、なりすまし検知システム。
【請求項１３】
請求項１乃至１２いずれか記載のなりすまし検知システムにおいて、
前記撮像部は、前記第１画像を得る第１の撮像部と、前記第２画像を得る第２の撮像部と、を有するなりすまし検知システム。
【請求項１４】
第１の角度から検査対象物体を撮影して第１画像を得るステップと、
前記第１画像から第１の特徴点を検出し、当該検出された特徴点の位置を表す第１特徴点座標を算出するステップと、
第２の角度から前記検査対象物体を撮影して第２画像を得るステップと、
前記第２画像から第２の特徴点を検出し、当該検出された特徴点の位置を表す第２特徴点座標を算出するステップと、
前記第１特徴点座標と、前記第２特徴点座標との対応付けを行う特徴点対応付ステップと、
前記第２特徴点座標に対して前記第２画像から前記第１画像への平面的な射影変換を実行して変換座標を得る特徴変換ステップと、
前記変換座標と前記第１特徴点座標との誤差が一定値以下となる場合になりすましが試みられたと判定する類似度判定ステップと、
を備える、なりすまし検知方法。
【請求項１５】
請求項１４記載のなりすまし検知方法において、
前記第１の特徴点と前記第２の特徴点は、画像上の濃淡の変化が大きい点とする、なりすまし検知方法。
【請求項１６】
請求項１４記載のなりすまし検知方法において、
前記第１の特徴点と前記第２の特徴点は、予め登録された部位に対応する点である、なりすまし検知方法。
【請求項１７】
請求項１４乃至１６いずれか記載のなりすまし検知システムにおいて、
前記第１の特徴点と前記第２の特徴点は、前記検査対象物体の特徴点に加えて、検査対象物体以外の物体の特徴点を含む、なりすまし検知方法。
【請求項１８】
請求項１４乃至１７いずれか記載のなりすまし検知方法において、
前記第１特徴点座標と前記第２特徴点座標とを用いて前記第２画像から前記第１画像への変換行列を求める平面変換行列推定ステップを備え、前記特徴変換ステップでは、前記変換行列を用いて前記射影変換が実行される、なりすまし検知方法。
【請求項１９】
請求項１８記載のなりすまし検知方法において、
前記特徴点対応付ステップで対応付けられた前記第１の特徴点と前記第２の特徴点との対応関係は、前記第１の特徴点と前記第２の特徴点との周辺の輝度パターンに基づいて得られる、なりすまし検知方法。
【請求項２０】
請求項１８又は１９記載のなりすまし検知方法において、
前記平面変換行列推定ステップは、
前記特徴点対応付ステップで対応付けられた前記第１の特徴点と第２の特徴点の内、一部の対応付けられた特徴点のペアから、各々が４個のペアを含む複数のグループを生成し、前記複数のグループについてそれぞれ複数の暫定変換行列を算出するステップと、
前記暫定変換行列を用いて前記第２の特徴点に対し前記射影変換を実行して暫定変換座標を得、前記暫定変換座標とこれに対応する前記第１の特徴点を表す座標との誤差を算出するステップと、
前記複数の暫定変換行列のうち最も小さな誤差を持つ暫定変換行列を前記変換行列として選択するステップと、
を含む、なりすまし検知方法。
【請求項２１】
請求項１８又は１９記載のなりすまし検知方法において、
前記平面変換行列推定ステップは、前記特徴点対応付ステップにて対応付けられた前記第１の特徴点と前記第２の特徴点とを用いて、前記変換座標とこれに対応する前記第１特徴点座標との誤差が最小となるように前記変換行列を求める、なりすまし検知方法。
【請求項２２】
請求項１８乃至２１いずれか記載のなりすまし検知方法において、
前記変換行列が、ホモグラフィ行列である、なりすまし検知方法。
【請求項２３】
請求項１８項記載のなりすまし検知方法において、
前記第１の角度と前記第２の角度とが予め決められており、前記第２画像から前記第１画像への変換行列が予め用意されている、なりすまし検知方法。
【請求項２４】
第１の角度から撮影された検査対象物体の第１画像から、第１の特徴点の位置である第１特徴点座標を得るとともに、前記第１の角度とは異なる第２の角度から撮影された前記検査対象物体の第２画像から、第２の特徴点の位置である第２特徴点座標を得る特徴点座標算出処理と、
前記第１の特徴点と前記第２の特徴点を対応付ける特徴点対応付処理と、
前記第１の特徴点と前記第２の特徴点を用いて対応付けられた、前記第２の特徴点の第２の座標に対して前記第２画像から前記第１画像への平面的な射影変換を実行して変換座標を得る特徴変換処理と、
前記変換座標と前記第１の特徴点の第１座標との誤差が一定値以下となる場合になりすましが試みられたと判定する類似度判定処理と、
をコンピュータに実行させる、なりすまし検知プログラム。
【請求項２５】
請求項２４記載のなりすまし検知プログラムにおいて、
前記第１の特徴点と前記第２の特徴点は、画像上の濃淡の変化が大きい点である、
なりすまし検知プログラム。
【請求項２６】
請求項２４記載のなりすまし検知プログラムにおいて、
前記第１の特徴点と前記第２の特徴点は、予め登録された部位に対応する点である、なりすまし検知プログラム。
【請求項２７】
請求項２４乃至２６いずれか記載のなりすまし検知プログラムにおいて、
前記第１の特徴点と前記第２の特徴点は、前記検査対象物体の特徴点に加えて、検査対象物体以外の物体の特徴点を含む、なりすまし検知プログラム。
【請求項２８】
請求項２４乃至２７いずれか記載のなりすまし検知プログラムにおいて、
前記第１特徴点座標と前記第２特徴点座標とを用いて前記第２画像から前記第１画像への変換行列を求める平面変換行列推定処理をコンピュータに実行させ、前記特徴変換処理は、前記変換行列を用いた前記射影変換である、なりすまし検知プログラム。
【請求項２９】
請求項２８記載のなりすまし検知プログラムにおいて、
前記特徴点対応付処理で対応付けられた前記第１の特徴点と前記第２の特徴点との対応関係は、前記第１の特徴点と前記第２の特徴点との周辺の輝度パターンに基づいて得られる、なりすまし検知プログラム。
【請求項３０】
請求項２８又は２９記載のなりすまし検知プログラムにおいて、
前記平面変換行列推定処理は、
前記特徴点対応付処理で対応付けられた前記第１の特徴点と第２の特徴点の内、一部の対応付けられた特徴点のペアから、各々が４個のペアを含む複数のグループを生成し、前記複数のグループについてそれぞれ複数の暫定変換行列を算出する処理と、
前記暫定変換行列を用いて前記第２の特徴点に対し前記射影変換を実行して暫定変換座標を得、前記暫定変換座標とこれに対応する第１の特徴点を表す座標との誤差を算出する処理と、
前記複数の暫定変換行列のうち最も小さな誤差を持つ暫定変換行列を前記変換行列として選択する処理と、
を含む、なりすまし検知プログラム。
【請求項３１】
請求項２８又は２９記載のなりすまし検知プログラムにおいて、
前記平面変換行列推定処理は、前記特徴点対応付処理で対応付けられた前記第１の特徴点と、前記第２の特徴点とを用いて前記変換座標とこれに対応する前記第１特徴点座標との誤差が最小となるように前記変換行列を求める、なりすまし検知プログラム。
【請求項３２】
請求項２８乃至３１いずれか記載のなりすまし検知プログラムにおいて、
前記変換行列が、ホモグラフィ行列である、なりすまし検知プログラム。
【請求項３３】
請求項２８記載のなりすまし検知プログラムにおいて、
前記第１の角度と前記第２の角度とが予め決められており、前記第２画像から前記第１画像への変換行列が予め用意されている、なりすまし検知プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、特に本人認証を行う際に、登録本人を写した写真やモニターに写した顔画像などを用いて本人認証を行うことができる、なりすまし検知システム、なりすまし検知方法及びなりすまし検知プログラムに関する。
【背景技術】
【０００２】
なりすまし検知システムは、たとえば、顔部や頭部を用いた本人認証を行う際に、登録者本人を写した写真やモニターに写した顔画像を用いて本人認証を行うシステムをいう。関連するなりすまし検知システム、なりすまし検知方法としては、例えば特許文献１に記載されたものがある。同文献の段落[００１５]には、照明灯を用いて照明環境を変更し、異なる照明環境の顔画像の類似度により、なりすましを排除することが記載されている。また、同文献の段落[００６１]には、予め顔向きを変化させた様々な画像を取得し、その取得された特定方向からの顔画像を認証辞書として登録しておくことが記載されている。【０００３】
また、特許文献２の段落[００１５]から段落[００２１]には、複数の利用者画像とそれぞれの撮像角度を用いて利用者の３次元情報を生成し、あらかじめ保持している本人の顔の３次元形状と照合することで、写真による本人なりすましを排除することが記載されている。尚、特許文献３，非特許文献１，非特許文献２及び非特許文献３については後述する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−１７８３０６号公報
【特許文献２】特開２００４−３６２０７９号公報
【特許文献３】特開２００６−３３８０９２号公報
【非特許文献】
【０００５】
【非特許文献１】金澤、金谷：「コンピュータビジョンのための画像の特徴点の抽出」、電子情報通信学会誌Vol.87,No.12,2004
【非特許文献２】T. K. Leung, M. C. Burl, and P. Perona, "Finding Faces in Cluttered Scenes using Random Labeled Graph Matching", Fifth International Conference on Computer Vision pp.637-644, 1995
【非特許文献３】R. Sukthankar, R. G．Stockton, M. D. Mullin, "Smarter presentations: Exploiting Homography in Camera-Projector Systems", Proceedings of International Conference on Computer Vision, Vol. 1, pp. 247-253, July 2001
【発明の開示】
【０００６】
しかしながら、上記文献記載の関連技術は、以下の点で改善の余地を有していた。
第１に、本人なりすましを検知するために、認証に用いる画像撮影装置以外の付加装置が必要なことである。例えば、異なる照明環境を作り出すには制御可能な外部照明を、また距離測定には専用の距離検出装置を、そして本人の３次元情報を取得するには、複雑な処理装置が必要とされるからである。
第２に、認証時の照明環境の変動により写真などのなりすましを誤って受け入れてしまう確率が高くなるということである。例えば、主成分分析を利用する手法では、被写体の輝度のばらつきを用いてなりすましを判定することとなるが、認証中に照明環境を大きく変更するなどで容易に被写体の輝度のばらつきを大きくすることとなり、結果として、写真を実物として受け入れてしまう確率が高まるからである。
【０００７】
本発明は上記事情に鑑みてなされたものであり、その目的とするところは、画像撮影装置以外に付加装置を用いることなく、撮像画像に基づいて、なりすましを高精度に検知できる、なりすまし検知システム、なりすまし検知方法及びなりすまし検知プログラムを提供することにある。また、本発明の別の目的は、照明環境の変動に対して頑健ななりすまし判定システムを提供することにある。
【０００８】
本発明によれば、第１の角度から検査対象物体を撮影して第１画像を得るとともに、その第１の角度と異なる第２の角度からその検査対象物体を撮影して第２画像を得る撮像部と、その第１画像から第１の特徴点を検出し、その検出された特徴点の位置を表す第１特徴点座標を得るとともに、その第２画像から第２の特徴点を検出し、その検出された特徴点の位置を表す第２特徴点座標を得る算出部と、その第１の特徴点とその第２の特徴点を対応付ける特徴点対応付部と、その第２特徴点座標に対してその第２画像からその第１画像への平面的な射影変換を実行して変換座標を得る特徴変換部と、その変換座標とその第１特徴点座標との誤差が一定値以下となる場合になりすましが試みられたと判定する類似度判定部と、を備えるなりすまし検知システム、を提供する。
【０００９】
本発明によれば、第１の角度から検査対象物体を撮影して第１画像を得るステップと、その第１画像から第１特徴点座標を算出するステップと、第２の角度からその検査対象物体を撮影して第２画像を得るステップと、その第２画像から第２特徴点座標を算出するステップと、その第１特徴点座標と、その第２特徴点座標との対応付けを行う特徴点対応付ステップと、その第２特徴点座標に対してその第２画像からその第１画像への平面的な射影変換を実行して変換座標を得る特徴変換ステップと、その変換座標とその第１特徴点座標との誤差が一定値以下となる場合になりすましが試みられたと判定する類似度判定ステップと、を備えるなりすまし検知方法、を提供する。
【００１０】
本発明によれば、第１の角度から撮影された検査対象物体の第１画像から、第１の特徴点の位置である第１特徴点座標を得るとともに、その第１の角度とは異なる第２の角度から撮影されたその検査対象物体の第２画像から、第２の特徴点の位置である第２特徴点座標を得る特徴点座標算出処理と、その第１の特徴点とその第２の特徴点を対応付ける特徴点対応付処理と、その第１の特徴点とその第２の特徴点を用いて対応付けられた、その第２の特徴点の第２の座標に対してその第２画像からその第１画像への平面的な射影変換を実行して変換座標を得る特徴変換処理と、その変換座標とその第１の特徴点の第１座標との誤差が一定値以下となる場合になりすましが試みられたと判定する類似度判定処理と、をコンピュータに実行させる、なりすまし検知プログラム、を提供する。
【００１１】
このような構成を採用し、複数の入力画像が互いに平面的な対応関係にあるか否かを判定することで、画像装置以外の付加装置を用いることなく、なりすましを高精度に検知できるなりすまし検知システム、なりすまし検知方法及びなりすまし検知プログラムを提供できる。
【００１２】
本発明によれば、検査対象物の画像情報のみに基づき、判定を行うので、撮影装置以外の付加装置を要することなく、なりすまし検知システム、なりすまし検知方法及び、なりすまし検知プログラムを提供できる。また、検査対象物体の輝度のばらつきではなく、特徴点の位置の変動に基づき判定するので、照明環境の変動に対し頑健ななりすまし検知システム、なりすまし検知方法及び、なりすまし検知プログラムを提供できる。
【図面の簡単な説明】
【００１３】
上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。
【図１】第１の実施形態にかかるなりすまし検知システムの機能ブロック図である。
【図２】第１の実施形態の動作を示すフローチャート図である。
【図３】第１の実施の形態の具体的態様の機能ブロック図である。
【図４】第１の実施形態にかかる具体的態様を示す図である。
【図５】第２の実施形態にかかるなりすまし検知システムの機能ブロック図である。
【発明を実施するための形態】
【００１４】
以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。
【００１５】
（第１の実施形態）
図１はなりすまし検知システムの構成例を示す図である。本実施の形態は、第１の角度から検査対象物体を撮影して第１画像を得るとともに、その第１の角度と異なる第２の角度からその検査対象物体を撮影して第２画像を得る撮像部２と、その第１画像から第１の特徴点を検出し、その検出された特徴点の位置を表す第１特徴点座標を得るとともに、その第２画像から第２の特徴点を検出し、その検出された特徴点の位置を表す第２特徴点座標を得る特徴点座標算出部１０１と、その第１の特徴点とその第２の特徴点を対応付ける特徴点対応付部１０２と、その第２特徴点座標に対してその第２画像からその第１画像への平面的な射影変換を実行して変換座標を得る特徴変換部１０４と、その変換座標とその第１特徴点座標との誤差が一定値以下となる場合になりすましが試みられたと判定する類似度判定部１０５と、を備えるなりすまし検知システム、を提供する。
【００１６】
ここで、その検査対象物体に対する撮像部２の第１の角度と、第２の角度とのなす角度を一定とすることができる場合、後述する変換行列は事前に算出しておき、図１の平面変換行列推定部１０３は、何も処理を行わなくても良い。その第１の角度と、第２の角度とのなす角度が変わる場合は、後述するように、その都度平面変換行列推定部１０３を用いて変換行列を計算し、類似判定を行うことになる。
【００１７】
なりすまし検知システムは、図１に示すように、プログラム制御により動作するデータ処理装置１とその検査対象物体を撮影する撮像部２とで構成されている。
【００１８】
ここで、データ処理装置１には、先に述べたように特徴点座標算出部１０１と、特徴点対応付部１０２と、平面変換行列推定部１０３と、特徴変換部１０４と、類似度判定部１０５とを備えている。
【００１９】
撮像部２は、デジタルスチルカメラやデジタルビデオカメラ、ＣＣＤカメラモジュールなどであり、その検査対象物体を撮影する機能と、撮影された画像データをデータ処理装置１へ出力する機能を備える。
【００２０】
特徴点座標算出部１０１は、撮像部２で撮影されたその検査対象物体の第１の角度の画像（以下、第１画像という）と第２の角度の画像（以下、第２画像という）から、それぞれ第１画像の特徴点の位置をあらわす第１特徴点座標と、第２画像の特徴点の位置をあらわす第２特徴点座標を得る。
【００２１】
ここで、特徴点とは、その部位を特定の角度から見た場合に同じように見える点を意味し、目の位置や口の端、ほくろや鼻尖、頬骨の最も高い所、ひげの一部、髪の生え際、眼鏡のフレームの角など、周囲に比べ特定のパターンが存在する領域がなりうる。
【００２２】
これらの特徴点は、例えば画像上の濃淡の変化が大きい点を抽出する手法であるHarris作用素、KLT手法（非特許文献１）や、検出したい特定パターンを事前に登録しておき、テンプレートマッチングにより当該部位を検出する手法（非特許文献２）などを用いて検出される場所を言う。
【００２３】
一般に、テンプレートマッチングとは、予め登録された特定パターン（テンプレート画像）と撮像画像とを比較し、撮像画像の中から特定パターンと類似する画像領域を探索する方法をいう。本実施形態では、顔の特徴や背景などの種々の特徴点を表す特定パターンが予め用意され、特定パターンと第１画像とを比較することにより上記第１の特徴点が抽出され、特定パターンと第２画像とを比較照合することにより上記第２の特徴点が抽出される。特定パターンとこれに対応すると判定された画像領域との間の相関度は「信頼度」と呼ばれ、この信頼度が高いほど、特定パターンとこれに対応する画像領域とが類似すると判断することができる。
【００２４】
また、上記では、特徴点を顔上の位置として説明しているが、得られる特徴点は、背景や顔や頭部の前にある隠蔽物体などに得られる特徴点でも構わない。背景や隠蔽物体の特徴点は、写真であれば顔と同様に平面的に移動し、実物であれば顔の角度の変化とは異なる変化が得られることが期待できるためである。
【００２５】
特徴点対応付部１０２は、第１の特徴点と第２の特徴点の対応付けを行う。すなわち特徴点座標算出部１０１で算出された第１特徴点座標と同様に特徴点座標算出部１０１で算出された第２特徴点座標との対応付けを行う。その特徴点対応付部１０２で対応付けられたその第１の特徴点とその第２の特徴点との対応関係は、その第１の特徴点とその第２の特徴点の周辺の輝度パターンに基づいて得られる。
【００２６】
具体的には、その対応関係は、第１の特徴点と第２の特徴点とで、特徴点の周辺の輝度パターンや周波数、エッジ成分などが類似する特徴点を対応付ける。あるいはテンプレートマッチングを用いて検出された特徴点を対応付けするなどのように対応付けが行われる。この対応付けは、たとえば、第１の特徴点を表す画像領域と第２の特徴点を表す画像領域との間の相関度を算出し、この相関度が高いペア（一対をなす第１および第２の特徴点）を抽出することで実行することができる。以下このように第１の特徴点と第２の特徴点との組を対応点と呼ぶ。
【００２７】
平面変換行列推定部１０３は、特徴点対応付部１０２で対応付けが取れた特徴点の内、一部の特徴点座標を用いて、第２画像を第１画像へ平面的に変換する変換行列を求める。
【００２８】
平面的に変換する変換行列の算出は、例えば、非特許文献３に記載された方法を使用すればよい。この非特許文献３には、ホモグラフィ行列と呼ばれる変換行列の算出法が記載されている。
ホモグラフィ行列Ｈは以下の数１で表せる。
【００２９】
【数１】
0005445460.tif 000002
【００３０】
ここで、ベクトルｐ＝（p1,・・・,p9）とすると、このベクトルのノルムは、｜ｐ｜＝１である。
【００３１】
ホモグラフィ行列は、検査対象物体の同じ点を撮影する２つのカメラ間の座標変換行列であり、その同じ点を撮影した時の、カメラ１で得られた第１画像上のその点の座標を（x,y)、カメラ２で得られた第２画像上のその点の座標を（X,Y)とする。
物体表面上のあるｎ点（ｎ≧４）の二つのカメラ上の座標を、（ｘi,ｙi）、（Xi,Yi）とすると、ｎ点を表す第１画像上の点（ｘi,ｙi）と第２画像上の点(Xi、Yi）とが対応付けられているとする（ｉ＝１・・・ｎ）。
【００３２】
ここで、行列Ａを以下のように定義する。
【数２】
0005445460.tif 000003
【００３３】
この時、｜ＡｐＴ｜を最小化するベクトルｐを求めることで、二つの画像間の射影を定義する最適ホモグラフィ行列Ｈが求まる。ここで、記号Ｔは行列の転置を意味する。このホモグラフィ行列Ｈを変換行列として用い以下の射影変換を実行することで（ｘｗ、ｙｗ、ｗ）を得ることができる。
【数３】
0005445460.tif 000004
【００３４】
ｘｗ、ｙｗをｗで割ることにより、第１画像上の（ｘ、ｙ）が得られる。
尚、ここではカメラが２台有ることを想定しているが、１台のカメラで撮影角度を変えて撮影することで上記第１画像と第２画像とを得ても良い。
【００３５】
このように推定した平面変換行列により第２特徴点座標を第１画像上に変換し、変換座標を算出することができる。尚、その変換行列算出時に、対応付けが合っている可能性の高い一部の対応点を用いて変換行列を求めても良い。
【００３６】
平面変換行列推定部１０３では、その特徴点対応付部１０２で対応付けられたその第１の特徴点と、その第２の特徴点とを用いてその第２特徴点変換座標とこれに対応するその第１特徴点座標との誤差（差）が最小となるようにその変換行列を求めればよい。
【００３７】
次に、対応関係の一部を用いて最適なホモグラフィ行列を推定する方法の具体例を以下に示す。
【００３８】
ここで、８個の特徴点の対応付けが得られたとする。先ず、上述した通り、ホモグラフィ行列の計算には最低４点の対応付けがあれば足りるので、対応付けされた８点の特徴点のペアのうち４点のペアを用いて第１の暫定変換行列である暫定ホモグラフィ行列を計算する。次に、この暫定ホモグラフィ行列を用いて、４点のペアをなす第２の特徴点座標を第１画像上に射影することにより、４点の変換座標を得る。そして、これら４点の変換座標とこれらとそれぞれ対応する第１の特徴点座標との間の誤差（差）を算出する。一方、残る４点のペアを用いて第２の暫定変換行列である暫定ホモグラフィ行列を計算する。次に、この暫定ホモグラフィ行列を用いて、４点のペアをなす第２の特徴点座標を第１画像上に射影することにより、４点の変換座標を得る。そして、これら４点の変換座標とこれらとそれぞれ対応する第１の特徴点座標との間の誤差（差）を算出する。以上のようにして得られた第１の暫定変換行列と第２の暫定変換行列のうち、誤差（差）の最も小さな暫定変換行列を正式な変換行列（ホモグラフィ行列）として推定する。
【００３９】
ここで、このホモグラフィ行列の計算の際に、８点の特徴点の対応付けの全てを用いたが、先に得られた対応付けの相関度を閾値処理し、十分に高い相関度が得られている特徴点の対応付けのみを用いて上記の計算をすることで、さらに高精度にホモグラフィ行列を推定することが可能となる。
【００４０】
上記内容を一般的に表すと、以下のようになる。第１の特徴点と第２の特徴点の対応関係（ペア）がＮ個存在するとする。Ｎ個のペアから、各々が４個のペアを含む第１〜第ＭのグループＧ１〜ＧＭを生成する。なお、グループＧ１〜ＧＭに含まれるペアは、互いに重複しても構わない。これらグループＧ１〜ＧＭについて、それぞれ上記の暫定ホモグラフィ行列ＰＨ１〜ＰＨＭを算出する。次に、これらグループＧ１〜ＧＭについてそれぞれ変換座標を算出し、当該変換座標とこれらに対応する第１の特徴点を表す座標との間の誤差（たとえば、ユークリッド空間上のノルム、あるいはマンハッタン距離）を算出する。そして、誤差の総和の最も小さな暫定変換行列を変換行列（ホモグラフィ行列）として推定する。
【００４１】
特徴変換部１０４は、平面変換行列推定部１０３で算出した変換行列を用いて、第２の座標を第１画像上の変換座標へ平面的な射影変換し第１画像上に第２画像の射影変換座標を得る。
【００４２】
類似度判定部１０５は、特徴変換部１０４で求めた第１画像上の第２画像の射影変換座標と第１画像上の第１座標との誤差（差）を求める。この誤差（差）が一定値以下であれば、第１画像と第２画像に写る検査対象物体は平面的な対応関係があると判定し、写真による本人なりすましが発生していると判定する。尚、ここで類似度が大きいとは、検査対象物体が実物に近いという意味であり、この判定においては、第１画像上の第２画像の射影変換座標と第１画像上の第１座標との誤差（差）が大きいことを言う。
【００４３】
このような構成とすることにより、第１画像と第２画像とで被写体を撮影する角度が異なる場合に、被写体が写真でなければ平面的な変形が得られず非平面であると判定されるようになる。この結果、被写体が平面か非平面かの判定を行うことが可能となる。
【００４４】
また、本実施形態では、第１画像と第２画像に写る被写体が平面的に変形しているという判定が一定時間得られた場合に、被写体が写真であると判定しても構わない。
【００４５】
本実施の形態では、このように、本人認証を行う際に検査対象物体を異なる角度から撮影したお互いに角度が異なる２方向からの画像が互いに平面的な射影影関係にあるか否かのみでなりすまし検知を行うように構成されているため、本人登録時に認証者本人の３次元情報を登録する必要はない。
従って、本人登録時に３次元情報を得る時のように多方向から本人画像を撮影する必要がないので、ユーザの利便性がよくなる。
【００４６】
次に第１の実施形態のなりすまし検知方法を図２のフローチャートを用いて説明する。
【００４７】
図２のなりすまし検知方法は、第１の角度から検査対象物体を撮影して第１画像を得るステップＡ０１と、その第１画像から第１の特徴点を検出し、この検出された特徴点の位置を表す第１特徴点座標を算出するステップＡ０２と、第２の角度から前記検査対象物体を撮影して第２画像を得るステップＡ０３と、その第２画像から第２の特徴点を検出し、この検出された特徴点の位置を表す第２特徴点座標を算出するステップＡ０４と、その第１特徴点座標と、その第２特徴点座標との対応付けを行う特徴点対応付ステップＡ０５と、その第２特徴点座標に対してその第２画像からその第１画像への平面的な射影変換を実行して変換座標を得る特徴変換ステップＡ０７と、その変換座標とその第１特徴点座標との誤差が一定値以下となる場合に、なりすましが試みられたと判定する類似度判定ステップＡ１０と、を備える。
【００４８】
ここで、その第１の角度と第２の角度とのなす角度を一定とすることができる場合、後述する変換行列ステップＡ０６は事前に算出しておき、図２の平面変換行列推定ステップＡ０６は省略して構わない。第１の角度と第２の角度とのなす角度が変わる場合は、後述するように、その都度変換行列推定ステップＡ０６の計算行い、類似度計算ステップＡ０８を行い類似度の判定Ａ０９〜Ａ１１を行うことになる。
【００４９】
次に各ステップの説明を行う。
（ステップＡ０１）
まず、撮像部２により被写体の第１の角度の画像を撮影する。
【００５０】
（ステップＡ０２）
次に、第１画像を受けた第１の特徴座標算出ステップＡ０２では、第１画像から第１の特徴点の位置である第１の座標を算出する。
【００５１】
ここで、特徴点とは、その部位を特定の角度から見た場合に同じように見える点を意味し、目の位置や口の端、ほくろや鼻尖、頬骨の最も高い所、ひげの一部、髪の生え際、眼鏡のフレームの角など、周囲に比べ特定のパターンが存在する領域がなりうる。また、上記では、特徴点を顔上の位置として説明しているが、得られる特徴点は、背景や顔や頭部の前にある隠蔽物体などに得られる特徴点でも構わない。背景や顔や頭の隠蔽物体の特徴点は、写真であれば顔と同様に平面的に移動し、実物であれば顔の角度の変化とは異なる変化が得られることが期待できるためである。
【００５２】
これらの特徴点は、例えば画像上の濃淡の変化が大きい点を抽出する手法や、検出した特定パターンを事前に登録しておき、テンプレートマッチングにより当該部位を検する手法によって得られるものでもかまわない。また、特徴点は、１つ以上の様々な部位で構成されているが、第１の特徴点と第２の特徴点が全て同じ部位である必要はない。
【００５３】
（ステップＡ０３）
続いて、撮像部２により被写体の第２の角度の画像を撮影する。
【００５４】
（ステップＡ０４）
第２画像を受けた特徴点座標算出部１０１は、第２画像から第２の特徴点の位置である第２の座標を算出する。
【００５５】
（ステップＡ０５）
第１の特徴点座標算出ステップＡ０２と第２の特徴点座標算出ステップＡ０４で算出した２つの特徴点座標を用いて対応付けを行う。
また、その対応関係は、第１の特徴点と第２の特徴点とで、特徴点の周辺の輝度パターン、周波数、そしてエッジ成分などが類似する特徴点を対応付ける。あるいはテンプレートマッチングを用いて対応が取れている特徴点を検出するなどの方法により得られる。
【００５６】
（ステップＡ０６）
上記により対応が得られた第１特徴点座標と第２特徴点座標とを用いて、その第２画像を第１画像へ平面的に変換する変換行列を求める。すなわち、平面変換行列推定ステップは、特徴点対応付が取れた特徴点の内、一部の特徴点座標を用いて、第２画像を第１画像へ平面的に射影変換する。
【００５７】
尚、第１画像を撮影した第１の角度と、第２画像を撮影した第２の角度とがなす角度が固定されている場合、予め変換行列の計算をしておけば平面変換行列推定ステップＡ０６は省略できる。
【００５８】
その特徴点対応付部１０２で対応付けられた第１の特徴点と第２の特徴点との対応関係は、たとえば、上述した通り、その第１の特徴点とその第２の特徴点との周辺の輝度パターンに基づいて得られるなりすまし検知方法であってもよい。
【００５９】
また、変換行列算出時に、対応付けが合っている可能性の高い一部の対応点を用いて変換行列を求めるなりすまし検知方法であってもよい。
【００６０】
ここで、第１の特徴点と第２の特徴点の対応関係（ペア）がＮ個存在するとする。Ｎ個のペアから、各々が４個のペアを含む第１〜第ＭのグループＧ１〜ＧＭを生成し、これらグループＧ１〜ＧＭについて、それぞれ複数の暫定変換行列を算出するステップと、その暫定行列を用いてその第２の特徴点に対し射影変換を実行して暫定変換座標を得て、その暫定変換座標とこれに対応する第１の特徴点を表す座標との誤差（たとえば、ユークリッド空間上のノルム、あるいはマンハッタン距離）を算出するステップと、次に、これらグループＧ１〜ＧＭについてそれぞれ複数の暫定変換行列のうち最も小さな誤差を持つ暫定変換行列をその変換行列として選択するステップと、を含む、なりすまし検知方法であっても良い。
【００６１】
その平面変換行列推定ステップは、その特徴点対応付ステップにて対応付けられたその第１の特徴点とその第２の特徴点とを用いて、第２の特徴点を暫定変換行列により座標変換を算出するステップと、算出した変換座標とその特徴点に対応する第１の特徴点との誤差（差）が最小となる暫定行列を変換行列とするなりすまし検知方法であっても良い。
【００６２】
そして、その変換行列が、上述したホモグラフィ行列である、なりすまし検知方法であっても良い。
尚、その第１の角度とその第２の角度はあらかじめ与えられている場合は、平面変換行列による変換座標は予め求めて置いても良い。
【００６３】
（ステップＡ０７）
特徴点変換処理（擬似正面特長算出ステップ）は、その平面変換行列処理によって得られた変換行列を用いて、その射影変換を実行する特徴変換（擬似正面特徴算出）ステップを備えている。
特徴変換（擬似正面特徴算出）ステップは、平面変換行列推定ステップＡ０６で算出した変換行列を用いて、第２の座標を第１画像上に射影変換するステップである。
【００６４】
（ステップＡ０８）
最後に、類似度計算ステップＡ０８は、特徴変換（擬似正面特徴算出）ステップＡ０７で求めた第１画像上に射影された第２画像の射影された変換座標と第１画像の変換座標との座標の誤差（差）を求める。
【００６５】
（ステップＡ０９）
この第１画像変換座標と射影された第２画像の射影変換座標との誤差（差）を類似度として閾値と比較する。
【００６６】
（ステップＡ１０、Ａ１１）
この誤差（差）が一定値以下であれば、第１画像と第２画像に写る検査対象物体は平面的な対応関係があると判定し、写真による本人なりすましが発生していると判定する。尚、ここで類似度が大きいとは、実物に近いという意味であり、この判定においては、誤差（差）が大きいことを言う。
【００６７】
このような構成とすることにより、第１画像と第２画像とで被写体を撮影する角度が異なる場合に、被写体が写真でなければ平面的な変形が得られず非平面であると判定されるようになる。この結果、被写体が平面か非平面かの判定を行うことが可能となる。
【００６８】
また、本実施形態では、第１画像と第２画像に写る被写体が平面的に変形しているという判定が一定時間得られた場合に、被写体が写真であると判定しても構わない。
【００６９】
類似度がしきい値より大きければ写真と判定Ａ１０し、小さければ実物と判定Ａ１１し、処理を終了する。
【００７０】
本願の構成では、このように、平面変換行列により、第２画像を第１画像上に変換し、変換座標を算出する方法によって、なりすまし検査をできるので、本人認証を行う時に検査対象物体を異なる角度から撮影した複数の画像が互いに平面的な射影関係にあるか否かのみでなりすまし検知を行うように構成されているため、本人登録時に認証者本人の３次元情報を登録する必要はない。
従って、本人登録時に複数方向から本人画像を撮影する必要がないので、ユーザの利便性がよくなる。
【００７１】
次に、図１及び図３を用いて、第１の実施形態のプロプラムについて説明する。尚、図３は後述する図１の具体的対応を示す図である。
【００７２】
図１のデータ処理装置１、図３のデータ処理装置６はそれぞれ、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、信号伝達用バスおよび入出力インターフェースを備えた集積回路で構成することができる。データ処理装置１および６の機能ブロック１０１、１０２、１０３、１０４、６０１及び６０２の全部または一部は、半導体集積回路などのハードウェアで実現されてもよいし、あるいは、不揮発性メモリや光ディスクなどの記録媒体に記録されたプログラムまたはプログラムコードで実現されてもよい。このようなプログラムまたはプログラムコードは、機能ブロック１０１、１０２、１０３、１０４、６０１及び６０２の全部または一部の処理を、ＣＰＵなどの演算装置を有するコンピュータに実行させるものである。
【００７３】
図１において、なりすまし検知プログラムは、第１の角度から撮影された検査対象物体の第１画像から、第１の特徴点の位置である第１の特徴点座標を得るとともに、その第１の角度とは異なる第２の角度から撮影されたその検査対象物体の第２画像から、第２の特徴点の位置である第２特徴点座標を得る特徴点算出処理と、その第１の特徴点とその第２の特徴点を対応付ける特徴点対応処理と、その第１の特徴点を用いて対応付けられた、その第２の特徴点の第２の座標に対してその第２画像からその第１画像への平面的な射影変換を実行して変換座標を得る特徴変換処理と、その変換座標とその第１の特徴点の第１座標との誤差が一定値以下となる場合になりすましが試みられたと判定する類似度判定処理と、をコンピュータに実行させる。
【００７４】
ここで、その検査対象物体に対する撮像部２の第１の角度と、第２の角度とのなす角度を一定とすることができる場合、後述する変換行列は事前に算出しておけば、図１の平面変換行列推定処理は、何も処理を行わなくても良い。その第１の角度と、第２の角度とのなす角度が変わる場合は、後述するように、その都度平面変換行列推定処理により変換行列を計算し、類似判定処理を行うことになる。
【００７５】
図１の特徴点座標算出部１０１では、撮像部２により被写体の第１の角度の画像を取得し、第１画像から第１の特徴点の第１の座標を算出する処理と、続いて、その第１の角度とは異なる第２の角度から撮影されたその検査対象物体の第２画像から、第２の特徴点の第２の座標を算出する処理とをコンピュータに実行させる。
【００７６】
ここで、特徴点とは、その部位を特定の角度から見た場合に同じように見える点を意味し、目の位置や口の端、ほくろや鼻尖、頬骨の最も高い所、ひげの一部、髪の生え際、眼鏡のフレームの角など、周囲に比べ特定のパターンが存在する領域がなりうる。また、上記では、特徴点を顔上の位置として説明しているが、得られる特徴点は、背景や顔や頭部の前にある物体などに得られる特徴点でも構わない。
【００７７】
そして、これらの特徴点は、例えば画像上の濃淡の変化が大きい点を抽出する手法や、検出しい特定パターンを事前に登録しておき、テンプレートマッチングにより当該部位を検出する手法によって得られるものでもかまわない。また、特徴点は、１つ以上の様々な部位で構成されているが、第１の特徴点と第２の特徴点が全て同じ部位である必要はない。
【００７８】
図１の特徴点対応部は、特徴点座標算出部１０１で特徴点算出処理された２つの特徴点座標を用いて特徴点対応付け処理をコンピュータに実行させる。
【００７９】
ここで、その対応関係は、第１の特徴点と第２の特徴点とで、特徴点の周辺の輝度パターン、周波数、そしてエッジ成分などが類似する特徴点を対応付ける。あるいはテンプレートマッチングを用いて対応が取れている特徴点を検出するなどの方法により得られる。
【００８０】
図１の平面変換行列推定部１０３では、上記により対応が得られた第１特徴点座標と第２特徴点座標から平面変換行列を推定し、推定した平面変換行列により第２特徴点座標を第１画像上に変換し、変換座標を得る処理をコンピュータに実行させる。
尚、第１画像を撮影した第１の角度と、第２画像を撮影した第２の角度とがなす角度が固定されている場合は予め変換行列の計算をしておけば平面変換行列推定部１０３は省略できる。
【００８１】
その特徴点対応部１０２で対応付けられたその第１の特徴点とその第２の特徴点との対比関係は、例えば上述の通りその第１の特徴点とその第２の特徴点との周辺の輝度パターンに基づいて得らる処理であっても良い。
【００８２】
また、その変換行列算出時に、対応付けがあっている可能性の高い一部の対応点を用いて変換行列を求めるなりすまし検知プログラムであってもよい。
【００８３】
その変換行列算出時に、一部の対応点を用いて暫定変換行列を算出し、その暫定変換行列の算出に用いていない第２の特徴点を暫定変換行列により変換し変換座標を算出し、算出した変換座標とその特徴点に対応する第１の特徴点との誤差（差）が最小となる暫定変換行列を変換行列とするなりすまし検知プログラムであってもよい。
【００８４】
その変換行列は、その第２画像をその第１画像へ平面的に射影する変換行列であるなりすまし検知プログラムあってもよい。
【００８５】
そして、その変換行列が、ホモグラフィ行列であるなりすまし検知プログラムであっても良い。
尚、その第１の角度とその第２の角度はあらかじめ与えられている場合は、平面変換行列による変換座標は予め求めて置いても良い。
【００８６】
第１の特徴点と第２の特徴点の対応関係（ペア）がＮ個存在するとする。Ｎ個のペアから、各々が４個のペアを含む第１〜第ＭのグループＧ１〜ＧＭを生成し、これらグループＧ１〜ＧＭについて、それぞれ上記の暫定ホモグラフィ行列ＰＨ１〜ＰＨＭを算出する処理と、次に、これらグループＧ１〜ＧＭについてそれぞれ変換座標を得、当該変換座標とこれらに対応する第１の特徴点を表す座標との間の誤差（たとえば、ユークリッド空間上のノルム、あるいはマンハッタン距離）を算出する処理と、そして、誤差の総和の最も小さな暫定変換行列を変換行列（ホモグラフィ行列）として選択する処理とをコンピュータに実行させる。なお、そのグループＧ１〜ＧＭに含まれるペアは、互いに重複しても構わない。
【００８７】
図１の特徴変換部１０４は、平面変換行列推定処理で得た変換行列を用いて、第２の特徴点標を第１特徴点座標への射影変換処理をコンピュータに実行させる。
【００８８】
図１の、類似度判定部１０５は、特徴変換部１０４で求めた第１画像上の変換座標と射影変換された第２画像の射影変換座標の画像との誤差（差）を求める処理をコンピュータに実行させる。
【００８９】
類似判定処理では、変換座標と対応する第２の座標との誤差（差）を類似度として閾値と比較する処理をコンピュータに実行させる。この誤差（差）が一定値以下であれば、第１画像と第２画像に写る検査対象物体は平面的な対応関係があると判定し、写真による本人なりすましが発生していると判定する。尚、ここで類似度が大きいとは、実物に近いという意味であり、この判定においては、誤差（差）が大きいことを言う。
【００９０】
このような構成とすることにより、第１画像と第２画像とで被写体を撮影する角度が異なる場合に、被写体が写真でなければ平面的な変形が得られず非平面であると判定されるようになる。この結果、被写体が平面か非平面かの判定を行うことが可能となる。
【００９１】
また、本実施形態では、第１画像と第２画像に写る被写体が平面的に変形しているという判定が一定時間得られた場合に、被写体が写真であると判定しても構わない。
【００９２】
類似度がしきい値より大きければ写真と判定し、小さければ実物と判定し、コンピュータに処理を終了させる。
【００９３】
本願の構成では、このように、平面変換行列により、第２画像を第１画像上に変換し、変換座標を算出する方法によって、なりすまし検査をできるので、本人認証を行う時に検査対象物体を異なる角度から撮影した複数の画像が互いに平面的な射影関係にあるか否かのみでなりすまし検知を行うように構成されているため、本人登録時に認証者本人の３次元情報を登録する必要はない。従って、本人登録時に複数方向から本人画像を撮影する必要がないので、ユーザの利便性が良くなる。
【００９４】
（第１の実施形態の具体的態様）
次に、第１の実施形態の具体的態様を説明する。図３は、図１のなりすまし検知システムを携帯電話５に適用した図である。
【００９５】
かかる実施の形態の具体的態様は、カメラ付き携帯電話５を想定し、撮像部２は携帯電話５付属のＣＣＤカメラ７であり、事前にこの携帯電話５はセキュリティロックがかかっているものとする。
【００９６】
ユーザは、本携帯電話５のセキュリティロックの解除を行う際に、携帯電話５のキーボタンを押したり、折り畳み式携帯電話５であれば、携帯電話５を開いたり、あるいはスライド式携帯電話５であれば、スライドするなど、携帯電話５を使用するための動作を行う。
【００９７】
これらの動作をトリガーとして、携帯電話５はＣＣＤカメラ７から検査対象物体１２の画像を取得する。続いて、取得した画像中の生体情報が、記憶装置８の登録特徴記憶部８０１に予め登録されている特徴と同一人物から得られたか否かを本人認証部６０１で判定する。ここで、入力画像と登録特徴との照合は、例えば特許文献３などに記載の顔照合手法などに基づき行われる。この照合の結果、検査対象物体１２の画像は、登録特徴が得られた人物と同一人物の画像であると判定されると、携帯電話５のモニター９やスピーカー１０やＬＥＤディスプレイ１１などを通してユーザに対し生体情報を撮影する角度を変更するように指示を出す。
【００９８】
またユーザに対する指示の前後に、本人認証に用いた画像を第１の角度の画像として特徴点座標算出部１０１に送り、特徴点座標算出部１０１で第１の特徴点の第１の座標を得る。
【００９９】
続いて、特徴点座標算出部１０１は、第１画像と異なる第２の角度の画像をＣＣＤカメラ７から取得し、第２の特徴点座標を算出する。
【０１００】
特徴点対応付部１０２は、第１の特徴点と第２の特徴点の対応付けを行う。すなわち特徴点座標算出部１０１で算出された第１特徴点座標と同様に特徴点座標算出部１０１で算出された第２特徴点座標との対応付けを行う。
【０１０１】
また、その対応関係は、第１の特徴点と第２の特徴点とで、特徴点の周辺の輝度パターン、周波数、そしてエッジ成分などが類似する特徴点を対応付ける。あるいはテンプレートマッチングを用いて対応が取れている特徴点を検出するなどの方法により得られる。また、その対応関係は、第１の特徴点と第２の特徴点とで、特徴点の周辺の輝度パターンや周波数、エッジ成分などが類似する特徴点を対応付ける。あるいはテンプレートマッチングを用いて対応が取れている特徴点を検出するなどにより得られる。
【０１０２】
平面変換行列推定部１０３では、その特徴点対応付部１０２で対応付けられたその第１の特徴点と、その第２の特徴点とを用いてその第２特徴点座標とこれに対応するその第１特徴点座標との誤差（差）が最小となるようにその変換行列を求める。
【０１０３】
この際、検査対象物体１２が、実物の顔である場合、図４（ａ）のように第２の画像の特徴点の座標を第１画像上に平面的に射影変換した変換座標は、対応する第１の座標に対して位置の誤差（差）が発生する。
【０１０４】
図４（ａ）には、第１の角度でから検査対象物体を撮影した第１の画像１３と第１の画像１３の検査対象物体を左側に回り込んで第２の角度から撮影した第２の画像１４とが一番上側に示されている。第１の画像１３の下側にはその特徴点の座標を算出した特徴点座標１５が、第２の画像１４の下側にはその特徴点の座標を算出した特徴点座標１６が示されている。そして第１画像の特徴点座標１５と第２の画像特徴点座標１６の下側には、第１の画像の特徴点座標と第２の画像の特徴点座標を第１画像上に平面的に射影した特徴点座標とがそれぞれ星印で示されている。更にその下側には第１の画像の特徴点座標と第２の画像の特徴点座標を第１画像上に平面的に射影した特徴点座標との比較が示してある。この図で第１の画像の特徴点座標と、第２の画像の特徴点座標を第１画像上に平面的に射影した特徴点座標とのずれている部分（鼻の頭など）を矢印で示してある。このことより検査対象物体は立体的であり、実顔と判定できる。
【０１０５】
一方、図４（ｂ）には写真の顔を撮影した場合の判定の流れを示す。
第１の角度から検査対象物体を撮影した第１の画像２３と検査対象物体である額縁２１を回転させ（検査対処物体の額縁２３の左側の）第２の角度から撮影した画像２４とが一番上側に示されている。第１の画像２３の下側にはその特徴点の座標を算出した特徴点座標２５が、第２の画像２４の下側にはその特徴点の座標を算出した特徴点座標２６が示されている。そして第１画像の特徴点座標２５と第２の画像特徴点座標２６の下側には、第１の画像の特徴点座標と第２の画像の特徴点座標を第１画像上に平面的に射影した特徴点座標とがそれぞれ星印で示されている。更にその下側には第１の画像の特徴点座標と第２の画像の特徴点座標を第１画像上に平面的に射影した座標との比較が示してある。この図で、第１の画像の特徴点座標と第２の画像の特徴点座標を第１画像上に平面的に射影した特徴点座標とがほぼ一致していることを太い矢印で示している。このことより検査対象物体は平面的な写真であり、なりすましであると判定できる。
【０１０６】
この座標の誤差(差）が、閾値以上である場合に、検査対象物体１２は実物の顔であると判定し、図３のロック解除部６０２にて携帯電話５のセキュリティロックを解除する。
【０１０７】
座標の誤差（差）が閾値未満である場合、セキュリティロックを解除せずに処理を終了する。尚、本実施例では、座標の誤差（差）が閾値未満である場合に、処理をすぐに終了しているが、座標の誤差（差）が閾値を越えるまで一定時間、第２画像を繰り返し取得してなりすまし判定を行っても構わない。
【０１０８】
このように、実装することで、写真やモニター９に表示した顔画像を用いて、携帯電話５のセキュリティロックの解除を試みられた場合に、撮影装置以外の付加装置を要せず、また、照明環境の変動に対し頑健に、また、被写体の３次元情報を登録することなくなりすまし検知を行うことができ、携帯電話５への不正アクセスを防止することが可能である。
【０１０９】
次に、第１の実施形態の効果について説明する。
本実施の形態では、検査対象物体１２を撮影した画像のみに基づき、なりすまし検知を行うように構成されているため、撮影装置以外の付加装置を要することなくなりすまし検知ができる。
【０１１０】
また、本実施の形態では、さらに、検査対象物の輝度のばらつきではなく、特徴点の位置の変動に基づきなりすまし検知を行うように構成されているため、検査対象物体１２の周囲の照明環境の変動に対し頑健になりすまし検知できる。
【０１１１】
また、本実施の形態では、さらに、本人認証を行う時に検査対象物体１２を異なる角度から撮影した複数の画像が互いに平面的な射影関係にあるか否かのみでなりすまし検知を行うように構成されているため、本人登録時に認証者本人の３次元情報を登録する必要はない。従って、本人登録時に複数方向から本人画像を撮影する必要がないので、ユーザの利便性がよくなる。
【０１１２】
（第２の実施形態）
次に、本発明の第２の実施の形態について図５を用いて説明する。
第２の実施形態は、第１の角度から１２を撮影して第１画像を得る第１の撮像部２と、その第１の角度とは異なる第２の角度からその検査対象物体１２を撮影する第２画像を得る第２の撮像部３と、その第１画像から第１の特徴点を検出し、その検出された特徴点の位置を表す第１特徴点座標を得るとともに、その第２画像から第２の特徴点を検出し、当該検出された特徴点の位置を表す第２特徴点座標を得る特徴点座標算出部４０１と、その第１の特徴点とその第２の特徴点を対応付ける特徴点対応付部１０２と、その第２特徴点座標をその第１画像へ平面的に変換して、変換座標を得る特徴変換部１０４と、その変換座標とその第１特徴点座標との誤差（差）が一定値以下となる場合になりすましが試みられたと判定する類似度判定部１０５と、を備えるなりすまし検知システム、を提供する。
【０１１３】
図５を参照すると、本発明の第２の実施の形態は、プログラム制御による動作するデータ処理装置４が、図１に示された第１の実施の形態におけるデータ処理装置１、特徴点座標算出部１０１が特徴点座標算出部４０１に置き換わっている点と、第１の実施の形態に撮像部３が追加されている点が異なる。
【０１１４】
撮像部２と撮像部３は、検査対象物体１２を互いに異なる角度から撮影するように配置されている。この撮像装置２及び３は、具体的態様において、携帯電話５に２台のＣＣＤカメラ７を設けることにしても良い。このようにすることにより、第１の角度と第２の角度を固定できるので予め平面変換行列を計算して置き、平面変換行列推定部１０３を削除できる。
【０１１５】
特徴点座標算出部４０１は、撮像部２と撮像部３から第１の角度の第１画像と第１の角度とは異なる第２の角度の第２画像をほぼ同時に取得し、それぞれ第１特徴点座標と第２特徴点座標を取得する。
【０１１６】
特徴点対応付部１０２は、第１の特徴点と第２の特徴の対応付けを行う。すなわち特徴点座標算出部４０１で算出された第１特徴点座標と同様に特徴点座標算出部４０１で算出された第２特徴点座標との対応付けを行う。
【０１１７】
また、その対応関係は、第１の特徴点と第２の特徴点とで、特徴点の周辺の輝度パターン、周波数、そしてエッジ成分などが類似する特徴点を対応付ける。あるいはテンプレートマッチングを用いて対応が取れている特徴点を検出するなどの方法により得られる。また、その対応関係は、第１の特徴点と第２の特徴点とで、特徴点の周辺の輝度パターンや周波数、エッジ成分などが類似する特徴点を対応付ける。あるいはテンプレートマッチングを用いて対応が取れている特徴点を検出するなどにより得られる。  
【０１１８】
平面変換行列推定部１０３は、前記特徴点座標算出部４０１で抽出された第１の座標と第２の座標に基づき、第２画像を第１画像へ平面的に変換する変換行列を求める。
【０１１９】
この時、撮像部２と撮像部３は、なす角度が固定であると仮定できる場合、変換行列は撮像部２と撮像部３のなす角度から事前に算出して置いても良い。この場合、平面変換行列推定部１０３では何も処理を行わない。 
【０１２０】
以降は、第１の実施形態と同様に処理される。
【０１２１】
次に、第２の実施形態の効果について説明する。
第１にこのように構成することで、本発明の実施の形態は、第１の実施の形態と同様の効果を得ることができる。また、この構成により、検査対象物体１２に撮影角度を変える動作を要求する必要がなくなり、利便性が改善されることが期待できる。
【０１２２】
この出願は、２００８年１０月２８日に出願された日本出願特願２００８−２７７２１２号を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【図１】
0005445460.tif 000005
【図２】
0005445460.tif 000006
【図３】
0005445460.tif 000007
【図４】
0005445460.tif 000008
【図５】
0005445460.tif 000009