(57)【要約】  本発明は、一つのカメラによる一度の撮影によって、複数の画像認証を同時に実現することができる認証装置を提供することを目的とする。  本発明の認証装置は、認証部２６１が、登録テンプレートデータベース２６２に記憶した第１のテンプレートと、撮影装置２２により取得した画像のうちの一領域を構成する第１の画像と、を照合して算出した類似度が第１の所定値以上であり、かつ、登録テンプレートデータベース２６２に記憶した第２のテンプレートと、撮影装置２２により取得した画像のうちの一領域を構成する、第１の画像とは形成する像が異なる第２の画像と、を照合して算出した類似度が第１の所定値以上である場合に、認証に成功したと判定する、ものである。
2008081527.tif 000002
【特許請求の範囲】
【請求項１】
画像によって形成される像を特定するための第１のテンプレートと、前記第１のテンプレートとは特定する像が異なる第２のテンプレートと、を記憶する登録テンプレートデータベースと、
撮影対象を画像として取得する撮影部と、
前記登録テンプレートデータベースに記憶したテンプレートと、前記撮影部により取得した画像のうちの一領域を構成する画像と、を照合して類似度を算出する第１の画像照合部と、
前記第１の画像照合部が算出した類似度が第１の所定値以上である場合に認証に成功したと判定する画像認証部と、
を備え、
前記画像認証部は、前記第１の画像照合部が、前記登録テンプレートデータベースに記憶した前記第１のテンプレートと、前記撮影部により取得した画像のうちの一領域を構成する第１の画像と、を照合して算出した類似度が前記第１の所定値以上であり、かつ、前記登録テンプレートデータベースに記憶した前記第２のテンプレートと、前記撮影部により取得した画像のうちの一領域を構成する、前記第１の画像とは形成する像が異なる第２の画像と、を照合して算出した類似度が前記第１の所定値以上である場合に、認証に成功したと判定する、
認証装置。
【請求項２】
請求項１記載の認証装置であって、
画像によって形成される像の形状を特定するためのテンプレートを記憶する形状テンプレートデータベースと、
前記形状テンプレートデータベースに記憶したテンプレートと、前記撮影部により取得した画像のうちの一領域を構成する画像と、を照合して類似度を算出する第２の画像照合部と、
を備え、
前記第２の画像照合部は、前記形状テンプレートデータベースに記憶したテンプレートと、前記撮影部により取得した画像のうちの任意の領域を構成する画像と、を照合して類似度を算出し、
前記第１の画像照合部は、前記登録テンプレートデータベースに記憶したテンプレートと、前記撮影部により取得した画像のうちの、前記第２の画像照合部により算出した類似度が第２の所定値よりも高い一領域を構成する画像と、を照合して類似度を算出する、
認証装置。
【請求項３】
請求項２記載の認証装置であって、
前記形状テンプレートデータベースは、画像によって形成される人間の顔を特定するための顔テンプレートと、画像によって形成される所定の幾何学形状を特定するための幾何学形状テンプレートと、を少なくとも記憶し、
前記第１の画像照合部は、前記登録テンプレートデータベースに記憶した前記第１のテンプレートと、前記撮影部により取得した画像のうちの、前記第２の画像照合部により前記顔テンプレートとの間で算出した類似度が前記第２の所定値よりも高い一領域を構成する前記第１の画像と、を照合して類似度を算出し、前記登録テンプレートデータベースに記憶した前記第２のテンプレートと、前記撮影部により取得した画像のうちの、前記第２の画像照合部により前記幾何学形状テンプレートとの間で算出した類似度が前記第２の所定値よりも高い一領域を構成する前記第２の画像と、を照合して類似度を算出する、
認証装置。
【請求項４】
請求項１から３のいずれか１項に記載の認証装置であって、
前記登録テンプレートデータベースは、前記画像認証部による認証前に、前記撮影部により取得した画像のうちの一領域における特徴点を前記第１のテンプレートとして記憶し、当該画像のうちの別の一領域における特徴点を前記第２のテンプレートとして記憶する、
認証装置。
【請求項５】
請求項２または３記載の認証装置であって、
前記登録テンプレートデータベースは、前記画像認証部による認証前に、前記撮影部により取得した画像のうちの、前記第２の画像照合部により算出した類似度が前記第２の所定値よりも高い一領域における特徴点を前記第１のテンプレートとして記憶し、当該画像のうちの、前記第２の画像照合部により算出した類似度が前記第２の所定値よりも高い別の一領域における特徴点を前記第２のテンプレートとして記憶する、
認証装置。
【請求項６】
請求項１から５のいずれか１項に記載の認証装置であって、
前記登録テンプレートデータベースは、前記第１のテンプレートの基になった第１の領域と前記第２のテンプレートの基になった第２の領域を少なくとも含む１つの画像における、前記第１の領域と前記第２の領域の位置関係を記憶し、
前記画像認証部は、前記第１の画像照合部が、前記登録テンプレートデータベースに記憶した前記第１の領域と前記第２の領域との位置関係と、前記撮影部により取得した画像のうちの一領域をそれぞれ構成する前記第１の画像と前記第２の画像との位置関係と、の類似度が第３の所定値以上である場合に、認証に成功したと判定する、
認証装置。
【請求項７】
請求項１から６のいずれか１項に記載の認証装置を搭載した携帯端末装置。
【請求項８】
画像を取得する取得ステップと、
画像によって形成される像を特定するための第１のテンプレートと取得ステップ取得した画像のうちの一領域を構成する第１の画像、および、前記第１のテンプレートとは特定する像が異なる第２のテンプレートと取得ステップにて取得した画像のうちの一領域を構成する、前記第１の画像とは形成する像が異なる第２の画像と、を照合してそれぞれの類似度を算出する第１の照合ステップと、
算出したそれぞれの類似度が前記第１の所定値以上である場合に、認証に成功したと判定する判定ステップと、
を有する認証方法。
【請求項９】
請求項８記載の認証方法であって、
画像によって形成される像の形状を特定するためのテンプレートと取得ステップにて取得した画像のうちの任意の領域を構成する画像とを照合して類似度を算出する第２の照合ステップを有し、
前記第１の照合ステップは、前記第１のテンプレートと、取得ステップにて取得した画像のうちの、前記第２の照合ステップにて算出した類似度が第２の所定値よりも高い一領域を構成する第１の画像、および、前記第２のテンプレートと、取得ステップにて取得した画像のうちの、前記第２の照合ステップにて算出した類似度が第２の所定値よりも高い別の一領域を構成する第２の画像と、を照合してそれぞれの類似度を算出する、
認証方法。
【請求項１０】
請求項９記載の認証方法であって、
前記第２の照合ステップは、画像によって形成される人間の顔を特定するための顔テンプレートと取得ステップにて取得した画像のうちの任意の領域を構成する画像、および、画像によって形成される所定の幾何学形状を特定するための幾何学形状テンプレートと取得ステップにて取得した画像のうちの任意の領域を構成する画像、を照合してそれぞれの類似度を算出し、
前記第１の照合ステップは、前記第１のテンプレートと、取得ステップにて取得した画像のうちの、前記第２の照合ステップにて前記顔テンプレートとの類似度が前記第２の所定値よりも高い一領域を構成する第１の画像、および、前記第２のテンプレートと、取得ステップにて取得した画像のうちの、前記第２の照合ステップにて前記幾何学形状テンプレートとの類似度が前記第２の所定値よりも高い別の領域を構成する第２の画像と、を照合してそれぞれの類似度を算出する、
認証方法。
【請求項１１】
請求項８から１０のいずれか１項に記載の認証方法であって、
前記第１の照合ステップの前に、取得ステップにて取得した画像のうちの一領域における特徴点を前記第１のテンプレートとして記憶し、当該画像のうちの別の一領域における特徴点を前記第２のテンプレートとして記憶する登録ステップ、
を有する認証方法。
【請求項１２】
請求項９または１０記載の認証方法であって、
前記登録ステップは、取得ステップにて取得した画像のうちの、前記第２の照合ステップにて算出した類似度が前記第２の所定値よりも高い一領域における特徴点を前記第１のテンプレートとして記憶し、当該画像のうちの、前記第２の照合ステップにて算出した類似度が前記第２の所定値よりも高い別の一領域における特徴点を前記第２のテンプレートとして記憶する、
認証方法。
【請求項１３】
請求項１１または１２に記載の認証方法であって、
前記登録ステップは、前記第１のテンプレートの基になった第１の領域と前記第２のテンプレートの基になった第２の領域を少なくとも含む１つの画像における、前記第１の領域と前記第２の領域の位置関係を記憶し、
前記第１の照合ステップは、前記登録ステップにて記憶した前記第１の領域と前記第２の領域との位置関係と、取得ステップにて取得した画像のうちの一領域をそれぞれ構成する前記第１の画像と前記第２の画像との位置関係と、の類似度を算出し、
前記判定ステップは、算出した位置関係の類似度が前記第３の所定値以上である場合に、認証に成功したと判定する、
認証方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像認証を実施するために予め登録しておいた参照画像を参照して、撮影装置により撮影した撮影画像に含まれる被撮影対象が、参照画像により形成される像と同一物であるか否かの認証を実施する認証装置並びに認証方法に関する。
【背景技術】
【０００２】
近年の携帯端末装置には、当該携帯端末装置に搭載されたカメラにより撮影した人間の顔画像を用いて、画像認証を行う画像証機能を備えたものがある（例えば、特許文献１）。また、認証装置の中には、認証対象者によって入力されたＩＤ情報と同認証対象者の生体情報（例えば、指紋、虹彩）とを、予め登録されたＩＤ情報と生体情報を参照して複合認証を行うことによって、認証対象者ではない第３者による不正な認証が成功することを防ぐものがある（特許文献２）。また、認証装置の中には、二種類のカメラを利用して、１度のアクション（撮影動作）時にそれぞれのカメラによって撮影した被撮影対象の異なる画像毎に参照画像を参照して画像認証を行うことによって、画像認証の精度を高め、かつ、二種類のカメラによる複合認証を実施するために認証装置利用者にかかる負担を軽減することができるものがある。【０００３】
【特許文献１】特開２００３−３１７１００号公報
【特許文献２】特開２０００−１３２５１５号公報
【特許文献３】特開２００５−２４２６７７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献２に開示された認証装置は、認証装置利用者にＩＤ情報を入力するための操作と生体情報を入力するための操作をそれぞれ要求することになり、装置利用者にその入力操作にかかる負担を強いることになる。また、特許文献３に開示された認証装置は、二種類のカメラそれぞれによって被撮影対象を同時に撮影するため、画像を撮影するために装置利用者にかかる負担を１度のアクションにて済ますことができるものの、複数のカメラデバイスが必要となる。【０００５】
本発明は、上記事情に鑑みてなされたもので、一つのカメラによる一度の撮影によって、複数の画像認証を同時に実現することができる認証装置、およびその認証装置を備える携帯端末装置、並び認証方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の認証装置は、画像によって形成される像を特定するための第１のテンプレートと、前記第１のテンプレートとは特定する像が異なる第２のテンプレートと、を記憶する登録テンプレートデータベースと、撮影対象を画像として取得する撮影部と、前記登録テンプレートデータベースに記憶したテンプレートと、前記撮影部により取得した画像のうちの一領域を構成する画像と、を照合して類似度を算出する第１の画像照合部と、前記第１の画像照合部が算出した類似度が第１の所定値以上である場合に認証に成功したと判定する画像認証部と、を備え、前記画像認証部が、前記第１の画像照合部が、前記登録テンプレートデータベースに記憶した前記第１のテンプレートと、前記撮影部により取得した画像のうちの一領域を構成する第１の画像と、を照合して算出した類似度が前記第１の所定値以上であり、かつ、前記登録テンプレートデータベースに記憶した前記第２のテンプレートと、前記撮影部により取得した画像のうちの一領域を構成する、前記第１の画像とは形成する像が異なる第２の画像と、を照合して算出した類似度が前記第１の所定値以上である場合に、認証に成功したと判定する、ものである。【０００７】
本発明の認証方法は、画像を取得する取得ステップと、画像によって形成される像を特定するための第１のテンプレートと取得ステップ取得した画像のうちの一領域を構成する第１の画像、および、前記第１のテンプレートとは特定する像が異なる第２のテンプレートと取得ステップにて取得した画像のうちの一領域を構成する、前記第１の画像とは形成する像が異なる第２の画像と、を照合してそれぞれの類似度を算出する第１の照合ステップと、算出したそれぞれの類似度が前記第１の所定値以上である場合に、認証に成功したと判定する判定ステップと、を有するものである。【０００８】
また、本発明の認証装置は、前記登録テンプレートデータベースが、前記画像認証部による認証前に、前記撮影部により取得した画像のうちの一領域における特徴点を前記第１のテンプレートとして記憶し、当該画像のうちの別の一領域における特徴点を前記第２のテンプレートとして記憶する、ものを含む。【０００９】
また、本発明の認証方法は、前記第１の照合ステップの前に、取得ステップにて取得した画像のうちの一領域における特徴点を前記第１のテンプレートとして記憶し、当該画像のうちの別の一領域における特徴点を前記第２のテンプレートとして記憶する登録ステップ、を有するものを含む。【００１０】
この構成により、一つのカメラによる一度の撮影によって、複数の画像認証を同時に実現することができる。カメラにより撮影した一つの画像に画像認証を行うべき被撮影対象が増えた結果、本発明の実施の形態の認証装置は、認証の精度を向上させることができる。また、本発明の認証装置は新たなカメラデバイスを設けること無く、１つのカメラにより撮影した画像によって画像認証を行うべき被撮影対象を増やすことができる。【００１１】
また、本発明の認証装置は、画像によって形成される像の形状を特定するためのテンプレートを記憶する形状テンプレートデータベースと、前記形状テンプレートデータベースに記憶したテンプレートと、前記撮影部により取得した画像のうちの一領域を構成する画像と、を照合して類似度を算出する第２の画像照合部と、を備え、前記第２の画像照合部が、前記形状テンプレートデータベースに記憶したテンプレートと、前記撮影部により取得した画像のうちの任意の領域を構成する画像と、を照合して類似度を算出し、前記第１の画像照合部が、前記登録テンプレートデータベースに記憶したテンプレートと、前記撮影部により取得した画像のうちの、前記第２の画像照合部により算出した類似度が第２の所定値よりも高い一領域を構成する画像と、を照合して類似度を算出する、ものを含む。【００１２】
また、本発明の認証方法は、画像によって形成される像の形状を特定するためのテンプレートと取得ステップにて取得した画像のうちの任意の領域を構成する画像とを照合して類似度を算出する第２の照合ステップを有し、前記第１の照合ステップが、前記第１のテンプレートと、取得ステップにて取得した画像のうちの、前記第２の照合ステップにて算出した類似度が第２の所定値よりも高い一領域を構成する第１の画像、および、前記第２のテンプレートと、取得ステップにて取得した画像のうちの、前記第２の照合ステップにて算出した類似度が第２の所定値よりも高い別の一領域を構成する第２の画像と、を照合してそれぞれの類似度を算出する、ものを含む。【００１３】
また、本発明の認証装置は、前記登録テンプレートデータベースが、前記画像認証部による認証前に、前記撮影部により取得した画像のうちの、前記第２の画像照合部により算出した類似度が前記第２の所定値よりも高い一領域における特徴点を前記第１のテンプレートとして記憶し、当該画像のうちの、前記第２の画像照合部により算出した類似度が前記第２の所定値よりも高い別の一領域における特徴点を前記第２のテンプレートとして記憶する、ものを含む。【００１４】
また、本発明の認証方法は、前記登録ステップが、取得ステップにて取得した画像のうちの、前記第２の照合ステップにて算出した類似度が前記第２の所定値よりも高い一領域における特徴点を前記第１のテンプレートとして記憶し、当該画像のうちの、前記第２の照合ステップにて算出した類似度が前記第２の所定値よりも高い別の一領域における特徴点を前記第２のテンプレートとして記憶する、ものを含む。【００１５】
この構成により、画像認証の対象とすべき物体の画像データをテンプレートとして記憶しおくことにより、様々な物体を画像認証の対象としたテンプレートマッチングを実施することができる。【００１６】
また、本発明の認証装置は、前記形状テンプレートデータベースが、画像によって形成される人間の顔を特定するための顔テンプレートと、画像によって形成される所定の幾何学形状を特定するための幾何学形状テンプレートと、を少なくとも記憶し、前記第１の画像照合部が、前記登録テンプレートデータベースに記憶した前記第１のテンプレートと、前記撮影部により取得した画像のうちの、前記第２の画像照合部により前記顔テンプレートとの間で算出した類似度が前記第２の所定値よりも高い一領域を構成する前記第１の画像と、を照合して類似度を算出し、前記登録テンプレートデータベースに記憶した前記第２のテンプレートと、前記撮影部により取得した画像のうちの、前記第２の画像照合部により前記幾何学形状テンプレートとの間で算出した類似度が前記第２の所定値よりも高い一領域を構成する前記第２の画像と、を照合して類似度を算出する、ものを含む。【００１７】
また、本発明の認証方法は、前記第２の照合ステップが、画像によって形成される人間の顔を特定するための顔テンプレートと取得ステップにて取得した画像のうちの任意の領域を構成する画像、および、画像によって形成される所定の幾何学形状を特定するための幾何学形状テンプレートと取得ステップにて取得した画像のうちの任意の領域を構成する画像、を照合してそれぞれの類似度を算出し、前記第１の照合ステップが、前記第１のテンプレートと、取得ステップにて取得した画像のうちの、前記第２の照合ステップにて前記顔テンプレートとの類似度が前記第２の所定値よりも高い一領域を構成する第１の画像、および、前記第２のテンプレートと、取得ステップにて取得した画像のうちの、前記第２の照合ステップにて前記幾何学形状テンプレートとの類似度が前記第２の所定値よりも高い別の領域を構成する第２の画像と、を照合してそれぞれの類似度を算出する、ものを含む。【００１８】
この構成により、人間の顔とある幾何学形状を有する任意の物体とを画像認証の対象とすることによって、近年携帯電話に代表される携帯端末装置により実現されている顔画像認証にも容易に本発明の構成を適用することができる。【００１９】
また、本発明の認証装置は、前記登録テンプレートデータベースが、前記第１のテンプレートの基になった第１の領域と前記第２のテンプレートの基になった第２の領域を少なくとも含む１つの画像における、前記第１の領域と前記第２の領域の位置関係を記憶し、前記画像認証部が、前記第１の画像照合部が、前記登録テンプレートデータベースに記憶した前記第１の領域と前記第２の領域との位置関係と、前記撮影部により取得した画像のうちの一領域をそれぞれ構成する前記第１の画像と前記第２の画像との位置関係と、の類似度が第３の所定値以上である場合に、認証に成功したと判定する、ものを含む。【００２０】
また、本発明の認証方法は、前記登録ステップが、前記第１のテンプレートの基になった第１の領域と前記第２のテンプレートの基になった第２の領域を少なくとも含む１つの画像における、前記第１の領域と前記第２の領域の位置関係を記憶し、前記第１の照合ステップが、前記登録ステップにて記憶した前記第１の領域と前記第２の領域との位置関係と、取得ステップにて取得した画像のうちの一領域をそれぞれ構成する前記第１の画像と前記第２の画像との位置関係と、の類似度を算出し、前記判定ステップが、算出した位置関係の類似度が前記第３の所定値以上である場合に、認証に成功したと判定する、ものを含む。【００２１】
この構成により、位置関係に共通性が有るという条件も、画像認証に成功したと最終的に判定する条件に加えることにより、参照画像を撮影した人物以外の第３者が画像認証に成功し得る撮影画像を撮影するできる可能性はさらに低くなり、したがって、第３者によって不正に画像認証が成功することを防ぐことができる。
【発明の効果】
【００２２】
本発明の認証装置、およびその認証装置を備える携帯端末装置、並びに認証方法によれば、一つのカメラによる一度の撮影によって、複数の画像認証を同時に実現することができる。
【図面の簡単な説明】
【００２３】
【図１】（ａ）撮影した画像のうちの、従来の認証装置が認証の対象とする領域  （ｂ）撮影した画像のうちの、本発明の実施の形態の認証装置が認証の対象とする領域
【図２】本発明の実施の形態の認証装置の構成を示す構成図
【図３】本発明の実施の形態の認証装置による処理工程を示すフローチャート
【図４】データ処理過程における顔画像データの概念図
【図５】本発明の実施の形態の認証装置による処理工程を示すフローチャート
【図６】（ａ）特徴部分が含まれる画像に対してエッジ抽出を施して得られる画像の模式図  （ｂ）特徴部分の領域の算出例
【図７】二次元の幾何学形状を模した形状テンプレートの一例
【符号の説明】
【００２４】
１  ディスプレイ
１２  顔位置合わせ用ガイド
１３  顔画像
１４  特徴画像
２１  制御部
２２  撮影装置
２３  表示装置
２４  操作キー
２５  画像抽出装置
２５１  顔画像抽出部
２５２  特徴画像抽出部
２５３  形状テンプレートデータベース
２６  画像認証装置
２６１  認証部
２６２  登録テンプレートデータベース
【発明を実施するための最良の形態】
【００２５】
以下、本発明の実施の形態の認証装置による処理の概要を説明する。図１（ａ）に、撮影した画像のうちの、従来の認証装置が認証の対象とする領域を、図１（ｂ）に、撮影した画像のうちの、本発明の実施の形態の認証装置が認証の対象とする領域を、それぞれ示す。なお、本発明の実施の形態の認証装置を説明するにあたって、画像認証を実施するために予め登録しておく画像のことを参照画像と称し、一方、撮影装置により撮影された画像を撮影画像と称する。【００２６】
従来の認証装置では、まず、図１（ａ）に示すように、カメラにより撮影した自身の顔画像１３をディスプレイ１上の顔位置合わせ用ガイド１２に合わせるように調整した後、撮影中の画像（つまり、ディスプレイ１に表示されている画像）を撮影画像として認証装置に取得させる。従来の認証装置は、撮影画像を取得した後、その撮影画像に含まれる人間の顔と推定される顔画像１３（点線で囲まれる領域）を抽出し、その顔画像１３を参照画像として登録しておく。参照画像登録処理後、従来の認証装置は、再度撮影画像を取得したとき、その撮影画像に含まれる人間の顔と推定される顔画像１３を抽出し、予め登録しておいた参照画像と照合して、類似度が所定の数値以上あるいは未満に応じて認証に成功したあるいは失敗したと判定する。【００２７】
一方、本発明の実施の形態の認証装置は、まず、図１（ｂ）に示すように、カメラにより撮影した自身の顔画像１３をディスプレイ１上の顔位置合わせ用ガイド１２に合わせるように調整した後、撮影中の画像（つまり、ディスプレイ１に表示されている画像）を撮影画像として認証装置に取得させる。本発明の実施の形態の認証装置は、撮影画像を取得した後、その撮影画像に含まれる人間の顔と推定される顔画像（参照符号１３を割り当てた点線で囲まれる領域。本発明の実施の形態の認証装置による、顔画像を抽出する処理については後述する）、およびその撮影画像に含まれる特徴的な領域と推定される特徴画像（参照符号１４を割り当てた点線で囲まれる領域。図１では、特徴的な領域として壁時計として表記しているが、これに限るものではない。本発明の実施の形態の認証装置による、特徴画像を抽出する処理については後述するが、その処理によって抽出することができる全ての対象が特徴的な領域となり得る）を抽出し、その顔画像１３および特徴画像１４を参照画像としてそれぞれ登録しておく。参照画像を登録した後、本発明の実施の形態の認証装置は、再度撮影画像を取得したとき、その撮影画像に含まれる、人間の顔と推定される顔画像１３および特徴的な領域と推定される特徴画像１４を抽出し、予め登録しておいた参照画像それぞれと照合し、顔画像１３および特徴画像１４毎の類似度が両方所定の数値以上であれば認証に成功したと判定し、顔画像１３および特徴画像１４の類似度の一方、または両方が所定の数値未満であれば認証に失敗したと判定する。【００２８】
本発明の実施の形態の認証装置によれば、一つのカメラによる一度の撮影によって、複数の画像認証を同時に実現することができる。カメラにより撮影した一つの画像に画像認証を行うべき被撮影対象が増えた結果、本発明の実施の形態の認証装置は、認証の精度を向上させることができる。また、本発明の認証装置は新たなカメラデバイスを設けること無く、１つのカメラにより撮影した画像によって画像認証を行うべき被撮影対象を増やすことができる。以下、本発明の実施の形態の認証装置について詳細に説明する。図２に、本発明の実施の形態の認証装置の構成を示す構成図を示す。【００２９】
本発明の実施の形態の認証装置は、制御部２１、撮影装置２２、表示装置２３、操作キー２４、画像抽出装置２５、画像認証装置２６を含んで構成される。【００３０】
制御部２１は、マイクロプロセッサ（ＣＰＵ）によって構成され、撮影装置２２の駆動制御および画像情報の入出力制御、表示装置２３による表示制御、操作キー２４からの信号の入力制御、画像抽出装置２５との間での画像の入出力制御、および画像認証装置２６による画像認証処理の制御、などを行う。【００３１】
撮影装置２２は、制御部２１からの駆動制御信号に応じて、ＣＣＤやＣＭＯＳなどの半導体素子を使って入力した色情報を電気信号に変換し、その画像データを制御部２１に出力する。【００３２】
表示装置２３は、制御部２１から入力する画像データに応じた画面を表示パネルに出力する。表示装置２３は、例えば本発明の認証装置が携帯端末装置に適用される場合には、液晶ディスプレイ（ＬＣＤ）によって構成される。なお、ＣＲＴディスプレイやＰＤＰなど他の表示装置に置き換えても構わない。【００３３】
操作キー２４は、本発明の認証装置の利用者からの操作を受け付け、その操作に応じた信号を制御部２１に出力する。操作キー２４は、例えばカーソルを任意に動かすパネル、０〜９までの番号キー、ＱＷＥＲＴＹキー、などによって構成され、利用者は、操作キー２４による操作によって各種指示を本発明の認証装置に通知する。特に本発明の認証装置が携帯端末装置に適用される場合には、撮影装置２２に撮影を開始させるための撮影キーや顔認証を開始させるための認証開始キーを認証装置に別途設けてもよい。【００３４】
画像抽出装置２５は、顔画像抽出部２５１、特徴画像抽出部２５２、形状テンプレートデータベース２５３、を含んで構成される。図３に示す本発明の実施の形態の認証装置による処理工程を示すフローチャートを参照して、画像抽出装置２５の顔画像抽出部２５１による顔画像抽出処理の流れを説明する。【００３５】
［顔画像抽出処理］
制御部２１は、操作キー２４により顔認証を開始させる操作を受け付けると、撮影装置２２に撮影を開始させる駆動制御信号を出力する。制御部２１は、撮影装置２２から画像データを受け付けると（ステップＳ３０１）、画像認証機能を有する画像認証装置２６から読み出した顔位置合わせ用ガイドを表示装置２３に表示する（ステップＳ３０２）。そして、制御部２１は、撮影装置２２から受け付けた画像データを表示装置２３に出力し、その画像データに応じた画面を表示装置２３に表示させるとともに（ステップＳ３０３）、撮影装置２２から受け付けた画像データを画像抽出装置２５に出力する。【００３６】
顔画像抽出部２５１は、制御部２１から画像データを入力すると、人体の顔に相当する領域がその画像データに含まれているか否かを判定し（ステップＳ３０４）、さらに、含まれていると判定した場合（ステップＳ３０４、Ｙｅｓ）には、その顔の形状およびその顔を構成する各部位の形状を顔テンプレートとして生成する（ステップＳ３０５）。この顔に相当する領域の有無の判定方法および顔テンプレートの特定方法の１例を、以下、図４に示す、データ処理過程における顔画像データの概念図を参照して説明する。【００３７】
まず、顔画像抽出部２５１は、制御部２１から入力した画像データに対して、高輝度（もしくは低輝度）の画素が密集する領域ほどヒストグラム値が高くなる処理を施し、そのヒストグラム値の高い領域を構成する位置座標（具体的には、画像データ中の任意の１ピクセルを原点（０、０）とした座標系における該当ピクセルの座標）を抽出する。図４（ａ）は、顔が含まれる画像に対してヒストグラム値の高い領域を抽出して得られる画像の模式図である。図４（ａ）中の黒色もしくは灰色のついた領域は、ヒストグラム値が高い領域（つまり、眉、目の虹彩、唇）に相当する。【００３８】
また、顔画像抽出部２５１は、制御部２１から入力した画像データに対してエッジ抽出を施して強調された画像データの輪郭の位置座標を抽出する。図４（ｂ）は、顔が含まれる画像に対してエッジ抽出を施して得られる画像の模式図である。図４（ｂ）中の実線が強調された輪郭に相当し、隣りあうピクセル間において輝度の差が大きい領域（つまり、眉、目、鼻、口の輪郭に相当する領域）が抽出される。【００３９】
顔画像抽出部２５１は、この２つの処理によってそれぞれ抽出した位置座標のうち、ヒストグラム値が高い領域を抽出した位置座標によって形成される幾何学形状および各位置座標におけるヒストグラム値に基づいて、当該画像データが人体の顔に相当する領域を含んでいるか否かを判定する。判定条件は、具体的には、眉および目の虹彩に相当する領域は同程度のヒストグラム値を有し、また眉および目の虹彩に相当する領域は唇に相当する領域よりもヒストグラム値が高くなる傾向にあることから、ヒストグラム値の高いある領域（眉および目の虹彩のうちのいずれか１つに相当）においてその領域のサイズから算出される所定の範囲内にヒストグラム値が同程度に高い別の領域が３個（眉および目の虹彩のうちの残りの３つに相当）有り、かつその４つの領域の位置座標から算出される所定の方向にヒストグラム値がそれら４つの領域よりも低い５つ目の領域（唇に相当）があれば、当該画像データが人体の顔に相当する領域を含んでいると判定する。【００４０】
この後、顔画像抽出部２５１は、上述の２つの処理によってそれぞれ抽出した位置座標のうち、エッジ抽出を施した画像データの輪郭の位置座標に基づいて、画像データにおけるその顔の形状およびその顔を構成する各部位の領域を特定する。すなわち、顔画像抽出部２５１は、上述したヒストグラム値の高い５つの領域をその内部に含む輪郭とその５つの領域の位置関係から、画像データにおける各輪郭を眉、目の虹彩、唇として特定する。目の輪郭を特定する場合には、目の虹彩をその内部に含む輪郭が目の輪郭になる。顔画像抽出部２５１は、これらの輪郭を眉、目、唇を形成する領域として算出する。さらに、特定した眉、目、唇の位置関係から鼻の輪郭を特定し、同様に眉、目、唇、鼻をその内部に含む輪郭を顔を形成する領域として特定する。顔画像抽出部２５１は、画像データにおける顔の領域を基に生成した顔テンプレートを、また、眉、目、唇、鼻の領域を基に生成した各部位のテンプレートを、画像認証装置２６に出力する。各種テンプレートを画像抽出装置２５から入力した画像認証装置２６は、本発明の認証装置がそのテンプレートを参照画像として登録するよう設定されている場合には、その各種テンプレートを顔、眉、目、唇、鼻に対応させて登録テンプレートデータベース２６２に登録し、一方、本発明の認証装置がそのテンプレートを照合して画像認証を行うよう設定されている場合には、認証部２６１が登録テンプレートデータベース２６２に既に登録された参照画像と画像抽出装置２５から入力したテンプレートとを照合して画像認証を行い、類似度を算出することになる。【００４１】
また、顔画像抽出部２５１は、各部位を形成する領域ごとに、領域の面積（領域を形成する総ピクセル数から面積を算出）および中心位置座標を算出する。図４（ｄ）に示す、顔の領域の算出例では、画像データにおける中央の１ピクセルを原点（０、０）とした座標系において、顔の領域の面積（総ピクセル数２７００）および中心位置座標（５０、−７０）を算出したときの算出例を示している。原点となる位置座標の設定方法としては、顔位置合わせ用ガイドの中心を配置すべき画像データ上のピクセルを指定する条件（例えば、縦方向（あるいは横方向）のピクセルを表す配列のうち、総ピクセル数の所定の割合の位置にある配列番号により特定されるピクセルを原点とする。図４（ｄ）の場合であれば、総ピクセル数の５割の位置にある配列番号により特定されるピクセルが原点）が画像認証装置２６に設定されており、制御部２１が、ステップＳ３０２の処理において、画像認証装置２６から顔位置合わせ用ガイドを読み出す際に、併せてその条件を読み出し、その条件により指定されるピクセルを原点（０、０）とする。なお、図４（ｄ）では、顔の領域のみについて、面積および中心位置座標を記載しているが、眉、目、唇、鼻の領域についても同様に、面積および中心位置座標を算出することができる。【００４２】
以上のようにして、顔画像抽出部２５１は、人体の顔に相当する領域がその画像データに含まれているか否かを判定し、さらに、含まれていると判定した場合にはその顔テンプレートおよびその顔を構成する各部位のテンプレートを特定し、画像認証装置２６に出力する。【００４３】
［特徴画像抽出処理］
次に、図５に示す本発明の実施の形態の認証装置による処理工程を示すフローチャートを参照して、画像抽出装置２５の特徴画像抽出部２５２による特徴画像抽出処理の流れを説明する。なお、図５に示すフローチャートにおいて、図３に示すフローチャートと同一の処理には、共通の参照符号を割り当てており、その処理は［顔画像抽出処理］において説明したとおりであるため、［特徴画像抽出処理］での説明を省略する。【００４４】
制御部２１は、ステップＳ３０１の処理において撮影装置２２から受け付けた画像データを特徴画像抽出部２５２に入力すると、特徴画像抽出部２５２は、特徴部分に相当する領域がその画像データに含まれているか否かを判定し（ステップＳ５０４）、さらに、含まれていると判定した場合（ステップＳ５０４、Ｙｅｓ）には特徴部分に相当する領域の形状を表す特徴量を算出する（ステップＳ５０５）。この特徴部分に相当する領域の有無の判定方法および特徴量の算出方法の１例を、以下、図５に示す、データ処理過程における特徴画像データの概念図を参照して説明する。【００４５】
まず、特徴画像抽出部２５２は、制御部２１から入力した画像データに対してエッジ抽出を施して強調された画像データの輪郭の位置座標を抽出する。図６（ａ）は、特徴部分が含まれる画像に対してエッジ抽出を施して得られる画像の模式図である。図６（ａ）中の実線が強調された輪郭に相当し、隣りあうピクセル間において輝度の差が大きい領域が抽出される。【００４６】
この後、特徴画像抽出部２５２は、エッジ抽出を施した画像データの輪郭の位置座標に基づいて、画像データにおける特徴部分を特定する。すなわち、特徴画像抽出部２５２は、形状テンプレートデータベース２５３に記憶された、図７に示す円形状、四角形状、三角形状または楕円形状などの二次元の幾何学形状を模した形状テンプレートの全てに対して、エッジ抽出処理により抽出した輪郭により特定される形状（この形状のことを、便宜上、エッジ形状と称する）との間でマッチングを行い、その類似度を算出する。なお、エッジ形状が画像データ中に複数個存在する可能性があるが、そのような場合には、特徴画像抽出部２５２は、エッジ形状毎に、形状テンプレートの全てに対してマッチングを行う。マッチングを行った結果の類似度に基づいて、特徴画像抽出部２５２は、エッジ形状と形状テンプレートとの組み合わせのうち、ペアの形状テンプレートに最も形状が近いと判定されるエッジ形状を特定し、当該エッジ形状の輪郭により囲まれた領域を特徴部分として特定する。なお、特徴画像抽出部２５２は、画像データにおける顔、眉、目、唇、鼻に相当する領域を特徴部分として特定することを避けるために、特徴画像抽出部２５２から顔、眉、目、唇、鼻に相当するものとして特定した領域（ピクセル）を取得して、その領域以外の画像データに対してエッジ形状を施し、画像データにおける特徴部分を特定する。【００４７】
また、特徴画像抽出部２５２は、特徴部分を形成する領域の面積（領域を形成する総ピクセル数から面積を算出）および中心位置座標を算出する。図６（ｂ）に示す、特徴部分の領域の算出例では、画像データにおける中央の１ピクセルを原点（０、０）とした座標系において、顔の領域の面積（総ピクセル数１７００）および中心位置座標（−６０、９０）を算出したときの算出例を示している。原点となる位置座標の設定方法としては、顔位置合わせ用ガイドの中心を配置すべき画像データ上のピクセルを指定する条件（例えば、縦方向（あるいは横方向）のピクセルを表す配列のうち、総ピクセル数の所定の割合の位置にある配列番号により特定されるピクセルを原点とする。図６（ｂ）の場合であれば、総ピクセル数の５割の位置にある配列番号により特定されるピクセルが原点）が画像認証装置２６に設定されており、制御部２１が、ステップＳ３０２の処理において、画像認証装置２６から顔位置合わせ用ガイドを読み出す際に、併せてその条件を読み出し、その条件により指定されるピクセルを原点（０、０）とする。【００４８】
さらに、特徴画像抽出部２５２は、画像データにおける特徴部分を形成する領域のテンプレートを生成するために、例えば以下のような特徴量を算出する。すなわち、特徴画像抽出部２５２は、特定した特徴部分の輪郭により特定される形状の丸さの度合い、円形度、針状度、フラクタル次元などの数値を算出し（形状に関する特徴量）、特徴部分の領域の面積を算出し（大きさに関する特徴量。なお、特徴画像抽出部２５２から顔に相当するものとして特定した領域の面積を取得して、その顔の領域の面積を基準とする特徴部分の領域の面積の比率を算出するようにして、特徴部分の領域の面積を顔の領域の面積に対して標準化することが好ましい）、また、ＹＵＶを基にヒストグラム値を求め「Ｕ」と「Ｖ」の頂点となる値とその頂点から数１０％低下したときの値を算出し（色に関する特徴量）、これらの特徴量を画像認証装置２６に出力する。特徴部分の形状および特徴量を画像抽出装置２５から入力した画像認証装置２６は、本発明の認証装置が特徴部分のテンプレートを参照画像として登録するよう設定されている場合には、その特徴量を登録テンプレートデータベース２６２に登録し、一方、本発明の認証装置が特徴部分のテンプレートを照合して画像認証を行うよう設定されている場合には、認証部２６１が登録テンプレートデータベース２６２に既に登録された特徴量と画像抽出装置２５から入力した特徴量とを比較し、それぞれの特徴量の数値が数％以内の誤差か否かに応じて、同一の像が含まれる画像であるか否かを判定することになる。【００４９】
［画像認証処理］
次に、本発明の実施の形態の認証装置が画像認証を行うよう設定されている場合の処理について説明する。認証部２６１は、顔、眉、目、唇、鼻の各種テンプレートを画像抽出装置２５から入力すると、登録テンプレートデータベース２６２に既に参照画像として登録されている同一部位のテンプレートとを照合して画像認証を行って類似度を算出し、その類似度が所定値以上であれば顔認証に成功したと判定する。また、認証部２６１は、特徴部分の特徴量を画像抽出装置２５から入力すると、認証部２６１が登録テンプレートデータベース２６２に既に登録された特徴量と画像抽出装置２５から入力した特徴量とを比較し、それぞれの特徴量の数値が数％以内の誤差であれば、同一の像が含まれる画像であると判定する。その結果、認証部２６１は、画像抽出装置２５がある一つの画像から抽出した顔および特徴部分に相当する領域に対して、登録テンプレートデータベース２６２に記憶した参照画像を参照して、顔認証に成功したと判定し、かつ、特徴部分は同一対象であると判定した場合に、画像認証に成功したと最終的に判定することになる。【００５０】
以上、本発明の実施の形態の認証装置によれば、一つのカメラによる一度の撮影によって、複数の画像認証を同時に実現することができる。カメラにより撮影した一つの画像に画像認証を行うべき被撮影対象が増えた結果、本発明の実施の形態の認証装置は、認証の精度を向上させることができる。また、本発明の認証装置は新たなカメラデバイスを設けること無く、１つのカメラにより撮影した画像によって画像認証を行うべき被撮影対象を増やすことができる。【００５１】
また、本発明の実施の形態の認証装置によれば、画像認証を行うべき２つの対象のうち、人間の顔以外の他方の対象には、図７に示す形状テンプレートに応じた様々な物体がなり得るため、人間の顔以外にいかなる物体が画像認証の対象となっているか知らない第３者がその対象を含む撮影画像を撮影し、その撮影画像をもって画像認証に成功することは極めて起こり難く、したがって、第３者によって不正に画像認証が成功することを防ぐことができる。【００５２】
なお、上記の［顔画像抽出処理］において、顔画像抽出部２５１が、画像データにおける顔の領域を基に生成した顔テンプレートを、また、眉、目、唇、鼻の領域を基に生成した各部位のテンプレートを、画像認証装置２６に出力すること、および、上記の［特徴画像抽出処理］において、特徴画像抽出部２５２が、画像データにおける特徴部分の特徴量を画像認証装置２６に出力すること、についてそれぞれ説明した。これに加えて、顔画像抽出部２５１は、顔を形成する領域の中心位置座標を画像認証装置２６に出力し、さらに、特徴画像抽出部２５２は、特徴部分を形成する領域の中心位置座標を画像認証装置２６に出力し、一方、それらの中心位置座標を画像抽出装置２５から入力した画像認証装置２６は、本発明の認証装置が参照画像を登録するよう設定されている場合には、顔画像抽出部２５１から入力した各部位のテンプレートとその部位毎の中心位置座標、および特徴画像抽出部２５２から入力した特徴量と特徴部分の中心位置座標を登録テンプレートデータベース２６２に登録するように構成しておく。【００５３】
そして、画像認証装置２６は、本発明の認証装置が画像認証を行うよう設定されている場合には、顔認証および特徴量の比較を行うと伴に、登録テンプレートデータベース２６２に登録した顔の各部位の中心位置座標と特徴部分の中心位置座標との位置関係と、画像抽出装置２５から入力した顔の各部位の中心位置座標と特徴部分の中心位置座標との位置関係と、を比較して、それら二つの位置関係に共通性が有るという条件も、画像認証に成功したと最終的に判定する条件に加えてもよい。二つの位置関係の共通性が有ると判定する条件の一例としては、顔の各部位の中心位置座標と特徴部分の中心位置座標とにより特定されるベクトルの誤差が、その大きさまたはその方向において数％の誤差以内であれば、共通性が有ると判定する、ことなどが挙げられる。【００５４】
このように、二つの位置関係に共通性が有るという条件も、画像認証に成功したと最終的に判定する条件に加えることにより、参照画像を撮影した人物以外の第３者が画像認証に成功し得る撮影画像を撮影するできる可能性はさらに低くなり、したがって、第３者によって不正に画像認証が成功することを防ぐことができる。このような構成の認証装置を適用する状況としては、例えば、・・・・のような状況が考えられる。【００５５】
なお、登録テンプレートデータベース２６２には、顔テンプレートや顔を構成する部位のテンプレートを記憶し、また、特徴部分の特徴量を記憶する構成について説明したが、画像データのうちの、画像抽出装置２５により抽出した顔に相当する領域や顔を構成する部位に相当する領域、または特徴部分に相当する領域を、画像データとして登録テンプレートデータベース２６２に記憶し、認証部２６１が画像認証を行う度に登録テンプレートデータベース２６２に記憶したそれらの画像データからテンプレートや特徴量を算出する構成であっても構わない。
【産業上の利用可能性】
【００５６】
本発明の認証装置、およびその認証装置を備える携帯端末装置、並びに認証方法によれば、一つのカメラによる一度の撮影によって、複数の画像認証を同時に実現することができるという効果を奏し、画像認証を実施するために予め登録しておいた参照画像を参照して、撮影装置により撮影した撮影画像に含まれる被撮影対象が、参照画像により形成される像と同一物であるか否かの認証を実施する認証装置に関する分野において有用である。
【図１】
2008081527.tif 000003
【図２】
2008081527.tif 000004
【図３】
2008081527.tif 000005
【図４】
2008081527.tif 000006
【図５】
2008081527.tif 000007
【図６】
2008081527.tif 000008
【図７】
2008081527.tif 000009
【手続補正書】
【提出日】平成21年6月12日(2009.6.12)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像によって形成される像を特定するための第１のテンプレートと、前記第１のテンプレートとは特定する像が異なる第２のテンプレートと、を記憶する登録テンプレートデータベースと、
撮影対象を画像として取得する撮影部と、
前記登録テンプレートデータベースに記憶したテンプレートと、前記撮影部により取得した画像のうちの一領域を構成する画像と、を照合して類似度を算出する第１の画像照合部と、
前記第１の画像照合部が算出した類似度が第１の所定値以上である場合に認証に成功したと判定する画像認証部と、
を備え、
前記画像認証部は、前記第１の画像照合部が、前記登録テンプレートデータベースに記憶した前記第１のテンプレートと、前記撮影部により取得した画像のうちの一領域を構成する第１の画像と、を照合して算出した類似度が前記第１の所定値以上であり、かつ、前記登録テンプレートデータベースに記憶した前記第２のテンプレートと、前記撮影部により取得した画像のうちの一領域を構成する、前記第１の画像とは形成する像が異なる第２の画像と、を照合して算出した類似度が前記第１の所定値以上である場合に、認証に成功したと判定する、
認証装置。
【請求項２】
請求項１記載の認証装置であって、
画像によって形成される像の形状を特定するためのテンプレートを記憶する形状テンプレートデータベースと、
前記形状テンプレートデータベースに記憶したテンプレートと、前記撮影部により取得した画像のうちの一領域を構成する画像と、を照合して類似度を算出する第２の画像照合部と、
を備え、
前記第２の画像照合部は、前記形状テンプレートデータベースに記憶したテンプレートと、前記撮影部により取得した画像のうちの任意の領域を構成する画像と、を照合して類似度を算出し、
前記第１の画像照合部は、前記登録テンプレートデータベースに記憶したテンプレートと、前記撮影部により取得した画像のうちの、前記第２の画像照合部により算出した類似度が第２の所定値よりも高い一領域を構成する画像と、を照合して類似度を算出する、
認証装置。
【請求項３】
請求項２記載の認証装置であって、
前記形状テンプレートデータベースは、画像によって形成される人間の顔を特定するための顔テンプレートと、画像によって形成される所定の幾何学形状を特定するための幾何学形状テンプレートと、を少なくとも記憶し、
前記第１の画像照合部は、前記登録テンプレートデータベースに記憶した前記第１のテンプレートと、前記撮影部により取得した画像のうちの、前記第２の画像照合部により前記顔テンプレートとの間で算出した類似度が前記第２の所定値よりも高い一領域を構成する前記第１の画像と、を照合して類似度を算出し、前記登録テンプレートデータベースに記憶した前記第２のテンプレートと、前記撮影部により取得した画像のうちの、前記第２の画像照合部により前記幾何学形状テンプレートとの間で算出した類似度が前記第２の所定値よりも高い一領域を構成する前記第２の画像と、を照合して類似度を算出する、
認証装置。
【請求項４】
請求項１から３のいずれか１項に記載の認証装置であって、
前記登録テンプレートデータベースは、前記画像認証部による認証前に、前記撮影部により取得した画像のうちの一領域における特徴点を前記第１のテンプレートとして記憶し、当該画像のうちの別の一領域における特徴点を前記第２のテンプレートとして記憶する、
認証装置。
【請求項５】
請求項２または３記載の認証装置であって、
前記登録テンプレートデータベースは、前記画像認証部による認証前に、前記撮影部により取得した画像のうちの、前記第２の画像照合部により算出した類似度が前記第２の所定値よりも高い一領域における特徴点を前記第１のテンプレートとして記憶し、当該画像のうちの、前記第２の画像照合部により算出した類似度が前記第２の所定値よりも高い別の一領域における特徴点を前記第２のテンプレートとして記憶する、
認証装置。
【請求項６】
請求項１から５のいずれか１項に記載の認証装置であって、
前記登録テンプレートデータベースは、前記第１のテンプレートの基になった第１の領域と前記第２のテンプレートの基になった第２の領域を少なくとも含む１つの画像における、前記第１の領域と前記第２の領域の位置関係を記憶し、
前記画像認証部は、前記第１の画像照合部が、前記登録テンプレートデータベースに記憶した前記第１の領域と前記第２の領域との位置関係と、前記撮影部により取得した画像のうちの一領域をそれぞれ構成する前記第１の画像と前記第２の画像との位置関係と、の類似度が第３の所定値以上である場合に、認証に成功したと判定する、
認証装置。
【請求項７】
請求項１から６のいずれか１項に記載の認証装置を搭載した携帯端末装置。
【請求項８】
画像を取得する取得ステップと、
画像によって形成される像を特定するための第１のテンプレートと取得ステップ取得した画像のうちの一領域を構成する第１の画像、および、前記第１のテンプレートとは特定する像が異なる第２のテンプレートと取得ステップにて取得した画像のうちの一領域を構成する、前記第１の画像とは形成する像が異なる第２の画像と、を照合してそれぞれの類似度を算出する第１の照合ステップと、
算出したそれぞれの類似度が前記第１の所定値以上である場合に、認証に成功したと判定する判定ステップと、
を有する認証方法。
【請求項９】
請求項８記載の認証方法であって、
画像によって形成される像の形状を特定するためのテンプレートと取得ステップにて取得した画像のうちの任意の領域を構成する画像とを照合して類似度を算出する第２の照合ステップを有し、
前記第１の照合ステップは、前記第１のテンプレートと、取得ステップにて取得した画像のうちの、前記第２の照合ステップにて算出した類似度が第２の所定値よりも高い一領域を構成する第１の画像、および、前記第２のテンプレートと、取得ステップにて取得した画像のうちの、前記第２の照合ステップにて算出した類似度が第２の所定値よりも高い別の一領域を構成する第２の画像と、を照合してそれぞれの類似度を算出する、
認証方法。
【請求項１０】
請求項９記載の認証方法であって、
前記第２の照合ステップは、画像によって形成される人間の顔を特定するための顔テンプレートと取得ステップにて取得した画像のうちの任意の領域を構成する画像、および、画像によって形成される所定の幾何学形状を特定するための幾何学形状テンプレートと取得ステップにて取得した画像のうちの任意の領域を構成する画像、を照合してそれぞれの類似度を算出し、
前記第１の照合ステップは、前記第１のテンプレートと、取得ステップにて取得した画像のうちの、前記第２の照合ステップにて前記顔テンプレートとの類似度が前記第２の所定値よりも高い一領域を構成する第１の画像、および、前記第２のテンプレートと、取得ステップにて取得した画像のうちの、前記第２の照合ステップにて前記幾何学形状テンプレートとの類似度が前記第２の所定値よりも高い別の領域を構成する第２の画像と、を照合してそれぞれの類似度を算出する、
認証方法。
【請求項１１】
請求項８から１０のいずれか１項に記載の認証方法であって、
前記第１の照合ステップの前に、取得ステップにて取得した画像のうちの一領域における特徴点を前記第１のテンプレートとして記憶し、当該画像のうちの別の一領域における特徴点を前記第２のテンプレートとして記憶する登録ステップ、
を有する認証方法。
【請求項１２】
請求項９または１０記載の認証方法であって、
前記登録ステップは、取得ステップにて取得した画像のうちの、前記第２の照合ステップにて算出した類似度が前記第２の所定値よりも高い一領域における特徴点を前記第１のテンプレートとして記憶し、当該画像のうちの、前記第２の照合ステップにて算出した類似度が前記第２の所定値よりも高い別の一領域における特徴点を前記第２のテンプレートとして記憶する、
認証方法。
【請求項１３】
請求項１１または１２に記載の認証方法であって、
前記登録ステップは、前記第１のテンプレートの基になった第１の領域と前記第２のテンプレートの基になった第２の領域を少なくとも含む１つの画像における、前記第１の領域と前記第２の領域の位置関係を記憶し、
前記第１の照合ステップは、前記登録ステップにて記憶した前記第１の領域と前記第２の領域との位置関係と、取得ステップにて取得した画像のうちの一領域をそれぞれ構成する前記第１の画像と前記第２の画像との位置関係と、の類似度を算出し、
前記判定ステップは、算出した位置関係の類似度が前記第３の所定値以上である場合に、認証に成功したと判定する、
認証方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像認証を実施するために予め登録しておいた参照画像を参照して、撮影装置により撮影した撮影画像に含まれる被撮影対象が、参照画像により形成される像と同一物であるか否かの認証を実施する認証装置並びに認証方法に関する。
【背景技術】
【０００２】
近年の携帯端末装置には、当該携帯端末装置に搭載されたカメラにより撮影した人間の顔画像を用いて、画像認証を行う画像証機能を備えたものがある（例えば、特許文献１）。また、認証装置の中には、認証対象者によって入力されたＩＤ情報と同認証対象者の生体情報（例えば、指紋、虹彩）とを、予め登録されたＩＤ情報と生体情報を参照して複合認証を行うことによって、認証対象者ではない第３者による不正な認証が成功することを防ぐものがある（特許文献２）。また、認証装置の中には、二種類のカメラを利用して、１度のアクション（撮影動作）時にそれぞれのカメラによって撮影した被撮影対象の異なる画像毎に参照画像を参照して画像認証を行うことによって、画像認証の精度を高め、かつ、二種類のカメラによる複合認証を実施するために認証装置利用者にかかる負担を軽減することができるものがある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−３１７１００号公報
【特許文献２】特開２０００−１３２５１５号公報
【特許文献３】特開２００５−２４２６７７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献２に開示された認証装置は、認証装置利用者にＩＤ情報を入力するための操作と生体情報を入力するための操作をそれぞれ要求することになり、装置利用者にその入力操作にかかる負担を強いることになる。また、特許文献３に開示された認証装置は、二種類のカメラそれぞれによって被撮影対象を同時に撮影するため、画像を撮影するために装置利用者にかかる負担を１度のアクションにて済ますことができるものの、複数のカメラデバイスが必要となる。
【０００５】
本発明は、上記事情に鑑みてなされたもので、一つのカメラによる一度の撮影によって、複数の画像認証を同時に実現することができる認証装置、およびその認証装置を備える携帯端末装置、並び認証方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の認証装置は、画像によって形成される像を特定するための第１のテンプレートと、前記第１のテンプレートとは特定する像が異なる第２のテンプレートと、を記憶する登録テンプレートデータベースと、撮影対象を画像として取得する撮影部と、前記登録テンプレートデータベースに記憶したテンプレートと、前記撮影部により取得した画像のうちの一領域を構成する画像と、を照合して類似度を算出する第１の画像照合部と、前記第１の画像照合部が算出した類似度が第１の所定値以上である場合に認証に成功したと判定する画像認証部と、を備え、前記画像認証部が、前記第１の画像照合部が、前記登録テンプレートデータベースに記憶した前記第１のテンプレートと、前記撮影部により取得した画像のうちの一領域を構成する第１の画像と、を照合して算出した類似度が前記第１の所定値以上であり、かつ、前記登録テンプレートデータベースに記憶した前記第２のテンプレートと、前記撮影部により取得した画像のうちの一領域を構成する、前記第１の画像とは形成する像が異なる第２の画像と、を照合して算出した類似度が前記第１の所定値以上である場合に、認証に成功したと判定する、ものである。
【０００７】
本発明の認証方法は、画像を取得する取得ステップと、画像によって形成される像を特定するための第１のテンプレートと取得ステップ取得した画像のうちの一領域を構成する第１の画像、および、前記第１のテンプレートとは特定する像が異なる第２のテンプレートと取得ステップにて取得した画像のうちの一領域を構成する、前記第１の画像とは形成する像が異なる第２の画像と、を照合してそれぞれの類似度を算出する第１の照合ステップと、算出したそれぞれの類似度が前記第１の所定値以上である場合に、認証に成功したと判定する判定ステップと、を有するものである。
【０００８】
また、本発明の認証装置は、前記登録テンプレートデータベースが、前記画像認証部による認証前に、前記撮影部により取得した画像のうちの一領域における特徴点を前記第１のテンプレートとして記憶し、当該画像のうちの別の一領域における特徴点を前記第２のテンプレートとして記憶する、ものを含む。
【０００９】
また、本発明の認証方法は、前記第１の照合ステップの前に、取得ステップにて取得した画像のうちの一領域における特徴点を前記第１のテンプレートとして記憶し、当該画像のうちの別の一領域における特徴点を前記第２のテンプレートとして記憶する登録ステップ、を有するものを含む。
【００１０】
この構成により、一つのカメラによる一度の撮影によって、複数の画像認証を同時に実現することができる。カメラにより撮影した一つの画像に画像認証を行うべき被撮影対象が増えた結果、本発明の実施の形態の認証装置は、認証の精度を向上させることができる。また、本発明の認証装置は新たなカメラデバイスを設けること無く、１つのカメラにより撮影した画像によって画像認証を行うべき被撮影対象を増やすことができる。
【００１１】
また、本発明の認証装置は、画像によって形成される像の形状を特定するためのテンプレートを記憶する形状テンプレートデータベースと、前記形状テンプレートデータベースに記憶したテンプレートと、前記撮影部により取得した画像のうちの一領域を構成する画像と、を照合して類似度を算出する第２の画像照合部と、を備え、前記第２の画像照合部が、前記形状テンプレートデータベースに記憶したテンプレートと、前記撮影部により取得した画像のうちの任意の領域を構成する画像と、を照合して類似度を算出し、前記第１の画像照合部が、前記登録テンプレートデータベースに記憶したテンプレートと、前記撮影部により取得した画像のうちの、前記第２の画像照合部により算出した類似度が第２の所定値よりも高い一領域を構成する画像と、を照合して類似度を算出する、ものを含む。
【００１２】
また、本発明の認証方法は、画像によって形成される像の形状を特定するためのテンプレートと取得ステップにて取得した画像のうちの任意の領域を構成する画像とを照合して類似度を算出する第２の照合ステップを有し、前記第１の照合ステップが、前記第１のテンプレートと、取得ステップにて取得した画像のうちの、前記第２の照合ステップにて算出した類似度が第２の所定値よりも高い一領域を構成する第１の画像、および、前記第２のテンプレートと、取得ステップにて取得した画像のうちの、前記第２の照合ステップにて算出した類似度が第２の所定値よりも高い別の一領域を構成する第２の画像と、を照合してそれぞれの類似度を算出する、ものを含む。
【００１３】
また、本発明の認証装置は、前記登録テンプレートデータベースが、前記画像認証部による認証前に、前記撮影部により取得した画像のうちの、前記第２の画像照合部により算出した類似度が前記第２の所定値よりも高い一領域における特徴点を前記第１のテンプレートとして記憶し、当該画像のうちの、前記第２の画像照合部により算出した類似度が前記第２の所定値よりも高い別の一領域における特徴点を前記第２のテンプレートとして記憶する、ものを含む。
【００１４】
また、本発明の認証方法は、前記登録ステップが、取得ステップにて取得した画像のうちの、前記第２の照合ステップにて算出した類似度が前記第２の所定値よりも高い一領域における特徴点を前記第１のテンプレートとして記憶し、当該画像のうちの、前記第２の照合ステップにて算出した類似度が前記第２の所定値よりも高い別の一領域における特徴点を前記第２のテンプレートとして記憶する、ものを含む。
【００１５】
この構成により、画像認証の対象とすべき物体の画像データをテンプレートとして記憶しおくことにより、様々な物体を画像認証の対象としたテンプレートマッチングを実施することができる。
【００１６】
また、本発明の認証装置は、前記形状テンプレートデータベースが、画像によって形成される人間の顔を特定するための顔テンプレートと、画像によって形成される所定の幾何学形状を特定するための幾何学形状テンプレートと、を少なくとも記憶し、前記第１の画像照合部が、前記登録テンプレートデータベースに記憶した前記第１のテンプレートと、前記撮影部により取得した画像のうちの、前記第２の画像照合部により前記顔テンプレートとの間で算出した類似度が前記第２の所定値よりも高い一領域を構成する前記第１の画像と、を照合して類似度を算出し、前記登録テンプレートデータベースに記憶した前記第２のテンプレートと、前記撮影部により取得した画像のうちの、前記第２の画像照合部により前記幾何学形状テンプレートとの間で算出した類似度が前記第２の所定値よりも高い一領域を構成する前記第２の画像と、を照合して類似度を算出する、ものを含む。
【００１７】
また、本発明の認証方法は、前記第２の照合ステップが、画像によって形成される人間の顔を特定するための顔テンプレートと取得ステップにて取得した画像のうちの任意の領域を構成する画像、および、画像によって形成される所定の幾何学形状を特定するための幾何学形状テンプレートと取得ステップにて取得した画像のうちの任意の領域を構成する画像、を照合してそれぞれの類似度を算出し、前記第１の照合ステップが、前記第１のテンプレートと、取得ステップにて取得した画像のうちの、前記第２の照合ステップにて前記顔テンプレートとの類似度が前記第２の所定値よりも高い一領域を構成する第１の画像、および、前記第２のテンプレートと、取得ステップにて取得した画像のうちの、前記第２の照合ステップにて前記幾何学形状テンプレートとの類似度が前記第２の所定値よりも高い別の領域を構成する第２の画像と、を照合してそれぞれの類似度を算出する、ものを含む。
【００１８】
この構成により、人間の顔とある幾何学形状を有する任意の物体とを画像認証の対象とすることによって、近年携帯電話に代表される携帯端末装置により実現されている顔画像認証にも容易に本発明の構成を適用することができる。
【００１９】
また、本発明の認証装置は、前記登録テンプレートデータベースが、前記第１のテンプレートの基になった第１の領域と前記第２のテンプレートの基になった第２の領域を少なくとも含む１つの画像における、前記第１の領域と前記第２の領域の位置関係を記憶し、前記画像認証部が、前記第１の画像照合部が、前記登録テンプレートデータベースに記憶した前記第１の領域と前記第２の領域との位置関係と、前記撮影部により取得した画像のうちの一領域をそれぞれ構成する前記第１の画像と前記第２の画像との位置関係と、の類似度が第３の所定値以上である場合に、認証に成功したと判定する、ものを含む。
【００２０】
また、本発明の認証方法は、前記登録ステップが、前記第１のテンプレートの基になった第１の領域と前記第２のテンプレートの基になった第２の領域を少なくとも含む１つの画像における、前記第１の領域と前記第２の領域の位置関係を記憶し、前記第１の照合ステップが、前記登録ステップにて記憶した前記第１の領域と前記第２の領域との位置関係と、取得ステップにて取得した画像のうちの一領域をそれぞれ構成する前記第１の画像と前記第２の画像との位置関係と、の類似度を算出し、前記判定ステップが、算出した位置関係の類似度が前記第３の所定値以上である場合に、認証に成功したと判定する、ものを含む。
【００２１】
この構成により、位置関係に共通性が有るという条件も、画像認証に成功したと最終的に判定する条件に加えることにより、参照画像を撮影した人物以外の第３者が画像認証に成功し得る撮影画像を撮影するできる可能性はさらに低くなり、したがって、第３者によって不正に画像認証が成功することを防ぐことができる。
【発明の効果】
【００２２】
本発明の認証装置、およびその認証装置を備える携帯端末装置、並びに認証方法によれば、一つのカメラによる一度の撮影によって、複数の画像認証を同時に実現することができる。
【図面の簡単な説明】
【００２３】
【図１】（ａ）撮影した画像のうちの、従来の認証装置が認証の対象とする領域  （ｂ）撮影した画像のうちの、本発明の実施の形態の認証装置が認証の対象とする領域
【図２】本発明の実施の形態の認証装置の構成を示す構成図
【図３】本発明の実施の形態の認証装置による処理工程を示すフローチャート
【図４】データ処理過程における顔画像データの概念図
【図５】本発明の実施の形態の認証装置による処理工程を示すフローチャート
【図６】（ａ）特徴部分が含まれる画像に対してエッジ抽出を施して得られる画像の模式図  （ｂ）特徴部分の領域の算出例
【図７】二次元の幾何学形状を模した形状テンプレートの一例
【発明を実施するための形態】
【００２４】
以下、本発明の実施の形態の認証装置による処理の概要を説明する。図１（ａ）に、撮影した画像のうちの、従来の認証装置が認証の対象とする領域を、図１（ｂ）に、撮影した画像のうちの、本発明の実施の形態の認証装置が認証の対象とする領域を、それぞれ示す。なお、本発明の実施の形態の認証装置を説明するにあたって、画像認証を実施するために予め登録しておく画像のことを参照画像と称し、一方、撮影装置により撮影された画像を撮影画像と称する。
【００２５】
従来の認証装置では、まず、図１（ａ）に示すように、カメラにより撮影した自身の顔画像１３をディスプレイ１上の顔位置合わせ用ガイド１２に合わせるように調整した後、撮影中の画像（つまり、ディスプレイ１に表示されている画像）を撮影画像として認証装置に取得させる。従来の認証装置は、撮影画像を取得した後、その撮影画像に含まれる人間の顔と推定される顔画像１３（点線で囲まれる領域）を抽出し、その顔画像１３を参照画像として登録しておく。参照画像登録処理後、従来の認証装置は、再度撮影画像を取得したとき、その撮影画像に含まれる人間の顔と推定される顔画像１３を抽出し、予め登録しておいた参照画像と照合して、類似度が所定の数値以上あるいは未満に応じて認証に成功したあるいは失敗したと判定する。
【００２６】
一方、本発明の実施の形態の認証装置は、まず、図１（ｂ）に示すように、カメラにより撮影した自身の顔画像１３をディスプレイ１上の顔位置合わせ用ガイド１２に合わせるように調整した後、撮影中の画像（つまり、ディスプレイ１に表示されている画像）を撮影画像として認証装置に取得させる。本発明の実施の形態の認証装置は、撮影画像を取得した後、その撮影画像に含まれる人間の顔と推定される顔画像（参照符号１３を割り当てた点線で囲まれる領域。本発明の実施の形態の認証装置による、顔画像を抽出する処理については後述する）、およびその撮影画像に含まれる特徴的な領域と推定される特徴画像（参照符号１４を割り当てた点線で囲まれる領域。図１では、特徴的な領域として壁時計として表記しているが、これに限るものではない。本発明の実施の形態の認証装置による、特徴画像を抽出する処理については後述するが、その処理によって抽出することができる全ての対象が特徴的な領域となり得る）を抽出し、その顔画像１３および特徴画像１４を参照画像としてそれぞれ登録しておく。参照画像を登録した後、本発明の実施の形態の認証装置は、再度撮影画像を取得したとき、その撮影画像に含まれる、人間の顔と推定される顔画像１３および特徴的な領域と推定される特徴画像１４を抽出し、予め登録しておいた参照画像それぞれと照合し、顔画像１３および特徴画像１４毎の類似度が両方所定の数値以上であれば認証に成功したと判定し、顔画像１３および特徴画像１４の類似度の一方、または両方が所定の数値未満であれば認証に失敗したと判定する。
【００２７】
本発明の実施の形態の認証装置によれば、一つのカメラによる一度の撮影によって、複数の画像認証を同時に実現することができる。カメラにより撮影した一つの画像に画像認証を行うべき被撮影対象が増えた結果、本発明の実施の形態の認証装置は、認証の精度を向上させることができる。また、本発明の認証装置は新たなカメラデバイスを設けること無く、１つのカメラにより撮影した画像によって画像認証を行うべき被撮影対象を増やすことができる。以下、本発明の実施の形態の認証装置について詳細に説明する。図２に、本発明の実施の形態の認証装置の構成を示す構成図を示す。
【００２８】
本発明の実施の形態の認証装置は、制御部２１、撮影装置２２、表示装置２３、操作キー２４、画像抽出装置２５、画像認証装置２６を含んで構成される。
【００２９】
制御部２１は、マイクロプロセッサ（ＣＰＵ）によって構成され、撮影装置２２の駆動制御および画像情報の入出力制御、表示装置２３による表示制御、操作キー２４からの信号の入力制御、画像抽出装置２５との間での画像の入出力制御、および画像認証装置２６による画像認証処理の制御、などを行う。
【００３０】
撮影装置２２は、制御部２１からの駆動制御信号に応じて、ＣＣＤやＣＭＯＳなどの半導体素子を使って入力した色情報を電気信号に変換し、その画像データを制御部２１に出力する。
【００３１】
表示装置２３は、制御部２１から入力する画像データに応じた画面を表示パネルに出力する。表示装置２３は、例えば本発明の認証装置が携帯端末装置に適用される場合には、液晶ディスプレイ（ＬＣＤ）によって構成される。なお、ＣＲＴディスプレイやＰＤＰなど他の表示装置に置き換えても構わない。
【００３２】
操作キー２４は、本発明の認証装置の利用者からの操作を受け付け、その操作に応じた信号を制御部２１に出力する。操作キー２４は、例えばカーソルを任意に動かすパネル、０〜９までの番号キー、ＱＷＥＲＴＹキー、などによって構成され、利用者は、操作キー２４による操作によって各種指示を本発明の認証装置に通知する。特に本発明の認証装置が携帯端末装置に適用される場合には、撮影装置２２に撮影を開始させるための撮影キーや顔認証を開始させるための認証開始キーを認証装置に別途設けてもよい。
【００３３】
画像抽出装置２５は、顔画像抽出部２５１、特徴画像抽出部２５２、形状テンプレートデータベース２５３、を含んで構成される。図３に示す本発明の実施の形態の認証装置による処理工程を示すフローチャートを参照して、画像抽出装置２５の顔画像抽出部２５１による顔画像抽出処理の流れを説明する。
【００３４】
［顔画像抽出処理］
制御部２１は、操作キー２４により顔認証を開始させる操作を受け付けると、撮影装置２２に撮影を開始させる駆動制御信号を出力する。制御部２１は、撮影装置２２から画像データを受け付けると（ステップＳ３０１）、画像認証機能を有する画像認証装置２６から読み出した顔位置合わせ用ガイドを表示装置２３に表示する（ステップＳ３０２）。そして、制御部２１は、撮影装置２２から受け付けた画像データを表示装置２３に出力し、その画像データに応じた画面を表示装置２３に表示させるとともに（ステップＳ３０３）、撮影装置２２から受け付けた画像データを画像抽出装置２５に出力する。
【００３５】
顔画像抽出部２５１は、制御部２１から画像データを入力すると、人体の顔に相当する領域がその画像データに含まれているか否かを判定し（ステップＳ３０４）、さらに、含まれていると判定した場合（ステップＳ３０４、Ｙｅｓ）には、その顔の形状およびその顔を構成する各部位の形状を顔テンプレートとして生成する（ステップＳ３０５）。この顔に相当する領域の有無の判定方法および顔テンプレートの特定方法の１例を、以下、図４に示す、データ処理過程における顔画像データの概念図を参照して説明する。
【００３６】
まず、顔画像抽出部２５１は、制御部２１から入力した画像データに対して、高輝度（もしくは低輝度）の画素が密集する領域ほどヒストグラム値が高くなる処理を施し、そのヒストグラム値の高い領域を構成する位置座標（具体的には、画像データ中の任意の１ピクセルを原点（０、０）とした座標系における該当ピクセルの座標）を抽出する。図４（ａ）は、顔が含まれる画像に対してヒストグラム値の高い領域を抽出して得られる画像の模式図である。図４（ａ）中の黒色もしくは灰色のついた領域は、ヒストグラム値が高い領域（つまり、眉、目の虹彩、唇）に相当する。
【００３７】
また、顔画像抽出部２５１は、制御部２１から入力した画像データに対してエッジ抽出を施して強調された画像データの輪郭の位置座標を抽出する。図４（ｂ）は、顔が含まれる画像に対してエッジ抽出を施して得られる画像の模式図である。図４（ｂ）中の実線が強調された輪郭に相当し、隣りあうピクセル間において輝度の差が大きい領域（つまり、眉、目、鼻、口の輪郭に相当する領域）が抽出される。
【００３８】
顔画像抽出部２５１は、この２つの処理によってそれぞれ抽出した位置座標のうち、ヒストグラム値が高い領域を抽出した位置座標によって形成される幾何学形状および各位置座標におけるヒストグラム値に基づいて、当該画像データが人体の顔に相当する領域を含んでいるか否かを判定する。判定条件は、具体的には、眉および目の虹彩に相当する領域は同程度のヒストグラム値を有し、また眉および目の虹彩に相当する領域は唇に相当する領域よりもヒストグラム値が高くなる傾向にあることから、ヒストグラム値の高いある領域（眉および目の虹彩のうちのいずれか１つに相当）においてその領域のサイズから算出される所定の範囲内にヒストグラム値が同程度に高い別の領域が３個（眉および目の虹彩のうちの残りの３つに相当）有り、かつその４つの領域の位置座標から算出される所定の方向にヒストグラム値がそれら４つの領域よりも低い５つ目の領域（唇に相当）があれば、当該画像データが人体の顔に相当する領域を含んでいると判定する。
【００３９】
この後、顔画像抽出部２５１は、上述の２つの処理によってそれぞれ抽出した位置座標のうち、エッジ抽出を施した画像データの輪郭の位置座標に基づいて、画像データにおけるその顔の形状およびその顔を構成する各部位の領域を特定する。すなわち、顔画像抽出部２５１は、上述したヒストグラム値の高い５つの領域をその内部に含む輪郭とその５つの領域の位置関係から、画像データにおける各輪郭を眉、目の虹彩、唇として特定する。目の輪郭を特定する場合には、目の虹彩をその内部に含む輪郭が目の輪郭になる。顔画像抽出部２５１は、これらの輪郭を眉、目、唇を形成する領域として算出する。さらに、特定した眉、目、唇の位置関係から鼻の輪郭を特定し、同様に眉、目、唇、鼻をその内部に含む輪郭を顔を形成する領域として特定する。顔画像抽出部２５１は、画像データにおける顔の領域を基に生成した顔テンプレートを、また、眉、目、唇、鼻の領域を基に生成した各部位のテンプレートを、画像認証装置２６に出力する。各種テンプレートを画像抽出装置２５から入力した画像認証装置２６は、本発明の認証装置がそのテンプレートを参照画像として登録するよう設定されている場合には、その各種テンプレートを顔、眉、目、唇、鼻に対応させて登録テンプレートデータベース２６２に登録し、一方、本発明の認証装置がそのテンプレートを照合して画像認証を行うよう設定されている場合には、認証部２６１が登録テンプレートデータベース２６２に既に登録された参照画像と画像抽出装置２５から入力したテンプレートとを照合して画像認証を行い、類似度を算出することになる。
【００４０】
また、顔画像抽出部２５１は、各部位を形成する領域ごとに、領域の面積（領域を形成する総ピクセル数から面積を算出）および中心位置座標を算出する。図４（ｄ）に示す、顔の領域の算出例では、画像データにおける中央の１ピクセルを原点（０、０）とした座標系において、顔の領域の面積（総ピクセル数２７００）および中心位置座標（５０、−７０）を算出したときの算出例を示している。原点となる位置座標の設定方法としては、顔位置合わせ用ガイドの中心を配置すべき画像データ上のピクセルを指定する条件（例えば、縦方向（あるいは横方向）のピクセルを表す配列のうち、総ピクセル数の所定の割合の位置にある配列番号により特定されるピクセルを原点とする。図４（ｄ）の場合であれば、総ピクセル数の５割の位置にある配列番号により特定されるピクセルが原点）が画像認証装置２６に設定されており、制御部２１が、ステップＳ３０２の処理において、画像認証装置２６から顔位置合わせ用ガイドを読み出す際に、併せてその条件を読み出し、その条件により指定されるピクセルを原点（０、０）とする。なお、図４（ｄ）では、顔の領域のみについて、面積および中心位置座標を記載しているが、眉、目、唇、鼻の領域についても同様に、面積および中心位置座標を算出することができる。
【００４１】
以上のようにして、顔画像抽出部２５１は、人体の顔に相当する領域がその画像データに含まれているか否かを判定し、さらに、含まれていると判定した場合にはその顔テンプレートおよびその顔を構成する各部位のテンプレートを特定し、画像認証装置２６に出力する。
【００４２】
［特徴画像抽出処理］
次に、図５に示す本発明の実施の形態の認証装置による処理工程を示すフローチャートを参照して、画像抽出装置２５の特徴画像抽出部２５２による特徴画像抽出処理の流れを説明する。なお、図５に示すフローチャートにおいて、図３に示すフローチャートと同一の処理には、共通の参照符号を割り当てており、その処理は［顔画像抽出処理］において説明したとおりであるため、［特徴画像抽出処理］での説明を省略する。
【００４３】
制御部２１は、ステップＳ３０１の処理において撮影装置２２から受け付けた画像データを特徴画像抽出部２５２に入力すると、特徴画像抽出部２５２は、特徴部分に相当する領域がその画像データに含まれているか否かを判定し（ステップＳ５０４）、さらに、含まれていると判定した場合（ステップＳ５０４、Ｙｅｓ）には特徴部分に相当する領域の形状を表す特徴量を算出する（ステップＳ５０５）。この特徴部分に相当する領域の有無の判定方法および特徴量の算出方法の１例を、以下、図５に示す、データ処理過程における特徴画像データの概念図を参照して説明する。
【００４４】
まず、特徴画像抽出部２５２は、制御部２１から入力した画像データに対してエッジ抽出を施して強調された画像データの輪郭の位置座標を抽出する。図６（ａ）は、特徴部分が含まれる画像に対してエッジ抽出を施して得られる画像の模式図である。図６（ａ）中の実線が強調された輪郭に相当し、隣りあうピクセル間において輝度の差が大きい領域が抽出される。
【００４５】
この後、特徴画像抽出部２５２は、エッジ抽出を施した画像データの輪郭の位置座標に基づいて、画像データにおける特徴部分を特定する。すなわち、特徴画像抽出部２５２は、形状テンプレートデータベース２５３に記憶された、図７に示す円形状、四角形状、三角形状または楕円形状などの二次元の幾何学形状を模した形状テンプレートの全てに対して、エッジ抽出処理により抽出した輪郭により特定される形状（この形状のことを、便宜上、エッジ形状と称する）との間でマッチングを行い、その類似度を算出する。なお、エッジ形状が画像データ中に複数個存在する可能性があるが、そのような場合には、特徴画像抽出部２５２は、エッジ形状毎に、形状テンプレートの全てに対してマッチングを行う。マッチングを行った結果の類似度に基づいて、特徴画像抽出部２５２は、エッジ形状と形状テンプレートとの組み合わせのうち、ペアの形状テンプレートに最も形状が近いと判定されるエッジ形状を特定し、当該エッジ形状の輪郭により囲まれた領域を特徴部分として特定する。なお、特徴画像抽出部２５２は、画像データにおける顔、眉、目、唇、鼻に相当する領域を特徴部分として特定することを避けるために、特徴画像抽出部２５２から顔、眉、目、唇、鼻に相当するものとして特定した領域（ピクセル）を取得して、その領域以外の画像データに対してエッジ形状を施し、画像データにおける特徴部分を特定する。
【００４６】
また、特徴画像抽出部２５２は、特徴部分を形成する領域の面積（領域を形成する総ピクセル数から面積を算出）および中心位置座標を算出する。図６（ｂ）に示す、特徴部分の領域の算出例では、画像データにおける中央の１ピクセルを原点（０、０）とした座標系において、顔の領域の面積（総ピクセル数１７００）および中心位置座標（−６０、９０）を算出したときの算出例を示している。原点となる位置座標の設定方法としては、顔位置合わせ用ガイドの中心を配置すべき画像データ上のピクセルを指定する条件（例えば、縦方向（あるいは横方向）のピクセルを表す配列のうち、総ピクセル数の所定の割合の位置にある配列番号により特定されるピクセルを原点とする。図６（ｂ）の場合であれば、総ピクセル数の５割の位置にある配列番号により特定されるピクセルが原点）が画像認証装置２６に設定されており、制御部２１が、ステップＳ３０２の処理において、画像認証装置２６から顔位置合わせ用ガイドを読み出す際に、併せてその条件を読み出し、その条件により指定されるピクセルを原点（０、０）とする。
【００４７】
さらに、特徴画像抽出部２５２は、画像データにおける特徴部分を形成する領域のテンプレートを生成するために、例えば以下のような特徴量を算出する。すなわち、特徴画像抽出部２５２は、特定した特徴部分の輪郭により特定される形状の丸さの度合い、円形度、針状度、フラクタル次元などの数値を算出し（形状に関する特徴量）、特徴部分の領域の面積を算出し（大きさに関する特徴量。なお、特徴画像抽出部２５２から顔に相当するものとして特定した領域の面積を取得して、その顔の領域の面積を基準とする特徴部分の領域の面積の比率を算出するようにして、特徴部分の領域の面積を顔の領域の面積に対して標準化することが好ましい）、また、ＹＵＶを基にヒストグラム値を求め「Ｕ」と「Ｖ」の頂点となる値とその頂点から数１０％低下したときの値を算出し（色に関する特徴量）、これらの特徴量を画像認証装置２６に出力する。特徴部分の形状および特徴量を画像抽出装置２５から入力した画像認証装置２６は、本発明の認証装置が特徴部分のテンプレートを参照画像として登録するよう設定されている場合には、その特徴量を登録テンプレートデータベース２６２に登録し、一方、本発明の認証装置が特徴部分のテンプレートを照合して画像認証を行うよう設定されている場合には、認証部２６１が登録テンプレートデータベース２６２に既に登録された特徴量と画像抽出装置２５から入力した特徴量とを比較し、それぞれの特徴量の数値が数％以内の誤差か否かに応じて、同一の像が含まれる画像であるか否かを判定することになる。
【００４８】
［画像認証処理］
次に、本発明の実施の形態の認証装置が画像認証を行うよう設定されている場合の処理について説明する。認証部２６１は、顔、眉、目、唇、鼻の各種テンプレートを画像抽出装置２５から入力すると、登録テンプレートデータベース２６２に既に参照画像として登録されている同一部位のテンプレートとを照合して画像認証を行って類似度を算出し、その類似度が所定値以上であれば顔認証に成功したと判定する。また、認証部２６１は、特徴部分の特徴量を画像抽出装置２５から入力すると、認証部２６１が登録テンプレートデータベース２６２に既に登録された特徴量と画像抽出装置２５から入力した特徴量とを比較し、それぞれの特徴量の数値が数％以内の誤差であれば、同一の像が含まれる画像であると判定する。その結果、認証部２６１は、画像抽出装置２５がある一つの画像から抽出した顔および特徴部分に相当する領域に対して、登録テンプレートデータベース２６２に記憶した参照画像を参照して、顔認証に成功したと判定し、かつ、特徴部分は同一対象であると判定した場合に、画像認証に成功したと最終的に判定することになる。
【００４９】
以上、本発明の実施の形態の認証装置によれば、一つのカメラによる一度の撮影によって、複数の画像認証を同時に実現することができる。カメラにより撮影した一つの画像に画像認証を行うべき被撮影対象が増えた結果、本発明の実施の形態の認証装置は、認証の精度を向上させることができる。また、本発明の認証装置は新たなカメラデバイスを設けること無く、１つのカメラにより撮影した画像によって画像認証を行うべき被撮影対象を増やすことができる。
【００５０】
また、本発明の実施の形態の認証装置によれば、画像認証を行うべき２つの対象のうち、人間の顔以外の他方の対象には、図７に示す形状テンプレートに応じた様々な物体がなり得るため、人間の顔以外にいかなる物体が画像認証の対象となっているか知らない第３者がその対象を含む撮影画像を撮影し、その撮影画像をもって画像認証に成功することは極めて起こり難く、したがって、第３者によって不正に画像認証が成功することを防ぐことができる。
【００５１】
なお、上記の［顔画像抽出処理］において、顔画像抽出部２５１が、画像データにおける顔の領域を基に生成した顔テンプレートを、また、眉、目、唇、鼻の領域を基に生成した各部位のテンプレートを、画像認証装置２６に出力すること、および、上記の［特徴画像抽出処理］において、特徴画像抽出部２５２が、画像データにおける特徴部分の特徴量を画像認証装置２６に出力すること、についてそれぞれ説明した。これに加えて、顔画像抽出部２５１は、顔を形成する領域の中心位置座標を画像認証装置２６に出力し、さらに、特徴画像抽出部２５２は、特徴部分を形成する領域の中心位置座標を画像認証装置２６に出力し、一方、それらの中心位置座標を画像抽出装置２５から入力した画像認証装置２６は、本発明の認証装置が参照画像を登録するよう設定されている場合には、顔画像抽出部２５１から入力した各部位のテンプレートとその部位毎の中心位置座標、および特徴画像抽出部２５２から入力した特徴量と特徴部分の中心位置座標を登録テンプレートデータベース２６２に登録するように構成しておく。
【００５２】
そして、画像認証装置２６は、本発明の認証装置が画像認証を行うよう設定されている場合には、顔認証および特徴量の比較を行うと伴に、登録テンプレートデータベース２６２に登録した顔の各部位の中心位置座標と特徴部分の中心位置座標との位置関係と、画像抽出装置２５から入力した顔の各部位の中心位置座標と特徴部分の中心位置座標との位置関係と、を比較して、それら二つの位置関係に共通性が有るという条件も、画像認証に成功したと最終的に判定する条件に加えてもよい。二つの位置関係の共通性が有ると判定する条件の一例としては、顔の各部位の中心位置座標と特徴部分の中心位置座標とにより特定されるベクトルの誤差が、その大きさまたはその方向において数％の誤差以内であれば、共通性が有ると判定する、ことなどが挙げられる。
【００５３】
このように、二つの位置関係に共通性が有るという条件も、画像認証に成功したと最終的に判定する条件に加えることにより、参照画像を撮影した人物以外の第３者が画像認証に成功し得る撮影画像を撮影するできる可能性はさらに低くなり、したがって、第３者によって不正に画像認証が成功することを防ぐことができる。このような構成の認証装置を適用する状況としては、例えば、・・・・のような状況が考えられる。
【００５４】
なお、登録テンプレートデータベース２６２には、顔テンプレートや顔を構成する部位のテンプレートを記憶し、また、特徴部分の特徴量を記憶する構成について説明したが、画像データのうちの、画像抽出装置２５により抽出した顔に相当する領域や顔を構成する部位に相当する領域、または特徴部分に相当する領域を、画像データとして登録テンプレートデータベース２６２に記憶し、認証部２６１が画像認証を行う度に登録テンプレートデータベース２６２に記憶したそれらの画像データからテンプレートや特徴量を算出する構成であっても構わない。
【産業上の利用可能性】
【００５５】
本発明の認証装置、およびその認証装置を備える携帯端末装置、並びに認証方法によれば、一つのカメラによる一度の撮影によって、複数の画像認証を同時に実現することができるという効果を奏し、画像認証を実施するために予め登録しておいた参照画像を参照して、撮影装置により撮影した撮影画像に含まれる被撮影対象が、参照画像により形成される像と同一物であるか否かの認証を実施する認証装置に関する分野において有用である。
【符号の説明】
【００５６】
１  ディスプレイ
１２  顔位置合わせ用ガイド
１３  顔画像
１４  特徴画像
２１  制御部
２２  撮影装置
２３  表示装置
２４  操作キー
２５  画像抽出装置
２５１  顔画像抽出部
２５２  特徴画像抽出部
２５３  形状テンプレートデータベース
２６  画像認証装置
２６１  認証部
２６２  登録テンプレートデータベース
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2008081527.tif 000010
【図２】
2008081527.tif 000011
【図３】
2008081527.tif 000012
【図４】
2008081527.tif 000013
【図５】
2008081527.tif 000014
【図６】
2008081527.tif 000015
【図７】
2008081527.tif 000016
【国際調査報告】
2008081527.tif 000017
2008081527.tif 000018
2008081527.tif 000019