(57)【特許請求の範囲】
【請求項１】
申請者の表情とその背景を第１のタイミングで撮影した第１の画像と、申請者の表情を変化させ、変化後の表情とその背景を第２のタイミングで撮影した第２の画像とを受信する画像情報受信部と、
第１の画像及び第２の画像から表情に関する情報と背景に関する情報とを抽出する要素抽出部と、
前記第１の画像から抽出された表情情報及び前記第２の画像から抽出された表情情報に基いて前記申請者の同一性を判定する表情判定部と、
前記第１の画像から抽出された背景情報及び前記第２の画像から抽出された背景情報に基いて撮影場所の同一性を判定する背景判定部と、
前記表情判定部及び前記背景判定部の判定結果に応答して前記申請者の本人確認を行う認証判定部と、を具備し、
前記背景判定部は、前記第１のタイミングから前記第２のタイミングに至る時間情報を判定要件とすることを特徴とする申請者認証装置。
【請求項２】
前記背景が静止画であることを特徴とする請求項１記載の申請者認証装置。
【請求項３】
前記背景判定部は、前記第１の画像における背景情報と前記第２の画像における背景情報とを照合して前記撮影場所の同一性を判定することを特徴とする請求項２記載の申請者認証装置。
【請求項４】
前記背景が動画であることを特徴とする請求項１記載の申請者認証装置。
【請求項５】
前記背景判定部は、前記第２の画像から抽出された背景情報と、前記第１のタイミングから前記第２のタイミングに至る時間経過に伴って現れる動画情報とを照合して前記撮影場所の同一性を判定することを特徴とする請求項４記載の申請者認証装置。
【請求項６】
前記第２の画像から抽出された表情情報及び背景情報が、前記第１の画像から抽出された表情情報及び背景情報に対して共に変化していることを確認することで撮影場所の同一性を判定することを特徴とする請求項４記載の申請者認証装置。
【請求項７】
前記背景が静止画と動画とを含むことを特徴とする請求項１記載の申請者認証装置。
【請求項８】
前記背景判定部は、静止画の背景と動画の背景とを組み合わせて撮影場所の同一性を判定することを特徴とする請求項７記載の申請者認証装置。
【請求項９】
前記背景判定部において撮影場所の同一性が確認出来なかった場合には、前記表情判定部の判定を無視して認証不適合とすることを特徴とする請求項１乃至８記載の申請者認証装置。
【請求項１０】
申請者の表情を撮影した画像とその撮影時の環境情報とを第１のタイミングで収集し、前記申請者の表情を変化させ、変化した表情を撮影した画像とその撮影時の環境情報とを第２のタイミングで収集する情報収集部と、
前記第１のタイミングで収集した画像と前記第２のタイミングで収集した画像との関連性から前記申請者の同一性を判定する表情判定部と、
前記第１のタイミングで収集した環境情報と前記第２のタイミングで収集した環境情報とを時間軸に沿った動的情報として対比することで前記申請者の場所の同一性を判定する環境判定部と、
前記表情判定部および前記環境判定部の判定結果を受けて申請者の認証を判定する認証判定部と、を有することを特徴とする申請者認証装置。
【請求項１１】
前記環境情報として、申請者を撮影する環境から得られた音情報、振動情報、あるいは、気圧情報等、センサーを使って検知可能な情報を使用することを特徴とする請求項１０記載の申請者認証装置。
【請求項１２】
定められた場所で申請者の表情とその背景を撮影した画像情報に基いて申請者の本人確認を行う認証方法において、
申請者の表情及びその背景を第１のタイミングで撮影した第１の画像と、申請者の表情を変化させて、変化後の表情及びその背景を第２のタイミングで撮影した第２の画像とを受信する第１のステップと、
前記第１の画像及び前記第２の画像から表情に関する情報と背景に関する情報とをそれぞれ抽出する第２のステップと、
前記第１の画像から抽出された表情情報と前記第２の画像から抽出された表情情報との相互関連性に基いて申請者の同一性を判定する表情判定ステップと、
前記第１の画像から抽出された背景情報と前記第２の画像から抽出された背景情報とを、前記第１のタイミングから前記第２のタイミングに至る時間経過と関連付けて撮影場所の同一性を判定する背景判定ステップと、を有し、
前記表情判定ステップ及び前記背景判定ステップにおける判定結果に基いて前記申請者の認証を行うことを特徴とする申請者認証方法。
【請求項１３】
前記背景判定ステップにおける撮影場所の同一性の確認と、前記表情判定ステップにおける申請者の同一性の確認との両方の確認が成立した時に、前記申請者が本人であると認証することを特徴とする請求項１２記載の申請者認証方法。
【請求項１４】
第１のタイミングで撮影された申請者の表情に関する情報と、その撮影時の環境に関する情報とを収集する第１のステップと、
前記第１のタイミングに続く第２のタイミングで撮影された申請者の表情に関する情報と、当該第２のタイミングにおける環境に関する情報とを収集する第２のステップと、
前記第１のステップおよび前記第２のステップで収集された表情に関する情報に基いて申請者の同一性を判定する第３のステップと、
前記第１のタイミングおよび前記第２のタイミングで収集された環境に関する情報を照合して前記申請者の場所の同一性を判定する第４のステップと、
前記第３および第４のステップで得られた判定結果に応答して申請者の認証判定を行う第５のステップと、を有することを特徴とする申請者認証方法。
【請求項１５】
前記第１のタイミングから前記第２のタイミングに至る時間を任意に変更することを特徴とする請求項１４記載の申請者認証方法。
【請求項１６】
前記環境に関する情報として、撮影が行われる場所からセンサーを使って検知可能な情報を使用することを特徴とする請求項１４記載の申請者認証方法。
【請求項１７】
第１のタイミングで申請者の表情に関する画像と申請者がいる場所の環境に関する情報とを収集し、第１のタイミングに続く第２のタイミングで前記申請者の表情に関する画像とその場所に関する環境情報とを収集する情報収集部と、
前記情報収集部で収集した情報を受信し、受信した情報から前記表情に関する画像情報と前記場所に関する環境情報とを抽出し、抽出された２つの表情に関する情報に基いて前記第１のタイミングおよび前記第２のタイミングで収集された画像が同一人物の画像か否かを判定する第１の判定と、抽出された２つの環境に関する情報に基いて前記申請者が同一の場所に存在するか否かを判定する第２の判定とを実行する情報判定部と、
前記情報判定部による判定結果に基いて、前記申請者が同一人物であると判定され、かつ、当該申請者の場所が同一場所であると判定された時に認証許可を指示する認証判定部と、
前記認証判定部からの指示を受けて前記申請者に対してセキュリティサービスを実行するサービス実行部と、を有することを特徴とするセキュリティ認証システム。
【請求項１８】
前記第１のタイミングから前記第２のタイミングに至る時間を変更可能としたことを特徴とする請求項１７記載のセキュリティ認証システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、申請者の認証装置、及び認証方法、並びにその方法を用いたセキュリティ認証システムに関し、特に、申請者が本人であることを正しく判定するための認証技術に関する。
【背景技術】
【０００２】
従来、金品取引におけるカードレス決済やキャッシュレス決済のような場面では、本人確認のための身分証明書の提示やサイン、押印等の煩わしい手続きが必要である。また、金品取引とは別に、旅行における入国審査や、特定の施設への入場手続き、応募や受験のための本人確認等、様々な局面で本人であることの認証手続きが要求される。更に、これらの局面で必要とされるのが本人を証明するためのパスワードで、その管理は本人に委ねられているのが現状である。
【０００３】
これらの煩わしい手続きを簡素化する手段として、昨今、生体認証に関する技術が各種提案されている。特に、画像解析技術の進歩に伴い、顔認証の技術を使うことで決済手続きや審査手続き、承認手続き等の簡素化を図る提案もなされている。しかしながら、画像解析技術が進歩したとはいえ、顔認証の精度が完成された訳ではなく、偽造や成りすましによる犯罪が後を絶たないのもまた事実である。特に従来提案されている顔認証技術は、カメラ等で撮影した画像から人物の顔を抽出して、その特徴要素を解析し、予め登録されている情報と照合することで本人確認をするものが多い。しかし、このように人物を一次元の静止画として捉える技術では、偽造や本人の顔写真を使った偽装を見抜くことが難しく、成りすましによる犯罪を防止するには難がある。
【０００４】
そこで、特許文献１に開示されているように、人の表情を変化させて（例えば、笑顔やウィンク）、変化前の顔（普通の顔）と変化後の顔（笑顔やウィンク顔）の同一性を判定するようにした技術も提案されている。この技術によれば、本人がその場で顔の表情を変えなければならないため、表情を変化させることが出来ない偽造写真や本人の写真を使った成りすましを見破ることが可能である。
【０００５】
なお、顔の表情を変化させて人物の同一性を判定する技術としては、例えば、特許文献２に記載されているような方法も提案されている。
【０００６】
しかしながら、顔の表情を変化させると言っても、その認証の仕組みが分ってしまえば、変化後の顔画像を予め用意しておくことで成りすますことは可能である。
【０００７】
このような抜け道を防止するために、特許文献３に記載されているように広角カメラと反射鏡を使って人物を３次元の角度から撮影し、その画像に写っている背景に違いを持たせることで偽造や偽装を識別するようにした技術が提案されている。ここでは、顔画像だけではなくその背景画像も使うことで、成りすましを排除するように考えられているが、認証のためのシステム構成が複雑かつ大型化するという欠点がある。
【０００８】
一方、システム構成の複雑化を招くことなく、人物と背景とを組み合わせて認証する技術として、特許文献４に開示されている方法もある。ここに開示されている技術は、認証の対象となる人物の顔をカメラで撮影する際、その背景を変化させることを特徴としている。具体的には、同じ場所で背景を変えた２枚の写真を撮影して、これら２枚の写真に同一人物が映っているかどうかを判定することで、その人物が同じ場所で撮影されたことを立証しようというものである。
【０００９】
この方法によれば、３次元に配置されたカメラや反射鏡等の大掛かりな設備を用いることなく、人物をカメラの前に立たせた状態で、後ろの背景を変えて２つの写真を撮影すればよいので、システム構成を簡素化することができる。しかしながら、どの背景が使われるのかが分ってしまえば、偽造や偽装も簡単である。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２０１２−１０９９７６号公報
【特許文献２】特開２００３−２３３８１６号公報
【特許文献３】特開２００７−１１４５６号公報
【特許文献４】特開２００７−２６３３０号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
以上のように、従来提案されている認証技術は、どれを取っても完成度が高いとは言い難い。これは、認証の対象を特定のタイミングで撮影された１次元の静止画として扱う静的判定をその基本的な技術思想としているところに原因があると言える。従って、人物とその背景を如何に組み合わせようとも、また、何枚もの画像を認証の対象に加えようとも、その人物と背景さえ分ってしまえば、比較的容易に偽造や偽装を許してしまうという不所望な結果を招くことになる。
【００１２】
さらに、従来の認証技術は、撮影した画像とデータベースに蓄積されている情報との比較・照合処理を基本的な概念として設計されているため、認証に必要な比較情報もしくは照合情報を予めデータベースに登録しておく必要がある。このため、認証の精度を向上させようとすればするほど登録しておくべき情報の量が増大し、大容量のデータベースを必要としたり、あるいは、データベースの容量を何度もスケールアウトしなければならないというシステム構成上の煩わしさがある。
【００１３】
また、従来において、認証のための情報として背景画像を利用する目的は、多くの場合、その人物が撮影された場所の正当性を確認するためである。故に、認証が行われる場所が特定されれば、その背景画像を入手することは、さほど困難なことではない。更に、背景画像と人物画像とを合成することも、周知の画像合成技術で容易に為し得ることである。これが、成りすましを防止することが出来ない主要な要因でもある。これを解決するために、特許文献４に記載されているように、背景を変化させる技術が提案されているが、変化前の背景画像と変化後の背景画像との関連性が何等考慮されていないため、前述した静的判定に起因する欠点を解決する有効な手段とはなり得ない。
【００１４】
加えて、特許文献４では、背景を変えても、そこに写っている人物の表情は同じ表情であるため、実際に撮影場所にいる人物が本人なのか、あるいは、本当に生存しているのかを正確に判定することが出来ないという欠点もある。この欠点は、インターネット通信のように、送信されてきた顔画像だけで本人かどうかを遠隔地で確認する場合には、致命的な判断ミスを引き起こす原因ともなり得る。特に、生存の確認が要求される場面では、判断の正確性が著しく低下するという大きな欠点がある。
【００１５】
本発明の目的は、上述した欠点を解決し、本人確認の精度を大幅に向上することが出来る新規な認証技術を提供することである。
【００１６】
本発明の他の目的は、認証時における被認証者の負担を軽減しつつ、認証の信頼性を向上した認証技術を提供することである。
【００１７】
本発明の更に他の目的は、装置構成の大型化や複雑化を招くことなく、安全かつ確実な認証結果が得られるセキュリティ認証システムを提供することである。
【課題を解決するための手段】
【００１８】
上記目的を達成するため、請求項１に記載の本発明による申請者認証装置は、申請者の表情とその背景を第１のタイミングで撮影した第１の画像と、申請者の表情を変化させ、変化後の表情とその背景を第２のタイミングで撮影した第２の画像とを受信する画像情報受信部と、第１の画像及び第２の画像から表情に関する情報と背景に関する情報とを抽出する要素抽出部と、第１の画像から抽出された表情情報及び第２の画像から抽出された表情情報に基いて申請者の同一性を判定する表情判定部と、第１の画像から抽出された背景情報及び第２の画像から抽出された背景情報に基いて撮影場所の同一性を判定する背景判定部と、表情判定部及び背景判定部の判定結果に応答して申請者の本人確認を行う認証判定部とを具備し、背景判定部は、第１のタイミングから第２のタイミングに至る時間経過情報を判定要件とすることを特徴とする。
【００１９】
請求項２記載の申請者認証装置は、背景が静止画であることを特徴とする。
【００２０】
請求項３記載の申請者認証装置は、背景判定部が、第１の画像における背景情報と第２の画像における背景情報とを照合して撮影場所の同一性を判定することを特徴とする。
【００２１】
請求項４記載の申請者認証装置は、背景が動画であることを特徴とする。
【００２２】
請求項５記載の申請者認証装置は、背景判定部が、第２の画像から抽出された背景情報と、第１のタイミングから第２のタイミングに至る時間経過に伴って現れる動画情報とを照合して撮影場所の同一性を判定することを特徴とする。
【００２３】
請求項６記載の申請者認証装置は、第２の画像から抽出された表情情報及び背景情報と、第１の画像から抽出された表情情報及び背景情報とが共に変化していることを確認することで撮影場所の同一性を判定することを特徴とする。
【００２４】
請求項７記載の申請者認証装置は、背景が静止画と動画とを含むことを特徴とする。
【００２５】
請求項８記載の申請者認証装置は、背景判定部が、静止画の背景判定処理と動画の背景判定処理とを組み合わせて撮影場所の同一性を判定することを特徴とする。
【００２６】
請求項９記載の申請者認証装置は、背景判定部において撮影場所の同一性が確認出来なかった場合には、表情判定部の判定を無視して認証不適合とすることを特徴とする。
【００２７】
請求項１０記載の申請者認証装置は、申請者の表情を撮影した画像とその撮影時の環境情報とを第１のタイミングで収集し、次に申請者の表情を変化させ、変化した表情を撮影した画像とその撮影時の環境情報とを第２のタイミングで収集する情報収集部と、第１のタイミングで収集した画像と第２のタイミングで収集した画像との関連性から申請者の同一性を判定する表情判定部と、第１のタイミングで収集した環境情報と第２のタイミングで収集した環境情報とを時間軸に沿った動的情報として対比することで申請者の場所の同一性を判定する環境判定部と、表情判定部および環境判定部の判定結果を受けて申請者の認証を行う認証判定部とを有することを特徴とする。
【００２８】
請求項１１記載の申請者認証装置は、環境情報として、申請者を撮影する環境から得られた音情報、振動情報、あるいは、気圧情報等、センサーを使って検知可能な情報を使用することを特徴とする。
【００２９】
請求項１２に記載された本発明では、定められた場所で申請者の表情とその背景を撮影した画像に基いて申請者の本人確認を行う認証方法において、申請者の表情とその背景を第１のタイミングで撮影した第１の画像情報と、申請者の表情を変化させて、変化後の表情とその背景を撮影した第２の画像情報とを受信する第１のステップと、第１の画像情報及び第２の画像情報から表情に関する情報と背景に関する情報とをそれぞれ抽出する第２のステップと、第１の画像情報から抽出された表情情報と第２の画像情報から抽出された表情情報と類似度を算出して（又はこれらの相互関連性に基いて）申請者の同一性を判定する表情判定ステップと、第１の画像情報から抽出された背景情報と第２の画像情報から抽出された背景情報とを、第１のタイミングから第２のタイミングに至る時間経過と関連付けて撮影場所の同一性を判定する背景判定ステップとを有し、表情判定ステップ及び背景判定ステップにおける判定結果に基いて申請者の認証を行うことを特徴とする申請者認証方法が開示されている。
【００３０】
請求項１３記載の申請者認証方法は、背景判定ステップにおける撮影場所の同一性の確認と、表情判定ステップにおける申請者の同一性の確認との両方の確認が成立した時に、申請者が本人であると認証することを特徴とする。
【００３１】
請求項１４記載の申請者認証方法は、第１のタイミングで撮影された申請者の表情に関する情報と、その撮影時の環境に関する情報とを収集する第１のステップと、第１のタイミングに続く第２のタイミングで撮影された申請者の表情に関する情報と、第２のタイミングにおける環境に関する情報とを収集する第２のステップと、第１のステップおよび第２のステップで収集された表情に関する情報に基いて申請者の同一性を判定する第３のステップと、第１のタイミングおよび第２のタイミングで収集された環境に関する情報を照合して申請者の場所の同一性を判定する第４のステップと、第３および第４のステップで得られた判定結果に応答して申請者の認証判定を行う第５のステップとを有することを特徴とする。
【００３２】
請求項１５記載の認証方法は、第１のタイミングから第２のタイミングに至る時間を任意に変更することを特徴とする。
【００３３】
請求項１６記載の認証方法は、環境情報として、撮影が行われる場所からセンサーにて検知可能な情報を使用することを特徴とする。
【００３４】
請求項１７記載のセキュリティ認証システムは、第１のタイミングで申請者の表情に関する画像と申請者がいる場所の環境に関する情報とを収集し、第１のタイミングに続く第２のタイミングで申請者の表情に関する画像とその場所に関する環境情報とを収集する情報収集部と、情報収集部で収集した情報を受信し、受信した情報から表情に関する画像情報と場所に関する環境情報とを抽出し、抽出された２つの表情に関する情報に基いて第１のタイミングおよび第２のタイミングで収集された画像が同一人物の画像か否かを判定する第１の判定と、抽出された２つの環境に関する情報に基いて申請者が同一の場所に存在するか否かを判定する第２の判定とを実行する情報判定部と、情報判定部による判定結果に基いて、申請者が同一人物であると判定され、かつ、申請者の場所が同一場所であると判定された時に認証許可を指示する認証判定部と、認証判定部からの指示を受けて申請者に対してセキュリティサービスを実行するサービス実行部とを有することを特徴とする。
【００３５】
請求項１８記載の認証システムは、前記第１のタイミングから前記第２のタイミングに至る時間を変更可能としたことを特徴とする。
【００３６】
上述した本発明において、「申請者」という単語は、金品取引における決済者、入国審査や入場審査を受ける者、さらには、受験や応募等を申請する者、あるいは、申し込みや依頼等で承認手続きを必要とする者等、本人証明を必要とする者を全て含むものである。
【００３７】
また、「表情」という単語は、顔の表情だけでなく、動作を伴うポーズや仕草、体の動き等、画像情報としてその変化が識別可能な身体の各部位に表出される変化を意図するものである。たとえば、顔の表情の例としては笑顔やウィンク、口の開閉等を含み、身体の表情としては、手の上げ下げや首のひねり等を指す。
【００３８】
さらに、「時間経過」という単語は、例えば同じ場所において異なるタイミングで収集した２つの情報ＡとＢを、互いに独立した静的な情報として捉えるのではなく、同じ時間軸によって繋がれた相互に関連する動的な情報として捉えることを指す。換言すれば、あるタイミングでは情報Ａ、また別のタイミングでは情報Ｂとして夫々を個別に認識するのではなく、情報Ａは時間を経過して情報Ｂに変化する（あるいは、変化しない）という時間経過情報を加味した動的な情報として捉えることで、情報ＡとＢに時間的な繋がりを持たせることを意味する。詳細は、以下の記載を参照されたい。
【００３９】
また、「環境」という単語は、申請者の表情を撮影する際に同時に撮影可能な背景画像、あるいは、申請者の表情を撮影する場所の周囲からセンサー（集音マイクも含む）を使って検知可能な情報を含み、例えば、音、振動、気圧、温度、湿度、位置等の情報を指す。
【００４０】
本発明の大きな特徴は、第１及び第２のタイミングで取得した環境情報の時間的関連性（時間経過情報）を判定要件としている点である。従って、この経過時間を任意に設定・変更することで、判定処理で使用される情報を秘密裏に変更させることができる。言い換えれば、時間で繋がれている２つの環境情報を隠されたパスワードとして利用するもので、時間を変更することによりパスワード自体の変更を行うようにしたものである。通常、パスワードは被認証者（申請者）が使用するものであるが、本発明では、これを認証側に持たせるという新たな発想で、パスワード管理に対する被認証者の負担を大幅に軽減している。
【発明の効果】
【００４１】
請求項１記載の認証装置は、申請者の「表情の変化」と「背景画像」とを用いて、表情の変化で申請者の同一性を判定し、背景画像で場所の同一性を判定することを特徴とする。特に、背景画像の時間経過、すなわち、表情が変化する前後の背景画像に時間的連続性があるか否かを判定の要件とすることで、申請者が同一場所に存在し、かつ生存している（動いている）かどうかを確認することができる。具体的には、表情変化前後の２つの背景画像同士を比較・照合することで、申請者が時間的に連続する同一の場所に存在するか否かの判定を可能としている。従って、装置構成を複雑化することなく、精度の高い本人確認と生存確認が出来るという効果を得ることが出来る。
【００４２】
請求項２及び３記載の認証装置は、背景画像として静止画を使用するものである。この場合、表情変化前の背景画像と変化後の背景画像が同一の画像であるか否かを判定することで場所の同一性の確認ができる。もしも、背景に変化があれば、異なる場所で撮影された合成画像であると識別される。従って、ここでは時間が経過しても背景が変化していないことを判定すれば場所の同一性の確認が可能である。この判定は、変化前後の２つの画像の比較・照合処理で可能であり、３次元解析のように複雑な設備や処理を必要としないという利点がある。
【００４３】
請求項４乃至６記載の認証装置は、背景画像として動画を使用するものである。静止画と同じように動画においても時間経過との関連性を判定要件とすることで、高精度の認証が可能となる。これは、第１のタイミングから第２のタイミングに至る経過時間（t）を基に、経過時間後に現れるべき動画と第２のタイミングで取得した動画との一致を判定してもよいし、あるいは、第１のタイミングを基準として、第２のタイミングで表情と背景とが共に変化しているか否かを判定して同一場所における申請者の存在を確認するようにしてもよい。いずれにおいても、時間軸に沿った動的な判定により正確性の高い認証結果を得ることが出来る。
【００４４】
請求項７及び８記載の認証装置には、背景画像として静止画と動画の両方を使用することで認証の信頼性を更に高めることが可能である。
【００４５】
請求項９記載の認証装置によれば、時間的に繋がりのある２つの背景画像をパスワードとして使用することで、正しいパスワードが検出されなければ認証不適合と見なすことができるので、申請者本人の同一性を判定することなく（あるいは、判定結果を待つことなく）認証を完了することが可能となり、入国審査や入場審査のように申請者が列をなす場面では、特に有効である。
【００４６】
請求項１０及び１１記載の認証装置によれば、申請者が認証を受ける場所の環境情報（音、振動、気圧等）を場所の同一性判定の要素として使用することで、認証可能な場所を拡大することが出来るという効果が得られる。
【００４７】
請求項１２及び１３記載の本発明は、申請者の表情の変化と時間経過に伴う背景の変化を基に認証を行う方法を開示している。ここでは、背景情報の時間経過情報を申請者のためのパスワード判定ツールとして認証側で設定し管理することができるので、申請者に課せられるパスワード管理負担を排除できるという効果を得ることが出来る。
【００４８】
請求項１４乃至１６記載の本発明は、第１のタイミングから第２のタイミングまでの時間を認証判定の要件としているので、第１のタイミングと第２のタイミングで収集した環境情報を照合することで申請者が同一場所に存在しているか否かを判定することができる。さらに、この時間を任意に変更することで、仮に撮影場所が特定されたとしてもこの時間の長さが分からない限り申請者本人に成りすますことは出来ない。故に、認証方法の秘匿性を著しく高めることができる。また、認証場所から得られる背景画像や、音や、振動や、気圧等のセンサーで検知可能な環境情報を使用しているため、複雑な設備の増加を招くこともない。加えて、前述と同様、環境情報をパスワードとして使用できるので、申請者に負担を与えることなく信頼性の高い認証を行うことができる。
【００４９】
請求項１７及び１８には、前述の本発明に係る認証方法や認証装置を用いた認証システムが開示されている。ここでは、画像、音、振動、気圧等、申請者の居場所の周囲環境から得られる環境情報、及び、この環境情報を収集する時間をパスワードとして利用しているので、応用範囲が広く、かつ高信頼性、高秘匿性のセキュリティ認証システムを提供することができる。
【００５０】
上述したように、パスワードとして使用される背景情報（環境情報）は、特定のタイミングにおける静的な情報ではなく、時間軸で繋がれた動的な情報として取り扱っているため、経過時間（ｔ）自体がパスワードの一部を構成しており、この時間を任意に変えることでパスワードの秘匿性を大幅に高められることが本発明の大きな特徴である。故に、高価で大掛かりな装置を設置することなく、安全かつ高信頼度の認証機能を、申請者に対してパスワード管理の負担を与えることなく、あらゆる場所および場面で提供することができるという格別の効果を得ることが可能となる。
【図面の簡単な説明】
【００５１】
【図１】本発明が適用されるセキュリティ認証システムの概略構成図である。
【図２】本発明を実施する際に実行される申請者に対する撮影のタイミングを示す図である。
【図３】本発明を実施するための第１の形態の申請者認証装置の機能ブロック図である。
【図４】本発明の第１の形態に関する認証処理の手順を示すフロー図である。
【図５】本発明の第１の形態の表情判定部及び背景判定部の内部機能ブロック図である。
【図６】本発明の第１の形態の背景判定処理における時間経過の流れを示すタイムチャートである。
【図７】本発明の第１の形態における認証画像の模式図である。
【図８】本発明を実施するための第２の形態に関する認証処理手順を示すフロー図である。
【図９】本発明の第２の形態における背景判定処理の時間経過の流れを示すタイムチャートである。
【図１０】本発明の第２の形態に関する認証画像の模式図である。
【図１１】本発明を実施するための第３の形態に関する認証処理手順を示すフロー図である。
【図１２】本発明の第３の形態に関する認証画像の模式図である。
【図１３】本発明に送る表情と環境の係わる情報の取得タイミングと取得パターンを示す図である。
【図１４】本発明を実施するための第４の形態におけるセキュリティ認証システムの機能ブロック図である。
【図１５】本発明の第４の形態に関する認証処理手順のフロー図である。
【図１６】本発明の第４の形態における人物判定と場所判定の仕組みを示すタイムチャートである。
【発明を実施するための形態】
【００５２】
以下に本発明の実施の形態に関して、図を参照して詳細に説明する。
【実施例１】
【００５３】
まず、図１のシステム構成図を参照して、本発明が適用されるセキュリティ認証システムの概略を説明する。本システムは、申請者１０に対するセキュリティサービス実行部２０と、申請者の表情を撮影するカメラ３０と、撮影した画像を受信して申請者の認証を行う認証センター４０とを備えている。また、申請者を認証するための環境情報を収集する手段として、必要に応じて集音マイク５０やセンサー６０等を設けても良い。カメラ３０は、主として申請者の表情をその背景と共に撮影するために使用され、撮影した画像は通信回線を介して認証センター４０に送信される。撮影場所の周囲の音は、集音マイク５０により収集される。また、撮影場所の振動や気圧は、センサー６０によって検出される。収集された音情報や検出された振動、気圧情報は、通信回線を介して認証センターへ転送される。ここでは、申請者の表情以外の背景画像、光、音（楽曲）、振動、気圧等に関する情報を含めて「環境情報」として定義することとする。なお、最近では、スマートホン等の携帯端末に、マイクや振動センサー、気圧センサー、ＧＰＳ等の各種センサーが搭載されているので、環境情報収集の手段としてかかる携帯端末を使用することも可能である。
【００５４】
本発明の適用が可能なセキュリティサービスとして、カードレス決済を行う申請者（購入者）を例にとり、申請者の振る舞いとその認証手順について説明する。まず、図１において、申請者１０は、サービス実行部（例えば、売り場のサービスカウンター）の前でカメラ撮影を受ける。その撮影手順は、図２に示されるように、申請者１０がカメラの前に立つことでスタートされる。カメラ３０は、申請者１０の顔の表情（普通の顔）をとらえると、第１のタイミングＴ１で１回目の撮影を実施する（１st撮影）。このタイミングＴ１では、申請者の顔の表情とその背景が同時に撮影される。次に、チャイムやランプ表示等で申請者１０に対して顔の表情を変えるよう合図が送られる。この合図を基に、申請者１０は顔の表情を変える（たとえば、笑顔やウィンクでよい）。カメラ３０は、第１の撮影タイミングから時間ｔが経過し、合図によって申請者の表情が変化した第２のタイミングＴ２で表情変化後の申請者の顔とその背景を撮影する（２nd撮影）。カードレス決済における申請者の振る舞いは、以上で終了となる。図２において、第１のタイミングで撮影された表情変化前の画像は、背景が静止画の場合は情報Ｐ１として、背景が動画の場合は情報Ｐ３として、また背景が静止画と動画の場合は情報Ｐ５として通信回線を介して認証センター４０に送信される。同様に、第２のタイミングで撮影された表情変化後の画像は、背景が静止画の場合は情報Ｐ２として、動画の場合は情報Ｐ４として、また静止画と動画の場合は情報Ｐ６として認証センターに送信される。
【００５５】
次に、図３を参照して認証センター４０に設けられている認証装置４０Ａの構成を説明する。認証装置４０Ａは、撮影部（カメラ）３０から送信された画像情報を受信する撮影情報受信部４１と、受信された画像情報から申請者の顔の表情情報及び背景情報を各要素として抽出する要素抽出部４２と、抽出された表情情報に基いて申請者１０の表情の判定を行う表情判定部４３と、背景情報に基いて撮影場所の判定を行う背景判定部４４と、表情判定部４３及び背景判定部４４の判定結果に基いて申請者の本人確認を行う認証判定部４５とを有する。
【００５６】
次に、図３の認証装置の処理フローを図４を参照して説明する。ここでは、背景が静止画の場合、すなわち画像情報Ｐ１とＰ２について説明する。第１のタイミングで撮影された表情変化前の画像情報Ｐ１に対して、要素抽出部４２において第１の要素抽出処理が実行され、変化前の表情画像情報（１st表情）と、その時に撮影された背景画像情報（１st背景）とが切り分けられる。さらに、変化後に撮影された表情画像情報Ｐ２に対しては、第２の要素抽出処理によって表情変化後の表情画像情報（２nd表情）と、同時に撮影された表情変化後の背景画像情報（２nd背景）とが切り分けられる。
【００５７】
変化前の１st表情と変化後の２nd表情に対して、申請者の同一性確認のための表情判定処理が実行される。ここで、表情を変化させる目的は、撮影場所にいる人物が変化前と変化後で同一人物か否か、及び生存（動いている）しているか否かを判定することである。例えば、人が普通の表情から笑ったり、ウィンクをした時等に共通して起きる表情変化の動きを基本に、笑顔の変化関数やウィンクの変化関数を算出して、実際に撮影した画像との類似度を求め、その差が所定の範囲内にあるか否かを分析することで判定することができる。なお、この方式以外にも前述した特許文献１あるいは２に開示されているような技術を使ってもよい。かかる表情判定により、２つの異なるタイミングで撮影された人物が同一人物で、かつその場に生存している（動いている）ことが分かる。
【００５８】
引き続き、図４に示されている背景判定について説明する。第１及び第２のタイミングで申請者と共に撮影された背景情報は、要素抽出処理により１st背景と２nd背景として切り出される。これらの背景情報は、この実施例では静止画を対象としているので、背景判定ステップにおいて、これら２つの背景情報の照合処理が行われ、照合の結果として一致もしくは不一致が検出される。
【００５９】
表情判定及び背景判定により夫々検出された一致、不一致の信号に応答して、認証判定部４５は適正対応処置もしくは不適正対応処置を指示する信号をサービス実行部２０に送信する。この際、適正対応処置（申請者が本人であると判定された場合の処置）を判定する条件は、表情判定が一致し、かつ背景判定も一致することである。一方、表情判定及び背景判定の少なくとも一方が不一致であれば強制的に不適正対応処置（申請者が本人ではないと判定された場合の処置）となる。
【００６０】
上述した表情判定及び背景判定の処理に関して、図５の機能ブロック図を用いて、より詳細に説明する。図５に示されているように、表情判定部４３は、申請者確認部４３１と表情変化判定部４３２を有し、一方、背景判定部４４は、背景確認部４４１と背景変化判定部４４２を有している。登録データベース（登録ＤＢ）７０には、申請者１０の普通の顔（変化前の顔）を撮影した画像情報が予め登録されている。登録ＤＢ７０に画像を登録するには、普通の表情を撮影した画像を申請者が予め認証センター４０に送信して事前登録しておけばよい。この場合、背景画像はどの様な画像であっても構わない。例えば、携帯端末のカメラ機能を使って自分の表情を撮影し、インターネット回線を介して認証センター４０に送信することもできる。登録ＤＢ７０としては、送信されてきた画像情報の記憶、蓄積が可能な磁気ディスクやファイルサーバ、クラウドデータベースサーバ等が利用可能である。更に、登録データベース７０には、認証場所で実際に申請者を撮影する時に使用される背景画像を予め登録しておいても良い。なお、認証場所を判定するために使用される背景画像情報は、表情変化前後の背景画像情報同士を照合することで判定可能であるため、必ずしも登録ＤＢ７０に事前に登録しておく必要はない。
【００６１】
図５に示されるように、表情判定部４３及び背景判定部４４は、第１のタイミングで撮影された表情画像（1st表情）と背景画像（1st背景）を入力して登録ＤＢ７０に記憶されている情報と比較・照合を行う申請者確認部４３１および背景確認部４４１を夫々有している。これらは、図１のセキュリティ認証システムに設置されているカメラ３０で実際に撮影された画像に対して、それが登録ＤＢ７０に予め登録されている申請者か否か、および、撮影場所が正しい場所か否かの確認をするためのものである。申請者確認部４３１による照合処理の結果、1st表情が登録ＤＢ７０に登録されている申請者の表情情報と異なる場合、あるいは、背景確認部４４１による照合処理の結果、１st背景が登録されている背景情報と異なる場合には、不一致と判定され強制的に認証不可（ＮＧ）の処理がなされる。
以上の処理は、表情および背景の変化判定処理の前処理として位置付けることが出来る。この前処理を導入することで、その後の変化判定処理が必要か否かの事前確認が出来るため、巧妙性に欠ける成りすましを短時間で振い落とすことができ、次の申請者の待ち時間を短縮できることが可能となる。しかしながら、前述したとおり、前処理としての背景確認は必ずしも必要なものではない。
【００６２】
以上の前処理で一致が確認された時、一致検出信号により表情変化判定部４３２及び背景変化判定部４４２が起動される。表情変化判定部４３２には第１及び第２のタイミングで取得された1st表情情報と２nd表情情報が入力され、前述した表情変化判定処理によって第１および第２のタイミングで撮影された申請者が同一か否かの判定が行われる。
【００６３】
一方、背景確認部４４１からの一致検出信号により起動された背景変化判定部４４２は、１st背景情報と２nd背景情報を入力して変化判定処理を実行する。背景変化判定部４４２が、１st背景情報と２nd背景情報とを時間軸に沿った動的情報として判定する手順について、図６を参照してより詳しく説明する。
【００６４】
第１の撮影タイミング（時刻Ｔ１）で所得された１st背景画像情報と、それから時間ｔが経過した後の第２の撮影タイミングで所得された２nd背景情報に対して、これら背景情報の同一性を判定するために、両者の比較・照合が行われる。ここで、背景が静止画の場合は、時間ｔが経過しても２つの背景画像に変化がない（即ち、1st背景画像情報と２nd背景画像情報が同一画像である）と判定されることが、申請者が同一の撮影場所で撮影されたことを証明する条件となる。一方、背景が動画の場合には、これら２つの画像が異なる画像であることが証明の条件となる。すなわち、背景が静止画の場合と動画の場合とでは判定条件が逆になる場合もあり得る。ここで、成りすまし等の不正行為を企てた者が、認証場所で使用される背景を仮に知り得たとしても、この時間ｔの値が分からない限り、どのタイミングの画像を偽造すればよいか判断することはできない。また、背景が静止画だとしても、時間ｔの経過時点でなお以前の静止画が続いているかどうかの判断は困難である。このように、時間ｔを隠れたパスワードとして使用することで、極めて秘匿性の高い認証技術を提供することができる。
【００６５】
次に、図７を参照して、実施例１における認証の具体例について説明する。図７の（ａ）および（ｃ）は第１のタイミング（表情変化前）で取得された画像を示しており、申請者の表情は変化前の表情Ａ、その背景は画像Ｃとして認証センターに送信される。次に、申請者の表情をＡからＢに変化させ、第２のタイミングで撮影した画像が（ｂ）もしくは（ｄ）だとすれば、（ｂ）は表情が変化し、かつ背景は変化していないことから、申請者は同一の場所で撮影された同一人物であるということが確認できる。これに対して、画像（ｄ）は表情Ｂが正しく変化しているものの、背景がＣとは異なる背景のＤであるため、偽造と判定される。なお、時間ｔ経過後、背景がＤに変化しているのが正しいとすれば、逆に（ｂ）が不正であると判定される。従って、認証センターがどの背景を設定したのかが分からない以上、また、２つのタイミングの間の時間が分からない以上、背景情報が極めて秘匿性の高い有効なパスワードとして機能することが理解出来よう。
【実施例２】
【００６６】
図８は、背景画像を動画とした時の判定処理手順を示す。図２で撮影された画像は、背景が動画であるため、第１のタイミングでは表情変化前の情報Ｐ３、第２のタイミングでは表情変化後の情報Ｐ４として送信される。表情変化前の情報Ｐ３は、第１の要素抽出処理で１st表情情報と１st動画情報に区別され、表情変化後の情報Ｐ４は、第２の要素抽出処理で２nd表情情報と２nd動画情報に区別される。表情判定処理では、先の実施例１と同様に申請者の同一性が判定され、一致／不一致検出信号が生成される。一方、背景動画判定処理では、後述するように時間経過後の動画像が適正な画像か否かが判定され、適正を示すＯＫ検出信号、もしくは不適正を示すＮＧ検出信号が生成される。認証判定部４５は、表情判定結果の一致検出信号及び背景動画判定結果のＯＫ検出信号の両方が成立した時、適正対応処置を指示する信号を発生する。表情判定が不一致、もしくは、背景動画判定がＮＧの時は、不適正対応処置を指示する信号が発生される。
【００６７】
図９を参照して、背景が動画の場合に対する判定処理について詳述する。判定処理に用いられる情報は、第１のタイミング（時刻Ｔ１）で取得した第１の背景動画情報Ｐ３と、その後、時間ｔ経過後の第２のタイミング（時刻Ｔ２）で取得した背景動画情報Ｐ４である。この２つの動画情報をパスワードとして用いて、申請者が同一の場所に存在するか否かを判定する方法としては、以下に述べる２つの方法が有効である。
【００６８】
第１の方法は、第１の動画情報が取得された第１の時刻（Ｔ１）から時間ｔが経過した時に現れる動画の画面情報と第２のタイミング（時刻Ｔ２）で実際に取得した動画情報とを比較・照合して同一性を判定する方法である（図９の処理ｉ）。第２の方法は、表情の変化と背景の変化の両立性（２つの情報が共に変化していること）を判定する方法である。
【００６９】
図１０を用いて上記の判定方法による判定画像の推移を説明する。図１０（ａ）は第１のタイミング（時刻Ｔ１）で取得した画像で、変化前の表情画像Ａとその時の動画画像Ｅを示している。その後、時間ｔが経過した後、第２のタイミングＴ２で取得した画像（ｂ）に対して、前記第１の方法で背景動画Ｇが時間ｔ経過時に現れる動画画像と一致するか否かを判定し、一致すれば申請者が同一場所に存在することが判る。動画画像がＧ以外の画像であれば、場所の同一性が否定され本人認証不可と判定される。また、第２の判定方法を使えば、図１０（ｃ）が第１のタイミングで取得した情報であるのに対して、表情は変化しているが、背景は変化していない（Ｅのまま）ことが確認され、場所の同一性が否定され、本人認証不可として処理される。
【００７０】
以上のように、背景画像として動画を用いることで、時間軸に沿って変化する背景と第２のタイミングまでの時間ｔとを組み合わせて、秘匿性の高い背景パスワードを提供することができる。特に、認証に使用されている背景動画が、万が一流出したとしても、時間ｔを変更することで安全性を維持することができる。
【実施例３】
【００７１】
図１１には、背景画像として静止画と動画を組み合わせた画像を用いて認証判定を行う時の処理フローが示されている。ここでは、第１のタイミングで取得される情報Ｐ５（表情変化前に撮影された画像）と第２のタイミングで取得された情報Ｐ６（表情変化後に撮影された画像）が第１及び第２の要素抽出処理で、表情、静止画、動画の３つの要素に切り分けられる。その後、各要素として抽出された３つの画像情報に対して、表情判定、背景静止画判定、及び背景動画判定の３つの判定が行われる。この例において、認証判定で本人であると判定される条件は、表情判定、背景静止画判定、及び背景動画判定が全て一致検出信号を出力した時である。
【００７２】
例えば、図１２（ａ）及び（ｃ）に示す表情変化前の画像（表情Ａ、背景静止画Ｃ、背景動画Ｅの組み合わせ）に対して、同図（ｂ）に示す表情変化後の画像（表情Ｂに変化、背景静止画Ｃのまま、背景動画Ｇに変化）が正しい画像であるとすれば、動画Ｅが変化していない画像（ｄ）に対して、この画像（ｄ）が同一場所で撮影されたものではないこと（あるいは偽造されたものであること）が容易に検出できる。当然、表情変化後の画像で、背景静止画Ｃ及び背景動画Ｇのいずれか一方、あるいは両方が不一致検出されれば、撮影場所の申請者は本人ではないことを簡単に確認することができる。このように、背景判定のパスワードとして静止画と動画の両方を組み合わせて使うことで成りすまし防止効果は一段と向上することが明らかである。更に、時間ｔを任意に変化させることで、パスワードの秘匿性も大幅に高めることが可能となり、極めて信頼性の高い認証技術の提供が可能となる。
【００７３】
なお、以上の説明では、申請者撮影時に同時に撮影可能な背景画像を、場所判定のためのパスワードとして活用する技術について述べたが、本発明によれば、画像に限らず、認証場所で検出可能な周囲の音（楽曲）、振動、気圧、撮影位置等、周知のセンサーを使って収集することができる環境情報であっても画像と同様にパスワードとして活用できることは、当業者であれば容易に想到し得ることである。
【００７４】
また、認証場所を申請者本人確認のための単なる静的空間として捉えるのではなく、時間的に繋がりのある動的空間として捉えるという本発明の新たな発想によれば、申請者の表情及び環境のいずれか一方、もしくは両方に対して、時間的な関連性を持ってこれらを動的に変化させることで、精度と秘匿性が従来よりも優れ、かつ拡張性のある認証技術を提供することが可能である。以下に、図１３乃至図１６を用いて、これら表情と環境の変化に関する適用例について説明する。
【実施例４】
【００７５】
図１３には、本発明の適用例として、代表的な３つのパターンが示されている。Ｓ１のパターンは表情を変化させずに環境を変化させるケースを、Ｓ２のパターンは環境を変化させずに表情を変化させるケースを、更に、Ｓ３のパターンは表情および環境の両方を変化させるケースを夫々示している。
【００７６】
環境情報としては、例えば、認証場所に存在する自然由来の音（あるいは、楽曲）や振動等の周波数情報や、気圧、温度、湿度等の数値化可能な情報、あるいは、ＧＰＳやジャイロセンサー等で収集可能な緯度、経度に関する位置情報等のように、機械的、電気的、磁気的、音響的、もしくは化学的に検知可能な情報を使用することができる。更に、ここでは、これらの情報に意図的（人工的）な加工を加えることなく環境空間から自然に取得した情報を「変化なし」の情報と称し、意図的な加工（例えば、音を変えたり、特殊な振動を与えたり、撮影のための立ち位置を変えたりすること）を施して動的に変化させた情報を「変化あり」の情報と称する。
【００７７】
次に、撮影された申請者画像と収集された環境情報との時間的整合について説明する。環境情報として申請者撮影時の背景画像を使用する場合には、人物と背景とが同一の画面内に存在するが、上記の音、振動、気圧等々、画像とは個別に収集される情報の場合には、申請者画像情報と環境情報に時間的関連性（マッチング）を持たせる必要がある。時間的関連性を持たせるには、例えば、環境情報を所定のタイミング（図１３の時間軸上の●）で継続的に検出して認証センターの受信部に送信し、この所定のタイミングと同期した２つのタイミングポイント（Ｔ１とＴ２）を申請者撮影のための第１及び第２の撮影タイミングとして任意に割り当てることで、撮影画像情報と環境情報とを同期化させることができる。更に、時間ｔの間隔を任意に変更することで、環境情報を変更することができる（パスワードの変更）。
【００７８】
さて、実際に申請者を認証する場合、図１３のパターンＳ１では、環境に動的変化を与えているので、申請者は撮影カメラ（図１の３０）の前に立つだけでよい。カメラ３０は、環境情報の取得タイミングに同期して任意に指定された２つのタイミング（Ｔ１、Ｔ２）で申請者の顔画像を撮影し、表情情報Ｆ１及びＦ２として認証センターに送信する。また、環境情報としては、同じタイミングの情報Ｋ１及びＫ２が認証用パスワードとして使用される。このようにすれば、図２に示されているような申請者に対する「合図」が不要となる。
【００７９】
図１３のパターンＳ２は、環境を変化させずに、表情を変化させる例を示しており、実施例１に記載した効果と同様の効果を得ることができるのは、容易に理解できる。特に、表情の変化で申請者の生存を確認することができ、かつ、その生存場所が認証場所と一致しているか否かも同時に確認できるという点で優れている。
【００８０】
さらに、図１３のパターンＳ３のように、表情と環境の両方を変化させることで、本人確認と併せて、その生存の有無及び生存場所（認証場所）の確認をも同時に行うことができる。しかも、表情と背景の両方の変化に加えて、時間の変更までもが可能なため、パスワードとしての秘匿性を格段に向上させることができるという、これまでにない高精度かつ堅牢な認証システムを構築することができる。従って、特に厳しいセキュリティが要求される空港の入国審査や関係者外立ち入り禁止区域等でのセキュリティ認証システムに好適である。
【実施例５】
【００８１】
ここでは、特に高いレベルの認証が要求される空港の入国審査に本発明の認証システムを適用する例を、図１４乃至１６を参照して説明する。図１４は、この認証システムにおいて必要な認証機能を示すブロック図である。撮影部３０として、審査場所に設置されている入国者撮影用のカメラを、また環境情報収集センサー５０/６０として、審査場所の周囲の環境から得られる音（楽曲）、振動、気圧、位置等の環境情報を感知する機能を有するセンサーを使用することができる。審査のための入国者を撮影するタイミングは、認証センター４０のタイミング制御部１４１からの撮影指示信号ｃ１によって決定される。撮影された画像情報Ｆは、インターネット回線等を介して認証センター４０に送信される。一方、センサー５０/６０が検知した環境情報Ｋは、予め定められた時間間隔で認証センターに送信されるが、撮影指示信号ｃ１に同期させて環境情報を送信するようにしてもよい。認証センター４０に送信された画像情報Ｆと環境情報Ｋは、画像及び環境情報受信部１４２のサーバ（図示せず）等にて格納され保管される。入国者確認のための撮影は、前述の実施例１乃至４と同様に所定の時間間隔（時間ｔ）を設けて２回行われる。
【００８２】
画像及び環境情報受信部１４２に記録された情報は、タイミング制御部１４１からの制御信号ｃ２に応答して要素抽出部１４３に送られ、人物情報Ｆ及び環境情報Ｋとして抽出され、それぞれ人物同一性判定部１４４及び場所同一性判定部１４５に転送される。人物の同一性判定及び環境の同一性判定の結果に従って認証判定部１４６で最終判定が実行され、これら２つの判定結果が共に一致した時に入国者の本人確認が成立する。なお、人物判定（場合によっては、環境判定も）では、入国者の人物画像が予め登録されている登録データベース（登録ＤＢ）７０の人物情報と照合され入国者の人物確認が行われる。また、これと同時に環境判定を実施して、審査撮影場所の確認を行うようにしても良い。
【００８３】
次に、図１５を参照して認証センター４０における認証処理の手順について説明する。ここでは、人物判定と環境判定を並列に実行する手順を例として説明するが、これらの判定を直列、あるいは組み合わせて実行するようにしてもよい。
【００８４】
タイミング制御部１４１からの撮影指示に基き、時間ｔの間隔をもって撮影された２つの画像は、人物画像Ｆ１及びＦ２として取得され、人物照合処理が行われる。この処理では、登録ＤＢ７０に事前登録されている入国者の人物画像（例えば、パスポートの顔画像）と１回目（第１のタイミング）に撮影された人物画像が前処理として照合される。この段階で、画像の不一致が検出されると入国拒否の処置が取られる。一方、環境情報受信指示によって撮影タイミングと同期して抽出された２つの環境情報Ｋ１、Ｋ２を用いて環境同一性判定処理が実行されるが、その前処理として、人物照合と同様に、１回目の撮影と同期して取得された環境情報が審査場所の環境情報として予め登録されている環境情報と一致するか否かの場所照合を行っても良い。この照合で、場所不一致と判定された場合には、やはり入国拒否の処置が取られる。ただし、その後に行われる２つの環境情報（Ｋ１、Ｋ２）を使った環境同一性判定により場所の確認も可能であるため、登録データベースを使った場所照合のための前処理は省略することが可能である。
【００８５】
続いて行われる人物同一性判定処理では、図１６のタイミング図に示されるように、第１のタイミングＴ１と第２のタイミングＴ２で取得された撮影画像（人物画像）Ｆ１とＦ２の照合処理が行われる。この処理では、人物の表情変化が無い場合には、両画像の同一性が判定され、表情変化がある場合には、両者の類似性が判定される。さらに、場所同一性判定処理では、図１６に示されているように、第１のタイミングＴ１と第２のタイミングＴ２に同期して抽出された環境情報Ｋ１とＫ２の照合処理が行われ、環境変化のない場合には両者の同一性が、また環境変化のある場合には、タイミングＴ１から時間ｔ経過後の環境情報（登録ＤＢに事前登録しておけばよい）と実際に取得された環境情報Ｋ２との照合処理が行われ、場所の同一性が判定される。上記の判定処理の結果を受けて、図１４の認証判定部１４６では、人物の同一性と場所の同一性の両方が確認された時点で入国者の本人確認が終了し、入国許可の処置が取られる。しかし、それ以外の結果場合には、いずれも入国禁止の処置が取られる。
【００８６】
このように、時間間隔ｔで取得された２つの人物情報と環境情報とをその時間的繋がり（関連性）をベースにして本人の確認と場所の確認を行うことで、撮影された人物の同一性と撮影場所の同一性を判定することができる。この場合、環境情報が前述したパスワードの役目を果たす事は容易に理解されよう。更に、タイミングＴ１とＴ２で取得された２つの情報に時間的な繋がりを持たせることで本人の生存確認も同時に行うことができる。
【００８７】
ここで、入国者認証のために撮影した画像の背景画像を環境情報として使用する場合には、この背景画像を認証用のパスワードとして活用できるが、音や振動等の撮影画像とは独立した情報を使用する場合には、環境情報と撮影画像との関連性を紐付ける必要がある。このためには、撮影者の表情を変化させた画像を使うか、あるいは、撮影時の背景画像と環境情報に特定の関連性を持たせるようにすればよい。特に、後者の場合には、背景画像を動画にしたり、背景画像のパターンに応じて環境情報を変化させるようにすることで、環境情報と撮影画像を紐付けることができる。
【産業上の利用可能性】
【００８８】
以上の記載から明らかなように、本発明は、本人の認証が必要とされるあらゆる場所及び場面に適用することが可能である。特に、本人の認証を遠隔地で行う必要がある場合（例えば、インターネット通信販売における決済や、病院等での自動会計処理、駐車場での入退管理、等々）には有効である。
【符号の説明】
【００８９】
１０  申請者
２０  サービス実行部
３０  撮影用カメラ
４０  認証センター
４０Ａ  認証装置
４１  撮影情報受信部
４２  要素抽出部
４３  表情判定部
４４  背景判定部
４５  認証判定部
４３１  申請者確認部
４３２  表情変化判定部
４４１  背景確認部
４４２  背景変化判定部
５０  集音マイク
６０  センサー
７０  登録データベース
１４１  タイミング制御部
１４２  画像および環境情報受信部
１４３  要素抽出部
１４４  人物同一性判定部
１４５  場所同一性判定部
１４６  認証判定部
【図１】
0006679291.tif 000002
【図２】
0006679291.tif 000003
【図３】
0006679291.tif 000004
【図４】
0006679291.tif 000005
【図５】
0006679291.tif 000006
【図６】
0006679291.tif 000007
【図７】
0006679291.tif 000008
【図８】
0006679291.tif 000009
【図９】
0006679291.tif 000010
【図１０】
0006679291.tif 000011
【図１１】
0006679291.tif 000012
【図１２】
0006679291.tif 000013
【図１３】
0006679291.tif 000014
【図１４】
0006679291.tif 000015
【図１５】
0006679291.tif 000016
【図１６】
0006679291.tif 000017