(57)【要約】【課題】秘密情報を入力する際のセキュリティを高める。【解決手段】撮像された画像に映る入力部２４０に重畳して表示される仮想的な入力キーの配置を定義する仮想キー情報を、前記画像を撮像し及び前記仮想的な入力キーを表示する端末装置へ送信する通信部２３０と、前記入力部２４０により検出されるユーザ入力の物理的な位置を表す入力位置情報を取得する情報取得部２５０と、前記通信部２３０により送信された前記仮想キー情報と前記情報取得部２５０により取得された前記入力位置情報とを照合することにより、ユーザにより指示された入力キーを判定する判定部２６０と、を備える情報処理装置を提供する。【選択図】図５
2012174208.tif 000002
【特許請求の範囲】
【請求項１】
撮像された画像に映る入力部に重畳して表示される仮想的な入力キーの配置を定義する仮想キー情報を、前記画像を撮像し及び前記仮想的な入力キーを表示する端末装置へ送信する通信部と、
前記入力部により検出されるユーザ入力の物理的な位置を表す入力位置情報を取得する情報取得部と、
前記通信部により送信された前記仮想キー情報と前記情報取得部により取得された前記入力位置情報とを照合することにより、ユーザにより指示された入力キーを判定する判定部と、
を備える情報処理装置。
【請求項２】
前記通信部は、ユーザ入力の物理的な位置を検出する前記入力部を有する入力端末から、前記入力位置情報を受信する、請求項１に記載の情報処理装置。
【請求項３】
前記情報処理装置は、ユーザ入力の物理的な位置を検出する前記入力部、をさらに備える、請求項１に記載の情報処理装置。
【請求項４】
前記入力部は、前記仮想的な入力キーの配置をユーザに示す標識を表示せず、当該標識を物理的にも有しない、請求項３に記載の情報処理装置。
【請求項５】
前記端末装置は、前記仮想的な入力キーを前記入力部に重畳して表示するヘッドマウントディスプレイを有する、請求項１に記載の情報処理装置。
【請求項６】
撮像された画像に映る入力部に重畳して表示される仮想的な入力キーの配置を定義する仮想キー情報を、前記画像を撮像し及び前記仮想的な入力キーを表示する端末装置へ送信するステップと、
前記入力部により検出されるユーザ入力の物理的な位置を表す入力位置情報を取得するステップと、
前記送信された前記仮想キー情報と前記取得された前記入力位置情報とを照合することにより、ユーザにより指示された入力キーを判定するステップと、
を含む情報処理方法。
【請求項７】
撮像された画像に映る入力部に重畳して表示される仮想的な入力キーの配置を定義する仮想キー情報を、前記画像を撮像し及び前記仮想的な入力キーを表示する端末装置へ送信する処理と、
前記入力部により検出されるユーザ入力の物理的な位置を表す入力位置情報を取得する処理と、
前記送信された前記仮想キー情報と前記取得された前記入力位置情報とを照合することにより、ユーザにより指示された入力キーを判定する処理と、
を含む処理をコンピュータに実行させるためのプログラム。
【請求項８】
画像を撮像する撮像部と、
前記画像に映る入力端末の入力部に重畳して表示すべき仮想的な入力キーの配置を定義する仮想キー情報を受信する通信部と、
前記画像内の前記入力部に対応する領域を認識する認識部と、
前記受信部により受信される前記仮想キー情報を用いて、前記認識部により認識される前記領域に前記仮想的な入力キーを重畳して表示する表示制御部と、
を備える端末装置。
【請求項９】
前記表示制御部は、ヘッドマウントディスプレイに前記仮想的な入力キーを表示する、請求項８に記載の端末装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法、プログラム及び端末装置に関する。
【背景技術】
【０００２】
従来からＡＴＭや入退室管理等のセキュリティシステムでは、限られたユーザのみが知っている暗証番号又はパスワードなどの秘密情報をユーザに入力させることにより、セキュリティを維持することが行われている。
【０００３】
情報入力の際の盗撮（盗み見）によるセキュリティの低下を防ぐことも行われている。例えば、特許文献１では、タッチパネルディスプレイに表示される入力キーの配列を毎回ランダムに再配置することにより、手の動きから秘密情報を推察されないようにする。また、特許文献２では、液晶モニタの視野角を制限して、盗み見を難しくする。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−０３２１７６号公報
【特許文献２】特開平１０−２４０１８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１では、ユーザの手の動きのみを盗み見ただけでは、入力されている情報を盗撮者に知られることは難しいものの、ユーザの手の動きとともにディスプレイも盗み見られることで、入力されている情報を盗撮者に簡単に知られてしまう。また、特許文献２では、盗み見の頻度を低くすることは可能であっても、盗み見を完全に防ぐことは困難である。
【０００６】
そこで、本発明は、秘密情報を入力する際のセキュリティを一層高めることのできる、新規かつ改良された情報処理装置、情報処理方法、プログラム及び端末装置を提供しようとするものである。
【課題を解決するための手段】
【０００７】
本発明のある実施形態によれば、撮像された画像に映る入力部に重畳して表示される仮想的な入力キーの配置を定義する仮想キー情報を、前記画像を撮像し及び前記仮想的な入力キーを表示する端末装置へ送信する通信部と、前記入力部により検出されるユーザ入力の物理的な位置を表す入力位置情報を取得する情報取得部と、前記通信部により送信された前記仮想キー情報と前記情報取得部により取得された前記入力位置情報とを照合することにより、ユーザにより指示された入力キーを判定する判定部と、を備える情報処理装置が提供される。
【０００８】
また、前記通信部は、ユーザ入力の物理的な位置を検出する前記入力部を有する入力端末から、前記入力位置情報を受信してもよい。
【０００９】
また、前記情報処理装置は、ユーザ入力の物理的な位置を検出する前記入力部、をさらに備えてもよい。
【００１０】
また、前記入力部は、前記仮想的な入力キーの配置をユーザに示す標識を表示せず、当該標識を物理的にも有しなくてもよい。
【００１１】
また、前記端末装置は、前記仮想的な入力キーを前記入力部に重畳して表示するヘッドマウントディスプレイを有してもよい。
【００１２】
また、本発明の別の実施形態によれば、画像に映る入力部に重畳して表示される仮想的な入力キーの配置を定義する仮想キー情報を、前記画像を撮像し及び前記仮想的な入力キーを表示する端末装置へ送信するステップと、前記入力部により検出されるユーザ入力の物理的な位置を表す入力位置情報を取得するステップと、前記送信された前記仮想キー情報と前記取得された前記入力位置情報とを照合することにより、ユーザにより指示された入力キーを判定するステップと、を含む情報処理方法が提供される。
【００１３】
また、本発明の別の実施形態によれば、撮像された画像に映る入力部に重畳して表示される仮想的な入力キーの配置を定義する仮想キー情報を、前記画像を撮像し及び前記仮想的な入力キーを表示する端末装置へ送信する処理と、前記入力部により検出されるユーザ入力の物理的な位置を表す入力位置情報を取得する処理と、前記送信された前記仮想キー情報と前記取得された前記入力位置情報とを照合することにより、ユーザにより指示された入力キーを判定する処理と、を含む処理をコンピュータに実行させるためのプログラムが提供される。
【００１４】
また、本発明の別の実施形態によれば、撮像された画像を撮像する撮像部と、前記画像に映る入力端末の入力部に重畳して表示すべき仮想的な入力キーの配置を定義する仮想キー情報を受信する通信部と、前記画像内の前記入力部に対応する領域を認識する認識部と、前記受信部により受信される前記仮想キー情報を用いて、前記認識部により認識される前記領域に前記仮想的な入力キーを重畳して表示する表示制御部と、を備える端末装置が提供される。
【００１５】
前記表示制御部は、ヘッドマウントディスプレイに前記仮想的な入力キーを表示してもよい。
【発明の効果】
【００１６】
以上説明したように、本発明に係る情報処理装置、情報処理方法、プログラム及び端末装置によれば、秘密情報を入力する際のセキュリティを一層高めることができる。
【図面の簡単な説明】
【００１７】
【図１】第１実施形態に係るセキュリティシステムの概要を示す模式図である。
【図２】第１実施形態に係る端末装置の構成の一例を示すブロック図である。
【図３】第１実施形態に係る入力端末の構成の一例を示すブロック図である。
【図４】第１及び第２実施形態に係るＡＲ画像を説明するための図である。
【図５】第１実施形態に係るセキュリティシステムにより実行されるフローチャートである。
【図６】第２実施形態に係るセキュリティシステムの概要を示す模式図である。
【図７】第２実施形態に係るサーバの構成の一例を示すブロック図である。
【図８】第２実施形態に係る入力端末の構成の一例を示すブロック図である。
【図９】第２実施形態に係るセキュリティシステムにより実行されるフローチャートである。
【発明を実施するための形態】
【００１８】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付すことにより重複説明を省略する。
【００１９】
また、以下の順序にしたがって当該「発明を実施するための形態」を説明する。
＜第１実施形態＞
１．システムの概要
２．端末装置の構成例
３．入力端末（情報処理装置）の構成例
４．処理の流れの例
＜第２実施形態＞
５．システムの概要
６．サーバ（情報処理装置）の構成例
７．入力端末の構成例
８．処理の流れの例
９．まとめ
【００２０】
近年、実世界に付加的な情報を重畳してユーザに呈示する拡張現実（ＡＲ：Augmented  Reality）と呼ばれる技術が注目されている。ＡＲ技術においてユーザに呈示される情報は、テキスト、アイコン又はアニメーションなどの様々な形態の仮想的なオブジェクトを用いて可視化され得る。ＡＲ技術の主要な適用分野の１つは、実世界でのユーザ活動の支援である。以下では、このＡＲ技術をセキュリティシステムに適用する。これによれば、暗証番号、パスワード、パスコードなどの秘密情報を入力する際にセキュリティを高めることができる。
【００２１】
ＡＲ技術を利用したセキュリティシステムとしては、ＡＴＭや入退室管理等、セキュリティを向上させるためのシステムに適用可能である。以下では、セキュリティシステムとして、ＡＴＭ装置を入力端末とし、ユーザＵが入力端末を用いて行う現金自動預払処理システムを例に挙げて第１実施形態及び第２実施形態について説明する。
【００２２】
＜第１実施形態＞
（１．システムの概要）
まず、第１実施形態に係るセキュリティシステム１の概要を、図１を参照しながら説明する。セキュリティシステム１は、端末装置１００及び入力端末２００を有する。第１実施形態に係る入力端末２００は、情報処理装置の一例である。図１の例では、ユーザＵは、実空間の物体である入力端末２００の入力部２４０を利用して所望のパスワードをキー入力した後、現金自動預払の処理を行う。入力部２４０は、無表示のタッチパネルディスプレイや無刻印のキーパッドであり、入力部２４０を通してユーザＵからの入力操作に応じたキー入力情報を受け取る。
【００２３】
ユーザＵは端末装置１００を使用する。端末装置１００は、ユーザＵの頭部に装着される撮像装置１２０及び表示装置１５０と接続される。撮像装置１２０は、ユーザＵの視線方向を向いて実空間を撮像し、一連の入力画像を端末装置１００へ出力する。表示装置１５０は、仮想キー情報を含んだＡＲ画像を表示する。
【００２４】
仮想キー情報は、画像に映る入力部２４０に重畳して表示される仮想的な入力キーの配置を定義する。第１及び第２実施形態では、仮想キー情報は、図４の中央図に示したように、キーの配置情報である。ただし、仮想キー情報は、これに限られず、ＱＷＥＲＴＹキーやテンキーの配置を示すキー配列情報であってもよいし、入力端末２００の入力部２４０上のボタン位置を示す情報であってもよい。また、仮想キー情報は、付箋、吹出し又はメッセージタグのような、何らかの文字情報が記述されるテキストボックスであってもよいし、アイコンのような、何らかの情報を象徴的に表現する図形又は記号であってもよい。なお、仮想キー情報には、後述するようにＡＲ画像として表示される、変形後の仮想キー情報も含まれる。
【００２５】
図１の例では、表示装置１５０は、ヘッドマウントディスプレイ（ＨＭＤ：Head  Mounted  Display）である。ただし、端末装置１００は、図１に示したカメラ付きヘッドマウントディスプレイの例に限定されず、カメラ付き携帯端末等のようなＡＲ（Augmented  Reality）機器であってもよい。カメラ付き携帯端末の場合には、カメラが実空間を撮像し、携帯端末に内蔵されたＭＰＵやＣＰＵにより画像処理が行われた後、端末の画面上に仮想キー情報の画像が実空間の画像に重畳して表示され得る。表示装置１５０の画面は、シースルー型の画面であってもよく、又は非シースルー型の画面であってもよい。
【００２６】
端末装置１００は、ＰＣ（Personal  Computer）又はゲーム端末、その他の種類の装置であってもよい。端末装置１００は、有線又は無線による通信接続を介して、入力端末２００との間で通信する。端末装置１００と入力端末２００との間の通信は、例えば、Ｐ２Ｐ（Peer  to  Peer）方式により直接行われてもよく、ルータ又はサーバなどの他の装置（図示せず）を介して間接的に行われてもよい。端末装置１００は、入力端末２００が所有する仮想キー情報を、表示装置１５０上で実空間に重畳して表示する。
【００２７】
入力端末２００は、銀行の店舗等に配置され、現金自動預払処理を行うＡＴＭ装置である。入力端末２００は、仮想キー情報を保持する。
【００２８】
このようなセキュリティシステム１の各装置の具体的な構成例について、次節より詳細に説明する。
【００２９】
（２．端末装置の構成例）
まず、端末装置１００の内部構成の一例について説明する。図２は、第１実施形態に係る端末装置１００の構成の一例を示すブロック図である。図２を参照すると、端末装置１００は、通信部１１０、撮像部１２０、認識部１３０、表示制御部１４０、表示部１５０及び記憶部１６０を有する。
【００３０】
通信部１１０は、端末装置１００と他の装置との間の通信接続を仲介する通信インタフェースである。端末装置１００がセキュリティシステム１に参加すると、通信部１１０は、端末装置１００と入力端末２００との間の通信接続を確立する。通信部１１０による通信は、前述の通り、有線でも無線でもよいが、通常は無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）等の無線通信により入力端末２００との間で情報をやり取りする。これにより、ユーザＵがセキュリティシステム１のサービスを受けるための通信が可能となる。具体的には、通信部１１０は、入力端末２００から仮想キー情報を受信する。
【００３１】
撮像部１２０は、図１に示した端末装置１００の撮像装置１２０に相当し、実空間を撮像することにより一連の入力画像を取得する。撮像部１２０は、ユーザＵの視線方向の画像（映像）を撮像する。ＡＴＭサービスを受ける際、パスワードを入力するためにユーザＵの視線方向は入力端末２００に向く。よって、撮像部１２０は、入力端末２００を撮像することになる。撮像部１２０は、入力画像を認識部１３０へ出力する。例えばユーザＵが見ている現実の様子の一例として、図４の左図に示した入力端末２００の画像が認識部１３０へ出力される。
【００３２】
認識部１３０は、撮像部１２０からの入力画像に対して画像認識処理を実行する。具体的には、認識部１３０は、入力画像に映る入力端末２００に設けられた入力部２４０を認識する。認識部１３０は、入力部２４０を認識した場合、入力画像に映る入力部２４０の位置・姿勢・変形量を推定する。認識部１３０は、パターンマッチングなどの公知の画像認識手法を用いて入力部２４０を認識してもよい。例えば、認識部１３０は、入力端末２００の略中央に設けられた矩形状の枠をパターンマッチングすることにより入力部２４０を認識してもよい。その代わりに、認識部１３０は、入力端末２００や入力部２４０の周辺に物理的に貼付される２次元バーコード、マーカ画像又はＱＲコードなどを入力画像内で認識してもよい。例えば、認識部１３０は、入力部２４０の矩形状の枠の四隅に予めマーカを設け、入力画像中のマーカ画像を認識することにより、入力部２４０を認識してもよい。これにより、画像処理の負荷を軽減することができる。認識部１３０は、入力部２４０の矩形状の枠の四隅に赤外線発光部等を設け、そこから発せられる光点を検出することにより、入力部２４０を認識してもよい。認識部１３０は、認識された入力部２４０の領域（入力領域）を表示制御部１４０に出力する。
【００３３】
認識部１３０は、例えば、Andrew  J.Davisonによる“Real-Time  Simultaneous  Localization  and  Mapping  with  a  Single  Camera”（Proceedings  of  the  9th  IEEE  International  Conference  on  Computer  Vision  Volume  2,  2003,  pp.1403-1410）に記載されているＳＬＡＭ（Simultaneous  Localization  and  Mapping）技術の原理に従って、入力部２４０を検出してもよい。
【００３４】
表示制御部１４０は、入力端末２００から送られた仮想キー情報の表示を制御する。具体的には、まず、表示制御部１４０は、入力部２４０の画像認識の結果に応じて、推定された入力部２４０の位置・姿勢・変形量に対応させて仮想キー情報画像を変形させる。これにより、ユーザＵが見る実空間への重畳に適した仮想キー情報の画像が生成される。
【００３５】
次に、表示制御部１４０は、認識部１３０により認識された入力部２４０の領域に、変形後の仮想キー情報の画像を重畳させる。これにより、ユーザＵの見ている現実の風景に重畳させて仮想キー情報を表示することができる。図４の中央の図では、変形後の仮想キー情報の画像が図示され、左の図では、入力部２４０に変形後の仮想キー情報を重畳させた様子が示されている。なお、表示制御部１４０は、上記ＳＬＡＭ技術を利用して仮想キー情報の画像を描画してもよい。
【００３６】
このようにして、ユーザＵが付けているヘッドマウントディスプレイＨＭＤの表示部１５０は、ユーザＵが見ている現実の風景に重畳させて仮想的な入力キーを表示（投影）する。これにより、ユーザＵが見ている実空間に仮想的な入力キーが重畳された図４のＡＲ画像を、ユーザＵのみが見ることができる。
【００３７】
なお、表示部１５０は、図１に示した端末装置１００の表示装置１５０に相当する。表示装置１５０の画面がシースルー型の画面の場合には、仮想キー情報の画像のみが重畳的に表示装置１５０に投影されることにより、図４の右図に示したＡＲ画像をユーザＵの目に表示することができる。一方、表示装置１５０の画面が、非シースルー型の画面の場合には、仮想キー情報の画像が入力画像に重畳され、その重畳された画像（ＡＲ画像）を表示装置１５０に表示することにより、図４の右図に示したＡＲ画像をユーザＵの目に表示することができる。
【００３８】
記憶部１６０は、ハードディスク又は半導体メモリなどの記憶媒体を用いて、端末装置１００による処理のためのプログラムや各種データを記憶する。また、記憶部１６０は、入力端末２００から通信部１１０を介して取得される仮想キー情報等を記憶する。
【００３９】
（３．入力端末（情報処理装置）の構成例）
次に、入力端末２００の内部構成の一例について説明する。図３は、第１実施形態に係る入力端末２００の構成の一例を示すブロック図である。図３を参照すると、入力端末２００は、アプリケーション部２１０、表示制御部２２０、通信部２３０、入力部２４０、情報取得部２５０、判定部２６０及び記憶部２７０を有する。
【００４０】
アプリケーション部２１０は、ＡＴＭ現金自動預払のサービスに関連するアプリケーション機能をユーザＵに提供する。また、アプリケーション部２１０は、表示制御部２２０及び判定部２６０と連携して、ＡＲ技術を利用した秘匿性の高いユーザインタフェースＵＩを実現する。
【００４１】
表示制御部２２０は、端末装置１００によるＡＲ画像の表示を制御する。表示制御部２２０は、ユーザＵによるキー押下やタッチ位置がどのような操作として解釈されるかをユーザＵに視覚的に示す、上述した仮想キー情報を生成する。
【００４２】
通信部２３０は、入力端末２００と端末装置１００との間の通信接続を仲介する通信インタフェースである。通信部２３０は、端末装置１００との間の通信接続を確立する。通信部２３０は、端末装置１００へ仮想キー情報を送信する。
【００４３】
入力部２４０は、端末装置１００のユーザＵが、認証のためのパスワードを入力するために使用される。入力部２４０は、例えば、キーパッド、ボタン、スイッチ又はタッチパネルなどを含み得る。例えば、入力部２４０としては、無表示のタッチパネルディスプレイや無刻印のキーパッドが挙げられる。このように、入力部２４０は、仮想的な入力キーの配置をユーザに示す標識を表示せず、当該標識を物理的にも有しない。入力部２４０は、ＡＲ画像を見ながらユーザＵによりなされるディスプレイへの入力操作（押下またはタッチ）から物理的な入力位置（例えば、ＸＹ座標）を検出し、情報取得部２５０に出力する。
【００４４】
情報取得部２５０は、入力部２４０の検出結果に応じて入力位置情報を生成し、判定部２６０に出力する。なお、入力部２４０により検出される物理的な入力位置も入力位置情報の一例である。情報取得部２５０は、入力部２４０の検出結果に応じて、物理的な入力位置をそのまま入力位置情報として判定部２６０に出力してもよい。
【００４５】
判定部２６０は、表示制御部２２０により生成された仮想キー情報と情報取得部２５０により生成された入力位置情報とを照合することにより、ユーザＵの操作に応じた入力情報を判定する。判定部２６０は、判定結果である入力情報（入力キー）をアプリケーション部２１０に出力する。
【００４６】
記憶部２７０は、ハードディスク又は半導体メモリなどの記憶媒体を用いて、入力端末２００による処理のためのプログラム及びデータを記憶する。また、記憶部２７０は、仮想キー情報を記憶する。
【００４７】
（４．処理の流れの例）
次に、図５のフローチャートを用いて、第１実施形態に係るセキュリティシステム１における処理の流れを説明する。
【００４８】
まず、入力端末２００の表示制御部２２０は、仮想キー情報を生成し、通信部２３０は、仮想キー情報を端末装置１００に送信する（ステップＳ１０２）。
【００４９】
端末装置１００の通信部１１０は、入力端末２００から仮想キー情報を取得する（ステップＳ１０４）。一方、端末装置１００の撮像部１２０は、ユーザＵの視線方向の実空間を撮像し、認識部１３０は、入力画像から入力部２４０の領域を認識する（ステップＳ１０６）。
【００５０】
次に、端末装置１００の表示制御部１４０は、入力部２４０の領域に仮想キー情報を重畳したＡＲ画像を生成する（ステップＳ１０８）。表示部１５０は、生成されたＡＲ画像をヘッドマウントディスプレイＨＭＤの表示画面に表示する（ステップＳ１１０）。
【００５１】
これにより、端末装置１００のユーザＵのみが、図４の右図に示したＡＲ画像を見ることができる。このため、入力端末２００の入力部２４０が無表示のタッチパネルディスプレイや無刻印のキーパッドであっても、ユーザＵは表示されたＡＲ画像中の仮想キー情報に基づき、入力部２４０の任意の位置をタッチすることにより、パスワード等の必要なキー入力操作を行うことができる。
【００５２】
ユーザＵにより入力部２４０の任意の位置がタッチされると、入力端末２００の入力部２４０は、タッチ位置（物理的な入力位置）を検出する（ステップＳ１１２）。入力端末２００の情報取得部２５０は、入力部２４０の検出結果に応じて入力位置情報を生成する（ステップＳ１１４）。入力端末２００の判定部２６０は、表示制御部２２０により生成された仮想キー情報と情報取得部２５０により生成された入力位置情報とを照合することにより、ユーザＵの操作に応じた入力情報（入力キー）を判定する（ステップＳ１１６）。
【００５３】
以上に説明したように、第１実施形態に係るセキュリティシステム１によれば、ユーザＵのみが、ＡＲ技術を用いて現実空間にある入力部２４０に重畳して表示された仮想キー情報を可視化して見ることができる。これにより、ユーザＵは、あたかもキー配列が表示されたキーパッドやタッチパネルを操作しているかのように、無刻印のキーパッドや無表示のタッチパネルを用いてパスワード等を入力することができる。一方、第三者は、ユーザＵが無刻印のキーパッドや無表示のタッチパネルを操作している動作しか見ることができないため、入力情報の盗み見が防止される。このようにして、第１実施形態に係るセキュリティシステム１によれば、ＡＲ技術を用いて、暗証番号、パスワード、パスコードなどの秘密情報を入力する際のセキュリティを高めることができる。
【００５４】
＜第２実施形態＞
（５．システムの概要）
次に、第２実施形態に係るセキュリティシステム２の概要を、図６を参照しながら説明する。第２実施形態に係るセキュリティシステム２は、端末装置１００及び入力端末４００の間にサーバ３００が介在する点で、サーバ３００が介在しない第１実施形態に係るセキュリティシステム１と異なる。よって、相異点を中心に第２実施形態に係るセキュリティシステム２について説明する。
【００５５】
図６に示したセキュリティシステム２は、端末装置１００、サーバ３００及び入力端末４００を有する。第２実施形態に係る端末装置１００の構成は、第１実施形態に係る端末装置１００の構成と同じため、ここでは説明を省略する。
【００５６】
（６．サーバ（情報処理装置）の構成例）
第２実施形態では、第１実施形態に係る入力端末２００が有していたアプリケーション機能、表示制御機能、判定機能をサーバ３００側に移した構成となっている。なお、第１実施形態では、入力端末２００が情報処理装置として機能したが、第２実施形態では、サーバ３００が情報処理装置として機能する。
【００５７】
図７に第２実施形態に係るサーバ３００の内部構成を示す。サーバ３００は、アプリケーション部２１０、表示制御部２２０、情報取得部２５０、判定部２６０、記憶部２７０及び通信部３３０を有する。通信部３３０は、表示制御部２２０により生成した仮想キー情報を端末装置１００へ送信する。また、通信部３３０は、入力位置情報を入力端末４００から受信する。
【００５８】
サーバ３００のその他の構成は、第１実施形態に係る入力端末２００の各部と同じであるため、ここでは説明を省略する。ただし、第１実施形態に係る入力端末２００に存在していた入力部２４０は、サーバ３００には存在しない。
【００５９】
（７．入力端末の構成例）
図８に第２実施形態に係る入力端末４００の内部構成を示す。入力端末４００は、通信部４３０及び入力部４４０を有する。入力部４４０は、第１実施形態に係る入力部２４０とほぼ同じ機能を有し、物理的な入力位置を検出して通信部４３０に出力する。通信部４３０は、入力部４４０により検出された物理的な入力位置（入力位置情報）をサーバ３００へ送信する。
【００６０】
（８．処理の流れの例）
次に、図９のフローチャートを用いて、第２実施形態に係るセキュリティシステム２における処理の流れを説明する。
【００６１】
まず、サーバ３００の表示制御部２２０は、仮想キー情報を生成し、通信部３３０は、生成された仮想キー情報を端末装置１００に送信する（ステップＳ２０２）。
【００６２】
端末装置１００が実行するステップＳ２０４、Ｓ２０６、Ｓ２０８、Ｓ２１０は、第１実施形態において端末装置１００が実行する図５のステップＳ１０４、Ｓ１０６、Ｓ１０８、Ｓ１１０と同じであるため、ここでは説明を省略する。これにより、端末装置１００のユーザＵのみが、図４の右図に示したＡＲ画像を見ることができる。このため、入力端末２００の入力部２４０が無表示のタッチパネルディスプレイや無刻印のキーパッドであっても、ユーザＵは表示されたＡＲ画像中の仮想キー情報に基づき、入力部４４０の任意の位置をタッチすることにより、パスワード等の必要なキー入力操作を行うことができる。
【００６３】
ユーザＵにより入力部４４０の任意の位置がタッチされると、入力端末４００の入力部４４０は、タッチ位置（物理的な入力位置）を検出する（ステップＳ２１２）。入力端末２００の通信部４３０は、入力部２４０の検出結果である物理的な入力位置（入力位置情報）をサーバ３００へ送信する（ステップＳ２１４）。サーバ３００の通信部３３０はこれを受信し、情報取得部２５０に出力する。サーバ３００の情報取得部２５０は、物理的な入力位置から入力位置情報を生成する（ステップＳ２１６）。判定部２６０は、表示制御部２２０により生成された仮想キー情報と情報取得部２５０により生成された入力位置情報とを照合することにより、ユーザＵの操作に応じた入力情報（入力キー）を判定する（ステップＳ２１８）。
【００６４】
以上に説明したように、第２実施形態に係るセキュリティシステム２においても、ユーザＵのみが、ＡＲ技術を用いて現実空間にある入力部２４０に重畳して表示された仮想キー情報を可視化して見ることができる。これにより、あたかもキー配列が表示されたキーパッドやタッチパネルを操作しているかのように、無刻印のキーパッドや無表示のタッチパネルを用いてパスワード等を入力することができるとともに、第三者による入力情報の盗み見を防止することができる。
【００６５】
これに加えて、第２実施形態のシステム構成では、仮想キー情報は、サーバ３００から端末装置１００に送信され、入力位置情報は、入力端末４００から端末装置１００に送信される。このように第２実施形態では、仮想キー情報と入力位置情報とが別々に送信される。このため、いずれか一方の情報が盗聴されても秘密情報が推察されない。これにより、秘密情報を入力する際のセキュリティを一層高めることができる。
【００６６】
なお、第２実施形態に係るセキュリティシステム２では、アプリケーション部２１０（図７参照）をサーバ３００側に置き、アプリケーションのすべてをサーバ３００側で実行したが、これに限られない。例えば、サーバ３００側ではパスワード認証処理のみを実行し、パスワード認証後のアプリケーションは入力端末４００側で実行してもよい。この場合、サーバ３００から入力端末４００に送信する情報は、パスワード認証結果だけでよく、パスワード自体を送信する必要はない。これにより、秘匿性を高めることができる。例えば、映画館に設置されているチケット端末を例に挙げて説明する。この例では、まず、ユーザはクレジットカードの暗証番号をチケット端末に入力する際、カード会社のサーバが提供するＡＲセキュア認証サービスを利用する。ここでのチケット端末は、本実施形態の入力端末４００の一例であり、カード会社のサーバは、本実施形態のサーバ３００の一例である。カード会社のサーバ側でパスワード認証処理が実行され、認証に成功した場合にはその結果がチケット端末に伝えられ、パスワード認証後のアプリケーションはチケット端末側で実行されるという処理の流れであってもよい。
【００６７】
（９．まとめ）
ここまで、図１〜図９を用いて、本発明の第１及び第２実施形態について説明した。上述した実施形態によれば、端末装置１００はユーザＵにより保持又は所持されたがこれに限られない。例えば、端末装置１００はユーザＵにより保持等される代わりに、入力端末の前に固定的に設置されてもよい。
【００６８】
また、ＡＲ機器は、第１及び第２実施形態に開示した機器に限られない。ＡＲ機器を装備しているユーザであれば、従来の端末操作と同じ方法により秘匿性の高い情報を安全に入力することができる。
【００６９】
また、上記各実施形態では、仮想キー情報は入力端末２００から端末装置１００に送信されるか（図５のステップＳ１０２）、サーバ３００から端末装置１００に送信されたが（図９のステップＳ２０２）、これに限られない。例えば、仮想キー情報が比較的単純な構成のテンキーを表示するための用途に使われる場合、仮想キー情報を端末装置１００から入力端末２００に送信するか、端末装置１００からサーバ３００に送信するようにしてもよい。これによっても、仮想キー情報を、ＡＲ表示を生成する側と入力操作を解釈する側で共有することができ、秘匿性の高い情報を安全に入力することができる。例えば、上記テンキーについては、ユーザが使い慣れた配列を端末装置１００に保存しておき、毎回それを使用するといった形態に利用することができる。ただし、このような比較的単純なアプリケーションではなく、複雑なアプリケーションの場合には、上記各実施形態にて説明した流れで仮想キー情報を送受信するほうが好ましい場合が多い。
【００７０】
また、上記各実施形態にて示した装置間を接続する通信経路は、ＳＳＬ（ＳｅｃｕｒｅＳｏｃｋｅｔ  Ｌａｙｅｒ）などによってセキュリティーが確保され、パスワード等のデータを安全に送受信できるようになっている。
【００７１】
本明細書において説明した各装置による一連の制御処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられる記憶媒体に予め格納される。そして、各プログラムは、例えば、実行時にＲＡＭ（Random  Access  Memory）に読み込まれ、ＣＰＵ（Central  Processing  Unit）などのプロセッサにより実行される。
【００７２】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【００７３】
１，２    セキュリティシステム
１００    端末装置
１１０    通信部
１２０    撮像部
１３０    認識部
１４０    表示制御部
１５０    表示部
１６０    記憶部
２００    入力端末（情報処理装置）
２１０    アプリケーション部
２２０    表示制御部
２３０    通信部
２４０    入力部
２５０    情報取得部
２６０    判定部
２７０    記憶部
３００    サーバ（情報処理装置）
３３０    通信部
４００    入力端末
４３０    通信部
４４０    入力部
【図１】
2012174208.tif 000003
【図２】
2012174208.tif 000004
【図３】
2012174208.tif 000005
【図４】
2012174208.tif 000006
【図５】
2012174208.tif 000007
【図６】
2012174208.tif 000008
【図７】
2012174208.tif 000009
【図８】
2012174208.tif 000010
【図９】
2012174208.tif 000011