(57)【要約】【課題】秘密情報を安全に入力可能な認証システム、及び入力装置を提供する。【解決手段】ユーザが目視可能な透過型ディスプレイに文字列を入力するためのソフトウェアキーを表示する表示部と、表示部により表示されたソフトウェアキーに対するユーザの操作内容を取得する操作内容取得部と、操作内容取得部により取得された操作内容から、ユーザの操作により入力された文字列を秘密情報として取得する文字列取得部と、文字列取得部により取得された文字列を用いて、認証処理を実行する認証部とを有する。【選択図】図９
2016081508.tif 000002
【特許請求の範囲】
【請求項１】
ユーザが目視可能な透過型ディスプレイに文字列を入力するためのソフトウェアキーを表示する表示部と、
前記表示部により表示された前記ソフトウェアキーに対する前記ユーザの操作内容を取得する操作内容取得部と、
前記操作内容取得部により取得された前記操作内容から、前記ユーザの操作により入力された文字列を秘密情報として取得する文字列取得部と、
前記文字列取得部により取得された文字列を用いて、認証処理を実行する認証部と
を有することを特徴とする認証システム。
【請求項２】
前記透過型ディスプレイの動きを示す物理量を検出する検出部と、
前記検出部により検出された前記物理量に基づき、前記ユーザにより指定された位置を表す指定位置と、前記ソフトウェアキーとの相対位置を補正する補正部とをさらに有し、
前記操作内容取得部は、前記補正部により補正された前記相対位置によって前記ユーザの操作内容を取得することを特徴とする請求項１に記載の認証システム。
【請求項３】
前記検出部が検出する前記物理量は、前記透過型ディスプレイのパン方向の回転角及びチルト方向の回転角であり、
前記補正部は、前記検出部が検出した前記パン方向の回転角及び前記チルト方向の回転角に基づき、前記指定位置と、前記ソフトウェアキーとの相対位置を補正することを特徴とする請求項２に記載の認証システム。
【請求項４】
前記補正部は、前記検出部が検出した前記パン方向の回転角及び前記チルト方向の回転角に基づき、前記指定位置の補正量または前記ソフトウェアキーの補正量を算出することにより、前記指定位置と、前記ソフトウェアキーとの相対位置を補正することを特徴とする請求項３に記載の認証システム。
【請求項５】
前記補正部は、算出された前記指定位置の補正量に応じて、前記指定位置を前記ソフトウェアキーに対して移動させることにより、前記指定位置と、前記ソフトウェアキーとの相対位置を補正することを特徴とする請求項４に記載の認証システム。
【請求項６】
前記補正部は、算出された前記ソフトウェアキーの補正量に応じて、前記ソフトウェアキーを前記指定位置に対して移動させることにより、前記指定位置と、前記ソフトウェアキーとの相対位置を補正することを特徴とする請求項４に記載の認証システム。
【請求項７】
ユーザが目視可能な透過型ディスプレイに文字列を入力するためのソフトウェアキーを表示する表示部と、
前記表示部により表示された前記ソフトウェアキーに対する前記ユーザの操作内容を取得する操作内容取得部と、
前記操作内容取得部により取得された前記操作内容から、前記ユーザの操作により入力された文字列を秘密情報として取得する文字列取得部と
を有することを特徴とする入力装置。
【請求項８】
前記透過型ディスプレイの動きを示す物理量を検出する検出部と、
前記検出部により検出された前記物理量に基づき、前記ユーザにより指定された位置を表す指定位置と、前記ソフトウェアキーとの相対位置を補正する補正部とをさらに有し、
前記操作内容取得部は、前記補正部により補正された前記相対位置によって前記ユーザの操作内容を取得することを特徴とする請求項７に記載の入力装置。
【請求項９】
前記検出部が検出する前記物理量は、前記透過型ディスプレイのパン方向の回転角及びチルト方向の回転角であり、
前記補正部は、前記検出部が検出した前記パン方向の回転角及び前記チルト方向の回転角に基づき、前記指定位置と、前記ソフトウェアキーとの相対位置を補正することを特徴とする請求項８に記載の入力装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、認証システム、及び入力装置に関する。
【背景技術】
【０００２】
近年、ウェアラブルデバイスやＡＲ（Augmented Reality）技術の発展に伴い、ＡＲ技術を用いた種々の装置が提案されている。例えば、特許文献１には、ユーザ装置に予めインストールされた特定のアプリケーションを起動して対象人物にユーザ装置を向けると、ユーザ装置の画面には、対象人物を含む映像が表示されると共に、映像上に対象人物が予め公開している公開情報が表示されるという技術が開示されている。
【０００３】
この特許文献１に開示された技術では、公開情報が表示されるようになっているが、公開情報へのアクセスは、実際に対象人物を特定してから所定の期間内のみ可能としたり、アクセスＩＤを変化させることにより、特定の対象人物を追跡することが出来ないようにしてもよいことになっている。
【０００４】
このような技術背景において、コンピューティングデバイスにおける入力機能は重要な機能の１つであり、ウェアラブルデバイスにおいても、秘密情報などを入力するための十分な入力機能を備えておくことが好ましい。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１３−５４４９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来のウェアラブルデバイスでは、入力機能を提供するためにタッチパネルが用いられているが、このタッチパネルはスマートホンのように表示部と一体となったタッチパネルではないため、暗証番号などの秘密情報の入力には非常に時間を要するという問題点があった。
【０００７】
さらに、秘密情報が入力される銀行のＡＴＭ（automated teller machine）では、暗証番号を入力するタッチパネルに表示させるキー配列をその都度変更するＡＴＭもあるが、変更したとしても覗き見される危険性がある。
【０００８】
本発明は、このような事情に鑑みてなされたもので、その目的は、秘密情報を安全に入力可能な認証システム、及び入力装置を提供することにある。
【課題を解決するための手段】
【０００９】
上述した課題を解決するために、本発明は、ユーザが目視可能な透過型ディスプレイに文字列を入力するためのソフトウェアキーを表示する表示部と、前記表示部により表示された前記ソフトウェアキーに対する前記ユーザの操作内容を取得する操作内容取得部と、前記操作内容取得部により取得された前記操作内容から、前記ユーザの操作により入力された文字列を秘密情報として取得する文字列取得部と、前記文字列取得部により取得された文字列を用いて、認証処理を実行する認証部とを有することを特徴とする認証システムである。
【００１０】
また、本発明の一態様は、上記の認証システムにおいて、前記透過型ディスプレイの動きを示す物理量を検出する検出部と、前記検出部により検出された前記物理量に基づき、前記ユーザにより指定された位置を表す指定位置と、前記ソフトウェアキーとの相対位置を補正する補正部とをさらに有し、前記操作内容取得部は、前記補正部により補正された前記相対位置によって前記ユーザの操作内容を取得することを特徴とする。
【００１１】
また、本発明の一態様は、上記の認証システムにおいて、前記検出部が検出する前記物理量は、前記透過型ディスプレイのパン方向の回転角及びチルト方向の回転角であり、前記補正部は、前記検出部が検出した前記パン方向の回転角及び前記チルト方向の回転角に基づき、前記指定位置と、前記ソフトウェアキーとの相対位置を補正することを特徴とする。
【００１２】
また、本発明の一態様は、上記の認証システムにおいて、前記補正部は、前記検出部が検出した前記パン方向の回転角及び前記チルト方向の回転角に基づき、前記指定位置の補正量または前記ソフトウェアキーの補正量を算出することにより、前記指定位置と、前記ソフトウェアキーとの相対位置を補正することを特徴とする。
【００１３】
また、本発明の一態様は、上記の認証システムにおいて、前記補正部は、算出された前記指定位置の補正量に応じて、前記指定位置を前記ソフトウェアキーに対して移動させることにより、前記指定位置と、前記ソフトウェアキーとの相対位置を補正することを特徴とする。
【００１４】
また、本発明の一態様は、上記の認証システムにおいて、前記補正部は、算出された前記ソフトウェアキーの補正量に応じて、前記ソフトウェアキーを前記指定位置に対して移動させることにより、前記指定位置と、前記ソフトウェアキーとの相対位置を補正することを特徴とする。
【００１５】
上述した課題を解決するために、本発明は、ユーザが目視可能な透過型ディスプレイに文字列を入力するためのソフトウェアキーを表示する表示部と、前記表示部により表示された前記ソフトウェアキーに対する前記ユーザの操作内容を取得する操作内容取得部と、前記操作内容取得部により取得された前記操作内容から、前記ユーザの操作により入力された文字列を秘密情報として取得する文字列取得部とを有することを特徴とする入力装置である。
【００１６】
また、本発明の一態様は、上記の入力装置において、前記透過型ディスプレイの動きを示す物理量を検出する検出部と、前記検出部により検出された前記物理量に基づき、前記ユーザにより指定された位置を表す指定位置と、前記ソフトウェアキーとの相対位置を補正する補正部とをさらに有し、前記操作内容取得部は、前記補正部により補正された前記相対位置によって前記ユーザの操作内容を取得することを特徴とする。
【００１７】
また、本発明の一態様は、上記の入力装置において、前記検出部が検出する前記物理量は、前記透過型ディスプレイのパン方向の回転角及びチルト方向の回転角であり、前記補正部は、前記検出部が検出した前記パン方向の回転角及び前記チルト方向の回転角に基づき、前記指定位置と、前記ソフトウェアキーとの相対位置を補正することを特徴とする。
【発明の効果】
【００１８】
以上説明したように、この発明によれば、秘密情報を安全に入力可能な認証システム、及び入力装置を提供できる。
【図面の簡単な説明】
【００１９】
【図１】本発明の実施形態に係るスマートグラスの外観構成を示す図である。
【図２】ユーザから見えるＰＩＮ配列を示す図である。
【図３】入力内容を検出するための指の操作を示す図である。
【図４】予め定められた角度の一例を示す図である。
【図５】ユーザが行った操作の検出例を示す図である。
【図６】カメラで撮影された指の位置のずれを示す図である。
【図７】カメラで撮影された指の座標の変換例及びＰＩＮ配列の座標情報の一例を示す図である。
【図８】本発明の第１の実施形態に係る認証システムのブロック図である。
【図９】第１の実施形態におけるスマートグラス、情報処理装置、及び認証装置での処理を示すシーケンス図である。
【図１０】第１の実施形態に係るスマートグラスにおける処理手順を示したフローチャートである。
【図１１】元座標取得処理における処理手順を示したフローチャートである。
【図１２】第１の実施形態に係る情報処理装置における処理手順を示したフローチャートである。
【図１３】変換処理における処理手順を示したフローチャートである。
【図１４】本発明の第２の実施形態に係る認証システムのブロック図である。
【図１５】第２の実施形態におけるスマートグラス、情報処理装置、及び認証装置での処理を示すシーケンス図である。
【図１６】第２の実施形態に係るスマートグラスにおける処理手順を示したフローチャートである。
【図１７】第２の実施形態に係る情報処理装置における処理手順を示したフローチャートである。
【図１８】本発明の第３の実施形態に係る認証システムのブロック図である。
【図１９】第３の実施形態におけるスマートグラス、情報処理装置、及び認証装置での処理を示すシーケンス図である。
【図２０】第３の実施形態に係るスマートグラスにおける処理手順を示したフローチャートである。
【図２１】第３の実施形態に係る情報処理装置における処理手順を示したフローチャートである。
【図２２】本発明の第４の実施形態に係る認証システムのブロック図である。
【図２３】第４の実施形態におけるスマートグラス、情報処理装置、及び認証装置での処理を示すシーケンス図である。
【図２４】第４の実施形態に係るスマートグラスにおける処理手順を示したフローチャートである。
【図２５】第４の実施形態に係る情報処理装置における処理手順を示したフローチャートである。
【図２６】第５の実施形態でのユーザの入力例を示す図である。
【図２７】本発明の第５の実施形態に係る認証システムのブロック図である。
【図２８】第５の実施形態におけるスマートグラス、情報処理装置、及び認証装置での処理を示すシーケンス図である。
【図２９】第５の実施形態に係るスマートグラスにおける処理手順を示したフローチャートである。
【図３０】第５の実施形態に係る情報処理装置における処理手順を示したフローチャートである。
【図３１】第１〜第４実施形態におけるスマートグラスに、補正処理に必要となる加速度センサＡＳを設けた構成を示す図である。
【図３２】現実世界での距離と、ディスプレイの画面内での距離との対応を説明するための図である。
【図３３】頭部が動いたことによる現実世界での距離と画面内での距離との対応を示す図である。
【図３４】ポインタと、ソフトウェアキーとの相対位置の補正例を示す図である。
【図３５】ソフトウェアキー補正処理を説明するための図である。
【図３６】元座標取得処理におけるステップＳ３０１のトレース処理にポインタ補正処理を適用した処理手順を示したフローチャートである。
【図３７】元座標取得処理におけるステップＳ３０１のトレース処理にソフトウェアキー補正処理を適用した処理手順を示したフローチャートである。
【発明を実施するための形態】
【００２０】
図１は、本発明の実施形態に係る眼鏡型ウェアラブルデバイスとしてのスマートグラス１０の外観構成を示す図である。
スマートグラス１０は、マイク１２、カメラ１３、タッチパネル１４、ディスプレイ１５を含んで構成される。このディスプレイ１５は、透過型ディスプレイであり、スマートグラス１０を装着したユーザの網膜に画像が投影されることで、当該ユーザが目視可能となっている。また、ディスプレイ１５には、文字列を入力するためのソフトウェアキーが表示される。具体的には、ＡＴＭの暗証番号など秘密情報（以下、「ＰＩＮ」という）を入力するためのＰＩＮ配列１０００、１００１が表示される。なお、本実施形態において、文字列は文字、数字、記号を含む文字列である。
【００２１】
左側のＰＩＮ配列１０００は、番号を整列させた場合の表示例を示し、右側のＰＩＮ配列１００１は番号の位置をランダムに変えた場合の表示例を示している。なお、このＰＩＮ配列１０００、１００１は、０から９の数字キーと、エンターキー（Ｅ）、及びクリアキー（Ｃ）が設けられているが、ＰＩＮを入力可能な配列であれば、図１に示されるＰＩＮ配列に限定されない。このように、本実施形態では、スマートグラス１０を装着したユーザにのみＰＩＮ配列が目視可能であるため、ＰＩＮ配列がスマートグラス１０を装着したユーザ以外に盗み見されることはない。
【００２２】
図２は、ユーザから見えるＰＩＮ配列を示す図である。
図２には、スマートグラス１０のレンズ枠１００２、ユーザの指１００３、及びＰＩＮ配列１００４が示されている。
図１に示したように、ディスプレイ１５は右目に対応するレンズの右斜め上方向に位置されているので、ＰＩＮ配列１００４は、レンズ枠１００２の右斜め上方向に存在するようにユーザからは見える。このＰＩＮ配列１００４に対し、ユーザは指１００３による操作を行う。このとき、指１００３はカメラ１３により撮影されており、指１００３の動きはカメラ１３により検出されている。こうしてカメラ１３により撮影されている状態で、ユーザが指１００３による操作を行うことで、ＰＩＮを入力することができる。
【００２３】
ここで、ユーザが行う操作について説明する。ディスプレイ１５は、上述したように透過型ディスプレイであるので、このディスプレイ１５を透過して、ユーザの眼とディスプレイ１５との直線上に存在する物体も、ユーザは目視可能となっている。従って、ユーザが目とディスプレイ１５とを結ぶ直線上に指をかざすと、ＰＩＮ配列と指とが重なっているように見える。このように見える状態は、ユーザにとって、例えばハードキーやタッチパネルを指で操作する場合と実質的に同じ状態となる。その状態で、ユーザは次に説明する操作を行うことで、文字列を入力可能となっている。
【００２４】
図３は、入力内容を検出するための指の操作Ａ，Ｂ，Ｃを示す図である。図３には、ＰＩＮ配列１０２０、指の軌跡１０１０，１０１１，１０１２，１０１３が示されている。
まず、操作Ａは、軌跡１０１０に示されるように、対象キーの上（直線上において重なる位置）に１秒など予め定められた秒数だけ留まる操作である。図３の場合、ユーザは「１」の上に指を１秒留めることで、「１」を入力することができる。
操作Ｂは、軌跡１０１１に示されるように、対象キーの上を予め定められた角度以下でなぞる操作である。図３の場合、ユーザは、「３」の上を指で予め定められた角度以下でなぞることで、「３」を入力することができる。この予め定められた角度については後述する。
操作Ｃは、軌跡１０１２，１０１３に示されるように、対象キーの上を２回連続して予め定められた角度範囲内でなぞる操作である。図３の場合、ユーザは、「８」の上を２回連続して予め定められた角度範囲内でなぞることで、「８」を入力することができる。
【００２５】
このように、各操作が行われたことが検出されると、その操作により、ユーザが入力したいと考えた入力位置を確定する必要がある。その入力位置の確定方法の一例として、操作Ａ，Ｂ，Ｃのいずれの操作においても、各操作が検出された時点での指の位置を入力位置とする方法があるが、これに限るものではない。
【００２６】
図４は、予め定められた角度の一例を示す図である。図４には、ＰＩＮ配列１０３０、軌跡１０３１，１０３２が示されている。なお、図４のＰＩＮ配列１０３０では、分かりやすくするために数字、Ｅ、Ｃを示していない。
一般的に、ユーザは指を正確に直線で動かすことはできないので、若干曲がりながらなぞることとなる。そのような意図しない曲がりと、意図した曲がりとを区別するには、予め定められた角度を、概ね１５０°以下とすればよいことが現段階では実験的に得られている。従って、軌跡１０３１の場合は、操作Ｂとして検出され、軌跡１０３２の場合は、操作Ｂとして検出されない。
【００２７】
図５は、ユーザが行った操作Ａ，Ｂ，Ｃの検出例を示す図である。図５には、ＰＩＮ配列１０４０、指１０４１、軌跡１０４２が示されている。
図５において、ユーザは位置Ａで操作Ａを行い、軌跡１０４２に示されるようになぞっていき、位置Ｂで操作Ｂを行い、さらに軌跡１０４２に示されるようになぞっていき、位置Ｃで操作Ｃを行っている。これにより、ＰＩＮとして「１」、「３」、「８」が入力されたこととなる。位置Ｂと位置Ｃの間の「５」と「６」をなぞっている軌跡が若干曲がっているが、この軌跡のなす角は１５０°以上であるため、操作Ｂとして検出されない。
なお、ユーザは、上述した操作Ａ，Ｂ，Ｃの全てを用いて入力する必要はなく、操作Ａ，Ｂ，Ｃのうち、いずれか１つの操作で入力できるようにしてもよい。また、操作Ａ，Ｂ，Ｃのうち、いずれか２つの操作で入力できるようにしてもよい。
さらに、操作Ａ，Ｂ，Ｃに限らず、指でタッチをする操作などを検出するようにしてもよい。また、指に代えて、発光体や特定の色の物体を用いるようにしてもよい。また、ユーザは、指で位置を示すのではなく、音声で位置を示すようにしてもよいし、ユーザが頭を動かすことで位置を示すようにしてもよい。
【００２８】
図６は、ディスプレイ１５で表示される画像とカメラ１３で撮影された指の位置とのずれを示す図である。図６には、ユーザの視界１０５０、画像表示領域１０５１、及びカメラ撮影領域１０５２が示されている。
まず、ユーザの右目の視界１０５０の中に、ディスプレイ１５があり、そこにはＰＩＮ配列などの画像が表示される。このユーザの視界に表示される画像の領域を画像表示領域１０５１としている。そしてこの画像表示領域１０５１の枠をユーザがなぞる操作を予め行っておく。また、前提として、ＰＩＮ配列はこの画像表示領域全体に表示されるものとする。
画像表示領域１０５１の枠をユーザがなぞると、その操作はカメラにより撮影される。カメラにより撮影された指の軌跡も画像表示領域１０５１と同じく矩形の領域となるが、この領域をカメラ撮影領域１０５２としている。
【００２９】
ユーザが画像表示領域１０５１の枠をなぞる操作を行った際に得られたカメラ撮影領域１０５２の４隅の座標（ｘ１、ｙ１）、（ｘ１、ｙ２）、（ｘ２、ｙ２）、（ｘ２、ｙ１）の要素であるｘ１、ｘ２、ｙ１，ｙ２を、スマートグラス１０に設けられたＲＯＭなどの記憶装置に予め記憶しておく。これにより、カメラ１３で撮影されるカメラ撮影領域１０５２で検出された座標と画像表示領域１０５１の座標とを対応させることが可能となる。すなわち、カメラで撮影された指の位置が対応するＰＩＮ配列における位置を求めることができる。
【００３０】
図７（Ａ）は、カメラで撮影された指の座標（ｓ、ｔ）の変換例を示す図である。図７（Ａ）には、上述した画像表示領域１０５１とカメラ撮影領域１０５２とが座標上に示されている。
撮影された指の座標を（ｓ、ｔ）とし、画像表示領域１０５１のｘ軸方向の長さをＰとし、ｙ軸方向の長さをＱとする。また、カメラ撮影領域１０５２の４隅の座標をそれぞれ（ｘ１、ｙ１）、（ｘ１、ｙ２）、（ｘ２、ｙ２）、（ｘ２、ｙ１）とする。上述したように、ｘ１、ｘ２、ｙ１，ｙ２は記憶装置に記憶されている。
このとき、座標（ｓ、ｔ）に対応する画像表示領域１０５１での座標は、以下の式１で求められる。
ｘ＝Ｐ×（ｓ−ｘ１）／（ｘ２−ｘ１）
ｙ＝Ｑ×（ｔ−ｙ１）／（ｙ２−ｙ１）…（式１）
【００３１】
上述したように、ＰＩＮ配列は、画像表示領域全体に表示されるので、ＰＩＮ配列における座標と、画像表示領域１０５１における座標は１対１で対応する。そして、ＰＩＮ配列と照合するために、ＰＩＮ配列を画像として表示した場合の座標情報を予め保持しておく。
図７（Ｂ）は、ＰＩＮ配列の座標情報の一例を示す図である。なお、図７（Ｂ）のＰＩＮ配列１０５３では、分かりやすくするために数字、Ｅ、Ｃを示していない。図７（Ｂ）に示されるＰＩＮ配列の場合の座標情報は、α１、α２、α３（＝Ｐ）、β１、β２、β３、β４（＝Ｑ）となる。
【００３２】
この座標情報と、ａ０〜ａ９の数列により、ＰＩＮ配列は表現される。具体的には、座標情報により格子を作り、数列により格子の枠に表示する数字が決定される。例えば、図１のＰＩＮ配列１０００を示す数列は、１，２，３，４，５，６，７，８，９，０であり、ＰＩＮ配列１００１を示す数列は、５，８，３，７，９，６，２，１，０，４である。以下の説明では、座標情報と数列とをまとめてＰＩＮ配列情報と表現する。
このようにして、式１で求まった（ｘ、ｙ）とＰＩＮ配列情報とを照合することで、ユーザが入力した文字を正確に取得することができる。
以下の説明では、（ｓ、ｔ）を元座標と表現し、元座標（ｓ、ｔ）から変換された（ｘ、ｙ）を変換座標と表現する。
以上説明した座標の変換において、ＰＩＮ配列は画像表示領域１０５１全体に表示されるものとしたが、画像表示領域１０５１の一部に表示される場合であっても、式１のパラメータを変更することで対応可能である。
【００３３】
図１から図７まで説明した内容をもとに、以下、各実施形態を説明する。また、各実施形態では、情報処理装置が認証システムの構成の１つとなっているが、この情報処理装置は、ＰＩＮが入力され、認証された場合にサービスをユーザに提供する銀行のＡＴＭを想定している。具体的には、キャッシュカードを挿入した際に、ユーザが暗証番号を入力する場合が想定されている。
【００３４】
[第１の実施形態]
図８は、本発明の第１の実施形態に係る認証システム１のブロック図である。
認証システム１は、スマートグラス１０、情報処理装置２０、及び認証装置３０を含んで構成される。
スマートグラス１０は、ＰＩＮ配列情報を情報処理装置２０から受信し、受信したＰＩＮ配列を表示して、そのＰＩＮ配列に対してユーザが行った操作Ａ，Ｂ，Ｃに対応する元座標（ｓ、ｔ）を情報処理装置２０に送信する。従って、本実施形態におけるスマートグラス１０は、ＰＩＮ配列を表示し、元座標を取得するが、座標変換を行わない構成となっている。
【００３５】
情報処理装置２０は、スマートグラス１０から元座標を受信し、それを変換して変換座標を取得し、その変換座標とＰＩＮ配列情報とを照合してＰＩＮを取得する。情報処理装置２０は、キャッシュカードからユーザを識別するＩＤを取得できるので、そのＩＤと取得したＰＩＮとを認証装置３０に送信する。情報処理装置２０は、認証装置３０から認証されたことを示すＯＫを受信すると、サービスをユーザに提供し、認証されなかったことを示すＮＧを受信すると、サービスをユーザに提供しない。
認証装置３０は、ＩＤとＰＩＮが正規のＩＤとＰＩＮであればＯＫを送信し、そうでなければＮＧを送信する。
【００３６】
次に各装置の構成について説明する。スマートグラス１０は、制御部１１、入力部１７、ディスプレイ１５、及び通信部１８を含んで構成される。
制御部１１は、ＣＰＵ（Central Processing Unit）やＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などの記憶装置を含み、スマートグラス１０全体を制御する。入力部１７は、マイク１２、カメラ１３、及びタッチパネル１４を含む。入力部１７は、入力された内容を制御部１１に出力したり、制御部１１の指示により各種処理を行う。ディスプレイ１５は、制御部１１の指示により、上述したＰＩＮ配列の他に、画像やアプリケーションの画面などを表示する。通信部１８は、情報処理装置２０と無線通信を行う。以下の各実施形態において、スマートグラス、情報処理装置、及び認証装置での無線通信はセキュリティが保たれているものとする。
【００３７】
情報処理装置２０は、制御部２１、入力部２５、照合部２８、座標変換部２４、ＰＩＮ配列生成部２７、及び通信部２６を含んで構成される。制御部２１は、ＣＰＵやＲＯＭ、ＲＡＭなどの記憶装置を含み、情報処理装置２０全体を制御する。入力部２５は、キーパッド２２、及びタッチパネル２３を含む。入力部２５は、入力された内容を制御部２１に出力したり、制御部２１の指示により各種処理を行う。
【００３８】
座標変換部２４は、図７で説明した方法により、スマートグラス１０から受信した元座標を変換した変換座標を取得する。照合部２８は、変換座標とＰＩＮ配列とを照合し、入力されたＰＩＮを取得する。ＰＩＮ配列生成部２７は、ＰＩＮ配列１０００のように、番号を整列させたＰＩＮ配列や、ＰＩＮ配列１００１のようにランダムなＰＩＮ配列を示すＰＩＮ配列情報を生成し、それを保持する。通信部２６は、スマートグラス１０及び認証装置３０と無線通信を行う。
【００３９】
認証装置３０は、制御部３１、認証部３２、ＤＢ３３、及び通信部３４を含んで構成される。制御部３１は、ＣＰＵやＲＯＭ、ＲＡＭなどの記憶装置を含み、認証装置３０全体を制御する。認証部３２は、情報処理装置２０から受信したＩＤとＰＩＮから、ＤＢ３３を参照して認証処理を実行し、認証された場合にはＯＫを出力し、認証されなかった場合にＮＧを出力する。出力されたＯＫ／ＮＧは、情報処理装置２０に送信される。通信部３４は、情報処理装置２０と無線通信を行う。
【００４０】
図９は、第１の実施形態におけるスマートグラス１０、情報処理装置２０、及び認証装置３０での処理を示すシーケンス図である。
図９において、スマートグラス１０は、ＰＩＮ配列要求を情報処理装置２０に送信する（ステップＳ１０１）。このＰＩＮ配列要求は、例えばキャッシュカードを情報処理装置２０に挿入し、スマートグラス１０のタッチパネル１４でユーザが操作することで、情報処理装置２０に送信されるようになっており、実装方法によってはログイン要求と称される場合もある。情報処理装置２０は、ＰＩＮ配列生成部２７で生成されたＰＩＮ配列情報をスマートグラス１０に送信する（ステップＳ１０２）。このとき、ＰＩＮ配列情報が保持される。
【００４１】
スマートグラス１０は、ＰＩＮ配列情報を受信し、ＰＩＮ配列をディスプレイ１５に表示する（ステップＳ１０３）。そして、ユーザの操作から元座標（ｓ、ｔ）を取得する（ステップＳ１０４）。スマートグラス１０が取得する元座標の数は、ＰＩＮの桁数であり、これは以下の実施形態でも同じである。例えば、日本の銀行の場合は４桁であるので、そのときは元座標を４つ取得することとなる。
スマートグラス１０は、取得された元座標（ｓ、ｔ）と、記憶装置に記憶されているｘ１,ｘ２,ｙ１,ｙ２（図６，７参照）とを情報処理装置２０に送信する（ステップＳ１０５）。情報処理装置２０は、受信した元座標を座標変換部２４により変換し（ステップＳ１０６）、照合部２８が変換座標からＰＩＮを取得する（ステップＳ１０７）。
【００４２】
情報処理装置２０は、ＰＩＮとＩＤとを認証装置３０に送信する（ステップＳ１０８）。認証装置３０は、受信したＰＩＮとＩＤから、認証部３２による認証処理を行い（ステップＳ１０９）、認証部３２が出力したＯＫまたはＮＧを情報処理装置２０に送信する（ステップＳ１１０）。情報処理装置２０は、ＯＫまたはＮＧをスマートグラス１０に送信する（ステップＳ１１１）。情報処理装置２０は、認証装置３０からＯＫを受信すると、サービスをユーザに提供し、ＮＧを受信すると、サービスをユーザに提供しない。
【００４３】
図１０は、第１の実施形態に係るスマートグラス１０における処理手順を示したフローチャートである。図１０において、スマートグラス１０は、ＰＩＮ配列要求を情報処理装置２０に送信する（ステップＳ２０１）。次いで、情報処理装置２０からＰＩＮ配列情報を受信する（ステップＳ２０２）。そして、受信したＰＩＮ配列情報が示すＰＩＮ配列をディスプレイ１５に表示する（ステップＳ２０３）。
【００４４】
そして、ユーザの操作から元座標（ｓ、ｔ）を取得する元座標取得処理を行う（ステップＳ２０４）。この元座標取得処理により取得された元座標（ｓ、ｔ）と、記憶装置に記憶されているｘ１,ｘ２,ｙ１,ｙ２（図６，７参照）とを情報処理装置２０に送信する（ステップＳ２０５）。そして、情報処理装置２０からＯＫを受信した場合には（ステップＳ２０６でＹＥＳ）、本処理を終了し、ＮＧを受信した場合には（ステップＳ２０６でＮＯ）、ステップＳ２０１に戻る。
【００４５】
図１１は、図１０における元座標取得処理における処理手順を示したフローチャートである。この元座標取得処理で取得された元座標（ｓ、ｔ）がユーザの操作内容に対応しているので、以下で説明する元座標取得処理は、ソフトウェアキーに対するユーザの操作内容を取得する処理である。
図１１において、制御部１１は、カメラ１３で撮影された指の軌跡をトレースする（ステップＳ３０１）。その間、操作Ａ，Ｂ，Ｃのいずれかを検出したか否か判定する（ステップＳ３０２）。
【００４６】
操作Ａ，Ｂ，Ｃのいずれも検出していない場合には（ステップＳ３０２でＮＯ）、ステップＳ３０１に戻る。一方、操作Ａ，Ｂ，Ｃのいずれかを検出した場合には（ステップＳ３０２でＹＥＳ）、検出した時の指の位置を示す座標（ｓ、ｔ）を制御部１１に設けられたＲＡＭに記憶する（ステップＳ３０３）。
次いで、ＰＩＮの桁数分だけ元座標を取得したか否か判定し（ステップＳ３０４）、ＰＩＮの桁数分だけ元座標を取得した場合には（ステップＳ３０４でＹＥＳ）、本処理を終了し、ＰＩＮの桁数分だけ元座標を取得していない場合には（ステップＳ３０４でＮＯ）、ステップＳ３０１に戻る。
【００４７】
図１２は、第１の実施形態に係る情報処理装置２０における処理手順を示したフローチャートである。
図１２において、情報処理装置２０は、スマートグラス１０からＰＩＮ配列要求を受信する（ステップＳ４０１）。情報処理装置２０は、ＰＩＮ配列生成部２７でＰＩＮ配列情報を生成する（ステップＳ４０２）。このとき、上述したＰＩＮ配列情報が保持される。そして、生成されたＰＩＮ配列情報をスマートグラス１０に送信する（ステップＳ４０３）。
【００４８】
情報処理装置２０は、スマートグラス１０から元座標（ｓ、ｔ）と、ｘ１,ｘ２,ｙ１,ｙ２（図６，７参照）とを受信する（ステップＳ４０４）。そして、受信した元座標を座標変換部２４により変換する変換処理を行う（ステップＳ４０５）。
次いで、情報処理装置２０は、照合部２８が変換座標とＰＩＮ配列情報とを照合することでＰＩＮを取得する（ステップＳ４０６）。こうして、本実施の形態では、元座標である操作内容から、ユーザの操作により入力された文字列を取得する。
【００４９】
情報処理装置２０は、ＰＩＮとＩＤとを認証装置３０に送信する（ステップＳ４０７）。情報処理装置２０は、ＯＫまたはＮＧを認証装置３０から受信し、受信したＯＫまたはＮＧをスマートグラス１０に送信する（ステップＳ４０８）。
そして、情報処理装置２０は、ＯＫを受信したか否か判定する（ステップＳ４０９）。ＯＫを受信した場合には（ステップＳ４０９でＹＥＳ）、サービスの提供を開始し（ステップＳ４１０）、本処理を終了する。一方、ＮＧを受信した場合には（ステップＳ４０９でＮＯ）、そのまま本処理を終了する。
【００５０】
図１３は、図１２における変換処理における処理手順を示したフローチャートである。図１３において、座標変換部２４は、ｘ１,ｘ２,ｙ１,ｙ２を取得し（ステップＳ５０１）、さらに元座標（ｓ、ｔ）を取得する（ステップＳ５０２）。これらを用いて、座標変換部２４は、式１により、変換座標（ｘ、ｙ）を求める（ステップＳ５０３）。
次いで、座標変換部２４は、ＰＩＮの桁数分だけ変換座標を取得したか否か判定し（ステップＳ５０４）、ＰＩＮの桁数分だけ変換座標を取得した場合には（ステップＳ５０４でＹＥＳ）、本処理を終了し、ＰＩＮの桁数分だけ変換座標を取得していない場合には（ステップＳ５０４でＮＯ）、ステップＳ５０２に戻る。
【００５１】
以上説明したように、第１の実施形態によれば、スマートグラス１０を装着したユーザのみＰＩＮ配列が目視可能であるため、ＰＩＮ配列が他人に盗み見されることはないので、秘密情報を安全に入力可能となっている。
また、第１の実施形態におけるスマートグラス１０は、ＰＩＮ配列を表示し、元座標を取得するが、変換することなく情報処理装置２０に送信するので、スマートグラスの負荷を軽減することができる。なお、情報処理装置２０と認証装置３０は１つの装置で実現されていてもよい。
【００５２】
[第２の実施形態]
図１４は、本発明の第２の実施形態に係る認証システム１００のブロック図である。
認証システム１００は、スマートグラス１１０、情報処理装置１２０、及び認証装置３０を含んで構成される。スマートグラス１１０は、本実施形態において、ＰＩＮ配列情報を情報処理装置１２０から受信し、受信したＰＩＮ配列情報が示すＰＩＮ配列を表示して、そのＰＩＮ配列に対してユーザが行った操作Ａ，Ｂ，Ｃに対応する元座標（ｓ、ｔ）を変換して、変換座標を情報処理装置１２０に送信する。従って、本実施形態におけるスマートグラス１１０は、ＰＩＮ配列を表示し、元座標を取得するだけではなく、座標変換を行う構成となっている。
【００５３】
情報処理装置１２０は、スマートグラス１１０から変換座標を受信し、その変換座標とＰＩＮ配列情報とを照合してＰＩＮを取得する。情報処理装置１２０は、キャッシュカードからユーザを識別するＩＤを取得できるので、そのＩＤと取得したＰＩＮとを認証装置３０に送信する。情報処理装置１２０は、認証装置３０からＯＫを受信すると、サービスをユーザに提供し、ＮＧを受信すると、サービスをユーザに提供しない。認証装置３０は、第１の実施形態と同じであるので、説明を省略する。
【００５４】
次に各装置の構成について説明する。スマートグラス１１０は、制御部１１１、入力部１１７、ディスプレイ１１５、座標変換部１２４、及び通信部１１８を含んで構成される。
制御部１１１は、ＣＰＵやＲＯＭ、ＲＡＭなどの記憶装置を含み、スマートグラス１１０全体を制御する。入力部１１７は、マイク１１２、カメラ１１３、及びタッチパネル１１４を含む。入力部１１７は、入力された内容を制御部１１１に出力したり、制御部１１１の指示により各種処理を行う。ディスプレイ１１５は、制御部１１１の指示により上述したＰＩＮ配列の他に、画像やアプリケーションの画面などを表示する。通信部１１８は、情報処理装置１２０と無線通信を行う。座標変換部１２４は、図７で説明した方法により、制御部１１１から出力された元座標を変換して変換座標を取得する。
【００５５】
情報処理装置１２０は、制御部１２１、入力部１２５、照合部１２８、ＰＩＮ配列生成部１２７、及び通信部１２６を含んで構成される。制御部１２１は、ＣＰＵやＲＯＭ、ＲＡＭなどの記憶装置を含み、情報処理装置１２０全体を制御する。入力部１２５は、キーパッド１２２、及びタッチパネル１２３を含む。入力部１２５は、入力された内容を制御部１２１に出力したり、制御部１２１の指示により各種処理を行う。
照合部１２８は、変換座標とＰＩＮ配列情報とを照合し、入力されたＰＩＮを取得する。ＰＩＮ配列生成部１２７は、ＰＩＮ配列１０００のように、番号を整列させたＰＩＮ配列や、ＰＩＮ配列１００１のようにランダムなＰＩＮ配列を示すＰＩＮ配列情報を生成し、それを保持する。通信部１２６は、スマートグラス１１０及び認証装置３０と無線通信を行う。
【００５６】
図１５は、第２の実施形態におけるスマートグラス１１０、情報処理装置１２０、及び認証装置３０での処理を示すシーケンス図である。
図１５において、スマートグラス１１０は、ＰＩＮ配列要求を情報処理装置１２０に送信する（ステップＳ６０１）。情報処理装置１２０は、ＰＩＮ配列生成部１２７で生成されたＰＩＮ配列情報をスマートグラス１１０に送信する（ステップＳ６０２）。このとき、上述したＰＩＮ配列情報が保持される。
スマートグラス１１０は、受信したＰＩＮ配列情報が示すＰＩＮ配列をディスプレイ１１５に表示する（ステップＳ６０３）。そして、ユーザの操作から元座標（ｓ、ｔ）を取得する（ステップＳ６０４）。
スマートグラス１１０は、元座標を座標変換部１２４により変換し（ステップＳ６０５）、変換座標（ｘ、ｙ）を情報処理装置１２０に送信する（ステップＳ６０６）。情報処理装置１２０は、受信した変換座標から照合部１２８によりＰＩＮを取得する（ステップＳ６０７）。
【００５７】
情報処理装置１２０は、ＰＩＮとＩＤとを認証装置３０に送信する（ステップＳ６０８）。認証装置３０は、受信したＰＩＮとＩＤから、認証部３２による認証処理を行い（ステップＳ６０９）、認証部３２が出力したＯＫまたはＮＧを情報処理装置１２０に送信する（ステップＳ６１０）。情報処理装置１２０は、ＯＫまたはＮＧをスマートグラス１１０に送信する（ステップＳ６１１）。情報処理装置１２０は、認証装置３０からＯＫを受信すると、サービスをユーザに提供し、ＮＧを受信すると、サービスをユーザに提供しない。
【００５８】
図１６は、第２の実施形態に係るスマートグラス１１０における処理手順を示したフローチャートである。図１６において、スマートグラス１１０は、ＰＩＮ配列要求を情報処理装置１２０に送信する（ステップＳ７０１）。次いで、情報処理装置１２０からＰＩＮ配列情報を受信する（ステップＳ７０２）。そして、受信したＰＩＮ配列情報が示すＰＩＮ配列をディスプレイ１１５に表示する（ステップＳ７０３）。
【００５９】
次いで、上述した元座標取得処理（図１１参照）を行い（ステップＳ７０４）、さらに変換処理（図１３参照）を行う（ステップＳ７０５）。この元座標取得処理と変換処理により取得された変換座標（ｘ、ｙ）を情報処理装置１２０に送信する（ステップＳ７０６）。そして、情報処理装置１２０からＯＫを受信した場合には（ステップＳ７０７でＹＥＳ）、本処理を終了し、ＮＧを受信した場合には（ステップＳ７０７でＮＯ）、ステップＳ７０１に戻る。
【００６０】
図１７は、第２の実施形態に係る情報処理装置１２０における処理手順を示したフローチャートである。
図１７において、情報処理装置１２０は、スマートグラス１１０からＰＩＮ配列要求を受信する（ステップＳ８０１）。情報処理装置１２０は、ＰＩＮ配列生成部１２７でＰＩＮ配列情報を生成する（ステップＳ８０２）。このとき、ＰＩＮ配列情報が保持される。そして、生成されたＰＩＮ配列をスマートグラス１１０に送信する（ステップＳ８０３）。
【００６１】
情報処理装置１２０は、スマートグラス１１０から変換座標（ｘ、ｙ）を受信する（ステップＳ８０４）。そして、情報処理装置１２０は、照合部１２８が変換座標とＰＩＮ配列とを照合することでＰＩＮを取得する（ステップＳ８０５）。情報処理装置１２０は、ＰＩＮとＩＤとを認証装置３０に送信する（ステップＳ８０６）。情報処理装置１２０は、ＯＫまたはＮＧを認証装置３０から受信し、受信したＯＫまたはＮＧをスマートグラス１１０に送信する（ステップＳ８０７）。
そして、情報処理装置１２０は、ＯＫを受信したか否か判定する（ステップＳ８０８）。ＯＫを受信した場合には（ステップＳ８０８でＹＥＳ）、サービスの提供を開始し（ステップＳ８０９）、本処理を終了する。一方、ＮＧを受信した場合には（ステップＳ８０８でＮＯ）、そのまま本処理を終了する。
【００６２】
以上説明したように、第２の実施形態によれば、スマートグラス１１０を装着したユーザのみＰＩＮ配列が目視可能であるため、ＰＩＮ配列が他人に盗み見されることはないので、秘密情報を安全に入力可能となっている。
また、第２の実施形態におけるスマートグラス１１０は、ＰＩＮ配列を表示し、元座標を取得し、変換座標を情報処理装置１２０に送信するので、第１の実施形態と比較して、スマートグラス１１０と情報処理装置１２０との間のトラヒックの軽減でき、さらに情報処理装置１２０の負荷を軽減することができる。なお、情報処理装置１２０と認証装置３０は１つの装置で実現されていてもよい。
【００６３】
[第３の実施形態]
図１８は、本発明の第３の実施形態に係る認証システム２００のブロック図である。
認証システム２００は、スマートグラス２１０、情報処理装置２２０、及び認証装置３０を含んで構成される。スマートグラス２１０は、本実施形態において、ＰＩＮ配列情報を情報処理装置２２０から受信し、受信したＰＩＮ配列を表示して、そのＰＩＮ配列に対してユーザが行った操作Ａ，Ｂ，Ｃに対応する元座標（ｓ、ｔ）を変換する。さらに、スマートグラス２１０は、変換座標とＰＩＮ配列情報とを照合してＰＩＮを取得し、ＰＩＮを情報処理装置２２０に送信する。従って、本実施形態におけるスマートグラス２１０は、ＰＩＮ配列情報が示すＰＩＮ配列を表示し、元座標を取得し、座標変換し、ＰＩＮ配列情報との照合を行うことでＰＩＮを取得する構成となっている。
【００６４】
情報処理装置２２０は、スマートグラス２１０からＰＩＮを受信し、キャッシュカードからユーザを識別するＩＤを取得できるので、そのＩＤと受信したＰＩＮとを認証装置３０に送信する。情報処理装置２２０は、認証装置３０からＯＫを受信すると、サービスをユーザに提供し、ＮＧを受信すると、サービスをユーザに提供しない。認証装置３０は、第１の実施形態と同じであるので、説明を省略する。
【００６５】
次に各装置の構成について説明する。スマートグラス２１０は、制御部２１１、入力部２１７、ディスプレイ２１５、座標変換部２２４、照合部２２８、及び通信部２１８を含んで構成される。
制御部２１１は、ＣＰＵやＲＯＭ、ＲＡＭなどの記憶装置を含み、スマートグラス２１０全体を制御する。入力部２１７は、マイク２１２、カメラ２１３、及びタッチパネル２１４を含む。入力部２１７は、入力された内容を制御部２１１に出力したり、制御部２１１の指示により各種処理を行う。ディスプレイ２１５は、制御部２１１の指示により上述したＰＩＮ配列の他に、画像やアプリケーションの画面などを表示する。通信部２１８は、情報処理装置２２０と無線通信を行う。座標変換部２２４は、図７で説明した方法により、制御部２１１から出力された元座標を変換して変換座標を取得する。照合部２２８は、座標変換部２２４が出力した変換座標とＰＩＮ配列情報とを照合し、入力されたＰＩＮを取得する。
【００６６】
情報処理装置２２０は、制御部２２１、入力部２２５、ＰＩＮ配列生成部２２７、及び通信部２２６を含んで構成される。制御部２２１は、ＣＰＵやＲＯＭ、ＲＡＭなどの記憶装置を含み、情報処理装置２２０全体を制御する。入力部２２５は、キーパッド２２２、及びタッチパネル２２３を含む。入力部２２５は、入力された内容を制御部２２１に出力したり、制御部２２１の指示により各種処理を行う。ＰＩＮ配列生成部２２７は、ＰＩＮ配列１０００のように、番号を整列させたＰＩＮ配列や、ＰＩＮ配列１００１のようにランダムなＰＩＮ配列を示すＰＩＮ配列を生成し、上述したＰＩＮ配列情報を保持する。ここで保持されたＰＩＮ配列情報は、スマートグラス２１０に送信される。通信部２２６は、スマートグラス２１０及び認証装置３０と無線通信を行う。
【００６７】
図１９は、第３の実施形態におけるスマートグラス２１０、情報処理装置２２０、及び認証装置３０での処理を示すシーケンス図である。
図１９において、スマートグラス２１０は、ＰＩＮ配列要求を情報処理装置２２０に送信する（ステップＳ９０１）。情報処理装置２２０は、ＰＩＮ配列生成部２２７で生成されたＰＩＮ配列情報をスマートグラス２１０に送信する（ステップＳ９０２）。
スマートグラス２１０は、受信したＰＩＮ配列情報が示すＰＩＮ配列をディスプレイ２１５に表示する（ステップＳ９０３）。そして、ユーザの操作から元座標（ｓ、ｔ）を取得する（ステップＳ９０４）。
スマートグラス２１０は、元座標を座標変換部２２４により変換し（ステップＳ９０５）、変換座標から照合部２２８によりＰＩＮを取得し（ステップＳ９０６）、ＰＩＮを情報処理装置２２０に送信する（ステップＳ９０７）。
【００６８】
情報処理装置２２０は、ＰＩＮとＩＤとを認証装置３０に送信する（ステップＳ９０８）。認証装置３０は、受信したＰＩＮとＩＤから、認証部３２による認証処理を行い（ステップＳ９０９）、認証部３２が出力したＯＫまたはＮＧを情報処理装置２２０に送信する（ステップＳ９１０）。情報処理装置２２０は、ＯＫまたはＮＧをスマートグラス２１０に送信する（ステップＳ９１１）。情報処理装置２２０は、認証装置３０からＯＫを受信すると、サービスをユーザに提供し、ＮＧを受信すると、サービスをユーザに提供しない。
【００６９】
図２０は、第３の実施形態に係るスマートグラス２１０における処理手順を示したフローチャートである。図２０において、スマートグラス２１０は、ＰＩＮ配列要求を情報処理装置２２０に送信する（ステップＳ１００１）。次いで、情報処理装置２２０からＰＩＮ配列情報を受信する（ステップＳ１００２）。そして、受信したＰＩＮ配列情報が示すＰＩＮ配列をディスプレイ２１５に表示する（ステップＳ１００３）。
【００７０】
次いで、上述した元座標取得処理（図１１参照）を行い（ステップＳ１００４）、さらに変換処理（図１３参照）を行う（ステップＳ１００５）。次いで、スマートグラス２１０は、照合部２２８が変換座標とＰＩＮ配列情報とを照合することでＰＩＮを取得し（ステップＳ１００６）、ＰＩＮを情報処理装置２２０に送信する（ステップＳ１００７）。
そして、情報処理装置２２０からＯＫを受信した場合には（ステップＳ１００８でＹＥＳ）、本処理を終了し、ＮＧを受信した場合には（ステップＳ１００８でＮＯ）、ステップＳ１００１に戻る。
【００７１】
図２１は、第３の実施形態に係る情報処理装置２２０における処理手順を示したフローチャートである。
図２１において、情報処理装置２２０は、スマートグラス２１０からＰＩＮ配列要求を受信する（ステップＳ１１０１）。情報処理装置２２０は、ＰＩＮ配列生成部２２７でＰＩＮ配列情報を生成する（ステップＳ１１０２）。そして、生成されたＰＩＮ配列情報をスマートグラス２１０に送信する（ステップＳ１１０３）。
【００７２】
情報処理装置２２０は、スマートグラス２１０からＰＩＮを受信する（ステップＳ１１０４）。そして、情報処理装置２２０は、ＰＩＮとＩＤとを認証装置３０に送信する（ステップＳ１１０５）。情報処理装置２２０は、ＯＫまたはＮＧを認証装置３０から受信し、受信したＯＫまたはＮＧをスマートグラス２１０に送信する（ステップＳ１１０６）。
そして、情報処理装置２２０は、ＯＫを受信したか否か判定する（ステップＳ１１０７）。ＯＫを受信した場合には（ステップＳ１１０７でＹＥＳ）、サービスの提供を開始し（ステップＳ１１０８）、本処理を終了する。一方、ＮＧを受信した場合には（ステップＳ１１０７でＮＯ）、そのまま本処理を終了する。
【００７３】
以上説明したように、第３の実施形態によれば、スマートグラス２１０を装着したユーザのみＰＩＮ配列が目視可能であるため、ＰＩＮ配列が他人に盗み見されることはないので、秘密情報を安全に入力可能となっている。
また、第３の実施形態におけるスマートグラス２１０は、ＰＩＮ配列を表示し、元座標を取得し、座標変換し、ＰＩＮ配列情報との照合を行うことでＰＩＮを取得して、ＰＩＮを情報処理装置２２０に送信するので、第１の実施形態と比較して、情報処理装置２２０の負荷を軽減することができる。なお、情報処理装置２２０と認証装置３０は１つの装置で実現されていてもよい。
【００７４】
[第４の実施形態]
図２２は、本発明の第４の実施形態に係る認証システム３００のブロック図である。
第４の実施形態が第１〜３の実施形態と異なる大きな点は、スマートグラス３１０が認証装置３３０にＰＩＮとＩＤを直接送信する点である。スマートグラス３１０が認証装置にＩＤを送信するためには、情報処理装置３２０が取得しているＩＤを送信してもらうか、ユーザに入力させるか、予めスマートグラス３１０が記憶しておくことが考えられるが、ここでは情報処理装置３２０がキャッシュカードの挿入により既にＩＤを取得しているため、情報処理装置３２０がスマートグラス３１０にＩＤを送信する構成としている。
【００７５】
第４の実施形態において、認証システム３００は、スマートグラス３１０、情報処理装置３２０、及び認証装置３３０を含んで構成される。スマートグラス３１０は、上述したようにＩＤとＰＩＮ配列情報とを情報処理装置３２０から受信し、受信したＰＩＮ配列情報が示すＰＩＮ配列を表示して、そのＰＩＮ配列に対してユーザが行った操作Ａ，Ｂ，Ｃに対応する元座標（ｓ、ｔ）を変換する。さらに、スマートグラス３１０は、変換座標とＰＩＮ配列情報とを照合してＰＩＮを取得し、ＰＩＮとＩＤとを認証装置３３０に送信する。従って、本実施形態におけるスマートグラス３１０は、ＩＤを取得し、ＰＩＮ配列を表示し、元座標を取得し、座標変換し、ＰＩＮ配列との照合を行うことでＰＩＮを取得し、ＰＩＮとＩＤとを認証装置３３０に送信する構成となっている。
【００７６】
情報処理装置３２０は、スマートグラス３１０へＰＩＮ配列情報の送信とともにＩＤを送信する。そして、情報処理装置３２０は、認証装置３３０からＯＫを受信すると、サービスをユーザに提供し、ＮＧを受信すると、サービスをユーザに提供しない。
【００７７】
認証装置３３０は、ＩＤとＰＩＮが正規のＩＤとＰＩＮであればＯＫを送信し、そうでなければＮＧを送信する。
【００７８】
次に各装置の構成について説明する。スマートグラス３１０は、制御部３１１、入力部３１７、ディスプレイ３１５、座標変換部３２４、照合部３２８、及び通信部３１８を含んで構成される。
制御部３１１は、ＣＰＵやＲＯＭ、ＲＡＭなどの記憶装置を含み、スマートグラス３１０全体を制御する。入力部３１７は、マイク３１２、カメラ３１３、及びタッチパネル３１４を含む。入力部３１７は、入力された内容を制御部３１１に出力したり、制御部３１１の指示により各種処理を行う。ディスプレイ３１５は、制御部３１１の指示により上述したＰＩＮ配列の他に、画像やアプリケーションの画面などを表示する。通信部３１８は、情報処理装置３２０及び認証装置３３３と無線通信を行う。座標変換部３２４は、図７で説明した方法により、制御部３１１から出力された元座標を変換して変換座標を取得する。照合部３２８は、座標変換部３２４が出力した変換座標とＰＩＮ配列情報とを照合し、入力されたＰＩＮを取得する。
【００７９】
情報処理装置３２０は、制御部３２１、入力部３２５、ＰＩＮ配列生成部３２７、及び通信部３２６を含んで構成される。制御部３２１は、ＣＰＵやＲＯＭ、ＲＡＭなどの記憶装置を含み、情報処理装置３２０全体を制御する。入力部３２５は、キーパッド３２２、及びタッチパネル３２３を含む。入力部３２５は、入力された内容を制御部３２１に出力したり、制御部３２１の指示により各種処理を行う。ＰＩＮ配列生成部３２７は、ＰＩＮ配列１０００のように、番号を整列させたＰＩＮ配列や、ＰＩＮ配列１００１のようにランダムなＰＩＮ配列を示すＰＩＮ配列情報を生成し、それを保持する。ここで保持されたＰＩＮ配列情報は、スマートグラス２１０に送信される。通信部３２６は、スマートグラス３１０及び認証装置３３０と無線通信を行う。
【００８０】
認証装置３３０は、制御部３３１、認証部３３２、ＤＢ３３３、及び通信部３３４を含んで構成される。制御部３３１は、ＣＰＵやＲＯＭ、ＲＡＭなどの記憶装置を含み、認証装置３３０全体を制御する。認証部３３２は、スマートグラス３１０から受信したＩＤとＰＩＮから、ＤＢ３３３を参照して認証処理を行い、認証された場合にはＯＫを出力し、認証されなかった場合にＮＧを出力する。出力されたＯＫ／ＮＧは、スマートグラス３１０及び情報処理装置３２０に送信される。通信部３３４は、スマートグラス３１０及び情報処理装置３２０と無線通信を行う。
【００８１】
図２３は、第４の実施形態におけるスマートグラス３１０、情報処理装置３２０、及び認証装置３３０での処理を示すシーケンス図である。
図２３において、スマートグラス３１０は、ＰＩＮ配列要求を情報処理装置３２０に送信する（ステップＳ１２０１）。情報処理装置３２０は、ＰＩＮ配列生成部３２７で生成されたＰＩＮ配列情報とキャッシュカードにより取得したＩＤとをスマートグラス３１０に送信する（ステップＳ１２０２）。
【００８２】
スマートグラス３１０は、受信したＰＩＮ配列情報が示すＰＩＮ配列をディスプレイ３１５に表示する（ステップＳ１２０３）。そして、ユーザの操作から元座標（ｓ、ｔ）を取得する（ステップＳ１２０４）。
スマートグラス３１０は、元座標を座標変換部３２４により変換し（ステップＳ１２０５）、変換座標から照合部３２８によりＰＩＮを取得し（ステップＳ１２０６）、ＰＩＮとＩＤとを認証装置３３０に送信する（ステップＳ１２０７）。
【００８３】
認証装置３３０は、受信したＰＩＮとＩＤから、認証部３３２による認証処理を行い（ステップＳ１２０８）、認証部３３２が出力したＯＫまたはＮＧを情報処理装置３２０及びスマートグラス３１０に送信する（ステップＳ１２０９）。情報処理装置３２０は、認証装置３３０からＯＫを受信すると、サービスをユーザに提供し、ＮＧを受信すると、サービスをユーザに提供しない。
なお、上記処理において、認証装置３３０はスマートグラス３１０と情報処理装置３２０にＯＫ／ＮＧを送信しているが、これに限らず、情報処理装置３２０のみにＯＫ／ＮＧを送信し、スマートグラス３１０は他の実施形態と同じく、情報処理装置３２０からＯＫ／ＮＧを受信するようにしてもよい。
【００８４】
図２４は、第４の実施形態に係るスマートグラス３１０における処理手順を示したフローチャートである。図２４において、スマートグラス３１０は、ＰＩＮ配列要求を情報処理装置３２０に送信する（ステップＳ１３０１）。次いで、情報処理装置２２０からＰＩＮ配列情報とＩＤとを受信する（ステップＳ１３０２）。そして、受信したＰＩＮ配列情報が示すＰＩＮ配列をディスプレイ２１５に表示する（ステップＳ１３０３）。
【００８５】
次いで、上述した元座標取得処理（図１１参照）を行い（ステップＳ１３０４）、さらに変換処理（図１３参照）を行う（ステップＳ１３０５）。さらに、スマートグラス２１０は、照合部３２８が変換座標とＰＩＮ配列情報とを照合することでＰＩＮを取得し（ステップＳ１３０６）、ＰＩＮとＩＤとを認証装置３３０に送信する（ステップＳ１３０７）。
そして、認証装置３３０からＯＫを受信した場合には（ステップＳ１３０８でＹＥＳ）、本処理を終了し、ＮＧを受信した場合には（ステップＳ１３０８でＮＯ）、ステップＳ１３０１に戻る。
【００８６】
図２５は、第４の実施形態に係る情報処理装置３２０における処理手順を示したフローチャートである。
図２５において、情報処理装置３２０は、スマートグラス３１０からＰＩＮ配列要求を受信する（ステップＳ１４０１）。情報処理装置３２０は、ＰＩＮ配列生成部３２７でＰＩＮ配列情報を生成する（ステップＳ１４０２）。そして、生成されたＰＩＮ配列情報とキャッシュカードから取得したＩＤとをスマートグラス３１０に送信する（ステップＳ１４０３）。
【００８７】
情報処理装置３２０は、ＯＫまたはＮＧを認証装置３３０から受信する（ステップＳ１４０４）。情報処理装置３２０は、ＯＫを受信したか否か判定する（ステップＳ１４０５）。ＯＫを受信した場合には（ステップＳ１４０５でＹＥＳ）、サービスの提供を開始し（ステップＳ１４０６）、本処理を終了する。一方、ＮＧを受信した場合には（ステップＳ１４０５でＮＯ）、そのまま本処理を終了する。
【００８８】
以上説明したように、第４の実施形態によれば、スマートグラス３１０を装着したユーザのみＰＩＮ配列が目視可能であるため、ＰＩＮ配列が他人に盗み見されることはないので、秘密情報を安全に入力可能となっている。
また、第４の実施形態におけるスマートグラス３１０は、ＩＤを取得し、ＰＩＮ配列を表示し、元座標を取得し、座標変換し、ＰＩＮ配列情報との照合を行うことでＰＩＮを取得して、さらにＰＩＮとＩＤとを認証装置３３０に送信するので、第１の実施形態と比較して、情報処理装置２２０の負荷を軽減することができる。なお、情報処理装置３２０と認証装置３３０は１つの装置で実現されていてもよい。
【００８９】
[第５の実施形態]
第５の実施形態が第１〜４の実施形態と異なる大きな点は、ユーザがＰＩＮを情報処理装置に入力するという点である。
図２６は、第５の実施形態でのユーザの入力例を示す図である。図２６には、スマートグラスのレンズ枠１００２、ＰＩＮ配列１００４、ＡＴＭ画面１１００、ブランクキーボード１１０１、及びユーザの指１００３が示されている。
図２６に示されるように、ユーザはレンズ枠１００２内のＰＩＮ配列１００４を確認できる。一方、情報処理装置のＡＴＭ画面１１００に設けられたソフトキーはブランクキーボード１１０１となっている。
ＰＩＮ配列１００４及びブランクキーボード１１０１は、ともに４×３のマスからなっているので、ＰＩＮ配列１００４及びブランクキーボード１１０１のマスは１対１で対応している。
【００９０】
そこで、ユーザは、ＰＩＮ配列１００４のマスに対応するブランクキーボード１１０１のソフトキーをタッチすることで、ＰＩＮを入力することができる。
図２７は、本発明の第５の実施形態に係る認証システム４００のブロック図である。
第５の実施形態において、認証システム４００は、スマートグラス４１０、情報処理装置４２０、及び認証装置４３０を含んで構成される。スマートグラス４１０は、ＰＩＮ配列情報を情報処理装置４２０から受信し、受信したＰＩＮ配列情報が示すＰＩＮ配列を表示する。従って、本実施形態におけるスマートグラス４１０は、ＰＩＮ配列を表示する構成となっている。
【００９１】
情報処理装置４２０は、スマートグラス４１０へＰＩＮ配列情報を送信する。そして、情報処理装置４２０は、ブランクキーボード１１０１をタッチパネル４２３に表示する。照合部４２８は、タッチパネル４２３に表示されたブランクキーボード１１０１にユーザがタッチしたソフトキーの座標とＰＩＮ配列情報とを照合することにより、ＰＩＮを取得する。
情報処理装置４２０は、キャッシュカードからユーザを識別するＩＤを取得できるので、そのＩＤと取得したＰＩＮとを認証装置３０に送信する。情報処理装置４２０は、認証装置３０からＯＫを受信すると、サービスをユーザに提供し、ＮＧを受信すると、サービスをユーザに提供しない。認証装置３０は、第１の実施形態と同じであるので、説明を省略する。
【００９２】
次に各装置の構成について説明する。スマートグラス４１０は、制御部４１１、入力部４１７、ディスプレイ４１５、及び通信部４１８を含んで構成される。
制御部４１１は、ＣＰＵやＲＯＭ、ＲＡＭなどの記憶装置を含み、スマートグラス４１０全体を制御する。入力部４１７は、マイク４１２、カメラ４１３、及びタッチパネル４１４を含む。入力部４１７は、入力された内容を制御部４１１に出力したり、制御部４１１の指示により各種処理を行う。ディスプレイ４１５は、制御部４１１の指示により上述したＰＩＮ配列の他に、画像やアプリケーションの画面などを表示する。通信部４１８は、情報処理装置４２０と無線通信を行う。
【００９３】
情報処理装置４２０は、制御部４２１、入力部４２５、ＰＩＮ配列生成部４２７、及び通信部４２６を含んで構成される。制御部４２１は、ＣＰＵやＲＯＭ、ＲＡＭなどの記憶装置を含み、情報処理装置４２０全体を制御する。入力部４２５は、キーパッド４２２、及びタッチパネル４２３を含む。入力部４２５は、入力された内容を制御部４２１に出力したり、制御部４２１の指示により各種処理を行う。
【００９４】
特に本実施形態において、タッチパネル４２３はユーザがタッチした座標を照合部４２８に出力する。ＰＩＮ配列生成部４２７は、ＰＩＮ配列１０００のように、番号を整列させたＰＩＮ配列や、ＰＩＮ配列１００１のようにランダムなＰＩＮ配列を示すＰＩＮ配列情報を生成する。照合部４２８は、タッチパネル４２３が出力した座標とＰＩＮ配列情報とを照合し、入力されたＰＩＮを取得する。通信部４２６は、スマートグラス４１０及び認証装置３０と無線通信を行う。
【００９５】
図２８は、第５の実施形態におけるスマートグラス４１０、情報処理装置４２０、及び認証装置３０での処理を示すシーケンス図である。
図２８において、スマートグラス４１０は、ＰＩＮ配列要求を情報処理装置４２０に送信する（ステップＳ１５０１）。情報処理装置４２０は、ＰＩＮ配列生成部４２７で生成されたＰＩＮ配列情報をスマートグラス４１０に送信する（ステップＳ１５０２）。このとき、上述したＰＩＮ配列情報が保持される。
スマートグラス４１０は、受信したＰＩＮ配列情報が示すＰＩＮ配列をディスプレイ４１５に表示する（ステップＳ１５０３）。
【００９６】
一方、情報処理装置４２０において、ブランクキーボード１１０１にユーザがタッチしたソフトキーの座標をタッチパネル４２３が取得する（ステップＳ１５０４）。次いで、照合部４２８は、タッチパネル４２３が出力した座標とＰＩＮ配列情報とを照合し、入力されたＰＩＮを取得する（ステップＳ１５０５）。
情報処理装置４２０は、ＰＩＮとＩＤとを認証装置４３０に送信する（ステップＳ１５０６）。認証装置３０は、受信したＰＩＮとＩＤから、認証部３２による認証処理を行い（ステップＳ１５０７）、認証部３２が出力したＯＫまたはＮＧを情報処理装置４２０に送信する（ステップＳ１５０８）。情報処理装置４２０は、ＯＫまたはＮＧをスマートグラス４１０に送信する（ステップＳ１５０９）。情報処理装置４２０は、認証装置３０からＯＫを受信すると、サービスをユーザに提供し、ＮＧを受信すると、サービスをユーザに提供しない。
【００９７】
図２９は、第５の実施形態に係るスマートグラス４１０における処理手順を示したフローチャートである。図２９において、スマートグラス４１０は、ＰＩＮ配列要求を情報処理装置４２０に送信する（ステップＳ１６０１）。次いで、情報処理装置４２０からＰＩＮ配列情報を受信する（ステップＳ１６０２）。そして、受信したＰＩＮ配列情報が示すＰＩＮ配列をディスプレイ４１５に表示する（ステップＳ１６０３）。
そして、情報処理装置４２０からＯＫを受信した場合には（ステップＳ１６０４でＹＥＳ）、本処理を終了し、ＮＧを受信した場合には（ステップＳ１６０４でＮＯ）、ステップＳ１６０１に戻る。
【００９８】
図３０は、第５の実施形態に係る情報処理装置４２０における処理手順を示したフローチャートである。
図３０において、情報処理装置４２０は、スマートグラス４１０からＰＩＮ配列要求を受信する（ステップＳ１７０１）。情報処理装置４２０は、ＰＩＮ配列生成部４２７でＰＩＮ配列情報を生成する（ステップＳ１７０２）。このとき、上述したＰＩＮ配列情報が保持される。そして、生成されたＰＩＮ配列情報をスマートグラス４１０に送信する（ステップＳ１７０３）。
次いで、ブランクキーボード１１０１にユーザがタッチしたソフトキーの座標をタッチパネル４２３が取得する（ステップＳ１７０４）。次いで、照合部４２８は、タッチパネル４２３が出力した座標とＰＩＮ配列情報とを照合し、入力されたＰＩＮを取得する（ステップＳ１７０５）。
【００９９】
情報処理装置４２０は、ＰＩＮとＩＤとを認証装置３０に送信する（ステップＳ１７０６）。情報処理装置４２０は、ＯＫまたはＮＧを認証装置３０から受信し、受信したＯＫまたはＮＧをスマートグラス４１０に送信する（ステップＳ１７０７）。
そして、情報処理装置４２０は、ＯＫを受信したか否か判定する（ステップＳ１７０８）。ＯＫを受信した場合には（ステップＳ１７０８でＹＥＳ）、サービスの提供を開始し（ステップＳ１７０９）、本処理を終了する。一方、ＮＧを受信した場合には（ステップＳ１７０８でＮＯ）、そのまま本処理を終了する。
【０１００】
以上説明したように、第５の実施形態によれば、スマートグラス３１０を装着したユーザのみＰＩＮ配列が目視可能であるため、ＰＩＮ配列が他人に盗み見されることはないので、秘密情報を安全に入力可能となっている。なお、情報処理装置４２０と認証装置３０は１つの装置で実現されていてもよい。
また、第５の実施形態におけるスマートグラス３１０は、ＰＩＮ配列を表示するのみであるため、スマートグラス３１０の負荷を軽減することができる。さらに、認証システム４００全体として、元座標の取得や座標の変換が不要となるため、各装置の負荷を軽減することができる。また、ブランクキーボードを表示する処理やタッチされた座標を取得して、ＰＩＮ配列情報と照合する処理は、従来のＡＴＭにおける処理を流用することができる。
このように、本実施形態によれば、予め定められたユーザであるスマートグラスを装着したユーザが目視可能な透過型ディスプレイに文字列を入力するためのソフトウェアキーを表示し、表示されたソフトウェアキーに対するユーザの操作内容である元座標を取得し、取得された操作内容から、ユーザの操作により入力された文字列を取得し、取得された文字列を用いて、認証処理を実行するので、秘密情報を安全に入力可能となっている。
なお、以上説明した各実施形態では、ウェアラブルデバイスの例として、スマートグラスを用いたが、スマートグラスに代えて、ヘッドマウントディスプレイを用いるようにしてもよい。
【０１０１】
[第６の実施形態]
スマートグラスは、ユーザの頭部に装着されるため、ユーザの頭部が動いた場合、それに伴い透過型ディスプレイも動くことから、誤入力が発生する可能性がある。従って、透過型ディスプレイの動きに応じて生じるズレを補正する必要がある。そこで、第６の実施形態では、図１１で説明した元座標を取得する元座標取得処理において、透過型ディスプレイの動きに応じて、ユーザにより指定された位置を表す指定位置と、ソフトウェアキーとの相対位置を補正する補正処理について説明する。元座標取得処理は、第１〜第４実施形態において共通の処理であるため、この補正処理は第１〜第４実施形態に適用される。なお、透過型ディスプレイは、ユーザの頭部に一体的に装着されることから、ユーザの頭部（または顔）の動きに伴って透過型ディスプレイが動くため、以下の説明では、透過型ディスプレイの動きを、頭部または顔の動きと表現することがある。
【０１０２】
図３１は、第１〜第４実施形態におけるスマートグラス１０、１１０、２１０、３１０に、頭部の動きを示す物理量を検出する検出部としての加速度センサＡＳを設けた構成を示す図である。図３１（Ａ）は、第１実施形態のスマートグラス１０に加速度センサＡＳを設けた構成を示す図である。図３１（Ｂ）は、第２実施形態のスマートグラス１１０に加速度センサＡＳを設けた構成を示す図である。図３１（Ｃ）は、第３、４実施形態のスマートグラス２１０、３１０に加速度センサＡＳを設けた構成を示す図である。
いずれの実施形態においても、加速度センサＡＳは制御部１１、１１１、２１１、３１１に接続する。そして、加速度センサＡＳが検出する物理量は、透過型ディスプレイのパン方向の回転角及びチルト方向の回転角である。加速度センサＡＳは、回転角を定期的（例えば１０ミリ秒ごと）に検出し、検出するたびに回転角を制御部１１、１１１、２１１、３１１に通知する。
【０１０３】
制御部１１、１１１、２１１、３１１が実行する補正処理では、加速度センサＡＳが検出したパン方向の回転角及びチルト方向の回転角に基づき、ユーザにより指定された位置を表す指定位置と、ソフトウェアキーとの相対位置を補正する。なお、スマートグラス１０、１１０、２１０、３１０における補正処理は、いずれの構成であっても同じ処理となることから、以下の実施形態では便宜的にスマートグラス１０及びその構成を用いて説明する。
【０１０４】
図３１で示した構成で実行される補正処理では、現実世界での距離と画面内での距離を対応付けておく必要がある。図３２は、現実世界での距離と、ディスプレイ１５の画面内での距離との対応を説明するための図である。
まず、図３２（Ａ）に示されるように、ユーザが例えば長さｍ１の基準物（例えば物差し）２０００Ｒを腕に持ち、それをスマートグラス１０のカメラ１３で撮影することで、図３２（Ｂ）に示されるように、ディスプレイ１５の画面内での長さがｍ２の基準物２０００Ｖが表示される。これは、ユーザが長さＡの腕を伸ばした状態で操作したときの現実世界での距離とディスプレイ１５の画面内での距離の対応を示している。
【０１０５】
従って、まずスマートグラス１０に物差しの長さｍ１を予め登録しておき、スマートグラス１０が長さｍ２を検出することで、現実世界での距離ｄと画面内での距離Ｄは、ｍ１：ｍ２＝ｄ：Ｄで対応付けられる。以下、ｍ２／ｍ１をｍとし（Ｄ＝ｍｄ）、制御部１１は、このｍを保持しておく。
次に、頭部の動きをパン方向とチルト方向の２軸の回転角で検出したときの画面内での距離について説明する。まず、スマートグラス１０の加速度センサＡＳは、上述したようにパン方向の回転角θとチルト方向の回転角φとを定期的に検出する。
【０１０６】
図３３は、頭部が動いたことによる現実世界での距離と画面内での距離との対応を示す図である。本実施形態では、右方向及び上方向をプラス方向とし、左方向及び下方向をマイナス方向と定義している。加速度センサＡＳは、検出した方向に従って、回転角に符号をつけて通知するものとする。まず図３３（Ａ）を用いてパン方向の距離について説明する。
加速度センサＡＳから、左右いずれかの方向の回転角θが取得された場合、ユーザの腕の長さがＡであるので、現実世界での距離ｘは、余弦定理によりｘ＝２Ａ（１−ｃｏｓθ）１／２となる。従って、画面内での距離Ｘは、上記ｍを用いてＸ＝ｍｘ…（式２）となる。
【０１０７】
次に、図３３（Ｂ）を用いてチルト方向の距離について説明する。加速度センサＡＳから、上下いずれかの方向の回転角φが取得された場合、ユーザの腕の長さがＡであるので、現実世界での距離ｙは、余弦定理によりｙ＝２Ａ（１−ｃｏｓφ）１／２となる。従って、画面内での距離Ｙは、上記ｍを用いてＹ＝ｍｙ…（式３）となる。
【０１０８】
このようにして得られた補正量Ｘ、Ｙを用いて補正が行われる。本実施形態では、上述したように、ユーザにより指定された位置を表す指定位置と、ソフトウェアキーとの相対位置を補正する。具体的に、本実施形態に係る補正処理は２つある。
１つは、算出された指定位置（以下、「ポインタ」ともいう）の補正量Ｘ、Ｙに応じて、ポインタをソフトウェアキーに対して移動させることにより、ポインタと、ソフトウェアキーとの相対位置を補正する補正処理（以下、「ポインタ補正処理」という）である。もう１つは、算出されたソフトウェアキーの補正量Ｘ、Ｙに応じて、ソフトウェアキーをポインタに対して移動させることにより、ポインタと、ソフトウェアキーとの相対位置を補正する補正処理（以下、「ソフトウェアキー補正処理」という）である。これらの補正処理を説明するために、以下の説明では、図７（Ａ）で示した画像表示領域１０５１の座標を絶対座標と表現する。
【０１０９】
図３４は、ポインタと、ソフトウェアキーとの相対位置の補正例を示す図である。図３４では、パン方向の一例として右方向、チルト方向の一例として上方向に顔が向いた場合の補正例を示している。
まず、ポインタ補正処理について説明する。顔が右方向に向いた場合、ポインタＰは、ソフトウェアキーＳＫの左側に移動することとなる。それを補正するためには、図３４（Ａ）のポインタＰ’に示されるように、右側にポインタＰを移動させる。
【０１１０】
一方、顔が左方向に向いた場合は図示していないが、右方向の場合とは逆に、左側にポインタＰを移動させることで補正する。よって、パン方向におけるポインタ補正処理では、顔が向いた方向と同方向にポインタを移動させる補正を行うこととなる。
次に、顔が上方向に向いた場合、ポインタＰは、ソフトウェアキーＳＫの下側に移動することとなる。それを補正するためには、図３４（Ｂ）のポインタＰ’に示されるように、上側にポインタＰを移動させる。
【０１１１】
一方、顔が下方向に向いた場合は図示していないが、上方向の場合とは逆に、下側にポインタＰを移動させる。よって、チルト方向におけるポインタ補正処理では、顔が向いた方向と同方向にポインタを移動させる補正を行うこととなる。
以上より、ポインタ補正処理では、パン方向及びチルト方向のいずれの場合も、顔が向いた方向と同方向にポインタＰを移動させる補正を行うこととなる。よって、ポインタＰの絶対座標における座標を（ｐ、ｑ）と置くと、ポインタ補正処理による補正後のポインタＰ’の絶対座標における座標（ｐ’、ｑ’）は以下のようになる。
（ｐ’、ｑ’）＝（ｐ＋ｓｇｎ（θ）Ｘ、ｑ＋ｓｇｎ（φ）Ｙ）…（式４）
ここで、ｓｇｎは符号関数であり、ｓｇｎ（ｘ）は、ｘが負のときは「−１」、ｘが０のときは「０」、ｘが正のときは「１」となる。上述したように、ポインタ補正処理では、顔が向いた方向と同方向にポインタを移動させるので、Ｘ、Ｙはプラス方向に作用する。こうして得られた座標（ｐ’、ｑ’）にポインタを表示する。また、この座標（ｐ’、ｑ’）が元座標（ｓ、ｔ）となる。
【０１１２】
次にソフトウェアキー補正処理について説明する。顔が右方向に向いた場合、ソフトウェアキーＳＫは、ポインタＰの右側に移動することとなる。それを補正するためには、図３４（Ｃ）のソフトウェアキーＳＫ’に示されるように、左側にソフトウェアキーＳＫを移動させる。
一方、顔が左方向に向いた場合は図示していないが、右方向の場合とは逆に、右側にソフトウェアキーＳＫを移動させる。よって、パン方向におけるソフトウェアキー補正処理では、顔が向いた方向と逆方向にソフトウェアキーを移動させる補正を行うこととなる。
【０１１３】
次に、顔が上方向に向いた場合、ソフトウェアキーＳＫは、ソフトウェアキーＳＫの上側に移動することとなる。それを補正するためには、図３４（Ｄ）のソフトウェアキーＳＫ’に示されるように、下側にソフトウェアキーＳＫを移動させる。
一方、顔が下方向に向いた場合は図示していないが、上方向の場合とは逆に、上側にソフトウェアキーＳＫを移動させる。よって、チルト方向におけるソフトウェアキー補正処理では、顔が向いた方向と逆方向にソフトウェアキーを移動させる補正を行うこととなる。
以上より、ソフトウェアキー補正処理では、パン方向及びチルト方向のいずれの場合も、顔が向いた方向と逆方向にソフトウェアキーを移動させる補正を行うこととなるが、ソフトウェアキー補正処理は、ポインタ補正処理と比較して若干複雑であるため、さらに図を用いて説明する。図３５は、ソフトウェアキー補正処理を説明するための図である。
【０１１４】
図３５に示される座標は絶対座標であり、ソフトウェアキーＳＫからソフトウェアキーＳＫ’に補正するものとする。また、ソフトウェアキーＳＫの４隅をＰｎ（αｎ、βｎ）、（ｎ＝１、２、３、４）（Ｐ１（α１、β１）、Ｐ２（α２、β２）、Ｐ３（α３、β３）、Ｐ４（α４、β４））とする。
このとき、補正後のソフトウェアキーＳＫ’の絶対座標における４隅の座標Ｐｎ’（αｎ’、βｎ’）、（ｎ＝１、２、３、４）は以下のようになる。
（αｎ’、βｎ’）＝（αｎ−ｓｇｎ（θ）Ｘ、βｎ−ｓｇｎ（φ）Ｙ）…（式５）
【０１１５】
上述したように、ソフトウェアキー補正処理では、顔が向いた方向と逆方向にソフトウェアキーを移動させるので、Ｘ、Ｙはマイナス方向に作用する。こうして得られた４隅の座標Ｐｎ’（αｎ’、βｎ’）で定まる矩形をＸ軸方向に３分割し、Ｙ軸方向に４分割することで、ソフトウェアキーＳＫ’を表示することができる。
さらに、ソフトウェアキー補正処理では、図３５に示されるように、ポインタＰの表示位置はそのまま変化しないが、ソフトウェアキーＳＫ’は絶対座標からずれているため、ポインタＰが表示されている絶対座標における座標と、ユーザが指定している座標は異なる。実際、図３５に示されるように、絶対座標と一致するソフトウェアキーＳＫでは、ポインタＰは右上の領域Ｚに存在する。例えば、図１のＰＩＮ配列１０００では、ユーザは「３」を指定していることとなる。しかし、ユーザはソフトウェアキーＳＫ’を見ているため、ポインタＰは、領域Ｚ’に存在する。例えば、図１のＰＩＮ配列１０００では、ユーザは「５」を指定していることとなる。
【０１１６】
そこで、ポインタＰが表示されている絶対座標における座標を（ｐ、ｑ）と置くと、ユーザの指定位置を示す座標（ｐ’、ｑ’）は以下のようになる。
（ｐ’、ｑ’）＝（ｐ−ｓｇｎ（θ）Ｘ、ｑ−ｓｇｎ（φ）Ｙ）…（式６）
この計算を行う補正処理を、ソフトウェアキーポインタ補正処理と表現する。また、座標（ｐ’、ｑ’）が元座標（ｓ、ｔ）となる。
【０１１７】
以上説明した補正処理を適用した図１１の元座標取得処理について説明する。上記補正処理は、図１１の元座標取得処理のステップＳ３０１での軌跡をトレースする処理（以下、「トレース処理」という）において実行される。具体的には、加速度センサＡＳからθ、φが通知されるたびにトレース処理が実行される。なお、加速度センサＡＳは、頭部が動いていない場合でも、θ＝０、及びφ＝０を通知するものとする。
また、以下の補正処理では、頭部の動きと同時に頭部と同方向に腕が動いた場合には補正を行わないようにしている。例えば、顔が右に向き、腕も右方向に同時に移動した場合、加速度センサＡＳからは右に向いたことを示すθが通知されるが、ディスプレイ１５の画面内のソフトウェアキーとポインタの相対位置はほとんど変化しない。従って、相対位置がほとんど変化していない場合は、頭部の動きと同時に頭部と同方向に腕が動いたと判定し、補正を行わない。
【０１１８】
さらに、ポインタ補正処理を適用した場合、ユーザが指定している絶対座標における座標と表示するポインタの位置に補正した分のズレが生じる。このズレを示すベクトルをオフセットと表現する。例えば、絶対座標におけるポインタの座標が（ａ、ｂ）であったが、補正により（ｃ、ｄ）に表示することとなったとする。このときベクトル（ｃ−ａ、ｄ−ｂ）がオフセットとなり、補正後は、絶対座標におけるポインタの座標をオフセットでずらすオフセット補正を行う。オフセット補正された座標は、ポインタの表示位置であり、ユーザの指定位置でもある。また、オフセットは、ポインタ補正処理が行われた場合に再びズレが生じるため、ポインタ補正処理が行われるたびに更新される。
【０１１９】
ソフトウェアキー補正処理を適用した場合もオフセット補正が必要である。ソフトウェアキー補正処理におけるオフセットは、絶対座標とソフトウェアキーのズレを示すベクトルであり、具体的には、ソフトウェアキーの原点の絶対座標における座標となる。図３５で説明すると、ベクトルＰ２’がオフセットとなる。表示している座標からＰ２’を引くことにより、ユーザの指定位置を補正する。ソフトウェアキー自体がずれて表示されているため、表示するポインタの座標に対するオフセット補正は不要であるが、指定位置の座標に対するオフセット補正は必要である。
このように、補正処理では、加速度センサＡＳが検出したパン方向の回転角及びチルト方向の回転角に基づき、指定位置の補正量またはソフトウェアキーの補正量を算出することにより、ユーザにより指定された位置を表す指定位置と、ソフトウェアキーとの相対位置を補正する。なお、以下に説明するポインタ補正処理及びソフトウェアキー補正処理は、ユーザがいずれかを選択可能となっており、ユーザに選択された補正処理を実行する。
【０１２０】
図３６は、元座標取得処理におけるステップＳ３０１のトレース処理にポインタ補正処理を適用した処理手順を示したフローチャートである。
図３６において、制御部１１は、加速度センサＡＳから、パン方向の回転角θ、及びチルト方向の回転角φが通知されると（ステップＳ１８０１でＹＥＳ）、絶対座標における現在のポインタの座標を取得し（ステップＳ１８０２）、上述したオフセット補正を行い、オフセット補正後の座標を（ｕ，ｖ）とする（ステップＳ１８０３）。なお、オフセットは、デフォルトでは（０、０）がスマートグラス１０の初期化時にセットされる。
【０１２１】
次いで、制御部１１は、通知されたθまたはφの絶対値が閾値Ｔ１以上か否か判定する（ステップＳ１８０４）。この閾値Ｔ１は、０以上の値であって、補正を行う対象とする回転角を規定するものである。例えば、比較的ゆっくりと回転している場合、すなわちθまたはφの絶対値が小さく、ユーザの入力に支障が出ない程度の回転角の場合は、補正を行わないようにすることができる。閾値Ｔ１は、ユーザにより設定可能としてもよい。
【０１２２】
通知されたθまたはφの絶対値が閾値Ｔ１以上ではない場合、すなわち｜θ｜＜Ｔ１かつ｜φ｜＜Ｔ１の場合には（ステップＳ１８０４でＮＯ）、制御部１１は、補正を行わずに（ｓ、ｔ）に（ｕ、ｖ）を代入（ｓ←ｕ、ｔ←ｖ）して（ステップＳ１８０９）、ステップＳ１８０８に進む。この（ｓ、ｔ）は、ポインタの座標を保持する変数で、デフォルトでは例えばソフトウェアキーの中央の座標がスマートグラス１０の初期化時にセットされる。
通知されたθまたはφの絶対値が閾値Ｔ１以上の場合には（ステップＳ１８０４でＹＥＳ）、制御部１１は、（ｓ、ｔ）と（ｕ、ｖ）との距離が閾値Ｔ２以上か否か判定する（ステップＳ１８０５）。この閾値Ｔ２は、上述した頭部の動きと同時に頭部と同方向に腕が動いた場合に該当するか否かを判定するための閾値である。閾値Ｔ２は、ユーザにより設定可能としてもよい。
【０１２３】
（ｓ、ｔ）と（ｕ、ｖ）との距離が閾値Ｔ２以上ではない場合には（ステップＳ１８０５でＮＯ）、制御部１１は、頭部の動きと同時に頭部と同方向に腕が動いたと判定して、上述したステップＳ１８０９に進む。
一方、（ｓ、ｔ）と（ｕ、ｖ）との距離が閾値Ｔ２以上の場合には（ステップＳ１８０５でＹＥＳ）、制御部１１は、上述したポインタ補正処理を行う（ステップＳ１８０７）。ポインタ補正処理では、式２、式３、式４等を用いて補正する。このポインタ補正処理により、（ｓ、ｔ）が更新される。次いで、制御部１１は、オフセットを更新する（ステップＳ１８０７）。オフセットは、（ｓ、ｔ）とユーザが指定している絶対座標における座標を用いて更新される。
次いで、制御部１１は、座標（ｓ、ｔ）にポインタを表示して（ステップＳ１８０８）、本処理を終了する。この座標（ｓ、ｔ）は、元座標取得処理のステップＳ３０３で記憶される座標である。
【０１２４】
図３７は、元座標取得処理におけるステップＳ３０１のトレース処理にソフトウェアキー補正処理を適用した処理手順を示したフローチャートである。
図３７において、制御部１１は、加速度センサＡＳから、パン方向の回転角θ、及びチルト方向の回転角φが通知されると（ステップＳ１９０１でＹＥＳ）、絶対座標における現在のポインタの座標（ｕ，ｖ）を取得する（ステップＳ１９０２）。
【０１２５】
次いで、制御部１１は、通知されたθまたはφの絶対値が閾値Ｔ１以上か否か判定する（ステップＳ１９０３）。この閾値Ｔ１は、図３６のＴ１と同じ閾値である。
通知されたθまたはφの絶対値が閾値Ｔ１以上ではない場合には（ステップＳ１９０３でＮＯ）、制御部１１は、補正を行わずに（ｓ、ｔ）に（ａ、ｂ）を代入（ａ←ｕ、ｂ←ｖ）して（ステップＳ１９１０）、ステップＳ１９０７に進む。この（ａ、ｂ）は、ポインタの座標を保持する変数で、デフォルトでは例えばソフトウェアキーの中央の座標がスマートグラス１０の初期化時にセットされる。
【０１２６】
通知されたθまたはφの絶対値が閾値Ｔ１以上の場合には（ステップＳ１９０３でＹＥＳ）、制御部１１は、（ａ、ｂ）と（ｕ、ｖ）との距離が閾値Ｔ２以上か否か判定する（ステップＳ１９０４）。この閾値Ｔ２は、図３６のＴ２と同じ閾値である。
（ａ、ｂ）と（ｕ、ｖ）との距離が閾値Ｔ２以上ではない場合には（ステップＳ１９０４でＮＯ）、制御部１１は、頭部の動きと同時に頭部と同方向に腕が動いたと判定して、上述したステップＳ１９０８に進む。
【０１２７】
一方、（ａ、ｂ）と（ｕ、ｖ）との距離が閾値Ｔ２以上の場合には（ステップＳ１９０４でＹＥＳ）、制御部１１は、上述したオフセット補正を行う（ステップＳ１９０５）。このオフセット補正は、現在の座標（ｕ，ｖ）に対して行われる。次いで制御部１１は、上述したソフトウェアキー補正処理を行う（ステップＳ１９０６）。ソフトウェアキー補正処理では、式２、式３、式５等を用いて補正する。そして、制御部１１は、オフセット補正された（ｕ，ｖ）に対して、上述した式６に示されるソフトウェアキーポインタ補正処理を行う（ステップＳ１９０６）。これにより、ユーザが指定している座標（ｓ、ｔ）が更新される。この座標（ｓ、ｔ）は、元座標取得処理のステップＳ３０３で記憶される座標である。次いで、制御部１１は、ソフトウェアキーの補正に伴い、オフセットも変化するため、オフセットを更新する（ステップＳ１９０８）。
次いで、制御部１１は、座標（ｕ、ｖ）にポインタを表示して（ステップＳ１９０９）、本処理を終了する。
【０１２８】
以上説明したポインタ補正処理、及びソフトウェアキー補正処理によれば、加速度センサＡＳにより検出された物理量に基づき、ユーザにより指定された位置を表す指定位置と、前記ソフトウェアキーとの相対位置を補正するので、ユーザによる誤入力を抑制することができる。
さらに、加速度センサＡＳが検出する物理量は、透過型ディスプレイのパン方向の回転角及びチルト方向の回転角であり、頭部が動く可能性のある左右方向及び上下方向の動きに対応できるため、より精度よく補正することが可能となる。
【０１２９】
また、ポインタ補正処理及びソフトウェアキー補正処理により、ユーザはポインタ補正処理及びソフトウェアキー補正処理のいずれかを選択できるので、ユーザの使い勝手や利便性を向上させることができる。
なお、上述した実施形態では、ポインタ補正処理及びソフトウェアキー補正処理のいずれか一方を実行する形態について説明したが、組合せて実行するようにしてもよい。ポインタ補正処理及びソフトウェアキー補正処理を組み合わせて実行する処理は、例えば、頭部の動きが大きい場合に有効である。
なお、本実施形態では、加速度センサを用いて頭部の動きを検出したが、角速度センサを用いてもよい。また本実施形態では、パン方向とチルト方向の２軸で頭部の動きを検出したが、例えば３軸または６軸で頭部の動きを検出するようにしてもよい。
【０１３０】
上述した実施形態におけるスマートグラス１０、１１０、２１０、３１０、４１０の処理をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ（Field Programmable Gate Array）等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。
【０１３１】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【０１３２】
１，１００，２００，３００，４００  認証システム
１０，１１０，２１０，３１０，４１０  スマートグラス
１１，２１，３１，１１１，１２１，２１１，２２１，３１１，３２１，３３１，４１１，４２１  制御部（操作内容取得部、表示部）
１３，１１３，２１３，３１３，４１３  カメラ
１５，１１５，２１５，３１５，４１５  ディスプレイ
１８，２６，３４，１１８，１２６，２１８，２２６，３１８，３２６，３３４，４１８，４２６  通信部
２０，１２０，２２０，３２０，４２０  情報処理装置
２４，１２４，２２４，３２４  座標変換部
２８，１２８，２２８，３２８，４２８  照合部（文字列取得部）
３０，３３０  認証装置、３２，３３２  認証部、ＡＳ  加速度センサ
【図１】
2016081508.tif 000003
【図２】
2016081508.tif 000004
【図３】
2016081508.tif 000005
【図４】
2016081508.tif 000006
【図５】
2016081508.tif 000007
【図６】
2016081508.tif 000008
【図７】
2016081508.tif 000009
【図８】
2016081508.tif 000010
【図９】
2016081508.tif 000011
【図１０】
2016081508.tif 000012
【図１１】
2016081508.tif 000013
【図１２】
2016081508.tif 000014
【図１３】
2016081508.tif 000015
【図１４】
2016081508.tif 000016
【図１５】
2016081508.tif 000017
【図１６】
2016081508.tif 000018
【図１７】
2016081508.tif 000019
【図１８】
2016081508.tif 000020
【図１９】
2016081508.tif 000021
【図２０】
2016081508.tif 000022
【図２１】
2016081508.tif 000023
【図２２】
2016081508.tif 000024
【図２３】
2016081508.tif 000025
【図２４】
2016081508.tif 000026
【図２５】
2016081508.tif 000027
【図２６】
2016081508.tif 000028
【図２７】
2016081508.tif 000029
【図２８】
2016081508.tif 000030
【図２９】
2016081508.tif 000031
【図３０】
2016081508.tif 000032
【図３１】
2016081508.tif 000033
【図３２】
2016081508.tif 000034
【図３３】
2016081508.tif 000035
【図３４】
2016081508.tif 000036
【図３５】
2016081508.tif 000037
【図３６】
2016081508.tif 000038
【図３７】
2016081508.tif 000039