(57)【要約】【課題】眼球の情報を利用して、視線を検出する処理とユーザを識別する処理との双方を、より簡素な構成で実現することが可能な情報処理装置及び情報処理方法を提案する。【解決手段】撮像部により撮像された眼球の画像に基づき視線方向を検出する視線検出部と、前記撮像部により撮像された前記眼球の画像に基づきユーザを識別するユーザ識別部と、を備えた、情報処理装置【選択図】図１
2015090569.tif 000002
【特許請求の範囲】
【請求項１】
撮像部により撮像された眼球の画像に基づき視線方向を検出する視線検出部と、
前記撮像部により撮像された前記眼球の画像に基づきユーザを識別するユーザ識別部と、
を備えた、情報処理装置。
【請求項２】
前記視線検出部は、逐次撮像された前記眼球の画像に基づき前記視線方向を検出し、
前記ユーザ識別部は、逐次撮像された当該画像のうち、少なくとも一の画像に基づきユーザを識別する、請求項１に記載の情報処理装置。
【請求項３】
撮像された前記眼球の画像から瞳孔を検出する瞳孔検出部を備え、
前記視線検出部は、当該画像から検出された前記瞳孔の位置に基づき前記視線方向を検出する、請求項１に記載の情報処理装置。
【請求項４】
前記瞳孔検出部は、撮像された前記眼球の画像から、前記瞳孔と虹彩とを検出し、
前記ユーザ識別部は、当該画像から検出された前記虹彩に基づき前記ユーザを識別する、請求項３に記載の情報処理装置。
【請求項５】
識別された前記ユーザのユーザ情報を取得するユーザ情報取得部と、
表示部の画面中に１以上の入力欄を表示させる表示制御部と、
を備え、
前記表示制御部は、検出された前記視線方向と、前記画面中における前記１以上の入力欄それぞれの位置情報とに基づき、選択された入力欄を特定し、
特定した当該入力欄に、取得された前記ユーザ情報を関連付けて表示させる、請求項１に記載の情報処理装置。
【請求項６】
前記入力欄には、入力可能な情報の種別が関連付けられており、
前記表示制御部は、取得された前記ユーザ情報のうち、選択された前記入力欄に関連付けられた前記種別に対応する情報を、当該入力欄に関連付けて表示させる、請求項５に記載の情報処理装置。
【請求項７】
前記表示制御部は、前記視線方向が示す前記画面中の領域と、当該画面中における前記１以上の入力欄それぞれの位置情報とに基づき、選択された入力欄を特定する、請求項５に記載の情報処理装置。
【請求項８】
前記表示制御部は、前記ユーザからの前記入力欄の選択に係る指示を受けたときに、前記視線方向が示す前記入力欄を特定する、請求項５に記載の情報処理装置。
【請求項９】
前記表示部を備えた、請求項５に記載の情報処理装置。
【請求項１０】
前記表示部が、前記眼球の前方に保持されるように、当該表示部を前記ユーザの頭部に保持する保持部を備えた、請求項９に記載の情報処理装置。
【請求項１１】
前記表示部は、透過型の表示デバイスである、請求項９に記載の情報処理装置。
【請求項１２】
前記表示制御部は、
前記入力欄を、第１の表示部の画面中に表示させ、
前記ユーザ情報を、前記第１の表示部とは異なる第２の表示部の画面中の、前記第１の表示部の画面中における前記入力欄の表示位置に対応する位置に、当該入力欄に重畳するように表示させる、請求項５に記載の情報処理装置。
【請求項１３】
識別された前記ユーザに関連付けられた、アプリケーションの設定を変更するための設定情報を取得する設定情報取得部と、
取得した制御情報に基づき、前記アプリケーションの設定を変更するアプリケーション制御部と、
を備えた、請求項１に記載の情報処理装置。
【請求項１４】
識別された前記ユーザを認証するための認証情報を取得する認証情報取得部と、
前記視線方向の検出結果と、取得した前記認証情報とに基づき、前記ユーザを認証する認証処理部と、
を備えた、請求項１に記載の情報処理装置。
【請求項１５】
前記撮像部を備えた、請求項１に記載の情報処理装置。
【請求項１６】
撮像部により撮像された眼球の画像に基づき、プロセッサに視線方向を検出させることと、
前記撮像部により撮像された前記眼球の画像に基づき、プロセッサにユーザを識別させることと、
を含む、情報処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置及び情報処理方法に関する。
【背景技術】
【０００２】
近年では、コンピュータの操作を行う方法として、キーボードやマウスを使用した操作方法以外にも、音声認識技術を利用した操作方法や、装置や操作デバイスの向きや傾きを変更することで操作する方法等、多様な操作方法が提案されている。このような操作方法の中には、生体情報を利用した操作方法として、ユーザの視線を入力として利用する技術（以降では、「視線入力」と呼ぶ場合がある）が提案されている。例えば、特許文献１には、視線入力に係る技術が開示されている。
【０００３】
また、近年では、ユーザを認識（認証）する際に、ユーザの生体情報を利用する技術が提案されている。このように、生体情報を利用してユーザを認識する技術として、例えば、虹彩のパターンに基づきユーザを認識する虹彩認識技術のように、ユーザの目（眼球）の画像を利用して当該ユーザを認識する技術が提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−５４１０１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
一方で、ユーザの眼球の情報を利用して、前述したユーザの視線を入力として利用する技術と、ユーザを認識する技術の双方を実現可能な技術が望まれている。
【０００６】
そこで、本開示では、眼球の情報を利用して、視線を検出する処理とユーザを識別する処理との双方を、より簡素な構成で実現することが可能な、新規かつ改良された情報処理装置及び情報処理方法を提案する。
【課題を解決するための手段】
【０００７】
本開示によれば、撮像部により撮像された眼球の画像に基づき視線方向を検出する視線検出部と、前記撮像部により撮像された前記眼球の画像に基づきユーザを識別するユーザ識別部と、を備えた、情報処理装置が提供される。
【０００８】
また、本開示によれば、撮像部により撮像された眼球の画像に基づき、プロセッサに視線方向を検出させることと、前記撮像部により撮像された前記眼球の画像に基づき、プロセッサにユーザを識別させることと、を含む、情報処理方法が提供される。
【発明の効果】
【０００９】
以上説明したように本開示によれば、眼球の情報を利用して、視線を検出する処理とユーザを識別する処理との双方を、より簡素な構成で実現することが可能な情報処理装置及び情報処理方法を提案が提案される。
【００１０】
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【００１１】
【図１】本開示の第１の実施形態に係る情報処理装置の外観の一例を示した図である。
【図２】同実施形態に係る情報処理装置のハードウェア構成の一例を示した図である。
【図３】同実施形態に係る情報処理装置の機能構成の一例を示したブロック図である。
【図４】本開示の第２の実施形態に係る情報処理装置の概要について説明するための図である。
【図５】同実施形態に係る情報処理装置の動作について説明するための図である。
【図６】同実施形態に係る情報処理装置の機能構成の一例を示したブロック図である。
【図７】同実施形態に係るユーザ情報の一例を示した図である。
【図８】同実施形態に係る情報処理装置の一連の処理の流れの一例を示したフローチャートである。
【図９】実施例１に係る情報処理装置の概要について説明するための図である。
【図１０】実施例１に係るユーザ情報の一例を示した図である。
【図１１】実施例１に係る情報処理装置における情報の入力方法の一例について説明するための図である。
【図１２】実施例１に係る情報処理装置における情報の入力方法の一例について説明するための図である。
【図１３】実施例１に係る情報処理装置における情報の入力方法の一例について説明するための図である。
【図１４】実施例２に係る情報処理装置の概要について説明するための図である。
【図１５】実施例３に係る情報処理装置の概要について説明するための図である。
【図１６】実施例４に係る情報処理装置の概要について説明するための図である。
【図１７】本開示の第３の実施形態に係る情報処理システムの概要について説明するための図である。
【図１８】同実施形態に係る情報処理システムの機能構成の一例を示したブロック図である。
【図１９】同実施形態に係る情報処理システムにおける情報の表示方法の一例について説明するための図である。
【発明を実施するための形態】
【００１２】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１３】
なお、説明は以下の順序で行うものとする。
１．第１の実施形態
１．１．情報処理装置の概要
１．２．情報処理装置のハードウェア構成
１．３．情報処理装置の機能構成
２．第２の実施形態
２．１．情報処理装置の概要
２．２．情報処理装置の機能構成
２．３．処理の流れ
３．実施例
３．１．実施例１：プロフィールの入力画面への適用例
３．２．実施例２：ブラウザへの適用例
３．３．実施例３：アプリケーションの起動メニューへの適用例
３．４．実施例４：ユーザ認証への適用例
４．第３の実施形態
４．１．情報処理装置の概要
４．２．情報処理装置の機能構成
５．まとめ
【００１４】
＜１．第１の実施形態＞
［１．１．情報処理装置の概要］
まず、図１を参照して、本開示の第１の実施形態に係る情報処理装置１の概略構成について説明する。図１は、本開示の第１の実施形態に係る情報処理装置１の外観の一例を示した図である。
【００１５】
図１に示すように、情報処理装置１は、例えば、ユーザの頭部に装着することで、当該ユーザの眼前（例えば、眼球ｕ１の前方近傍）に、表示部３０が保持されるように構成された眼鏡型の表示装置（例えば、ディスプレイ）または情報処理装置として構成され得る。
【００１６】
情報処理装置１は、例えば、レンズ２２ａ及び２２ｂと、保持部２０と、表示部３０と、情報処理ユニット１０と、撮像部１２と、ミラー１４とを含む。図１において、レンズ２２ｂは、左眼の眼前に保持される左眼用のレンズに相当し、レンズ２２ａは、右眼の眼前に保持される右眼用のレンズに相当する。なお、本実施形態に係る情報処理装置１において、レンズ２２ａ及び２２ｂは、必ずしもユーザの視力を矯正する機能、即ち、光を屈折させて、発散または収束させる機能を有している必要はない。
【００１７】
保持部２０は、例えば、眼鏡のフレームに相当し、レンズ２２ａ及び２２ｂがユーザの眼前に保持されるように、情報処理装置１をユーザの頭部に保持する。
【００１８】
また、レンズ２２ａ及び２２ｂの少なくとも一方における、少なくとも一部の領域は、情報やコンテンツ（例えば、表示情報ｖ１）を表示するための表示部３０が形成されていてもよい。表示部３０には、例えば、液晶パネルが用いられ、透過率を制御することで、スルー状態、即ち、透明または半透明の状態に制御可能に構成されている。
【００１９】
なお、前述した表示部３０の構成はあくまで一例であり、レンズ２２ａ及び２２ｂの少なくとも一方における、少なくとも一部の領域を、情報を表示するための表示部３０として実現できれば、その構成は特に限定されない。例えば、レンズ２２ａの一部の領域を投影面とする画像投影デバイスを設けることで、当該一部の領域を表示部３０としてもよい。また、必ずしもレンズ２２ａ及び２２ｂの双方を設ける必要はなく、レンズ２２ａ及び２２ｂのいずれか片方のみを設け、当該片方を表示部３０として利用してもよい。なお、レンズ２２ａ及び２２ｂのいずれか片方のみを設ける場合には、保持部２０の構成は、図１に示す例に限らず、適宜変更してもよいことは言うまでもない。
【００２０】
また、レンズ２２ａ及び２２ｂの少なくとも一方における、少なくとも一部の領域を表示部３０として動作させるための制御ユニットは、例えば、保持部２０のいずれかの位置に設けてもよいし、後述する情報処理ユニット１０の一部の機能として実現してもよい。
【００２１】
また、上記では、レンズ２２ａ及び２２ｂのうち、少なくとも表示部３０が設けられる一方を透過型のディスプレイとして実現する例について説明したが、必ずしも上述のように、透過型ディスプレイにより実現する構成に限定されるものではない。例えば、レンズ２２ａ及び２２ｂに相当する部分の全面をディスプレイとして構成し、別途視線方向を撮像する撮像部を設け、当該撮像部で撮像された画像をレンズ２２ａ及び２２ｂに相当する当該ディスプレイに表示させる構成としてもよい。なお、レンズ２２ａ及び２２ｂのうち、少なくとも表示部３０が設けられる一方を透過型のディスプレイとして実現する場合には、例えば、レンズ２２ａ及び２２ｂを、樹脂やガラスのような透明材料により形成してもよい点は言うまでもない。
【００２２】
また、本実施形態に係る情報処理装置１は、ユーザの眼球ｕ１の画像を撮像し、撮像された眼球の画像に基づき、眼球ｕ１の視線の起点と当該視線の方向（以降では、これらを総じて「視線方向ｒ２０」と呼ぶ場合がある）の検出と、当該ユーザの識別を行う。具体的には、撮像部１２が、眼球ｕ１の画像を撮像し、情報処理ユニット１０が、撮像部１２により撮像された眼球ｕ１の画像に基づき、視線方向ｒ２０の検出と、ユーザの識別とを行う。
【００２３】
撮像部１２及び情報処理ユニット１０は、例えば、保持部２０の一部に保持される。具体的な一例として、図１に示す例では、撮像部１２及び情報処理ユニット１０は、眼鏡のテンプル（ツル）に相当する部分に保持されている。
【００２４】
図１に示す構成の場合には、撮像部１２は、光路ｒ１０で示すように、ミラー１４で反射された眼球ｕ１の画像（静止画像または動画像）を撮像し、撮像した眼球ｕ１の画像を情報処理ユニット１０に出力する。そして、情報処理ユニット１０は、撮像部１２から取得した眼球ｕ１の画像を解析することで、視線方向ｒ２０の検出と、ユーザの識別とを行う。
【００２５】
眼球ｕ１の画像に基づいてユーザを識別する方法の一例として、眼球ｕ１中の虹彩のパターンに基づきユーザを識別する虹彩認識の技術が挙げられる。具体的には、虹彩認識に基づきユーザを識別する場合には、情報処理ユニット１０は、眼球ｕ１の画像中から瞳孔の近傍（周囲）に位置する虹彩を抽出し、抽出された虹彩のパターンを、あらかじめ記憶されたパターンと比較することでユーザを識別する。
【００２６】
また、情報処理ユニット１０は、眼球ｕ１の画像中から瞳孔を抽出し、抽出された瞳孔の位置に基づき、視線方向ｒ２０を検出する。
【００２７】
即ち、情報処理ユニット１０は、眼球ｕ１の画像から瞳孔及び虹彩を抽出することで、視線方向ｒ２０の検出のための瞳孔の抽出に係る処理と、ユーザを識別するための虹彩の抽出に係る処理とを共通化することが可能となる。
【００２８】
ここで、瞳孔の抽出に係る処理や、虹彩の抽出に係る処理は、例えば、虹彩認識における一連の処理のうち他の処理（具体的な一例として、虹彩のパターンの抽出や当該パターンの比較に係る処理）に比べて処理負荷が比較的高い場合が多い。そのため、本実施形態に係る情報処理装置１は、少なくとも瞳孔の抽出に係る処理を共通化することにより、それぞれを別々に実行する場合に比べて処理負荷を低減し、ひいては、情報処理ユニット１０の構成を簡素化することが可能となる。なお、情報処理装置１は、視線方向ｒ２０の検出方法によっては、虹彩の抽出に係る処理をあわせて共通化してもよい。
【００２９】
なお、図１に示す構成はあくまで一例であり、眼球ｕ１の画像を撮像し、撮像された眼球ｕ１の画像を解析できれば、撮像部１２及び情報処理ユニット１０の位置は特に限定されない。そのため、例えば、撮像部１２が保持される位置によっては、必ずしもミラー１４を設ける必要はない。また、情報処理ユニット１０を、情報処理装置１とは別の外部装置に設けてもよい。情報処理ユニット１０を、情報処理装置１とは別の外部装置に設ける場合の例については、別途後述する。
【００３０】
また、上記では、ユーザを識別する方法の一例として虹彩認証の例を説明したが、眼球ｕ１の画像に基づきユーザが識別できれば、その方法は、必ずしも虹彩認証には限定されない。例えば、情報処理ユニット１０は、眼球ｕ１の画像から特定される網膜パターンに基づきユーザを識別してもよい。
【００３１】
また、撮像部１２により撮像された眼球ｕ１の画像に基づき、視線方向ｒ２０の検出とユーザの識別とを行えれば、撮像部１２の構成は特に限定されない。そのため、例えば、視線方向ｒ２０を特定するための処理ロジックと、ユーザを識別するための処理ロジックとに応じて、撮像部１２の構成や処理の内容を適宜変更してもよい。
【００３２】
例えば、虹彩認識に基づきユーザを識別する場合には、撮像部１２として、視線方向ｒ２０の検出に係る処理とも相性の良い、赤外線（ＩＲ：Ｉｎｆｒａｒｅｄ）カメラを適用することが可能である。このように、本実施形態に係る情報処理装置１では、視線方向ｒ２０の検出と、ユーザの識別とに、共通の撮像部を適用することが可能である。また、網膜パターンに基づきユーザを識別する場合には、撮像部１２は、画像の撮像時に、網膜上の血管を識別しやすくするために、目に見えない低エネルギーの赤外線を照射してもよい。
【００３３】
［１．２．情報処理装置のハードウェア構成］
次に、図２を参照して、本実施形態に係る情報処理装置１のハードウェア構成の一例について説明する。図２は、本実施形態に係る情報処理装置のハードウェア構成の一例を示した図である。
【００３４】
図２に示すように、本実施形態に係る情報処理装置１は、プロセッサ９０１と、メモリ９０３と、ストレージ９０５と、撮像デバイス９０７と、表示デバイス９０９と、バス９１５とを含む。また、情報処理装置１は、通信デバイス９１１と、操作デバイス９１３とを含んでもよい。
【００３５】
プロセッサ９０１は、例えばＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）又はＳｏＣ（Ｓｙｓｔｅｍ  ｏｎ  Ｃｈｉｐ）であってよく、情報処理装置１の様々な処理を実行する。プロセッサ９０１は、例えば、各種演算処理を実行するための電子回路により構成することが可能である。メモリ９０３は、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）及びＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）を含み、プロセッサ９０１により実行されるプログラム及びデータを記憶する。ストレージ９０５は、半導体メモリ又はハードディスクなどの記憶媒体を含み得る。
【００３６】
撮像デバイス９０７は、プロセッサ９０１の制御に従い、レンズを介して静止画像または動画像を撮像する機能を有する。撮像デバイス９０７は、撮像した画像をメモリ９０３またはストレージ９０５に記憶させてもよい。
【００３７】
表示デバイス９０９は、出力装置の一例であり、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）装置、有機ＥＬ（ＯＬＥＤ：Ｏｒｇａｎｉｃ  Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）ディスプレイ装置などの表示装置であってよい。表示デバイス９０９は、ユーザに対して画面を表示することにより情報を提供することができる。
【００３８】
なお、図１に示すように、情報処理装置１を、眼鏡型の表示装置として構成する場合には、表示デバイス９０９として、透過型のディスプレイを適用してもよい。
【００３９】
通信デバイス９１１は、情報処理装置１が備える通信手段であり、ネットワークを介して外部装置と通信する。通信デバイス９１１は、無線通信用のインタフェースであり、通信アンテナ、ＲＦ（Ｒａｄｉｏ  Ｆｒｅｑｕｅｎｃｙ）回路、ベースバンドプロセッサなどを含んでもよい。
【００４０】
通信デバイス９１１は、外部装置から受信した信号に各種の信号処理を行う機能を有し、受信したアナログ信号から生成したデジタル信号をプロセッサ９０１に供給することが可能である。
【００４１】
操作デバイス９１３は、ユーザが所望の操作を行うための入力信号を生成する機能を有する。操作デバイス９１３は、例えばボタン及びスイッチなどユーザが情報を入力するための入力部と、ユーザによる入力に基づいて入力信号を生成し、プロセッサ９０１に供給する入力制御回路などから構成されてよい。
【００４２】
バス９１５は、プロセッサ９０１、メモリ９０３、ストレージ９０５、撮像デバイス９０７、表示デバイス９０９、通信デバイス９１１、及び操作デバイス９１３を相互に接続する。バス９１５は、複数の種類のバスを含んでもよい。
【００４３】
［１．３．情報処理装置の機能構成］
次に、図３を参照して、本実施形態に係る情報処理装置１の機能構成について、特に情報処理ユニット１０の構成に着目して説明する。図３は、本実施形態に係る情報処理装置の機能構成の一例を示したブロック図である。図３に示す例では、図１に示す情報処理装置１のうち、眼球ｕ１の画像を撮像し、撮像された眼球ｕ１の画像に基づき、視線方向ｒ２０と、ユーザの識別とを行う構成のみに着目して示している。なお、図１に示す情報処理装置１のうち、表示部３０に情報を表示させる場合の構成の一例については、第２の実施形態として別途後述する。
【００４４】
図３に示すように、情報処理ユニット１０は、画像取得部１１０と、画像解析部１２０と、視線検出部１３０と、ユーザ識別部１４０と、ユーザ情報記憶部１５０と、制御部１００とを含む。
【００４５】
（画像取得部１１０）
画像取得部１１０は、撮像部１２により撮像された眼球ｕ１の画像を当該撮像部１２から取得する。画像取得部１１０は、取得した画像を画像解析部１２０に提供する。
【００４６】
なお、画像取得部１１０が眼球ｕ１の画像を取得するタイミング（換言すると、撮像部１２が眼球ｕ１の画像を撮像するタイミング）は、視線方向ｒ２０を検出するタイミングと、ユーザを識別するタイミングとに応じて、あらかじめ決定しておく。
【００４７】
具体的な一例として、画像取得部１１０は、視線方向ｒ２０の検出をリアルタイムで行う場合には、所定のタイミングごと（例えば、視線方向ｒ２０の検出間隔ごと）に、撮像部１２で撮像された眼球ｕ１の画像を逐次取得するとよい。また、画像取得部１１０は、視線方向ｒ２０の検出の開始及び終了を、ユーザ操作に基づき制御できるようにしてもよい。
【００４８】
また、他の一例として、画像取得部１１０は、所定の処理が実行された場合に、当該処理の実行に連動して、撮像部１２で撮像された眼球ｕ１の画像を取得してもよい。具体的な一例として、画像取得部１１０は、情報処理装置１が起動した場合や、ユーザが情報処理装置１を頭部に装着した場合に、関連する処理に連動して、ユーザを識別するための眼球ｕ１の画像を取得してもよい。
【００４９】
なお、前述の説明は、あくまで画像取得部１１０が眼球ｕ１の画像を取得するタイミングの一例を示すものであり、取得された画像の用途を限定するものではない。例えば、あるタイミングで取得された画像は、視線方向ｒ２０の検出に使用されてもよいし、ユーザの識別に使用されてもよい。また、所定のタイミングごとに逐次取得された画像のうち、いずれかが、ユーザの識別に使用されてもよい。また、画像取得部１１０が画像を取得するタイミングに応じて（例えば、同期して）、撮像部１２が画像を取得することは言うまでもない。
【００５０】
（画像解析部１２０）
画像解析部１２０は、撮像部１２で撮像された眼球ｕ１の画像を、画像取得部１１０から取得する。画像解析部１２０は、取得した画像に対して解析処理を施すことで、視線方向ｒ２０の検出と、ユーザの識別とに必要な情報を、当該画像から抽出する。
【００５１】
例えば、ユーザを識別する方法として虹彩認識技術を利用する場合には、画像解析部１２０は、取得した眼球ｕ１の画像中から、瞳孔及び虹彩を示す領域（以降では、単に「瞳孔及び虹彩の領域」と呼ぶ場合がある）を抽出する。なお、画像解析部１２０のうち、瞳孔の検出に係る構成が、「瞳孔検出部」の一例に相当する。
【００５２】
このとき、画像解析部１２０は、例えば、取得した画像中から、瞳孔及び虹彩を示す画素値を示す画素により形成される領域を、瞳孔及び虹彩の領域として抽出してもよい。例えば、白目部分を示す画素の画素値は白側（明度が高い側）に位置し、瞳孔及び虹彩を示す画素の画素値は、白目部分を示す画素に比べて黒側（明度が低い側）に位置する。そのため、画像解析部１２０は、例えば、各画素の画素値を閾値と比較することで、瞳孔及び虹彩の領域を抽出してもよい。なお、本説明において「白目部分」とは、眼球の強膜のうち、まぶたを開いたときに外部に露出している領域中の、瞳孔及び虹彩以外の領域を示すものとする。
【００５３】
また、他の一例として、白目部分を示す領域と、瞳孔及び虹彩を示す領域との間では、画素値が急激に変化する。そのため、画像解析部１２０は、例えば、画素値の変化量が閾値以上となる部分を、白目部分を示す領域と、瞳孔及び虹彩を示す領域との境界として認識し、当該境界により囲われる領域を、瞳孔及び虹彩を示す領域として抽出してもよい。
【００５４】
また、画像解析部１２０は、瞳孔を示す領域と、虹彩を示す領域とを別々の領域として抽出してもよいことは言うまでもない。この場合には、画像解析部１２０は、例えば、瞳孔を示す画素の画素値と、虹彩を示す画素の画素値との違いにより、瞳孔を示す領域と、虹彩を示す領域とを識別して抽出してもよい。
【００５５】
なお、上記は、虹彩認識技術に基づきユーザを識別する場合における画像解析部１２０の動作の一例であり、他の技術によりユーザを識別する場合には、画像解析部１２０の動作の内容を適宜変更してもよいことは言うまでもない。例えば、網膜パターンに基づきユーザを識別する場合には、画像解析部１２０は、視線方向ｒ２０の検出に使用する瞳孔の領域と、ユーザの識別に使用する網膜上の血管の領域とを抽出すればよい。
【００５６】
また、画像解析部１２０は、視線方向ｒ２０の検出と、ユーザの識別とに必要な情報の抽出に係る精度（例えば、検出精度）を向上させるために、取得した眼球ｕ１の画像に対して、明度やコントラストの調整に係る処理を施してもよい
【００５７】
なお、以降では、情報処理ユニット１０は、虹彩認識技術を利用してユーザを識別するものとして、各構成の動作について説明する。
【００５８】
画像解析部１２０は、抽出した瞳孔及び虹彩の領域の位置及び大きさを示す情報（以降では、「瞳孔及び虹彩の領域を示す情報」と呼ぶ場合がある）と、取得した眼球ｕ１の画像とを、視線検出部１３０とユーザ識別部１４０とのそれぞれに出力する。
【００５９】
（視線検出部１３０）
視線検出部１３０は、画像解析部１２０から、眼球ｕ１の画像と、瞳孔及び虹彩の領域を示す情報とを取得する。
【００６０】
視線検出部１３０は、取得した瞳孔及び虹彩の領域を示す情報に基づき、眼球ｕ１の画像中における、瞳孔の位置を特定し、特定した瞳孔の位置に基づき視線方向ｒ２０を検出する。
【００６１】
例えば、視線検出部１３０は、取得した画像中における、瞳孔の領域の位置に基づき、視線方向ｒ２０を検出してもよい。この場合には、視線検出部１３０は、例えば、瞳孔の領域中の位置を、眼球ｕ１の視線の起点として特定すればよい。また、視線検出部１３０は、視線方向ｒ２０が正面を向いている場合における瞳孔の領域の位置を基準位置として、当該基準位置に対する瞳孔の領域の位置と、当該基準位置と瞳孔の領域との間の距離とに基づき、視線が向いている方向を特定する。視線検出部１３０は、以上のようにして特定した、視線の起点と視線が向いている方向とに基づき、視線方向ｒ２０を特定（検出）しもよい。
【００６２】
なお、基準位置や、当該基準位置と瞳孔の領域との位置関係に応じてどれだけ視線方向ｒ２０が変化するかは、例えば、実験等によりあらかじめ調べておき、これらの情報を、視線検出部１３０が読み出し可能な領域に記憶させておくことで実現してもよい。また、他の一例として、基準位置や、当該基準位置と瞳孔の領域との位置関係に応じた視線方向ｒ２０の変化量を取得するモード（例えば、キャリブレーションを行うモード）を設け、視線検出部１３０は、当該モード中に、当該基準位置や、当該視線方向ｒ２０の変化量を示す情報を取得してもよい。
【００６３】
また、他の一例として、視線検出部１３０は、白目部分を示す領域に対する、瞳孔の領域の相対位置に基づき、視線方向ｒ２０を検出してもよい。例えば、視線検出部１３０は、白目部分を示す領域に対して、瞳孔の領域が、どちらの方向にどれだけ偏っているかに基づき、視線が向いている方向を特定してもよい。また、視線検出部１３０は、前述の方法と同様に、瞳孔の領域中の位置を、眼球ｕ１の視線の起点として特定すればよい。そして、視線検出部１３０は、以上のようにして特定した、視線の起点と視線が向いている方向とに基づき、視線方向ｒ２０を特定（検出）すればよい。
【００６４】
なお、視線検出部１３０は、瞳孔及び虹彩の領域のうち、瞳孔の領域のみを視線方向ｒ２０の検出に用いる場合には、画像解析部１２０から、眼球ｕ１の画像と、当該瞳孔の領域とを取得する構成としてもよいことは言うまでもない。
【００６５】
視線検出部１３０は、検出した視線方向ｒ２０を示す情報（例えば、視線の起点を示す情報、及び視線の方向を示す情報）を制御部１００に出力する。
【００６６】
（ユーザ識別部１４０）
ユーザ識別部１４０は、撮像部１２により撮像された眼球ｕ１の画像に基づき、ユーザを識別するための構成である。ここでは、ユーザ識別部１４０は、眼球ｕ１の画像を入力として、虹彩認識技術に基づき、ユーザを識別する場合を例に説明する。
【００６７】
図３に示すように、ユーザ識別部１４０は、特徴量抽出部１４２と、判定部１４４とを含む。
【００６８】
ユーザ識別部１４０は、眼球ｕ１の画像と、瞳孔及び虹彩の領域を示す情報とを、画像解析部１２０から取得する。ユーザ識別部１４０は、取得した眼球ｕ１の画像と、瞳孔及び虹彩の領域を示す情報とを、特徴量抽出部１４２に出力し、当該特徴量抽出部１４２に、当該眼球ｕ１の画像に基づき虹彩パターンの特徴量の抽出を指示する。
【００６９】
（特徴量抽出部１４２）
特徴量抽出部１４２は、眼球ｕ１の画像と、瞳孔及び虹彩の領域を示す情報とを、ユーザ識別部１４０から取得し、虹彩パターンの特徴量の抽出に係る指示を、当該ユーザ識別部１４０から受ける。
【００７０】
特徴量抽出部１４２は、瞳孔及び虹彩の領域を示す情報に基づき、眼球ｕ１の画像から虹彩に相当する領域を抽出し、抽出した領域中から虹彩パターンを検出する。そして、特徴量抽出部１４２は、検出した虹彩パターンから、虹彩認識を行う上で必要な虹彩パターンの特徴量（例えば、虹彩の紋様の特徴点に基づく特徴量）を抽出する。
【００７１】
特徴量抽出部１４２は、眼球ｕ１の画像から抽出した虹彩パターンの特徴量を示す情報を、判定部１４４に出力する。
【００７２】
（判定部１４４）
判定部１４４は、眼球ｕ１の画像から抽出された虹彩パターンの特徴量を示す情報を、特徴量抽出部１４２から取得する。判定部１４４は、取得した虹彩パターンの特徴量を、ユーザごとにあらかじめ取得された虹彩パターンの特徴量と比較することで、取得した虹彩パターンの特徴量に対応するユーザを識別する。
【００７３】
なお、ユーザごとにあらかじめ取得された虹彩パターンの特徴量を示す情報は、例えば、ユーザ情報記憶部１５０に記憶させておくとよい。ユーザ情報記憶部１５０は、ユーザごとの情報を、当該ユーザを識別するための識別情報に関連付けて、あらかじめ記憶している。
【００７４】
例えば、ユーザ情報記憶部１５０は、ユーザごとにあらかじめ取得された虹彩パターンの特徴量を示す情報を、当該ユーザを識別するための識別情報に関連付けて記憶してもよい。このような構成の場合には、判定部１４４は、取得した虹彩パターンの特徴量に一致する、虹彩パターンの特徴量を示す情報を、ユーザ情報記憶部１５０中から特定し、特定した情報に関連付けられた識別情報を基に、ユーザを識別すればよい。
【００７５】
なお、ユーザ情報記憶部１５０は、新たに情報を記憶できるようにしてもよい。具体的な一例として、虹彩パターンの特徴量を示す情報を登録するモードを設け、ユーザ情報記憶部１５０は、当該モード中に取得された虹彩パターン特徴量を示す情報を、当該モード中に指定されたユーザを示す識別情報と関連付けて記憶してもよい。
【００７６】
判定部１４４は、識別したユーザを示す情報（例えば、当該ユーザを識別するための識別情報）を、制御部１００に出力する。
【００７７】
なお、ユーザ識別部１４０が、ユーザを識別するタイミングや、当該ユーザを識別するための情報（即ち、眼球ｕ１の画像、及び瞳孔及び虹彩の領域を示す情報）を取得するタイミングは、後述する制御部１００が、ユーザの識別結果を使用する前のタイミングであれば特に限定はされない。
【００７８】
例えば、ユーザ識別部１４０は、ボタンのような操作部（図示しない）を介したユーザの指示に基づき、ユーザの識別に係る処理を実行してもよい。また、他の一例として、ユーザ識別部１４０は、情報処理装置１が起動した場合や、ユーザが情報処理装置１を頭部に装着した場合のように、あらかじめ関連付けられた所定の処理に連動して、ユーザの識別に係る処理を実行してもよい。
【００７９】
また、ユーザ識別部１４０は、ユーザの識別に係る処理を実行する場合に、画像解析部１２０から、眼球ｕ１の画像と、瞳孔及び虹彩の領域を示す情報とを取得してもよい。また、他の一例として、ユーザ識別部１４０は、眼球ｕ１の画像と、瞳孔及び虹彩の領域を示す情報とを画像解析部１２０から逐次取得し、ユーザを識別する処理を実行する場合に、逐次取得された当該画像及び情報のうち、最新の画像及び情報を使用してもよい。
【００８０】
（制御部１００）
制御部１００は、ユーザ識別部１４０の判定部１４４から、撮像部１２で撮像された眼球ｕ１の画像に基づき識別されたユーザを示す情報を取得する。また、制御部１００は、視線検出部１３０から、検出された視線方向ｒ２０を示す情報を取得する。
【００８１】
制御部１００は、取得したユーザを示す情報と、視線方向ｒ２０を示す情報とに基づき、情報処理装置１の各構成の動作を制御する。
【００８２】
例えば、制御部１００は、取得したユーザを示す情報に基づき、当該ユーザの設定（例えば、ＵＩ：Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅの設定）を読み出して反映し、反映された設定に基づき、検出された視線方向ｒ２０をユーザ入力として各種制御を実行してもよい。具体的な一例として、制御部１００は、図１に示す表示部３０に表示させる情報を、取得したユーザを示す情報に基づき読み出したユーザの設定に基づき切り替えてもよい。なお、この場合には、ユーザごとの設定に関する情報を、例えば、ユーザ情報記憶部１５０に記憶させておいてもよい。
【００８３】
また、他の一例として、制御部１００は、識別されたユーザに関連付けられた情報と、検出された視線方向ｒ２０に基づくユーザ入力とを入力情報として、情報処理装置１の各構成の動作を制御するための判定（例えば、認証）に係る処理を実行してもよい。なお、制御部１００の具体的な動作の一例については、本実施形態に係る情報処理装置１の適用例（実施例）とあわせて、「２．第２の実施形態」において後述する。
【００８４】
以上、情報処理装置１の機能構成について説明した。なお、上述した、撮像部１２、表示部３０、及びユーザ情報記憶部１５０は、図２に示した、撮像デバイス９０７、表示デバイス９０９、及びストレージ９０５によりそれぞれ実現され得る。また、情報処理ユニット１０中の画像取得部１１０、画像解析部１２０、視線検出部１３０、ユーザ識別部１４０、及び制御部１００は、例えば、図２に示した、プロセッサ９０１により実現され得る。即ち、コンピュータを、画像取得部１１０、画像解析部１２０、視線検出部１３０、ユーザ識別部１４０、及び制御部１００として機能させるためのプログラムがストレージ９０５またはメモリ９０３に保持され、プロセッサ９０１が当該プログラムを実行し得る。
【００８５】
なお、上述した情報処理装置１の動作が実現されれば、図３に示した各構成の位置は特に限定されない。具体的な一例として、撮像部１２と、情報処理ユニット１０とのそれぞれを、無線または有線のネットワークを介して接続された互いに異なる情報処理装置に設けてもよい。この場合には、眼鏡型の表示装置として構成される情報処理装置側に撮像部１２を設け、当該情報処理装置と通信可能な他の情報処理装置（例えば、スマートフォンのような情報処理端末）に情報処理ユニット１０を設けてもよい。もちろん、撮像部１２を外付けのユニットとしてもよいことは言うまでもない。
【００８６】
以上説明したように、本実施形態に係る情報処理装置１は、撮像部１２で撮像された眼球ｕ１の画像を解析し、当該解析の結果に基づき、視線方向ｒ２０の検出と、ユーザの識別とを行う。このように、本実施形態に係る情報処理装置１では、視線方向ｒ２０の検出と、ユーザの識別とのそれぞれを行うための画像を、共通の撮像部１２（例えば、赤外線カメラ）を使用することが可能である。
【００８７】
また、本実施形態に係る情報処理装置１では、視線方向ｒ２０の検出と、ユーザの識別とのそれぞれを行うための画像の解析に係る処理を共通化している。そのため、本実施形態に係る情報処理装置１は、視線方向ｒ２０の検出と、ユーザの識別とをそれぞれ別々に実行する場合に比べて処理負荷を軽減することが可能となる。以上のような構成により、本実施形態に係る情報処理装置１は、視線方向ｒ２０の検出と、ユーザの識別との双方を、より簡素な構成で実現することが可能となる。
【００８８】
なお、上記では、情報処理装置１を、眼鏡型の表示装置として構成する場合の例について説明したが、撮像部１２で撮像された眼球ｕ１の画像に基づきユーザの識別と視線方向ｒ２０の検出が行われれば、情報処理装置１の構成は特に限定されない。例えば、眼鏡型の表示装置に限らず、他の構成により実現される頭部装着型の表示装置（即ち、ＨＭＤ（Ｈｅａｄ  Ｍｏｕｎｔ  Ｄｉｓｐｌａｙ））により実現してもよい。また、この場合には、表示部３０が形成される部分に、必ずしも透過型のディスプレイを適用する必要はない。また、透過型のディスプレイを適用しない場合には、必ずしもユーザが、表示部３０により遮蔽される像（即ち、表示装置を装着しない場合にユーザが視認できる像）を視認できるように動作させる（例えば、視線方向の画像を撮像し、撮像された画像を表示させる）必要もない。また、他の一例として、ＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）やスマートフォンのような端末に撮像部１２を設け、当該撮像部１２により撮像された眼球ｕ１の画像に基づき、当該端末がユーザの識別と視線方向ｒ２０の検出を行う構成としてもよい。
【００８９】
＜２．第２の実施形態＞
［２．１．情報処理装置の概要］
次に、本開示の第２の実施形態として、本開示の実施形態に係る情報処理装置１を、画面上に表示された入力欄へ情報を入力する際の入力支援に適用した場合の一例について説明する。なお、以降では、本実施形態に係る情報処理装置１を「情報処理装置１ａ」と記載する場合がある。また、前述の第１の実施形態に係る情報処理装置１と、本実施形態に係る情報処理装置１ａとを特に区別しない場合には、単に「情報処理装置１」と記載する場合がある。
【００９０】
まず、本実施形態に係る情報処理装置１ａの課題について整理する。ＰＣやスマートフォンのような端末を操作する方法として、キーボード、マウス、またはタッチパネルのような一般的な入力方法に加えて、近年では、音声認識や視線入力に係る技術を利用した入力方法が適用されてきている。特に、ＨＭＤに代表される頭部装着型のコンピュータに対しては、入力手段が限られるため、音声認識や視線入力に係る技術を利用した入力方法が適用される場合が少なくない。
【００９１】
前述のように、視線入力を利用した入力方法の一例として、画面上に表示された仮想キーボードを視線移動や瞬きにより操作することで、情報を入力する方法が挙げられる。しかしながら、画面上に表示された仮想キーボード上の文字や記号を、視線を動かすことで選択しながら文字入力を行う操作は、情報の入力にかかる時間が他の入力方法（例えば、音声による入力）に比べて長く、視線の移動量も多いため、目にかかる負担も大きい。
【００９２】
一方で、視線入力に替えて音声認識を利用した入力方法（以降では、「音声入力」と呼ぶ場合がある）を利用する場合もある。しなしながら、当該音声入力が、必ずしも全ての利用シーンに適しているとは限らない。例えば、スマートフォンのような携帯型の端末は、公共の場で使用されることが少なくない。このように、公共の場で利用する場合において、ログインのためのパスワードやクレジットカードの暗証番号のように、秘匿性の高い情報を入力する場合には、音声入力が、情報の入力方法として適しているとは限らない。
【００９３】
そこで、本実施形態に係る情報処理装置１ａは、情報の入力方法として視線入力を利用する状況下において、当該情報の入力支援を行うことにより、情報の入力にかかる時間を短縮し、当該情報入力にかかるユーザの負担を軽減することを目的とする。
【００９４】
ここで、図４を参照する。図４は、本開示の第２の実施形態に係る情報処理装置１ａの概要について説明するための図であり、情報処理装置１ａを、入力画面中の入力欄へ情報を入力する際の入力支援に適用した場合における、当該入力画面の一例を示している。以降では、図４に示す入力画面ｖ１０に情報を入力する場合を例に、本実施形態に係る情報処理装置１ａの概要について説明する。
【００９５】
本実施形態に係る情報処理装置１ａは、例えば、図１に示すように、表示部３０に入力画面ｖ１０を表示させるとともに、眼球ｕ１の視線をユーザ入力として利用することで、入力画面ｖ１０に情報を入力する。
【００９６】
図４において、入力画面ｖ１０は、メールソフトのようなアプリケーションを使用する場合の認証画面の一例を示している。図４に示すように、入力画面ｖ１０は、アカウント入力欄ｖ１１と、パスワード入力欄ｖ１３と、ログインボタンｖ１５とを含む。
【００９７】
アカウント入力欄ｖ１１は、アプリケーションがユーザを識別するための情報を入力するための入力欄である。なお、図４に示す例では、ユーザのメールアドレスが、当該ユーザを識別するためのアカウントとして使用されている。また、パスワード入力欄ｖ１３は、アカウント入力欄ｖ１１に入力されたアカウントに基づきユーザを認証するためのパスワードを入力するための入力欄である。また、ログインボタンｖ１５は、アカウント入力欄ｖ１１及びパスワード入力欄ｖ１３に入力された情報に基づき、認証を依頼するためのインタフェース（例えば、ボタン）である。
【００９８】
また、参照符号ｖ２０は、画面中の位置を指定するためのポインタを示している。本実施形態に係る情報処理装置１ａは、撮像部１２で撮像された眼球ｕ１の画像に基づき視線方向ｒ２０を検出し、検出した視線方向ｒ２０に基づきポインタｖ２０の動作（表示位置）を制御する。即ち、本実施形態に係る情報処理装置１ａでは、ユーザは、視線の移動によりポインタｖ２０を操作することで、入力画面ｖ１０のアカウント入力欄ｖ１１及びパスワード入力欄ｖ１３に対して情報を入力したり、ログインボタンｖ１５を操作することが可能である。
【００９９】
また、本実施形態に係る情報処理装置１ａは、ユーザのメールアドレスやパスワードのようなユーザ情報を、当該ユーザを識別するための識別情報と関連付けて記憶しておき、当該ユーザ情報を各入力欄への情報入力に利用することで、入力支援を行う。
【０１００】
具体的には、情報処理装置１ａは、撮像部１２で撮像された眼球ｕ１の画像に基づきユーザを識別し、識別したユーザのメールアドレスやパスワードのようなユーザ情報を抽出する。そして、情報処理装置１ａは、視線入力に基づきアカウント入力欄ｖ１１やパスワード入力欄ｖ１３のように情報を入力するための入力欄が選択された場合には、当該入力欄に、抽出されたユーザ情報を入力する。
【０１０１】
ここで、図５を参照する。図５は、本実施形態に係る情報処理装置１ａの動作について説明するための図であり、図４に示す入力画面ｖ１０のアカウント入力欄ｖ１１及びパスワード入力欄ｖ１３に情報を入力する場合の一例を示している。
【０１０２】
例えば、情報処理装置１ａは、視線入力（換言すると、視線入力により操作されるポインタｖ２０）により、メールアドレスをアカウントとして入力するためのアカウント入力欄ｖ１１が選択されたとする。この場合には、情報処理装置１ａは、例えば、ユーザの識別結果に基づき抽出されたユーザ情報のうち、メールアドレスに相当する情報を、選択されたアカウント入力欄ｖ１１に入力する。
【０１０３】
同様に、情報処理装置１ａは、パスワードを入力するためのパスワード入力欄ｖ１３が選択された場合には、例えば、ユーザの識別結果に基づき抽出されたユーザ情報のうち、パスワードに相当する情報を、選択されたパスワード入力欄ｖ１３に入力する。
【０１０４】
以上のように、情報処理装置１ａは、眼球ｕ１の画像に基づきユーザを識別し、識別されたユーザのユーザ情報を抽出する。そして、情報処理装置１ａは、視線入力に基づき画面上に表示された入力欄が選択された場合には、選択された当該入力欄に、識別されたユーザのユーザ情報を入力する。このような構成により、本実施形態に係る情報処理装置１ａによれば、ユーザは、視線入力による仮想キーボードの操作のように煩雑な操作を行わなくても、画面上に表示された入力欄に、自身に関連するユーザ情報を速やかに入力することが可能となる。
【０１０５】
［２．２．情報処理装置の機能構成］
次に、図６を参照して、本実施形態に係る情報処理装置１の機能構成について、特に情報処理ユニット１０の構成に着目して説明する。図６は、本実施形態に係る情報処理装置１の機能構成の一例を示したブロック図である。なお、以降では、本実施形態に係る情報処理装置１の機能構成について、図３に示した第１の実施形態に係る情報処理装置１と異なる構成に着目して説明し、第１の実施形態に係る情報処理装置１と同様の構成については、詳細な説明は省略する。
【０１０６】
（ユーザ情報記憶部１５０）
ユーザ情報記憶部１５０は、ユーザごとに、当該ユーザに関連付けられたユーザ情報を記憶している。例えば、図７は、本実施形態に係るユーザ情報ｄ１０の一例を示した図である。
【０１０７】
図７に示すように、ユーザ情報ｄ１０は、例えば、ユーザＩＤｄ１０２と、氏名ｄ１０４と、メールアドレスｄ１０６と、パスワードｄ１０８とを含む。
【０１０８】
ユーザＩＤｄ１０２は、ユーザを識別するための識別情報（即ち、ユーザを示す情報）の一例である。また、氏名ｄ１０４は、ユーザＩＤｄ１０２が示すユーザの氏名を示している。同様に、メールアドレスｄ１０６は、ユーザＩＤｄ１０２が示すユーザのメールアドレスを示している。また、パスワードｄ１０８は、ユーザＩＤｄ１０２が示すユーザが認証に使用するためのパスワードを示している。
【０１０９】
例えば、ユーザＩＤｄ１０２は、当該ユーザＩＤｄ１０２が示すユーザの虹彩パターンの特徴量を示す情報のように、当該ユーザＩＤｄ１０２が示すユーザを識別するために使用する情報と関連付けておくとよい。このような構成により、ユーザ識別部１４０の判定部１４４は、取得した虹彩パターンの特徴量を示す情報に基づき、ユーザを示す情報としてユーザＩＤｄ１０２を特定することが可能である。そして、制御部１００は、判定部１４４が特定したユーザＩＤｄ１０２に基づき、ユーザ情報ｄ１０において、当該ユーザＩＤｄ１０２に関連付けられた他のユーザ情報（即ち、氏名ｄ１０４、メールアドレスｄ１０６、及びパスワードｄ１０８）を、ユーザ情報記憶部１５０から抽出することが可能となる。なお、以降では、ユーザ情報ｄ１０と記載した場合には、特に説明が無い限り、ユーザ情報記憶部１５０に記憶されたユーザ情報ｄ１０を示すものとする。
【０１１０】
（制御部１００）
本実施形態に係る制御部１００は、ユーザ情報取得部１０２と、表示制御部１０４とを含む。
【０１１１】
制御部１００は、ユーザ識別部１４０からユーザを示す情報を取得した場合には、取得したユーザを示す情報（ユーザＩＤｄ１０２）をユーザ情報取得部１０２に供給する。また、制御部１００は、視線検出部１３０から、検出された視線方向ｒ２０を示す情報を取得した場合には、取得した視線方向ｒ２０を示す情報を表示制御部１０４に供給する。
【０１１２】
（ユーザ情報取得部１０２）
ユーザ情報取得部１０２は、制御部１００からユーザを示す情報（ユーザＩＤｄ１０２）を取得する。ユーザ情報取得部１０２は、取得したユーザを示す情報を検索キーとしてユーザ情報ｄ１０を検索し、当該検索キー（即ち、ユーザＩＤｄ１０２）に関連付けられた、他のユーザ情報（例えば、氏名ｄ１０４、メールアドレスｄ１０６、及びパスワードｄ１０８）を抽出する。
【０１１３】
ユーザ情報取得部１０２は、ユーザを示す情報に基づき、ユーザ情報ｄ１０から抽出した他のユーザ情報を、表示制御部１０４に出力する。
【０１１４】
（表示制御部１０４）
表示制御部１０４は、表示部３０に入力画面ｖ１０を表示させる。また、表示制御部１０４は、検出された視線方向ｒ２０をユーザ入力として、当該ユーザ入力に基づき、表示部３０に表示された表示情報（例えば、入力画面ｖ１０）を制御（更新）する。以下に、表示制御部１０４の動作の内容について具体的に説明する。
【０１１５】
表示制御部１０４は、所定のアプリケーションが起動されると、当該アプリケーションに関連付けられた入力画面ｖ１０を表示させるための制御情報を取得し、取得した制御情報に基づき当該入力画面ｖ１０を表示部３０に表示させる。なお、入力画面ｖ１０を表示させるための制御情報は、例えば、アプリケーションを起動するためのデータの一部として、表示制御部１０４が読み出し可能な位置に、あらかじめ記憶させておけばよい。
【０１１６】
また、ユーザ識別部１４０によりユーザの識別が行われると、表示制御部１０４は、識別されたユーザに関連付けられたユーザ情報を、ユーザ情報取得部１０２から取得する。
【０１１７】
また、表示制御部１０４は、視線検出部１３０により検出された視線方向ｒ２０を示す情報を、制御部１００から取得する。表示制御部１０４は、取得した視線方向ｒ２０が示す、表示部３０に表示された画面上の位置に、ポインタｖ２０を表示させる。具体的には、表示制御部１０４は、視線方向ｒ２０が示す眼球ｕ１の視線の起点及び当該視線の方向と、表示部３０との間の相対的な位置関係に基づき、当該視線が表示部３０上に表示された画面と交差する位置を特定する。そして、表示制御部１０４は、特定した画面上の位置にポインタｖ２０を表示させる。
【０１１８】
なお、表示制御部１０４は、図１に示した、情報処理装置１を構成する、保持部２０と、表示部３０（換言すると、レンズ２２ａ）との相対的な位置関係に基づき、表示部３０に対する眼球ｕ１の相対位置を推定するとよい。このように、表示部３０に対する眼球ｕ１の相対位置を推定することで、表示制御部１０４は、推定した眼球ｕ１の位置に基づき、表示部３０に対する視線の起点の相対位置を特定することが可能となる。そして、表示制御部１０４は、表示部３０に対する視線の起点の相対位置と、視線方向ｒ２０が示す視線の方向とに基づき、視線が表示部３０上に表示された画面と交差する位置を特定することが可能となる。
【０１１９】
また、他の一例として、表示制御部１０４は、保持部２０と、表示部３０と、撮像部１２との間の相対的な位置関係と、撮像部１２により撮像された眼球ｕ１の画像とに基づき、表示部３０に対する眼球ｕ１の相対位置を推定してもよい。なお、上記に示す例は、あくまで一例であり、表示制御部１０４が、視線方向ｒ２０に基づき、眼球ｕ１の視線が表示部３０上に表示された画面と交差する位置を特定することが可能であれば、その方法は特に限定されない。
【０１２０】
以上のようにして、表示制御部１０４は、取得した視線方向ｒ２０に基づき、眼球ｕ１の視線が示す表示部３０上に表示された画面上の位置を特定する。
【０１２１】
また、表示制御部１０４は、眼球ｕ１の視線が、入力画面ｖ１０上の入力欄（例えば、図４及び図５に示す、アカウント入力欄ｖ１１、またはパスワード入力欄ｖ１３）を示している状態で、所定の操作が行われた場合には、当該入力欄が選択されたものとして認識する。
【０１２２】
ここで、入力欄の選択に係る所定の操作とは、例えば、ユーザが当該入力欄を所定の時間以上の間だけ注視していた場合が挙げられる。具体的には、表示制御部１０４は、視線（換言すると、ポインタｖ２０）が示す位置が、所定の時間以上の間、入力欄を示す領域内に位置していた場合には、当該入力欄が選択されたものとして認識する。
【０１２３】
また、他の一例として、表示制御部１０４は、視線が示す位置が、入力欄を示す領域内に位置している状態で、ユーザから当該入力欄を選択する旨の指示を受けた場合に、当該入力欄が選択されたものとして認識してもよい。
【０１２４】
なお、ユーザから当該入力欄を選択する旨の指示としては、例えば、ユーザが瞬きした場合のようにユーザの特定の動作を検出することで当該指示が行われたものと認識する方法が挙げられる。また、他の一例として、所定のボタンなどの操作部５０がユーザに操作された場合に、当該操作をユーザからの指示として認識する方法が挙げられる。なお、ユーザからの入力欄の指示を検出する動作の具体的な内容については、操作内容解析部１６０の動作として別途後述する。
【０１２５】
入力画面ｖ１０中の入力欄が選択された場合には、表示制御部１０４は、ユーザ情報取得部１０２が取得したユーザ情報を、選択された入力欄に入力する（即ち、表示させる）。
【０１２６】
このとき、表示制御部１０４は、選択された入力欄に入力可能な情報の種別が既知の場合には、取得したユーザ情報のうち選択された入力欄に対して入力可能な情報を、当該入力欄に入力してもよい。
【０１２７】
例えば、図４に示す入力画面ｖ１０の例の場合には、メールアドレスを入力するアカウント入力欄ｖ１１には、図７に示したユーザ情報ｄ１０のうちメールアドレスｄ１０６に対応する情報の種別をあらかじめ関連付けておくとよい。これにより、表示制御部１０４は、アカウント入力欄ｖ１１が選択された場合に、取得したユーザ情報のうち、当該アカウント入力欄ｖ１１に関連付けられたメールアドレスｄ１０６を、当該アカウント入力欄ｖ１１に入力する情報として特定することが可能となる。
【０１２８】
このことは、図４に示すパスワード入力欄ｖ１３についても同様である。即ち、パスワード入力欄ｖ１３には、図７に示したユーザ情報ｄ１０のうちパスワードｄ１０８に対応する情報の種別をあらかじめ関連付けておけばよい。これにより、表示制御部１０４は、パスワード入力欄ｖ１３が選択された場合に、取得したユーザ情報のうち、当該パスワード入力欄ｖ１３に関連付けられたパスワードｄ１０８を、当該パスワード入力欄ｖ１３に入力する情報として特定することが可能となる。
【０１２９】
（操作内容解析部１６０）
操作内容解析部１６０は、表示部３０の画面上に表示された入力画面ｖ１０中の入力欄の選択に係るユーザからの指示を検出するための構成である。
【０１３０】
例えば、操作内容解析部１６０は、ユーザが瞬きをした場合に、当該瞬きを入力欄の選択に係る指示として認識してもよい。この場合には、操作内容解析部１６０は、画像解析部１２０から、眼球ｕ１の画像の解析結果（例えば、眼球ｕ１の画像と瞳孔及び虹彩の領域を示す情報）を逐次取得し、取得した解析結果に基づき瞬きを検出するよい。
【０１３１】
例えば、瞬きにより目が閉じられている状態では、白目の領域、瞳孔、及び虹彩が、画像中に表示されない状態（即ち、眼球ｕ１が露出していない状態）となり、当該画像からは、瞳孔及び虹彩の領域が検出されないこととなる。そのため、操作内容解析部１６０は、取得した解析結果に基づき、瞳孔及び虹彩の領域が検出されていないタイミングを、瞬きが行われたタイミングとして検出してもよい。
【０１３２】
また、他の一例として、白目の領域に相当する画素は、まぶたに相当する画素に比べて画素値が高い（明るい）傾向にある。そのため、白目が撮像されている場合（即ち、目が開いている場合）の画像は、白目が撮像されていない場合（即ち、目が閉じている場合）に比べて、画像全体における画素値の平均値が高くなる傾向にある。そのため、操作内容解析部１６０は、画像解析部１２０から逐次取得する画像の画素値の平均値が、閾値を下回ったタイミングを、瞬きが行われたタイミングとして検出してもよい。
【０１３３】
また、操作内容解析部１６０は、所定のボタンなどの操作部５０がユーザに操作された場合に、当該操作を入力欄の選択に係る指示として認識してもよい。この場合には、操作内容解析部１６０は、ユーザによる操作に基づき操作部５０から出力されるシグナルを検出することで、操作部５０の操作（即ち、入力欄の選択に係る操作）が行われたものとして認識する。
【０１３４】
なお、上記に示す例はあくまで一例であり、操作内容解析部１６０が、ユーザによる入力欄の選択に係る指示を認識できれば、当該指示を認識するための媒介や、当該指示を認識する方法は特に限定されない。例えば、操作内容解析部１６０は、情報処理装置１を振ったり傾けたりする操作を検出することで、当該操作を入力欄の指示として認識してもよい。この場合には、情報処理装置１を振ったり傾けたりする操作を検出するための各種センサ（例えば、加速度センサや角速度センサ）を、情報処理装置１に設ける必要があることは言うまでもない。
【０１３５】
操作内容解析部１６０は、ユーザによる入力欄の選択に係る指示を認識すると、当該指示が行われたことを制御部１００に通知する。これにより、制御部１００の表示制御部１０４は、ユーザからの入力欄の選択に係る指示を認識することが可能となる。
【０１３６】
以上、第２の実施形態に係る情報処理装置１ａの機能構成について説明した。なお、上述した、操作部５０は、図２に示した、操作デバイス９０７により実現され得る。また、操作内容解析部１６０、及び制御部１００（特に、ユーザ情報取得部１０２及び表示制御部１０４）は、例えば、図２に示した、プロセッサ９０１により実現され得る。なお、他の機能構成については、前述した第１の実施形態に係る情報処理装置１と同様である。
【０１３７】
［２．３．処理の流れ］
次に、図８を参照して、本実施形態に係る情報処理装置１の一連の処理の流れについて説明する。図８は、本実施形態に係る情報処理装置１の一連の処理の流れの一例を示したフローチャートである。
【０１３８】
（ステップＳ１１０）
撮像部１２は、眼球ｕ１の画像（静止画像または動画像）を撮像し、撮像した眼球ｕ１の画像を情報処理ユニット１０に出力する。画像取得部１１０は、撮像部１２により撮像された眼球ｕ１の画像を当該撮像部１２から取得する。画像取得部１１０は、取得した画像を画像解析部１２０に提供する。
【０１３９】
（ステップＳ１２０）
画像解析部１２０は、撮像部１２で撮像された眼球ｕ１の画像を、画像取得部１１０から取得する。画像解析部１２０は、取得した画像に対して解析処理を施すことで、視線方向ｒ２０の検出と、ユーザの識別とに必要な情報を、当該画像から抽出する。
【０１４０】
例えば、ユーザを識別する方法として虹彩認識技術を利用する場合には、画像解析部１２０は、取得した眼球ｕ１の画像中から、瞳孔及び虹彩の領域を抽出する。なお、以降では、ユーザを識別する方法として虹彩認識技術を利用するものとして説明する。
【０１４１】
画像解析部１２０は、抽出した瞳孔及び虹彩の領域を示す情報と、取得した眼球ｕ１の画像とを、視線検出部１３０とユーザ識別部１４０とのそれぞれに出力する。
【０１４２】
（ステップＳ１３２）
ユーザ識別部１４０は、眼球ｕ１の画像と、瞳孔及び虹彩の領域を示す情報とを、画像解析部１２０から取得する。ユーザ識別部１４０は、取得した眼球ｕ１の画像と、瞳孔及び虹彩の領域を示す情報とを、特徴量抽出部１４２に出力し、当該特徴量抽出部１４２に、当該眼球ｕ１の画像に基づき虹彩パターンの特徴量の抽出を指示する。
【０１４３】
特徴量抽出部１４２は、眼球ｕ１の画像と、瞳孔及び虹彩の領域を示す情報とを、ユーザ識別部１４０から取得し、虹彩パターンの特徴量の抽出に係る指示を、当該ユーザ識別部１４０から受ける。
【０１４４】
特徴量抽出部１４２は、瞳孔及び虹彩の領域を示す情報に基づき、眼球ｕ１の画像から虹彩に相当する領域を抽出し、抽出した領域中から虹彩パターンを検出する。そして、特徴量抽出部１４２は、検出した虹彩パターンから、虹彩認識を行う上で必要な虹彩パターンの特徴量を抽出する。
【０１４５】
特徴量抽出部１４２は、眼球ｕ１の画像から抽出した虹彩パターンの特徴量を示す情報を、判定部１４４に出力する。
【０１４６】
判定部１４４は、眼球ｕ１の画像から抽出された虹彩パターンの特徴量を示す情報を、特徴量抽出部１４２から取得する。判定部１４４は、取得した虹彩パターンの特徴量を、ユーザごとにあらかじめ取得された虹彩パターンの特徴量と比較することで、取得した虹彩パターンの特徴量に対応するユーザを特定する。
【０１４７】
判定部１４４は、特定したユーザを示す情報（例えば、ユーザＩＤｄ１０２）を、制御部１００に出力する。
【０１４８】
（ステップＳ１３４）
制御部１００は、ユーザ識別部１４０からユーザを示す情報を取得した場合には、取得したユーザを示す情報（ユーザＩＤｄ１０２）をユーザ情報取得部１０２に供給する。
【０１４９】
ユーザ情報取得部１０２は、制御部１００から取得したユーザを示す情報を検索キーとしてユーザ情報ｄ１０を検索し、当該入力情報（即ち、ユーザＩＤｄ１０２）に関連付けられた、他のユーザ情報（例えば、図７における氏名ｄ１０４、メールアドレスｄ１０６、及びパスワードｄ１０８）を抽出する。
【０１５０】
ユーザ情報取得部１０２は、ユーザを示す情報に基づき、ユーザ情報ｄ１０から取得した他のユーザ情報を、表示制御部１０４に出力する。
【０１５１】
（ステップＳ１４２）
視線検出部１３０は、取得した瞳孔及び虹彩の領域を示す情報に基づき、眼球ｕ１の画像中における、瞳孔の位置を特定し、特定した瞳孔の位置に基づき視線方向ｒ２０を検出する。
【０１５２】
例えば、視線検出部１３０は、取得した画像中における、瞳孔の領域の位置に基づき、視線方向ｒ２０を検出してもよい。また、他の一例として、視線検出部１３０は、白目部分を示す領域に対する、瞳孔の領域の相対位置に基づき、視線方向ｒ２０を検出してもよい。
【０１５３】
視線検出部１３０は、検出した視線方向ｒ２０を示す情報を制御部１００に出力する。
【０１５４】
（ステップＳ１４４）
制御部１００は、視線検出部１３０から、検出された視線方向ｒ２０を示す情報を取得した場合には、取得した視線方向ｒ２０を示す情報を表示制御部１０４に供給する。
【０１５５】
表示制御部１０４は、所定のアプリケーションが起動されると、当該アプリケーションに関連付けられた入力画面ｖ１０を表示させるための制御情報を取得し、取得した制御情報に基づき入力画面ｖ１０を表示部３０に表示させる。
【０１５６】
また、表示制御部１０４は、視線検出部１３０により検出された視線方向ｒ２０を示す情報を、制御部１００から取得する。表示制御部１０４は、取得した視線方向ｒ２０が示す、表示部３０に表示された画面上の位置に、ポインタｖ２０を表示させる。具体的には、表示制御部１０４は、視線方向ｒ２０が示す眼球ｕ１の視線の起点及び当該視線の方向と、表示部３０との間の相対的な位置関係に基づき、当該視線が表示部３０上に表示された画面と交差する位置を特定する。そして、表示制御部１０４は、特定した画面上の位置にポインタｖ２０を表示させる。
【０１５７】
（ステップＳ１５０）
また、表示制御部１０４は、眼球ｕ１の視線が、入力画面ｖ１０上の入力欄（例えば、図４及び図５に示す、アカウント入力欄ｖ１１、またはパスワード入力欄ｖ１３）を示している状態で、所定の操作が行われた場合には、当該入力欄が選択されたものとして認識する。
【０１５８】
入力画面ｖ１０中の表示欄が選択された場合には、表示制御部１０４は、ユーザ情報取得部１０２が取得したユーザ情報を、選択された入力欄に入力する（即ち、表示させる）。
【０１５９】
このとき、表示制御部１０４は、選択された入力欄に入力可能な情報の種別が既知の場合には、取得したユーザ情報のうち選択された入力欄に対して入力可能な情報を、当該入力欄に入力してもよい。
【０１６０】
以上のように、情報処理装置１ａは、眼球ｕ１の画像に基づきユーザを識別し、識別されたユーザのユーザ情報を抽出する。そして、情報処理装置１ａは、視線入力に基づき画面上に表示された入力欄が選択された場合には、選択された当該入力欄に、識別されたユーザのユーザ情報を入力する。このような構成により、本実施形態に係る情報処理装置１ａによれば、ユーザは、視線入力による仮想キーボードの操作のように煩雑な操作を行わなくても、画面上に表示された入力欄に、自身に関連するユーザ情報を速やかに入力することが可能となる。
【０１６１】
＜３．実施例＞
次に、前述した、第１の実施形態に係る情報処理装置１や、第２の実施形態に係る情報処理装置１ａの適用例を、実施例として説明する。
【０１６２】
［３．１．実施例１：プロフィールの入力画面への適用例］
まず、実施例１として、第２の実施形態に係る情報処理装置１ａにおける、入力支援の具体的な例について、プロフィールの入力画面に情報を入力する際の入力支援に適用した場合を例に説明する。例えば、図９は、実施例１に係る情報処理装置１ａの概要について説明するための図であり、プロフィール入力画面の一例を示している。以降では、図９に示すプロフィール入力画面ｖ３０に情報を入力する場合を例に、実施例１に係る情報処理装置１ａについて説明する。
【０１６３】
図９に示すように、プロフィール入力画面ｖ３０は、氏名入力欄ｖ３１と、電話番号入力欄ｖ３３と、メールアドレス入力欄ｖ３５と、その他の入力欄ｖ３７と、登録ボタンｖ４１と、キャンセルボタンｖ４３とを含む。
【０１６４】
氏名入力欄ｖ３１は、プロフィールを登録するユーザ（以降では、単に「ユーザ」と呼ぶ場合がある）の氏名を入力するための入力欄である。また、メールアドレス入力欄ｖ３５は、ユーザのメールアドレスを入力するための入力欄である。
【０１６５】
また、電話番号入力欄ｖ３３は、ユーザの電話番号を入力するための入力欄である。本実施例では、電話番号入力欄ｖ３３には、自宅の電話番号（例えば、固定型電話の電話番号）と、携帯電話（移動体通信端末）の電話番号とのうちのいずれかを入力するものとして説明する。
【０１６６】
また、プロフィールとして、氏名、電話番号、及びメールアドレス以外の情報を登録できるように、その他の入力欄ｖ３７を設けてもよい。具体的な一例として、ユーザの自宅の住所をプロフィールとして登録できるようにしてもよい。なお、上記に説明した各入力欄は、あくまで一例であり、プロフィール入力画面ｖ３０、必ずしもこれらの入力欄を備えている必要があることを示すものではない。
【０１６７】
登録ボタンｖ４１は、氏名入力欄ｖ３１、電話番号入力欄ｖ３３、メールアドレス入力欄ｖ３５、及びその他の入力欄ｖ３７に入力された情報を、プロフィールとして登録するためのインタフェース（例えば、ボタン）である。また、キャンセルボタンｖ４３は、プロフィールの登録に係る操作を取りやめる（キャンセルする）ためのインタフェースである。
【０１６８】
ここで、図１０を参照する。図１０は、本実施例に係る情報処理装置１ａにおいて、ユーザ情報記憶部１５０に記憶されたユーザ情報ｄ２０の一例を示している。図１０に示すように、ユーザ情報ｄ２０は、ユーザＩＤｄ２０２と、氏名ｄ２０４と、電話番号ｄ２１０と、メールアドレスｄ２２２とを含む。なお、本実施例に係るユーザ情報ｄ２０では、電話番号ｄ２１０として、携帯番号ｄ２１２と、自宅番号ｄ２１４とを含む。
【０１６９】
ユーザＩＤｄ２０２は、ユーザを識別するための識別情報（即ち、ユーザを示す情報）の一例であり、図７に示したユーザ情報ｄ１０におけるユーザＩＤｄ１０２に対応している。
【０１７０】
氏名ｄ２０４は、ユーザＩＤｄ２０２が示すユーザの氏名を示している。同様に、メールアドレスｄ２２２は、ユーザＩＤｄ２０２が示すユーザのメールアドレスを示している。
【０１７１】
また、携帯番号ｄ２１２は、ユーザＩＤｄ２０２が示すユーザが所持する、スマートフォン等の携帯電話（移動体通信端末）の電話番号を示している。同様に、自宅番号ｄ２１４は、ユーザＩＤｄ２０２が示すユーザの自宅の電話番号（例えば、固定型電話の電話番号）を示している。
【０１７２】
なお、上記に示したユーザ情報ｄ２０に含まれる各情報はあくまで一例であり、ユーザＩＤｄ２０２が示すユーザの情報であれば、ユーザ情報ｄ２０に含まれる情報の種別は、上記に説明した例には限定されない。具体的な一例として、ユーザＩＤｄ２０２が示すユーザの自宅の住所を、ユーザ情報ｄ２０に登録できるようにしてもよい。また、以降では、ユーザ情報ｄ２０と記載した場合には、特に説明が無い限り、ユーザ情報記憶部１５０に記憶されたユーザ情報ｄ２０を示すものとする。
【０１７３】
本実施例に係る情報処理装置１ａでは、ユーザは、視線入力によりポインタｖ２０を操作することで情報を入力する入力欄を選択するものとして説明する。情報処理装置１ａは、前述の第２の実施形態に係る情報処理装置１ａと同様に、眼球ｕ１の画像に基づきユーザを識別し、識別結果に基づき、ユーザ情報ｄ２０から当該ユーザのユーザ情報を抽出する。そして、情報処理装置１ａは、視線入力によりユーザが選択した入力欄に、抽出したユーザ情報を入力することで入力支援を行う。以降では、この情報処理装置１ａによる、入力支援の例について説明する。
【０１７４】
まず、図１１を参照する。図１１は、本実施例に係る情報処理装置１ａにおける情報の入力方法の一例について説明するための図であり、電話番号入力欄ｖ３３が選択された場合に、当該電話番号入力欄ｖ３３に情報を入力するためのインタフェースの一例を示している。なお、ここでは、電話番号入力欄ｖ３３には、図１０に示すユーザ情報ｄ２０のうち、電話番号ｄ２１０に対応する情報の種別が、あらかじめ関連付けられているものとする。
【０１７５】
図１０に示すように、電話番号ｄ２１０に対応する情報として、携帯番号ｄ２１２及び自宅番号ｄ２１４として示される複数の情報が存在する。即ち、このような場合には、電話番号入力欄ｖ３３に入力可能な情報の候補が複数存在することとなる。
【０１７６】
このように、選択された入力欄に対して入力可能な情報の候補が複数存在する場合には、情報処理装置１ａの表示制御部１０４は、当該候補の一覧をサブ画面ｖ５０として提示し、当該サブ画面ｖ５０に提示された候補の中からユーザにより選択された情報を入力欄に入力してもよい。例えば、図１１に示す例では、表示制御部１０４は、電話番号入力欄ｖ３３に入力可能な情報の候補として、携帯番号ｄ２１２に対応する情報と、自宅番号ｄ２１４に対応する情報とを、サブ画面ｖ５０として提示している。
【０１７７】
また、表示制御部１０４は、いずれかの入力欄が選択された場合に、情報の種別に限らず、抽出したユーザ情報の一部もしくは全部をサブ画面ｖ５０ａとして提示してもよい。例えば、図１２は、本実施例に係る情報処理装置における情報の入力方法の一例について説明するための図であり、サブ画面ｖ５０ａの一例を示している。
【０１７８】
図１２に示す例では、サブ画面ｖ５０ａには、抽出したユーザ情報の一覧ｄ５０１として、ユーザの氏名ｄ２０４、携帯番号ｄ２１２、自宅番号ｄ２１４、メールアドレスｄ２２２、及び住所が提示されている。
【０１７９】
また、抽出したユーザ情報の一覧ｄ５０１の中に、選択した入力欄に対応する情報が含まれていない場合もあり得る。そのため、サブ画面ｖ５０ａには、その他の入力方法により情報を入力するためのインタフェース（例えば、ボタン）を設けてもよい。例えば、図１２に示す例では、サブ画面ｖ５０ａは、音声入力ボタンｖ５０３と、キーボードボタンｖ５０５とを含んでいる。音声入力ボタンｖ５０３は、音声入力により情報を入力するためのインタフェースを起動するためのボタンである。同様に、キーボードボタンｖ５０５は、情報を入力するために仮想キーボードを表示させるためのボタンである。
【０１８０】
また、サブ画面ｖ５０ａは、選択された入力欄への情報の入力を取りやめる（キャンセルする）ためのキャンセルボタンｖ５０７を含んでもよい。
【０１８１】
また、表示制御部１０４は、サブ画面ｖ５０ａに提示されたユーザ情報の一覧ｄ５０１のうち、少なくとも一部の情報を別の文字や画像に置き換えて提示してもよい。例えば、図１３は、本実施例に係る情報処理装置１ａにおける情報の入力方法の一例について説明するための図であり、サブ画面ｖ５０ａに提示されたユーザ情報の一覧ｄ５０１のうち、一部の情報を別の文字や画像に置き換えて提示した場合の一例を示している。
【０１８２】
図１３に示す例では、ユーザ情報の一覧ｄ５０１のうち、携帯番号ｄ２１２及び自宅番号ｄ２１４に対応する情報をマスクし、そのユーザ情報が、どの種別の情報であるかのみを提示している。このように、一部のユーザ情報を、別の文字や画像に置き換えて提示することで、画面上に表示されたサブ画面ｖ５０ａを盗み見られることによる、個人情報の漏えいを防止することが可能となる。
【０１８３】
以上説明したように、本実施例に係る情報処理装置１ａは、入力欄が選択された場合に、図１２に示すようなサブ画面ｖ５０ａを提示してもよい。このような構成により、例えば、選択された入力欄に入力可能な情報の種別が関連付けられていない場合においても、ユーザは、提示されたユーザ情報の中から当該入力欄に入力する情報を選択することで、当該入力欄に情報を入力することが可能となる。
【０１８４】
［３．２．実施例２：ブラウザへの適用例］
次に、実施例２に係る情報処理装置１について説明する。実施例２では、第２の実施形態に係る情報処理装置１ａを、ブラウザの制御に適用し、眼球ｕ１の画像に基づき識別されたユーザごとに、当該ユーザがあらかじめ登録したブックマークの一覧を提示する例について、図１４を参照しながら説明する。図１４は、実施例２に係る情報処理装置１ａの概要について説明するための図であり、本実施例に係るブラウザの一例を示している。
【０１８５】
図１４に示すように、ブラウザｖ６０は、ＵＲＬ（Ｕｎｉｆｏｒｍ  Ｒｅｓｏｕｒｃｅ  Ｌｏｃａｔｏｒ）入力欄ｖ６１と、ブックマーク表示ボタンｖ６３とを含む。情報処理装置１ａは、ユーザが、視線入力によりポインタｖ２０を介してブックマーク表示ボタンｖ６３を操作すると、ブックマークの一覧が提示されたサブ画面ｖ６５を表示させる。
【０１８６】
このとき、本実施例に係る情報処理装置１ａは、眼球ｕ１の画像に基づき識別されたユーザのユーザ情報として、当該ユーザがあらかじめ登録されたブックマークの情報を取得し、取得したブックマークの一覧が提示されたサブ画面ｖ６５を提示する。
【０１８７】
なお、この場合には、ユーザごとにあらかじめ登録されたブックマークの情報を、ユーザ情報として、当該ユーザを識別するための識別情報と関連付けて、ユーザ情報記憶部１５０に記憶させておけばよい。
【０１８８】
以上、本実施例に係る情報処理装置１ａに依れば、撮像部１２で撮像された眼球ｕ１の画像に基づきユーザを識別し、識別されたユーザに関連付けられたブックマークの一覧を、サブ画面ｖ６５としてブラウザｖ６０上に提示することが可能となる。これにより、ユーザは、自身が以前登録したブックマークの一覧の中から、所望のブックマークを、視線入力に基づき選択することが可能となる。
【０１８９】
［３．３．実施例３：アプリケーションの起動メニューへの適用例］
次に、実施例３に係る情報処理装置１について説明する。実施例３では、各アプリケーションの設定情報（コンフィギュレーションパラメタ）をユーザ情報として、例えば、ユーザ情報記憶部１５０に記憶させることで、アプリケーションの起動時に、識別されたユーザの設定情報を読み出して当該アプリケーションを起動する例について説明する。
【０１９０】
ここで、図１５を参照する。図１５は、実施例３に係る情報処理装置１の概要について説明するための図であり、アプリケーションの起動画面ｖ７０の一例を示している。
【０１９１】
図１５において、参照符号ｖ７３は、各アプリケーションを起動するためのアイコンｖ７５ａ〜Ｖ７５ｄが提示されたサブ画面（例えば、ランチャーや操作パネル）を示している。なお、以降では、アイコンｖ７５ａ〜Ｖ７５ｄを特に区別しない場合には、単に「アイコンｖ７５」と記載する場合がある。また、サブ画面表示ボタンｖ７１は、サブ画面ｖ７３の表示と非表示を切り替えるためのインタフェース（例えば、ボタン）である。
【０１９２】
図１５に示す例では、ユーザは、視線入力によりポインタｖ２０を介してサブ画面表示ボタンｖ７１を操作することでサブ画面ｖ７３を表示させ、次いで、当該サブ画面ｖ７３中の所望のアイコンｖ７５を操作することで、所望のアプリケーションを起動させる。
【０１９３】
このとき、本実施例に係る情報処理装置１は、眼球ｕ１の画像に基づき識別されたユーザのユーザ情報として、あらかじめ登録された設定情報のうち、選択されたアイコンｖ７５に対応する設定情報を取得する。そして、情報処理装置１は、選択されたアイコンｖ７５に対応するアプリケーションを起動し、起動したアプリケーションの設定を、取得した設定情報に基づき変更する。
【０１９４】
なお、この場合には、ユーザごとにあらかじめ登録された各アプリケーションの設定情報を、ユーザ情報として、当該ユーザを識別するための識別情報と関連付けて、ユーザ情報記憶部１５０に記憶させておけばよい。そして、情報処理装置１の制御部１００が、例えば、ユーザが視線入力に基づき選択したアイコンｖ７５に対応するアプリケーションの情報と、識別されたユーザの情報とを検索キーとして、当該検索キーに対応する設定情報をユーザ情報記憶部１５０から抽出すればよい。なお、ユーザ情報記憶部１５０から設定情報を抽出する構成（例えば、制御部１００の一部の構成）が、「設定情報取得部」の一例に相当する。また、抽出した設定情報に基づき、アプリケーションの設定を変更する構成（例えば、制御部１００の一部の構成）が、「アプリケーション制御部」の一例に相当する。
【０１９５】
以上、本実施例に係る情報処理装置１に依れば、各アプリケーションを起動する場合に、撮像部１２で撮像された眼球ｕ１の画像に応じて識別されたユーザに対応する設定情報に基づき、当該アプリケーションの設定を変更することが可能となる。そのため、ユーザは、設定変更等の煩雑な操作を行わなくても、アプリケーションの起動を指示するだけで、自身があらかじめ登録した設定が反映された状態で当該アプリケーションを起動させることが可能となる。
【０１９６】
［３．４．実施例４：ユーザ認証への適用例］
次に、実施例４として、第１の実施形態に係る情報処理装置１を、ユーザ認証に適用した場合の一例について説明する。本実施例に係る情報処理装置１では、前述した眼球ｕ１の画像に基づくユーザの識別と、当該識別方法とは異なる方法による認証とを組み合わせることで、当該ユーザの認証を強化する。
【０１９７】
ここで、図１６を参照する。図１６は、実施例４に係る情報処理装置の概要について説明するための図であり、本実施例に係る認証画面ｖ８０の一例を示している。図１６に認証画面ｖ８０は、画面上に表示された複数の点ｖ８１のうち、任意の点ｖ８１をあらかじめ決められた順序で結んだ操作パターンｖ８３によりユーザを認証する認証画面の一例を示している。
【０１９８】
図１６に示す例の場合には、本実施例に係る情報処理装置１は、ユーザごとにあらかじめ登録された認証のための操作パターンｖ８３を示す情報を、当該ユーザを識別するための識別情報と関連付けて、ユーザ情報記憶部１５０にあらかじめ記憶する。
【０１９９】
そして、情報処理装置１は、撮像部１２で撮像された眼球ｕ１の画像に基づきユーザを識別し、識別されたユーザに対応する操作パターンｖ８３をユーザ情報記憶部１５０から抽出する。なお、ユーザ情報記憶部１５０から操作パターンｖ８３を抽出する構成（例えば、制御部１００の一部の構成）が、「認証情報取得部」の一例に相当する。
【０２００】
次いで、情報処理装置１は、視線方向ｒ２０に基づき、ユーザが視線入力により入力した操作パターンｖ８３を認識する。そして、情報処理装置１は、認識した視線入力に基づく操作パターンｖ８３と、識別されたユーザのユーザ情報として抽出した操作パターンｖ８３とを比較することで、当該ユーザを認証する。なお、視線入力に基づく操作パターンｖ８３と、ユーザ情報として抽出した操作パターンｖ８３とを比較することで、ユーザを認証する構成（例えば、制御部１００の一部の構成）が、「認証処理部」の一例に相当する。
【０２０１】
なお、上記に示す例では、操作パターンｖ８３に基づきユーザを認証する場合を例に説明したが、視線入力に基づき入力された情報によりユーザを認証可能であれば、その方法は特に限定されない。
【０２０２】
以上、本実施例に係る情報処理装置１に依れば、撮像部１２で撮像された眼球ｕ１の画像に基づくユーザの識別（認証）と、視線入力に基づく認証（例えば、操作パターンによる認証）との双方に基づき、当該ユーザの認証を行う。そのため、本実施例に係る情報処理装置１は、いずれか一方のみによりユーザを認証する場合に比べて、セキュリティレベルを強固にすることが可能となる。
【０２０３】
＜４．第３の実施形態＞
［４．１．情報処理装置の概要］
次に、図１７を参照して、本開示の第３の実施形態に係る情報処理システム５００の概要について説明する。図１７は、本開示の第３の実施形態に係る情報処理システム５００の概要について説明するための図である。図１７に示すように、本実施形態に係る情報処理システム５００は、情報処理装置１ｂ及び１ｃを含む。
【０２０４】
情報処理装置１ｂは、例えば、ユーザの頭部が頭部に装着することで、当該ユーザの眼前（例えば、眼球ｕ１の前方近傍）に、表示部が保持されるように構成された、頭部装着型のディスプレイ（例えば、眼鏡型のディスプレイ）として構成され得る。なお、以降では、情報処理装置１ｂの表示部を、「表示部３０ｂ」と記載する場合がある。
【０２０５】
また、情報処理装置１ｃは、情報処理装置１ｂとは異なる筐体として構成され、表示部を備えた情報処理装置として構成される。情報処理装置１ｃは、例えば、スマートフォンのような携帯可能な情報処理端末でもよいし、ＰＣのような情報処理端末でもよい。なお、以降では、情報処理装置１ｃの表示部を、「表示部３０ｃ」と記載する場合がある。
【０２０６】
本実施形態に係る情報処理システム５００は、情報処理装置１ｂの表示部３０ｂを透過型のディスプレイにより構成することで、情報処理装置１ｃの表示部３０ｃに表示された情報に、表示部３０ｂに表示された情報を重畳させる。
【０２０７】
ここで、表示部３０ｂは、ユーザの眼前（即ち、眼球ｕ１の前方近傍）に保持されているため、表示部３０ｃに比べて、表示された情報を他のユーザから盗み見られる可能性が低い。そのため、情報処理システム５００では、メールアドレスや電話番号のようなユーザ情報（特に、秘匿性の高い情報）を表示部３０ｂ側に表示させ、他の情報（例えば、入力画面等）を表示部３０ｃ側に表示させる。
【０２０８】
このような構成により、本実施形態に係る情報処理システム５００では、ユーザは、自身のメールアドレスや電話番号、もしくはパスワードのように秘匿性の高いユーザ情報を、他のユーザに盗み見られることなく入力することが可能となる。以降では、本実施形態に係る情報処理システム５００の詳細について説明する。
【０２０９】
［４．２．情報処理装置の機能構成］
図１８を参照して、本実施形態に係る情報処理システム５００、即ち、情報処理装置１ａ及び１ｂの機能構成について説明する。図１８は、本実施形態に係る情報処理システム５００の機能構成の一例を示したブロック図である。なお、ここでは、図９及び図１０をあわせて参照しながら、図９に示すプロフィール入力画面ｖ３０の各入力欄に対して、図１０に示されたユーザ情報ｄ２０に含まれる各情報（例えば、氏名ｄ２０４、携帯番号ｄ２１２、自宅番号ｄ２１４、またはメールアドレスｄ２２２）を入力する場合を例に説明する。
【０２１０】
図１８に示すように、情報処理装置１ｂは、撮像部１２と、画像取得部１１０と、表示制御部１０４ｂと、表示部３０ｂと、相対位置検出部１７０とを含む。また、情報処理装置１ｃは、画像解析部１２０と、視線検出部１３０と、ユーザ識別部１４０と、ユーザ情報記憶部１５０と、操作内容解析部１６０と、操作部５０と、制御部１００と、表示部３０ｃとを含む。また、制御部１００は、ユーザ情報取得部１０２ｃと、表示制御部１０４ｃとを含む。
【０２１１】
なお、撮像部１２、画像取得部１１０、画像解析部１２０、視線検出部１３０、ユーザ識別部１４０、ユーザ情報記憶部１５０、操作内容解析部１６０、及び操作部５０については、前述した第２の実施形態に係る情報処理装置１ａと同様である。そのため、以降では、前述した第２の実施形態に係る情報処理装置１ａと動作の異なる、相対位置検出部１７０、ユーザ情報取得部１０２ｃ、表示制御部１０４ｃ、表示部３０ｃ、表示制御部１０４ｂ、及び表示部３０ｂの動作に着目して説明し、その他の構成については詳細な説明は省略する。また、図１８に示す図では、通信部に相当する構成の図示を省略しているが、情報処理装置１ｂの各構成と、情報処理装置１ｃの各構成との間で情報の送受信を行う場合には、無線または有線の通信を介して情報の送受信を行ってもよいことは言うまでもない。
【０２１２】
（相対位置検出部１７０）
相対位置検出部１７０は、情報処理装置１ｃの表示部３０ｃに対する情報処理装置１ｂの相対的な位置、表示部３０ｃと情報処理装置１ｂとの距離、及び、表示部３０ｃに対する情報処理装置１ｂの相対的な向き（以降では、これらを総じて「相対位置」と呼ぶ場合がある）を示す情報を検出する。
【０２１３】
具体的な一例として、相対位置検出部１７０は、静止画像または動画像を撮像可能な撮像部により、情報処理装置１ｃに設けられた相対位置を判定するための基準となるマーカを撮像し、撮像されたマーカの特徴量（例えば、マーカの位置、向き、または大きさ）を解析することで、相対位置を検出してもよい。
【０２１４】
なお、本明細書において、「マーカ」との用語は、一般に、既知のパターンを有する、実空間内に存在する何らかのオブジェクトを意味するものとする。すなわち、マーカは、例えば、実物体、実物体の一部、実物体の表面上に示される図形、記号、文字列若しくは絵柄、またはディスプレイにより表示される画像などを含み得る。狭義の意味において「マーカ」との用語は何らかのアプリケーションのために用意される特別なオブジェクトを指す場合があるが、本開示に係る技術はそのような事例には限定されない。例えば、情報処理装置１ｃの表示部３０ｃにマーカを表示させることで、相対位置検出部１７０は、当該マーカに基づき相対位置を検出してもよい。
【０２１５】
このように、表示部３０ｃと情報処理装置１ｂとの間の相対位置を検出することで、後述する表示制御部１０４ｃは、検出された相対位置と視線方向ｒ２０とにより、ユーザの視線が表示部３０ｃに表示された画面のどこを示しているかを認識することが可能となる。また、後述する表示制御部１０４ｂは、検出された相対位置により、表示部３０ｂに表示された画面上の位置が、表示部３０ｃに表示された画面上のどの位置に相当するかを認識することが可能となる。そのため、表示制御部１０４ｂは、表示部３０ｂに表示させる表示情報が、表示部３０ｃに表示された画面上の所望の位置に重畳するように、当該表示情報の表示位置を制御することが可能となる。なお、以降では、表示部３０ｃに表示された画面上の位置を、「表示部３０ｃ上の位置」と記載する場合がある。同様に、表示部３０ｂに表示された画面上の位置を、「表示部３０ｂ上の位置」と記載する場合がある。
【０２１６】
相対位置検出部１７０は、検出した、表示部３０ｃと情報処理装置１ｂとの間の相対位置を示す情報（以降では、「相対位置情報」と呼ぶ場合がある）を、表示制御部１０４ｂと制御部１００とに出力する。
【０２１７】
なお、相対位置検出部１７０が相対位置を検出するタイミングは、運用にあわせて適宜決定すればよい。具体的な一例として、相対位置検出部１７０は、あらかじめ決められたタイミングごとに（リアルタイムで）相対位置を検出してもよい。また、他の一例として、相対位置検出部１７０は、情報処理装置１ｂまたは情報処理装置１ｃにおいて所定の処理が実行された場合に、当該処理に連動して相対位置を検出してもよい。
【０２１８】
また、表示部３０ｃと情報処理装置１ｂとの間の相対位置を検出可能であれば、相対位置検出部１７０を設ける位置は限定されない。例えば、上述した撮像されたマーカを解析することで相対位置を検出する場合には、マーカの撮像に係る構成を情報処理装置１ｂに設け、撮像されたマーカの解析に係る構成を情報処理装置１ｃに設けてもよい。また、相対位置検出部１７０を、情報処理装置１ｃ側に設けてもよい。この場合には、例えば、情報処理装置１ｂ側にマーカを設け、情報処理装置１ｃ側に設けられた撮像部で当該マーカを撮像し、撮像されたマーカを解析することで相対位置を検出してもよい。
【０２１９】
また、上記に示す相対位置の検出方法は、あくまで一例であり、相対位置検出部１７０が、表示部３０ｃと情報処理装置１ｂとの間の相対位置を検出可能であれば、その方法は限定されない。例えば、情報処理装置１ｂに各種センサ（例えば、加速度センサや角速度センサ）を設けることで、これらのセンサの出力を利用して、表示部３０ｃと情報処理装置１ｂとの間の相対位置を検出してもよい。また、相対位置の検出方法にあわせて、相対位置検出部１７０の構成を適宜変更してもよいことは言うまでもない。
【０２２０】
（制御部１００）
制御部１００は、ユーザ識別部１４０の判定部１４４から、撮像部１２で撮像された眼球ｕ１の画像に基づき識別されたユーザを示す情報を取得する。また、制御部１００は、視線検出部１３０から、検出された視線方向ｒ２０を示す情報を取得する。
【０２２１】
制御部１００は、ユーザ識別部１４０からユーザを示す情報（例えば、図１０に示すユーザＩＤｄ２０２）を取得した場合には、取得したユーザを示す情報をユーザ情報取得部１０２ｃに供給する。
【０２２２】
また、制御部１００は、視線検出部１３０から、検出された視線方向ｒ２０を示す情報を取得した場合には、取得した視線方向ｒ２０を示す情報を表示制御部１０４ｃに供給する。
【０２２３】
また、制御部１００は、相対位置検出部１７０から相対位置情報を取得する。相対位置検出部１７０から相対位置情報を取得した場合には、制御部１００は、取得した相対位置情報を表示制御部１０４ｃに供給する。
【０２２４】
（ユーザ情報取得部１０２ｃ）
ユーザ情報取得部１０２ｃは、制御部１００からユーザを示す情報（即ち、ユーザＩＤｄ２０２）を取得する。ユーザ情報取得部１０２は、取得したユーザを示す情報を検索キーとしてユーザ情報記憶部１５０に記憶されたユーザ情報ｄ２０を検索し、当該入力情報（即ち、ユーザＩＤｄ２０２）に関連付けられた、他のユーザ情報（例えば、ユーザ情報ｄ２０の場合には、氏名ｄ２０４、携帯番号ｄ２１２、自宅番号ｄ２１４、及びメールアドレスｄ２２２）を抽出する。
【０２２５】
ユーザ情報取得部１０２は、ユーザを示す情報に基づき、ユーザ情報ｄ２０から取得した他のユーザ情報を、表示制御部１０４ｃに出力する。
【０２２６】
（表示制御部１０４ｃ及び表示制御部１０４ｂ）
次に、表示制御部１０４ｃ及び表示制御部１０４ｂの動作について説明する。前述の通り、本実施形態に係る情報処理システム５００では、ユーザに提示する情報（表示情報）のうち、一部の情報を表示部３０ｃ側に表示させ、他の一部の情報については、表示部３０ｂ側に、表示部３０ｃに表示された情報に重畳するように表示させる。このような制御は、情報処理装置１ｃの表示制御部１０４ｃと、情報処理装置１ｂの表示制御部１０４ｂとが連携することで実現される。
【０２２７】
ここで、図１９を参照する。図１９は、本実施形態に係る情報処理システム５００における情報の表示方法の一例について説明するための図である。
【０２２８】
図１９は、表示部３０ｂに表示されたプロフィール入力画面ｖ３０の各入力欄（例えば、氏名入力欄ｖ３１、電話番号入力欄ｖ３３、メールアドレス入力欄ｖ３５、及び、その他の入力欄ｖ３７）に情報を入力する場合の例を示している。なお、各入力欄への情報の入力方法は、前述した第２の実施形態に係る情報処理装置１ａの場合と同様である。
【０２２９】
一方で、本実施形態に係る情報処理システム５００では、一部の情報を表示部３０ｃ側に表示させ、他の一部の情報については、表示部３０ｂ側に表示させる。例えば、図１９に示す例では、情報処理システム５００は、プロフィール入力画面ｖ３０、当該プロフィール入力画面ｖ３０中の各入力欄、及び、氏名入力欄ｖ３１に対応する（入力される）ユーザ情報（即ち、ユーザの氏名）については、表示部３０ｃ側に表示させる。一方で、情報処理システム５００は、電話番号入力欄ｖ３３に対応するユーザ情報（例えば、図１０に示した、携帯番号ｄ２１２や自宅番号ｄ２１４）や、当該ユーザ情報を提示するサブ画面ｖ５０については、表示部３０ｂ側に表示させる。そこで、以降では、図１９に示す例に基づき、表示制御部１０４ｃ及び表示制御部１０４ｂの動作について説明する。
【０２３０】
表示制御部１０４ｃは、所定のアプリケーションが起動されると、当該アプリケーションに関連付けられた入力画面（例えば、図１９に示すプロフィール入力画面ｖ３０）を表示させるための制御情報を取得し、取得した制御情報に基づき当該入力画面を表示部３０ｃに表示させる。
【０２３１】
また、表示制御部１０４ｃは、表示部３０ｃに表示させた入力画面を示す情報と、当該入力画面の表示部３０ｃ上の位置情報とを表示制御部１０４ｂに通知する。これにより、表示制御部１０４ｂは、表示部３０ｃにどのような入力画面が表示され、その入力画面や、当該入力画面中に表示された各情報（例えば、入力欄や、ボタン等のインタフェース）が表示部３０ｃ上のどの位置に表示されているかを認識することが可能となる。
【０２３２】
また、表示制御部１０４ｃは、相対位置検出部１７０から送信された相対位置情報と、視線検出部１３０により検出された視線方向ｒ２０を示す情報とを、制御部１００から取得する。
【０２３３】
表示制御部１０４ｃは、取得した相対位置情報と視線方向ｒ２０を示す情報とに基づき、眼球ｕ１の視線の視線が示す、表示部３０ｃ上の位置を算出する。具体的には、表示制御部１０４ｃは、取得した相対位置情報に基づき、表示部３０ｃに対する情報処理装置１ｂの相対位置（即ち、表示部３０ｃに対する情報処理装置１ｂの相対的な位置、表示部３０ｃと情報処理装置１ｂとの間の距離、及び、表示部３０ｃに対する情報処理装置１ｂの相対的な向き）を算出する。このように、表示部３０ｃに対する情報処理装置１ｂの相対位置を算出することで、表示制御部１０４ｃは、表示部３０ｃに対する眼球ｕ１の相対位置（即ち、相対的な位置、向き、及び距離）を推定する。
【０２３４】
表示制御部１０４ｃは、表示部３０ｃに対する眼球ｕ１の相対位置と、視線方向ｒ２０とに基づき、表示部３０ｃに対する、眼球ｕ１の視線の起点となる位置と、当該視線が向いている方向とを算出する。そして、表示制御部１０４ｃは、当該視線が表示部３０ｃ上に表示された画面と交差する位置を特定する。
【０２３５】
眼球ｕ１の視線が示す表示部３０ｃ上の位置を特定したら、表示制御部１０４ｃは、特定した当該位置を示す情報を表示制御部１０４ｂに通知する。
【０２３６】
ここで、表示制御部１０４ｂの動作に着目する。表示制御部１０４ｂは、表示部３０ｃに対する情報処理装置１ｂの相対位置を示す相対地位情報を、相対位置検出部１７０から取得する。表示制御部１０４ｂは、取得した相対位置情報に基づき、表示部３０ｂ上の位置と、表示部３０ｃ上の位置とを対応付ける。これにより、表示制御部１０４ｂは、表示部３０ｂに情報を表示させる場合に、表示部３０ｃ上の所望の位置に重畳するように、当該情報を表示部３０ｂに表示させることが可能となる。例えば、図１９の領域ｖ３０ｂは、表示部３０ｃ上に表示されたプロフィール入力画面ｖ３０に対応する、表示部３０ｂ上の領域を示している。
【０２３７】
また、表示制御部１０４ｂは、表示部３０ｃに表示された入力画面を示す情報と、当該入力画面の表示部３０ｃ上の位置情報とを、表示制御部１０４ｃから取得する。表示制御部１０４ｂは、取得した入力画面を示す情報と当該入力画面の位置情報とに基づき、表示部３０ｃにどのような入力画面が表示され、その入力画面や、当該入力画面中に表示された各情報が表示部３０ｃ上のどの位置に表示されているかを認識する。
【０２３８】
また、表示制御部１０４ｂは、眼球ｕ１の視線が示す表示部３０ｃ上の位置を示す情報を、表示制御部１０４ｃから取得する。これにより、表示制御部１０４ｂは、眼球ｕ１の視線が示す（即ち、視線入力に基づき示された）表示部３０ｃ上の位置を認識する。このとき、表示制御部１０４ｂは、眼球ｕ１の視線が示す表示部３０ｃ上の位置に対応する、表示部３０ｂ上の位置にポインタｖ２０を表示させてもよい。
【０２３９】
次に、視線入力に基づき、図１９に示すプロフィール入力画面ｖ３０中の各入力欄が選択された場合の、表示制御部１０４ｃ及び１０２ｂの動作について説明する。なお、入力欄の選択に係る動作については、前述した第２の実施形態に係る情報処理装置１ａと同様のため、詳細な説明は省略する。
【０２４０】
プロフィール入力画面ｖ３０中の入力欄が選択された場合には、表示制御部１０４ｃは、選択された入力欄に対応するユーザ情報が、表示部３０ｃ及び表示部３０ｂのいずれに表示させる情報かを判別する。なお、表示制御部１０４ｃは、取得した各ユーザ情報のうち、どのユーザ情報を表示部３０ｂ及び表示部３０ｃのいずれに表示させるかを示す制御情報をあらかじめ記憶しておくとよい。また、他の一例として、当該制御情報が、各ユーザ情報に、あらかじめ関連付けられていてもよい。即ち、表示制御部１０４ｃは、当該制御情報に基づき、取得した各ユーザ情報を、表示部３０ｃ及び表示部３０ｂのいずれに表示させればよいかを判別すればよい。
【０２４１】
なお、各ユーザ情報のうち、どのユーザ情報を表示部３０ｂ及び表示部３０ｃのいずれに表示させるかについては、例えば、情報処理システム５００のユーザもしくは管理者が、運用に応じて適宜設定すればよい。
【０２４２】
具体的な一例として、図１０に示すユーザ情報ｄ２０から抽出された各ユーザ情報のうち、秘匿性の高い情報（例えば、携帯番号ｄ２１２や自宅番号ｄ２１４）を表示部３０ｂに表示させ、他の情報を表示部３０ｃに表示させるように設定してもよい。このような構成とすることで、本実施形態に係る情報処理システム５００は、秘匿性の高い情報を、表示された情報を他のユーザから盗み見られる可能性が低い表示部３０ｂ側に表示させることが可能となる。
【０２４３】
ここで、再度図１９を参照する。まず、選択された入力欄に対応するユーザ情報が、表示部３０ｃに表示させる情報だった場合の表示制御部１０４ｃの動作について、氏名入力欄ｖ３１に、取得したユーザ情報のうち氏名ｄ２０４を入力する場合を例に説明する。
【０２４４】
表示制御部１０４ｃは、氏名入力欄ｖ３１が選択されると、当該氏名入力欄ｖ３１に入力可能な情報として、氏名ｄ２０４を、取得したユーザ情報の中から抽出する。表示制御部１０４ｃは、抽出した氏名ｄ２０４に関連付けられた制御情報に基づき、当該氏名ｄ２０４が表示部３０ｃに表示させる情報だと認識する。この場合には、表示制御部１０４ｃは、表示部３０ｃに表示された氏名入力欄ｖ３１に、抽出した氏名ｄ２０４を表示させる。
【０２４５】
次に、選択された入力欄に対応するユーザ情報が、表示部３０ｂに表示させる情報だった場合の表示制御部１０４ｃ及び１０４ｂの動作について、電話番号入力欄ｖ３３に、取得したユーザ情報のうち携帯番号ｄ２１２または自宅番号ｄ２１４を入力する場合を例に説明する。なお、ここでは、表示制御部１０４ｃ及び１０４ｂは、電話番号入力欄ｖ３３の選択を受けて、当該電話番号入力欄ｖ３３に入力可能な携帯番号ｄ２１２及び自宅番号ｄ２１４が提示されたサブ画面ｖ５０を表示させる場合を例に説明する。
【０２４６】
表示制御部１０４ｃは、電話番号入力欄ｖ３３が選択されると、当該電話番号入力欄ｖ３３に入力可能な情報として、携帯番号ｄ２１２及び自宅番号ｄ２１４を、取得したユーザ情報の中から抽出する。表示制御部１０４ｃは、抽出した携帯番号ｄ２１２及び自宅番号ｄ２１４に関連付けられた制御情報に基づき、当該携帯番号ｄ２１２及び自宅番号ｄ２１４が表示部３０ｂに表示させる情報だと認識する。
【０２４７】
この場合には、表示制御部１０４ｃは、選択された電話番号入力欄ｖ３３を示す情報と、抽出した携帯番号ｄ２１２及び自宅番号ｄ２１４とを表示制御部１０４ｂに送信する。
【０２４８】
表示制御部１０４ｂは、表示制御部１０４ｃから取得した電話番号入力欄ｖ３３を示す情報に基づき、電話番号入力欄ｖ３３が選択されたことを認識する。また、表示制御部１０４ｂは、あらかじめ取得した、入力画面（即ち、プロフィール入力画面ｖ３０）の表示部３０ｃ上における位置情報に基づき、表示部３０ｂ上において電話番号入力欄ｖ３３に対応する領域ｖ３３ｂを特定する。
【０２４９】
次いで、表示制御部１０４ｂは、表示制御部１０４ｃから取得した携帯番号ｄ２１２及び自宅番号ｄ２１４に基づき、当該携帯番号ｄ２１２及び自宅番号ｄ２１４を提示したサブ画面ｖ５０を生成する。表示制御部１０４ｂは、生成したサブ画面ｖ５０を、表示部３０ｂ上の領域ｖ３３ｂの近傍に表示させる。これにより、ユーザは、表示部３０ｂ越しに表示部３０ｃを参照した場合に、表示部３０ｃ上における電話番号入力欄ｖ３３の近傍の領域ｖ５０ｃに、サブ画面ｖ５０が重畳表示されているように認識することが可能となる。
【０２５０】
また、ユーザが、視線入力に基づき、サブ画面ｖ５０中に提示された携帯番号ｄ２１２及び自宅番号ｄ２１４のいずれかを選択したとする。この場合には、表示制御部１０４ｂは、表示制御部１０４ｃから通知される眼球ｕ１の視線が示す表示部３０ｃ上の位置を示す情報に基づき、携帯番号ｄ２１２及び自宅番号ｄ２１４のうち、ユーザが選択した情報を認識する。
【０２５１】
サブ画面ｖ５０中に提示された携帯番号ｄ２１２及び自宅番号ｄ２１４のいずれかが選択された場合には、表示制御部１０４ｂは、選択されたユーザ情報を、表示部３０ｂ上の領域ｖ３３ｂに表示させる。これにより、ユーザは、表示部３０ｂ越しに表示部３０ｃを参照した場合に、表示部３０ｃ上における電話番号入力欄ｖ３３に、自身が選択したユーザ情報が入力されているように（即ち、重畳表示されているように）認識することが可能となる。
【０２５２】
以上説明したように、本実施形態に係る情報処理システム５００では、情報処理装置１ｂの表示部３０ｂを透過型のディスプレイにより構成することで、情報処理装置１ｃの表示部３０ｃに表示された情報に、表示部３０ｂに表示された情報を重畳させる。
【０２５３】
このとき、情報処理システム５００では、メールアドレスや電話番号のようなユーザ情報（特に、秘匿性の高い情報）を表示部３０ｂ側に表示させ、他の情報（例えば、入力画面等）を表示部３０ｃ側に表示させてもよい。このような構成により、本実施形態に係る情報処理システム５００では、ユーザは、自身のメールアドレスや電話番号、もしくはパスワードのように秘匿性の高いユーザ情報を、他のユーザに盗み見られることなく入力することが可能となる。
【０２５４】
＜５．まとめ＞
以上説明したように、本開示に係る情報処理装置１及び情報処理システム５００は、撮像部１２で撮像された眼球ｕ１の画像を解析し、当該解析の結果に基づき、視線方向ｒ２０の検出と、ユーザの識別とを行う。このように、情報処理装置１及び情報処理システム５００では、視線方向ｒ２０の検出と、ユーザの識別とのそれぞれを行うための画像を、共通の撮像部１２（例えば、赤外線カメラ）を使用することが可能である。
【０２５５】
また、本開示に係る情報処理装置１及び情報処理システム５００では、視線方向ｒ２０の検出と、ユーザの識別とのそれぞれを行うための画像の解析に係る処理を共通化している。そのため、情報処理装置１及び情報処理システム５００は、視線方向ｒ２０の検出と、ユーザの識別とをそれぞれ別々に実行する場合に比べて処理負荷を軽減することが可能となる。以上のような構成により、本開示に係る情報処理装置１及び情報処理システム５００は、視線方向ｒ２０の検出と、ユーザの識別との双方を、より簡素な構成で実現することが可能となる。
【０２５６】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０２５７】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【０２５８】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
撮像部により撮像された眼球の画像に基づき視線方向を検出する視線検出部と、
前記撮像部により撮像された前記眼球の画像に基づきユーザを識別するユーザ識別部と、
を備えた、情報処理装置。
（２）
前記視線検出部は、逐次撮像された前記眼球の画像に基づき前記視線方向を検出し、
前記ユーザ識別部は、逐次撮像された当該画像のうち、少なくとも一の画像に基づきユーザを識別する、前記（１）に記載の情報処理装置。
（３）
撮像された前記眼球の画像から瞳孔を検出する瞳孔検出部を備え、
前記視線検出部は、当該画像から検出された前記瞳孔の位置に基づき前記視線方向を検出する、前記（１）または（２）に記載の情報処理装置。
（４）
前記瞳孔検出部は、撮像された前記眼球の画像から、前記瞳孔と虹彩とを検出し、
前記ユーザ識別部は、当該画像から検出された前記虹彩に基づき前記ユーザを識別する、前記（３）に記載の情報処理装置。
（５）
識別された前記ユーザのユーザ情報を取得するユーザ情報取得部と、
表示部の画面中に１以上の入力欄を表示させる表示制御部と、
を備え、
前記表示制御部は、検出された前記視線方向と、前記画面中における前記１以上の入力欄それぞれの位置情報とに基づき、選択された入力欄を特定し、
特定した当該入力欄に、取得された前記ユーザ情報を関連付けて表示させる、前記（１）〜（４）のいずれか一項に記載の情報処理装置。
（６）
前記入力欄には、入力可能な情報の種別が関連付けられており、
前記表示制御部は、取得された前記ユーザ情報のうち、選択された前記入力欄に関連付けられた前記種別に対応する情報を、当該入力欄に関連付けて表示させる、前記（５）に記載の情報処理装置。
（７）
前記表示制御部は、前記視線方向が示す前記画面中の領域と、当該画面中における前記１以上の入力欄それぞれの位置情報とに基づき、選択された入力欄を特定する、前記（５）または（６）に記載の情報処理装置。
（８）
前記表示制御部は、前記ユーザからの前記入力欄の選択に係る指示を受けたときに、前記視線方向が示す前記入力欄を特定する、前記（５）〜（７）のいずれか一項に記載の情報処理装置。
（９）
前記表示部を備えた、前記（５）〜（８）のいずれか一項に記載の情報処理装置。
（１０）
前記表示部が、前記眼球の前方に保持されるように、当該表示部を前記ユーザの頭部に保持する保持部を備えた、前記（９）に記載の情報処理装置。
（１１）
前記表示部は、透過型の表示デバイスである、前記（９）または（１０）に記載の情報処理装置。
（１２）
前記表示制御部は、
前記入力欄を、第１の表示部の画面中に表示させ、
前記ユーザ情報を、前記第１の表示部とは異なる第２の表示部の画面中の、前記第１の表示部の画面中における前記入力欄の表示位置に対応する位置に、当該入力欄に重畳するように表示させる、前記（５）〜（８）のいずれか一項に記載の情報処理装置。
（１３）
識別された前記ユーザに関連付けられた、アプリケーションの設定を変更するための設定情報を取得する設定情報取得部と、
取得した制御情報に基づき、前記アプリケーションの設定を変更するアプリケーション制御部と、
を備えた、前記（１）〜（４）のいずれか一項に記載の情報処理装置。
（１４）
識別された前記ユーザを認証するための認証情報を取得する認証情報取得部と、
前記視線方向の検出結果と、取得した前記認証情報とに基づき、前記ユーザを認証する認証処理部と、
を備えた、前記（１）〜（４）のいずれか一項に記載の情報処理装置。
（１５）
前記撮像部を備えた、前記（１）〜（１４）のいずれか一項に記載の情報処理装置。
（１６）
撮像部により撮像された眼球の画像に基づき、プロセッサに視線方向を検出させることと、
前記撮像部により撮像された前記眼球の画像に基づき、プロセッサにユーザを識別させることと、
を含む、情報処理方法。
【符号の説明】
【０２５９】
１、１ａ〜１ｃ  情報処理装置
１２    撮像部
２０    保持部
３０、３０ｂ、３０ｃ  表示部
５０    操作部
１０    情報処理ユニット
１００  制御部
１０２、１０２ｃ  ユーザ情報取得部
１０４、１０４ｂ、１０４ｃ  表示制御部
１１０  画像取得部
１２０  画像解析部
１３０  視線検出部
１４０  ユーザ識別部
１４２  特徴量抽出部
１４４  判定部
１５０  ユーザ情報記憶部
１６０  操作内容解析部
１７０  相対位置検出部
５００  情報処理システム
【図１】
2015090569.tif 000003
【図２】
2015090569.tif 000004
【図３】
2015090569.tif 000005
【図４】
2015090569.tif 000006
【図５】
2015090569.tif 000007
【図６】
2015090569.tif 000008
【図７】
2015090569.tif 000009
【図８】
2015090569.tif 000010
【図９】
2015090569.tif 000011
【図１０】
2015090569.tif 000012
【図１１】
2015090569.tif 000013
【図１２】
2015090569.tif 000014
【図１３】
2015090569.tif 000015
【図１４】
2015090569.tif 000016
【図１５】
2015090569.tif 000017
【図１６】
2015090569.tif 000018
【図１７】
2015090569.tif 000019
【図１８】
2015090569.tif 000020
【図１９】
2015090569.tif 000021