(57)【特許請求の範囲】
【請求項１】
ユーザの視線を検出する視線検出部と、
前記ユーザによる空間上の操作を検出する操作検出部と、
前記操作に基づいてポインティング位置を決定する位置制御部と、
所定の操作が検出された場合に所定のオブジェクトを表示させる表示制御部と、
を備え、
前記オブジェクトは、前記所定の操作が検出されてから所定の時間が経過するまで動きを有する動画であり、
前記位置制御部は、前記所定の操作が検出された場合に前記視線に基づいて前記ポインティング位置を移動させ、少なくとも前記所定のオブジェクトが表示されてから前記所定の時間が経過するまで前記ポインティング位置を固定する、
情報処理システム。
【請求項２】
前記表示制御部は、前記視線の非検出時に前記所定の操作が検出された場合に、所定のフィードバックを行う、
請求項１に記載の情報処理システム。
【請求項３】
前記表示制御部は、前記視線の非検出時に所定のインジケータを表示させる、
請求項１に記載の情報処理システム。
【請求項４】
前記表示制御部は、前記視線の非検出時にカーソルを変化させる、
請求項１に記載の情報処理システム。
【請求項５】
前記操作検出部は、検出データに基づいて前記所定の操作を検出する、
請求項１に記載の情報処理システム。
【請求項６】
前記操作検出部は、前記検出データから認識される所定の状態を前記所定の操作として検出する、
請求項５に記載の情報処理システム。
【請求項７】
前記操作検出部は、前記検出データから認識される所定の動きを前記所定の操作として検出する、
請求項５に記載の情報処理システム。
【請求項８】
前記表示制御部は、前記ポインティング位置にカーソルを表示させる、
請求項１に記載の情報処理システム。
【請求項９】
前記表示制御部は、前記カーソルが表示されている状態において前記視線の非検出時に前記所定の操作が検出された場合に、所定のフィードバックを行う、
請求項８に記載の情報処理システム。
【請求項１０】
前記表示制御部は、所定のカーソルの非表示条件が満たされた場合に前記カーソルを非表示にする、
請求項１に記載の情報処理システム。
【請求項１１】
前記位置制御部は、前記カーソルが非表示にされた状態において前記所定の操作が検出された場合に、前記視線に基づいて前記ポインティング位置を移動させる、
請求項１０に記載の情報処理システム。
【請求項１２】
前記位置制御部は、前記カーソルが非表示にされた状態において前記視線の非検出時に所定の再表示操作が検出された場合に、前記カーソルを非表示にしたときの前記カーソルの位置に前記ポインティング位置を決定する、
請求項１０に記載の情報処理システム。
【請求項１３】
前記位置制御部は、前記操作に基づいて前記ポインティング位置を表示領域の内部または外部に決定する、
請求項１に記載の情報処理システム。
【請求項１４】
前記表示制御部は、前記ポインティング位置が前記表示領域の内部に収まらない場合、カーソルの位置を前記表示領域の端部に固定する、
請求項１３に記載の情報処理システム。
【請求項１５】
前記表示制御部は、前記ポインティング位置が表示領域の内部に収まらない場合、前記ポインティング位置と前記表示領域の端部との距離に応じて前記カーソルを変化させる、
請求項１４に記載の情報処理システム。
【請求項１６】
前記位置制御部は、前記ポインティング位置が表示領域の内部に収まらない場合、前記ポインティング位置を前記表示領域の端部に固定する、
請求項１に記載の情報処理システム。
【請求項１７】
ユーザの視線を検出することと、
前記ユーザによる空間上の操作を検出することと、
前記操作に基づいてポインティング位置を決定することと、
所定の操作が検出された場合に所定のオブジェクトを表示させることと、
を含み、
前記オブジェクトは、前記所定の操作が検出されてから所定の時間が経過するまで動きを有する動画であり、
プロセッサにより前記所定の操作が検出された場合に前記視線に基づいて前記ポインティング位置を移動させ、少なくとも前記所定のオブジェクトが表示されてから前記所定の時間が経過するまで前記ポインティング位置を固定すること、
を含む、情報処理方法。
【請求項１８】
コンピュータを、
ユーザの視線を検出する視線検出部と、
前記ユーザによる空間上の操作を検出する操作検出部と、
前記操作に基づいてポインティング位置を決定する位置制御部と、
所定の操作が検出された場合に所定のオブジェクトを表示させる表示制御部と、
を備え、
前記オブジェクトは、前記所定の操作が検出されてから所定の時間が経過するまで動きを有する動画であり、
前記位置制御部は、前記所定の操作が検出された場合に前記視線に基づいて前記ポインティング位置を移動させ、少なくとも前記所定のオブジェクトが表示されてから前記所定の時間が経過するまで前記ポインティング位置を固定する、
情報処理システムとして機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理システム、情報処理方法およびプログラムに関する。
【背景技術】
【０００２】
近年、ユーザによるポインティング位置を制御する手法として様々な手法が開示されている。例えば、センサによって検出された動きに基づいてポインティング位置を決定させる手法が開示されている。一例として、ジャイロセンサによって検出された角速度に基づいてポインティング位置を決定する手法が開示されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】国際公開第２００９／００８３７２号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、ポインティング位置を制御するに際して、ポインティング位置をユーザの所望する位置に容易に移動させることが可能な技術が提供されることが望ましい。
【課題を解決するための手段】
【０００５】
本開示によれば、ユーザの視線を検出する視線検出部と、前記ユーザによる空間上の操作を検出する操作検出部と、前記操作に基づいてポインティング位置を決定する位置制御部と、を備え、前記位置制御部は、所定の操作が検出された場合に前記視線に基づいて前記ポインティング位置を移動させる、情報処理システムが提供される。【０００６】
本開示によれば、ユーザの視線を検出することと、前記ユーザによる空間上の操作を検出することと、前記操作に基づいてポインティング位置を決定することと、を含み、プロセッサにより所定の操作が検出された場合に前記視線に基づいて前記ポインティング位置を移動させること、を含む、情報処理方法が提供される。【０００７】
本開示によれば、コンピュータを、ユーザの視線を検出する視線検出部と、前記ユーザによる空間上の操作を検出する操作検出部と、前記操作に基づいてポインティング位置を決定する位置制御部と、を備え、前記位置制御部は、所定の操作が検出された場合に前記視線に基づいて前記ポインティング位置を移動させる、情報処理システムとして機能させるためのプログラムが提供される。
【発明の効果】
【０００８】
以上説明したように本開示によれば、ポインティング位置を制御するに際して、ポインティング位置をユーザの所望する位置に容易に移動させることが可能である。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【０００９】
【図１】本開示の実施形態に係る情報処理システムの概要を説明するための図である。
【図２】同実施形態に係る情報処理システムの機能構成例を示す図である。
【図３】ユーザによる操作を所定の操作として検出するための条件の例を説明するための図である。
【図４】ユーザによる操作を所定の操作として検出するための条件の例を説明するための図である。
【図５】ユーザによる操作を所定の操作として検出しないための条件の例を説明するための図である。
【図６】所定の操作が検出された場合における位置移動前のカーソル表示例を示す図である。
【図７】所定の操作が検出された場合におけるオブジェクト表示例を示す図である。
【図８】所定の操作が検出された場合における位置移動後のカーソル表示例を示す図である。
【図９】本開示の実施形態に係る情報処理システムの動作の流れを示すフローチャートである。
【図１０】ポインティング位置が表示領域の端部に達した場合におけるカーソル表示の第一の例を示す図である。
【図１１】ポインティング位置が表示領域の内部に収まらない場合におけるカーソル表示の第一の例を示す図である。
【図１２】ポインティング位置が表示領域の端部に達した場合におけるカーソル表示の第二の例を示す図である。
【図１３】ポインティング位置が表示領域の内部に収まらない場合におけるカーソル表示の第二の例を示す図である。
【図１４】本開示の実施形態に係る情報処理システムの機能構成の変形例を示す図である。
【図１５】同実施形態に係る情報処理システムのハードウェア構成例を示す図である。
【発明を実施するための形態】
【００１０】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１１】
また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットまたは数字を付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
【００１２】
なお、説明は以下の順序で行うものとする。
１．情報処理システムの概要
２．情報処理システムの機能構成例
３．情報処理システムの機能詳細
４．情報処理システムの機能構成の変形例
５．情報処理システムのハードウェア構成例
６．むすび
【００１３】
＜１．情報処理システムの概要＞
まず、本開示の実施形態に係る情報処理システム１０の概要について説明する。図１は、本開示の実施形態に係る情報処理システム１０の概要を説明するための図である。図１を参照すると、情報処理システム１０は、検出部１２０、撮像部１３０および表示部１５０を備えている。表示部１５０は表示領域１５１を有し、表示領域１５１に画面を表示する。表示領域１５１に表示される画面は特に限定されない。図１に示したように、ユーザＵは、表示領域１５１に表示された画面を閲覧可能な位置に存在してよい。
【００１４】
検出部１２０は、所定の検出データを検出する。検出部１２０によって検出された検出データは、ユーザＵによるポインティング位置Ｐの決定に用いられる。本明細書においては、検出部１２０がジャイロセンサを含み、検出部１２０の初期姿勢とジャイロセンサによって検出された角速度とに応じた表示領域１５１におけるＸＹ座標をポインティング位置Ｐとして算出する例を主に説明する。かかるポインティング位置Ｐの算出の詳細は、特許文献１（国際公開第２００９／００８３７２号）に開示されている。しかし、ユーザＵによるポインティング位置Ｐの決定は、後に説明するようにどのようになされてもよい。
【００１５】
また、図１に示すように、表示部１５０は、ポインティング位置ＰにカーソルＣｕを表示してよい。図１に示した例では、カーソルＣｕは、鮮明度の高い白抜きの矢印によって示されているが、カーソルＣｕの色、形状、鮮明度などは限定されない。例えば、カーソルＣｕの形状は、後に説明するように楕円や円などであってもよい。また、カーソルＣｕは、表示領域１５１に表示される他のオブジェクトよりも鮮明度が低くてもよい。また、表示部１５０は、ポインティング位置ＰにカーソルＣｕを表示しなくてもよい。
【００１６】
例えば、表示領域１５１にオブジェクトが表示されている場合、そのオブジェクトにポインティング位置Ｐが合わせられた状態においてユーザＵによって所定の決定操作がなされると、このオブジェクトに対応する動作が実行されてよい。表示領域１５１に表示されるオブジェクトは特に限定されず、静止画であってもよいし、動画であってもよいし、ボタンであってもよいし、文字列であってもよい。
【００１７】
また、所定の決定操作も特に限定されず、検出部１２０に設けられたボタンを押下する操作であってもよいし、検出部１２０が所定の動きを示すように検出部１２０を動かす操作であってもよい。オブジェクトに対応する動作も特に限定されず、オブジェクトに対応する画面への遷移であってよい。撮像部１３０は、ユーザＵの身体の一部または全部を含む画像を撮像する機能を有する。ユーザＵの身体の一部が撮像される場合、ユーザＵの身体の一部は、ユーザＵの顔領域であってもよいし、ユーザＵの目領域であってもよい。
【００１８】
ここで、検出部１２０によって検出された検出データに基づいてポインティング位置Ｐが決定される場合、ポインティング位置Ｐをユーザの所望する位置に容易に移動させることが可能な技術が提供されることが望ましい。そこで、本明細書においては、検出部１２０によって検出された検出データに基づいてポインティング位置Ｐが決定される場合、ポインティング位置Ｐをユーザの所望する位置に容易に移動させることが可能な技術を提案する。
【００１９】
具体的な事例としては、ポインティング位置Ｐがユーザの所望する位置から外れてしまう可能性もある。このようにポインティング位置Ｐがユーザの所望する位置から外れてしまう原因としては、ユーザＵの意図とは無関係にポインティング位置Ｐが動いてしまうドリフト現象や、ポインティング位置Ｐの初期位置がユーザの所望する位置から外れてしまっていることなどが想定される。ポインティング位置Ｐをユーザの所望する位置に容易に移動させる技術は、このような状況に対して特に有効に適用され得る。
【００２０】
以上、本開示の実施形態に係る情報処理システム１０の概要について説明した。
【００２１】
＜２．情報処理システムの機能構成例＞
続いて、本開示の実施形態に係る情報処理システム１０の機能構成例について説明する。図２は、本開示の実施形態に係る情報処理システム１０の機能構成例を示す図である。図２に示すように、情報処理システム１０は、制御部１１０、検出部１２０、撮像部１３０、記憶部１４０および表示部１５０を備える。
【００２２】
制御部１１０は、記憶部１４０または他の記憶媒体に記憶されるプログラムを実行することにより制御部１１０が有する様々な機能を発揮する。図２に示すように、制御部１１０は、視線検出部１１１、操作検出部１１２、位置制御部１１３および表示制御部１１４などの各機能ブロックを有する。これら各機能ブロックが有する機能の詳細については後に説明する。
【００２３】
なお、制御部１１０は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）、ＳｏＣ（Ｓｙｓｔｅｍ  ｏｎ  Ｃｈｉｐ）などのプロセッサにより構成されてよい。また、制御部１１０は、各種の演算処理を実行するための電子回路により構成されてよい。
【００２４】
検出部１２０は、所定の検出データを検出して制御部１１０に出力する。本明細書においては、検出部１２０がジャイロセンサを含む場合を主に説明するが、検出部１２０は他のセンサを含んでもよい。例えば、検出部１２０は３軸加速度センサを含んでもよい。また、後に説明するように、撮像部１３０によってユーザによる空間上の動きが検出される場合には、情報処理システム１０は、検出部１２０を備えなくてもよい。なお、図２に示した例では、検出部１２０は情報処理システム１０と一体化されているが、検出部１２０は、情報処理システム１０と別体に構成されていてもよい。
【００２５】
撮像部１３０は、画像を撮像するカメラモジュールである。撮像部１３０は、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子を用いて実空間を撮像し、画像を生成する。撮像部１３０により生成される画像は、制御部１１０に出力される。なお、図２に示した例では、撮像部１３０は情報処理システム１０と一体化されているが、撮像部１３０は、情報処理システム１０と別体に構成されていてもよい。例えば、情報処理システム１０と有線または無線で接続される撮像装置が撮像部１３０として扱われてもよい。
【００２６】
記憶部１４０は、半導体メモリまたはハードディスクなどの記憶媒体を用いて、制御部１１０を動作させるためのプログラムを記憶する。また、例えば、記憶部１４０は、プログラムによって使用される各種のデータを記憶することもできる。なお、図２に示した例では、記憶部１４０は情報処理システム１０と一体化されているが、記憶部１４０は情報処理システム１０と別体に構成されていてもよい。
【００２７】
表示部１５０は、制御部１１０による制御に従って、各種情報の表示を行う。表示部１５０は、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）により実現されてもよいし、有機ＥＬ（Ｅｌｅｃｔｒｏ−ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイにより実現されてもよいし、プロジェクタにより実現されてもよいし、ホログラムディスプレイにより実現されてもよい。なお、図２に示した例では、表示部１５０は情報処理システム１０と一体化されているが、表示部１５０は情報処理システム１０と別体に構成されていてもよい。例えば、情報処理システム１０と有線または無線で接続される表示装置が表示部１５０として扱われてもよい。
【００２８】
以上、本開示の実施形態に係る情報処理システム１０の機能構成例について説明した。
【００２９】
＜３．情報処理システムの機能詳細＞
続いて、本開示の実施形態に係る情報処理システム１０の機能詳細について説明する。情報処理システム１０において、視線検出部１１１は、ユーザの視線を検出する。視線検出部１１１によるユーザの視線の検出手法は特に限定されない。例えば、視線検出部１１１は、撮像部１３０によって撮像された画像に目領域が映っている場合には、目領域に基づいてユーザの視線を検出すればよい。より詳細には、視線検出部１１１は、目領域に対するパターンマッチングによりユーザの視線を検出してよい。
【００３０】
操作検出部１１２は、検出データに基づいてユーザによる空間上の操作を検出する。そして、位置制御部１１３は、操作検出部１１２によって検出された操作に基づいてポインティング位置Ｐを決定する。本明細書においては、位置制御部１１３が、検出部１２０の初期姿勢とジャイロセンサによって検出された角速度とに応じた表示領域１５１におけるＸＹ座標をポインティング位置Ｐとして算出する例を主に説明する。しかし、ポインティング位置Ｐの決定は、後に説明するようにどのようになされてもよい。
【００３１】
また、位置制御部１１３は、操作検出部１１２によって所定の操作が検出された場合にユーザの視線に基づいてポインティング位置Ｐを移動させる。そうすれば、ポインティング位置Ｐをユーザの所望する位置に容易に移動させることが可能となる。操作検出部１１２によって検出される所定の操作は特に限定されない。例えば、操作検出部１１２は、検出データに基づいて所定の操作を検出してよい。例えば、操作検出部１１２は、検出データから認識される所定の動きを所定の操作として検出してよい。
【００３２】
なお、本明細書においては、検出部１２０の初期姿勢とジャイロセンサによって検出された角速度とに応じた表示領域１５１におけるＸＹ座標の所定の変化を所定の動きとして扱う場合を主に説明するが、所定の動きは特に限定されない。例えば、加速度センサによって検出される加速度の所定の変化が所定の動きとして扱われてもよいし、ジャイロセンサによって検出される角速度の所定の変化が所定の動きとして扱われてもよい。また、後に説明するように、操作検出部１１２は、検出データから認識される所定の状態を所定の操作として検出してもよい。
【００３３】
ここで、所定の操作の例について、図３および図４を参照しながら、さらに詳細に説明する。図３および図４は、ユーザによる操作を所定の操作として検出するための条件の例を説明するための図である。図３には、ポインティング位置Ｐの軌跡が示されており、開始位置Ｐｓおよび終了位置Ｐｅが示されている。例えば、操作検出部１１２は、所定方向の動きの変化が所定の条件を満たした場合に、所定の操作を検出してもよい。図３には、所定時間内に水平方向の反転が上限回数を超えた場合に、操作検出部１１２によって所定の操作が検出される例が示されている。
【００３４】
なお、図３には、上限回数が３回である場合が例として示されているが、上限回数は特に限定されない。また、所定方向も水平方向に限定されず、垂直方向であってもよく、他の方向であってもよい。また、所定時間も特に限定されない。例えば、図４に示したように、操作検出部１１２は、反転１回目から所定時間ｔの間に反転３回目を検出した場合には、所定の操作を検出してもよい。所定時間ｔは特に限定されないが、例えば、４００ｍｓであってもよい。また、操作検出部１１２は、反転１回目から所定時間ｔの間に反転３回目が検出されなかった場合には、反転１回目からの経過時間をリセットしてよい。
【００３５】
図３には、所定時間内に水平方向の反転が上限回数を超えた場合に、操作検出部１１２によって所定の操作が検出される例を示したが、所定の操作が検出される例はかかる例に限定されない。例えば、検出データから認識される動きによって所定の軌跡が描かれた場合に、操作検出部１１２によって所定の操作が検出されてもよい。所定の軌跡は特に限定されないが、円であってもよいし、所定の文字や所定の記号などの筆跡であってもよい。
【００３６】
以上に説明したようにして、操作検出部１１２によって所定の操作が検出され得るが、所定の操作は誤って検出されてしまう可能性もある。例えば、ユーザが垂直方向に検出部１２０を持ち上げた場合、検出部１２０が水平方向にも振動してしまい、所定時間内に水平方向の反転が上限回数を超えてしまう場合もあり得る。そこで、所定の動きが検出されたとしても、所定の操作が検出されない場合があってもよい。具体的な例について図５を参照しながら、さらに詳細に説明する。
【００３７】
図５は、ユーザによる操作を所定の操作として検出しないための条件の例を説明するための図である。例えば、操作検出部１１２は、所定時間内に水平方向の反転が上限回数を超えたとしても、所定時間におけるポインティング位置Ｐの垂直方向への移動量Ｍ（図５参照）が上限量を超える場合には、所定の操作を検出しなくてよい。また、例えば、所定時間内に水平方向の反転が上限回数を超えたとしても、所定時間におけるポインティング位置Ｐの水平方向への振れ幅Ｗ（図５参照）が下限量を超える場合には、所定の操作を検出しなくてよい。
【００３８】
図６〜図８を参照しながら、情報処理システム１０の機能についてさらに詳細に説明する。図１に示した例において、ユーザＵがポインティング位置Ｐを移動させたいと考えた場合を想定する。かかる場合、ユーザＵは所定の操作が検出されるようにジェスチャを行う。そうすれば、操作検出部１１２によって所定の操作が検出され、位置制御部１１３によってポインティング位置Ｐが視線に基づいて移動される。図６は、所定の操作が検出された場合における位置移動前のカーソル表示例を示す図である。
【００３９】
図６を参照すると、表示制御部１１４がポインティング位置ＰにカーソルＣｕを表示させている。ここで、ユーザＵがポインティング位置Ｐを移動させたいと考えた場合を想定する。かかる場合、ユーザＵは、検出部１２０を水平方向に振り、ポインティング位置Ｐを移動させたいと考える位置に視線を移動させる。すると、例えば、所定時間内に水平方向の反転が上限回数を超えた場合に、操作検出部１１２によって所定の操作が検出され、視線に基づいてポインティング位置Ｐが移動される。例えば、ポインティング位置Ｐの移動先は、ユーザＵの視線と表示領域１５１との交点であってよい。図６を参照すると、かかる交点は視点Ｖとして示されている。
【００４０】
所定の操作が検出された旨はユーザに把握されるのがよい。そこで、表示制御部１１４は、所定の操作が検出された場合に所定のオブジェクトを表示させるようにするとよい。図７は、所定の操作が検出された場合におけるオブジェクト表示例を示す図である。図７に示すように、表示制御部１１４は、所定の操作が検出された場合に、オブジェクトＯｂｊを表示させてよい。オブジェクトＯｂｊは、どのようなオブジェクトであってもよいが、ポインティング位置Ｐを基準としたオブジェクトであるとよい。図７には、オブジェクトＯｂｊがポインティング位置Ｐを中心とした円である場合が例として示されている。
【００４１】
所定の操作が検出された場合、ポインティング位置Ｐの制御は継続されてもよいが、所定の操作が検出されるようにユーザＵがジェスチャを行っている間もポインティング位置Ｐが移動してしまうと、ポインティング位置ＰがユーザＵの意志に反して移動してしまう可能性もある。そこで、位置制御部１１３は、少なくともオブジェクトＯｂｊが表示されてから所定時間が経過するまでポインティング位置Ｐを固定するとよい。
【００４２】
図７には、徐々にオブジェクトＯｂｊが小さくなっていき、オブジェクトＯｂｊの表示が開始されてから所定時間が経過したときには、オブジェクトＯｂｊが視点Ｖに収束してオブジェクトＯｂｊの表示が終了される動画である場合が例として示されている。この例のように、表示制御部１１４は、ポインティング位置Ｐが固定されている期間がユーザＵに把握されるようなオブジェクトを表示させるとよい。そうすれば、ユーザＵは、ポインティング位置Ｐの移動が再開されるタイミングを把握することが可能となる。
【００４３】
図８は、所定の操作が検出された場合における位置移動後のカーソル表示例を示す図である。図８に示すように、表示制御部１１４は、このようにしてユーザＵの視線に基づいて移動されたポインティング位置ＰにカーソルＣｕを表示させてよい。また、ポインティング位置Ｐが固定されていない場合には、位置制御部１１３は、検出データに基づいてポインティング位置Ｐを制御することが可能となる。かかる場合、表示制御部１１４は、ポインティング位置Ｐの移動に合わせてカーソルＣｕを移動させてよい。
【００４４】
なお、ユーザＵの視線が検出されていないときには、所定の操作が検出されても視線に応じたポインティング位置Ｐの移動がなされないため、ユーザＵにフィードバックがなされるとよい。例えば、表示制御部１１４は、視線の非検出時に所定のインジケータを表示させてもよい。インジケータは特に限定されないが、視線が検出されていない旨を示すオブジェクト（例えば、メッセージなど）の表示であってもよい。また、表示制御部１１４は、視線の非検出時にカーソルＣｕを変化させてもよい。カーソルＣｕをどのように変化させるかは限定されないが、カーソルＣｕの色、形状および鮮明度の少なくとも何れか１つを変化させてもよい。
【００４５】
また、ユーザＵの視線が検出されていないときに所定の操作が検出された場合には、視線に応じたポインティング位置Ｐの移動がなされないため、ユーザＵにフィードバックがなされるとよい。すなわち、表示制御部１１４は、視線の非検出時に所定の操作が検出された場合には、所定のフィードバックを行うとよい。フィードバックの手法は特に限定されないが、視線が検出されていない旨を示すオブジェクト（例えば、メッセージなど）の表示であってもよい。
【００４６】
カーソルＣｕは常に表示され続けてもよいが、所定のカーソル非表示条件が満たされた場合には非表示にされてもよい。すなわち、表示制御部１１４は、所定のカーソル非表示条件が満たされた場合にカーソルＣｕを非表示にしてもよい。カーソル非表示条件は特に限定されないが、表示制御部１１４は、検出データから検出される動き量が閾値を下回る時間が所定時間継続された場合には、カーソルＣｕを非表示にしてもよい。かかる場合には、ユーザＵがポインティング位置Ｐを変更する意図を有していないと考えられるからである。
【００４７】
また、カーソルＣｕが表示されているか否かによって異なる制御がなされてもよい。例えば、表示制御部１１４は、カーソルＣｕが表示されている状態において視線の非検出時に所定の操作が検出された場合に、所定のフィードバックを行ってもよい。フィードバックの手法は特に限定されないが、視線が検出されていない旨を示すオブジェクト（例えば、メッセージなど）の表示であってもよい。
【００４８】
一方、位置制御部１１３は、カーソルＣｕが非表示にされた状態において所定の操作が検出された場合に、視線に基づいてポインティング位置Ｐを移動させてよい。そうすれば、ポインティング位置Ｐをユーザが見失う可能性を低減することが可能になるという効果を奏し得る。表示領域１５１が大きくなるほど、かかる効果が顕著になり得る。ポインティング位置Ｐの移動先は、ユーザＵの視線と表示領域１５１との交点であってよい。
【００４９】
また、位置制御部１１３は、カーソルＣｕが非表示にされた状態において視線の非検出時に所定の再表示操作が検出された場合には、視線に応じたポインティング位置Ｐの移動がなされない。そのため、かかる場合には、位置制御部１１３は、カーソルＣｕを非表示にしたときのカーソルＣｕの位置にポインティング位置Ｐを決定してもよい。所定の再表示操作は特に限定されないが、検出データに基づいて検出される動きのない状態から動きのある状態への遷移であってもよい。
【００５０】
続いて、図９を参照しながら、本開示の実施形態に係る情報処理システム１０の動作の流れを説明する。図９は、本開示の実施形態に係る情報処理システム１０の動作の流れを示すフローチャートである。なお、図９に示した動作の流れは、情報処理システム１０の動作の流れの一例を示したに過ぎない。したがって、情報処理システム１０の動作の流れは、図９に示した例に限定されない。
【００５１】
操作検出部１１２は、検出データに基づいてユーザによる空間上の操作を検出する（Ｓ１１）。続いて、位置制御部１１３は、操作検出部１１２によって検出された操作に基づいてポインティング位置を決定する（Ｓ１２）。続いて、表示制御部１１４は、ポインティング位置にカーソルを表示させる（Ｓ１３）。なお、カーソルは表示されなくてもよい。続いて、視線検出部１１１は、ユーザの視線を検出する（Ｓ１４）。ここでは、Ｓ１３の後に、視線検出部１１１による視線検出がなされる例が示されているが、視線検出部１１１による視線検出のタイミングは、Ｓ１３の後に限定されない。
【００５２】
続いて、位置制御部１１３は、操作検出部１１２によって所定の操作が検出されたか否かを判断する（Ｓ１５）。位置制御部１１３は、操作検出部１１２によって所定の操作が検出されなかった場合には（Ｓ１５において「Ｎｏ」）、制御部１１０は、動作をＳ１１に移行させる。一方、位置制御部１１３は、操作検出部１１２によって所定の操作が検出された場合には（Ｓ１５において「Ｙｅｓ」）、視線に基づいてポインティング位置を移動させる（Ｓ１６）。このようにしてポインティング位置が移動されれば、ポインティング位置をユーザの所望する位置に容易に移動させることが可能となる。
【００５３】
所定の操作が検出された旨はユーザに把握されるのがよい。そこで、表示制御部１１４は、所定のオブジェクトを表示させる（Ｓ１７）。また、所定の操作が検出されるようにユーザがジェスチャを行っている間もポインティング位置が移動してしまうと、ポインティング位置がユーザの意志に反して移動してしまう可能性もある。そのため、位置制御部１１３は、少なくともオブジェクトが表示されてから所定時間が経過するまでポインティング位置を固定する（Ｓ１８）。また、表示制御部１１４は、ポインティング位置にカーソルを移動させる（Ｓ１９）。
【００５４】
制御部１１０は、動作を継続させるか否かを判断し（Ｓ２０）、動作を継続させると判断した場合には（Ｓ２０において「Ｙｅｓ」）、動作をＳ１１に移行させる。一方、制御部１１０は、動作を終了させると判断した場合には（Ｓ２０において「Ｎｏ」）、動作を終了させる。以上、図９を参照しながら、本開示の実施形態に係る情報処理システム１０の動作の流れを説明した。
【００５５】
ユーザによる空間上の操作に基づいてポインティング位置が移動された場合、ポインティング位置が表示領域１５１に収まらなくなるような状況も想定される。かかる状況においては、カーソルの位置は表示領域１５１の外部に表示され得ないため、ポインティング位置が表示領域１５１の内部に収まらない場合、表示制御部１１４は、カーソルの位置を表示領域１５１の端部に固定すればよい。
【００５６】
一方、ポインティング位置は、表示領域１５１の内部であってもよいし、表示領域１５１の外部であってもよい。すなわち、位置制御部１１３は、ユーザによる空間上の操作に基づいてポインティング位置を表示領域１５１の内部または外部に決定してよい。第一の例として、位置制御部１１３は、ポインティング位置が表示領域１５１の内部に収まらない場合、ポインティング位置を表示領域１５１の端部に固定してよい。かかる第一の例によれば、ポインティング位置がユーザの所望する位置からずれてしまった場合に、ポインティング位置を表示領域１５１の端部に固定して補正することができる。かかる第一の例について、図１０および図１１を参照しながら、詳細に説明する。
【００５７】
図１０は、ポインティング位置Ｐが表示領域１５１の端部に達した場合におけるカーソル表示の第一の例を示す図である。図１０を参照すると、位置制御部１１３がユーザによる空間上の操作に基づいてポインティング位置Ｐを決定した結果、ポインティング位置Ｐが表示領域１５１の端部に達している。また、表示制御部１１４は、ポインティング位置ＰにカーソルＣｕの位置を表示させている。この状況において、ポインティング位置Ｐが表示領域１５１の外部に移動されるような操作がなされることを想定する。
【００５８】
図１１は、ポインティング位置Ｐが表示領域１５１の内部に収まらない場合におけるカーソル表示の第一の例を示す図である。図１１を参照すると、カーソルＣｕの位置は表示領域１５１の外部に表示され得ないため、ポインティング位置Ｐが表示領域１５１の内部に収まらない場合、表示制御部１１４は、カーソルＣｕの位置を表示領域１５１の端部に固定している。また、位置制御部１１３は、ポインティング位置Ｐが表示領域１５１の内部に収まらない場合、ポインティング位置Ｐを表示領域１５１の端部に固定している。
【００５９】
以上、第一の例においては、ポインティング位置が表示領域１５１の内部に収まらない場合、ポインティング位置が表示領域１５１の端部に固定されることとしたが、ポインティング位置は他の手法により制御されてもよい。第二の例として、位置制御部１１３は、ポインティング位置が表示領域１５１の内部に収まらない場合、ポインティング位置を表示領域１５１の外部に移動させるようにしてもよい。かかる第二の例によれば、ポインティング位置が表示領域１５１に収まらない状況が生じても、ポインティング位置がユーザの所望する位置からずれてしまう可能性が低減され得る。かかる第二の例について、図１２および図１３を参照しながら、詳細に説明する。
【００６０】
図１２は、ポインティング位置Ｐが表示領域１５１の端部に達した場合におけるカーソル表示の第二の例を示す図である。図１２を参照すると、位置制御部１１３がユーザによる空間上の操作に基づいてポインティング位置Ｐを決定した結果、ポインティング位置Ｐが表示領域１５１の端部に達している。また、表示制御部１１４は、ポインティング位置ＰにカーソルＣｕの位置を表示させている。この状況において、ポインティング位置Ｐが表示領域１５１の外部に移動されるような操作がなされることを想定する。
【００６１】
図１３は、ポインティング位置Ｐが表示領域１５１の内部に収まらない場合におけるカーソル表示の第二の例を示す図である。図１３を参照すると、カーソルＣｕの位置は表示領域１５１の外部に表示され得ないため、ポインティング位置Ｐが表示領域１５１の内部に収まらない場合、表示制御部１１４は、カーソルＣｕの位置を表示領域１５１の端部に固定している。また、図１３を参照すると、位置制御部１１３は、ポインティング位置Ｐが表示領域１５１の内部に収まらない場合、表示領域１５１を拡張した仮想平面におけるＸＹ座標にポインティング位置Ｐを決定している。
【００６２】
ここで、ポインティング位置Ｐが表示領域１５１の外部に存在する場合、カーソルＣｕの位置は表示領域１５１の内部にしか表示されないため、ユーザは、ポインティング位置Ｐがどこにあるのかを把握できない状況が起こり得る。そこで、図１３に示したように、表示制御部１１４は、ポインティング位置Ｐが表示領域１５１の内部に収まらない場合、ポインティング位置Ｐと表示領域１５１の端部との距離Ｄに応じてカーソルＣｕを変化させるとよい。
【００６３】
図１３には、表示制御部１１４が、距離Ｄが大きくなるほどカーソルＣｕの変形度合いを強める例が示されている。しかし、カーソルＣｕの変化は、カーソルＣｕの色の変化であってもよい。例えば、表示制御部１１４は、距離Ｄが大きくなるほどカーソルＣｕの色の変化を大きくしてもよい。また、カーソルＣｕの変化は、カーソルＣｕの鮮明度であってもよい。例えば、表示制御部１１４は、距離Ｄが大きくなるほどカーソルＣｕの鮮明度の変化を大きくしてもよい。
【００６４】
以上、本開示の実施形態に係る情報処理システム１０の機能詳細について説明した。
【００６５】
＜４．情報処理システムの機能構成の変形例＞
以上に説明したように、操作検出部１１２は、検出データに基づいてユーザによる空間上の操作を検出する。上記では、検出データが検出部１２０によって検出される例を示したが、検出部１２０によって検出される検出データの代わりに、撮像部１３０によって撮像された画像が用いられてもよい。
【００６６】
図１４は、本開示の実施形態に係る情報処理システム１０の機能構成の変形例を示す図である。図１４に示したように、検出部１２０によって検出される検出データの代わりに、撮像部１３０によって撮像された画像が用いられる場合、情報処理システム１０は検出部１２０を有していなくてもよい。例えば、操作検出部１１２は、撮像部１３０によって撮像された画像から所定の認識対象を認識し、認識対象の動きまたは状態に基づいて操作を検出してよい。認識対象は、ユーザによって動かされる物体であってもよいし、ユーザ自身の身体であってもよい。ユーザ自身の身体は、ユーザ自身の身体の一部であってもよいし、ユーザ自身の身体の全部であってもよい。
【００６７】
例えば、ユーザによって動かされる物体の方向が操作検出部１１２によって検出された場合、位置制御部１１３は、物体の方向に基づいてポインティング位置を決定してもよい。また、物体の動きが操作検出部１１２によって検出された場合、位置制御部１１３は、物体の動きに基づいてポインティング位置を決定してもよい。さらに、操作検出部１１２は、物体が所定の動きを示した場合に、所定の操作を検出してもよいし、物体が所定の状態となった場合に、所定の操作を検出してもよい。
【００６８】
例えば、ユーザ自身の身体の方向が操作検出部１１２によって検出された場合、位置制御部１１３は、ユーザ自身の身体の方向に基づいてポインティング位置を決定してもよい。ユーザ自身の身体の方向は、ユーザの指が示す方向であってもよいし、肘から指先までの方向であってもよい。また、ユーザ自身の身体の動きが操作検出部１１２によって検出された場合、位置制御部１１３は、ユーザ自身の身体の動きに基づいてポインティング位置を決定してもよい。
【００６９】
さらに、操作検出部１１２は、ユーザ自身の身体が所定の動きを示した場合に、所定の操作を検出してもよいし、ユーザ自身の身体が所定の状態となった場合に、所定の操作を検出してもよい。所定の動きは、ユーザが手を振る動きであってもよいし、他の動きであってもよい。また、所定の状態は、ユーザが手を広げた状態であってもよいし、ユーザが手を握った状態であってもよいし、他の状態であってもよい。
【００７０】
＜５．情報処理システムのハードウェア構成例＞
続いて、本開示の実施形態に係る情報処理システム１０のハードウェア構成例について説明する。図１５は、本開示の実施形態に係る情報処理システム１０のハードウェア構成例を示す図である。ただし、図１５に示したハードウェア構成例は、情報処理システム１０のハードウェア構成の一例を示したに過ぎない。したがって、情報処理システム１０のハードウェア構成は、図１５に示した例に限定されない。
【００７１】
図１５に示したように、情報処理システム１０は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）８０１と、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）８０２と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）８０３と、センサ８０４と、入力装置８０８と、出力装置８１０と、ストレージ装置８１１と、ドライブ８１２と、撮像装置８１３と、通信装置８１５とを備える。
【００７２】
ＣＰＵ８０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理システム１０内の動作全般を制御する。また、ＣＰＵ８０１は、マイクロプロセッサであってもよい。ＲＯＭ８０２は、ＣＰＵ８０１が使用するプログラムや演算パラメータなどを記憶する。ＲＡＭ８０３は、ＣＰＵ８０１の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一時記憶する。これらはＣＰＵバスなどから構成されるホストバスにより相互に接続されている。
【００７３】
センサ８０４は、情報処理システム１０の状態を検知するための状態検知センサなどの各種検知用センサとその周辺回路とを含む。センサ８０４としては、例として、測位センサ、傾きセンサ、加速度センサ、ジャイロセンサ、方位センサ、温度センサ、湿度センサ、照度センサなどを挙げることができる。センサ８０４による検知信号は、ＣＰＵ８０１に送られる。これにより、ＣＰＵ８０１は、情報処理システム１０の状態（位置、傾き、加速度、角速度、方位、温度、湿度、照度など）を知ることができる。
【００７４】
入力装置８０８は、マウス、キーボード、タッチパネル、ボタン（電源ボタンなど）、マイクロフォン、スイッチ、ダイヤルおよびレバーなどユーザが情報を入力するための操作部と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ８０１に出力する入力制御回路などから構成されている。情報処理システム１０のユーザは、該入力装置８０８を操作することにより、情報処理システム１０に対して各種のデータを入力したり処理動作を指示したりすることができる。なお、これらの操作部が設けられる位置は特に限定されない。例えば、情報処理システム１０の筐体側面に当該操作部が設けられてもよいし、ディスプレイが設けられる面と同一面上に設けられてもよい。
【００７５】
出力装置８１０は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）、ＯＬＥＤ（Ｏｒｇａｎｉｃ  Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）およびランプなどの表示装置を含んでよい。さらに、出力装置８１０は、スピーカおよびヘッドホンなどの音声出力装置を含んでもよい。例えば、表示装置は、撮像された画像や生成された画像などを表示する。一方、音声出力装置は、音声データなどを音声に変換して出力する。
【００７６】
ストレージ装置８１１は、情報処理システム１０の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置８１１は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置８１１は、ＣＰＵ８０１が実行するプログラムや各種データを格納する。
【００７７】
ドライブ８１２は、記憶媒体用リーダライタであり、情報処理システム１０に内蔵、あるいは外付けされる。ドライブ８１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記憶媒体に記録されている情報を読み出して、ＲＡＭ８０３に出力する。また、ドライブ８１２は、リムーバブル記憶媒体に情報を書き込むこともできる。
【００７８】
撮像装置８１３は、例えば、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子、および撮像素子への被写体像の結像を制御するためのレンズなどの各種の部材を用いて実空間を撮像し、撮像画像を生成する装置である。撮像装置８１３は、静止画を撮像するものであってもよいし、また動画を撮像するものであってもよい。
【００７９】
通信装置８１５は、ネットワークを介して（あるいは、直接的に）外部装置と通信する。通信装置８１５は、無線通信用のインタフェースであってもよく、例えば、通信アンテナ、ＲＦ（Ｒａｄｉｏ  Ｆｒｅｑｕｅｎｃｙ）回路、ベースバンドプロセッサなどを含んでもよい。無線通信用のインタフェースの具体的な例としては、ＣＤＭＡ（Ｃｏｄｅ  Ｄｉｖｉｓｉｏｎ  Ｍｕｌｔｉｐｌｅ
Ａｃｃｅｓｓ）、Ｗ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ  Ｃｏｄｅ  Ｄｉｖｉｓｉｏｎ  Ｍｕｌｔｉｐｌｅ  Ａｃｃｅｓｓ）、ＬＴＥ（Ｌｏｎｇ  Ｔｅｒｍ  Ｅｖｏｌｕｔｉｏｎ）、Ｗｉ−ｆｉ（登録商標）（Ｗｉｒｅｌｅｓｓ  Ｆｉｄｅｌｉｔｙ）のような通信方式に対応したモデムなどの通信ユニットが挙げられる。
【００８０】
また、通信装置８１５は、有線通信用のインタフェースであってもよく、例えば、接続端子、伝送回路およびその他の通信処理用の回路を含んでもよい。また、ＣＰＵ８０１と通信装置８１５とは１つのチップにより構成されてもよいし、別々のデバイスとして実現されてもよい。また、図１５には図示していないが、情報処理システム１０は、例えば、充電式電池のような電力源から供給される電力により駆動してもよく、当該電力源は、情報処理システム１０に対して着脱可能に構成されていてもよい。
【００８１】
以上、本開示の実施形態に係る情報処理システム１０のハードウェア構成例について説明した。例えば、表示部１５０および記憶部１４０は、出力装置８１０およびストレージ装置８１１によりそれぞれ実現され得る。また、制御部１１０は、ＣＰＵ８０１により実現され得る。したがって、コンピュータを制御部１１０を有する情報処理システム１０として機能させるためのプログラムがストレージ装置８１１、ＲＯＭ８０２またはＲＡＭ８０３に保持され、ＣＰＵ８０１が当該プログラムを実行し得る。
【００８２】
また、表示制御情報を表示部１５０に出力するための構成が、「出力部」の一例に相当する。具体的な一例として、出力部は、図１５に示したＣＰＵ８０１とバスとの間に位置する信号線などのデバイスにより実現され得る。また、表示制御情報は、例えば、ＣＰＵ８０１が出力装置８１０（例えば、ディスプレイなど）を制御するための、ＲＧＢ信号やＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｒｆａｃｅ）信号などの映像信号により実現され得る。
【００８３】
なお、上述した情報処理システム１０の動作が実現されれば、図５に示した各構成の位置は特に限定されない。具体的な一例として、検出部１２０および表示部１５０と制御部１１０および記憶部１４０とのそれぞれが、ネットワークを介して接続された互いに異なる情報処理装置に設けられてもよい。この場合には、制御部１１０および記憶部１４０が設けられた情報処理装置が、例えば、ウェブサーバやクラウドサーバのようなサーバに相当し、検出部１２０および表示部１５０が当該サーバにネットワークを介して接続されたクライアントに相当し得る。
【００８４】
上記に示すように、情報処理システム１０が有する機能をクライアントおよびサーバにより実現した場合、制御部１１０を有するサーバが、ネットワークを介してクライアントに表示制御情報を送信するための構成（例えば、モデムなどの通信インタフェース）が、「出力部」の一例に相当する。
【００８５】
また、情報処理システム１０が有する機能をクライアントおよびサーバにより実現した場合には、表示制御情報の内容がシステム構成にあわせて適宜変更されてよい。具体的な一例として、クライアント側においてブラウザ上に前述した画面を表示させる場合には、表示制御情報は、ＨＴＭＬ（ＨｙｐｅｒＴｅｘｔ  Ｍａｒｋｕｐ  Ｌａｎｇｕａｇｅ）、ＳＧＭＬ（Ｓｔａｎｄａｒｄ  Ｇｅｎｅｒａｌｉｚｅｄ  Ｍａｒｋｕｐ  Ｌａｎｇｕａｇｅ）、ＸＭＬ（Ｅｘｔｅｎｓｉｂｌｅ  Ｍａｒｋｕｐ  Ｌａｎｇｕａｇｅ）などのマークアップ言語により実現されてもよい。
【００８６】
また、上記に示す表示制御情報は、あくまで一例であり、表示制御部１１４と表示部１５０との間で情報を送受信するための方式、伝送路の種別、または、情報の送受信に用いる媒体（例えば、無線信号や光）に応じて適宜変更されてもよい。
【００８７】
＜６．むすび＞
以上説明したように、本開示の実施形態によれば、ユーザの視線を検出する視線検出部と、前記ユーザによる空間上の操作を検出する操作検出部と、前記操作に基づいてポインティング位置を決定する位置制御部と、を備え、前記位置制御部は、所定の操作が検出された場合に前記視線に基づいて前記ポインティング位置を移動させる、情報処理システムが提供される。かかる構成によれば、ポインティング位置をユーザの所望する位置に容易に移動させることが可能となる。
【００８８】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【００８９】
例えば、上記した例では、空間上の操作を行うユーザが１人である場合を主に説明したが、空間上の操作を行うユーザは複数人であってもよい。かかる場合には、位置制御部１１３によって複数のユーザそれぞれのポインティング位置が決定されてよい。また、位置制御部１１３は、所定の操作が検出された場合、その操作を行ったユーザの視線に応じてそのユーザのポインティング位置を移動させてよい。
【００９０】
また、表示制御部１１４は、複数のユーザそれぞれのポインティング位置にカーソルを表示させてよい。このとき、複数のユーザそれぞれのカーソルはユーザごとに異なっていてもよい。例えば、表示制御部１１４は、ユーザごとに異なった色でカーソルを表示させてもよい。かかる場合、表示制御部１１４は、ユーザによって操作される検出部１２０の色にカーソルの色を合わせてもよい。検出部１２０の色は、表示制御部１１４によって画像から認識されてもよいし、情報処理システム１０に登録されている検出部１２０のＩＤに応じて決められてもよい。
【００９１】
また、例えば、情報処理システム１０の動作は、必ずしもフローチャートに記載された順序に沿って時系列になされる必要はない。例えば、情報処理システム１０の動作は、フローチャートに記載した順序と異なる順序でなされてもよいし、フローチャートに記載された動作の少なくとも一部が並列的になされてもよい。
【００９２】
また、コンピュータに内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上記した情報処理システム１０が有する機能と同等の機能を発揮させるためのプログラムも作成可能である。また、該プログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。
【００９３】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【００９４】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
ユーザの視線を検出する視線検出部と、
前記ユーザによる空間上の操作を検出する操作検出部と、
前記操作に基づいてポインティング位置を決定する位置制御部と、を備え、
前記位置制御部は、所定の操作が検出された場合に前記視線に基づいて前記ポインティング位置を移動させる、
情報処理システム。
（２）
前記情報処理システムは、前記所定の操作が検出された場合に所定のオブジェクトを表示させる表示制御部を備える、
前記（１）に記載の情報処理システム。
（３）
前記位置制御部は、少なくとも前記所定のオブジェクトが表示されてから所定時間が経過するまで前記ポインティング位置を固定する、
前記（２）に記載の情報処理システム。
（４）
前記表示制御部は、前記視線の非検出時に前記所定の操作が検出された場合に、所定のフィードバックを行う、
前記（２）または（３）に記載の情報処理システム。
（５）
前記表示制御部は、前記視線の非検出時に所定のインジケータを表示させる、
前記（２）〜（４）のいずれか一項に記載の情報処理システム。
（６）
前記表示制御部は、前記視線の非検出時にカーソルを変化させる、
前記（２）〜（４）のいずれか一項に記載の情報処理システム。
（７）
前記操作検出部は、検出データに基づいて前記所定の操作を検出する、
前記（１）〜（６）のいずれか一項に記載の情報処理システム。
（８）
前記操作検出部は、前記検出データから認識される所定の状態を前記所定の操作として検出する、
前記（７）に記載の情報処理システム。
（９）
前記操作検出部は、前記検出データから認識される所定の動きを前記所定の操作として検出する、
前記（７）に記載の情報処理システム。
（１０）
前記表示制御部は、前記ポインティング位置にカーソルを表示させる、
前記（２）〜（９）のいずれか一項に記載の情報処理システム。
（１１）
前記表示制御部は、前記カーソルが表示されている状態において前記視線の非検出時に前記所定の操作が検出された場合に、所定のフィードバックを行う、
前記（１０）に記載の情報処理システム。
（１２）
前記表示制御部は、所定のカーソル非表示条件が満たされた場合に前記カーソルを非表示にする、
前記（２）〜（１１）のいずれか一項に記載の情報処理システム。
（１３）
前記位置制御部は、前記カーソルが非表示にされた状態において前記所定の操作が検出された場合に、前記視線に基づいて前記ポインティング位置を移動させる、
前記（１２）に記載の情報処理システム。
（１４）
前記位置制御部は、前記カーソルが非表示にされた状態において前記視線の非検出時に所定の再表示操作が検出された場合に、前記カーソルを非表示にしたときの前記カーソルの位置に前記ポインティング位置を決定する、
前記（１２）に記載の情報処理システム。
（１５）
前記位置制御部は、前記操作に基づいて前記ポインティング位置を表示領域の内部または外部に決定する、
前記（２）〜（１４）のいずれか一項に記載の情報処理システム。
（１６）
前記表示制御部は、前記ポインティング位置が前記表示領域の内部に収まらない場合、前記カーソルの位置を前記表示領域の端部に固定する、
前記（１５）に記載の情報処理システム。
（１７）
前記表示制御部は、前記ポインティング位置が表示領域の内部に収まらない場合、前記ポインティング位置と前記表示領域の端部との距離に応じて前記カーソルを変化させる、
前記（１６）に記載の情報処理システム。
（１８）
前記位置制御部は、前記ポインティング位置が表示領域の内部に収まらない場合、前記ポインティング位置を前記表示領域の端部に固定する、
前記（１）〜（１４）のいずれか一項に記載の情報処理システム。
（１９）
ユーザの視線を検出することと、
前記ユーザによる空間上の操作を検出することと、
前記操作に基づいてポインティング位置を決定することと、を含み、
プロセッサにより所定の操作が検出された場合に前記視線に基づいて前記ポインティング位置を移動させること、
を含む、情報処理方法。
（２０）
コンピュータを、
ユーザの視線を検出する視線検出部と、
前記ユーザによる空間上の操作を検出する操作検出部と、
前記操作に基づいてポインティング位置を決定する位置制御部と、を備え、
前記位置制御部は、所定の操作が検出された場合に前記視線に基づいて前記ポインティング位置を移動させる、
情報処理システムとして機能させるためのプログラム。
【符号の説明】
【００９５】
１０    情報処理システム
１１０  制御部
１１１  視線検出部
１１２  操作検出部
１１３  位置制御部
１１４  表示制御部
１２０  検出部
１３０  撮像部
１４０  記憶部
１５０  表示部
１５１  表示領域
Ｃｕ    カーソル
Ｄ      距離
Ｏｂｊ  オブジェクト
Ｐ      ポインティング位置
Ｕ      ユーザ
【図１】
0006504058.tif 000002
【図２】
0006504058.tif 000003
【図３】
0006504058.tif 000004
【図４】
0006504058.tif 000005
【図５】
0006504058.tif 000006
【図６】
0006504058.tif 000007
【図７】
0006504058.tif 000008
【図８】
0006504058.tif 000009
【図９】
0006504058.tif 000010
【図１０】
0006504058.tif 000011
【図１１】
0006504058.tif 000012
【図１２】
0006504058.tif 000013
【図１３】
0006504058.tif 000014
【図１４】
0006504058.tif 000015
【図１５】
0006504058.tif 000016