(57)【要約】【課題】ユーザの体の一部を用いた指示による機器の操作における操作性を向上させる。【解決手段】ユーザの一方の目が開いており他方の目が閉じている片目つぶり状態の検出を実行する検出部と、前記ユーザの体の一部により指示される指示位置の特定を、前記検出部による前記片目つぶり状態の検出結果に応じて実行する制御部と、を備える、情報処理装置を提供する。【選択図】図２
2019008351.tif 000002
【特許請求の範囲】
【請求項１】
ユーザの一方の目が開いており他方の目が閉じている片目つぶり状態の検出を実行する検出部と、
前記ユーザの体の一部により指示される指示位置の特定を、前記検出部による前記片目つぶり状態の検出結果に応じて実行する制御部と、
を備える、
情報処理装置。
【請求項２】
前記制御部は、前記一方の目と前記ユーザの指先とを結ぶ直線上の位置を前記指示位置として特定する、
請求項１に記載の情報処理装置。
【請求項３】
前記制御部は、前記ユーザの指先の延長線上の位置を前記指示位置として特定する、
請求項１に記載の情報処理装置。
【請求項４】
前記制御部は、前記指示位置の特定モードを、前記一方の目と前記ユーザの指先とを結ぶ直線上の位置を前記指示位置として特定する第１特定モードと、前記指先の延長線上の位置を前記指示位置として特定する第２特定モードとの間で切り替える、
請求項１に記載の情報処理装置。
【請求項５】
前記制御部は、前記指示位置の指示に用いられる前記ユーザの指の向きに応じて、前記指示位置の特定モードの切り替えを実行する、
請求項４に記載の情報処理装置。
【請求項６】
前記制御部は、前記一方の目と前記指先との間の距離に応じて、前記指示位置の特定モードの切り替えを実行する、
請求項４に記載の情報処理装置。
【請求項７】
前記指示位置は、少なくとも前記ユーザの指先を用いて指示され、
前記制御部は、前記指示位置の候補である指示位置候補が複数ある場合、前記一方の目と前記指先との間の距離に基づいて、複数の前記指示位置候補の中から前記指示位置を特定する、
請求項１に記載の情報処理装置。
【請求項８】
前記制御部は、前記ユーザにより選択されるオブジェクトの候補である選択オブジェクト候補を前記指示位置に基づいて指定する、
請求項１に記載の情報処理装置。
【請求項９】
前記制御部は、前記指示位置上に位置するオブジェクトを前記選択オブジェクト候補として指定する、
請求項８に記載の情報処理装置。
【請求項１０】
前記制御部は、前記指示位置の軌跡により示されるオブジェクトを前記選択オブジェクト候補として指定する、
請求項８に記載の情報処理装置。
【請求項１１】
前記制御部は、前記選択オブジェクト候補の指定モードを、前記指示位置上に位置するオブジェクトを前記選択オブジェクト候補として指定する第１指定モードと、前記指示位置の軌跡により示されるオブジェクトを前記選択オブジェクト候補として指定する第２指定モードとの間で切り替える、
請求項８に記載の情報処理装置。
【請求項１２】
前記制御部は、前記ユーザの体の一部の形状に応じて、前記選択オブジェクト候補の指定モードの切り替えを実行する、
請求項１１に記載の情報処理装置。
【請求項１３】
前記制御部は、前記選択オブジェクト候補の指定の前に、前記ユーザにより選択され得るオブジェクトを映す画像を各オブジェクトが映る領域ごとに分割する、
請求項８に記載の情報処理装置。
【請求項１４】
前記制御部は、前記ユーザの体の一部による決定動作が検出された場合に、前記選択オブジェクト候補を前記ユーザにより選択されたオブジェクトである選択オブジェクトとして決定する、
請求項８に記載の情報処理装置。
【請求項１５】
前記制御部は、前記選択オブジェクト候補を表示装置に強調表示させる、
請求項８に記載の情報処理装置。
【請求項１６】
前記制御部は、前記指示位置を表示装置に表示させる、
請求項１に記載の情報処理装置。
【請求項１７】
前記制御部は、前記片目つぶり状態が検出されている場合に、前記指示位置の特定を実行する、
請求項１に記載の情報処理装置。
【請求項１８】
ユーザの一方の目が開いており他方の目が閉じている片目つぶり状態の検出を情報処理装置によって実行することと、
前記ユーザの体の一部により指示される指示位置の特定を、前記情報処理装置による前記片目つぶり状態の検出結果に応じて実行することと、
を含む、
情報処理方法。
【請求項１９】
コンピュータを、
ユーザの一方の目が開いており他方の目が閉じている片目つぶり状態の検出を実行する検出部と、
前記ユーザの体の一部により指示される指示位置の特定を、前記検出部による前記片目つぶり状態の検出結果に応じて実行する制御部と、
として機能させるためのプログラムが記録された、コンピュータに読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置、情報処理方法及び記録媒体に関する。
【背景技術】
【０００２】
近年、各種機器についての直観的な操作を実現するためのユーザインタフェースとして、ユーザの体の一部を用いた指示により操作を可能とするものが提案されている。
【０００３】
例えば、特許文献１では、ユーザの目の位置と指の位置とを結ぶ直線上の位置をユーザの体の一部により指示される指示位置として特定し、指示位置に応じたコンテンツの再生等の操作を受け付ける技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１３−２５０８８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、ユーザの体の一部を用いた指示により機器の操作を可能とするユーザインタフェースに関する分野において、操作性を向上させることが望ましいと考えられる。例えば、特許文献１の技術では、ユーザが操作を意図せずに無意識に手を動かした場合であっても、指示位置に応じたコンテンツの再生等のユーザの意図しない操作が手の動きに応じて実行されるおそれがある。
【０００６】
そこで、本開示では、ユーザの体の一部を用いた指示による機器の操作における操作性を向上させることが可能な、新規かつ改良された情報処理装置、情報処理方法及び記録媒体を提案する。
【課題を解決するための手段】
【０００７】
本開示によれば、ユーザの一方の目が開いており他方の目が閉じている片目つぶり状態の検出を実行する検出部と、前記ユーザの体の一部により指示される指示位置の特定を、前記検出部による前記片目つぶり状態の検出結果に応じて実行する制御部と、を備える、情報処理装置が提供される。
【０００８】
また、本開示によれば、ユーザの一方の目が開いており他方の目が閉じている片目つぶり状態の検出を情報処理装置によって実行することと、前記ユーザの体の一部により指示される指示位置の特定を、前記情報処理装置による前記片目つぶり状態の検出結果に応じて実行することと、を含む、情報処理方法が提供される。
【０００９】
また、本開示によれば、コンピュータを、ユーザの一方の目が開いており他方の目が閉じている片目つぶり状態の検出を実行する検出部と、前記ユーザの体の一部により指示される指示位置の特定を、前記検出部による前記片目つぶり状態の検出結果に応じて実行する制御部と、として機能させるためのプログラムが記録された、コンピュータに読み取り可能な記録媒体が提供される。
【発明の効果】
【００１０】
以上説明したように本開示によれば、ユーザの体の一部を用いた指示による機器の操作における操作性を向上させることが可能である。
【００１１】
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、又は上記の効果に代えて、本明細書に示されたいずれかの効果又は本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【００１２】
【図１】本開示の実施形態に係る表示システムの概略構成の一例を示す模式図である。
【図２】同実施形態に係る情報処理装置の機能構成の一例を示すブロック図である。
【図３】片目つぶり状態の顔の様子の一例を示す説明図である。
【図４】両目開き状態及び両目つぶり状態の顔の様子の一例を示す説明図である。
【図５】同実施形態に係る情報処理装置が行う処理の流れの一例を示すフローチャートである。
【図６】左目と指先とスクリーンとの位置関係の一例を示す上面図である。
【図７】左目と指先とスクリーンとの位置関係の一例を示す側面図である。
【図８】指先の延長線上の位置が指示位置として特定される例について説明するための説明図である。
【図９】指の向きに応じた特定モードの切り替えについて説明するための説明図である。
【図１０】左目と指先との間の距離に応じた特定モードの切り替えについて説明するための説明図である。
【図１１】同実施形態に係る表示システムにおいて、指示位置の軌跡により示されるオブジェクトが選択オブジェクト候補として指定される例について説明するための説明図である。
【図１２】同実施形態に係る表示システムにおいて、複数の指示位置の各々の軌跡により示されるオブジェクトが選択オブジェクト候補として指定される例を示す説明図である。
【図１３】第１の変形例に係る表示システムの概略構成の一例を示す模式図である。
【図１４】指示位置候補が複数ある場合における指示位置の特定について説明するための説明図である。
【図１５】第２の変形例に係る表示システムの概略構成の一例を示す模式図である。
【図１６】第２の変形例に係る情報処理装置の機能構成の一例を示すブロック図である。
【図１７】第２の変形例に係る情報処理装置が行う処理の流れの一例を示すフローチャートである。
【図１８】実物体を映す二次元画像の分割処理の前後における様子の一例を示す説明図である。
【図１９】第２の変形例に係る表示システムにおいて、指示位置の軌跡により示されるオブジェクトが選択オブジェクト候補として指定される例について説明するための説明図である。
【発明を実施するための形態】
【００１３】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１４】
なお、説明は以下の順序で行うものとする。
１．表示システムの構成
２．情報処理装置の動作
３．情報処理装置の効果
４．変形例
４−１．第１の変形例
４−２．第２の変形例
５．まとめ
【００１５】
＜１．表示システムの構成＞
まず、図１〜図４を参照して、本開示の実施形態に係る表示システム１の構成について説明する。
【００１６】
図１は、本実施形態に係る表示システム１の概略構成の一例を示す模式図である。
【００１７】
表示システム１は、台の上や壁等に設置された状態で用いられる表示装置１０についての直観的な操作を実現するためのユーザインタフェースを提供するシステムである。
【００１８】
表示システム１は、例えば、図１に示されるように、表示装置１０と、目開閉検出用カメラ６０と、目位置検出用カメラ７０と、指位置検出用カメラ８０と、情報処理装置１００とを備える。
【００１９】
表示装置１０は、台の上や壁等に設置された状態で用いられ、種々の画像を表示する装置である。なお、表示装置１０により表示される画像は、静止画像の他に動画像を含み得る。表示装置１０は、具体的には、画像が表示される平面状のスクリーン１１を有する。例えば、図１では、スクリーン１１にオブジェクトＤ１〜Ｄ４が表示されている例が示されている。このように、スクリーン１１は、オブジェクトが配置される領域に該当する。なお、オブジェクトＤ１〜Ｄ４は、例えば、ボタン等のウィジェットであってもよく、ゲーム画像中のキャラクターやアイコン等であってもよい。
【００２０】
表示システム１において、ユーザＵ１０は、ユーザＵ１０の体の一部を用いた指示により表示装置１０の操作を行うことができる。例えば、ユーザＵ１０は、目や指先等を用いた指示によりオブジェクトＤ１〜Ｄ４のいずれかを選択することによって、各オブジェクトと対応する操作を行うことができる。なお、図１では、ユーザＵ１０の左目Ｕ１と左手の指先Ｕ５とを用いた指示によってオブジェクトＤ１が選択される様子が一例として示されている。このようなユーザＵ１０の体の一部を用いた指示の詳細については、後述する。
【００２１】
目開閉検出用カメラ６０は、ユーザＵ１０の目の開閉状態の検出に用いられる画像を撮像により取得する。具体的には、目開閉検出用カメラ６０は、目の開閉状態の検出に用いられる画像として、ユーザＵ１０の両目を映す二次元画像を撮像により取得する。目開閉検出用カメラ６０は、例えば、表示装置１０の上部に設けられる。
【００２２】
目位置検出用カメラ７０は、ユーザＵ１０の目の位置の検出に用いられる画像を撮像により取得する。具体的には、目位置検出用カメラ７０は、目の位置の検出に用いられる画像として、ユーザＵ１０の両目を映すデプス画像を撮像により取得する。デプス画像は、被写体の奥行きを示す情報を有する画像である。例えば、目位置検出用カメラ７０として、ステレオカメラ又はＴＯＦ（Ｔｉｍｅ  Ｏｆ  Ｆｌｉｇｈｔ）カメラが用いられ得る。目位置検出用カメラ７０は、例えば、表示装置１０の上部に設けられる。
【００２３】
指位置検出用カメラ８０は、ユーザＵ１０の指に関する位置の検出に用いられる画像を撮像により取得する。具体的には、目位置検出用カメラ７０は、指に関する位置の検出に用いられる画像として、ユーザＵ１０の指を映すデプス画像を撮像により取得する。例えば、指位置検出用カメラ８０として、ステレオカメラ又はＴＯＦカメラが用いられ得る。指位置検出用カメラ８０は、例えば、表示装置１０の上部に設けられる。
【００２４】
情報処理装置１００は、演算処理装置であるＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＣＰＵが使用するプログラムや演算パラメータ等を記憶する記憶素子であるＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）及びＣＰＵの実行において適宜変化するパラメータ等を一時記憶する記憶素子であるＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等を含んで構成される。情報処理装置１００は、例えば、表示装置１０に内蔵される。
【００２５】
図２は、本実施形態に係る情報処理装置１００の機能構成の一例を示すブロック図である。
【００２６】
情報処理装置１００は、例えば、図２に示されるように、通信部１１０と、検出部１２０と、制御部１３０とを備える。
【００２７】
通信部１１０は、有線又は無線の情報ネットワークを介して情報処理装置１００の外部の装置と通信する。
【００２８】
具体的には、通信部１１０は、目開閉検出用カメラ６０、目位置検出用カメラ７０及び指位置検出用カメラ８０の各カメラにより取得された画像を各カメラから受信し、検出部１２０へ出力する。また、通信部１１０は、制御部１３０から出力された表示装置１０の動作を制御するための動作指令を表示装置１０へ送信する。
【００２９】
検出部１２０は、各カメラにより取得された画像に基づいて各種検出処理を実行し、検出結果を制御部１３０へ出力する。
【００３０】
具体的には、検出部１２０は、目開閉検出用カメラ６０により取得されたユーザＵ１０の両目を映す二次元画像に基づいてユーザＵ１０の目の開閉状態を検出する。
【００３１】
検出部１２０は、例えば、ブースティング等のアルゴリズムに従って学習された統計モデルを用いることによって、目開閉検出用カメラ６０により取得された二次元画像における特徴量に基づいて目の開閉状態を検出し得る。統計モデルを用いた目の開閉状態の検出処理では、具体的には、検出部１２０は、目開閉検出用カメラ６０により取得された二次元画像上においてユーザＵ１０の顔が映る領域を抽出し、次に顔が映る領域内において左目Ｕ１及び右目Ｕ２が映る領域を抽出し、次に左目Ｕ１及び右目Ｕ２の開閉状態を検出する。なお、統計モデルを用いた目の開閉状態の検出処理では、例えば、画像における任意の２つの画素の輝度値の差であるピクセル間差分特徴が特徴量として用いられ得る。また、目の開閉状態の検出処理に用いられる統計モデルは、例えば、情報処理装置１００の記憶素子に記憶され得る。
【００３２】
図３は、片目つぶり状態の顔の様子の一例を示す説明図である。例えば、検出部１２０は、図３に示されるように、ユーザＵ１０の左目Ｕ１が閉じており右目Ｕ２が開いている状態又はユーザＵ１０の左目Ｕ１が開いており右目Ｕ２が閉じている状態を、片目つぶり状態として検出する。このように、片目つぶり状態は、ユーザＵ１０の一方の目が開いており他方の目が閉じている状態である。
【００３３】
図４は、両目開き状態及び両目つぶり状態の顔の様子の一例を示す説明図である。例えば、検出部１２０は、図４に示されるように、ユーザＵ１０の両目が開いている状態を両目開き状態として検出する。一方、検出部１２０は、ユーザＵ１０の両目が閉じている状態を、両目つぶり状態として検出する。
【００３４】
また、検出部１２０は、目位置検出用カメラ７０により取得されたユーザＵ１０の両目を映すデプス画像に基づいてユーザＵ１０の目の位置を検出する。
【００３５】
検出部１２０は、例えば、目開閉検出用カメラ６０により取得された二次元画像上の左目Ｕ１及び右目Ｕ２が映る領域と対応する上記デプス画像上の領域についての奥行きを示す情報に基づいて、目の位置を検出し得る。目の位置の検出処理では、具体的には、ユーザＵ１０の左目Ｕ１及び右目Ｕ２の位置が検出され得る。
【００３６】
なお、検出部１２０は、ブースティング等のアルゴリズムに従って学習された統計モデルを用いることによって、目位置検出用カメラ７０により取得されたデプス画像における特徴量に基づいて目の位置を検出してもよい。統計モデルを用いた目の位置の検出処理では、具体的には、検出部１２０は、目位置検出用カメラ７０により取得されたデプス画像上において左目Ｕ１及び右目Ｕ２が映る領域を抽出した後に左目Ｕ１及び右目Ｕ２の位置を検出する。なお、統計モデルを用いた目の位置の検出処理では、例えば、ピクセル間差分特徴が特徴量として用いられ得る。また、目の位置の検出処理に用いられる統計モデルは、例えば、情報処理装置１００の記憶素子に記憶され得る。
【００３７】
また、検出部１２０は、指位置検出用カメラ８０により取得されたユーザＵ１０の指を映すデプス画像に基づいてユーザＵ１０の指に関する位置を検出する。
【００３８】
検出部１２０は、例えば、ブースティング等のアルゴリズムに従って学習された統計モデルを用いることによって、指位置検出用カメラ８０により取得されたデプス画像における特徴量に基づいて指に関する位置を検出し得る。統計モデルを用いた指に関する位置の検出処理では、具体的には、検出部１２０は、指位置検出用カメラ８０により取得されたデプス画像上においてユーザＵ１０の指先Ｕ５が映る領域を抽出した後に指先Ｕ５の位置を指に関する位置として検出する。なお、統計モデルを用いた指に関する位置の検出処理では、例えば、ピクセル間差分特徴が特徴量として用いられ得る。また、指に関する位置の検出処理に用いられる統計モデルは、例えば、情報処理装置１００の記憶素子に記憶され得る。また、検出部１２０は、ユーザＵ１０の指における指先Ｕ５と異なる他の部分の位置を指に関する位置として検出してもよい。
【００３９】
制御部１３０は、検出部１２０による検出結果を用いて、ユーザＵ１０の体の一部を用いた指示による表示装置１０の操作を実現するための処理を実行する。制御部１３０は、例えば、特定部１３１と、指定部１３２と、決定部１３３と、表示制御部１３４とを備える。
【００４０】
特定部１３１は、ユーザＵ１０の体の一部により指示される指示位置の特定を、検出部１２０による片目つぶり状態の検出結果に応じて実行する。
【００４１】
指定部１３２は、ユーザＵ１０により選択されるオブジェクトの候補である選択オブジェクト候補を指示位置に基づいて指定する。
【００４２】
決定部１３３は、ユーザＵ１０の体の一部による決定動作が検出された場合に、選択オブジェクト候補をユーザＵ１０により選択されたオブジェクトである選択オブジェクトとして決定する。
【００４３】
表示制御部１３４は、表示装置１０の動作を制御するための動作指令を通信部１１０へ出力することによって、表示装置１０の動作を制御する。
【００４４】
＜２．情報処理装置の動作＞
続いて、図５〜図１２を参照して、本実施形態に係る情報処理装置１００の動作について説明する。
【００４５】
図５は、本実施形態に係る情報処理装置１００が行う処理の流れの一例を示すフローチャートである。例えば、図５に示される処理フローは、常時繰り返される。
【００４６】
図５に示される処理フローが開始されると、まず、ステップＳ５０１において、検出部１２０は、ユーザＵ１０の一方の目が開いており他方の目が閉じている片目つぶり状態の検出を実行する。
【００４７】
具体的には、検出部１２０は、ユーザＵ１０の左目Ｕ１及び右目Ｕ２の開閉状態を検出することによって、片目つぶり状態の検出を実行し得る。
【００４８】
次に、ステップＳ５０３において、特定部１３１は、片目つぶり状態が検出されているか否かを判定する。片目つぶり状態が検出されていると判定された場合（ステップＳ５０３／ＹＥＳ）、ステップＳ５０５へ進む。一方、片目つぶり状態が検出されていると判定されなかった場合（ステップＳ５０３／ＮＯ）、図５に示される処理フローは終了する。
【００４９】
ステップＳ５０５において、検出部１２０は、ユーザＵ１０の開いている一方の目の位置を検出する。
【００５０】
ステップＳ５０７において、検出部１２０は、ユーザＵ１０の指先Ｕ５の位置を検出する。
【００５１】
ステップＳ５０９において、特定部１３１は、ユーザＵ１０の指先Ｕ５が検出されているか否かを判定する。指先Ｕ５が検出されていると判定された場合（ステップＳ５０９／ＹＥＳ）、ステップＳ５１１へ進む。一方、指先Ｕ５が検出されていると判定されなかった場合（ステップＳ５０９／ＮＯ）、図５に示される処理フローは終了する。
【００５２】
例えば、特定部１３１は、検出部１２０による指先Ｕ５の位置の検出処理の過程で指位置検出用カメラ８０により取得されたデプス画像上において指先Ｕ５が映る領域が抽出されたか否かに応じて、指先Ｕ５が検出されているか否かを判定し得る。
【００５３】
ステップＳ５１１において、特定部１３１は、ユーザＵ１０の体の一部により指示される指示位置を特定する。
【００５４】
例えば、特定部１３１は、開いている一方の目と指先Ｕ５とを結ぶ直線上の位置を指示位置として特定する。
【００５５】
具体的には、図１では、開いている一方の目に相当する左目Ｕ１と指先Ｕ５とを結ぶ直線とオブジェクトが配置される領域としてのスクリーン１１との交点Ｐ１１が示されている。この場合、特定部１３１は、例えば、交点Ｐ１１を指示位置として特定する。
【００５６】
なお、図１では、指示位置の指定に左手の指先Ｕ５が用いられる例が示されているが、右手の指先が指示位置の指定に用いられてもよい。例えば、ユーザＵ１０の右手の指先が検出されている場合、特定部１３１は、開いている一方の目に相当する左目Ｕ１と右手の指先とを結ぶ直線とスクリーン１１との交点を指示位置として特定してもよい。
【００５７】
ここで、図６及び図７を参照して、ユーザＵ１０の目の開閉状態が左目Ｕ１のみ開いている片目つぶり状態である場合における指定位置の具体的な特定処理について説明する。
【００５８】
図６は、左目Ｕ１と指先Ｕ５とスクリーン１１との位置関係の一例を示す上面図である。図７は、左目Ｕ１と指先Ｕ５とスクリーン１１との位置関係の一例を示す側面図である。図６及び図７では、スクリーン１１が鉛直方向に延在する場合において、鉛直方向をｙ方向とし、スクリーン１１に対して直交する方向をｚ方向とし、ｙ方向及びｚ方向に対して直交する方向をｘ方向として、左目Ｕ１と指先Ｕ５とスクリーン１１との位置関係が示されている。
【００５９】
例えば、特定部１３１は、検出部１２０により検出された左目Ｕ１の位置に基づいて、左目Ｕ１のｘｚ座標（ｘｅ，ｚｅ）を取得し得る。また、特定部１３１は、検出部１２０により検出された指先Ｕ５の位置に基づいて、指先Ｕ５のｘｚ座標（ｘｆ，ｚｆ）を取得し得る。また、交点Ｐ１１のｚ座標（ｚｐ）に相当するスクリーン１１の表面のｚ座標は、例えば、あらかじめ情報処理装置１００の記憶素子に記憶され得る。
【００６０】
ゆえに、特定部１３１は、図６に示される左目Ｕ１と指先Ｕ５との間のｚ方向の距離ａを、左目Ｕ１のｚ座標（ｚｅ）及び指先Ｕ５のｚ座標（ｚｆ）に基づいて算出し得る。また、特定部１３１は、図６に示される左目Ｕ１と指先Ｕ５との間のｘ方向の距離ｂを、左目Ｕ１のｘ座標（ｘｅ）及び指先Ｕ５のｘ座標（ｘｆ）に基づいて算出し得る。また、特定部１３１は、図６に示される左目Ｕ１とスクリーン１１との間の距離ｃを、左目Ｕ１のｚ座標（ｚｅ）及びスクリーン１１の表面のｚ座標に基づいて算出し得る。
【００６１】
交点Ｐ１１は左目Ｕ１と指先Ｕ５とを結ぶ直線上に位置するので、交点Ｐ１１のｘ座標（ｘｐ）は、以下の式（１）によって表される。
【００６２】
【数１】
2019008351.tif 000003
【００６３】
ゆえに、特定部１３１は、式（１）に基づいて、交点Ｐ１１のｘ座標（ｘｐ）を算出し得る。
【００６４】
また、特定部１３１は、図７に示される左目Ｕ１と指先Ｕ５との間のｙ方向の距離ｄを、左目Ｕ１のｙ座標（ｙｅ）及び指先Ｕ５のｙ座標（ｙｆ）に基づいて算出し得る。
【００６５】
交点Ｐ１１は左目Ｕ１と指先Ｕ５とを結ぶ直線上に位置するので、交点Ｐ１１のｙ座標（ｙｐ）は、以下の式（２）によって表される。
【００６６】
【数２】
2019008351.tif 000004
【００６７】
ゆえに、特定部１３１は、式（２）に基づいて、交点Ｐ１１のｙ座標（ｙｐ）を算出し得る。
【００６８】
特定部１３１は、例えば、左目Ｕ１と指先Ｕ５とを結ぶ直線とスクリーン１１との交点Ｐ１１のｘｙｚ座標（ｘｐ，ｙｐ，ｚｐ）を上記のように算出することによって、交点Ｐ１１を指示位置として特定し得る。
【００６９】
上記では、開いている一方の目と指先Ｕ５とを結ぶ直線上の位置が指示位置として特定される例について説明したが、特定部１３１により特定される指示位置はこのような例に限定されない。
【００７０】
例えば、特定部１３１は、指先Ｕ５の延長線上の位置を指示位置として特定してもよい。
【００７１】
図８は、指先Ｕ５の延長線上の位置が指示位置として特定される例について説明するための説明図である。具体的には、図８では、ユーザＵ１０の指先Ｕ５と当該指先Ｕ５に対応する指の関節Ｕ６とを結ぶ直線とオブジェクトが配置される領域としてのスクリーン１１との交点Ｐ１２が示されている。この場合、特定部１３１は、例えば、交点Ｐ１２を指示位置として特定してもよい。
【００７２】
検出部１２０は、指位置検出用カメラ８０により取得されたデプス画像上においてユーザＵ１０の指の関節Ｕ６が映る領域を抽出することによって、関節Ｕ６の位置を指に関する位置として検出し得る。ゆえに、例えば、ステップＳ５０７において指先Ｕ５の位置に加えて関節Ｕ６の位置を事前に検出することによって、指先Ｕ５及び関節Ｕ６の位置を用いた交点Ｐ１２の位置の算出が実現され得る。
【００７３】
また、特定部１３１は、指示位置の特定モードを、開いている一方の目と指先Ｕ５とを結ぶ直線上の位置を指示位置として特定する第１特定モードと、指先Ｕ５の延長線上の位置を指示位置として特定する第２特定モードとの間で切り替えてもよい。
【００７４】
例えば、特定部１３１は、指示位置の指示に用いられるユーザＵ１０の指の向きに応じて、指示位置の特定モードの切り替えを実行する。
【００７５】
図９は、指の向きに応じた特定モードの切り替えについて説明するための説明図である。特定部１３１は、例えば、指先Ｕ５の向きが水平方向に対して上方向であるか否かに応じて特定モードの切り替えを実行する。具体的には、特定部１３１は、図９に示されるように指先Ｕ５が水平方向に対して上方向である方向Ｅ１を向いている場合、特定モードを第１特定モードに切り替える。一方、特定部１３１は、指先Ｕ５が水平方向に対して下方向である方向Ｅ２を向いている場合、特定モードを第２特定モードに切り替える。
【００７６】
なお、特定部１３１は、指先Ｕ５が向く方向として、例えば、指の関節Ｕ６から指先Ｕ５へ向かう方向を適用し得る。その場合、特定部１３１は、指先Ｕ５が向く方向を、指先Ｕ５の位置及び関節Ｕ６の位置に基づいて算出し得る。
【００７７】
また、例えば、特定部１３１は、開いている一方の目と指先Ｕ５との間の距離に応じて、指示位置の特定モードの切り替えを実行する。具体的には、特定部１３１は、ユーザＵ１０の目の開閉状態が左目Ｕ１のみ開いている片目つぶり状態である場合、左目Ｕ１と指先Ｕ５との間の距離に応じて、指示位置の特定モードの切り替えを実行する。
【００７８】
図１０は、開いている一方の目に相当する左目Ｕ１と指先Ｕ５との間の距離に応じた特定モードの切り替えについて説明するための説明図である。特定部１３１は、例えば、左目Ｕ１と指先Ｕ５との間の距離が第１距離閾値Ｌｓ１より短いか否かに応じて特定モードの切り替えを実行する。第１距離閾値Ｌｓ１は、例えば、ユーザＵ１０が第１特定モードによる指示位置の指示を意図することが予想される程度に左目Ｕ１と指先Ｕ５との間の距離が短いか否かを判定し得る値に設定され、情報処理装置１００の記憶素子に記憶され得る。具体的には、特定部１３１は、図１０に示されるように左目Ｕ１と指先Ｕ５との間の距離が第１距離閾値Ｌｓ１より短い距離Ｌ１１である場合、特定モードを第１特定モードに切り替える。一方、特定部１３１は、左目Ｕ１と指先Ｕ５との間の距離が第１距離閾値Ｌｓ１以上の距離Ｌ１２である場合、特定モードを第２特定モードに切り替える。
【００７９】
なお、特定部１３１は、左目Ｕ１と指先Ｕ５との間の距離を、左目Ｕ１の位置及び指先Ｕ５の位置に基づいて算出し得る。
【００８０】
このように、本実施形態において、特定部１３１は、ユーザＵ１０の体の一部により指示される指示位置の特定を、検出部１２０による片目つぶり状態の検出結果に応じて実行する。具体的には、特定部１３１は、片目つぶり状態が検出されている場合に、指示位置の特定を実行する。
【００８１】
次に、ステップＳ５１３において、表示制御部１３４は、指示位置を表示装置１０に表示させる。
【００８２】
例えば、表示制御部１３４は、表示装置１０のスクリーン１１上における指示位置として特定された位置にドットや矢印等のマークを表示させる。なお、指示位置の表示において、表示装置１０により表示されるマークの形状、寸法、模様及び色は特に限定されない。
【００８３】
次に、ステップＳ５１５において、指定部１３２は、ユーザＵ１０により選択されるオブジェクトの候補である選択オブジェクト候補を指示位置に基づいて指定する。
【００８４】
例えば、指定部１３２は、指示位置上に位置するオブジェクトを選択オブジェクト候補として指定する。
【００８５】
具体的には、図１では、指定位置として特定された交点Ｐ１１上にオブジェクトＤ１が位置している例が示されている。この場合、指定部１３２は、例えば、オブジェクトＤ１を選択オブジェクト候補として指定する。
【００８６】
上記では、指示位置上に位置するオブジェクトが選択オブジェクト候補として指定される例について説明したが、指定部１３２により指定される選択オブジェクト候補はこのような例に限定されない。
【００８７】
例えば、指定部１３２は、指示位置の軌跡により示されるオブジェクトを選択オブジェクト候補として指定してもよい。
【００８８】
図１１は、本実施形態に係る表示システム１において、指示位置の軌跡により示されるオブジェクトが選択オブジェクト候補として指定される例について説明するための説明図である。具体的には、図１１では、指示位置として特定された交点Ｐ１１がユーザＵ１０の指先Ｕ５の動きに応じてオブジェクトＤ１の外周側を一周移動した場合における交点Ｐ１１の軌跡Ｔ１が示されている。この場合、指定部１３２は、例えば、軌跡Ｔ１によって囲まれるオブジェクトＤ１を選択オブジェクト候補として指定してもよい。
【００８９】
後述するように、選択オブジェクト候補の指定モードは、指示位置上に位置するオブジェクトを選択オブジェクト候補として指定する第１指定モードと、指示位置の軌跡により示されるオブジェクトを選択オブジェクト候補として指定する第２指定モードとの間で切り替えられ得る。その場合、表示制御部１３４は、例えば、選択オブジェクト候補の指定モードが第２指定モードであるときに、軌跡Ｔ１を表示装置１０に表示させてもよい。
【００９０】
なお、軌跡Ｔ１は、厳密に閉じた閉ループでなくともよい。例えば、軌跡Ｔ１が閉ループでない場合、指定部１３２は、軌跡Ｔ１の一端と他端とを接続して得られる軌跡により囲まれるオブジェクトを選択オブジェクト候補として指定してもよい。また、指定部１３２により選択オブジェクト候補として指定されるオブジェクトは、軌跡Ｔ１によって囲まれるオブジェクトに限定されない。例えば、指定部１３２は、軌跡Ｔ１の中心位置上に位置するオブジェクトを選択オブジェクト候補として指定してもよい。
【００９１】
指定部１３２は、複数の指示位置の各々の軌跡により示されるオブジェクトを選択オブジェクト候補として指定してもよい。
【００９２】
図１２は、本実施形態に係る表示システム１において、複数の指示位置の各々の軌跡により示されるオブジェクトが選択オブジェクト候補として指定される例を示す説明図である。具体的には、図１２では、指示位置の指定に左手の指先Ｕ５に加えて右手の指先Ｕ７が用いられる例が示されている。図１２では、左手の指先Ｕ５により指示される指示位置として特定された交点ＰＬ１１がユーザＵ１０の左手の指先Ｕ５の動きに応じてオブジェクトＤ１の外周側をオブジェクトＤ１の上方から左方を通り下方へ移動した場合における交点ＰＬ１１の軌跡ＴＬ１が示されている。また、図１２では、右手の指先Ｕ７により指示される指示位置として特定された交点ＰＲ１１がユーザＵ１０の右手の指先Ｕ７の動きに応じてオブジェクトＤ１の外周側をオブジェクトＤ１の上方から右方を通り下方へ移動した場合における交点ＰＲ１１の軌跡ＴＲ１が示されている。この場合、指定部１３２は、例えば、軌跡ＴＬ１及び軌跡ＴＲ１によって囲まれるオブジェクトＤ１を選択オブジェクト候補として指定してもよい。
【００９３】
また、指定部１３２は、選択オブジェクト候補の指定モードを、指示位置上に位置するオブジェクトを選択オブジェクト候補として指定する第１指定モードと、指示位置の軌跡により示されるオブジェクトを選択オブジェクト候補として指定する第２指定モードとの間で切り替えてもよい。
【００９４】
例えば、指定部１３２は、ユーザＵ１０の体の一部の形状に応じて、選択オブジェクト候補の指定モードの切り替えを実行してもよい。
【００９５】
指定部１３２は、例えば、図１に示されるように、指示位置の指示に用いられている手において立てられている指が１本である場合に、選択オブジェクト候補の指定モードを第１指定モードに切り替えてもよい。一方、指定部１３２は、例えば、図１１に示されるように、指示位置の指示に用いられている手において立てられている指が２本である場合に、選択オブジェクト候補の指定モードを第２指定モードに切り替えてもよい。
【００９６】
また、指定部１３２は、指示位置の指示に用いられていない方の手の形状に応じて選択オブジェクト候補の指定モードの切り替えを実行してもよい。例えば、指示位置の指示に左手が用いられている場合において、指定部１３２は、右手の形状がグー、チョキ、パーのいずれの形状であるかに応じて選択オブジェクト候補の指定モードの切り替えを実行してもよい。
【００９７】
なお、上述したユーザＵ１０の手の形状の検出は、検出部１２０により実行され得る。具体的には、ユーザＵ１０の手の形状の検出は、ブースティング等のアルゴリズムに従って学習された統計モデルを用いることによって、指位置検出用カメラ８０により取得されたデプス画像における特徴量に基づいて実行され得る。
【００９８】
次に、ステップＳ５１７において、表示制御部１３４は、選択オブジェクト候補を表示装置１０に強調表示させる。
【００９９】
例えば、表示制御部１３４は、表示装置１０のスクリーン１１上の選択オブジェクト候補として指定されたオブジェクトの色を他のオブジェクトと異なる色に変化させる。なお、選択オブジェクト候補の強調表示は、このような例に特に限定されない。
【０１００】
次に、ステップＳ５１９において、決定部１３３は、ユーザＵ１０の体の一部による決定動作が検出されたか否かを判定する。決定動作が検出されたと判定された場合（ステップＳ５１９／ＹＥＳ）、ステップＳ５２１へ進む。一方、決定動作が検出されたと判定されなかった場合（ステップＳ５１９／ＮＯ）、図５に示される処理フローは終了する。
【０１０１】
例えば、決定部１３３は、両目を閉じる動作が検出された場合に、決定動作が検出されたと判定する。具体的には、決定部１３３は、両目つぶり状態が設定時間継続して検出されたときに、決定動作が検出されたと判定してもよい。
【０１０２】
なお、決定動作は、このような例に限定されず、他の動作であってもよい。例えば、決定動作は、ユーザＵ１０の手による動作であってもよい。具体的には、決定動作は、指示位置の指示に用いられている指先Ｕ５を選択オブジェクト候補へ近づける動作、指示位置の指示に用いられてない方の手を握る動作、又は手を所定の形状へ変化させる動作等の動作を含み得る。
【０１０３】
ステップＳ５２１において、決定部１３３は、選択オブジェクト候補をユーザＵ１０により選択されたオブジェクトである選択オブジェクトとして決定する。このように、決定部１３３は、ユーザＵ１０の体の一部による決定動作が検出された場合に、選択オブジェクト候補を選択オブジェクトとして決定する。
【０１０４】
ステップＳ５２３において、情報処理装置１００は、決定された選択オブジェクトに応じた制御指令を出力する。
【０１０５】
具体的には、情報処理装置１００の通信部１１０が、決定された選択オブジェクトと対応する操作を実現するための制御指令を情報処理装置１００の外部の装置へ送信する。例えば、通信部１１０は、決定された選択オブジェクトと対応する操作を実現するための制御指令を表示装置１０へ送信する。なお、通信部１１０は、決定された選択オブジェクトと対応する操作を実現するための制御指令を表示装置１０と異なる装置へ送信してもよい。
【０１０６】
次に、図５に示される処理フローは終了する。
【０１０７】
＜３．情報処理装置の効果＞
続いて、本実施形態に係る情報処理装置１００の効果について説明する。
【０１０８】
本実施形態に係る情報処理装置１００では、ユーザＵ１０の体の一部により指示される指示位置の特定が片目つぶり状態の検出結果に応じて実行される。ここで、目の開閉状態を片目つぶり状態にする動作は、目の開閉に関する他の動作と異なり、ユーザＵ１０によって意識的に行われる動作である。例えば、目の開閉状態を両目つぶり状態にする動作は、瞬きの際に生じる動作であるので、ユーザＵ１０によって無意識に行われ得る動作である。ゆえに、ユーザＵ１０の体の一部により指示される指示位置の特定を片目つぶり状態の検出結果に応じて実行することによって、ユーザＵ１０が機器の操作を意図せずに無意識に体の一部を動かした場合に機器の操作が実行されることを抑制することができる。よって、ユーザＵ１０の体の一部を用いた指示による機器の操作における操作性を向上させることができる。
【０１０９】
さらに、本実施形態では、ユーザＵ１０の体の一部により指示される指示位置の特定が実行されるので、ユーザＵ１０は装置を装着することなく体の一部を用いた指示により機器の操作を行うことができる。ゆえに、機器についての直観的な操作を実現することができる。
【０１１０】
また、本実施形態に係る情報処理装置１００では、開いている一方の目とユーザＵ１０の指先Ｕ５とを結ぶ直線上の位置が指示位置として特定され得る。それにより、ユーザＵ１０は、手を用いた直観的な指示を行うことができる。特に、開いている一方の目と指先Ｕ５とを結ぶ直線上の位置が指示位置として特定されることによって、指先Ｕ５の移動と指示位置の移動とが連動することにより、ユーザＵ１０は直観的な指示を行うことができる。
【０１１１】
また、本実施形態に係る情報処理装置１００では、ユーザＵ１０の指先Ｕ５の延長線上の位置が指示位置として特定され得る。それにより、ユーザＵ１０は、手を用いた直観的な指示を行うことができる。特に、指先Ｕ５の延長線上の位置が指示位置として特定されることによって、ユーザＵ１０はレーザーポインターによる指示と同様の感覚での直観的な指示を行うことができる。
【０１１２】
また、本実施形態に係る情報処理装置１００では、指示位置の特定モードが、開いている一方の目とユーザＵ１０の指先Ｕ５とを結ぶ直線上の位置が指示位置として特定される第１特定モードと、指先Ｕ５の延長線上の位置が指示位置として特定される第２特定モードとの間で切り替えられ得る。ここで、より直感的な指示を実現し得る特定モードが第１特定モード及び第２特定モードのうちのいずれであるかは、指示位置の指示に用いられるユーザＵ１０の指の位置又は姿勢に応じて異なり得る。ゆえに、指示位置の特定モードが第１特定モードと第２特定モードとの間で切り替えられることによって、ユーザＵ１０による直観的な指示を効果的に実現することができる。
【０１１３】
また、本実施形態に係る情報処理装置１００では、指示位置の指示に用いられるユーザＵ１０の指の向きに応じて、指示位置の特定モードの切り替えが実行され得る。ここで、より直感的な指示を実現し得る特定モードが第１特定モード及び第２特定モードのうちのいずれであるかは、ユーザＵ１０の指の向きに応じて異なり得る。例えば、第１特定モードでの指示において、指先Ｕ５は水平方向に対して上方向を向きやすい。一方、第２特定モードでの指示において、指先Ｕ５は水平方向に対して下方向を向きやすい。ゆえに、指先Ｕ５の向きに応じて特定モードの切り替えが実行されることによって、ユーザＵ１０による直観的な指示をより効果的に実現することができる。
【０１１４】
また、本実施形態に係る情報処理装置１００では、開いている一方の目と指先Ｕ５との間の距離に応じて、指示位置の特定モードの切り替えが実行され得る。ここで、より直感的な指示を実現し得る特定モードが第１特定モード及び第２特定モードのうちのいずれであるかは、開いている一方の目と指先Ｕ５との間の距離に応じて異なり得る。例えば、第１特定モードでの指示において、開いている一方の目と指先Ｕ５との間の距離は比較的短くなりやすい。一方、第２特定モードでの指示において、開いている一方の目と指先Ｕ５との間の距離は比較的長くなりやすい。ゆえに、開いている一方の目と指先Ｕ５との間の距離に応じて特定モードの切り替えが実行されることによって、ユーザＵ１０による直観的な指示をより効果的に実現することができる。
【０１１５】
また、本実施形態に係る情報処理装置１００では、ユーザＵ１０により選択されるオブジェクトの候補である選択オブジェクト候補が指示位置に基づいて指定され得る。それにより、ユーザＵ１０により行われる指示に応じて、選択オブジェクト候補を適切に指定することができる。
【０１１６】
また、本実施形態に係る情報処理装置１００では、指示位置上に位置するオブジェクトが選択オブジェクト候補として指定され得る。それにより、比較的簡便な手順によって選択オブジェクト候補を指定することができる。
【０１１７】
また、本実施形態に係る情報処理装置１００では、指示位置の軌跡により示されるオブジェクトが選択オブジェクト候補として指定され得る。それにより、例えば複数のオブジェクトが近接する場合に、ユーザＵ１０の意図しないオブジェクトが選択オブジェクト候補として指定されることを抑制することができる。ゆえに、選択オブジェクト候補をより精度良く指定することができる。
【０１１８】
また、本実施形態に係る情報処理装置１００では、選択オブジェクト候補の指定モードが、指示位置上に位置するオブジェクトが選択オブジェクト候補として指定される第１指定モードと、指示位置の軌跡により示されるオブジェクトが選択オブジェクト候補として指定される第２指定モードとの間で切り替えられ得る。それにより、オブジェクトの数や配置等の状況に応じて選択オブジェクト候補の指定モードの切り替えを行うことができる。
【０１１９】
また、本実施形態に係る情報処理装置１００では、ユーザＵ１０の体の一部の形状に応じて、選択オブジェクト候補の指定モードの切り替えが実行され得る。それにより、ユーザＵ１０は、装置を装着することなく指定モードの切り替えを行うことができる。
【０１２０】
また、本実施形態に係る情報処理装置１００では、ユーザＵ１０の体の一部による決定動作が検出された場合に、選択オブジェクト候補がユーザＵ１０により選択されたオブジェクトである選択オブジェクトとして決定され得る。それにより、ユーザＵ１０は、装置を装着することなくユーザＵ１０の所望するオブジェクトを選択することができる。
【０１２１】
また、本実施形態に係る情報処理装置１００では、選択オブジェクト候補が表示装置１０により強調表示され得る。それにより、ユーザＵ１０は指定されている選択オブジェクト候補を適切に認識することができるので、ユーザＵ１０の意図しないオブジェクトが選択オブジェクトとして決定されることを抑制することができる。
【０１２２】
また、本実施形態に係る情報処理装置１００では、指示位置が表示装置１０により表示され得る。それにより、ユーザＵ１０は特定されている指示位置を認識することができるので、ユーザＵ１０の所望するオブジェクトの選択を円滑に実現することができる。
【０１２３】
また、本実施形態に係る情報処理装置１００では、具体的には、片目つぶり状態が検出されている場合に、指示位置の特定が実行され得る。上述したように、目の開閉状態を片目つぶり状態にする動作は、ユーザＵ１０によって意識的に行われる動作である。ゆえに、片目つぶり状態が検出されている場合に指示位置の特定が実行されることにより、ユーザＵ１０が機器の操作を意図せずに無意識に体の一部を動かした場合に機器の操作が実行されることを効果的に抑制することができる。
【０１２４】
さらに、両目開き状態の場合には、指示位置の指示に用いられる指及び選択され得るオブジェクトのうちユーザＵ１０の焦点が合っていない方は二重に見えるので、ユーザＵ１０の所望するオブジェクトを適切に選択することが困難となり得る。それにより、ユーザＵ１０の体の一部を用いた指示による機器の操作における操作性が低下し得る。ここで、片目つぶり状態が検出されている場合に指示位置の特定が実行されることにより、指示位置の指示に用いられる指及び選択され得るオブジェクトのうちユーザＵ１０の焦点が合っていない方が二重に見えることを抑制することができる。ゆえに、ユーザＵ１０の体の一部を用いた指示による機器の操作における操作性をより効果的に向上させることができる。
【０１２５】
＜４．変形例＞
続いて、各変形例について説明する。
【０１２６】
（４−１．第１の変形例）
まず、図１３及び図１４を参照して、第１の変形例に係る表示システム２について説明する。
【０１２７】
図１３は、第１の変形例に係る表示システム２の概略構成の一例を示す模式図である。
【０１２８】
表示システム２は、仮想空間２１をユーザＵ１０に提示するヘッドマウントディスプレイである表示装置２０についての直観的な操作を実現するためのユーザインタフェースを提供する仮想現実（ＶＲ）を利用したシステムである。
【０１２９】
表示システム２は、例えば、図１３に示されるように、表示装置２０と、目開閉検出用カメラ６０と、目位置検出用カメラ７０と、指位置検出用カメラ８０と、情報処理装置１００とを備える。
【０１３０】
表示装置２０は、ユーザＵ１０の頭部に装着された状態で用いられ、種々の画像を表示することにより現実感を伴う仮想的な空間である仮想空間２１を提示する装置である。なお、表示装置２０により表示される画像は、静止画像の他に動画像を含み得る。表示装置２０は、仮想空間２１に種々のオブジェクトを表示する。例えば、図１３では、仮想空間２１にオブジェクトＦ１〜Ｆ４が表示されている例が示されている。なお、オブジェクトＦ１〜Ｆ４は、例えば、ボタン等のウィジェットであってもよく、ゲーム画像中のキャラクターやアイコン等であってもよい。
【０１３１】
表示システム２において、ユーザＵ１０は、ユーザＵ１０の体の一部を用いた指示により表示装置２０の操作を行うことができる。例えば、ユーザＵ１０は、目や指先等を用いた指示によりオブジェクトＦ１〜Ｆ４のいずれかを選択することによって、各オブジェクトと対応する操作を行うことができる。なお、図１３では、ユーザＵ１０の左目Ｕ１と左手の指先Ｕ５とを用いた指示によってオブジェクトＦ１が選択される様子が一例として示されている。
【０１３２】
表示システム２では、目開閉検出用カメラ６０は、例えば、表示装置２０における装着時にユーザＵ１０の顔と対向する部分に設けられる。また、目位置検出用カメラ７０は、例えば、表示装置２０における装着時にユーザＵ１０の顔と対向する部分に設けられる。また、指位置検出用カメラ８０は、例えば、表示装置２０における装着時にユーザＵ１０の顔と対向する部分と逆側の部分に設けられる。また、情報処理装置１００は、例えば、表示装置２０に内蔵される。
【０１３３】
表示システム２において、情報処理装置１００は、例えば、表示システム１と同様に、図５に示される処理フローを実行し得る。
【０１３４】
特定部１３１は、表示システム１と同様に、片目つぶり状態が検出されている場合に、ステップＳ５１１において、ユーザＵ１０の体の一部により指示される指示位置の特定を実行する。例えば、特定部１３１は、表示システム１と同様に、開いている一方の目と指先Ｕ５とを結ぶ直線上の位置を指示位置として特定する。
【０１３５】
具体的には、図１３では、開いている一方の目に相当する左目Ｕ１と指先Ｕ５とを結ぶ直線と仮想空間２１におけるオブジェクトが配置される領域との交点Ｐ２１が示されている。この場合、特定部１３１は、例えば、交点Ｐ２１を指示位置として特定する。
【０１３６】
仮想空間２１におけるオブジェクトが配置される領域の位置を示す情報は、例えば、あらかじめ情報処理装置１００の記憶素子に記憶され得る。ゆえに、特定部１３１は、検出部１２０により検出される左目Ｕ１の位置及び指先Ｕ５の位置に基づいて交点Ｐ２１の位置を算出し得る。
【０１３７】
なお、特定部１３１は、表示システム１と同様に、指先Ｕ５の延長線上の位置を指示位置として特定してもよい。具体的には、特定部１３１は、ユーザＵ１０の指先Ｕ５と当該指先Ｕ５に対応する指の関節とを結ぶ直線と仮想空間２１におけるオブジェクトが配置される領域との交点を指示位置として特定してもよい。また、特定部１３１は、表示システム１と同様に、指示位置の特定モードを、開いている一方の目と指先Ｕ５とを結ぶ直線上の位置を指示位置として特定する第１特定モードと、指先Ｕ５の延長線上の位置を指示位置として特定する第２特定モードとの間で切り替えてもよい。
【０１３８】
ここで、表示システム２では、仮想空間２１内に複数のオブジェクトが表示され得る。ゆえに、ユーザＵ１０の体の一部により指示される指示位置の候補である指示位置候補が複数存在する場合がある。特定部１３１は、少なくともユーザＵ１０の指先Ｕ５を用いて指示される指示位置について指示位置候補が複数ある場合、開いている一方の目に相当する左目Ｕ１と指先Ｕ５との間の距離に基づいて、複数の指示位置候補の中から指示位置を特定してもよい。
【０１３９】
図１４は、指示位置候補が複数ある場合における指示位置の特定について説明するための説明図である。図１４では、開いている一方の目に相当する左目Ｕ１と指先Ｕ５とを結ぶ直線と仮想空間２１におけるオブジェクトが配置される領域との交点として、交点Ｐ２１１及び交点Ｐ２１２が存在する例が示されている。交点Ｐ２１１及び交点Ｐ２１２は、複数の指示位置候補に相当する。
【０１４０】
特定部１３１は、例えば、左目Ｕ１と指先Ｕ５との間の距離が第２距離閾値Ｌｓ２より短いか否かに応じて交点Ｐ２１１又は交点Ｐ２１２のいずれか一方を指示位置として特定する。第２距離閾値Ｌｓ２は、例えば、ユーザＵ１０がユーザＵ１０に近い方の交点を指示する意図を有していると予想される程度に左目Ｕ１と指先Ｕ５との間の距離が短いか否かを判定し得る値に設定され、情報処理装置１００の記憶素子に記憶され得る。具体的には、特定部１３１は、図１４に示されるように左目Ｕ１と指先Ｕ５との間の距離が第２距離閾値Ｌｓ２より短い距離Ｌ２１である場合、ユーザＵ１０に近い方の交点Ｐ２１１を指示位置として特定する。一方、特定部１３１は、左目Ｕ１と指先Ｕ５との間の距離が第２距離閾値Ｌｓ２以上の距離Ｌ２２である場合、ユーザＵ１０から遠い方の交点Ｐ２１２を指示位置として特定する。
【０１４１】
上記では、指示位置の特定処理について説明したが、表示システム２において、情報処理装置１００は、例えば、表示システム１と同様に、他の処理を実行し得る。
【０１４２】
例えば、図１３では、指定位置として特定された交点Ｐ２１上にオブジェクトＦ１が位置している例が示されている。この場合、指定部１３２は、例えば、指定位置として特定された交点Ｐ２１上に位置するオブジェクトＦ１を選択オブジェクト候補として指定する。なお、指定部１３２は、表示システム１と同様に、指示位置の軌跡により示されるオブジェクトを選択オブジェクト候補として指定してもよい。仮想現実を利用した表示システム２では、仮想空間２１において複数のオブジェクトが重なって見える場合がある。そのような場合、指示位置の軌跡により示されるオブジェクトが選択オブジェクト候補として指定されることによって、選択オブジェクト候補をより精度良く指定することができる。
【０１４３】
また、指定部１３２は、表示システム１と同様に、選択オブジェクト候補の指定モードを、指示位置上に位置するオブジェクトを選択オブジェクト候補として指定する第１指定モードと、指示位置の軌跡により示されるオブジェクトを選択オブジェクト候補として指定する第２指定モードとの間で切り替えてもよい。
【０１４４】
第１の変形例では、指示位置の候補である指示位置候補が複数ある場合、開いている一方の目と指先Ｕ５との間の距離に基づいて、複数の指示位置候補の中から指示位置が特定され得る。ここで、指示位置候補が複数ある場合、ユーザＵ１０の意図する指示位置がユーザＵ１０に近いほど、開いている一方の目と指先Ｕ５との間の距離は短くなりやすい。ゆえに、開いている一方の目と指先Ｕ５との間の距離に基づいて複数の指示位置候補の中から指示位置が特定されることによって、複数の指示位置候補の中から指示位置をユーザＵ１０の意図に沿って適切に特定することができる。それにより、ユーザＵ１０による直観的な指示をさらに効果的に実現することができる。
【０１４５】
（４−２．第２の変形例）
次に、図１５〜図１９を参照して、第２の変形例に係る表示システム３について説明する。
【０１４６】
図１５は、第２の変形例に係る表示システム３の概略構成の一例を示す模式図である。
【０１４７】
表示システム３は、実空間３１に各種画像を重畳表示するメガネ型のヘッドマウントディスプレイである表示装置３０についての直観的な操作を実現するためのユーザインタフェースを提供する拡張現実（ＡＲ）を利用したシステムである。
【０１４８】
表示システム３は、例えば、図１５に示されるように、表示装置３０と、目開閉検出用カメラ６０と、目位置検出用カメラ７０と、指位置検出用カメラ８０と、実空間カメラ９０と、情報処理装置３００とを備える。
【０１４９】
表示装置３０は、ユーザＵ１０の頭部に装着された状態で用いられ、ユーザＵ１０の視界内の実空間３１に各種画像を重畳表示する装置である。なお、表示装置３０により表示される画像は、静止画像の他に動画像を含み得る。実空間３１には、オブジェクトとしての種々の実物体が存在し得る。例えば、図１５では、実空間３１に実物体Ｇ１〜Ｇ９が表示されている例が示されている。なお、図１５では、実物体Ｇ１〜Ｇ９として、具体的には、壁、椅子、ボトル、ボトル台、第１コップ、机、第２コップ、食物及び皿がそれぞれ示されている。
【０１５０】
表示システム３において、ユーザＵ１０は、ユーザＵ１０の体の一部を用いた指示により表示装置３０の操作を行うことができる。例えば、ユーザＵ１０は、目や指先等を用いた指示により実物体Ｇ１〜Ｇ９のいずれかを選択することによって、各実物体と対応する操作を行うことができる。なお、図１５では、ユーザＵ１０の左目Ｕ１と左手の指先Ｕ５とを用いた指示によって実物体Ｇ５が選択される様子が一例として示されている。
【０１５１】
表示システム３では、目開閉検出用カメラ６０は、例えば、表示装置３０における装着時にユーザＵ１０の顔と対向する部分に設けられる。また、目位置検出用カメラ７０は、例えば、表示装置３０における装着時にユーザＵ１０の顔と対向する部分に設けられる。また、指位置検出用カメラ８０は、例えば、表示装置３０における装着時にユーザＵ１０の顔と対向する部分と逆側の部分に設けられる。また、情報処理装置３００は、例えば、表示装置３０に内蔵される。
【０１５２】
実空間カメラ９０は、ユーザＵ１０の視界内の実空間３１に存在する実物体に関する各種処理に用いられる画像を撮像により取得する。具体的には、実空間カメラ９０は、実空間３１における実物体が配置される領域の位置の検出に用いられる画像として、ユーザＵ１０の視界内の実空間３１に存在する実物体を映すデプス画像を撮像により取得する。また、実空間カメラ９０は、実空間３１における各実物体の種類及び位置の認識に用いられる画像として、ユーザＵ１０の視界内の実空間３１に存在する実物体を映す二次元画像を撮像により取得する。実空間カメラ９０は、例えば、表示装置３０における装着時にユーザＵ１０の顔と対向する部分と逆側の部分に設けられる。
【０１５３】
図１６は、第２の変形例に係る情報処理装置３００の機能構成の一例を示すブロック図である。
【０１５４】
情報処理装置３００は、例えば、図１６に示されるように、通信部１１０と、検出部３２０と、制御部３３０とを備える。
【０１５５】
情報処理装置３００では、通信部１１０は、実空間カメラ９０により取得されたユーザＵ１０の視界内の実空間３１に存在する実物体を映すデプス画像を実空間カメラ９０から受信し、検出部３２０へさらに出力する。また、通信部１１０は、実空間カメラ９０により取得されたユーザＵ１０の視界内の実空間３１に存在する実物体を映す二次元画像を実空間カメラ９０から受信し、制御部３３０へ出力する。
【０１５６】
検出部３２０は、上述した情報処理装置１００の検出部１２０と比較して、実空間カメラ９０により取得されたデプス画像に基づいて実空間３１における実物体が配置される領域の位置を検出する機能をさらに有する。
【０１５７】
制御部３３０は、上述した情報処理装置１００の制御部１３０と比較して、分割部３３１をさらに備える。
【０１５８】
分割部３３１は、実空間カメラ９０により取得されたユーザＵ１０の視界内の実空間３１に存在する実物体を映す二次元画像を各実物体が映る領域ごとに分割する。それにより、実空間３１における各実物体の種類及び位置を認識することができる。
【０１５９】
図１７は、第２の変形例に係る情報処理装置３００が行う処理の流れの一例を示すフローチャートである。例えば、図１７に示される処理フローは、常時繰り返される。
【０１６０】
図１７に示される処理フローは、上述した図５に示される処理フローと比較して、実物体が配置される領域の位置の検出処理（ステップＳ６０１）と、実物体を映す二次元画像の分割処理（ステップＳ６０３）とがさらに実行される。
【０１６１】
実物体が配置される領域の位置の検出処理（ステップＳ６０１）は、例えば、ステップＳ５０３においてＹＥＳと判定された場合に、ステップＳ５０５より前に実行される。
【０１６２】
ステップＳ６０１において、検出部３２０は、実空間カメラ９０により取得されたデプス画像に基づいて実空間３１における実物体が配置される領域の位置の検出を行う。
【０１６３】
実物体を映す二次元画像の分割処理（ステップＳ６０３）は、例えば、ステップＳ５１３の次に、ステップＳ５１５より前に実行される。
【０１６４】
ステップＳ６０３において、分割部３３１は、実空間カメラ９０により取得されたユーザＵ１０の視界内の実空間３１に存在する実物体を映す二次元画像を各実物体が映る領域ごとに分割する。
【０１６５】
分割部３３１は、例えば、畳み込みニューラルネットワークを利用することにより画像を各オブジェクトが映る領域ごとに分割するＳｅｍａｎｔｉｃ  Ｓｅｇｍｅｎｔａｔｉｏｎと称される周知の方法を用いることによって、実空間カメラ９０により取得された二次元画像を各実物体が映る領域ごとに分割する。それにより、実空間３１における各実物体の種類及び位置を認識することが具体的に実現される。
【０１６６】
図１８は、実物体を映す二次元画像の分割処理の前後における様子の一例を示す説明図である。図１８では、実空間カメラ９０により取得された分割処理前の画像Ｉｍ１０に実物体Ｇ１〜Ｇ９が映っている様子が示されている。この場合、分割部３３１は、画像Ｉｍ１０を実物体Ｇ１〜Ｇ９の各々が映る領域ごとに分割する。それにより、例えば、図１８に示される分割処理後の画像Ｉｍ２０が得られる。画像Ｉｍ２０において、領域Ｈ１〜Ｈ９が実物体Ｇ１〜Ｇ９の各々が映る領域に対応する。なお、表示制御部１３４は、分割処理後の画像Ｉｍ２０を実空間３１に重畳表示させてもよい。それにより、ユーザＵ１０は、実物体Ｇ１〜Ｇ９の各々をより区別しやすくなる。
【０１６７】
ここで、ユーザＵ１０の視界内の実空間３１に存在する実物体Ｇ１〜Ｇ９は、ユーザＵ１０により選択され得るオブジェクトに相当する。このように、分割部３３１は、選択オブジェクト候補の指定の前に、ユーザＵ１０により選択され得るオブジェクトを映す画像を各オブジェクトが映る領域ごとに分割する。
【０１６８】
上記では、実物体が配置される領域の位置の検出処理及び実物体を映す二次元画像の分割処理について説明したが、表示システム３において、情報処理装置３００は、例えば、表示システム１の情報処理装置１００と同様に、他の処理を実行し得る。
【０１６９】
例えば、図１５では、開いている一方の目に相当する左目Ｕ１と指先Ｕ５とを結ぶ直線と実空間３１における実物体が配置される領域との交点Ｐ３１が示されている。この場合、特定部１３１は、例えば、交点Ｐ３１を指示位置として特定する。このように、特定部１３１は、例えば、開いている一方の目に相当する左目Ｕ１と指先Ｕ５とを結ぶ直線上の位置を指示位置として特定する。
【０１７０】
実空間３１における実物体が配置される領域の位置は、上述したように、実空間カメラ９０により取得されたデプス画像に基づいて検出部３２０によって検出され得る。ゆえに、特定部１３１は、検出部３２０により検出される左目Ｕ１、指先Ｕ５及び実空間３１における実物体が配置される領域の位置に基づいて交点Ｐ３１の位置を算出し得る。
【０１７１】
なお、特定部１３１は、表示システム１と同様に、指先Ｕ５の延長線上の位置を指示位置として特定してもよい。具体的には、特定部１３１は、ユーザＵ１０の指先Ｕ５と当該指先Ｕ５に対応する指の関節とを結ぶ直線と実空間３１における実物体が配置される領域との交点を指示位置として特定してもよい。また、特定部１３１は、表示システム１と同様に、指示位置の特定モードを、開いている一方の目と指先Ｕ５とを結ぶ直線上の位置を指示位置として特定する第１特定モードと、指先Ｕ５の延長線上の位置を指示位置として特定する第２特定モードとの間で切り替えてもよい。
【０１７２】
また、例えば、図１５では、指定位置として特定された交点Ｐ３１上に実物体Ｇ５が位置している例が示されている。この場合、指定部１３２は、例えば、指定位置として特定された交点Ｐ３１上に位置する実物体Ｇ５を選択オブジェクト候補として指定する。なお、指定部１３２は、表示システム１と同様に、指示位置の軌跡により示されるオブジェクトを選択オブジェクト候補として指定してもよい。例えば、図１９では、指示位置として特定された交点Ｐ３１がユーザＵ１０の指先Ｕ５の動きに応じて実物体Ｇ５の外周側を一周移動した場合における交点Ｐ３１の軌跡Ｔ３が示されている。この場合、指定部１３２は、例えば、軌跡Ｔ３によって囲まれる実物体Ｇ５を選択オブジェクト候補として指定してもよい。また、指定部１３２は、表示システム１と同様に、選択オブジェクト候補の指定モードを、指示位置上に位置するオブジェクトを選択オブジェクト候補として指定する第１指定モードと、指示位置の軌跡により示されるオブジェクトを選択オブジェクト候補として指定する第２指定モードとの間で切り替えてもよい。
【０１７３】
ここで、第２の変形例では、選択オブジェクト候補の指定の前に、ユーザＵ１０により選択され得るオブジェクトとしての実物体Ｇ１〜Ｇ９を映す二次元画像が実物体Ｇ１〜Ｇ９の各々が映る領域ごとに分割される。それにより、選択オブジェクト候補の指定処理より前に実空間３１における各実物体の種類及び位置を認識することができる。ゆえに、ユーザＵ１０により選択され得るオブジェクトの種類及び位置を示す情報が情報処理装置３００の記憶素子に予め記憶されていない場合であっても、選択オブジェクト候補を指示位置に基づいて適切に指定することができる。さらに、選択オブジェクト候補をユーザＵ１０により選択されたオブジェクトである選択オブジェクトとして決定した後において、決定された選択オブジェクトに応じた制御指令を適切に出力することができる。
【０１７４】
なお、上記では、図１８を参照して、実空間カメラ９０により取得された二次元画像が、全領域について、各実物体が映る領域ごとに分割される例を説明したが、分割部３３１は、実空間カメラ９０により取得された二次元画像のうちの一部の領域のみを各実物体が映る領域ごとに分割してもよい。例えば、分割部３３１は、実空間カメラ９０により取得された二次元画像のうちの指示位置と対応する画素の近傍の領域のみを各実物体が映る領域ごとに分割してもよい。それにより、情報処理装置３００が行う処理における計算コストを削減することができる。
【０１７５】
また、上記では、ユーザＵ１０の体の一部を用いた指示により実空間３１に存在する実物体が選択される例について説明したが、表示装置３０によって実空間３１に重畳表示されるオブジェクトがユーザＵ１０の体の一部を用いた指示により選択されてもよい。その場合、例えば、開いている一方の目と指先Ｕ５とを結ぶ直線又は指先Ｕ５と当該指先Ｕ５に対応する指の関節とを結ぶ直線と実空間３１に重畳表示されるオブジェクトが配置される領域との交点が指示位置として特定され得る。そして、例えば、そのように特定される指示位置上に位置するオブジェクト又は指示位置の軌跡により示されるオブジェクトが選択オブジェクト候補として指定された後、選択オブジェクトとして決定され、選択オブジェクトに応じた制御指令が出力され得る。
【０１７６】
＜５．まとめ＞
以上説明したように、本実施形態に係る情報処理装置１００では、ユーザＵ１０の体の一部により指示される指示位置の特定が片目つぶり状態の検出結果に応じて実行される。ここで、目の開閉状態を片目つぶり状態にする動作は、ユーザＵ１０によって意識的に行われる動作である。ゆえに、ユーザＵ１０が機器の操作を意図せずに無意識に体の一部を動かした場合に機器の操作が実行されることを抑制することができる。よって、ユーザＵ１０の体の一部を用いた指示による機器の操作における操作性を向上させることができる。
【０１７７】
なお、上記では、複数のカメラを備える各表示システムについて説明したが、各表示システムが備えるカメラの数はこのような例に限定されない。具体的には、各表示システムにおいて、一部のカメラが他のカメラの機能を備えることによって、当該他のカメラが表示システムの構成から省略されてもよい。例えば、表示システム１において、目位置検出用カメラ７０及び指位置検出用カメラ８０の機能は１つのカメラによって実現されてもよい。また、例えば、表示システム３において、指位置検出用カメラ８０及び実空間カメラ９０の機能は１つのカメラによって実現されてもよい。
【０１７８】
また、上記では、ユーザＵ１０により選択され得るオブジェクトを映す画像を各オブジェクトが映る領域ごとに分割する処理が行われる例として拡張現実を利用した表示システム３を説明したが、表示システム１又は表示システム２において、このような画像の分割処理が行われてもよい。例えば、表示システム１において、表示装置１０によりスクリーン１１にテレビ番組の動画像を表示する際に、当該動画像中のオブジェクトは、ユーザＵ１０により選択され得るオブジェクトに該当し得る。そのような場合、当該動画像を構成する各静止画像について各オブジェクトが映る領域ごとに分割する処理を行うことによって、選択オブジェクト候補の指定処理より前に当該動画像中の各オブジェクトの種類及び位置を認識することができる。また、表示システム２において、表示装置２０により仮想空間２１に表示される画像中のオブジェクトについても、同様に、ユーザＵ１０により選択され得るオブジェクトに該当し得る。ゆえに、表示システム２について各オブジェクトが映る領域ごとに分割する処理を行うことによって、選択オブジェクト候補の指定処理より前に当該動画像中の各オブジェクトの種類及び位置を認識することができる。
【０１７９】
また、上記では、表示システム３において、実空間カメラ９０により取得された二次元画像を各実物体が映る領域ごとに分割する処理が行われる例を説明したが、必ずしも、画像の分割処理が表示システム３において行われなくてもよい。画像の分割処理が行われない場合であっても、指定部１３２は、例えば、実空間カメラ９０により取得された二次元画像のうち実空間３１において指示位置の軌跡によって囲まれる部分と対応する部分を選択オブジェクト候補として指定し得る。このような選択オブジェクト候補が選択オブジェクトとして決定された場合、選択オブジェクトと対応する操作として、例えば、選択オブジェクトと一致するオブジェクトを他の画像から検索する操作を行うことができる。
【０１８０】
なお、本明細書において説明した各装置による一連の制御処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられる記憶媒体（非一時的な媒体：ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ  ｍｅｄｉａ）に予め格納される。そして、各プログラムは、例えば、実行時にＲＡＭに読み込まれ、ＣＰＵなどのプロセッサにより実行される。各プログラムを実行するプロセッサは、単数であっても複数であってもよい。
【０１８１】
具体的には、上述のような情報処理装置１００又は情報処理装置３００の各機能を実現するためのコンピュータプログラムを作製し、ＰＣ等に実装することが可能である。情報処理装置１００又は情報処理装置３００は、コンピュータに相当し得る。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。また、情報処理装置１００又は情報処理装置３００の各機能は複数のコンピュータにより分割されてもよく、その場合、当該複数のコンピュータが有する各機能は、上記のコンピュータプログラムにより実現され得る。
【０１８２】
また、本明細書においてフローチャートを用いて説明した処理は、必ずしもフローチャートに示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。例えば、図５及び図６に示されるフローチャートにおいて、ステップＳ５０７及びステップＳ５０９の処理は、ステップＳ５０１、ステップＳ５０３又はステップＳ５０５の前に実行されてもよい。また、図６に示されるフローチャートにおいて、ステップＳ６０１の処理は、ステップＳ５０１又はステップＳ５０３の前に実行されてもよく、ステップＳ５０７又はステップＳ５０９の後に実行されてもよい。また、図６に示されるフローチャートにおいて、ステップＳ６０３の処理は、ステップＳ５０１〜ステップＳ５１３のいずれかの処理の前に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。
【０１８３】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲は係る例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１８４】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【０１８５】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
ユーザの一方の目が開いており他方の目が閉じている片目つぶり状態の検出を実行する検出部と、
前記ユーザの体の一部により指示される指示位置の特定を、前記検出部による前記片目つぶり状態の検出結果に応じて実行する制御部と、
を備える、
情報処理装置。
（２）
前記制御部は、前記一方の目と前記ユーザの指先とを結ぶ直線上の位置を前記指示位置として特定する、
前記（１）に記載の情報処理装置。
（３）
前記制御部は、前記ユーザの指先の延長線上の位置を前記指示位置として特定する、
前記（１）又は（２）に記載の情報処理装置。
（４）
前記制御部は、前記指示位置の特定モードを、前記一方の目と前記ユーザの指先とを結ぶ直線上の位置を前記指示位置として特定する第１特定モードと、前記指先の延長線上の位置を前記指示位置として特定する第２特定モードとの間で切り替える、
前記（１）〜（３）のいずれか一項に記載の情報処理装置。
（５）
前記制御部は、前記指示位置の指示に用いられる前記ユーザの指の向きに応じて、前記指示位置の特定モードの切り替えを実行する、
前記（４）に記載の情報処理装置。
（６）
前記制御部は、前記一方の目と前記指先との間の距離に応じて、前記指示位置の特定モードの切り替えを実行する、
前記（４）又は（５）に記載の情報処理装置。
（７）
前記指示位置は、少なくとも前記ユーザの指先を用いて指示され、
前記制御部は、前記指示位置の候補である指示位置候補が複数ある場合、前記一方の目と前記指先との間の距離に基づいて、複数の前記指示位置候補の中から前記指示位置を特定する、
前記（１）〜（６）のいずれか一項に記載の情報処理装置。
（８）
前記制御部は、前記ユーザにより選択されるオブジェクトの候補である選択オブジェクト候補を前記指示位置に基づいて指定する、
前記（１）〜（７）のいずれか一項に記載の情報処理装置。
（９）
前記制御部は、前記指示位置上に位置するオブジェクトを前記選択オブジェクト候補として指定する、
前記（８）に記載の情報処理装置。
（１０）
前記制御部は、前記指示位置の軌跡により示されるオブジェクトを前記選択オブジェクト候補として指定する、
前記（８）又は（９）に記載の情報処理装置。
（１１）
前記制御部は、前記選択オブジェクト候補の指定モードを、前記指示位置上に位置するオブジェクトを前記選択オブジェクト候補として指定する第１指定モードと、前記指示位置の軌跡により示されるオブジェクトを前記選択オブジェクト候補として指定する第２指定モードとの間で切り替える、
前記（８）〜（１０）のいずれか一項に記載の情報処理装置。
（１２）
前記制御部は、前記ユーザの体の一部の形状に応じて、前記選択オブジェクト候補の指定モードの切り替えを実行する、
前記（１１）に記載の情報処理装置。
（１３）
前記制御部は、前記選択オブジェクト候補の指定の前に、前記ユーザにより選択され得るオブジェクトを映す画像を各オブジェクトが映る領域ごとに分割する、
前記（８）〜（１２）のいずれか一項に記載の情報処理装置。
（１４）
前記制御部は、前記ユーザの体の一部による決定動作が検出された場合に、前記選択オブジェクト候補を前記ユーザにより選択されたオブジェクトである選択オブジェクトとして決定する、
前記（８）〜（１３）のいずれか一項に記載の情報処理装置。
（１５）
前記制御部は、前記選択オブジェクト候補を表示装置に強調表示させる、
前記（８）〜（１４）のいずれか一項に記載の情報処理装置。
（１６）
前記制御部は、前記指示位置を表示装置に表示させる、
前記（１）〜（１５）のいずれか一項に記載の情報処理装置。
（１７）
前記制御部は、前記片目つぶり状態が検出されている場合に、前記指示位置の特定を実行する、
前記（１）〜（１６）のいずれか一項に記載の情報処理装置。
（１８）
ユーザの一方の目が開いており他方の目が閉じている片目つぶり状態の検出を情報処理装置によって実行することと、
前記ユーザの体の一部により指示される指示位置の特定を、前記情報処理装置による前記片目つぶり状態の検出結果に応じて実行することと、
を含む、
情報処理方法。
（１９）
コンピュータを、
ユーザの一方の目が開いており他方の目が閉じている片目つぶり状態の検出を実行する検出部と、
前記ユーザの体の一部により指示される指示位置の特定を、前記検出部による前記片目つぶり状態の検出結果に応じて実行する制御部と、
として機能させるためのプログラムが記録された、コンピュータに読み取り可能な記録媒体。
【符号の説明】
【０１８６】
１，２，３  表示システム
１０，２０，３０  表示装置
６０  目開閉検出用カメラ
７０  目位置検出用カメラ
８０  指位置検出用カメラ
９０  実空間カメラ
１００，３００  情報処理装置
１１０  通信部
１２０，３２０  検出部
１３０，３３０  制御部
１３１  特定部
１３２  指定部
１３３  決定部
１３４  表示制御部
３３１  分割部
【図１】
2019008351.tif 000005
【図２】
2019008351.tif 000006
【図３】
2019008351.tif 000007
【図４】
2019008351.tif 000008
【図５】
2019008351.tif 000009
【図６】
2019008351.tif 000010
【図７】
2019008351.tif 000011
【図８】
2019008351.tif 000012
【図９】
2019008351.tif 000013
【図１０】
2019008351.tif 000014
【図１１】
2019008351.tif 000015
【図１２】
2019008351.tif 000016
【図１３】
2019008351.tif 000017
【図１４】
2019008351.tif 000018
【図１５】
2019008351.tif 000019
【図１６】
2019008351.tif 000020
【図１７】
2019008351.tif 000021
【図１８】
2019008351.tif 000022
【図１９】
2019008351.tif 000023