(57)【要約】【課題】実オブジェクトを移動させる感覚で操作オブジェクトの表示場所を操作することが可能な仕組みを提供する。【解決手段】被操作機器についての操作オブジェクトの表示を制御する表示制御部と、前記操作オブジェクトが視認されるように表示される場所の基準を前記被操作機器の操作主体の前記操作オブジェクトについての所定の操作に基づいて制御する基準制御部と、を備える情報処理装置。プロセッサを用いて、被操作機器についての操作オブジェクトの表示を制御することと、前記操作オブジェクトが視認されるように表示される場所の基準を前記被操作機器の操作主体の前記操作オブジェクトについての所定の操作に基づいて制御することと、を含む情報処理方法。前記情報処理装置を動作させるためのプログラム。【選択図】図４７
2018008218.tif 000002
【特許請求の範囲】
【請求項１】
被操作機器についての操作オブジェクトの表示を制御する表示制御部と、
前記操作オブジェクトが視認されるように表示される場所の基準を前記被操作機器の操作主体の前記操作オブジェクトについての所定の操作に基づいて制御する基準制御部と、
を備える情報処理装置。
【請求項２】
前記場所の基準は、実空間上の物体を含み、
前記操作オブジェクトの表示される場所は、前記物体の移動に応じて変更される、
請求項１に記載の情報処理装置。
【請求項３】
前記物体は、前記操作主体を含み、
前記操作オブジェクトは、前記操作主体の属性または態様に応じた場所に視認されるように表示される、
請求項２に記載の情報処理装置。
【請求項４】
前記場所の基準は、実空間上の位置を含み、
前記操作オブジェクトは、前記実空間上の位置に基づいて表示される、
請求項１に記載の情報処理装置。
【請求項５】
表示制御部は、さらに前記所定の操作が行われる際の前記操作主体の態様に応じて前記場所の基準の種類を制御する、
請求項１に記載の情報処理装置。
【請求項６】
前記表示制御部は、前記場所の基準が制御される際に、前記操作オブジェクトの態様を制御する、
請求項１に記載の情報処理装置。
【請求項７】
前記操作オブジェクトの態様は、前記操作オブジェクトについての操作の客体に係る情報に基づいて制御される、
請求項６に記載の情報処理装置。
【請求項８】
前記操作オブジェクトの態様は、制御前の前記場所の基準または制御後の前記場所の基準に係る情報に基づいて制御される、
請求項６に記載の情報処理装置。
【請求項９】
制御前の前記場所の基準または制御後の前記場所の基準に係る情報は、制御前の前記場所の基準または制御後の前記場所の基準の属性または態様が特定される情報を含む、
請求項８に記載の情報処理装置。
【請求項１０】
前記操作オブジェクトの態様は、前記操作オブジェクトの複雑さまたは前記場所の基準の移動に対する追従性を含む、
請求項６に記載の情報処理装置。
【請求項１１】
前記表示制御部は、前記場所の基準の変更先が特定される表示オブジェクトの表示を制御する、
請求項１に記載の情報処理装置。
【請求項１２】
前記表示制御部は、前記場所の基準の変更先について別の前記操作オブジェクトが存在する場合、前記場所の基準が変更される前記操作オブジェクトと前記場所の基準の変更先の前記別の前記操作オブジェクトとをマージする、
請求項１に記載の情報処理装置。
【請求項１３】
前記基準制御部は、さらに前記所定の操作に基づいて前記操作オブジェクトの属性を制御する、
請求項１に記載の情報処理装置。
【請求項１４】
前記操作オブジェクトの属性は、前記操作オブジェクトを操作する前記操作主体を含む、
請求項１３に記載の情報処理装置。
【請求項１５】
前記表示制御部は、前記操作オブジェクトの属性に基づいて前記操作オブジェクトの態様を制御する、
請求項１３に記載の情報処理装置。
【請求項１６】
前記操作オブジェクトは、前記所定の操作に基づいて複製される、
請求項１に記載の情報処理装置。
【請求項１７】
前記所定の操作における前記操作主体の態様に基づいて、複製された前記操作オブジェクトと複製元の前記操作オブジェクトとの同期性が制御される、
請求項１６に記載の情報処理装置。
【請求項１８】
前記所定の操作は、前記操作オブジェクトについての第１の操作および第２の操作の組を含み、
前記基準制御部は、前記第１の操作により選択された前記操作オブジェクトについての基準を、前記第２の操作に応じた場所に基づいて変更する、
請求項１に記載の情報処理装置。
【請求項１９】
プロセッサを用いて、
被操作機器についての操作オブジェクトの表示を制御することと、
前記操作オブジェクトが視認されるように表示される場所の基準を前記被操作機器の操作主体の前記操作オブジェクトについての所定の操作に基づいて制御することと、
を含む情報処理方法。
【請求項２０】
被操作機器についての操作オブジェクトの表示を制御する表示制御機能と、
前記操作オブジェクトが視認されるように表示される場所の基準を前記被操作機器の操作主体の前記操作オブジェクトについての所定の操作に基づいて制御する基準制御機能と、
をコンピュータシステムに実現させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置、情報処理方法およびプログラムに関する。
【背景技術】
【０００２】
近年、情報通信技術の発展に伴い、装置を制御するための様々なインタフェースが研究開発されている。そのようなインタフェースのうちの１つとして、表示される仮想オブジェクトを用いたインタフェースがある。【０００３】
例えば、特許文献１では、投影イメージに対するユーザの動きに応じて情報処理装置が処理を実行する発明が開示されている。さらに、当該特許文献１では、このような情報処理装置とユーザとのインタラクションのうちの１つとして、ユーザが投影イメージをつかむ動作が検出されている間、ユーザの手の動きに投影イメージを追従させることが開示されている（図４４など）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−１８８０２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、上記の投影イメージのような操作オブジェクトの表示場所を実オブジェクトに対する操作により近い操作で制御することが望まれている。そこで、本開示では、実オブジェクトを移動させる感覚で操作オブジェクトの表示場所を操作することが可能な仕組みを提案する。
【課題を解決するための手段】
【０００６】
本開示によれば、被操作機器についての操作オブジェクトの表示を制御する表示制御部と、前記操作オブジェクトが視認されるように表示される場所の基準を前記被操作機器の操作主体の前記操作オブジェクトについての所定の操作に基づいて制御する基準制御部と、を備える情報処理装置が提供される。【０００７】
また、本開示によれば、プロセッサを用いて、被操作機器についての操作オブジェクトの表示を制御することと、前記操作オブジェクトが視認されるように表示される場所の基準を前記被操作機器の操作主体の前記操作オブジェクトについての所定の操作に基づいて制御することと、を含む情報処理方法が提供される。【０００８】
また、本開示によれば、被操作機器についての操作オブジェクトの表示を制御する表示制御機能と、前記操作オブジェクトが視認されるように表示される場所の基準を前記被操作機器の操作主体の前記操作オブジェクトについての所定の操作に基づいて制御する基準制御機能と、をコンピュータシステムに実現させるためのプログラムが提供される。
【発明の効果】
【０００９】
以上説明したように本開示によれば、実オブジェクトを移動させる感覚で操作オブジェクトの表示場所を操作することが可能な仕組みが提供される。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【００１０】
【図１】本開示の一実施形態に係る情報処理システムの概要を説明するための図である。
【図２】本開示の一実施形態に係る情報処理システムの処理の概要を示すフローチャートである。
【図３】本開示の第１の実施形態に係る情報処理システムの機能構成の例を概略的に示すブロック図である。
【図４】同実施形態に係る情報処理システムにおいて１つの被操作機器が選択される第１の機器選択の例を説明するための図である。
【図５】同実施形態に係る情報処理システムにおいて複数の被操作機器が選択される第１の機器選択の例を説明するための図である。
【図６】同実施形態に係る情報処理システムにおいて選択オブジェクトへの操作に基づいて操作対象機器が選択される第２の機器選択の例を説明する例を説明するための図である。
【図７】同実施形態に係る情報処理システムにおける優先度情報の例を説明するための図である。
【図８】同実施形態に係る情報処理システムにおける第１の機器選択により選択された被操作機器の通知の例を示す図である。
【図９】、同実施形態に係る情報処理システムの全体処理の例を概念的に示すフローチャートである。
【図１０】同実施形態に係る情報処理システムの選択オブジェクト表示処理の例を概念的に示すフローチャートである。
【図１１】同実施形態の第１の変形例に係る情報処理システムにおける第１の機器選択の例を説明するための図である。
【図１２】同実施形態の第１の変形例に係る情報処理システムにおける第１の機器選択の別の例を説明するための図である。
【図１３】同実施形態の第１の変形例に係る情報処理システムにおける第１の機器選択のもう一つの別の例を説明するための図である。
【図１４】同実施形態の第２の変形例に係る情報処理システムの選択オブジェクト表示処理の例を概念的に示すフローチャートである。
【図１５】同実施形態の第３の変形例に係る情報処理システムにおける選択オブジェクトの表示の例を示す図である。
【図１６】同実施形態の第３の変形例に係る情報処理システムにおける選択オブジェクトの表示の他の例を示す図である。
【図１７】同実施形態の第４の変形例に係る情報処理システムの選択オブジェクト表示処理の例を概念的に示すフローチャートである。
【図１８】同実施形態の第４の変形例に係る情報処理システムの選択オブジェクト表示処理の他の例を概念的に示すフローチャートである。
【図１９】同実施形態の第５の変形例に係る情報処理システムにおける第１の機器選択により選択された被操作機器の通知の例を示す図である。
【図２０】同実施形態の第５の変形例に係る情報処理システムにおける第１の機器選択により選択された被操作機器の通知の別の例を示す図である。
【図２１】同実施形態の第５の変形例に係る情報処理システムにおける第１の機器選択により選択された被操作機器の通知のもう一つの別の例を示す図である。
【図２２】本開示の第２の実施形態に係る情報処理システムにおける操作オブジェクトの表示制御の例を示す図である。
【図２３】同実施形態に係る情報処理システムにおける操作オブジェクトの表示制御の他の例を示す図である。
【図２４】同実施形態に係る情報処理システムの処理の例を概念的に示すフローチャートである。
【図２５】同実施形態の第１の変形例に係る情報処理システムにおける操作オブジェクトの表示制御の例を示す図である。
【図２６】同実施形態の第１の変形例に係る情報処理システムにおける操作オブジェクトの表示制御の別の例を示す図である
【図２７】同実施形態の第２の変形例に係る情報処理システムにおける操作オブジェクトの表示制御の例を示す図である。
【図２８】同実施形態の第２の変形例に係る情報処理システムにおける操作オブジェクトの表示制御の別の例を示す図である。
【図２９】同実施形態の第３の変形例に係る情報処理システムにおける操作オブジェクトの表示制御の例を示す図である。
【図３０】同実施形態の第３の変形例に係る情報処理システムにおける操作オブジェクトの表示制御の別の例を示す図である。
【図３１】同実施形態の第４の変形例に係る情報処理システムにおける操作オブジェクトの表示制御の例を示す図である。
【図３２】同実施形態の第５の変形例に係る情報処理システムにおける操作オブジェクトの表示制御の例を示す図である。
【図３３】同実施形態の第６の変形例に係る情報処理システムにおける操作オブジェクトの表示制御の例を示す図である。
【図３４】同実施形態の第６の変形例に係る情報処理システムにおける操作オブジェクトの表示制御の例を示す図である。
【図３５】同実施形態の第６の変形例に係る情報処理システムにおける操作オブジェクトの表示制御の例を示す図である。
【図３６】同実施形態の第６の変形例に係る情報処理システムの処理の例を概念的に示すフローチャートである。
【図３７】同実施形態の第７の変形例に係る情報処理システムにおける通知操作オブジェクトの表示制御の例を示す図である。
【図３８】同実施形態の第７の変形例に係る情報処理システムにおける複数のユーザについての通知操作オブジェクトの表示制御の例を示す図である。
【図３９】同実施形態の第７の変形例に係る情報処理システムにおける特定のユーザにのみ視認されるような通知操作オブジェクトの表示制御の例を示す図である。
【図４０】同実施形態の第７の変形例に係る情報処理システムにおける特定のユーザにのみ視認されるような通知操作オブジェクトの表示制御の別の例を示す図である。
【図４１】同実施形態の第８の変形例に係る情報処理システムにおける操作オブジェクトの表示制御の例を示す図である。
【図４２】同実施形態の第９の変形例に係る情報処理システムにおける操作オブジェクトの表示制御の例を示す図である。
【図４３】同実施形態の第１０の変形例に係る情報処理システムにおける操作オブジェクトの操作の例を示す図である。
【図４４】本開示の第３の実施形態に係る情報処理システムにおける操作オブジェクトの移動制御の例を示す図である。
【図４５】同実施形態に係る情報処理システムにおける表示場所の基準に対する操作オブジェクトの追従性の例を示す図である。
【図４６】同実施形態に係る情報処理システムにおける表示場所の基準が人である場合の操作オブジェクトの追従性の例を示す図である。
【図４７】同実施形態に係る情報処理システムの全体処理の例を概念的に示すフローチャートである。
【図４８】同実施形態に係る情報処理システムにおける表示場所の基準の制御処理の例を概念的に示すフローチャートである。
【図４９】同実施形態の第１の変形例に係る情報処理システムにおける所定の操作の例を示す図である。
【図５０】同実施形態の第１の変形例に係る情報処理システムにおける所定の操作の別の例を示す図である。
【図５１】同実施形態の第１の変形例に係る情報処理システムにおける所定の操作のまた別の例を示す図である。
【図５２】同実施形態の第１の変形例に係る情報処理システムにおける所定の操作のまた別の例を示す図である。
【図５３】同実施形態の第１の変形例に係る情報処理システムにおける所定の操作のまた別の例を示す図である。
【図５４】同実施形態の第２の変形例に係る情報処理システムにおける表示場所の基準の変更例を示す図である。
【図５５】同実施形態の第３の変形例に係る情報処理システムにおける表示場所の基準の制御処理の例を概念的に示すフローチャートである。
【図５６】同実施形態の第４の変形例に係る情報処理システムにおける操作オブジェクトの表示場所の基準の変更先が明示される例を示す図である。
【図５７】同実施形態の第５の変形例に係る情報処理システムにおける操作オブジェクトのマージの例を示す図である。
【図５８】同実施形態の第６の変形例に係る情報処理システムにおける操作オブジェクトの表示制御の例を示す図である。
【図５９】同実施形態の第７の変形例に係る情報処理システムにおける操作オブジェクトの表示制御の例を示す図である。
【図６０】同実施形態の第７の変形例に係る情報処理システムにおける複製に係る操作オブジェクトの表示制御の例を示す図である。
【図６１】本開示の一実施形態に係る情報処理装置のハードウェア構成を示した説明図である。
【発明を実施するための形態】
【００１１】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１２】
また、本明細書及び図面において、実質的に同一の機能を有する複数の要素を、同一の符号の後に異なる番号を付して区別する場合もある。例えば、実質的に同一の機能を有する複数の要素を、必要に応じて選択オブジェクト３１Ａおよび選択オブジェクト３１Ｂなどのように区別する。ただし、実質的に同一の機能を有する要素を区別する必要が無い場合、同一符号のみを付する。例えば、選択オブジェクト３１Ａおよび選択オブジェクト３１Ｂを特に区別する必要がない場合には、単に選択オブジェクト３１と称する。
【００１３】
また、説明の便宜上、第１〜第３の実施形態に係る情報処理装置１００を、情報処理装置１００−１〜情報処理装置１００−３のように、末尾に実施形態に対応する番号を付することにより区別する。
【００１４】
なお、説明は以下の順序で行うものとする。
１．序論
２．本開示の一実施形態に係る情報処理システムの概要
３．本開示の第１の実施形態（被操作機器の選択）
３−１．システムの構成
３−２．システムの処理
３−３．第１の実施形態のまとめ
３−４．変形例
４．本開示の第２の実施形態（操作オブジェクトの表示）
４−１．システムの構成
４−２．システムの処理
４−３．第２の実施形態のまとめ
４−４．変形例
５．本開示の第３の実施形態（操作オブジェクトの移動）
５−１．システムの構成
５−２．システムの処理
５−３．第３の実施形態のまとめ
５−４．変形例
６．本開示の一実施形態に係るハードウェア構成
７．むすび
【００１５】
＜１．序論＞
まず、本開示の各実施形態に係る情報処理システムに関する技術について説明する。
【００１６】
家庭用電気製品などの電子機器（以下、被操作機器とも称する。）は概して、リモートコントローラを用いて操作される。例えば、リモートコントローラは被操作機器毎に設けられ、ユーザは操作対象の被操作機器についてのリモートコントローラを用いて被操作機器を操作する。
【００１７】
しかし、被操作機器が増加するにつれてリモートコントローラも増加するため、ユーザにとって被操作機器の操作が煩雑となるおそれがある。例えば、所望の被操作機器のリモートコントローラをユーザが探す手間が増える。また、リモートコントローラの管理も追加的な負担となる。
【００１８】
これに対し、リモートコントローラに相当する１つの装置を用いて複数の被操作機器を操作することが考えられる。例えば、被操作機器を操作するためのＧＵＩ（Graphical  User  Interface）が表示される装置において、当該ＧＵＩを被操作機器に応じて切り替えることが挙げられる。
【００１９】
しかし、この場合でも、ユーザにとっての煩雑さが残る。例えば、ユーザは、被操作機器を操作するために上記装置を手に取らなければならない。また、複数の被操作機器についてのＧＵＩの中から所望のＧＵＩを選択することになるため、被操作機器が増えるとＧＵＩも増え、ＧＵＩの選択が煩雑となる。また、それにより操作できるようになるまでに時間がかかってしまう。さらに、ユーザが複数である場合には、上記装置をユーザの数だけ用意することが要される。
【００２０】
上記を踏まえると、上記装置が用いられない操作インタフェースを提供することが考えられる。例えば、被操作機器が、ユーザの音声、視線またはジェスチャといったいわゆるＮＵＩ（Natural  User  Interface）を認識し、ユーザが所望する動作を実行することが挙げられる。
【００２１】
しかし、被操作機器が複数存在する場合、概して、ＮＵＩによって所望の被操作機器を選択することが困難である。例えば、ユーザが視線を用いて所望の被操作機器を選択しようとすると、視線のぶれにより所望の被操作機器のみならず周囲の被操作機器まで視線が認識されてしまい、誤作動が発生しかねない。また、視線のぶれを抑えることはユーザにとって負担となる。さらに、もし仮に所望の被操作機器が選択されたとしても、被操作機器の操作、特にパラメタの調整などの細かな操作が行われる場合には、より負担が増加することになる。
【００２２】
他方で、上記ＮＵＩの代わりに投影されるＧＵＩを利用することも考えられる。例えば、ユーザの周辺にＧＵＩを投影し、投影されるＧＵＩに対する操作に応じて被操作機器を操作することが挙げられる。
【００２３】
しかし、この場合であっても、依然として被操作機器の選択が困難であることは解決されていない。
【００２４】
そこで、本開示の一実施形態では、ユーザが操作を所望する被操作機器の選択にかかるユーザの負担を低減することが可能な仕組みを提案する。また、合わせて、ユーザの状況に適した操作オブジェクトを提供することが可能な仕組み、および実オブジェクトを移動させる感覚で操作オブジェクトの表示場所を操作することが可能な仕組みも提案する。
【００２５】
＜２．本開示の一実施形態に係る情報処理システムの概要＞
次に、図１を参照して、本開示の一実施形態に係る情報処理システムの概要について説明する。図１は、本開示の一実施形態に係る情報処理システムの概要を説明するための図である。
【００２６】
本開示の一実施形態に係る情報処理システムは、ユーザ態様認識機能、投影制御機能、機器制御機能および通信機能を有する情報処理装置１００、投影装置、撮像装置ならびに被操作機器を備える。ユーザ態様認識機能は、ユーザの身体の態様を認識する機能である。投影制御機能は、投影装置に投影させる画像の態様および当該画像の投影場所などを制御する機能である。機器制御機能は、被操作機器の処理を制御する機能である。通信機能は、情報処理装置１００の外部の装置または機器と情報を通信する機能である。そのため、情報処理装置１００は、投影装置に投影させる被操作機器の操作のための画像（以下、操作オブジェクトとも称する。）に対するユーザの身体を用いた操作に応じて通信を介して接続される被操作機器を制御することが可能である。
【００２７】
さらに、情報処理装置１００は、上記機能に加えて、被操作機器選択機能、操作オブジェクト態様制御機能および操作オブジェクト移動機能を有する。被操作機器選択機能は、複数の被操作機器の中から操作対象となる被操作機器を選択する機能である。操作オブジェクト表示機能は、表示される操作オブジェクトの表示態様を制御する機能である。操作オブジェクト移動機能は、表示される操作オブジェクトの移動を制御する機能である。
【００２８】
例えば、図１に示したように、情報処理システム１は、情報処理装置１００、投影撮像装置１０、表示装置２０および空調装置２１を備える。情報処理装置１００は、インターネットなどのネットワークを介して投影撮像装置１０ならびに表示装置２０および空調装置２１と接続される。なお、投影撮像装置１０は、別個の投影装置および撮像装置であってもよい。
【００２９】
まず、情報処理装置１００は、被操作機器として表示装置２０および空調装置２１を選択する。次に、情報処理装置１００は、選択された表示装置２０または空調装置２１を操作するための操作オブジェクトを投影撮像装置１０に投影させる。また、投影撮像装置１０は、ユーザが入る範囲を撮像し、撮像により得られた画像に係る画像情報を情報処理装置１００へ送信する。情報処理装置１００は、受信された画像情報に基づいて認識されるユーザの身体の態様からユーザの操作を認識する。そして、情報処理装置１００は、ユーザの操作に応じて操作オブジェクトの表示場所を移動させる。また、情報処理装置１００は、操作オブジェクトへのユーザの操作に基づいて表示装置２０または空調装置２１の処理を制御する。
【００３０】
さらに、図２を参照して、情報処理システム１の処理の概要を説明する。図２は、本開示の一実施形態に係る情報処理システム１の処理の概要を示すフローチャートである。
【００３１】
情報処理システム１は、操作対象となる被操作機器を選択する（ステップＳ２０１）。具体的には、情報処理装置１００は、通信を介して接続される複数の被操作器機器の中から操作対象となる被操作機器を選択する。
【００３２】
次に、情報処理システム１は、１つ以上の被操作機器が選択されたかを判定する（ステップＳ２０２）。具体的には、情報処理装置１００は、１つ以上の被操作機器が操作対象として選択されたかを判定する。
【００３３】
１つ以上の被操作機器が選択されたと判定されると、情報処理システム１は、操作オブジェクトを表示する（ステップＳ２０３）。具体的には、情報処理装置１００は、操作対象として選択された被操作機器についての操作オブジェクトを投影撮像装置１０に投影させる。
【００３４】
次に、情報処理システム１は、操作オブジェクトを移動させる（ステップＳ２０４）。具体的には、情報処理装置１００は、投影される操作オブジェクトに対するユーザの操作に応じて当該操作オブジェクトの投影場所を移動させる。
【００３５】
また、情報処理システム１は、操作対象となる被操作機器を操作する（ステップＳ２０５）。具体的には、情報処理装置１００は、投影される操作オブジェクトに対するユーザの操作に応じて、当該操作オブジェクトに対応する被操作機器に処理を実行させる。
【００３６】
そして、情報処理システム１は、操作が終了したかを判定する（ステップＳ２０６）。具体的には、情報処理装置１００は、操作オブジェクトを用いた被操作機器の操作が終了したかを判定する。なお、操作が終了したと判定されると、情報処理システム１は、操作オブジェクトの表示を終了させる。
【００３７】
以上、本開示の一実施形態に係る情報処理システムの概要について説明した。以下では、上述した被操作機器選択機能、操作オブジェクト態様制御機能および操作オブジェクト移動機能について実施形態に分けてそれぞれ詳細に説明する。
【００３８】
＜３．本開示の第１の実施形態（被操作機器の選択）＞
始めに、本開示の第１の実施形態に係る情報処理システム１について説明する。本開示の第１の実施形態では、情報処理システム１における上述した被操作機器選択機能についての実施形態について主に説明する。
【００３９】
＜３−１．システムの構成＞
図３を参照して、本実施形態に係る情報処理システム１の機能構成について説明する。図３は、本開示の第１の実施形態に係る情報処理システム１の機能構成の例を概略的に示すブロック図である。
【００４０】
情報処理システム１は、図３に示したように、情報処理装置１００−１、投影撮像装置１０、ならびに被操作機器としての表示装置２０および空調装置２１を備える。以下、情報処理装置１００−１および投影撮像装置１０の機能について詳細に説明する。
【００４１】
（情報処理装置）
情報処理装置１００−１は、認識部１０１、機器選択部１０２、投影制御部１０３、機器制御部１０４、通信部１０５および記憶部１０６を備える。
【００４２】
（認識部）
認識部１０１は、操作主体としてのユーザの態様を認識する。具体的には、認識部１０１は、観察情報に基づいてユーザの身体の態様を認識する。より具体的には、観察情報はユーザの映る画像に係る画像情報であり、認識部１０１は、当該画像情報に係る画像を解析することにより、ユーザの身体の態様を認識する。例えば、認識部１０１は、画像に映るユーザの顔または目を認識し、認識された顔または目の配置または形状などに基づいてユーザの視線を認識する。なお、観察情報はユーザの動きまたは位置などに関する測定情報であってもよく、認識部１０１は、当該測定情報に基づいてユーザの身体の態様を認識してもよい。当該身体の態様としては、視線もしくは視野などの目視の態様がある。また、当該測定情報は、ユーザが装着するセンサまたはユーザの周辺に存在する物体に設置されたセンサなどから取得されてもよい。
【００４３】
また、認識部１０１は、認識されるユーザの態様に基づいてユーザの操作を認識する。具体的には、認識部１０１は、投影制御部１０３により投影させられる操作オブジェクトに対するユーザの態様に基づいて被操作機器に対する操作を認識する。例えば、認識部１０１は、操作オブジェクトをタッチする動作が認識されると、操作オブジェクトに対する操作が行われたことを認識する。
【００４４】
（機器選択部）
機器選択部１０２は、ユーザの身体の態様に基づいて操作対象となる被操作機器（以下、操作対象機器とも称する。）を選択する。具体的には、機器選択部１０２は、第１の機器選択として、ユーザの被操作機器に向けた身体の態様に基づいて操作対象機器を選択する。例えば、機器選択部１０２は、ユーザの被操作機器に向けた目視の態様に基づいて操作対象機器を選択する。さらに、図４を参照して、第１の機器選択について詳細に説明する。図４は、本実施形態に係る情報処理システム１において１つの被操作機器が選択される第１の機器選択の例を説明するための図である。
【００４５】
機器選択部１０２は、認識部１０１により認識されるユーザの視線に係る視線情報に基づいて機器選択範囲を決定する。例えば、機器選択部１０２は、認識部１０１から提供される視線情報に基づいて、図４に示したようなユーザの視界に相当する実空間上の範囲を機器選択範囲として決定する。なお、機器選択範囲は、推定されるユーザの視界より狭くてもよい。
【００４６】
次に、機器選択部１０２は、ユーザによる決定操作に応じて、機器選択範囲に入ると判定される被操作機器を選択する。例えば、機器選択部１０２は、認識部１０１によりユーザの機器選択範囲の決定操作が認識されると、決定された範囲内に被操作機器が存在するかを判定する。そして、機器選択部１０２は、決定された範囲内に存在すると判定された被操作機器、例えば図４に示したような表示装置２０を操作対象機器として選択する。なお、被操作機器の実空間上の位置情報は、認識部１０１から提供されてもよく、外部の装置から提供されてもよい。
【００４７】
また、複数の被操作機器が機器選択範囲に含まれる場合、機器選択部１０２は、操作対象機器の候補（以下、候補機器とも称する。）として、複数の被操作機器を選択する。さらに、図５を参照して、複数の被操作機器が候補機器として選択される場合の第１の機器選択について詳細に説明する。図５は、本実施形態に係る情報処理システム１において複数の被操作機器が選択される第１の機器選択の例を説明するための図である。なお、上述した処理と実質的に同一の処理については説明を省略する。
【００４８】
機器選択部１０２は、認識部１０１により認識されるユーザの視線に係る視線情報に基づいて機器選択範囲を決定する。
【００４９】
次に、機器選択部１０２は、機器選択範囲に入ると判定される被操作機器を選択する。例えば、機器選択部１０２は、決定された範囲内に被操作機器が存在するかを判定する。機器選択部１０２は、決定された範囲内に存在すると判定された複数の被操作機器、例えば図５に示したような表示装置２０、空調装置２１および送風装置２２の全てを候補機器として選択する。
【００５０】
なお、上記では、機器選択範囲に入る全ての被操作機器が候補機器として選択される例を説明したが、機器選択範囲に入る被操作機器の一部が候補機器として選択されてもよい。例えば、機器選択範囲内の被操作機器のうちの視線からの距離が閾値以内である被操作機器のみが候補機器として選択されてよい。
【００５１】
また、上記では、第１の機器選択は、ユーザの身体の態様から決定される領域（すなわち機器選択範囲）に実際に存在する被操作機器が選択される例を説明したが、当該機器選択範囲に紐付く被操作機器が選択されてもよい。この場合、被操作機器が直接的に目視できない場合であっても、被操作機器を選択することができる。例えば、被操作機器に紐付くタグが実空間上に配置され、機器選択部１０２は、機器選択範囲に入るタグに紐付く被操作機器を候補機器または操作対象機器として選択する。また、例えば、実空間上の特定の領域が被操作機器と紐付けられ、機器選択部１０２は、機器選択範囲に入る特定の領域に紐付く被操作機器を候補機器または操作対象機器として選択する。上記タグが設けられるときは、ユーザが被操作機器を明確に認識した上で第１の機器選択を行うことができる。また、上記特定の領域が設けられるときは、上記タグを省略することができ、事前準備もしくは紐付け変更の手間またはコストを低減することができる。
【００５２】
さらに、機器選択部１０２は、第１の機器選択により選択された候補機器から操作対象機器を選択する。具体的には、機器選択部１０２は、第２の機器選択として、投影撮像装置１０により投影される選択オブジェクトに対するユーザの選択操作に基づいて、第１の機器選択により選択された候補機器の中から操作対象機器を選択する。さらに、図６を参照して、第２の機器選択について詳細に説明する。図６は、本実施形態に係る情報処理システム１において選択オブジェクトへの操作に基づいて操作対象機器が選択される第２の機器選択の例を説明する例を説明するための図である。
【００５３】
まず、第１の機器選択後に、第１の機器選択により選択された複数の候補機器を示す情報が選択オブジェクトによりユーザに提示される。例えば、第１の機器選択において選択された、図６に示したような送風装置２２、表示装置２０および空調装置２１の各々に対応する選択オブジェクト３１Ａ、３２Ａおよび３３Ａがそれぞれ投影撮像装置１０により選択オブジェクトの表示領域３０に投影される。
【００５４】
次に、機器選択部１０２は、当該複数の候補機器の中から１つの候補機器を選択する操作が認識部１０１により認識されると、選択された候補機器を操作対象機器として選択する。例えば、認識部１０１により選択オブジェクト３２Ａをタッチする操作が認識されると、機器選択部１０２は、選択された選択オブジェクト３２Ａに対応する表示装置２０を操作対象機器として選択する。
【００５５】
（投影制御部）
投影制御部１０３は、表示制御部として、投影撮像装置１０の投影を制御する。具体的には、投影制御部１０３は、第１の機器選択により選択された候補機器に関する選択オブジェクトの投影を制御する。より具体的には、投影制御部１０３は、第１の機器選択により選択された候補機器を示す選択オブジェクトを投影撮像装置１０に投影させる。さらに、図６および図７を参照して、選択オブジェクトについて詳細に説明する。図７は、本実施形態に係る情報処理システム１における優先度情報の例を説明するための図である。
【００５６】
投影制御部１０３は、第１の機器選択により複数の候補機器が選択されると、優先度情報に基づいて当該複数の候補機器についての選択オブジェクトの態様を決定する。優先度情報としては、第１の機器選択における身体の態様に基づいて決定される情報がある。より具体的には、投影制御部１０３は、第１の機器選択におけるユーザの視線に基づいて選択オブジェクトの配置を決定する。例えば、投影制御部１０３は、第１の機器選択におけるユーザの視線から候補機器までの三次元空間上の距離に応じて選択オブジェクトの態様を決定する。詳細には、投影制御部１０３は、図７に示したような、ユーザの視線から送風装置２２までの距離ｄ１、ユーザの視線から空調装置２１までの距離ｄ２およびユーザの視線から表示装置２０までの距離ｄ３を算出する。そして、投影制御部１０３は、算出された距離の短い順または長い順に選択オブジェクトの並びを決定する。なお、当然ながら視線から候補機器までの距離は二次元空間上の距離であってもよい。また、選択オブジェクトは、優先度が高いすなわち上記算出距離が短いほど、ユーザに近い場所に配置されてもよい。
【００５７】
また、投影制御部１０３は、ユーザによる第１の機器選択の決定操作に応じた場所を選択オブジェクトの投影場所として決定する。当該決定操作に応じた場所としては、当該決定操作で指定されたユーザの身体の部位がある。例えば、投影制御部１０３は、第１の機器選択における機器選択範囲の決定操作としてのタップ操作がユーザの太ももへ行われた場合、当該ユーザの太ももにおける領域３０を選択オブジェクトの投影場所として決定する。なお、投影制御部１０３は、上記第の１機器選択の決定操作とは別の選択オブジェクトの表示場所の指定操作に応じて選択オブジェクトの表示場所を決定してもよい。
【００５８】
そして、投影制御部１０３は、決定された投影場所に決定された態様で選択オブジェクトを投影撮像装置１０に投影させる。例えば、投影制御部１０３は、投影場所として決定された図６に示したようなユーザの太ももにおける領域３０に、決定された並びのリスト形式で選択オブジェクト３１Ａ、３２Ａおよび３３Ａを投影撮像装置１０に投影させる。
【００５９】
なお、第１の機器選択により選択された候補機器に関連する被操作機器について選択オブジェクトが投影されてもよい。具体的には、投影制御部１０３は、候補機器と連携して作動する被操作機器を把握し、把握される被操作機器についての選択オブジェクトを候補機器についての選択オブジェクトと共に投影撮像装置１０に投影させる。例えば、表示装置２０と連携して作動する録画装置、音出力装置または照明装置などについての選択オブジェクトが投影されてよい。また、候補機器の機能と類似する機能を有する被操作機器についての選択オブジェクトが投影されてもよい。この場合、ユーザが操作を所望する可能性がある装置についての選択オブジェクトが投影されることにより、ユーザビリティを向上させることができる。
【００６０】
さらに、投影制御部１０３は、通知制御部として、選択オブジェクトの投影に際して、第１の機器選択により選択された被操作機器の通知を制御してもよい。具体的には、投影制御部１０３は、第１の機器選択により選択された前記被操作機器と前記選択オブジェクトとの紐付けを示す投影を制御する。さらに、図８を参照して、第１の機器選択により選択された被操作機器の通知について詳細に説明する。図８は、本実施形態に係る情報処理システム１における第１の機器選択により選択された被操作機器の通知の例を示す図である。
【００６１】
投影制御部１０３は、第１の機器選択の決定操作が認識されると、第１の機器選択により選択された複数の候補機器の各々と決定操作が行われた場所との紐付けを示す表示を投影撮像装置１０に投影させる。具体的には、第１の機器選択の決定操作がユーザの太ももに対して行われたと認識されると、表示装置２０、空調装置２１および送風装置２２の各々と当該決定操作に応じたユーザの太ももにおける領域３０とをつなぐ線を軌道とする画像（単なる光を含む。）のアニメーションが投影される。例えば、画像が候補機器から領域３０へ移動するようなアニメーションが投影されてよく、当該画像が領域３０に到達した際に、選択オブジェクトが投影されてよい。
【００６２】
以上、機器選択における投影制御について説明した。加えて、投影制御部１０３は、第２の機器選択により選択された被操作機器についての操作オブジェクトの投影を制御する。具体的には、投影制御部１０３は、第２の機器選択において候補機器の選択操作が認識されると、選択された候補機器についての操作オブジェクトを投影撮像装置１０に投影させる。例えば、選択オブジェクトに対する選択操作が認識されると、選択オブジェクトの投影が終了され、選択オブジェクトが投影されていた場所に操作オブジェクトが投影されてよい。
【００６３】
（機器制御部）
機器制御部１０４は、被操作機器を制御する。具体的には、機器制御部１０４は、認識部１０１により認識されるユーザの操作に基づいて被操作機器の処理を制御する。例えば、機器制御部１０４は、表示装置２０についての操作オブジェクトの操作に応じて表示装置２０の処理を決定し、決定される処理の実行を要求する処理実行要求を通信部１０５に表示装置２０へ送信させる。
【００６４】
（通信部）
通信部１０５は、情報処理装置１００−１の外部の装置と通信する。具体的には、通信部１０５は、投影撮像装置１０へ画像情報を送信し、投影撮像装置１０から画像情報を受信する。また、通信部１０５は、表示装置２０および空調装置２１へ処理実行要求を送信する。なお、通信部１０５は、有線通信方式または無線通信方式のいずれの通信方式で通信してもよい。
【００６５】
（記憶部）
記憶部１０６は、情報処理装置の処理において用いられる情報を記憶する。具体的には、記憶部１０６は、認識部１０１による認識処理における観察情報の解析のために用いられる情報を記憶する。また、記憶部１０６は、投影制御部１０３により投影撮像装置１０に投影させる画像に係る画像情報を記憶する。なお、記憶部１０６に情報が記憶される代わりに、外部の装置に記憶される情報が通信を介して取得されてもよい。
【００６６】
（投影撮像装置）
投影撮像装置１０は、情報処理装置１００−１の指示に基づいて画像を投影する。具体的には、投影撮像装置１０は、情報処理装置１００−１から提供される画像情報に係る画像を指定される場所に向けて投影する。例えば、投影撮像装置１０は、２つ軸について投影方向を回転可能なプロジェクタであってよい。なお、投影撮像装置１０は、全方向対応プロジェクタ、ホログラム映像装置またはユーザの周辺に配置される物体（例えば、テーブルまたはソファ）が有する表示装置であってもよい。また、投影撮像装置１０は、複数の場所へ同時に異なる画像を投影してもよい。
【００６７】
また、投影撮像装置１０は、自身の周辺を撮像する。具体的には、投影撮像装置１０は、所定の時間間隔でまたは情報処理装置１００−１の要求に応じて、自身の周辺を撮像する。そして、投影撮像装置１０は、撮像により得られる画像に係る画像情報を情報処理装置１００−１へ送信する。なお、撮像可能範囲は、投影可能範囲と同じであっても、投影可能範囲よりも広くてもよい。また、撮像範囲は、投影範囲に追従させられてもよい。また、撮像範囲は、複数であってもよい。
【００６８】
＜３−２．システムの処理＞
次に、本実施形態に係る情報処理システム１の処理について説明する。
【００６９】
（全体処理）
まず、図９を参照して、情報処理システム１の全体処理について説明する。図９は、本実施形態に係る情報処理システム１の全体処理の例を概念的に示すフローチャートである。
【００７０】
情報処理システム１は、ユーザの身体の態様を推定する（ステップＳ３０１）。具体的には、認識部１０１は、画像情報などを用いてユーザの身体の態様を認識する。
【００７１】
次に、情報処理システム１は、第１の機器選択の決定操作が行われたかを判定する（ステップＳ３０２）。具体的には、認識部１０１は、認識されたユーザの身体の態様に基づいて機器選択範囲を決定する。また、認識部１０１は、認識されたユーザの身体の態様に基づいて第１の機器選択の決定操作の認識を試みる。そして、機器選択部１０２は、認識部１０１により第１の機器選択の決定操作が認識されたかを判定する。
【００７２】
第１の機器選択の決定操作が行われたと判定されると、情報処理システム１は、被操作機器が選択されたかを判定する（ステップＳ３０３）。具体的には、機器選択部１０２は、認識部１０１により第１の機器選択の決定操作が認識されたと判定されると、機器選択範囲に１つ以上の被操作機器が存在するかを判定する。
【００７３】
被操作機器が選択されたと判定されると、情報処理システム１は、選択された被操作機器が複数であるかを判定する（ステップＳ３０４）。具体的には、機器選択部１０２は、機器選択範囲に２以上の被操作機器が存在するかを判定する。
【００７４】
選択された被操作機器が複数であると判定されると、情報処理システム１は、選択オブジェクトを表示する（ステップＳ３０５）。具体的には、機器選択部１０２は、２以上の被操作機器が存在すると判定されると、当該２以上の被操作機器を候補機器として選択する。そして、投影制御部１０３は、候補機器についての選択オブジェクトに係る画像情報を投影撮像装置１０へ通信部１０５に送信させる。そして、投影撮像装置１０は、受信された画像情報に係る選択オブジェクトを指示された場所へ投影する。なお、詳細については後述する。
【００７５】
次に、情報処理システム１は、第２の機器選択の決定操作が行われたかを判定する（ステップＳ３０６）。具体的には、認識部１０１は、第２の機器選択の決定操作の認識を試みる。そして、機器選択部１０２は、認識部１０１により第２の機器選択の決定操作が認識されたかを判定する。
【００７６】
第２の機器選択の決定操作が行われたと判定されると、情報処理システム１は、被操作機器についての操作オブジェクトを表示する（ステップＳ３０７）。具体的には、機器選択部１０２は、認識部１０１により第２の機器選択の決定操作が認識されたと判定されると、操作オブジェクトに係る画像情報を投影撮像装置１０へ通信部１０５に送信させる。そして、投影撮像装置１０は、受信された画像情報に係る操作オブジェクトを選択オブジェクトの代わりに投影する。
【００７７】
（全体処理）
続いて、図１０を参照して、情報処理システム１の選択オブジェクト表示処理について説明する。図１０は、本実施形態に係る情報処理システム１の選択オブジェクト表示処理の例を概念的に示すフローチャートである。
【００７８】
情報処理システム１は、ユーザの身体態様情報を取得する（ステップＳ３１１）。具体的には、投影制御部１０３は、認識部１０１により認識されたユーザの身体の態様に係る情報を取得する。
【００７９】
次に、情報処理システム１は、身体態様情報に基づいて選択オブジェクトの態様を決定する（ステップＳ３１２）。具体的には、投影制御部１０３は、取得された身体態様情報に基づいて優先度情報を決定する。そして、投影制御部１０３は、優先度情報に基づいて選択オブジェクトの並びを決定する。
【００８０】
また、情報処理システム１は、第１の機器選択の決定操作に応じて表示場所を決定する（ステップＳ３１３）。具体的には、投影制御部１０３は、第１の機器選択の決定操作が行われた場所を選択オブジェクトの表示場所として決定する。
【００８１】
そして、情報処理システム１は、決定された場所に決定された態様で選択オブジェクトを表示する（ステップＳ３１４）。具体的には、投影制御部１０３は、決定された並びの選択オブジェクトに係る画像情報を投影場所の指示と共に投影撮像装置１０へ通信部１０５に送信させる。そして、投影撮像装置１０は、受信された画像情報に係る選択オブジェクトを指示される場所に投影する。
【００８２】
＜３−３．第１の実施形態のまとめ＞
このように、本開示の第１の実施形態によれば、情報処理システム１すなわち情報処理装置１００−１は、操作主体の被操作機器に向けた身体の態様が推定される情報に基づく第１の機器選択により選択された被操作機器に関する選択オブジェクトの表示を制御する。そして、情報処理装置１００−１は、当該選択オブジェクトに対する操作主体の選択操作に係る情報に基づく第２の機器選択により選択された被操作機器を制御する。
【００８３】
従来では、被操作機器を近接して操作する第１のインタフェースまたは被操作機器を遠隔から操作する第２のインタフェースのいずれかが主に提供されていた。しかし、第１のインタフェースでは、ユーザが被操作機器まで移動しなければならなかった。また、第２のインタフェースのうちのジェスチャ操作などのＮＵＩ操作では、被操作機器を正確に選択することが困難であった。また、第２のインタフェースのうちのリモートコントローラ操作では、被操作機器が複数存在する場合には、被操作機器に対応するリモートコントローラを探し出す手間が発生していた。
【００８４】
これに対し、本実施形態によれば、ユーザの身体の態様に基づく第１の機器選択により選択された被操作機器の候補がユーザに提示され、ユーザは候補の中から被操作機器を選択することができる。そのため、まずユーザは被操作機器まで移動せずに済む。また、提示される被操作機器の候補からユーザが操作対象を選択することにより、被操作機器の誤選択を抑制でき、被操作機器の選択のやり直しを防止することができる。また、選択オブジェクトの選択に基づいて被操作機器が操作されることにより、リモートコントローラなどの特定のデバイスなしで被操作機器の操作することができ、リモートコントローラを探し出すなどの手間の発生が抑制できる。従って、ユーザが操作を所望する被操作機器の選択にかかるユーザの負担を低減することが可能となる。
【００８５】
また、上記選択オブジェクトは、上記第１の機器選択により選択された被操作機器を示すオブジェクトを含む。このため、第１の機器選択で選択された候補機器が明示されることにより、ユーザは自身が意図する被操作機器をより確実に選択することができる。
【００８６】
また、上記選択オブジェクトは、優先度情報に基づく態様で視認されるように表示される。第１の機器選択においては複数の候補機器が選択されるが、実際にユーザが操作を所望する被操作機器は概して１つである。そこで、所望の被操作機器が選択されやすくなるように選択オブジェクトを投影撮像装置１０に投影させることにより、選択オブジェクトの操作性を向上させることができる。また、優先度情報に基づいて制御される選択オブジェクトの態様は、選択オブジェクトの配置を含む。このため、ユーザが操作を所望する被操作機器をユーザに直感的に把握させることができる。従って、選択オブジェクトの操作性を向上させることが可能となる。
【００８７】
また、上記優先度情報は、上記第１の機器選択における上記身体の態様が推定される情報に基づいて決定される情報を含む。ユーザが操作を所望する被操作機器は、第１の機器選択の時点で既にユーザにとっては決定されている。そのため、第１の機器選択における身体の態様から推定される所望の被操作機器である可能性の高さに応じて選択オブジェクトの態様が決定されることにより、所望の被操作機器についての選択オブジェクトがより選択されやすくなり、操作性をさらに向上させることができる。
【００８８】
また、情報処理装置１００−１は、上記第２の機器選択により選択された被操作機器についての操作オブジェクトの表示を制御する。このため、所望の被操作機器をユーザの意図に応じて操作することができる。従って、選択される被操作機器の操作におけるユーザビリティを向上させることが可能となる。
【００８９】
また、上記選択オブジェクトは、上記操作主体による上記第１の機器選択の決定操作に応じて、当該決定操作に応じた場所に表示される。このため、第１の機器選択がユーザの意図に応じて行われることにより、所望の被操作機器が候補機器として選択されやすくすることができる。また、ユーザの意図する場所に選択オブジェクトが投影されることにより、選択オブジェクトの操作性を向上させることができる。
【００９０】
また、上記決定操作に応じた場所は、上記決定操作で指定された操作主体の身体の部位を含む。このため、ユーザの身体に選択オブジェクトが投影されることにより、ユーザの周辺に選択オブジェクトの投影スペースが確保されない場合であっても選択オブジェクトをユーザが操作しやすい場所に投影させることができる。また、投影場所がトラッキングされる場合には、ユーザが移動しても選択オブジェクトが移動するため、投影された選択オブジェクトを継続して操作することができる。
【００９１】
また、情報処理装置１００−１は、上記選択オブジェクトの表示に際して、上記第１の機器選択により選択された被操作機器の通知を制御する。このため、ユーザは第１の機器選択により選択された候補機器を確認することができる。例えば、所望する被操作機器が選択されていない場合に、ユーザは第１の機器選択をやり直すことができる。従って、操作対象機器の誤選択を抑制し、操作対象機器の選択を効率化することが可能となる。
【００９２】
また、上記通知は、上記選択された被操作機器と上記選択オブジェクトとの紐付けを示す表示出力を含む。このため、選択された候補機器を確認させると共に、選択オブジェクトへユーザを誘導することができる。特に、ユーザの目視の態様に基づいて第１の機器選択が行われる場合には、ユーザの視線を被操作機器から選択オブジェクトへ誘導することができる。従って、第１の機器選択から第２の機器選択へユーザを円滑に誘導することができ、操作対象機器の選択を容易にすることが可能となる。
【００９３】
また、上記身体の態様は、上記操作主体の目視の態様を含み、当該操作主体の視界の少なくとも一部に入ると判定される被操作機器が上記第１の機器選択により選択される。このため、ユーザの手または足などの身体の部位を動かすことなく、被操作機器を選択することができる。従って、ユーザは別途に作業などを行いながら、操作を所望する被操作機器を選択し、操作することが可能となる。また、ユーザが被操作機器を操作する場合、概してユーザの視線は被操作機器に向く。そのため、目視の態様に基づいて第１の機器選択が行われることにより、候補機器が操作を所望される被操作機器である可能性を高めることができる。
【００９４】
＜３−４．変形例＞
以上、本開示の第１の実施形態について説明した。なお、本実施形態は、上述の例に限定されない。以下に、本実施形態の第１〜第５の変形例について説明する。
【００９５】
（第１の変形例）
本実施形態の第１の変形例として、情報処理システム１は、他の身体の態様に基づいて第１の機器選択を行ってもよい。具体的には、情報処理装置１００−１は、ユーザの姿勢に基づいて第１の機器選択を行う。より具体的には、機器選択部１０２は、第１の機器選択において、ユーザの姿勢から決定される領域に入ると判定される被操作機器を操作対象機器または候補機器として選択する。さらに、図１１を参照して、本変形例の処理について説明する。図１１は、本実施形態の第１の変形例に係る情報処理システム１における第１の機器選択の例を説明するための図である。
【００９６】
認識部１０１は、画像情報などに基づいてユーザの身体の少なくとも一部の姿勢を認識する。例えば、認識部１０１は、投影撮像装置１０から受信される３次元画像に係る画像情報に基づいて画像に映るユーザの顔または体の向きを認識する。
【００９７】
次に、機器選択部１０２は、ユーザの姿勢に基づいて機器選択範囲を決定する。例えば、機器選択部１０２は、認識されたユーザの顔または体の向きを基準として、図１１に示したような機器選択範囲を決定する。
【００９８】
そして、機器選択部１０２は、決定された機器選択範囲に入る被操作機器を操作対象機器または候補機器として選択する。例えば、機器選択部１０２は、図１１に示したような、決定された機器選択範囲に入る表示装置２０を操作対象機器として選択する。なお、決定された機器選択範囲に複数の被操作機器が入る場合、当該複数の被操作機器が候補機器として選択される。
【００９９】
また、別の例として、情報処理装置１００−１は、ユーザの動きに基づいて第１の機器選択を行ってもよい。具体的には、機器選択部１０２は、第１の機器選択において、ユーザの動きから決定される領域に入ると判定される被操作機器を操作対象機器または候補機器として選択する。さらに、図１２を参照して、本変形例の別の例の処理について説明する。図１２は、本実施形態の第１の変形例に係る情報処理システム１における第１の機器選択の別の例を説明するための図である。
【０１００】
認識部１０１は、画像情報などに基づいてユーザの動きを認識する。例えば、認識部１０１は、投影撮像装置１０から受信される３次元画像に係る画像情報に基づいて画像に映るユーザのジェスチャまたは行動を認識する。ジェスチャとしては、例えば円を描く動作、ダブルタップ、フリック、拍手または物体への接触などがある。
【０１０１】
次に、機器選択部１０２は、ユーザの動きに基づいて機器選択範囲を決定する。例えば、機器選択部１０２は、図１２に示したように被操作機器に向けた手が握られたことが認識されると、当該手を基準として図１２に示したような機器選択範囲を決定する。
【０１０２】
そして、機器選択部１０２は、決定された機器選択範囲に入る被操作機器を操作対象機器または候補機器として選択する。具体的には、機器選択部１０２は、図１２に示したような、決定された機器選択範囲に入る表示装置２０を操作対象機器として選択する。なお、決定された機器選択範囲に複数の被操作機器が入る場合、当該複数の被操作機器が候補機器として選択される。
【０１０３】
また、もう一つの別の例として、情報処理装置１００−１は、ユーザの発声に基づいて第１の機器選択を行ってもよい。具体的には、機器選択部１０２は、第１の機器選択において、ユーザの発声から決定される領域に入ると判定される被操作機器を操作対象機器または候補機器として選択する。さらに、図１３を参照して、本変形例のもう一つの別の例の処理について説明する。図１３は、本実施形態の第１の変形例に係る情報処理システム１における第１の機器選択のもう一つの別の例を説明するための図である。
【０１０４】
認識部１０１は、音声情報に基づいてユーザの発声を認識する。例えば、認識部１０１は、情報処理システム１が別途に備える音声入力装置から受信される音声情報に基づいてユーザの発声の有無または発声内容を認識する。
【０１０５】
次に、機器選択部１０２は、ユーザの発声に基づいて機器選択範囲を決定する。例えば、機器選択部１０２は、図１３に示したようなユーザの発声内容「リビングルーム」が認識されると、リビングルームを機器選択範囲として決定する。
【０１０６】
そして、機器選択部１０２は、決定された機器選択範囲に入る被操作機器を操作対象機器または候補機器として選択する。具体的には、機器選択部１０２は、決定された機器選択範囲すなわちリビングルームに存在する表示装置２０、空調装置２１および送風装置２２を候補機器として選択する。なお、決定された機器選択範囲に１つの被操作機器しか存在しない場合、当該被操作機器が操作対象機器として選択される。
【０１０７】
このように、本実施形態の第１の変形例によれば、操作主体の身体の態様は、当該操作主体の姿勢を含み、当該操作主体の姿勢から決定される領域に入ると判定される被操作機器が第１の機器選択により選択される。ユーザが被操作機器を操作する場合、概してユーザは被操作機器に応じた姿勢をとる。そのため、ユーザの姿勢に応じて候補機器を選択することにより、第１の機器選択において適切な候補機器を選択することができる。また、視線検出では姿勢検出よりも負荷が高い処理が用いられる場合があるため、目視の態様に基づく第１の機器選択に比べて処理負荷を低減することができる。従って、応答性を向上させることが可能となる。
【０１０８】
また、本変形例の別の例によれば、操作主体の身体の態様は、当該操作主体の動きを含み、当該操作主体の動きから決定される領域に入ると判定される被操作機器が第１の機器選択により選択される。このため、第１の機器選択に対するユーザの明示的な動きに応じて候補機器を選択することにより、ユーザの意図により即した第１の機器選択を実現することができる。従って、第１の機器選択における操作性をより向上させることが可能となる。
【０１０９】
また、本変形例のもう一つの別の例によれば、操作主体の身体の態様は、当該操作主体の発声を含み、当該操作主体の発声から決定される領域に入ると判定される被操作機器が第１の機器選択により選択される。このため、ユーザは身体を動かすことなく、被操作機器を選択することができる。従って、ユーザは別途に作業などを行いながら、さらには視線を向けることもなく、操作を所望する被操作機器を選択し、操作することが可能となる。
【０１１０】
なお、ユーザの身体の代わりにユーザの操作する物体の態様に基づいて第１の機器選択が行われてもよい。具体的には、情報処理装置１００−１は、ユーザが操作する物体の態様から機器選択範囲を決定し、当該物体への第１の機器選択の決定操作に応じて機器選択範囲に入る被操作機器を選択する。
【０１１１】
例えば、ユーザの操作する物体はスマートフォンのような機器であってよく、認識部１０１は、当該スマートフォンの向きなどを認識する。機器選択部１０２は、認識されたスマートフォンの向きなどに応じて機器選択範囲を決定する。次いで、認識部１０１は、スマートフォンに対する操作、例えば下フリック操作を認識する。機器選択部１０２は、下フリック操作が認識されると、決定されている機器選択範囲において被操作機器を選択する。なお、認識部１０１は、画像情報などから上記物体の態様を認識する代わりに、当該物体または他の外部の装置から当該物体の態様に係る情報を取得してもよい。
【０１１２】
この場合、ユーザの身体の態様に比べてユーザの態様が第１の機器選択のための態様であるかを判別することが容易となる。従って、第１の機器選択の処理が誤作動するおそれを抑制することができる。また、上記物体から当該物体の態様に係る情報が得られる場合には、より正確に物体の態様を認識することができる。従って、第１の機器選択の処理の正確性を向上させることが可能となる。
【０１１３】
（第２の変形例）
本実施形態の第２の変形例として、選択オブジェクトは、第１の機器選択の決定操作によらず表示されてもよい。具体的には、投影制御部１０３は、選択オブジェクトが操作主体により視認されるように表示可能な領域（以下、投影可能領域とも称する。）を有する操作主体の身体または操作主体の周辺を決定し、決定される場所に選択オブジェクトを投影撮像装置１０に投影させる。
【０１１４】
より具体的には、投影制御部１０３は、選択オブジェクトがユーザにより視認されるように投影可能領域をサーチする。投影可能領域は、ユーザの身体またはユーザの周辺における広さが最大の領域であってよい。また、投影可能領域は、面の凹凸の程度、面の色、質感または模様の有無などに応じて判定されてもよい。例えば、投影可能領域は、平面または凹凸が許容範囲内の面でも、色もしくは質感の均一性が許容範囲内の面でも、模様が含まれない面でもあってよい。詳細には、白色の平面が優先的に投影可能領域として選択されてよい。
【０１１５】
さらに、図１４を参照して、本変形例の処理について説明する。図１４は、本実施形態の第２の変形例に係る情報処理システム１の選択オブジェクト表示処理の例を概念的に示すフローチャートである。なお、上述した処理と実質的に同一の処理については説明を省略する。
【０１１６】
情報処理システム１は、身体態様情報を取得し（ステップＳ３２１）、取得された身体態様情報に基づいて選択オブジェクトの態様を決定する（ステップＳ３２２）。
【０１１７】
次に、情報処理システム１は、表示可能領域に応じて表示場所を決定する（ステップＳ３２３）。具体的には、投影制御部１０３は、ユーザの身体またはユーザの周辺において投影可能領域をサーチする。そして、条件を満たす領域が発見されると、投影制御部１０３は、当該領域を投影可能領域として決定する。
【０１１８】
そして、情報処理システム１は、決定された場所に決定された態様で選択オブジェクトを表示する（ステップＳ３２４）。具体的には、投影制御部１０３は、投影可能領域として決定されたユーザの身体またはユーザの周辺における領域に選択オブジェクトを投影撮像装置１０に投影させる。
【０１１９】
このように、本実施形態の第２の変形例によれば、選択オブジェクトは、当該選択オブジェクトが操作主体により視認されるように表示可能な領域を有する当該操作主体の身体または当該操作主体の周辺に表示される。このため、ユーザによる第１の機器選択の決定操作なしで選択オブジェクトを投影することができる。従って、ユーザが当該決定操作を行えない状況、例えば作業中などにおいても第１の機器選択を行うことが可能となる。
【０１２０】
（第３の変形例）
本実施形態の第３の変形例として、選択オブジェクトの表示態様は、他の態様であってもよい。具体的には、選択オブジェクトの表示場所は他の場所であってもよい。例えば、選択オブジェクトは、第１の機器選択の決定操作で指定された表示部に表示されてよい。詳細には、投影制御部１０３は、第１の機器選択の決定操作の操作先が表示装置である場合、当該表示装置に選択オブジェクトを表示させる。さらに、図１５を参照して、本変形例の処理について説明する。図１５は、本実施形態の第３の変形例に係る情報処理システム１における選択オブジェクトの表示の例を示す図である。
【０１２１】
認識部１０１は、第１の機器選択の決定操作の操作先を認識する。例えば、認識部１０１は、第１の機器選択の決定操作が認識されると、当該決定操作の操作先を認識する。
【０１２２】
認識された操作先が表示装置である場合、投影制御部１０３は、当該表示装置を制御可能か判定する。例えば、認識された操作先が図１５に示したようなスマートフォン７０である場合、投影制御部１０３は、スマートフォン７０の少なくとも表示機能を制御可能であるかを判定する。
【０１２３】
当該表示装置を制御可能と判定される場合、投影制御部１０３は、選択オブジェクトを当該表示装置に表示させる。例えば、スマートフォン７０の表示機能を制御可能であると判定されると、投影制御部１０３は、選択オブジェクトに係る画像情報をスマートフォン７０へ通信部１０５に送信させる。スマートフォン７０は、受信された画像情報に基づいて、表示部に選択オブジェクト３１Ａ〜３３Ａを表示する。
【０１２４】
なお、スマートフォン７０の表示部に表示される選択オブジェクトに対して選択操作が行われると、選択された選択オブジェクトに対応する被操作機器についての操作オブジェクトがスマートフォン７０の表示部に表示される。そして、表示される操作オブジェクトに対する操作に応じて操作対象機器が制御される。
【０１２５】
また、優先度情報に応じた選択オブジェクトの態様は、他の態様であってもよい。具体的には、優先度情報に応じて選択オブジェクトのサイズが決定されてよい。例えば、投影制御部１０３は、第１の機器選択における身体の態様に基づいて選択オブジェクトのサイズを決定する。さらに、図１６を参照して、本変形例の他の処理について説明する。図１６は、本実施形態の第３の変形例に係る情報処理システム１における選択オブジェクトの表示の他の例を示す図である。
【０１２６】
投影制御部１０３は、第１の機器選択におけるユーザの視線から候補機器までの三次元空間上の距離に応じて選択オブジェクトのサイズを決定する。例えば、投影制御部１０３は、ユーザの視線から表示装置２０、空調装置２１および送風装置２２までの距離をそれぞれ算出する。そして、投影制御部１０３は、算出された距離が短いほど、選択オブジェクトのサイズが大きくなるようにサイズを決定する。詳細には、投影制御部１０３は、図１６に示したように、算出された距離が候補機器の中で最も短い表示装置２０についての選択オブジェクト３２Ｂのサイズを当該候補機器の中で最も大きいサイズに決定する。また、投影制御部１０３は、図１６に示したように、算出された距離が候補機器の中で最も長い送風装置２２についての選択オブジェクト３１Ｂのサイズを当該候補機器の中で最も小さいサイズに決定する。
【０１２７】
このように、本実施形態の第３の変形例によれば、第１の機器選択の決定操作に応じた場所は、当該決定操作で指定された表示部を含む。このため、選択オブジェクトが表示部に表示されることにより、選択オブジェクトの視認性を確保することができる。特に、選択オブジェクトが投影される場合には、投影場所と投影装置との間に物体が存在するときに選択オブジェクトを投影することが困難となるため、本変形例の構成は有意義である。
【０１２８】
また、優先度情報に基づいて制御される選択オブジェクトの態様は、選択オブジェクトのサイズを含む。このため、ユーザが操作を所望する被操作機器の把握をより容易にすることができる。従って、選択オブジェクトの操作性を向上させることが可能となる。
【０１２９】
（第４の変形例）
本実施形態の第４の変形例として、選択オブジェクトの表示態様に係る優先度情報は、他の情報であってもよい。具体的には、優先度情報は、操作主体の生体情報に基づいて決定される情報であってよい。より具体的には、生体情報としては、ユーザの脈拍、体温、発汗または脳波などに係る情報があり、投影制御部１０３は、当該生体情報からユーザが操作を所望する被操作機器を推定する。そして、投影制御部１０３は、推定される被操作機器についての選択オブジェクトが選択されやすい並びまたはサイズを決定する。例えば、ユーザの体温が平熱よりも低い場合すなわちユーザが寒いと感じていると推定される場合、空調装置または暖房装置などの候補機器についての選択オブジェクトが選択されやすい並びまたはサイズで選択オブジェクトが投影される。
【０１３０】
また、優先度情報は、操作主体の周辺環境に係る情報（以下、周辺環境情報とも称する。）に基づいて決定される情報であってもよい。例えば、周辺環境情報としては、温度、湿度、照度または騒音などに係る情報があり、投影制御部１０３は、当該周辺環境情報からユーザが操作を所望する被操作機器を推定する。例えば、騒音の音量が閾値よりも高い場合すなわちユーザがうるさく感じていると推定される場合、映像再生装置または音出力装置などの候補機器についての選択オブジェクトが選択されやすい並びまたはサイズで選択オブジェクトが投影される。
【０１３１】
さらに、図１７を参照して、本変形例の処理について説明する。図１７は、本実施形態の第４の変形例に係る情報処理システム１の選択オブジェクト表示処理の例を概念的に示すフローチャートである。なお、上述した処理と実質的に同一の処理については説明を省略する。
【０１３２】
情報処理システム１は、生体情報または周辺環境情報が取得されたかを判定する（ステップＳ３３１）。具体的には、投影制御部１０３は、生体情報または周辺環境情報が取得されたかを判定する。なお、生体情報は通信部１０５を介して取得されてよく、周辺環境情報は通信部１０５を介して取得されても、認識部１０１の認識処理において生成されてもよい。
【０１３３】
生体情報または周辺環境情報が取得されたと判定されると、情報処理システム１は、生体情報または周辺環境情報に基づいて選択オブジェクトの態様を決定する（ステップＳ３３２）。具体的には、投影制御部１０３は、候補機器毎に生体情報または周辺環境情報からユーザが操作を所望する被操作機器を候補機器の中から推定する。そして、投影制御部１０３は、操作が所望される被操作機器と推定される候補機器についての選択オブジェクトの態様を選択されやすい態様に決定する。
【０１３４】
また、生体情報および周辺環境情報のいずれも取得されなかったと判定されると、情報処理システム１は、身体態様情報を取得し（ステップＳ３３３）、取得された身体態様情報に基づいて選択オブジェクトの態様を決定する（ステップＳ３３４）。
【０１３５】
次に、情報処理システム１は、第１の機器選択の決定操作に応じて表示場所を決定し（ステップＳ３３５）、決定された場所に決定された態様で選択オブジェクトを表示する（ステップＳ３３６）。
【０１３６】
また、優先度情報は、過去の被操作機器の操作に係る情報に基づいて決定される情報であってもよい。具体的には、投影制御部１０３は、認識部１０１により認識されたユーザの過去の被操作機器の操作履歴を記憶部１０６から取得し、当該操作履歴からユーザが操作を所望する被操作機器を推定する。例えば、操作履歴から把握される操作が行われた時間帯および場所ならびに被操作機器の操作順と、現時点の時間帯、ユーザの場所および選択されている候補機器とに基づいて、候補機器についてユーザが操作を所望する可能性が推定される。そして、推定される当該可能性が高いほど、選択オブジェクトが選択されやすい並びまたはサイズで選択オブジェクトが投影される。
【０１３７】
さらに、図１８を参照して、本変形例の処理について説明する。図１８は、本実施形態の第４の変形例に係る情報処理システム１の選択オブジェクト表示処理の他の例を概念的に示すフローチャートである。なお、上述した処理と実質的に同一の処理については説明を省略する。
【０１３８】
情報処理システム１は、被操作機器の操作履歴が存在するかを判定する（ステップＳ３４１）。具体的には、投影制御部１０３は、被操作機器の操作履歴が記憶部１０６に存在するかを判定する。なお、被操作機器の操作履歴のうちの候補機器の操作履歴の有無が判定されてもよい。
【０１３９】
操作履歴が存在すると判定されると、情報処理システム１は、操作履歴に基づいて選択オブジェクトの態様を決定する（ステップＳ３４２）。具体的には、投影制御部１０３は、候補機器毎に操作履歴に基づいてユーザが操作を所望する被操作機器である可能性を推定する。そして、投影制御部１０３は、候補機器についての選択オブジェクトの態様を、操作が所望される被操作機器である可能性が高いほど、当該被操作機器が選択されやすい態様に決定する。
【０１４０】
また、生体情報および周辺環境情報のいずれも取得されなかったと判定されると、情報処理システム１は、身体態様情報を取得し（ステップＳ３４３）、取得された身体態様情報に基づいて選択オブジェクトの態様を決定する（ステップＳ３４４）。
【０１４１】
次に、情報処理システム１は、第１の機器選択の決定操作に応じて表示場所を決定し（ステップＳ３４５）、決定された場所に決定された態様で選択オブジェクトを表示する（ステップＳ３４６）。
【０１４２】
このように、本実施形態の第４の変形例によれば、優先度情報は、操作主体の生体情報または操作主体の周辺環境に係る情報に基づいて決定される情報を含む。このため、ユーザの体調または体感に応じた選択オブジェクトの態様を決定することができる。従って、所望の被操作機器についての選択オブジェクトがより選択されやすくなり、操作性をより向上させることが可能となる。
【０１４３】
また、優先度情報は、過去の被操作機器の操作に係る情報に基づいて決定される情報を含む。このため、ユーザの操作の傾向または習慣などに応じた選択オブジェクトの態様を決定することができる。従って、選択されやすく表示される選択オブジェクトが所望の被操作機器についての選択オブジェクトである可能性が高くなり、操作性をより向上させることが可能となる。
【０１４４】
なお、優先度情報は、複数組合せられてもよい。例えば、投影制御部１０３は、ユーザの身体態様情報、生体情報、周辺環境情報および操作履歴のうちの少なくとも２つ以上の組み合わせを用いて選択オブジェクトの態様を決定してよい。また、優先度情報は、スコアなどに変換され、スコアが高い候補機器ほど選択されやすい態様で選択オブジェクトが表示されるとしてもよい。
【０１４５】
（第５の変形例）
本実施形態の第５の変形例として、候補機器の通知は、他の方法で実現されてもよい。具体的には、投影制御部１０３は、選択オブジェクトの表示に際して、第１の機器選択により選択された被操作機器すなわち候補機器または当該候補機器の周辺が際立つ投影を投影撮像装置１０に行わせる。さらに、図１９を参照して、本変形例における候補機器の通知の例について説明する。図１９は、本実施形態の第５の変形例に係る情報処理システム１における第１の機器選択により選択された被操作機器の通知の例を示す図である。
【０１４６】
投影制御部１０３は、第１の機器選択の決定操作が認識されると、第１の機器選択により選択された複数の候補機器の各々または当該複数の候補機器の各々の周辺が発光するように視認される投影を投影撮像装置１０に行わせる。例えば、第１の機器選択の決定操作が行われたと認識されると、投影制御部１０３は、図１９に示したように表示装置２０、空調装置２１および送風装置２２の各々が発光しているようにユーザに視認される視覚的効果を投影撮像装置１０に投影させる。なお、発光の代わりに矢印などの候補機器を指し示す画像などが投影されてもよい。
【０１４７】
なお、候補機器が発光機能を有する場合には、情報処理装置１００−１は、候補機器を発光させてもよい。例えば、機器制御部１０４は、第１の機器選択の決定操作が認識されると、候補機器宛ての発光要求を通信部１０５に送信させる。発光要求を受信した候補機器は、当該発光要求に基づいて所定の期間、自身の有する発光体を発光させる。この場合、候補機器自体が発光することにより、投影が用いられる場合と比べて、投影処理の負荷を低減することができる。
【０１４８】
また、投影制御部１０３は、選択オブジェクトの表示に際して、選択オブジェクトにおける候補機器の場所を示す投影を投影撮像装置１０に行わせてもよい。具体的には、選択オブジェクトの表示領域に候補機器の場所を示す画像が表示されてよい。さらに、図２０を参照して、本変形例における候補機器の通知の別の例について説明する。図２０は、本実施形態の第５の変形例に係る情報処理システム１における第１の機器選択により選択された被操作機器の通知の別の例を示す図である。
【０１４９】
投影制御部１０３は、第１の機器選択の決定操作が認識されると、候補機器の場所を示す画像を有する選択オブジェクトを投影撮像装置１０に投影させる。例えば、第１の機器選択の決定操作が行われたと認識されると、投影制御部１０３は、図２０に示したように送風装置２２、表示装置２０および空調装置２１の各々の場所を示す矢印のような画像をそれぞれ有する選択オブジェクト３１Ｃ、３２Ｃおよび３３Ｃを領域３０へ投影撮像装置１０に投影させる。
【０１５０】
また、候補機器の通知は、聴覚的な通知であってもよい。具体的には、機器制御部１０４は、選択された被操作機器が入る領域からの音出力を制御してもよい。さらに、図２１を参照して、本変形例における候補機器の通知の別の例について説明する。図２１は、本実施形態の第５の変形例に係る情報処理システム１における第１の機器選択により選択された被操作機器の通知のもう一つの別の例を示す図である。
【０１５１】
機器制御部１０４は、第１の機器選択の決定操作が認識されると、候補機器が音出力機能を有している場合、当該候補機器宛ての音出力要求を通信部１０５に送信させる。音出力要求を受信した候補機器の各々は、当該音出力要求に基づいて図２１に示したように音を出力する。なお、出力される音は、単純な音、音楽または音声であってよい。また、出力される音は、被操作機器毎に異なってもよく、同一であってもよい。また、被操作機器が音の出力について指向性を付加する機能を有する場合には、ユーザに向けて音が出力されてもよい。
【０１５２】
なお、上記では、候補機器が音出力機能を有している場合について説明したが、情報処理システム１は、別途に備えられる音出力装置から出力される音の反射などの現象を利用して、候補機器が音を出力しているかのようにユーザに知覚させてもよい。
【０１５３】
このように、本実施形態の第５の変形例によれば、候補機器の通知は、候補機器または当該候補機器の周辺が際立つ表示出力を含む。このため、ユーザは候補機器として選択された被操作機器を一目で把握することができる。従って、ユーザの意図通りに被操作機器が選択されているかをユーザは一目で判断することができ、第１の機器選択において誤選択が発生しても再選択を迅速に行うことが可能となる。
【０１５４】
また、候補機器の通知は、選択オブジェクトにおける候補機器の場所を示す表示出力を含む。このため、ユーザは候補機器として選択された被操作機器を操作オブジェクト上で確認することができる。従って、ユーザは、所望の被操作機器についての選択オブジェクトであるかを選択前に確認することにより、誤選択の発生を抑制することが可能となる。例えば、同種の被操作機器が候補機器として複数選択された場合、選択オブジェクトのみによって判別することが困難となるときがある。しかし、候補機器の場所がユーザに提示されることにより、この場合であってもユーザは所望の被操作機器を選択することができる。
【０１５５】
また、候補機器の通知は、候補機器が入る領域からの音出力を含む。このため、ユーザは候補機器として選択された被操作機器を聴覚的に確認することができる。従って、視線を候補機器または選択オブジェクトに向けられない場合であっても、候補機器を把握することができ、ユーザビリティを向上させることが可能となる。
【０１５６】
＜４．本開示の第２の実施形態（操作オブジェクトの表示）＞
以上、本開示の第１の実施形態について説明した。次に、本開示の第２の実施形態について説明する。本開示の第２の実施形態では、情報処理システム１における上述した操作オブジェクト態様制御機能についての実施形態について主に説明する。
【０１５７】
＜４−１．システムの構成＞
まず、本実施形態に係る情報処理システム１の機能構成について説明する。なお、投影撮像装置１０は、第１の実施形態と実質的に同一であるため、情報処理装置１００−２についてのみ説明する。また、情報処理装置１００−２の機能のうち第１の実施形態の機能と実質的に同一である機能についても説明を省略する。
【０１５８】
（認識部）
認識部１０１は、取得部として、被操作機器の操作主体の身体の態様を認識する。具体的には、認識部１０１は、身体の態様としてユーザの姿勢を認識し、認識されたユーザの姿勢に係る身体態様情報を生成する。なお、詳細については第１の実施形態の認識部１０１の機能と実質的に同一であるため説明を省略する。
【０１５９】
また、認識部１０１は、操作主体の所定の動作を認識する。具体的には、認識部１０１は、ユーザによる操作オブジェクトの表示指示操作を認識する。例えば、当該操作オブジェクトの表示指示操作は、タッチ操作、タップ操作、指差し操作などであってよい。
【０１６０】
（投影制御部）
投影制御部１０３は、表示制御部として、被操作機器についての操作オブジェクトの表示を制御する。具体的には、投影制御部１０３は、認識された操作主体の身体の態様に基づいて、実空間上に存在するように視認される被操作機器についての操作オブジェクトの複雑さを制御する。例えば、投影制御部１０３は、認識部１０１により認識されたユーザの姿勢に応じた複雑さで視認される操作オブジェクトを投影撮像装置１０に投影させる。さらに、図２２および図２３を参照して、操作オブジェクトの表示制御について説明する。図２２は、本実施形態に係る情報処理システム１における操作オブジェクトの表示制御の例を示す図である。図２３は、本実施形態に係る情報処理システム１における操作オブジェクトの表示制御の他の例を示す図である。
【０１６１】
まず、ユーザにより所定の動作が行われると、認識部１０１によりユーザの姿勢が認識される。例えば、認識部１０１は、ユーザによる選択オブジェクトの表示指示操作が認識されると、当該ユーザの姿勢を認識する。なお、上記所定の動作は、第１の実施形態における第２の機器選択の選択操作であってもよい。
【０１６２】
投影制御部１０３は、所定の動作の対象に紐付く操作オブジェクトを表示対象として決定する。具体的には、投影制御部１０３は、認識された選択オブジェクトの表示指示操作の操作先に紐付く操作オブジェクトを表示対象として決定する。例えば、投影制御部１０３は、選択オブジェクトの表示指示操作としてのタップ操作がユーザの太ももに対して行われたことが認識されると、当該ユーザの太ももに対応する操作オブジェクトを表示対象として決定する。なお、上記所定の動作が第１の実施形態における第２の機器選択の選択操作である場合、表示対象として決定される操作オブジェクトは、操作対象機器についての操作オブジェクトであってよい。
【０１６３】
また、投影制御部１０３は、認識されたユーザの姿勢に応じて操作オブジェクトの複雑さを決定する。操作オブジェクトの複雑さとしては、表示の複雑さまたは操作の複雑さがある。例えば、投影制御部１０３は、図２２の右図に示したように座っているユーザの上半身が後方に所定の程度傾いている（いわゆるリーンバックの状態である）場合、図２３の右図に示したように上半身を前方に傾けてユーザが座っている（いわゆるリーンフォワードの状態である）場合に比べて、操作オブジェクトの表示量を減らす、または操作が簡易な操作オブジェクトを選択する。これにより、ユーザがリラックス状態にあるかに応じて操作オブジェクトの複雑さを制御することができる。言い換えると、ユーザの被操作機器の操作への集中の程度に応じて操作オブジェクトの複雑さを制御することができる。これは、例えば、ユーザがリーンバックの状態である場合には、ユーザはリラックスしている状態であり、被操作機器の細かな操作を所望しないと考えられるからである。
【０１６４】
また、投影制御部１０３は、ユーザの態様に応じた場所を操作オブジェクトの表示場所に決定する。具体的には、投影制御部１０３は、ユーザにより行われた所定の動作に応じた場所を操作オブジェクトの表示場所に決定する。より具体的には、選択オブジェクトの表示場所は、ユーザの身体であってよい。例えば、投影制御部１０３は、ユーザの太ももに対するタップ操作が認識されると、図２２および図２３の左図に示したような当該ユーザの太ももにおける領域４０を操作オブジェクトの表示領域として決定する。
【０１６５】
そして、投影制御部１０３は、決定された場所に決定された複雑さで操作オブジェクトを投影撮像装置１０に投影させる。例えば、投影制御部１０３は、ユーザがリーンバックの状態である場合には、図２２の右図に示したような操作オブジェクト４１Ａ、４２Ａおよび４３Ａをユーザの太ももにおける領域４０へ投影撮像装置１０に投影させる。操作オブジェクト４１Ａは、表示装置の起動および終了の操作を提供するオブジェクトである。操作オブジェクト４２Ａは、チャネルを変更する操作を提供するオブジェクトである。操作オブジェクト４３Ａは、音量を変更する操作を提供するオブジェクトである。
【０１６６】
これに対し、ユーザがリーンフォワードの状態である場合には、投影制御部１０３は、図２３の右図に示したような操作オブジェクト４１Ｂ、４２Ｂおよび４３Ｂをユーザの太ももにおける領域４０へ投影撮像装置１０に投影させる。操作オブジェクト４１Ｂ、４２Ｂおよび４３Ｂは、それぞれ提供する操作は操作オブジェクト４１Ａ、４２Ａおよび４３Ａと実質的に同一である。しかし、操作オブジェクト４２Ｂは、操作オブジェクト４２Ａと異なり、例えば変更先のチャネルに係るサムネイルを伴う。また、操作オブジェクト４３Ｂは、操作オブジェクト４３Ａと異なり、１段階ずつ音量を変更するのではなく、スライドバーの移動により任意に音量を変更することができる。
【０１６７】
＜４−２．システムの処理＞
次に、図２４を参照して、情報処理システム１の処理について説明する。図２４は、本実施形態に係る情報処理システム１の処理の例を概念的に示すフローチャートである。なお、第１の実施形態における処理と実質的に同一の処理については説明を省略する。
【０１６８】
情報処理システム１は、身体態様情報を取得し（ステップＳ４０１）、身体態様情報に基づいて操作オブジェクトの複雑さを決定する（ステップＳ４０２）。具体的には、投影制御部１０３は、認識部１０１によりユーザの所定の動作が認識されると、当該所定の動作の対象から投影される操作オブジェクトを決定する。そして、投影制御部１０３は、所定の動作が認識された時点の身体の態様に基づいて、決定された操作オブジェクトの表示または操作の複雑さを決定する。
【０１６９】
また、情報処理システム１は、身体態様情報に基づいて操作オブジェクトの表示場所を決定する（ステップＳ４０３）。具体的には、投影制御部１０３は、認識部１０１により認識されたユーザの所定の動作に応じた場所を操作オブジェクトの表示場所として決定する。
【０１７０】
次に、情報処理システム１は、決定された複雑さの操作オブジェクトを決定された場所に表示する（ステップＳ４０４）。具体的には、投影制御部１０３は、決定された場所へ決定された複雑さの選択オブジェクトを投影撮像装置１０に投影させる。
【０１７１】
＜４−３．第２の実施形態のまとめ＞
このように、本開示の第２の実施形態によれば、情報処理システム１すなわち情報処理装置１００−２は、被操作機器の操作主体の身体の態様に係る情報を得て、身体の態様に係る情報に基づいて、実空間上に存在するように視認される被操作機器についての操作オブジェクトの複雑さを制御する。
【０１７２】
従来では、ユーザの状況によらず固定の仮想オブジェクトが表示される。そのため、表示される仮想オブジェクトとユーザの所望する仮想オブジェクトとが相違するおそれがある。例えば、ユーザが詳細な操作を所望する場合においても、大まかな操作を所望する場合においても、同じ仮想オブジェクトが表示されると、操作性の低下または操作負担の増加が生じかねない。
【０１７３】
これに対し、本実施形態によれば、ユーザの身体の態様から推定されるユーザの状況に応じた複雑さの操作オブジェクトを表示することができる。このため、ユーザの各状況においてユーザの所望する操作に適した操作オブジェクトがそれぞれ表示される可能性を高めることができる。従って、操作オブジェクトに対するユーザの満足度のユーザの状況に応じたばらつきを抑制ことが可能となる。
【０１７４】
また、上記身体の態様は、上記操作主体の姿勢を含み、上記操作オブジェクトは、当該操作主体の姿勢に係る情報に応じた複雑さで視認されるように表示される。ユーザの操作に対する集中の程度は、概してユーザの姿勢に反映される。そのため、ユーザの姿勢が推定される操作に対する集中の程度に応じて操作オブジェクトの複雑さが制御されることにより、操作オブジェクトの操作性を向上させることができる。
【０１７５】
また、上記操作オブジェクトは、上記操作主体の身体に視認されるように表示される。このため、ユーザの身体に操作オブジェクトが投影されることにより、ユーザの周辺に操作オブジェクトの投影スペースが確保されない場合であっても操作オブジェクトをユーザが操作しやすい場所に投影させることができる。また、投影場所がトラッキングされる場合には、ユーザが移動しても操作オブジェクトが移動するため、投影された操作オブジェクトを継続して操作することができる。
【０１７６】
また、上記操作オブジェクトは、上記操作主体の身体の態様に応じた場所へ表示される。このため、ユーザの態様に合わせて操作オブジェクトの表示場所が制御されることにより、所定の場所に固定的に操作オブジェクトが表示される場合と比べて、操作オブジェクトの操作性を向上させることができる。
【０１７７】
また、上記操作主体の身体の態様は、上記操作主体の所定の動作を含み、上記操作オブジェクトは、当該所定の動作に応じた場所へ表示される。このため、ユーザの意図に即した場所へ操作オブジェクトを表示することができる。従って、操作オブジェクトの表示に対するユーザビリティを向上させることが可能となる。
【０１７８】
また、上記操作オブジェクトは、上記所定の動作の対象に紐づく操作オブジェクトを含む。このため、ユーザは、当該所定の動作の対象を選択することにより操作を所望する被操作機器の操作オブジェクトを選択することができる。従って、被操作機器を別途の操作に基づいて選択する場合と比べて、操作オブジェクトの表示に係るプロセスを省略することが可能となる。
【０１７９】
＜４−４．変形例＞
以上、本開示の第２の実施形態について説明した。なお、本実施形態は、上述の例に限定されない。以下に、本実施形態の第１〜第９の変形例について説明する。
【０１８０】
（第１の変形例）
本実施形態の第１の変形例として、情報処理システム１は、他の身体の態様に係る情報に基づいて操作オブジェクトの複雑さを制御してもよい。具体的には、情報処理装置１００−２は、操作主体の生体情報に応じた複雑さで操作オブジェクトを投影撮像装置１０に投影させる。例えば、生体情報としては、ユーザの脈拍、体温、発汗または脳波などに係る情報などがある。さらに、図２５を参照して、本変形例について詳細に説明する。図２５は、本実施形態の第１の変形例に係る情報処理システム１における操作オブジェクトの表示制御の例を示す図である。
【０１８１】
投影制御部１０３は、操作オブジェクトの表示指示操作が行われると、生体情報を取得する。例えば、投影制御部１０３は、認識部１０１によりユーザによる操作オブジェクトの表示指示操作が認識されると、当該ユーザの生体情報として脈拍および体温に係る情報を取得する。生体情報は、図２５に示したようなユーザに装着され、生体情報を生成する外部の装置８０から通信部１０５を介して取得される。なお、生体情報は、所定の時間間隔で取得されてもよい。
【０１８２】
次に、投影制御部１０３は、生体情報に基づいて決定される複雑さで操作オブジェクトを投影撮像装置１０に投影させる。例えば、投影制御部１０３は、取得された脈拍および体温に係る情報が閾値以上であるかに基づく複雑さで操作オブジェクトを投影撮像装置１０に表示させる。詳細には、脈拍および体温の両方が閾値未満である場合、ユーザはリラックス状態であるとみなして、図２５の左図に示したように表示内容および操作機能が簡易である操作オブジェクト４１Ａ〜４３Ａが投影される。他方で、脈拍および体温の少なくとも一方が閾値以上である場合、ユーザは緊張状態であるとみなして、図２５の右図に示したように表示内容および操作機能が複雑である操作オブジェクト４１Ｂ〜４３Ｂが投影される。
【０１８３】
また、情報処理装置１００−２は、操作主体の行動に係る情報（以下、行動情報とも称する。）に応じた複雑さで操作オブジェクトを投影撮像装置１０に投影させる。例えば、ユーザの行動としては、料理または読書などの移動を伴わない行動、および歩行、サイクリングまたは運搬などの移動を伴う行動がある。さらに、図２６を参照して、本変形例の別の例について詳細に説明する。図２６は、本実施形態の第１の変形例に係る情報処理システム１における操作オブジェクトの表示制御の別の例を示す図である。
【０１８４】
投影制御部１０３は、操作オブジェクトの表示指示操作が行われると、行動情報を取得する。例えば、投影制御部１０３は、認識部１０１によりユーザによる操作オブジェクトの表示指示操作が認識されると、認識部１０１により認識された図２６に示したような当該ユーザの運搬に係る行動情報を取得する。
【０１８５】
次に、投影制御部１０３は、行動情報に基づく複雑さで操作オブジェクトを投影撮像装置１０に投影させる。例えば、投影制御部１０３は、運搬に係る行動情報が取得されると、図２６に示したような操作手段が音声であることを示す操作オブジェクト４４を投影撮像装置１０に投影させる。この場合、手入力よりも操作の複雑さが簡易になり、ユーザは手が空いていない運搬中であっても被操作機器を操作することができる。
【０１８６】
このように、本実施形態の第１の変形例によれば、操作主体の身体の態様に係る情報は、当該操作主体の生体情報を含み、操作オブジェクトは、当該操作主体の生体情報に応じた複雑さで視認されるように表示される。このため、ユーザがリラックス状態であるかまたは緊張状態であるか、言い換えると操作への集中の程度に応じて操作オブジェクトの複雑さを決定することができる。従って、操作オブジェクトの複雑さがユーザの状態に合わせられることにより、操作オブジェクトに対するユーザの違和感またはストレスなどを低減することが可能となる。
【０１８７】
また、操作主体の身体の態様は、当該操作主体の行動を含み、操作オブジェクトは、当該操作主体の行動に係る情報に応じた複雑さで視認されるように表示される。このため、ユーザの行動に適した複雑さの操作オブジェクトが表示されることにより、ユーザは行動を妨げられることなく円滑に操作オブジェクトを操作することができる。
【０１８８】
（第２の変形例）
本実施形態の第２の変形例として、情報処理システム１は、身体態様情報と異なる情報に基づいて操作オブジェクトの複雑さを制御してもよい。具体的には、情報処理装置１００−２は、操作主体が特定される情報に基づいて操作オブジェクトの複雑さを制御する。例えば、投影制御部１０３は、ユーザが特定される情報（以下、ユーザ特定情報とも称する。）に基づいて操作オブジェクトの複雑さを制御する。さらに、図２７を参照して、本変形例について詳細に説明する。図２７は、本実施形態の第２の変形例に係る情報処理システム１における操作オブジェクトの表示制御の例を示す図である。
【０１８９】
投影制御部１０３は、操作オブジェクトの表示指示操作が行われると、ユーザ特定情報を取得する。例えば、投影制御部１０３は、認識部１０１によりユーザによる操作オブジェクトの表示指示操作が認識されると、当該ユーザのユーザ特定情報として顔認識情報を取得する。顔認識情報は、ユーザの映る画像に係る画像情報に基づく認識部１０１の顔認識処理により得られる。例えば、図２７に示したようなユーザＵ１およびＵ２が認識され、ユーザＵ１およびＵ２にかかる顔認識情報が取得される。なお、ユーザ特定情報は、顔認識情報の代わりに、ＩＤ（Identifier）または氏名などの情報であってもよい。
【０１９０】
次に、投影制御部１０３は、ユーザ特定情報に基づいて決定される複雑さで操作オブジェクトを投影撮像装置１０に投影させる。例えば、投影制御部１０３は、取得されたユーザ特定情報に対応する複雑さで操作オブジェクトを投影撮像装置１０に表示させる。詳細には、ユーザＵ１については、当該ユーザＵ１の顔認識情報に係る顔と一致する顔のユーザに対応付けられた複雑さ、例えば図２７の左図に示したような簡易な表示内容および操作機能の操作オブジェクト４１Ａ〜４３Ａが投影される。他方で、ユーザＵ２については、当該ユーザＵ２の顔認識情報に係る顔と一致する顔のユーザに対応付けられた複雑さ、例えば図２７の右図に示したような複雑な表示内容および操作機能の操作オブジェクト４１Ｂ〜４３Ｂが投影される。
【０１９１】
また、情報処理装置１００−２は、操作主体の属性が特定される情報に基づいて操作オブジェクトの複雑さを制御してもよい。具体的には、投影制御部１０３は、ユーザの属性が特定される情報（以下、ユーザ属性情報とも称する。）に基づいて操作オブジェクトの複雑さを制御する。さらに、図２８を参照して、本変形例について詳細に説明する。図２８は、本実施形態の第２の変形例に係る情報処理システム１における操作オブジェクトの表示制御の別の例を示す図である。
【０１９２】
投影制御部１０３は、操作オブジェクトの表示指示操作が行われると、ユーザ属性情報を取得する。例えば、投影制御部１０３は、認識部１０１によりユーザによる操作オブジェクトの表示指示操作が認識されると、当該ユーザのユーザ属性情報を取得する。ユーザ属性情報は、ユーザの映る画像に係る画像情報に基づく認識部１０１の属性認識処理により得られる。ユーザの属性としては、年齢、性別、国籍、人種または利き手などがある。
【０１９３】
次に、投影制御部１０３は、ユーザ属性情報に基づいて決定される複雑さで操作オブジェクトを投影撮像装置１０に投影させる。例えば、投影制御部１０３は、取得されたユーザ属性情報に対応する複雑さで操作オブジェクトを投影撮像装置１０に表示させる。詳細には、ユーザ属性情報の示す利き手が左手である場合、図２８に示したような、図２７の左図で示したような操作オブジェクト４１Ａ〜４３Ａと配置が左右逆転された操作オブジェクト４１Ｃ〜４３Ｃが投影される。
【０１９４】
なお、ユーザ特定情報またはユーザ属性情報に基づいて操作オブジェクトの少なくとも一部の表示または操作が不能にされてもよい。例えば、投影制御部１０３は、ユーザ特定情報の示すユーザの年齢が幼年期に属する場合、表示装置についての操作オブジェクトにおける成年者向けの操作機能の一部を非表示にしたり、操作不能にしたりしてよい。
【０１９５】
このように、本実施形態の第２の変形例によれば、情報処理装置１００−２は、操作主体が特定される情報に基づいて操作オブジェクトの複雑さを制御する。このため、表示される操作オブジェクトの複雑さをユーザ個人に適した複雑さにすることができる。従って、個々のユーザの操作性またはユーザビリティをより向上させることが可能となる。
【０１９６】
また、情報処理装置１００−２は、操作主体の属性が特定される情報に基づいて操作オブジェクトの複雑さを制御する。このため、ユーザの特性に応じて操作オブジェクトの複雑さが制御されることにより、一律に複雑さが決定される場合と比べて操作性またはユーザビリティを向上させることができる。また、ユーザ個人が特定される情報なしで操作オブジェクトの複雑さが制御されることにより、情報の安全性が低下するおそれを抑制することができる。
【０１９７】
（第３の変形例）
本実施形態の第３の変形例として、情報処理システム１は、操作主体に係る情報以外の情報に基づいて操作オブジェクトの複雑さを制御してもよい。具体的には、情報処理装置１００−２は、操作オブジェクトが視認される場所に係る情報に基づいて操作オブジェクトの複雑さを制御する。例えば、投影制御部１０３は、操作オブジェクトが表示される場所に係る情報（以下、表示場所情報とも称する。）に基づいて操作オブジェクトの複雑さを制御する。さらに、図２９および図３０を参照して、本変形例について詳細に説明する。図２９は、本実施形態の第３の変形例に係る情報処理システム１における操作オブジェクトの表示制御の例を示す図である。図３０は、本実施形態の第３の変形例に係る情報処理システム１における操作オブジェクトの表示制御の別の例を示す図である。
【０１９８】
投影制御部１０３は、操作オブジェクトの表示指示操作が行われると、表示場所情報を取得する。例えば、投影制御部１０３は、認識部１０１によりユーザによる操作オブジェクトの表示指示操作が認識されると、当該表示指示操作が行われた場所を操作オブジェクトの表示場所として決定する。
【０１９９】
次に、投影制御部１０３は、表示場所情報に基づいて決定される複雑さで操作オブジェクトを投影撮像装置１０に投影させる。具体的には、投影制御部１０３は、決定された操作オブジェクトの表示場所の態様から決定される複雑さで操作オブジェクトを投影撮像装置１０に投影させる。当該表示場所の態様としては、当該表示場所についての広さ、凹凸の程度、色、質感または模様の有無などがある。例えば、操作オブジェクトの表示場所がユーザの手の平であり、投影可能領域の面積が閾値未満である場合、当該閾値未満の面積に対応付けられた複雑さ、例えば図２９に示したようなチャネル番号を入力するだけの簡易な操作オブジェクト４２Ｄが投影される。他方で、操作オブジェクトの表示場所がテーブルであり、投影可能領域の面積が閾値以上である場合、当該閾値以上の面積に対応付けられた複雑さ、例えば図３０に示したような番組表からチャネルが選択可能である複雑な操作オブジェクト４５がテーブル６０上に投影される。
【０２００】
このように、本実施形態の第３の変形例によれば、情報処理装置１００−２は、操作オブジェクトが視認される場所に係る情報に基づいて操作オブジェクトの複雑さを制御する。このため、操作オブジェクトの表示場所に応じた複雑さで操作オブジェクトが表示されることにより、操作オブジェクトの視認性が損なわれるおそれを抑制することができる。従って、操作オブジェクトについての視認性を維持しながら操作性を向上させることが可能となる。
【０２０１】
（第４の変形例）
本実施形態の第４の変形例として、操作オブジェクトの表示場所は、情報安全性に基づいて制御されてもよい。具体的には、情報処理装置１００−２は、被操作機器の操作に関する情報安全性の程度に応じた場所へ操作オブジェクトを投影撮像装置１０に投影させる。例えば、投影制御部１０３は、操作オブジェクトにより操作される内容についての情報セキュリティレベルに応じた場所を操作オブジェクトの表示場所として決定する。さらに、図３１を参照して、本変形例について詳細に説明する。図３１は、本実施形態の第４の変形例に係る情報処理システム１における操作オブジェクトの表示制御の例を示す図である。
【０２０２】
投影制御部１０３は、操作オブジェクトの表示指示操作が行われると、操作オブジェクトにより操作される内容についての情報セキュリティレベルが特定される情報（以下、セキュリティ情報とも称する。）を取得する。例えば、投影制御部１０３は、認識部１０１によりユーザによる操作オブジェクトの表示指示操作が認識されると、当該操作オブジェクトにより入力される、図３１に示したようなログイン情報についてのセキュリティ情報を取得する。
【０２０３】
次に、投影制御部１０３は、セキュリティ情報に基づいて操作オブジェクトの表示場所を決定し、決定される表示場所へ操作オブジェクトを投影撮像装置１０に投影させる。例えば、投影制御部１０３は、取得されたセキュリティ情報の示すセキュリティレベルが所定のレベル以上である場合、操作オブジェクトの表示場所をユーザの手の平に決定する。そして、投影制御部１０３は、投影撮像装置１０に図３１に示したようにユーザの手の平に操作オブジェクト４２Ｄを投影させる。
【０２０４】
このように、本実施形態の第４の変形例によれば、操作オブジェクトは、被操作機器の操作に関する情報安全性の程度に応じた場所に視認されるように表示される。このため、操作オブジェクトを用いた操作の内容を他人に知られることを防止することができる。従って、ユーザのプライバシーの保護または情報の安全性の確保が可能となる。
【０２０５】
（第５の変形例）
本実施形態の第５の変形例として、操作オブジェクトの表示指示操作としての上述の所定の動作は、他の動作であってもよい。具体的には、情報処理装置１００−２は、被操作機器を対象とする所定の動作に基づいて操作オブジェクトを当該所定の動作に応じた場所へ投影撮像装置１０に投影させる。例えば、投影制御部１０３は、被操作機器に向けた第１の動作が認識部１０１により認識されると、当該被操作機器についての操作オブジェクトを投影対象として決定する。そして、投影制御部１０３は、第２の動作が認識部１０１により認識されると、当該第２の動作に応じた場所へ操作オブジェクトを投影撮像装置１０に投影させる。さらに、図３２を参照して、本変形例について詳細に説明する。図３２は、本実施形態の第５の変形例に係る情報処理システム１における操作オブジェクトの表示制御の例を示す図である。
【０２０６】
投影制御部１０３は、第１の動作が認識されると、当該第１の動作から特定される被操作機器についての操作オブジェクトを投影対象として決定する。例えば、認識部１０１により図３２の上図に示したような手が握られる動作が認識されると、機器選択部１０２は、当該手が向けられた方向に存在する表示装置２０を特定する。そして、投影制御部１０３は、特定された表示装置２０についての操作オブジェクトを投影対象として決定する。
【０２０７】
次に、投影制御部１０３は、第２の動作が認識されると、当該第２の動作に応じた場所を操作オブジェクトの投影場所として決定し、決定された投影場所へ操作オブジェクトを投影撮像装置１０に投影させる。例えば、認識部１０１により図３２の下図に示したような握られた手が開かれる動作が認識されると、投影制御部１０３は、当該手の平を操作オブジェクトの投影場所として決定する。そして、図３２に示したように当該手の平に操作オブジェクト４２Ｄが投影される。
【０２０８】
このように、本実施形態の第５の変形例によれば、上述したような操作オブジェクトの表示に係る所定の動作の対象に紐づく操作オブジェクトは、当該所定の動作の対象である被操作機器についての操作オブジェクトを含む。このため、操作オブジェクトの表示指示操作において操作を所望する被操作機器を選択することができる。従って、ユーザは直感的に被操作機器を選択することができ、操作性を向上させることが可能となる。
【０２０９】
（第６の変形例）
本実施形態の第６の変形例として、操作オブジェクトの表示指示操作としての上述の所定の動作に応じて表示される操作オブジェクトは、当該所定の動作の対象と同じ実空間に存在する被操作機器についての操作オブジェクトであってもよい。具体的には、機器選択部１０２は、操作オブジェクトの表示指示操作が認識されると、当該表示指示操作の対象となる物体の存在する実空間に存在する被操作機器を選択する。投影制御部１０３は、選択された被操作機器について操作オブジェクトを投影対象として決定する。そして、投影対象として決定された操作オブジェクトが当該投影指示操作に応じた場所に投影される。さらに、図３３〜図３５を参照して、本変形例について詳細に説明する。図３３〜図３５は、本実施形態の第６の変形例に係る情報処理システム１における操作オブジェクトの表示制御の例を示す図である。
【０２１０】
認識部１０１は、操作オブジェクトの表示指示操作が認識されると、当該表示指示操作の対象となる物体を認識する。例えば、認識部１０１は、操作オブジェクトの表示指示操作としてタップ操作が認識されると、当該タップ操作が行われた図３３に示したようなリビングルームに設置されるテーブル６０をタップ先として認識する。
【０２１１】
次に、機器選択部１０２は、表示指示操作の対象となる物体が認識されると、当該物体と同じ実空間に存在する被操作機器を選択する。例えば、機器選択部１０２は、認識部１０１によりタップ操作およびタップ先が認識されると、当該タップ先として認識されたテーブル６０が存在するリビングルームを機器選択範囲として特定する。そして、機器選択部１０２は、当該リビングルームに存在する照明装置、空調装置および表示装置を選択する。
【０２１２】
次に、投影制御部１０３は、選択された被操作機器についての操作オブジェクトを投影対象として決定し、表示指示操作の対象となる物体を操作オブジェクトの投影場所として決定する。そして、決定された操作オブジェクトが決定された投影場所へ投影される。例えば、投影制御部１０３は、図３３に示したように、機器選択部１０２により選択された照明装置、空調装置および表示装置の各々についての操作オブジェクト４６〜４８が、タップ操作が行われたテーブル６０へそれぞれ投影される。
【０２１３】
次に、投影制御部１０３は、投影された操作オブジェクトに対する操作が認識されると、認識された当該操作に応じて操作オブジェクトの表示を変更する。例えば、投影制御部１０３は、認識部１０１により操作オブジェクト４８に対するタッチ操作が認識されると、投影される操作オブジェクトを図３４に示したような操作オブジェクト４８に関する操作オブジェクト４９に変更する。操作オブジェクト４９は、操作オブジェクト４８についての被操作機器のより詳細な操作を行うための操作オブジェクトであってよい。図３４の例では、操作オブジェクト４９は、再生可能なコンテンツの一覧である。
【０２１４】
同様に、投影制御部１０３は、変更後の操作オブジェクトに対する操作が認識されると、認識された当該操作に応じて操作オブジェクトの表示を変更する。例えば、投影制御部１０３は、認識部１０１により操作オブジェクト４９の一部に対するタッチ操作が認識されると、投影される操作オブジェクトを図３５に示したような操作オブジェクト４９の一部に関する操作オブジェクト５０に変更する。操作オブジェクト５０は、操作オブジェクト４９の一部についてより詳細な操作を行うための操作オブジェクトであってよい。図３５の例では、操作オブジェクト５０は、コンテンツの再生、停止、戻し、送りおよび音量の調整を操作可能な操作オブジェクトの集合である。また、操作オブジェクト５０は、コンテンツに関する情報を含んでよい。
【０２１５】
さらに、投影制御部１０３は、投影される第１の操作オブジェクトに係る操作に関連する被操作機器の操作のユーザへの提案を第２の操作オブジェクトとして投影撮像装置１０に投影させる。具体的には、機器制御部１０４は、ユーザの操作により投影される第１の操作オブジェクトについての被操作機器と関連して作動可能な被操作機器を選択する。そして、投影制御部１０３は、第１の操作オブジェクトと共に、機器選択部１０２により選択された被操作機器の操作をユーザへ提案する第２の操作オブジェクトを投影撮像装置１０に投影させる。
【０２１６】
例えば、図３４に示したような操作オブジェクト４９におけるコンテンツの選択操作が認識されると、機器制御部１０４は、選択されたコンテンツの映像を表示する表示装置と連動可能な照明装置および音出力装置を選択する。投影制御部１０３は、選択された照明装置および音出力装置を表示装置と連動して作動させるか、またはどのように作動させるかをユーザへ提案する操作オブジェクト５１を生成する。詳細には、（１）照明の明暗および色彩を表示に合わせて制御すること、（２）表示に係る音以外の音の出力を停止すること、（３）時間帯に合わせて音を制御する（例えば、深夜であれば重低音を抑制する）こと、などがある。そして、投影制御部１０３は、操作オブジェクト５０と共に操作オブジェクト５１を投影撮像装置１０に投影させる。
【０２１７】
この場合、ユーザが意図する操作に関連する操作が追加的に提案されることにより、期待以上の操作結果をユーザへ提供することができる。従って、ユーザビリティをさらに向上させることが可能となる。
【０２１８】
また、当該表示指示操作の対象と同じ実空間における環境に係る情報（以下、空間環境情報とも称する。）に基づいて選択される被操作機器についての操作オブジェクトが表示されてよい。実空間における環境としては、当該実空間における温度、湿度、照度、においまたは騒音の音量などがある。例えば、機器選択部１０２は、操作オブジェクトの表示指示操作がテーブルに対して行われると、当該テーブルと同じ部屋に表示装置、空調装置および照明装置が存在する場合、当該部屋の温度が閾値以上であるときは、少なくとも空調装置を選択する。そして、投影制御部１０３は、選択された空調装置についての操作オブジェクトを投影撮像装置１０に投影させる。
【０２１９】
また、上記の空間環境情報の代わりにまたはそれに加えて、当該表示指示操作の対象と同じ実空間に存在する人の態様に係る情報（以下、人態様情報とも称する。）に基づいて選択される被操作機器についての操作オブジェクトが表示されてもよい。人の態様としては、脈拍もしくは体温などの身体内部の状態、姿勢などの身体外部の状態または行動などがある。例えば、認識部１０１は、ユーザにより操作オブジェクトの表示指示操作がテーブルに対して行われると、当該テーブルと同じ部屋に当該ユーザ以外の他の人が存在する場合、当該他の人の体温情報を取得する。次に、機器選択部１０２は、取得された当該他の人の体温情報の示す体温が閾値未満であるときは、少なくとも空調装置を選択する。そして、投影制御部１０３は、選択された空調装置についての操作オブジェクトを投影撮像装置１０に投影させる。
【０２２０】
また、上記の空間環境情報または人態様情報の代わりにまたはそれに加えて、当該表示指示操作が行われた時間に係る時間情報に基づいて選択される被操作機器についての操作オブジェクトが表示されてもよい。時間情報としては、時刻、時間帯、日付、曜日もしくは季節を示す情報またはスケジュール情報などがある。例えば、認識部１０１は、ユーザにより操作オブジェクトの表示指示操作がテーブルに対して行われると、時間情報を取得する。次に、機器選択部１０２は、取得された時間情報の示す時間帯が夕方の時間帯であるときは、少なくとも照明装置を選択する。そして、投影制御部１０３は、選択された照明装置についての操作オブジェクトを投影撮像装置１０に投影させる。
【０２２１】
さらに、図３６を参照して、本変形例の処理について説明する。図３６は、本実施形態の第６の変形例に係る情報処理システム１の処理の例を概念的に示すフローチャートである。なお、上述した処理と実質的に同一である処理については説明を省略する。
【０２２２】
情報処理システム１は、身体態様情報を取得し（ステップＳ４１１）、取得された身体態様情報に基づいて操作オブジェクトの複雑さを決定する（ステップＳ４１２）。
【０２２３】
次に、情報処理システム１は、所定の動作が認識されたかを判定する（ステップＳ４１３）。具体的には、投影制御部１０３は、認識部１０１により操作オブジェクトの表示指示操作が認識されたかを判定する。
【０２２４】
所定の動作が認識されたと判定されると、情報処理システム１は、当該所定の動作に基づいて操作オブジェクトの表示場所を決定する（ステップＳ４１４）。具体的には、投影制御部１０３は、操作オブジェクトの表示指示操作が認識されたと判定されると、当該表示指示操作に応じた場所を操作オブジェクトの投影場所として決定する。
【０２２５】
次に、情報処理システム１は、所定の動作の対象が存在する空間についての空間環境情報または人態様情報が取得されたかを判定する（ステップＳ４１５）。具体的には、機器選択部１０２は、操作オブジェクトの表示指示操作の対象が存在する空間における環境に係る情報または当該空間に存在する人の態様に係る情報が取得されたかを判定する。なお、空間環境情報は情報処理システム１が別途に備えるセンサなどの測定装置から取得されてよく、人態様情報は認識部１０１から取得されてよい。
【０２２６】
所定の動作の対象が存在する空間についての空間環境情報または人態様情報が取得されたと判定されると、情報処理システム１は、空間環境情報または人態様情報に基づいて被操作機器を選択する（ステップＳ４１６）。具体的には、機器選択部１０２は、取得された空間環境情報または人態様情報に基づいて、上記表示指示操作の対象が存在する空間に存在する被操作機器の中から被操作機器を選択する。
【０２２７】
また、所定の動作の対象が存在する空間についての空間環境情報および人態様情報のいずれも取得されなかったと判定されると、情報処理システム１は、時間情報を取得する（ステップＳ４１７）。具体的には、機器選択部１０２は、空間環境情報および人態様情報のいずれも取得されなかったと判定されると、上記表示指示操作が行われた時間に係る時間情報を取得する。
【０２２８】
次に、情報処理システム１は、時間情報に基づいて被操作機器を選択する（ステップＳ４１８）。具体的には、機器選択部１０２は、取得された時間情報に基づいて、上記表示指示操作の対象が存在する空間に存在する被操作機器の中から被操作機器を選択する。
【０２２９】
そして、情報処理システム１は、選択された被操作機器についての操作オブジェクトを決定された場所へ決定された態様で表示する（ステップＳ４１９）。具体的には、投影制御部１０３は、選択された被操作機器についての操作オブジェクトを決定された態様で決定された投影場所へ投影撮像装置１０に投影させる。
【０２３０】
なお、上記では、単一の被操作機器が選択される例を説明したが、被操作機器のセットが選択されてもよい。例えば、空調に係る被操作機器のセット（例えば、空調装置および送風装置のセット）、または映像再生に係る被操作機器のセット（例えば、表示装置および音出力装置のセット）などが選択されてよい。
【０２３１】
また、被操作機器のセットについての操作オブジェクトが表示されてもよい。例えば、空調に係る被操作機器のセットまたは映像再生に係る被操作機器のセットについてそれぞれ１つの操作オブジェクトが投影されてよい。なお、当該被操作機器のセットについての操作オブジェクトが操作されると、当該セットに係る被操作機器の少なくとも一部が操作に応じて制御される。
【０２３２】
このように、本実施形態の第６の変形例によれば、上述したような操作オブジェクトの表示に係る所定の動作の対象に紐づく操作オブジェクトは、当該所定の動作の対象と同じ実空間に存在する被操作機器についての操作オブジェクトを含む。このため、ユーザは被操作機器を個別に選択することなく、操作が所望される被操作機器についての操作オブジェクトを情報処理システム１に表示させることができる。従って、操作手順が削減されることにより、被操作機器の操作までの手間および時間を低減することが可能となる。
【０２３３】
また、表示される操作オブジェクトについての上記所定の動作の対象と同じ実空間に存在する被操作機器は、当該所定の動作の対象と同じ実空間における環境に係る情報に基づいて選択される。このため、ユーザが存在する空間の環境に応じて被操作機器が選択されることにより、例えば当該空間の環境を維持しまたは改善するための被操作機器についての操作オブジェクトを表示することができる。従って、空間の状態に応じて適切な操作オブジェクトが表示されることにより、ユーザビリティを向上させることが可能となる。
【０２３４】
また、当該被操作機器は、当該所定の動作の対象と同じ実空間に存在する人の態様に係る情報に基づいて選択される。このため、ユーザまたはユーザが存在する空間に存在する他の人の態様に応じて被操作機器が選択されることにより、例えば当該空間に存在する人の感じる心地よさを維持しまたは改善するための被操作機器についての操作オブジェクトを表示することができる。従って、人の状態に応じて適切な操作オブジェクトが表示されることにより、ユーザビリティを向上させることが可能となる。
【０２３５】
また、当該被操作機器は、時間情報に基づいて選択される。人が心地よく感じる空間の状態は、概して時間に応じて異なる。そのため、時間情報に基づいて操作オブジェクトに係る被操作機器が選択されることにより、時間に応じて移り変わる空間の状態において操作が所望される操作オブジェクトを適切に表示することができる。従って、時間に応じて適切な操作オブジェクトが表示されることにより、ユーザビリティを向上させることが可能となる。
【０２３６】
（第７の変形例）
本実施形態の第７の変形例として、操作オブジェクトは自動的に表示されてもよい。具体的には、情報処理装置１００−２は、操作主体への通知の着信に応じて当該通知についての操作オブジェクト（以下、通知操作オブジェクトとも称する。）を投影撮像装置１０に投影させる。例えば、投影制御部１０３は、ユーザへの通知が着信すると、当該通知に係る被操作機器についての通知操作オブジェクトの投影場所を決定する。そして、投影制御部１０３は、決定された投影場所へ当該通知操作オブジェクトを投影撮像装置１０に投影させる。さらに、図３７を参照して、本変形例について詳細に説明する。図３７は、本実施形態の第７の変形例に係る情報処理システム１における通知操作オブジェクトの表示制御の例を示す図である。
【０２３７】
機器制御部１０４は、被操作機器からユーザへの通知の着信有無を判定する。例えば、機器制御部１０４は、インターホン、電話機またはスマートフォンの通話アプリケーションなどからの呼出し情報またはメールまたはメッセージなどの情報が通信部１０５を介して取得されたかを判定する。
【０２３８】
被操作機器からユーザへの通知の着信が判定されると、投影制御部１０３は、通知先のユーザの場所に基づいて通知操作オブジェクトの投影場所を決定する。例えば、投影制御部１０３は、呼出し情報が取得されたと判定されると、当該呼出し情報に係る被操作機器についての通知操作オブジェクト（以下、単に呼出し情報に係る通知操作オブジェクトとも称する。）の投影場所を、当該呼出し情報の宛先と推定されるユーザの場所に基づいて決定する。
【０２３９】
次に、投影制御部１０３は、決定された投影場所へ通知操作オブジェクトを投影撮像装置１０に投影させる。例えば、投影制御部１０３は、図３７の上図に示したように、ユーザの近傍に操作オブジェクト４６〜４８が投影されている場合、当該操作オブジェクト４６〜４８に隣接して通知操作オブジェクト５２を投影撮像装置１０に投影させる。なお、通知操作オブジェクトの投影場所は、ユーザまたはユーザの属性に応じて決定されてもよい。例えば、通知操作オブジェクトは、操作オブジェクトに隣接する範囲のうちのユーザの利き手側に投影されてよい。
【０２４０】
さらに、投影制御部１０３は、投影された通知操作オブジェクトに対する操作が認識されると、当該通知操作オブジェクトの態様を変更する。例えば、投影制御部１０３は、認識部１０１により通知操作オブジェクト５２に対するタッチ操作が認識されると、通知操作オブジェクト５２を通知操作オブジェクト５３に切り替える。切り替え後の通知操作オブジェクト５３は、通知操作オブジェクト５２に係る被操作機器を詳細に操作するための通知操作オブジェクトであってよい。詳細には、通知操作オブジェクト５３は、図３７の下図に示したように３つのサブオブジェクトおよび表示画面を有する。サブオブジェクトは、インターホンまたは電話機からの呼出しに応じるかどうかの選択などを行うための操作オブジェクトであってよい。また、表示画面には、呼出し元の人物などが映る画像が表示されてよい。なお、切り替え前の通知操作オブジェクト５２においても、図３７の上図に示したように呼出し元の人物などが映る画像が表示されてよい。
【０２４１】
以上、第７の変形例の処理の一例について説明した。続いて、当該呼出し情報の宛先と推定されるユーザが複数である例について説明する。具体的には、通知操作オブジェクトは、複数のユーザの各々に視認される場所に表示される。例えば、投影制御部１０３は、呼出し情報が着信すると、当該呼出し情報の宛先と推定されるユーザを特定する。特定されるユーザが複数である場合、投影制御部１０３は、特定された複数のユーザの各々により視認される場所へ当該呼出し情報に係る通知操作オブジェクトを投影撮像装置１０に投影させる。さらに、図３８を参照して、複数のユーザについての通知操作オブジェクトの表示制御の例について説明する。図３８は、本実施形態の第７の変形例に係る情報処理システム１における複数のユーザについての通知操作オブジェクトの表示制御の例を示す図である。
【０２４２】
投影制御部１０３は、被操作機器からユーザへの通知が着信すると、通知先のユーザを特定する。例えば、投影制御部１０３は、インターホンなどから呼出し情報が着信すると、認識部１０１によるユーザの認識結果に基づいて、図３８に示したようなユーザＵ３〜Ｕ５を特定する。なお、所定の範囲の空間（例えば、建物）内に位置するユーザであればいずれの個別の空間に位置するユーザであっても特定される。例えば、図３８に示したように、同一の建物内に位置するが、ユーザＵ４およびＵ５と異なる空間（例えば、部屋）に位置するユーザＵ３も特定される。
【０２４３】
次に、投影制御部１０３は、特定されたユーザが複数である場合、特定された複数のユーザの位置の各々に基づいて通知操作オブジェクトの投影場所をそれぞれ決定する。例えば、投影制御部１０３は、特定されたユーザＵ３〜Ｕ５の位置の各々に隣接する場所を通知操作オブジェクトの投影場所としてそれぞれ決定する。
【０２４４】
そして、投影制御部１０３は、決定された投影場所へ通知操作オブジェクトを投影撮像装置１０にそれぞれ投影させる。例えば、図３８に示したようにユーザＵ３〜Ｕ５の各々に隣接する場所に、通知操作オブジェクト５２Ａ〜５２Ｃの各々がそれぞれ投影される。
【０２４５】
なお、上記では、複数のユーザの各々についてそれぞれ通知操作オブジェクトが表示される例を説明したが、複数のユーザで共通する通知操作オブジェクトが表示されてもよい。具体的には、同じ空間に複数のユーザが位置する場合、当該複数のユーザで共通する１つの通知操作オブジェクトが表示されてもよい。例えば、図３８に示したような同じ空間に位置するユーザＵ４およびＵ５について１つの通知操作オブジェクトが投影されてよい。その場合、当該通知操作オブジェクトは、ユーザＵ４およびＵ５の両方により視認される場所、すなわちユーザＵ４およびＵ５の両方の視界に入る場所へ投影されてもよい。
【０２４６】
以上、複数のユーザについて通知操作オブジェクトが表示される例について説明した。続いて、複数のユーザのうちの一部のユーザによってのみ視認されるように通知操作オブジェクトが投影される例について説明する。具体的には、通知操作オブジェクトは、特定の操作主体にのみ視認される場所に表示される。例えば、投影制御部１０３は、呼出し情報が着信すると、当該呼出し情報の宛先と推定されるユーザを特定する。特定されるユーザが単独である場合、投影制御部１０３は、特定されたユーザのみに視認される場所へ当該呼出し情報に係る通知操作オブジェクトを投影撮像装置１０に投影させる。さらに、図３９を参照して、特定のユーザにのみ視認されるような通知操作オブジェクトの表示制御の例について説明する。図３９は、本実施形態の第７の変形例に係る情報処理システム１における特定のユーザにのみ視認されるような通知操作オブジェクトの表示制御の例を示す図である。
【０２４７】
投影制御部１０３は、被操作機器からユーザへの通知が着信すると、通知先のユーザを特定する。例えば、投影制御部１０３は、通話アプリケーションなどから呼出し情報が着信すると、当該呼出し情報から宛先情報（例えば、電話番号）を取得する。そして、投影制御部１０３は、取得される電話番号に紐付くユーザを特定する。詳細には、認識部１０１の認識により得られる顔情報と電話番号から特定された顔情報とを用いた顔認識処理の結果に基づいて図３９に示したようなユーザＵ８が特定される。
【０２４８】
次に、投影制御部１０３は、特定されたユーザ（以下、特定のユーザとも称する。）が単独であり、当該特定のユーザが位置する空間に他の人が位置する場合、特定ユーザおよび当該他の人の各々の位置に基づいて通知操作オブジェクトの投影場所を決定する。例えば、投影制御部１０３は、認識部１０１の認識により得られる特定のユーザＵ８および当該特定のユーザＵ８以外の他の人Ｕ６およびＵ７の視界に係る情報を取得する。そして、投影制御部１０３は、当該視界に係る情報に基づいて、当該特定のユーザＵ８の視界に入る場所であって当該他の人Ｕ６およびＵ７の視界に入らない場所を通知操作オブジェクトの投影場所として決定する。なお、当該通知操作オブジェクトの投影場所は、当該他の人の背中などの身体の部位であってもよい。
【０２４９】
そして、投影制御部１０３は、決定された投影場所へ通知操作オブジェクトを投影撮像装置１０に投影させる。例えば、図３９に示したような他の人Ｕ６およびＵ７の死角であって、特定のユーザＵ８に視認される場所へ通知操作オブジェクト５２が投影される。
【０２５０】
なお、上記では、特定のユーザが単独のユーザである例を説明したが、特定のユーザは宛先情報が特定される複数のユーザであってもよい。その場合、複数の特定のユーザの各々について個別に通知操作オブジェクトが表示されてもよく、複数の特定のユーザで共通する通知操作オブジェクトが表示されてもよい。
【０２５１】
以上、複数のユーザのうちの一部のユーザによってのみ視認されるように通知操作オブジェクトが投影される場合について説明した。続いて、特定のユーザ以外の他の人が存在しない場合にのみ通知操作オブジェクトが表示される例について説明する。具体的には、通知操作オブジェクトは、特定の操作主体の存在する空間に特定の操作主体以外の人が存在しない場合に表示される。例えば、投影制御部１０３は、呼出し情報が着信すると、当該呼出し情報の宛先と推定されるユーザを特定する。投影制御部１０３は、特定のユーザの存在する空間に当該特定のユーザ以外の他の人が存在する場合、当該他の人が当該空間の外へ移動するまで通知操作オブジェクトの表示を投影撮像装置１０に待機させる。そして、当該他の人が当該空間の外へ移動すると、投影制御部１０３は、当該呼出し情報に係る通知操作オブジェクトを当該特定のユーザに隣接する場所へ投影撮像装置１０に投影させる。さらに、図４０を参照して、特定のユーザにのみ視認されるような通知操作オブジェクトの表示制御の別の例について説明する。図４０は、本実施形態の第７の変形例に係る情報処理システム１における特定のユーザにのみ視認されるような通知操作オブジェクトの表示制御の別の例を示す図である。
【０２５２】
投影制御部１０３は、被操作機器からユーザへの通知が着信すると、通知先のユーザを特定する。例えば、認識部１０１の認識により得られる顔情報と通知に係る宛先情報から特定された顔情報とを用いた顔認識処理の結果に基づいて図４０に示したようなユーザＵ１０が特定される。
【０２５３】
次に、投影制御部１０３は、特定のユーザが位置する空間に他の人が位置する場合、当該他の人が当該空間の外へ移動するまで待機する。例えば、投影制御部１０３は、認識部１０１の認識により得られる情報から特定のユーザＵ１０以外の他の人Ｕ９の存在を把握する。そして、投影制御部１０３は、他の人Ｕ９が特定のユーザＵ１０の位置する部屋の外へ移動したかを判定する。
【０２５４】
そして、当該他の人が当該空間の外へ移動すると、投影制御部１０３は、特定のユーザに隣接する場所へ通知操作オブジェクトを投影撮像装置１０に投影させる。例えば、投影制御部１０３は、図４０に示したように特定のユーザＵ１０の位置する部屋の外へ他の人Ｕ９が移動すると、呼出し情報に係る通知操作オブジェクト５２を特定のユーザＵ１０に視認される場所へ投影撮像装置１０に投影させる。
【０２５５】
このように、本実施形態の第７の変形例によれば、操作オブジェクトは、操作主体への通知についての通知操作オブジェクトを含み、当該通知操作オブジェクトは、通知の着信に応じて表示される。このため、通知に係る被操作機器についての操作オブジェクトが着信に応じて自動的に表示されることにより、ユーザに通知を知らせることができる。従って、当該通知の確認または応答にかかる時間を短縮することが可能となる。
【０２５６】
また、上記操作主体への通知は、複数の操作主体への通知を含み、上記通知操作オブジェクトは、当該複数の操作主体の各々に視認される場所に表示される。このため、複数のユーザの各々を通知に気付かせることができ、当該複数のユーザの各々が通知に対する被操作機器の操作をそれぞれ行うことができる。従って、通知に気付いたあるユーザが通知操作オブジェクトを操作できない場合であっても、別のユーザが通知に対処することが可能となる。
【０２５７】
また、上記操作主体への通知は、特定の操作主体への通知を含み、上記通知操作オブジェクトは、当該特定の操作主体にのみ視認される場所に表示される。このため、通知の内容が特定のユーザのプライベートな情報を有する場合に、当該特定のユーザ以外の他の人に当該プライベートな情報を知られることを防止することができる。従って、特定のユーザのプライバシーの保護と通知に対する応答性とを両立することが可能となる。
【０２５８】
また、上記通知操作オブジェクトは、上記特定の操作主体の存在する空間に当該特定の操作主体以外の人が存在しない場合に表示される。このため、特定のユーザのプライベートな情報が他の人に知られることをより確実に防止することができる。
【０２５９】
（第８の変形例）
本実施形態の第８の変形例として、操作オブジェクトは、所定の動作に応じた場所の代わりに、操作主体の身体の状態に応じた場所へ表示されてもよい。具体的には、投影制御部１０３は、認識部１０１によりユーザの身体の状態が認識されると、ユーザの身体またはユーザの周辺から当該ユーザの身体の状態に応じて投影場所を決定する。さらに、図４１を参照して、本変形例について詳細に説明する。図４１は、本実施形態の第８の変形例に係る情報処理システム１における操作オブジェクトの表示制御の例を示す図である。
【０２６０】
認識部１０１は、所定の動作すなわち操作オブジェクトの表示指示操作が認識されると、ユーザの身体の状態を認識する。例えば、認識部１０１は、ユーザによる上記表示指示操作が認識されると、当該ユーザの操作に用いられる身体の部位（以下、操作部位とも称する。）の状態を認識する。当該操作部位としては、指、手、腕または足などがある。
【０２６１】
次に、投影制御部１０３は、認識されたユーザの身体の状態に応じた場所を投影場所として決定する。具体的には、投影制御部１０３は、認識部１０１により認識されたユーザの操作部位の状態に基づいて操作オブジェクトの投影場所を決定する。例えば、図４１に示したようにユーザが左手に物体を持っている場合、投影制御部１０３は、左手を操作不能な状態、右手を操作可能な状態として判定する。そして、投影制御部１０３は、操作可能な状態である右手を基準に操作オブジェクトの投影場所を決定する。図４１の例では、右手が届く範囲が投影領域４０として決定されている。そして、投影領域４０に操作オブジェクトが投影される。
【０２６２】
また、操作オブジェクトは、操作主体の姿勢に応じた場所へ表示されてもよい。具体的には、投影制御部１０３は、認識部１０１によりユーザの姿勢が認識されると、ユーザの身体またはユーザの周辺から当該ユーザの姿勢に応じて投影場所を決定する。例えば、ユーザが自身の体の左側を横にして寝ている場合、当該ユーザにとって右側、言い換えると当該ユーザの顔が向いている側における所定の領域が操作オブジェクトの投影場所として決定される。
【０２６３】
このように、本実施形態の第８の変形例によれば、操作オブジェクトは、操作主体の身体の状態に応じた場所へ表示される。このため、ユーザの身体の状態に応じた操作しやすい場所に操作オブジェクトを表示することができる。従って、より多くのユースケースにおいて操作性を向上させることが可能となる。
【０２６４】
また、操作オブジェクトは、操作主体の姿勢に応じた場所へ表示される。このため、操作オブジェクトをユーザに視認されやすい場所へ表示することができる。従って、操作オブジェクトの視認性を向上させ、ひいては操作性を向上させることが可能となる。
【０２６５】
（第９の変形例）
本実施形態の第９の変形例として、操作オブジェクトは、操作主体が特定される情報に応じた場所へ表示されてもよい。具体的には、投影制御部１０３は、操作オブジェクトの表示指示操作が認識されると、ユーザ特定情報に基づいて操作オブジェクトの表示場所を決定する。さらに、図４２を参照して、本変形例について詳細に説明する。図４２は、本実施形態の第９の変形例に係る情報処理システム１における操作オブジェクトの表示制御の例を示す図である。なお、上述した処理と実質的に同一である処理については説明を省略する。
【０２６６】
投影制御部１０３は、操作オブジェクトの表示指示操作が認識されると、ユーザ特定情報を取得する。
【０２６７】
そして、投影制御部１０３は、ユーザ特定情報に基づいて決定される投影場所へ操作オブジェクトを投影撮像装置１０に投影させる。具体的には、投影制御部１０３は、取得されたユーザ特定情報に係るユーザについて設定されている操作オブジェクトの投影場所情報を取得し、取得された投影場所情報の示す投影場所へ操作オブジェクトを投影撮像装置１０に投影させる。例えば、図４２に示したようなユーザについて当該ユーザの右側が投影場所として設定されている場合、図４２に示したように当該ユーザの右側の壁のうちの所定の領域が操作オブジェクトの投影領域４０として決定される。そして、決定された投影領域４０に操作オブジェクトが投影される。
【０２６８】
また、操作オブジェクトは、操作主体の属性が特定される情報に応じた場所へ表示されてもよい。具体的には、投影制御部１０３は、操作オブジェクトの表示指示操作が認識されると、ユーザ属性情報に基づいて操作オブジェクトの表示場所を決定する。より具体的には、投影制御部１０３は、操作オブジェクトの表示指示操作が認識された際に取得されるユーザ属性情報に係る属性のうちの利き手情報を取得し、取得された利き手情報の示す利き手側へ操作オブジェクトを投影撮像装置１０に投影させる。例えば、図４２に示したようなユーザの利き手が右手である場合、図４２に示したように当該ユーザの右側の壁のうちの所定の領域が操作オブジェクトの投影領域４０として決定される。そして、決定された投影領域４０に操作オブジェクトが投影される。
【０２６９】
このように、本実施形態の第９の変形例によれば、操作オブジェクトは、操作主体が特定される情報に応じた場所へ表示される。このため、操作オブジェクトをユーザ個人に適した場所に表示することができる。従って、個々のユーザの操作性またはユーザビリティをより向上させることが可能となる。
【０２７０】
また、操作オブジェクトは、操作主体の属性が特定される情報に応じた場所へ表示される。このため、ユーザの特性に応じた場所に操作オブジェクトを表示することにより、一律に表示場所が決定される場合と比べて操作性またはユーザビリティを向上させることができる。また、ユーザ個人が特定される情報なしで操作オブジェクトの表示場所が制御されることにより、情報の安全性が低下するおそれを抑制することができる。
【０２７１】
（第１０の変形例）
本実施形態の第１０の変形例として、操作オブジェクトは、間接的に操作されてもよい。具体的には、操作オブジェクトは、ユーザの身体の部位への操作に基づいて操作されてよい。より具体的には、認識部１０１は、操作オブジェクトが表示されている間、ユーザの身体の部位への操作を認識する。そして、投影制御部１０３は、認識された身体の部位への操作に応じて操作オブジェクトの操作を把握し、把握される操作に応じて操作オブジェクトの表示を更新する。また、機器制御部１０４は、当該把握される操作に応じて被操作機器を制御する。さらに、図４３を参照して、本変形例について詳細に説明する。図４３は、本実施形態の第１０の変形例に係る情報処理システム１における操作オブジェクトの操作の例を示す図である。
【０２７２】
認識部１０１は、操作オブジェクトが表示されている間、ユーザの身体の部位への操作の認識を試みる。例えば、図４３に示したように、操作オブジェクト４９が投影されている間、認識部１０１は、当該操作オブジェクト４９のユーザによる自身の身体の部位への操作の認識を試みる。当該身体の部位への操作としては、一方の手の指を他方の手の指で触れる操作などがある。
【０２７３】
ユーザの身体の部位への操作が認識されると、投影制御部１０３は、認識された操作に応じて、操作オブジェクトの表示を制御する。例えば、左手の親指が右手の指でタッチされる操作が認識されると、操作オブジェクト４９において選択されるコンテンツが変更される。
【０２７４】
また、ユーザの身体の部位への操作が認識されると、機器制御部１０４は、認識された操作に応じて、表示されている操作オブジェクトについての被操作機器を制御する。例えば、左手の中指が右手の指でタッチされる操作が認識されると、操作オブジェクト４９において選択されていたコンテンツの映像が表示装置によって再生される。
【０２７５】
なお、指の各々について操作機能がそれぞれ対応付けられてよい。例えば、親指には電源操作、人差し指にはチャネルアップ、中指にはチャネルダウンが対応付けられてよい。
【０２７６】
このように、本実施形態の第１０の変形例によれば、操作オブジェクトは、ユーザの身体の部位への操作に基づいて操作される。このため、ユーザは操作オブジェクトに触れることなく当該操作オブジェクトを操作することができる。従って、ユーザは移動したり体勢を変えたりすることなく、操作オブジェクトを操作することができ、ユーザビリティを向上させることが可能となる。また、ユーザは直感的に操作オブジェクトを操作することができる。特に、操作先を目視することなく体性感覚で操作が行われる場合、視線が自由になる。この場合、例えばユーザは映像の視聴を継続しながら、操作オブジェクト、言い換えると被操作機器を操作することができる。
【０２７７】
なお、上記では、表示される操作オブジェクトに対する操作がユーザの身体の部位を用いた操作である例を説明したが、操作オブジェクトが表示されず、ユーザの身体の部位を用いた操作により被操作機器が直接的に操作されてもよい。
【０２７８】
＜５．本開示の第３の実施形態（操作オブジェクトの移動）＞
以上、本開示の第２の実施形態について説明した。次に、本開示の第３の実施形態について説明する。本開示の第３の実施形態では、情報処理システム１における上述した操作オブジェクト移動機能についての実施形態について主に説明する。
【０２７９】
＜５−１．システムの構成＞
まず、本実施形態に係る情報処理システム１の機能構成について説明する。なお、第２の実施形態と同様に、情報処理装置１００−３についてのみ説明する。また、情報処理装置１００−３の機能のうち第１または第２の実施形態の機能と実質的に同一である機能についても説明を省略する。
【０２８０】
（認識部）
認識部１０１は、操作主体の操作オブジェクトについての所定の操作を認識する。具体的には、認識部１０１は、操作オブジェクトについて握る操作および離す操作を認識する。例えば、認識部１０１は、手に表示された操作オブジェクトを握るような操作および続けて握られた手が開かれる操作の認識を試みる。
【０２８１】
（投影制御部）
投影制御部１０３は、基準制御部として、操作オブジェクトが視認されるように表示される場所の基準（以下、表示場所の基準とも称する。）を操作オブジェクトについての所定の操作に基づいて制御する。具体的には、表示場所の基準としては実空間上の物体があり、投影制御部１０３は、表示されている操作オブジェクトについての所定の操作が認識されると、表示場所の基準となる物体を変更する。そして、変更された表示場所の基準に基づいて操作オブジェクトが表示される。それにより、操作オブジェクトの移動が実現される。さらに、図４４を参照して、操作オブジェクトの移動について詳細に説明する。図４４は、本開示の第３の実施形態に係る情報処理システム１における操作オブジェクトの移動制御の例を示す図である。
【０２８２】
まず、操作オブジェクトについての所定の操作のうちの第１の操作が認識される。例えば、図４４の上図に示したように操作オブジェクト４２Ｄがユーザの手の平に投影されている場合に、図４４の中図に示したようにユーザが操作オブジェクト４２Ｄを握るような第１の操作を行うと、当該第１の操作が認識部１０１により認識される。
【０２８３】
第１の操作が認識されると、投影制御部１０３は、操作オブジェクトの態様を投影撮像装置１０に変更させる。例えば、投影制御部１０３は、上記第１の操作が認識されると、操作オブジェクト４２Ｄの投影を一時的に投影撮像装置１０に停止させる。例えば、図４４の中図に示したように、手が握られた状態が継続している間は操作オブジェクト４２Ｄの投影が停止される。なお、操作オブジェクト４２Ｄの表示が停止される代わりに、操作オブジェクト４２Ｄの表示が縮小されてもよい。この場合、ユーザは操作オブジェクト４２Ｄを見失うことなく、後続の第２の操作を行うことができる。
【０２８４】
次に、操作オブジェクトについての所定の操作のうちの第２の操作が認識される。例えば、図４４の下図に示したようにユーザが握った手を開くような第２の操作、言い換えると握った操作オブジェクト４２Ｄをテーブルに向かって離すような第２の操作を行うと、当該第２の操作が認識部１０１により認識される。
【０２８５】
第２の操作が認識されると、投影制御部１０３は、上記第１の操作により選択された操作オブジェクトについての表示場所の基準を、当該第２の操作に応じた場所に基づいて変更する。具体的には、投影制御部１０３は、握るような第１の操作により選択された操作オブジェクトについて表示場所の基準を、離すような第２の操作の対象の物体に変更する。例えば、離すような第２の操作が認識されると、投影制御部１０３は、握るような第１の操作が行われた操作オブジェクト４２Ｄについての表示場所の基準を、ユーザの手の平から第２の操作の対象であるテーブルに変更する。
【０２８６】
表示場所の基準が変更されると、投影制御部１０３は、変更後の表示場所の基準に基づいて操作オブジェクトを投影撮像装置１０に投影させる。具体的には、投影制御部１０３は、表示場所の基準が変更される際に、操作オブジェクトの態様を制御する。より具体的には、投影制御部１０３は、変更後の表示場所の基準に係る情報に基づいて、変更後の操作オブジェクトの態様を決定する。変更後の表示場所の基準に係る情報としては、当該変更後の表示場所の基準の態様が特定される情報がある。例えば、投影制御部１０３は、表示場所の基準がテーブルに変更されると、当該テーブルの投影可能領域に応じて操作オブジェクト４２Ｄの態様を決定する。詳細には、投影制御部１０３は、投影可能領域の広さに応じて操作オブジェクト４２Ｄの複雑さを決定する。図４４の下図の例では、テーブルにおける投影可能領域が変更前の表示場所の基準である手の平における投影可能領域よりも広いため、操作オブジェクト４２Ｄよりも表示内容および操作機能が拡充された操作オブジェクト４５が投影される。
【０２８７】
また、変更後の表示場所の基準に係る情報としては、当該変更後の表示場所の基準の属性が特定される情報がある。例えば、投影制御部１０３は、表示場所の基準がテーブルに変更されると、当該テーブルの属性に応じて操作オブジェクト４２Ｄの態様を決定する。詳細には、当該テーブルの種類がダイニングテーブルである場合には、操作オブジェクト４２Ｄの表示内容および操作機能が拡充される。
【０２８８】
また、同様に、変更前の表示場所の基準に係る情報に基づいて、変更後の操作オブジェクトの態様が決定されてもよい。
【０２８９】
以上、操作オブジェクトの移動制御について説明した。さらに、投影制御部１０３は、表示場所の基準に操作オブジェクトを追従させてよい。具体的には、投影制御部１０３は、表示場所の基準の移動に応じて操作オブジェクトの表示場所を変更する。図４５を参照して、表示場所の基準に対する操作オブジェクトの追従性について詳細に説明する。図４５は、本実施形態に係る情報処理システム１における表示場所の基準に対する操作オブジェクトの追従性の例を示す図である。
【０２９０】
投影制御部１０３は、上述した第２の操作が認識されると、表示場所の基準を当該第２の操作の対象である物体へ変更する。例えば、図４５の上図に示したようにテーブルに向かって第２の操作が行われたことが認識されると、投影制御部１０３は、表示場所の基準をテーブルに変更する。その結果、操作オブジェクト４５がテーブルに投影される。
【０２９１】
そして、投影制御部１０３は、表示場所の基準となる物体の移動に応じて操作オブジェクトの表示場所を変更する。例えば、投影制御部１０３は、図４５の下図に示したようにテーブルが移動させられると、当該テーブルの移動に応じて操作オブジェクト４５の投影場所を変更する。その結果、操作オブジェクト４５が、図４５の下図に示したようにテーブルの移動と共に移動している、すなわちテーブルの移動に追従しているようにユーザに視認させることができる。
【０２９２】
なお、表示場所の基準となる物体は、人であってもよい。具体的には、投影制御部１０３は、表示場所の基準となる人の移動に応じて操作オブジェクトの表示場所を変更する。図４６を参照して、表示場所の基準が人である場合について詳細に説明する。図４６は、本実施形態に係る情報処理システム１における表示場所の基準が人である場合の操作オブジェクトの追従性の例を示す図である。
【０２９３】
まず、投影制御部１０３は、表示場所の基準となる人の属性または態様に応じた場所へ操作オブジェクトを投影撮像装置１０に投影させる。例えば、表示場所の基準となる人の利き手が左手である場合、図４６の上図に示したように、当該人の利き手で操作しやすい場所へ操作オブジェクト４５が投影される。また、表示場所の基準となる人の身体がテーブルに向いている場合、図４６の上図に示したように、当該人の視界に入ると推定されるテーブルへ操作オブジェクト４５が投影される。
【０２９４】
そして、投影制御部１０３は、表示場所の基準となる人の移動に応じて操作オブジェクトの表示場所を変更する。例えば、投影制御部１０３は、図４６の下図に示したように人が移動すると、当該人の移動に応じて操作オブジェクト４５の投影場所を変更する。その結果、操作オブジェクト４５が、図４６の下図に示したように人の移動と共に移動している、すなわち人の移動に追従しているようにユーザに視認させることができる。
【０２９５】
＜５−２．システムの処理＞
次に、本実施形態に係る情報処理システム１の処理について説明する。
【０２９６】
（全体処理）
まず、図４７を参照して、本実施形態に係る情報処理システム１の全体処理について説明する。図４７は、本実施形態に係る情報処理システム１の全体処理の例を概念的に示すフローチャートである。
【０２９７】
情報処理システム１は、表示場所の基準に基づいて操作オブジェクトを表示する（ステップＳ５０１）。具体的には、投影制御部１０３は、操作オブジェクトの表示指示操作が行われると、初期の表示場所の基準に基づいて操作オブジェクトを投影撮像装置１０に投影させる。
【０２９８】
次に、情報処理システム１は、操作オブジェクトについての操作が認識されたかを判定する（ステップＳ５０２）。具体的には、投影制御部１０３は、認識部１０１により操作オブジェクトについての操作が認識されたかを判定する。
【０２９９】
操作オブジェクトについての操作が認識されたと判定されると、情報処理システム１は、認識された操作が所定の操作であるかを判定する（ステップＳ５０３）。具体的には、投影制御部１０３は、認識部１０１により認識された操作が所定の操作であるかを判定する。なお、所定の操作が複数の操作の組（例えば、上述の第１の操作および第２の操作の組）である場合、投影制御部１０３は、認識された操作が所定の操作のうちの始めに行われる操作（例えば、第１の操作）であるかを判定する。
【０３００】
認識された操作が所定の操作であると判定されると、情報処理システム１は、所定の操作に基づいて操作オブジェクトの表示場所の基準を制御する（ステップＳ５０４）。具体的には、投影制御部１０３は、認識された所定の操作に基づいて操作オブジェクトの表示場所の基準を変更する。なお、詳細については後述する。
【０３０１】
認識された操作が所定の操作でないと判定されると、情報処理システム１は、認識された操作に基づいて被操作機器を制御する（ステップＳ５０５）。具体的には、所定の操作以外の操作が認識されると、機器制御部１０４は、当該操作オブジェクトについての被操作機器を認識された操作に基づいて制御する。
【０３０２】
また、情報処理システム１は、ステップＳ５０２にて操作オブジェクトについての操作が認識されないまま、所定の時間、ユーザと操作オブジェクトとの距離が閾値以上であるかを判定する（ステップＳ５０６）。具体的には、投影制御部１０３は、認識部１０１により認識されるユーザと操作オブジェクトとの距離が閾値以上である期間が所定の時間以上継続しているかを判定する。
【０３０３】
所定の時間、ユーザと操作オブジェクトとの距離が閾値以上であると判定されると、情報処理システム１は、所定の時間、操作オブジェクトから視線が外れているかを判定する（ステップＳ５０７）。具体的には、投影制御部１０３は、ユーザと操作オブジェクトとの距離が閾値以上である期間が所定の時間以上継続していると判定されると、さらに操作オブジェクトからユーザの視線が外れている期間が所定時間以上であるかを判定する。
【０３０４】
所定の時間、操作オブジェクトから視線が外れていると判定されると、情報処理システム１は、操作オブジェクトの表示を終了する（ステップＳ５０８）。具体的には、投影制御部１０３は、操作オブジェクトからユーザの視線が外れている期間が所定時間以上であると判定されると、当該操作オブジェクトの投影を投影撮像装置１０に終了させる。なお、操作オブジェクトの投影終了前にユーザに警告などの通知が行われてもよい。通知は、警告に係る画像の投影または音声の出力などであってよい。
【０３０５】
（表示場所の基準の制御処理）
続いて、図４８を参照して、情報処理システム１における表示場所の基準の制御処理について説明する。図４８は、本実施形態に係る情報処理システム１における表示場所の基準の制御処理の例を概念的に示すフローチャートである。
【０３０６】
情報処理システム１は、所定の操作に基づいて操作オブジェクトの表示場所の基準を決定する（ステップＳ５１１）。具体的には、投影制御部１０３は、認識された所定の操作の対象を表示場所の基準に決定する。例えば、上述の第２の操作が行われた対象が表示場所の基準に決定される。
【０３０７】
次に、情報処理システム１は、表示場所の基準が変更されたかを判定する（ステップＳ５１２）。具体的には、投影制御部１０３は、決定後の表示場所の基準が決定前の表示場所の基準と異なるかを判定する。
【０３０８】
表示場所の基準が変更されたと判定されると、情報処理システム１は、表示場所の基準の変更先の属性情報または態様情報が取得されたかを判定する（ステップＳ５１３）。具体的には、投影制御部１０３は、決定の前後で表示場所の基準が異なる場合、表示先の基準の変更先の属性情報または態様情報が取得されたかを判定する。なお、これらの情報が取得可能であるかが判定されてもよい。
【０３０９】
また、情報処理システム１は、表示場所の基準の変更元の属性情報または態様情報が取得されたかを判定する（ステップＳ５１４）。具体的には、投影制御部１０３は、表示先の基準の変更元の属性情報または態様情報が取得されたかを判定する。なお、これらの情報が取得可能であるかが判定されてもよい。
【０３１０】
表示場所の基準の変更先または変更元の属性情報または態様情報が取得されたと判定されると、情報処理システム１は、取得された属性情報または態様情報に基づいて操作オブジェクトの態様を決定する（ステップＳ５１５）。具体的には、投影制御部１０３は、取得された表示場所の基準の変更先または変更元の属性情報または態様情報に基づいて操作オブジェクトの複雑さを決定する。
【０３１１】
なお、表示場所の基準の変更先および変更元の両方の情報に基づいて操作オブジェクトの態様が決定されてもよい。
【０３１２】
＜５−３．第３の実施形態のまとめ＞
このように、本開示の第３の実施形態によれば、情報処理システム１すなわち情報処理装置１００−３は、被操作機器についての操作オブジェクトの表示を制御し、当該操作オブジェクトが視認されるように表示される場所の基準を被操作機器の操作主体の操作オブジェクトについての所定の操作に基づいて制御する。
【０３１３】
従来では、仮想オブジェクトの投影場所そのものがユーザの所定の動きに応じて移動させられている。そのため、例えば、ユーザの所定の動きが停止すると仮想オブジェクトの移動も停止し、当該仮想オブジェクトの投影場所は当該投影場所に存在する物体の移動などから影響を受けない。しかし、実オブジェクトは、当該実オブジェクトの置かれた物体の移動と共に移動する。このように、従来の仮想オブジェクトは、実オブジェクトと振舞いについて異なるため、仮想オブジェクトに対するユーザの操作がぎこちなくなるおそれがあった。
【０３１４】
これに対し、本実施形態によれば、操作オブジェクトの表示場所の基準が制御されることにより、ユーザの直接的な操作オブジェクトに対する操作だけでなく、間接的な操作またはユーザの行動と無関係な当該表示場所の基準の状況などに応じて操作オブジェクトの表示場所を制御することができる。このため、ユーザは、あたかも実オブジェクトを扱うかのように、操作オブジェクトを配置したり移動させたりすることができる。従って、実オブジェクトを移動させる感覚で操作オブジェクトの表示場所を操作することが可能となる。
【０３１５】
また、上記基準は、実空間上の物体を含み、上記操作オブジェクトの表示される場所は、当該物体の移動に応じて変更される。このため、実空間上の物体間で操作オブジェクトが移動しているようにユーザに視認させることができる。さらに、操作オブジェクトの表示場所が当該物体の移動に追従することにより、どの物体が操作オブジェクトの表示場所の基準となっているか、言い換えると、どの物体と操作オブジェクトとが対応付けられていかをユーザは直感的に理解することができる。従って、ユーザは、意図する物体へ操作オブジェクトが移動したかを容易に確認することが可能となる。
【０３１６】
また、上記物体は、上記操作主体を含み、上記操作オブジェクトは、当該操作主体の属性または態様に応じた場所に視認されるように表示される。このため、ユーザは操作オブジェクトをユーザの持ち物のように扱うことができる。従って、ユーザビリティを向上させることが可能となる。さらに、操作オブジェクトをユーザの操作に適した場所に追従して表示することができる。従って、操作オブジェクトを移動させながら、操作性を維持することが可能となる。
【０３１７】
また、情報処理装置１００−３は、上記基準が制御される際に、上記操作オブジェクトの態様を制御する。表示場所の基準の変更すなわち操作オブジェクトの移動前後で操作オブジェクトの表示環境または表示条件が変化する可能性がある。そこで、表示場所の基準が制御される際に操作オブジェクトの態様を制御することにより、変更後の表示場所の基準に適した態様の操作オブジェクトを表示させることができる。
【０３１８】
また、上記操作オブジェクトの態様は、制御後の上記基準に係る情報に基づいて制御される。このため、操作オブジェクトの移動先に応じて態様が変更されることにより、変更後の態様が移動先に適する可能性を高めることができる。
【０３１９】
また、制御後の上記基準に係る情報は、制御後の上記基準の属性または態様が特定される情報を含む。このため、移動先の性質に応じた態様で操作オブジェクトが表示されることにより、変更後の態様が移動先に適する可能性をより確実に高めることができる。また、移動先の変化し得る状況に応じた態様で操作オブジェクトが表示されることにより、移動先の状況の変化によらず、変更後の態様が移動先に適する可能性をより確実に高めることができる。
【０３２０】
また、上記操作オブジェクトの態様は、当該操作オブジェクトの複雑さを含む。このため、操作オブジェクトの移動に応じて表示または操作の複雑さが制御されることにより、操作オブジェクトの視認性または操作性の維持または向上が可能となる。
【０３２１】
また、上記所定の操作は、上記操作オブジェクトについての第１の操作および第２の操作の組を含み、情報処理装置１００−３は、当該第１の操作により選択された操作オブジェクトについての基準を、当該第２の操作に応じた場所に基づいて変更する。このため、移動対象の操作オブジェクトが明示的に選択されることにより、ユーザは所望の操作オブジェクトのみを移動させることができる。従って、ユーザが意図しない操作オブジェクトが移動させられずに済み、操作オブジェクトの移動操作の操作性を向上させることが可能となる。また、第１および第２の操作の一連の操作により操作オブジェクトが移動させられることにより、ユーザは操作オブジェクトの移動操作を円滑に行うことができる。従って、操作オブジェクトの移動操作に対する煩雑さを抑制することが可能となる。
【０３２２】
＜５−４．変形例＞
以上、本開示の第３の実施形態について説明した。なお、本実施形態は、上述の例に限定されない。以下に、本実施形態の第１〜第６の変形例について説明する。
【０３２３】
（第１の変形例）
本実施形態の第１の変形例として、所定の操作は、他の操作であってもよい。具体的には、所定の操作は、表示場所の基準の対象同士の接触を含む。例えば、投影制御部１０３は、認識部１０１により表示場所の基準となっている物体が他の物体と接触したことが認識されると、表示場所の基準を当該他の物体に変更する。さらに、図４９を参照して、本変形例について詳細に説明する。図４９は、本実施形態の第１の変形例に係る情報処理システム１における所定の操作の例を示す図である。
【０３２４】
投影制御部１０３は、操作オブジェクトを表示場所の基準となる物体に投影撮像装置１０に投影させる。例えば、表示場所の基準がユーザＵ１１または当該ユーザＵ１１の手もしくは手の平である操作オブジェクト４２Ｄが、図４９の上図に示したように当該ユーザＵ１１の手の平に投影される。
【０３２５】
次に、投影制御部１０３は、表示場所の基準となる物体が他の物体と接触したことが認識されると、表示場所の基準を当該他の物体へ変更する。例えば、図４９の中図に示したように手に操作オブジェクト４２Ｄが投影されているユーザＵ１１が当該手で他のユーザＵ１２と握手をしたことが認識されると、投影制御部１０３は、当該他のユーザＵ１２または当該他のユーザＵ１２の手もしくは手の平を操作オブジェクト４２Ｄの表示場所の基準に変更する。
【０３２６】
そして、投影制御部１０３は、変更後の表示場所の基準に基づいて操作オブジェクトを投影撮像装置１０に投影させる。例えば、図４９の下図に示したように、変更後の表示場所の基準である上記他のユーザＵ１２の手の平に操作オブジェクト４２Ｄが投影される。なお、変更前の表示場所の基準である上記ユーザＵ１１については操作オブジェクト４２Ｄが投影されなくなる。これにより、ユーザの握手により、操作オブジェクトが移動したようにユーザに視認させることができる。
【０３２７】
以上、表示場所の基準の対象同士の接触により表示場所の基準が変更される例について説明した。しかし、所定の操作は、別の操作であってもよい。具体的には、所定の操作は、操作オブジェクトを回転させる操作であってよい。例えば、投影制御部１０３は、認識部１０１により操作オブジェクトを回転させる操作が認識されると、表示場所の基準を回転先の物体に変更する。さらに、図５０を参照して、本変形例の別形態について詳細に説明する。図５０は、本実施形態の第１の変形例に係る情報処理システム１における所定の操作の別の例を示す図である。
【０３２８】
投影制御部１０３は、操作オブジェクトを表示場所の基準に基づいて投影撮像装置１０に投影させる。例えば、表示場所の基準がユーザＵ１３である操作オブジェクト４５が、図５０の上図に示したようにテーブルにユーザＵ１３と正対するように投影される。
【０３２９】
次に、投影制御部１０３は、操作オブジェクトを回転させる操作が認識されると、表示場所の基準を回転に係る方向に存在するユーザへ表示場所の基準を変更する。例えば、図５０の上図に示したように、ユーザＵ１３により操作オブジェクト４５をユーザＵ１４の方向に向くように回転させる操作が認識されると、投影制御部１０３は、操作オブジェクト４５の表示場所の基準をユーザＵ１３からユーザＵ１４へ変更する。
【０３３０】
そして、投影制御部１０３は、変更後の表示場所の基準に基づいて操作オブジェクトを投影撮像装置１０に投影させる。例えば、図５０の下図に示したように、操作オブジェクト４５は、ユーザＵ１４と正対するように回転させられる。これにより、ユーザの回転操作により、操作オブジェクトの所有者が変更されたようにユーザに視認させることができる。
【０３３１】
以上、操作オブジェクトの回転操作により表示場所の基準が変更される例について説明した。しかし、所定の操作は、別の操作であってもよい。具体的には、所定の操作は、操作オブジェクトを表示場所の基準の変更先へ弾く操作であってよい。例えば、投影制御部１０３は、認識部１０１により操作オブジェクトを弾く操作が認識されると、弾く操作から推定される物体へ表示場所の基準を変更する。さらに、図５１〜図５３を参照して、本変形例の別形態について説明する。図５１〜図５３は、本実施形態の第１の変形例に係る情報処理システム１における所定の操作のまた別の例を示す図である。
【０３３２】
まず、図５１を参照して、操作オブジェクトを弾く操作に基づく表示場所の基準の制御のうちの第１の例について説明する。
【０３３３】
投影制御部１０３は、操作オブジェクトを表示場所の基準に基づいて投影撮像装置１０に投影させる。例えば、表示場所の基準がユーザＵ１５である操作オブジェクト４５が、図５１に示したようにユーザＵ１５の手が届く範囲に投影される。
【０３３４】
次に、投影制御部１０３は、操作オブジェクトを弾く操作が認識されると、当該操作の量に基づいて、弾かれる方向に存在する物体へ表示場所の基準を変更する。例えば、図５１に示したように、ユーザＵ１５により操作オブジェクト４５が操作前の投影場所を基準とした所定の範囲を超える程度に移動させられると、投影制御部１０３は、操作オブジェクト４５が弾かれた方向を推定する。そして、投影制御部１０３は、推定される方向に存在するユーザＵ１６へ表示場所の基準を変更する。なお、上記所定の範囲内で操作オブジェクト４５が移動させられる場合には、表示場所の基準は変更されない。
【０３３５】
そして、投影制御部１０３は、変更後の表示場所の基準に基づいて操作オブジェクトを投影撮像装置１０に投影させる。例えば、操作オブジェクト４５は、変更後の表示場所の基準であるユーザＵ１６の手の届く範囲に到達するまで、弾かれた方向へ移動するように投影される。なお、操作オブジェクト４５が移動するように投影される代わりに、操作オブジェクト４５が一時的に消された後ユーザＵ１６のそばに投影されるとしてもよい。
【０３３６】
続いて、図５２を参照して、操作オブジェクトを弾く操作に基づく表示場所の基準の制御のうちの第２の例について説明する。
【０３３７】
投影制御部１０３は、操作オブジェクトを表示場所の基準に基づいて投影撮像装置１０に投影させる。例えば、表示場所の基準がユーザＵ１７である操作オブジェクト４５が、図５２の上図および下図に示したようにユーザＵ１７の手が届く範囲に投影される。
【０３３８】
次に、投影制御部１０３は、操作オブジェクトを弾く操作が認識されると、当該操作を行う操作体の態様に基づいて、弾かれる方向に存在する物体へ表示場所の基準を変更する。例えば、ユーザＵ１７により図５２の上図に示したような指１本で操作オブジェクト４５を弾く操作が認識されると、当該操作に応じて操作オブジェクト４５の投影場所が移動させられる。この場合、表示場所の基準は変更されない。これに対し、ユーザＵ１７により図５２の下図に示したような指５本で操作オブジェクト４５を弾く操作が認識されると、投影制御部１０３は、当該操作により操作オブジェクト４５が弾かれた方向を推定する。そして、投影制御部１０３は、推定される方向に存在するユーザＵ１８へ表示場所の基準を変更する。
【０３３９】
そして、投影制御部１０３は、変更後の表示場所の基準に基づいて操作オブジェクトを投影撮像装置１０に投影させる。詳細については図５１の例と実質的に同一であるため説明を省略する。
【０３４０】
続いて、図５３を参照して、操作オブジェクトを弾く操作に基づく表示場所の基準の制御のうちの第３の例について説明する。
【０３４１】
投影制御部１０３は、操作オブジェクトを表示場所の基準に基づいて投影撮像装置１０に投影させる。例えば、表示場所の基準がユーザＵ１９である操作オブジェクト４５が、図５３の上図および下図に示したようにユーザＵ１９の手が届く範囲に投影される。
【０３４２】
次に、投影制御部１０３は、操作オブジェクトを弾く操作が認識されると、当該操作の際に触れられた操作オブジェクトの部分に基づいて、弾かれる方向に存在する物体へ表示場所の基準を変更する。例えば、ユーザＵ１９により図５３の上図に示したような操作オブジェクト４５の情報表示部分が触れられた状態で弾く操作が認識されると、当該操作に応じて操作オブジェクト４５の投影場所が移動させられる。この場合、表示場所の基準は変更されない。これに対し、ユーザＵ１９により図５３の下図に示したような操作オブジェクト４５の上端部分が触れられた状態で弾く操作が認識されると、投影制御部１０３は、当該操作により操作オブジェクト４５が弾かれた方向を推定する。そして、投影制御部１０３は、推定される方向に存在するユーザＵ２０へ表示場所の基準を変更する。
【０３４３】
そして、投影制御部１０３は、変更後の表示場所の基準に基づいて操作オブジェクトを投影撮像装置１０に投影させる。詳細については図５１の例と実質的に同一であるため説明を省略する。
【０３４４】
このように、本実施形態の第１の変形例によれば、所定の操作は、表示場所の基準の対象同士の接触を含む。このため、物体間を操作オブジェクトが移動したようにユーザに視認させることができる。従って、ユーザは操作オブジェクトの受け渡しを直感的に行うことが可能となる。
【０３４５】
また、所定の操作は、操作オブジェクトを回転させる操作を含む。このため、ユーザは、操作オブジェクトの向きを変えることで操作オブジェクトの操作者を変えることができる。従って、ユーザは手軽に操作オブジェクトの操作者を変更することが可能となる。
【０３４６】
また、所定の操作は、操作オブジェクトを表示場所の基準の変更先へ弾く操作を含む。このため、操作オブジェクトの移動先が近くにいない場合であっても、ユーザは操作オブジェクトの操作者を所望のユーザへ変更することができる。従って、所定の操作にかかるユーザの負担を軽減することが可能となる。
【０３４７】
（第２の変形例）
本実施形態の第２の変形例として、表示場所の基準は、実空間上の位置であってもよい。具体的には、投影制御部１０３は、表示場所の基準となる実空間上の位置に基づいて操作オブジェクトを投影撮像装置１０に投影させる。さらに、投影制御部１０３は、所定の操作が行われる際の操作主体の態様に応じて表示場所の基準の種類を制御してもよい。図５４を参照して、本変形例について詳細に説明する。図５４は、本実施形態の第２の変形例に係る情報処理システム１における表示場所の基準の変更例を示す図である。
【０３４８】
認識部１０１は、所定の操作が認識されると、当該所定の操作を行っている操作主体の態様を認識する。例えば、認識部１０１は、図５４の上図に示したようなテーブルへ向かって左手を開く操作（上述の第２の操作）が認識されると、当該操作を行っているユーザが左手首を右手で握っていることを認識する。
【０３４９】
投影制御部１０３は、所定の操作中の操作主体の態様に応じて、表示場所の基準の種類を選択する。具体的には、投影制御部１０３は、認識部１０１により認識された所定の操作中のユーザの態様に応じて、表示場所の基準の種類を物、人および位置などの中から選択する。例えば、投影制御部１０３は、所定の操作を行っているユーザが操作を行っている手の手首を他方の手で握っていることが認識されると、表示場所の基準の対象として実空間上の位置を選択する。
【０３５０】
そして、投影制御部１０３は、変更後の表示場所の基準に基づいて操作オブジェクトを投影撮像装置１０に投影させる。例えば、変更後の表示場所の基準である位置に配置されているテーブルに操作オブジェクト４５が投影される。なお、表示場所の基準はテーブルではなく当該テーブルが配置されている位置であるため、例えば図５４の下図に示したようにテーブルが移動させられても、操作オブジェクト４５の表示場所は移動せず、操作オブジェクト４５は床に投影される。
【０３５１】
このように、本実施形態の第２の変形例によれば、表示場所の基準は、実空間上の位置を含み、操作オブジェクトの表示場所は当該実空間上の位置に基づいて表示される。このため、操作オブジェクトが投影される場所に物体が配置されていたとしても、当該物体の移動に関わらず同じ位置への操作オブジェクトの投影を継続することができる。従って、操作オブジェクトがユーザの意図に反して移動してしまうことを抑制することが可能となる。
【０３５２】
また、情報処理装置１００−３は、所定の操作が行われる際の操作主体の態様に応じて表示場所の基準の種類を制御する。このため、ユーザは表示場所の基準の変更先の種類、すなわち操作オブジェクトの紐付け先を指定することができる。従って、ユーザは自身の意図通りに操作オブジェクトを扱うことができ、ユーザビリティを向上させることが可能となる。
【０３５３】
（第３の変形例）
本実施形態の第３の変形例として、操作オブジェクトの態様は、表示場所の基準が制御される際に、当該操作オブジェクトについての操作の客体に係る情報に基づいて制御されてもよい。具体的には、操作オブジェクトの態様は、当該操作オブジェクトの状態に係る情報（以下、状態情報とも称する。）に基づいて制御されてよい。例えば、投影制御部１０３は、操作オブジェクトの表示場所の基準が変更された際に、当該操作オブジェクトの表示内容が初期状態における表示内容と異なる場合、操作オブジェクトの表示内容を初期状態の表示内容に戻す旨を決定する。
【０３５４】
また、操作オブジェクトの態様は、当該操作オブジェクトを介して操作される対象に係る情報（以下、操作対象情報とも称する。）に基づいて制御されてもよい。例えば、投影制御部１０３は、操作オブジェクトの表示場所の基準が変更された際に、当該操作オブジェクトにより操作される被操作機器の再生するコンテンツの種類に応じて操作オブジェクトの表示内容を決定する。
【０３５５】
さらに、図５５を参照して、本変形例の処理について詳細に説明する。図５５は、本実施形態の第３の変形例に係る情報処理システム１における表示場所の基準の制御処理の例を概念的に示すフローチャートである。なお、上述した処理と実質的に同一の処理については説明を省略する。
【０３５６】
情報処理システム１は、所定の操作に基づいて操作オブジェクトの表示場所の基準を決定し（ステップＳ５２１）、表示場所の基準が変更されたかを判定する（ステップＳ５２２）。
【０３５７】
表示場所の基準が変更されたと判定されると、情報処理システム１は、操作オブジェクトの状態情報が取得されたかを判定し（ステップＳ５２３）、操作オブジェクトの態様を当該状態情報に基づいて決定する（ステップＳ５２４）。具体的には、投影制御部１０３は、操作オブジェクトの複雑さが特定される情報が取得されると、当該情報に基づいて操作オブジェクトの表示内容または操作機能の複雑さが初期状態の複雑さと異なるかを判定する。当該複雑さが初期状態と異なると判定されると、投影制御部１０３は、操作オブジェクトの複雑さを初期状態の複雑さへ戻す旨を決定する。
【０３５８】
また、情報処理システム１は、操作オブジェクトの操作対象情報が取得されたかを判定し（ステップＳ５２５）、操作オブジェクトの態様を当該操作対象情報に基づいて決定する（ステップＳ５２６）。具体的には、投影制御部１０３は、操作オブジェクトにより操作される被操作機器または被操作機器の扱うコンテンツが特定される情報が取得されると、当該情報から特定された被操作機器またはコンテンツの種類を判定する。そして、投影制御部１０３は、被操作機器またはコンテンツの種類に応じて操作オブジェクトの態様を決定する。
【０３５９】
このように、本実施形態の第３の変形例によれば、操作オブジェクトの態様は、当該操作オブジェクトについての操作の客体に係る情報に基づいて制御される。例えば、表示場所の基準の変更が操作者の変更に相当する場合、そのまま操作オブジェクトが変更後の操作者へ移動されると、変更前の操作者の操作内容が変更後の操作者に知られてしまうことがある。特に、大人向けのコンテンツが操作オブジェクトを介して操作されていた場合、当該操作オブジェクトをそのままの態様で子供に移動させることは好ましくない。これに対し、本変形例によれば、操作オブジェクトが移動させられる際に、操作オブジェクトの態様または操作オブジェクトにより操作されていたコンテンツなどに応じて、操作オブジェクトの態様を変更させることができる。これにより、移動先の操作者に操作内容を知られることを抑制することが可能となる。
【０３６０】
（第４の変形例）
本実施形態の第４の変形例として、表示場所の基準の変更先がユーザに明示されてもよい。具体的には、投影制御部１０３は、表示場所の基準の変更先が特定される表示オブジェクトの表示を制御する。例えば、投影制御部１０３は、表示場所の基準の変更先の候補となる物体を推定し、推定される物体がユーザに把握される表示オブジェクトを投影撮像装置１０に投影させる。さらに、図５６を参照して、本変形例について詳細に説明する。図５６は、本実施形態の第４の変形例に係る情報処理システム１における操作オブジェクトの表示場所の基準の変更先が明示される例を示す図である。
【０３６１】
投影制御部１０３は、操作オブジェクトを表示場所の基準に基づいて投影撮像装置１０に投影させる。例えば、表示場所の基準がユーザＵ２１である操作オブジェクト４５が、図５６に示したようにユーザＵ２１の手が届く範囲に投影される。
【０３６２】
次に、投影制御部１０３は、操作オブジェクトの表示場所の基準の変更操作の開始が認識されると、表示場所の基準の変更先の候補となる物体を推定する。例えば、操作オブジェクト４５を指で触れる操作が認識されると、投影制御部１０３は、当該操作オブジェクトの周辺に存在する表示場所の基準となり得る物体をサーチする。その結果、ユーザＵ２２およびＵ２３が発見され、ユーザＵ２２およびＵ２３が表示場所の基準の変更先の候補として推定される。
【０３６３】
次に、投影制御部１０３は、推定される変更先の候補が明示される表示オブジェクトを投影撮像装置１０に投影させる。例えば、図５６に示したように、操作オブジェクト４５から表示場所の基準の変更先の候補として推定されたユーザＵ２２およびＵ２３へ向かう矢印のような表示オブジェクト５４Ａおよび５４Ｂがそれぞれ投影される。
【０３６４】
そして、投影制御部１０３は、操作オブジェクトの表示場所の基準の変更操作に応じて、表示場所の基準を変更する。その結果、操作オブジェクトが移動させられたようにユーザに視認される。
【０３６５】
このように、本実施形態の第４の変形例によれば、情報処理装置１００−３は、表示場所の基準の変更先が特定される表示オブジェクトの表示を制御する。このため、ユーザは操作オブジェクトを移動させることができる物体を事前に把握することができる。従って、意図する物体への操作オブジェクトの移動が失敗するおそれを抑制することが可能となる。また、矢印のような操作方向を誘導する表示オブジェクトが表示されることにより、ユーザが操作を失敗するおそれを低下させることができる。
【０３６６】
（第５の変形例）
本実施形態の第５の変形例として、複数の操作オブジェクトは、マージされてもよい。具体的には、投影制御部１０３は、表示場所の基準の変更先について別の操作オブジェクトが存在する場合、表示場所の基準が変更される操作オブジェクトと表示場所の基準の変更先の当該別の操作オブジェクトとをマージさせる。例えば、表示場所の基準が変更される操作オブジェクト（以下、変更元の操作オブジェクトとも称する。）と表示場所の変更先の操作オブジェクト（以下、変更先の操作オブジェクトとも称する。）とが合体されてもよい。さらに、図５７を参照して、本変形例について詳細に説明する。図５７は、本実施形態の第５の変形例に係る情報処理システム１における操作オブジェクトのマージの例を示す図である。
【０３６７】
投影制御部１０３は、操作オブジェクトを表示場所の基準に基づいて投影撮像装置１０に投影させる。例えば、表示場所の基準がユーザＵ２４である操作オブジェクト４５が、図５７の上図に示したようにユーザＵ２４の手が届く範囲に投影される。また、表示場所の基準がユーザＵ２５である操作オブジェクト４９が、図５７の上図に示したようにユーザＵ２５の手が届く範囲に投影される。
【０３６８】
次に、投影制御部１０３は、操作オブジェクトの表示場所の基準の変更操作が認識されると、表示場所の基準を当該変更操作の変更先の物体へ変更する。そして、操作オブジェクトが当該変更先の物体へと移動するように投影される。例えば、図５７の上図に示したようなユーザＵ２４による操作オブジェクト４５をユーザＵ２５に向かって移動させる操作が認識されると、投影制御部１０３は、当該操作オブジェクト４５の表示場所の基準をユーザＵ２５へ変更する。そして、操作オブジェクト４５がユーザＵ２５に向かって移動するように投影される。
【０３６９】
そして、投影制御部１０３は、操作オブジェクトが表示場所の基準の変更先についての操作オブジェクトに達すると、操作オブジェクトを合体させる。そして、合体により得られる操作オブジェクトが投影される。例えば、操作オブジェクト４５がユーザＵ２５についての操作オブジェクト４９まで移動すると、投影制御部１０３は、操作オブジェクト４５の一部と操作オブジェクト４９の一部とを合体させる。そして、図５７の下図に示したように、合体により得られた操作オブジェクト５５がユーザＵ２５について投影される。
【０３７０】
なお、操作オブジェクトのマージは、変更元の操作オブジェクトと変更先の操作オブジェクトと融合であってもよい。例えば、表示装置についての操作オブジェクトと時計装置についての操作オブジェクトとの融合により、ハードディスクレコーダなどの録画装置についての録画予約に係る操作オブジェクトが表示されてもよい。
【０３７１】
また、１つの操作オブジェクトが、複数の操作オブジェクトに分けられてもよい。例えば、表示されている操作オブジェクトに対するユーザによる分解操作が認識されると、投影制御部１０３は、当該操作オブジェクトに関連する複数の操作オブジェクトを決定する。そして、決定される複数の操作オブジェクトが元の操作オブジェクトの代わりに表示される。
【０３７２】
このように、本実施形態の第５の変形例によれば、情報処理装置１００−３は、表示場所の基準の変更先について別の操作オブジェクトが存在する場合、表示場所の基準が変更される操作オブジェクトと表示場所の基準の変更先の当該別の操作オブジェクトとをマージする。このため、ユーザは直感的に操作オブジェクトを整理することができる。また、操作オブジェクトのマージによりマージされる操作オブジェクトに関連する操作が可能な操作オブジェクトが表示されることにより、ユーザは直感的に表示される操作オブジェクトを所望の操作オブジェクトに変更することができる。従って、ユーザビリティの向上が可能となる。
【０３７３】
（第６の変形例）
本実施形態の第６の変形例として、情報処理装置１００−２は、さらに所定の操作に基づいて操作オブジェクトの属性を制御してもよい。具体的には、投影制御部１０３は、認識部１０１により所定の操作が認識されると、当該所定の操作が行われた操作オブジェクトの属性を所定の操作の対象に応じて制御する。操作オブジェクトの属性としては、例えば操作オブジェクトを操作する操作主体がある。さらに、図４９および図５８を参照して、本変形例について詳細に説明する。図５８は、本実施形態の第６の変形例に係る情報処理システム１における操作オブジェクトの表示制御の例を示す図である。
【０３７４】
投影制御部１０３は、人に対する所定の操作が認識されると、表示場所の基準を変更すると共に、操作オブジェクトの属性を変更する。例えば、図４９を参照して説明したように、ユーザの握手が認識されると、表示場所の基準が握手の相手であるユーザへ変更される。その際、当該操作オブジェクトの属性の１つである操作オブジェクトの所有者も当該握手の相手であるユーザへ変更される。
【０３７５】
次に、投影制御部１０３は、人以外の物体に対する所定の操作が認識されると、表示場所の基準の変更のみを行う。例えば、図５８の上図に示したように、上記握手の相手であるユーザによるテーブルに向けた所定の操作が認識されると、投影制御部１０３は、表示場所の基準をテーブルへ変更する。そして、テーブル上に操作オブジェクト４５が投影される。この場合、操作オブジェクトの所有者は変更されない。なお、操作オブジェクトの他の属性は変更されてもよい。
【０３７６】
次に、投影制御部１０３は、操作オブジェクトの属性に基づいて操作オブジェクトの態様を制御する。具体的には、投影制御部１０３は、操作オブジェクトを操作する操作主体の移動に応じて、表示場所の基準に基づいて操作オブジェクトを移動させる。例えば、図５８の下図に示したように、テーブル上に投影されている操作オブジェクト４５は、操作オブジェクト４５の所有者であるユーザの移動に応じて、テーブル上を移動するように投影される。この例では、あくまで表示場所の基準はテーブルであるため、仮にユーザがテーブルから離れたとしても、操作オブジェクト４５がテーブル外へ投影されることはない。なお、表示場所の基準がユーザである場合には、操作オブジェクトはユーザの移動に応じてテーブル外へ移動する。
【０３７７】
なお、上記では、操作オブジェクトの属性に基づいて操作オブジェクトの表示場所が制御される例を説明したが、操作オブジェクトの複雑さが制御されてもよい。例えば、操作オブジェクトの所有者に応じた表示内容または操作機能の操作オブジェクトが投影されてよい。
【０３７８】
このように、本実施形態の第６の変形例によれば、情報処理装置１００−３は、さらに所定の操作に基づいて操作オブジェクトの属性を制御する。このため、表示場所の基準だけでなく操作オブジェクトの属性も所定の操作に基づいて制御されることにより、操作オブジェクトの投影についてより細かに制御することができる。従って、多様なユーザニーズに対応することが可能となる。
【０３７９】
また、上記操作オブジェクトの属性は、当該操作オブジェクトを操作する操作主体を含む。このため、操作オブジェクトのユーザに応じて操作オブジェクトの投影についてより細かな制御をすることができる。従って、個々のユーザに応じた操作オブジェクトの投影が可能となる。
【０３８０】
また、情報処理装置１００−３は、上記操作オブジェクトの属性に基づいて当該操作オブジェクトの態様を制御する。このため、操作オブジェクトの属性に応じた態様で操作オブジェクトが表示されることにより、操作オブジェクトの視認性または操作性を適正化することができる。特に、操作オブジェクトの属性がユーザである場合、個々のユーザに適した態様の操作オブジェクトが投影されるため、ユーザビリティをより高めることが可能となる。
【０３８１】
（第７の変形例）
本実施形態の第７の変形例として、操作オブジェクトは、複製されてもよい。具体的には、投影制御部１０３は、所定の操作に基づいて操作オブジェクトを複製する。例えば、投影制御部１０３は、所定の操作が認識されると、当該所定の操作に係る操作オブジェクトの複製により得られる新たな操作オブジェクトを投影撮像装置１０に投影させる。図５９を参照して、本変形例について詳細に説明する。図５９は、本実施形態の第７の変形例に係る情報処理システム１における操作オブジェクトの表示制御の例を示す図である。
【０３８２】
投影制御部１０３は、被操作機器についての操作オブジェクトを表示場所の基準に基づいて投影撮像装置１０に投影させる。例えば、図５９の左図に示したようなスマートフォン７０についての操作オブジェクト５６がユーザＵ２６の手の届くテーブル上に投影される。操作オブジェクト５６は、例えば音楽ファイルリストであってよい。さらに、操作オブジェクト５６に対するユーザＵ２６の選択操作により、図５９の中左図に示したように別の操作オブジェクト５７Ａが新たに投影される。操作オブジェクト５７Ａは、例えば音楽ファイルであってよい。
【０３８３】
次に、投影制御部１０３は、投影されている操作オブジェクトについての複製操作が認識されると、投影されている操作オブジェクトに基づく新たな操作オブジェクトを投影撮像装置１０に投影させる。例えば、投影制御部１０３は、図５９の中右図に示したような操作オブジェクト５７Ａを２つに分割するような操作が認識されると、操作オブジェクト５７Ａと実質的に同一の操作オブジェクト５７Ｂを投影撮像装置１０に投影させる。
【０３８４】
さらに、複製により得られる新たな操作オブジェクトについての表示場所の基準が所定の操作に基づいて制御されてよい。例えば、図５９の右図に示したように、複製により得られた操作オブジェクト５７ＢをユーザＵ２６が他のユーザＵ２７に手渡す操作が認識されると、投影制御部１０３は、操作オブジェクト５７Ｂの表示場所の基準をユーザＵ２７へ変更する。
【０３８５】
なお、操作オブジェクトは、通信を介して移動されてもよい。例えば、投影制御部１０３は、操作オブジェクトの表示場所の基準が別の建物に存在する物体へ変更された場合、操作オブジェクトに係る情報が通信を介して当該別の建物の投影装置により投影されてよい。さらに、表示場所の基準の変更先が仮想物体であってもよい。例えば、図５９の右図に示したようなユーザＵ２７はユーザＵ２６の存在する建物と別の建物に存在し、ユーザＵ２７に相当する映像が投影されてよい。そして、ユーザＵ２６から当該映像として投影されるユーザＵ２７へ操作オブジェクト５７Ｂを手渡す操作が認識されると、通信を介して実物体としてのユーザＵ２７について操作オブジェクト５７Ｂが投影される。
【０３８６】
以上、操作オブジェクトが複製される例について説明した。さらに、複製に係る操作オブジェクトの同期性が制御されてもよい。具体的には、投影制御部１０３は、所定の操作における操作主体の態様に基づいて、複製された操作オブジェクトと複製元の操作オブジェクトとの同期性を制御する。図６０を参照して、複製に係る操作オブジェクトの同期性の制御について詳細に説明する。図６０は、本実施形態の第７の変形例に係る情報処理システム１における複製に係る操作オブジェクトの表示制御の例を示す図である。
【０３８７】
投影制御部１０３は、操作オブジェクトを表示場所の基準に基づいて投影撮像装置１０に投影させる。例えば、図６０の上図および下図に示したように、操作オブジェクト４５ＡがユーザＵ２８の手の届く範囲に投影される。
【０３８８】
次に、認識部１０１は、投影されている操作オブジェクトについての複製操作が認識されると、当該複製操作の態様を認識する。例えば、図６０の上図および下図に示したように、ユーザＵ２８による操作オブジェクト４５Ａを弾く操作が認識されると、当該操作を行うユーザＵ２８の指の数が認識される。図６０の上図では１本の指が認識され、図６０の下図では２本の指が認識される。
【０３８９】
投影制御部１０３は、複製操作の態様に基づいて、複製される操作オブジェクトと複製元の操作オブジェクトとの同期有無を決定する。例えば、投影制御部１０３は、認識された複製操作における指の数に応じて同期有無を決定する。１本の指が認識される図６０の上図の場合では、複製に係る操作オブジェクトの非同期が決定され、２本の指が認識される図６０の下図の場合では、複製に係る操作オブジェクトの同期が決定される。同期内容としては、操作オブジェクトの複雑さ、例えば表示内容または操作機能の同期がある。
【０３９０】
そして、投影制御部１０３は、複製された操作オブジェクトを投影撮像装置１０に投影させ、同期有無に応じて操作オブジェクトに係る制御が行われる。例えば、図６０の上図に示したように、操作オブジェクト４５Ａと実質的に同一の操作オブジェクト４５ＢがユーザＵ２９を表示場所の基準として投影される。操作オブジェクト４５Ａおよび４５Ｂは同期していないため、それぞれ独立して操作される。他方で、図６０の下図に示したように、操作オブジェクト４５Ａの一部と実質的に同一の操作オブジェクト５８がユーザＵ２９を表示場所の基準として投影される。操作オブジェクト４５Ａおよび５８は同期しているため、例えば操作オブジェクト４５Ａの表示が変化すると、操作オブジェクト５８の表示も変化する。なお、操作オブジェクトの複製は、図６０の下図に示したように、複製元の操作オブジェクトの一部のみの複製であってもよい。
【０３９１】
なお、上記では、複製に係る操作オブジェクトの同期有無が制御される例を説明したが、他の形態の同期性が制御されてもよい。例えば、複製に係る操作オブジェクトの同期部分が制御されてもよい。詳細には、操作オブジェクトの同期される部分または当該部分が操作オブジェクトの一部であるか全部かなどが制御されてよい。また、例えば、同期または非同期が有効となる時間が設定されてもよい。
【０３９２】
また、複製に係る操作オブジェクトの管理ユーザが設定されてもよい。例えば、管理ユーザについての操作オブジェクトに管理ユーザを示す表示オブジェクトが合わせて表示されてよい。
【０３９３】
このように、本実施形態の第７の変形例によれば、操作オブジェクトは、上記所定の操作に基づいて複製される。このため、複数人で同一の被操作機器を制御することができる。従って、操作を所望するユーザに操作オブジェクトを移動させずに済み、ユーザビリティの向上が可能となる。
【０３９４】
また、上記所定の操作における操作主体の態様に基づいて、複製された操作オブジェクトと複製元の操作オブジェクトとの同期性が制御される。このため、ユーザは状況に応じて操作オブジェクトの同期性を選択することができる。例えば、テレビジョン番組表のような操作オブジェクトについては、どの番組が選択されているかなどの情報がユーザ全員で共有していることが望ましいため、操作オブジェクトが同期させられると考えられる。他方で、ビデオゲームのコントローラのような操作オブジェクトについては、個々のユーザで異なる操作を行うことが考えられるため、操作オブジェクトが同期させられないと考えらえる。このように、状況に応じて同期性が選択可能にされることにより、ユーザビリティを向上させることが可能となる。
【０３９５】
＜６．本開示の一実施形態に係るハードウェア構成＞
以上、本開示の各実施形態に係る情報処理装置１００について説明した。上述した情報処理装置１００の処理は、ソフトウェアと、以下に説明する情報処理装置１００のハードウェアとの協働により実現される。
【０３９６】
図６１は、本開示の一実施形態に係る情報処理装置１００のハードウェア構成を示した説明図である。図６１に示したように、情報処理装置１００は、プロセッサ１３１、メモリ１３２、ブリッジ１３３、バス１３４、インタフェース１３５、入力装置１３６、出力装置１３７、ストレージ装置１３８、ドライブ１３９、接続ポート１４０および通信装置１４１を備える。
【０３９７】
（プロセッサ）
プロセッサ１３１は、演算処理装置として機能し、各種プログラムと協働して情報処理装置１００内の認識部１０１、機器選択部１０２、投影制御部１０３および機器制御部１０４の機能を実現する。プロセッサ１３１は、制御回路を用いてメモリ１３２または他の記憶媒体に記憶されるプログラムを実行することにより、情報処理装置１００の様々な論理的機能を動作させる。例えば、プロセッサ１３１は、ＣＰＵ（Central  Processing  Unit）、ＧＰＵ（Graphics  Processing  Unit）、ＤＳＰ（Digital  Signal  Processor）またはＳｏＣ（System-on-a-Chip）であり得る。
【０３９８】
（メモリ）
メモリ１３２は、プロセッサ１３１が使用するプログラムまたは演算パラメタなどを記憶する。例えば、メモリ１３２は、ＲＡＭ（Random  Access  Memory）を含み、プロセッサ１３１の実行において使用するプログラムまたは実行において適宜変化するパラメタなどを一時記憶する。また、メモリ１３２は、ＲＯＭ（Read  Only  Memory）を含み、ＲＡＭおよびＲＯＭにより記憶部の機能を実現する。なお、接続ポート１４０または通信装置１４１などを介して外部のストレージ装置がメモリ１３２の一部として利用されてもよい。
【０３９９】
なお、プロセッサ１３１およびメモリ１３２は、ＣＰＵバスなどから構成される内部バスにより相互に接続されている。
【０４００】
（ブリッジおよびバス）
ブリッジ１３３は、バス間を接続する。具体的には、ブリッジ１３３は、プロセッサ１３１およびメモリ１３２が接続される内部バスと、インタフェース１３５と接続するバス１３４と、を接続する。
【０４０１】
（入力装置）
入力装置１３６は、ユーザが情報処理装置１００を操作しまたは情報処理装置１００へ情報を入力するために使用される。例えば、入力装置１３６は、ユーザが情報を入力するための入力手段、およびユーザによる入力に基づいて入力信号を生成し、プロセッサ１３１に出力する入力制御回路などから構成されている。なお、当該入力手段は、マウス、キーボード、タッチパネル、スイッチ、レバーまたはマイクロフォンなどであってもよい。情報処理装置１００のユーザは、入力装置１３６を操作することにより、情報処理装置１００に対して各種のデータを入力したり処理動作を指示したりすることができる。
【０４０２】
（出力装置）
出力装置１３７は、ユーザに情報を通知するために使用され、入出力部の機能を実現する。出力装置１３７は、表示装置または音出力装置であってよい。例えば、出力装置１３７は、液晶ディスプレイ（ＬＣＤ：Liquid  Crystal  Display）装置、ＯＬＥＤ（Organic  Light  Emitting  Diode）装置、プロジェクタ、スピーカまたはヘッドフォンなどの装置または当該装置への出力を行うモジュールであってよい。
【０４０３】
なお、入力装置１３６または出力装置１３７は、入出力装置を含んでよい。例えば、入出力装置は、タッチスクリーンであってよい。
【０４０４】
（ストレージ装置）
ストレージ装置１３８は、データ格納用の装置である。ストレージ装置１３８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されるデータを削除する削除装置等を含んでもよい。ストレージ装置１３８は、ＣＰＵ１３１が実行するプログラムや各種データを格納する。
【０４０５】
（ドライブ）
ドライブ１３９は、記憶媒体用リーダライタであり、情報処理装置１００に内蔵、あるいは外付けされる。ドライブ１３９は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記憶されている情報を読み出して、メモリ１３２に出力する。また、ドライブ１３９は、リムーバブル記憶媒体に情報を書込むこともできる。
【０４０６】
（接続ポート）
接続ポート１４０は、機器を情報処理装置１００に直接接続するためのポートである。例えば、接続ポート１４０は、ＵＳＢ（Universal  Serial  Bus）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Small  Computer  System  Interface）ポートなどであり得る。また、接続ポート１４０は、ＲＳ−２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（High-Definition  Multimedia  Interface）ポートなどであってもよい。接続ポート１４０に外部機器を接続することで、情報処理装置１００と当該外部機器との間でデータが交換されてもよい。
【０４０７】
（通信装置）
通信装置１４１は、情報処理装置１００と外部装置との間の通信を仲介し、通信部１０５の機能を実現する。具体的には、通信装置１４１は、無線通信方式または有線通信方式に従って通信を実行する。例えば、通信装置１４１は、ＷＣＤＭＡ（登録商標）（Wideband  Code  Division  Multiple  Access）、ＷｉＭＡＸ（登録商標）、ＬＴＥ（Long  Term  Evolution）もしくはＬＴＥ−Ａなどのセルラ通信方式に従って無線通信を実行する。なお、通信装置１４１は、Bluetooth（登録商標）、ＮＦＣ（Near  Field  Communication）、ワイヤレスＵＳＢもしくはTransferJet（登録商標）などの近距離無線通信方式、またはＷｉ−Ｆｉ（登録商標）などの無線ＬＡＮ（Local  Area  Network）方式といった、任意の無線通信方式に従って無線通信を実行してもよい。また、通信装置１４１は、信号線通信または有線ＬＡＮ通信などの有線通信を実行してよい。
【０４０８】
なお、情報処理装置１００は、図６１を用いて説明した構成の一部を有しなくてもよく、または任意の追加的な構成を有していてもよい。また、図６１を用いて説明した構成の全体または一部を集積したワンチップの情報処理モジュールが提供されてもよい。
【０４０９】
＜７．むすび＞
以上、本開示の第１の実施形態によれば、ユーザの身体の態様に基づく第１の機器選択により選択された被操作機器の候補がユーザに提示され、ユーザは候補の中から被操作機器を選択することができる。そのため、まずユーザは被操作機器まで移動せずに済む。また、提示される被操作機器の候補からユーザが操作対象を選択することにより、被操作機器の誤選択を抑制でき、被操作機器の選択のやり直しを防止することができる。また、選択オブジェクトの選択に基づいて被操作機器が操作されることにより、リモートコントローラなどの特定のデバイスなしで被操作機器の操作することができ、リモートコントローラを探し出すなどの手間の発生が抑制できる。従って、ユーザが操作を所望する被操作機器の選択にかかるユーザの負担を低減することが可能となる。
【０４１０】
また、本開示の第２の実施形態によれば、ユーザの身体の態様から推定されるユーザの状況に応じた複雑さの操作オブジェクトを表示することができる。このため、ユーザの各状況においてユーザの所望する操作に適した操作オブジェクトがそれぞれ表示される可能性を高めることができる。従って、操作オブジェクトに対するユーザの満足度のユーザの状況に応じたばらつきを抑制ことが可能となる。
【０４１１】
また、本開示の第３の実施形態によれば、操作オブジェクトの表示場所の基準が制御されることにより、ユーザの直接的な操作オブジェクトに対する操作だけでなく、間接的な操作またはユーザの行動と無関係な当該表示場所の基準の状況などに応じて操作オブジェクトの表示場所を制御することができる。このため、ユーザは、あたかも実オブジェクトを扱うかのように、操作オブジェクトを配置したり移動させたりすることができる。従って、実オブジェクトを移動させる感覚で操作オブジェクトの表示場所を操作することが可能となる。
【０４１２】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０４１３】
例えば、上記実施形態では、選択オブジェクトおよび操作オブジェクトが投影されるとしたが、本技術はかかる例に限定されない。具体的には、選択オブジェクトおよび操作オブジェクトは、外界像に重畳されることによりユーザに視認されてもよい。例えば、ユーザは、外界像の光を透過する表示装置（例えば、ＨＵＤ（Head  Up  Display））を装着し、当該表示装置の表示部に選択オブジェクトに係る画像が表示されまたは当該表示装置からユーザの眼に当該画像に係る画像光が投射されることにより、外界像に選択オブジェクトに係る画像が重畳される。なお、上記表示装置は、外界像と画像とが表示されるＨＭＤ（Head  Mount  Display）であってもよい。この場合、実空間上に選択オブジェクトが投影されることなく、ユーザは選択オブジェクトを知覚することができる。従って、情報処理システム１の構成を簡素化することができ、情報処理システム１の導入にかかるコストおよび手間を低減することが可能となる。また、上述した表示装置を装着していない他人には視認されないため、当該他人の視界が妨げられることを防止することができる。また、操作オブジェクトについても同様である。
【０４１４】
上記実施形態では、表示装置、空調装置、送風装置、録画装置、照明装置または音出力装置などの装置が被操作機器として制御される例を説明したが、他の装置が制御されてもよい。例えば、電気カーペット、電子レンジ、洗濯機、冷蔵庫または浴室設備であってもよい。
【０４１５】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【０４１６】
また、上記の実施形態のフローチャートに示されたステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的にまたは個別的に実行される処理をも含む。また時系列的に処理されるステップでも、場合によっては適宜順序を変更することが可能であることは言うまでもない。
【０４１７】
また、コンピュータシステムに上述した情報処理装置１００の各機能構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムが記憶された記憶媒体も提供される。ここで、上記コンピュータシステムは、情報処理装置１００に内蔵されるハードウェアのような単体のコンピュータまたは一連の処理を行う複数のコンピュータを含む。
【０４１８】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
操作主体の被操作機器に向けた身体の態様が推定される情報に基づく第１の機器選択により選択された前記被操作機器に関する選択オブジェクトの表示を制御する表示制御部と、
前記選択オブジェクトに対する前記操作主体の選択操作に係る情報に基づく第２の機器選択により選択された前記被操作機器を制御する機器制御部と、
を備える情報処理装置。
（２）
前記選択オブジェクトは、前記第１の機器選択により選択された前記被操作機器を示すオブジェクトを含む、
前記（１）に記載の情報処理装置。
（３）
前記選択オブジェクトは、優先度情報に基づく態様で視認されるように表示される、
前記（１）または（２）に記載の情報処理装置。
（４）
前記優先度情報は、前記第１の機器選択における前記身体の態様が推定される情報に基づいて決定される情報を含む、
前記（３）に記載の情報処理装置。
（５）
前記優先度情報は、前記操作主体の生体情報または前記操作主体の周辺環境に係る情報に基づいて決定される情報を含む、
前記（３）または（４）に記載の情報処理装置。
（６）
前記優先度情報は、過去の前記被操作機器の操作に係る情報に基づいて決定される情報を含む、
前記（３）〜（５）のいずれか１項に記載の情報処理装置。
（７）
前記表示制御部は、前記第２の機器選択により選択された前記被操作機器についての操作オブジェクトの表示を制御する、
前記（１）〜（６）のいずれか１項に記載の情報処理装置。
（８）
前記選択オブジェクトは、前記選択オブジェクトが前記操作主体により視認されるように表示可能な領域を有する前記操作主体の身体または前記操作主体の周辺に表示される、
前記（１）〜（７）のいずれか１項に記載の情報処理装置。
（９）
前記選択オブジェクトは、前記操作主体による前記第１の機器選択の決定操作に応じた場所に表示される、
前記（１）〜（７）のいずれか１項に記載の情報処理装置。
（１０）
前記決定操作に応じた場所は、前記決定操作で指定された前記操作主体の身体の部位または前記操作主体の周辺を含む、
前記（９）に記載の情報処理装置。
（１１）
前記決定操作に応じた場所は、前記決定操作で指定された表示部を含む、
前記（９）または（１０）に記載の情報処理装置。
（１２）
前記選択オブジェクトの表示に際して、前記第１の機器選択により選択された前記被操作機器の通知を制御する通知制御部をさらに備える、
前記（１）〜（１１）のいずれか１項に記載の情報処理装置。
（１３）
前記通知は、前記選択された前記被操作機器と前記選択オブジェクトとの紐付けを示す表示出力を含む、
前記（１２）に記載の情報処理装置。
（１４）
前記通知は、前記選択された前記被操作機器が入る領域からの音出力を含む、
前記（１２）または（１３）に記載の情報処理装置。
（１５）
前記身体の態様は、前記操作主体の目視の態様を含み、
前記操作主体の視界の少なくとも一部に入ると判定される前記被操作機器が前記第１の機器選択により選択される、
前記（１）〜（１４）のいずれか１項に記載の情報処理装置。
（１６）
前記身体の態様は、前記操作主体の姿勢を含み、
前記操作主体の姿勢から決定される領域に入ると判定される前記被操作機器が前記第１の機器選択により選択される、
前記（１）〜（１５）のいずれか１項に記載の情報処理装置。
（１７）
前記身体の態様は、前記操作主体の動きを含み、
前記操作主体の動きから決定される領域に入ると判定される前記被操作機器が前記第１の機器選択により選択される、
前記（１）〜（１６）のいずれか１項に記載の情報処理装置。
（１８）
前記身体の態様は、前記操作主体の発声を含み、
前記操作主体の発声から決定される領域に入ると判定される前記被操作機器が前記第１の機器選択により選択される、
前記（１）〜（１７）のいずれか１項に記載の情報処理装置。
（１９）
プロセッサを用いて、
操作主体の被操作機器に向けた身体の態様が推定される情報に基づく第１の機器選択により選択された前記被操作機器に関する選択オブジェクトの表示を制御することと、
前記選択オブジェクトに対する前記操作主体の選択操作に係る情報に基づく第２の機器選択により選択された前記被操作機器を制御することと、
を含む情報処理方法。
（２０）
操作主体の被操作機器に向けた身体の態様が推定される情報に基づく第１の機器選択により選択された前記被操作機器に関する選択オブジェクトの表示を制御する表示制御機能と、
前記選択オブジェクトに対する前記操作主体の選択操作に係る情報に基づく第２の機器選択により選択された前記被操作機器を制御する機器制御機能と、
をコンピュータシステムに実現させるためのプログラム。
【０４１９】
また、以下のような構成も本開示の技術的範囲に属する。
（２１）
操作主体の身体の態様に係る情報を得る取得部と、
前記身体の態様に係る情報に基づいて、実空間上に存在するように視認される被操作機器についての操作オブジェクトの複雑さを制御する表示制御部と、
を備える情報処理装置。
（２２）
前記身体の態様は、前記操作主体の姿勢を含み、
前記操作オブジェクトは、前記操作主体の姿勢に係る情報に応じた複雑さで視認されるように表示される、
前記（２１）に記載の情報処理装置。
（２３）
前記身体の態様に係る情報は、前記操作主体の生体情報を含み、
前記操作オブジェクトは、前記操作主体の生体情報に応じた複雑さで視認されるように表示される、
前記（２１）または（２２）に記載の情報処理装置。
（２４）
前記身体の態様は、前記操作主体の行動を含み、
前記操作オブジェクトは、前記操作主体の行動に係る情報に応じた複雑さで視認されるように表示される、
前記（２１）〜（２３）のいずれか１項に記載の情報処理装置。
（２５）
前記表示制御部は、さらに前記操作オブジェクトが視認される場所に係る情報、または前記操作主体が特定される情報もしくは前記操作主体の属性が特定される情報に基づいて前記操作オブジェクトの複雑さを制御する、
前記（２１）〜（２４）のいずれか１項に記載の情報処理装置。
（２６）
前記操作オブジェクトは、前記操作主体の身体または前記操作主体の周辺に視認されるように表示される、
前記（２１）〜（２５）のいずれか１項に記載の情報処理装置。
（２７）
前記操作オブジェクトは、前記被操作機器の操作に関する情報安全性の程度に応じた場所に視認されるように表示される、
前記（２１）〜（２６）のいずれか１項に記載の情報処理装置。
（２８）
前記操作オブジェクトは、前記操作主体が特定される情報または前記操作主体の属性が特定される情報に応じた場所へ表示される、
前記（２１）〜（２７）のいずれか１項に記載の情報処理装置。
（２９）
前記操作オブジェクトは、前記操作主体の身体の態様に応じた場所へ表示される、
前記（２１）〜（２８）のいずれか１項に記載の情報処理装置。
（３０）
前記操作主体の身体の態様は、前記操作主体の所定の動作を含み、
前記操作オブジェクトは、前記所定の動作に応じた場所へ表示される、
前記（２９）に記載の情報処理装置。
（３１）
前記操作オブジェクトは、前記所定の動作の対象に紐づく前記操作オブジェクトを含む、
前記（３０）に記載の情報処理装置。
（３２）
前記所定の動作の対象に紐づく前記操作オブジェクトは、前記所定の動作の対象である前記被操作機器についての前記操作オブジェクトを含む、
前記（３１）に記載の情報処理装置。
（３３）
前記所定の動作の対象に紐づく前記操作オブジェクトは、前記所定の動作の対象と同じ実空間に存在する前記被操作機器についての前記操作オブジェクトを含む、
前記（３１）または（３２）に記載の情報処理装置。
（３４）
表示される前記操作オブジェクトについての前記所定の動作の対象と同じ実空間に存在する前記被操作機器は、前記所定の動作の対象と同じ実空間における環境に係る情報、前記所定の動作の対象と同じ実空間に存在する人の態様に係る情報、または時間情報に基づいて選択される、
前記（３３）に記載の情報処理装置。
（３５）
前記操作オブジェクトは、前記操作主体への通知についての通知操作オブジェクトを含み、
前記通知操作オブジェクトは、通知の着信に応じて表示される、
前記（２１）〜（３４）のいずれか１項に記載の情報処理装置。
（３６）
前記操作主体への通知は、複数の前記操作主体への通知を含み、
前記通知操作オブジェクトは、前記複数の前記操作主体の各々に視認される場所に表示される、
前記（３５）に記載の情報処理装置。
（３７）
前記操作主体への通知は、特定の前記操作主体への通知を含み、
前記通知操作オブジェクトは、前記特定の前記操作主体にのみ視認される場所に表示される、
前記（３５）または（３６）に記載の情報処理装置。
（３８）
前記通知操作オブジェクトは、前記特定の前記操作主体の存在する空間に前記特定の前記操作主体以外の人が存在しない場合に表示される、
前記（３７）に記載の情報処理装置。
（３９）
プロセッサを用いて、
操作主体の身体の態様に係る情報を得ることと、
前記身体の態様に係る情報に基づいて、実空間上に存在するように視認される被操作機器についての操作オブジェクトの複雑さを制御することと、
を含む情報処理方法。
（４０）
操作主体の身体の態様に係る情報を得る取得機能と、
前記身体の態様に係る情報に基づいて、実空間上に存在するように視認される被操作機器についての操作オブジェクトの複雑さを制御する表示制御機能と、
をコンピュータシステムに実現させるためのプログラム。
【０４２０】
また、以下のような構成も本開示の技術的範囲に属する。
（４１）
被操作機器についての操作オブジェクトの表示を制御する表示制御部と、
前記操作オブジェクトが視認されるように表示される場所の基準を前記被操作機器の操作主体の前記操作オブジェクトについての所定の操作に基づいて制御する基準制御部と、
を備える情報処理装置。
（４２）
前記場所の基準は、実空間上の物体を含み、
前記操作オブジェクトの表示される場所は、前記物体の移動に応じて変更される、
前記（４１）に記載の情報処理装置。
（４３）
前記物体は、前記操作主体を含み、
前記操作オブジェクトは、前記操作主体の属性または態様に応じた場所に視認されるように表示される、
前記（４２）に記載の情報処理装置。
（４４）
前記場所の基準は、実空間上の位置を含み、
前記操作オブジェクトは、前記実空間上の位置に基づいて表示される、
前記（４１）〜（４３）のいずれか１項に記載の情報処理装置。
（４５）
表示制御部は、さらに前記所定の操作が行われる際の前記操作主体の態様に応じて前記場所の基準の種類を制御する、
前記（４１）〜（４４）のいずれか１項に記載の情報処理装置。
（４６）
前記表示制御部は、前記場所の基準が制御される際に、前記操作オブジェクトの態様を制御する、
前記（４１）〜（４５）のいずれか１項に記載の情報処理装置。
（４７）
前記操作オブジェクトの態様は、前記操作オブジェクトについての操作の客体に係る情報に基づいて制御される、
前記（４６）に記載の情報処理装置。
（４８）
前記操作オブジェクトの態様は、制御前の前記場所の基準または制御後の前記場所の基準に係る情報に基づいて制御される、
前記（４６）または（４７）に記載の情報処理装置。
（４９）
制御前の前記場所の基準または制御後の前記場所の基準に係る情報は、制御前の前記場所の基準または制御後の前記場所の基準の属性または態様が特定される情報を含む、
前記（４８）に記載の情報処理装置。
（５０）
前記操作オブジェクトの態様は、前記操作オブジェクトの複雑さまたは前記場所の基準の移動に対する追従性を含む、
前記（４６）〜（４９）のいずれか１項に記載の情報処理装置。
（５１）
前記表示制御部は、前記場所の基準の変更先が特定される表示オブジェクトの表示を制御する、
前記（４１）〜（５０）のいずれか１項に記載の情報処理装置。
（５２）
前記表示制御部は、前記場所の基準の変更先について別の前記操作オブジェクトが存在する場合、前記場所の基準が変更される前記操作オブジェクトと前記場所の基準の変更先の前記別の前記操作オブジェクトとをマージする、
前記（４１）〜（５１）のいずれか１項に記載の情報処理装置。
（５３）
前記基準制御部は、さらに前記所定の操作に基づいて前記操作オブジェクトの属性を制御する、
前記（４１）〜（５２）のいずれか１項に記載の情報処理装置。
（５４）
前記操作オブジェクトの属性は、前記操作オブジェクトを操作する前記操作主体を含む、
前記（５３）に記載の情報処理装置。
（５５）
前記表示制御部は、前記操作オブジェクトの属性に基づいて前記操作オブジェクトの態様を制御する、
前記（５３）または（５４）に記載の情報処理装置。
（５６）
前記操作オブジェクトは、前記所定の操作に基づいて複製される、
前記（４１）〜（５５）のいずれか１項に記載の情報処理装置。
（５７）
前記所定の操作における前記操作主体の態様に基づいて、複製された前記操作オブジェクトと複製元の前記操作オブジェクトとの同期性が制御される、
前記（５６）に記載の情報処理装置。
（５８）
前記所定の操作は、前記操作オブジェクトについての第１の操作および第２の操作の組を含み、
前記基準制御部は、前記第１の操作により選択された前記操作オブジェクトについての基準を、前記第２の操作に応じた場所に基づいて変更する、
前記（４１）〜（５７）のいずれか１項に記載の情報処理装置。
（５９）
プロセッサを用いて、
被操作機器についての操作オブジェクトの表示を制御することと、
前記操作オブジェクトが視認されるように表示される場所の基準を前記被操作機器の操作主体の前記操作オブジェクトについての所定の操作に基づいて制御することと、
を含む情報処理方法。
（６０）
被操作機器についての操作オブジェクトの表示を制御する表示制御機能と、
前記操作オブジェクトが視認されるように表示される場所の基準を前記被操作機器の操作主体の前記操作オブジェクトについての所定の操作に基づいて制御する基準制御機能と、
をコンピュータシステムに実現させるためのプログラム。
【符号の説明】
【０４２１】
１０      投影撮像装置
２０      表示装置
２１      空調装置
２２      送風装置
１００    情報処理装置
１０１    認識部
１０２    機器選択部
１０３    投影制御部
１０４    機器制御部
１０５    通信部
１０６    記憶部
【図１】
2018008218.tif 000003
【図２】
2018008218.tif 000004
【図３】
2018008218.tif 000005
【図４】
2018008218.tif 000006
【図５】
2018008218.tif 000007
【図６】
2018008218.tif 000008
【図７】
2018008218.tif 000009
【図８】
2018008218.tif 000010
【図９】
2018008218.tif 000011
【図１０】
2018008218.tif 000012
【図１１】
2018008218.tif 000013
【図１２】
2018008218.tif 000014
【図１３】
2018008218.tif 000015
【図１４】
2018008218.tif 000016
【図１５】
2018008218.tif 000017
【図１６】
2018008218.tif 000018
【図１７】
2018008218.tif 000019
【図１８】
2018008218.tif 000020
【図１９】
2018008218.tif 000021
【図２０】
2018008218.tif 000022
【図２１】
2018008218.tif 000023
【図２２】
2018008218.tif 000024
【図２３】
2018008218.tif 000025
【図２４】
2018008218.tif 000026
【図２５】
2018008218.tif 000027
【図２６】
2018008218.tif 000028
【図２７】
2018008218.tif 000029
【図２８】
2018008218.tif 000030
【図２９】
2018008218.tif 000031
【図３０】
2018008218.tif 000032
【図３１】
2018008218.tif 000033
【図３２】
2018008218.tif 000034
【図３３】
2018008218.tif 000035
【図３４】
2018008218.tif 000036
【図３５】
2018008218.tif 000037
【図３６】
2018008218.tif 000038
【図３７】
2018008218.tif 000039
【図３８】
2018008218.tif 000040
【図３９】
2018008218.tif 000041
【図４０】
2018008218.tif 000042
【図４１】
2018008218.tif 000043
【図４２】
2018008218.tif 000044
【図４３】
2018008218.tif 000045
【図４４】
2018008218.tif 000046
【図４５】
2018008218.tif 000047
【図４６】
2018008218.tif 000048
【図４７】
2018008218.tif 000049
【図４８】
2018008218.tif 000050
【図４９】
2018008218.tif 000051
【図５０】
2018008218.tif 000052
【図５１】
2018008218.tif 000053
【図５２】
2018008218.tif 000054
【図５３】
2018008218.tif 000055
【図５４】
2018008218.tif 000056
【図５５】
2018008218.tif 000057
【図５６】
2018008218.tif 000058
【図５７】
2018008218.tif 000059
【図５８】
2018008218.tif 000060
【図５９】
2018008218.tif 000061
【図６０】
2018008218.tif 000062
【図６１】
2018008218.tif 000063
【国際調査報告】
2018008218.tif 000064
2018008218.tif 000065
2018008218.tif 000066
2018008218.tif 000067