(57)【要約】      （修正有）【課題】遮蔽物による影響を極力、低減するようにした情報処理装置、情報処理方法及びプログラムを提供する。【解決手段】情報処理システム１０は、取得した操作体に関するセンシング結果に基づいて入力補助領域を設定し、操作体を使用した入力開始が検出された場合に、入力補助領域内に入力開始の起点を表示させる制御部を有する。情報処理方法は、制御部が、取得した操作体に関するセンシング結果に基づいて入力補助領域を設定し、操作体を使用した入力開始が検出された場合に、入力補助領域内に入力開始の起点を表示させる。【選択図】図３
2020140291.tif 000002
【特許請求の範囲】
【請求項１】
取得した操作体に関するセンシング結果に基づいて入力補助領域を設定し、前記操作体を使用した入力開始が検出された場合に、当該入力補助領域内に入力開始の起点を表示させる制御部を有する
情報処理装置。
【請求項２】
前記入力補助領域は、少なくとも前記操作体の位置に基づいて決定される投影可能領域内で設定される
請求項１に記載の情報処理装置。
【請求項３】
前記投影可能領域は、前記操作体によって視覚的に遮蔽されない領域を含む
請求項２に記載の情報処理装置。
【請求項４】
前記投影可能領域は、当該投影可能領域を含む平面上に載置された実物体を避ける領域を含む
請求項３に記載の情報処理装置。
【請求項５】
前記入力補助領域と投影可能領域が略同一平面である
請求項２に記載の情報処理装置。
【請求項６】
前記制御部は、前記投影可能領域内に、予め規定された所定サイズの前記入力補助領域を設定できない場合に、所定の報知を行わせる
請求項２に記載の情報処理装置。
【請求項７】
前記所定の報知は、前記投影可能領域を拡大させる報知である
請求項６に記載の情報処理装置。
【請求項８】
前記制御部は、前記操作体と前記入力補助領域とを対応づける情報を表示させる
請求項２に記載の情報処理装置。
【請求項９】
前記制御部は、前記操作体を使用した入力に応じた入力情報を前記入力補助領域内に表示させる
請求項１に記載の情報処理装置。
【請求項１０】
前記制御部は、前記入力補助領域内に仮想的な前記操作体を表示させ、前記仮想的な操作体の位置と前記入力補助領域との関係に基づいて、前記入力補助領域のサイズを変更する
請求項９に記載の情報処理装置。
【請求項１１】
前記制御部は、前記操作体の位置と前記入力補助領域の位置との関係に基づいて、前記入力補助領域を再設定する
請求項１に記載の情報処理装置。
【請求項１２】
前記制御部は、取得した複数の操作体に関するセンシング結果に基づいて、前記操作体毎の入力補助領域を設定する
請求項１に記載の情報処理装置。
【請求項１３】
前記制御部は、取得した複数の操作体に関するセンシング結果に基づいて、前記複数の操作体に共通する入力補助領域を設定する
請求項１に記載の情報処理装置。
【請求項１４】
前記操作体による所定の操作に応じて、前記制御部は、前記入力補助領域内の表示を拡大又は縮小させる
請求項１に記載の情報処理装置。
【請求項１５】
前記制御部は、前記入力補助領域を表示させる
請求項１に記載の情報処理装置。
【請求項１６】
前記制御部は、複数の前記入力の起点を表示させる
請求項１に記載の情報処理装置。
【請求項１７】
制御部が、取得した操作体に関するセンシング結果に基づいて入力補助領域を設定し、前記操作体を使用した入力開始が検出された場合に、当該入力補助領域内に入力開始の起点を表示させる
情報処理方法。
【請求項１８】
制御部が、取得した操作体に関するセンシング結果に基づいて入力補助領域を設定し、前記操作体を使用した入力開始が検出された場合に、当該入力補助領域内に入力開始の起点を表示させる
情報処理方法をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置、情報処理方法及びプログラムに関する。
【背景技術】
【０００２】
プロジェクタを使用してテーブル等の平面に様々な情報を表示する提案がなされている（例えば、特許文献１を参照のこと）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１６−１９４７６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載の技術では、プロジェクタとテーブル等の平面との間に、手やペン等の遮蔽物が存在すると、遮蔽物による影によりプロジェクタにより投影される情報が見づらくなってしまう虞がある。
【０００５】
本開示は、上述した点に鑑みてなされたものであり、遮蔽物による影響を極力、低減するようにした情報処理装置、情報処理方法及びプログラムを提供することを目的の一つとする。
【課題を解決するための手段】
【０００６】
本開示は、例えば、
取得した操作体に関するセンシング結果に基づいて入力補助領域を設定し、操作体を使用した入力開始が検出された場合に、当該入力補助領域内に入力開始の起点を表示させる制御部を有する
情報処理装置である。
【０００７】
本開示は、例えば、
制御部が、取得した操作体に関するセンシング結果に基づいて入力補助領域を設定し、操作体を使用した入力開始が検出された場合に、当該入力補助領域内に入力開始の起点を表示させる
情報処理方法である。
【０００８】
本開示は、例えば、
制御部が、取得した操作体に関するセンシング結果に基づいて入力補助領域を設定し、操作体を使用した入力開始が検出された場合に、当該入力補助領域内に入力開始の起点を表示させる
情報処理方法をコンピュータに実行させるプログラムである。
【図面の簡単な説明】
【０００９】
【図１】図１Ａ〜図１Ｃは、本開示の概要を説明する際に参照される図である。
【図２】図２は、第１の実施の形態にかかる情報処理システムの構成例を示す図である。
【図３】図３は、第１の実施の形態に係る情報処理システムの論理的な構成例を示すブロック図である。
【図４】図４は、第１の実施の形態にかかる情報処理システムにおける具体的な動作例を説明する際に参照される図である。
【図５】図５は、第１の実施の形態にかかる情報処理システムにおける具体的な動作例を説明する際に参照される図である。
【図６】図６は、第１の実施の形態にかかる投影可能領域を模式的に示す図である。
【図７】図７は、投影可能領域に設定されるウィンドウの一例を説明するための図である。
【図８】図８は、投影可能領域を拡大させる報知を行う処理を説明する際に参照される図である。
【図９】図９は、投影可能領域を拡大させる報知を行う処理を説明する際に参照される図である。
【図１０】図１０は、操作体とウィンドウとを対応付ける情報の一例を説明するための図である。
【図１１】図１１は、操作体とウィンドウとを対応付ける情報の一例を説明するための図である。
【図１２】図１２は、入力開始の起点の一例を説明するための図である。
【図１３】図１３Ａ及び図１３Ｂは、ＣＧの手がウィンドウ内に収まらなくなるなった場合に、ウィンドウが拡大される処理を説明するための図である。
【図１４】図１４Ａ〜図１４Ｃは、ウィンドウを再設定する処理の一例を説明する際に参照される図である。
【図１５】図１５は、検索情報がウィンドウ内に表示される例を説明するための図である。
【図１６】図１６は、第１の実施の形態にかかる情報処理システムで行われる処理の流れ（全体の処理の流れ）の一例を示すフローチャートである。
【図１７】図１７は、第１の実施の形態にかかる情報処理システムで行われる処理の流れ（文字入力処理の流れ）の一例を示すフローチャートである。
【図１８】図１８は、第１の実施の形態にかかる情報処理システムで行われる処理の流れ（ウィンドウの位置決め処理の流れ）の一例を示すフローチャートである。
【図１９】図１９は、第１の実施の形態にかかる情報処理システムで行われる処理の流れ（ＣＧの手の位置・姿勢決め処理）の一例を示すフローチャートである。
【図２０】図２０は、第１の実施の形態にかかる情報処理システムで行われる処理の流れ（軌跡情報の更新処理）の一例を示すフローチャートである。
【図２１】図２１は、第２の実施の形態にかかるウィンドウ等の投影表示例を説明するための図である。
【図２２】図２２は、第２の実施の形態にかかるウィンドウ等の他の投影表示例を説明するための図である。
【図２３】図２３は、第２の実施の形態にかかるウィンドウ等の他の投影表示例を説明するための図である。
【図２４】図２４は、第２の実施の形態にかかるウィンドウ等の他の投影表示例を説明するための図である。
【図２５】図２５Ａ及び図２５Ｂは、第２の実施の形態にかかるウィンドウ等の他の投影表示例を説明するための図である。
【図２６】図２６は、第２の実施の形態にかかるウィンドウ等の他の投影表示例を説明するための図である。
【図２７】図２７は、第２の実施の形態にかかる情報処理システムで行われる処理の流れ（全体の処理の流れ）の一例を示すフローチャートである。
【図２８】図２８は、第２の実施の形態にかかる情報処理システムで行われる処理の流れ（ウィンドウの位置決め処理の流れ）の一例を示すフローチャートである。
【図２９】図２９は、第３の実施の形態にかかる情報処理システムの構成例を示す図である。
【図３０】図３０は、第３の実施の形態にかかる情報処理システムの使用例を示す図である。
【図３１】図３１は、第３の実施の形態にかかるウィンドウ内の投影表示例を説明するための図である。
【図３２】図３２Ａ及び図３２Ｂは、第３の実施の形態において、表示制御部が入力の開始の起点を投影表示させる具体例を説明する際に参照される図である。
【図３３】図３３は、ウィンドウ内に投影表示された箇所が、操作に応じて拡大／縮小する様子を説明する際に参照される図である。
【図３４】図３４は、第４の実施の形態にかかる情報処理システムの構成例を示す図である。
【図３５】図３５は、第４の実施の形態にかかるウィンドウ内の投影表示例を説明するための図である。
【発明を実施するための形態】
【００１０】
以下、本開示の実施の形態等について図面を参照しながら説明する。なお、説明は以下の順序で行う。
＜本開示の概要＞
＜第１の実施の形態＞
＜第２の実施の形態＞
＜第３の実施の形態＞
＜第４の実施の形態＞
＜変形例＞
以下に説明する実施の形態等は本開示の好適な具体例であり、本開示の内容がこれらの実施の形態等に限定されるものではない。
【００１１】
＜本開示の概要＞
始めに、本開示の理解を容易とするために、本開示の概要について図１Ａ〜図１Ｃを参照して説明する。図１Ａでは、例えば上方に設けられたプロジェクタにより、天面に種々の情報が表示されるテーブル１が示されている。なお、以下の説明において、プロジェクタを使用して種々の情報を投影面に表示することを、投影表示する、若しくは、描画すると適宜、称する。
【００１２】
テーブル１の所定箇所には、入力補助領域としてのウィンドウ（例えば、ウィンドウ２Ａ）が設定されている。ウィンドウは、手やペン等の操作体（本例では、手ＨＡ）を使用した入力に対応する情報が投影表示される領域である。図１Ａに示すように、入力操作を行うためにテーブル１上においてホバーされた手ＨＡの影領域ＳＨＡによって、ウィンドウ２Ａ内に情報を投影表示することができなくなってしまう。また、例えば、指やペンで空間上に字や絵を描くような操作を行い、当該操作に応じた内容を投影表示する場合に、指やペンの位置の直下に投影表示すると、投影表示の内容が手ＨＡの影領域ＳＨＡに遮蔽されてしまう。
【００１３】
そこで、本開示では、一例として、図１Ｂに模式的に示すように、影領域ＳＨＡを避ける位置にウィンドウ２Ｂを設定する。そして、ウィンドウ２Ｂ内に、ユーザによる直感的な認識を可能とするために、ＣＧ(Computer Graphics)により作成した手ＣＨＡを投影表示する。また、図１Ｃに模式的に示すように、影領域ＳＨＡを避けるようにウィンドウ２Ｂの位置を変化させた場合でも、ウィンドウ２ＢとＣＧの手ＣＨＡとの間の相対的位置関係は維持されるようにする。これにより、操作体、例えば手ＨＡを使用した入力に応じた入力情報を、影領域ＳＨＡに遮蔽されることなくウィンドウ２Ｂ内に表示させることができる。以下、本開示の各実施の形態の詳細について説明する。
【００１４】
＜第１の実施の形態＞
［情報システムの構成例］
図２は、第１の実施の形態にかかる情報処理システム（情報処理システム１０）の構成例を示している。本実施の形態にかかる情報処理システム１０は、入力部２０と、出力部３０とを含んで形成される。図２に示した情報処理システム１０は、テーブル４０の天面４０Ａに、操作体を使用して入力される情報である入力情報を表示させるシステムである。入力情報は、文字、数字、図形、ユーザによって描かれる絵、これらの文字等を構成する直線、曲線、模様等、何でも良い。図２のようにテーブル４０の天面４０Ａに情報を表示する方式は「プロジェクション方式」とも称される。
【００１５】
入力部２０は、情報処理システム１０を使用するユーザの手ＨＡの形状や手ＨＡによる操作内容、テーブル４０の天面４０Ａに置かれている物体の形状や模様などを入力する装置、即ち、センサである。図２に示した例では、入力部２０は、テーブル４０の上方に、例えば天井から吊り下げられた状態で設けられており、情報が表示される対象となるテーブル４０とは離隔して設けられている。入力部２０としては、例えば１つのレンズでテーブル４０を撮像するカメラや、２つのレンズでテーブル４０を撮像して奥行き方向の情報（深度情報）を記録することが可能なステレオカメラ等が用いられ得る。
【００１６】
入力部２０として、１つのレンズでテーブル４０を撮像するカメラが用いられる場合、情報処理システム１０は、そのカメラが撮像した画像を解析することで、テーブル４０に置かれた物体を認識することができる。また入力部２０としてステレオカメラが用いられる場合、入力部２０は、深度情報を取得することが可能となる。入力部２０が、深度情報を取得することで、情報処理システム１０は、例えばテーブル４０の上方に位置する手や天面４０Ａに置かれた物体等の認識が可能になる。また入力部２０が、深度情報を取得することで、情報処理システム１０は、テーブル４０へのユーザの手の接触、近接の認識やテーブル４０からの手の離脱の認識が可能となる。なお、入力部２０は、必ずしもテーブル４０と対向する位置に設けられている必要は無く、例えば、テーブル４０の４個のコーナー付近にそれぞれ設けられていても良い。
【００１７】
出力部３０は、入力部２０によって入力された、情報処理システム１０を使用するユーザの操作入力に基づく入力情報をテーブル４０の天面４０Ａに表示したり、音声を出力したりする装置である。出力部３０としては、例えばプロジェクタやスピーカ等が用いられる。図２に示した例は、出力部３０が少なくともプロジェクタを含み、出力部３０がテーブル４０の天面４０Ａに上方から入力情報や入力開始の起点等を投影表示する例である。
【００１８】
なお、図２には図示しないが、情報処理システム１０に他の装置が接続されていても良い。例えば情報処理システム１０に、テーブル４０を照らすための照明機器が接続されていても良い。情報処理システム１０に照明機器が接続されていることで、情報処理システム１０は、情報の表示面の状態に応じて照明機器の点灯状態を制御することが可能となる。
【００１９】
［情報処理システムの論理的な構成例］
図３は、本実施の形態にかかる情報処理システム１０の論理的な構成例を示すブロック図である。図３に示すように、本実施の形態に係る情報処理システム１０は、上述した入力部２０及び出力部３０の他に、制御部５０及び記憶部６０を有している。制御部５０は、その機能として、認識部５１、記憶制御部５２及び表示制御部５３を有している。本開示にかかる情報処理装置は、少なくとも制御部５０を有する装置として構成される。
【００２０】
（入力部）
入力部２０は、入力部２０への各種情報の入力を受け付ける機能（センシング機能）を有する。例えば、入力部２０は、上述したようにテーブル４０を撮像する画像センサ、テーブル４０上の深度情報を取得する深度センサとしての機能を有する。出力部３０により情報が表示される範囲と入力部２０が情報の入力を受け付ける範囲とは、同一であっても良いし異なっていても良い。例えば、入力部２０は、出力部３０による表示範囲より広い範囲を対象とした画像データ、深度情報等を取得し得る。
【００２１】
画像センサとしては、可視光カメラや赤外線カメラを例示することができる。深度センサとしては、ステレオカメラ、TOF(Time of Flight)方式の測距センサ、Structured Light方式の測距センサ等を例示することができる。入力部２０が、ユーザの体温や発汗、脈拍等の生体情報を取得する生体センサや、周囲の温度、湿度、風速等を取得する環境センサを有していても良い。
【００２２】
（出力部）
出力部３０は、制御部５０、具体的には表示制御部５３よる制御に基づいて、入力情報を出力する機能を有する。例えば、出力部３０は、表示制御部５３により生成された表示制御信号に従って入力情報及び入力開始の起点を投影表示する機能する。本実施の形態にかかる出力部３０は、少なくともプロジェクタを有している。
【００２３】
（制御部）
制御部５０は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理システム１０内の動作全般を統括的に制御する。例えば制御部５０は、入力部２０が入力した情報に基づいて、出力部３０から出力する情報を生成する。
【００２４】
認識部５１は、情報処理システム１０周辺の実物体である実オブジェクトを認識する機能を有する。例えば、認識部５１は、入力部２０により入力された画像情報及び深度情報に基づいて、手ＨＡの形状や動き、手ＨＡの各部間の相対位置、テーブル４０の天面４０Ａに載置されている物体を認識する。なお、認識部５１は、入力部２０により入力された画像情報や深度情報に基づいて、ユーザが装着している腕時計や把持するスマートフォン等の、周辺に存在する装置を認識しても良い。
【００２５】
記憶制御部５２は、記憶部６０にアクセスして、情報を取得したり記憶したりする機能を有する。本実施の形態にかかる記憶制御部５２は、検索機能を有している。例えば、記憶制御部５２は、認識部５１により認識された手ＨＡの動きに対応する文字や数字、絵等の入力情報に一致する情報を記憶部６０から読出すことにより検索情報を取得する。そして、検索情報が表示制御部５３に出力される。
【００２６】
表示制御部５３は、種々の表示用データを生成し、生成した表示用データを出力部３０に供給することにより、表示用データに対応する情報をテーブル４０の天面４０Ａに投影表示させる。例えば、手の動きに基づく文字、数字等の入力情報が認識部５１により認識される。表示制御部５３は、認識結果に基づいて、入力情報に対応する表示用データを生成する。かかる表示用データが表示制御部５３から出力部３０に対して出力され、出力部３０から表示用データが投影表示されることにより入力情報が天面４０Ａの所定箇所に写し出される。また、表示制御部５３は、記憶制御部５２により検索された検索情報に対応する表示用データを生成する。かかる表示用データが表示制御部５３から出力部３０に対して出力され、出力部３０から表示用データが投影表示されることにより検索情報が天面４０Ａの所定箇所に写し出される。
【００２７】
また、表示制御部５３は、認識部５１が認識した手ＨＡ等の操作体に関する認識結果（センシング結果）に基づいてウィンドウを設定し、操作体を使用した入力開始が検出された場合に当該ウィンドウ内に入力開始の起点を表示させる。なお、ウィンドウ等の詳細については後述する。
【００２８】
（記憶部）
記憶部６０は、記憶媒体及び当該記憶媒体に対してデータの記録再生を行うものである。記憶媒体としては、例えば、ＨＤＤ（Hard Disk Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、光磁気記憶デバイス等が挙げられる。
【００２９】
以上、情報処理システム１０の一態様について説明した。図３に示した情報処理システム１０は、単独の装置として形成されてもよく、一部または全部が別々の装置で構成されても良い。例えば、図３に示した情報処理システム１０の機能構成例の内、制御部５０が、入力部２０及び出力部３０にネットワーク等を介して接続されたサーバ等の装置に備えられていても良い。制御部５０がサーバ等の装置に備えられる場合は、入力部２０からの情報がネットワーク等を通じて当該サーバ等の装置に送信され、制御部５０が入力部２０からの情報に対して処理を行って、当該サーバ等の装置から、出力部３０が出力するための情報がネットワーク等を通じて出力部３０に送られる。
【００３０】
［情報処理システムにおける具体的な動作例］
次に、情報処理システムにおける具体的な動作例について説明する。図４は、第１の実施の形態にかかる情報処理システム１０の具体的な構成例を示している。情報処理システム１０は、上述したように、入力部２０及び出力部３０を有している。テーブル４０の天面４０Ａには、例えば円筒形状を有し小型の実物体である物品７０が載置されているものとする。なお、物品７０は何でも良く、その形状や個数も任意のものとすることができる。天面４０Ａの上方には、ユーザの手ＨＡがホバーされている。手ＨＡは、例えば、手首から指先までを含む箇所である。ユーザは、手ＨＡを使用して各種の入力を行う。具体的には、ユーザは、天面４０Ａの上方の空間において、手ＨＡの人差し指で任意の入力情報（本例では、文字とする）を描く操作を行う。なお、本例では、ユーザが一人として説明するが、後述するように、複数のユーザによって情報処理システム１０が使用されても良い。
【００３１】
図４に示したように、天面４０Ａの上方に手ＨＡがホバーされると、認識部５１が手ＨＡを認識する。認識部５１は、入力部２０を介して得られる深度情報に基づいて手ＨＡの姿勢（形状）を認識（検出）する。例えば、図４に示すように、認識部５１により認識された手ＨＡの姿勢が手の平を開くような場合には、制御部５０は、自身の動作モードをジェスチャ認識モードに設定する。
【００３２】
続いて、図５に示すように、ユーザが、手ＨＡの姿勢を人差し指だけを伸ばして握る姿勢にする。かかる手ＨＡの姿勢が、入力部２０により得られる深度情報に基づいて認識部５１により認識される。認識部５１による認識の結果、制御部５０は、自身の動作モードを文字入力モードに遷移させる。
【００３３】
動作モードが文字入力モードに遷移すると、表示制御部５３がウィンドウを設定する。ウィンドウは、投影表示可能な領域である投影可能領域内で設定される。投影可能領域は、少なくとも手ＨＡの位置に基づいて決定される。即ち、手ＨＡの位置がわかれば、手ＨＡの位置と出力部３０との相対的な位置関係も判別できるので、手ＨＡによって遮蔽される領域、具体的には、影領域の箇所や大きさも大凡、判別することができる。かかる影領域を避けるように投影可能領域が設定される。また、投影可能領域は、手ＨＡによって視覚的に遮蔽されない領域を含むものでも良い。例えば、操作体として認識されたものとその位置から、視覚的に遮蔽される領域を予め学習、記憶しておき、実際に、情報処理システム１０で使用された操作体とその位置に応じて、視覚的に遮蔽される領域が判別されるようにしても良い。また、投影可能領域は、当該投影可能領域を含む平面上に載置された実物体を避ける領域を含むものでも良い。
【００３４】
図６には、投影可能領域ＰＡＲ（斜線を付した箇所）が模式的に示されている。本実施の形態では、天面４０Ａ内で投影可能な表示領域であり、且つ、手ＨＡの影領域ＳＨＡ及び物品７０の位置を避ける領域が投影可能領域ＰＡＲとして設定される。なお、影領域ＳＨＡは、手ＨＡの形状や大きさ等と厳密に一致している必要は無く、手ＨＡの形状等を適宜、拡大した領域であっても良いし、公知の方法を適用することにより特定されるものであっても良い。
【００３５】
そして、投影可能領域ＰＡＲ内にウィンドウが設定される。図７には、投影可能領域ＰＡＲ内の左下コーナー付近に設定されたウィンドウＷＤが示されている。本実施の形態では、投影可能領域ＰＡＲとウィンドウＷＤとが略同一平面上に設定されている。なお、略同一平面とは、同一平面、ある方向から（例えば、上面視）から見た場合に同一平面に見える面（横から見た場合に段差があっても良い。）、及び、投影表示の内容を確認できる程度の平面（多少の凹凸を許容する）の少なくとも一つの平面を含む意味である。
【００３６】
図７に示すように、ウィンドウＷＤは、例えば、矩形状の枠で囲まれる領域である。ウィンドウＷＤの形状は、円状、三角形状等適宜なものとすることができる。ウィンドウＷＤの大きさは、デフォルトとして予め所定の大きさが規定されている。本実施の形態では、表示制御部５３の制御に応じて、ウィンドウＷＤが表示させられる。ウィンドウＷＤの表示態様としては、外縁（枠）のみを投影表示する態様や、ウィンドウＷＤの領域を着色して投影表示する態様が挙げられる。なお、ウィンドウＷＤは必ずしも表示されなくても良いが、ウィンドウＷＤを表示させることにより、ユーザが、入力情報がどこに表示されるのかを認識し易くすることができる。
【００３７】
なお、図７では、投影可能領域ＰＡＲ内の左下のコーナー付近にウィンドウＷＤが設定された例を示したが、これに限定されるものではない。投影可能領域ＰＡＲ内におけるウィンドウＷＤの設定位置は、例えば、以下に説明する処理に基づいて決定される。なお、以下に説明する処理は、例えば、表示制御部５３により行われる。
【００３８】
一つの方法として、投影可能領域ＰＡＲ内において、ウィンドウＷＤが収まる位置がランダムに判別され、判別された位置の何れかにウィンドウＷＤが設定される。
他の方法について説明する。手ＨＡを含む腕が、テーブル４０が有する４個の辺部のうちどの辺部から入っているかが、深度情報に基づいて認識部５１により認識される。当該腕が入る辺の近くにおける投影可能領域ＰＡＲ内にウィンドウＷＤが設定される。これにより、腕を入れたユーザからウィンドウＷＤまでの距離を短くすることができるので、ユーザがウィンドウＷＤに投影表示される情報を見易くなる。
他の方法について説明する。テーブル４０の天面４０Ａが略均等（例えば、田の字状に）に４分割され、各領域における投影可能領域の面積が求められる。そして、面積の一番大きな投影可能領域を有する領域のコーナーに近い位置にウィンドウＷＤが設定される。これにより、この後の手ＨＡの移動に対し、ウィンドウＷＤの位置変更を極力、発生させないようにすることができる。
他の方法について説明する。入力に用いられている手の位置の左側にウィンドウＷＤが配置される。これにより、文字入力の開始した後に、文字を入力する方向（例えば、右側）へ手ＨＡが動かされた場合でも、ウィンドウＷＤの位置変更を極力、発生させないようにすることができる。また、文字の入力が縦方向に行われる場合には、入力に用いられている手の位置の上側にウィンドウＷＤが配置される。これにより、文字を入力する方向（例えば、下側）へ手ＨＡが動かされた場合でも、ウィンドウＷＤの位置変更を極力、発生させないようにすることができる。
他の方法について説明する。例えば、過去数フレームの手の位置から手ＨＡの動きを予測し、この後に手ＨＡの向かいそうな位置を避けてウィンドウＷＤを配置しても良い。手ＨＡが向かう方向を避ける箇所にウィンドウＷＤが配置されるので、文字を入力する方向へ手ＨＡが動かされた場合でも、ウィンドウＷＤの位置変更を極力、発生させないようにすることができる。
【００３９】
なお、上述した方法の何れかを適用してもウィンドウＷＤを場所的に設定できない場合に、他の方法が適用されても良い。また、投影可能領域ＰＡＲの大きさに余裕がある場合には、デフォルトで規定されたウィンドウＷＤのサイズを大きくしても良い。反対に、デフォルトで規定されたサイズのウィンドウＷＤが設定できない場合には、ウィンドウＷＤのサイズを小さくしても良い。ウィンドウＷＤのサイズを小さくせずに所定の報知が行われても良い。所定の報知は、制御部５０の制御により出力部３０を介して行われる。かかる所定の報知は、投影可能領域ＰＡＲを拡大させる報知である。報知の内容の具体例は、ユーザに対して、天面４０Ａ上の実物体を移動させたり、手ＨＡの位置を移動させる内容である。図８に示すように、物品７０が大きい場合には天面４０Ａ上から物品７０を取り除くことを促す報知がなされる。物品７０が取り除かれると、投影可能領域ＰＡＲを拡大させることができる。また、手ＨＡの高さ方向の位置が高く天面４０Ａに遠い場合には、手ＨＡの位置を下げることを促す報知がなされる。手ＨＡが天面４０Ａに近づくと影領域ＳＨＡが小さくなり、投影可能領域ＰＡＲを拡大させることができる。
【００４０】
上述した報知は、例えば、出力部３０がスピーカを有する構成とし、当該スピーカから音声を再生することによりなされる。音声に限らず、投影表示により報知がなされても良い。例えば、図９のハッシング付した箇所により示すように、投影可能領域ＰＡＲを狭めてしまう要因の箇所（図示の例では、手ＨＡや物品７０）を所定の色（例えば、赤色）で着色する投影表示がなされても良い。
【００４１】
なお、ユーザがウィンドウＷＤの位置を把握しやすいように、手ＨＡとウィンドウＷＤとを対応づける情報が投影表示されても良い。例えば、図１０に示すように、手ＨＡの甲付近からウィンドウＷＤまでを結ぶ線ＬＮが投影表示されても良い。また、図１１に示すように、手ＨＡの甲付近にウィンドウＷＤを指し示す矢印ＡＷが投影表示されても良い。
【００４２】
ウィンドウＷＤ内には、手ＨＡを模したＣＧの手ＣＨＡ（仮想的な操作体の一例）が出力部３０により投影表示される。ウィンドウＷＤは投影可能領域ＰＡＲ内に設定されているので、手ＣＨＡ及びウィンドウＷＤ内に投影表示される情報を、ユーザが認識することができる。手ＣＨＡの動きは、実際の手ＨＡの動きに連動する。手ＣＨＡの初期位置は、文字入力が行い易いようにウィンドウＷＤ内の左側に寄せた配置にされる。なお、この状態において、手ＨＡがウィンドウＷＤからはみ出しそうになったら、手ＨＡの位置がウィンドウＷＤ内に収まるように留めおかれる。なお、手ＣＨＡの形状や大きさ等が、深度情報から得られる手ＨＡの形状等（例えば、大人の手／子供の手の区別）に、より適合するように投影表示されても良い。
【００４３】
続いて、認識部５１による認識結果に基づいて、表示制御部５３により手ＨＡによる文字入力の開始が検出される。例えば、人差し指を天面４０Ａに向けて下げる姿勢が認識された場合に、文字入力が開始されたと検出される。より具体的には、天面４０Ａから手ＨＡの甲までの距離と、天面４０Ａから手ＨＡの指先までの距離との差分が所定の閾値より大きくなった場合に、文字入力が開始されたと検出される。テーブル４０の天面４０Ａからの距離を用いているのは、入力部２０（例えば、カメラ）が斜めに設けられている場合には、光軸上における距離差となってしまい、文字入力の開始を正確に検出できない虞がある理由に基づいている。
【００４４】
表示制御部５３は、文字入力の開始を検出した場合に、ウィンドウＷＤ内に入力開始の起点を表示させる。本例では、手ＨＡ、具体的には手ＨＡの指先を使用した入力がなされる。そこで、図１２に示すように、ウィンドウＷＤ内の手ＣＨＡの指先を赤色等で着色した着色部７１が、入力開始の起点の一例として投影表示される。これにより、文字入力の開始が機器側で認識され入力が受け付けられる状態になったことを、ユーザが認識することができる。着色部７１を投影表示するのに加え、手ＣＨＡの甲に現状の状態を示すマーカーなどを投影するなどして、文字入力の開始が機器側で認識されたことをユーザに報知しても良い。また、実際の手ＨＡの指先にも着色部７１と同様の色の点を投影表示しても良い。
【００４５】
着色部７１が手ＣＨＡの指先に投影表示されたことを認識したユーザは、自身の手ＨＡを空中上で動かし、入力情報の一例である文字、具体的には文字に対応する曲線を描く。文字を描く動作、換言すれば、文字の軌跡が認識部５１によりリアルタイムに認識され、この軌跡に対応する表示データが表示制御部５３により生成される。生成された表示データが出力部３０により出力され、図１３Ａに示すように、ユーザの手ＨＡに描かれた文字（図示の例では「Ｏ」）がウィンドウＷＤ内に表示される。
【００４６】
なお、手ＨＡで文字を書く操作を行う場合には、一般にユーザから視て左側から右側に向かって手ＨＡが動かされる。この動きに連動して、ウィンドウＷＤ内の手ＣＨＡ左側から右側に向かって動くように投影表示される。このため、右側に向かっていった手ＣＨＡがウィンドウＷＤ内に収まらなくなる虞がある。そこで、表示制御部５３は、手ＣＨＡの位置とウィンドウＷＤとの関係に基づいて、ウィンドウＷＤのサイズを変更し、サイズを変更したウィンドウＷＤを投影表示させるようにしても良い。例えば、手ＣＨＡの甲の中心とウィンドウＷＤの右側端部との距離が閾値以下となった場合には、図１３Ａに示すように、ウィンドウＷＤが右側に拡大されるようにしても良い。ウィンドウＷＤのサイズの拡大は、一度に拡大されても良いし、徐々に拡大されても良い。ウィンドウＷＤのサイズが適切なサイズに更新されるので、図１３Ｂに示すように、ウィンドウＷＤ内に手ＣＨＡ及びユーザによって描かれた文字列（図示の例では、「ＯＷ」）を投影表示することができる。
【００４７】
なお、ウィンドウＷＤのサイズを拡大できない場合や、手ＨＡの位置が移動することにより移動後の手ＨＡによりウィンドウＷＤが遮蔽されてしまう虞もある。そこで、表示制御部５３は、手ＨＡの位置とウィンドウＷＤの位置との関係に基づいて、ウィンドウＷＤを再設定（再配置）しても良い。
【００４８】
ウィンドウＷＤを再設定する処理は、例えば、以下にようにして行われる。図１４Ａに示すように、ユーザは、指先で文字を描くようにしながら手ＨＡを左側から右側に向かって動かす。なお、ウィンドウＷＤは、天面４０Ａの右下コーナー付近に設定されているものとする。そして、例えば、図１４Ｂに示すように、手ＨＡの領域とウィンドウＷＤの領域とが重なる領域の面積が閾値を超えた場合に、ウィンドウＷＤが再設定される。ウィンドウＷＤを再設定する方法としては、上述したウィンドウＷＤを設定する方法の何れかを適用することができる。そして、再設定された位置（図１４Ｂに示す例では、天面４０Ａの左下コーナー付近）にウィンドウＷＤが投影表示される。かかる処理が行われることで、ユーザは、ウィンドウＷＤがあたかも右側から左側に移動している様子を認識する。ウィンドウＷＤの移動は、瞬間的に行われてもよく、移動元から移動先まで所定のアニメーションを用いて行われても良い。また、文字入力モード中はウィンドウＷＤの移動を避けるために、ウィンドウＷＤ及びウィンドウＷＤ内の手ＣＨＡや文字が縮小され、手ＣＨＡや文字がウィンドウＷＤ内の領域に収まるようにしても良い。以上の処理を行うことにより、図１４Ｃに示すように、移動後の手ＨＡによってウィンドウＷＤが遮蔽されてしまうことを防止することができる。従って、ユーザは、ウィンドウＷＤ内に投影表示されている文字等を認識することができる。なお、図１４Ａ〜図１４Ｃでは、図示のスペースの都合上、天面４０Ａの大きさ等を適宜、縮小している。
【００４９】
天面４０Ａから手ＨＡの甲までの距離と、天面４０Ａから指先までの距離との差分が所定の閾値より小さくなった場合に、文字入力が終了されたと制御部５０により判断される。なお、上述したようにウィンドウＷＤを拡大させる場合には、拡大させるために必要な領域が無くなったら、文字入力が終了されたと判断されるようにしても良い。文字入力の終了が検出されると、文字入力モードが解除される。文字入力モードが解除されると、手ＨＡが動いた場合であっても手ＨＡの動きに基づく曲線がウィンドウＷＤ内に投影表示される処理が行われなくなる。また、ウィンドウＷＤ内への手ＣＨＡ及び着色部７１の投影表示が停止される。以上の説明した処理を繰り返すことで、複数の曲線のウィンドウＷＤ内への投影表示が行われ、ウィンドウＷＤ内に文字列が投影表示される。
【００５０】
そして、ユーザが、人差し指だけを伸ばして手を握った手ＨＡの姿勢をやめ、例えば、手の平を開く姿勢になると、それまでに描かれた曲線に合う文字が記憶制御部５２により検索される。文字に関するデータは、例えば、記憶部６０に記憶されている。記憶制御部５２により検索された検索情報（本例では文字）が入力値として扱われ、入力値がアプリケーションに応じた用途で用いられる。なお、入力された曲線に合う文字が検索されない場合は、入力値が「無し」とされても良いし、エラーを示す報知がなされても良い。検索情報に対応する表示用データが表示制御部５３により生成されても良い。そして、当該表示用データが出力部３０を介して投影表示されても良い。例えば、図１５に示すように、検索された文字「ＯＷ」がウィンドウＷＤ内に投影表示されても良い。文字「ＯＷ」の投影表示が数秒程度なされた後に、ウィンドウＷＤ及びウィンドウＷＤ内の文字等が消去される。入力された曲線に合う文字の検索が必ずしも行われる必要はない。ウィンドウＷＤ内に投影表示された文字や絵等の入力情報が自動でメモリに記憶されても良いし、プリンタによって印刷されるようにしても良い。
【００５１】
［処理の流れ］
続いて、図１６〜図２０に示すフローチャートを参照しつつ、第１の実施の形態にかかる情報処理システム１０で行われる処理の流れの一例について説明する。なお、以下に説明する処理は、特に断らない限り制御部５０により行われる。
【００５２】
（全体の処理の流れ）
図１６は、全体の処理の流れの一例を示すフローチャートである。ステップＳ１では、認識部５１による認識結果に基づいて、認識部５１のセンシング可能領域内に手ＨＡが存在するか否かが判断される。手ＨＡが存在しない場合は、ステップＳ１の判断処理が繰り返される。手ＨＡが存在する場合は、処理がステップＳ２に進む。
【００５３】
ステップＳ２では、認識部５１により認識された手ＨＡの形状が判断される。手ＨＡの形状が人差し指のみを伸ばして握る形状（以下、この形状を、ポインティングを行う形状と称する場合もある。）である場合には、処理がステップＳ３に進む。ステップＳ３では、文字入力処理が行われる。手ＨＡの形状がポインティングを行う形状以外の場合には、処理がステップＳ４に進む。ステップＳ４では、手の形状に対応したジェスチャ判定及び判定結果に基づく処理が行われる。なお、手ＨＡの形状がポインティングを行う形状以外の場合には、ジェスチャ判定等の処理が特段、行われないようにしても良く、ステップＳ２の判断処理が繰り返されるようにしても良い。
【００５４】
（文字入力処理の流れ）
図１７は、文字入力処理の流れの一例を示すフローチャートである。ステップＳ１１では、ウィンドウＷＤの位置決め処理が行われる。そして、処理がステップＳ１２に進む。
【００５５】
ステップＳ１２では、ステップＳ１１にかかる処理で位置決めされたウィンドウＷＤのサイズが規定のサイズ未満であるか否かが判断される。規定のサイズは、テーブル４０の天面４０Ａの大きさや、ウィンドウＷＤ内にＣＧの手ＣＨＡ及び入力情報を投影表示するのに必要なサイズ等に基づいて、適切に設定される。ここで、投影可能領域ＰＡＲに設定可能なウィンドウＷＤのサイズが規定のサイズ未満である場合には、処理がステップＳ１３に進む。
【００５６】
ステップＳ１３では、ウィンドウＷＤを設定できる領域が見つからなかったことがユーザに報知され、処理が終了する。かかる報知は、投影表示に限られることなく、音声、振動、ディスプレイへの表示、これらを組み合わせたもの等、何でも良い。また、ウィンドウＷＤが描画中である場合には当該ウィンドウＷＤが消去される。
【００５７】
投影可能領域ＰＡＲに設定可能なウィンドウＷＤのサイズが規定のサイズ未満でない場合には、処理がステップＳ１４に進む。ステップＳ１４では、ウィンドウＷＤが、設定位置に描画される。なお、ウィンドウＷＤの位置が再設定された場合には、元の位置から新しい位置まで、ウィンドウＷＤがアニメーション等により移動させられる。そして、処理がステップＳ１５に進む。
【００５８】
ステップＳ１５では、実際の手ＨＡと描画中のウィンドウＷＤとを結ぶ線が描画される。そして、処理がステップＳ１６に進む。
【００５９】
ステップＳ１６では、描画中のウィンドウＷＤ内に描画されるＣＧの手ＣＨＡの位置及び姿勢が決定される。そして、処理がステップＳ１７に進む。
【００６０】
ステップＳ１７では、ステップＳ１６で決定された位置及び姿勢の手ＣＨＡがウィンドウＷＤ内に描画される。そして、処理がステップＳ１８に進む。
【００６１】
ステップＳ１８では、軌跡情報を更新する処理が行われる。そして、処理がステップＳ１９に進む。
【００６２】
ステップＳ１９では、更新された軌跡情報が入力情報としてウィンドウＷＤ内に描画される。そして、処理がステップＳ２０に進む。
【００６３】
ステップＳ２０では、手ＨＡの形状がポインティング以外であるか否かが判断される。手ＨＡの形状がポインティングであれば、処理がステップＳ１１に戻る。なお、ステップＳ１１に戻らず、ステップＳ１８に戻り軌跡情報の更新がなされても良い。手ＨＡの形状がポインティング以外である場合には、処理がステップＳ２１に進む。
【００６４】
ステップＳ２１では、軌跡情報に適合する文字の検索がなされる。例えば、記憶部６０に記憶されている情報を対象にした検索が行われる。そして、処理がステップＳ２２に進む。
【００６５】
ステップＳ２２では、軌跡情報に適合する文字が検索されたか否かが判断される。ここで、軌跡情報に適合する文字が検索されない（文字が見つからない）場合には、処理がステップＳ２３に進む。
【００６６】
ステップＳ２３では、描画中のウィンドウＷＤが消去される。そして、処理が終了する。
【００６７】
ステップＳ２２の判断処理において、軌跡情報に適合する文字が検索された場合には、処理がステップＳ２４に進む。
【００６８】
ステップＳ２４では、検索された文字（検索情報の一例）がウィンドウＷＤ内に規定の時間（例えば、数秒から１分程度）、描画される。そして、処理がステップＳ２５に進む。
【００６９】
ステップＳ２５では、検索された文字が入力として登録（記憶）される。検索された文字に応じた処理が行われるようにしても良い。
【００７０】
（ウィンドウの位置決め処理の流れ）
図１８は、上述したステップＳ１１にかかるウィンドウの位置決め処理の流れの一例を示すフローチャートである。ステップＳ３１では、ウィンドウＷＤを設定可能な投影可能領域ＰＡＲが算出される。そして、処理がステップＳ３２に進む。
【００７１】
ステップＳ３２では、投影表示されるウィンドウＷＤの配置位置が投影可能領域ＰＡＲ内で探索される。なお、初回の処理では、ウィンドウＷＤの大きさはデフォルトの大きさとして所定のサイズに設定されている。ウィンドウＷＤの配置位置に関する決定方法の具体例は上述した通りである。そして、処理がステップＳ３３に進む。
【００７２】
ステップＳ３３では、ウィンドウＷＤの配置位置の探索が失敗したか否かが判断される。即ち、所定のサイズのウィンドウＷＤが投影可能領域ＰＡＲ内の所定箇所に配置できないか否かが判断される。ウィンドウＷＤの配置位置の探索が失敗した場合には、処理がステップＳ３４に進む。
【００７３】
ステップＳ３４では、ウィンドウＷＤのサイズが縮小される。縮小の度合いは適宜、設定することができる。そして、処理がステップＳ３２に戻り、サイズが縮小されたウィンドウＷＤの位置探索が再度、行われる。なお、ステップＳ３３の判断処理がＹｅｓの場合に、投影可能領域ＰＡＲを拡大させる報知がなされても良い。その上で、ウィンドウＷＤのサイズを縮小せずに元のサイズのウィンドウＷＤの位置探索が再度、行われるようにしても良い。
【００７４】
ウィンドウＷＤの配置位置の探索が失敗せずに成功した場合には、処理が終了する。上述したように、この後、位置探索が成功したウィンドウＷＤのサイズが規定のサイズ未満であるか否かの判断がなされる（ステップＳ１２にかかる処理）。
【００７５】
（ＣＧの手の位置・姿勢決め処理の流れ）
図１９は、上述したステップＳ１６にかかるＣＧの手の位置・姿勢決め処理の流れの一例を示すフローチャートである。ステップＳ４１では、実際の手ＨＡの位置と姿勢に合わせて、ＣＧの手ＣＨＡの位置と姿勢を更新して描画する処理が行われる。初回の処理では、例えば、ウィンドウＷＤ内の左寄りに手ＣＨＡが描画される。なお、ＣＧの手ＣＨＡの位置や姿勢は、手ＨＡの位置や姿勢の変化に連動するように更新され、更新後の位置や姿勢の手ＣＨＡがウィンドウＷＤ内に描画される。そして、処理がステップＳ４２に進む。
【００７６】
ステップＳ４２では、ウィンドウＷＤ内にＣＧの手ＣＨＡが収まっているか否かが判断される。ウィンドウＷＤ内にＣＧの手ＣＨＡが収まっている場合は、処理が終了する。ウィンドウＷＤ内にＣＧの手ＣＨＡが収まっていない場合は、処理がステップＳ４３に進む。
【００７７】
ステップＳ４３では、ＣＧの手ＣＨＡがウィンドウＷＤ内に収まるように、手ＣＨＡの位置がシフトされる（移動される）。手ＣＨＡのサイズが変更されても良い。そして、処理が終了する。
【００７８】
（軌跡情報の更新処理の流れ）
図２０は、上述したステップＳ１８にかかる軌跡情報の更新処理の流れの一例を示すフローチャートである。ステップＳ５１では、手ＨＡの甲とテーブル４０の天面４０Ａとの間の距離Ｄ１と、手ＨＡの指先とテーブル４０の天面４０Ａとの間の距離Ｄ２との差分（Ｄ１−Ｄ２）が閾値以上であるか否かが判断される。差分（Ｄ１−Ｄ２）が閾値未満である場合は、処理が終了する。差分（Ｄ１−Ｄ２）が閾値以上である場合は、処理がステップＳ５２に進む。
【００７９】
ステップＳ５２では、ウィンドウＷＤ内の手ＣＨＡの指先（入力開始の起点の一例）に着色部７１が描画される。そして、処理がステップＳ５３に進む。
【００８０】
ステップＳ５３では、指先の位置変化量が軌跡情報として追加される。指先の位置変化量は、例えば、フレーム毎や所定フレーム数毎に検出される。かかる軌跡情報が、ステップＳ１９の処理でウィンドウＷＤ内に描画される。そして、処理がステップＳ５４に進む。
【００８１】
入力に伴って手ＨＡの位置が変化し、かかる変化に伴ってＣＧの手ＣＨＡの位置も変化する。そこで、ステップＳ５４では、手ＣＨＡがウィンドウＷＤ内に収まっているか否かが判断される。手ＣＨＡがウィンドウＷＤ内に収まっていない場合は、処理がステップＳ５５に進み、ウィンドウＷＤ内を拡大する処理が行われる。そして、処理が終了する。
【００８２】
手ＣＨＡがウィンドウＷＤ内に収まっている場合は、処理が終了する。なお、ステップＳ５１の判断処理において、差分（Ｄ１−Ｄ２）が閾値である状態が続いている間は、着色部７１の描画が継続されると共に、手ＨＡの指先の位置変化量が軌跡情報として追加される。
【００８３】
以上、説明した第１の実施の形態によれば、手等により視覚的に遮蔽されない位置にウィンドウを投影表示することができる。また、当該ウィンドウ内に入力情報を投影表示することにより、指等を動かすことで得られる入力情報をユーザが視覚的に認識することができる。また、入力開始の起点が表示されるので、ユーザは、自身の指等による入力が情報処理システムによって受け付けられたことを認識することができると共に、ユーザが入力のイメージを想起し易くすることができる。
【００８４】
＜第２の実施の形態＞
次に、第２の実施の形態について説明する。なお、特に断らない限り、第１の実施の形態で説明した事項は、第２の実施の形態に適用することができる。また、既に説明した構成と同一又は同質の構成については同一の参照符号を付し、重複した説明を省略する。
【００８５】
第２の実施の形態にかかる情報処理システムの構成及び機能は、情報処理システム１０の構成及び機能を適用することができる。第２の実施の形態が第１の実施の形態と異なる点は、第１の実施の形態にかかる情報処理システム１０が一人のユーザにより使用されるのに対して、第２の実施の形態にかかる情報処理システム１０が複数（例えば、二人）のユーザにより使用される点である。
【００８６】
例えば、天面４０Ａが有する長辺部の一方に向かうように一人のユーザＡがおり、他方の長辺部に向かうように他のユーザＢがいる例を考える。ユーザＡ及びユーザＢは、例えば、天面４０Ａの対角方向に沿う方向に位置している。ユーザＡ及びユーザＢが、互いに対向するように位置していても良い。各ユーザは、第１の実施の形態と同様に、指等を使用して文字や絵等を空間上で描く。かかる文字等を描く動作に応じた入力情報がウィンドウ内に投影表示される。
【００８７】
第２の実施の形態では、例えば、図２１に示すように、各ユーザに対応するウィンドウＷＤが天面４０Ａに投影表示される。具体的には、ユーザＡに対応するウィンドウＷＤ１が、ユーザＡにから視て左側に投影表示される。また、ユーザＢに対応するウィンドウＷＤ２が、ユーザＢから視て左側に投影表示される。ウィンドウＷＤ１、ＷＤ２は、第１の実施の形態と同様に、ユーザＡの手ＨＡ１、ユーザＡの手ＨＡ２の認識結果に基づいて設定される。
【００８８】
投影表示されたウィンドウが、どのユーザに対応するウィンドウかを認識し易くするために、ユーザと当該ユーザのウィンドウとを対応付ける情報が投影表示される。図２１に示す例では、手ＨＡ１とウィンドウＷＤ１とを対応付ける情報として手ＨＡ１とウィンドウＷＤ１とを結ぶラインＬＮ１、及び、手ＨＡ２とウィンドウＷＤ２とを対応付ける情報として手ＨＡ２とウィンドウＷＤ２とを結ぶラインＬＮ２がそれぞれ投影表示されている。
【００８９】
ユーザに対応するウィンドウの投影表示位置を示す矢印が当該ユーザの手の甲付近に投影表示されても良い。図２２に示すように、例えば、手ＨＡ１の甲の付近の箇所にウィンドウＷＤ１を指し示す矢印ＡＷ１が投影表示され、手ＨＡ２の甲の付近の箇所にウィンドウＷＤ２の方向を示す矢印ＡＷ２が投影表示されても良い。
【００９０】
ユーザの手と当該ユーザに対応するウィンドウとを同じ色で示す着色部が投影表示されても良い。例えば、図２３に示すように、手ＨＡ１及び手ＨＡ２が認識部５１によりそれぞれ認識されると、それぞれの手を異なる色で着色する着色部が投影表示される。例えば、手ＨＡ１全体に対して赤色の着色部８１が投影表示され、手ＨＡ２全体に対して緑色の着色部８２が投影表示される。着色部８１、８２の色は、適宜、設定することができる。
【００９１】
そして、図２４に示すように、手ＨＡ１に対応するウィンドウＷＤ１に対しても着色部８１と同色の着色部８１Ａが投影表示される。また、手ＨＡ２に対応するウィンドウＷＤ２に対しても着色部８２と同色の着色部８２Ａが投影表示される。ユーザと当該ユーザのウィンドウとを対応づける情報は、上述した情報を組み合わせた情報でも良いし、他の情報であっても良い。
【００９２】
以上、複数のユーザが情報処理システム１０を使用する際に、ユーザ毎のウィンドウを投影表示する例について説明したが、全て又は一部のユーザに共通するようにウィンドウが投影表示されても良い。例えば、図２５Ａに示すように、ユーザＡに対応するウィンドウＷＤ１が投影表示されている際に、ユーザＢが情報処理システム１０のユーザとして参加し天面４０Ａ上に手ＨＡ２をかざす。手ＨＡ２の形状が図２５Ｂに示すようにポインティングを行う形状に遷移すると、ウィンドウＷＤ１内に手ＨＡ２に対応するＣＧの手ＣＨＡ２が投影表示される。手ＨＡ１、ＨＡ２の操作に伴う入力情報は、ユーザＡ及びユーザＢに共通するウィンドウであるウィンドウＷＤ１内に投影表示される。図２５Ｂに示すように、手ＨＡ１とウィンドウＷＤ１とを結ぶ線ＬＮ１、及び、手ＨＡ２とウィンドウＷＤ１とを結ぶ線ＬＮ３とが投影表示されても良い。また、図２６に示すように、ウィンドウＷＤ１内に複数のＣＧの手（図示の例では、手ＣＨＡ１及び手ＣＨＡ２）が投影表示される場合には、ウィンドウＷＤ１のサイズが拡大されても良い。これにより、ウィンドウＷＤ１内に投影表示される、複数の手ＨＡによる入力に基づく入力情報が煩雑となってしまうことを防止することができる。
【００９３】
かかる態様にてウィンドウを投影表示することにより、ユーザＡとユーザＢとが合作を行う場合の入力情報を同じウィンドウＷＤ内に投影表示することができる。なお、ユーザ毎のウィンドウを投影表示するか、又は、複数のユーザに共通するウィンドウを投影表示するかをモードとして設定できるようにしても良い。
【００９４】
なお、第１の実施の形態と同様に、手ＨＡ１の形状変化に基づいて、入力開始の起点の一例である着色部（不図示）が手ＣＨＡ１の指先に投影表示される。また、手ＨＡ２の形状変化に基づいて、入力開始の起点の一例である着色部（不図示）が手ＣＨＡ２の指先に投影表示される。
【００９５】
次に、第２の実施の形態にかかる処理の流れの一例について、図２７及び図２８のフローチャートを参照して説明する。なお、以下の説明では、第１の実施の形態にかかる処理と異なる点を中心に説明する。
【００９６】
図２７のフローチャートに示すステップＳ１〜Ｓ４にかかる処理は、第１の実施の形態と同様の処理である。図２７のフローチャートのステップＳ６１、Ｓ６２で示すように、ステップＳ２〜Ｓ４にかかる処理が複数のユーザ毎（具体的には、ユーザの手毎）に行われる。
【００９７】
第２の実施の形態にかかる文字入力処理の内容は、第１の実施の形態と基本的に同じである。なお、第２の実施の形態にかかる文字入力処理では、ユーザ毎のウィンドウが描画されても良いし、複数のユーザに共通するウィンドウが描画されても良い。また、認識部５１により認識される複数のユーザの手の位置に基づいて、ユーザ毎のウィンドウを描画するか、又は、複数のユーザに共通するウィンドウを描画するのかが決定されるようにしても良い。この処理の流れを、図２８にフローチャートを参照して説明する。
【００９８】
図２８に示すフローチャートにおいて、ステップＳ３１では、所定の手に関するウィンドウの投影可能領域が算出される。そして、処理がステップＳ７１に進む。
【００９９】
ステップＳ７１では、認識部５１により認識された所定の手以外に他の手が存在するか否かが判断される。他の手が存在しない場合は、即ち、手が一つの場合には処理がステップＳ３２に進み、上述したステップＳ３２〜Ｓ３４にかかる処理が行われる。
【０１００】
ステップＳ７１の判断処理において、他の手が存在すると判断された場合には、処理がステップＳ７２に進む。なお、他の手に関するウィンドウが配置される領域は、既に設定済みとする。ステップＳ７２では、所定の手と他の手との間の距離が閾値以内か否か、即ち、所定の手に近い手が存在するか否かが判断される。所定の手に近い手が存在しない場合は、処理がステップＳ７３に進む。
【０１０１】
ステップＳ７３では、所定の手に関するウィンドウの投影可能領域から、他の手に関するウィンドウの領域が除去される。そして、処理がステップＳ３２に進む。かかる処理により、ユーザの手毎のウィンドウを設定することができる。ステップＳ７２にかかる判断処理において、所定の手に近い手が存在する場合は、処理がステップＳ７４に進む。
【０１０２】
ステップＳ７４では、他の手に対応するウィンドウの位置が取得され、当該ウィンドウが所定の手に対応するウィンドウにもなるように設定される。具体的には、他の手に対応するウィンドウ内に当該他の手に対応するＣＧの手と、所定の手に対応するＣＧの手とが投影表示される。そして、処理が終了する。
【０１０３】
以上、説明したように、情報処理システム１０が複数のユーザによって使用されても良い。また、各ユーザが個別に入力を行う場合や、お互いの入力により合作を作成する場合等、情報処理システム１０の用途に応じた適切なウィンドウを投影表示することができる。
【０１０４】
なお、本実施の形態では、同じ長辺部側に複数のユーザが存在しても良い。例えば、本実施の形態にかかる情報処理システムを教育用のアプリケーションに適用し、一人一人のワークなのか、複数のユーザによるワークなのかによってウィンドウのサイズを設定できるようにしても良い。また、同じウィンドウ内に複数のユーザのそれぞれの入力情報を投影表示する場合に、入力情報の色を異なる等することにより、ユーザ毎の入力情報が区別可能に投影表示されても良い。
【０１０５】
＜第３の実施の形態＞
次に、第３の実施の形態について説明する。なお、特に断らない限り、第１、第２の実施の形態で説明した事項は、第３の実施の形態に適用することができる。また、既に説明した構成と同一又は同質の構成については同一の参照符号を付し、重複した説明を省略する。
【０１０６】
図２９は、第３の実施の形態にかかる情報処理システム（情報処理システム１０Ａ）の構成例を示す図である。情報処理システム１０Ａは、テーブル４０の天面４０Ａに物品７０が載置されていない点を除いては、情報処理システム１０にかかる構成と同一である。
【０１０７】
天面４０Ａには、出力部３０を介して、所定のオブジェクトが投影表示される。本実施の形態では、所定のオブジェクトとして世界地図（以下、地図ＭＡと適宜、称する）が投影表示されている。なお、地図ＭＡの形状及び地図ＭＡにおける各国の投影表示位置が入力部２０を介して取得され、認識部５１により認識される。
【０１０８】
図３０に示すように、天面４０Ａの上方にユーザの手ＨＡがかざされる。手ＨＡの姿勢として、例えば、中指、薬指及び小指の３本の指を曲げた姿勢が検出されると、制御部５０のモードが拡大鏡モードに設定される。制御部５０のモードが拡大鏡モードに設定されると、第１の実施の形態と同様にウィンドウＷＤ５が設定され、ウィンドウＷＤ５が天面４０Ａに投影表示される。例えば、図３０に示すように、地図ＭＡと重ならない箇所にウィンドウＷＤ５が投影表示される。
【０１０９】
ウィンドウＷＤ５内には、手ＨＡによって視覚的に遮蔽される（手ＨＡの影により隠れてしまう）地図ＭＡの箇所が投影表示される。例えば、手ＨＡの直下に投影表示されていた地図ＭＡの箇所がウィンドウＷＤ５内に投影表示される。なお、手ＨＡの直下及びその周辺に投影表示されていた地図ＭＡの箇所がウィンドウＷＤ５内に投影表示されても良い。
【０１１０】
図３１は、ウィンドウＷＤ５内の投影表示例を示す図である。例えば、手ＨＡにより地図ＭＡにおける日本付近が視覚的に遮蔽される例を想定する。本例では、図３１に示すように、地図ＭＡにおけるが日本付近がウィンドウＷＤ５内に投影表示される。また、ウィンドウＷＤ５内には、手ＨＡの形状を模したＣＧの手ＣＨＡが投影表示される。拡大鏡モードでは、ウィンドウＷＤ５内に投影表示されている箇所が手ＨＡによるピンチイン／ピンチアウトの操作により拡大／縮小される。
【０１１１】
手ＨＡを用いた入力の開始が検出される。入力の開始は、例えば、以下のようにして制御部５０（例えば、表示制御部５３）により検出される。入力の開始が検出されると、表示制御部５３の制御に応じて、入力の開始の起点の一例である着色部が投影表示させられる。本例では、親指の指先と人差し指の指先とを使用したピンチイン／ピンチアウトの操作が行われることから、着色部は、親指の指先及び人差し指の指先のそれぞれに投影表示される。
【０１１２】
表示制御部５３が入力の開始の起点を投影表示させる具体例について説明する。天面４０Ａから手ＨＡの甲までの高さをＨ５とする。天面４０Ａから手ＨＡの人差し指までの高さをＨ５Ａとする。高さＨ５と高さＨ５Ａとの差分が閾値である規定量より大きくなったことが検出されると入力が開始されたと判断される。そして、表示制御部５３は、図３２Ａに示すように、人差し指の指先に着色部７３Ａを投影表示させる。
【０１１３】
また、天面４０Ａから手ＨＡの親指までの高さをＨ５Ｂとする。高さＨ５と高さＨ５Ｂとの差分が共に閾値である規定量より大きくなったことが検出されると入力が開始されたと判断される。そして、表示制御部５３は、図３２Ｂに示すように、親指の指先にも着色部７３Ｂを投影表示させる。このように、本実施の形態では、複数の入力の起点が投影表示される。なお、人差し指及び親指の位置によっては、着色部７３Ｂが先に投影表示される場合もあれば、着色部７３Ａ及び着色部７３Ｂが略同時に投影表示される場合もある。
【０１１４】
着色部７３Ａ、７３Ｂが投影表示されると、ユーザは、ピンチイン／ピンチアウトの入力操作が情報処理システム１０Ａによって受け付け可能な状態になったことを認識する。ユーザは、手ＨＡを用いてピンチイン／ピンチアウトの操作を行う。かかる操作に応じて、図３３に示すように、ウィンドウＷＤ５内の手ＣＨＡも連動して動き、ウィンドウＷＤ５内で投影表示されている日本付近の箇所が、人差し指と親指間の２点間の距離の変化に応じて拡大又は縮小する。このように、ユーザは、投影表示されているオブジェクトの一部が拡大又は縮小する様子を、ウィンドウＷＤ５に視線を向けることにより確認することができる。
【０１１５】
なお、例えば、手ＨＡによりピンチアウトの操作がなされ、ウィンドウＷＤ５内の日本付近が拡大された後、手ＨＡが移動したとする（なお、移動の際に手ＨＡの姿勢が変化しても良い）。手ＨＡの移動に伴い、移動先の手ＨＡによって遮蔽される地図ＭＡの所定箇所（例えば、中国付近）がウィンドウＷＤ５内に投影表示される。この際に、投影表示される地図ＭＡの所定箇所の拡大率は、移動前の手ＨＡによるピンチアウトの操作により設定されていた拡大率が維持されるようにする。縮小率についても同様である。これにより、ユーザは、一度、設定した拡大率や縮小率を再度、設定する必要がなくなる。
【０１１６】
なお、拡大／縮小する操作は、ピンチイン／ピンチアウトの操作以外の操作でも良い。天面４０Ａをダブルタップする操作や、押し込む操作でも良い。かかる操作を検出するセンサ（例えば、感圧センサ）が天面４０Ａに設けられていても良い。
【０１１７】
＜第４の実施の形態＞
次に、第４の実施の形態について説明する。なお、特に断らない限り、第１、第２、第３の実施の形態で説明した事項は、第４の実施の形態に適用することができる。また、既に説明した構成と同一又は同質の構成については同一の参照符号を付し、重複した説明を省略する。
【０１１８】
図３４は、第４の実施の形態にかかる情報処理システム（情報処理システム１０Ｂ）の構成例を示す図である。情報処理システム１０Ｂの構成及び機能は、物品７０が天面４０Ａに載置されていない点を除いては情報処理システム１０と基本的に同一である。
【０１１９】
ユーザの手ＨＡが認識部５１により認識されると、表示制御部５３は、ウィンドウＷＤ８を設定し、ウィンドウＷＤ８を天面４０Ａに投影表示させる。第４の実施の形態では、ウィンドウＷＤ８に文字等は投影表示されずに、図３５に示すように、例えば、ウィンドウＷＤ８内に数字のボタン配列が投影表示される。具体例としては、ウィンドウＷＤ８内に、１〜５のボタン配列と、６〜９及び０のボタン配列とが上下２段に配置された数字入力部８５が投影表示される。なお、ウィンドウＷＤ８を除く天面４０Ａには、数字のボタンは投影表示されていないものとする。
【０１２０】
ユーザは、手ＨＡを人差し指以外を曲げる姿勢にした後、入力を所望する数字に人差し指の指先が向かうように手ＨＡを動かす。手ＨＡの動きに連動して、ウィンドウＷＤ８内の手ＣＨＡの動きも連動する。ユーザは、手ＨＡを動かしつつウィンドウＷＤ８内の手ＣＨＡの動きを確認し、手ＣＨＡが所望とする数字のボタン上に移動したところで、人差し指の指先を下げることにより押す操作を行う。人差し指の指先を下げる操作が認識部５１により認識されると、その際に人差し指の指先の下にある数字が入力値として扱われる。入力値は、計算、暗号番号の入力等の値として用いられる。ウィンドウＷＤ８は、手ＨＡにより遮蔽されないため、ユーザは、自身が入力したボタンを正確に認識することができる。
【０１２１】
なお、本実施の形態において、例えば、ウィンドウＷＤ８内の人差し指の指先と数字のボタンとが重なる領域が閾値以上となった場合に、当該ボタンが入力可能になったことを示すために、当該ボタンを他のボタンと区別可能にする投影表示がなされても良い。例えば、入力可能になった数字のボタンのみが他のボタンの色と区別できるような色により着色がされても良い。また、ウィンドウＷＤ８内の人差し指の指先と数字のボタンとが重なる領域が閾値以上となった場合に、当該指先に、第１の実施の形態等で説明した着色部（例えば、着色部７１）が投影表示されても良い。このように、入力開始の起点は、投影表示された所定の箇所を非接触により操作可能になったことを示すものであっても良い。
【０１２２】
＜変形例＞
以上、本開示の複数の実施の形態について具体的に説明したが、本開示の内容は上述した実施の形態に限定されるものではなく、本開示の技術的思想に基づく各種の変形が可能である。以下、変形例について説明する。
【０１２３】
投影表示がなされる投影面は、テーブル以外にも床や壁等であっても良い。投影面は、平坦が好ましいものの、例えば、平坦な領域が少ない場合に投影可能領域ＰＡＲとして凹凸がある面が設定されても良い。例えば、ある平面及び当該平面に置かれた物体の天面を含むような凹凸がある面が投影可能領域ＰＡＲとして設定されても良い。
【０１２４】
入力開始の起点は指先だけでなく、ペン先等でも良いし、入力開始の起点に関する投影表示の態様は、円状のものでなく、三角形状や矩形状でも良いし、点状のものに限らず面状のものであっても良いし、立体形状であっても良い。
【０１２５】
上述した実施の形態において、制御部により行われる処理は必ずしもモードとして設定された処理である必要はなく、各処理が個別に独立して行われても良い。また、上述した一部の処理が、制御部５０における他の適宜な機能ブロックで行われても良い。また、上述した処理の順序が適宜、入れ替わっても良いし、複数の処理が並列的に行われても良い。各実施の形態にかかる処理は組み合わされて行われても良い。
【０１２６】
本開示は、装置、方法、プログラム、システム等により実現することもできる。例えば、上述した実施の形態で説明した機能を行うプログラムをダウンロード可能とし、実施の形態で説明した機能を有しない装置が当該プログラムをダウンロードしてインストールすることにより、当該装置において実施の形態で説明した制御を行うことが可能となる。本開示は、このようなプログラムを配布するサーバにより実現することも可能である。また、各実施の形態、変形例で説明した事項は、適宜組み合わせることが可能である。
【０１２７】
なお、本開示中に例示された効果により本開示の内容が限定して解釈されるものではない。
【０１２８】
本開示は、以下の構成も採ることができる。
（１）
取得した操作体に関するセンシング結果に基づいて入力補助領域を設定し、前記操作体を使用した入力開始が検出された場合に、当該入力補助領域内に入力開始の起点を表示させる制御部を有する
情報処理装置。
（２）
前記入力補助領域は、少なくとも前記操作体の位置に基づいて決定される投影可能領域内で設定される
（１）に記載の情報処理装置。
（３）
前記投影可能領域は、前記操作体によって視覚的に遮蔽されない領域を含む
（２）に記載の情報処理装置。
（４）
前記投影可能領域は、当該投影可能領域を含む平面上に載置された実物体を避ける領域を含む
（３）に記載の情報処理装置。
（５）
前記入力補助領域と投影可能領域が略同一平面である
（２）から（４）までの何れかに記載の情報処理装置。
（６）
前記制御部は、前記投影可能領域内に、予め規定された所定サイズの前記入力補助領域を設定できない場合に、所定の報知を行わせる
（２）から（５）までの何れかに記載の情報処理装置。
（７）
前記所定の報知は、前記投影可能領域を拡大させる報知である
（６）に記載の情報処理装置。
（８）
前記制御部は、前記操作体と前記入力補助領域とを対応づける情報を表示させる
（２）から（７）までの何れかに記載の情報処理装置。
（９）
前記制御部は、前記操作体を使用した入力に応じた入力情報を前記入力補助領域内に表示させる
（１）から（９）までの何れかに記載の情報処理装置。
（１０）
前記制御部は、前記入力補助領域内に仮想的な前記操作体を表示させ、前記仮想的な操作体の位置と前記入力補助領域との関係に基づいて、前記入力補助領域のサイズを変更する
（９）に記載の情報処理装置。
（１１）
前記制御部は、前記操作体の位置と前記入力補助領域の位置との関係に基づいて、前記入力補助領域を再設定する
（１）から（１０）までの何れかに記載の情報処理装置。
（１２）
前記制御部は、取得した複数の操作体に関するセンシング結果に基づいて、前記操作体毎の入力補助領域を設定する
（１）から（１１）までの何れかに記載の情報処理装置。
（１３）
前記制御部は、取得した複数の操作体に関するセンシング結果に基づいて、前記複数の操作体に共通する入力補助領域を設定する
（１）から（１１）までの何れかに記載の情報処理装置。
（１４）
前記操作体による所定の操作に応じて、前記制御部は、前記入力補助領域内の表示を拡大又は縮小させる
（１）から（１３）までの何れかに記載の情報処理装置。
（１５）
前記制御部は、前記入力補助領域を表示させる
（１）から（１４）までの何れかに記載の情報処理装置。
（１６）
前記制御部は、複数の前記入力の起点を表示させる
（１）から（１５）までの何れかに記載の情報処理装置。
（１７）
制御部が、取得した操作体に関するセンシング結果に基づいて入力補助領域を設定し、前記操作体を使用した入力開始が検出された場合に、当該入力補助領域内に入力開始の起点を表示させる
情報処理方法。
（１８）
制御部が、取得した操作体に関するセンシング結果に基づいて入力補助領域を設定し、前記操作体を使用した入力開始が検出された場合に、当該入力補助領域内に入力開始の起点を表示させる
情報処理方法をコンピュータに実行させるプログラム。
【符号の説明】
【０１２９】
１０，１０Ａ，１０Ｂ・・・情報処理システム
２０・・・入力部
３０・・・出力部
５０・・・制御部
５１・・・認識部
５２・・・記憶制御部
５３・・・表示制御部
７１・・・着色部
ＨＡ・・・手
ＣＨＡ・・・ＣＧの手
ＷＤ・・・ウィンドウ
ＰＡＲ・・・投影可能領域
【図１】
2020140291.tif 000003
【図２】
2020140291.tif 000004
【図３】
2020140291.tif 000005
【図４】
2020140291.tif 000006
【図５】
2020140291.tif 000007
【図６】
2020140291.tif 000008
【図７】
2020140291.tif 000009
【図８】
2020140291.tif 000010
【図９】
2020140291.tif 000011
【図１０】
2020140291.tif 000012
【図１１】
2020140291.tif 000013
【図１２】
2020140291.tif 000014
【図１３】
2020140291.tif 000015
【図１４】
2020140291.tif 000016
【図１５】
2020140291.tif 000017
【図１６】
2020140291.tif 000018
【図１７】
2020140291.tif 000019
【図１８】
2020140291.tif 000020
【図１９】
2020140291.tif 000021
【図２０】
2020140291.tif 000022
【図２１】
2020140291.tif 000023
【図２２】
2020140291.tif 000024
【図２３】
2020140291.tif 000025
【図２４】
2020140291.tif 000026
【図２５】
2020140291.tif 000027
【図２６】
2020140291.tif 000028
【図２７】
2020140291.tif 000029
【図２８】
2020140291.tif 000030
【図２９】
2020140291.tif 000031
【図３０】
2020140291.tif 000032
【図３１】
2020140291.tif 000033
【図３２】
2020140291.tif 000034
【図３３】
2020140291.tif 000035
【図３４】
2020140291.tif 000036
【図３５】
2020140291.tif 000037