(57)【要約】  本開示は、より自然な操作を実現することができるようにする情報処理装置、情報処理方法、および記録媒体に関する。設定部は、撮影画像から取得された、操作面に対して操作を行う操作体の形状情報に基づいて、操作体による操作を作用させる作用領域を決定し、作用領域における操作の判定に用いられるパラメータを設定する。本開示は、例えば、投影画像をユーザに操作させる表示システムに適用することができる。
2020166351.tif 000002
【特許請求の範囲】
【請求項１】
撮影画像から取得された、操作面に対して操作を行う操作体の形状情報に基づいて、前記操作体による操作を作用させる作用領域を決定し、前記作用領域における前記操作の判定に用いられるパラメータを設定する制御部
を備える情報処理装置。
【請求項２】
前記形状情報に基づいて、前記操作の種類を認識する操作認識部をさらに備え、
前記制御部は、認識された種類の前記操作についての前記作用領域を決定し、前記パラメータを設定する
請求項１に記載の情報処理装置。
【請求項３】
前記操作体は、ユーザの身体の部位である
請求項２に記載の情報処理装置。
【請求項４】
前記操作体は、ユーザの手であり、
前記操作認識部は、前記形状情報で示される手指の形状に基づいて前記操作の種類を認識し、
前記制御部は、前記手指の少なくとも一部を前記作用領域に決定する
請求項３に記載の情報処理装置。
【請求項５】
前記操作は、タッチ操作を含む
請求項４に記載の情報処理装置。
【請求項６】
前記制御部は、いずれか１本の指の先端、複数本の指全体の重心、および、手全体の重心の少なくともいずれかを、前記作用領域に決定する
請求項５に記載の情報処理装置。
【請求項７】
前記制御部は、前記パラメータとして、前記作用領域における前記操作が前記操作面に作用する有効範囲を設定する
請求項６に記載の情報処理装置。
【請求項８】
前記有効範囲は、前記操作面上での面積範囲を含む
請求項７に記載の情報処理装置。
【請求項９】
前記制御部は、前記パラメータとして、前記作用領域における前記操作が前記操作面に作用する、前記作用領域と前記操作面との距離の閾値をさらに設定する
請求項８に記載の情報処理装置。
【請求項１０】
前記操作は、ドラッグ操作を含む
請求項４に記載の情報処理装置。
【請求項１１】
前記制御部は、いずれか１本の指の先端、複数本の指全体の重心、および、手全体の重心の少なくともいずれかを、前記作用領域に決定する
請求項１０に記載の情報処理装置。
【請求項１２】
前記制御部は、前記パラメータとして、前記作用領域における前記操作が前記操作面に作用し始める、前記作用領域の移動距離を設定する
請求項１１に記載の情報処理装置。
【請求項１３】
前記操作は、回転操作を含む
請求項４に記載の情報処理装置。
【請求項１４】
前記制御部は、２本の指の先端を結ぶ線分、いずれか１本の指の先端と手首を結ぶ線分、および、いずれか１本の指の先端と付け根を結ぶ線分の少なくともいずれかを、前記作用領域に決定する
請求項１３に記載の情報処理装置。
【請求項１５】
前記制御部は、前記パラメータとして、前記操作面の法線方向を軸とした前記作用領域の回転が前記操作面に作用する際の、前記作用領域の回転角の倍数を設定する
請求項１４に記載の情報処理装置。
【請求項１６】
前記制御部は、前記形状情報と、前記撮影画像から取得された前記操作体の姿勢情報に基づいて、前記作用領域を決定し、前記パラメータを設定する
請求項１に記載の情報処理装置。
【請求項１７】
前記パラメータに基づいて、前記作用領域における前記操作に応じた処理の実行を制御する実行制御部をさらに備える
請求項１に記載の情報処理装置。
【請求項１８】
前記実行制御部は、前記パラメータに基づいて、前記作用領域における前記操作に応じた表示を制御する
請求項１７に記載の情報処理装置。
【請求項１９】
情報処理装置が、
撮影画像から取得された、操作面に対して操作を行う操作体の形状情報に基づいて、前記操作体による操作を作用させる作用領域を決定し、前記作用領域における前記操作の判定に用いられるパラメータを設定する
情報処理方法。
【請求項２０】
コンピュータに、
撮影画像から取得された、操作面に対して操作を行う操作体の形状情報に基づいて、前記操作体による操作を作用させる作用領域を決定し、前記作用領域における前記操作の判定に用いられるパラメータを設定する
処理を実行させるためのプログラムが記録された記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置、情報処理方法、および記録媒体に関し、特に、より自然な操作を実現することができるようにする情報処理装置、情報処理方法、および記録媒体に関する。
【背景技術】
【０００２】
近年、テーブルの天面や天井、壁など、スクリーン以外の面に画像を投影し、表示された表示情報（仮想物体）をユーザが操作することが可能な表示システムが普及しつつある。【０００３】
このような表示システムとして、例えば、特許文献１には、テーブルの天面にコップや皿などの実物体が置かれた場合、実物体との位置関係に応じて、表示されている仮想物体の移動を制御するシステムが開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１６−５１４３６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述したような仮想物体の操作は、例えばユーザの手や腕などによるタッチやジェスチャが認識されることで実現される。しかしながら、例えば手のなかで操作を作用させる箇所や、その箇所による操作の判定基準を細かく設定することは、従来の技術では考慮されておらず、自然な操作を実現することはできなかった。【０００６】
本開示は、このような状況に鑑みてなされたものであり、より自然な操作を実現することができるようにするものである。
【課題を解決するための手段】
【０００７】
本開示の情報処理装置は、撮影画像から取得された、操作面に対して操作を行う操作体の形状情報に基づいて、前記操作体による操作を作用させる作用領域を決定し、前記作用領域における前記操作の判定に用いられるパラメータを設定する制御部を備える情報処理装置である。【０００８】
本開示の情報処理方法は、情報処理装置が、撮影画像から取得された、操作面に対して操作を行う操作体の形状情報に基づいて、前記操作体による操作を作用させる作用領域を決定し、前記作用領域における前記操作の判定に用いられるパラメータを設定する情報処理方法である。【０００９】
本開示の記録媒体は、コンピュータに、撮影画像から取得された、操作面に対して操作を行う操作体の形状情報に基づいて、前記操作体による操作を作用させる作用領域を決定し、前記作用領域における前記操作の判定に用いられるパラメータを設定する処理を実行させるためのプログラムが記録された記録媒体である。【００１０】
本開示においては、撮影画像から取得された、操作面に対して操作を行う操作体の形状情報に基づいて、前記操作体による操作を作用させる作用領域を決定し、前記作用領域における前記操作の判定に用いられるパラメータが設定される。
【発明の効果】
【００１１】
本開示によれば、より自然な操作を実現することが可能となる。【００１２】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１３】
【図１】本開示の実施の形態に係る情報処理装置の概観を示す図である。
【図２】操作面に対する操作の例を示す図である。
【図３】情報処理装置の構成例を示すブロック図である。
【図４】制御部の機能構成例を示すブロック図である。
【図５】操作制御処理の流れについて説明するフローチャートである。
【図６】タッチ操作制御処理の流れについて説明するフローチャートである。
【図７】手形状によるタッチ点とタッチ有効範囲の例を示す図である。
【図８】手形状と手指の姿勢によるタッチ点とタッチ有効範囲の例を示す図である。
【図９】タッチ操作制御処理の流れについて説明するフローチャートである。
【図１０】手形状によるタッチ閾値の例を示す図である。
【図１１】ドラッグ操作制御処理の流れについて説明するフローチャートである。
【図１２】手形状によるドラッグ点とドラッグ閾値の例を示す図である。
【図１３】手形状毎のドラッグ操作に応じた表示の例を示す図である。
【図１４】回転操作制御処理の流れについて説明するフローチャートである。
【図１５】手形状による回転角取得点の例を示す図である。
【図１６】回転操作制御処理の流れについて説明するフローチャートである。
【図１７】手形状による回転角取得点と回転角倍数の例を示す図である。
【図１８】手形状毎の回転角倍数と回転可動域について説明する図である。
【図１９】操作制御処理の全体の流れについて説明するフローチャートである。
【図２０】タッチ操作の変形例について説明する図である。
【図２１】タッチ操作の変形例について説明する図である。
【図２２】コンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００１４】
以下、本開示を実施するための形態（以下、実施の形態とする）について説明する。なお、説明は以下の順序で行う。
【００１５】
１．本開示の実施の形態に係る情報処理装置の構成と動作
２．タッチ操作の例
３．ドラッグ操作の例
４．回転操作の例
５．その他
【００１６】
＜１．本開示の実施の形態に係る情報処理装置の構成と動作＞
まず、本開示の実施の形態に係る情報処理装置の構成と動作について説明する。
【００１７】
（情報処理装置の概観）
図１は、本開示の実施の形態に係る情報処理装置の概観を示す図である。
【００１８】
図１に示されるように、情報処理装置１０は、テーブル２０の上方に、例えばテーブル２０の一部から延在するアーム部材で支持され、テーブル２０の天面２１とは離隔した状態で設けられる。
【００１９】
情報処理装置１０は、テーブル２０の天面２１を操作面として、天面２１に画像を投影し、天面２１に表示された投影画像（以下、表示物体ともいう）をユーザに操作させる。
【００２０】
具体的には、情報処理装置１０は、小型のプロジェクタやカメラ、画像認識機能を備え、天面２１に表示物体を投影するとともに、その表示物体を操作するユーザの手指の動きや傾きの角度からタッチやジェスチャを認識して、表示物体に反映させる。
【００２１】
例えば、図２に示されるように、操作面である天面２１に対するユーザの手Ｈ１によるジェスチャが認識されることで、指の軌跡に対応した曲線３１が天面２１上に描かれる。また、天面２１に対するユーザの手Ｈ２によるタッチとジェスチャが認識されることで、天面２１に表示されたオブジェクト３２が、指の動きに合わせて天面２１上を移動する。
【００２２】
このような表示物体の操作は、例えばユーザの手や腕などによるタッチやジェスチャが認識されることで実現される。しかしながら、例えば手のなかで操作を作用させる（反映させる）箇所や、その箇所による操作の判定基準を細かく設定することは、従来の技術では考慮されておらず、自然な操作を実現することはできなかった。
【００２３】
そこで、本開示の実施の形態に係る情報処理装置１０は、手指や腕などの操作体の形状や姿勢に基づいて、操作体において操作を作用させる箇所（指先や手全体など）とともに、その箇所による操作の判定基準（有効範囲や閾値など）を設定できるようにする。
【００２４】
（情報処理装置の構成）
図３は、情報処理装置１０の構成例を示すブロック図である。
【００２５】
図３に示されるように、情報処理装置１０は、制御部５１、撮影部５２、入力部５３、記憶部５４、表示部５５、および出力部５６を備えている。
【００２６】
制御部５１は、ＣＰＵ（Central Processing Unit）などにより構成され、情報処理装置１０の各部を制御する。制御部５１の構成の詳細については後述する。
【００２７】
撮影部５２は、単眼カメラやステレオカメラ、距離センサなどで構成される。撮影部５２は、制御部５１の制御の下、操作面（天面２１）に対するユーザの手指や腕などの操作体を撮影する。撮影により取得された撮影画像は、制御部５１に供給される。撮影部５２は、例えばステレオカメラやデプスセンサなどとして構成される場合、制御部５１の制御の下、撮影画像として、画素毎に撮影部５２との距離情報を有する距離画像を取得し、制御部５１に供給する。
【００２８】
入力部５３は、例えばマイクロフォン、物理的なボタンやスイッチなどを含むように構成される。入力部５３は、マイクロフォンにより収音されたユーザが発する音声や周囲の環境音などの音声情報、ボタンやスイッチなどが操作されることで発生する電気信号を、入力情報として制御部５１に供給する。
【００２９】
記憶部５４は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などにより構成され、例えば、手指や腕などの操作体による操作の種類などを判定するための情報やパラメータ（以下、判定情報ともいう）を記憶する。
【００３０】
表示部５５は、例えばプロジェクタとして構成され、制御部５１の制御の下、天面２１に表示物体（投影画像）を投影する。表示部５５は、プロジェクタとして構成される以外にも、天面２１などの上に設けられるディスプレイとして構成されてもよい。この場合、表示部５５には、投影画像に相当する画像が表示される。
【００３１】
出力部５６は、例えばスピーカなどとして構成され、制御部５１の制御の下、音声や効果音などを出力する。
【００３２】
（制御部の構成）
図４は、制御部５１の機能構成例を示すブロック図である。
【００３３】
制御部５１は、撮影制御部７１、画像処理部７２、操作体検出部７３、操作認識部７４、および実行制御部７５から構成される。
【００３４】
撮影制御部７１は、撮影部５２を制御することで撮影画像を取得し、画像処理部７２に供給する。
【００３５】
画像処理部７２は、撮影制御部７１からの撮影画像に対して画像処理を施し、その画像処理の結果を、操作体検出部７３に供給する。例えば、画像処理部７２は、撮影画像において背景を除去したり、距離画像から操作体との距離を表す距離情報を生成する。
【００３６】
操作体検出部７３は、画像処理部７２からの画像処理後の撮影画像において、操作体（ユーザの身体の部位（例えばユーザの手指や腕など））を検出する。
【００３７】
具体的には、操作体検出部７３は、画像処理後の撮影画像において操作体の骨格を検出することで、操作体の特徴点（骨格情報、関節情報）を取得する。操作体の検出には、マーカ方式の他、パターンマッチング方式やディープラーニングなどが用いられてもよい。
【００３８】
操作体検出部７３は、抽出した操作体の特徴点に基づいて、操作面（天面２１）に対する操作体の形状を表す形状情報と、操作面に対して操作を行う操作体の姿勢を表す姿勢情報を生成し、操作認識部７４に供給する。
【００３９】
操作認識部７４は、操作体検出部７３からの操作体の検出結果（形状情報、姿勢情報）に基づいて、記憶部５４に記憶されている判定情報を用いて、操作体による操作の種類を認識する。
【００４０】
操作認識部７４は、設定部８１を備えている。
【００４１】
設定部８１は、撮影画像から取得された形状情報や姿勢情報に基づいて、操作認識部７４により認識された種類の操作について、操作体による操作を操作面（天面２１）に作用させる箇所（指先、手全体など）を設定（決定）する。以下、操作体において、その操作を作用させる箇所を作用領域という。作用領域は、撮影画像において面積を有する領域の他、点、２点を結ぶ線分を含むものとする。
【００４２】
また、設定部８１は、形状情報や姿勢情報に基づいて、設定した作用領域における操作の判定に用いられるパラメータ（操作が有効であるか否かの判定基準となる有効範囲や閾値など）を設定する。
【００４３】
設定部８１により設定される作用領域とパラメータは、判定情報として記憶部５４に記憶されており、形状情報や姿勢情報に応じて、記憶部５４から読み出される。
【００４４】
操作認識部７４は、設定部８１により設定されたパラメータに基づいて、操作体（作用領域）における操作が有効であるか否かを判定する。操作が有効であると判定した場合、操作認識部７４は、その操作を表す操作情報を、実行制御部７５に供給する。
【００４５】
実行制御部７５は、設定部８１により設定されたパラメータに基づいて、操作認識部７４からの操作情報（作用領域における操作）に応じた、出力部５６による処理の実行を制御する。例えば、実行制御部７５は、パラメータに基づいて、作用領域における操作に応じた、表示部５５による表示を制御する。
【００４６】
なお、制御部５１の各ブロックは、それぞれ別個に構成される以外にも、少なくともいずれかが一体として構成されてもよいし、少なくともいずれかがネットワーク上に構成され、相互に接続されたり、そのいずれかがインターネット上のクラウドサービスとして構成されてもよい。
【００４７】
（操作制御処理の流れ）
次に、図５のフローチャートを参照して、情報処理装置１０による操作制御処理の流れについて説明する。
【００４８】
ステップＳ１１において、撮影制御部７１は、撮影部５２を制御することで、操作面に対する操作体を撮影した撮影画像を取得する。
【００４９】
ステップＳ１２において、画像処理部７２は、撮影制御部７１により取得された撮影画像に対して画像処理を施す。
【００５０】
ステップＳ１３において、操作体検出部７３は、画像処理部７２からの画像処理後の撮影画像において、操作体を検出することで、操作体の形状情報と姿勢情報を生成する。
【００５１】
ステップＳ１４において、操作認識部７４は、操作体検出部７３からの形状情報と姿勢情報（少なくとも形状情報）に基づいて、操作体による操作の種類を認識する。ここで認識される操作の種類は、操作面に対する操作体のタッチ操作やドラッグ操作、回転操作の他、特定の１種類の操作であればよい。
【００５２】
ステップＳ１５において、設定部８１は、操作体検出部７３からの形状情報と姿勢情報に基づいて、操作体の作用領域とパラメータを設定する。
【００５３】
ステップＳ１６において、操作認識部７４は、パラメータに基づいて、作用領域による操作が有効であるか否かを判定する。
【００５４】
ステップＳ１６において操作が有効であると判定された場合、ステップＳ１７に進み、実行制御部７５は、パラメータに基づいて、作用領域による操作に応じた処理を実行する。
【００５５】
一方、ステップＳ１６において操作が有効でないと判定された場合、実行制御部７５は何もせず、ステップＳ１１に戻り、以降の処理が繰り返される。
【００５６】
以上の処理によれば、操作体の形状に基づいて、操作体による操作を作用させる作用領域と、作用領域による操作の判定に用いるパラメータが細かく設定されるので、より自然な操作を実現することが可能となる。
【００５７】
以下においては、ユーザの手指による操作として、タッチ操作、ドラッグ操作、および回転操作を認識する例について説明する。
【００５８】
＜２．タッチ操作の例＞
図６は、タッチ操作制御処理の流れについて説明するフローチャートである。図６の処理は、撮影部５２により、例えば天面２１に表示された表示物体を操作するユーザの手が撮影されている状態で実行される。
【００５９】
ステップＳ３１において、撮影制御部７１は、撮影部５２を制御することで、天面２１に対するユーザの手を撮影した撮影画像を取得する。
【００６０】
ステップＳ３２において、画像処理部７２は、撮影制御部７１により取得された撮影画像に対して画像処理を施す。
【００６１】
ステップＳ３３において、操作体検出部７３は、画像処理部７２からの画像処理後の撮影画像において、ユーザの手指を検出することで、手指の形状情報を生成する。
【００６２】
ステップＳ３４において、操作認識部７４は、操作体検出部７３からの形状情報に基づいて、手指による操作の種類を認識する。
【００６３】
ステップＳ３５において、操作認識部７４は、認識された操作の種類がタッチ操作であるか否かを判定する。すなわち、形状情報で表される手形状が、タッチ操作の手形状であるか否かが判定される。
【００６４】
ステップＳ３５において、操作の種類がタッチ操作でないと判定された場合、ステップＳ３１に戻り、以降の処理が繰り返される。
【００６５】
一方、ステップＳ３５において、操作の種類がタッチ操作であると判定された場合、すなわち、形状情報で表される手形状が、タッチ操作の手形状である場合、ステップＳ３６に進む。
【００６６】
ステップＳ３６において、設定部８１は、操作体検出部７３からの形状情報に基づいて、タッチ操作についての手指の作用領域とパラメータとして、タッチ点とタッチ有効範囲（タッチ点を基準とした天面２１上での面積範囲）を設定する。
【００６７】
ここで、図７を参照して、形状情報で表される手形状に対応するタッチ点とタッチ有効範囲について説明する。図７に示されるように、形状情報で表される手形状に応じて、タッチ点とタッチ有効範囲が設定される。
【００６８】
具体的には、手形状が、人差し指を１本だけ伸ばした状態の「１本人差し指」である場合、図中、十字マークで示されるタッチ点は、人差し指の先端に設定され、タッチ有効範囲は（相対的に）「狭い」範囲に設定される。
【００６９】
手形状が、手指を開いた状態の「開いた手」である場合、タッチ点は、人差し指の先端に設定され、タッチ有効範囲は「狭い」範囲に設定される。
【００７０】
手形状が、手指を閉じた状態の「閉じた手」である場合、タッチ点は、親指を除いた指全体の重心（中指の第２関節近傍）に設定され、タッチ有効範囲は（相対的に）「広い」範囲に設定される。
【００７１】
手形状が、手の甲を下に向けて手指を閉じた状態の「閉じた手」である場合、タッチ点は、親指を除いた指全体の重心（中指の第２関節近傍）に設定され、タッチ有効範囲は「広い」範囲に設定される。
【００７２】
手形状が、手指を握った状態の「握りこぶし」である場合、タッチ点は、手（握りこぶし）全体の重心（手指を握った状態での中指の第１関節近傍）に設定され、タッチ有効範囲は「広い」範囲に設定される。
【００７３】
手形状が、小指側を下に向けて手指を握った状態の「握りこぶし」である場合、タッチ点は、手（握りこぶし）全体の重心（手指を握った状態での小指の付け根近傍）に設定され、タッチ有効範囲は「広い」範囲に設定される。
【００７４】
このように、手形状に応じて、タッチ点とタッチ有効範囲が設定されるので、ユーザは、手形状を変えることによって、例えば、細かい操作をしたい場合と、おおまかな操作をしたい場合とで、手形状を使い分けることができるようになる。
【００７５】
図６のフローチャートに戻り、ステップＳ３７において、操作認識部７４は、タッチ有効範囲に基づいて、タッチ点による操作が有効であるか否かを判定する。具体的には、タッチ有効範囲内に操作対象となる表示物体が存在し、かつ、タッチ点と天面２１との距離が、あらかじめ決められた一定距離より近いか否かによって、タッチ操作が有効であるか否かが判定される。タッチ点と天面２１との距離は、撮影部５２により取得された距離画像、または、撮影部５２により取得された撮影画像に基づいて画像処理部７２により生成された距離情報から求められる、撮影部５２と天面２１との距離と、撮影部５２とタッチ点（ユーザの手指）との距離を用いて算出することが可能である。
【００７６】
ステップＳ３７においてタッチ操作が有効であると判定された場合、すなわち、タッチ有効範囲内に操作対象となる表示物体が存在し、かつ、タッチ点と天面２１との距離が一定距離より近い場合、ステップＳ３８に進み、実行制御部７５は、タッチ有効範囲に基づいて、タッチ点によるタッチ操作に応じた処理を実行する。このように、タッチ操作は、ユーザの手指が天面２１に直接触れている場合はもちろん、直接触れていなくとも有効となる。
【００７７】
例えば、実行制御部７５は、タッチ操作に応じたフィードバック表示（例えば、タッチされた表示物体の形状や色の変化など）を表示部５５に行わせたり、タッチ操作に応じたコマンド（例えば、効果音の出力など）を出力部５６に実行させたりする。
【００７８】
一方、ステップＳ３７においてタッチ操作が有効でないと判定された場合、すなわち、タッチ有効範囲内に操作対象となる表示物体が存在しないか、または、タッチ点と天面２１との距離が一定距離より遠い場合、何も実行されずステップＳ３１に戻り、以降の処理が繰り返される。
【００７９】
以上の処理によれば、手形状に基づいて、手指によるタッチ操作を作用させるタッチ点と、タッチ点によるタッチ操作の判定に用いるタッチ有効範囲が細かく設定されるので、より自然で直感的なタッチ操作を実現することが可能となる。
【００８０】
上述した処理においては、手形状を表す形状情報に基づいて、タッチ点とタッチ有効範囲が設定されるものとしたが、その形状情報と、天面２１に対する手指の姿勢を表す姿勢情報に基づいて、タッチ点とタッチ有効範囲が設定されるようにしてもよい。
【００８１】
図８は、形状情報で表される手形状と、姿勢情報で表される手指の姿勢に対応するタッチ点とタッチ有効範囲について説明する図である。図８に示されるように、形状情報で表される手形状と、姿勢情報で表される手指の姿勢に応じて、タッチ点とタッチ有効範囲が設定される。
【００８２】
具体的には、手形状が、手指を閉じた状態の「閉じた手」で、かつ、手指の姿勢が、手の甲に対して指を反った「反り」である場合、タッチ点は、親指を除いた指全体の重心に設定され、タッチ有効範囲は「広い」範囲に設定される。
【００８３】
一方、手形状が、手指を閉じた状態の「閉じた手」で、かつ、手指の姿勢が、手の甲に対して指を伸ばした「水平」である場合、タッチ点は、手全体の重心に設定され、タッチ有効範囲は「広い」範囲に設定される。
【００８４】
このように、手形状と手指の姿勢に応じて、タッチ点とタッチ有効範囲が設定されるので、ユーザは、手指の姿勢を変えた場合であっても、より自然で負荷の少ないタッチ操作を実現することができる。
【００８５】
また、上述した処理においては、形状情報で表される手形状が、タッチ操作の手形状である場合に、タッチ操作についてのパラメータとして、タッチ有効範囲が設定されるものとした。これに限らず、タッチ操作についてのパラメータとして、タッチ有効範囲に加えて、タッチ点と天面２１との距離の閾値であるタッチ閾値が設定されるようにしてもよい。
【００８６】
図９は、タッチ操作についてのパラメータとして、タッチ有効範囲とタッチ閾値を設定するようにしたタッチ操作制御処理の流れについて説明するフローチャートである。
【００８７】
なお、図９のフローチャートのステップＳ５１乃至Ｓ５５の処理は、図６のフローチャートのステップＳ３１乃至Ｓ３５の処理と同様であるので、その説明は省略する。
【００８８】
すなわち、ステップＳ５５において、操作の種類がタッチ操作であると判定された場合、すなわち、形状情報で表される手形状が、タッチ操作の手形状である場合、ステップＳ５６に進む。
【００８９】
ステップＳ５６において、設定部８１は、操作体検出部７３からの形状情報に基づいて、タッチ操作についての手指の作用領域とパラメータとして、タッチ点、タッチ有効範囲、およびタッチ閾値を設定する。
【００９０】
ここで、図１０を参照して、形状情報で表される手形状に対応するタッチ閾値について説明する。図１０に示されるように、形状情報で表される手形状に応じて、図示せぬタッチ点とタッチ有効範囲に加え、タッチ閾値が設定される。
【００９１】
具体的には、手形状が、人差し指を１本だけ伸ばした状態の「１本人差し指」である場合、タッチ閾値は５ｍｍに設定される。
【００９２】
手形状が、手指を開いた状態の「開いた手」である場合、タッチ閾値は５ｍｍに設定される。
【００９３】
手形状が、手指を閉じた状態の「閉じた手」である場合、タッチ閾値は１０ｍｍに設定される。
【００９４】
手形状が、手の甲を下に向けて手指を閉じた状態の「閉じた手」である場合、タッチ閾値は１０ｍｍに設定される。
【００９５】
手形状が、手指を握った状態の「握りこぶし」である場合、タッチ閾値は２０ｍｍに設定される。
【００９６】
手形状が、小指側を下に向けて手指を握った状態の「握りこぶし」である場合、タッチ閾値は２０ｍｍに設定される。
【００９７】
このように、手形状に応じて、タッチ点とタッチ有効範囲に加え、タッチ閾値が設定されるので、ユーザは、例えば、細かい操作をしたい場合と、おおまかな操作をしたい場合とで、手形状をより細かく使い分けることができるようになる。
【００９８】
図９のフローチャートに戻り、ステップＳ５７において、操作認識部７４は、タッチ有効範囲とタッチ閾値に基づいて、タッチ点による操作が有効であるか否かを判定する。具体的には、タッチ有効範囲内に操作対象となる表示物体が存在し、かつ、タッチ点と天面２１との距離が、上述したタッチ閾値より近いか否かによって、タッチ操作が有効であるか否かが判定される。
【００９９】
ステップＳ５７においてタッチ操作が有効であると判定された場合、すなわちタッチ有効範囲内に操作対象となる表示物体が存在し、かつ、タッチ点と天面２１との距離がタッチ閾値より近い場合、ステップＳ５８に進み、実行制御部７５は、タッチ有効範囲とタッチ閾値に基づいて、タッチ点によるタッチ操作に応じた処理を実行する。
【０１００】
一方、ステップＳ５７において操作が有効でないと判定された場合、すなわち、タッチ有効範囲内に操作対象となる表示物体が存在しないか、または、タッチ点と天面２１との距離がタッチ閾値より遠い場合、何も実行されずステップＳ５１に戻り、以降の処理が繰り返される。
【０１０１】
以上の処理によれば、手形状に基づいて、タッチ点とタッチ有効範囲に加え、タッチ点と天面２１との距離範囲の閾値であるタッチ閾値が細かく設定されるので、より自然で微細なタッチ操作を実現することが可能となる。
【０１０２】
上述した処理において、手形状だけでなく、手の大きさが判定されるようにしてもよい。手の大きさが一定の大きさより小さいと判定された場合、ユーザが子供である可能性が高い。この場合、手の大きさが一定の大きさ以上ある場合と比較して、タッチ有効範囲やタッチ閾値が大きく設定されるようにする。これにより、子供が雑な操作を行った場合であっても、より確実なタッチ操作を実現することができる。
【０１０３】
また、入力部５３からの入力情報として、ユーザを特定する特定情報が制御部５１に供給されるようにしてもよい。この場合、特定情報によって特定されるユーザ毎に、タッチ点の箇所、タッチ有効範囲やタッチ閾値が設定されるようにしてもよい。
【０１０４】
さらに、ユーザの利き手を表す利き手情報が、事前に記憶部５４などに登録されるようにしてもよい。この場合、利き手情報に基づいて、利き手であるか否かによって、タッチ点の箇所、タッチ有効範囲やタッチ閾値の値が設定されるようにしてもよい。
【０１０５】
以上においては、形状情報で表される手形状が、タッチ操作の手形状であるか否かの判定は、記憶部５４にあらかじめ記憶されている判定情報に基づいて行われるものとした。
【０１０６】
これ以外にも、例えば、タッチ操作制御処理が開始される前に、ユーザが、タッチ操作の手形状を登録できるようにしてもよい。この場合、形状情報で表される手形状が、登録されたタッチ操作の手形状であるか否かの判定が行われる。
【０１０７】
タッチ操作の手形状は、例えば、表示部５５により投影される表示物体により提供される、ゲームなどのアプリケーション毎に登録されたり、あらかじめ用意されたメニュー画面などから手形状が選択されることで登録されるようにする。
【０１０８】
また、タッチ操作の手形状が、入力部５３に対する音声入力などにより登録されてもよいし、事前にユーザにタッチ操作を行わせ、そのときに認識された手形状を記憶することで登録されてもよい。
【０１０９】
さらに、例えば、ユーザの手が、タッチ操作の操作対象となる表示物体に接近したり、その表示物体を基準とした所定範囲内に入ってきた場合に、そのときの手形状が認識されるようにし、認識された手形状が、タッチ操作の手形状として登録されてもよい。
【０１１０】
＜３．ドラッグ操作の例＞
図１１は、ドラッグ操作制御処理の流れについて説明するフローチャートである。図１１の処理は、上述したタッチ操作が行われた状態で実行される。
【０１１１】
なお、図１１のフローチャートのステップＳ７１乃至Ｓ７４の処理は、図６のフローチャートのステップＳ３１乃至Ｓ３４の処理と同様であるので、その説明は省略する。
【０１１２】
すなわち、ステップＳ７５において、操作認識部７４は、認識された操作の種類がドラッグ操作であるか否かを判定する。具体的には、形状情報で表される手形状が、タッチ操作と同じ手形状であるドラッグ操作の手形状であるか否かが判定される。
【０１１３】
ステップＳ７５において、操作の種類がドラッグ操作でないと判定された場合、ステップＳ７１に戻り、以降の処理が繰り返される。
【０１１４】
一方、ステップＳ７５において、操作の種類がドラッグ操作であると判定された場合、すなわち、形状情報で表される手形状が、ドラッグ操作の手形状である場合、ステップＳ７６に進む。
【０１１５】
ここで、図１２を参照して、形状情報で表される手形状によって判定されるドラッグ操作の有効／無効と、タッチ点によるドラッグ操作が作用し始めるタッチ点の移動距離を表すドラッグ閾値について説明する。図１２に示されるように、形状情報で表される手形状に応じて、ドラッグ操作の有効／無効とドラッグ閾値が設定される。
【０１１６】
なお、形状情報に応じたドラッグ操作の有効／無効とドラッグ閾値は、例えば、タッチ操作制御処理において、タッチ点とタッチ有効範囲が設定されると同時に設定されるものとする。また、ドラッグ操作においては、タッチ操作において設定されたタッチ点が作用領域となる。
【０１１７】
手形状が、人差し指を１本だけ伸ばした状態の「１本人差し指」である場合、ドラッグ操作は「有効」とされ、ドラッグ閾値は５ｍｍに設定される。
【０１１８】
手形状が、手指を開いた状態の「開いた手」である場合、ドラッグ操作は「有効」とされ、ドラッグ閾値は５ｍｍに設定される。
【０１１９】
手形状が、手指を閉じた状態の「閉じた手」である場合、ドラッグ操作は「有効」とされ、ドラッグ閾値は１０ｍｍに設定される。
【０１２０】
手形状が、手の甲を下に向けて手指を閉じた状態の「閉じた手」である場合、ドラッグ操作は「無効」とされ、ドラッグ閾値は設定されない。
【０１２１】
手形状が、手を握った状態の「握りこぶし」である場合、ドラッグ操作は「無効」とされ、ドラッグ閾値は設定されない。
【０１２２】
手形状が、小指側を下に向けて手を握った状態の「握りこぶし」である場合、ドラッグ操作は「有効」とされ、ドラッグ閾値は３０ｍｍに設定される。
【０１２３】
このように、手形状によって、タッチ操作からドラッグ操作へ移行するか否かが設定され、ドラッグ操作が作用し始めるための移動距離であるドラッグ閾値が設定される。
【０１２４】
図１１のフローチャートに戻り、ステップＳ７６において、操作認識部７４は、タッチ点によるドラッグ操作が有効であるか否かを判定する。具体的には、タッチ点の移動距離がドラッグ閾値より大きいか否かによって、ドラッグ操作が有効であるか否かが判定される。
【０１２５】
ステップＳ７６においてドラッグ操作が有効であると判定された場合、すなわち、タッチ点の移動距離がドラッグ閾値より大きい場合、ステップＳ７７に進み、実行制御部７５は、ドラッグ閾値に基づいて、タッチ点によるドラッグ操作に応じた処理を実行する。
【０１２６】
具体的には、実行制御部７５は、ドラッグ操作に応じて、通常のＧＵＩ上のドラッグ操作と同様に、天面２１に表示されている表示物体を移動させる。また、例えば、実行制御部７５は、手形状毎にドラッグ操作に応じた表示を表示部５５に行わせるようにしてもよい。
【０１２７】
図１３は、手形状毎のドラッグ操作に応じた表示の例を示す図である。
【０１２８】
例えば、図１３のＡに示されるように、天面２１に表示されている表示物体が１本指でタッチされている状態でドラッグ操作が行われた場合、実行制御部７５は、その表示物体を移動させる。
【０１２９】
また、図１３のＢに示されるように、天面２１に表示されている表示物体が小指側を下に向けて手を握った状態（握りこぶし）でタッチされている状態でドラッグ操作が行われた場合、実行制御部７５は、その表示物体をドラッグされた方向に引き伸ばす。
【０１３０】
さらに、変形例として、図１３のＣに示されるように、天面２１に表示されている表示物体上で、小指側を下に向けて手指を閉じた状態（手刀）でドラッグ操作が行われた場合、実行制御部７５は、その表示物体を切断する。
【０１３１】
このように、手形状毎にドラッグ操作に応じて異なる表示が行われるようにしてもよい。
【０１３２】
一方、ステップＳ７６においてドラッグ操作が有効でないと判定された場合、すなわち、タッチ点の移動距離がドラッグ閾値より小さい場合、何も実行されずステップＳ７１に戻り、以降の処理が繰り返される。
【０１３３】
以上の処理によれば、手形状に基づいて、ドラッグ操作の有効／無効と、ドラッグ操作が作用し始めるタッチ点の移動距離を表すドラッグ閾値が細かく設定されるので、より自然で直感的なドラッグ操作を実現することが可能となる。
【０１３４】
上述した処理においては、タッチ操作と同じ手形状からドラッグ操作へ移行するものとしたが、タッチ操作の手形状とは異なる手形状に変化しながらドラッグ操作へ移行するようにしてもよい。例えば、「１本人差し指」でのタッチ操作から「開いた手」でのドラッグ操作へ移行するようにしてもよい。
【０１３５】
＜４．回転操作の例＞
図１４は、回転操作制御処理の流れについて説明するフローチャートである。図１４の処理は、撮影部５２により、例えば天面２１に表示された表示物体を操作するユーザの手が撮影されている状態で実行される。
【０１３６】
なお、図１４のフローチャートのステップＳ９１乃至Ｓ９４の処理は、図６のフローチャートのステップＳ３１乃至Ｓ３４の処理と同様であるので、その説明は省略する。
【０１３７】
すなわち、ステップＳ９５において、操作認識部７４は、認識された操作の種類が回転操作であるか否かを判定する。具体的には、形状情報で表される手形状が、回転操作の手形状であるか否かが判定される。
【０１３８】
ステップＳ９５において、操作の種類が回転操作でないと判定された場合、ステップＳ９１に戻り、以降の処理が繰り返される。
【０１３９】
一方、ステップＳ９５において、操作の種類が回転操作であると判定された場合、すなわち、形状情報で表される手形状が、回転操作の手形状である場合、ステップＳ９６に進む。
【０１４０】
ステップＳ９６において、設定部８１は、操作体検出部７３からの形状情報に基づいて、回転操作についての手指の作用領域として、手指の所定の２点（具体的には、２点を結ぶ線分）を、回転角取得点として設定する。
【０１４１】
ここで、図１５を参照して、形状情報で表される手形状に対応する回転角取得点について説明する。図１５に示されるように、形状情報で表される手形状に応じて、回転角取得点が設定される。
【０１４２】
具体的には、手形状が、例えば人差し指を１本だけ伸ばした状態の「１本指」である場合、回転角取得点は、伸ばした指（人差し指）の付け根と先端を結ぶ線分に設定される。なお、伸ばした指は、人差し指に限られない。
【０１４３】
手形状が、例えば親指と人差し指などの２本を伸ばした状態の「２指」である場合、回転角取得点は、２指の先端を結ぶ線分に設定される。なお、伸ばした２指は、親指と人差し指に限られない。
【０１４４】
手形状が、手指を開いた状態の「開いた」である場合、回転角取得点は、手首と例えば中指などのいずれか１本の指の先端を結ぶ線分に設定される。
【０１４５】
このように、手形状に応じて、回転角取得点が設定されるので、ユーザは、手の形状を変えることによって、例えば、細かい操作をしたい場合と、おおまかな操作をしたい場合とで、手形状を使い分けることができるようになる。
【０１４６】
図１４のフローチャートに戻り、ステップＳ９７において、実行制御部７５は、回転角取得点による回転操作に応じた処理を実行する。具体的には、実行制御部７５は、設定された回転角取得点（２点を結ぶ線分）の、天面２１の法線方向を軸とした回転の回転角に応じた処理を実行する。
【０１４７】
例えば、実行制御部７５は、回転操作に応じた表示を表示部５５に行わせる。実行制御部７５は、回転角取得点の回転角に応じて、例えば、表示物体として天面２１に表示されている回転つまみを回転させる。
【０１４８】
以上の処理によれば、手形状に基づいて、回転角取得点が設定されるので、より自然な回転操作を実現することが可能となる。
【０１４９】
上述した処理においては、形状情報で表される手形状が、回転操作の手形状である場合に、回転操作についての手指の作用領域として、回転角取得点が設定されるものとした。これに加えて、回転操作についてのパラメータとして、回転角取得点の回転が作用する際の、回転角取得点の回転角の倍数である回転角倍数が設定されるようにしてもよい。
【０１５０】
図１６は、回転操作についてのパラメータとして、回転角倍数を設定するようにした回転操作制御処理の流れについて説明するフローチャートである。
【０１５１】
なお、図１６のフローチャートのステップＳ１１１乃至Ｓ１１５の処理は、図１４のフローチャートのステップＳ９１乃至Ｓ９５の処理と同様であるので、その説明は省略する。
【０１５２】
すなわち、ステップＳ１１５において、操作の種類が回転操作であると判定された場合、すなわち、形状情報で表される手形状が、回転操作の手形状である場合、ステップＳ１１６に進む。
【０１５３】
ステップＳ１１６において、設定部８１は、操作体検出部７３からの形状情報に基づいて、回転操作についての手指の作用領域とパラメータとして、回転角取得点と回転角倍数を設定する。
【０１５４】
ここで、図１７を参照して、形状情報で表される手形状に対応する回転角倍数について説明する。図１７に示されるように、形状情報で表される手形状に応じて、回転角倍数が設定される。
【０１５５】
具体的には、手形状が、指を１本だけ伸ばした状態の「１本指」である場合、回転角取得点は、伸ばした指の付け根と先端を結ぶ線分に設定され、回転角倍数は、１．３倍に設定される。
【０１５６】
手形状が、２本を伸ばした状態の「２指」である場合、回転角取得点は、２指の先端を結ぶ線分に設定され、回転角倍数は、１．０倍に設定される。
【０１５７】
手形状が、手指を開いた状態の「開いた手」である場合、回転角取得点は、手首と例えば中指の先端を結ぶ線分に設定され、回転角倍数は、２．０倍に設定される。
【０１５８】
図１８は、手形状毎の回転角倍数と回転可動域について説明する図である。ここでは、図中上段に示される、表示物体としての回転つまみ２１０の操作を例に挙げて説明する。
【０１５９】
図１８においては、図中下段中央に示されるように、手形状が「２指」である場合の、回転つまみ２１０を操作するときの回転角倍数が基準（１．０倍）とされる。
【０１６０】
手形状が「１本指」である場合、手形状が「２指」である場合と比較して、回転角取得点の回転可動域はやや狭い。そこで、図中下段左側に示されるように、手形状が「１本指」である場合の、回転つまみ２１０を操作するときの回転角倍数を１．３倍とすることで、やや小さい角度変化であっても、回転つまみ２１０を少ない負荷で操作することができる。
【０１６１】
また、手形状が「開いた手」である場合、手形状が「２指」である場合と比較して、回転角取得点の回転可動域はかなり狭い。そこで、図中下段右側に示されるように、手形状が「開いた手」である場合の、回転つまみ２１０を操作するときの回転角倍数を２．０倍とすることで、小さい角度変化であっても、回転つまみ２１０を少ない負荷で操作することができる。
【０１６２】
このように、手形状に応じて回転角倍数が設定されるので、ユーザは、それぞれの手形状毎に高い操作性で回転操作を行うことができるようになる。
【０１６３】
図１６のフローチャートに戻り、ステップＳ１１７において、実行制御部７５は、回転角倍数に基づいて、回転角取得点による回転操作に応じた処理を実行する。具体的には、実行制御部７５は、設定された回転角取得点（２点を結ぶ線分）の回転角倍数に基づいた回転角に応じた処理を実行する。
【０１６４】
以上の処理によれば、手形状に基づいて回転角倍数が設定されるので、より自然で少ない負荷の回転操作を実現することが可能となる。
【０１６５】
＜５．その他＞
（操作制御処理の全体の流れ）
以上においては、タッチ操作、ドラッグ操作、および回転操作の各操作についての処理の流れについて説明したが、これらの操作が１つの処理の中で認識されるようにしてもよい。
【０１６６】
そこで、図１９を参照して、操作制御処理の全体の流れについて説明する。
【０１６７】
図１９のフローチャートのステップＳ１３１乃至Ｓ１３８の処理は、図６のフローチャートのステップＳ３１乃至Ｓ３８の処理と基本的に同様であるので、その説明は省略する。
【０１６８】
ただし、ステップＳ１３５において、認識された操作の種類がタッチ操作でないと判定された場合、ステップＳ１３９に進む。
【０１６９】
また、ステップＳ１３６においては、操作体検出部７３からの形状情報に基づいて、タッチ操作についての手指の作用領域とパラメータとして、タッチ点とタッチ有効範囲とともに、ドラッグ操作についてのパラメータとして、ドラッグ閾値が設定される。
【０１７０】
ステップＳ１３９乃至Ｓ１４１の処理は、図１１のフローチャートのステップＳ７５乃至Ｓ７７の処理と同様であるので、その説明は省略する。
【０１７１】
ただし、ステップＳ１３９において、認識された操作の種類がドラッグ操作でないと判定された場合、ステップＳ１４２に進む。
【０１７２】
ステップＳ１４２乃至Ｓ１４４の処理は、図１４のフローチャートのステップＳ９５乃至Ｓ９７の処理と同様であるので、その説明は省略する。
【０１７３】
このように、タッチ操作、ドラッグ操作、および回転操作の各操作を１つの処理の中で判定することができる。
【０１７４】
（タッチ操作の変形例）
形状情報で表される手形状が、タッチ操作の手形状である場合に、手の腹（手のひらの手首側の部分）やひじが操作面（天面２１）に接触しているか否かに応じて、タッチ点やタッチ有効範囲、タッチ閾値が設定されるようにしてもよい。手の腹やひじが天面２１に接触しているか否かは、手や腕の骨格を検出することで手の腹やひじの位置を認識し、距離画像に基づいて手の腹やひじと天面２１との距離を算出することで判定することができる。
【０１７５】
また、手の腹やひじが天面２１に接触しているか否かに応じて、受け付ける操作（判定される操作）を変えるようにしてもよい。
【０１７６】
例えば、図２０のＡに示されるように、手の腹が天面２１に接触している状態では、指でのタッチ操作を受け付けるようにする。
【０１７７】
一方、図２０のＢに示されるように、手の腹が天面２１に接触していない状態では、複数の指でのピンチ操作（拡大や縮小、回転）を受け付けるようにする。なお、図２０のＡのように、手の腹が天面２１に接触している状態で、複数の指でのピンチ操作が行われても、そのピンチ操作は受け付けられないものとする。
【０１７８】
また、図２１のＡに示されるように、ひじが天面２１に接触している状態では、指でのタッチ操作を受け付けるようにする。
【０１７９】
一方、図２１のＢに示されるように、ひじが天面２１に接触していない状態では、指でのタッチ操作を受け付けないようにし、遠方にある表示物体を指す指差し操作を受け付けるようにする。指差し操作によれば、遠方にある表示物体に向けて、例えば指先から直線状の矢印が描かれるようになる。
【０１８０】
また、痙攣などにより手指に震えがあることが検知されたか否かに応じて、タッチ点やタッチ有効範囲、タッチ閾値が設定されるようにしてもよい。手指に震えがあることは、タッチ操作制御処理が開始される前に検出されてもよいし、処理中に検知されてもよい。
【０１８１】
例えば、手指に震えがあることが検知された場合には、操作がタッチ操作であることが判定されてから、タッチ操作が有効であることが判定されるまでの時間を、通常より長く設定する。これにより、手指に震えがあるユーザが、必要以上にタッチ操作に時間を要した場合であっても、そのタッチ操作を受け付けることができるようになる。
【０１８２】
さらに、地域や民族の文化、風習に応じて、タッチ操作であると判定される手形状、タッチ点やタッチ有効範囲、タッチ閾値が設定されるようにしてもよい。
【０１８３】
（全ての操作の変形例）
手指が通常と異なることが検知されたか否かに応じて、手形状の判定基準を変化させるようにしてもよい。
【０１８４】
例えば、ユーザの手に手袋や包袋が装着されている場合には、手指の開き具合についての判定基準を緩和させるようにする。また、指に欠損がある場合には、欠損している指を無視してジェスチャ認識が行われるようにしてもよい。具体的には、欠損している指以外の指が開いている状態で、全ての指が開いていると認識されるようにする。
【０１８５】
さらに、ユーザの手指の爪が長い場合や手が汚れている場合には、操作が判定されにくくなることから、操作の判定基準を緩和してもよい。
【０１８６】
また、登録されていない手形状が繰り返し検出された場合に、ユーザに対して意図的な操作であることを確認させた上で、その手形状と対応する操作を新たに登録するようにしてもよい。
【０１８７】
さらに、ユーザの手が、特定の操作の操作対象となる表示物体に接近したり、その表示物体を基準とした所定範囲内に入ってきた場合に、そのときの手形状が認識されるようにし、認識された手形状が、特定の操作の手形状として登録されてもよい。この場合、その一定範囲内においてのみ、登録された手形状の操作を有効にしてもよいし、その範囲外であっても、登録された手形状の操作を有効にしてもよい。
【０１８８】
さらに、手形状や手指の姿勢以外の情報に基づいて、作用領域やパラメータが設定されるようにしてもよい。例えば、ユーザが座っているか（座位）または立っているか（立位）、腕の屈伸状態、操作対象との距離、操作対象の大きさなどに基づいて、作用領域やパラメータが設定されるようにする。
【０１８９】
（その他の適用例）
上述した実施の形態では、テーブル２０の天面２１を操作面として、その面に対する手形状や手指の姿勢に基づいて、作用領域やパラメータが設定されるものとしたが、操作面は、壁や天井などの平面であってもよい。
【０１９０】
また、操作体は、手指に限らず、タッチやジェスチャ認識が可能なユーザの身体の部位であればよく、腕や上半身、脚、さらには全身であってもよい。
【０１９１】
さらに、ユーザは、人間に限らず、サルやオランウータン、犬や猫などの動物であってもよい。
【０１９２】
（コンピュータの構成例）
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０１９３】
図２２は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０１９４】
コンピュータにおいて、ＣＰＵ１００１，ＲＯＭ１００２，ＲＡＭ１００３は、バス１００４により相互に接続されている。
【０１９５】
バス１００４には、さらに、入出力インタフェース１００５が接続されている。入出力インタフェース１００５には、入力部１００６、出力部１００７、記憶部１００８、通信部１００９、およびドライブ１０１０が接続されている。
【０１９６】
入力部１００６は、キーボード、マウス、マイクロフォンなどよりなる。出力部１００７は、ディスプレイ、スピーカなどよりなる。記憶部１００８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１００９は、ネットワークインタフェースなどよりなる。ドライブ１０１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア１０１１を駆動する。
【０１９７】
以上のように構成されるコンピュータでは、ＣＰＵ１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５およびバス１００４を介して、ＲＡＭ１００３にロードして実行することにより、上述した一連の処理が行われる。
【０１９８】
コンピュータ（ＣＰＵ１００１）が実行するプログラムは、例えば、パッケージメディアなどとしてのリムーバブルメディア１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０１９９】
コンピュータでは、プログラムは、リムーバブルメディア１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ＲＯＭ１００２や記憶部１００８に、あらかじめインストールしておくことができる。
【０２００】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０２０１】
本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０２０２】
なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
【０２０３】
本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【０２０４】
例えば、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０２０５】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０２０６】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０２０７】
（本開示がとり得る他の構成）
さらに、本開示は以下のような構成をとることができる。
（１）
撮影画像から取得された、操作面に対して操作を行う操作体の形状情報に基づいて、前記操作体による操作を作用させる作用領域を決定し、前記作用領域における前記操作の判定に用いられるパラメータを設定する制御部
を備える情報処理装置。
（２）
前記形状情報に基づいて、前記操作の種類を認識する操作認識部をさらに備え、
前記制御部は、認識された種類の前記操作についての前記作用領域を決定し、前記パラメータを設定する
（１）に記載の情報処理装置。
（３）
前記操作体は、ユーザの身体の部位である
（２）に記載の情報処理装置。
（４）
前記操作体は、ユーザの手であり、
前記操作認識部は、前記形状情報で示される手指の形状に基づいて前記操作の種類を認識し、
前記制御部は、前記手指の一部を前記作用領域に決定する
（３）に記載の情報処理装置。
（５）
前記操作は、タッチ操作を含む
（４）に記載の情報処理装置。
（６）
前記制御部は、いずれか１本の指の先端、複数本の指全体の重心、および、手全体の重心の少なくともいずれかを、前記作用領域に決定する
（５）に記載の情報処理装置。
（７）
前記制御部は、前記パラメータとして、前記作用領域における前記操作が前記操作面に作用する有効範囲を設定する
（６）に記載の情報処理装置。
（８）
前記有効範囲は、前記操作面上での面積範囲を含む
（７）に記載の情報処理装置。
（９）
前記制御部は、前記パラメータとして、前記作用領域における前記操作が前記操作面に作用する、前記作用領域と前記操作面との距離の閾値をさらに設定する
（８）に記載の情報処理装置。
（１０）
前記操作は、ドラッグ操作を含む
（４）に記載の情報処理装置。
（１１）
前記制御部は、いずれか１本の指の先端、複数本の指全体の重心、および、手全体の重心の少なくともいずれかを、前記作用領域に決定する
（１０）に記載の情報処理装置。
（１２）
前記制御部は、前記パラメータとして、前記作用領域における前記操作が前記操作面に作用し始める、前記作用領域の移動距離を設定する
（１１）に記載の情報処理装置。
（１３）
前記操作は、回転操作を含む
（４）に記載の情報処理装置。
（１４）
前記制御部は、２本の指の先端を結ぶ線分、いずれか１本の指の先端と手首を結ぶ線分、および、いずれか１本の指の先端と付け根を結ぶ線分の少なくともいずれかを、前記作用領域に決定する
（１３）に記載の情報処理装置。
（１５）
前記制御部は、前記パラメータとして、前記操作面の法線方向を軸とした前記作用領域の回転が前記操作面に作用する際の、前記作用領域の回転角の倍数を設定する
（１４）に記載の情報処理装置。
（１６）
前記制御部は、前記形状情報と、前記撮影画像から取得された前記操作体の姿勢情報に基づいて、前記作用領域を決定し、前記パラメータを設定する
（１）乃至（１５）のいずれかに記載の情報処理装置。
（１７）
前記パラメータに基づいて、前記作用領域における前記操作に応じた処理の実行を制御する実行制御部をさらに備える
（１）乃至（１６）のいずれかに記載の情報処理装置。
（１８）
前記実行制御部は、前記パラメータに基づいて、前記作用領域における前記操作に応じた表示を制御する
（１７）に記載の情報処理装置。
（１９）
情報処理装置が、
撮影画像から取得された、操作面に対して操作を行う操作体の形状情報に基づいて、前記操作体による操作を作用させる作用領域を決定し、前記作用領域における前記操作の判定に用いられるパラメータを設定する
情報処理方法。
（２０）
コンピュータに、
撮影画像から取得された、操作面に対して操作を行う操作体の形状情報に基づいて、前記操作体による操作を作用させる作用領域を決定し、前記作用領域における前記操作の判定に用いられるパラメータを設定する
処理を実行させるためのプログラムが記録された記録媒体。
【符号の説明】
【０２０８】
１０  情報処理装置，  ２０  テーブル，  ２１  天面，  ５１  制御部，  ５２  撮影部，  ５３  入力部，  ５４  記憶部，  ５５  表示部，  ５６  出力部，  ７１  撮影制御部，  ７２  画像処理部，  ７３  操作体検出部，  ７４  操作認識部，  ７５  実行制御部，  ８１  設定部
【図１】
2020166351.tif 000003
【図２】
2020166351.tif 000004
【図３】
2020166351.tif 000005
【図４】
2020166351.tif 000006
【図５】
2020166351.tif 000007
【図６】
2020166351.tif 000008
【図７】
2020166351.tif 000009
【図８】
2020166351.tif 000010
【図９】
2020166351.tif 000011
【図１０】
2020166351.tif 000012
【図１１】
2020166351.tif 000013
【図１２】
2020166351.tif 000014
【図１３】
2020166351.tif 000015
【図１４】
2020166351.tif 000016
【図１５】
2020166351.tif 000017
【図１６】
2020166351.tif 000018
【図１７】
2020166351.tif 000019
【図１８】
2020166351.tif 000020
【図１９】
2020166351.tif 000021
【図２０】
2020166351.tif 000022
【図２１】
2020166351.tif 000023
【図２２】
2020166351.tif 000024
【国際調査報告】
2020166351.tif 000025
2020166351.tif 000026
2020166351.tif 000027
2020166351.tif 000028