(57)【要約】【課題】仮想対象に対するジェスチャーに従う制御を確実に行えるよう支援する。【解決手段】交差度合い特定手段と、出力制御手段とが備えられる。交差度合い特定手段は、ジェスチャーでの操作部の仮想対象に対する交差度合いを特定する。出力制御手段は、特定された交差度合いに応じた出力を操作者に対して行う。【選択図】図６
2010205223.tif 000002
【特許請求の範囲】
【請求項１】
仮想対象に対するジェスチャーに従う制御を行うシステムであって、
前記仮想対象に対するジェスチャーを撮影する撮影手段と、
前記仮想対象の位置を表す情報を含んだ仮想対象情報を記憶する記憶手段と、
前記撮影手段により取得された撮影画像と、前記仮想対象情報とを基に、ジェスチャーでの操作部の前記仮想対象に対する交差度合いを特定する交差度合い特定手段と、
特定された交差度合いに応じた出力を操作者に対して行う出力制御手段と
を備える制御システム。
【請求項２】
前記仮想対象は、ＧＵＩ（Graphical User Interface）画面に対応した仮想平面であり、
操作者が、操作部で操作者所望の仮想平面位置を指定し、
前記撮影手段が、仮想平面位置を指定している操作部を撮影し、
前記撮影手段により取得された撮影画像を基に、前記操作部で指定されている仮想平面位置を特定し、特定された仮想平面位置を表す情報を含んだ仮想平面情報を前記記憶手段に設定する仮想平面設定手段を備え、
ＧＵＩ画面毎に、仮想平面位置が指定され、各仮想平面位置は、仮想平面の直交方向に沿って異なっており、
第一の仮想平面位置に第一の仮想平面があり、前記第一の仮想平面位置よりも深い第二の仮想平面位置に第二の仮想平面があり、
前記交差度合い特定手段は、取得された撮影画像と、前記仮想平面情報とを基に、前記操作部の操作点の前記第一の仮想平面に対する深さを特定し、特定された深さを基に交差度合いを特定し、前記操作点は、前記操作部の、前記仮想平面に対して最も深い位置にある箇所であり、
前記出力制御手段は、前記第一の仮想平面に対応付けられているＧＵＩ画面上の、前記操作点に対応した位置に、前記特定された交差度合いに対応した表示を行い、
前記第一の仮想平面に、第一のＧＵＩ画面が対応付けられており、前記第二の仮想平面に、前記第一のＧＵＩ画面の背面にある第二のＧＵＩ画面が対応付けられており、前記交差度合い特定手段が、前記第一の仮想平面の側よりも前記第二の仮想平面の側に前記操作点があることを検出した場合、前記出力制御手段が、前記第一のＧＵＩ画面の前面に前記第二のＧＵＩ画面を表示し、前記第二のＧＵＩ画面が、前記第一のＧＵＩ画面に代えて前記第一の仮想平面に対応付けられる、
請求項１記載の制御システム。
【請求項３】
、
操作者が、操作部で操作者所望の仮想対象位置を指定し、
前記撮影手段が、仮想対象位置を指定している操作部を撮影し、
前記撮影手段により取得された撮影画像を基に、前記操作部で指定されている仮想対象位置を特定し、特定された仮想対象位置を表す情報を含んだ仮想対象情報を前記記憶手段に設定する仮想対象設定手段を備える、
請求項１記載の制御システム。
【請求項４】
前記仮想対象は、仮想平面であり、
互いに平行な第一の仮想平面と第二の仮想平面が設定されており、
前記交差度合い特定手段は、前記操作部の操作点の前記第一の仮想平面に対する深さを特定し、特定された深さを基に交差度合いを特定し、前記操作点は、前記操作部の、前記仮想対象に対して最も深い位置にある箇所であり、
前記第二の仮想平面は、前記第一の仮想平面に対する前記操作点の深さの限界に基づく位置にある、
請求項１又は３記載の制御システム。
【請求項５】
前記仮想対象は、ＧＵＩ（Graphical User Interface）画面に対応した仮想平面であり、
互いに平行な第一の仮想平面と第二の仮想平面が設定されており、
前記第一の仮想平面に、第一のＧＵＩ画面が対応付けられており、前記第二の仮想平面に、前記第一のＧＵＩ画面の背面にある第二のＧＵＩ画面が対応付けられており、特定のジェスチャーに応答して、前記出力制御手段が、前記第一のＧＵＩ画面の前面に前記第二のＧＵＩ画面を表示し、前記第二のＧＵＩ画面が、前記第一のＧＵＩ画面に代えて前記第一の仮想平面に対応付けられる、
請求項１、３又は４記載の制御システム。
【請求項６】
ジェスチャーに従う操作内容を検出する操作内容検出手段と、
検出された操作内容が特定の操作内容であるか否かの判断を行う操作内容判断手段と
を備え、
前記特定の操作内容は、連続的な操作を表す内容であり、
前記出力制御手段は、前記判断の結果が肯定的である場合にのみ、特定された交差度合いに応じた出力を行う、
請求項１乃至５のうちのいずれかに記載の制御システム。
【請求項７】
仮想対象に対するジェスチャーに従う制御を行う装置であって、
ジェスチャーでの操作部の前記仮想対象に対する交差度合いを特定する交差度合い特定手段と、
特定された交差度合いに応じた出力を操作者に対して行う出力制御手段と
を備える制御装置。
【請求項８】
仮想対象に対するジェスチャーに従う制御を行うことをコンピューターに実行させるためのコンピュータープログラムであって、
ジェスチャーでの操作部の前記仮想対象に対する交差度合いを特定するステップと、
特定された交差度合いに応じた出力を操作者に対して行うステップと
をコンピューターに実行させるためのコンピュータープログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ジェスチャーに従う制御に関する。
【背景技術】
【０００２】
ジェスチャーに従う制御を行う技術が、例えば特許文献１に開示されている。特許文献１によれば、ジェスチャーの検出可能範囲が設定され、その検出可能範囲内で行われたジェスチャーに従う制御が行われる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−２８７１４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述の検出可能範囲は、仮想的な対象（仮想対象）の一つである。特許文献１によれば、仮想対象で行われたジェスチャーのみが検出される。しかし、仮想対象は、見えるものではない。このため、ジェスチャーで所望の制御を行い続けることは難しい。例えば、手を横方向に移動させることでＧＵＩ（Graphical User Interface）画面を横方向に移動させる場合、手がジェスチャーの仮想対象から大きく外れてしまうと、ＧＵＩ画面の移動が中断されてしまう。
【０００５】
そこで、本発明の目的は、仮想対象に対するジェスチャーに従う制御を確実に行えるよう支援することにある。
【課題を解決するための手段】
【０００６】
交差度合い特定手段と、出力制御手段とが備えられる。交差度合い特定手段は、ジェスチャーでの操作部の仮想対象に対する交差度合いを特定する。出力制御手段は、特定された交差度合いに応じた出力を操作者に対して行う。仮想対象は、例えば、仮想的な立体、平面或いは曲面などである。操作部は、例えば、操作者の体の部位、或いは、操作者がジェスチャーで使用する何らかの部材（例えば指示棒）である。
【０００７】
交差度合い特定手段は、例えば、仮想対象に対するジェスチャーの撮影画像（典型的には動画像）を基に、ジェスチャーを特定することができる。また、交差度合い特定手段は、例えば、仮想対象の位置を表す情報を含んだ仮想対象情報を基に、仮想対象の位置を特定することできる。そして、交差度合い特定手段は、例えば、特定されたジェスチャーでの操作部の操作点の、特定された仮想対象に対する深さを特定し、特定された深さを基に交差度合いを特定することができる。操作点は、操作部の、仮想対象に対して最も深い位置にある箇所である。
【０００８】
操作者に対する出力は、例えば、表示、音声出力及びバイブレーションのいずれかとすることができる。表示の場合、交差度合いに応じて、例えば、数値、メッセージ、色、形、模様、或いは透過率などが異なることになる。音声出力の場合、交差度合いに応じて、例えば、周波数或いはリズムなどが異なることになる。バイブレーションの場合、交差度合いに応じて、例えば、振動の強さ或いはリズムなどが異なることになる。
【０００９】
これらの各手段は、ハードウェア回路で実現されても良いし、プロセッサーがコンピュータープログラムを実行することにより実現されても良い。
【図面の簡単な説明】
【００１０】
【図１】図１は、本発明の第一実施形態に係る制御システムの概要を示す。
【図２】図２は、本発明の第一実施形態に係るパーソナルコンピューターの機能ブロック図である。
【図３】図３Ａは、本発明の第一実施形態において仮想平面を設定する第一の方法の説明図である。図３Ｂは、本発明の第一実施形態において仮想平面を設定する第二の方法の説明図である。
【図４】図４Ａは、仮想平面と操作部の斜視図である。図４Ｂは、仮想平面と操作部との側面図である。図４Ｃは、仮想平面に対する操作点の深さと交差度合いとの関係を表すテーブルである。
【図５】図５は、交差度合いに対応したフィードバック（ＦＢ）表示対象の情報を生成することに利用されるテーブルと、交差度合いに対応したＦＢ音声の情報を生成することに利用されるテーブルとを示す。
【図６】図６は、複数段階の交差度合いにそれぞれ対応した複数のＦＢ表示対象を示す。
【図７】図７は、本発明の第一実施形態に係る操作検出部が行う処理の流れを示す。
【図８】図８は、本発明の第一実施形態に係るＦＢ生成部が行う処理の流れを示す。
【図９】図９は、本発明の第三実施形態において操作部が仮想平面に交差する方向と深さ方向との関係を示す。
【図１０】図１０Ａは、本発明の第四実施形態における複数の仮想平面の位置関係の説明図である。図１０Ｂは、本発明の第四実施形態において特定のジェスチャーが行われる前の仮想平面及びＧＵＩ画面の対応を示す。図１０Ｃは、本発明の第四実施形態において特定のジェスチャーが行われた後の仮想平面及びＧＵＩ画面の対応を示す。
【発明を実施するための形態】
【００１１】
以下、仮想対象が仮想的な平面（仮想平面）であることを例に採り、本発明の幾つかの実施形態を説明する。
【実施例１】
【００１２】
図１は、本発明の第一実施形態に係る制御システムの概要を示す。
【００１３】
パーソナルコンピューター（ＰＣ）１０３に、撮影装置１０１、映像表示装置１１８及び音声通知装置１２０が接続されている。映像表示装置１１８は、例えばプロジェクターであり、音声通知装置１２０は、例えばヘッドフォンである。ＰＣ１０３からＧＵＩ画面９９の情報が映像表示装置１１８に入力され、映像表示装置１１８が、その情報を基にＧＵＩ画面９９をスクリーン３０２に投影する。
【００１４】
ＧＵＩ画面９９（又はスクリーン３０２）に対応した仮想平面２０１が設定されている。操作者は、ＧＵＩ画面９９のソースであるＰＣ１０３を制御するためのジェスチャーを仮想平面２０１に対して行う。
【００１５】
撮影装置１０１は、例えば、１又は複数台のカメラで構成されている。撮影装置１０１は、仮想平面２０１に対するジェスチャーを撮影し、１又は複数台のカメラで撮影された１又は複数の撮影画像をＰＣ１０３に入力する。
【００１６】
ＰＣ１０３は、撮影装置１０１からの１又は複数の撮影画像を基に、仮想平面２０１に対するジェスチャーでの操作点２０４を検出する。そして、ＰＣ１０３は、操作点２０４の仮想平面２０１に対する深さを特定し、その深さを基に、操作部（本例では手）２０３の仮想平面２０１に対する交差度合いを算出する。ＰＣ１０３は、算出された交差度合いに応じた出力を操作者に対して行う。つまり、操作部２０３の仮想平面２０１に対する交差度合いが操作者に対して通知されることになる。そこで、本実施形態では、算出された交差度合いに応じた出力のことを、便宜上、「フィードバック出力」という。ＰＣ１０３は、フィードバック出力（以下、フィードバックを「ＦＢ」と略す）として、ＦＢ表示対象３０１を映像表示装置１１８から出力し、また、ＦＢ音声を音声通知装置１２０から出力する。交差度合いがより強くなれば、ＦＢ表示対象３０１の色の透過率がより低くなり、ＦＢ音声がより高い音声となる。
【００１７】
図２は、ＰＣ１０３の機能ブロック図である。
【００１８】
ＰＣ１０３は、操作検出部１０４とＦＢ生成部１１１を有する。操作検出部１０４とＦＢ生成部１１１は、例えば、ＰＣ１０３内のマイクロプロセッサーがコンピュータープログラムを実行することにより実現される機能であるが、その全部又は一部がハードウェア回路で実現されても良い。操作検出部１０４及びＦＢ生成部１１１の少なくとも一つが、撮影装置１０１、映像表示装置１１８及び音声通知装置１２０のうちのいずれか一つ或いは複数に分散して備えられても良い。
【００１９】
操作検出部１０４は、仮想平面設定手段１０９、操作部検出手段１０５、操作内容検出手段１０６及び交差度合い算出手段１０７を有する。
【００２０】
仮想平面設定手段１０９は、仮想平面２０１を設定する。具体的には、例えば、仮想平面設定手段１０９は、操作装置１０５からの撮影画像を基に、仮想平面２０１の位置を特定する。そして、仮想平面設定手段１０９は、特定された位置を表す情報を含んだ、仮想平面２０１に関する仮想平面情報１１０を生成し、仮想平面情報１１０を、記憶手段（例えばメモリ）に格納する。
【００２１】
操作部検出手段１０５は、操作装置１０５からの撮影画像を解析して、ジェスチャーでの操作部２０３を検出する。
【００２２】
操作内容検出手段１０６は、操作部２０３の動き（つまりジェスチャー）に従う操作内容（例えば、ドラッグ＆ドロップ、次のページを表示する等）を検出する。
【００２３】
交差度合い算出手段１０７は、仮想平面情報１１０を基に仮想平面２０１の位置を特定し、検出された操作部２０３の仮想平面２０１に対する交差度合いを算出する。その交差度合いを表す情報と、操作内容検出手段１０６により検出された操作内容を表す情報とを含んだ操作情報１０８が、記憶手段（例えばメモリ）に格納される。その操作情報１０８は、ＦＢ生成部１１１に通知される。
【００２４】
ＦＢ生成部１１１が、ＦＢ生成手段１１２、ＦＢ表示生成手段１１４、ＦＢ音声生成手段１１５及びＦＢ表示合成手段１１６を有する。
【００２５】
ＦＢ生成手段１１２は、操作検出部１０４からの操作情報１０８を基に、ＦＢ生成部１１１が管理する操作情報１１３を更新する。
【００２６】
ＦＢ表示生成手段１１４は、更新後の操作情報１１３から交差度合いを特定し、特定された交差度合いに応じたＦＢ表示対象を表す情報を生成する。
【００２７】
ＦＢ表示合成手段１１６は、ＧＵＩ画面などの映像情報１１７に、生成されたＦＢ表示対象を表す情報を合成する。合成後の映像情報１１７が映像表示装置１１８に入力され、その映像情報１１７が表す映像が表示される。その結果、図１で示したように、本来の表示対象であるＧＵＩ画面９９と共に、ＦＢ表示対象３０１が表示される。
【００２８】
ＦＢ音声生成手段１１５は、更新後の操作情報１１３から交差度合いを特定し、特定された交差度合いに応じたＦＢ音声を表す情報を生成する。その情報は、音声通知装置１２０に入力され、音声通知装置１２０から、その情報が表すＦＢ音声が出力される。
【００２９】
以下、仮想平面２０１の設定、交差度合いの算出、及び、ＦＢ表示対象及びＦＢ音声を表す情報の生成について、詳細に説明する。
【００３０】
まず、仮想平面２０１の設定について説明する。
【００３１】
仮想平面２０１の位置は、操作者が操作部（手）２０３で指定することができ、仮想平面設定手段１０９は、仮想平面位置を指定している操作部２０３の撮影画像を基に、仮想平面情報１１０を生成する（仮想平面２０１を設定する）ことができる。
【００３２】
例えば、図３Ａに示すように、操作者は人差し指８０１で仮想平面位置を指定し、仮想平面設定手段１０９は、人差し指８０１の先端に人差し指８０１と直角になるよう（人差し指８０１が法線となるよう）仮想平面２０１を設定する。
【００３３】
或いは、例えば、図３Ｂに示すように、操作者は、両手の人差し指で、仮想平面２０１の対角の２頂点９０１Ａ及び９０１Ｂを指定し、仮想平面設定手段１０９は、その指定された２頂点９０１Ａ及び９０１Ｂを有する仮想平面２０１を設定する。
【００３４】
なお、仮想平面２０１の位置或いはサイズは、操作者からの指示に応じて適宜に変更されても良い（つまり、仮想平面情報１１０が適宜に更新されても良い）。
【００３５】
次に、交差度合いの算出について説明する。
【００３６】
仮想平面２０１に対する操作点２０４の深さが特定される。「操作点」とは、図４Ａ及び図４Ｂに示すように、操作部２０３における、仮想平面２０１から最も深い位置にある箇所（仮想平面２０１から最も離れている箇所）のことである。
【００３７】
特定された操作点２０４の深さを基に、交差度合いが算出される。交差度合いの算出方法として、例えば、図４Ｃに示すような、深さと交差度合いの関係を表すテーブル４０１を利用する方法がある。このテーブル４０１によれば、深さが第一の閾値（例えば−１０）以下の場合には、交差度合いが最低値（例えば０）で一定であり、深さが第二の閾値（例えば１０）以上の場合には、交差度合いが最高値（例えば１００）で一定である。第一の閾値から第二の閾値の範囲において深さが変化した場合に、交差度合いも、最低値から最高値の範囲で、例えばリニアに変化する。このテーブル４０１によれば、仮想平面２０１に対する操作点２０４の深さが負の深さであっても（言い換えれば、操作部２０３が仮想平面２０１に交差していなくても）、操作点２０４が或る程度仮想平面２０１に近い位置にあれば、交差度合いが最小値にならないので、ジェスチャーに従う制御が可能である。
【００３８】
次に、ＦＢ表示対象及びＦＢ音声を表す情報の生成について説明する。
【００３９】
ＦＢ表示対象を表す情報は、例えば、図５に示すテーブル４０２、４０３Ａ及び４０３Ｂを基に生成される。テーブル４０２は、透過率と交差度合いの関係を表すテーブルである。テーブル４０３Ａ及び４０３Ｂは、色の輝度値と交差度合いの関係を表すテーブルである。具体的には、テーブル４０３Ａは、青色の輝度値と交差度合いの関係を表すテーブルであり、テーブル４０３Ｂは、赤色の輝度値と交差度合いの関係を表すテーブルである。交差度合いに対応した透過率、青色の輝度値及び赤色の輝度値が、これらのテーブル４０２、４０３Ａ及び４０３Ｂから特定され、特定された結果に基づき、ＦＢ表示対象の情報が生成されることになる。
【００４０】
図６に、交差度合いが０、２５、４９、５０、７５及び１００のそれぞれの場合のＦＢ表示対象３０１を示す。ＦＢ表示対象３０１は、例えば、カーソル３０３を中心とした円形の領域である。カーソル３０３は、例えば、操作点２０４に対応した位置に表示される。「操作点２０４に対応した位置」とは、例えば、操作点２０４から仮想平面２０１に下ろした垂線と仮想平面２０１との交点に基づく位置であって、ＧＵＩ画面の表示座標系における位置である。
【００４１】
図６（Ａ）に示すように、交差度合いが０の場合、透過率が１００％のため（図５のテーブル４０２を参照）、ＦＢ表示対象３０１は完全に透明となり見えない。この場合、操作者は、操作部２０３が仮想平面２０１から離れすぎていてジェスチャーで所望の制御を行えないと判断することができる。操作部２０３が仮想平面２０１に或る程度近づけば、交差度合いが０より高くなる。
【００４２】
交差度合いが０より高くなってくると、透過率が１００％より低い値となってくるため、ＦＢ表示対象３０１は見えてくる（例えば、図６（Ｂ）（交差度合いが２５の場合のＦＢ表示対象３０１を示す図）を参照）。
【００４３】
また、交差度合いが５０になるまでは、青色の輝度値が２５５であり赤色の輝度値が０のため、ＦＢ表示対象３０１は青色である（例えば、図６（Ｃ）（交差度合いが４９の場合のＦＢ表示対象３０１を示す図）を参照）。しかし、交差度合いが５０になると、青色の輝度値が０になり赤色の輝度値が２５５になるため、ＦＢ表示対象３０１は、赤色から青色に変わる（例えば、図６（Ｄ）（交差度合いが５０の場合のＦＢ表示対象３０１を示す図）を参照）。
【００４４】
交差度合いが更に高くなれば、透過率が更に低くなり、故に、ＦＢ表示対象３０１の色が濃くなる（例えば、図６（Ｅ）（交差度合いが７５の場合のＦＢ表示対象３０１を示す図）を参照）。交差度合いが１００になれば、透過率が最低値（例えば５０％）となり、故に、ＦＢ表示対象３０１の色が最も濃くなる（例えば、図６（Ｆ）（交差度合いが１００の場合のＦＢ表示対象３０１を示す図）を参照）。
【００４５】
なお、上記の例では、ＦＢ表示対象３０１の透過率と色の輝度値が変化するが、それに代えて又は加えて、ＦＢ表示対象３０１のサイズ及び／又は形状が変化しても良い。また、ＦＢ表示対象３０１に代えて、交差度合いを表す数値が表示されても良いし、交差度合いに基づくメッセージが表示されても良い。メッセージは、例えば、交差度合いが最低値に近ければ、「もう少し前方に手を出してください」といったような、仮想平面２０１に対するジェスチャーが確実に認識されるためのアドバイスとすることができる。
【００４６】
ところで、ＦＢ音声を表す情報は、例えば、図５に示すテーブル４０４を基に生成される。テーブル４０４は、周波数と交差度合いの関係を表すテーブルである。交差度合いに対応した周波数がテーブル４０４から特定され、特定された結果に基づき、ＦＢ音声の情報が生成されることになる。
【００４７】
以上が、ＦＢ表示対象及びＦＢ音声を表す情報の生成についての説明である。
【００４８】
次に、操作検出部１０４及びＦＢ生成部１１１で行われる処理の流れを説明する。
【００４９】
図７は、操作検出部１０４が行う処理の流れを示す。
【００５０】
操作部検出手段１０５が、入力されてくる撮影画像を基に、操作部（操作者の手）２０３を検出する（Ｓ７０１）。そして、操作部検出手段１０５が、検出された操作部２０３の位置を基に、操作部２０３が仮想平面２０１の近隣に存在するか否かを判断する（Ｓ７０２）。
【００５１】
Ｓ７０２の判断の結果が肯定的の場合（Ｓ７０２：ＴＲＵＥ）、操作内容検出手段１０６が、操作内容を検出し（Ｓ７０３）、交差度合い算出手段１０７が、交差度合いを算出する（Ｓ７０４）。検出された操作内容を表す情報と、算出された交差度合いを表す情報とを含んだ操作情報１０８が生成され保存される（Ｓ７０５）。その操作情報１０８は、ＦＢ生成部１１１に通知される。
【００５２】
図８は、ＦＢ生成部１１１が行う処理の流れを示す。
【００５３】
ＦＢ生成手段１１２は、操作情報１０８を操作検出部１０４から受けた場合（Ｓ８０１：ＴＲＵＥ）、ＦＢ生成部１１１で管理されている操作情報１１３を参照する。ＦＢ生成部１１１は、その操作情報１１３が表す操作内容と、受けた操作情報１０８が表す操作内容との関係を把握する（Ｓ８０２）。そして、ＦＢ生成部１１１は、把握された関係を基に、新しい操作情報を生成し、その操作情報を基に操作情報１１３を更新する（Ｓ８０３）。
【００５４】
ＦＢ表示生成手段１１４が、更新後の操作情報１１３から特定される交差度合いを基に、ＦＢ表示対象の情報を生成する。ＦＢ表示合成手段１１６が、映像情報１１７にＦＢ表示対象の情報を合成することで、映像情報１１７を更新する（Ｓ８０５）。更新後の映像情報１１７が、映像表示装置１１８に出力される。
【００５５】
また、ＦＢ音声生成手段１１５が、更新後の操作情報１１３を基に、ＦＢ音声の情報を生成し、その情報を、音声通知装置１２０に出力する（Ｓ８０６）。
【００５６】
以上、上述した実施形態によれば、操作者は、ＦＢ表示対象３０１の表示状態或いは音声から、操作部２０３が仮想平面２０１に対してどの程度交差しているのかをリアルタイムに把握することができる。このため、例えば、操作部２０３が仮想平面２０１から離れていったことによりＦＢ表示対象３０１の色が薄くなってきたら（及び音声が低くなってきたら）、所望の制御が行えなくなるおそれがあるので、操作部２０３を動かして仮想平面２０１に近づけるといった措置をとることができ、以って、所望の制御を確実に行うことが期待できる。
【実施例２】
【００５７】
以下、本発明の第二実施形態を説明する。その際、第一の実施形態との相違点を主に説明し、第一の実施形態との共通点については説明を省略或いは簡略化する（なお、これは、第三実施形態以降の説明についても同様である）。
【００５８】
ＦＢ生成手段は、図８のＳ８０２で、操作情報１１３が表す操作内容と、操作検出部１０４から受けた操作情報１０８が表す操作内容との関係を把握するが、それらの関係が、特定の関係でなければ、Ｓ８０３以降を実行しなくても良い。言い換えれば、ＦＢ生成手段は、操作者のジェスチャーを基に検出された操作内容が特定の操作内容であるか否かの判断を行う。その判断の結果が肯定的である場合に、特定された交差度合いに応じたＦＢ出力が行われ、その判断の結果が否定的である場合に、ＦＢ出力が行われなくて良い。
【００５９】
特定の操作内容としては、例えば、連続的な操作を表す内容、具体例としては、ドラッグ＆ドロップ、ＧＵＩ画面９９の移動などである。
【００６０】
この第二実施形態によれば、特定の操作内容以外の操作内容のジェスチャーの際には、ＦＢ出力が行われないようにすることができる。
【実施例３】
【００６１】
本発明の第三実施形態では、操作者は、仮想平面２０１のどちら側の面に対してもジェスチャーを行うことができる。操作部検出手段が、撮影画像と仮想平面情報１１０とを基に、操作部２０３が仮想平面２０１のどちら側の面から仮想平面２０１に対して交差されたかを検出することができる。どちら側から操作部２０３が交差したかによって、深さ方向が異なる。例えば、図９Ａに示すように、操作部２０３が一方（左）から他方（右）へと仮想平面２０１と交差した場合には、操作部検出手段は、仮想平面２０１の他方側を深さ方向と決定し、図９Ｂに示すように、他方から一方へと操作部２０３が仮想平面２０１と交差した場合には、仮想平面２０１の一方側を深さ方向と決定する。交差度合い検出手段は、決定された深さ方向にどれだけ深い位置に操作点２０４があるかに応じて、交差度合いを算出する。
【実施例４】
【００６２】
本発明の第四実施形態では、仮想平面が複数枚設定される。複数枚の仮想平面は、例えば、深さ方向に異なる位置に平行に設定される。仮想平面情報は、仮想平面毎に生成され設定される。
【００６３】
複数の仮想平面を、例えば下記のように利用することができる。
【００６４】
例えば、第一の仮想平面に対する操作点の深さの限界に基づく位置に、第二の仮想平面がある。「深さの限界」とは、ジェスチャーを検出できない、或いは、ジェスチャーが行われても制御が行われない位置である。
【００６５】
図１０Ａの例では、第一の仮想平面２０１Ａの深さ方向について、正側の深さ限界Ｐよりも浅い位置に、第二の仮想平面２０１Ｂ１があり、負側の深さ限界Ｑよりも深い位置に、第二の仮想平面２０１Ｂ２がある。この場合、以下の（１）又は（２）が検出された場合、
（１）深さ方向に移動した操作点２０４が第二の仮想平面２０１Ｂ１に到達したこと；
（２）深さ方向の反対方向に移動した操作点２０４が第二の仮想平面２０１Ｂ２に到達したこと；
ＦＢ生成部１１１は、ジェスチャーに従う制御に失敗するおそれがあることの警告としてのＦＢ出力を行うことができる。
【００６６】
また、例えば、仮想平面毎にＧＵＩ画面が対応付けられ、操作点がどの仮想平面の近くにあるかによって、最前面に表示されるＧＵＩ画面や、仮想平面とＧＵＩ画面との対応付けが変更されても良い。この場合、各仮想平面の仮想平面情報に、どのＧＵＩ画面が対応付けられているかを表す情報が含まれても良い。
【００６７】
図１０Ｂの例では、第一の仮想平面２０１Ｘに、第一のＧＵＩ画面９９Ｘが対応付けられており、第一の仮想平面２０１Ｘよりも深い位置にある第二の仮想平面２０１Ｙに、第一のＧＵＩ画面の背面にある第二のＧＵＩ画面９９Ｙが対応付けられている。
【００６８】
この状況において、操作検出部が、第一の仮想平面２０１Ｘの側よりも第二の仮想平面２０１Ｙの側に操作点２０４があることを検出した場合（例えば、操作点２０４が第一の仮想平面２０１Ｘよりも第二の仮想平面２０１Ｙに近い位置にあることを検出した場合）、図１０Ｃに示すように、ＦＢ生成部が、第一のＧＵＩ画面９９Ｘの前面に第二のＧＵＩ画面９９Ｙを表示する。操作検出部が、仮想平面情報を、下記（Ａ）の内容を表す情報から下記（Ｂ）の内容を表す情報、
（Ａ）第一の仮想平面２０１Ｘに第一のＧＵＩ画面９９Ｘが対応し、第二の仮想平面２０１Ｙに第二のＧＵＩ画面９９Ｙが対応する；
（Ｂ）第一の仮想平面２０１Ｘに第二のＧＵＩ画面９９Ｙが対応し、第二の仮想平面２０１Ｙに第一のＧＵＩ画面９９Ｘが対応する；
に更新する。この後、第一の仮想平面２０１Ｘに対するジェスチャーに応答して、第二のＧＵＩ画面９９Ｙが制御される。
【００６９】
なお、上記のような、前面表示されるＧＵＩ画面を変更するための操作（仮想平面及びＧＵＩ画面の対応付けを変更するための操作）は、操作点をどの仮想平面に近い位置に近づけるかというジェスチャーに代えて、別の特定のジェスチャー、例えば、以下の（１）又は（２）のジェスチャー、
（１）第一の仮想平面２０１Ｘに手の平を近づけるといったような、前面表示されているＧＵＩ画面を後方に押して背面のＧＵＩ画面が前面表示されることを直感的にイメージさせるジェスチャー；
（２）第二の仮想平面２０１Ｙから第一の仮想平面２０１Ｘの方向へと手を引くといったような、背面にあるＧＵＩ画面を前面表示させることを直感的にイメージさせるジェスチャー；
が採用されても良い。
【００７０】
以上、本発明の好適な幾つかの実施形態を説明したが、これらは本発明の説明のための例示であって、本発明の範囲をこれらの実施形態にのみ限定する趣旨ではない。本発明は、他の種々の形態でも実施することが可能である。
【符号の説明】
【００７１】
１０１…撮影装置  １０３…パーソナルコンピューター（ＰＣ）  １１８…映像表示装置  １２０…音声通知装置  ２０１…仮想平面
【図１】
2010205223.tif 000003
【図２】
2010205223.tif 000004
【図３】
2010205223.tif 000005
【図４】
2010205223.tif 000006
【図５】
2010205223.tif 000007
【図７】
2010205223.tif 000008
【図８】
2010205223.tif 000009
【図９】
2010205223.tif 000010
【図１０】
2010205223.tif 000011
【図６】
2010205223.tif 000012