(57)【要約】【課題】  ジェスチャを用いた３次元表示制御の際に、手軽で正確な表示の制御を行うことを目的とする。【解決手段】  手検索処理部（２０２）が手を検索し、検索された手が、３次元表示の３軸と指を対応付けられた予め定めたジェスチャであるかどうかを手形状判定部（２０３）が判定し、予め定めたジェスチャであると判定された場合、３次元表示と対応付けられた手の状態に応じて特徴空間回転表示処理部（２０６）が表示処理を行う。【選択図】  図２
2012108826.tif 000002
【特許請求の範囲】
【請求項１】
３次元表示をする表示制御装置であって、
手を検索する検索手段と、
前記検索手段で検索された手が、前記３次元表示の３軸と指を対応付けられた予め定めたジェスチャであるかどうかを判定する判定手段と、
前記判定手段で予め定めたジェスチャであると判定された場合、前記３次元表示と対応付けられた前記手の状態に応じた前記３次元表示の表示制御を行う表示制御手段と
を有することを特徴とする表示制御装置。
【請求項２】
前記手の回転を検出する検出手段を更に有し、
前記表示制御手段は、前記検出手段によって検出された手の回転に基づいて、前記３次元表示を回転表示することを特徴とする請求項１に記載の表示制御装置。
【請求項３】
前記表示制御手段は、前記回転表示された後に、前記判定手段で判定された手の形状が、停止ジェスチャ、もしくは手が検出されない場合、前記回転表示を停止することを特徴とする請求項２に記載の表示制御装置。
【請求項４】
前記停止後に、前記判定手段で、前記３軸と指を対応付けられた予め定めたジェスチャであると判定された場合に、前記検出手段で回転が検出された場合、該検出された回転に基づいて、前記表示制御手段は前記３次元表示を再回転することを特徴とする請求項３に記載の表示制御装置。
【請求項５】
前記判定手段は、更に顔検出手段を有し、前記顔検出手段によって顔領域が検出された場合、予め顔領域に対して定められた領域にある手を検出し、該検出された手の形状を判定することを特徴とする請求項１から４のいずれか一項に記載の表示制御装置。
【請求項６】
前記３軸と指を対応付け可能な予め定めたジェスチャとは、フレミングの右手または左手の法則であることを特徴とする請求項１から５のいずれか１項に記載の表示制御装置。
【請求項７】
前記停止ジェスチャとは、グウまたはパアであることを特徴とする請求項３から５のいずれか１項に記載の表示制御装置。
【請求項８】
前記３次元表示とは、直方体の表示または複数のサムネールの正立表示であることを特徴とする請求項１から７のいずれか一項に記載の表示制御装置。
【請求項９】
前記表示制御手段は、前記回転表示を時間経過とともに回転速度を落として表示することを特徴とする請求項１から８のいずれか一項に記載の表示制御装置。
【請求項１０】
３次元表示をする表示制御装置の制御方法であって、
手を検索する検索工程と、
前記検索工程で検索された手が、前記３次元表示の３軸と指を対応付けられた予め定めたジェスチャであるかどうかを判定する判定工程と、
前記判定工程で予め定めたジェスチャであると判定された場合、前記３次元表示を対応付けられた前記手の状態に応じた前記３次元表示の表示制御を行う表示制御工程と
を有することを特徴とする表示制御装置の制御方法。
【請求項１１】
請求項１０に記載された表示制御装置の制御方法の各工程をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ジェスチャを用いて３次元表示を制御する、表示制御装置及び表示制御装置の制御方法、プログラムに関する。
【背景技術】
【０００２】
従来からジェスチャ、特に手を用いた技術は多くあった。例えば、予め認識すべき手形状に対して、様々な姿勢を示す画像から手首領域を削除して正規化し、正規化した画像に対して固有空間解析に基づく方法を適用することにより、より複雑な手形状の画像に対してもその形状と姿勢を認識する技術がある。更に、手の動きを認識し、これらをシンボル系列にしてジェスチャの認識を行う技術もある（特許文献１）。
【０００３】
また、より精度を高めるために、操作者の手の甲の位置及び姿勢を３軸の角速度センサと３軸の加速度センサで検出し、指の姿勢を端部の１軸の角速度で検出してこれらのデータに基づいて手の形状を推定し、この手の形状に基づいて操作入力信号を発生させる技術もある（特許文献２）。
【０００４】
更に、６面体（直方体）の箱の形をした表示物体の操作に適した入力機器６面体の各面に検出器を備え、対向する２面上におけるそれぞれの検出器を２本の指で接触することにより座標３軸に対して正および負の方向を制御する情報を提供する制御用入力機器もあった。これはある方向へ押すとその方向へ動く制御信号を発し、互いに平行な面に逆向きに指を滑らせれば回転の制御信号を発する（特許文献３）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第４３３２６４９号公報
【特許文献２】特開２００１−３４４０５３号公報
【特許文献３】特許第３４２１１６７号号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
例えば３次元空間（直方体）を自在に回転させるための状態を指定する方法の実現を考えてみる。
【０００７】
特許文献１の様に、一般的な手形状の画像に対してもその形状と姿勢を認識する技術は手首領域を削除した後予め定めた画像形態（手の方向，画像の大きさ，画像の明るさ）に正規化した手形状画像を固有空間法による解析を行って、手形状を認識する。そのため、手の回転角度が何度であるかという様な正確な状態を把握する事には向いていない。
【０００８】
又、特許文献２の様なデータグローブの様な専用装置を用いると、手の形状や回転角度が何度であるかという様な正確な状態を把握する事が可能である。しかし、データグローブを装着しなければならず、例えば、複数人でジェスチャを行ってインタラクションを行いながらジェスチャによる制御を行なう場合に、人数分のデータグローブが必要になる。
【０００９】
又、特許文献３の様な６面体の箱の形をした表示物体の操作に適した入力機器では、ジェスチャコマンドを行いたい人へこの装置を手渡せば良く、人数分の装置は必要ではなくなるが、この入力装置が無いと動作できないという不便さがある。
【００１０】
この様に、ジェスチャを用いた３次元表示制御に関しては、正確な回転角度の把握の困難さや専用入力装置を用いない手軽さの実現の両立が課題である。
【００１１】
そこで、本発明は、ジェスチャを用いた３次元表示制御の際に、手軽で正確な表示の制御を行うことを目的とする。
【課題を解決するための手段】
【００１２】
上記の目的を達成するための本発明の一態様による表示制御装置は以下の構成を備える。すなわち、３次元表示をする表示制御装置であって、手を検索する検索手段と、前記検索手段で検索された手が、前記３次元表示の３軸と指を対応付けられた予め定めたジェスチャであるかどうかを判定する判定手段と、前記判定手段で予め定めたジェスチャであると判定された場合、前記３次元表示と対応付けられた前記手の状態に応じた前記３次元表示の表示制御を行う表示制御手段とを有する。
【発明の効果】
【００１３】
本発明により、ジェスチャを用いた３次元表示制御の際に、手軽で正確な表示の制御を行うことが可能となる。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施の形態における装置構成図である。
【図２】本発明の実施の形態における回転制御処理のブロック図である。
【図３】本発明の実施の形態１における登録処理フローチャートである。
【図４】本発明のフレミングの右手のジェスチャによる３次元空間の回転制御を表す図である。
【図５】本発明の実施の形態２における登録処理フローチャートである。
【図６】本発明の実施の形態１におけるジェスチャに対応した３次元表示の回転を表す図である
【発明を実施するための形態】
【００１５】
以下、図面を参照して本発明の好適な実施形態について詳細に説明する。なお、本発明は以下の実施形態に限定されるものではなく、本発明の実施に有利な具体例を示すにすぎない。また、以下の実施形態の中で説明されている特徴の組合せの全てが本発明の課題解決手段として必須のものであるとは限らない。
【００１６】
以下の実施の形態では、画像特徴量に基づき類似する画像の検索を行い、検索結果を３次元表示、ここでは３次元特徴空間表示の姿勢をフレミングの法則の右手を用いたジェスチャで表示制御する場合を考える。
【００１７】
図４に示すフレミングの右手或いは左手の法則は広く知られている法則である。フレミングの手の状況、即ち３指からなる３軸の状態を認識し、３次元（直方体）の表示をそれと同じにする事により、表示の回転状態を身一つで自在に指示でき、直感的でトレーニングも要らない。
【００１８】
フレミングの法則の指使い（人差し指、中指、親指の３指が直行する指使い）で、夫々の指が３次元空間の軸の回転状態を指定する様にジェスチャを行い、この指使いの画像を認識する事により３次元空間の状態を制御コントロールすれば良い。
【００１９】
手が回転出来ない（ひねることができない）角度になったら、グウ又はパアでその状態を初期状態にして、自然な手の状態から継続して指示できるとジェスチャの自由度が増す。
【００２０】
処理の起点としては、人体検出を行い、手の位置を推測（体に対してどの領域で操作をＯＮするか決めておく）して範囲を制限して手を探索する。探索した手の状態を認識して、軸の回転指定などを検出すると良い。
【００２１】
他方、フレミングに手の動きで応力ベクトルを与えると原点に対する方向を鑑みて回りつづけ、次第に摩擦力で回転が減衰する方法もある。止めるジェスチャで回転を止め、逆に同じ応力を与えると加速回転すると良い。
【００２２】
これは先の状態を指示するために同じジェスチャを継続するのが辛い場合（人）には有効である。
【００２３】
例えば、３次元空間中に画像のサムネールを配置するような、画像検索結果表示の場合には、３次元の軸を上記の方法で任意に回転させ、且つ検索結果のサムネール画像が正面に正立して見えるようにする。
【００２４】
（実施形態１）
図１は本願発明にかかる表示制御装置の構成例を示す図である。
【００２５】
同図において、１０１はＣＰＵであり、本実施の表示制御方法を用いた表示制御装置における各種演算・制御を実行する。後述するフローの制御もＣＰＵ１０１が行う。１０２はＲＯＭであり、装置の立ち上げ時に実行するブートプログラムや各種の固定データを格納する。１０３はＲＡＭであり、ＣＰＵ１０１が処理するための制御プログラムを格納すると共に、ＣＰＵ１０１が各種制御を実行する際の作業領域を提供する。例えば、ＲＡＭ１０３は本発明の処理を行うプログラム１０３本体を格納するほか、顔検出処理モジュールや手探索処理モジュールや手形状判定モジュール、回転ベクトル検出モジュール、回転状態継続処理制御モジュール、特徴空間回転表示処理モジュールなど（１０３Ａ）を記憶する。また、ＲＡＭ１０３は画像入力を行う際の画像を一時格納する画像メモリとしても使用する。
【００２６】
１０４はキーボード、１０５はマウスであり、ユーザによる処理モード指定等の各種入力操作環境を提供する。
【００２７】
１０６は外部記憶装置であり、ハードディスクや磁気ディスク、ＣＤ−ＲＯＭ等で構成され、例えば、３次元特徴量空間に表示する画像のサムネール画像や特徴量、画像検索に用いる画像検索ＤＢや画像データ本体を蓄積するスペースとして用いる。もちろん、本発明で用いる、判別器で使用する辞書データを記憶する際にも用いる。１０７はネットワークインターフェースであり、ネットワーク上の各機器との通信を可能とする。１０９はインターフェース、１１０はビデオカメラなどの画像入力装置である。また、１１１は上記の各構成を接続するバスである。
【００２８】
以下本発明の一実施の形態について、図１で説明した表示制御装置に画像検索処理を適用する例を説明する。
【００２９】
本実施の形態では、画像特徴量に基づき類似する画像の検索を行い、検索結果を３次元表示、ここでは３次元特徴空間表示の姿勢をフレミングの法則の右手を用いたジェスチャで表示制御する場合を考える。メタデータを用いた検索の場合も、メタデータを数値化する事により、便宜上、３次元特徴空間での表示を行う事が可能である。
【００３０】
特徴空間の中心程クエリ画像に類似する画像が表示され、その周辺に中心からの距離が遠いほど類似していない画像のサムネールが表示画面に沿って正立して表示しているとする。
【００３１】
サムネールの重なりによる隠れを除きながら、様々な角度から３次元の特徴空間を見たい場合には、ユーザの意のままに３次元特徴空間を回転して、好ましいアングルから眺めて所望の画像を見つけるための機能が必要である。
【００３２】
そこで、表示制御装置とは別に、画像入力装置としてビデオカメラでユーザを撮影し、その撮影された映像を解析する事により、フレミングの右手の直行する３指の回転状態の検出及それに応じた３次元特徴空間表示を行う。
【００３３】
好ましい実施の形態の作用としては、下記の様な３次元特徴空間表示機能を提供する。顔の位置からの予め定められた相対的な位置に手を持ってきた場合にのみ、手の形状で回転状態指示を検出する。もちろん、人体を検出し、人体に対して予め定められた相対的な位置でも構わない。尚、便宜上、フレミングの右手を例にあげて説明を行う。フレミングの右手であれば３指と３次元特徴空間の３軸とを対応付け、右手の回転と同じ状態に３次元特徴空間を回転しその内部のサムネールを正立表示し、フレミングの右手で無い場合には、無回転状態に戻る。
【００３４】
但し、回転中に手がグウ或いはパアの場合にはその回転状態保ち一時停止し、且つこの回転角度を新たな初期値として保持する。更に停止中の状態から回転を再開する場合には、人が３指を現在の３次元特徴空間の３軸のどれに対応させるかを指定した上で、この状態からの３指の回転を再開させ、３次元特徴空間を再回転させる。尚、ここでは３軸の指定を人が指定することとしたが、指の角度から自動で対応するようにしてもよい。これは、右手の回転の肉体的／関節稼動域の限界点で、更に回転を行うための状態継続を行う処理である。
【００３５】
上記回転処理を図２のブロック図に示す。画像入力部２００では、ビデオカメラからのフレーム画像を取り出し、フレーム画像から顔検出処理部２０１が顔検出を行う。顔検出結果から、手探索処理部２０２が予め顔領域に対して定められた領域に対して手を探索し、手形状判定部２０３にて手の形状を判定する。
【００３６】
本実施の形態で手形状判定部２０３は、手は、フレミングの右手、グウ、パアおよびそれ以外の手を判別する。フレミングの右手は回転状態の指定を表すジェスチャとし、グウ或いはパアは処理の制御を表す。回転状態継続処理制御部２０５は、グウ或いはパアの制御用ジェスチャである場合の処理の制御を行い、回転ベクトル検出部２０４は、フレミングの右手による回転状態を検出する。特徴空間回転表示処理部２０７は、回転状態継続処理制御部２０５と回転ベクトル検出部２０４に基づきユーザに画像検索の結果を指定された回転角度で提示する。
【００３７】
図３は、上記の回転制御処理のフローである。Ｓ３０１にて、３次元特徴空間（図中では直方体と表現する）を回転の無い状態に初期化処理を行い、３指の回転角も０度、状態フラグＡに０をセットする。Ｓ３０２にて画像入力部２００から得たフレーム画像に対して顔検出処理部２０１にて顔の検出を行い、Ｓ３０４にて予め顔に対して相対的に決められた領域を手の探索領域とする。
【００３８】
顔検出は既存の物で良く、ｅｉｇｅｎｆａｃｅ等の手法を用いれば良い。手探索領域処理部１０２では、Ｓ３０４にて手を探索する。最も簡易な探索方法としては、顔の色と近い色域の画素塊が所定以上の大きさで存在するかを判定する方法や、予め様々な手の形状画像を機械学習しておき判別器により判定する方法もある。
【００３９】
Ｓ３０５にて、手が無いと判断した場合にはＳ３０６にてＳ３０１と同様、３次元特徴空間を回転の無い状態に初期化処理を行い、３指の回転角も０度、状態フラグＡに０をセットする。Ｓ３０５にて手が有ると判定した場合は、Ｓ３０７にて手形状判定部２０３で手の形状判定を行うが、ここでも予めフレミングの右手の画像の角度・手の個体差バリエーションを機械学習しておいた判別器により認識する。
【００４０】
Ｓ３０８にてフレミングの右手であると判断した場合には、３指と３次元特徴空間とを対応付け、回転ベクトル検出部２０４にて３指からなる回転ベクトルを算出する。回転ベクトルに関しては、先の機械学習に用いた様々な角度バリエーション画像を用いて画像と回転角度の対応付けを学習し、そのどれに似ているかで大まかな角度を知る事が可能である。また、更に指の直線を検出し、より細かい角度を算出する事も可能である。回転状態継続処理制御部２０５は、グウ或いはパアの制御用ジェスチャである場合の処理の制御を行い、これらに応じた下記の処理分岐を実現する。
【００４１】
Ｓ３１０にてフラグＡが０であれば、特徴空間回転表示処理部２０７はＳ３１１にて３次元特徴空間の内部の画像サムネールを正立表示しながら、Ｓ３０９で得た回転ベクトルで３次元特徴空間を回転表示し、Ｓ３０３へ戻る。
【００４２】
図４にフレミングの右手３次元特徴空間の３軸の対応関係を示す。この様に、手の３指と３次元特徴空間とが対応付けられ、手の３指の状態と同じように回転した状態で３次元特徴空間が回転表示され、その中の画像サムネールが正立して表示される。
【００４３】
他方、Ｓ３０８にてフレミングの右手で無いと判断した場合には、Ｓ３１２にてグウ或いはパアであるかを判定し、そうであればＳ３１３にて、状態フラグＡを１にし、Ｓ３１４で現在の回転ベクトルを初期値として記憶し、そのままの回転状態の表示で一時停止する。グウ或いはパアの判定も機械学習による判別器を用いると良い。停止後に、フレミングの右手が検出された場合、その回転状態に合わせて一時停止を解除し再開する事になる。
【００４４】
Ｓ３１２にてグウでもパアでも無い場合には、Ｓ３１５にて、Ｓ３０１と同様、３次元特徴空間を回転の無い状態に初期化処理を行い、３指の回転角も０度、状態フラグＡに０をセットし、Ｓ３０３へ戻る。
【００４５】
ところで、Ｓ３１０にて継続モードフラグＡが０で無い場合、Ｓ３１０にて回転ベクトルと、Ｓ３１４にて記憶した回転ベクトルとの内積Ｓを算出する。Ｓは新たな軸の対応付けを行っているかどうかを判断する指標である。Ｓ３１６にてＳの絶対値が閾値ε未満であれば、軸の対応を行ったと見なし、Ｓ３１７でフレミングの３指と３次元特徴空間の軸の対応関係を更新し、Ｓ３１８で状態フラグＡ＝０とし、Ｓ３０３へ戻る。Ｓ３１６にてＳの絶対値がε未満で無い場合には、３軸の更新不要と見なしＳ３０３に戻る。
【００４６】
尚、ここでは、回転のみの説明をしたが、フレミングの右手の状態で、手を平行移動させることによって、３次元特徴空間を平行移動させてもよい。
【００４７】
以上実施の形態で説明したように、本発明により、ジェスチャを用いた３次元表示制御の際に、手軽で正確な表示の制御を行うことが可能となる。
【００４８】
フレミングの法則という、子供でも知っている３指の直行状態を用いる事で、特にトレーニングする事無く手軽に直感的に３次元表示状態を変更する事が出来る。
【００４９】
また、図６に本発明のフレミングの右手で水平方向に回転したジェスチャに対応して、水平方向に３次元表示を回転制御する図を示す。
【００５０】
この様に、３次元特徴空間中に画像検索結果としてサムネールを表示する場合に、軸を任意に回転させ、且つ画像が正面に正立して見える事により、隠れにより見え難い特徴空間の検索結果を簡単に見るようにコントロールする事が出来る。
【００５１】
更なる応用としては、３次元物体一般の表示状態指示である。物体を内包する直方体を定義し、この３軸・辺をフレミングの手の指に対応させる事により可能である。
【００５２】
（実施形態２）
実施の形態２では、フレミングの右手であればその回転方向に３次元特徴空間を定められた初期回転角速度で回転し、その内部のサムネールを表示し、まるで軸の摩擦が有るが如く、時間経過と共に回転角速度を減じ停止する。また、フレミングの右手で無い場合で、グウ或いはパアの場合には回転を停止する。
【００５３】
顔の位置からの予め定められた相対的な位置に手を持ってきた場合にのみ、手の形状で回転方向を検出する処理は実施の形態１と同じである。また、装置構成及びブロック図は、図１、図２と同様なのでここでは省略する。
【００５４】
上記の処理を行うための処理を図５のフローを用いて説明する。
【００５５】
Ｓ５０１にて、３次元特徴空間を回転の無い状態に初期化処理を行い、３指の回転角も０度、状態フラグＢに０をセットする。Ｓ５０２にて顔の検出を行い、Ｓ５０３にて予め顔に対して相対的に決められた領域を手の探索領域とする。顔検出は既存の物で良く、ｅｉｇｅｎｆａｃｅ等の手法を用いれば良い。
【００５６】
Ｓ５０４にて手を探索する。最も簡易な探索方法としては、顔の色と近い色域の画素塊が所定以上の大きさで存在するかを判定する方法や、予め様々な手の形状画像を機械学習しておき判別器により判定する方法もある。Ｓ５０５にて、手が無いと判断した場合にはＳ５０６にてＳ５０１と同様、３次元特徴空間を回転の無い状態に初期化処理を行い、３指の回転角も０度、状態フラグＢに０をセットする。ここまでは実施の形態１と同様の処理である。
【００５７】
Ｓ５０５にて手が有ると判定した場合は、次にＳ５０６にて、手の形状判定を行うが、ここでも予めフレミングの右手の画像の角度・手の個体差バリエーションを機械学習しておいた判別器により認識する。
【００５８】
Ｓ５０７にてフレミングの右手であると判断した場合には、Ｓ５０８で回転方向ＲＶを算出する。
【００５９】
先の機械学習に様々な角度バリエーションを学習しており、複数の動画フレームにおける最も類似している回転角度のシーケンスを用いて回転ベクトルを知る事が可能である。
もちろん動画の圧縮に用いる画素やブロック単位の動きベクトルを求める手法により回転方向を推測しても良い。
【００６０】
Ｓ５０９にて３次元特徴空間を内部の画像サムネールを正立表示しながら、初期角速度Ｒ０、回転方向ＲＶで３次元特徴空間を回転表示する。
更に、Ｓ５１０で状態フラグＢに１をセットし、回転方向ＲＶ回転速度として初期角速度Ｒ０を記憶し、Ｓ３０３へ戻る。
【００６１】
他方、Ｓ５０７にてフレミングの右手で無いと判断した場合には、Ｓ５１１にてグウ或いはパアであるかを判定し、そうであればＳ５１１にて、状態フラグＢを０にし、Ｓ５１３で回転を一次停止し、３次元特徴空間内部の画像サムネールを正立表示する。
グウ或いはパアの判定も機械学習による判別器を用いると良い。
【００６２】
次にフレミングの右手が検出され、その回転方向に合わせて回転を行う時点で一時停止を解除し再開する事になる。
【００６３】
Ｓ５１１にてグウでもパアでも無い場合には、Ｓ５１５にて状態フラグＢが１であるか判断し、１であればＳ５１５にて回転を減速して３次元特徴空間内部の画像サムネールを正立表示し、Ｓ５１６で回転角速度を記憶する。もちろん、Ｓ５１５で回転速度を減じてゆくと最終的には停止する。Ｓ５１４にて状態フラグＢが１で無い場合には回転状態では無いと判断し、Ｓ５０３に戻る。
【００６４】
以上実施の形態で説明したように、本発明によれば、ジェスチャを用いた３次元表示制御の際に、手軽で正確な回転の制御を行うことが可能となる。
【００６５】
更に実施の形態２によれば、回転速度を直感的なジェスチャで制御できる。フレミングの法則という、子供でも知っている３指の直行状態を用いる事で、特にトレーニングする事無く直感的に３次元表示状態を変更する事が出来る。
【００６６】
更に、３次元特徴空間中に画像検索結果としてサムネールを表示する場合に、軸を任意に回転させ、且つ画像が正面に  正立して見える事により、隠れにより見え難い特徴空間の検索結果を簡単に見るようにコントロールする事が出来る。
【００６７】
更なる応用としては、３次元物体一般の表示状態指示である。物体を内包する直方体を定義し、この３軸・辺をフレミングの手の指に対応させる事により可能である。
【００６８】
（他の実施の形態）
実施の形態２において、初期回転角速度を定数値としたが、フレミングの右手の速度を検出し、速いほど回転を早くしても良い。また、実施の形態では、３次元特徴空間を回転の対象としたが、当然、一般的な直方体の回転状態の制御や、外接直方体を用いる事で任意形状の一般物体の回転状態の制御にも利用可能である。
【００６９】
更に、実施の形態では、手の形状を映像解析を用いて行ったが、当然、センサを内蔵した手袋などを用いたセンサ情報による手形状認識装置を代用する事も可能であり、この場合、顔検出を行い手領域探索する処理も割愛する事が可能である。また、表示を制御するジェスチャとして、本実施の形態では、フレミングの右手を予め定めて用いたが当然左手でも可能である。要は、３軸と指が対応付け可能であればよい。また、停止ジェスチャとして、本実施の形態ではグウ、パアを予め定めたジェスチャとしたが、チョキ等他のジェスチャでも構わない。
【００７０】
また、本発明の目的は、以下のようにすることによって達成されることはいうまでもない。即ち、前述した実施形態の機能を実現するソフトウェアのプログラムコード（コンピュータプログラム）を記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給する。係る記憶媒体は言うまでもなく、コンピュータ読み取り可能な記憶媒体である。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
【００７１】
また、コンピュータが読み出したプログラムコードを実行することにより、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行う。その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００７２】
さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれたとする。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００７３】
本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
【図１】
2012108826.tif 000003
【図２】
2012108826.tif 000004
【図３】
2012108826.tif 000005
【図４】
2012108826.tif 000006
【図５】
2012108826.tif 000007
【図６】
2012108826.tif 000008