(57)【要約】【課題】  頭部搭載型ディスプレイを用いたＡＲ（Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ）システムにおいてユーザが入力を行う場合、入力装置を手に持つ必要があり、機材構成が煩雑になりやすくユーザの可動性を損なうという問題があった。【解決手段】  撮像部と、撮像部から送られる撮影映像を取得する映像取得部と、頭部搭載型ディスプレイの装着者の頭部および手の位置や姿勢を算出する三次元位置姿勢算出部と、装着者に提示するＣＧ映像を生成するＣＧ映像生成部と、さまざまなジェスチャデータを格納するジェスチャデータ記憶部と、ジェスチャデータ記憶部に格納されるジェスチャデータを参照しながらジェスチャ認識を行うジェスチャ認識部と、頭部搭載型ディスプレイに備えられる表示部と、映像取得部から送られる撮影映像およびＣＧ映像生成部から送られるＣＧ映像を合成し、表示部に合成映像を送出する映像合成部とを備えた入力装置を提供する。【選択図】        図１
2005056059.tif 000002
【特許請求の範囲】
【請求項１】
撮像部と、撮像部から送られる撮影映像を取得する映像取得部と、頭部搭載型ディスプレイの装着者の頭部および手の位置や姿勢を算出する三次元位置姿勢算出部と、三次元位置姿勢算出部から送られる頭部位置姿勢情報をもとに装着者に提示するＣＧ映像を生成するＣＧ映像生成部と、さまざまなジェスチャデータを格納するジェスチャデータ記憶部と、三次元位置姿勢算出部から送られる手の位置姿勢情報をもとにジェスチャデータ記憶部に格納されるジェスチャデータを参照しながらジェスチャ認識を行うジェスチャ認識部と、頭部搭載型ディスプレイに備えられる表示部と、映像取得部から送られる撮影映像およびＣＧ映像生成部から送られるＣＧ映像を合成し、表示部に合成映像を送出する映像合成部とを備えたことを特徴とする撮像部を備えた頭部搭載型ディスプレイを用いた入力装置。
【請求項２】
請求項１に加え、さらに装着者の頭部の位置や姿勢、もしくはその両方を感知する頭部位置姿勢センサを備えたことを特徴とする撮像部を備えた頭部搭載型ディスプレイを用いた入力装置。
【請求項３】
請求項１に加え、さらにスイッチを押した時に点灯するペン型の装置を備えたことを特徴とする撮像部を備えた頭部搭載型ディスプレイを用いた入力装置。
【請求項４】
映像を撮影して取得する撮影映像取得ステップと、頭部および手の位置や姿勢を求める三次元位置姿勢算出ステップと、ＣＧ映像を生成するＣＧ映像生成ステップと、撮影映像とＣＧ映像を合成する映像合成ステップと、合成映像を表示部に表示する映像表示ステップと、主制御手順を終了させるかどうかを判定する終了判定ステップとを備えたことを特徴とする撮像部を備えた頭部搭載型ディスプレイを用いた入力方法。
【請求項５】
手の三次元位置を取得する三次元位置取得ステップと、ジェスチャ認識を開始するかどうかを判定する認識開始判定ステップと、手の三次元位置を時系列データとして記録する三次元位置記録ステップと、ジェスチャ入力の終了を判定するジェスチャ入力終了判定ステップと、時系列データから一定の間隔で値を抜き出す標本化ステップと、標本化されたデータの三次元位置情報が、それぞれの軸の大きさを１とする三次元空間中に分布するように幾何変換を行う正規化ステップと、正規化されたデータとジェスチャデータ記憶部に格納されるデータとの類似度を算出する類似度算出ステップと、最も類似度の高いパターンデータを取り出し、その類似度があらかじめ定めた閾値以上であるかどうかを判定する類似度判定ステップと、ジェスチャ認識が失敗したという情報をＣＧ映像生成部に送るジェスチャ認識失敗ステップと、ＣＧ映像生成部に類似度の最も高いパターンデータのジェスチャＩＤを送信するジェスチャ認識ステップと、時系列データ、標本化したデータを開放するデータ開放ステップと、ジェスチャ入力制御手順を終了させるかどうかを判定する終了判定ステップとを備えたことを特徴とする撮像部を備えた頭部搭載型ディスプレイを用いた入力方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像部を備えた頭部搭載型ディスプレイを用いたＡＲシステムにおける入力装置および方法に関する。
【背景技術】
【０００２】
近年、ＣＧ（コンピュータ・グラフィクス）によって仮想世界を構築し、ユーザにＣＧ映像を提示するシステムの提供がなされており、それらはＶＲ（Ｖｉｒｔｕａｌ  Ｒｅａｌｉｔｙ、仮想現実感）システムと呼ばれている。こうしたＶＲシステムにおいては、ユーザに映像を提示する装置として頭部搭載型ディスプレイを用いることがあり、こうしたディスプレイを用いることで、ユーザがどの方向を向いていても映像を提示することが可能である。
【０００３】
また、こうした頭部搭載型ディスプレイにおいては、表示部に加えて撮像部を備えることで現実世界の映像を取り込み、現実世界の映像に重ねてＣＧを合成することで、現実世界にはない情報をユーザに提示するシステムの開発がなされており、こうしたシステムはＡＲ（Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ、拡張現実感）と呼ばれている。
【０００４】
こうしたＡＲシステムにおいては、従来の固定して設置する必要があるキーボードやマウスは入力装置として用いられず、磁気センサや手持ちマウスや片手キーボード、音声入力等が用いられることが多い。
【特許文献１】特開２０００−３５３０４６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
前述のようなＡＲシステムにおいて手持ちマウスや片手キーボードを用いる場合、頭部搭載型ディスプレイに加えて入力装置を手に持つ必要があり、機材構成が煩雑になりやすくユーザの可動性を損なうという問題があった。また、入力装置が手に持てるものに限られているため、入力の自由度が限られるという問題があった。
【０００６】
また、音声入力ではユーザが機材を持つ必要はないが、音声の認識率、認識速度、入力の自由度（たとえば位置や方向の入力が難しい）等の問題があり、現状では有効な入力手段となり得ていない。
【０００７】
本発明の目的は、上述の課題を解決し、撮像部を備えた頭部搭載型ディスプレイを用いたＡＲシステムにおいて、簡便で汎用的な入力装置および方法を提供することにある。
【課題を解決するための手段】
【０００８】
前記の目的を達成するため、本発明による入力装置は、以下の構成を備える。
【０００９】
すなわち、撮像部と、撮像部から送られる撮影映像を取得する映像取得部と、頭部搭載型ディスプレイの装着者の頭部および手の位置や姿勢を算出する三次元位置姿勢算出部と、三次元位置姿勢算出部から送られる頭部位置姿勢情報をもとに装着者に提示するＣＧ映像を生成するＣＧ映像生成部と、さまざまなジェスチャデータを格納するジェスチャデータ記憶部と、三次元位置姿勢算出部から送られる手の位置姿勢情報をもとにジェスチャデータ記憶部に格納されるジェスチャデータを参照しながらジェスチャ認識を行うジェスチャ認識部と、頭部搭載型ディスプレイに備えられる表示部と、映像取得部から送られる撮影映像およびＣＧ映像生成部から送られるＣＧ映像を合成し、表示部に合成映像を送出する映像合成部とを備える。
【００１０】
また、別の構成では、上記の構成に加えて、装着者の頭部の位置や姿勢、もしくはその両方を感知する頭部位置姿勢センサを備える。
【００１１】
また、別の構成では、上記の構成に加えて、スイッチを押した時に点灯するペン型の装置を備える。
【００１２】
また、本発明による入力方法は、映像を表示する主制御手順と、それと並行して動作し、ジェスチャ入力を制御するジェスチャ入力制御手順とを備える。
【００１３】
主制御手順は、以下のステップを備える。すなわち、映像を撮影して取得する撮影映像取得ステップと、頭部および手の位置や姿勢を求める三次元位置姿勢算出ステップと、ＣＧ映像を生成するＣＧ映像生成ステップと、撮影映像とＣＧ映像を合成する映像合成ステップと、合成映像を表示部に表示する映像表示ステップと、主制御手順を終了させるかどうかを判定する終了判定ステップとを備える。
【００１４】
また、ジェスチャ入力制御手順は以下のステップを備える。すなわち、手の三次元位置を取得する三次元位置取得ステップと、ジェスチャ認識を開始するかどうかを判定する認識開始判定ステップと、手の三次元位置を時系列データとして記録する三次元位置記録ステップと、ジェスチャ入力の終了を判定するジェスチャ入力終了判定ステップと、時系列データから一定の間隔で値を抜き出す標本化ステップと、標本化されたデータの三次元位置情報が、それぞれの軸の大きさを１とする三次元空間中に分布するように幾何変換を行う正規化ステップと、正規化されたデータとジェスチャデータ記憶部に格納されるデータとの類似度を算出する類似度算出ステップと、最も類似度の高いパターンデータを取り出し、その類似度があらかじめ定めた閾値以上であるかどうかを判定する類似度判定ステップと、ジェスチャ認識が失敗したという情報をＣＧ映像生成部に送るジェスチャ認識失敗ステップと、ＣＧ映像生成部に類似度の最も高いパターンデータのジェスチャＩＤを送信するジェスチャ認識ステップと、時系列データ、標本化したデータを開放するデータ開放ステップと、ジェスチャ入力制御手順を終了させるかどうかを判定する終了判定ステップとを備える。
【発明の効果】
【００１５】
以上説明したように、本発明による入力装置を用いることで、前述のようなＡＲシステムにおいて煩雑な手持ちマウスや片手キーボードを用いることなく、指先の動きというジェスチャによって入力を行うことが可能である。
【００１６】
また、カメラ座標系における指先の位置だけでなく、世界座標系における指先の位置を測定することができるため、指先をあたかも三次元空間中における汎用的な指示装置であるかのように用いることができる。
【００１７】
また、スイッチを押した時だけペン先が発光する装置を用いることで、たとえば三次元空間中で自由にペン先を動かしてＣＧの描画を行うことが可能である。
【発明を実施するための最良の形態】
【００１８】
以下、図面を参照しながら、本発明による入力装置の好適な実施形態について説明する。
【実施例１】
【００１９】
図１は本発明による入力装置の実施例の構成を示したブロック図である。
【００２０】
１０１は頭部搭載型ディスプレイに備えられた撮像部であり、たとえばＣＣＤカメラで構成される。撮像部１０１は現実世界の映像を撮影し、映像取得部１０２に送る。撮像部１０１は一つまたは複数備えられ、たとえば左目と右目の前に一つずつ備えられる。撮像部１０１は頭部搭載型ディスプレイに固定され、したがって頭部搭載型ディスプレイと撮像部１０１との位置関係は明らかである。また、複数の撮像部１０１を備える場合、その相互の位置関係は明らかである。
【００２１】
１０２は映像取得部であり、撮像部１０１から送られた撮影映像を取得し、三次元位置姿勢算出部１０３および映像合成部１０６に送る。映像取得部１０２はたとえばキャプチャカードから構成される。
【００２２】
１０３は三次元位置姿勢算出部であり、映像取得部１０２から送られる撮影映像、頭部位置姿勢センサ１０９から送られるセンサ情報をもとに、頭部搭載型ディスプレイの装着者の頭部および手の位置や姿勢を算出する。算出された頭部位置姿勢情報はＣＧ映像生成部１０４に送られ、手の位置姿勢情報はジェスチャ認識部１０５に送られる。三次元位置姿勢算出部１０３はコンピュータ等から構成される。
【００２３】
１０４はＣＧ映像生成部であり、三次元位置姿勢算出部１０３から送られた頭部位置姿勢情報をもとに、装着者に提示するＣＧ映像を生成する。また、ジェスチャ認識部１０５から送られるジェスチャ情報を解釈し、ジェスチャに応じたＣＧ映像を生成する。生成された映像は映像合成部１０６に送られる。ＣＧ映像生成部１０４はコンピュータから構成される。
【００２４】
１０５はジェスチャ認識部であり、三次元位置姿勢算出部１０３から送られた手の位置姿勢情報をもとに、ジェスチャデータ記憶部１０８に格納されるジェスチャデータを参照しながらジェスチャ認識を行う。ジェスチャ認識の結果はＣＧ映像生成部１０４に送られる。ジェスチャ認識部１０５はコンピュータから構成される。
【００２５】
１０６は映像合成部であり、映像取得部１０２から送られた撮影映像およびＣＧ映像生成部１０４から送られるＣＧ映像を合成し、表示部１０７に合成映像を送出する。映像合成部１０６はたとえばコンピュータや映像ミキサ等から構成される。
【００２６】
１０７は頭部搭載型ディスプレイに備えられた表示部であり、映像合成部１０６から送られる合成映像を装着者に提示する。表示部１０７は一つまたは複数備えられ、たとえば左目と右目の前に一つずつ備えられる。
【００２７】
１０８はジェスチャデータ記憶部であり、さまざまなジェスチャデータを格納する。ジェスチャデータ記憶部１０８に格納されるジェスチャデータはジェスチャ認識部１０５により適宜参照される。ジェスチャデータ記憶部１０８はたとえばコンピュータに内蔵されるハードディスク等から構成される。
【００２８】
１０９は頭部位置姿勢センサであり、たとえば頭部搭載型ディスプレイに備えられた磁気センサからなる。頭部位置姿勢センサ１０９は装着者の頭部の位置や姿勢、もしくはその両方を感知し、その情報を三次元位置姿勢算出部１０３に送出する。頭部位置姿勢センサとしては、磁気センサとしてＰｏｌｈｅｍｕｓ社のＦａｓｔｒａｋ、慣性センサとしてＩｎｔｅｒｓｅｎｓｅ社のＩｎｎｅｒｔｉａＣｕｂｅ等を用いることができる。
【００２９】
なお、本実施例では頭部の位置姿勢を頭部位置姿勢センサ１０９によって求めるが、頭部の位置姿勢は撮影映像から求めることも可能であることが知られている。頭部の位置姿勢を画像から求める場合には、本発明による入力装置は頭部位置姿勢センサ１０９を備えない。
【００３０】
以下、図面を参照しながら、本発明による入力装置の制御手順について説明する。本発明の制御手順は、映像を表示する主制御手順と、それと並行して動作し、ジェスチャ入力を制御するジェスチャ入力制御手順からなる。以下、順を追って主制御手順およびジェスチャ入力制御手順の説明を行う。
【００３１】
図２は本発明による入力装置の実施例の主制御手順を示したフローチャートである。図２のフローチャートに関わるプログラムはＣＧ映像生成部１０４を構成するコンピュータのハードディスクに記憶されており、ＣＧ映像生成部１０４を構成するコンピュータのＣＰＵによって読みだされて実行される。また、図２のフローチャートに関わるプログラムは、図示しない入力手段によってプログラムの開始が指示された際にスタートするものとする。
【００３２】
Ｓ２０１は撮影映像取得ステップである。Ｓ２０１では撮像部１０１が撮影した映像が映像取得部１０２によって取得され、三次元位置姿勢算出部１０３および映像合成部１０６に送られる。
【００３３】
Ｓ２０２は三次元位置姿勢算出ステップであり、三次元位置姿勢算出部１０３がＳ２０１で取得された撮影映像、また頭部位置姿勢センサ１０９から送られるセンサ情報をもとに、頭部搭載型ディスプレイの装着者の頭部および手の位置や姿勢、もしくはその両方の算出を行う。
【００３４】
この際、頭部の位置姿勢を求める方法には様々な方法があり、たとえ頭部位置姿勢センサ１０９のセンサ情報をそのまま使う方法がある。あるいは頭部搭載型ディスプレイの装着者の視界にマーカを設置し、撮影映像のみから頭部の位置姿勢を求めることも可能である。また、センサ情報と撮影映像の両方から頭部の位置姿勢を求めることも可能である。本発明による入力装置では、これらのいずれかの方法を用いて、世界座標系における頭部の位置姿勢情報を求める。
【００３５】
また、手の位置姿勢に関しても様々な方法があるが、ここでは頭部搭載型ディスプレイの装着者が撮像部１０１の前に指先を掲げ、撮像部１０１で撮影される映像から指先の位置を求める方法について、図４を用いて説明する。ここで、撮像部１０１は互いに平行で高さが同じである２つのカメラから構成されるものとして、左側のカメラから捉えられる映像を４０１、右側のカメラから捉えられる映像を４０２とする。次に４０１、４０２から撮影された指先の画像上での座標値を求め、それぞれＬ（ｕ１、ｖ１）、Ｒ（ｕ２、ｖ２）とする。左側のカメラのレンズ中心を原点にとり、右側のカメラのレンズ中心に向かってｘ軸、正面をｚ軸とした左手系のカメラ座標系を４０３、４０３における指先の位置をＰ（ｘ、ｙ、ｚ）とすると、Ｐの座標は以下の式で求められる。
【００３６】
ｘ＝ｕ１×Ｂ／ｄ
ｙ＝ｖ１×Ｂ／ｄ
ｚ＝ｆ×Ｂ／ｄ
ここで、Ｂはカメラ間の距離、ｆは焦点距離、ｄは視差でありｄ＝ｕ１−ｕ２である。撮像部１０１は頭部搭載型ディスプレイに固定されているため、Ｂは容易に求めることができ、また、ｆの値も撮影された映像等から容易に求めることが可能であることが知られている。
【００３７】
なお、ここでは撮像部１０１は互いに平行で高さが同じである２つのカメラから構成されるものとしたが、カメラが互いに平行でなくても、高さが異なっても、またカメラの数が３つ以上であったりしても、それらの位置関係さえわかればＰの座標を求めることが可能である。
【００３８】
以上のようにして、カメラ座標系における手の三次元位置情報を求めることができる。ここで、頭部の位置姿勢情報が求められていれば、世界座標系におけるカメラ座標系の三次元位置姿勢がわかるため、手の世界座標系における三次元位置姿勢を求めることも可能である。
【００３９】
また、ここでは指先の画像上での位置を求めることで指先の三次元位置情報を求めているが、図６のようなスイッチを押した時だけペン先が点灯するような装置を用いることも可能である。この場合、点灯時のペン先の色を検出してペン先の座標を出すことが可能である。
【００４０】
以上のようにして算出された頭部や手の三次元位置姿勢情報はＣＧ映像生成部１０４およびジェスチャ認識部１０５に送られる。なお、ここで送られる三次元位置姿勢情報は、頭部に関しては世界座標系での位置姿勢情報であり、手に関しては世界座標系またはカメラ座標系での位置姿勢情報である。
【００４１】
Ｓ２０３はＣＧ映像生成ステップであり、ＣＧ映像生成部１０４がＳ２０２で算出された頭部の位置姿勢情報をもとにＣＧ映像を生成する。この過程では、頭部の位置姿勢情報に合わせてＣＧを描画する仮想のカメラを動かすことで、頭部の位置姿勢情報に合わせたＣＧを生成する。生成するＣＧはどのような種類のものでもよく、たとえば仮想の建物のＣＧや仮想の生物のＣＧを生成する。生成されたＣＧ映像は映像合成部１０６に送られる。
【００４２】
Ｓ２０４は映像合成ステップであり、映像合成部１０６が映像取得部１０２から送られた撮影映像およびＣＧ映像生成部１０４から送られたＣＧ映像を合成し、合成映像を生成する。この際、映像の合成は、たとえば撮影映像の上にＣＧ映像を重ねて描画することによってなされる。合成された映像は表示部１０７に送られる。
【００４３】
Ｓ２０５は映像表示ステップであり、表示部１０７が映像合成部１０６から送られた合成映像を表示する。
【００４４】
Ｓ２０６は終了判定ステップであり、あらかじめ定めた一定の終了条件を満たすかどうか、たとえば図示しない入力手段によってプログラムの終了が指示されたかどうか、をＣＧ映像生成部１０４が判定し、条件を満たす際にはジェスチャ認識部１０５に終了命令を送信した後に終了し、終了条件を満たさない場合にはＳ２０１に進む。
【００４５】
以上、本発明による入力装置の実施例の主制御手順について説明した。次に、主制御手順と並行して動作するジェスチャ入力制御手順について説明する。
【００４６】
図３は本発明による入力装置の主制御手順を示したフローチャートである。図３のフローチャートに関わるプログラムはジェスチャ認識部１０５を構成するコンピュータのハードディスクに記憶されており、ジェスチャ認識部１０５を構成するコンピュータのＣＰＵによって読みだされて実行される。また、図３のフローチャートに関わるプログラムは、図２のフローチャートのプログラムが開始された際に図示しない経路によってそのタイミングを受け取り、スタートするものとする。
【００４７】
Ｓ３０１は三次元位置取得ステップであり、ジェスチャ認識部１０５が三次元位置姿勢算出部１０３から指先の位置情報を取得する。取得された指先の位置情報はジェスチャ認識部１０５内で時系列データとして保持される。
【００４８】
Ｓ３０２は認識開始判定ステップであり、ジェスチャ認識部１０５がジェスチャ認識部１０５内に保持される時系列データを参照し、時系列データが認識開始条件を満たすかどうかを判定する。時系列データが認識開始条件を満たす場合にはＳ３０３に、満たさない場合にはＳ３１２に進む。なお、ここで言う認識開始条件とは、ジェスチャ入力において一般に必要とされるジェスチャの始まりの認識をするための条件である。認識開始条件にはさまざまなものが考えられるが、たとえば、一定時間の間、指先の三次元位置が一定の閾値内にとどまること、すなわち指先が静止していることを認識開始条件として定めることができる。また、図６に示されるような装置を用いる場合には、ペン先が点灯し、点灯時のペン先の色が画像上で認識されることを認識開始条件として定めることができる。
【００４９】
なお、この過程において、システムがＳ３０２を通過する度に時系列データは蓄積されていくが、認識開始の判定に必要とされる範囲外のデータは古いものから順に破棄される。
【００５０】
Ｓ３０３は三次元位置記録ステップであり、ジェスチャ認識部１０５が三次元位置姿勢算出部１０３から送られる指先の三次元位置データを時系列データとして記録する。記録はどのような形でなされてもよいが、たとえば表１のようにフレームＩＤ、ｘ座標、ｙ座標、ｚ座標、記録時間を時系列に並べた二次元配列として記録することができる。
【００５１】
Ｓ３０４はジェスチャ入力終了判定ステップであり、ジェスチャ認識部１０５がジェスチャ認識部１０５内に保持される時系列データを参照し、時系列データがジェスチャ入力終了条件を満たすかどうかを判定する。時系列データがジェスチャ入力終了条件を満たす場合にはＳ３０５に、満たさない場合にはＳ３０３に進む。なお、ここで言うジェスチャ入力終了条件とは、ジェスチャ入力において一般に必要とされるジェスチャの終わりの認識をするための条件である。ジェスチャ入力終了条件にはさまざまなものが考えられるが、たとえば、一定時間の間、指先の三次元位置が一定の閾値内にとどまること、すなわち指先が静止していることをジェスチャ入力終了条件として定めることができる。また、認識開始が始まってから一定の時間が経過することをジェスチャ入力終了条件として定めることもできる。図６に示されるような装置を用いる場合には、ペン先が消灯し、点灯時のペン先の色が画像上から消えることをジェスチャ入力終了条件として定めることができる。
【００５２】
Ｓ３０５は標本化ステップであり、ジェスチャ認識部１０５が連続した時系列データから一定の間隔で値を抜き出すステップである。この際、何個のデータを必要とするかによって標本化の間隔は異なる。たとえば、今、表１のように０．０１秒間隔で取得された１８０個の時系列データがあるものとして、ここから一定の時間間隔で１０個のデータを取り出すものとすると、取り出したデータは表２のように０．２秒間隔のデータとなる。
【００５３】
なお、ここでは一定の時間間隔でデータを標本化したが、標本化の方法はこれ以外の方法でもよく、たとえば一定の変位量ごとにデータを標本化する方法がある。この場合、まず、データの変位量、すなわち前データからの距離を合計し、それを必要とするデータの数で割って一定の変位量を算出する。その後、先頭のデータから順に次のデータまでの変位量を合計していき、算出した変位量に達したらその時点のデータを標本化する、という作業を繰り返すことで、一定の変位量ごとにデータを標本化することが可能である。
【００５４】
【表１】
2005056059.tif 000003
【００５５】
【表２】
2005056059.tif 000004
【００５６】
Ｓ３０６は正規化ステップであり、図５に示されるように、標本化されたデータの三次元位置情報が、それぞれの軸の大きさを１とする三次元空間中に分布するように、ジェスチャ認識部１０５が三次元位置情報に対して幾何変換を行う。正規化にはさまざまな方法があるが、ここでは、以下の方法で正規化を行う。
【００５７】
１．全ての点の中から最大のｘ座標ｘｍａｘ、ｙ座標ｙｍａｘ、ｚ座標ｚｍａｘを求める 
２．全ての点の中から最小のｘ座標ｘｍｉｎ、ｙ座標ｙｍｉｎ、ｚ座標ｚｍｉｎを求める
３．ｘｍａｘ−ｘｍｉｎ、ｙｍａｘ−ｙｍｉｎ、ｚｍａｘ−ｚｍｉｎの中から最大の値Ｋを求める
４．ｘｍａｘ＋ｘｍｉｎ、ｙｍａｘ＋ｙｍｉｎ、ｚｍａｘ＋ｚｍｉｎがＫになるよう全データを平行移動する
５．全データを１／Ｋにスケーリングする
【００５８】
以上のような正規化を行うことで、標本化されたデータは表３のように軸の大きさを１とする三次元空間中に分布することになる。
【００５９】
【表３】
2005056059.tif 000005
【００６０】
Ｓ３０７は類似度算出ステップである。このステップでは、正規化されたデータと、ジェスチャデータ記憶部１０８に格納されるデータを元にジェスチャ認識部１０５が類似度を算出する。ジェスチャデータ記憶部１０８には、入力可能なジェスチャ全てに関するパターンデータが格納されており、類似度はこの全てのパターンデータに対して算出する。パターンデータはどのような形で格納してもよいが、たとえば表４のようにジェスチャＩＤごとにフレーム番号、ｘ座標、ｙ座標、ｚ座標を時系列に並べた三次元配列として格納することができる。なお、ここで、ジェスチャＩＤとは、認識可能なジェスチャ全てに対して一意に付けられるＩＤ番号のことである。
【００６１】
【表４】
2005056059.tif 000006
【００６２】
類似度の算出は標本化されたデータと格納されているパターンデータを元にして行うが、その方法は正規化されたデータとパターンデータの類似度を数値として表現でき、なおかつ類似度が高ければ高いほど数値が高くなる、あるいは低くなる方法であればどのような方法でもよい。類似度の算出方法としては、たとえば次のような方法がある。
【００６３】
１．標本化の段階でジェスチャデータ記憶部１０８に格納されているパターンデータのフレームと同じ数のデータを取り出す
２．ジェスチャデータ記憶部１０８から先頭のジェスチャＩＤのパターンデータを取り出す
３．変数ｄ［ジェスチャＩＤ］＝０とする
４．標本化されたデータの先頭のフレームの座標と、パターンデータの先頭のフレームの座標との距離を算出し、ｄ［ジェスチャＩＤ］に加算する
５．全てのフレームについて４を繰り返す
６．全てのパターンデータに関して２〜５を繰り返す
【００６４】
以上のような方法で類似度を算出すると、正規化されたデータとパターンデータの形が近ければ近いほどｄ［ジェスチャＩＤ］は低くなり、したがって、ｄ［ジェスチャＩＤ］が低ければ低いほど類似度は高いということになる。
【００６５】
Ｓ３０８は類似度判定ステップであり、Ｓ３０７で算出された数値から、最も類似度の高いパターンデータを取り出し、その類似度があらかじめ定めた閾値以上であるかどうかを判定する。この類似度が閾値以上であればＳ３１０に、閾値より低ければＳ３０９に進む。
【００６６】
Ｓ３０９はジェスチャ認識失敗ステップであり、ジェスチャ認識部１０５がジェスチャ認識が失敗したという情報をＣＧ映像生成部１０４に送る。ＣＧ映像生成部１０４はジェスチャ認識失敗情報を受けて、ジェスチャ認識が失敗したことをユーザに示すＣＧ映像、たとえば×印の３次元ＣＧを生成する。
【００６７】
Ｓ３１０はジェスチャ認識ステップであり、ジェスチャ認識部１０５がＣＧ映像生成部１０４に類似度の最も高いパターンデータのジェスチャＩＤを送信する。ＣＧ映像生成部１０４は受け取ったジェスチャＩＤを解釈して、ジェスチャに対応した動作、たとえばＣＧの描画を行う。
【００６８】
Ｓ３１１はデータ開放ステップであり、ジェスチャ認識部１０５がＳ３０３で記録した時系列データ、Ｓ３０６で標本化したデータを開放する。
【００６９】
Ｓ３１２は終了判定ステップであり、ジェスチャ認識部１０５がＣＧ映像生成部１０４から終了命令を受け取った場合には終了し、受け取っていない場合にはＳ３０１に進む。
【００７０】
以上、本発明による入力装置の実施例のジェスチャ入力制御手順について説明した。
【図面の簡単な説明】
【００７１】
【図１】本発明による入力装置の実施例の構成を示したブロック図
【図２】本発明による入力装置の主制御手順を示したフローチャート
【図３】本発明による入力装置のジェスチャ入力制御手順を示したフローチャート
【図４】撮影映像から指先の位置を求める方法について説明する図
【図５】本発明による入力装置のジェスチャ入力制御手順を説明する図
【図６】本発明による入力装置で用いることができるペン型の装置を説明する図
【符号の説明】
【００７２】
１０１  撮像部
１０２  映像取得部
１０３  三次元位置姿勢算出部
１０４  ＣＧ映像生成部
１０５  ジェスチャ認識部
１０６  映像合成部
１０７  表示部
１０８  ジェスチャデータ記憶部
４０１  左側のカメラから捉えられる映像
４０２  右側のカメラから捉えられる映像
４０３  左手系のカメラ座標系
【図１】
2005056059.tif 000007
【図２】
2005056059.tif 000008
【図３】
2005056059.tif 000009
【図４】
2005056059.tif 000010
【図５】
2005056059.tif 000011
【図６】
2005056059.tif 000012