(57)【要約】  本発明は、入力デバイス202,302、プロセッサ204,306及び画像再生デバイス206,308を有する３次元オブジェクトをレンダリングするシステム200に関する。入力デバイス202,302は、ユーザの第１の手の画像をキャプチャする画像センサ303を有し、画像をプロセッサ204,306へ画像を通信するよう構成される。プロセッサ204,306は、制御信号を生成するべく、その第１の手の少なくとも部分の動きを決定するため、その画像を処理するよう構成される。画像再生デバイス206,308は、制御信号に基づき、その３次元オブジェクトの3Dデータを表示するよう構成される。ユーザの第１の手の画像をキャプチャする間、入力デバイス202,302は、操作中ユーザの第２の手の中に保持されるよう構成される。システム200の特徴に適合する方法も開示される。
2008517368.tif 000002
【特許請求の範囲】
【請求項１】
３次元オブジェクトをレンダリングするシステムであって、入力デバイスとプロセッサと画像再生デバイスとを有し、
前記入力デバイスが、ユーザの第１の手の画像をキャプチャする画像センサを有し、前記画像を前記プロセッサに通信するよう構成され、
前記プロセッサは、制御信号を生成するべく、前記第１の手の少なくとも部分の動きを決定するため、前記画像を処理するよう構成され、
前記画像再生デバイスが、前記制御信号に基づき、前記３次元オブジェクトの3Dデータを表示するよう構成されており、
動作の間、前記入力デバイスは、前記ユーザの第２の手に保持されるよう構成される、システム。
【請求項２】
前記制御信号が、前記入力デバイスと前記第１の手との間の決定された距離にも依存する、請求項１に記載のシステム。
【請求項３】
前記制御信号が、前記入力デバイスの決定される方向にも依存する、請求項１又は２に記載のシステム。
【請求項４】
前記制御信号が、前記第１の手の決定されるジェスチャにも依存する、請求項１に記載のシステム。
【請求項５】
前記3Dデータの拡大率、輝度、コントラスト、色相、遠近若しくは表示又はこれらの組み合わせが前記制御信号により制御される、請求項１に記載のシステム。
【請求項６】
前記入力デバイスと前記プロセッサとの間の通信が無線である、請求項１に記載のシステム。
【請求項７】
３次元オブジェクトをレンダリングする方法において、
第２の手により画像キャプチャ入力デバイスを操作することにより第１の手の複数の画像をキャプチャするステップと、
前記第１の手の少なくとも一部の動きを決定するため前記画像を処理するステップと、
前記３次元オブジェクトの3Dデータを表示するステップとを有し、前記3Dデータの表示が、前記決定された動きに依存する、方法。
【請求項８】
前記入力デバイスと前記第１の手との間の距離を決定するステップを更に有し、前記表示が該距離に依存する、請求項７に記載の方法。
【請求項９】
前記入力デバイスの方向を決定するステップを更に有し、前記表示が前記方向に依存する、請求項７又は８に記載の方法。
【請求項１０】
前記第１の手のジェスチャを決定するステップを更に有し、前記表示が前記ジェスチャに依存する、請求項７に記載の方法。
【請求項１１】
決定された距離、方向若しくはジェスチャ又はこれらの組み合わせに基づき、前記表示の拡大率、輝度、コントラスト、色相、遠近又はこれらの組み合わせを制御するステップを更に有する、請求項７に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、３次元オブジェクトをレンダリングするシステム及び方法に関する。特に、本発明は、少なくとも手の一部の動きを決定し、決定された動きに基づき、３次元オブジェクトの3Dデータを表示することに関する。
【背景技術】
【０００２】
コンピュータゲームだけでなく、科学、エンジニアリング、医療及び建築分野において、仮想的な3Dオブジェクトを作成し、分析し、及び表示することは、ユーザの要求に応じて3Dオブジェクトをレンダリングすることを必要とする。既存のレンダリングアプリケーションにおいて、表示される画像の制御には、マウス、トラックボール又はキーボードが使用される。変換及び回転は、通常、クリック・アンド・ドラッグ操作により行われ、ズーミングは、スライドバーを動かすか又はボタン若しくはキーを押すことにより行われる。視覚的なジェスチャによる制御が、O'Haganらによる「Visual gesture interfaces for virtual environments」、User Interface Conference、2000、AUIC 2000、First Australasian、31 Jan. - 3 Feb.2000、73-80頁に提供される。O'Haganらは、ユーザがその環境内のオブジェクトを操作することを可能にされる、仮想環境に対する視覚ベースのジェスチャインタフェースを開示する。操作は、オブジェクトの選択、変換、回転及びサイズ変更を含み、シーンにおける視点の変更、例えばズーミングも含む。そのシステムは、3Dデータの飛行(fly-through)操作をユーザがナビゲート(navigate)又は実行することを可能にする。ユーザの、特にユーザの手のステレオ画像を提供するため、ツインカメラシステムが投影テーブルの上に取り付けられる。画像の生体部分の閉塞(occlusion)が起こり得る。そして、カメラの傾きだけでなく、カメラシステムとユーザとの間の距離が常に最適というわけではないという事実が、O'Haganらにおいて開示されるソリューションが満足の行く画像キャプチャを与えないことを意味する。従って、画像キャプチャが必ずしも満足の行くものではないという先行技術における問題がある。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
そこで、本発明の一般的な目的は、上述された問題を克服することにある。本発明の特定の目的は、改善された画像キャプチャを備え、レンダリングアプリケーションのために手を用いる入力システム及び方法を提供することにある。
【課題を解決するための手段】
【０００４】
上述の目的は、本発明の第１の側面に基づき、入力デバイス、プロセッサ及び画像再生デバイスを有する３次元オブジェクトをレンダリングするシステムにより達成される。そこでは、入力デバイスが、ユーザの第１の手の画像をキャプチャする画像センサを有し、その画像をプロセッサに通信するよう構成される；そのプロセッサは、制御信号を生成するため、その第１の手の少なくとも部分の動きを決定するよう、その画像を処理する；及び画像再生デバイスは、その制御信号に基づき、３次元オブジェクトの3Dデータを表示するよう構成される。そこでは、操作の間、その入力デバイスがユーザの第２の手に保持されるよう構成される。
【０００５】
この利点は、システムのユーザが、入力デバイスと画像がキャプチャされる手との間の距離を直観的に調節し、閉塞を回避し、及びより人間工学的な作業状態を実現することを可能にされることである。
【０００６】
３次元オブジェクトの3Dデータの表示は、その３次元オブジェクトの画像を表示することを有することができる。
【０００７】
制御信号は、入力デバイスとその第１の手との間の所定の距離に依存することもできる。制御信号は、入力デバイスの決定された方向に依存することもできる。制御信号は、その第１の手の決定されたジェスチャに依存することもできる。その画像の拡大率、輝度、コントラスト、色相、遠近若しくは表示又はそのいずれかの組み合わせが、制御信号により制御されることができる。
【０００８】
これらの特徴の利点は、例えば、画像といったレンダリングシステムにより提供される3Dデータの進化した制御を提供することである。
【０００９】
その入力デバイスとそのプロセッサとの間の通信は無線とすることができる。
【００１０】
上記目的は、本発明の第２の側面に基づき、３次元オブジェクトをレンダリングする方法によって達成される。その方法は、第２の手により画像キャプチャ入力デバイスを操作することにより、第１の手の複数の画像をキャプチャするステップと、その第１の手の少なくとも部分の動きを決定するため、その画像を処理するステップと、その３次元オブジェクトの3Dデータを表示するステップとを有し、その画像の表示がその決定された動きに依存する。
【００１１】
その方法は更に、入力デバイスとその第１の手との間の距離を決定するステップを有することができ、その表示はその距離に依存する。その方法は更に、入力デバイスの方向を決定するステップを有することができ、その表示がその方向に依存する。
【００１２】
その方法は更に、その第１の手のジェスチャを決定するステップを有することができ、その表示がそのジェスチャに依存する。
【００１３】
その方法は更に、決定された距離、方向若しくはジェスチャ又はそのいずれかの組み合わせに基づき、その表示における拡大率、輝度、コントラスト、色相若しくは遠近又はそのいずれかの組み合わせを制御するステップを有することができる。
【００１４】
本発明の第２の側面の特徴における利点は、本質的には本発明の第１の側面におけるそれと同じである。
【発明を実施するための最良の形態】
【００１５】
本発明は、対応する図面を参照し、例示を介して、以下より詳細に説明されることになる。
【００１６】
図１は、従来技術による操作中のシステム１００を示す。そこでは、ツインカメラ装置１０２が、ユーザ１０４、又は特にユーザの手の画像をキャプチャするよう構成される。カメラ装置１０２は、カメラ装置１０２によりキャプチャされる画像からジェスチャを決定するよう構成されるコンピュータ１０６に結合される。決定されたジェスチャは、画面１０８に表示される画像を制御するのに使用される。
【００１７】
図２は、本発明によるシステム２００のブロック図である。そのシステムは、例えばカメラ(図示省略)のような画像キャプチャ手段と、プロセッサ２０４と無線で通信する通信手段(図示省略)とを有するハンドヘルド入力デバイス２０２を有する。その通信手段は、好ましくは、例えばBluetooth、WLAN(無線ローカルエリアネットワーク)又はIrDA(赤外線データ通信協会)といったいくつかの短距離通信技術を利用する。その通信は、有線通信又は任意の無線通信とすることもできる。
【００１８】
入力デバイスは、ユーザの手の画像をキャプチャし、その画像又はその画像のパラメタ化されたデータをプロセッサに送信する。
【００１９】
プロセッサ２０４は、キャプチャされた画像又はキャプチャされた画像に関するデータを受信し、ユーザの手又はユーザの手の一部の動きを決定するため、それらを処理する。それにより、手の動き及びジェスチャがプロセッサ２０４により決定されることができる。更に、画像が取られる方向からの情報を提供するため、例えば、ジャイロスコープなどを用いて入力デバイスの方向が決定されることができる。この情報は、以下に述べられるように、画像レンダリングの制御を強調するために使用されることができる。入力デバイスと画像がキャプチャされる手との間の距離、つまり、ユーザの手間の距離は、画像レンダリングの更なる制御を提供すべく、例えば、画像処理又は直接の測定を用いて決定されることができる。例えば、これは、拡大又はズーミングを制御するか、又はジェスチャと組み合わせて、拡大率、輝度、コントラスト、色相若しくは遠近といった複数のパラメタを制御する直観的な方法である。
【００２０】
プロセッサ２０４は、回転及び変換といったレンダリングパラメタ並びに輝度及び色相といった他の画像パラメタに関する決定された入力とその影響とに基づき、表示される3Dオブジェクトの画像を生成する。すると、例えば画面又はヘッドマウントディスプレイといった画像再生デバイス２０６に画像が表示される。
【００２１】
図３は、動作状態にある本発明によるシステムを示す。画像キャプチャ手段３０３を備えるハンドヘルド入力デバイス３０２は、ユーザ３０４の第２の手の中に保持されることにより、ユーザ３０４の第１の手の画像をキャプチャすることを可能にされる。入力デバイス３０２は、図２を参照して上述されるように、いずれかの通信技術によりプロセッサ３０６と通信状態にある。図２を参照して詳細は上述されるように、プロセッサ３０６は、3Dオブジェクトの画像又はユーザ３０４の第１の手の部分の画像を有する3Dデータを、ユーザの第２の手の動きに基づき生成する。その3Dデータが、例えば画面といった画像再生デバイス３０８に表示される。こうして、ユーザは、3Dオブジェクトのレンダリングを直観的かつ人間工学的に制御することを可能にされる。
【００２２】
図４は、本発明による方法のフローチャートである。ユーザの手の画像が、画像キャプチャステップ４００でキャプチャされる。すると、ユーザの手の動きが動き決定ステップ４０２で決定され、入力デバイスと画像化される手との間の距離が距離決定ステップ４０４で決定され、入力デバイスの方向が方向決定ステップ４０６で決定され、及びジェスチャがジェスチャ決定ステップ４０８で決定されることができるように、画像は処理される。その後3Dデータ表示ステップ４１０において、所定の規則及びスキーム(scheme:計画)による決定された入力パラメタに基づき、3Dデータが表示される。実行可能なレンダリングを提供するため、実時間制約(real-time constraints)はより厳しいというのが技術の本質であり、従ってその方法にも言えることに留意されたい。こうして、その方法の連続的な説明は多かれ少なかれ説明目的にすぎない。実際は、ステップは、任意の順序で行われ、時から時へ異なる順序で行われ、及び、時には、必要とされるデータが存在し、それが一緒に実行されるステップに対して利用可能であるという要求だけで、並列に行われる。更に、レンダリングシステムの処理が実行される限り、その方法は機能する。
【００２３】
上述した実施形態は、本発明を説明するものであって限定するものではなく、当業者は、添付された請求項により規定される本発明の範囲から逸脱することなく多くの変形実施形態をデザインすることができることに留意されたい。請求項において、括弧の中に置かれる如何なる参照符合も請求項を限定するものとして解釈されるべきではない。単語「comprising(有する)」及び「comprises(有する)」等は、任意の請求項又は明細書全体に記載された構成要素又はステップ以外の構成要素又はステップの存在を排除するものではない。要素の単数形での参照は、斯かる要素が複数あることの指示を排除するものではないし、その逆も真である。本発明は、いくつかの個別の要素を有するハードウェアを用いて、及び適切にプログラムされたコンピュータを用いて実現されることができる。複数の手段を列挙するデバイスクレームにおいて、これらの手段の幾つかが、１つの同じハードウェアアイテムで実現されることができる。特定の手段が相互に異なる従属項で列挙されるという単なる事実は、これらの手段の組み合わせが利益をもたらすよう使用されることができないということを示すものではない。
【図面の簡単な説明】
【００２４】
【図１】従来技術による操作中のシステムを示す図である。
【図２】本発明によるシステムのブロック図である。
【図３】本発明による操作中のシステムを示す図である。
【図４】本発明による方法のフローチャートを示す図である。
【図１】
2008517368.tif 000003
【図２】
2008517368.tif 000004
【図３】
2008517368.tif 000005
【図４】
2008517368.tif 000006
【国際調査報告】
2008517368.tif 000007
2008517368.tif 000008