(57)【要約】  データ処理システムが、仮想オブジェクトをレンダリングする表示モニタと、ユーザに前記レンダリングされるオブジェクトとの相互作用を可能にさせるタッチスクリーンとを備える。当該システムは、ユーザに、前記オブジェクトにおける第１位置において前記オブジェクトの形状を修正させるように動作する。前記形状は、当該システムの運用時において前記タッチスクリーンを介して見られる場合に、前記第１位置とほぼ一致する前記スクリーンにおける第２位置において登録される圧力の大きさの制御の下で修正される。
2008508630.tif 000002
【特許請求の範囲】
【請求項１】
仮想オブジェクトをレンダリングする表示モニタと、ユーザに前記レンダリングされるオブジェクトとの相互作用を可能にさせるタッチスクリーンとを備えるデータ処理システムであって、当該システムが、ユーザに、前記オブジェクトにおける第１位置において前記オブジェクトの形状を、当該システムの運用時において前記スクリーンを介して見られる場合に、前記第１位置とほぼ一致する前記スクリーンにおける第２位置において登録される圧力の大きさの制御の下で修正させるように動作するシステム。
【請求項２】
前記大きさと前記形状の修正との間の関係がプログラム可能である、請求項１に記載のシステム。
【請求項３】
前記レンダリングされるオブジェクトの縮尺比を変更するのを可能にするように動作可能であり、前記大きさと前記形状の修正との間の関係が、前記レンダリングされるオブジェクトの前記縮尺比に依存する、請求項１に記載のシステム。
【請求項４】
前記形状が、前記圧力の増加に応答する動作モードを有する、請求項１に記載のシステム。
【請求項５】
前記形状が、前記圧力の減少に応答する更なる動作モードを有する、請求項１に記載のシステム。
【請求項６】
タッチスクリーンを備える表示モニタにレンダリングされる仮想オブジェクトの形状をモデル化するのを可能にする方法であって、当該方法が、前記オブジェクトにおける第１位置において前記形状を、当該システムの運用時において前記スクリーンを介して見られる場合に、前記第１位置とほぼ一致する前記スクリーンにおける第２位置において登録される圧力の大きさの制御の下で修正するのを可能にするステップを含む方法。
【請求項７】
前記大きさと前記形状の修正との間の関係をプログラムすることを可能にするステップを含む、請求項６に記載の方法。
【請求項８】
前記レンダリングされるオブジェクトの縮尺比を変更するのを可能にするステップを含み、前記大きさと前記形状の修正との間の関係が、前記レンダリングされるオブジェクトの前記縮尺比に依存する、請求項６に記載の方法。
【請求項９】
前記形状を、前記圧力の増加に応答させるステップを有する、請求項６に記載の方法。
【請求項１０】
前記形状を、前記圧力の減少に応答させるステップを有する、請求項６に記載の方法。
【請求項１１】
仮想オブジェクトをレンダリングする表示モニタと、ユーザに前記レンダリングされるオブジェクトとの相互作用を可能にさせるタッチスクリーンとを備えるデータ処理システムと用いる制御ソフトウェアであって、当該制御ソフトウェアが、ユーザに、前記オブジェクトにおける第１位置において前記オブジェクトの形状を、当該システムの運用時において前記スクリーンを介して見られる場合に、前記第１位置とほぼ一致する前記スクリーンにおける第２位置において登録される圧力の大きさの制御の下で修正させるように動作する制御ソフトウェア。
【請求項１２】
前記大きさと前記形状の修正との間の関係がプログラム可能である、請求項１１に記載のソフトウェア。
【請求項１３】
前記レンダリングされるオブジェクトの縮尺比を変更するのを可能にし、前記大きさと前記形状の修正との間の関係が、前記レンダリングされるオブジェクトの前記縮尺比に依存する、請求項１１に記載のソフトウェア。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、仮想オブジェクトをレンダリングする表示モニタと、ユーザに前記レンダリングされるオブジェクトとの相互作用を可能にさせるタッチスクリーンとを備えるデータ処理システムに関する。本発明は、更に、タッチスクリーンを有する表示モニタにレンダリングされる仮想オブジェクトの形状をモデル化するのを可能にする方法及び制御ソフトウェアに関する。
【背景技術】
【０００２】
ビデオゲーム、グラフィックゲーム、及び他の計算機関連娯楽ソフトウェアアプリケーションは、益々より広まってきており、現在は携帯電話においても用いられている。多数プレーヤゲーム又はアプリケーションにおいて、プレーヤは、仮想環境において自身の代理として、アバターとして知られるアニメ化されたグラフィック描写を用いる。ユーザが表示モニタにレンダリングされる仮想動物の世話をする飼育ゲームであるたまごっちＴＭなどの電子ペット玩具に関する専用装置が市販されている。
【０００３】
グラフィックス生物及びオブジェクトを用いての仮想インタラクティブ世界の作成は、子供はもちろんのこと、専門家でない人によって上手に利用されることにあまり適していない芸術形態である。それにもかかわらず、専門家でない人又は若者が斯様な生物及びオブジェクトを作成するのを可能にするソフトウェアが歓迎され得る。というのも、これらソフトウェアは、人々に、以前では達成不可能であった電子世界の姿に対する制御を提供するための手助けになるからである。
【０００４】
ユーザーフレンドリーな及び簡単に理解される方法での仮想環境におけるオブジェクトのモデル化は、「VIRTUAL  ELEPHANT  MODELING  BY  VOXEL-CLIPPING  SHADOW-CAST」という名称で、Greg  Roelofs氏による、出願番号第09/840,796号である、２００１年４月２３日出願の米国特許出願公報第20020154113号（代理人整理番号US018150）において記載され、参照として本文章に組み込まれる。この特許文書は、ボクセルをボクセルブロックから切り出すために異なる方向に物理モデルのビットマップシルエットを用いることによって、例えば象などの形作られた物理オブジェクトのグラフィックモデルを作成することを開示する。このことは、ユーザが、例えば仮想環境において及びビデオゲームにおいて用いる物理オブジェクトのグラフィック表示を作成することを可能にする、直感的で簡単な道具を与える。
【０００５】
Jennings等による「SYSTEMS  AND  METHODS  OF  THREE-DIMENSIONAL  MODELING」に関して出願され、参照として本文書に組み込まれる米国特許出願公開公報第2002/0089500号は、計算機内に記憶される仮想オブジェクトを修正するシステム及び方法に関する。当該システム及び方法は、他の方法であったら計算的に不便である仮想オブジェクトの修正を可能にさせる。前記仮想オブジェクトは、容積表示として表示される。前記容量モデルの一部は、代替的な表示に変換される。前記代替的な表示は、容量表示とは異なる次元の数を有する表示であり得る。ユーザが力のフィードバック触覚インターフェイスを用いることなどによって、刺激が前記代替表示に加えられる。前記刺激に対する代替表示の応答が計算される。仮想オブジェクトの形状の変化は、代替表示の応答から決定される。仮想オブジェクトの表示は、ユーザのために如何なる時でも表示され得る。ユーザは、力のフィードバック応答を提供され得る。複数の刺激が、連続的に与えられ得る。複数の代替的な表示が、前記システム及び方法において用いられ得る。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明の目的は、上述の既知のシステム及び方法に対する代わりとして、又は上記のシステム及び方法に加えて用いられ得る、仮想モデルを生成又は形成することを可能にするシステム及び方法を提案することである。
【課題を解決するための手段】
【０００７】
この目的を果たすために、本発明者は、仮想オブジェクトをレンダリングする表示モニタと、ユーザに前記レンダリングされるオブジェクトとの相互作用を可能にさせるタッチスクリーンとを備えるデータ処理システムを提案する。当該システムは、ユーザに、前記オブジェクトにおける第１位置において前記オブジェクトの形状を修正させるように動作する。前記形状は、当該システムの運用時において前記タッチスクリーンを介して見られる場合に、前記第１位置とほぼ一致する前記スクリーンにおける第２位置において登録される圧力の大きさの制御の下で修正される。
【０００８】
上記の参照されるJennings氏の文書が、タッチスクリーン自体がオブジェクトの表面を物理的に表示するかのように、タッチスクリーンを用いることを開示も示唆もしていないことを注意するべきである。本発明において、ユーザが、表示されるオブジェクトの表面の具体的な一部に対応する又は一致するタッチスクリーンにおける特定の位置に圧力を加えることにより、オブジェクトは、ユーザによって手入力で形成される。Jennings氏のものにおいて、計算機マウス、ジョイスティック、又はタッチスクリーンなどの入力装置が、ユーザインタラクティブソフトウェアアプリケーションを介してグラフィカルに表示されるツールを用いて相互作用するための等価な代用品として用いられている。タッチスクリーンを本発明の方法で用いることによって、オブジェクトを形成する漸次的変化が、表示モニタにレンダリングされるオブジェクトの画像を再スケーリング（拡大又は縮小）することにより、容易に達成され得る。更に、タッチスクリーンがオブジェクトを物理的に表示するので、ユーザに対するフィードバックは、彼／彼女が粘土の塊を形作っているかのような視覚的なフィードバックに制限され得る。例えば、当該システムの動作モードにおいて、オブジェクト形状は、タッチスクリーンによって登録される圧力が増加する場合にのみ修正され続ける。同一の位置において圧力を低下させることが、形状を、該形状が圧力の最大値の時のままに残す。すなわち、当該形状は、該オブジェクトの画像に対応する又は一致させるために、ユーザによって感知される位置における圧力の変化に応答し、これにより、Jennings氏のものにおいて用いられるものよりも直接的でより直感的なユーザインターフェイスを提供する。
【０００９】
視覚的オブジェクトを、対応する物理的オブジェクトが適切な照明の状況下に置かれるかのようにレンダリングすることは、視覚的フィードバックを増進し得る。これにより生じる影、及び視覚的オブジェクトとのユーザの相互作用のおける変化は、この場合、ユーザが現実の対応する物理的オブジェクトを取り扱うかのように体験するものと類似する。更なる実施例において、タッチスクリーンは、視覚的な印象を増進させるために、ユーザの手を、この手が既に近づいている場合に登録し、これにより、視覚的オブジェクトにおける手の人工的な影を発生させるのを可能にする。
【００１０】
好ましくは、本発明のシステムは、一方では形状の変形のレベルと、他方では加えられる圧力の大きさとの間の関係をプログラムすることを可能にする。このことは、例えば、視覚的オブジェクトに対応する物理的オブジェクトの弾性又は剛性などの物理的な又は材料的な特性をプログラム又はシミュレートするためなどに用いられ得る。また、この関係は、オブジェクトの画像の縮尺比を考慮に入れ得る。このことは以下に説明される。定義によると、圧力は、単位面積辺りの力である。力は、指先の表面の面積の大きさのオーダを有するタッチスクリーンの面積にユーザによって加えられる。表示されるオブジェクトを再スケーリングすると、同一の力が、表示されるオブジェクトにマップされる場合に、より大きい又はより小さい面積に加えられる。したがって、視覚的オブジェクトに加えられる視覚的圧力は、オブジェクトが表示されている縮尺比に依存する。したがって、上記の関係は、スケーリング効果を効力に入れるためにプログラム可能であるか又はプログラムされ得る。改良点は、例えば、圧縮を増すために、物理的材料の増加する抵抗をモデル化するために、圧力対変形の関係に対する非線形特性を提供することなどに関連し得る。
【００１１】
好ましくは、当該システムは、タッチスクリーンを、視覚的オブジェクトを押すことと同様にオブジェクトを引くことによっても視覚的オブジェクトをモデル化するのに用いられ得るようにする規定を有する。すなわち、当該システムは、視覚的オブジェクトがタッチスクリーンに対する圧力の減少に応答する更なる動作モードを有する。例えば、ユーザは、特定の位置における圧力を、特定のしきい値よりも早い比率で、増加させ得る。当該システムは、これを、ユーザがオブジェクトを押すことよりもむしろ引っ張ることを望んでいるとして解釈するようにプログラムされる。圧力を緩やかに解放すると、前記オブジェクトは、例えばユーザに対する方向であり、且つユーザがタッチスクリーンを触っているタッチスクリーンの面積に対応する位置で引っ張られているかのように、変形される。
【００１２】
本発明は、タッチスクリーンを備える表示モニタにレンダリングされる仮想オブジェクトの形状をモデル化するのを可能にする方法にも関する。前記形状が、当該システムの運用時において前記スクリーンを介して見られる場合に、前記オブジェクトにおける第１位置において、前記表示モニタにおける前記第１位置とほぼ一致する前記タッチスクリーンにおける第２位置において登録される圧力の大きさの制御の下で修正されるのを可能にされる。当該方法は、例えば、インターネットにおけるサービスプロバイダ、又は前記システム及びその特徴に関して上述される種類の相互作用を仮想世界において可能にするサーバの制御の下にある多ユーザ計算機ゲームなどに関する。
【００１３】
本発明は、表示モニタ及びタッチスクリーンを備えるデータ処理システムにおいて用いる制御ソフトウェアでも実施化され得る。前記ソフトウェアは、上述の特徴の使用及びユーザインタラクションを可能にする。
【００１４】
本発明は、添付の図面を参照にして、例証を目的として、更に詳細に説明される。
【００１５】
同一の参照符号は、図面を通して類似又は対応する特徴を示す。
【発明を実施するための最良の形態】
【００１６】
図１は、本発明におけるシステム１００のブロック図である。システム１００は、表示モニタ１０２及びタッチスクリーン１０４を備え、ユーザがスクリーン１０４を介してモニタ１０２に表示される画像を見るように配置される。タッチスクリーン１０４は、前記スクリーンに対する接触位置を表す入力データと、ユーザが運用時において前記タッチスクリーンに及ぼす力又は圧力を表す入力データとを処理することが可能である。ユーザがスクリーン１０４に接触する位置の形式でのユーザ入力は、モニタ１０２に表示される画像の特定の位置に対応する。システム１００は、更に、例えば、遠隔位置にあり、インターネット又はホームネット（図示せず）を介してモニタ１０２及びタッチスクリーン１０４に接続されるＰＣ又は別の計算機などのデータ処理サブシステム１０６を備える。代替的に、上記のコンポーネント１０２〜１０６は、ＰＣ、又は携帯電話、ＰＤＡ、若しくはタッチスクリーンリモコンなどのハンドヘルド装置に一緒になって一体化され得る。サブシステム１０６は、前記ユーザインプットデータを処理し、ソフトウェアアプリケーション１０８の制御の下で画像を提供するように動作する。サブシステム１０６は、仮想オブジェクトの意図された変形を伴うデータ処理を管理する遠隔サーバを備え得る。このデータ処理は、例えば、実時間多ユーザ計算機ゲームにおける、又は、洗練された仮想オブジェクトに関する場合などにおける状況の下において、十分に数値計算集約型であり得、この場合特別なサーバに委託されるのが好ましい。
【００１７】
タッチスクリーン１０４は、タッチ位置及びユーザがスクリーン１０４を触る場合にスクリーン１０４に加えられる圧力の大きさの両方を登録するように構成される。この構成は、ユーザ入力が、３次元として、すなわち、スクリーン１０４の表面の位置を決定する２つの座標と、接触の圧力の大きさによって表されるスクリーン１０４に垂直な更なる座標と、の３次元として考慮されるのを可能にする。この場合、これは、本発明において、仮想オブジェクトをモデル化するために用いられる。
【００１８】
図２及び３は、仮想陶器応用例における仮想オブジェクトのモデル化を例示する図である。図２において、モニタ１０２は、円柱状のオブジェクト２０２をレンダリングする。当該陶器の応用例において、仮想オブジェクト２０２は、（仮想）空間に固定された対称の軸の周りを回転するようにされる。すなわち、軸２０４は、ユーザがタッチスクリーン１０４への圧力を加えることの結果として移動されるべきでない。図３において、ユーザは、彼／彼女の指３０２で、オブジェクト２０２の表面領域の位置に対応する位置でタッチスクリーン１０４を押す。タッチスクリーン１０４は、指３０２と接触した座標と、スクリーン１０４に対する指の圧力とを登録する。ＰＣ１０６は、このデータを受信し、このデータを、登録された座標及び圧力レベルと準拠するオブジェクト２０２の形状の修正を発生するアプリケーション１０８へ入力する。オブジェクト２０２が回転するので、前記形状への修正は、十分に回転対称を有する。
【００１９】
例示されるオブジェクト２０２の変形の程度は、指３０２がスクリーン１０４に接触する寸法と同じオーダの大きさであることを注意されたい。ユーザが、オブジェクト２０２の表面を、オブジェクト２０２の特徴的な測定値の寸法より小さい寸法で押下して覆うことを望むと仮定する。この場合、ユーザは、指３０２とタッチスクリーン１０４の間の接触の面積が、所望の押下面積と同一の特徴的寸法を有するように、オブジェクト２０２にズームインする。したがって、変形の縮尺比は、表示されるオブジェクトの縮尺比に依存するようにされる。
【００２０】
図４及び５は、モニタ１０２にレンダリングされる仮想オブジェクト２０２をモデル化する別のモードを例示する図である。同様に、オブジェクト２０２は、モニタ１０２において実体として移動されるべきでないが、ユーザがスクリーン１０４へ適切な位置において圧力を加える結果として変形を受けるべきのみである。この場合、ユーザは、オブジェクト２０２を局所的に搾るかのように、オブジェクト２０２の画像と一致する位置において、右手３０２及び左手５０２の両方を用いてタッチスクリーン１０４に圧力を加えている。すなわち、手３０２及び５０２の間の接触の位置、及び圧力を加えている間における当該位置の変化は、オブジェクト２０２の生じる変形を規定する。図５の例において、オブジェクト２０２は、右手側の上部と左手側の底部とで変形される。
【００２１】
好ましくは、システム１００は、例えば、ユーザに、オブジェクト２０２を再配置させる又は見る方向に関して向きを変更させるなど、オブジェクト２０２をその実体においてモニタ１０２において移動させることを可能にさせる。例えば、モニタ１０２は、オブジェクト２０２を視覚的に覆わない領域においてメニューオプションを表示し得る。代替的に、タッチスクリーン１０４との相互作用は、システム１００に、総じて、オブジェクト２０２を変形させる命令とオブジェクト２０２の位置又は向きを変更させる命令との間を判別させるような方法で実行される。例えば、オブジェクト２０２によって占められる区域の外側から開始するスクリーン１０４を横切るユーザの手の掃引する動きは、オブジェクト２０２を当該掃引の方向において、この方向に対して垂直で且つ例えば仮想環境において固定されるように留まるオブジェクト２０２自体の質量の（仮想的な）中心等と一致する軸周りに回転させる命令として解釈される。前記回転は、ユーザが彼／彼女の手を接触させて動かしている限り継続する。
【００２２】
図６は、本発明における処理６００を例示するフロー図である。ステップ６０２において、タッチスクリーン１０４は、接触の位置及び接触圧力を表すデータを、ＰＣ１０６に供給する。ステップ６０４において、前記位置がオブジェクト２０２の表面における位置に一致するかが決定される。何の一致も存在しない場合、アプリケーション１０８は、選択ステップ６０６において、当該入力をオブジェクト２０２の形状の修正以外の動作に関する命令として解釈する。例えば、オブジェクト２０２に一致しない一連の座標、すなわち、順序付けされた一群の座標は、このエンティティにおけるオブジェクト２０２を、前記一連の座標に対応するベクトルの方向にシフトする命令として解釈される。別の例において、何の一致もない場合、圧力増加は、オブジェクト２０２の画像へのズームインとして解釈される。ズームアウト動作は、例えば、特定のしきい値を超える圧力の変化率か、又はあるしきい値を超える圧力自体があると、起動される。代替的に、又は追加的に、形状修正以外の特定の動作が、オブジェクト２０２と一緒にモニタ１０２に表示されるメニューにおいてオプションとして列挙され得る。座標がオブジェクト２０２と一致する場合、選択ステップ６０８は、圧力又はその変化が、例が上記に与えられているような別の動作モードへの移行を示すかを確認する。何のモードの切替も存在しない場合、オブジェクト２０２の形状は、ステップ６０２の入力に基づきステップ６１０において決定され、修正される形状がステップ６１２においてレンダリングされる。
【００２３】
図７〜９は、期間「ｔ」におけるタッチスクリーン１０２に加えられる圧力「ｐ」と生じるオブジェクト２０２の変形「Ｄ」との間の関係を例証する図である。図７において、システム１００は、第１動作モードにあり、この場合、圧力は経時的に増加していて、元の形状からの空間的な偏差などの生じる変形は、オブジェクト２０２が局所的に圧縮されるかのように同様に増加する。圧力がしきい値Ｔよりも上昇する場合か、又は圧力が特定の最小比率よりも高い比率でしきい値Ｔよりも上昇する場合、システム１００は、これを、オブジェクト２０２の最終的な変形がこのセッションにおいて達成されたと解釈する。変形は停止し、圧力は、変形を変更することなく０にまで下げられ得る。しきい値Ｔ及び最小比率は、好ましくはプログラム可能である。値がしきい値より下である状態を継続する圧力は、プログラムされる材料特性に応じた変形効果を有し得る。例えば、仮想的なオブジェクト２０２は、モデル化の粘土の一塊を表示する場合、圧力の上昇の後の圧力の減少は、変形を、瞬間的に圧力「ｐ」が（しきい値Ｔより低い）その最大値に到達されたときのままの変形に維持させる。オブジェクト２０２が、弾性的又はスポンジ的である材料を表す場合、圧力が（しきい値Ｔより下の）最大値に達した後における圧力の減少は、プログラムされた材料の特性に応じて、必ずしも瞬間的というわけではないが変形を減少させることになる。
【００２４】
図８は、システム１００の第２の動作モードを例証する。セッションの開始において、圧力「ｐ」は、しきい値Ｔよりもすばやく増加するようにされる。システム１００は、このことを、ユーザが図７の図面における圧力よりもむしろ、局所的な拡張に対応する変形を意図すると解釈する。圧力ｐがしきい値Ｔよりも下げられる場合、システム１００は、例えば、一方でプログラムされたオブジェクト２０２の材料特性によって決定されるオブジェクト２０２の内部圧力と、他方でタッチスクリーン１０４を介してユーザによって加えられる圧力との間で平衡が常に保存されているかのように、オブジェクト２０２の局所的な拡大を制御する。
【００２５】
代替的に、図９は、局所的拡張変形が、特定のしきい値を超える変化率で圧力を増加させることによって特定の変形が達成される場合に、終了され得ることを示す。この場合、当該変形は停止し、圧力は、変形を変更することなく０にまで下げられ得る。
【００２６】
変形においてレンダリングされる仮想オブジェクト２０２の連続性を保存することに関しては、Jennings氏の文書を詳細について参照されたい。
【００２７】
本発明は、例えば、おもちゃとして、特定の若しくはプログラム可能な材料特性を有する物理的オブジェクトの振る舞いを理解するのを手伝うための補助として、計算機支援製造により作製されるべき物理的モデルに関するテンプレートとして、又は仮想環境を形成する若しくは運用時においてその仮想環境及びその仮想的な居住者と相互作用するための計算機ゲームにおけるアプリケーションとして美的な目的のために仮想オブジェクトを作成するため、並びにＰＣに表示される現在のスピーカの画像への接触誘発式等角写像を適用することにより退屈なビデオ会議において楽しむためなどに用いられ得る。後者の例において、好ましくは、最終マッピング結果を取得するための「元に戻す」ボタン、及び会議を妨害し得るような面白過ぎる効果を取り除くために通常表示モードに戻すための瞬間リセットボタンを備えられる。
【００２８】
この文章で使用される「タッチスクリーン」という用語は、例えば、スタイラス操作などのグラフィックタブレットも含むべきである。ユーザの指と相互作用するタッチスクリーンに関して上述されてきたものは、グラフィックタブレットにも適用可能である。
【図面の簡単な説明】
【００２９】
【図１】図１は、本発明におけるシステムのブロック図である。
【図２】図２は、本発明のいくつかの実施例のうちの１つを例示する。
【図３】図３は、本発明のいくつかの実施例のうちの１つを例示する。
【図４】図４は、本発明のいくつかの実施例のうちの１つを例示する。
【図５】図５は、本発明のいくつかの実施例のうちの１つを例示する。
【図６】図６は、本発明における処理を例示するフロー図である。
【図７】図７は、変形の極性の逆転を例示する図である。
【図８】図８は、変形の極性の逆転を例示する図である。
【図９】図９は、変形の極性の逆転を例示する図である。
【図１】
2008508630.tif 000003
【図２】
2008508630.tif 000004
【図３】
2008508630.tif 000005
【図４】
2008508630.tif 000006
【図５】
2008508630.tif 000007
【図６】
2008508630.tif 000008
【図７】
2008508630.tif 000009
【図８】
2008508630.tif 000010
【図９】
2008508630.tif 000011