(57)【要約】一実施形態では、コンピューティングシステムで実行されているプログラムの入力命令を起動する方法が提供される。この方法では、まずキャプチャ装置の前方の視野が監視される。次に、視野内で入力物体が識別される。検出された入力物体について、形状の変化が解析される。次に、入力物体の変化が検出される。すると、コンピューティングシステムで実行されているプログラムで入力命令が起動される。この起動は、入力物体の変化が検出された結果発生する。また、入力検出プログラムおよびコンピューティングシステムも提供される。
2005535022.tif 000002
【特許請求の範囲】
【請求項１】
コンピューティングシステムで実行されているプログラムの入力命令を起動する方法であって、
キャプチャ装置の前方の視野を監視し、
前記視野内で、その形状の変化を解析する入力物体を識別し、
前記入力物体の変化を検出し、
前記コンピューティングシステムで実行中の前記プログラムで入力命令を起動し、前記起動は前記入力物体の前記変化が検出された結果発生するものである、方法。
【請求項２】
前記ビデオキャプチャ装置はデジタルビデオカメラである請求項１に記載の方法。
【請求項３】
前記デジタルビデオカメラは前記入力物体の色をトラッキングする請求項２に記載の方法。
【請求項４】
前記デジタルビデオカメラは前記入力物体からの反射光をトラッキングする請求項２に記載の方法。
【請求項５】
前記入力物体の変化を検出する方法操作はさらに、
前記入力物体のアスペクト比の変化を検出し、
前記入力物体の位置の変化を検出する請求項１に記載の方法。
【請求項６】
前記プログラムはビデオゲームであり、前記コンピューティングシステムはゲームコンソールである請求項１に記載の方法。
【請求項７】
前記入力命令によって、前記コンピューティングシステムに結合されたモニタに表示される画像のサイズが変更される請求項５に記載の方法。
【請求項８】
前記入力命令によって、前記コンピューティングシステムに結合されたモニタに表示される画像が選択される請求項５に記載の方法。
【請求項９】
コンピューティング装置で実行され、メインプログラムの入力命令を起動するタイミングを決定するプログラム命令を有する入力検出プログラムであって、
前記入力検出プログラムにデータを提供するキャプチャ装置の前方の視野を監視するプログラム命令と、
前記視野内で入力物体を識別するプログラム命令と、
前記入力物体の物理的変化を検出するプログラム命令と、
前記コンピューティング装置で実行中の前記メインプログラム実行で入力命令を起動するプログラム命令と、を有し、前記起動は前記入力物体の物理的変化が検出された結果発生する入力検出プログラム。
【請求項１０】
前記入力物体の物理的な変化を検出する前記プログラム命令は、
前記入力物体のアスペクト比の変化を検出するプログラム命令と、
前記入力物体の位置の変化を検出するプログラム命令と、を有する請求項９に記載の入力検出プログラム。
【請求項１１】
前記コンピューティング装置はビデオゲームコンソールである請求項９に記載の入力検出プログラム。
【請求項１２】
前記入力物体は圧潰可能な球体である請求項９に記載の入力検出プログラム。
【請求項１３】
入力命令を起動する前記プログラム命令によって、前記コンピューティングシステムに結合されたモニタに表示される画像のサイズが変更される請求項９に記載の入力検出プログラム。
【請求項１４】
コンピューティング装置とインタフェースする入力装置であって、
第１の部分と、
前記第１の部分と一体化された第２の部分と、を有し、前記入力装置は、第１の状態での第１のアスペクト比と第２の状態での第２のアスペクト比とを定義するように構成されており、前記コンピューティング装置で入力命令を生成させるために、前記第１の状態と前記第２の状態との間の変化が検出可能である入力装置。
【請求項１５】
前記第１の部分と前記第２の部分とは半円筒を画定している請求項１４に記載の入力装置。
【請求項１６】
前記入力装置は人間の手のひらの内部にほぼ収まるように構成されている請求項１４に記載の入力装置。
【請求項１７】
前記第１の部分と前記第２の部分とは球体を画定している請求項１４に記載の入力装置。
【請求項１８】
前記第１の部分は第１の端縁を画定しており、前記第２の部分は第２の端縁を画定しており、前記第１の端縁と前記第２の端縁とは実質的に平行である請求項１４に記載の入力装置。
【請求項１９】
前記第１の端縁と前記第２の端縁との間に開口部が画定されており、前記入力装置に外力を加えて前記開口部を閉じることができる請求項１８に記載の入力装置。
【請求項２０】
前記第１の状態と前記第２の状態との間の変化によって聴取可能なクリックが発生する請求項１４に記載の入力装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般に、コンピュータシステムに対するジェスチャ入力に関し、より詳細には、変形が可能な装置を視覚的にトラッキングし、この変形によりコンピュータシステム側で動作を起動させることに関する。
【背景技術】
【０００２】
コンピューティングシステム用の代替入力装置の模索が大きな関心を集めており、視覚的なジェスチャ入力装置の普及が一層進んでいる。一般的にいうと、ジェスチャ入力とは、コンピューティングシステム、ビデオゲームコンソール、インテリジェント家電（smart appliance）などの電子装置を、物体をトラッキングするビデオカメラがキャプチャした一部のジェスチャに応答させることを指す。
【０００３】
デジタルビデオカメラを使用して移動する物体をトラッキングし、ビデオ画像を処理してさまざまな表示を生成することは、当業界において公知となっている。例えば、スポーツイベントのアニメーションビデオを製作するためのこの応用例の１つが、セゲン（Segen）による米国特許第６，０７２，５０４号に開示されている。このシステムでは、複数台のビデオカメラを使用して、競技中のテニスボールの位置をトラッキングして、コート内の三次元の点と、カメラの視野内のデジタル画像の二次元の点（すなわちピクセル）とを対応させる一組の方程式を使用する。特定のデジタル画像内の、ボールの分解されたピクセル位置を、競技中のボールの特定の三次元位置と関連付けることができ、個々のビデオ画像の三角測量を用いて、連続する画像フレームを最小二乗法によって分析し、ボールの位置を、ボールの運動の拘束力が働いていない部分（unimpeded segments）を記述する軌道方程式にフィッティングする。
【０００４】
セゲン特許にある程度詳細に記載されているように、物体の位置および移動の三次元的な記述を求めたら、ビデオゲーム環境において物体の適切な運動をアニメーション化するプログラムを使用して、その物体のアニメーション表現を製作するための各種の公知の方法が存在する。すなわち、セゲン特許は、ある時点でキャプチャした複数の二次元のビデオ画像から、移動中の物体の三次元位置を求めるものである。「現実の」物体の三次元位置を求めたら、この情報を使用して、ゲームプログラマに一般に知られている各種方法によって、ゲームプログラムを制御することができる。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、セゲンのシステムでは、三角測量に基づいて物体に関する位置情報を生成するために、複数台のビデオカメラを使用する必要がある。さらに、セゲンのシステムでは、検出対象の物体は、空間内での物体の姿勢（例えば勾配）に関する情報を必要としない単純な球体である。このため、セゲンのシステムでは、物体が移動中、静止中のいずれの場合であっても、１台のビデオカメラを用いて、二次元のビデオ画像から物体の位置および姿勢を復元することができない。
【０００６】
三次元の幾何学的形状を組み合せて仮想物体を作成し、ゲームプログラムの実行中に、ジョイスティックやゲームコントローラなどの入力装置を使用して入力される制御入力パラメータによって、物体の相対的な三次元の記述（位置および姿勢）を求めることは、ゲームプログラムで一般的に行われている。ゲームコンソールのレンダリングプロセッサ機能によって、仮想物体の三次元の位置および姿勢を、（背景、照明およびシェーディング、テクスチャなどを付与して）二次元の表示に投影して、三次元の遠近法による場面（scene）または表現（rendition）を作成する。
【０００７】
例として、ゲーム画面の動画を形成する「仮想物体」を考える。この「仮想物体」は、「現実の」物体の移動に対応しているとする。この仮想物体を表示するには、計算で求めた三次元情報を使用して、ゲームコンソールの記憶空間内にこの「仮想物体」の位置および姿勢を固定して、次に公知の処理によってこの画像のレンダリングを実行し、三次元情報を現実的な遠近表示に変換する。
【０００８】
しかし、上記の知見および技法を使用しても、さまざまな課題により物体のトラッキングができない状況が続いており、なかでも困難なのが、ビデオ画像内のピクセルのうち、対象の物体に明確に対応しているピクセルを正確に抽出することである。例えば、ある色の物体が別の色の単一色の背景に存在しており、この物体の色と背景色とが明確に判るように変化する場合、この物体を移動させることは比較的容易にできるものの、背景が多色の場合や非静止の場合には、物体のトラッキングは明るい色であっても容易ではない。ビデオカメラでみられるように、照明の変化も物体の識別可能な（apparent）色に大きく影響し、このため、特定の色の物体を検出することによって物体をトラッキングする方法は、誤差の影響を非常に受けやすいか、あるいは照明条件が変ったときに常に再調整が必要となる。家庭におけるビデオゲームプログラムの典型的な使用環境では、物体のトラッキング用の従来のコンピュータ視覚システムよりも、はるかに柔軟かつ堅牢でなければならない。
【０００９】
このため、代替入力装置が広く受け入れられるためには、この入力装置は、比較的廉価な１台のカメラによって家庭の使用環境でトラッキング可能でなければならない。さらに、この代替入力装置は、使い勝手のよいものでなければならない。カメラによってトラッキング可能なセンサを備えた手袋をユーザが装着して入力をキャプチャする方式がこれまで試されてきたが、この手袋はユーザに不評であった。手袋の不評の理由の１つが、手袋を頻繁に着脱しなければならならず不便な点にある。
【００１０】
このため、従来技術の課題を解決して、１台のビデオカメラによってトラッキング可能であり、ユーザにとって使い勝手のよい入力装置を提供することが求められている。
【課題を解決するための手段】
【００１１】
本発明は、一般的にいうと、１台のビデオカメラによってトラッキング可能な受動入力装置を提供する方法およびシステムを提供することによって上記のニーズに応える。本発明は、プロセス、システムまたは装置など、多くの方法で実装することができる点を理解されたい。以下に本発明のいくつかの発明の実施形態を記載する。
【００１２】
一実施形態では、コンピューティングシステムで実行されているプログラムの入力命令を起動する方法が提供される。この方法では、まずキャプチャ装置の前方の視野が監視される。次に、視野内で入力物体が識別される。検出された入力物体について、形状の変化が解析される。次に、入力物体の変化が検出される。すると、コンピューティングシステムで実行されているプログラムで入力命令が起動される。この起動は、入力物体の変化が検出された結果発生する。
【００１３】
別の実施形態では、入力検出プログラムが提供される。この入力検出プログラムは、コンピューティング装置で実行され、メインプログラムの入力命令を起動するタイミングを決定するプログラム命令を有する。入力検出プログラムは、キャプチャ装置の前方の視野を監視するプログラム命令を有する。キャプチャ装置は、入力検出プログラムにデータを提供する。視野内で入力物体を識別するプログラム命令が含まれる。入力物体の物理的変化を検出するプログラム命令と、コンピューティング装置で実行中のメインプログラム実行で入力命令を起動するプログラム命令とが含まれ、この起動は、入力物体の物理的変化が検出された結果発生する。
【００１４】
さらに別の実施形態では、コンピューティングシステムが提供される。このコンピューティングシステムは、入力検出システムを有する。この入力検出システムは、コンピューティングシステムで実行されているメインプログラムの入力命令を起動するタイミングを決定する。コンピューティングシステムは、キャプチャ装置を有する。キャプチャ装置の前方の視野を監視する回路と、視野内で入力物体を識別する回路が含まれる。入力物体の物理的変化を検出する回路と、コンピューティングシステムで実行されているメインプログラムで入力命令を起動する回路との両方が含まれる。この起動は、入力物体の物理的変化が検出された結果発生する。
【００１５】
さらに別の実施形態では、コンピューティングシステムが提供される。このコンピューティングシステムは、入力検出システムを有する。入力検出システムは、コンピューティングシステムで実行されているメインプログラムの入力命令を起動するタイミングを決定する。コンピューティングシステムは、画像データをキャプチャする手段と、キャプチャ装置の前方の視野を監視する手段とを備える。視野内で入力物体を識別する手段と、入力物体の物理的変化を検出する手段とが含まれる。コンピューティングシステムで実行されているメインプログラムで入力命令を起動するための手段が含まれ、この起動は、入力物体の物理的変化が検出された結果発生する。
【００１６】
本発明の他の態様および利点は、添付の図面と併せて、以下の詳細な説明を読めば自明となるであろう。これは、例示のみを目的として本発明の原理を示すものである。
【発明を実施するための最良の形態】
【００１７】
本発明とその更なる利点とは、添付の図面を参照して以下の記載をよめば、よりよく理解できるであろう。
【００１８】
事象を起動するため、その変形がビデオカメラによってキャプチャされる変形可能な入力装置について発明を開示する。以下の記載では、本発明を完全に理解できるように、具体的な詳細を数多く記載する。しかし、本発明の詳細な内容の一部または全てを用いなくとも本発明を実施し得ることは当業者にとって自明である。場合によっては、本発明を不必要にわかりにくくしないように、公知のプロセス操作については詳しく記載しない。
【００１９】
本発明の実施形態は、ビデオカメラの視野内に存在する間に変形され得るユーザ入力装置を提供する。入力装置のアスペクト比が変わるなどの変形が、ビデオカメラによってキャプチャされて、事象（event）または動作（action）が開始され、それがモニタに表示され得る。例えば、入力装置の変形は、パーソナルコンピュータのファイルまたはウィンドウを開いたり、コンピュータゲームの画像をグラブ（grab）、ドラッグまたは操作したり、インテリジェント家電を起動したりするためのマウスクリックを表し得る。なお、入力装置は受動装置であり、換言すれば入力装置は外力によって変形され得る物体である。このため、入力装置は、受信器に送信する能動信号を生成することはない。本明細書に記載する実施形態で後述するように、ユーザ入力装置では、ある体験（experience）を、ユーザに使い勝手のよいようにマウスクリックに関連付けることができる。
【００２０】
図１は、本発明の一実施形態による、ユーザ入力装置をトラッキング可能なシステム構成全体の高水準模式図である。このユーザ入力装置３００は、圧力を加えて上部と底部を強く握ると、そのアスペクト比が変化し得る。一実施形態では、変化はアスペクト比であり、これがデジタルビデオカメラ１９０によってキャプチャされる。デジタルビデオカメラ１９０はビデオゲームコンソール６０と通信している。一実施形態では、事象は、ゲームコンソールなどのコンピューティングシステムで実行されているメインプログラムの入力命令である。ビデオゲームコンソール６０はモニタ８０と通信している。このように、ユーザ入力装置のアスペクト比が変化すると、ユーザがモニタ８０に表示されている画像を操作できるようにする事象が起動される。なお、ユーザ入力装置は、ｘ平面、ｙ平面またはｚ平面内の移動をトラッキングされる。これら平面での移動によって、マウスと同様のクリック機能およびドラッグ機能が実現される。つまり、ユーザは、ユーザ入力装置３００を強く握ってアスペクト比を変化させて、入力装置を変形させたまま移動させることで、表示装置に表示されている画像を移動したり操作できる。本明細書ではビデオゲームコンソールを採り上げているが、ここに記載した実施形態は、パーソナルコンピュータや、テレビ、デジタルビデオディスク（digital video disc：ＤＶＤ）プレーヤ、インテリジェント家電などの民生用の電子装置に応用することができる。
【００２１】
図１に戻ると、一実施形態では、ユーザ入力装置３００は、ユーザの手のひらに収容できる変形可能な半円筒であり得る。ユーザ入力装置３００は、圧力を加えると変形し、圧力が除去されると元の形に復元する材料であれば、どのような材料で形成してもよい。ユーザは、ビデオカメラ１９０の視野内に入力装置を配置し、このビデオカメラ１９０は、ソニー・コンピュータエンタテインメント社が製造しているプレイステーション２（登録商標）などのゲームコンソール６０の入出力ポートに接続されたＵＳＢウェブカムまたはデジタルカムコーダであり得る。ユーザがユーザ入力装置３００をカメラ１９０の視野内に移動させると、ユーザ入力装置のサイズ、形状、色などの物理的な特徴がカメラ１９０によって捕捉される。次に、ユーザ入力装置のみに対応するピクセル群を抽出および判別するための処理が実行される。三次元空間における円筒の位置および姿勢を含む、円筒の三次元の記述が計算されて、この記述がゲームコンソール６０のメインメモリに対応付けて（correspondingly）記憶される。次に、物体の三次元の記述を使用して、当業界で公知のレンダリング技術によって、ゲームプログラムで動作を発生させて、これがモニタ８０のディスプレイ画面に表示される。例えば、ユーザ入力装置３００の移動に対応して、モニタ８０に表示されている物体がゲームの場面全体を移動され得る。アスペクト比の変化が検出されている状態で、ユーザがユーザ入力装置３００の位置および姿勢を変えると、メモリ内の物体の三次元の記述と、対応する画像メモリのレンダリング領域内の物体の表現とが連続的に更新されて、モニタ８０に表示されている物体の位置および姿勢も変化する。このため、ユーザが受動入力装置に力を加えることによって発生した視覚的なトリガによって、コンピューティングシステムと関連付けられているメインプログラムによって入力命令が実行されるなどの動作が発生する。
【００２２】
図２は、本発明の一実施形態に係る代替入力装置として機能する操作用物体との併用に適合されたビデオゲームコンソールの各種構成要素の構成を示すブロック図である。ゲームコンソール６０は、本発明によるエンタテインメントシステム１１０全体の一構成要素であり、図２に示すように、システム１１０全体を制御するためのマルチプロセッサユニット（ＭＰＵ）１１２、プログラムの各種操作およびデータ記憶に使用されるメインメモリ１１４、幾何学処理に必要な浮動小数点のベクトル演算を実行するベクトル演算ユニット１１６、ＭＰＵ１１２からの制御に基づいてデータを生成すると共に、ビデオ信号をモニタ８０（ＣＲＴなど）に出力する画像プロセッサ１２０、ＭＰＵ１１２またはベクトル演算ユニット１１６と画像プロセッサ１２０との間の伝送バス上で調停等を実行するグラフィックインタフェース（ＧＩＦ）１２２、周辺機器との間でデータを送受信できるようにする入出力ポート１２４、カーネル等の制御を実行するための、フラッシュメモリ等で構成された内部ＯＳＤ機能ＲＯＭ（ＯＳＤＲＯＭ）１２６、ならびにカレンダ機能およびタイマ機能を備えたリアルタイムクロック１２８を備える。
【００２３】
メインメモリ１１４、ベクトル演算ユニット１１６、ＧＩＦ１２２、ＯＳＤＲＯＭ１２６、リアルタイムクロック（ＲＴＣ）１２８および入出力ポート１２４は、データバス１３０を介してＭＰＵ１１２に接続されている。バス１３０には、圧縮済みの動画およびテクスチャ画像を伸張して、これにより画像データを展開するプロセッサである画像処理ユニット１３８も接続されている。例えば、画像処理ユニット１３８は、ＭＰＥＧ２またはＭＰＥＧ４の標準フォーマットに従って、ビットストリームをデコードおよび展開したり、マイクロブロックをデコードしたり、逆離散コサイン変換、色空間変換、ベクトル量子化などを実行する機能を担う。
【００２４】
サウンドシステムは、ＭＰＵ１１２からの命令に基づいて音楽やその他の音響効果を生成するサウンド処理ユニット（ＳＰＵ）１７１、ＳＰＵ１７１が波形データを記録するためのサウンドバッファ１７３、およびＳＰＵ１７１が生成した音楽やその他の音響効果を出力するスピーカ１７５で構成される。なお、スピーカ１７５はモニタ８０の一部として組み込まれていても、あるいは、外部スピーカ１７５を取り付けるための別個のオーディオライン出力端子として提供されてもよい。
【００２５】
バス１３０に接続されており、本発明に従ってデジタルデータの入出力を行うと共にデジタルコンテンツを入力する機能を備えたインタフェースである通信インタフェース１４０も提供される。例えば、オンラインビデオゲームアプリケーションを実現するために、この通信インタフェース１４０を介して、ネットワーク上のサーバ端末との間でユーザ入力データを送信したり、状態データを受信することができる。エンタテインメントシステム１１０に対してデータ（キー入力データまたは座標データなど）を入力する入力装置１３２（コントローラとも呼ばれる）と、各種プログラムおよびデータ（すなわち物体に関するデータ、テクスチャデータなど）を有するＣＤ―ＲＯＭなどの光学ディスクの内容を再生するディスク装置１３６とが入出力ポート１２４に接続されている。
【００２６】
本発明は、入力装置の機能を拡張するかこれに代わるものとして、入出力ポート１２４に接続されたデジタルビデオカメラ１９０を備える。入出力ポート１２４は、シリアルインタフェースやＵＳＢインタフェースなどの１つ以上の入力インタフェースによって実装され得、デジタルビデオカメラ１９０は、ＵＳＢ入力や、カメラ１９０との併用に適したその他の任意の従来のインタフェースを有利に利用し得る。
【００２７】
上記の画像プロセッサ１２０は、レンダリングエンジン１７０、インタフェース１７２、画像メモリ１７４、およびディスプレイコントローラ１７６（プログラム可能なＣＲＴコントローラなど）を備える。レンダリングエンジン１７０は、メモリインタフェース１７２を介して、かつＭＰＵ１１２から送られるレンダリング命令によって、所定の画像データを画像メモリにレンダリングする処理を実行する。レンダリングエンジン１７０は、ＮＴＳＣ方式またはＰＡＬ方式に準拠し、より詳細には、例えば、１／６０秒〜１／３０秒の間隔で１０〜数何十回を越えるレートで、３２０×２４０ピクセルまたは６４０×４８０ピクセルの画像データをリアルタイムに描画できる機能を備える。
【００２８】
メモリインタフェース１７２とレンダリングエンジン１７０との間にバス１７８が接続されており、メモリインタフェース１７２と画像メモリ１７４との間に第２バス１８０が接続されている。第１バス１７８と第２バス１８０のビット幅は、例えばそれぞれ１２８ビットであり、レンダリングエンジン１７０は、画像メモリに対して高速レンダリング処理を実行することができる。画像メモリ１７４は、一元化された記憶構造を採用しており、この構造では、例えば、テクスチャレンダリング領域と表示レンダリング領域とを同じ領域に設定することができる。
【００２９】
ディスプレイコントローラ１７６は、光ディスク装置１３６によって光ディスク７０から取得したテクスチャデータ、またはメインメモリ１１４に作成されたテクスチャデータを、メモリインタフェース１７２を介して画像メモリ１７４のテクスチャレンダリング領域に書き込むように構成されている。画像メモリ１７４の表示レンダリング領域にレンダリングされた画像データは、メモリインタフェース１７２を介して読み出されて、モニタ８０に出力され、画像データがモニタ８０に表示される。
【００３０】
図３は、本発明の一実施形態による、ユーザによるユーザ入力装置の操作中に、ユーザ入力装置に対応するピクセル群をトラッキングして判別するための機能ブロックを示すブロック図である。ブロックが表している諸機能は、ゲームコンソール６０のＭＰＵ１１２によって実行されるソフトウェアによって実装される点を理解されたい。さらに、図３のブロックが表している機能の全てが、各実施形態で使用されるとは限らない。
【００３１】
最初に、カメラから入力されたピクセルデータが、入出力ポートインタフェース１２４を介してゲームコンソール６０に送られ、これによる以下に記載するプロセスがゲームコンソール６０で実行される。まず、画像の各ピクセルが、例えばラスタベースでサンプリングされると、色分離処理ステップＳ２０１が実行される。これにより、各ピクセルの色が決定されて、画像が、色の異なるさまざまな二次元部分に分割される。次に、実施形態によっては、色遷移定位ステップＳ２０３が実行される。これにより、色の異なる部分が隣接している領域がより詳細に決定されて、はっきりした色の遷移が発生する画像の位置が特定される。次に、幾何学処理Ｓ２０５のステップが実行される。このステップでは、実施形態に応じて、端縁検出プロセスまたは面積の統計値（area statistics）の計算の実行が行われて、対象の物体の端縁に相当する線、曲線および／または多角形が代数的または幾何学的に定義される。例えば、図１のユーザ入力装置の場合、ピクセル領域は、通常、ユーザ入力装置を垂直に正面からみた場合に矩形形状となる。この矩形の代数的または幾何学的な表現から、物体のみに対応するピクセル群の中心、幅、長さおよび二次元の姿勢を定義することができる。
【００３２】
ステップＳ２０７で、アルゴリズムを用いて物体の三次元の位置および姿勢が計算される。このアルゴリズムについては、本発明の好ましい実施形態に関して後述する。質の向上のため、三次元の位置および姿勢のデータに対して、カルマン（Kalman）フィルタリング処理ステップＳ２０９が実行される。この処理を実行するのは、所定の時点において物体が存在する位置を概算して、起こり得ず、このため正しいデータ群から外れていると考えられる誤った測定値を除去するためである。カルマンフィルタリングを実行するもう１つの理由は、カメラ１９０は画像を３０Ｈｚで生成するが、一般的なディスプレイは６０Ｈｚで動作するため、カルマンフィルタリングによって、ゲームプログラムの動作の制御に使用するデータの不足分を埋めるためである。カルマンフィルタリングによる離散データのスムージングは、コンピュータビジョンの分野では公知であり、ここで詳述しない。
【００３３】
図４Ａは、本発明の一実施形態による、Ｘ方向およびＹ方向にトラッキングされ、事象を起動してモニタに表示させるように構成された変形可能なユーザ入力装置の模式図である。変形可能なユーザ入力装置３００は、ビデオカメラ１９０によってトラッキングされる。ビデオカメラ１９０はゲームコンソール６０と通信しており、ゲームコンソール６０はモニタ８０と通信している。一実施形態では、変形可能な装置３００は、前述のようにデジタルビデオカメラ１９０によって色によりトラッキングされる。すなわち、ユーザ入力装置は、カメラ１９０の視野内でトラッキングされ得るような明瞭な色を有する。図からわかるように、変形可能な装置３００は、基本的には円筒を半分に切断した円筒の一部分である。つまり、一実施形態では、変形可能な装置３００は手のひらのなかに収まる。このように、変形可能な装置３００が変形をうけると、変形可能な装置のアスペクト比が変化して、デジタルビデオカメラ１９０によってキャプチャされる。キャプチャされたアスペクト比の変化が、ゲームコンソール６０に伝達されて、この結果、事象が起動されてモニタ８０に表示される。例えば、変形可能な装置３００は、物体またはウィンドウ内の物体にアクセスして移動させることが可能なように、マウスと同様に使用することができる。
【００３４】
一実施形態では、点３０２で画像３０４をグラブして、自由にドラッグしたり操作したりすることができる。変形可能な装置３００がマウスと同様の機能を実現する任意の数の適切な操作を実行できることを当業者は理解されよう。当然、変形可能な装置３００を使用して、マウスと類似した機能を必要とするビデオゲームや、その他の任意の適した双方向ゲームをプレイすることができる。この場合、変形可能な装置３００のアスペクト比の変化は、マウスクリックと同等であり、アスペクト比を初期位置から変えながら、画像をドラッグすることができる。このため、ユーザ入力装置を使用して、カードゲームをプレイすることができる。本明細書に記載したマウスと類似した機能を適用できる用途が数多く存在することを当業者は理解されよう。
【００３５】
図４Ｂは、本発明の一実施形態に係る変形可能な装置のアスペクト比の変化を正面からみたときの概略模式図である。変形可能な装置は、弛緩位置３００Ａにある。ユーザが変形可能な装置を強く握ると、アスペクト比が閉鎖位置３００Ｂに変化する。なお、本明細書に記載の入力装置が、起動しようとする動作に対応した触覚的／触感的（haptic/tactile）なフィードバックをユーザに提供する。
【００３６】
図５は、本発明の一実施形態に係る変形可能なユーザ入力装置の別の実施形態の模式図である。この図の変形可能なユーザ入力装置３１０は、ユーザが変形可能な装置に加える力に応じて、弛緩状態３１０Ａか扁平状態３１０Ｂをとることができる。このように、この例では、変形可能な装置３１０は、圧潰可能なボールの形状を有する。さらに一般には、どのような種類の変形可能な球体でも、本明細書に記載した視覚トラッキングシステムによってトラックキングすることができる。この実施形態では、ビデオデジタルカメラ１９０によって観察される変形可能な装置３１０の面積は一定である点を理解されたい。このため、デジタルビデオカメラ１９０は、変形可能な装置３１０のＸ平面およびＹ平面での移動に加えて、Ｚ方向の移動をキャプチャすることができる。Ｚ方向によって、モニタ８０に示すように、ファイル３０４Ｂなどのファイルの前後への移動、すなわち奥行き方向への移動が可能となる。さらに、変形可能な装置３１０をＺ軸方向に移動させる方向に応じて、変形可能な装置３１０によってグラブした表示中の物体を大きく表示させたり小さく表示させたりできる。例えば、一実施形態では、変形可能な装置３１０をカメラ１９０に近づけると、表示中の物体がモニタ８０に大きく表示され、変形可能な装置３１０をカメラ１９０から離すと、表示中の物体が小さく表示される。表示中の物体は、Ｘ方向、Ｙ方向およびＺ方向の移動の組み合わせによって、そのサイズと位置が変化し得ることを当業者は理解されよう。この場合、三次元空間の移動を決定するために角度シータ（θ）を用いる。θがカメラ１９０のビュー平面（view plane）の方向の角度であることを当業者は理解されよう。
【００３７】
図５に戻ると、カメラは変形可能な装置３１０の位置をキャプチャする。この位置情報はゲームコンソール６０に伝達される。図１〜３を参照して上記したように、この位置情報はゲームコンソール６０で処理される。変形可能な装置のアスペクト比または相対位置が変化すると、処理によって、この移動が、モニタ８０に表示中の物体の移動に変換される。なお、本発明の一実施形態では、変形可能な装置のアスペクト比が変化したときに、音声信号が生成され得る。さらに、受動的なボタン押下信号を、変形可能な装置に備えてもよい。このクリック音はコンピューティングシステムによって検知されないが、ユーザはクリックを体感できるようになる。
【００３８】
一実施形態では、画像内のピクセルの分析によって、ｘ、ｙ、ｚ、θ、および握り（grip）パラメータを求める。なお、画像内のピクセルは、トラッキングされている物体、すなわち変形可能な装置の一部である。詳細に説明すると、Ｘは、画像内のピクセルの水平重心（horizontal centroid）に比例する。Ｙは、画像内のピクセルの垂直重心（vertical centroid）に比例する。Ｚは、ピクセルの面積または主二次モーメント（principle second moment）のいずれか（精度／堅固性の挙動が変わってくる）の平方根に反比例する。シータ（θ）は、主二次モーメントの回転角に対応する。握り量（すなわち変形量またはアスペクト比の変化量）などの握りパラメータは、主二次モーメントの平方根を最小二次モーメントの平方根で割った値に比例する。上記の各パラメータは、画像を通る１本の経路から算出することができる。このため、本明細書に記載した実装は非常に高速であり、一般に使用されている他の測定法よりもノイズ（すなわち視覚的誤差）の影響を受けにくい。
【００３９】
図６Ａは、図４Ａ、図４Ｂおよび図５を参照して記載した変形可能なユーザ入力装置のさらに別の実施形態の概略模式図である。この場合、変形可能な装置３２０は、相互に連結された上部と下部とを備えており、力を加えて上部と下部を接近させると、上部と下部の間隔が変化するようになっている。このため、変形可能な装置３２０の両端に圧力を加えると、アスペクト比が変化する。しかし、変形可能な装置３２０の面積は一定であり、このため、カメラ１９０は、変形可能な装置のＸ平面、Ｙ平面およびＺ平面での移動をトラッキングすることができる。上記したように、変形可能なユーザ入力装置３２０は、変形して元の形状に戻ることができる任意の適した材料で形成され得る。
【００４０】
図６Ｂは、変形可能な装置３２０の弛緩位置３２０Ａおよび閉鎖位置３２０Ｂの概略模式図である。上記したように、カメラ１９０によって検出される変形可能な装置３２０の面積は一定であることを当業者は理解されよう。すなわち、弛緩状態３２０Ａでのピクセル数と、扁平状態３２０Ｂでのピクセル数とは等しい。したがって、三次元空間での移動をトラッキングすることができる。
【００４１】
図６Ｃは、変形可能な装置を１つではなく２つ使用する図６Ａの代替例である。この場合、ユーザは、それぞれの手に変形可能な装置３２０Ａ−１と装置３２０Ａ−２を持つことができる。変形可能な装置３２０Ａ−１，装置３２０Ａ−２を使用して、ディスプレイ８０に表示されている画像をグラブしたり操作することができる。装置３２０Ａ−１と装置３２０Ａ−２は、同じ画像を操作しても、別の画像を操作してもよい。一実施形態では、１つ以上の変形可能なユーザ入力装置３２０を持っているユーザの画像をモニタ８０に表示されるように、変形可能な装置３２０を１つまたは２つ持っているユーザの画像がカメラ１９０によってキャプチャされ得る。
【００４２】
また、本明細書に記載する実施形態では、逆反射性材を使用してもよい。逆反射性材は、テープ、塗料、プラスチックなどであり得、変形可能な装置３２０の、カメラ１９０に対向する正面部分など、変形可能な装置の表面に設けられ得る。この場合、カメラ１９０は、変形可能な装置を照らすライトを備え得る。一般に知られているように、逆反射性材から反射された光はカメラ１９０に向かう。光源は、任意の可視光波長または不可視光波長の光源であり得る。一実施形態では、光源は赤外線光源である。
【００４３】
図７は、本発明の一実施形態による、コンピューティングシステムで実行されているプログラムの入力命令を起動する方法操作（method operations）のフローチャート図である。この方法は操作４００から開始し、コンピュータと通信しているキャプチャ装置が提供される。一実施形態では、キャプチャ装置は、ウェブカムなどのデジタルカメラである。図１〜３を参照して記載したように、コンピューティングシステムはモニタを備えたコンソールであり得る。次に、方法は操作４０２に進み、キャプチャ領域が監視される。一実施形態では、キャプチャ領域はキャプチャ装置の視野である。
【００４４】
図７の方法は、次に操作４０４に移動し、キャプチャ領域内で入力装置が検出されて、入力装置の初期形状が識別される。この場合、図４〜６Ｃを参照して記載したように、ユーザによって入力装置がキャプチャ装置の視野内に移動され得る。入力装置の形状は、図４〜６Ｃを参照して記載したユーザ入力装置のような、適した形状であればどのような形状でもよい。一実施形態では、入力装置は、キャプチャ装置によって監視可能な正面の突出部のアスペクト比を変更可能なように構成されている。次に、方法は操作４０６に進み、入力装置の形状の変化が識別される。例えば、ユーザが入力装置を強く握り、これにより入力装置のアスペクト比が変わり得る。次に方法は操作４０８に進み、入力装置の形状の変化が検出されたことを受けて、キャプチャ装置と通信しているコンピュータで実行中のコンピュータプログラムでアクティビティ入力が起動される。一実施形態では、ユーザ入力装置の形状が変化し、入力装置に対応したアイコンが、モニタに表示されている画像の上に表示される。マウスクリックと同じように、この形状の変化により画像が選択される。別の実施形態では、ユーザ入力装置の形状を変化させたまま、ユーザ入力装置を移動させると、選択された画像が移動または変更される。なお、複数のユーザ入力装置が備えられてもよい。例えば、ユーザは、それぞれの手に１つずつユーザ入力装置を持ってもよい。
【００４５】
図８は、本発明の一実施形態による、ビデオゲーム用のゲーム制御命令を起動する方法操作のフローチャートである。方法は操作４１０から開始し、ビデオゲームをプレイするためのゲームコンソールが提供される。画面にビデオゲームが表示される。一実施形態では、ゲームコンソールは、ＰＬＡＹＳＴＡＴＩＯＮ２（登録商標）ゲームコンソールである。次に、方法は操作４１２に進み、ゲームコンソールに結合されたビデオキャプチャ装置が提供される。一実施形態では、キャプチャ装置は、ウェブカムなどのデジタルカメラである。次に、方法は操作４１４に移動し、キャプチャ装置の前方のキャプチャ領域が監視される。上記したように、一実施形態では、キャプチャ領域はキャプチャ装置の視野である。
【００４６】
図８の方法は、次に操作４１６に移動し、キャプチャ領域内で入力装置が検出されて、入力装置の初期形状が識別される。この場合、図４〜６Ｃを参照して記載したように、ユーザによって入力装置がキャプチャ装置の視野内に移動され得る。一実施形態では、キャプチャ装置は、キャプチャ装置の近くにある光源から光を送出することによって入力装置を検出する。この実施形態では、入力装置は、光の発生源に直接光を反射するように構成された逆反射性材を有する。次に、方法は操作４１８に進み、入力装置の形状の変化が識別される。例えば、ユーザは入力装置を強く握り、これにより入力装置のアスペクト比が変わり得る。次に方法は操作４２０に進み、入力装置の形状の変化が検出されたことを受けて、キャプチャ装置と通信しているゲームコンソールで実行中のコンピュータプログラムでゲーム制御命令が起動される。一実施形態では、ユーザ入力装置の形状を変化させたまま、ユーザ入力装置を移動させると、選択された画像が移動または変更される。別の実施形態では、アスペクト比の変更の程度が、ビデオゲーム中の握りの力を表す。例えば、アスペクト比の変化が大きいほど、ビデオゲームの特定の機能のための握りが強くなる。
【００４７】
以上まとめると、本明細書に記載した変形可能な装置のアスペクト比の変化は、マウスクリックまたはグラブ操作と同様の事象または動作を起動する。なお、アスペクト比の変化によって任意の数の事象を起動してもよい。例えば、プルダウンメニューを使用することも、ビデオゲームをプレイすることも、物体をグラブしたり、前後に移動したり、重ねる、すなわち積み重ねることもできる。さらに、ユーザ入力装置を強く握って、そのアスペクト比を変えるという行為により、ボタン押下またはグラブ動作（grab action）等の事象をシミュレーションすることができる。一実施形態では、ユーザ入力装置の形状の変化をキャプチャするカメラは、ユーザ入力装置を色によってトラッキングするように構成されている。別の実施形態では、カメラは、変形可能な装置に設けた逆反射性材により、光によってユーザ入力装置をトラッキングし得る。本明細書に記載した変形可能な装置は、ユーザがマウスを使用することなく、クリックを体感することができる、すなわち触覚／触感（haptic/tactile）のフィードバックを受け取ることができるような任意の適した形状を有し得る。要は、ユーザが手袋を着用しなくても、手袋の機能が達成される。前述の実施形態はビデオゲームコンソールを採り上げて説明したが、この実施形態は例に過ぎず、限定するものではない。また、本明細書に記載した変形可能な装置は、パーソナルコンピュータや、テレビ、ビデオカセットレコーダー、ホームシアターシステムなどの家庭用電気製品のほか、台所機器などのインテリジェント家電に応用することができる。上記の実施形態は、ビデオゲームを実行するゲームコンソールのほかに、ユーザがサーバからビデオゲームを利用するオンラインビデオゲームにも応用できることを当業者は理解されよう。
【００４８】
本発明は、コンピュータシステムに記憶されているデータに関わる、各種のコンピュータによって実装される操作を使用し得る。これらの操作は、物理量の物理的操作を必要とする。この物理量は通常、記憶、転送、結合、比較などの操作が可能な電気信号または磁気信号の形を取るが、必ずしもこれらに限定されない。さらに、実行される操作は、生成、識別、決定または比較などと呼ばれることが多い。
【００４９】
本発明の一部を構成している、本明細書に記載した操作はいずれも、有用な機械操作である。本発明は、これらの操作を実行するデバイスまたは装置にも関する。この装置は、所望の目的のために特別に作製されたものであっても、あるいは汎用コンピュータであり、そのコンピュータに記憶されているコンピュータプログラムによって選択的に作動もしくは構成されてもよい。特に、各種の汎用の機械を、本明細書の教示に従って記述したコンピュータプログラムと併用してもよく、あるいは所望の操作を実行するために特化した機械を作製するほうが利便性が高いこともある。
【００５０】
上記に、本発明を明確に理解できるように本発明を多少詳細に記載したが、変更例または変形例を実施可能であることは明らかである。したがって、本実施形態は例に過ぎず、限定を意図したものではなく、本発明は、本明細書に記載されている詳細な事項に限定されることはなく、明細書の範囲およびその均等物の範囲内で変更することができる。
【図面の簡単な説明】
【００５１】
【図１】本発明の一実施形態による、ユーザ入力装置をトラッキング可能なシステム構成全体の高水準模式図である。
【図２】本発明の一実施形態に係る代替入力装置として機能する操作用物体との併用に適合されたビデオゲームコンソールの各種構成要素の構成を示すブロック図である。
【図３】本発明の一実施形態による、ユーザによるユーザ入力装置の操作中に、ユーザ入力装置に対応するピクセル群をトラッキングして判別するための機能ブロックを示すブロック図である。
【図４Ａ】本発明の一実施形態による、Ｘ方向およびＹ方向にトラッキングされ、事象を起動してモニタに表示させるように構成された変形可能なユーザ入力装置の模式図である。
【図４Ｂ】本発明の一実施形態に係る変形可能な装置のアスペクト比の変化を正面からみたときの概略模式図である。
【図５】本発明の一実施形態に係る変形可能なユーザ入力装置の別の実施形態の模式図である。
【図６Ａ】図４Ａ、図４Ｂおよび図５を参照して記載した変形可能なユーザ入力装置のさらに別の実施形態の概略模式図である。
【図６Ｂ】変形可能な装置の弛緩位置および閉鎖位置の概略模式図である。
【図６Ｃ】変形可能な装置を１つではなく２つ使用する図６Ａの代替例である。
【図７】本発明の一実施形態による、コンピューティングシステムで実行されているプログラムの入力命令を起動する方法操作のフローチャート図である。
【図８】本発明の一実施形態による、ビデオゲーム用のゲーム制御命令を起動する方法操作のフローチャートである。
【図１】
2005535022.tif 000003
【図２】
2005535022.tif 000004
【図３】
2005535022.tif 000005
2005535022.tif 000006
【図５】
2005535022.tif 000007
2005535022.tif 000008
【図７】
2005535022.tif 000009
【図８】
2005535022.tif 000010
【手続補正書】
【提出日】平成16年7月7日(2004.7.7)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
コンピューティングシステムで実行中のプログラムの入力命令を起動する方法であって、
ビデオキャプチャ装置の前方の視野を監視し、
前記視野内で、その形状の変化を解析する入力物体を識別し、
前記入力物体の形状の変化を検出し、
前記コンピューティングシステムで実行中の前記プログラムで入力命令を起動し、前記起動は前記入力物体の前記変化が検出された結果発生するものである、方法。
【請求項２】
前記ビデオキャプチャ装置はデジタルビデオカメラである請求項１に記載の方法。
【請求項３】
前記デジタルビデオカメラは前記入力物体の色をトラッキングする請求項２に記載の方法。
【請求項４】
前記デジタルビデオカメラは前記入力物体からの反射光をトラッキングする請求項２に記載の方法。
【請求項５】
前記入力物体の変化を検出する方法操作はさらに、
前記入力物体のアスペクト比の変化を検出し、
前記入力物体の位置の変化を検出する請求項１に記載の方法。
【請求項６】
前記プログラムはビデオゲームであり、前記コンピューティングシステムはゲームコンソールである請求項１に記載の方法。
【請求項７】
前記入力命令によって、前記コンピューティングシステムに結合されたモニタに表示される画像のサイズが変更される請求項５に記載の方法。
【請求項８】
前記入力命令によって、前記コンピューティングシステムに結合されたモニタに表示される画像が選択される請求項５に記載の方法。
【請求項９】
コンピューティング装置で実行され、メインプログラムの入力命令を起動するタイミングを決定するプログラム命令を有する入力検出プログラムであって、
前記入力検出プログラムにデータを提供するビデオキャプチャ装置の前方の視野を監視するプログラム命令と、
前記視野内で入力物体を識別するプログラム命令と、
前記入力物体の形状の変化を検出するプログラム命令と、
前記コンピューティング装置で実行中の前記メインプログラム実行で入力命令を起動するプログラム命令と、を有し、前記起動は前記入力物体の物理的変化が検出された結果発生するものである、入力検出プログラム。
【請求項１０】
前記入力物体の物理的な変化を検出する前記プログラム命令は、
前記入力物体のアスペクト比の変化を検出するプログラム命令と、
前記入力物体の位置の変化を検出するプログラム命令と、を有する請求項９に記載の入力検出プログラム。
【請求項１１】
前記コンピューティング装置はビデオゲームコンソールである請求項９に記載の入力検出プログラム。
【請求項１２】
前記入力物体は圧潰可能な球体である請求項９に記載の入力検出プログラム。
【請求項１３】
入力命令を起動する前記プログラム命令によって、前記コンピューティングシステムに結合されたモニタに表示される画像のサイズが変更される請求項９に記載の入力検出プログラム。
【請求項１４】
コンピューティング装置とインタフェースする入力装置であって、
第１の部分と、
前記第１の部分と一体化された第２の部分と、を有し、前記入力装置は、第１の状態での第１のアスペクト比と第２の状態での第２のアスペクト比とを定義するように構成されており、前記コンピューティング装置で入力命令を生成させるために、前記第１の状態と前記第２の状態との間の変化が検出可能である入力装置。
【請求項１５】
前記第１の部分と前記第２の部分とは半円筒を画定している請求項１４に記載の入力装置。
【請求項１６】
前記入力装置は人間の手のひらの内部にほぼ収まるように構成されている請求項１４に記載の入力装置。
【請求項１７】
前記第１の部分と前記第２の部分とは球体を画定している請求項１４に記載の入力装置。
【請求項１８】
前記第１の部分は第１の端縁を画定しており、前記第２の部分は第２の端縁を画定しており、前記第１の端縁と前記第２の端縁とは実質的に平行である請求項１４に記載の入力装置。
【請求項１９】
前記第１の端縁と前記第２の端縁との間に開口部が画定されており、前記入力装置に外力を加えて前記開口部を閉じることができる請求項１８に記載の入力装置。
【請求項２０】
前記第１の状態と前記第２の状態との間の変化によって聴取可能なクリックが発生する請求項１４に記載の入力装置。
【国際調査報告】
2005535022.tif 000011
2005535022.tif 000012
2005535022.tif 000013