(57)【要約】【課題】入力ジェスチャに応じて３次元画像を変更するシステム及び方法を提供する。【解決手段】ユーザからの手のジェスチャなどのポーズまたはジェスチャに応じて、動的３次元画像を修正することができる。１つの実施形態では、ジェスチャは、３次元画像において物体を選択するユーザによって作られる。ジェスチャには、例えば、表示された物体のうちの１若しくは複数を掴むための、表示された物体の指差しや、３次元画像によって占められる空間ボリューム内への手の配置などの意思表示を含めることができる。ジェスチャに応じて、３次元ディスプレイは、例えば選択された物体の変更または再配置によって、部分的にまたは完全に再描画される。１つの実施形態では、システムが、物体を掴んで動かすユーザによる表示された３次元物体のドラッグ移動をシミュレートする。【選択図】図４
2010522380.tif 000002
【特許請求の範囲】
【請求項１】
システムであって、
動的３次元画像を表示するためのディスプレイ装置と、
ユーザによって作られる少なくとも１つのポーズを位置判定及び認識するように構成された位置判定システムと、
前記位置判定システム及び前記ディスプレイ装置に結合され、前記ポーズに応じて前記動的３次元画像を修正するべく前記ディスプレイ装置と通信するように構成されたプロセッサとを含むことを特徴とするシステム。
【請求項２】
前記プロセッサが、前記ポーズに応じて前記動的３次元画像内の少なくとも１つの３次元画像の形状を修正するように構成されていることを特徴とする請求項１のシステム。
【請求項３】
前記プロセッサが、指し示すポーズを認識し、前記指し示すポーズに応じて前記動的３次元画像内の或る物体を識別し、前記指し示すポーズに応じて前記動的３次元画像を修正するように構成されていることを特徴とする請求項１のシステム。
【請求項４】
前記プロセッサが、掴むポーズを認識し、前記動的３次元画像内の或る物体を掴まれているものとして識別するように構成されていることを特徴とする請求項１のシステム。
【請求項５】
前記プロセッサが、前記掴むポーズ中の前記ポーズの動きに応じて前記物体を再配置するように構成されていることを特徴とする請求項４のシステム。
【請求項６】
前記プロセッサが、前記ポーズに応じて対象物の制御のための出力コマンド信号を生成するように構成されていることを特徴とする請求項１のシステム。
【請求項７】
前記プロセッサが、補助プロセッサに適した出力コマンド信号を生成するように構成されており、
前記補助プロセッサが、前記出力コマンド信号に応じて補助動的３次元画像を修正するべく補助ディスプレイ装置を制御するするように構成されていることを特徴とする請求項１のシステム。
【請求項８】
前記補助プロセッサが、補助位置判定システムによる前記補助ディスプレイ装置のユーザのポーズの検出に応じて前記補助動的３次元画像を修正するように構成され、
前記プロセッサが、前記補助ディスプレイ装置の前記ユーザの前記ポーズに応じて前記動的３次元画像を修正するための入力コマンドを、前記補助プロセッサから受信するように構成されていることを特徴とする請求項７のシステム。
【請求項９】
前記位置判定システムが、複数のユーザによって作られるポーズを位置判定及び認識するように構成され、
前記プロセッサが、前記ユーザ間のコミュニケーションを容易にする方法で前記ポーズに応じて前記動的３次元画像を修正するべく前記ディスプレイ装置と通信するように構成されていることを特徴とする請求項１のシステム。
【請求項１０】
前記プロセッサが、前記ユーザからのクエリに応じて出力を生成するように構成されていることを特徴とする請求項１のシステム。
【請求項１１】
前記出力が、前記クエリへの可聴応答、前記クエリへの視覚的応答、または前記クエリへの触覚応答のうちの少なくとも１つを含み、
前記クエリが、発話クエリ、ポーズ・クエリ、ジェスチャ・クエリまたはキーボード入力されるクエリのうちの少なくとも１つであることを特徴とする請求項１０のシステム。
【請求項１２】
前記プロセッサが、前記クエリに応じて、かつ前記動的３次元画像内の少なくとも１つの物体を示す付随的なポーズに応じて、出力を生成するように構成されていることを特徴とする請求項１１のシステム。
【請求項１３】
前記プロセッサが、前記ユーザからのコマンドに応じて出力を生成するように構成されていることを特徴とする請求項１のシステム。
【請求項１４】
前記出力が、前記コマンドに応じた前記３次元画像内の少なくとも１つの３次元物体の形状の修正を含み、
前記コマンドが、発話コマンド、ポーズコマンド、ジェスチャ・コマンドまたはキーボード入力されるコマンドのうちの少なくとも１つであることを特徴とする請求項１３のシステム。
【請求項１５】
前記プロセッサが、現況及び所望の状況を同時に表示するように前記動的３次元画像をアップデートするように構成されていることを特徴とする請求項１のシステム。
【請求項１６】
前記ポーズが、ジェスチャの構成要素であることを特徴とする請求項１のシステム。
【請求項１７】
前記位置判定システムによって認識可能であり、ユーザが前記ポーズを表現できるように構成されているような、少なくとも１つの入力装置をさらに含むことを特徴とする請求項１のシステム。
【請求項１８】
前記入力装置上に取り付けられかつ前記位置判定システムによって認識可能である第１の１若しくは複数のタグ一式と、
前記画像との一定の空間関係で配置されかつ前記位置判定システムによって認識可能である第２の１若しくは複数のタグ一式とをさらに含むことを特徴とする請求項１７のシステム。
【請求項１９】
前記入力装置が、ユーザがはめることのできるグローブを含み、
前記動的３次元画像が、完全陰影付き物体を含むことを特徴とする請求項１７のシステム。
【請求項２０】
システムであって、
表示ボリューム内に３次元画像を表示するためのディスプレイ装置と、
前記表示ボリュームと少なくとも部分的に重なり合うインタラクション・ボリューム内にユーザによって作られる少なくとも１つのポーズを位置判定及び認識するように構成された位置判定システムと、
前記位置判定システム及び前記ディスプレイ装置に結合され、前記表示ボリューム内の前記３次元画像と空間的に関連しているものとして前記インタラクション・ボリューム内にポーズを登録するように構成されたプロセッサとを含むことを特徴とするシステム。
【請求項２１】
前記プロセッサが、前記ポーズに応じて前記３次元画像内の少なくとも１つの３次元物体の形状を修正するように構成されていることを特徴とする請求項２０のシステム。
【請求項２２】
前記プロセッサが、指し示すポーズまたは掴むポーズのうちの少なくとも一方を認識し、前記識別されたポーズに応じて前記３次元画像内の或る物体を識別し、前記識別されたポーズに応じて前記３次元画像を修正するように構成されていることを特徴とする請求項２０のシステム。
【請求項２３】
前記プロセッサが、前記識別されたポーズの動きに応じて前記識別された物体を再配置するように構成されていることを特徴とする請求項２２のシステム。
【請求項２４】
前記プロセッサが、前記ポーズに応じて対象物の制御のための出力コマンド信号を生成するように構成されていることを特徴とする請求項２０のシステム。
【請求項２５】
前記プロセッサが、補助プロセッサに適した出力コマンド信号を生成するように構成されており、
前記補助プロセッサが、前記出力コマンド信号に応じて補助動的３次元画像を修正するべく補助ディスプレイ装置を制御するするように構成され、
前記補助プロセッサが、補助位置判定システムによる前記補助ディスプレイ装置のユーザのポーズの検出に応じて前記補助３次元画像を修正するように構成され、
前記補助プロセッサが、前記補助ディスプレイ装置の前記ユーザの前記ポーズに応じて前記３次元画像を修正するための入力コマンドを、前記補助プロセッサから受信するように構成されていることを特徴とする請求項２０のシステム。
【請求項２６】
前記位置判定システムが、複数のユーザによって作られるポーズを位置判定及び認識するように構成され、
前記プロセッサが、前記ユーザ間のコミュニケーションを容易にする方法で前記ポーズに応じて前記３次元画像を修正するべく前記ディスプレイ装置と通信するように構成されていることを特徴とする請求項２０のシステム。
【請求項２７】
前記プロセッサが、前記ユーザからのクエリに応じて応答を生成し、前記ユーザからのコマンドに応じて出力を生成するように構成されていることを特徴とする請求項２０のシステム。
【請求項２８】
方法であって、
動的３次元画像を表示するステップと、
ユーザによって作られる少なくとも１つのポーズを位置判定及び認識するステップと、
前記ポーズに応じて前記動的３次元画像を修正するステップとを含むことを特徴とする方法。
【請求項２９】
前記修正するステップが、前記ポーズに応じて前記動的３次元画像内の少なくとも１つの３次元物体の形状を修正するステップを含むことを特徴とする請求項２８の方法。
【請求項３０】
前記ポーズが、指し示すポーズを含み、
前記方法が、
前記指し示すポーズに応じて前記動的３次元画像内の或る物体を識別するステップと、
前記指し示すポーズに応じて前記動的３次元画像を修正するステップをさらに含むことを特徴とする請求項２８の方法。
【請求項３１】
前記ポーズが、掴むポーズを含み、
前記方法が、前記動的３次元画像内の掴まれている物体を識別するステップをさらに含むことを特徴とする請求項２８の方法。
【請求項３２】
前記掴むポーズ中の前記ポーズの動きに応じて前記物体を再配置するステップをさらに含むことを特徴とする請求項３１の方法。
【請求項３３】
前記動的３次元画像が、完全陰影付き動的物体を含み、
前記方法が、前記ポーズに応じて対象物を制御するための出力コマンド信号を生成するステップをさらに含むことを特徴とする請求項２８の方法。
【請求項３４】
補助動的３次元画像を修正するように補助ディスプレイ装置を制御するための出力コマンド信号を生成するステップをさらに含むことを特徴とする請求項２８の方法。
【請求項３５】
複数のユーザによって作られるポーズを位置判定及び認識するステップと、
前記ユーザ間のコミュニケーションを容易にする方法で前記ポーズに応じて前記動的３次元画像を修正するステップをさらに含むことを特徴とする請求項２８の方法。
【請求項３６】
ユーザからのクエリに応じて、かつ前記動的３次元画像内の少なくとも１つの物体を示す付随的なポーズに応じて、出力を生成するステップをさらに含むことを特徴とする請求項２８の方法。
【請求項３７】
ユーザからのコマンドに応じて、かつ前記動的３次元画像内の少なくとも１つの物体を示す付随的なポーズに応じて、前記動的３次元画像を修正するステップをさらに含むことを特徴とする請求項２８の方法。
【請求項３８】
現況及び所望の状況を同時に表示するように前記動的３次元画像をアップデートするステップをさらに含むことを特徴とする請求項２８の方法。
【請求項３９】
方法であって、
表示ボリューム内に３次元画像を表示するステップと、
前記表示ボリュームと少なくとも部分的に重なり合うインタラクション・ボリューム内に、ユーザによって作られる少なくとも１つのポーズを位置判定及び認識するステップと、
前記表示ボリューム内の前記３次元画像と空間的に関連しているものとして前記インタラクション・ボリューム内にポーズを登録するステップとを含むことを特徴とする方法。
【請求項４０】
前記ポーズに応じて前記動的３次元画像内の少なくとも１つの３次元物体の形状を修正するステップをさらに含むことを特徴とする請求項３９の方法。
【請求項４１】
指し示すポーズまたは掴むポーズのうちの少なくとも一方を認識するステップと、
前記識別されたポーズに応じて前記３次元画像内の或る物体を識別するステップと、
前記識別されたポーズに応じて前記３次元画像を修正するステップをさらに含むことを特徴とする請求項３９の方法。
【請求項４２】
前記識別されたポーズの動きに応じて前記識別された物体を再配置するステップをさらに含むことを特徴とする請求項４１の方法。
【請求項４３】
前記ポーズに応じて対象物の制御のための出力コマンド信号を生成するステップをさらに含むことを特徴とする請求項３９の方法。
【請求項４４】
前記出力コマンド信号に応じて補助３次元画像を修正するように補助ディスプレイ装置を制御するように構成された出力コマンド信号を生成するステップをさらに含むことを特徴とする請求項３９の方法。
【請求項４５】
複数のユーザによって作られるポーズを位置判定及び認識するステップと、
前記ユーザ間のコミュニケーションを容易にする方法で前記ポーズに応じて前記３次元画像を修正するステップをさらに含むことを特徴とする請求項３９の方法。
【請求項４６】
前記プロセッサが、前記ユーザからのクエリに応じて応答を生成し、前記ユーザからのコマンドに応じて出力を生成するように構成されていることを特徴とする請求項３９の方法。
【請求項４７】
システムであって、
動的３次元画像を表示する手段と、
ユーザによって作られる少なくとも１つのポーズを位置判定及び認識する手段と、
前記ポーズに応じて前記動的３次元画像を修正する手段とを含むことを特徴とするシステム。
【請求項４８】
システムであって、
表示ボリューム内に３次元画像を表示する手段と、
前記表示ボリュームと少なくとも部分的に重なり合うインタラクション・ボリューム内に
ユーザによって作られる少なくとも１つのポーズを位置判定及び認識する手段と、
前記表示ボリューム内の前記３次元画像と空間的に関連しているものとして前記インタラクション・ボリューム内にポーズを登録する手段とを含むことを特徴とするシステム。
【請求項４９】
コンピュータプログラム製品であって、
コンピュータ読み取り可能な媒体と、
前記コンピュータ読み取り可能な媒体上で符号化され、１若しくは複数のプロセッサによって実行可能であるような、或る方法を実行するための命令とを含み、
前記方法が、
動的３次元画像を表示するステップと、
ユーザによって作られる少なくとも１つのポーズを位置判定及び認識するステップと、
前記ポーズに応じて前記動的３次元画像を修正するステップとを含むことを特徴とするシステム。
【請求項５０】
コンピュータプログラム製品であって、
コンピュータ読み取り可能な媒体と、
前記コンピュータ読み取り可能な媒体上で符号化され、１若しくは複数のプロセッサによって実行可能であるような、或る方法を実行するための命令とを含み、
前記方法が、
表示ボリューム内に３次元画像を表示するステップと、
前記表示ボリュームと少なくとも部分的に重なり合うインタラクション・ボリューム内に、ユーザによって作られる少なくとも１つのポーズを位置判定及び認識するステップと、
前記表示ボリューム内の前記３次元画像と空間的に関連しているものとして前記インタラクション・ボリューム内にポーズを登録するステップとを含むことを特徴とするシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ホログラフィック画像の分野に関し、詳細には、ポーズ及びジェスチャを介しての自動立体視ホログラフィック・ディスプレイとのユーザ・インタラクションに関する。
【背景技術】
【０００２】
観察者が特別な眼鏡類をかける必要がないように立体視（立体識別）の作業が３次元（３Ｄ）グラフィック・ディスプレイによってなされるとき、そのディスプレイを自動立体視と呼ぶことができる。ホログラムは、自動立体視３次元ディスプレイの一種であり、複数の同時観察者が３次元画像を見ながら動いたり協力したりすることを可能にする。ホログラム生成のための技術の例は特許文献１に記載されており、特許文献１はその全文を引用することを以て本明細書の一部となす。
【０００３】
ユーザと３次元画像との正確なインタラクションを容易にする技術と一体化した自動立体視ディスプレイへの関心が高まっている。そのような触覚インタフェースとの一体化の例は特許文献２に記載されており、特許文献２はその全文を引用することを以て本明細書の一部となす。そのような一体化を可能にするツールにより、３次元画像を介した情報の提示を向上させることができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】米国特許第６，３３０，０８８号明細書
【特許文献２】米国特許第７，１９０，４９６号明細書
【特許文献３】米国仮特許出願第６０／６５１，２９０号明細書
【特許文献４】米国特許出願第１１／３５０，６９７号明細書
【特許文献５】米国特許第６，８５９，２９３号明細書
【特許文献６】米国特許出願第１１／７２４，８３２号明細書
【特許文献７】米国特許出願第１１／８３４，００５号明細書
【非特許文献】
【０００５】
【非特許文献１】" 'Put-That-There': Voice and Gesture at the Graphics Interface," by Richard A. Bolt, International Conference on Computer Graphics and Interactive Techniques, pp. 262-270, Seattle, Washington, United States, July 14-18, 1980
【非特許文献２】"Multi-Finger Gestural Interaction with 3D Volumetric Displays," by T. Grossman et al., Proceedings of the 17th Annual ACM Symposium on User Interface Software and Technology, p. 61-70
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本明細書では、入力ジェスチャに応じて３次元画像を変更するシステム及び方法について述べる。１つの実施形態では、３次元画像中で物体を選択するために、グローブやユーザの手などの入力装置を用いるユーザによって入力ジェスチャが作られる。ジェスチャには、表示された物体の指差しや、３次元画像によって占有されるのと同じ空間ボリューム内への入力装置の配置などの指示を含めることができる。入力ジェスチャに応じて、３次元画像は、例えば選択された物体の再配置または変更を示すように、部分的にまたは完全に再描画される。
【０００７】
１つの実施形態では、３次元画像は、１若しくは複数の適切なコンピュータ・デバイスに結合された１若しくは複数のディスプレイ装置を用いて生成される。これらのコンピュータ・デバイスは、ディスプレイ装置への自動立体視画像データの伝達を制御する。ディスプレイ装置に例えば直接にまたはいくつかの光伝達装置を介して結合されたレンズアレイが、ユーザが動的自動立体視画像を見ることができるように自動立体視画像データの適切な調整を提供する。
【図面の簡単な説明】
【０００８】
添付図面を参照することによって、当業者は、本願の内容をよりよく理解するであろうし、数多くの目的、機能及び利点が明らかになるであろう。
【図１】ユーザがディスプレイシステム上で物体を見て選択できるような環境の１つの実施形態の例を示す。
【図２】ディスプレイシステムによって表示される３次元物体とインタラクションを行うために用いられている入力装置グローブの例を示す。
【図３】ユーザが、ディスプレイシステムによって表示される３次元物体を動かす動作の例を示す。
【図４】ユーザが、ディスプレイシステムによって表示される３次元物体を掴む動作の例を示す。
【図５】ユーザが、ディスプレイシステムによって表示される３次元物体を再配置する動作の例を示す。
【図６】ユーザ入力ジェスチャに基づき３次元画像を表示及び修正する手順を示すフローチャート。
【図７】３次元画像のための動的ディスプレイシステムのブロック図。
【図８】動的自動立体視ディスプレイモジュールの例を示す。
【図９】動的自動立体視ディスプレイモジュールに用いることができるマルチエレメント・レンズレット・システムの例を示す。
【発明を実施するための形態】
【０００９】
本願は、動的自動立体視ディスプレイと併用される様々な装置及び技術を開示する。観察者が特別な眼鏡類をかける必要がないように立体視（立体識別）の作業がグラフィック・ディスプレイによってなされるとき、そのディスプレイを自動立体視と呼ぶことができる。観察者が空間内の或る位置に固定されたままである限り左右の目に異なる画像を提示するようなディスプレイが数多くの開発されてきた。これらのほとんどは視差バリア方式の変型であり、視差バリア方式では微細な垂直回折格子またはレンチキュラレンズアレイがディスプレイスクリーンの正面に置かれる。観察者の目が空間内の固定位置にとどまっているならば、片方の目が回折格子またはレンズアレイを介して特定のピクセル群のみを見ることができ、その間にもう片方の目は別の群のみを見る。自動立体視ディスプレイの他の例では、ホログラフィック及び疑似ホログラフィックディスプレイは部分的ライトフィールドを出力し、同時に多くの異なるビューを計算する（または多くの異なる予め計算されたビューを表示する）。これにより、多くの観察者が同じ物体を同時に見ることができ、ディスプレイに対して観察者は動くことができる。自動立体視ディスプレイのさらに別の例では、直接体積走査型ディスプレイは、生き生きとした、時として半透明な画像として、任意の視点から見える生き生きとした光の点の体積的蓄積の効果を有する。
【００１０】
１ステップ・ホログラム（ホログラフィック・ステレオグラムを含む）生成技術は、予備ホログラムを作り出す伝統的なステップなしにホログラフィック記録材料にホログラムを満足に記録するために用いられてきた。コンピュータ画像ホログラムも非コンピュータ画像ホログラムも、そのような１ステップ技術によって生成されることができる。１ステップ・ホログラム生成のための技術の例は、上記した特許文献１に見つけることができる。
【００１１】
動的に生成される自動立体視ディスプレイを可能にさせる装置及び技術が開発されてきた。一部の実施形態では、全方向視差３次元発光型電子ディスプレイ（及び代わりに水平視差のみディスプレイ）は、高解像度の２次元発光型画像供給源を適切な光学素子と組み合わせることによって形成される。高解像度の２次元画像供給源にコンピュータ・グラフィックス画像データを供給するために、１若しくは複数のコンピュータ処理装置が用いられ得る。一般的に、数多くの異なるタイプの発光型ディスプレイを用いることができる。発光型ディスプレイは、一般的に、ディスプレイ自身の光を生成する幅広いカテゴリーのディスプレイ技術を指し、電子発光ディスプレイ、電界放出ディスプレイ、プラズマディスプレイ、真空蛍光ディスプレイ、カーボンナノチューブディスプレイ、ポリマーディスプレイを含む。様々な実施形態において非発光型ディスプレイを用いることができるとも考えられる。非発光型ディスプレイ（例えば透過型ディスプレイや反射型ディスプレイ）は一般的に別体をなす外部光源（例えば、透過型ディスプレイであれば液晶ディスプレイのバックライト、または反射型ディスプレイであれば他の光源など）を必要とする。
【００１２】
そのようなディスプレイ装置の制御は、従来の手段を介して、例えばソフトウェア及び適切なユーザ・インタフェース、専用制御パネルなどを備えたコンピュータ・ワークステーションを介してなされることができる。いくつかの例では、触覚装置を用いてディスプレイ装置を制御し、場合によってはそのような装置によって表示される画像ボリュームを操作する。
【００１３】
本明細書に記載のツール及び技術は、一部の実施形態では、ジェスチャ・インタフェース及び自然な人の動き（例えば、手／腕の動作、歩行など）を用いて、動的自動立体視ディスプレイを制御し、そのような動的自動立体視ディスプレイに示される画像とのインタラクションを行うことができる。多くの実施形態では、そのようなシステムは、一致する（または少なくとも部分的に一致する）表示ボリューム及びジェスチャ・ボリュームを用いて自然で直感的な方法でのユーザ制御及び物体操作を可能にする。
【００１４】
様々な実施形態では、自動立体視ディスプレイは、ホーゲルを用いて３次元画像を表示することができる。静的ホーゲルは、場合によっては、ホログラフィック記録材料に記録された干渉縞を用いて作られることができる。本明細書に記載の技術は動的ディスプレイを用い、動的ディスプレイは、経時的にアップデートまたは修正されることができる。
【００１５】
動的３次元ディスプレイを作り出すための１つのアプローチはまた、ホーゲルを用いる。本願のアクティブ・ホーゲルは、組み合わされたときに、見る者に合成自動立体視画像を提示するように、適切に処理された画像（または画像の一部）を表示する。それゆえに、特許文献１に記載されている様々なホーゲルデータ生成技術は、後述する技術とともに本願に適用することができる。画像ベース・レンダリング技術を含むホーゲルデータ及びコンピュータ・グラフィックス・レンダリング技術を本願のシステム及び方法とともに用いることもできる。
動的自動立体視ディスプレイとともにアドレシングされることができるような多くのレベルのデータ・インタラクション及びディスプレイがある。例えば、完全陰影付き（fully-shaded）３Ｄ表面の合成を可能にするディスプレイでは、ユーザは、ジェスチャ・インタフェースまたは従来のインタフェース（例えば、マウス、グローブ、または他の入力装置を備えたコンピュータシステム）のいずれかを用いて表面を加法的または減法的に修正することができる。３Ｄ物体の完全陰影付き表現は動かせる。より控えめな実施形態では、単純な２元陰影付き（binary-shaded）アイコンデータを複雑な陰影付き物体及びデータの上にオーバレイすることができる。オーバレイはその後、例えば一連のウインドウズ上の２次元表示画面上で、カーソルまたはアイコンが操作されるのとほぼ同じように操作される。
【００１６】
利用可能な計算処理能力のレベルは、そのような双方向システムに対して関連する設計検討である。一部の実施形態では、基礎となる複雑な可視化（例えば、地形、建物環境など）は、生成に数秒かかる場合がある。それにもかかわらず、計画の状況では、ｘ、ｙ、ｚ空間のどこにでも配置され得る３Ｄピクセルを作る能力、または基礎となる可視化に対して３Ｄで単純な直線または曲線すらをトレースする能力が、ディスプレイのユーザにとって貴重である。さらに別の実施形態では、３次元で単純な照射された光の点をより相互作用的に動かすことができることは、最も基本的なインタフェース及び３Ｄディスプレイとの双方向性を提供する。この技術に基づいて、より複雑な３Ｄ物体がユーザ入力に応じてリアルタイムで動かされるかまたは修正されるような様々な実施形態が想定される。そのようなリアルタイム・アップデートのための計算が利用可能な処理能力を超えるような状況では、システムは、ユーザ入力に応答するのにタイムラグがあることがあるが、おそらくは、ユーザの意図の受取りが表示され、修正されたレンダリングが完了するまでシステムが「遅れを取り戻して」いることが示される。
【００１７】
ジェスチャ・インタフェースについては、例えば非特許文献１、非特許文献２、特許文献３及び特許文献４に記載されており、これら全てはその全文を引用することを以て本明細書の一部となす。
【００１８】
一部の実施形態では、ジェスチャ・インタフェース・システムが、ジェスチャ・ボリュームと表示ボリュームの少なくとも一部が重なり合うように動的自動立体視ディスプレイと組み合わされる。ユーザは、ディスプレイを検索（ナビゲート）し、かつ、ユーザの指、手、腕、脚、頭、足及び／または全身を用いて１若しくは複数のジェスチャ・コマンドを発行することによってディスプレイ要素を操作し、ナビゲーション及び制御を提供する。ジェスチャ・ボキャブラリーは、表示コマンド（例えば、ＧＵＩ（グラフィカル・ユーザ・インタフェース）やＣＬＩ（コマンドライン・インタフェース）コマンドの代わりに）を作動させるために用いられる恣意的なジェスチャと、表示物体の実際の望ましい動き（例えば、特定の画像ボリュームを「掴」み、そのボリュームを別の位置に「置く」）を模倣することを意図するジェスチャとを含む場合がある。ジェスチャ・コマンドは、適切なポーズ（例えば指や手の）により即時の１回限りのアクションが生じる即時的コマンドと、オペレータが、文字通りの指し示すジェスチャを通じて直接画面上の要素を参照するかあるいは相対的またはオフセットジェスチャを通じてナビゲーション操作を行うかのいずれかであるような空間コマンドとを含む場合がある。同様に、（一連のポーズを含む）相対空間ナビゲーション・ジェスチャを用いることもできる。
【００１９】
上記したように、ジェスチャ・コマンドを用いて様々な異なるタイプのディスプレイ制御を提供することができる。ジェスチャは、物体を動かす、物体の形を変える、物体を選択する、経路を追跡する、２次元または３次元空間内で引き寄せる、表示された画像を任意の関連する方向にスクロールする、ズームを制御する、解像度を制御する、基本的なコンピュータの機能性（例えば、オープン・ファイル、ナビゲート・アプリケーションなど）を制御する、表示パラメータ（例えば、輝度、リフレッシュなど）を制御するなどのために用いられることができる。さらに、ユーザは、ジェスチャに応じて様々なタイプのフィードバックを受信することができる。上記の例の大部分は、視覚的フィードバック、例えば、表示されているものの或る変化に焦点を合わせている。他の例では、音声フィードバック：例えば、表示ボリュームにおいて或る位置を指し示すことにより特定の音声が再生される；ユーザ・インタフェース音声キュー（コンピュータＧＵＩによく見られる）；などがある場合がある。さらに別の例では、ユーザの足下の床置き変換器の振動やユーザがはめている触覚グローブの振動などの機械的フィードバックがある場合がある。数多くの変形形態及び実施形態が想定される。
【００２０】
一部の実施形態では、ジェスチャ・インタフェース・システムには、１若しくは複数のカメラまたは他のセンサのビューイング・エリアが含まれる。センサは、ユーザの指、手などの位置、方向及び動きを検出し、カメラ出力をジェスチャ信号に翻訳するプリプロセッサへの出力信号を生成し、ジェスチャ信号は、その後、対応するコンピュータ・システムによって処理される。コンピュータ・システムは、ジェスチャ入力情報を用いて、ディスプレイの出力に影響するような適切な動的自動立体視ディスプレイ制御コマンドを生成する。
【００２１】
この基本構成の数多くの変形形態が想定される。例えば、ジェスチャ・インタフェース・システムは、２人以上のユーザから同時に入力を受信するように構成されることができる。上記したように、ジェスチャは、まばたき、唇の動き（例えば読唇）、息を吹く、吐く、などのより僅かな動きを含めた実質的にいかなるタイプの体の動きによっても行われることができる。様々なタイプの１若しくは複数のセンサを利用することができる。多くの実施形態では、グレースケール画像をキャプチャすることができる１若しくは複数のモーションキャプチャカメラが用いられる。そのようなカメラの例には、Ｖｉｃｏｎ ＭＸ４０カメラなどのＶｉｃｏｎ製のカメラが含まれる。どのようなセンサが用いられるにせよ、ユーザの手、四肢、顔の特徴、または他の体の構成要素を検出及び配置することによってモーション・キャプチャが行われる。一部の実施形態では、体の構成要素に、モーションキャプチャ検出を助けるようにデザインされたマーカが施され得る。他のセンサの例には、他の光学検出器、ＲＦＩＤ検出装置、誘導検出装置などが含まれる。
【００２２】
動き検出ビデオカメラの一例では、プリプロセッサを用いて、ユーザ上のマーカ位置（例えば、指にはめたマーカ指輪、腕の関節に位置するマーカ点など）に基づいて、ユーザと関係がある３次元空間点再構築及び骨格点ラベリングを生成する。ジェスチャ変換装置を用いて、３Ｄ空間情報及びマーカ動き情報をコンピュータ・プロセッサによって翻訳されることができるコマンド言語に変換し、対応するディスプレイ環境における静的コマンド情報及び位置の両方、例えば、一致する動的自動立体視ディスプレイボリュームにおける位置を判定する。この情報を用いて、ディスプレイシステムを制御し、表示ボリュームにおいてディスプレイ物体を操作することができる。一部の実施形態では、これらの要素は別体であるが、他の実施形態では同一装置に組み込まれる。非特許文献２及び特許文献４の両文献には、使用可能なジェスチャ・ボキャブラリー、追跡技術、コマンドの種類の例が数多く記載されている。
【００２３】
動的自動立体視ディスプレイと連動するジェスチャ・インタフェース・システムの操作は、典型的に、ジェスチャ空間と表示空間との密接な結合を要求することになる。このことは、データ共有、空間登録及びキャリブレーションを含むいくつかの側面に関わりがある。
【００２４】
表示物体を操作するためにジェスチャが用いられるようなアプリケーションの場合、そのような物体を説明するデータは、認識されるジェスチャと操作される表示データを正確に調整するようにジェスチャ・インタフェース・システムが使用するために利用できることになる。一部の実施形態では、ジェスチャ・システムが直接このデータを用いることになるが、他の実施形態では、中間システムまたはディスプレイシステム自体がデータを用いる。例えば、ジェスチャ・インタフェース・システムは、認識されるコマンド情報（例えば特定のボリューム内にある何かを「掴」み、それを特定の経路に沿ってドラッグ移動させるため）を中間システムまたはディスプレイシステムに出力し、そのシステムはその後、当該情報を用いて、ディスプレイシステムにおける対応する変化をレンダリング及び表示する。ジェスチャの意味が状況依存であるような他の場合には、ジェスチャ・インタフェースは、表示されたシーンを説明するデータを用いてコマンドの解釈を行うことができる。
【００２５】
空間登録の場合、画像表示ボリュームが、関連するジェスチャ・ボリューム、すなわちセンサによってモニタリングされているボリュームに対応することを確実にすることは有益である。これら２つのボリュームは、完全にまたは部分的に一致する場合がある。多くの実施形態では、ジェスチャ・ボリュームは、少なくとも表示ボリュームを包含することになり、表示ボリュームよりもかなり大きい場合がある。表示ボリュームは、一部の実施形態では、いくらかの限られた空間領域内に動的３次元画像を表示するディスプレイ装置によって画定される。ジェスチャ・ボリュームまたはインタラクション・ボリュームは、一部の実施形態では、限られた空間領域内でユーザのポーズまたはジェスチャを位置判定及び認識することができるような検出または配置システムによって画定される。システムは、一般的に検出または配置システムによって認識されるインタラクション・ボリュームがディスプレイ装置の表示ボリュームと少なくとも部分的に重なり合うように構成されるものである。
【００２６】
さらに、システムは、ジェスチャまたはポーズを３次元画像のすぐ隣の構成要素と適切に幾何学的に結びつけることができるものである。それゆえに、ユーザが、表示された３次元物体と「接触」して指を置くとき、システムは、検出された指（ジェスチャ・ボリューム内）と表示された３次元物体（表示ボリューム内）とのこの幾何学的同一性を認識することができるものである。このジェスチャ・ボリュームと表示ボリューム間の同一性は、ハードウェアの配置及び支援ソフトウェアの構成にとって有益な設計検討である。
【００２７】
２つの空間の登録後、動的自動立体視ディスプレイによりジェスチャ・インタフェースの使用のキャリブレーションを行うことは典型的には役に立つであろう。キャリブレーションは、ジェスチャ認識システムで分かる時間または位置で幾つかの基本的なキャリブレーション・ジェスチャを行うくらい簡単である場合がある。より複雑な実施形態では、ジェスチャ・キャリブレーションは、動的自動立体視ディスプレイによって表示されるキャリブレーション物体を操作するために用いられるジェスチャを含むことになる。例えば、システム全体のオペレーションのキャリブレーションを行うという明確な目的のための予め設定された一連のジェスチャ／物体操作オペレーションがある場合がある。
【００２８】
図１は、ユーザがディスプレイシステム１１０上で物体を見て選択することができるような環境１００の１つの実施形態の例を示している。ディスプレイシステム１１０は、３次元画像を表示することができる。１つの実施形態では、ディスプレイシステムは、一方向に制御された光出力とともにコンピュータ制御されたホーゲルを用いる自動立体視３次元ディスプレイである。この環境はまた、検出器群１２０Ａ、１２０Ｂ、１２０Ｃ（集合的に検出器群１２０）を含み、検出器群１２０は、ディスプレイシステム１１０と、検出器群１２０に結合されたコンピュータ１３０とから画像の周辺領域を観察する。検出器群１２０の各々、明らかに特有のパルス状の一連の赤外線照明を生成する赤外エミッタと、赤外光を受光する赤外カメラとを含む。検出器群１２０は、堅いフレーム１０５上にしっかりと取り付けられる。環境１００はまた、少なくとも１つのユーザ制御インジケータを含み、ユーザは、ユーザ制御インジケータを、ディスプレイシステム１１０によって表示される物体の選択を示すための入力装置として用いることができる。１つの実施形態では、ユーザ制御インジケータはグローブ１４０である。他の実施形態では、ユーザ制御インジケータは、ユーザの頭や脚や他の身体部分に、またはそれらの組合せにおいて身につけられるか、あるいはユーザによって保持されるかまたはユーザの手、腕、足、顔、または他の身体部分に、またはそれらの組合せにおいて取り付けられる一式の検出器である。さらに他の実施形態では、ユーザ制御インジケータは、単に、カメラまたは他の検出装置によって検出されるユーザの身体部分（手、指、顔、足または全身姿勢、またはそれらの組合せなど）である。これらのユーザ制御インジケータ及びその他の様々な組合せも考えられる。
【００２９】
ディスプレイシステム１１０によって表示される物体には３次元物体が含まれ、一部の実施形態では、２次元物体も含まれ得る。表示される物体には動的物体が含まれ、これは、ディスプレイシステム１１０へのユーザ入力または制御回路に応じて経時的に変えられ得るかまたは動かされ得る。この例では、ディスプレイシステム１１０は、検出器群１２０に結合された同じコンピュータ１３０によって制御される。２つ以上の別々のネットワーク・コンピュータを用いることができるとも考えられる。ディスプレイシステム１１０は、適切な照明条件下で、適切な角度でユーザに見られると、立体視３次元物体を表示する。１つの実施形態では、ディスプレイシステム１１０は実像、すなわち見る者の目にはユーザとディスプレイシステム１１０の間の空間位置に位置するように見える画像を表示する。そのような実像は、例えば、ユーザが表示された物体とのインタラクションを行うことができるような空間領域において表示された物体に近づく手段をユーザに与えるのに役立つ。１つのアプリケーションでは、携帯型ポインタまたは指を実像と交差させることによってユーザが集合的に指し示しかつ「触れる」ことができるような記号、人、動物、建物、車両及び／または任意の物体を潜在的に含む地理的地形の「空中」写真を提示するために実像が用いられる。ディスプレイシステム１１０は、例えば後述するような動的３次元画像を表示するための様々なシステム及び技術を用いて実現され得る。ディスプレイシステム１１０の動的性質によって、ユーザは、物体を掴み、動かし、操作することによって、表示された物体とのインタラクションを行うことができる。
【００３０】
様々なアプリケーションが、ディスプレイシステム１１０によって表示される動的３次元物体の表示を使用し得る。例えば、３次元物体には、実際の都市環境から取り出されたデータに基づく、建物、道路、車両、橋の画像などの物体が含まれ得る。これらの物体は、静的画像と動的画像の組合せであり得る。３次元の車両または人は、動的都市環境内の人の配置を表現するために建物の静的３次元画像と一緒に表示され得る。別の例として、インテリアデザインや設計図の可視化に役立つように、建物または内壁及び家具が、ユーザの入力に従って表示または修正され得る。さらに、静的または動的２次元物体を用いて、カーソル、ポインタ、文章による注釈、図による注釈、地形標識、ロードマップ地物、図による注釈及び他の静的または動的データを、一連の３次元シーンまたは物体、例えば地理的地形、都市景観、またはアーキテクチャ・レンダリングに加えることができる。
【００３１】
図１に示す実施形態では、検出器群１２０は、グローブ１４０の３次元空間内位置姿勢に関するデータ及びグローブの指の配置によって作られる任意のものに関するデータを集める。ユーザがインタラクション領域１５０付近でグローブを動かし、回転させ、曲げると、検出器群１２０及びコンピュータ１３０は、集めたグローブの位置及びポーズに関するデータを用いて、グローブの動きによって作られる様々なジェスチャを検出する。例えば、集められたデータを用いてユーザが、システム１１０によって表示される物体をいつ指し示すかまたは「掴む」かを認識することができる。
【００３２】
異なる実施形態では、グローブの代わりに、またはグローブの他に、ユーザの手に貼り付けられたポインタやマーカなどの他の入力装置を用いることができる。適切な画像認識ソフトウェアがあれば、入力装置をユーザのマーキングされていない手に置き換えることができる。他の実施形態では、ユーザのハンドジェスチャに関してのみならず、ユーザの手足の動き、表情、姿勢、立ち居振る舞い、呼吸などの他のジェスチャに関して入力データを集めることができる。
【００３３】
また、システムの一部の実施形態では、動的３次元画像の他に、または動的３次元画像の代わりに、静的３次元画像が用いられ得ると考えられる。例えば、ディスプレイシステム１１０は、ホログラムフィルムを保持するための取付ブラケットを含む場合がある。ホログラムフィルムを用いて表示ボリューム内に３次元画像を作り出すことができる。一部の実施形態では、ホログラムフィルムは、検出器群１２０に認識可能なタグを付けられ得るので、検出器群１２０は、ホログラムフィルムのライブラリからどのホログラムフィルムが使用するために選択されたかを自動的に識別することができる。同様に、ディスプレイシステム１１０と併用されるオーバレイまたはモデル上に識別タグを配置することもできるので、これらのアイテムは自動的に識別されることができる。
【００３４】
図２は、図１の例におけるディスプレイシステム１１０によって表示される３次元物体とのインタラクションを行うために用いられている入力装置グローブ１４０の例を示している。グローブをはめているユーザは、人さし指及び親指を互いに約９０°の角度をなして伸ばし、他の指を手のひらに向かって丸めた「指ピストル」ポーズをとっている。環境１００の１つの実施形態では、ディスプレイシステム１１０によって表示される位置及び物体を指し示すために指ピストルのポーズが用いられる。ユーザは、指ピストルの親指を人さし指にほぼ平行な閉じた姿勢にすることができる。この動きは、図１から検出器群１２０及びコンピュータ１３０によって、指ピストルポーズが指し示している物体を選択するジェスチャとして理解される。
【００３５】
図２に幾つかの物体が表示されている。これらの物体には、２つの２次元矩形物体２３１及び２３２が含まれる。これらの物体には、２つの３次元物体２２１及び２３２及び２２２（２つの矩形ブロックは例えば建物や車両を表している）も含まれ、それらは、適切な角度からディスプレイシステム１１０を見るユーザの目に見える。一部の実施形態では、３次元物体には、図２の単純な３次元ブロックに加えて、あるいはそれに代えて、建物または車両または人のミニチュア３次元表現が含まれる。
【００３６】
この例では、ユーザは、指ピストルポーズを用いて物体２２２を指し示す。物体２２２は、ディスプレイシステム１１０によって表示されるコンピュータ生成３次元ブロックである。ユーザが所望の物体を指し示すのに役立つように、ディスプレイシステム１１０は、表示された画像において指ピストルが指し示している位置とともに動く２次元カーソル２４０も表示する。ユーザは次に、カーソル２４０が３次元物体２２２などの所望の物体と交差するようにグローブ１４０の指ピストルの角度を決めることができる。この幾何学的関係（図２に示すような表示された物体を指し示しているユーザ）は、検出器群１２０を用いて図１からコンピュータ１３０によって検出される。
【００３７】
環境１００は、そのような表示された物体とユーザとのインタラクションをコンピュータ１３０が検出することができるように様々な動作を行う。例えば、ユーザが物体２２２を指し示すためのグローブ１４０を使用していることの検出とは、（ａ）表示されている物体２２２及び他の物体の位置及び空間広がりに関する情報を集める、（ｂ）グローブ１４０の位置及びポーズに関する情報を集める、（ｃ）グローブ１４０が指し示している方向に沿ったベクトル２８０を識別するために計算を行う、（ｄ）物体２２２の位置がこれらの座標と一致すると判断する、を含む。次の考察では、これらの操作の各々を取り上げる。これらの操作は、表示された物体の位置に対するグローブ１４０の位置の正確な空間登録に頼っている。画像表示ボリュームが、関連するジェスチャ・ボリューム、すなわちセンサがそれをモニタリングするように構成されている当該ボリュームに対応することを確実にすることは有益である。多くの実施形態では、ジェスチャ・ボリュームは、表示ボリュームの少なくともかなりの部分を包含することになり、表示ボリュームよりもかなり大きい場合がある。表示ボリューム及びジェスチャ・ボリュームの交差部分は、インタラクション領域１５０に含まれる。
【００３８】
ディスプレイシステム１１０によって表示される物体の位置及び空間広がりに関する情報を集めるために、様々な技術が用いられ得る。１つのアプローチは、フレーム１０５に対して固定されたディスプレイシステム１１０の安定した位置を必要とする。ディスプレイシステム１１０の位置は、検出器群１２０に対して測定されることができ、検出器群１２０もフレーム１０５上に安定的に取り付けられている。この相対位置情報は、コンピュータ１３０に入力されることができる。ディスプレイシステム１１０の位置は２次元及び３次元画像のための表示領域を画定するので、コンピュータ１３０は上に述べたように画像に対する表示ボリュームの位置を知る。表示される３次元物体は、上に述べたようにフレーム１０５及び検出器群１２０に対して十分に画定された位置を有することになる。
【００３９】
ディスプレイシステム１１０によって表示される物体に関するデータは、コンピュータ１３０に入力されることができる。これらのデータは、ディスプレイシステム１１０に対する次元物体の見掛けの位置を表している。これらのデータは、フレーム１０５に対するディスプレイシステム１１０の位置に関するデータと組み合わされる。結果として、コンピュータ１３０は、ディスプレイシステム１１０に対して、そしてそれゆえにインタラクション領域１５０に対して、物体の見掛けの位置を計算することができ、インタラクション領域１５０では２次元及び３次元画像がユーザの前に現れ、そこではユーザのジェスチャが検出されることができる。この情報により、コンピュータ１３０は、１：１スケーリングでの登録、インタラクション領域１５０における入力装置との３次元物体の一致する空間的重複を成し遂げることができる。
【００４０】
表示された２次元及び３次元物体の位置及び空間広がりに関する情報を集めるために第２のアプローチも考えられる。このアプローチは、上記したアプローチに似ているが、ディスプレイシステム１１０に対する固定位置の要件を緩和するために用いられることができる。このアプローチでは、ディスプレイシステム１１０は、フレーム１０５及び検出器群１２０に対して所定の固定位置を有する必要がない。その代わりに、検出器群１２０は、通常の動作中にディスプレイシステム１１０の位置及び方向を判断するために用いられる。様々な実施形態では、検出器群１２０はディスプレイシステム１１０の位置及び方向を繰り返し突き止めることができるので、たとえディスプレイシステム１１０が、位置・方向などを変えられるか、回転させられるか、または傾けられるかしても、必要に応じて関連位置姿勢情報を集めてアップデートすることができる。このように、ディスプレイシステム１１０の何らかの動きを追跡することによって、検出器群１２０は、結果として生じる表示された物体の動きを追跡することができる。
【００４１】
検出器群１２０及びコンピュータ１３０がディスプレイシステム１１０の位置を決定することを可能にする１つの技術は、ディスプレイシステム１１０に取り付けられた認識可能な可視タグを用いることである。タグは、例えば小さな再帰反射性ビーズを用いて実装されることができ、ビーズは各タグに対して固有のパターンで配置される。別の例として、タグは、バーコードまたは他の光学的に認識可能なシンボルであり得る。図２の例では、ディスプレイシステム１１０は、４つの異なる可視タグ２５１、２５２、２５３、２５４を有する。これらのタグは、ディスプレイシステム１１０の四隅に配置され、４つの異なる幾何学パターンで配置されたドットの組合せとして示されている。ディスプレイシステム１１０上のこれらの４つのタグの位置に関する測定値は、コンピュータ１３０に予め入力される。検出器群１２０が４つのタグの３次元空間における位置を検出したとき、これらの位置はコンピュータ１３０に提供されることができる。コンピュータ１３０は、その後、ディスプレイシステム１１０の位置及び方向を推定することができる。
【００４２】
１つの実施形態では、検出器群１２０は、ディスプレイシステム１１０上に取り付けられた各タグ２５１、２５２、２５３、２５４の位置を突き止めるために、パルス状の赤外線撮像及び三角形分割を用いる。各検出器１２０Ａ、１２０Ｂ及び１２０Ｃは、ディスプレイシステム１１０付近の領域を赤外光のパルスで周期的に照射する。反射光は、エミッティング・ディテクタによって集光され、電荷結合素子（または他の適切なタイプのセンサ）上で撮像される。各検出器の回路は、４つのタグをそれらの固有のパターンに基づいて識別する；３つの検出器からのデータはその後組み合わされ、４つの各タグの３次元空間における位置姿勢が計算される。追加の検出器が用いられることもある。例えば、４つか５つの検出器が用いられるならば、追加の検出器は、他の検出器のうちの１つがはっきり見えない視界を有しかつまた三角形分割計算の精度を向上させることができるような追加データを提供し得るような状況において、多少の柔軟性を与える。１つの実施形態では、環境１００は、８つの検出器を用いてインタラクション領域１５０からデータを集める。
【００４３】
検出器群１２０は、赤外パルスを用いて再帰反射性タグの位置を検出するようなモーション・キャプチャ検出器を含み得る。そのような装置は、例えば、カリフォルニア州ロサンゼルスのビコン社（Vicon Limited）から購入できる。赤外パルスは、様々な検出器間でデータ取得を切り離すためのよく調整されたタイムベース動作を伴うような、繰り返し率約９０Ｈｚの閃光であり得る。タグ２５１、２５２、２５３、２５４は、約１ｍｍの寸法を有するパッシブな再帰反射性ビーズを用いて実現され得る。球面ビーズ及び適切な撮像装置を用いて、タグの位置に対して約０．５ｍｍの空間分解能が得られ得る。赤外位置システムの操作に関するさらなる情報は、上記の特許文献３及び特許文献４に記載されている。検出器群１２０は、タグ２５１、２５２、２５３、２５４の位置の通常のアップデートを速くするように構成されることができる。このように、タグの位置と結果としてディスプレイシステム１１０の位置とが経時的に動くならば、コンピュータ１３０をアップデートすることができる。この構成を用いてテーブル上面の回転を可能にすることができる。
【００４４】
表示された物体の位置及び空間広がりに関する情報を集めることに加えて、検出器群１２０及びコンピュータ１３０は、グローブ１４０の位置及びポーズに関する情報を集めるために用いられることもできる。図２の例では、追加のタグ２１１、２１２、２１３はそれぞれグローブ１４０の親指、人さし指、手首に取り付けられる。追加のタグは、グローブ１４０上でも用いられ得る。タグの３次元位置を取得することによって、検出器群１２０は、タグが取り付けられているグローブのパーツの位置姿勢情報を取得する。
【００４５】
タグが適切に配置され、かつ手の構造を考慮すると、検出器群１２０及びコンピュータ１３０は、タグ２１１、２１２、２１３の３次元位置姿勢を用いて、グローブの位置、ポーズ及びジャスチャを判断することができる。図２の例では、グローブに取り付けられたタグ２１１、２１２、２１３の３次元位置姿勢は、グローブ１４０がどこに位置するかを示し、グローブ１４０が指ピストルの形に保持されていることも示す。すなわち、互いに対するグローブに取り付けられたタグの位置姿勢は、この例では、人さし指が伸びており、親指が人さし指から離れていることを示す。グローブ１４０のポーズは、同様に、タグ２１１、２１２、２１３の位置姿勢に関する情報から推定されることができる。ポーズは、例えば人さし指の傾き（例えば、タグ２１２と２１３の間のベクトルの方向）及び伸ばした親指の傾き（タグ２１１、２１２及び適切な解剖学的情報を用いて）を表すような角度によって、特徴付けられ得る。
【００４６】
グローブ１４０が指ピストルのポーズに保持されていることを推定したら、（図１から）コンピュータ１３０は、次にグローブ１４０が指し示している座標を識別することができる。すなわち、コンピュータ１３０は、タグ２１１、２１２、２１３の位置姿勢情報及び適切な解剖学的情報を用いて、ユーザが指し示している方向に沿ったベクトル２８０を計算することができる。コンピュータ１３０によって用いられる解剖学的情報は、指し示すジェスチャを暗に伝えるようなタグの配置に関するデータ及びタグ位置に基づき暗に伝えられる指し示す方向に関するデータを含む場合がある。
【００４７】
コンピュータ１３０は次に、どの物体が、もしあれば、ベクトル２８０に沿った座標を有しているかを判断するために計算を行う。この計算は、２次元及び３次元物体の位置姿勢に関する情報を用い、これらの物体の広がりに関するデータも使用する。ベクトル２８０が或る物体の広がりを横断するならば、コンピュータ１３０は、ユーザがその物体を指し示していることを確認する。図２の例では、コンピュータは、ユーザが３次元物体２２２を指し示していることを確認する。例えばユーザが物体２２２を指し示すときに物体２２２を目に見えるほどに波立たせるかまたは変色させる（図示せず）ことによって、ユーザに視覚的フィードバックを提供することができる。それに加えて、あるいはその代わりに、ユーザが或る物体を指し示していることを示すために、例えばコンピュータ１３０に接続されたスピーカが発生させるビープ音を用いた音声フィードバックが提供される場合もある。
【００４８】
図３は、ディスプレイシステム１１０によって生成される動画像内でユーザが３次元物体２２２を動かす操作の例を示している。図２と比較して、物体２２２は再配置されている。この操作には、ユーザがグローブ１４０のポーズを変えることによって物体を選択すること、グローブの動きによって物体を動かすことが含まれる。図の例では、ユーザは、物体２３１を指し示しながら親指を人さし指に近付けることによってグローブのポーズを開いた指ピストルから閉じた指ピストルに変える。この動きは、物体２２２を選択するジェスチャとして解釈される。検出器群１２０は、結果として得られるグローブ上のタグ２１１、２１２、２１３の位置を検出し、これらの位置をコンピュータ１３０に伝える。コンピュータ１３０は、互いに対してタグの位置が変わったことを判定し、その変化を選択ジェスチャを示すものとして認識する。選択ジェスチャが行われている間にユーザは物体２２２を指し示しているので、コンピュータ１３０は、この物体２２２をユーザによって選択されるものと考える。例えばユーザが物体２２２を選択し終えたことを示すための２次元ハイライト・ボーダー３４１を物体２２２の周りに表示することによって、ユーザに視覚的フィードバックを提供することができる。それに加えて、あるいはその代わりに、ユーザが物体を選択したことを示すための聴覚的フィードバックを例えばビープ音を用いて提供することもできる。（選択された物体に対する視覚的及び音声フィードバックの他の標識、例えば、大きさの変化、幾何学パルシング、エンサークリング、色の変化、または選択された物体の点滅、あるいは聴覚的チャイム、ベルまたは他の警報音、または他のもの、あるいはそれらのいくつかの組合せも考えられる。同様に、ユーザが表示された物体を指し示すときに様々な形態の視覚的、音声または触覚フィードバックを提供することもできる。）
【００４９】
コンピュータ１３０は、グローブ１４０の位置またはポーズの変化に応じて表示された物体を変えることもできる。図の例では、ユーザは、グローブが指す方向を変えた；指示方向３８０は、図２では（２８０）であったが、図３では異なっている。図の例におけるこの動きは、表示画像において選択された物体を動かすために用いられる。図に示すように、物体２２２は然るべく再配置が完了している。ユーザは、親指（図示せず）を上げ、それによってグローブ１４０を開いた指ピストルのポーズに戻すことによって、新たな位置において物体２２２を非選択状態にし得る。コンピュータ１３０は、新たな位置において物体２２２からハイライト・ボーダー３４１を取り除くことによって然るべく応答することになる。
【００５０】
ユーザ指向の３次元物体の再配置は、都市部または地方部における車両や人の動きを説明したり、都市計画における建物などの物体の代替配置、設計図における外部要素、インテリアデザインにおける壁及び電気器具を説明したり、教育または娯楽用ゲームの要素の動きを示したりするのに有効であり得る。同様に、システムの一部の実施形態は、ユーザ指向の２次元物体の再配置も可能にし得る。この機能は、例えば、２次元形状、文字列、または他のオーバレイ地物の配置を制御するために有効であり得る。
【００５１】
表示された物体上の他のユーザ指向動作も考えられる。例えば、相対空間ナビゲーションを指示するために両手ジェスチャが用いられ得る。例えば、ユーザが片手で或る物体を指し示している間、ユーザはもう片方の手で時計回りの回転ジェスチャを示すことができる。この組合せは、その後、物体を時計回りに回転させるユーザ入力として理解されよう。同様に、物体の変形、経路追跡、引き寄せ、スクロール、パニング、ズーム、空間解像度の制御、ゆっくり及び速い動き速度の制御、または基本コンピュータ機能の指示ための入力として、様々な片手または両手ジェスチャが用いられ得る。
【００５２】
格子状または円形パターンに配列されたホームポジションに様々な物体を配置するための入力など、様々な入力が考えられる。右手ジェスチャ、左手ジェスチャ、または両手同時で、様々な動作を行うことができる。同時に３つ以上の手を使うことさえも、すなわち複数のユーザによる操作さえも可能である。例えば、或るユーザからの片手ジェスチャを別のユーザからの別の片手ジェスチャとともに関与する協同的ジェスチャに基づいて、様々な動作が行われ得る。同様に、複数ユーザのジェスチャは、３人以上のユーザ並びに／またはそれらのユーザによる片手または両手ジェスチャを含み得ると考えられる。
【００５３】
図４は、ディスプレイシステム１１０によって投影される表示された３次元物体をユーザが掴む動作の例を示す。この例では、ユーザは、グローブ１４０を用いて物体２２２に向かって手を伸ばし、物体２２２の方に向けてグローブ１４０の指を閉じる。ユーザは、物体２２２の側面の見掛けの位置で指先の動きを終える。この動きは、図１から検出器群１２０によって検出され、コンピュータ１３０に伝えられる。コンピュータ１３０は、この動きに関する情報を物体２２２の位置及び広がりに関する情報と併用して、動きを、掴むジェスチャとして解釈する。物体２２２の掴み動作がシステムによって認識されたことをユーザに知らせるために、様々な形式の視覚的または音声フィードバックが提供され得る。
【００５４】
システムの様々な実施形態において、ユーザは、指先が、表示された３次元物体２２２の側面に「触れている」ことを示す触覚フィードバックを有することがない。コンピュータ１２０は、掴むジェスチャに対してユーザの指の位置である程度の誤差を許容するように適切にプログラミングされ得る。この許容の程度は、隣接する物体の寸法に対してユーザの指の位置を正確に解釈する必要性を踏まえて考慮されることができる。他の実施形態では、システムは、１若しくは複数の指が表示された物体の表面にいつ触れているかを示すための聴覚的、視覚的または触覚キューを介して、ユーザに触覚フィードバックを供給し得る。
【００５５】
図５は、ユーザが、ディスプレイシステムによって投影される３次元物体２２２を動かす動作の例を示している。この例では、或るユーザが、図４に示されていたように物体２２２を掴んだ。ユーザは、掴むジェスチャを維持しながらインタラクション領域内の異なる位置までグローブ１４０を動かすことによって物体２２２を再配置した。ディスプレイシステム１１０は、物体を新たな位置に再表示することによって応答した。十分に迅速なアップデートにより、ディスプレイシステムは、インタラクション領域内の掴まれた物体のドラッグ移動をシミュレートすることができる。ユーザは、掴むジェスチャを元に戻しかつ物体２２２の近くから手を移動させることによって、物体２２２を非選択状態にしかつ新たな位置で「解放」し得る。コンピュータ１３０は、物体２２２を新たな位置に残すことによって、然るべく応答することができる。様々な実施形態において、コンピュータ１３０は、解放のための可聴フィードバック・キューを供給することができ、あるいは掴むジェスチャのために示された任意の視覚的キューを元に戻すことができる。
【００５６】
上記の例は、ユーザのジェスチャに応えての表示された３次元物体２２２（図２〜図５中）の再配置について説明している。より複雑な操作も想定される。１つの実施形態では、ディスプレイシステム１１０によって動的に表示される建物の３次元モデルにおけるアーキテクチャ要素の美的配置をめぐる様々なユーザ間の議論にこれらの技術を用いることができる。１人のユーザは、モデルにおいてドアまたは壁の再配置を提唱することができる；表示されたモデルを適切なジェスチャにより修正することによって、ユーザは、表示されたモデルを見ている他のユーザにも３次元結果を容易に見せることができる。同様に、人及び設備の戦略的配置は、動的３次元ディスプレイ中に人、設備及び他の物体のレイアウトを示す３次元「砂盤（サンドテーブル）」ミニチュアモデル（小型模型）において描かれることができる。そのような砂盤は、映画セットデザイナー、軍事計画立案者、またはその他のユーザであって状況及び配置を表現しかつユーザ・インタラクションに応えることができるような計画ツールから恩恵を受ける者たちの間で議論を行うのに有用であろう。１人のユーザが砂盤モデル内でミニチュア表示された設備の一部分を掴んで動かすとき、他のユーザは結果を見ることができ、結果として得られるモデル内の設備の戦略的配置について評価及び議論することができる。
【００５７】
１つの実施形態では、リアルタイムの状況を表示し、外部の人にコマンドを発行するために、動的３次元ディスプレイを用いた砂盤モデルを用いることができる。例えば、砂盤モデルは、都市景観における様々なトラック及び他の車両のミニチュア３次元表現を表示することができる。この例では、表示されるミニチュア車両は、都市景観によって表される都市を通るように方向付けられる必要があるような物理的なトラック及び他の車両の実際の位置をリアルタイムで表す。この例では、都市における車両の配備に関するリアルタイムのフィールド情報を用いる。この情報は、砂盤の表示されたミニチュア都市景観を通してユーザに提示されるので便利である。
【００５８】
この例では、砂盤のユーザが、表示されたミニチュアトラックのうちの１台を掴んで動かすとき、通信信号が生成されて対応する物理的なトラックの運転手に送信され、運転手にトラックを然るべく動かすように指示することができる。このように、砂盤モデルと現実世界とのインタラクションは双方向性のものであり得る。砂盤は、現存する現実世界の状態を砂盤のユーザに表示する。砂盤のユーザは、ポーズ、ジェスチャ及び他の入力であって、（１）砂盤によって検出され、（２）砂盤によって表示される状態を修正するために用いられ、（３）現実世界での状態を修正することになるコマンドを発行するために用いられるようなものを用いることによって、それら既存の状態を修正するために、コマンドを発行することができる。
【００５９】
１つの実施形態では、砂盤は、コマンドに応じて現実世界を表現するために様々な表現を用い得る。例えば、砂盤のユーザが、表示されたトラックのミニチュアモデルを掴んで動かすとき、砂盤は、このジェスチャを、現実世界トラックが動かされるためのコマンドとして理解し得る。トラックは、コマンドを受取ったことを知らせ、トラックの所望の配置を示すアウトライン・モデルと、実際のトラックが所望の位置まで徐々に移動するときに実際のトラックのリアルタイム位置を示す完全陰影付きモデルとの２通りに表示され得る。
【００６０】
ポーズ及びジェスチャを、他のコマンド及びクエリ、例えば他のジェスチャ、発話、タイプした文字列、ジョイスティック入力、他の入力と併用することができるとも考えられる。例えば、ユーザは表示されたミニチュア建物を指し示して「これは何ですか？」と声に出して尋ねることができる。１つの実施形態では、システムは、ユーザが特定の建物のモデルを指し示していることを登録することができ、表示された文字列（２次元または３次元の）かまたは耳で聞こえる言葉のいずれかで建物の名前を答えることができる。別の例として、ユーザは、表示されたミニチュア衛星放送用アンテナを片方の手で指し示して「時計回りに２０°回転させなさい」と言うことができ、あるいはもう片方の手で望ましい回転を示すことができる。この入力は、表示されたミニチュア衛星放送用アンテナを然るべく回転させるためのコマンドとして理解され得る。同様に、一部の実施形態では、この入力は、対応する実際の衛星放送用アンテナを然るべく回転させる電子信号を生成するために用いられ得る。
【００６１】
ネットワーク化された砂盤も考えられる。例えば、１つの実施形態では、第１の砂盤の周りに集まったユーザたちは、とりわけ、口頭入力、タイプした入力、ポーズ入力またはジェスチャ入力を用いて、表示された３次元物体を再配置または修正することができる。この例では、結果的に得られた変化は、これらのユーザのみならず、遠隔位置で第２の補助（adjunct）砂盤の周りに集まった他のユーザたちにも表示される。補助砂盤のユーザは、同様に第１の砂盤の３次元表示において反映されることになる修正を加えることができる。
図６は、動的３次元画像を表示する環境においてユーザ入力を認識するための手順６００を示すフローチャートである。手順は、動作６１０で３次元画像を表示することによって始まる。画像は、２次元要素も含み得、自動立体視技術を利用し得、全方向視差ビューイングを提供し得、実像を表示し得る。例えば、画像は、平面上に実質的に隣接して配置されたコンピュータ制御ホーゲルのアレイによって生成され得る。各ホーゲルは、様々な方向において光を検出し得る。物体から生じることになるであろう放射光パターンをシミュレートするために、ホーゲルによる様々な方向への発光は他のホーゲルと呼応して制御される。得られる光パターンは、ホーゲルのアレイを見ている者に物体を表示する。ディスプレイには、物理的な表面（例えば、ホーゲルアレイの表面または間に挟まれた窓ガラス）上へ２次元要素を加えるためにプロジェクタなどの２次元ディスプレイシステムを追加することができる。
【００６２】
手順は動作６２０において、ユーザがはめているグローブ上に取り付けられたタグを検出することによって、かつタグに基づいてグローブの位置及びポーズを決定することによって、続く。動作６２５では、手順は、３次元画像と一定の関係で取り付けられた（例えば３次元画像を生成する表示装置上に取り付けられた）タグを検出する。これらのタグに基づき、３次元画像の位置及び方向の決定がなされる。
【００６３】
動作６３０では、手順は３次元画像の地物の位置を計算する。この計算は、３次元画像に対する取り付けられたタグの位置と、３次元画像に示されている地物を表すデータとに基づく。手順は次に３次元画像の地物とグローブの間の距離及び方向を計算する。
【００６４】
動作６４０では、手順は、画像中の表示された３次元物体グローブのジェスチャまたはポーズに基づきユーザ入力を識別する。ジェスチャまたはポーズは、指し示す、掴む、触れる、ワイプ、「ＯＫ」サイン、あるいは何か他の静止しているかまたは動いているポーズまたはジェスチャであり得る。ジェスチャは、表示された３次元物体上、またはその内部、またはその近隣、または他の近接位置への、グローブのポジショニングを含み得る。動作６５０では、手順は、動作６４０からジェスチャまたはポーズの対象である３次元物体を識別する。動作６６０では、手順はユーザ入力に応じて３次元表示を変更する。変更は、画像の全部または一部の再描画、画像中の物体の再配置、物体のドラッグ移動、物体のサイズ変更、物体の色の変更、あるいは、隣接する物体の、または画像全体の、物体の他の調整であり得る。
【００６５】
アクティブ自動立体視ディスプレイの様々な例が考えられる。自動立体視ディスプレイに関するさらなる情報は、例えば、特許文献５、特許文献６、特許文献７に見られ、これらの文献はその全文を引用することを以て本明細書の一部となす。
【００６６】
図７は、動的自動立体視ディスプレイシステム７００の一例のブロック図を示している。様々なシステム部品については以下に詳細に述べる。このシステムデザインの数多くの変形形態（要素の追加、特定の図示要素の除外を含む）が考えられる。システム７００には、表示ボリューム７１５によって示される動的自動立体視画像を生成する１若しくは複数の動的自動立体視ディスプレイモジュール７１０が含まれる。そういう意味で、画像は２次元または３次元画像であることができる。これらのモジュールは、光変調器またはディスプレイを用いてホーゲル画像を装置のユーザに提示する。一般的に、数多くの様々なタイプの発光型または非発光型ディスプレイを用いることができる。発光型ディスプレイは、一般的に、ディスプレイ自身の光を生成する幅広いカテゴリーのディスプレイ技術を指し、電子発光ディスプレイ、電界放出ディスプレイ、プラズマディスプレイ、真空蛍光ディスプレイ、カーボンナノチューブディスプレイ、ポリマーディスプレイ、例えば有機発光ダイオード（ＯＬＥＤ）ディスプレイなどを含む。対照的に、非発光型ディスプレイは、外部光源（液晶ディスプレイのバックライトなど）を必要とする。動的自動立体視ディスプレイモジュール７１０は、典型的には詳細に後述する他の光学部品及び構造用部品を含む場合がある。多くのタイプの空間光変調器（ＳＬＭ）を用いることができる。様々な実施形態において、非発光型変調器は、競合する発光型変調器より密でないことがある。例えば、ＳＬＭは、次の技術：電気光学（例えば液晶）透過型ディスプレイ；微小電気機械（例えばＴＩ ＤＬＰを含むマイクロミラー装置）ディスプレイ；電気光学反射型（例えばシリコン基板上に載せた反射型液晶（ＬＣｏＳ））ディスプレイ；磁気光学ディスプレイ；音響光学ディスプレイ；及び光アドレシング装置を用いて作られ得る。
【００６７】
ディスプレイモジュール７１０によって用いられる入力信号を作り出すために、様々なデータ処理及び信号処理部品が用いられる。様々な実施形態において、これらの部品は、例えばデータ・リポジトリや生の入力などの供給源からデータを取得しかつディスプレイモジュール７１０に信号を供給するような計算ブロック７０１と考えられる場合がある。計算ブロック７０１によって実行される動作を実行するために、１若しくは複数のマルチコア・プロセッサが、直列または並列で、またはその組合せで、他のコンピュータ・ハードウェアとともに用いられ得る。計算ブロック７０１には、例えば、１若しくは複数のディスプレイ・ドライバ７２０、ホーゲル・レンダラ７３０、キャリブレーション・システム７４０、ディスプレイ制御部７５０を含めることができる。
【００６８】
動的自動立体視ディスプレイモジュール７１０に使用される発光型ディスプレイ装置の各々は、１若しくは複数のディスプレイ・ドライバ７２０によって駆動される。ディスプレイ・ドライバ・ハードウェア７２０は、グラフィックス・プロセッシング・ユニット（ＧＰＵ）、フレームバッファ、高速メモリ、ハードウェアなどの専用グラフィックス・プロセッシング・ハードウェアを含み、必要な信号（例えばＶＥＳＡに準拠したアナログＲＧＢ信号、ＮＴＳＣ信号、ＰＡＬ信号、及び他のディスプレイ信号フォーマット）を発光型ディスプレイに供給することができる。ディスプレイ・ドライバ・ハードウェア７２０は、適切に迅速なディスプレイ・リフレッシュを提供し、それによってディスプレイ全体を動的にする。ディスプレイ・ドライバ・ハードウェア７２０は、必要に応じて、専用ディスプレイ・ドライバを含む様々なタイプのソフトウェアを実行し得る。
【００６９】
ホーゲル・レンダラ７３０は、３次元モデル７３５に対してデータを用いてディスプレイモジュール７１０上に表示するためのホーゲルを生成する。１つの実施形態では、３Ｄ画像データ７３５には仮想現実周辺ネットワーク（virtual reality peripheral network：ＶＲＰＮ）データが含まれ、これは、ディスプレイ環境において周辺装置とインターフェースをとるためにいくらかの装置非依存性及びネットワーク透明性を用いている。それに加えて、あるいはその代わりに、３Ｄ画像データ７３５は、観察者の一団によって持ち運ばれる複数の検出器からなどのライブ・キャプチャ・データまたは分散データ・キャプチャを用いることができる。原始データの複雑さ、特定のディスプレイモジュール、所望のレベルの動的ディスプレイ、及びディスプレイとのインタラクションのレベルに応じて、様々な異なるホーゲルレンダリング技術を用いることができる。ホーゲルは、リアルタイム（またはほぼリアルタイム）でレンダリングするか、後で表示するために前もってレンダリングするか、両者を組み合わせて行うことができる。例えば、全システムの所定のディスプレイモジュールまたは全表示ボリュームの一部は、リアルタイム・ホーゲルレンダリング（最大ディスプレイ・アップデート性を与える）を利用することができ、その一方で他のディスプレイモジュールまたは画像ボリュームの一部は、前もってレンダリングしたホーゲルを用いることができる。
【００７０】
ホーゲル画像をレンダリングするための１つの技術では、水平パース（水平視差のみ（horizontal-parallax-only：ＨＰＯ）及び全方向視差ホログラフィック・ステレオグラムの場合）及び垂直パース（全方向視差ホログラフィック・ステレオグラムの場合）が無限遠に位置するようなコンピュータ・グラフィックス・カメラを利用する。それゆえに、レンダリングされた画像は、コンピュータ・グラフィックス・シーンの平行斜投影であり、例えば、各画像は、一「方向」に対応する１組の平行光線から形成される。ディスプレイが表示できる方向の各々（またはそれだけではない）に対してそのような画像がレンダリングされたら、完全に揃った画像群は、全ホーゲルを作るのに必要な画像データ全てを含む。この最後の技術は、画像ベース・レンダリングを利用してコンピュータ・グラフィックス・レンダリング・システムによって作り出された画像からホログラフィック・ステレオグラムを作り出すのに特に有用である。画像ベース・レンダリング・システムは、典型的には、１組の予め獲得した画像から異なるビューの環境を生成する。
【００７１】
所望のライトフィールドを生成し、所望の３次元物体またはシナリオによって生じるであろうライトフィールドをシミュレートするためにホーゲルが構築及び作動され得る。形式的には、ライトフィールドは、全ての可能な方向における或るシーンの全ての点を通過する放射輝度を表す。所与の波長に対して、静的ライトフィールドを、３Ｄ空間における位置（ｘ，ｙ，ｚ）及び光が移動している方向（θ，φ）の関数として放射輝度を与えるような５次元（５Ｄ）スカラー関数Ｌ（ｘ，ｙ，ｚ，θ，φ）として表すことができる。この定義はプレノプティック関数の定義に等しいことに留意されたい。典型的な離散（例えば現実のコンピュータシステムにおいて実現される離散）ライトフィールドモデルは、放射輝度を赤、緑、青の三原色として表し、静的な時間非依存型のライトフィールドデータしか考えないので、ライトフィールド関数の次元性を５つの次元及び３つの色成分に減らす。ライトフィールドのモデリングは、それゆえ、そのサポートが３Ｄ直交座標空間内の全ての光線群であるような５Ｄ関数の処理及び保存を必要とする。しかし、コンピュータ・グラフィックスにおけるライトフィールドモデルは、通常、ライトフィールド関数のサポートを４次元（４Ｄ）指向の線空間に限定する。２種類の４Ｄライトフィールド表現、すなわち平面パラメータ化に基づくもの及び球体パラメータ化または等方性パラメータ化に基づくものが、提唱されている。
【００７２】
超並列アクティブ・ホーゲル・ディスプレイは、インタラクティブなコンピュータ・グラフィックス・レンダリング・パースからの難易度の高いディスプレイである場合がある。軽いデータ群（例えば１から数千の多角形に及ぶ形状）が操作されることができ、１つのＧＰＵグラフィックス・カード上で複数のホーゲル・ビューがリアルタイム速度（例えば１０フレーム／秒（ｆｐｓ）、２０ｆｐｓ、２５ｆｐｓ、３０ｆｐｓ、またはそれ以上）でレンダリングされるが、多くの対象データ群はより複雑である。都市地形図は一例である。それゆえ、静的地物（例えば、建物、通りなど）が前もってレンダリングされ、再使用される一方で、時間変化要素が迅速にレンダリングされる（例えば都市地形内で動いている車両や人）ようにホーゲル・ディスプレイのための画像を合成するために、様々な技術を用いることができる。時間変化要素は、必要な要素のみをそれらの要素が動くようなシーンにおいて再レンダリングすることによってシーンを効率的にリフレッシュすることを考慮して独立的にレンダリングされることができると考えられる。必要な要素は、例えば当該シーンとのインタラクションを行うユーザのポーズまたはジェスチャをモニタリングすることによって決定され得る。上述のライトフィールドレンダリング技術は、スキャンライン・レンダリング及びラスタライゼーションなどの従来の多角形データモデルレンダリング技術と組み合わせることができる。レイ・キャスティング法、レイ・トレーシング法などのさらに別の技術を用いることもできる。
【００７３】
このように、ホーゲル・レンダラ７３０及び３Ｄ画像データ７３５には、当業者に理解されるように、様々な異なるタイプのハードウェア（例えば、グラフィックス・カード、ＧＰＵ、グラフィックス・ワークステーション、レンダリング・クラスタ、専用レイ・トレーサなど）、ソフトウェア、画像データが含まれることができる。さらに、ホーゲル・レンダラ７３０のハードウェア及びソフトウェアの一部または全部を必要に応じてディスプレイ・ドライバ７２０と一体化することができる。
【００７４】
システム７００には動的自動立体視ディスプレイモジュールのキャリブレーションを行うための要素も含まれ、それには、キャリブレーション・システム７４０（典型的には、１若しくは複数のキャリブレーション・アルゴリズムを実行するコンピュータシステムを含んでいる）と、補正データ７４５（典型的には、１若しくは複数のテストパターンを用いてキャリブレーション・システム演算から算出される）と、キャリブレーション・プロセス中にディスプレイモジュール７１０によって生成される実画像、光強度などを判定するために用いられる１若しくは複数の検出器７４７とが含まれる。得られた情報は、ディスプレイモジュール７１０によって表示される画像を調整するために、ディスプレイ・ドライバハードウェア７２０、ホーゲル・レンダラ７３０、ディスプレイ制御部７５０のうちの１若しくは複数によって用いられることができる。
【００７５】
ディスプレイモジュール７１０の理想的な実装はアクティブホーゲルの完全に規則的なアレイを提供し、各々は、それぞれの発光型ディスプレイ装置からのホーゲルデータの完全に整合されたアレイが与えられた申し分なく離間した理想的なレンズレットを含む。しかし、実際には、大部分の光学部品には不均一性（歪みを含む）が存在し、完全な整合は、多大の費用なしにはまれにしか達成可能でない。それゆえに、システム７００は、典型的には、キャリブレーション・システム７４０において実行されるソフトウェアを用いて様々な不完全性（例えば、部品の整合、光学部品の品質、発光型ディスプレイ性能の変化など）を補正する能力をディスプレイに与えるための手動、半自動または自動キャリブレーション・プロセスを含むことになる。例えば、自動キャリブレーション「起動」プロセスでは、ディスプレイシステム（外部センサ７４７を用いる）は、不整合を検出し、幾何学的考察から推定される補正係数を補正表に投入する。ひとたびキャリブレーションされると、ホーゲルデータ生成アルゴリズムは、ディスプレイモジュール７１０の不完全性に予め適合されたホーゲルデータを補正表を利用してリアルタイムで生成する。
【００７６】
最後に、ディスプレイシステム７００は、典型的には、ディスプレイ制御ソフトウェア及び／またはハードウェア７５０を含む。この制御部は、必要に応じてサブシステム制御を含む全システム制御をユーザに提供することができる。例えば、ディスプレイモジュール７１０を用いて表示された動的自動立体視画像を選択し、ロードし、インタラクションを行うために、ディスプレイ制御部７５０を用いることができる。制御部７５０は、同様に、キャリブレーションの開始、キャリブレーション・パラメータの変更、再調整などに用いられることができる。制御部７５０は、輝度、色、リフレッシュ・レートなどを含む基本表示パラメータを調整するために用いられることもできる。図７に示されている要素の多くと同様に、ディスプレイ制御部７５０は、他のシステム要素に組み込まれるか、あるいは別体サブシステムとして運転することができる。当業者には数多くの変形形態が明らかであろう。
【００７７】
図８は、動的自動立体視ディスプレイモジュールの例を示している。動的自動立体視ディスプレイモジュール７１０は、１つのモジュールにおける光学部品、電気光学部品及び機械部品の配置を示している。これらの基本的構成要素には、光源及び空間光変調器として働く発光型ディスプレイ８００、ファイバテーパ８１０（光伝達系）、レンズレットアレイ８２０、アパーチャマスク８３０（例えば散乱迷光をブロックするように設計された円形アパーチャのアレイ）、支持フレーム８４０が含まれる。説明を簡素化するために、発光型ディスプレイまでの配線、ディスプレイ・ドライバ・ハードウェア、複数のモジュールを固定するための外部支持構造、様々な拡散装置を含む様々な他の部品が図面から省略されている。
【００７８】
モジュール７１０には、互いに極めて近接して配置された６つのＯＬＥＤが含まれる。モジュールは、より少ないかまたはより多いマイクロディスプレイを様々に含むことができる。特定のモジュールにおけるマイクロディスプレイ同士（すなわち１つのモジュールから隣のモジュールまで）の相対間隔は、例えば、プリント基板及び／または上にプリント基板が製作される装置パッケージを含むマイクロディスプレイの大きさに大きく依存する。例えば、ディスプレイ８００のドライブ・エレクトロニクスは小さな積層プリント基板上にあり、このプリント基板は、ファイバテーパ８１０の真下の限られた空間に収まるほどに十分に小型である。図示されているように、発光型ディスプレイ８００は、装置パッケージ化のために、ディスプレイエッジ同士を互いにすぐ接して隣接して配置することができない。それゆえ、複数のディスプレイ８００から画像を集め、それらを１つのシームレス（または比較的シームレス）画像として提示するためにファイバテーパ８１０などの光伝達系またはライトパイプが用いられる。さらに別の実施形態では、例えばプロジェクタ光学素子、ミラーなど１若しくは複数のレンズ含む画像伝達システムを用いて、発光型ディスプレイによって生成された画像をディスプレイモジュールの他の部分に伝達することができる。
【００７９】
発光型ディスプレイ８００の発光面（「アクティブエリア」）は薄いファイバーフェースプレートに覆われ、薄いファイバーフェースプレートは、光を、ぼやけがほんの僅かでかつほとんど散乱せずに、電子放出物質から表面へ効果的に伝達する。モジュール組立て中、ファイバテーパ８１０の小端部は典型的には光学的に屈折率整合され、発光型ディスプレイ８００のフェースプレートに固定される。一部の実施形態では、ファイバテーパファイバー束または他のライトパイプ構造を不要にするために、別々にアドレシング可能な発光型ディスプレイ装置同士を互いに十分に近接して組み立てるかまたは組み合わせることができる。そのような実施形態では、レンズレットアレイ８２０を発光型ディスプレイ装置に極めて近接して配置するかあるいは直接取り付けることができる。ファイバテーパはまた、モジュールの光学部品及び電気光学部品を結びつける機械的連結（mechanical spine）を提供する。多くの実施形態では、屈折率整合技術（例えば、屈折率整合流体、接着剤などの使用）を用いて、発光型ディスプレイを適切なライトパイプ及び／またはレンズレットアレイに結合する。ファイバテーパ８１０は、多くの場合、発光型ディスプレイ８００によって放出されるホーゲルデータアレイを拡大（例えば２：１）し、それをライトフィールドとしてレンズレットアレイ８２０へ伝達する。最後に、レンズレットアレイによって発せられる光は、黒色アパーチャマスク８３０を通過して散乱迷光をブロックする。
【００８０】
各モジュールは、ディスプレイシステムを形成するためにＮ×Ｍの格子状に組み立てられるように設計される。サブコンポーネントをモジュール化する助けになるように、モジュール・フレーム８４０は、ファイバテーパを支持し、ディスプレイ基板（図示せず）上への取付けを提供する。モジュール・フレームは、互いに対して粗研磨（ラッピング）／機械加工された取付ボスをその特徴として有する。これらのボスは、隣接発光型ディスプレイを形成するように全てのモジュールを配置するために用いられるディスプレイ基板に対して安定した取付面を示す。精密平面は、モジュールが基板にボルトで留められるときに生じる応力を最小にするのに役立つ。モジュール・フレーム８４０の端部及び側部に沿ったカットアウトは、モジュール同士の間の通気を提供するのみならず、平面方向のフレームの剛性を小さくし、温度変化によって生じるより低い応力を保証する。モジュール・フレーム間の小さな隙間も、ファイバテーパ束が各モジュールの精密な相対位置を決定することを可能にする。モジュールの底面（取付ボスによって画定される）をファイバテーパ束の面に平面に保つために、光学スタック及びモジュール・フレームを固定具またはジグを用いて一緒に固定することができる。ひとたびそれらの相対位置が固定具によって確立されたら、用いてそれらのアセンブリをＵＶ硬化性エポキシ樹脂を固定することができる。接着層に沿ってサブフレームの中に小さなポケットを作り、硬化したエポキシ樹脂を固定する役割を果たすようにすることができる。
【００８１】
一般に機械的支持部の剛性並びに温度変化及び温度勾配に起因するガラス部品に対する応力へのその効果が特別に考慮される。例えば、メインプレートは、低ＣＴＥ（熱膨張率）材料から製造されることができる。また、側面コンプライアンスがモジュール・フレーム自体に組み込まれ、メインプレートへのモジュールの結合剛性を小さくする。上記したこの構造は、内部の傷つきやすいガラス素子を保護する一方で寸法安定性が高くかつ穏やかな温度変化に反応しにくいような、平らで均一なアクティブ・ホーゲル・ディスプレイ表面を提供する。
【００８２】
上記したように、ホーゲルデータの生成は、典型的には、ディスプレイにおける不整合及び不均一性を補償するための数値補正を含む。生成アルゴリズムは、例えば最初のキャリブレーション・プロセス中に推定される補正係数を投入された補正表を用いる。各モジュールに対するホーゲルデータは、典型的にはその１つのモジュール専用のデジタル・グラフィクス・ハードウェア上で生成されるが、（速度を上げるために）グラフィクス・ハードウェアのいくつかのインスタンスに分け与えられることができる。同様に、複数のモジュールに対するホーゲルデータを、適切な計算能力が与えられた一般的なグラフィクス・ハードウェア上で計算することができる。どのように計算されるとしても、ホーゲルデータは、いくつかのストリーム（このケースでは６つ）に分けられ、各モジュール内の６つの発光型装置の橋渡しをする。この分割は、デジタル・グラフィクス・ハードウェアによってリアルタイムで達成される。このプロセスでは、各データ・ストリームは、（ビデオ帯域幅を有する）アナログ信号に変換され、マイクロディスプレイに入力される前にバイアスされて増幅される。他のタイプの発光型ディスプレイ（または他の信号フォーマット）の場合、適用される信号はデジタル的に符号化され得る。
【００８３】
ホーゲルデータを表示するためにどのような技術が用いられようとも、ホーゲルデータの生成は、概ね、例えばサンプリング定理を含む多くの情報理論の規定を満足するものである。サンプリング定理は、信号（例えば３Ｄ画像）をサンプリングし、後から信号の類似点を許容できる忠実度で再構築するためのプロセスを説明する。アクティブ・ホーゲル・ディスプレイに適用されるプロセスは以下の通りである。（１）３Ｄ画像を表す（仮想）波面を帯域制限する、例えば各次元における変化量をいくばくかの最大値に制限する、（２）各次元において最大変化量の１期間当たり２サンプル以上の間隔を有するサンプルを生成する、（３）ステップ（１）で設定された制限以下の変化量のみを許容するローパスフィルタ（または同等物）を用いてサンプルから波面を構築する。
【００８４】
光学波面は、４つの次元、すなわち、２つの空間次元（例えばｘ及びｙ）並びに２つの方向次元（例えば波面内の特定の点の方向を表す２Ｄベクトル）に存在する。これは、各無限小の小さな点（添え字ｘ及びｙを付される）がこの点から広範な方向に伝搬する光の量によって説明されるような表面（平面または他の面）であると考えられることができる。特定の点での光の振る舞いは、方向ベクトルの強度関数によって説明され、この方向ベクトルはｋ−ベクトルと呼ばれることが多い。方向情報を含む波面のこのサンプルは、ホログラフィック素子（holographic element）の省略であるホーゲル（hogel）と呼ばれ、ホログラフ的にまたは別な方法で作られた光学波面の挙動を説明するホーゲルの能力に合っている。ホーゲルは、ディスプレイの要素または部品としても理解され、当該要素または部品は、波面の所望のサンプルを放出、伝達または反射するために用いられる。従って、波面は、ホーゲルのｘ−ｙアレイとして、例えば伝搬方向（ｋ）及び空間広がり（ｘ及びｙ）の全域の総和ＳＵＭ［Ｉｘｙ（ｋｘ，ｋｙ）］として説明される。
【００８５】
サンプリング定理により、特定の深さ及び解像度の３Ｄ画像を忠実に表すのに必要な最小数のサンプルを決定することができる。サンプリング及びピクセル寸法に関するさらなる情報は、例えば特許文献７に見られることができる。
【００８６】
アクティブ・ホーゲル・ディスプレイの様々なアーキテクチャを考慮する際、ホーゲルデータを生成してそれを波面に、そして続いて３Ｄ画像に変換する動作は、３つの機能ユニット、すなわち（１）ホーゲルデータ生成プログラム、（２）光変調／伝達系、（３）光チャネリング（light-channeling）光学素子（例えばレンズレットアレイ、拡散体、アパーチャマスクなど）を用いる。光変調／伝達系の目的は、ホーゲルデータによって変調される光のフィールドを生成することであり、この光を、光チャネリング光学素子（概ねレンズレットの真下の平面）に伝達することである。この平面で、各々の伝達されたピクセルは、１つのホーゲルデータを表す。それは、空間的にシャープであるものとし、例えば伝達されたピクセル同士の間隔は約３０ミクロンでかつできる限り狭い。単純な１つのアクティブ・ホーゲルは、レンズレットの真下に光変調器を含む場合がある。変調器は、ホーゲルデータが与えられ、変調光のエミッタとして、あるいは光源を利用して、光変調／伝達系として働く。レンズレット（恐らくは複合レンズ）は、光チャネリング光学素子の役目を果たす。アクティブ・ホーゲル・ディスプレイは、そのとき、典型的には正方形または六角形であるが、長方形または恐らくは不規則な間隔であり得るような格子状に並べられたアクティブホーゲルのアレイである。光変調器は仮想変調器であり得、例えば実際の空間光変調器（ＳＬＭ）の、例えばプロジェクタからレンズレットアレイの下面までの投影であり得ることに留意されたい。
【００８７】
適切な動的自動立体視ディスプレイを提供する際、ディスプレイモジュール光学素子を用いたぼやけの意図的な導入も有用である。ホーゲル間隔、一方向サンプルの数（例えばビューの数）及び角度の全範囲（例えば９０°の視域）を所与として、サンプリング理論を用いてどれくらいのぼやけが望ましいかを決定することができる。この情報を他のシステム・パラメータと組み合わせると、レンズレットがどれくらいの解像力（分解能）を有していればよいかを決定する際に有用である。ディスプレイモジュールのスポットサイズ及び幾何学的配置など、光学的考察に関するさらなる情報は、例えば特許文献７に見られることができる。
【００８８】
レンズレットアレイ８２０は、複合レンズの規則的なアレイを提供する。１つの実施形態では、２エレメント複合レンズの各々は、両凸球面レンズの真下の平凸球面レンズである。図９は、動的自動立体視ディスプレイモジュールに使用することができるマルチエレメント・レンズレットシステム９００の例を示している。光は下から平凸レンズ９１０に入る。底平面での小さな光の点（例えば９１１、９１３または９１５、そのような光はファイバテーパ中の１つのファイバによって発せられる）は、かなりよくコリメートされた両凸レンズ９２０から出現する。シミュレーション及び測定値は、±４５°の範囲で１００ミリラジアン以下の発散が達成されることができることを示している。９０°の範囲にわたって発せられる光の発散を制御する能力は、このアプローチの有用性を明らかにしている。さらに、光は、かなり高い開口比を有するレンズ９２０から出現すること、例えば光はレンズの領域の大部分から出現することに留意されたい。これは、複合レンズによって可能になる。対照的に、シングルエレメントレンズでは出口アパーチャは埋めるのが困難である。
【００８９】
そのようなレンズアレイは、結合された２つの別々のアレイを用いる、別々のレンズを整合するための「ハニカム」または「チキンワイヤ」支持構造を用いて１つの装置を製作する、適切な光学的品質の接着剤やプラスチックなどでレンズを結合するなど、様々な方法で製作されることができる。これらの目的のために、押し出し成形、射出成形、圧縮成形、研削（グラインディング）などの製造技術が有用である。ポリカーボネート、スチレン、ポリアミド、ポリスルホン、光学ガラスなどの様々な材料を用いることがえきる。
【００９０】
レンズレットアレイを形成するレンズは、ガラスや溶融石英などのガラス質材料を用いて製作されることができる。そのような実施形態では、個々のレンズは別々に製作され、その後引き続きアレイの最終組立ての前に適切な構造（例えば、ジグ、メッシュ、または他のレイアウト構造）内または上で方向付けされ得る。他の実施形態では、レンズレットアレイは、高分子材料を用いて、かつ、マスターを製作しかつその後にマスターを用いて複製を行い最終製品のレンズレットアレイを形成するステップを含む工程を用いて、製作されることになる。
【００９１】
図１ないし図９は、本願に開示されている技術の多くのいつでも使える例の一部を示している。本明細書に記載の特定のステップまたは動作は、除外され得るかあるいは交代で用いられ得ることは、当業者であれば容易に分かるであろう。さらに、本明細書中で論じた操作は、コンピュータシステムのための、１若しくは複数のプロセッサ上で実行可能な命令としてコンピュータ読み取り可能な媒体において符号化された１若しくは複数のソフトウェアプログラムを用いて実装され得る。コンピュータ読み取り可能な媒体は、電子記憶媒体（例えばフラッシュメモリやダイナミックＲＡＭ（ＤＲＡＭ））、磁気記憶媒体（例えば、ハードディスク、フロッピー（登録商標）ディスクなど）、または光学記憶媒体（例えばＣＤ−ＲＯＭ）、あるいはそれらの組合せを含み得る。
【００９２】
ソフトウェア・プログラムはまた、命令を符号化する信号を伝達する通信媒体において（例えばネットワーク・インタフェースにされたネットワークを経由して）運ばれ得る。これらのプログラムの個別のインスタンスは、別々のコンピュータシステム上で実行され得る。このように、特定のステップが特定の装置、ソフトウェアプログラム、プロセス、またはエンティティによって行われているものとして記載されているが、必ずしもそうであるわけではなく、当業者は様々な代替実施形態を理解するであろう。
【００９３】
その上、上記した技術が、例えば様々な数及び種類の検出器、ディスプレイシステム及びユーザ入力装置を備えた様々な異なる記憶装置及びコンピュータ・システムとともに利用され得ることは、当業者であれば容易に分かるであろう。上記したデータ処理及び計算が、例えば、アセンブリ言語、Ｐａｓｃａｌ、Ｃなどの伝統的なコンピュータ言語；Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）などのオブジェクト指向言語；ＰｅｒｌやＴｃｌ／Ｔｋなどのスクリプト言語を含む様々なコンピュータ言語を用いてソフトウェアに実装され得ることは、当業者であれば容易に分かるであろう。その上、ソフトウェアは、様々なコンピュータ読み取り可能な媒体及び／または通信媒体を用いてコンピュータシステムに提供されうる。
【００９４】
本発明について幾つかの実施形態と関連させて説明してきたが、本発明は本明細書に記載されている特定の形態に限定されることを意図するものではない。それとは逆に、そのような代替形態、変更形態及び等価形態は、添付の請求項によって画定される発明の範囲内に当然含まれ得るものとして本発明の対象することが意図されている。
【図１】
2010522380.tif 000003
【図２】
2010522380.tif 000004
【図３】
2010522380.tif 000005
【図４】
2010522380.tif 000006
【図５】
2010522380.tif 000007
【図６】
2010522380.tif 000008
【図７】
2010522380.tif 000009
【図８】
2010522380.tif 000010
【図９】
2010522380.tif 000011
【手続補正書】
【提出日】平成21年6月2日(2009.6.2)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
システムであって、
自動立体視動的３次元画像を表示するためのディスプレイ装置と、
ユーザによって作られる少なくとも１つのポーズを位置判定及び認識するように構成された位置判定システムと、
前記位置判定システム及び前記ディスプレイ装置に結合され、前記ポーズに応じて前記動的３次元画像を修正するべく前記ディスプレイ装置と通信するように構成されたプロセッサとを含むことを特徴とするシステム。
【請求項２】
前記プロセッサが、前記ポーズに応じて前記動的３次元画像内の少なくとも１つの３次元画像の形状を修正するように構成されていることを特徴とする請求項１のシステム。
【請求項３】
前記プロセッサが、指し示すポーズを認識し、前記指し示すポーズに応じて前記動的３次元画像内の或る物体を識別し、前記指し示すポーズに応じて前記動的３次元画像を修正するように構成されていることを特徴とする請求項１のシステム。
【請求項４】
前記プロセッサが、掴むポーズを認識し、前記動的３次元画像内の或る物体を掴まれているものとして識別するように構成されていることを特徴とする請求項１のシステム。
【請求項５】
前記プロセッサが、前記掴むポーズ中の前記ポーズの動きに応じて前記物体を再配置するように構成されていることを特徴とする請求項４のシステム。
【請求項６】
前記プロセッサが、前記ポーズに応じて対象物の制御のための出力コマンド信号を生成するように構成されていることを特徴とする請求項１のシステム。
【請求項７】
前記プロセッサが、補助プロセッサに適した出力コマンド信号を生成するように構成されており、
前記補助プロセッサが、前記出力コマンド信号に応じて補助動的３次元画像を修正するべく補助ディスプレイ装置を制御するするように構成されていることを特徴とする請求項１のシステム。
【請求項８】
前記補助プロセッサが、補助位置判定システムによる前記補助ディスプレイ装置のユーザのポーズの検出に応じて前記補助動的３次元画像を修正するように構成され、
前記プロセッサが、前記補助ディスプレイ装置の前記ユーザの前記ポーズに応じて前記動的３次元画像を修正するための入力コマンドを、前記補助プロセッサから受信するように構成されていることを特徴とする請求項７のシステム。
【請求項９】
前記位置判定システムが、複数のユーザによって作られるポーズを位置判定及び認識するように構成され、
前記プロセッサが、前記ユーザ間のコミュニケーションを容易にする方法で前記ポーズに応じて前記動的３次元画像を修正するべく前記ディスプレイ装置と通信するように構成されていることを特徴とする請求項１のシステム。
【請求項１０】
前記プロセッサが、前記ユーザからのクエリに応じて出力を生成するように構成されていることを特徴とする請求項１のシステム。
【請求項１１】
前記出力が、前記クエリへの可聴応答、前記クエリへの視覚的応答、または前記クエリへの触覚応答のうちの少なくとも１つを含み、
前記クエリが、発話クエリ、ポーズ・クエリ、ジェスチャ・クエリまたはキーボード入力されるクエリのうちの少なくとも１つであることを特徴とする請求項１０のシステム。
【請求項１２】
前記プロセッサが、前記クエリに応じて、かつ前記動的３次元画像内の少なくとも１つの物体を示す付随的なポーズに応じて、出力を生成するように構成されていることを特徴とする請求項１１のシステム。
【請求項１３】
前記プロセッサが、前記ユーザからのコマンドに応じて出力を生成するように構成されていることを特徴とする請求項１のシステム。
【請求項１４】
前記出力が、前記コマンドに応じた前記３次元画像内の少なくとも１つの３次元物体の形状の修正を含み、
前記コマンドが、発話コマンド、ポーズコマンド、ジェスチャ・コマンドまたはキーボード入力されるコマンドのうちの少なくとも１つであることを特徴とする請求項１３のシステム。
【請求項１５】
前記プロセッサが、現況及び所望の状況を同時に表示するように前記動的３次元画像をアップデートするように構成されていることを特徴とする請求項１のシステム。
【請求項１６】
前記ポーズが、ジェスチャの構成要素であることを特徴とする請求項１のシステム。
【請求項１７】
前記位置判定システムによって認識可能であり、ユーザが前記ポーズを表現できるように構成されているような、少なくとも１つの入力装置をさらに含むことを特徴とする請求項１のシステム。
【請求項１８】
前記入力装置上に取り付けられかつ前記位置判定システムによって認識可能である第１の１若しくは複数のタグ一式と、
前記画像との一定の空間関係で配置されかつ前記位置判定システムによって認識可能である第２の１若しくは複数のタグ一式とをさらに含むことを特徴とする請求項１７のシステム。
【請求項１９】
前記入力装置が、ユーザがはめることのできるグローブを含み、
前記動的３次元画像が、完全陰影付き物体を含むことを特徴とする請求項１７のシステム。
【請求項２０】
システムであって、
表示ボリューム内に自動立体視３次元画像を表示するためのディスプレイ装置と、
前記表示ボリュームと少なくとも部分的に重なり合うインタラクション・ボリューム内にユーザによって作られる少なくとも１つのポーズを位置判定及び認識するように構成された位置判定システムと、
前記位置判定システム及び前記ディスプレイ装置に結合され、前記表示ボリューム内の前記３次元画像と空間的に関連しているものとして前記インタラクション・ボリューム内にポーズを登録するように構成されたプロセッサとを含むことを特徴とするシステム。
【請求項２１】
前記プロセッサが、前記ポーズに応じて前記３次元画像内の少なくとも１つの３次元物体の形状を修正するように構成されていることを特徴とする請求項２０のシステム。
【請求項２２】
前記プロセッサが、指し示すポーズまたは掴むポーズのうちの少なくとも一方を認識し、前記識別されたポーズに応じて前記３次元画像内の或る物体を識別し、前記識別されたポーズに応じて前記３次元画像を修正するように構成されていることを特徴とする請求項２０のシステム。
【請求項２３】
前記プロセッサが、前記識別されたポーズの動きに応じて前記識別された物体を再配置するように構成されていることを特徴とする請求項２２のシステム。
【請求項２４】
前記プロセッサが、前記ポーズに応じて対象物の制御のための出力コマンド信号を生成するように構成されていることを特徴とする請求項２０のシステム。
【請求項２５】
前記プロセッサが、補助プロセッサに適した出力コマンド信号を生成するように構成されており、
前記補助プロセッサが、前記出力コマンド信号に応じて補助動的３次元画像を修正するべく補助ディスプレイ装置を制御するするように構成され、
前記補助プロセッサが、補助位置判定システムによる前記補助ディスプレイ装置のユーザのポーズの検出に応じて前記補助３次元画像を修正するように構成され、
前記補助プロセッサが、前記補助ディスプレイ装置の前記ユーザの前記ポーズに応じて前記３次元画像を修正するための入力コマンドを、前記補助プロセッサから受信するように構成されていることを特徴とする請求項２０のシステム。
【請求項２６】
前記位置判定システムが、複数のユーザによって作られるポーズを位置判定及び認識するように構成され、
前記プロセッサが、前記ユーザ間のコミュニケーションを容易にする方法で前記ポーズに応じて前記３次元画像を修正するべく前記ディスプレイ装置と通信するように構成されていることを特徴とする請求項２０のシステム。
【請求項２７】
前記プロセッサが、前記ユーザからのクエリに応じて応答を生成し、前記ユーザからのコマンドに応じて出力を生成するように構成されていることを特徴とする請求項２０のシステム。
【請求項２８】
方法であって、
自動立体視動的３次元画像を表示するステップと、
ユーザによって作られる少なくとも１つのポーズを位置判定及び認識するステップと、
前記ポーズに応じて前記動的３次元画像を修正するステップとを含むことを特徴とする方法。
【請求項２９】
前記修正するステップが、前記ポーズに応じて前記動的３次元画像内の少なくとも１つの３次元物体の形状を修正するステップを含むことを特徴とする請求項２８の方法。
【請求項３０】
前記ポーズが、指し示すポーズを含み、
前記方法が、
前記指し示すポーズに応じて前記動的３次元画像内の或る物体を識別するステップと、
前記指し示すポーズに応じて前記動的３次元画像を修正するステップをさらに含むことを特徴とする請求項２８の方法。
【請求項３１】
前記ポーズが、掴むポーズを含み、
前記方法が、前記動的３次元画像内の掴まれている物体を識別するステップをさらに含むことを特徴とする請求項２８の方法。
【請求項３２】
前記掴むポーズ中の前記ポーズの動きに応じて前記物体を再配置するステップをさらに含むことを特徴とする請求項３１の方法。
【請求項３３】
前記動的３次元画像が、完全陰影付き動的物体を含み、
前記方法が、前記ポーズに応じて対象物を制御するための出力コマンド信号を生成するステップをさらに含むことを特徴とする請求項２８の方法。
【請求項３４】
補助動的３次元画像を修正するように補助ディスプレイ装置を制御するための出力コマンド信号を生成するステップをさらに含むことを特徴とする請求項２８の方法。
【請求項３５】
複数のユーザによって作られるポーズを位置判定及び認識するステップと、
前記ユーザ間のコミュニケーションを容易にする方法で前記ポーズに応じて前記動的３次元画像を修正するステップをさらに含むことを特徴とする請求項２８の方法。
【請求項３６】
ユーザからのクエリに応じて、かつ前記動的３次元画像内の少なくとも１つの物体を示す付随的なポーズに応じて、出力を生成するステップをさらに含むことを特徴とする請求項２８の方法。
【請求項３７】
ユーザからのコマンドに応じて、かつ前記動的３次元画像内の少なくとも１つの物体を示す付随的なポーズに応じて、前記動的３次元画像を修正するステップをさらに含むことを特徴とする請求項２８の方法。
【請求項３８】
現況及び所望の状況を同時に表示するように前記動的３次元画像をアップデートするステップをさらに含むことを特徴とする請求項２８の方法。
【請求項３９】
方法であって、
表示ボリューム内に自動立体視３次元画像を表示するステップと、
前記表示ボリュームと少なくとも部分的に重なり合うインタラクション・ボリューム内に、ユーザによって作られる少なくとも１つのポーズを位置判定及び認識するステップと、
前記表示ボリューム内の前記３次元画像と空間的に関連しているものとして前記インタラクション・ボリューム内にポーズを登録するステップとを含むことを特徴とする方法。
【請求項４０】
前記ポーズに応じて前記動的３次元画像内の少なくとも１つの３次元物体の形状を修正するステップをさらに含むことを特徴とする請求項３９の方法。
【請求項４１】
指し示すポーズまたは掴むポーズのうちの少なくとも一方を認識するステップと、
前記識別されたポーズに応じて前記３次元画像内の或る物体を識別するステップと、
前記識別されたポーズに応じて前記３次元画像を修正するステップをさらに含むことを特徴とする請求項３９の方法。
【請求項４２】
前記識別されたポーズの動きに応じて前記識別された物体を再配置するステップをさらに含むことを特徴とする請求項４１の方法。
【請求項４３】
前記ポーズに応じて対象物の制御のための出力コマンド信号を生成するステップをさらに含むことを特徴とする請求項３９の方法。
【請求項４４】
前記出力コマンド信号に応じて補助３次元画像を修正するように補助ディスプレイ装置を制御するように構成された出力コマンド信号を生成するステップをさらに含むことを特徴とする請求項３９の方法。
【請求項４５】
複数のユーザによって作られるポーズを位置判定及び認識するステップと、
前記ユーザ間のコミュニケーションを容易にする方法で前記ポーズに応じて前記３次元画像を修正するステップをさらに含むことを特徴とする請求項３９の方法。
【請求項４６】
前記プロセッサが、前記ユーザからのクエリに応じて応答を生成し、前記ユーザからのコマンドに応じて出力を生成するように構成されていることを特徴とする請求項３９の方法。
【請求項４７】
システムであって、
自動立体視動的３次元画像を表示する手段と、
ユーザによって作られる少なくとも１つのポーズを位置判定及び認識する手段と、
前記ポーズに応じて前記動的３次元画像を修正する手段とを含むことを特徴とするシステム。
【請求項４８】
システムであって、
表示ボリューム内に自動立体視３次元画像を表示する手段と、
前記表示ボリュームと少なくとも部分的に重なり合うインタラクション・ボリューム内に
ユーザによって作られる少なくとも１つのポーズを位置判定及び認識する手段と、
前記表示ボリューム内の前記３次元画像と空間的に関連しているものとして前記インタラクション・ボリューム内にポーズを登録する手段とを含むことを特徴とするシステム。
【請求項４９】
コンピュータプログラム製品であって、
コンピュータ読み取り可能な媒体と、
前記コンピュータ読み取り可能な媒体上で符号化され、１若しくは複数のプロセッサによって実行可能であるような、或る方法を実行するための命令とを含み、
前記方法が、
自動立体視動的３次元画像を表示するステップと、
ユーザによって作られる少なくとも１つのポーズを位置判定及び認識するステップと、
前記ポーズに応じて前記動的３次元画像を修正するステップとを含むことを特徴とするシステム。
【請求項５０】
コンピュータプログラム製品であって、
コンピュータ読み取り可能な媒体と、
前記コンピュータ読み取り可能な媒体上で符号化され、１若しくは複数のプロセッサによって実行可能であるような、或る方法を実行するための命令とを含み、
前記方法が、
表示ボリューム内に自動立体視３次元画像を表示するステップと、
前記表示ボリュームと少なくとも部分的に重なり合うインタラクション・ボリューム内に、ユーザによって作られる少なくとも１つのポーズを位置判定及び認識するステップと、
前記表示ボリューム内の前記３次元画像と空間的に関連しているものとして前記インタラクション・ボリューム内にポーズを登録するステップとを含むことを特徴とするシステム。
【手続補正書】
【提出日】平成21年11月19日(2009.11.19)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
システムであって、
自動立体視動的３次元画像を表示するためのディスプレイ装置と、
ユーザによって作られる少なくとも１つのポーズを位置判定及び認識するように構成された位置判定システムと、
前記位置判定システム及び前記ディスプレイ装置に結合され、前記ポーズに応じて前記動的３次元画像を修正するべく前記ディスプレイ装置と通信するように構成されたプロセッサとを含むことを特徴とするシステム。
【請求項２】
前記プロセッサが、前記ポーズに応じて前記動的３次元画像内の少なくとも１つの３次元画像の形状を修正するように構成され、
前記プロセッサが、指し示すポーズを認識し、前記指し示すポーズに応じて前記動的３次元画像内の或る物体を識別し、前記指し示すポーズに応じて前記動的３次元画像を修正するように構成されていることを特徴とする請求項１のシステム。
【請求項３】
前記プロセッサが、掴むポーズを認識し、前記動的３次元画像内の或る物体を掴まれているものとして識別するように構成されていることを特徴とする請求項１または２のいずれかのシステム。
【請求項４】
前記プロセッサが、前記掴むポーズ中の前記ポーズの動きに応じて前記物体を再配置するように構成されていることを特徴とする請求項３のシステム。
【請求項５】
前記プロセッサが、前記ポーズに応じて物理的物体の制御のための出力コマンド信号を生成するように構成されていることを特徴とする請求項１ないし４のいずれかのシステム。
【請求項６】
前記プロセッサが、補助プロセッサに適した出力コマンド信号を生成するように構成されており、
前記補助プロセッサが、前記出力コマンド信号に応じて補助的な動的３次元画像を修正するべく補助ディスプレイ装置を制御するするように構成されており、
前記補助プロセッサが、補助位置判定システムによる前記補助ディスプレイ装置のユーザのポーズの検出に応じて前記補助的な動的３次元画像を修正するように構成され、
前記プロセッサが、前記補助ディスプレイ装置の前記ユーザの前記ポーズに応じて前記動的３次元画像を修正するための入力コマンドを、前記補助プロセッサから受信するように構成されていることを特徴とする請求項１ないし５のいずれかのシステム。
【請求項７】
前記位置判定システムが、複数のユーザによって作られるポーズを位置判定及び認識するように構成され、
前記プロセッサが、前記ユーザ間のコミュニケーションを容易にする方法で前記ポーズに応じて前記動的３次元画像を修正するべく前記ディスプレイ装置と通信するように構成されていることを特徴とする請求項１ないし６のいずれかのシステム。
【請求項８】
前記プロセッサが、
前記ユーザからのクエリと、
前記クエリに付随しかつ前記動的３次元画像内の少なくとも１つの物体を示すポーズとに応じて、出力を生成するように構成されていることを特徴とする請求項１ないし７のいずれかのシステム。
【請求項９】
前記プロセッサが、前記ユーザからのコマンドに応じて出力を生成するように構成され、
前記出力が、前記コマンドに応じた前記動的３次元画像内の少なくとも１つの３次元物体の形状の修正を含み、
前記コマンドが、発話コマンド、ポーズコマンド、ジェスチャ・コマンドまたはキーボード入力されるコマンドのうちの少なくとも１つであることを特徴とする請求項１ないし８のいずれかのシステム。
【請求項１０】
前記プロセッサが、現況及び所望の状況を同時に表示するように前記動的３次元画像をアップデートするように構成され、
前記ポーズが、ジェスチャの構成要素であることを特徴とする請求項１ないし９のいずれかのシステム。
【請求項１１】
前記位置判定システムによって認識可能であり、ユーザが前記ポーズを表現できるように構成されているような、少なくとも１つの入力装置と、
前記入力装置上に取り付けられかつ前記位置判定システムによって認識可能である第１の１若しくは複数のタグ一式と、
前記画像との一定の空間関係で配置されかつ前記位置判定システムによって認識可能である第２の１若しくは複数のタグ一式とをさらに含むことを特徴とする請求項１ないし１０のいずれかのシステム。
【請求項１２】
システムであって、
表示ボリューム内に自動立体視３次元画像を表示するためのディスプレイ装置と、
前記表示ボリュームと少なくとも部分的に重なり合うインタラクション・ボリューム内にユーザによって作られる少なくとも１つのポーズを位置判定及び認識するように構成された位置判定システムと、
前記位置判定システム及び前記ディスプレイ装置に結合され、前記表示ボリューム内の前記３次元画像と空間的に関連しているものとして前記インタラクション・ボリューム内にポーズを登録するように構成されたプロセッサとを含むことを特徴とするシステム。
【請求項１３】
方法であって、
自動立体視動的３次元画像を表示するステップと、
ユーザによって作られる少なくとも１つのポーズを位置判定及び認識するステップと、
前記ポーズに応じて前記動的３次元画像を修正するステップとを含むことを特徴とする方法。
【請求項１４】
前記ポーズが、指し示すポーズを含み、
前記方法が、
前記指し示すポーズに応じて前記動的３次元画像内の或る物体を識別するステップと、
前記指し示すポーズに応じて前記動的３次元画像を修正するステップとをさらに含むことを特徴とする請求項１３の方法。
【請求項１５】
前記ポーズが、掴むポーズを含み、
前記方法が、
前記動的３次元画像内の掴まれている物体を識別するステップと、
前記掴むポーズ中の前記ポーズの動きに応じて前記物体を再配置するステップとをさらに含むことを特徴とする請求項１３または１４のいずれかの方法。
【請求項１６】
補助的な動的３次元画像を修正するように補助ディスプレイ装置を制御するための出力コマンド信号を生成するステップをさらに含むことを特徴とする請求項１３ないし１５のいずれかの方法。
【請求項１７】
複数のユーザによって作られるポーズを位置判定及び認識するステップと、
前記ユーザ間のコミュニケーションを容易にする方法で前記ポーズに応じて前記動的３次元画像を修正するステップをさらに含むことを特徴とする請求項１３ないし１６のいずれかの方法。
【請求項１８】
ユーザからのクエリに応じて、かつ前記動的３次元画像内の少なくとも１つの物体を示す付随的なポーズに応じて、出力を生成するステップと、
ユーザからのコマンドに応じて、かつ前記動的３次元画像内の少なくとも１つの物体を示す付随的なポーズに応じて、前記動的３次元画像を修正するステップとをさらに含むことを特徴とする請求項１３ないし１７のいずれかの方法。
【請求項１９】
方法であって、
表示ボリューム内に自動立体視３次元画像を表示するステップと、
前記表示ボリュームと少なくとも部分的に重なり合うインタラクション・ボリューム内に、ユーザによって作られる少なくとも１つのポーズを位置判定及び認識するステップと、
前記表示ボリューム内の前記３次元画像と空間的に関連しているものとして前記インタラクション・ボリューム内にポーズを登録するステップとを含むことを特徴とする方法。
【請求項２０】
コンピュータプログラム製品であって、
コンピュータ読み取り可能な媒体と、
前記コンピュータ読み取り可能な媒体に記憶され、１若しくは複数のプロセッサによって実行可能であるような、或る方法を実行するための命令とを含み、
前記方法が、
自動立体視動的３次元画像を表示するステップと、
ユーザによって作られる少なくとも１つのポーズを位置判定及び認識するステップと、
前記ポーズに応じて前記動的３次元画像を修正するステップとを含むことを特徴とするシステム。
【請求項２１】
コンピュータプログラム製品であって、
コンピュータ読み取り可能な媒体と、
前記コンピュータ読み取り可能な媒体に記憶され、１若しくは複数のプロセッサによって実行可能であるような、或る方法を実行するための命令とを含み、
前記方法が、
表示ボリューム内に自動立体視３次元画像を表示するステップと、
前記表示ボリュームと少なくとも部分的に重なり合うインタラクション・ボリューム内に、ユーザによって作られる少なくとも１つのポーズを位置判定及び認識するステップと、
前記表示ボリューム内の前記３次元画像と空間的に関連しているものとして前記インタラクション・ボリューム内にポーズを登録するステップとを含むことを特徴とするシステム。
【国際調査報告】
2010522380.tif 000012
2010522380.tif 000013
2010522380.tif 000014