(57)【要約】  仮想３次元空間内でオペレーションを実行するシステムは、仮想３次元空間を視覚化する視覚化システムと、仮想３次元空間内で実行されるべきオペレーションの実空間位置を実３次元空間内でマーキングする３Ｄ位置追跡システムと、実３次元空間の位置を仮想３次元空間にマッピングし、マッピングされた位置でオペレーションを実行する手段とを備える。３Ｄ位置追跡システムは、少なくとも１台の信号源が設けられた位置決め手段と、位置決め手段の少なくとも１台の信号源によって放出された信号を検出する少なくとも２台のイメージセンサと、イメージセンサによって生成された信号及びイメージセンサ相互の相対的な空間ロケーションに基づいて、イメージセンサと相対的な位置決め手段の実空間位置を決定する第１の手段とを備える。【選択図】  図２
2008500624.tif 000002
【特許請求の範囲】
【請求項１】
仮想３次元空間内でオペレーションを実行するシステムにおいて、
仮想３次元空間を視覚化する視覚化システム（１４）と、
前記仮想３次元空間（１６）内で実行されるべきオペレーションの位置（Ｐ１）を実３次元空間（１０）内でマーキングする３Ｄ位置追跡システム（１２）と、
前記実３次元空間（１０）の前記位置（Ｐ１）を前記仮想３次元空間（１６）にマッピングし、マッピングされた位置（Ｐ＊１）で前記オペレーションを実行する手段（Ｗ０）と、
を備え、
前記３Ｄ位置追跡システム（１２）が、
少なくとも１台の信号源が設けられた位置決め手段（１３５）と、
前記位置決め手段（１３５）の前記少なくとも１台の信号源によって放出された信号を検出する少なくとも２台のイメージセンサと、
前記イメージセンサによって生成された前記信号及び前記イメージセンサの互いに相対的な空間ロケーションに基づいて、前記イメージセンサと相対的な前記位置決め手段（１３５）の実空間位置（Ｐ１）を決定する第１の手段（Ｗ１）と、
を備えることを特徴とするシステム。
【請求項２】
前記位置決め手段（１３５）が少なくとも１台の信号源が一端に配置されたスティックの形である、請求項１に記載のシステム。
【請求項３】
前記スティックが前記位置をマーキングするボタン（１３２）を備える、請求項２に記載のシステム。
【請求項４】
前記位置決め手段（１３５）が４台の信号源を備える、請求項１〜３のいずれか一項に記載のシステム。
【請求項５】
前記位置決め手段（１３５）の前記少なくとも１台の信号源が可視光を放出する光源（１３０）である、請求項１〜４のいずれか一項に記載のシステム。
【請求項６】
前記位置決め手段（１３５）の前記少なくとも１台の信号源が赤外光を放出する光源（１３０）である、請求項１〜４のいずれか一項に記載のシステム。
【請求項７】
前記光源（１３０）の強さが調節可能である、請求項５又は６に記載のシステム。
【請求項８】
前記イメージセンサが２Ｄ画像を記録するカメラ（１１０）である、請求項１〜７のいずれか一項に記載のシステム。
【請求項９】
各カメラ（１１０）が周囲散光の入射を妨げる防光ユニットを備える、請求項８に記載のシステム。
【請求項１０】
前記第１の手段（Ｗ１）が前記イメージセンサと相対的な前記位置決め手段（１３５）の前記実空間位置（Ｐ１）と実空間姿勢（Ｏ１）の両方を決定するようになっている、請求項４に記載のシステム。
【請求項１１】
前記オペレーションの前記実空間位置（Ｐ１）と前記オペレーションの仮想空間位置（Ｐ＊１）が一致する、請求項１〜１０のいずれか一項に記載のシステム。
【請求項１２】
前記仮想３次元空間を視覚化する前記視覚化システム（１８）が、
３次元画像を再現する手段と、
ユーザの眼と相対的な固定ロケーションに配置された少なくとも２台の信号源と、
前記信号源によって放出された信号を検出する少なくとも２台のイメージセンサと、
前記イメージセンサによって生成された前記信号に基づいてユーザの眼の実空間位置（Ｐ２Ｌ，Ｐ２Ｒ）を決定する第２の手段（Ｗ２）と、
前記第２の手段（Ｗ２）によって提供された前記位置（Ｐ２Ｌ，Ｐ２Ｒ）に基づいて前記仮想３次元空間の視点（Ｖ＊）を決定し、それぞれの眼のための対応する画像を生成する第３の手段と、
を備える、請求項１〜１１のいずれか一項に記載のシステム。
【請求項１３】
前記３次元画像を再現する手段が、ユーザの左眼用と右眼用に異なる画像（Ｉｓｔ）を再現するディスプレイと、画像分離のための対応する眼鏡（１４５）と、を備え、
前記信号源が前記眼鏡（１４５）に固定される、請求項１２に記載のシステム。
【請求項１４】
前記ディスプレイが異なる眼のための異なる色の画像を同時に再現するようになっており、
前記眼鏡（１４５）がユーザの左眼用と右眼用に表示された異なる色を分離するようになっている、請求項１３に記載のシステム。
【請求項１５】
前記ディスプレイが異なる眼のための異なる偏光をもつ画像を同時に再現するようになっており、
前記眼鏡（１４５）がユーザの左眼用と右眼用に別々に偏光された画像を分離するようになっている、請求項１３に記載のシステム。
【請求項１６】
前記ディスプレイが異なる眼のための異なる画像を、所定の周波数で、交互に再現するようになっており、
前記眼鏡（１４５）がユーザの左眼用と右眼用に交互に前記ディスプレイの交互の画像を同期的に通過させるようになっている、請求項１３に記載のシステム。
【請求項１７】
２台の信号源が前記眼鏡（１４５）に固定され、前記信号源が瞳を結ぶ仮想的な直線上に前記眼鏡（１４５）の中心軸（１４６）から等距離で存在する、請求項１３〜１６のいずれか一項に記載のシステム。
【請求項１８】
第３の信号源が前記眼鏡（１４５）の前記中心軸（１４６）に沿って前記眼鏡（１４５）に付加的に固定される、請求項１７に記載のシステム。
【請求項１９】
前記イメージセンサが２Ｄ画像を記録するカメラ（１１０）である、請求項１２〜１８のいずれか一項に記載のシステム。
【請求項２０】
各カメラが周囲散光の入射を妨げる防光ユニットを備える、請求項１９に記載のシステム。
【請求項２１】
前記信号源が可視光を放出する光源（１４０，１４１）である、請求項１２〜２０のいずれか一項に記載のシステム。
【請求項２２】
前記信号源が赤外光を放出する光源である、請求項１２〜２０のいずれか一項に記載のシステム。
【請求項２３】
前記光源（１４０，１４１）の強さが調節可能である、請求項２１又は２２に記載のシステム。
【請求項２４】
前記イメージセンサによって検出された、前記ディプレイと相対的な前記眼鏡（１４５）の前記第３の信号源の変位を、オペレーション命令にマッピングする第４の手段（Ｗ４）をさらに備える、請求項１８に記載のシステム。
【請求項２５】
前記オペレーション命令が前記仮想３次元空間（１６）内で実行されるべき動きである、請求項２４に記載のシステム。
【請求項２６】
同じイメージセンサが前記３Ｄ位置追跡システム（１２）と前記仮想３Ｄ空間を視覚化する前記システム（１８）とによって使用される、請求項１２〜２５のいずれか一項に記載のシステム。
【請求項２７】
前記位置決め手段（１３５）がバイブレータユニットをさらに備え、
前記位置決め手段（１３５）が所定の位置（Ｐ１）に入るとき、前記位置決め手段（１３５）の前記バイブレータユニットを動作させる第６の手段（Ｗ６）をさらに備える、
請求項１〜１２のいずれか一項に記載のシステム。
【請求項２８】
前記眼鏡（１４５）がバイブレータユニットをさらに備え、
前記位置決め手段（１３５）が所定の位置（Ｐ１）に入るとき、前記眼鏡（１４５）の前記バイブレータユニットを動作させる第７の手段（Ｗ７）をさらに備える、
請求項１３〜１８のいずれか一項に記載のシステム。
【請求項２９】
少なくとも１台の信号源が設けられた位置決め手段（１３５）を備える３次元位置追跡システムにおいて、
前記位置決め手段（１３５）の前記少なくとも１台の信号源によって放出された信号を検出する少なくとも２台のイメージセンサと、
前記イメージセンサによって生成された前記信号及び前記イメージセンサの互いに相対的な空間ロケーションに基づいて、前記イメージセンサと相対的な前記位置決め手段（１３５）の実空間位置（Ｐ１）を決定する第１の手段（Ｗ１）と、
をさらに備えることを特徴とするシステム。
【請求項３０】
前記位置決め手段（１３５）が少なくとも１台の信号源が一端に配置されたスティックの形である、請求項２９に記載の３次元位置追跡システム。
【請求項３１】
前記スティックが前記位置をマーキングするボタン（１３２）を備える、請求項３０に記載の３次元位置追跡システム。
【請求項３２】
前記位置決め手段（１３５）が４台の信号源を備える、請求項２９〜３１のいずれか一項に記載の３次元位置追跡システム。
【請求項３３】
前記位置決め手段（１３５）の前記少なくとも１台の信号源が可視光を放出する光源（１３０）である、請求項２９〜３２のいずれか一項に記載の３次元位置追跡システム。
【請求項３４】
前記位置決め手段（１３５）の前記少なくとも１台の信号源が赤外光を放出する光源（１３０）である、請求項２９〜３２のいずれか一項に記載の３次元位置追跡システム。
【請求項３５】
前記光源（１３０）の強さが調節可能である、請求項３３又は３４に記載の３次元位置追跡システム。
【請求項３６】
前記イメージセンサが２Ｄ画像を記録するカメラ（１１０）である、請求項２９〜３５のいずれか一項に記載の３次元位置追跡システム。
【請求項３７】
各カメラ（１１０）が周囲散光の入射を妨げる防光ユニットを備える、請求項３６に記載の３次元位置追跡システム。
【請求項３８】
３次元画像を再現する手段を備え、仮想３次元空間を視覚化するシステムにおいて、
ユーザの眼と相対的な固定ロケーションに配置された少なくとも２台の信号源と、
前記信号源によって放出された信号を検出する少なくとも２台のイメージセンサと、
前記イメージセンサによって生成された前記信号に基づいてユーザの眼の実空間位置（Ｐ２Ｌ，Ｐ２Ｒ）を決定する第２の手段（Ｗ２）と、
前記第２の手段（Ｗ２）によって提供された前記位置（Ｐ２Ｌ，Ｐ２Ｒ）に基づいて前記仮想３次元空間の視点（Ｖ＊）を決定し、それぞれの眼のための対応する画像を生成する第３の手段（Ｗ３）と、
をさらに備えることを特徴とするシステム。
【請求項３９】
前記３次元画像を再現する手段が、ユーザの左眼用と右眼用に異なる画像（Ｉｓｔ）を再現するディスプレイと、画像分離のための対応する眼鏡（１４５）と、を備え、
前記信号源が前記眼鏡（１４５）に固定される、請求項３８に記載のシステム。
【請求項４０】
前記ディスプレイが異なる眼のための異なる色の画像を同時に再現するようになっており、
前記眼鏡（１４５）がユーザの左眼用と右眼用に表示された異なる色を分離するようになっている、請求項３８に記載のシステム。
【請求項４１】
前記ディスプレイが異なる眼のための異なる偏光をもつ画像を同時に再現するようになっており、
前記眼鏡（１４５）がユーザの左眼用と右眼用に別々に偏光された画像を分離するようになっている、請求項３９に記載のシステム。
【請求項４２】
前記ディスプレイが異なる眼のための異なる画像を、所定の周波数で、交互に再現するようになっており、
前記眼鏡（１４５）がユーザの左眼用と右眼用に交互に前記ディスプレイの交互の画像を同期的に通過させるようになっている、請求項３９に記載のシステム。
【請求項４３】
２台の信号源が前記眼鏡（１４５）に固定され、前記信号源が瞳を結ぶ仮想的な直線上に前記眼鏡（１４５）の中心軸（１４６）から等距離で存在する、請求項３８〜４２のいずれか一項に記載のシステム。
【請求項４４】
第３の信号源が前記眼鏡（１４５）の前記中心軸（１４６）に沿って前記眼鏡（１４５）に付加的に固定される、請求項４３に記載のシステム。
【請求項４５】
前記イメージセンサが２Ｄ画像を記録するカメラ（１１０）である、請求項３８〜４４のいずれか一項に記載のシステム。
【請求項４６】
各カメラが周囲散光の入射を妨げる防光ユニットを備える、請求項４５に記載のシステム。
【請求項４７】
前記信号源が可視光を放出する光源（１４０，１４１）である、請求項３８〜４６のいずれか一項に記載のシステム。
【請求項４８】
前記信号源が赤外光を放出する光源である、請求項３８〜４６のいずれか一項に記載のシステム。
【請求項４９】
前記光源（１４０，１４１）の強さが調節可能である、請求項４７又は４８に記載のシステム。
【請求項５０】
仮想３次元空間内でオペレーションを実行する方法において、
仮想３次元空間（１６）を視覚化するステップと、
前記仮想３次元空間（１６）内で実行されるべきオペレーションの位置（Ｐ１）を、実３次元空間（１０）内で位置決めすることにより、マーキングするステップと、
前記実３次元空間（１０）の前記位置（Ｐ１）を前記仮想３次元空間（１６）の位置（Ｐ＊１）にマッピングするステップと、
前記仮想３次元空間（１６）内の前記マッピングされた位置（Ｐ＊１）で前記オペレーションを実行するステップと、
を備え、
前記実３次元空間（１０）内で位置決めするステップが、
位置決め手段（１３５）に固定された少なくとも１台の信号源を前記実３次元空間（１０）の選択された位置（Ｐ１）へ移動するステップ、
前記選択された位置（Ｐ１）にある前記少なくとも１台の信号源によって放出された信号を、少なくとも２台のイメージセンサによって、検出するステップと、
前記イメージセンサによって生成された前記信号及び前記イメージセンサの互いに相対的な空間ロケーションに基づいて、前記イメージセンサと相対的な前記位置決め手段（１３５）の実空間位置（Ｐ１）を決定するステップと、
を備えることを特徴とする方法。
【請求項５１】
可視光を放出する光源（１３０）が信号源として使用される、請求項５０に記載の方法。
【請求項５２】
赤外光を放出する光源が信号源として使用される、請求項５０に記載の方法。
【請求項５３】
２Ｄ画像を記録するカメラ（１１０）がイメージセンサとして使用される、請求項５０〜５２のいずれか一項に記載の方法。
【請求項５４】
前記位置決め手段（１３５）に少なくとも２台の信号源が設けられ、前記イメージセンサと相対的な前記位置決め手段（１３５）の前記実空間位置（Ｐ１）と実空間姿勢（Ｏ１）の両方が決定される、請求項５０〜５３のいずれか一項に記載の方法。
【請求項５５】
前記オペレーションが前記実３次元空間（１０）と前記仮想３次元空間（１６）に関して同じ位置（Ｐ１，Ｐ＊１）で実行される、請求項５０〜５４のいずれか一項に記載の方法。
【請求項５６】
ユーザの眼と相対的な固定ロケーションに配置された少なくとも２台の信号源と、
前記信号源によって放出された信号を検出する少なくとも２台のイメージセンサと、
前記イメージセンサによって生成された前記信号に基づいてユーザの眼の実空間位置（Ｐ２Ｌ，Ｐ２Ｒ）を決定する第２の手段（Ｗ２）と、
前記第２の手段（Ｗ２）によって提供された前記位置（Ｐ２Ｌ，Ｐ２Ｒ）に基づいて前記仮想３次元空間の視点（Ｖ＊）を決定し、それぞれの眼のための対応する画像を生成する第３の手段（Ｗ３）と、
を備える視覚化システム（１８）によって前記３次元空間（１６）が視覚化される、請求項５０〜５５のいずれか一項に記載の方法。
【請求項５７】
同じイメージセンサが前記仮想３次元空間（１６）を視覚化するため、及び、位置決めするため使用される、請求項５０〜５６のいずれか一項に記載の方法。
【請求項５８】
位置決めするステップが前記実３次元空間（１０）内で点状ロケーションをマーキングする工程を備える、請求項５０〜５７のいずれか一項に記載の方法。
【請求項５９】
位置決めするステップが前記実３次元空間（１０）内で連続的なセクションをマーキングする工程を備える、請求項５０〜５７のいずれか一項に記載の方法。
【請求項６０】
位置追跡システム（１２）と、所定の機能がアクティブ化可能フィールド（２２０）毎に関連付けられたアクティブ化可能フィールド（２２０）を有する画像を視覚化する視覚化システム（１８）とを備え、実行されるべきオペレーションを、視覚化システムを介して、選択するシステムにおいて、
前記位置追跡システム（１２）が、
少なくとも１台の信号源が設けられた位置決め手段（１３５）と、
前記位置決め手段（１３５）の前記少なくとも１台の信号源によって放出された信号を検出する少なくとも２台のイメージセンサと、
前記イメージセンサによって生成された前記信号及び前記イメージセンサの互いに相対的な空間ロケーションに基づいて、前記イメージセンサと相対的な前記位置決め手段（１３５）の実空間位置（Ｐ１）を決定する第１の手段（Ｗ１）と、
を備え、
前記視覚化システム（１８）によって視覚化された画像内の、マーキングされた前記位置（Ｐ１）と関連付けられたフィールド（２２２）をアクティブ化する第５の手段（Ｗ５）をさらに備えることを特徴とするシステム。
【請求項６１】
前記視覚化システムが３次元画像を視覚化するようになっており、
前記３次元画像が点状及び／又は２次元及び／又は３次元のアクティブ化可能フィールド（２２０）を含む、請求項６０に記載のシステム。
【請求項６２】
前記視覚化システムが２次元画像を視覚化するようになっており、
前記２次元画像が点状及び／又は２次元のアクティブ化可能フィールド（２２０）を含む、請求項６０に記載のシステム。
【請求項６３】
前記位置決め手段（１３５）に４台の信号源が設けられ、
第２の手段（Ｗ２）が前記位置決め手段（１３５）に固定された前記信号源の前記イメージセンサと相対的な位置（Ｐ１）と姿勢（Ｏ１）の両方を決定するようになっており、
前記第５の手段（W５）が、前記視覚化された画像内の、マーキングされた前記位置（Ｐ１）及び姿勢（Ｏ１）と関連付けられた前記フィールド（２２０）をアクティブ化するようになっている、請求項６０〜６２のいずれか一項に記載のシステム。
【請求項６４】
前記視覚化システム（１８）が前記位置決め手段（１３５）及び前記イメージセンサに関して遠く離れて配置される、請求項６３に記載のシステム。
【請求項６５】
前記位置決め手段（１３５）が可視光を放出する少なくとも１台の光源（１３０）が一端に配置されたスティックの形である、請求項６０〜６４のいずれか一項に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、仮想３Ｄ空間内で動作するシステム及び方法と、視覚化システムを介して、実行されるべきオペレーションを選択するシステムと方法に関する。
【背景技術】
【０００２】
今日広く普及しているパーソナルコンピュータは、２次元画像を提供するディスプレイを具備している。しかし、将来のコンピュータは、３次元画像の表示に関して重大な問題に直面している。仮想３次元空間を視覚化する能力を備えたコンピュータディスプレイは既に市販されている。その中でも、補助装置を用いることなく３次元画像を理解することを可能にさせるハイエンドテクノロジによって製造されたスクリーンを備えるディスプレイがあり、その上、典型的に特殊な眼鏡を使用して３次元視野を提供する遙かに安価なディスプレイも存在する。３次元画像を表示するようになっているコンピュータに関連して、コンピュータのアプリケーションの目的が情報を視覚化することだけでなく、情報を入力し処理することでもあるということを考えると、空間情報を入力し処理する必要性、すなわち、仮想３次元空間内でオペレーションを実行する必要性が生じた。今日、複数の企業が仮想３次元空間を視覚化するため設計された、主として家庭で日常使用できる、コンピュータシステムを提供しているが、このコンピュータシステムに適用されている３Ｄテクノロジは非常に制限された機能をもつか、又は、非常に高価であり、そのため、このようなシステムは、今のところ、普及していない。以下では、仮想３次元空間を視覚化することが可能であり、かつ、その中でオペレーションを実行することを可能にする、ある従来技術の装置及びシステムが簡単に紹介される。
【０００３】
本明細書中の前述の部分及び後述の部分において、「３Ｄ空間」という用語は、空間の明確なセグメントに使用され、すなわち、「実３Ｄ空間」という用語は、位置決め装置を移動することにより実行されるべきオペレーションの位置を測位する実空間のセグメントを意味し、「仮想３Ｄ空間」という用語は、３Ｄ視覚化手段によって視覚化された空間のセグメントを意味する。
【０００４】
文献独国特許第１０１０６８５０Ａ１号は、空間的に移動可能であり、その運動が仮想３次元空間にマッピングされる位置決め装置を備える、３Ｄコンピュータアプリケーションのための位置追跡システムを開示する。位置決め装置は、互いに直交して配置された、空間座標系を表現する直線レールにバネによって連結される。位置決め装置の空間ロケーションはポテンショメータシステムによって検出される。この位置追跡システムにおいて、空間位置は機械的な組立体を用いて検出され、このことが位置決め装置の作動をより複雑にし、オペレーションの位置を測位するため利用可能な空間セグメントのサイズを著しく制限する。
【０００５】
さらに、フレキシブルな位置追跡システムは、文献英国特許第２３８８４１８Ａ号に開示され、光学原理に基づいて動作する位置追跡システムは、位置決め装置として、手で自由に動かすようになっている３次元物体、例えば、立方体又は球体を備える。物体の画像はカメラによって記録される。位置決め装置の空間位置及び姿勢の変化は、カメラによって記録された２次元画像から決定される。第２のカメラの使用がこの文献には記載されているが、この付加的なカメラの機能は、位置決め装置の遮光された部品又は不自然に照明された部品から補足的な情報を獲得するためだけに制限されている。このシステムのさらなる欠点は、仮想空間が実空間に関して較正されないので、位置決め装置が相対的位置を測位するためにしか使用できないことである。
【０００６】
類似した解決策は、従来型のコンピュータマウスの空間的に移動可能な実施形態として位置決め装置を開示する文献ＷＯ０３／０７９１７９Ａ１に紹介されている。このような、いわゆる空間マウスは、複数の光源及び複数のマイクロスイッチが設けられ、光源は異なる色、サイズ、又は、形状を有するので、カメラはあらゆる空間方向で空間マウスの変位又は回転を感知する。上記空間マウスは非常にフレキシブルな位置決めを可能にするが、その製造コストはかなり高い。
【０００７】
３次元視覚化の目的は、人間が現実のように空間形状を感知する能力を提供することである。空間効果は、眼それ自体が異なる位置から空間形状を感知するときに、右眼と左眼に異なる画像を伝達することにより達成することができる。このような２重、すなわち、ステレオ画像を生成し、感知するため、複数のテクノロジが開発されている。最も簡単な事例では、両方の眼のステレオ画像は、従来型のスクリーンに同時に表示され、空間効果が特殊な眼鏡を用いて感知され得る。しかし、スクリーン自体が立体視野を提供するため、このような眼鏡やその他の補助装置の使用を必要とはしない高機能、かつ、非常に高価なディスプレイも存在する。
【０００８】
最も簡単、かつ、最も広範囲に亘る解決策は、同じ場所に提示された２枚の画像の分離に基づいている。このようなシステムでは、左眼用と右眼用の画像は、同時にスクリーンに表示され、２枚の画像は、左眼用の画像だけが左レンズを通過し、右眼用の画像だけが右レンズを通過するように、空間３Ｄ眼鏡によって分離される。ここで、画像分離に基づいて動作するあるシステムを紹介する。
【０００９】
色分離に基づく３Ｄ視覚化の中心的な考え方は、異なる色の２枚の画像が左眼用と右眼用に生成され、異なる色の２枚の画像が着色レンズによって分離されることである。この目的のため、赤色レンズとシアン色レンズが一般に使用される。赤色レンズの中を赤色光だけが通過し、シアン色レンズの中をシアン色光だけが通過することができる。色分離システムの利点はその低価格性にあるが、その一つの欠点は、１０〜１５分間の使用後、眼に有害な点であり、別の欠点は、色３次元視野を提供するため利用できないことである。
【００１０】
偏光システムの中心的な考え方は、別々に偏光された画像が左眼用と右眼用に生成され、異なる偏光の２枚の画像が偏光レンズによって分離されることである。色分離システムとは異なり、色及び完全に現実的な画像が偏光システムで再現され得る。このような偏光レンズの製造コストは比較的低いが、２方向に偏光された画像からなるステレオ画像を再現するディスプレイ装置は非常に高価であるので、この解決策は主に３Ｄ映画で使用されている。
【００１１】
いわゆるシャッター眼鏡を使用するシステムは、左眼用と右眼用のそれぞれの画像が交互に表示されるように動作し、１対のシャッター眼鏡は、ディスプレイ装置と同期して、一方の眼ともう一方の眼を次から次へと交互に遮光するジョブを行う。シャッター眼鏡は、高周波数で不透明状態と透明状態との間で切り替わるようになっているレンズを有する。偏光システムと同様に、シャッターシステムは、色及び完全に現実的な画像を再現するためにも利用可能である。このようなシステムは、比較的低価格であり、かつ、偏光システムとは異なり、従来型のコンピュータディスプレイをその中で使用すれば足りるので有利である。
【００１２】
上記の３Ｄ視覚化システムの共通の問題点は、眼の位置、すなわち、ユーザの視点を検出、追跡し得ない点である。したがって、ある人が３次元効果を提供する最適位置から離れるならば、仮想物体が仮想空間へ移り、多少の歪みを伴って現れ、これは３次元画像の現実的な印象の低下につながる。この問題は、ヘッドマウントディスプレイ（ＨＭＤ）を使用することによって回避することができる。
【００１３】
ＨＭＤディスプレイは、レンズの代わりに縮小サイズの２台のディスプレイを備える特殊な眼鏡の対であり、上記ディスプレイは両眼用のそれぞれの画像を直接再現する。ＨＭＤディスプレイは、いかなる頭の動きも感知する磁気センサ及び重力センサが設けられるので、たとえ、ユーザが動いていても歪みのない画像を再現し、その上、ＨＭＤディスプレイは、ユーザが３６０度向きを変えても正常動作するようになっている。ＨＭＤディスプレイの欠点には、特殊なセンサに起因する高価格性、及び、約３０〜４０度の狭い視野角だけを表示する制限された能力が含まれる。
【００１４】
仮想３次元空間内でオペレーションを実行するシステムは、オペレーションが実空間内で選択された場所に対応する仮想空間内の場所で実行されるように、仮想空間内での種々の活動をユーザに許し、その上、オペレーション又はオペレーションの結果が３次元効果を伴う現実として感知される。このようなシステムの共通の目的は、仮想３次元空間内で、３次元空間を視覚化するだけでなく、オペレーションを実行することを可能にすることである。
【００１５】
現在市販されている最も知られている仮想３Ｄマニピュレーションシステムの一つは、特殊なアプリケーションレベルのプログラミングインターフェイスと、３Ｄ位置追跡及び３Ｄ視覚化の統合されたシステムとを備える、Ｒｅａｃｈｉｎ  Ｔｅｃｈｎｏｌｏｇｉｅｓ  ＡＢからのＲｅａｃｈｉｎ  Ｃｏｒｅである。空間オペレーションのため、Ｒａｃｈｉｎ  Ｃｏｒｅは、ＳｅｎｓＡｂｌｅ  Ｉｎｃ．によって開発された３次元マーカーを使用し、３次元マーカーの位置は機械システムを用いてコンピュータによって追跡される。マーカーは機械アームの端に固定され、マーカーの位置はアームのヒンジ継手の傾斜角から決定される。マーカー上には、マウスボタンの機能に類似した機能をもつ押しボタンがさらに設けられる。この種のマーカーの利点の一つは、あらゆるオペレーションが、２次元内の従来型のコンピュータマウスと同じように、３次元内でそのマーカーを用いて自由に実行され得ることである。さらに、マーカーは、力フィードバック機構が設けられるので、仮想物体は実際に具体的になる。このような仮想３Ｄマニピュレーションシステムは、実空間オペレーションの場所と、その仮想３次元出現の場所とを一致させることが可能である。鏡の後側に出現する３次元画像は、シャッター眼鏡の対と鏡を使用することにより感知され得る。マーカーは鏡の後側でも使用され、よって、活動の場所と再現画像の場所は同じである。このシステムの欠点は、シャッター眼鏡の位置が追跡されず、したがって、再現画像は眼の位置、すなわち、ユーザの視点に関して適切な向きにされ得ないので、実空間と仮想空間が完全には一致しないことである。同じ問題は、現在市販されている既存のその他の仮想３Ｄマニピュレーションシステムで現れる。
【発明の開示】
【発明が解決しようとする課題】
【００１６】
本発明の目的は、オペレーションの場所が実３Ｄ空間内で選択され、仮想３Ｄ空間がユーザの瞬時視野に対応する姿勢で歪みを伴わずに視覚化され、仮想３Ｄ空間内でオペレーションを実行するシステムを提供することである。
【００１７】
本発明の別の目的は、位置追跡用の実３次元空間セグメントと視覚化された３次元空間セグメントが完全に一致し、類似した従来技術の解決策のどれよりも実質的に安価であり、位置追跡用の任意のサイズの空間セグメントの使用を可能にする、仮想３Ｄマニピュレーションシステムを提供することである。
【００１８】
本発明の別の目的は上記システムを動作させる方法を提供することである。
【００１９】
最後に、本発明の別の目的は、位置追跡の原理が選択プロセスで使用され、視覚化システムを介して、実行されるべきオペレーションを選択するシステムを提供することである。
【課題を解決するための手段】
【００２０】
上記の目的及びその他の目的は、仮想３次元空間を視覚化する視覚化システムと、仮想３次元空間内で実行されるべきオペレーションの実空間位置を実３次元空間内でマーキングする３Ｄ位置追跡システムと、実３次元空間の位置を仮想３次元空間にマッピングし、マッピングされた位置でオペレーションを実行する手段とを備え、仮想３次元空間内でオペレーションを実行するシステムによって本発明において達成される。３Ｄ位置追跡システムは、少なくとも１台の信号源が設けられた位置決め手段と、位置決め手段の少なくとも１台の信号源によって放出された信号を検出する少なくとも２台のイメージセンサと、イメージセンサによって生成された信号及びイメージセンサ相互の相対的な空間ロケーションに基づいて、イメージセンサと相対的な位置決め手段の実空間位置を決定する第１の手段とを備える。
【００２１】
本発明によるシステムでは、仮想３次元空間を視覚化する視覚化システムは、好ましくは、３次元画像を再現する手段と、ユーザの眼と相対的な固定場所に配置された少なくとも２台の信号源と、信号源によって放出された信号を検出する少なくとも２台のイメージセンサと、イメージセンサによって生成された信号に基づいてユーザの眼の実空間位置を決定する第２の手段と、第２の手段によって提供された位置に基づいて仮想３次元空間の視点を決定し、それぞれの眼に対応する画像を生成する第３の手段とを備える。
【００２２】
上記の目的は、仮想３次元空間を視覚化するステップと、実３次元空間内で位置決めすることにより、仮想３次元空間内で実行されるべきオペレーションの位置をマーキングするステップと、実３次元空間の位置を仮想３次元空間内の位置にマッピングするステップと、マッピングされた位置において仮想３次元空間内でオペレーションを実行するステップとを備える、仮想３次元空間内でオペレーションを実行する方法によって本発明においてさらに達成される。実３次元空間内で位置決めするステップは、位置決め手段に固定された少なくとも１台の信号源を実３次元空間内の選択された位置へ移動するステップと、選択された位置にある少なくとも１台の信号源によって放出された信号を、少なくとも２台のイメージセンサを使用して、検出するステップと、イメージセンサによって生成された信号及びイメージセンサ相互の相対的な空間ロケーションに基づいて、イメージセンサと相対的な位置決め手段の実空間位置を決定するステップとを備える。
【００２３】
位置決め手段は、好ましくは、少なくとも１台の信号源がその一端に配置されたスティックとして形成される。スティックは位置をマーキングするボタンを備える。
【００２４】
好ましくは、位置決め手段の少なくとも１台の信号源は、可視光又は赤外光を放出する光源である。光源の強さは好ましくは調節可能である。
【００２５】
イメージセンサは、好ましくは、２D画像を記録するカメラであり、カメラは周囲散光の入射を防ぐ防光ユニットが設けられてもよい。
【００２６】
第１の手段は、イメージセンサと相対的な位置決め手段の実空間位置と実空間姿勢の両方を決定するようになっている。
【００２７】
オペレーションの実空間位置とオペレーションの仮想空間位置が一致するとき、特に有利である。
【００２８】
３次元画像を再現する手段は、好ましくは、ユーザの左眼用と右眼用に異なる画像を再現するディスプレイと、画像分離のための対応する眼鏡と、を備える。信号源は、好ましくは、上記眼鏡に固定される。眼鏡は、スクリーンの異なる色を分離する眼鏡と、スクリーンの別々に偏光された画像を分離する眼鏡と、いわゆるシャッター眼鏡とを含む。
【００２９】
３台の信号源が３次元視覚化システムの眼鏡に固定される場合、システム全体は、ディスプレイと相対的な上記眼鏡の対の第３の信号源の変位をオペレーション命令にマッピングする第４の手段をさらに含み、上記変位はイメージセンサによって検出される。オペレーション命令は、好ましくは、仮想３次元空間内で実行されるべき運動である。
【００３０】
仮想３Ｄマニピュレーションシステムでは、同じイメージセンサが、３Ｄ位置追跡システムと仮想３次元空間を視覚化するシステムで使用される。
【００３１】
位置決め手段は所定の位置に入るとき、眼鏡と共に、第６の手段によって動作させられるバイブレータユニットを備える。
【００３２】
最後に、上記の目的は、位置追跡システムと、所定の機能と関連付けられたアクティブ化可能なフィールドを有する画像を視覚化する視覚化システムとを備え、視覚化システムを介して、実行されるべきオペレーションを選択するシステムによってさらに達成される。位置追跡システムは、少なくとも１台の信号源が設けられた位置決め手段と、位置決め手段の少なくとも１台の信号源によって放出された信号を検出する少なくとも２台のイメージセンサと、イメージセンサによって生成された信号及びイメージセンサ相互の相対的な空間ロケーションに基づいて、イメージセンサと相対的な位置決め手段の実空間位置を決定する第１の手段とを備える。選択システムは、視覚化システムによって視覚化された画像内の、マーキングされた位置を関連付けられたフィールドをアクティブ化する第５の手段をさらに備える。
【００３３】
視覚化システムは、２次元又は３次元画像を視覚化するようになっている。画像は、点状２次元アクティブ化可能フィールドと、３Ｄ画像の場合には、３次元アクティブ化可能フィールドとを含み得る。
【００３４】
視覚化システムは、位置決め手段及びイメージセンサに関して離れて配置されることがある。
【００３５】
本発明のさらなる目的と利点は、添付図面を参照して、好ましい実施形態を用いて、より詳細に説明される。
【発明を実施するための最良の形態】
【００３６】
本発明による仮想３Ｄマニピュレーションシステムの機能ブロック図が図１に示されている。仮想空間で実行されるべきオペレーションのロケーションは実３次元空間１０内で位置決め手段によってマーキングされている。位置決め手段１２の位置は、位置追跡システム１２によって監視され、対応する命令時に、位置決め手段の実空間位置Ｐ１、すなわち、空間ロケーションと、必要に応じて、実空間姿勢Ｏ１とが位置追跡システム１２によって記録される。位置決め手段の実空間位置及び姿勢は、直交座標系又は極座標系のような任意の座標系の座標によって表現され得る。位置決め手段の位置とは、位置決め手段の特別な点を意味し、典型的に、位置決め手段の端点の一方であり、位置決め手段の姿勢とは、位置決め手段の少なくとも３個の特別な点によって決定される空間方向を意味する。オペレーションを実行するロケーションが点状でない場合、実空間１０内の位置決め手段の運動は、位置追跡システム１２によって連続的に追跡され、記録され、したがって、空間セクション又はトラックが実行されるべきオペレーションに割り当てられ、位置情報と、必要に応じて、姿勢情報とが上記セクション又はトラックの各点と関連付けられる。オペレーション上のトラックは、連続的なセクション、又は、不連続点のセクションによって表現され得る。完全を期すため、本明細書の以下の部分では、位置情報に加えて、姿勢情報もまた記録される場合を想定する。位置追跡システム１２は、位置決め手段に固定された信号源によって放出され、イメージセンサによって検出された信号に基づいて、処理手段Ｗ１によって位置決め手段の実空間位置Ｐ１及び姿勢Ｏ１を計算する。
【００３７】
位置決め手段の位置Ｐ１及び姿勢Ｏ１は、位置追跡システム１２によって、処理手段Ｗ０へ転送され、処理手段Ｗ０は、実空間１０の位置Ｐ１及び実空間姿勢Ｏ１を仮想３次元空間１６内の位置Ｐ＊１及び姿勢Ｏ＊１にマッピングする。実空間１０及び仮想空間１６が一致するならば、すなわち、仮想空間１６が実空間１０に対して較正されるならば、位置Ｐ１は位置Ｐ＊１と一致し、姿勢Ｏ１は姿勢Ｏ＊１と一致し、よって、実空間１０内で作業を実行するのと同じように、仮想空間１６内で作業可能である。
【００３８】
本発明による仮想３Ｄマニピュレーションシステムでは、仮想空間１６は、実３次元空間内のユーザの眼の位置Ｐ２Ｌ及びＰ２Ｒを連続的に追跡する３次元視覚化システム１８によって、歪みのない現実的な形で視覚化され、３次元視覚化システム１８は、ユーザの頭に取り付けられた信号源によって放出されイメージセンサによって検出された信号に基づいて、処理手段Ｗ２を使用して、実３次元空間内の位置Ｐ２Ｌ及びＰ２Ｒを決定し、その後、これらの計算された値が処理手段Ｗ３へ転送される。眼の位置Ｐ２Ｌ及びＰ２Ｒに応じて、処理手段Ｗ３は、仮想空間１６の瞬時視点Ｖ＊を決定し、仮想空間１６のステレオ画像Ｉｓｔを生成する。ステレオ画像Ｉｓｔは、２枚の異なる画像により構成され、各画像は、両眼のそれぞれの位置Ｐ２Ｌ及びＰ２Ｒから見えるような仮想３次元空間１６の物体を示す。このステレオ画像Ｉｓｔは視覚化システム１８によって再現される。眼の位置Ｐ２Ｌ及びＰ２Ｒが変化するならば、仮想空間１６の視点Ｖ＊は、視覚化システム１８によって再現された画像Ｉｓｔが常に歪みのない現実的な３次元効果を生じるように、処理手段Ｗ３によって調節される。すなわち、視聴者が、例えば、右方向へ移動するならば、視聴者は、右から仮想空間１６内の物体を見ることが可能であり、視聴者が、例えば、上方向へ移動するならば、視聴者は上から仮想空間１６内の物体を見ることができる。
【００３９】
互いに相対的な眼の位置Ｐ２Ｌ及びＰ２Ｒは、ユーザが異なる場合に、解剖学的特性が異なることにより変化し得るので、本発明によるシステムは、システムによって利用される両眼の間の距離に関する値を調節可能にする。よって、仮想３次元空間及び実３次元空間は、すべてのユーザのため完全に一致させられ得る。
【００４０】
図１に示されているように、仮想３Ｄマニピュレーションシステムは、後で紹介されるその他のオプション的な機能を提供するため使用されるさらなる処理手段Ｗｉを備え得る。本明細書の前述の部分及び後述の部分において、処理手段Ｗｉは、プロセッサによって実行されるオペレーションの系列を表す。しかし、処理手段Ｗｉは、暗黙的に、オペレーションの系列を実行するハードウェア手段、例えば、コンピュータプログラムが起動するプロセッサユニットにも関連する。システムのある種の処理手段Ｗｉは同じ処理ユニットに関連付けられ得ることがある点に注意すべきである。
【００４１】
本発明による仮想３Ｄマニピュレーションシステムの中心的な考え方は、３次元空間内の点のロケーションの決定がステレオ画像からの空間の３次元再構成の理論に基づくことである。すなわち、オペレーションの空間ロケーションと視点の両方が１台以上の信号源を使用してマーキングされ、信号源によって放出された信号は異なる場所に配置された少なくとも２台のイメージセンサによって検出される。信号源の空間ロケーションは検出された信号を処理することにより決定される。各信号源の空間ロケーションを決定するため３台以上のイメージセンサを適用することにより、システムの使用中に遮光される信号源に関する十分な空間情報が取得され得るので、システム全体の信頼性は高められ得、よって、正確な位置決めが達成される。１枚のステレオ画像に基づく３次元空間再構成が、３台以上のイメージセンサを使用して、複数のステレオ画像に基づく３次元位置決めに拡張され得る方法は、当業者に明白である。
【００４２】
したがって、本発明による仮想３Ｄマニピュレーションシステムは、仮想３次元空間内で実行されるべきオペレーションのロケーションを、実３次元空間内で、マーキングする３Ｄ位置追跡システムと、実３次元空間内で選択された位置を仮想空間にマッピングし、仮想３次元空間内でオペレーションを実行する手段と、仮想３Ｄ空間を視覚化する視覚化システムとを備える。３次元位置追跡システムは、少なくとも１台の信号源が設けられた位置決め手段と、位置決め手段の少なくとも１台の信号源によって放出された信号を検出する複数台のイメージセンサと、信号源によって生成された信号及び互いに相対的なイメージセンサの位置に基づいて、イメージセンサと相対的な位置決め手段の実空間ロケーションを決定する処理手段と、を備える。位置決め手段の空間ロケーションは、ステレオ画像からの空間の３次元再構成の理論に基づいて、イメージセンサによって供給された信号によって決定される。実行されるべきオペレーションのタイプは、例えば、メニューから選択する、仮想３D空間内で視覚化されたスクリーン上の利用可能なフィールド又は空間セグメントをアクティブ化する、キーボードを使用する、音声によって指示するなどによって、何らかの方式で指定（選択）され得る。オペレーションの選択は、オペレーションを位置決めする前後に実行され得る。本発明によるシステムの好ましい実施形態では、オペレーションのタイプは、最初に、位置決め手段をあるロケーションへ移動することによって選択され、その後に限り、オペレーションの位置がマーキングされる。本発明によるシステムの別の好ましい実施形態では、オペレーションのタイプは、位置決め手段を所定の方向へ移動することにより指定される。後者の場合、位置決め手段は、仮想空間内で、オペレーションの対象である物体に固定され、仮想物体は、位置決め手段を適当に移動することにより、例えば、引く、回転するなどによって操作される。
【００４３】
本発明による仮想３Dマニピュレーションシステムでは、光源は、好ましくは、信号源として使用され、２次元画像を記録するカメラは、好ましくは、イメージセンサとして使用される。実装コストを削減するため、同じカメラが位置追跡システムと３Ｄ視覚化システムで使用される。しかし、位置追跡システム及び３Ｄ視覚化システムは専用のカメラを使用してもよく、光源及び２Ｄカメラの代わりに、空間点の正確なロケーションを決定する能力をもつその他の種類の信号源及び対応するセンサを利用してもよいことは当業者に明白である。その結果、信号は光信号、例えば、可視光信号又は赤外光信号に限定されず、無線周波信号、マイクロ波信号、超音波信号などを含み得、このような信号の生成及び検出には光信号の生成及び検出より非常に高価な装置を必要とするかもしれない。
【００４４】
複数台の位置決め手段が同時に使用される場合、特性が異なる信号源、例えば、色が異なる光源が、好ましくは、位置決め手段で使用される。位置追跡の信頼性は、３台以上のイメージセンサ（例えば、カメラ）が使用されるならば、このような構成では、遮光のためイメージセンサのうちの１台から見えない１台以上の信号源が、正確な位置決めを達成するため、１台以上の遮光された信号源に関する十分な空間情報を取得できる他のすべてのイメージセンサによって検出され得るので、実質的に改善され得る。
【００４５】
本発明による仮想３Ｄマニピュレーションシステム１００の好ましい低コストの実施形態は、システム構成の略平面図を表す図２に示されている。システム１００は、２台の２Ｄカメラ１１０と、ディスプレイ１２０と、光源１３０が備え付けられた位置決め手段１３５と、光源１４０が備え付けられた眼鏡１４５と、位置決め手段の位置を追跡し、３Ｄ視覚化システム内のフィードバック情報として視点の位置を追跡し、一般に、仮想３Ｄマニピュレーションのため必要なすべてのコンピュータプログラムを起動するプロセッサ（図示せず）とを備える。図１に示された実施形態によるシステム１００では、同じカメラ１１０が、オペレーションの位置の追跡と、ユーザの視点の追跡のため使用される。カメラ１１０は、互いの視野の外側にあるように配置される。本例では、カメラ１１０は、ディスプレイ１２０の上方にあり、横方向下向きに向けられ、ユーザ（有効）空間セグメントへ向かう。図３Ａに別々に示されているように、位置決め手段１３５は、好ましくは、光源１３０がその一端に配置されたスティックとして設計される。スティックは、制御機能を有する押しボタン１３２をさらに有する。ユーザは、眼鏡１４５とディスプレイ１２０との間の空間セグメントにおいて、自分の目前で、位置決め手段１３５を用いて作業する。各カメラ１１０は、好ましくは、関節を備え、異なる方向で並進及び回転するようになっているスケルトン１１２に取り付けられる。この構造のため、カメラ１１０は、常に最適なロケーションに固定され得る。カメラ１１０は、好ましくは、ディスプレイ１２０のスクリーンの平面、眼鏡１４５に取り付けられた２台の光源１４０、及び、位置決め手段１３５に取り付けられた光源１３０が、カメラの視野１１４に入るように配置される。図示されていないが、システム１００は、光源１３０、１４０用の（最適輝度を調節する）スイッチ及び輝度制御ユニットと、コンセントから光源に給電するアダプタとをさらに備える。
【００４６】
本発明による仮想３Ｄマニピュレーションシステムの特に好ましい実施形態（図示せず）は、ディスプレイの４隅に配置され、好ましくは、スクリーンのフレームに一体化された４台の広開口カメラを備える。
【００４７】
図２に示されたシステム１００において、光源の位置は、適切に配置され、図１に示された処理手段Ｗ１により較正された２台のカメラ１１０によって提供された種々の画像情報に基づいて決定される。このプロセス中に、カメラ１１０によって捕捉された視野１１４は３次元直交座標系内に表現され、このようにして、３個の空間座標を実３次元空間の各点に割り当てる。上記のように、ロケーション、すなわち、位置の他に、カメラ１１０で感知できる方向ベクトル（姿勢情報）又はその他の情報（例えば、事象、動きなど）が同様に実３次元空間の各点に割り当てられ得る。光源１３０、１４０の光信号だけが検出されることが望ましく、一方、環境のその他の光信号、特に、散光は干渉を引き起こすので、このような干渉を除去するため、各カメラ１１０の対物レンズの前に防光ユニットを設置することが好ましい。防光ユニットは、暗いガラス、黒い箔、若しくは、複雑な光電子デバイスでさえ含み得、又は、光源１３０、１４０の光信号を通過させ、自然環境下で存在し得るその他の光信号を除去するようになっているその他のデバイスを含む。代替的に、カメラ１１０は、光源１３０、１４０の光信号だけを感知するためデフォルト調節機能を有する。この場合、処理手段Ｗ１は、カメラ１１０の種々の視点から光源１３０、１４０のロケーションだけに関する情報を受信する。防光ユニットの使用のため、カメラ１１０によって記録される画像は、光源の白点を含み、一方、背景は黒である。光源１３０、１４０によって放出される光はある程度拡散するので、光源１３０、１４０の輪郭はカメラ１１０によって記録された画像内で少し滲み、このことは、処理プログラムが、輪郭画素の異なる輝度レベルに基づいて、カメラ１１０の実際の解像度より高い精度で、光源１３０、１４０のロケーションを決定することを可能にする。このようにして、１６０×１２０画素の解像度のカメラ１１０でも、許容可能な精度で位置を決定するため実用的に十分である。
【００４８】
本発明によるシステムの代替的な実施形態では、位置決め手段は、ある特定の位置がマーキングされるとき、ユーザがその手に保持する位置決め手段を振動させるバイブレータユニットを備える。本実施形態では、システムは、処理手段の動きを監視し、位置決め手段が所定の位置に入るとき、位置決め手段のバイブレータユニットを動作させる処理手段Ｗ６（図１に示されている）をさらに備える。位置決め手段と類似して、３Ｄ視覚化のため使用される眼鏡はこのようなバイブレータユニットが備え付けられてもよく、バイブレータユニットの動作は、上述と同様に処理手段Ｗ７（図１に示されている）によって制御される。バイブレータ位置決め手段は、特に、目が不自由な人及び目が一部不自由な人にとって好都合であり、その理由は、このような位置決め手段は、そのような人に仮想空間の物体を感知させるからである。しかし、バイブレータ眼鏡は、例えば、仮想ゲームで役立ち得る。
【００４９】
３Ｄ視覚化システムによって視覚化された仮想３次元空間を、オペレーションを測位するため使用される実３次元空間と正確に一致させるため、３Ｄ視覚化システムを較正しなければならない。較正手順は以下の方法で実行される。最初に、ディスプレイ１２０のスクリーンがカメラの視野１１４に入るように、カメラ１１０が調節される。次に、眼鏡１４５の光源１４０がスイッチを切られ、位置決め手段１３５の１台の光源１３０だけが、好ましくは、スティックの先端に配置された１台の光源だけが給電される。後続のステップでは、複数個の基準点、例えば、ディスプレイ１２０の隅が、位置決め手段１３５を使用して、所定の順番で次々にマーキングされる。較正用コンピュータプログラムが次に基準点と相対的なカメラ１１０の状態（位置及び姿勢）を決定するため実行される。較正手順の後、すべての光源１３０、１４０が給電され、２台のカメラ１１０によって記録された２枚の画像と、互いに相対的なカメラ１１０のロケーション及びディスプレイ１２０と相対的なカメラ１１０のロケーションとに基づいて、処理手段Ｗ１及びＷ２（図１に示されている）は、実３次元空間内の位置決め手段１３５及び眼鏡１４５の位置を決定するため光源１３０、１４０の空間ロケーションを計算する。基準点に関連付けられた較正値は、好ましくは、不揮発性メモリに記憶され、このようにして、較正手順は、カメラ１１０又はディスプレイ１２０の位置及び／又は姿勢が何らかの理由で変更された場合に限り繰り返される。
【００５０】
本発明による仮想３Ｄマニピュレーションシステムの好ましい実施形態によれば、較正手順は、カメラ１１０の視野内にあるその他の光源、特に、照明用光源の空間配置を記録するステップと、現実の照明条件に従って仮想３次元空間内で物体を再現するステップと、をさらに備え、このようにして現実的効果をさらに高める。
【００５１】
眼鏡１４５の場合と同様に、１台以上の光源を装置に取り付けることにより、その装置の姿勢もまた決定され得る。したがって、図３Ｂに示されているような本発明によるシステム１００の代替的な実施形態では、位置決め手段１３５は、複数個の光源１３０が一端に配置されたスティックの形で使用される。好ましくは、仮想的な４面体の４個の頂点に配置された４個の光源１３５が使用される。このような位置決め手段１３５を使用することにより、実行されるべきオペレーションの空間位置だけでなく、姿勢がオペレーションのタイプに依存して同様にマーキングされ得る。例えば、立方体をその隅のうちの１個を移動することによって仮想３次元空間内で回転させるべきであるならば、その隅を選択した後に、回転の方向は、位置決め手段１３５として使用されるスティックを所望の方向に合わせることによって設定され得る。
【００５２】
システム１００のディスプレイ１２０は、両眼用の２枚の異なる画像、すなわち、ステレオ画像をそのスクリーン上に再現する視覚化装置である。空間効果を感知するため、画像分離用の特殊な眼鏡１４５が必要であり、その眼鏡のタイプは、基本的に画像生成方法によって定められる。スクリーンが両眼用の異なる色の２枚の画像を同時に表示する場合、左眼用と右眼用のスクリーンの異なる色を分離する眼鏡１４５が使用されるべきである。しかし、スクリーンが両眼用の異なる偏光の２枚の画像を同時に表示するならば、左眼用と右眼用のスクリーンの別々に偏光された画像を分離する眼鏡１４５が使用されるべきである。さらに、ディスプレイは、所定の周波数で左眼用と右眼用の画像を交互に再現し、この場合、眼鏡１４５は、画像の交番と同期して、片眼ずつ次々に交互に遮る。（これらの眼鏡はいわゆるシャッター眼鏡である）。
【００５３】
上記のいずれかの眼鏡１４５が３Ｄ視覚化のため使用されるとき、２台の光源１４０が、好ましくは、図４Ａに示されているように、眼鏡１４５の中心軸１４６から等距離になるように眼鏡１４５に取り付けられる。この場合、眼の位置は実３次元空間内の光源１４０の位置に基づいて決定される。仮想空間の視点の正確なロケーションを計算するため、好ましくは、２台の光源１４０が両眼（より厳密には、両方の瞳）を結ぶ仮想的な直線上に存在するように、眼鏡１４５に固定される。図４Ａに示されているように、眼鏡１４５の光源１４０は、ユーザが自分の頭を少し回転したときに一方のカメラ１１０が遮光状態に入ることを防ぐため、突起したベアリング部材に取り付けられる。
【００５４】
図４Ｂに示されているように、第３の光源１４１が眼鏡１４５の中心軸１４６に沿って眼鏡１４５に取り付けられることもある。第３の光源１４１の適用は、イメージセンサ（例えば、カメラ１１０）を用いて、２台の光源１４０によって画成された軸周りの眼鏡１４５の回転を検出することを可能にさせ、このような回転運動は処理手段Ｗ４（図１に示されている）によって命令として解釈され得る。例えば、頭を前方に傾けるならば、すなわち、光源１４１を、他の２台の光源１４０を所定の位置に保ったまま動かすならば、この動きは、仮想３次元空間で実行されるべきある種の運動として解釈され得る。このような運動は、例えば、前方への移動か、又は、下向きの回転である。光源１４１の動きが仮想３次元空間内のある種の運動を表現する場合、処理手段Ｗ４は、その運動の種類に応じてスクリーン上に表示されるべき画像を変更するため処理手段Ｗ３に命令を送信し、それによって、３次元空間内のナビゲーションを可能にする。図４Ｂに示されているように、３台の光源１４０、１４１を適用するとき、３台の光源１４０、１４１のうちの少なくとも２台が２台のカメラ１１０からほぼ常に見えるので、周縁光源１４０は、眼鏡１４５からある特定の距離に配置する必要がない。その結果、２台の周縁光源１４０は、両方の瞳を結ぶ仮想的な直線上に存在する必要がなく、すなわち、それらは、瞳の前方、スクリーンの近く、又は、瞳の上方若しくは下方で眼鏡１４５に直接的に取り付けてもよい。このような構成では、眼鏡１４５に取り付けられた３台の光源１４０、１４１は、眼鏡１４５のロケーション、すなわち、位置及び姿勢を明確に決定し、したがって、瞳の実際のロケーションは眼鏡１４５のロケーション及び形状から計算され得る。
【００５５】
仮想３次元空間及び実３次元空間が本発明による仮想３Ｄマニピュレーションシステム内で一致するならば、視覚化システムを介して所望のオペレーションを選択することが可能である。このようなシステムを実施するため、視覚化システムによって視覚化された画像は、各フィールドが所定の機能を有するアクティブ化可能なフィールドを含むべきである。視覚化システムは３次元画像を視覚化する能力があるので、実行されるべきオペレーションは、視覚化された仮想空間内で点状のフィールド、２次元フィールド、又は、３次元フィールドをマーキング（例えば、接近、接触、交差など）することによって選択され得る。したがって、視覚化システムを介してオペレーションを選択するシステムは、所定の機能をもつアクティブ化可能なフィールドを有する画像を視覚化するシステムと、少なくとも１台の光源が設けられた位置決め手段、位置決め手段の少なくとも１台の光源によって放出された光信号を検出する複数台のイメージセンサ、及び、イメージセンサによって生成された信号と互いに相対的なイメージセンサの位置に基づいてイメージセンサと相対的な位置決め手段の実空間位置を決定する処理手段Ｗ１（図１に示されている）を含む位置追跡システムと、を備える。オペレーションを選択するシステムは、視覚化システムによって視覚化された画像内でマーキングされた位置と関連付けられたフィールドをアクティブ化する処理手段Ｗ５（図１に示されている）をさらに備え、「フィールドをアクティブ化する」という用語は、そのフィールドに割り当てられたオペレーションを実行することを意味する。処理手段Ｗ１及びＷ５は、好ましくは、同じプロセッサ上で起動するコンピュータプログラムである。上記のシステムを用いることにより、３Ｄ視覚化システムを利用して、仮想３次元空間内に１個以上の平面又は空間セグメントを定めることを可能にする空間「タッチスクリーン」が作成され得、各セグメントは、所定の機能が各フィールドに割り当てられた１個以上の点状及び／又は２次元及び／又は３次元のアクティブ化可能なフィールドを有する。例えば、図５は、仮想３次元空間内に平面の形式で複数のユーザインターフェイス２１０を表示する３次元タッチスクリーン２００を示し、ユーザインターフェイス２１０は、周辺にアクティブ化可能なフィールド２２０（図５では薄い灰色で埋められている）を備える。選択されたオペレーション又は機能に関連付けられたマーキングされたフィールド２２２（図５では濃い灰色で埋められている）は、仮想３次元空間内で位置決め手段１３５を用いてそのフィールドに接近又は接触することによってアクティブ化され得る。
【００５６】
視覚化システムが両眼のため同じ２Ｄ画像を表示するようになっており、処理手段Ｗ５は位置決め手段がスクリーンに近接した位置にあるときに限りフィールドをアクティブ化するようになっているとき、選択システムは、スクリーン自体に物理的接触を感知させることを要することなく、従来型の２Ｄタッチスクリーンとして使用され得る。このような実質的に平面状のタッチスクリーンは、従来型のディスプレイ装置、２台の簡単な低コストウェブカメラ、及び、好ましくは、光源付きのスティック形をした位置決め手段からなる簡単なハードウェア構成を必要とする。このような構成では、３Ｄ眼鏡は不要である。
【００５７】
２Ｄタッチスクリーンの好ましい実施形態では、処理手段Ｗ５は、位置決め手段とスクリーンとの間の距離をさらに監視する。位置決め手段がスクリーンに所定の距離より接近するならば、スクリーン上のカーソルは位置決め手段の位置に対応するアクティブ化可能フィールドへジャンプする。さらに、位置決め手段が上記の所定の距離よりスクリーンに接近するならば、処理手段Ｗ５はそれぞれのフィールドをアクティブ化し、そのフィールドに割り当てられたオペレーションを実行する。２Ｄタッチスクリーンの代替的な実施形態では、付加的なアクティブ化可能フィールドがスクリーンの外側の空間内に定められ得る。例えば、位置決め手段をスクリーンの上方及び／又は右側へ移動することにより、例えば、Ｗｉｎｄｏｗｓのようなアプリケーションから出ることが可能であり、一方、位置決め手段をスクリーンの
下方及び／又は左側へ移動することにより、２Ｄタッチスクリーンを設定するメニューを呼び出すことが可能である。
【００５８】
上記の仮想３Ｄタッチスクリーン（又は、特殊なケースの２Ｄタッチスクリーン）は、位置決め手段によって、表示場所又は表示に近い環境だけでなく、離れた場所において、表示された画像のアクティブ化可能フィールドのマーキングを可能にする。このような状況では、位置追跡のため使用される実３次元空間と３Ｄ又は２Ｄ画像を視覚化する場所が物理的に別個であることは自明である。画像のアクティブ化可能フィールドを遠隔的にアクティブ化するため、位置決め手段は、高信頼性画像センシングのため、複数台の光源、好ましくは、４台の光源を備える。処理手段Ｗ１は、イメージセンサと相対的な位置決め手段の実空間位置と実空間姿勢の両方を計算し、処理手段Ｗ５は、その位置及び姿勢に対応する画像のフィールドをアクティブ化する。このような遠隔マーキングは、例えば、遠方からプレゼンテーションの観客のため投影された画像を操作すること、又は、インターネットを介して離れた場所に表示された画像を操作することを可能にさせる。遠隔マーキングの場合、視覚化システムを較正することが必然的に要求され、その較正中に選択された視覚化システムの基準点が位置追跡のため使用される空間のそれぞれの基準点に割り当てられるべきであることに注意すべきである。
【００５９】
本発明による仮想３Ｄマニピュレーションシステムは、仮想空間内でのオペレーションが必要とされるか、又は、好ましい分野、例えば、芸術、科学、教育、娯楽などにおいて、ならびに、物体を設計し、さらに成形し、又は、回転する際に、特に使用され得るので特に有利である。仮想３次元空間では、あらゆる種類の平面的な表面又は空間的な表面は自由に成形され得、木、石、プラスティシーン、粘土、金属などを含み得る表面の仮想的な材料が選択され得、成形プロセス中に、仮想的な材料が変更されることさえある。本発明によるシステムの別の利点は、システムの実施及びオペレーションが著しく低コストであり、かつ、簡単であるということである。本発明による仮想３Ｄマニピュレーションシステムは、例えば、形状のアニメーション、形状の測定、テストの実行などを可能にする。さらに、創造的な作業は、平面的なプランを準備し、次に、そのプランを３次元に変換することを必要とすることなく、所望の形状を空間的に製作することで直ぐに始まり得る。したがって、創造的な作業に要する時間とコストは実質的に削減される。一般に、本発明によるシステムは、仮想空間内でのオペレーションの実行が役立つすべての分野において有利である。
【００６０】
本発明による仮想３Ｄマニピュレーションシステムを、技術的プロセスにおいて使用されるロボットアーム、自動機器、工作機械、又は、手術用マニピュレータなどのような実３Ｄマニピュレーションシステムと共に使用することは特に有利である。これらのアプリケーションでは、実空間で実行されるべきオペレーションは、最初に仮想空間で実行され得、仮想空間における結果に満足できるならば、実３Ｄマニピュレーションシステムのアクチュエータが実際にオペレーションを実行するように指令され得る。例えば、ワークピースが最適な形状になるように加工されるべきであるならば、仮想空間内のシミュレータプログラムによって複数の３次元形状が準備されテストされ得、最適な形状が見つけられたならば、対応する指令を旋盤に送信した後、最適な形状をもつ実際のワークピースが旋盤によって直ちに製作され得る。
【００６１】
視覚化システムを介してオペレーションを選択する本発明によるシステムは、非常に低価格の装置を備え、高価なタッチスクリーンの使用を回避するので特に有利である。さらに、このシステムは、仮想３次元空間であっても機能を用いてフィールドをマーキングすることを可能にさせる。このシステムの別の利点は、表示の場所が位置追跡の場所から離れていてもよく、遠隔画像のアクティブ化可能フィールドがインターネットを介しても同様にアクティブ化され得ることである。
【図面の簡単な説明】
【００６２】
【図１】本発明による仮想３Ｄマニピュレーションシステムの機能ブロック図である。
【図２】本発明の実施形態によるシステムの配置の平面図である。
【図３Ａ】本発明の種々の実施形態によるシステムのスティック形式の位置決め手段の説明図である。
【図３Ｂ】本発明の種々の実施形態によるシステムのスティック形式の位置決め手段の説明図である。
【図４Ａ】本発明の種々の実施形態によるシステムで使用される３Ｄ眼鏡の説明図である。
【図４Ｂ】本発明の種々の実施形態によるシステムで使用される３Ｄ眼鏡の説明図である。
【図５】本発明の実施形態による、システムによってアクティブ化可能なフィールドが表示された仮想３次元画像と、アクティブ化可能なフィールドをマーキングするスティック形式の位置決め手段との説明図である。
【図１】
2008500624.tif 000003
【図２】
2008500624.tif 000004
【図３Ａ】
2008500624.tif 000005
【図３Ｂ】
2008500624.tif 000006
【図４Ａ】
2008500624.tif 000007
【図４Ｂ】
2008500624.tif 000008
【図５】
2008500624.tif 000009
【手続補正書】
【提出日】平成18年3月22日(2006.3.22)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
仮想３次元空間内でオペレーションを実行するシステムにおいて、
仮想３次元空間を視覚化する視覚化システム（１８）と、
少なくとも１台の信号源が設けられた位置決め手段（１３５）、前記位置決め手段（１３５）の前記少なくとも１台の信号源によって放出された信号を検出する少なくとも２台のイメージセンサ、及び、前記イメージセンサによって生成された前記信号及び前記イメージセンサの互いに相対的な空間ロケーションに基づいて、前記イメージセンサと相対的な前記位置決め手段（１３５）の実空間位置（Ｐ１）を決定する第１の手段（Ｗ１）を備え、前記仮想３次元空間（１６）内で実行されるべきオペレーションの位置（Ｐ１）を実３次元空間（１０）内でマーキングする３Ｄ位置追跡システム（１２）と、
前記実３次元空間（１０）の前記位置（Ｐ１）を前記仮想３次元空間（１６）にマッピングし、マッピングされた位置（Ｐ＊１）で前記オペレーションを実行する手段（Ｗ０）と、
を備え、
前記仮想３次元空間を視覚化する前記視覚化システム（１８）が、
３次元画像を再現する手段と、
ユーザの眼と相対的な固定ロケーションに配置された少なくとも２台の信号源と、
前記信号源によって放出された信号を検出する少なくとも２台のイメージセンサと、
前記イメージセンサによって生成された前記信号に基づいてユーザの眼の実空間位置（Ｐ２Ｌ，Ｐ２Ｒ）を決定する第２の手段（Ｗ２）と、
前記第２の手段（Ｗ２）によって提供された前記位置（Ｐ２Ｌ，Ｐ２Ｒ）に基づいて前記仮想３次元空間の視点（Ｖ＊）を決定し、前記実３次元空間（１０）と前記仮想３次元空間（１６）の一致に対応する画像をそれぞれの眼のため生成する第３の手段（Ｗ３）と、
を備えることを特徴とするシステム。
【請求項２】
前記位置決め手段（１３５）が前記少なくとも１台の信号源が一端に配置されたスティックの形である、請求項１に記載のシステム。
【請求項３】
前記位置決め手段（１３５）が前記位置をマーキングするボタン（１３２）を備える、請求項１又は２に記載のシステム。
【請求項４】
前記位置決め手段（１３５）が４台の信号源を備える、請求項１〜３のいずれか一項に記載のシステム。
【請求項５】
前記３次元画像を再現する手段が、ユーザの左眼用と右眼用に異なる画像（Ｉｓｔ）を再現するディスプレイと、画像分離のための対応する眼鏡（１４５）と、を備え、
ユーザの眼と相対的な固定位置に配置された前記信号源が前記眼鏡（１４５）に固定される、請求項１〜４のいずれか一項に記載のシステム。
【請求項６】
２台の信号源が前記眼鏡（１４５）に固定され、前記信号源が瞳を結ぶ仮想的な直線上に前記眼鏡（１４５）の中心軸（１４６）から等距離で存在する、請求項５に記載のシステム。
【請求項７】
３台の信号源が前記眼鏡（１４５）に固定される、請求項５に記載のシステム。
【請求項８】
前記眼鏡（１４５）の位置及び／又は姿勢、及び／又は、それらの変化をオペレーション命令にマッピングする第４の手段（Ｗ４）をさらに備える、請求項５〜７のいずれか一項に記載のシステム。
【請求項９】
前記オペレーション命令が前記仮想３次元空間（１６）内で実行されるべき動きである、請求項８に記載のシステム。
【請求項１０】
前記信号源が可視光を放出する光源（１３０，１４０，１４１）である、請求項１〜９のいずれか一項に記載のシステム。
【請求項１１】
前記信号源が赤外光を放出する光源（１３０，１４０，１４１）である、請求項１〜９のいずれか一項に記載のシステム。
【請求項１２】
前記光源（１３０，１４０，１４１）の強さが調節可能である、請求項１０又は１１に記載のシステム。
【請求項１３】
同じイメージセンサが前記３Ｄ位置追跡システム（１２）と前記仮想３Ｄ空間を視覚化する前記システム（１８）とによって使用される、請求項１〜１２のいずれか一項に記載のシステム。
【請求項１４】
前記イメージセンサが２Ｄ画像を記録するカメラ（１１０）である、請求項１〜１３のいずれか一項に記載のシステム。
【請求項１５】
各カメラ（１１０）が周囲散光の入射を妨げる防光ユニットを備える、請求項１４に記載のシステム。
【請求項１６】
前記第１の手段（Ｗ１）が前記イメージセンサと相対的な前記位置決め手段（１３５）の前記実空間位置（Ｐ１）と実空間姿勢（Ｏ１）の両方を決定するようになっている、請求項４に記載のシステム。
【請求項１７】
前記ディスプレイが異なる眼のための異なる色の画像を同時に再現するようになっており、
前記眼鏡（１４５）がユーザの左眼用と右眼用に表示された異なる色を分離するようになっている、
請求項５に記載のシステム。
【請求項１８】
前記ディスプレイが異なる眼のための異なる偏光をもつ画像を同時に再現するようになっており、
前記眼鏡（１４５）がユーザの左眼用と右眼用に別々に偏光された画像を分離するようになっている、請求項５に記載のシステム。
【請求項１９】
前記ディスプレイが異なる眼のための異なる画像を、所定の周波数で、交互に再現するようになっており、
前記眼鏡（１４５）がユーザの左眼用と右眼用に交互に前記ディスプレイの交互の画像を同期的に通過させるようになっている、請求項５に記載のシステム。
【請求項２０】
前記位置決め手段（１３５）がバイブレータユニットをさらに備え、
前記位置決め手段（１３５）が所定の位置（Ｐ１）に入るとき、前記位置決め手段（１３５）の前記バイブレータユニットを動作させる第６の手段（Ｗ６）をさらに備える、請求項１〜１９のいずれか一項に記載のシステム。
【請求項２１】
前記眼鏡（１４５）がバイブレータユニットをさらに備え、
前記眼鏡（１４５）が所定の位置（Ｐ２）に入るとき、前記眼鏡（１４５）の前記バイブレータユニットを動作させる第７の手段（Ｗ７）をさらに備える、請求項５〜２０のいずれか一項に記載のシステム。
【請求項２２】
仮想３次元空間内でオペレーションを実行する方法において、
仮想３次元空間（１６）を視覚化するステップと、
位置決め手段（１３５）に固定された少なくとも１台の信号源を実３次元空間（１０）の選択された位置（Ｐ１）へ移動するステップ、前記選択された位置（Ｐ１）にある前記少なくとも１台の信号源によって放出された信号を少なくとも２台のイメージセンサによって検出するステップ、及び、前記イメージセンサによって生成された前記信号及び前記イメージセンサの互いに相対的な空間ロケーションに基づいて、前記イメージセンサと相対的な前記位置決め手段（１３５）の実空間位置（Ｐ１）を決定するステップを備える、前記実３次元空間（１０）内での位置決めによって、前記仮想３次元空間（１６）内で実行されるべきオペレーションの位置（Ｐ１）をマーキングするステップと、
前記実３次元空間（１０）の前記位置（Ｐ１）を前記仮想３次元空間（１６）の位置（Ｐ＊１）にマッピングするステップと、
前記仮想３次元空間（１６）内の前記マッピングされた位置（Ｐ＊１）で前記オペレーションを実行するステップと、
を備え、
３次元画像を再現する手段と、
ユーザの眼と相対的な固定ロケーションに配置された少なくとも２台の信号源と、
前記信号源によって放出された信号を検出する少なくとも２台のイメージセンサと、
前記イメージセンサによって生成された前記信号に基づいてユーザの眼の実空間位置（Ｐ２Ｌ，Ｐ２Ｒ）を決定する第２の手段（Ｗ２）と、
前記第２の手段（Ｗ２）によって提供された前記位置（Ｐ２Ｌ，Ｐ２Ｒ）に基づいて前記仮想３次元空間の視点（Ｖ＊）を決定し、前記実３次元空間（１０）と前記仮想３次元空間（１６）の一致に対応する画像をそれぞれの眼のために生成する第３の手段（Ｗ３）と、
を備える視覚化システム（１８）によって前記３次元空間（１６）が視覚化されることを特徴とする方法。
【請求項２３】
可視光を放出する光源（１３０）が信号源として使用される、請求項２２に記載の方法。
【請求項２４】
赤外光を放出する光源が信号源として使用される、請求項２２に記載の方法。
【請求項２５】
２Ｄ画像を記録するカメラ（１１０）がイメージセンサとして使用される、請求項２２〜２４のいずれか一項に記載の方法。
【請求項２６】
前記位置決め手段（１３５）に少なくとも２台の信号源が設けられ、前記イメージセンサと相対的な前記位置決め手段（１３５）の前記実空間位置（Ｐ１）及び姿勢（Ｏ１）の両方が決定される、請求項２２〜２５のいずれか一項に記載の方法。
【請求項２７】
３台の信号源が設けられた位置決め手段（１３５）が使用される、請求項２６に記載の方法。
【請求項２８】
同じイメージセンサが前記仮想３次元空間（１６）を視覚化するため、及び、位置決めするため使用される、請求項２２〜２７のいずれか一項に記載の方法。
【請求項２９】
位置決めするステップが前記実３次元空間（１０）内で点状のロケーションをマーキングする工程を備える、請求項２２〜２８のいずれか一項に記載の方法。
【請求項３０】
位置決めするステップが前記実３次元空間（１０）内で連続的なセクションをマーキングする工程を備える、請求項２２〜２９のいずれか一項に記載の方法。
【請求項３１】
位置追跡システム（１２）と、所定の機能がアクティブ化可能フィールド（２２０）毎に関連付けられたアクティブ化可能フィールド（２２０）を有する仮想３次元空間を視覚化する視覚化システム（１８）とを備え、
前記位置追跡システム（１２）が、
少なくとも１台の信号源が設けられた位置決め手段（１３５）と、
前記位置決め手段（１３５）の前記少なくとも１台の信号源によって放出された信号を検出する少なくとも２台のイメージセンサと、
前記イメージセンサによって生成された前記信号及び前記イメージセンサの互いに相対的な空間ロケーションに基づいて、前記イメージセンサと相対的な前記位置決め手段（１３５）の実空間位置（Ｐ１）を決定する第１の手段（Ｗ１）と、
を備え、
実行されるべきオペレーションを、視覚化システムを介して、選択するシステムにおいて、
前記視覚化システム（１８）によって視覚化された画像内の、マーキングされた前記位置（Ｐ１）と関連付けられたフィールド（２２２）をアクティブ化する第５の手段（Ｗ５）をさらに備え、
前記仮想３次元空間を視覚化する視覚化システム（１８）が、
３次元画像を再現する手段と、
ユーザの眼と相対的な固定ロケーションに配置された少なくとも２台の信号源と、
前記信号源によって放出された信号を検出する少なくとも２台のイメージセンサと、
前記イメージセンサによって生成された前記信号に基づいてユーザの眼の実空間位置（Ｐ２Ｌ，Ｐ２Ｒ）を決定する第２の手段（Ｗ２）と、
前記第２の手段（Ｗ２）によって提供された前記位置（Ｐ２Ｌ，Ｐ２Ｒ）に基づいて前記仮想３次元空間の視点（Ｖ＊）を決定し、前記実３次元空間（１０）と前記仮想３次元空間（１６）の一致に対応する画像をそれぞれの眼のために生成する第３の手段（Ｗ３）と、
を備えることを特徴とするシステム。
【請求項３２】
前記３次元画像が点状及び／又は２次元及び／又は３次元のアクティブ化可能フィールド（２２０）を含む、請求項３１に記載のシステム。
【請求項３３】
前記位置決め手段（１３５）に４台の信号源が設けられ、
第１の手段（Ｗ１）が前記位置決め手段（１３５）に固定された前記信号源の前記イメージセンサと相対的な実空間位置（Ｐ１）及び姿勢（Ｏ１）の両方を決定するようになっており、
前記第５の手段（W５）が、前記視覚化された画像内の、実際の位置（Ｐ１）及び姿勢（Ｏ１）と関連付けられたフィールド（２２０）をアクティブ化するようになっている、請求項３１又は３２に記載のシステム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【０００６】
類似した解決策は、従来型のコンピュータマウスの空間的に移動可能な実施形態として位置決め装置を開示する文献ＷＯ０３／０７９１７９Ａ１に紹介されている。このような、いわゆる空間マウスは、複数の光源及び複数のマイクロスイッチが設けられ、光源は異なる色、サイズ、又は、形状を有するので、カメラはあらゆる空間方向で空間マウスの変位又は回転を感知する。上記空間マウスは非常にフレキシブルな位置決めを可能にするが、その製造コストはかなり高い。
他の位置追跡システムは文献ＥＰ１３３５３１７Ａに開示されている。
【国際調査報告】
2008500624.tif 000010
2008500624.tif 000011
2008500624.tif 000012