(57)【要約】  本発明は、ユーザ対応距離に配置された現実の又は仮想的な物体に対して、ユーザの近傍での操作を可能とする、立体視法の分野で使用される観察装置に関する。これにより、ユーザは、操作空間を観察することができ、また、観察装置の実空間又は仮想空間を観察することができる。【選択図】図９
2009519481.tif 000002
【特許請求の範囲】
【請求項１】
ユーザ（１）による物体（３６）の操作のための立体観察システム（２）であって、前記物体が第１の空間（３７）内に置かれ、操作空間（１５ｂ）を含む第２の空間内で操作が行われる、立体観察システム（２）において、
ユーザが、前記第１の空間（３７）内での前記物体（３６）上の等価な操作に変換される操作を、前記第２の空間内で行なうように、前記第１の空間（３７）及び前記第２の空間（１５ｂ）内に配置される触覚システム（５２，５３，５７，５８）と、
前記操作の画像をユーザに提供するための光学システム（３９，４０，４４，４５）と
を含み、
前記画像が、前記第２の空間における前記操作空間（１５ｂ）との空間的コヒーレンス及び前記第１の空間（３７）内の操作の画像との空間的コヒーレンスで形成され、前記画像が、一方では、第１の取得手段（３９，４４）から来る一次光線のユーザの右眼に対する直接的な伝送により、他方では、第２の取得手段（４０，４５）から来る二次光線のユーザの左眼に対する直接的な伝送により得られるものであることを特徴とする、立体観察システム。
【請求項２】
前記第２の空間が実際の物理的空間（１５ｂ）であることを特徴とする、請求項１に記載の立体観察システム。
【請求項３】
前記第１の空間が１つ又は２つの空間（３７，４３）から形成されることを特徴とする、請求項１に記載の立体観察システム。
【請求項４】
前記第１の空間が実空間（３７）から形成されることを特徴とする、請求項３に記載の立体観察システム。
【請求項５】
前記第１の空間が仮想空間（４３）から形成されることを特徴とする、請求項３に記載の立体観察システム。
【請求項６】
前記第１の空間が実空間（３７）及び仮想空間（４３）から形成されることを特徴とする、請求項３に記載の立体観察システム。
【請求項７】
前記第１の空間（３７）が２つの仮想空間から形成されることを特徴とする、請求項３に記載の立体観察システム。
【請求項８】
前記触覚システム（５２，５３，５７，５８）が操作を行なうための手段（３５）を含むことを特徴とする、請求項１〜７のいずれか一項に記載の立体観察システム。
【請求項９】
操作を行なうための前記手段（３５）が前記操作空間（１５ｂ）に属することを特徴とする、請求項１〜８のいずれか一項に記載の立体観察システム。
【請求項１０】
操作を行なうための前記手段（３５）が操作の画像を欠いていることを特徴とする、請求項１〜８のいずれか一項に記載の立体観察システム。
【請求項１１】
操作を行なうための前記手段（３５）が、センサアクチュエータ、ユーザの手及びユーザからなる群から選択されることを特徴とする、請求項１〜１０のいずれか一項に記載の立体観察システム。
【請求項１２】
前記光学システム（３９，４０，４４，４５）が、画像を生成するための光学素子を含むことを特徴とする、請求項１〜１１のいずれか一項に記載の立体観察システム。
【請求項１３】
前記光学素子が、反射が無反射と全反射との間にあるミラー、フィルタ、スクリーン及びレンズからなる群から選択されることを特徴とする、請求項１２に記載の立体観察システム。
【請求項１４】
前記ミラーが半反射ミラーである場合には、前記第２の空間だけが見えることを特徴とする、請求項１３に記載の立体観察システム。
【請求項１５】
ユーザによる物体の操作を立体観察するための方法であって、前記物体が第１の空間（３７）内に置かれ、操作空間（１５ｂ）を含む第２の空間内で操作が行われる、方法において、
前記第１の空間又は前記第２の空間内に配置される触覚システム（５２，５３，５７，５８）により、前記第１の空間（３７）内での前記物体上の等価な操作に変換される操作を前記第２の空間内で行なうステップと、
前記操作の画像を光学システム（３９，４０，４４，４５）によってユーザに対して生成するステップと
を含み、
前記画像が、前記第２の空間における前記操作空間（１５ｂ）との空間的コヒーレンス及び前記第１の空間（３７）内の操作の画像との空間的コヒーレンスで形成され、
前記画像が、一方では、第１の取得手段（３９，４４）から来る一次光線のユーザの右眼に対する直接的な伝送により、他方では、第２の取得手段（４０，４５）から来る二次光線のユーザの左眼に対する直接的な伝送により得られる、方法。
【発明の詳細な説明】
【発明の詳細な説明】
【０００１】
本発明は、立体視法の分野に関し、特に、物体の特性を変えるために遠隔的に行動を起こすことができるようにする方法又はシステムに関する。
【０００２】
立体視法は、同じ被写体の２つのフラットな画像の融合から凹凸感覚を再構成できるようにするプロセスである。したがって、立体視は、２つの画像ソースから３次元表示を可能にする。立体鏡の使用は、現在、非常に広まっている。
【０００３】
立体鏡は、ユーザが遊技するゲーム環境を示すためにビデオゲーム内で役割を果たしている。
【０００４】
また、立体鏡は、深い層を見つけるために石油探査の分野でも使用される。
【０００５】
立体鏡は、設計審査、仮想流体流れ、及び、シミュレーショントレーニングに関連する機械学の分野で非常に幅広く使用されるツールである。
【０００６】
産業においては、製品の静的なモデリングが完了されると、第１の不可欠な必要性の１つは、適切な動的機能性をチェックすることである。この段階で、凹凸及び仮想相互作用の知覚は、例えばこの製品を待っているシステム内での製品の組み込み中に全ての想定し得る状況で製品を見るために非常に重要である。
【０００７】
現在、増大された仮想モデリング、すなわち、衝突、力フィードバックの根底にあるデジタルモデルの操作によってシミュレーションが益々盛んに行なわれている。現在のユーザインタフェースは十分に人間工学的ではなく、したがって、かなりの時間的ロスを引き起こし、これは相当に不利である。
【０００８】
医療分野において、多くの手術は、ビデオを必要とするとともに、器具を使用して介入するために自然なチャンネル又は自然ではないチャンネルを使用する。これらの手術は、モニタで見られる介入領域を有している。器具は、交換可能であるが、常に２人の介入プライヤの端にある。
【０００９】
現在、学生は、珍しい高価な手段を用いるそのような技術で訓練している。例えば、彼らは動物供給施設を必要とする。実際に、訓練方法は、そのような介入のためのシミュレーションツールを与えない。したがって、訓練セッションが制限され、これは学生にとってなおさら不都合である。
【００１０】
したがって、本発明の目的は、当該目的に適合された装置内で見られる物体に対し、ユーザ対応距離の周囲に配置された容積部内で、正確な３次元操作を行なうことができるようにするシステムを提供することである。操作空間は、観察空間との空間的コヒーレンスにおける容積部である。
【００１１】
他の利点は、操作空間が自由空間すなわち空であるという点である。したがって、観察装置では手又は実際の物理的なセンサアクチュエータは見えない。そのため、手の表示が隠される。
【００１２】
また、この装置は、実空間と仮想空間とを組み合わせることができるマルチ汎用装置である。
【００１３】
この装置では、例えば実空間の物体の操作を仮想空間の物体の操作に対して適合させるためにスケール縮小が可能である。
【００１４】
更なる利点は、分解能の高い精度である。これは、ボクセル密度が１０，０００ボクセル／ｃｍ３よりも大きいからである。
【００１５】
更に、観察装置はコンピュータ用途に適合する。
【００１６】
本発明の目的、対象、及び、特徴は、図面を参照して以下の説明を読むと、より明確に明らかになろう。
【００１７】
図１は、装置２の前に位置されたユーザ１を描いている。ユーザは、シート３上に座っていることができ、あるいは、装置と対向して立っていることができる。
【００１８】
支持体４が装置の下側に設けられている。この支持体４に対しては、関節アーム５がその一端で固定され、アームの他端は、ユーザによって選択される部位６（テーブル、机など）上に直接に固定される。したがって、この支持体の固定は、装置の後部で行なわれる。
【００１９】
図２に示されるように、この装置２は最初にベース７から形成される。このベースはハーフディスクの形状を成している（図３）。ハーフディスクの直線状の側面７ａがベースの前部である。ハーフディスクの曲線状の側面７ｂがベースの後部である。ベースの前部と後部とが交わり、それにより、それらの２つの端部に僅かな矩形突出部７ｃが形成される。
【００２０】
このハーフディスクの曲線状の側面の中央で、表面の縁は、ハーフディスクの内側へと向けられる曲線形状７ｄを辿っている。この曲線形状と対向して、ハーフディスクの直線状の側面の中央には、より大きな矩形形状７ｅが切り欠かれている。この矩形形状の両側で、ハーフディスクの直線状の側面は、僅かに肉厚のある形状７ｆを成している。
【００２１】
図２では、このハーフディスク上に中央支持体８が位置されている。この中央支持体８は、それらの長さに沿って互いに連結される２つの矩形プレートから形成される。これらのプレートのそれぞれの幅は、ねじによってベース上に固定される。この中央支持体は、曲線形状７ｄと矩形形状７ｅとの間でハーフディスク７の中央に固定される。これらのプレートは互いに約４５°の角度を成している。プレートの角度を成す開放部分は、ベース７の曲線形状７ｄへと向けられる。この中央支持体８のプレートのそれぞれは中央ミラー９を備えている。
【００２２】
又はフディスク上には２つの側部支持体１０が位置されている。これらの側部支持体は、中央支持体８の両側にあるベース７の２つの端部に位置されている。各側部支持体１０は、ｚ形状構造体によって互いに連結される２つの平行六面体を含んでいる。各側部支持体は、ベースの直線状の側面７ａからこのベースの内部へと約４５°で方向付けられている。また、各側部支持体は側部ミラー１１も含んでいる。このミラーは０〜１００％反射の範囲の反射率を有している。この側部ミラーは、スクリーン、フィルタ、又は、更にはレンズに置き換えることができる。側部ミラー及び平行六面体は、ねじ２０又はスラグ２１によってベース７上に固定される。ベース７の端部の側にある一方の側部支持体１０の一端には、２つの「シンチ」コネクタ１９がビデオパネル２３上に配置される。
【００２３】
側部支持体１０及び中央支持体８の前方には、スクリーン１３のスクリーン支持体１２が位置されている。このスクリーン支持体１２は、ベースの直線部７ａの長さに等しい長さを有している。このスクリーン支持体１２はねじ２０によってベースの前部に固定される。スクリーン支持体１２は、その一端において、「シンチコネクタ」１９の側に、ねじによって１つの内側パネル２２上に装着された「Ｂｕｌｇｉｎ」型スイッチ１８を備えている。
【００２４】
中央支持体、側部支持体、及び、スクリーン支持体を覆うため、ベース上には、ベースの輪郭を辿るボリュームピースが配置される。このボリュームピースは、当該ボリュームピースの側面を構成するバンド１４を含んでいる。装置の後部において、バンド１４は、ベースの曲線形状７ｄの切り欠きを再現する。シンチコネクタ１９と対向するバンド１４の端部において、バンドは、側部支持体１０のシンチコネクタの取り付けを可能にするために空きスペースを有している。装置の前部において、バンドは、ベースの矩形形状７ｅを再現する。図４に示されるように、ベースから特定の高さには、この矩形切り欠きと垂直に位置合わせされて、バンド１４が観察窓１５を備えている。したがって、この窓１５は、バンドが装置の前部に有する一種の凹部に位置されている。この窓の後側にある観察空間１５ａ内において、ユーザは、後述するように、２つの異なって組み合わされるソースから来る画像の重ね合わせを見ることができる。
【００２５】
また、ボリュームピースは図３に示されるカバー１６を備えている。このカバーは、ベース７を辿るハーフディスクと同一である。このカバー１６上には、装飾プレート１７が位置されている。
【００２６】
したがって、装置２は、その使用中、カバー１６、ベース７の外面、及び、バンド１４が見えるようにするだけである。装置の前部において、バンドは、観察空間１５ａに接近できる観察窓１５を備えている。バンド１４の後面には、後述するように、ユーザの作業空間１５ｂが見出される。
【００２７】
図５に示されるように、装置は、コンピュータなどの中央電子ユニット２５に対して直接に接続される。このコンピュータは、異なる画像処理ソフトウェア及びグラフィックカード又は電子カードを含んでいる。また、このコンピュータは、例えばキーボード２６、マウス２８及びモニタ２７などの周辺機器も含んでいる。更に、このコンピュータは、装置２の使用のための周辺機器を含んでいる。すなわち、これは、図６に示される１又は複数のセンサアクチュエータ２９である。このセンサアクチュエータ２９は、コンピュータ２５に対して接続される支持ベース３０から形成される。このベース３０はスロット３１を含んでおり、スロット内には回動要素３２が配置される。この回動要素は数センチメートルの長さを有している。それ自体は、長尺要素３３を有する単一のユニットを形成しており、約１０センチメートルの長さを有している。この長尺要素は、開放鉗子の形態を成す端部３４を有している。このタイプの鉗子３４は、ペンに似ている要素３５の端部を保持する。これは、空間内で６つの自由度を有するスタイレットである。また、このスタイレット３５は、後述するように、小さいカーソル３５ａも側方に備えている。ユーザは、このスタイレットを作業領域内で操作することにより行動を起こす。
【００２８】
図７（光学系）は、コンピュータ２５に連結された観察装置２の動作の光学モードを示している。一例として、実際の物体、すなわち、観察装置２から大きく或いは僅かに離間した配置されるコーヒーメーカをとりあげる。この物体は正規直交実空間３７（ｘｒ，ｙｒ，ｚｒ）内に位置される。
【００２９】
この物体の画像は、正規直交操作空間３８（ｘｍ，ｙｍ，ｚｍ）内の観察空間１５ａ内で見える。実際には、物体の両側に位置される少なくとも２つのビデオ画像取得システム３９，４０が、実際の物体３６の画像を、ビデオリンク４０ａにより、観察装置２の第１の入力４１に対して直接に送信する。これらの画像取得システムは、例えば、ビデオカメラ、磁気共鳴撮像システム、又は、更にはレーザを使用するスキャナである。
【００３０】
この実際の第１の物体３６に続いて、第２の物体、例えばコーヒーカップ４２などの仮想物体が考慮される。この物体は仮想正規直交空間４３（ｘｖ，ｙｖ，ｚｖ）内に位置される。この物体の画像は、先と同様に同じ正規直交ハンドリング空間３８（ｘｍ，ｙｍ，ｚｍ）内の観察空間１５ａ内で見える。実際には、仮想物体の両側に位置される少なくとも２つの仮想カメラ４４，４５が仮想物体の画像をコンピュータ２５へ送る。このコンピュータは、画像を処理してそれらをリンク４５ａを介して観察装置２の入力４７に対して送信する。
【００３１】
観察装置へ送信される画像を受ける入力４１又は４７に応じて、これらの画像は、観察装置内で異なる光学プロセスを引き起こす。
【００３２】
これらの光学プロセスは、異なるミラー及びスクリーンの全ての対称性が示されていない図７ｂｉｓに描かれている。
【００３３】
したがって、観察装置のリアスクリーン６０は、観察装置の後方から来る画像に対応する２つの極光線６０ａ，６０ｂを生成する。装置の対称性により、この画像は、ユーザの右眼及び左眼によって受けられる。同様に、観察装置のフロントスクリーン１３は、例えば、観察装置の前方から来る画像に対応する中間光線１３ａを生成する。装置の対称性により、この画像は、ユーザの右眼及び左眼によって受けられる。
【００３４】
図８に示されるように、作業領域又は操作領域１５ｂ内における観察装置２の後方で、ユーザ１は、自分の手の画像が観察空間１５ａ内に現れなくても、自分の手４８を使用してセンサアクチュエータ３５を操作することができる。
【００３５】
そのため、観察装置２により、実際の画像及び仮想画像である２つの画像の重ね合わせを見ることができる。これは、したがって、バーチャルリアリティが増大されたケースである。
【００３６】
図９に示される動作モード（触覚）により、センサアクチュエータ３５の使用、及び、観察空間１５ａ内で画像として見られる物体に関するこの使用の結果を示すことができる。これらのセンサアクチュエータ３５は、観察画像内における物体に関する位置決め作用と観察画像に対する物体の移動作用との間で選択できるようにするカーソル３５ａを有している。
【００３７】
ユーザは、物体全体又は一部だけに関して（位置決め或いは移動の）作用をちょうどうまく制御することができる。したがって、ユーザは、物体を回転させることができ、物体を異なって方向付けることができ、あるいは、この物体の特定の領域に対して圧力を及ぼすことができる。この操作は、センサが無くても、センサを用いるのと同様に行なうことができる。ユーザは、例えば、自分の指を直接に使用することができ、また、このようにして任意のタイプの操作を行なうことができる。また、ユーザは、これらの操作をグローブを使用して行なうことができる。この操作中、ユーザは、観察空間内に重ね合わされる２つの画像（実際の画像及び仮想画像）を見る。操作空間１５ｂ内でセンサアクチュエータを使用して、ユーザは、例えば、実際の画像及び仮想画像に作用する。この作用は、コンピュータ２５による処理後に、実空間５０及び仮想空間５１内で伝えられる。実際には、コンピュータの第１の機能は、各空間の各物体に関してユーザにより行なわれる変更後に、実空間の画像と仮想空間の画像との間で時間同期を行なう。これらの空間のそれぞれにおいては、実際の物体又は仮想物体の両側に位置されるセンサアクチュエータ５２，５３，５４，５５が見出される。これらのセンサアクチュエータのそれぞれには１つの処理ユニット５６が設けられる。したがって、実空間５０内で伝えられる作用は、実センサアクチュエータ５２，５３の処理ユニット５６によって受けられる。これらのセンサアクチュエータは、例えば、ロボット又は更にはジャックの関節アームであってもよい。同様に、仮想空間５１内で伝えられる作用は、仮想センサアクチュエータ５４，５５の処理ユニット５６によって受けられる。センサアクチュエータ５２，５３，５４，５５は、デジタル態様でのみ動作するため、観察することができない。
【００３８】
このように、実センサアクチュエータ及び仮想センサアクチュエータは、観察装置２の背後の操作空間１５ｂ内にローカライズされるセンサアクチュエータ３５を介してユーザ１により示される動きを再現する。その結果、操作空間内のセンサアクチュエータの操作の結果としてユーザにより生み出される作用は、実際の物体及び仮想物体の両方に対して伝えられる。
【００３９】
これらの作用に対する反作用として、実センサアクチュエータ５２，５３は力フィードバック信号を送信する。
【００４０】
我々の例では、実センサアクチュエータ５２から来る力フィードバック信号が、実アクチュエータ５６を処理するためのユニットによって処理される。その後、コンピュータ２５は、この信号を受けてそれを処理する。実際には、コンピュータの第２の機能は、実空間の画像と仮想空間の画像との間でスケーリングを行ない、その後、観察空間１５ａ内でこれらの２つの画像の重ね合わせを行なう。
【００４１】
その後、画像は、仮想センサアクチュエータ５２の処理ユニット５６及び操作空間のセンサアクチュエータ３５の処理ユニット５６に対して送られる。
【００４２】
その後、ユーザは、観察空間１５ａ内で力フィードバックを受けることができる。センサアクチュエータにより、手触りの感覚を戻すことができる。
【００４３】
また、このタイプの動作は、実際の物体及び仮想物体を考慮する代わりに２つの仮想物体が考慮される場合（これはダブルバーチャルリアリティのケースである）或いは単一の仮想物体が考慮される場合（これは立体スクリーンのケースである）又は単一の実際の物体が考慮される場合（これは自動立体テレビのケースである）にも適用される。
【図面の簡単な説明】
【００４４】
【図１】観察装置の前に座っているユーザの輪郭図を示している。
【図２】観察装置をその後面から見た分解図を示している。
【図３】観察装置の要素のうちの１つの平面図を示している。
【図４】その前面から見た観察装置を示している。
【図５】観察装置とコンピュータと様々な周辺機器との間の接続形態を示している。
【図６】ユーザによって操作されるセンサアクチュエータを示している。
【図７】操作システムの光学プロセスを示している。
【図７−２】観察装置の光路を示している。
【図８】図１の平面図を示している。
【図９】操作システムの触覚プロセスを示している。
【図１】
2009519481.tif 000003
【図２】
2009519481.tif 000004
【図３】
2009519481.tif 000005
【図４】
2009519481.tif 000006
【図５】
2009519481.tif 000007
【図６】
2009519481.tif 000008
【図７】
2009519481.tif 000009
【図７ｂｉｓ】
2009519481.tif 000010
【図８】
2009519481.tif 000011
【図９】
2009519481.tif 000012
【国際調査報告】
2009519481.tif 000013
2009519481.tif 000014
2009519481.tif 000015
2009519481.tif 000016
2009519481.tif 000017
2009519481.tif 000018