(57)【要約】      （修正有）【課題】遠隔からマニプレータを操縦するオペレータにとって臨場感ある監視システムを含んだオペレーティングシステムを提供する。【解決手段】オペレータが操縦する手作業制御機構の動作に対応する動作をマニプレータ２４にさせるときに、オペレータはマニプレータ近傍の画像、音、フィードバックされてくる力に基づいて手作業制御機構を操縦する。その際のマニプレータ２４の運動が、遠隔固定基準点にて互いに一致する第３及び第４垂直軸を中心とした運動からなり、遠隔固定基準点は、可動シャフトの第１端と第２端の間にてマニプレータ２４の可動シャフトに沿って配置される。【選択図】図１
2004322310.tif 000002
【特許請求の範囲】
【請求項１】
ワークサイト（２２）から遠隔に位置するオペレータ制御ステーション（２０）からワークサイト（２２）の目的物（２６）を操作する方法であって、目的物に隣接してマニプレータ（２４）の可動アーム（３４）を配置すること、及びオペレータ制御ステーションに位置する手作業制御機構（７２）を用いて該アームの運動を制御することをふくむ前記方法において、
ローカル固定基準点にて手作業制御機構（７２）を支持し、
マニプレータ（２４）の可動アーム（３４）上にローカル固定基準点を投射し、ローカル固定基準点に対して手作業制御機構（７２）を移動させ、そして遠隔固定基準点に対するマニプレータ（２４）の運動がローカル固定基準点に対る手作業制御機構（７２）の運動と実質的に同じになるように、マニプレータ（２４）を制御し、その際のマニプレータ（２４）の運動が、遠隔固定基準点にて互いに一致する第３及び第４垂直軸（１５２Ｍ、１５４Ｍ）を中心とした運動からなり、遠隔固定基準点にて互いに一致する第３及び第４垂直軸（１５２Ｍ、１５４Ｍ）を中心とした運動からなり、遠隔固定基準点は、可動シャフト（１７４）の第１端と第２端の間にてマニプレータの可動シャフト（１７４）に沿って配置されることを特徴とする前記方法。
【請求項２】
ワークサイト（２２）を観察して、そして
手作動制御機構（７２）に隣接した場所（６６）に目標部位のイメージを与え、手作動制御機構（７２）の作動中にオペレータ（１８）が観察し、マニプレータ（２４）と手作動制御機構（７２）が実質的に一体となる感覚をオペレータ（１８）に与える、
ことをさらに含む請求項１記載の方法。
【請求項３】
前記移動工程が、ローカル固定基準点にて互いに一致する第１及び第２垂直軸を中心として手作動制御機構（７２）を旋回させることを含む、請求項１記載の方法。
【請求項４】
前記移動工程が、手作動制御機構（７２）に平行な第１軸に沿って手作動制御機構（７２）を並進移動させることを含み、前記制御工程が、前記器具に平行な第２軸に沿ってマニプレータ（２４）に対応した並進移動をさせることを含む、請求項１記載の方法。
【請求項５】
手作動制御機構（７２）上の第２エンドエフェクター（４０）を動作させ、前記器具上の第１エンドフェクター（４０）に対応する動作を行わせることをさらに含む、請求項１記載の方法。
【請求項６】
遠隔場所にてオペレータにより外科手術をするのに使用される場合には、患者の経皮（１０６）を貫通して体腔内の目標部位（１０４）に前記器具（１１０）の末端部を導入すること、及び手作動制御機構（１０２）に隣接した場所にて目標部位（１０４）のイメージを与えることを含み、そして、
前記器具（１１０）と手作動制御機構（１０２）が実質的に一体となっている感覚をオペレータに与える、請求項１記載の方法。
【請求項７】
観察工程が、
患者の経皮を別に貫通して内視鏡（１０８）を導入すること、及び手作動制御機構（１０２）の動作にオおじた内視鏡に対する前記器具（１１０）の末端部の運動方向がオペレータの眼に対する手作動制御機構（１１０）の運動方向と同じになるように、前記器具（１１０）に対して内視鏡を配置すること
を含む、請求項６記載の方法。
【請求項８】
外科手術サイトにおける前記器具（１１０）と組織との接触により生じる触感に対応した触感を手作動制御機構（１０２）にフィードバックして与えることをさらに含む、請求項６記載の方法。
【請求項９】
前記フィードバック工程が外科手術サイトにて組織から前記器具（１１０）に伝えられた力とトルクを感知すること、及び手作動制御機構（１０２）上にて該力とトルクを再生することを含む、請求項８記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般的に、テレオペレータ法とその装置、特に作業現場で働いているオペレータの手に直に感じるのと同じ感覚で遠隔操作する装置のオペレータを提供する手段を含むものに関係する。
【背景技術】
【０００２】
テレオペレーティングは、良く知られているように、マニプレータを使った遠隔位置での作業を人間が行うことを含む。
【０００３】
テレプレゼンス（ｔｅｌｅｐｒｅｓｅｎｃｅ）は、オペレータが、実際に操作を行なう作業現場にいたら、自分自身の手で行うのと同じフィードバックコントロールを行うテレオペレータを提供することを含む。テレプレゼンス操作は、一般的に据え付けのビジュアルディスプレー，特に、遠隔作業場所の立体映像ディスプレーの使用を含む。立体鏡テレビシステムは、例えば米国特許番号４，５６２，４６３と４，５８３，１１７や英国出願特許ＧＢ２，０４０，１３４に示されているように良く知られている。
【０００４】
フィードバック力と共に、映し出す立体鏡テレビを使った遠隔マニプレータもまた、例えば、「運動感覚の結合を通した遠隔マニプレータの制御」，ベクジー（Ｂｅｊｃｚｙ）ら，機械設計のコンピュータ（Ｃｏｍｐｕｔｅｒｓ  ｉｎ  Ｍｅｃｈａｎｉｃａｌ  Ｅｎｇｉｎｅｅｒｉｎｇ），１９８３年７月，４８〜６０頁及び「フォース−フィードバックマニプレータを用いたペグインホール作業に対するステレオの利点（Ｓｔｅｒｅｏ  Ａｄｖａｎｔａｇｅ  ｆｏｒ  ａ  Ｐｅｇ−Ｉｎ−Ｈｏｌｅ  Ｔａｓｋ  Ｕｓｉｎｇ  ａ  Ｆｏｒｃｅ−Ｆｅｅｄｂａｃｋ  Ｍａｎｉｐｕｌａｔｏｒ）」，スペイン（Ｅ．Ｈ．Ｓｐａｉｎ），ステレオスコピック  ディスプレーと応用（Ｓｔｅｒｅｏｓｃｏｐｉｃ  Ｄｉｓｐｌａｙｓ  ａｎｄ  Ａｐｐｌｉｃａｔｉｏｎｓ）第１２５６巻，１９９０年，２４４〜２５４頁の論文に示されているように良く知られている。ベクジーらの論文には、フォーストルクフィードバック（ｆｏｒｃｅ−ｔｏｒｑｕｅ  ｆｅｅｄｂａｃｋ）が含まれている。また、米国特許番号３，９２１，４４５には、動力，トルク及び本発明で用いてもよいタイプのすべりセンサーを含んだマニプレータが示されている。
【０００５】
従来のマニプレータのオペレータには、作業現場に固定した３次元像が送られ、手動で、そのマニプレータをフィードバック制御していたが、オペレータには、作業現場に実際に存在する感覚は与えられていない。本発明は、遠隔マニプレータ現場に、存在するオペレータの感覚を実質的に加えた、遠隔マニプレーションシステムで、監視アレンジメントを目指したものである。
【特許文献１】米国特許第４，５６２，４６３号
【特許文献２】米国特許第４，５８３，１１７号
【特許文献３】英国特許出願第ＧＢ２，０４０，１３４号
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明の目的の一つは、オペレータにより遠隔位置より制御された遠隔マニプレータに存在するオペレータの感覚を強める、改善された監視システムを含んだ、改善されたテレオペレータのシステム及び方法の提供である。
【０００７】
本発明の目的の一つは、前記タイプの改善されたテレオペレータのシステム及び方法の提供であり、オペレータが監視するマニプレータエンドエフェクターの像が、そのエンドエフェクターを制御するのに、オペレータにより使用される手動コントローラの肝要な部分を含むものとして、オペレータにより知覚させられ、その結果、作業現場で得られる強い感覚をオペレータに与える。
【０００８】
本発明の目的の一つは、軍事，工業，生物医学などを含んだ種々の広い用途での使用によく適した前記タイプの改善されたテレオペレータのシステム及び方法の提供である。
【課題を解決するための手段】
【０００９】
本発明は、作業現場に設置され、遠隔オペレータコントロールステーションでの手作動手段により制御されたマニプレータを含む。マニプレータのエンドエフェクターは、作業現場において、作業場所に置かれた物体をマニプレートするのに使われ、フォース  トルク  フィードバックが、エンドエフェクターの受けた機械的抵抗をオペレータに逆に伝達するのに用いられている。
【００１０】
立体映像ディスプレーが、作業場所の像をオペレータに提供する。本発明によれば、前記像が、手作動手段に近接して設置され、オペレータは、手作動手段の方向を向いて、手作動手段に近接した、監視像を見ることになる。現実と仮空のどちらかの作業場所の像が、手作動手段に近接して与えられるであろう。現実の像を映すディスプレー手段が、オペレータによる現実の像の直接の監視のため、手作動手段に近接して設置される。作業場所の仮空の像を映すため、鏡がオペレータの目と手作動手段の間に置かれる。この場合、ディスプレー手段は上下逆の現実の像を映し、その逆になった像は、前記鏡を経て映され、その鏡は、前記像を逆にし、オペレータに作業場所の仮空の像を与え、この作業場所が手作動手段に近接して位置するようにみえる。
【００１１】
エンドエフェクターが作業現場に置かれ、手作動手段が遠隔オペレータステーションに置かれているという事実にもかかわらず、手作動手段に近接して作業場所の像を設置することにより、オペレータは、エンドエフェクターと手作動手段が実質的に一体となる感覚を与えられる。オペレータに作業現場からの立体音響の音を与える、立体音響システムが含まれてもよい。ビデオカメラ手段は、作業現場の監視に使われ、作業現場の像が得られる。種々の他のセンサーやそれらに結合した応答器が、圧力，触覚，熱，振動及び強化されたテレプレゼンスオペレーションのための同様の情報の伝達のため、各々、作業現場とオペレータステーションに設置されてもよい。
【００１２】
用途によっては、異なった倍率操作がオペレータステーションと作業現場間の情報の伝達において用いられてよい。例えば、マイクロアッセンブリー，顕微手術及び、小さな部分のマニプレーションを含むようなオペレーションで、光学的かつ、又はビデオ拡大機がオペレータが監視する、拡大された３次元像を与えるのに使われてもよい。手作動手段とマニプレータの間の同様の倍率操作で、オペレータの感覚は、縮小版のオペレータが作業現場にいるとしたら、もつであろう感覚と実質的には同じとなる。
【００１３】
図面の簡単な説明
本発明は、その他の目的および利点と共に添付図面を考察し下記の説明から最も良く理解されよう。図面は説明および実施例のためだけの目的であり、本説明がこれに限定されるものでないことは理解されよう。各図において、同様の参照数字は同一部品を示す。
【発明を実施するための最良の形態】
【００１４】
図１−３について説明すると、テレオペレータシステムは、オペレータのステーション２０（図１および２）およびワークサイト２２（図１および３）を含むものとして示される。オペレータステーションのオペレータ１８は、遠隔ワークサイトのマニプレータ２４を制御する。マニプレータ２４は、右および左マニプレータ２４Ｒおよび２４Ｌからなり、それぞれ破線で示されるワークスペース３０内のプラットホームまたはベース２８上に置かれる対象物２６のような物体を操作するのに用いられる。説明を目的とするだけであり、これに限定するものではないが、上記右マニプレータ２４Ｒはベース２８に付加されたハウジング３２Ｒを含むものとして示され、そしてこのハウジングから入れ子式アーム３４Ｒが延び出ている。アーム３４Ｒの内端部３４Ｒ１は、従来型装着手段を用いて、任意のピボット方向にピボット運動するように装着される。例えば、アーム３４Ｒの内端部は、水平ピボット軸線３６の周りにピボット運動するように装着され、上記水平ピボット軸線が、引き続いて、垂直軸線３８の周りにピボット運動するようになっている。
【００１５】
アーム３４Ｒは、入れ子式内部部分３４Ｒ１と外部部分３４Ｒ２を含み、外部部分は内部部分３４Ｒ１の内方へ、そして内部部分３４Ｒ１から外方へ軸線方向移動、およびその縦軸線の周りの回転運動の両方に適合するようになっている。エンドエフェクター４０Ｒが、アームの外端部に支持され、説明の目的でグリッパを含むものとして示される。図示されないモータは、ピボット軸線３６および３８周りのアーム３４Ｒのピボット運動，アームの縦軸線に沿うおよび縦軸線周りの外側アーム部分３４Ｒ２の軸線方向および回転運動，およびグリッパ４０Ｒの開放と閉鎖を制御する。上記モータは、モータの制御用のモータ制御回路と共に、上記ハウジング３２Ｒ内に含むこともできる。上記モータは、コンピュータ４２の制御下で右マニプレータインターフェース４４Ｒおよび上記モータ制御回路を経てそれに接続される。
【００１６】
左マニプレータ２４Ｌは、右マニプレータ２４Ｒと事実上同一設計であり、同一参照番号であるがＲの代りに添字Ｌを付し、同一部品認識に用いられる。説明の目的で、図３に示される、左エンドエフェクター４０Ｌは、１対のはさみ刃の様式で作動する切断刃を含むものとして示される。
【００１７】
上記ワークサイトには１対のビデオカメラ４６Ｒおよび４６Ｌが設けられ、線４８Ｒおよび４８Ｌにおいて、それからの立体信号出力の作成のため、異なる角度からワークスペース３０を観察する。図３に示される両カメラの光軸間の角γは、図２に示されるようなワークスペースの像のオペレータの両眼間の視角γに事実上等しい。
【００１８】
線４８Ｒおよび４８Ｌにおけるビデオカメラ出力は、カメラからの右および左の像のビデオ視野の瞬間記憶用のイメージメモリ５０に供給される。イメージメモリ５０からの右および左の像の視野は、左／右スイッチ５２を経て、モニタの面５４Ａにおける２つの像の交互ディスプレー用のテレビジョンモニタのような視覚ディスプレー５４に交互に供給される。調時および制御手段５６は、上記システムの各種素子に調時および制御信号を送り、上記システムの信号調時および制御用の、立体画法ディスプレーシステムに含まれた素子を含んでいる。もしもディジタル記憶手段５０が用いられる時には、記憶に先だちアナログ・ディジタル変換器により、カメラ信号出力のディジタル信号形への変換およびモニタ５４におけるディスプレーに備えて、左／右スイッチから、アナログ信号形式へディジタル信号出力の変換が用いられることもある。
【００１９】
ディスプレー手段５４の表面の電子光学デバイス５８は、調時及び制御ユニット５６からの、左／右同期信号の制御下でディスプレー手段５４から受けた偏光を制御する。上記左および右の像視野は、直角方向に偏光される、右および左の偏光素子６２および６４を備えた、１対の受動偏光眼鏡を着けたオペレータ１８により観察される。上記電子光学デバイス５８を経たディスプレー５４からの偏光は、オペレータによる立体画法目視のため、右視野が左眼から遮光され、そして左視野が右眼から遮光されるような視野による同期された視野である。オペレータに遠隔ワークスペースの立体視界を与えるため、この発明の実施に用いることもできる、例えば、活性立体眼鏡を使用するものを含め、左および右の像視野の立体画法目視用の他の手段は周知である。
【００２０】
モニタ５４用の垂直偏向コイル結線は逆転され、モニタを底部から頂部へ走査させ、これによりワークスペース３０の頂部−底部反転像３０Ｉを生じる。文字ａ，ｂ，ｃおよびｄはワークピース３０および反転ワークスペース像３０Ｉの対応かどを識別するために用いられる。上記反転ワークスペース像３０Ｉは、テーブル６８の上面のミラー６６を介してオペレータにより観察され、上記ミラーは像３０Ｉを反転して、オペレータにより直立位置に観察されるように上記像を反射する。上記ミラーの方向に見おろす時に、オペレータはワークスペース３０の仮想像３０Ｖを観察する。本発明の一態様によると、図１−３において、オペレータにより観察される像は仮想像を含み、ワークサイトにおいてマニプレータ手段２４の制御のため、上記オペレータにより用いられるコントローラ手段７０に隣接配置される。
【００２１】
コントローラ手段７０は、テーブル上面６８の直下に配置されて、右及び左コントローラ７２Ｒおよび７２Ｌを含み、それぞれ右及び左マニプレータ２４Ｒおよび２４Ｌの制御をする。上記右及び左コントローラは事実上同一設計であるので、一方の説明が両方に適用される。マニプレータにおけるように、添字Ｒ及びＬが、右コントローラの素子と左コントローラの素子とを識別するのに用いられる。説明の目的で、これに限定されるものではなく、右コントローラ７２Ｒはテーブル上面６８の底部に固着されたハウジング７４Ｒを含むのが示され、これから入れ子式コントロールアームすなわちスティックの形式の手作動コントローラ７６Ｒが延び出る。
【００２２】
右及び左コントロールアーム７６Ｒおよび７６Ｌは、関連マニプレータアーム３４Ｒ及び３４Ｌにおけると同じ自由度がそれぞれに与えられる。例えばコントロールアーム７６Ｒの内端部はマニプレータピボット軸線３６に相当する水平軸線３６の周りにピボット運動され、この軸線は順次、マニプレータ軸線３８に相当する横断垂直軸線の周りにピボット運動するのに適するようになっている。コントロールアーム７６Ｒはまた内部部分７６Ｒ１および外部部分７６Ｒ２を含み、外部部分は内部部分７６Ｒ１内への軸線方向移動および内部部分７６Ｒ１から出る軸線方向運動、およびその縦軸線周りの回転運動の両方に適している。コントロールアーム７６Ｒには関連マニプレータアーム３４Ｒと同様に４つの自由度が与えられていることは明白であろう。さらに、センサ手段７８Ｒが外部アーム部分７６Ｒ２の外端部に隣接配置され、グリッパ４０Ｒのグリッピング作動を制御するのに用いられる。同様にセンサ手段７８Ｌがコントロールアーム７６Ｌの外端部に隣接され、はさみ刃４０Ｌの作動を制御する使用に適している。
【００２３】
右および左コントローラ７２Ｒと７２Ｌはサーボ機構内に包含され、該機構においてコントロールアーム７６Ｒと７６Ｌはマニプレータアーム３４Ｒと３４Ｌの位置を制御し、そしてセンサー手段７８Ｒと７８Ｌ上の圧力はエンドエフェクター４０Ｒと４０Ｌ、それぞれの開放および閉鎖を制御する。第１図において、右および左手コントローラインタフェース８０Ｒと８０Ｌそれぞれがコンピュータ４２へのコントローラの接続のために示される。遠隔位置における機械的運動の制御用のサーボ機構は公知であり、これはマニプレータからの力及びトルクフィードバックを手作動コントローラ手段へと提供するものである。どのような適したサーボ機構でも本発明の実施に使用でき、しかも力及びトルクフィードバックを組み合わせるものか本発明装置の遠隔立合（ｔｅｌｅｐｒｅｓｅｎｃｅ）操作に特に好ましい。
【００２４】
図示の装置において、右および左マイクロフォンが作業場所に備えられ、これらマイクからの出力が右および左増幅器により増幅されそしてオペレータのステーションにおける右および左スピーカに供給されて作業空間においてオペレータに立体音響を提供するステレオ音響出力を提供する。
【００２５】
第１図においてこのステレオ装置系の右チャンネルのみが示され、ここには右マイクロフォン８２Ｒ、右増幅器８６Ｒおよび右スピーカー８８Ｒが含まれる。ここに左マイクロフォンとスピーカは作業場所におけるそれぞれの右マイクロフォンとスピーカおよびオペレータの制御ステーションの真うしろに位置する（第１図）。当然のことに、イヤフォンがこれらスピーカの代わりにオペレータのために提供でき、これによりオペレータの制御ステーションにおける外部雑音を遮断するに役立てうる。更に第１図において、モニタにおける遮光板５４Ｂが示されオペレータによるモニタ面の直接観察を防止する。
【００２６】
ここに第４図を参照し、ここでは第１乃至３図に示した装置の簡素化した線図を示しそして種々の長さ及び角度位置が図番で示されている。第４図において、作業空間におけるカメラと点Ｆ間の光路長は図番Ｌにより示される。同作業空間のバーチャルイメージにおけるオペレータの眼と点Ｆ間の対応する光路長は距離ａ＋ｂにより示され、ここにａはオペレータの眼からミラー６６への距離でありそしてｂは該バーチャルイメージでの該ミラーから点Ｆ迄の距離である。ここに示される他の寸法はマニプレータの腕３４Ｒの枢軸点上のカメラの高さＧと、コントロールアーム７６Ｒの枢軸点上のオペレータの眼の対応する高さｇを更に含む。長さｄのコントロールアーム７６Ｒによりマニプレータアーム３４Ｒは長さＤに調整されている。同様に垂直に関し角度βA にあるコントロールアーム７６Ｒをもって、マニプレータ３４Ｒは垂直線から同一の角度に位置される。カメラが作業空間を見る垂直線からの角度および、オペレータの眼が作業空間のバーチャルイメージを見る垂直線からの角度はαで示される。作業位置の諸要素とオペレータステーション間には下記の関係が存在する：
ａ＋ｂ＝ｋＬ        （１）
ｄ＝ｋＤ            （２）
ｇ＝ｋＧ            （３）
ここにｋは縮尺ファクタ定数である。
ｋが１の場合はａ＋ｂ＝Ｌ、ｄ＝Ｄそしてｇ＝Ｇであり、作業場所の寸法の縮尺計算は必要でない。
【００２７】
ここにどのような縮尺ファクタも使用でき、本発明は非縮尺操作（ｆｕｌｌ−ｓｃａｌｅ  ｍａｎｉｐｕｌａｔｉｏｎ）に限定されるものでない。例えば作業場所は小さくでき、例えば顕微鏡寸法をも包含し、この場合目的物、両眼間の距離および焦点に関する光学パラメータおよび機械的かつ寸法パラメータが適切に適用される。適切な縮尺（ｓｃａｌｉｎｇ）およびイメージ倍率（ｉｍａｇｅ  ｍａｇｎｉｆｉｃａｔｉｏｎ）、力およびトルクフィードバックを使用することによりまた手作動制御手段７６Ｒと７６Ｌに隣接して作業空間３０のイメージ３０Ｖを位置させることにより、オペレータはエンドエフェクタ４０Ｒと４０Ｌを直接制御する強い感覚を持ちうる。オペレータはエンドエフェクタ４０Ｒと４０Ｌとそれぞれのコントロールアーム７６Ｒと７６Ｌが実質的に一体であるという感覚を受ける。この手作動制御手段とエンドエフェクタの一体化の同一の感覚は、オペレータにより観視されたイメージが手作動制御手段に近接して位置されない公知技術の構成では実感されない。公知技術が立体像観察および、力およびトルクフィードバックを包含する場合といえども、作業対象とする観察像対象物からの断絶感が存在する。本発明はオペレータの手がエンドエフェクタの直接制御を行うとも思える作業空間像を設置することによりこの断絶感を克服する。
【００２８】
小規模の操作例えば外科手術的適用に必要な操作に対しては、ミニアチュア観察者（ｍｉｎｉａｔｕｒｅ  ｏｂｓｅｒｖｅｒ）が実際の作業場所にいる場合に該観察者が持つであろう観察経験を模写することが望ましい。第５図において仮想的ミニアチュア観察者のバーチャルアイ９０が実際の作業空間を観察している状態を示している。この実際の作業空間内の一点、Ｘ，Ｙ，Ｚにおける給源からの光はＸ′／Ｍで表した点においてミニアチュア観察者の眼９０上に或る刺激を与える。第６図において実際のオペレータの眼９２は、この実際の作業空間を観察するに使用されたビデオカメラ９４により生成された拡大したバーチャルイメージを観察して示される。ここに図示のカメラは受光レンズ９６およびＣＣＤ（ｃｈａｒｇｅ−ｃｏｕｐｌｅｄ−ｄｅｖｉｃｅ）アレー９８のような固体イメージング装置を含み、このアレーではＸ，Ｙ，Ｚにおける点状光源がＸi ，Ｙi ，Ｚi で示される。
【００２９】
正確な尺度において、対応する光源は、観察デスプレーの面の実際のまたは見掛け位置の何れかでＭＸi ，ＭＹi ，ＭＺi において生成されるが本装置系の立体画像操作により該オペレータには実際の作業空間における点Ｘ，Ｙ，Ｚに対応する点ＭＸ，ＭＹ，ＭＺから発生しているように思われる。実際の眼９２の網膜において、ある刺激が、仮想的観察者の眼９０における点Ｘ′／Ｍと比例的に同一位置で点Ｘ′に生成される。この関係は正確に寸法合わせしたカメラ距離およびレンズ焦点長さを、光学的倍率ＭO ＝Ｍ／ＭV （ここにＭは望んだ全体倍率そしてＭV はビデオ倍率である）となるように選択することにより保証される。典型的ビデオ倍率ＭV は約４０であり、該倍率はＣＣＤアレー９８の巾とディスプレー巾との比に等しい。
【００３０】
ここに第７図乃至第９図により医療方面に利用する本発明の態様を示す。ここに右および左マニプレータ１００Ｒと１００Ｌが示され、これらは右および左コントローラ１０２Ｒと１０２Ｌそれぞれにより制御されて示される。イメージング装置系の各要素は、実際の作業空間１０４の拡大バーチャルイメージ１０４Ｖがオペレータにより観察のため提供されることを除いては、上記第１乃至第３図に示したイメージング系に使用した要素と実質的に同一である。更に右および左コントローラ１０２Ｒと１０２Ｌをそれぞれのマニプレータ１００Ｒと１００Ｌに接続するためのサーボ機構要素もまた第１乃至第３図に関して記載したものと実質的に同一である。ここに図示の装置において、右および左マニプレータは右および左コントローラと実質的に同一構造であり、即ちあるマニプレータおよびあるコントローラの記述は両者に等しく適用できる。更に接尾語ＲとＬは右と左の多要素間を区別するために使用される。
【００３１】
これらマニプレータは外部制御セクション１００ＲＡと１００ＬＡおよび挿入セクション１００ＲＢと１００ＬＢを包含し、ここに挿入セクションは円筒チューブまたはカニユーレを介して体腔内に挿入するに適した部分である。説明のため、マニプレータが患者の腹壁１０６を通して挿入して示される。広く理解されるように腹腔鏡外科手術のため、腹壁１０６は吹込み法により内臓から分離され、この吹込み法はガスを図示していないが適当な手段により腹部に導入する方法である。マニプレータ・モータおよびそれと組み合わされたモータ制御図路はマニプレータの外部制御セクション１００ＲＡと１００ＬＡ内に入れられ挿入セクションの制御を行う。マニプレータは腹腔内の臓器を観察するための腹腔鏡１０８と共に患者が保持されている手術台の一部を形成する固定レールにより担持されている。
【００３２】
マニプレータのインサーションセクション１００ＲＢ及び１００ＬＢは、図１〜３の態様に関して上述したマニプレータアーム３４Ｒ及び３４Ｌと実質的に同じ構成のものでよい。該インサーションセクションは、体の内部で使用するため比較的小さい大きさを有する。インサーションセクション１００ＲＢは入れ子式の内方セクション１１２Ｒ１及び外方セクション１１２Ｒ２を含み、しかして該外方セクションは内方セクション１１２Ｒ１に対して出入りする軸線方向の移動並びにその長手軸線の回りの回転の両方に適合されている。エンドエフェクター１１４Ｒ及び１１４Ｌは、器官１１６の操作のためにそれぞれ右及び左のセクション１１２Ｒ２及び１１２Ｌ２の外方端において担持されている。内方セクション１１２Ｒ１は、当該インサーションセクションが壁１０６を横切る点Ｐに実質的に位置する交差垂直軸線の回りの旋回運動に適合されている。エンドエフェクター１１４Ｒ及び１１４Ｌの操作を除いて、各マニプレータアームは、図１〜３に示された態様と同じく４の自由度が与えられている。エンドエフェクター１１４Ｒ及び１１４Ｌは単に、本質的には、例えばケン引器、電気外科用カッター及びコアギュレータ、顕微ピンセット、顕微針、ホールダー、解剖用ハサミ、刃、かん腸器及び縫合糸を含めてハンドルが除去された顕微外科用器具からなっていてもよい。
【００３３】
ワークスペース１０４を観るためのラパロスコープ１０８は、外方の操作セクション１０８Ａ及びインサーションセクション１０８Ｂからなるものが示されている。インサーションセクション１０８Ｂの外方エンドセクション１２０はその内方エンド１２２内で軸線方向にかつ回転可能的移動でき、かつワークスペース１０４を立体的に観るための一対の画像トランスミッションウインドウ１２４，１２４が設けられている。該ラパロスコープにはまた、該ワークスペースを照明するための照明手段（図示せず）並びに液体が該ウインドウを通過して流れるための液体用入口及び出口手段（図示せず）が設けられている。セクション１０８Ａ内のビデオカメラ手段は、画像メモリ５０への連結用のアウトプットライン４８Ｒ及び４８Ｌにおいて左及び右の電子画像の発生のためビューイングウインドウを通って受け取られる光に応答する。拡大三次元画像１０４Ｉが、ミラー６６を経てオペレータが着ける干渉偏波メガネ６０によって観られるようにするためディスプレー手段５４において作られる。図１−３に示されている態様と同様に、ワークスペース１０４が、コントローラ１０２Ｒ及び１０２Ｌのコントローラアーム１３０Ｒ及び１３０Ｌに隣接して作られる。コントローラアーム１３０Ｒ及び１３０Ｌは、上述した図１−３の態様において含まれているコントローラアーム７６Ｒ及び７６Ｌと同じタイプのものである。それらは、入れ子式の内方及び外方セクション１３２Ｒ１及び１３２Ｒ並びに１３２Ｌ１及び１３２Ｌ２を含む。コントロールアームの外方エンドに隣接して位置するセンサー手段１３４Ｒ及び１３４Ｌは、図１−３を参照して上述したやり方でそれぞれエンドエフェクター１１４Ｒ及び１１４Ｌの操作を制御する。ここで、画像がオペレータにより観られる垂直線からの角度は対象物が該カメラにより観られる垂直線からの角度に等しい必要はない、ということが留意されよう。図７−９に示された配置では、オペレータが垂直線から角度θにて画像１０４Ｖを観るように示されており、一方対象物１１６は直接下向きに観られるように示されている。外部参照がない場合、体内の垂直線の感覚は特に大きくなく、垂直線に対して観察者及びカメラが種々の角度で観る結果オペレータの精神に混乱は生じない。
【００３４】
図７−９の態様の場合、ワークスペースの拡大虚像１０４Ｖがオペレータにより観られるために与えられるのみならず、マニプレータのインサーションセクション１００ＲＢ及び１００ＬＢの長さより長い長さのコントローラアーム１３０Ｒ及び１３０Ｌが用いられる。入れ子式のコントロールアームの軸線方向の移動のサーボ機構スケーリングが与えられて、その軸線方向の延出又は引込みが入れ子式の該インサーションセクションのより小さい延出又は引込みをもたらすようにされる。スケーリングなしでは、コントロールアーム１３０Ｒ及び１３０Ｌの角旋回運動はインサーションセクション１００ＲＢ及び１００ＬＢの同じ角旋回運動を生じさせ、そして該コントロールアームのエンドセクション１３２Ｒ２及び１３２Ｌ２の回転運動は右及び左のマニプレータのインサーションセクションのエンドセクション１１２Ｒ２及び１１２Ｌ２の同じ回転運動を生じさせる。拡大画像に関する本発明のこの態様は、顕微外科の分野特に大きさの制限のために外科医が手によって所与の領域に達し得ない場合特に有用である。
【００３５】
本発明は、いかなる特定数の自由度を有するマニプレータについての使用に限定されない。当該技術で周知の種々の自由度を有するマニプレータが本発明の実施に用いられ得る。ここで図１０及び１１を参照すると、リストジョイントを設けて追加的な運動自由が与えられているコントローラ１４０及びマニプレータ１４２がそれぞれ示されている。図示されたコントローラ１４０は、テーブルミラー６６が置かれるテーブルトップ６８の底部に取り付けられたハウジング１４４を含む。現実のワークスペース１４６の拡大虚像１４６Ｖが、上述したやり方でミラー６６上を下向きで見るときオペレータにより観られ得るようにオペレータの手１４８に隣接して与えられる。
【００３６】
それぞれ内方及び外方セクション１５０Ｌ１及び１５０Ｌ２からなるコントロールアーム１５０Ｌが、双頭矢印１５２及び１５４を交差させることにより示されているようにいかなる旋回方向にも旋回運動するようにハウジング１４４内に設置される。外方セクション１５０Ｌ２は、双頭矢印１５６の方向において内方セクション１５０Ｌ１に対して出入りする軸線方向の移動に適合されている。それはまた、双頭矢印１５８の方向においてその長手軸線の回りの回転に適合されている。この態様では、コントロールアームは、双頭矢印１６４の方向の旋回運動のためにリストジョイント１６２により外方セクション１５０Ｌ２にピボット取り付けされている。エンドセクション１６０は軸線方向に整合した内方及び外方セクション１６０Ａ及び１６０Ｂからなり、しかしてその外方セクション１６０Ｂは双頭矢印１６６の方向においてその長手軸線の回りに回転可能である。上述した配置の場合のように、センサー手段１６８が、図１１に示されたマニプレータ１４２におけるエンドエフェクター１７０の操作のためにコントロールアームの自由端に隣接して設置されている。
【００３７】
図１１を参照すると、軸線方向に整合されたリンク１７２Ａ及び１７２Ｂからなるリスト１７２に取り付けられた一対の可動ジョーからなるエンドエフェクター１７０が示されている。外方リンク１７２Ｂは、矢印１６６の方向における手動コントロールユニットのセクション１６０Ｂの回転に応答して、双頭矢印１６６Ｍの方向において内方のリンク１７２Ａに対して長手軸線の回りにモーター手段（図示せず）により回転できる。リストリンク１７２Ａは、ピボット軸線１６２の回りの手動コントロール手段のエンドセクション１６０の旋回運動に応答して、双頭矢印１６４Ｍの方向において旋回運動するようにマニプレータの前アーム１７４にピボット取り付けされている。前アーム１７４は、双頭矢印１５６の方向におけるコントロールアーム１５０Ｌの外方セクション１５０Ｌ２の軸線方向の移動に応答して、双頭矢印１５６Ｍの方向において長手方向で軸線方向に移動できる。それはまた、双頭矢印１５８の方向におけるコントロールアーム１５０Ｌの外方セクション１５０Ｌ２の回転に応答して、双頭矢印１５８Ｍの方向において長手軸線の回りに回転できる。加えて、それは、それぞれ双頭矢印１５２及び１５４の方向におけるコントロールアーム１５０Ｌの旋回運動に応答して、双頭矢印１５２Ｍ及び１５４Ｍの方向において点１７６の回りで旋回的に運動できる。遠隔的な腹腔鏡検査法的外科のような生医学的用途のためには、ピボット点１７６は、実質的にマニプレータが延出する腹壁１７８のレベルに位置される。図１１において、マニプレータアーム１７４は、腹壁を貫通するカニューレ１８０を通って延出するマニプレータアーム１７４が示されている。
【００３８】
マニプレータの外部操作端は、その上に主体が支持されている手術テーブルの支持レール（図示せず）に、取付られるように設計される。それはグリッパー１７０の開閉用エンドエフェクタ駆動モータを含む。リスト駆動モータ１８４はリスト１７２の枢軸運動を二頭矢印１６４Ｍの方向に制御し、そして延長駆動モータ１８６はマニプレータアーム１７４の軸性の運動を二頭矢印１５６Ｍの方向に制御する。前アーム枢転制御モータ及びリンケージは、一般に参照番号１８８で表示されるが、アーム１７４の枢軸運動を矢印１５２Ｍ及び１５４Ｍの方向に枢軸点１７６のまわりに提供する。点１７６のまわりの枢軸運動はマニプレータの外部操作端の横運動と同時のアーム１７４の枢軸運動とによって与えられる。運動は共働されて、その結果前アームの回転の中心が腹部壁のレベルで点１７６に於て空中に固定される。
【００３９】
コントローラ１４０及びマニプレータ１４２は図７，８及び９に示されるようなシステムに含まれており、このシステムは操作者が右手で使用するための第２のコントローラ及びマニプレータを含み、そして手動コントローラによるマニプレータの遠隔操作のため、適切なタイプの関連するサーボ機構（図示せず）を含む。作業場に於けるビデオカメラ手段は、図９に示されるように、表示手段と共に、図７で示されるものがあるが、操作者に左手及び右手で操作する制御手段に隣接した位置で作業空間のイメージを与えるために採用される。リスト結合を有するマニプレータを使用することにより、追加の自由の度合がその増加した操作性及び有用性のために与えられる。但し、上述の如く、本発明はある一定の自由度を有するマニプレータに限定されるものでない。
【００４０】
さて図１２及び１３を参照すると、ここでは本発明の変形が示されており、これは作業空間（図示せず）の３−二次元イメージ２４０Ｉの直視を提供する。図１２及び１３では、操作者の作業台だけが示されており、これは左右のコントローラ２４２Ｒ及び２４２Ｌ、および上記コントローラ及びコントロールアームと同じタイプのものでもよい関連する左右手動手段２４４Ｒ及び２４４Ｌを含む。操作者の作業台は上記したタイプのものであってもよいマニプレータの遠隔操作用に設計される。作業空間の３−二次元イメージは視覚表示手段２４６と電気光学装置５８とを共用することにより表示手段及び操作者が着用する断面偏光（ｃｒｏｓｓ−ｐｏｌａｒｉｚｅｄ）眼鏡の面で与えられる。この表示手段に対して、作業空間を視る左右のビデオカメラからの左右のビデオ場が、すべて上記に詳述した態様で、交互に供給される。エンドエフェクター及び目的イメージ２４８及び２５０は、それぞれ、作業場でビデオカメラから見て作業空間内に示される。この表示手段２４６は操作者による直視のために左右手動手段２４４Ｒ及び２４４Ｌに隣接して位置される。この配置により、エンドエフェクター及び目的イメージは手動手段２４４Ｒ及び２４４Ｌと共に操作者により同時に可視である。手動手段は又可視なので、操作者はエンドエフェクター手段及び手動手段の間の接続視覚を与えられ、これによりそれらは実質的に一体のものとして現われる
【００４１】
さて、図１４を参照すると、ここでは内視鏡の挿入部の遠方端部、又は先端、２６０が示されており、これは前述の「イントロダクション  トウ  ア  ニュープロジェクト  フォア  ナショナル  リサーチ  アンド  デベロプメント  プログラム（ラージ−スケイル  プロジェクト）イン  エフワイ  １９９１」（“Ｉｎｔｒｏｄｕｃｔｉｏｎ  ｔｏ  ａ  Ｎｅｗ  Ｐｒｏｊｅｃｔ  ｆｏｒ  Ｎａｔｉｏｎａｌ  Ｒｅｓｅａｒｃｈ  ａｎｄ  Ｄｅｖｅｌｏｐｍｅｎｔ  Ｐｒｏｇｒａｍ  （Ｌａｒｇｅ−Ｓｃａｌｅ  Ｐｒｏｊｅｃｔ）ｉｎ  ＦＹ  １９９１”）と称する刊行物に示されていると実質的に同じタイプのもので、この内視鏡は本発明の実施に使用してもよい。内視鏡の挿入端は一対の間隔を置いて離れたのぞき窓２６２Ｒ及び２６２Ｌ、そして観察する作業空間を見て照明するための照明源を含む。窓で受領した光は目的レンズ手段（図示せず）によって焦点合わせされ、繊維−光（ｆｉｂｅｒ−ｏｐｔｉｃ）バンドルを通して該内視鏡の操作端に於ける（図示せず）カメラに移送される。カメラ出力は作業空間の３−二次元イメージに変換されるが、この二次元イメージは操作者の作業台に於て（図示せず）手動手段に隣接して位置されている。左右の操縦可能なカテーテル（ｃａｔｈｅｔｅｒｓ）２６８Ｒ及び２６８Ｌは内視鏡本体内の補助チャネルを通過する。このカテーテルは、図示されているように、遠方端部からの延長のために設計されている。エンドエフェクター２７０Ｒ及び２７０Ｌは慣用の内視鏡器具よりなってもよいカテーテルの端部に設けられている。力感知器（ｆｏｒｃｅ  ｓｅｎｓｏｒｓ）（図示せず）は、又内視鏡チャネルを通して挿入される。操縦可能なカテーテルは、カテーテルの曲げ及び本発明での使用に適したエンドエフェクターの操作を制御する制御ワイヤーを含むが、公知のものである。制御ワイヤーの操作のための制御モータは内視鏡の操作端に設けられており、これらのモータは、遠隔操作者の作業台からの操縦可能なカテーテル及び関連するエンドエフェクターの操作のために上記したタイプのサーボ機構に含まれる。他の実施態様としては、サーボ機構システムに於けるインターフェースするコンピュータは操作者の手の動きをエンドエフェクターの共働システム中に再マップし、そしてエンドエフェクターのイメージは上記した方法で手動コントローラに隣接して可視である。この実施態様では、操作者は内視鏡を通して両手を直接エンドエフェクター上にその制御のために置くために手をのばすという感覚を持つ。異ったタイプの内視鏡は本発明のこの実施態様で採用しても良い。但し、エンドエフェクター手段の制御に使用するためのひとつ又はそれ以上の補助チャネル、作業空間の視覚表示を与えるのに用いる適切な視覚手段を含む場合に限る。例えば、胃，結腸（ｃｏｌｏｎｓｃｏｐｉｃ），及び同じタイプの、内視鏡が採用される。
【００４２】
以上本発明を特許法の要求に従って詳細に記載したが、種々の他の変化及び修正は当業者にとって自明であろう。例えば、上記の如く、本発明は触診のためのそして組織及び器具をマニプレートするための微妙な感覚を与える触覚のフィードバック（ｆｅｅｄｂａｃｋ）の使用を含む。このフィードバックを与えるため、触覚センサーアレーが手動制御手段上の触覚センサー刺激アレーに結合しているエンドエフェクター上に含まれていてもよく、これが操作者の手の上に触覚感覚を再生する。テレオペレータ触覚感知のための種々の伝達（ｔｒａｎｓｄｕｃｔｉｏｎ）技術が知られているが、これは抵抗／伝導，半導体，圧電気容量性及び光電子のものを含む。異るタイプの手動制御手段及びマニプレータが採用されても良いが、例えば、ギンバル（ｇｉｍｂａｌｓ），リンケージ（ｌｉｎｌｃａｇｅｓ），プレー（ｐｕｌｌｅｙｓ），  ケーブル（ｃａｂｌｅｓ），駆動ベルト及びバンド，ギア（ｇｅａｒｓ），光学又は電磁気位置エンコーダ，及び角形及び線形モーターを含めて、非常に広範囲の公知の機構及び電子機械要素を使用する。オペレータに対する力フィードバック（ｆｏｒｃｅ  ｆｅｅｄｂａｃｋ）は手動制御手段との人体接触の使用を要求する。例示されたような手づかみタイプのハンド  コントローラと、制御ブレース（ｃｏｎｔｒｏｌ  ｂｒａｃｅ）タイプのハンド  コントローラの両方とも、オペレータに対する力フィードバックのために本発明で十分使用されるよう設計されている。制御ブレース  ハンド  コントローラは関節角を測定するためにオペレータの関節に取付けられたポジティブセンサを有する構造の使用を含む。力フィードバックはそれから各関節に適用することができる。同様に、個々の指の曲げを測定するために関節に取付けられた可変−抵抗又は繊維−光学フレックスセンサを有する光繊維手袋を使用して良い。この種の手袋は現実物体とのテレプリゼンス  インターアクション（ｔｅｌｅｐｒｅｓｅｎｃｅ  ｉｎｔｅｒａｃｔｉｏｎ）を与えるために力フィードバックを具備している。採用される手作動制御手段のタイプに関係なく、ワークピースのイメージはそれに隣接して生成されオペレータにエンドエフェクター手段及び手作動制御手段は実質的に一体であるという感覚を与える。又、上記の如く、多くの異るタイプのサーボ機構がロボット及びテレオペレータシステム技術で良く知られており、本発明はあるひとつのタイプに限定されるものでない。オペレータへの力及びトルクフィードバック（ｆｏｒｃｅ  ａｎｄ  ｔｏｒｑｕｅ  ｆｅｅｄｂａｃｋ）を含むものが、好まれており、操作のテレプリゼンス（ｔｅｌｅｐｒｅｓｅｎｃｅ）感覚に寄与する。加えて、作業空間の立体鏡イメージを生成する多くの異った手段が公知である。例えば、二台のカメラを使用する代りに、単一のカメラが切り換え断面−偏光要素（ｓｗｉｔｃｈｅｄ  ｃｒｏｓｓ−ｐｏｌａｒｉｚｉｎｇ  ｅｌｅｍｅｎｔｓ）と共にイメージ受領通路で採用してもよい。この場合には、一対の間隔を置いて離れた立体鏡レンズが作業空間を異る角度から見てそしてその第１及び第２のイメージをカメラに与えるために使用される。図９の構成では、ここではラパロスコープ（ｌａｐａｒｏｓｃｏｐｅ）が示��れているが、他のタイプの内視鏡が作業空間を見るために使用されて良い。上述の如く、本発明はある一定の適用又は使用に限定されるものではない。バイオメディカル分野では、使用は、例えば、遠隔位置からの手術を含む、公開手術、及びマイクロサージェリー（ｍｉｃｒｏｓｅｒｇｅｒｙ），及びラパロスコープ手術及び内視鏡手術のような最少限侵略手術（ｍｉｎｉｍｕｍ  ｉｎｖａｓｉｖｅ  ｓｕｒｇｅｒｙ）を含む。マイクロスコープのマニプレーションを含む実験室での使用も又意図されている。本発明の産業的使用は、例えば、有害物質の取扱、遠隔操作、マイクロアセンブリー（ｍｉｃｒｏａｓｓｅｍｂｌｙ）、及びその類似物を含む。本発明のテレオペレータシステムの軍事的及び海面下の使用は明白である。
【００４３】
上記したこと及び他のかかる変化及び修正が添付の請求項に定義された発明の精神及び範囲に該当すべきことが意図されている。
【図面の簡単な説明】
【００４４】
【図１】ワークサイトおよび遠隔制御オペレータのステーションの側面図を含む、本発明を具体化するテレオペレータ装置の線図である。
【図２】事実上図１の線２−２に沿ったオペレータのステーションの拡大背面図である。
【図３】事実上図１の線３−３に沿ったワークサイトの拡大背面図である。
【図４】図１に類似の、ワークサイトの素子とオペレータステーションの素子との寸法的関係を示す簡易側面図である。
【図５】ミニチュア仮想の眼による視覚認識を示す線図である。
【図６】像の拡大が用いられる時に、オペレータによる視覚認識を示す線図である。
【図７】図１の線図に類似するが、テレプレゼンス手術に用いられるテレオペレータシステムを示す線図である。
【図８】図７に示されるオペレータのステーションの背面図である。
【図９】図７に示されるワークサイトの背面図である。
【図１０】自由度を増した、オペレータのステーションおよびマニプレータの変型の部分側面図である。
【図１１】自由度を増した、オペレータのステーションおよびマニプレータの変型の部分側面図である。
【図１２】ディスプレー手段が、オペレータの直視用に配置される、オペレータのステーションの変型の側面図である。
【図１３】図１２に示されるオペレータのステーションの変型の側面図である。
【図１４】本発明と共に用いられる内視鏡の挿入部分の部分図である。
【符号の説明】
【００４５】
２２    ワークサイト
２４    マニプレータ
２６    目的物
３４    可動アーム
７２    手作動制御機構
【図１】
2004322310.tif 000003
【図２】
2004322310.tif 000004
【図３】
2004322310.tif 000005
【図４】
2004322310.tif 000006
【図５】
2004322310.tif 000007
【図６】
2004322310.tif 000008
【図７】
2004322310.tif 000009
【図８】
2004322310.tif 000010
【図９】
2004322310.tif 000011
【図１０】
2004322310.tif 000012
【図１１】
2004322310.tif 000013
【図１２】
2004322310.tif 000014
【図１３】
2004322310.tif 000015
【図１４】
2004322310.tif 000016