(57)【特許請求の範囲】
【請求項１】
患者の切開部を通して挿入される手術器具を外科医が制御可能にするためのシステムであって、前記切開部に旋回点が配置された前記システムにおいて、
手術器具を保持すると共に、被駆動ジョイントと手術器具を回転させるための作動器とを有するマニプレータアームであって、手術器具は、細長いシャフト、リストジョイント１６２、及びエンドエフェクター１１４を有し、該シャフトは、該アームに隣接した基部側の端部を有し、該リストは、該シャフトの末端側の端部をエンドエフェクター１１４に旋回自在に連結する、前記マニプレータアーム；
外科医から入力指令を受け取る第１入力装置（コントローラ）１０２；
エンドエフェクター１１４のリアルタイム画像を取り込むための画像取込装置；
リアルタイムの表示を生成するための画像生成器であって、外科医は、エンドエフェクター１１４及び第１入力装置（コントローラ）１０２の間の接続視覚が付与され、これによりそれらは実質的に一体のものとして現れる、前記画像生成器；及び
前記入力指令を受け取り、前記入力指令に基づいて前記アームの運動を計算し、前記被駆動ジョイント及び前記作動器を作動させる出力指令を与え、前記旋回点のまわりに手術器具を運動させるためのコンピュータであって、該コンピュータは、該旋回点のまわりに該シャフトの前アームを旋回させ、かつ患者内で該リストを旋回させることにより、エンドエフェクター１１４を移動させる、前記コンピュータ；
を備える前記システム。
【請求項２】
エンドエフェクター１１４が作動ジョイントを有し、前記コンピュータが、エンドエフェクターの作動ジョイントを作動させる、請求項１に記載のシステム。
【請求項３】
遠隔制御オペレータステーションからワークサイトでの最小侵襲手術を実行するためにスレーブマニプレータを制御するシステムであって、該スレーブマニプレータは、移動自在にスレーブリスト部材１７２に連結されたスレーブエンドエフェクター１７０を備え、該スレーブリスト部材は、移動自在にスレーブマニプレータアーム１７４に連結され、該システムは、
複数のマスターリンク機構を含んだ手動制御アーム１５０Ｌであって、該制御アームは片手でマスターリンク機構をを操作しスレーブマニプレータアーム１７４、スレーブリスト部材１７２、及びスレーブエンドエフェクター１７０の運動を制御できる前記手動制御アーム１５０；
遠隔制御オペレータステーションからワークサイトで患者の体内において最小侵襲手術を行うために、マスターリンク機構をスレーブマニプレータアーム１７４、スレーブリスト部材１７２、及びスレーブエンドエフェクター１７０に連結させ、これによりマスターリンク機構の運動に応じてスレーブマニプレータアーム１７４を移動させ、スレーブリスト部材１７２を関節連結し、スレーブエンドエフェクター１７０を作動させるサーボ機構；
スレーブエンドエフェクター１７０のリアルタイム画像を取り込むための画像取込装置；及び
リアルタイムの表示を生成するための画像生成器であって、オペレータは、スレーブエンドエフェクター１７０及び制御アーム１５０の間の接続視覚が付与され、これによりそれらは実質的に一体のものとして現れる、前記画像生成器；
を備える、前記システム。
【請求項４】
前記制御アーム１５０は、マスターマニプレータアーム１５０Ｌ２、移動自在に該マスターマニプレータアームに連結されたマスターリスト部材１６０、及び移動自在に該マスターリスト部材に連結されたマスターエンドエフェクターセンサ７８を含み、前記サーボ機構は、手動によるマスターマニプレータアーム１５０Ｌ２の運動に応じてスレーブマニプレータアーム１７４を運動させるため、スレーブマニプレータアームをマスターマニプレータアーム１５０Ｌ２に連結し、手動によるマスターリスト部材１６０の運動に応じてスレーブリスト部材１７２を関節連結するため、スレーブリスト部材をマスターリスト部材１６０に連結し、手動によるマスターエンドエフェクターセンサ７８の運動に応じてスレーブエンドエフェクター１７０を作動させるため、スレーブエンドエフェクターをマスターエンドエフェクターセンサ７８に連結して構成され、スレーブマニプレータアーム１７４は患者の体の外部から駆動される、請求項３に記載のシステム。
【請求項５】
前記マスターマニプレータアーム１５０Ｌ２は、旋回点に対して旋回自在である、請求項４に記載のシステム。
【請求項６】
前記マスターマニプレータアーム１５０Ｌ２は、基部側の部分と末端側の部分の間に延びる軸を有し、該マスターマニプレータアームは、該軸のまわりに回転できる、請求項４に記載のシステム。
【請求項７】
前記マスターマニプレータアーム１５０Ｌ２は、基部側の部分と末端側の部分の間に延びる軸を有し、該マスターマニプレータアームは、該軸に沿って運動自在である、請求項４に記載のシステム。
【請求項８】
前記マスターリスト部材１６０は、旋回ジョイントにて前記マスターマニプレータアーム１５０Ｌ２に連結され、該旋回ジョイントに対して旋回自在である、請求項４のシステム。
【請求項９】
前記マスターリスト部材１６０は、基部側の部分と末端側の部分との間に延びる軸を有し、該マスターリスト部材は、該軸のまわりに回転できる、請求項４に記載のシステム。
【請求項１０】
前記マスターリスト部材１６０は、基部側の部分と末端側の部分との間に延びる軸を有し、該マスターリスト部材は、該軸に沿ってマスターマニプレータアームに１５０Ｌ２対して運動自在である、請求項４に記載のシステム。
【請求項１１】
前記マスターエンドエフェクターセンサ７８が、旋回ジョイントにてマスターリスト部材１６０に連結され、該旋回ジョイントに対して旋回できる、請求項４に記載のシステム。
【請求項１２】
前記マスターエンドエフェクターセンサ７８は、前記旋回ジョイントに対して旋回自在な開閉する１対のジョーを備える、請求項１１に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般的に、テレオペレータ法とその装置、特に作業現場で働いているオペレータの手に直に感じるのと同じ感覚を遠隔装置のオペレータに提供する手段を含むものに関係する。
【背景技術】
【０００２】
テレオペレーティングは、良く知られているように、マニプレータを使った遠隔位置での作業を人間が行うことを含む。
【０００３】
テレプレゼンス（ｔｅｌｅｐｒｅｓｅｎｃｅ）は、オペレータが実際に操作を行なう作業現場にいたら、自分自身の手で行うのと同じフィードバックコントロールをテレオペレータに提供することを含む。テレプレゼンス操作は、一般的に据え付けのビジュアルディスプレー，特に、遠隔作業場所の立体映像ディスプレーの使用を含む。立体テレビシステムは、例えば米国特許第４，５６２，４６３号と第４，５８３，１１７号や英国出願特許ＧＢ２，０４０，１３４に示されているように良く知られている。
【０００４】
フィードバック力と共に、映し出す立体テレビを使った遠隔マニプレータもまた、例えば、「運動感覚の結合を通した遠隔マニプレータの制御」，ベクジー（Ｂｅｊｃｚｙ）ら，機械設計のコンピュータ（Ｃｏｍｐｕｔｅｒｓ  ｉｎ  Ｍｅｃｈａｎｉｃａｌ  Ｅｎｇｉｎｅｅｒｉｎｇ），１９８３年７月，４８〜６０頁及び「フォース−フィードバックマニプレータを用いたペグインホール作業に対するステレオの利点（Ｓｔｅｒｅｏ  Ａｄｖａｎｔａｇｅ  ｆｏｒ  ａ  Ｐｅｇ−Ｉｎ−Ｈｏｌｅ  Ｔａｓｋ  Ｕｓｉｎｇ  ａ  Ｆｏｒｃｅ−Ｆｅｅｄｂａｃｋ  Ｍａｎｉｐｕｌａｔｏｒ）」，スペイン（Ｅ．Ｈ．Ｓｐａｉｎ），ステレオスコピック  ディスプレーと応用（Ｓｔｅｒｅｏｓｃｏｐｉｃ  Ｄｉｓｐｌａｙｓ  ａｎｄ  Ａｐｐｌｉｃａｔｉｏｎｓ）第１２５６巻，１９９０年，２４４〜２５４頁の論文に示されているように良く知られている。ベクジーらの論文には、フォーストルクフィードバック（ｆｏｒｃｅ−ｔｏｒｑｕｅ  ｆｅｅｄｂａｃｋ）が含まれている。また、米国特許第３，９２１，４４５号には、動力，トルク及び本発明で用いてもよいタイプのすべりセンサーを含んだマニプレータが示されている。
【０００５】
従来のマニプレータのオペレータには、作業現場に固定した３次元像が送られ、手動で、そのマニプレータをフィードバック制御していたが、オペレータには、作業現場に実際に存在する感覚は与えられていない。本発明は、遠隔マニプレータ現場でのオペレータの存在感覚を実質的に加える遠隔操作システムにおいて使用する装置を目指したものである。
【特許文献１】米国特許第４，５６２，４６３号
【特許文献２】米国特許第４，５８３，１１７号
【特許文献３】英国特許出願第ＧＢ２，０４０，１３４号
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明の目的の一つは、オペレータにより遠隔位置から制御される遠隔マニプレータでのオペレータの存在感覚を強める、改善された監視システムを含んだ、改善されたテレオペレータのシステム及び方法の提供である。
【０００７】
本発明の目的の一つは、前記タイプの改善されたテレオペレータのシステム及び方法の提供であり、オペレータが監視するマニプレータのエンドエフェクターの像が、そのエンドエフェクターを制御するのに、オペレータにより使用される手動コントローラの肝要な部分を含むものとして、オペレータにより知覚させられ、その結果、作業現場で得られる強い感覚をオペレータに与える。
【０００８】
本発明の目的の一つは、軍事，工業，生物医学などを含んだ種々の広い用途での使用によく適した前記タイプの改善されたテレオペレータのシステム及び方法の提供である。
【課題を解決するための手段】
【０００９】
本発明は、作業現場に設置され、遠隔オペレータ制御ステーションでの手動コントローラ手段により制御されるマニプレータを含む。マニプレータのエンドエフェクターは、作業現場において、作業現場に置かれた物体をマニプレートするのに使われ、フォース  トルク  フィードバックが、エンドエフェクターの受けた機械的抵抗をオペレータに逆に伝達するのに用いられている。
【００１０】
立体映像ディスプレーが、作業現場の像をオペレータに提供する。本発明によれば、前記像が、手動コントローラ手段に近接して設置され、オペレータは、手動コントローラ手段の方向を向いて、手動コントローラ手段に近接した、監視像を見ることになる。現実と仮空のどちらかの作業現場の像が、手動コントローラ手段に近接して与えられるであろう。現実の像を映すディスプレー手段が、オペレータによる現実の像の直接の監視のため、手動コントローラ手段に近接して設置される。作業現場の仮空の像を映すため、ミラーがオペレータの目と手動コントローラ手段の間に置かれる。この場合、ディスプレー手段は上下逆の現実の像を映し、その逆になった像は、前記ミラーを経て映され、そのミラーは、前記像を逆にし、オペレータに作業現場の仮空の像を与え、この作業現場が手動コントローラ手段に近接して位置するようにみえる。
【００１１】
エンドエフェクターが作業現場に置かれ、手動コントローラ手段が遠隔オペレータ制御ステーションに置かれているという事実にもかかわらず、手動コントローラ手段に近接して作業現場の像を設置することにより、オペレータは、エンドエフェクターと手動コントローラ手段が実質的に一体となる感覚を与えられる。オペレータに作業現場からの立体音響の音を与える、立体音響システムが含まれてもよい。ビデオカメラ手段は、作業現場の監視に使われ、作業現場の像が得られる。種々の他のセンサーやそれらに結合した応答器が、圧力，触覚，熱，振動及び強化されたテレプレゼンスオペレーションのための同様の情報の伝達のため、各々、作業現場とオペレータ制御ステーションに設置されてもよい。
【００１２】
用途によっては、異なった倍率操作がオペレータ制御ステーションと作業現場間の情報の伝達において用いられてよい。例えば、マイクロアッセンブリー，顕微手術及び、小さな部分のマニプレーションを含むようなオペレーションで、光学的かつ、又はビデオ拡大機がオペレータが監視する、拡大された３次元像を与えるのに使われてもよい。手動コントローラ手段とマニプレータの間の同様の倍率操作で、オペレータの感覚は、縮小版のオペレータが作業現場にいるとしたら、もつであろう感覚と実質的には同じとなる。
図面の簡単な説明
本発明は、その他の目的および利点と共に添付図面を考察し下記の説明から最も良く理解されよう。図面は説明および実施例のためだけの目的であり、本説明がこれに限定されるものでないことは理解されよう。各図において、同様の参照数字は同一部品を示す。
【発明を実施するための最良の形態】
【００１３】
図１−３について説明すると、テレオペレータシステムは、オペレータの制御ステーション２０（図１および２）および作業現場２２（図１および３）を含むものとして示される。オペレータ制御ステーションのオペレータ１８は、遠隔作業現場のマニプレータ２４を制御する。マニプレータ２４は、右および左マニプレータ２４Ｒおよび２４Ｌからなり、それぞれ破線で示される作業空間３０内のプラットホームまたはベース２８上に置かれる対象物２６のような物体を操作するのに用いられる。説明を目的とするだけであり、これに限定するものではないが、上記右マニプレータ２４Ｒはベース２８に付加されたハウジング３２Ｒを含むものとして示され、そしてこのハウジングから入れ子式操作アーム３４Ｒが延び出ている。操作アーム３４Ｒの内端部（基部側の端部）は、従来型装着手段を用いて、任意のピボット方向にピボット運動するように装着される。例えば、操作アーム３４Ｒの内端部は、水平ピボット軸線３６の周りにピボット運動するように装着され、さらに上記水平ピボット軸線が垂直軸線３８の周りにピボット運動するようになっている。
【００１４】
操作アーム３４Ｒは、入れ子式内側部分３４Ｒ１と外側部分３４Ｒ２を含み、外側部分は内側部分３４Ｒ１の内方への軸方向移動、内側部分３４Ｒ１から外方への軸線方向移動、およびその縦軸線の周りの回転運動に適合するようになっている。エンドエフェクター４０Ｒが、操作アームの外端部（末端側の端部）に支持され、説明の目的でグリッパを含むものとして示される。図示されないモータは、ピボット軸線３６および３８周りの操作アーム３４Ｒのピボット運動，操作アームの縦軸線に沿う外側アーム部分３４Ｒ２の軸線方向の運動および縦軸線周りの外側アーム部分３４Ｒ２の回転運動，およびグリッパ４０Ｒの開放と閉鎖を制御する。上記モータは、モータの制御用のモータ制御回路と共に、上記ハウジング３２Ｒ内に含むこともできる。上記モータは、コンピュータ４２の制御下で右マニプレータインターフェース４４Ｒおよび上記モータ制御回路を経て接続される。
【００１５】
左マニプレータ２４Ｌは、右マニプレータ２４Ｒと事実上同一設計であり、同一の部品であることを示すために同一の参照番号が用いられているが、Ｒの代りに添字Ｌを付している。説明の目的で、図３に示される左エンドエフェクター４０Ｌは、１対のはさみ刃の様式で作動する切断刃を含むものとして示される。
【００１６】
上記作業現場には１対のビデオカメラ４６Ｒおよび４６Ｌが設けられ、線４８Ｒおよび４８Ｌにおいて、それからの立体信号出力の作成のため、異なる角度から作業空間３０を観察する。図３に示される両カメラの光軸間の角γは、図２に示されるような作業空間の像のオペレータの両眼間の視角γに事実上等しい。
【００１７】
線４８Ｒおよび４８Ｌにおけるビデオカメラ出力は、カメラからの右および左の像のビデオ視野の瞬間記憶用のイメージメモリ５０に供給される。イメージメモリ５０からの右および左の像の視野は、左／右スイッチ５２を経て、モニタの面５４Ａにおける２つの像の交互ディスプレー用のテレビジョンモニタのような視覚ディスプレー５４に交互に供給される。調時および制御手段５６は、上記システムの各種素子に調時および制御信号を送り、上記システムの信号調時および制御用の、立体画法ディスプレーシステムに含まれた素子を含んでいる。もしもディジタル記憶手段５０が用いられる時には、記憶に先だちアナログ・ディジタル変換器により、カメラ信号出力のディジタル信号形への変換およびモニタ５４におけるディスプレーに備えて、左／右スイッチから、アナログ信号形式へディジタル信号出力の変換が用いられることもある。
【００１８】
ディスプレー手段５４の表面の電子光学デバイス５８は、調時及び制御ユニット５６からの、左／右同期信号の制御下でディスプレー手段５４から受けた偏光を制御する。上記左および右の像視野は、直角方向に偏光される、右および左の偏光素子６２および６４を備えた、１対の受動偏光眼鏡を着けたオペレータ１８により観察される。上記電子光学デバイス５８を経たディスプレー５４からの偏光は、オペレータによる立体画法目視のため、右視野が左眼から遮光され、そして左視野が右眼から遮光されるような視野による同期された視野である。オペレータに遠隔作業空間の立体視界を与えるため、この発明の実施に用いることもできる、例えば、アクティブ式立体眼鏡を使用するものを含め、左および右の像視野の立体画法目視用の他の手段は周知である。
【００１９】
モニタ５４用の垂直偏向コイル結線は逆転され、モニタを底部から頂部へ走査させ、これにより作業空間３０の頂部−底部反転像３０Ｉを生じる。文字ａ，ｂ，ｃおよびｄは作業空間３０および反転作業空間像３０Ｉの対応する角部を識別するために用いられる。上記反転作業空間像３０Ｉは、テーブル６８の上面のミラー６６を介してオペレータにより観察され、上記ミラーは像３０Ｉを反転して、オペレータにより直立位置に観察されるように上記像を反射する。上記ミラーの方向に見おろす時に、オペレータは作業空間３０の仮想像３０Ｖを観察する。本発明の一態様によると、図１−３において、オペレータにより観察される像は仮想像を含み、作業現場においてマニプレータ手段２４の制御のため、上記オペレータにより用いられるコントローラ手段７０に隣接配置される。
【００２０】
コントローラ手段７０は、テーブル上面６８の直下に配置されて、右及び左コントローラ７２Ｒおよび７２Ｌを含み、それぞれ右及び左マニプレータ２４Ｒおよび２４Ｌの制御をする。上記右及び左コントローラは事実上同一設計であるので、一方の説明が両方に適用される。マニプレータにおけるように、添字Ｒ及びＬが、右コントローラの素子と左コントローラの素子とを識別するのに用いられる。説明の目的で、これに限定されるものではなく、右コントローラ７２Ｒはテーブル上面６８の底部に固着されたハウジング７４Ｒを含むのが示され、これから入れ子式制御アームすなわちスティックの形式の手動制御アーム７６Ｒが延び出る。
【００２１】
右及び左制御アーム７６Ｒおよび７６Ｌは、関連の操作アーム３４Ｒ及び３４Ｌと同じ自由度がそれぞれに与えられる。例えば制御アーム７６Ｒの内端部はマニプレータピボット軸線３６に相当する水平軸線３６の周りにピボット運動され、この軸線は、マニプレータ軸線３８に相当する垂直軸線の周りにピボット運動するのに適するようになっている。制御アーム７６Ｒはまた内側部分７６Ｒ１および外側部分７６Ｒ２を含み、外側部分は内側部分７６Ｒ１内への軸線方向移動および内側部分７６Ｒ１から出る軸線方向運動、およびその縦軸線周りの回転運動の両方に適している。制御アーム７６Ｒには関連の操作アーム３４Ｒと同様に４つの自由度が与えられていることは明白であろう。さらに、センサ手段７８Ｒが制御アームの外側部分７６Ｒ２の外端部に隣接配置され、グリッパ４０Ｒのグリッピング作動を制御するのに用いられる。同様にセンサ手段７８Ｌが制御アーム７６Ｌの外端部に隣接され、はさみ刃４０Ｌの作動を制御するのに用いられる。
【００２２】
右および左コントローラ７２Ｒと７２Ｌはサーボ機構内に包含され、該機構において制御アーム７６Ｒと７６Ｌは操作アーム３４Ｒと３４Ｌの位置を制御し、そしてセンサー手段７８Ｒと７８Ｌ上の圧力はエンドエフェクター４０Ｒと４０Ｌのそれぞれの開放および閉鎖を制御する。第１図において、右および左手コントローラインタフェース８０Ｒと８０Ｌそれぞれがコンピュータ４２へのコントローラの接続のために示される。遠隔位置における機械的運動の制御用のサーボ機構は公知であり、これはマニプレータからの力及びトルクフィードバックを手動コントローラ手段へと提供するものである。どのような適したサーボ機構でも本発明の実施に使用でき、しかも力及びトルクフィードバックを組み合わせるものが本発明装置のテレプレゼンス操作に特に好ましい。
【００２３】
図示の装置において、右および左マイクロフォンが作業現場に備えられ、これらマイクからの出力が右および左増幅器により増幅されそしてオペレータの制御ステーションにおける右および左スピーカに供給されて作業空間においてオペレータに立体音響を提供するステレオ音響出力を提供する。
【００２４】
第１図においてこのステレオ装置系の右チャンネルのみが示され、ここには右マイクロフォン８２Ｒ、右増幅器８６Ｒおよび右スピーカー８８Ｒが含まれる。ここに左マイクロフォンとスピーカは作業現場におけるそれぞれの右マイクロフォンとスピーカおよびオペレータの制御ステーションの真うしろに位置する（第１図）。当然のことに、イヤフォンがこれらスピーカの代わりにオペレータのために提供でき、これによりオペレータの制御ステーションにおける外部雑音を遮断するに役立てうる。更に第１図において、モニタにおける遮光板５４Ｂが示されオペレータによるモニタ面の直接観察を防止する。
【００２５】
ここに第４図を参照し、ここでは第１乃至３図に示した装置の簡素化した線図を示しそして種々の長さ及び角度位置が図番で示されている。第４図において、作業空間におけるカメラと点Ｆ間の光路長は図番Ｌにより示される。同作業空間のバーチャルイメージにおけるオペレータの眼と点Ｆ間の対応する光路長は距離ａ＋ｂにより示され、ここにａはオペレータの眼からミラー６６への距離であり、そしてｂは該バーチャルイメージでの該ミラーから点Ｆ迄の距離である。ここに示される他の寸法は操作アーム３４Ｒの枢軸点上のカメラの高さＧと、制御アーム７６Ｒの枢軸点上のオペレータの眼の対応する高さｇを更に含む。長さｄの制御アーム７６Ｒにより操作アーム３４Ｒは長さＤに調整されている。同様に垂直に関し角度βA にある制御アーム７６Ｒをもって、操作アーム３４Ｒは垂直線から同一の角度に位置される。カメラが作業空間を見る垂直線からの角度および、オペレータの眼が作業空間のバーチャルイメージを見る垂直線からの角度はαで示される。作業位置の諸要素とオペレータ制御ステーション間には下記の関係が存在する：
ａ＋ｂ＝ｋＬ        （１）
ｄ＝ｋＤ            （２）
ｇ＝ｋＧ            （３）
ここにｋは縮尺ファクタ定数である。
【００２６】
ｋが１の場合はａ＋ｂ＝Ｌ、ｄ＝Ｄそしてｇ＝Ｇであり、作業現場の寸法の縮尺計算は必要でない。
【００２７】
ここにどのような縮尺ファクタも使用でき、本発明は原寸大での操作に限定されるものでない。例えば作業現場は小さくでき、例えば顕微鏡寸法をも包含し、この場合、目的物、両眼間の距離および焦点に関する光学パラメータおよび機械的かつ寸法パラメータが適切に適用される。適切な縮尺（ｓｃａｌｉｎｇ）およびイメージ倍率（ｉｍａｇｅ  ｍａｇｎｉｆｉｃａｔｉｏｎ）、力およびトルクフィードバックを使用することによりまた手動制御アーム７６Ｒと７６Ｌに隣接して作業空間３０のイメージ３０Ｖを位置させることにより、オペレータはエンドエフェクタ４０Ｒと４０Ｌを直接制御する強い感覚を持ちうる。オペレータはエンドエフェクタ４０Ｒと４０Ｌとそれぞれの制御アーム７６Ｒと７６Ｌが実質的に一体であるという感覚を受ける。この手動制御アームとエンドエフェクタの一体化の同一の感覚は、オペレータにより観視されたイメージが手動制御アームに近接して位置されない公知技術の構成では実感されない。公知技術が立体像観察および、力およびトルクフィードバックを包含する場合といえども、作業対象とする観察像対象物からの断絶感が存在する。本発明はオペレータの手がエンドエフェクタの直接制御を行うとも思える作業空間像を設置することによりこの断絶感を克服する。
【００２８】
小規模の操作、例えば外科手術的適用に必要な操作に対しては、縮小された観察者が実際の作業現場にいたとしたら持つであろう観察経験を再現することが望ましい。第５図において仮想的縮小観察者の仮想的な眼９０が実際の作業空間を観察している状態を示している。この実際の作業空間内の一点、Ｘ，Ｙ，Ｚにおける光源からの光はＸ′／Ｍで表した点において縮小観察者の眼９０上に或る刺激を与える。第６図において実際のオペレータの眼９２は、この実際の作業空間を観察するに使用されたビデオカメラ９４により生成された拡大したバーチャルイメージを観察して示される。ここに図示のカメラは受光レンズ９６およびＣＣＤ（電荷結合素子）アレー９８のような固体イメージング装置を含み、このアレーではＸ，Ｙ，Ｚにおける点状光源がＸi ，Ｙi ，Ｚi で示される。
【００２９】
正確な尺度において、対応する光源は、観察ディスプレーの面の実際のまたは見掛け位置の何れかでＭＸi ，ＭＹi ，ＭＺi において生成されるが本装置系の立体画像操作により該オペレータには実際の作業空間における点Ｘ，Ｙ，Ｚに対応する点ＭＸ，ＭＹ，ＭＺから発生しているように思われる。実際の眼９２の網膜において、ある刺激が、仮想的観察者の眼９０における点Ｘ′／Ｍと比例的に同一位置で点Ｘ′に生成される。この関係は正確に寸法合わせしたカメラ距離およびレンズ焦点長さを、光学的倍率ＭO ＝Ｍ／ＭV （ここにＭは望ましい全体倍率そしてＭV はビデオ倍率である）となるように選択することにより保証される。典型的ビデオ倍率ＭV は約４０であり、該倍率はＣＣＤアレー９８の巾とディスプレー巾との比に等しい。
【００３０】
ここに第７図乃至第９図により医療方面に利用する本発明の態様を示す。ここに右および左マニプレータ１００Ｒと１００Ｌが示され、これらは右および左コントローラ１０２Ｒと１０２Ｌそれぞれにより制御されて示される。イメージング装置系の各要素は、実際の作業空間１０４の拡大バーチャルイメージ１０４Ｖがオペレータにより観察のため提供されることを除いては、上記第１乃至第３図に示したイメージング系に使用した要素と実質的に同一である。更に右および左コントローラ１０２Ｒと１０２Ｌをそれぞれのマニプレータ１００Ｒと１００Ｌに接続するためのサーボ機構要素もまた第１乃至第３図に関して記載したものと実質的に同一である。ここに図示の装置において、右および左マニプレータは右および左コントローラと実質的に同一構造であり、即ちあるマニプレータおよびあるコントローラの記述は両者に等しく適用できる。更に接尾語ＲとＬは右と左の要素を区別するために使用される。
【００３１】
これらマニプレータは外部制御セクション１００ＲＡと１００ＬＡおよび挿入セクション１００ＲＢと１００ＬＢを包含し、ここに挿入セクションは円筒チューブまたはカニユーレを介して体腔内に挿入するに適した部分である。説明のため、マニプレータが患者の腹壁１０６を通して挿入して示される。広く理解されるように腹腔鏡外科手術のため、腹壁１０６は吹込み法により内臓から分離され、この吹込み法はガスを図示していないが適当な手段により腹部に導入する方法である。マニプレータ・モータおよびそれと組み合わされたモータ制御回路はマニプレータの外部制御セクション１００ＲＡと１００ＬＡ内に入れられ挿入セクションの制御を行う。マニプレータは腹腔内の臓器を観察するための腹腔鏡１０８と共に患者が保持されている手術台の一部を形成する固定レールにより担持されている。
【００３２】
マニプレータの挿入セクション１００ＲＢ及び１００ＬＢは、図１〜３の態様に関して上述した操作アーム３４Ｒ及び３４Ｌと実質的に同じ構成のものでよい。該挿入セクションは、体の内部で使用するため比較的小さい大きさを有する。挿入セクション１００ＲＢは入れ子式の内側セクション１１２Ｒ１及び外側セクション１１２Ｒ２を含み、しかして該外側セクションは内側セクション１１２Ｒ１に対して出入りする軸線方向の移動並びにその長手軸線の回りの回転の両方に適合されている。エンドエフェクター１１４Ｒ及び１１４Ｌは、器官１１６の操作のためにそれぞれ右及び左の外側セクション１１２Ｒ２及び１１２Ｌ２の外方端において担持されている。内側セクション１１２Ｒ１は、当該挿入セクションが壁１０６を横切る点Ｐに実質的に位置する交差垂直軸線の回りの旋回運動に適合されている。エンドエフェクター１１４Ｒ及び１１４Ｌの操作を除いて、各操作アームは、図１〜３に示された態様と同じく４の自由度が与えられている。エンドエフェクター１１４Ｒ及び１１４Ｌは単に、本質的には、例えば開創器、電気外科用カッター及びコアギュレータ、顕微ピンセット、顕微針ホールダー、解剖用ハサミ、刃、洗浄器及び縫合糸を含めてハンドルが除去された顕微外科用器具からなっていてもよい。
【００３３】
作業空間１０４を観るための腹腔鏡１０８は、外方の操作セクション１０８Ａ及び挿入セクション１０８Ｂからなるものが示されている。挿入セクション１０８Ｂの外側エンドセクション１２０はその内方エンドセクション１２２内で軸線方向にかつ回転自在に移動でき、かつ作業空間１０４を立体的に観るための一対の画像トランスミッションウインドウ１２４，１２４が設けられている。該腹腔鏡にはまた、該作業空間を照明するための照明手段（図示せず）並びに液体が該ウインドウを通過して流れるための液体用入口及び出口手段（図示せず）が設けられている。セクション１０８Ａ内のビデオカメラ手段は、画像メモリ５０への連結用のアウトプットライン４８Ｒ及び４８Ｌにおいて左及び右の電子画像の発生のためビューイングウインドウを通って受け取られる光に応答する。拡大三次元画像１０４Ｉが、ミラー６６を経てオペレータが着ける干渉偏波メガネ６０によって観られるようにするためディスプレー手段５４において作られる。図１−３に示されている態様と同様に、作業空間１０４が、コントローラ１０２Ｒ及び１０２Ｌの制御アーム１３０Ｒ及び１３０Ｌに隣接して作られる。制御アーム１３０Ｒ及び１３０Ｌは、上述した図１−３の態様において含まれている制御アーム７６Ｒ及び７６Ｌと同じタイプのものである。それらは、入れ子式の内側及び外側セクション１３２Ｒ１及び１３２Ｒ２並びに１３２Ｌ１及び１３２Ｌ２を含む。制御アームの外側エンドに隣接して位置するセンサー手段１３４Ｒ及び１３４Ｌは、図１−３を参照して上述したやり方でそれぞれエンドエフェクター１１４Ｒ及び１１４Ｌの操作を制御する。ここで、画像がオペレータにより観られる垂直線からの角度は対象物が該カメラにより観られる垂直線からの角度に等しい必要はない、ということが留意されよう。図７−９に示された配置では、オペレータが垂直線から角度θにて画像１０４Ｖを観るように示されており、一方対象物１１６は直接下向きに観られるように示されている。外部参照がない場合、体内の垂直線の感覚は特に大きくなく、垂直線に対して観察者及びカメラが種々の角度で観る結果オペレータの精神に混乱は生じない。
【００３４】
図７−９の態様の場合、作業空間の拡大虚像１０４Ｖがオペレータにより観られるために与えられるのみならず、マニプレータの挿入セクション１００ＲＢ及び１００ＬＢの長さより長い長さの制御アーム１３０Ｒ及び１３０Ｌが用いられる。入れ子式の制御アームの軸線方向の移動のサーボ機構スケーリングが与えられて、その軸線方向の延出又は引込みが入れ子式の該挿入セクションのより小さい延出又は引込みをもたらすようにされる。スケーリングなしでは、制御アーム１３０Ｒ及び１３０Ｌの角旋回運動は挿入セクション１００ＲＢ及び１００ＬＢの同じ角旋回運動を生じさせ、そして該制御アームのエンドセクション１３２Ｒ２及び１３２Ｌ２の回転運動は右及び左のマニプレータの挿入セクションのエンドセクション１１２Ｒ２及び１１２Ｌ２の同じ回転運動を生じさせる。拡大画像に関する本発明のこの態様は、顕微外科の分野、特に大きさの制限のために外科医が手によって所与の領域に達し得ない場合に特に有用である。
【００３５】
本発明は、いかなる特定数の自由度を有するマニプレータについての使用に限定されない。当該技術で周知の種々の自由度を有するマニプレータが本発明の実施に用いられ得る。ここで図１０及び１１を参照すると、リストジョイントを設けて追加的な運動自由が与えられているコントローラ１４０及びマニプレータ１４２がそれぞれ示されている。図示されたコントローラ１４０は、テーブルミラー６６が置かれるテーブルトップ６８の底部に取り付けられたハウジング１４４を含む。現実の作業空間（手術空間ともいう）１４６の拡大虚像１４６Ｖが、上述したやり方でミラー６６上を下向きで見るときオペレータにより観られ得るようにオペレータの手１４８に隣接して与えられる。
【００３６】
それぞれ内側及び外側セクション１５０Ｌ１及び１５０Ｌ２からなる制御アーム１５０Ｌが、双頭矢印１５２及び１５４を交差させることにより示されているようにいかなる旋回方向にも旋回運動するようにハウジング１４４内に設置される。外側セクション１５０Ｌ２は、双頭矢印１５６の方向において内側セクション１５０Ｌ１に対して出入りする軸線方向の移動に適合されている。それはまた、双頭矢印１５８の方向においてその長手軸線の回りの回転に適合されている。この態様では、制御アームは、双頭矢印１６４の方向の旋回運動のためにリストジョイント１６２により外側セクション１５０Ｌ２にピボット取り付けされている。エンドセクション１６０は軸線方向に整合した内側及び外側セクション１６０Ａ及び１６０Ｂからなり、しかしてその外側セクション１６０Ｂは双頭矢印１６６の方向においてその長手軸線の回りに回転可能である。上述した配置の場合のように、センサー手段（ハンドルともいう）１６８が、図１１に示されたマニプレータ１４２におけるエンドエフェクター１７０の操作のために制御アームの自由端に隣接して設置されている。
【００３７】
図１１を参照すると、軸線方向に整合されたリンク１７２Ａ及び１７２Ｂからなるリスト１７２に取り付けられた一対の可動ジョーからなるエンドエフェクター１７０が示されている。外側リンク１７２Ｂは、矢印１６６の方向における手動コントローラのエンドセクション１６０の外側セクション１６０Ｂの回転に応答して、双頭矢印１６６Ｍの方向において内側のリンク１７２Ａに対して長手軸線の回りにモーター手段（図示せず）により回転できる。リストリンク１７２Ａは、ピボット軸線１６２の回りの手動コントローラのエンドセクション１６０の旋回運動に応答して、双頭矢印１６４Ｍの方向において旋回運動するようにマニプレータの前アーム（操作アームともいう）１７４にピボット取り付けされている。前アーム１７４は、双頭矢印１５６の方向における制御アーム１５０Ｌの外側セクション１５０Ｌ２の軸線方向の移動に応答して、双頭矢印１５６Ｍの方向において長手方向で軸線方向に移動できる。それはまた、双頭矢印１５８の方向における制御アーム１５０Ｌの外側セクション１５０Ｌ２の回転に応答して、双頭矢印１５８Ｍの方向において長手軸線の回りに回転できる。加えて、それは、それぞれ双頭矢印１５２及び１５４の方向における制御アーム１５０Ｌの旋回運動に応答して、双頭矢印１５２Ｍ及び１５４Ｍの方向において点１７６の回りで旋回的に運動できる。遠隔的な腹腔鏡検査法的外科のような生医学的用途のためには、ピボット点１７６は、実質的にマニプレータが延出する腹壁１７８のレベルに位置される。図１１において、操作アーム１７４は、腹壁を貫通するカニューレ１８０を通って延出する操作アーム１７４が示されている。
【００３８】
マニプレータの外部操作端は、その上に主体が支持されている手術テーブルの支持レール（図示せず）に、取付られるように設計される。それはグリッパー１７０の開閉用エンドエフェクタ駆動モータを含む。リスト駆動モータ１８４はリスト１７２の旋回運動を二頭矢印１６４Ｍの方向に制御し、そして延長駆動モータ１８６は操作アーム１７４の軸方向の運動を二頭矢印１５６Ｍの方向に制御する。前アーム旋回制御モータ及びリンケージは、一般に参照番号１８８で表示されるが、操作アーム１７４の旋回運動を矢印１５２Ｍ及び１５４Ｍの方向に旋回点１７６のまわりに提供する。点１７６のまわりの旋回運動はマニプレータの外部操作端の横運動と同時の操作アーム１７４の旋回運動とによって与えられる。運動は共働されて、その結果前アームの回転の中心が腹部壁のレベルで点１７６に於て空中に固定される。
【００３９】
コントローラ１４０及びマニプレータ１４２は図７，８及び９に示されるようなシステムに含まれており、このシステムはオペレータが右手で使用するための第２のコントローラ及びマニプレータを含み、そして手動コントローラによるマニプレータの遠隔操作のため、適切なタイプの関連するサーボ機構（図示せず）を含む。作業場に於けるビデオカメラ手段は、図９に示されるように、表示手段と共に、図７で示されるものがあるが、オペレータに左手及び右手で操作する制御手段に隣接した位置で作業空間のイメージを与えるために採用される。リスト結合を有するマニプレータを使用することにより、追加の自由度がその増加した操作性及び有用性のために与えられる。但し、上述の如く、本発明はある一定の自由度を有するマニプレータに限定されるものでない。
【００４０】
さて図１２及び１３を参照すると、ここでは本発明の変形が示されており、これは作業空間（図示せず）の３次元イメージ２４０Ｉの直視を提供する。図１２及び１３では、オペレータの作業台だけが示されており、これは左右のコントローラ２４２Ｒ及び２４２Ｌ、および上記コントローラ及び制御アームと同じタイプのものでもよい関連する左右手動手段２４４Ｒ及び２４４Ｌを含む。オペレータの作業台は上記したタイプのものであってもよいマニプレータの遠隔操作用に設計される。作業空間の３次元イメージは視覚表示手段２４６と電気光学装置５８とを共用することにより表示手段及びオペレータが着用する交差偏光（ｃｒｏｓｓ−ｐｏｌａｒｉｚｅｄ）眼鏡の面で与えられる。この表示手段に対して、作業空間を視る左右のビデオカメラからの左右のビデオ場が、すべて上記に詳述した態様で、交互に供給される。エンドエフェクター及び目的イメージ２４８及び２５０は、それぞれ、作業場でビデオカメラから見て作業空間内に示される。この表示手段２４６はオペレータによる直視のために左右手動手段２４４Ｒ及び２４４Ｌに隣接して位置される。この配置により、エンドエフェクター及び目的イメージは手動手段２４４Ｒ及び２４４Ｌと共にオペレータにより同時に可視である。手動手段は又可視なので、オペレータはエンドエフェクター手段及び手動手段の間の接続視覚を与えられ、これによりそれらは実質的に一体のものとして現われる
さて、図１４を参照すると、ここでは内視鏡の挿入部の遠方端部又は先端２６０が示されており、これは前述の「イントロダクション  トウ  ア  ニュープロジェクト  フォア  ナショナル  リサーチ  アンド  デベロプメント  プログラム（ラージ−スケイル  プロジェクト）イン  エフワイ  １９９１」（“Ｉｎｔｒｏｄｕｃｔｉｏｎ  ｔｏ  ａ  Ｎｅｗ  Ｐｒｏｊｅｃｔ  ｆｏｒ  Ｎａｔｉｏｎａｌ  Ｒｅｓｅａｒｃｈ  ａｎｄ  Ｄｅｖｅｌｏｐｍｅｎｔ  Ｐｒｏｇｒａｍ  （Ｌａｒｇｅ−Ｓｃａｌｅ  Ｐｒｏｊｅｃｔ）ｉｎ  ＦＹ  １９９１”）と称する刊行物に示されているのと実質的に同じタイプのもので、この内視鏡は本発明の実施に使用してもよい。内視鏡の挿入端は一対の間隔を置いて離れたのぞき窓２６２Ｒ及び２６２Ｌ、そして観察する作業空間を見て照明するための照明源を含む。窓で受けとった光は目的レンズ手段（図示せず）によって焦点合わせされ、光ファイバー束を通して該内視鏡の操作端に於ける（図示せず）カメラに送られる。カメラ出力は作業空間の３次元イメージに変換されるが、この３次元イメージはオペレータの作業台に於て（図示せず）手動手段に隣接して位置されている。左右の操縦可能な本体（例えばカテーテル）２６８Ｒ及び２６８Ｌは内視鏡本体内の補助チャネル（通路）を通過する。この本体は、図示されているように、遠方端部からの延長のために設計されている。エンドエフェクター２７０Ｒ及び２７０Ｌは慣用の内視鏡器具よりなってもよい該本体の端部に設けられている。力センサー（図示せず）もまた、内視鏡チャネルを通して挿入される。操縦可能な本体（例えばカテーテル）は、該本体の曲げ及び本発明での使用に適したエンドエフェクターの操作を制御する制御ワイヤーを含むが、公知のものである。制御ワイヤーの操作のための制御モータは内視鏡の操作端に設けられており、これらのモータは、遠隔オペレータの作業台からの操縦可能なカテーテル及び関連するエンドエフェクターの操作のために上記したタイプのサーボ機構に含まれる。他の実施態様としては、サーボ機構システムに於けるインターフェースするコンピュータはオペレータの手の動きをエンドエフェクターの座標系に再マップし、そしてエンドエフェクターのイメージは上記した方法で手動コントローラに隣接して可視である。この実施態様では、オペレータは内視鏡を通して両手を直接エンドエフェクター上にその制御のために置くために手をのばすという感覚を持つ。異ったタイプの内視鏡は本発明のこの実施態様で採用しても良い。但し、エンドエフェクター手段の制御に使用するためのひとつ又はそれ以上の補助チャネル、作業空間の視覚表示を与えるのに用いる適切な視覚手段を含む場合に限る。例えば、胃の内視鏡，結腸の内視鏡などの内視鏡が採用される。
【００４１】
以上本発明を特許法の要求に従って詳細に記載したが、種々の他の変化及び修正は当業者にとって自明であろう。例えば、上記の如く、本発明は触診のためのそして組織及び器具をマニプレートするための微妙な感覚を与える触覚のフィードバックの使用を含む。このフィードバックを与えるため、触覚センサーアレーが手動制御手段上の触覚センサー刺激アレーに結合しているエンドエフェクター上に含まれていてもよく、これがオペレータの手の上に触覚感覚を再生する。テレオペレータ触覚感知のための種々の変換技術が知られているが、これは抵抗／伝導，半導体，圧電気容量性及び光電子のものを含む。異るタイプの手動制御手段及びマニプレータが採用されても良いが、例えば、ジンバル、リンク機構、滑車、  ケーブル、駆動ベルト及びバンド、歯車、光学的又は電磁的位置エンコーダ，及び回転及びリニアモーターを含めて、非常に広範囲の公知の機構及び電子機械要素を使用する。オペレータに対する力フィードバックは手動制御手段との人体接触を要求する。例示されたようなハンドグリップ型の手動コントローラと、制御ブレース型の手動コントローラの両方とも、オペレータに対する力フィードバックのために本発明で十分使用できる。制御ブレース型の手動コントローラは関節角を測定するためにオペレータの関節に取付けられたポジティブセンサを有する構造の使用を含む。力フィードバックを各関節に適用することができる。同様に、個々の指の曲げを測定するために関節に取付けられた可変抵抗センサ又は光ファイバー屈曲センサを有する光ファイバー手袋を使用して良い。この種の手袋は現実の物体とのテレプリゼンス相互作用を与えるために力フィードバックを具備していてもよい。採用される手動制御手段のタイプに関係なく、作業空間のイメージはそれに隣接して生成されオペレータにエンドエフェクター手段と手動制御手段とが実質的に一体であるという感覚を与える。又、上記の如く、多くの異るタイプのサーボ機構がロボット及びテレオペレータシステム技術で良く知られており、本発明はあるひとつのタイプに限定されるものでない。オペレータへの力及びトルクフィードバックを含むものが、好まれており、操作のテレプリゼンス感覚に寄与する。加えて、作業空間の立体鏡イメージを生成する多くの異った手段が公知である。例えば、二台のカメラを使用する代りに、単一のカメラが切り換え交差偏光要素と共にイメージ受信通路で採用してもよい。この場合には、一対の間隔を置いて離れた立体鏡レンズが作業空間を異る角度から見てそしてその第１及び第２のイメージをカメラに与えるために使用される。図９の構成では、ここでは腹腔鏡が示されているが、他のタイプの内視鏡が作業空間を見るために使用されて良い。上述の如く、本発明はある一定の適用又は使用に限定されるものではない。生物医学分野では、使用は、例えば、遠隔位置からの手術を含むオープン手術、顕微外科手術、及び腹腔鏡手術や内視鏡手術のような最小侵襲手術を含む。顕微鏡操作を含む実験室での使用も意図されている。本発明の産業的使用は、例えば、有害物質の取扱、遠隔操作、マイクロアセンブリーなどを含む。本発明のテレオペレータシステムの軍事的及び海面下の使用は明白で���る。
【００４２】
上記したこと及び他のかかる変化及び修正が添付の請求項に定義された発明の精神及び範囲に該当すべきことが意図されている。
【図面の簡単な説明】
【００４３】
【図１】作業現場および遠隔制御オペレータの制御ステーションの側面図を含む、本発明を具体化するテレオペレータ装置の線図である。
【図２】図１の線２−２に沿ったオペレータの制御ステーションの拡大背面図である。
【図３】図１の線３−３に沿った作業現場の拡大背面図である。
【図４】図１に類似の、作業現場の素子とオペレータ制御ステーションの素子との寸法的関係を示す簡易側面図である。
【図５】ミニチュア仮想の眼による視覚認識を示す線図である。
【図６】像の拡大が用いられる場合のオペレータによる視覚認識を示す線図である。
【図７】図１の線図に類似するが、テレプレゼンス手術に用いられるテレオペレータシステムを示す線図である。
【図８】図７に示されるオペレータの制御ステーションの背面図である。
【図９】図７に示される作業現場の背面図である。
【図１０】自由度を増したオペレータの制御ステーションの変型の部分側面図である。
【図１１】自由度を増したマニプレータの変型の部分側面図である。
【図１２】ディスプレー手段がオペレータの直視用に配置されているオペレータの制御ステーションの変型の側面図である。
【図１３】図１２に示されるオペレータの制御ステーションの変型の側面図である。
【図１４】本発明と共に用いられる内視鏡の挿入部分の部分図である。
【符号の説明】
【００４４】
２２    作業現場
２４    マニプレータ
２６    目的物
３４    操作アーム
７２    手動コントローラ
【図１】
0005131598.tif 000002
【図２】
0005131598.tif 000003
【図３】
0005131598.tif 000004
【図４】
0005131598.tif 000005
【図５】
0005131598.tif 000006
【図６】
0005131598.tif 000007
【図７】
0005131598.tif 000008
【図８】
0005131598.tif 000009
【図９】
0005131598.tif 000010
【図１０】
0005131598.tif 000011
【図１１】
0005131598.tif 000012
【図１２】
0005131598.tif 000013
【図１３】
0005131598.tif 000014
【図１４】
0005131598.tif 000015