(57)【要約】      （修正有）【課題】本当の臨場感で作業スペースを見ている感じを与える遠隔手術システムを提供する。【解決手段】遠隔手術システムのような、遠隔作業サイトの作業スペースに置かれた対象物をオペレーター１４が操作する遠隔操作システム１２において、遠隔サイトには、作業スペースの対象物を操作するためのエンドエフェクター３９を備えたマニピュレーター、マニピュレーターを遠隔制御するためのハンドコントロール２２をオペレーターステーションに備えたコントローラー、イメージ取得装置１９、及び可視リアルタイムイメージを再生するためのイメージ出力装置２０が設けられ、改良として、イメージ取得装置１９に接続された位置センサーがエンドエフェクター３９に関する位置を感知し、プロセッサー２３が可視リアルタイムイメージを透視イメージに変換し、このイメージに対してハンドコントロール２２によりエンドエフェクター３９を操作する。【選択図】図１Ａ
2005261956.tif 000002
【特許請求の範囲】
【請求項１】
患者の内部の作業サイトでの手術用の遠隔操作手術システムであって、該手術システムは、手術器具及びオペレーターによる手術器具の遠隔制御のための見掛けの作業スペース内にハンドコントロールを有するコントローラー、並びに患者内の内部作業サイトのリアルタイムイメージを取るためのイメージ取得装置、及びオペレーターが見るモニター上の表示を作るためのイメージ再生器を含み、前記コントローラーは、さらに、
前記イメージ取得装置に接続され、リアルタイムイメージを処理してオペレーターに表示するための処理イメージを作るためのイメージプロセッサーであって、前記イメージ取得装置は、オペレーターの目の位置と見掛けの作業スペース内のハンドコントロールとの擬人的相対位置とは異なる作業サイトでの手術器具に対する角度及び任意位置にあり、前記イメージプロセッサーと前記イメージ再生器は、協同して前記ハンドコントロールの擬人的位置に一致した前記手術器具のイメージを作る、前記イメージプロセッサー、
手術器具に接続され、内部作業サイト内での手術器具の実際の位置を検出するためのセンサー、及び
イメージプロセッサーとセンサーに接続され、リアルタイムイメージ中での手術器具の実際の位置を、処理イメージ中の知覚位置に転換する座標変換器であって、それにより、処理イメージにおいて手術器具がイメージ取得装置に対する擬人的位置に又はその近くに現れるようにする、前記座標変換器、
を含む上記遠隔操作手術システム。
【請求項２】
前記座標変換器が、作業サイト中の手術器具の実際の方向を処理イメージ中の知覚方向に転換し、それにより、手術器具がイメージ取得装置から直接外方向に延びるように現れる、請求項１に記載のシステム。
【請求項３】
手術器具が処理イメージ中にてハンドコントロールと一体となって現れるように、ディスプレイがハンドコントロールに配置される、請求項１に記載のシステム。
【請求項４】
ハンドコントロールの動きを処理イメージ中の手術器具の動きと直接相関させるためのサーボメカニズムをさらに含み、それにより、見掛けの作業スペース内でのハンドコントロールの位置と方向に対するハンドコントロールの動きが、内部作業サイトでの手術器具の実際の位置と実際の方向に対する手術器具の動きを生じる、請求項２に記載のシステム。
【請求項５】
患者の内部の作業サイトにて手術を行うオペレータを助ける遠隔操作手術システムであって、
手術器具、
内部作業サイト内で手術器具のリアルタイムイメージを取るためのイメージ取得装置であって、前記手術器具はイメージ取得装置に対して任意の位置を示す、前記イメージ取得装置、
見掛けの作業スペースを定めるコントローラー、及び
サーボメカニズム
を含み、該コントローラーは、
ハンドコントロール、
前記イメージ取得装置に接続され、リアルタイムイメージを処理して処理イメージを作るためのイメージプロセッサー、
イメージプロセッサーに接続され、リアルタイムイメージ中の手術器具の実際の位置を知覚位置に変換する座標変換器、及び
イメージプロセッサーに接続され、処理イメージをオペレーターに表示するためのイメージ再生器、
を含み、
ハンドコントロールが、前記任意位置とは異なるオペレーターの目の位置に対する擬人的位置を示し、イメージ再生器が、オペレーターの目の位置に対して処理イメージを表示し、それにより、知覚位置の手術器具がハンドコントロールに一致して現れ、そして
前記サーボメカニズムは、ハンドコントロールを手術器具に連結し、見掛けの作業スペース中のハンドコントロールの動きを、内部作業サイト中の手術器具の動きに相関させる、上記遠隔操作手術システム。
【請求項６】
イメージ再生器は、手術器具がオペレーターに対してハンドコントロールと一体となって現れるように処理イメージを表示すべく配置される、請求項５に記載の手術システム。
【請求項７】
手術器具はさらに、イメージ取得装置に対する第１方向を示し、ハンドコントロールは、第１方向とは異なるオペレーターの目の位置に対する第２方向を示し、手術器具が、オペレーターの目の位置に対してイメージ再生器により表示された処理イメージにおいて第２方向にて又はその近くに現れる、請求項５に記載の手術システム。
【請求項８】
遠隔手術システムであって、
手術サイトのイメージを取得するためのエンドスコープ、及び手術サイトにて手術手順の少なくとも一部を実行するよう構成された少なくとも１つのマニピュレーターを有する作業ステーション、
エンドスコープにより取得されるイメージを表示すべくエンドスコープと動作上連携するイメージ表示装置、及びハンドコントロールへの入力に応答した動きをマニピュレーターに行わせるべくマニピュレーターに動作上連携した少なくとも１つのハンドコントロールを有する遠隔オペレーターステーションであって、ハンドコントロールは、オペレーターがイメージ表示装置上に表示されたイメージ中のマニピュレーターの応答した動きを見ながらハンドコントロールを操作できるように、イメージ表示装置に対して配置される、前記遠隔オペレーションステーション、及び
表示装置上に表示されるイメージ中に見られるマニピュレーターがハンドコントロールから延びるように現れるべく、ハンドコントロールとマニピュレーターの間に動作連携を与える制御システムであって、使用中に生じる動作環境では、マニピュレーターとハンドコントロールを見た際のイメージが単一のハンドヘルド器具の一体部分として現れる、前記制御システム、
を含む遠隔手術システム
【請求項９】
作業ステーションにて少なくとも２つの遠隔制御可能なマニピュレーター、及びオペレーターステーションにて動作上連携した少なくとも２つのハンドコントロールを含み、各ハンドコントロールは、マニピュレーターの１つと動作上連携し、マニピュレーターにその連携したハンドコントロールへの入力に応答した動きを行わせ、前記制御システムは、表示装置に表示されたイメージ中にて見られるマニピュレーターがまるでハンドコントロールから延びるように現るように、各ハンドコントロールとその連携マニピュレーターとの動作上の連携を決め、それにより、使用中、各マニピュレーターの見られたイメージとその連携したハンドコントロールが、単一のハンドヘルド器具の一体部分として現れる、請求項８に記載の遠隔手術システム。
【請求項１０】
各ハンドコントロールが、旋回地点を中心として動くべく取り付けられ、各マニピュレーターが、旋回地点を中心として動くべく取り付けられる、請求項９に記載の遠隔手術システム。
【請求項１１】
エンドスコープが、ステレオエンドスコープであり、イメージ表示装置が、対応するステレオイメージを与えるべく構成される、請求項９に記載の遠隔手術システム。
【請求項１２】
ハンドコントロールとマニピュレーターとの動作上の連携がサーボ制御を含む、請求項９に記載の遠隔手術システム。
【請求項１３】
ハンドコントロールとマニピュレーターのそれぞれに設けられた位置センサーを含み、該位置センサーは、制御システムにおいて動作上連結され、制御システムが少なくとも１つの基準座標系内でのハンドコントロールとマニピュレーターのそれぞれの位置を決めるのを可能にする、請求項１０に記載の遠隔手術システム。
【請求項１４】
前記少なくとも１つの基準座標系がデカルト基準座標系である、請求項１３に記載の遠隔手術システム。
【請求項１５】
エンドスコープにより取得されたイメージを拡大するための拡大機構を含む、請求項９に記載の遠隔手術システム。
【請求項１６】
制御システムが、マニピュレーターの表示イメージがそれらの連携ハンドコントロールから延びるように現われるよう構成され、それにより、各マニピュレーターとその連携ハンドコントロールの見られるイメージが２つの別のハンドヘルド器具の一体部分となって現れる動作環境が、イメージが拡大された後に再び生じる、請求項１５に記載の遠隔手術システム。
【請求項１７】
制御システムが、イメージ表示装置に対する各ハンドコントロールの新しい位置を計算するプロセッサーを含み、この新しい位置にて、ハンドコントロールは、イメージ表示装置上に表示された拡大イメージ中に見られるマニピュレーターの新しい位置に対応する、請求項１６に記載の遠隔手術システム。
【請求項１８】
ハンドコントロールをそれらの新しい位置に変位させるための変位機構を含む、請求項１７に記載の遠隔手術システム。
【請求項１９】
前記変位機構が制御システムに動作上連結され、制御システムが変位機構にハンドコントロールをそれらの新しい位置に変位することを命じるのを可能にする、請求項１８に記載の遠隔手術システム。
【請求項２０】
制御システムは、マニピュレーターに対して、ハンドコントロールがそれらの新しい位置に変位させられる間は新しい位置にロックするようを命じる、請求項１９に記載の遠隔手術システム。
【請求項２１】
プロセッサーが、マニピュレーターの位置に対するハンドコントロールの新しい位置に関するオフセットを計算し、その後、ハンドコントロールとマニピュレーターとの動作上の連携を決めるのにこれらのオフセットを用いる、請求項２０に記載の遠隔手術システム。
【請求項２２】
遠隔手術システムであって、
手術サイトのイメージを取得するためのエンドスコープ、及び手術サイトでの手術手順の少なくとも１部を実行するよう構成された少なくとも２つのマニピュレーターを有する作業ステーションであって、各マニピュレーターは旋回地点を中心として動くことができる前記作業ステーション、
エンドスコープにより取得されたイメージを表示すべくエンドスコープに動作上連携したイメージ表示装置、及びマニピュレーターに動作上連携した少なくとも２つのハンドコントロールを有する遠隔オペレーターステーションであって、各ハンドコントロールは、旋回地点を中心として動くよう取り付けられ、マニピュレーターの一つと動作上連携してマニピュレーターがその連携ハンドコントロールへの入力に応答して動くようにし、ハンドコントロールは、オペレーターがイメージ表示装置上に表示されたイメージ中のマニピュレーターの応答運動を見ながらハンドコントロールを操作可能にすべくイメージ表示装置に対して配置される前記遠隔オペレーターステーション、及び
表示装置に表示されたイメージ中に見られるマニピュレーターがまるでハンドコントロールから延びるように現れるように、各ハンドコントロールとその連携マニピュレーターとの動作上の連携を決める制御システムであって、使用中、各マニピュレーターとその連携ハンドコントロールを見たイメージが、一体的に連結された２つのハンドヘルド器具の一体部分として現れるような動作環境が生じ、位置センサーが、それぞれのハンドコントロールとマニピュレーターに設けられ、位置センサーが、制御システムにおいて動作上接続されて制御システムが少なくとも１つの基準座標系においてハンドコントロールとマニピュレーターのそれぞれの位置を決めることを可能にし、エンドスコープが、移動自在に作業ステーションに取り付けられてエンドスコープが一つの位置から手術サイトに対して新しい位置に移動することを可能にする前記制御システム、
を含む遠隔手術システム。
【請求項２３】
制御システムは、エンドスコープが新しい位置に移動した後、各マニピュレーターとその連携ハンドコントロールの見られるイメージが、２つの分離した一体接続したハンドヘルド器具の一体部分として現れる見え方が再度設定されるよう構成される、請求項２２に記載の遠隔手術システム。
【請求項２４】
制御システムとマニピュレーターが、旋回地点を中心としてエンドスコープの動きを生じさせる、請求項２３に記載の遠隔手術システム。
【請求項２５】
制御システムは、エンドスコープをその視軸を中心をして角方向に変位させ、マニピュレーターの表示イメージがそれらの連携ハンドコントロールから延びるように見えるように再度設定し、それにより、各マニピュレーターとその連携ハンドコントロールを見たイメージが、単一のハンドヘルド器具の一体部分として現れるような動作環境が再度生じる、請求項２３に記載の遠隔手術システム。
【請求項２６】
位置センサーが、エンドスコープに対して適当な位置に設けられ、位置センサーが、制御システムにおいて動作上接続されて制御システムが少なくとも１つの基準座標系内でエンドスコープの位置を決めるのを可能にする、請求項２２に記載の遠隔手術システム。
【請求項２７】
基準座標系が、デカルト基準座標系である、請求項２６に記載の遠隔手術システム。
【請求項２８】
制御システムが、イメージ表示装置に対して各ハンドコントロールの新しい位置を計算するプロセッサーを含み、この新しい位置にて、ハンドコントロールが、イメージ表示装置に表示されるイメージにおいて見られるマニピュレーターの新しい位置に対応する、請求項２５に記載の遠隔手術システム。
【請求項２９】
ハンドコントロールをそれらの新しい位置に変位させるための変位機構を含む、請求項２８に記載の遠隔手術システム。
【請求項３０】
変位機構が、制御システムにおいて動作上連結され、制御システムが変位機構に命じてハンドコントロールをそれらの新しい位置に変位させるのを可能にする、請求項２９に記載の遠隔手術システム。
【請求項３１】
変位機構が、手術手順の実行中に触覚フィードバックを与えるように構成される、請求項２９に記載の遠隔手術システム。
【請求項３２】
制御システムが、マニピュレーターに対し、ハンドコントロールをそれらの新しい位置に変位させる間は適当な位置にロックするように命じる、請求項３０に記載の遠隔手術システム。
【請求項３３】
プロセッサーが、マニピュレーターの位置に対するハンドコントロールの新しい位置に関するオフセットを計算し、その後、ハンドコントロールとマニピュレーターとの動作上の連携を決める際にこれらのオフセットを用いる、請求項３２に記載の遠隔手術システム。
【請求項３４】
遠隔手術システムであって、
手術サイトのイメージを取得するためのエンドスコープ、及び手術サイトにて手術手順の少なくとも一部を実行するよう構成された少なくとも１つのマニピュレーターを有する作業ステーション、
エンドスコープと動作上連携してエンドスコープにより取得されたイメージを表示するイメージ表示装置、及びマニピュレーターと動作上連携してマニピュレーターがハンドコントロールへの入力に応答して動くようにする少なくとも１つのハンドコントロールを有する遠隔オペレーターステーションであって、ハンドコントロールは、オペレーターがイメージ表示装置上に表示されたイメージ中のマニピュレーターの応答運動を見ながらハンドコントロールを操作できるようにイメージ表示装置に対して配置される、前記遠隔オペレーターステーション、及び
表示装置上に表示されるイメージ中の見られるマニピュレーターがまるでハンドコントロールから延びるように現れるべく、ハンドコントロールとマニピュレーターとの動作上の連携を決めるコントロールシステムであって、使用中、マニピュレーターとハンドコントロールの見られるイメージが、一体的に連結した単一のハンドヘルド器具の一体的部分として現れる動作環境が生じ、エンドスコープは、エンドスコープが一位置から手術サイトに対して新しい位置に移動できるように作業ステーションに移動自在に取り付けられ、制御システムは、エンドスコープが新しい位置に移動した後に、マニピュレーターとハンドコントロールの一体的な器具の見掛けを再び作るように構成される、前記制御システム、
を含む遠隔手術システム。
【請求項３５】
オペレータコントローラの作業スペース内で可動のハンド入力装置を有するマスターコントローラ、
手術用エンドエフェクターをもったスレーブアームを含むマニピュレータ、
エンドエフェクターに作動可能に連結された少なくとも１つの駆動サーボであって、スレーブ制御信号に応じて手術作業スペース内のエンドエフェクターを移動させる前記駆動サーボ、
手術作業スペース内で可動の視野をもったイメージ取得装置を含むイメージングシステムであって、視野を示す位置信号を発生する前記イメージングシステム、及び
マスターコントローラをスレーブアームに連結するプロセッサーであって、変換によりオペレータ作業スペース内の入力装置を手術作業スペース内のエンドエフェクターとマッピングすることにより、スレーブ制御信号を発生し、イメージングシステムの位置信号に応じて該変換を導出する前記プロセッサー
を備える手術ロボットシステム。
【請求項３６】
イメージ取得装置がマニピュレータスレーブとは独立に移動する、請求項３５に記載の手術ロボットシステム。
【請求項３７】
前記プロセッサーは、ディスプレイ中のエンドエフェクターのイメージがコントローラ作業スペース内の入力装置に実質的に接続されているように現れるべく、前記変換を導出する、請求項３６に記載の手術ロボットシステム。
【請求項３８】
マニピュレータスレーブが、手術作業スペース内のエンドエフェクターの位置に応じた信号を発生し、前記プロセッサーが、スレーブの該信号を用いて変換を導出する、請求項３５に記載の手術ロボットシステム。
【請求項３９】
プロセッサーが、マスターコントローラの位置信号からマスターオペレータスペース内の入力装置の位置及び方向を求め、
プロセッサーが、スレーブの位置信号から手術作業スペース内のエンドエフェクターの位置及び方向を求め、
プロセッサーが、マッピングされたスペース内での入力装置とエンドエフェクターの位置及び方向を比較することにより、スレーブ制御信号を発生する、請求項３８に記載の手術ロボットシステム。
【請求項４０】
プロセッサーがリアルタイムで変換を導出する、請求項３５に記載の手術ロボットシステム。
【請求項４１】
オペレータコントローラの作業スペース内で可動のハンドコントロール装置をもったマスターコントローラ、
手術用エンドエフェクターと、該エンドエフェクターに作動可能に連結された少なくとも１つの駆動サーボとを有するスレーブマニピュレータであって、該駆動サーボが、スレーブ制御信号に応じて手術作業スペース内でエンドエフェクターを移動させる前記スレーブマニピュレータ、
手術作業スペース内で可動な視野を有するイメージ取得装置を含むイメージングシステムであって、ディスプレイにイメージを伝送する前記イメージングシステム、及び
マスターコントローラをスレーブアームに連結するプロセッサー
を備えた手術ロボットシステムであって、
プロセッサーが、変換によりコントローラ作業スペース内の入力装置を手術作業スペース内のエンドエフェクターとマッピングすることにより、スレーブ制御信号を発生し、
プロセッサーは、ディスプレイ中のエンドエフェクターのイメージが作業スペース内の入力装置に実質的に接続されて現れるように、変換を導出する、
前記手術ロボットシステム。
【請求項４２】
マスターコントローラの連結点とスレーブマニピュレータの連結点とが、マッピングされたスペース内で異なる場所を定める、請求項４１に記載の手術ロボットシステム。
【請求項４３】
スレーブが、エンドエフェクターを支持する複数の動作点を含んだ連結式マニピュレータを備え、駆動サーボは、スレーブの剛性シャフトが体腔手術用の任意の第１エントリポートの周りで旋回し、かつスレーブ制御信号に応じてエンドエフェクターを移動させるように、前記動作点に連結され、
イメージングシステムが、駆動サーボと、イメージ取得装置を支持する複数の動作点を含んだ連結式アセンブリとを備え、駆動サーボが、連結式アセンブリに連結され、イメージ取得装置のエンドスコープが、体腔手術用の任意の第2エントリポートを通して延びるとき、手術作業スペース内で視野を移動させる、請求項４１に記載の手術ロボットシステム。
【請求項４４】
プロセッサーが、
カメラの動き、
マスター及びスレーブのうちの一方について他方に対する分離及び再配置、
マッピングのスケールの変更、及び
マスター又はスレーブのマニュアル移動
から成る群のうち少なくとも１つを示す信号に応じて変換を計算する、請求項４１に記載の手術ロボットシステム。
【請求項４５】
スレーブが、手術作業スペースにて非視覚的情報を感知し、マスターコントローラが、入力装置を操作する外科医に該非視覚的情報を与える、請求項４１に記載の手術ロボットシステム。
【請求項４６】
非視覚的情報が、少なくとも１つのマニピュレータから少なくとも１つのハンドコントロールへの触覚フィードバックを含む、請求項４５に記載の手術ロボットシステム。
【請求項４７】
マスターコントローラが、入力装置を操作する外科医に非視覚的情報を与える、請求項４１に記載の手術ロボットシステム。
【請求項４８】
マスターコントローラが、入力装置を操作する外科医に触覚フィードバックを与える、請求項４７に記載の手術ロボットシステム。
【請求項４９】
オペレータコントローラの作業スペース内にハンドコントロール入力装置を有するハンドコントローラ、
手術用エンドエフェクター、
エンドエフェクターのイメージを取得する視野をもったイメージ取得装置、
手術作業スペース内のエンドエフェクターのイメージを表示するディスプレイ、
ハンドコントローラとエンドエフェクターを連結する制御信号を発生するプロセッサーであって、該制御信号は座標変換に関係している前記プロセッサー
を備えた手術ロボットシステムであって、
プロセッサーは、ディスプレイ中のエンドエフェクターのイメージが作業スペース内の入力装置に実質的に関連して現れるように、座標変換を導出し、
プロセッサーは、座標変換を変更することにより、ハンドコントローラに対するエンドエフェクターのイメージを再配置する、前記手術ロボットシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、臨場感を伴った遠隔操作に関し、特に腹腔鏡手術への遠隔操作の適用に係る。
【背景技術】
【０００２】
遠隔操作システムにより、オペレーターは作業スペースに置かれた対象物をオペレーターステーションから遠隔制御で操作できる。例えば、腹腔鏡による腹部手術においては、患者の腹部にガスが吹き込まれ、カニューレが小さな切開部を通されて腹腔鏡手術器具の入口ポートが作られる。腹腔鏡手術器具には、手術野を見るためのイメージ取得手段や鉗子又は鋏のような作業器具が含まれる。各器具の作業端部が延長チューブによりそのハンドルから離れていることを除けば、作業器具は切開手術で用いられるものと類似している。外科医は、腹部内部の表示されたイメージを見ながらカニューレに器具をスライドさせて腹部内でそれらを操作することにより手術する。即ち、遠隔場所から手術器具を遠隔制御して臨場感ある手術をするのはそれからである。外科医は臨場感により理想的に手術をすることができる。この臨場感は遠隔操作についての他の技術とは異なったものであり、外科医は表示されたイメージを見て器具を遠隔操作しているだけなのだが、自分は直接道具を制御しているという感じを外科医に与える。
【０００３】
臨場感の効果は、遠隔マニピュレーターが遠隔オペレーターステーションに置かれたハンドコントロール装置から現れるようにシステムオペレーターが知覚するという幻想から大いに得られる。目と手の擬人的関係とは大いに異なってマニピュレーターに対してカメラや腹腔鏡のようなイメージ取得手段が配置されるならば、マニピュレーターはオペレーターの手による制御の及ばないところに離して置かれるであろう。このことにより、マニピュレーターは観察位置に対してぎこちなく動き、オペレーターがマニピュレーターを器用に素早く制御できなくなる。しかしながら、腹腔鏡手術のような用途では、腹部空洞の可能な最上のイメージを得るために腹腔鏡を動かすことが避けられない。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
従って、実質的には離して置かれたイメージ装置が存在するだけであるが、遠隔マニピュレーターを直に手で制御している感じをオペレーターに与える技術が必要とされ、これによりオペレーターは、まるで自分は本当の臨場感で作業スペースを見ているように感じるのである。
【課題を解決するための手段】
【０００５】
本発明により、遠隔手術システムのような、遠隔作業サイトの作業スペースに置かれた対象物をオペレーターステーションのオペレーターにより操作するための遠隔操作システムにおいて、遠隔作業サイトには、作業スペースにある身体空胴のような対象物を操作するためのエンドエフェクターを各々が備えた一つのマニピュレーター又は一対のマニピュレーターがあり、コントローラーとしては、制御オペレーターステーションに設けられたマニピュレーターを遠隔制御するハンドコントロールがあり、さらに、リアルタイムで作業スペースのイメージを取得するためのカメラのようなイメージ取得手段、及び制御オペレーターが作業スペースの対象物をリアルタイム制御できるように十分なフィードバックを伴って可視イメージを再生するためのイメージ再生手段が設けられ、改良として、エンドエフェクターに対するイメージ取得手段の位置を感知するための手段が設けられ、可視リアルタイムイメージを透視イメージに変換するための手段が設けられ、このイメージに対してハンドコントロールによりエンドエフェクターが操作され、その結果、オペレーターはまるで実質的には本当の臨場感で作業スペースを見ているようにエンドエフェクターとマニピュレーターを操作できる。本当の臨場感とは、イメージ表現がオペレーターの視点をシミュレートする真の透視イメージであることを意味する。本発明によるイメージ変換には、回転、平行移動及び透視補正が含まれる。
添付図面に関する以下の詳細な説明を参照することにより、本発明はよりよく理解されるであろう。
【発明を実施するための最良の形態】
【０００６】
図１Ａは、本発明による遠隔操作システム１０を示し、遠隔オペレーターステーション１２を備え、オペレーター１４（例えば、外科医）が作業サイトステーション１６の対象物に対し遠隔操作できる。遠隔ステーション１２は、オペレーターに作業サイトを見せるためのビデオディスプレイ２０と見掛けの作業スペース２２を含む。この作業スペース２２において、オペレーター１４は手術器具ハンドルのようなハンドコントロール手段２４、２６を掴むことにより実際の操作を行う。ハンドコントロール手段２４、２６は、位置センサー５１、５５に接続されている。作業サイトステーション１６は、イメージ取得手段１９を含み、カメラ又は内視鏡のカメラレンズ２８を備えたセンサー手段２１を含み、イメージ取得手段１９にそのレンズが取り付けられて、作業スペース３０に置かれた対象物のイメージを取得する。（内視鏡は身体の空洞内にある。）マニピュレーター３２、３４は、エンドエフェクター手段３９、４１を使用することにより表示イメージと相関している作業スペース３０にある対象物の操作を可能にする。
作業サイト１６で取得されたイメージは、作業スペース３０の対象物のリアルタイムイメージをオペレーター１４に与える幾つかのステージを介して伝送される。特に、光学イメージ取得手段１９を含んだセンサー手段２１は、カメラレンズ２８を通してマニピュレーター３２、３４の映像を与え、そのイメージ情報を経路１３を介してイメージプロセッサー２３に送る。加えて、イメージセンサー位置情報（カメラ位置）が、経路６３を通って座標変換器４３に送られる。（固定カメラの場合には、カメラ位置情報はプリセットできる。）さらに、機械的位置感知手段５９、６１が、マニピュレーター３２、３４の位置を機械的に感知して、その位置情報を経路１５７を介して座標変換器４３に送る。
【０００７】
イメージプロセッサー２３は、回転及び平行移動手段２５、透視補正手段２９並びに較正手段２７を含む。回転器（手段）は、イメージを回転させ、平行移動器（手段）は、回転したイメージをシフトさせる。透視補正器（手段）２９は、主にイメージを拡大し、幾らかの傾斜補正をすることもできる。較正器（手段）２７は、イメージ入力のタイプに依存して、様々な機能を有する。特に、それは、既知の基準座標系にイメージを較正するのに使用され、オペレーターがハンドコントロールとマニピュレーターの動きを調和できるようにする。１又は１より多いこれらの機能ブロックによりイメージが変換された後、この実施例ではモノスコープ装置であるビデオディスプレイ２０を駆動するイメージャー３１に対してピクセルデータが経路１５を介して送られ、イメージについてのデータが座標変換器４３に送られる。このことにより、マニピュレーターの制御に潜在的に影響するどんな処理イメージデータ（例えば、拡大、回転、平行移動）も、マニピュレーターの制御に利用可能となる。影響されうる処理の詳細は、特に較正に関して以下に説明される。
【０００８】
座標変換器４３は、位置情報の主要なプロセッサーである。カメラ位置情報、マニピュレーター位置情報及びハンドコントロール位置情報が受け取られて、そのなかで処理される。特に、ハンドコントロール２４、２６の位置が位置センサー５１、５５により感知され、経路４７を介して座標変換器４３に送られる。座標変換器４３における変換及び処理の後、制御情報が位置追従サーボ４５に与えられ、エンドエフェクター３９、４１を備えたマニピュレーター３２、３４を駆動し制御する。これらのブロックの各々の動作は、さらに詳細に記載される。
【０００９】
動作中、イメージ取得手段１９上のカメラレンズ２８は、実際の作業スペース３０において特定の方向を向いている対象物のイメージを取得する。対象物を操作するときオペレーター１４が対象物を見ることができるように、ビデオディスプレイ２０が取得したイメージを表示する。オペレーター１４は、見掛けの作業スペース２２に配置されたハンドコントロール手段２４、２６を掴んで所望の操作を行える。位置追従サーボ４５の命令下において遠隔ステーション１２のハンドコントロール手段２４、２６は、作業サイトステーション１６のマニピュレーター３２、３４を制御し、作業スペース３０にある対象物を実際に操作する。実際の作業スペース３０は、遠隔オペレーターに対して効果的に投影され、自分はそこに手が届いて直接見ており作業スペース３０に置かれた対象物を制御しているという幻想を作り出す。たとえオペレーターが他の部屋か別の非常に離れた地にいるとしても、適正に投影されるならば、オペレーター１４による制御動作は自然で随意なものとなる。
【００１０】
本発明により提起された問題点は、「見掛けの」作業スペース２２においてハンドコントロール手段２４、２６に対する投影イメージを見ている制御オペレーターの目の位置と、本当の作業スペース３０においてマニピュレーター３２、３４に対するカメラレンズ２８の位置が同じでないという状況から生じる。その解決策は本発明により与えられる。
【００１１】
本発明による遠隔操作システムは、立体的に見ることにも適応できる。図１Ｂには、図１Ａの要素が全て含まれており、加えて第２のカメラレンズ３６とイメージ取得手段３５が示されている。２つのカメラレンズ２８と３６は約１０゜離すことができ、これは、４０ｃｍ離れた視野を見るときに経験する両眼間の見え方の相違と同じである。立体イメージが、（例えば、電気的に切り換えられるスクリーン上の偏光器３７を用いることにより）ステレオビデオディスプレイモニター３８に表示され、クロス偏光した立体レンズ４０を通して見られることで遠隔オペレーター１４に自然なイメージを提供する。その結果、オペレーターは実際の作業スペース３０に直接手を伸ばして見ながらその中に置かれた対象物を直接操作するときの正しい視覚フィードバックを経験する。システムの詳細は後に説明される。
【００１２】
図２は、遠隔操作システムの作業スペース３０内の作業サイトステーション１６の要素の概略的な斜視図であり、制御ループを構成している図１の特徴部分を示す。このシステムでは、遠隔ステーションにいるオペレーターが、作業スペース３０の中心点５０に置かれた対象物を操作する。モノスコープシステムでは、カメラレンズ２８とイメージ取得手段１９を備えたセンサー手段２１が、対象物のリアルタイムイメージを取得する。オペレーター１４は、２つのハンドコントロール手段２４及び２６を使用し、夫々左のマニピュレーター３２及び右のマニピュレーター３４を制御することで、作業スペース３０の対象物を遠隔操作する。この実施例では、ハンドコントロール手段２４、２６とマニピュレーター３２、３４には固定した旋回点があり、旋回点のまわりに双方向の角度運動ができ、加えて、マニピュレーターとハンドコントロールの各々は伸縮自在に伸長できる。ハンドコントロール手段２４、２６とマニピュレーター３２、３４間の相互関係はカメラレンズ２８により取得されたイメージにより結合され、オペレーターに見掛けの像を示すという十分なフィードバックを与えて、作業スペースの対象物をリアルタイム制御する（さらなる改良として、触覚フィードバックも可能）。この例では、左のマニピュレーター３２と右のマニピュレーター３４の両方とも、作業スペース３０の中心線軸５２を含む任意の方向の面に対して３０゜起きており、本当のローカル作業スペース３０の対象物の一般的な位置関係をシミュレートしている。
【００１３】
動作中、カメラレンズ２８は、中心線軸５２に対して横方向に０゜の位置にあり、従って、カメラレンズ２８は、左のマニピュレーター３２と右のマニピュレーター３４の間にある。カメラレンズ２８の面は、中心線軸５２と基準線５３を含む平面に対して例えば４５゜傾いている。このカメラの位置と向きは、マニピュレーター３２と３４に対する実際の目の位置に近い近似であり、基本又は基準位置を表している。カメラレンズ２８により取得されたイメージは、オペレーターがまるでマニピュレーター３２と３４の上方に位置して４５゜の角度で作業スペースを見ているような感じである。左のマニピュレーター３２と右のマニピュレーター３４の両方とも、表示イメージの底に現れ（オペレーターのハンドコントロールに近い）、強力な感覚の臨場感を引き出し、即ち、オペレーターはマニピュレーター３２と３４を直接制御していると感じ、器用に素早く制御することができる。マニピュレーター３２、３４からハンドコントロール手段２４、２６への触覚フィードバックがある場合には特に効果的である。
【００１４】
障害物により要素の配置が困難な用途での遠隔操作においては、カメラレンズ２８を異なる位置に動かして中心点５０にある対象物を違った方向から見ることがしばしば必要になる。図３を参照すると、モノスコープ遠隔操作システムの作業サイトステーション１６の作業スペース３０における要素の概略斜視図が示され、カメラレンズ２８の位置は、水平面において中心線軸５２から横方向に角度Θ５８だけ回転している。カメラレンズ２８の回転後も、左マニピュレーター３２と右マニピュレーター３４は依然として中心線軸５２と基準線５３を含む平面に対して３０゜の角度で下向きに傾斜しており、カメラレンズ２８は依然として中心線軸５２と基準線５３により形成される平面上に４５゜の角度で配置されている。カメラレンズ２８がマニピュレーター３２と３４の上に直接配置されている場合（図２）と類似の臨場感をオペレーターに与えるために、本発明により、カメラレンズ２８により投影された取得イメージが、カメラレンズ２８の中心を通る視覚軸５４のまわりを回転させられる。このことは、「垂直」軸Ｕのまわりの回転を補償し、見掛けのマニピュレーター位置を静的に再方向付けさせる。
【００１５】
カメラレンズ２８とイメージ取得手段１９は垂直軸Ｕのまわり全範囲にわたり回転できること、また、基準面などに対するマニピュレーター及びカメラの角度は動作環境により拘束され決められることを理解すべきである。加えて、カメラレンズ２８は、中心線軸５２と基準線５３により形成される平面に対して異なる角度で配置することができる。例えば、図４は、中心線軸５２と基準線５３から形成される（任意の）基準面上で１５゜持ち上げられて配置されたカメラレンズ２８を示す。この配置では、カメラレンズ２８はマニピュレーター３２、３４の下にくる。
【００１６】
イメージが図１Ａに描かれたように単なるモノスコープならば、システムは、回転手段２５によりデジタルイメージを回転させることにより、一点（特定的には、中心点５０）を通る軸５４のまわりにマニピュレーター３２と３４の静的再方向付けを行うことができる。図３は、回転の関連角度を示す。角度Φ５３は、垂直軸Ｕに対するカメラレンズ２８の視覚軸５４の傾斜角を示す。角度Θ５８は、（線５２、５３により形成された）水平面における中心点５０に関する中心線軸５３からのカメラレンズ２８位置の回転を示す。
【００１７】
回転手段２５は、既知の方法に従ってリアルタイムイメージをピクセル毎に−Θにほぼ等しい角度だけ回転させることにより、マニピュレーターの静的再調整を行う。この操作が完了した後に、左マニピュレーター３２と右マニピュレーター３４は表示イメージの底（投影スクリーンの下半分）に現れる。カメラレンズ２８は静止したままであり、表示イメージがイメージ操作により回転されるのである。もしオペレーターステーションのハンドコントロール手段２４、２６が制御オペレーターの視点の上に配置されるならば、表示イメージの回転により、マニピュレーターが表示イメージの上部（投影スクリーンの上半分）に現れるように表示イメージが補正されるということに留意すべきである。いずれの場合にも、表示イメージの変換により、オペレーターはまるでオペレーターのハンドコントロールから現れているようにマニピュレーターを見ることができる。イメージの再マッピングは、実際の制御が行えるようになる前に行われる。
【００１８】
デジタルイメージ変換による静的再調整を行うことに加えて、変換手段２５は、ビデオイメージデータに以下の座標変換を行うことにより、見掛けのマニピュレーター先端位置をハンドコントロール位置と動的に同期させることができる。作業スペースでのマニピュレーター先端の実際の位置は、マニピュレーターがオペレーターのハンドコントロールと堅固に連接して動く感じになるように、表示イメージ内の見掛けの位置に変換される。マニピュレーターの見掛けの位置を変えることにより、オペレーターは作業スペース３０の対象物を器用に扱えるようになる。マニピュレーターのエンドエフェクターの端点は分かっているので、点（ａ，ｂ，ｃ）は、マニピュレーターの角度位置と長さに関係付けられ、点（ｐ，ｑ，ｒ）は、ベクトルとそれらの終点間のよく知られた三角関数による下記の関係式を用いて、ハンドコントロールに関する同じパラメーターに関係付けられる。
【数１】
2005261956.tif 000003
上記式による変換に関し、イメージは、オペレーターにより選択された角度Θ’だけ回転し、マニピュレーターの見掛けの位置をハンドコントロールと実質的に一致させる。観察では、角度Θ’≒−Θである。この変換は、（ａ，ｂ，ｃ）にあるエンドエフェクターにより表される点の位置と、ビデオディスプレイ２０上の表示イメージ内の見掛けの作業スペースでのマニピュレーターの対応する先端の位置（ｐ，ｑ，ｒ）の間の関係を記載している。
【００１９】
マニピュレーター位置を静的再方向付けする別の方法は、イメージ取得手段をその視覚軸のまわりに回転することである。図１Ａと図３に描かれたモノスコープシステムを再度参照すると、カメラレンズ２８は、それ自身の視覚軸５４（カメラレンズ２８の平面に直角な軸）のまわりに、左マニピュレーター３２と右マニピュレーター３４が表示イメージの底部（投影スクリーンの下半分）に現れる点まで回転される。オペレーターステーションのハンドコントロール手段が制御オペレーターの視点の上に配置されるならば、カメラレンズ２８とイメージ取得手段１９の回転により、マニピュレーターが表示イメージの上部（投影スクリーンの上半分）に現れるような点まで表示イメージを補正することに再度留意すべきである。
【００２０】
図１Ｂに描かれた立体イメージ化の場合において立体効果を維持するには、回転は各カメラレンズを通る別々の軸のまわりで為されるのではなく、（図５Ａ及び図５Ｂを参照して）両方のレンズから外れた一つの軸のまわりに連携して為されなけらばならない。特に、回転は、立体カメラレンズ２８と３６間の中心軸５７上の任意の点及び中心点５０を通る中心軸５７に垂直に行われる（図５Ａ及び図５Ｂ）。この軸は、図２に関して記載された視覚軸５４と類似のものである。図５Ａを参照すると、立体装置のレンズが初期位置で示されている。中心軸５７は、カメラ対の各レンズの固定した関係を示し、基準軸５９に平行であり、この基準軸５９は、中心点５０で交差するマニピュレーター３２、３４により形成される平面内の軸に平行である。この場合、該軸は、マニピュレーターを２等分し中心点５０を通るラインに垂直である。イメージ取得手段の回転により表示イメージを再方向付けするために、中心軸５７が中心点５０を通る基準面５９に対して傾斜される。この基準面は、図５Ｂに示されるように、基準軸５９を含む。
【００２１】
立体イメージ取得手段１９、３５の視覚的に許容できる回転量、及びマニピュレーター３２、３４の平面に対するイメージ取得手段１９、３５の高さには制限がある。この高さは、２つのマニピュレーターの各々のお互いに対する相対的なビュー角度を変えるのができないくらいに大きくはできない。明らかに、角度Φが９０゜ならば（視覚軸５４はライン５２、５３により形成される基準面内に存在）、相対的なビュー角度の有効な変化はイメージを回転することによっては達成されないであろう。他の高度角では、制限はマニピュレーション３２、３４の分離角に依存し、次に立体レンズ２８、３６の分離に依存する。
【００２２】
カメラレンズ２８の回転によるマニピュレーター位置の静的再方向付けを行うことに加えて、本システムは、平行移動手段２５による座標変換を行うことで動的再調整を行うことができる。作業スペース３０のマニピュレーター先端の実際の位置は、マニピュレーターがまるでオペレーターのハンドコントロールに堅固に連接して動いているように、表示イメージ内の見掛け位置に変換できる。マニピュレーター先端の見掛け位置を変えることにより、オペレーターは作業スペース３０の対象物を器用に扱えるようになる。
【００２３】
図８と図９は、ハンドコントロール２４に対するマニピュレーター（３２）及び実際のマニピュレーター３２のイメージ１３２を夫々示す。この例は、図２と対比して、マニピュレーター及びハンドコントロールにより表された対応するコントローラーが一つの旋回点１５１、１６１を用いるタイプのものである。この旋回点１５１、１６１は、この点及びマニピュレーター３２の軸に沿った延長のまわりに２次元的旋回を行う位置センサー５１、６１に接続される。マニピュレーターのその軸のまわりの長手方向回転のような、これらの作動と調和した他の動きは、本発明により予想されるものである。図８と図９に関し、ハンドコントロール２４の動きにより、マニピュレーター先端７２が作業スペース３０の新しい点（ａ，ｂ，ｃ）に動き、マニピュレーター先端１７２のイメージ１３２が見掛けの作業スペース２２内の新しい点（ｐ，ｑ，ｒ）に動き、この点はオペレーターにはハンドコントロール２４の延長された端部にあるように見える。ハンドコントロールに関するサーボコマンド及び対応するマニピュレーターを極座標系（Ω，Ψ，Ｌ）及び（Ω’，Ψ’，Ｌ’）で表すのが好ましい。これらの極座標とデカルト座標系でのそれらの夫々の点は、よく知られた極−デカルト変換により関係付けられる。
【００２４】
再び図３を参照すると、座標変換を計算するのに用いられる回転の特定の角度が示されている。角度Φ５６は、カメラレンズ２８の視覚軸５４の垂直軸Ｕに対する傾斜角度を示す。角度Θ５８は、作業スペース３０における中心点５０に対する中心線軸５２からの水平面内でのカメラレンズ２８の回転を示す。角度Γ６０は、カメラレンズの視覚軸５４のまわりのカメラレンズ２８の回転を示す。
【００２５】
モノスコープ遠隔操作システムの動作中は、カメラレンズ２８とイメージ取得手段１９は、上述のように視覚軸５４のまわりに回転させられる。３次元作業スペース３０の基準直交デカルト座標系での座標（ａ，ｂ，ｃ） は、例えば左マニピュレーター３２のようなマニピュレーターの先端の実際の位置を定める。次のマトリックス等式は、ビデオディスプレイ２０による表示イメージ内のマニピュレーター先端の所望の見掛け位置（直交デカルト空間でｐ，ｑ，ｒ）を作業スペース３０のマニピュレーター先端の実際の位置（ａ，ｂ，ｃ）に関係付ける。
【数２】
2005261956.tif 000004
マニピュレーター先端がビデオディスプレイ２０による表示イメージ内の位置（ｐ，ｑ，ｒ）に表示されるとき、オペレーターにはマニピュレーターがオペレーターの堅固なハンドコントロール装置の端部に実際にあるように感じるであろう。座標変換により、オペレーターは遠隔操作システムを用いて作業スペースの対象物を容易に扱えるようになる。
【００２６】
立体イメージ化の場合は、立体イメージ取得手段１９、３５が、基準軸５９に対して回転される。この基準軸５９は、中心点５０で交差するマニピュレーター３２、３４により形成される平面内の軸に平行である。この平面内の軸は、図５Ｂに示されるように、マニピュレーターを２等分し中心点５０を通るラインに垂直である。角度Γ６０は、立体レンズ２８、３６の回転量を示し、その値は式２で用いることができ、立体的に見るための適切な座標変換が計算される。
【００２７】
全ての角度と位置について完全に知らなくても、作業スペース３０のマニピュレーター３２、３４の動きがオペレーターの見掛けの作業スペース２２のハンドコントロール２４、２６の動きを適切に追跡するために、位置追従サーボに接続されたマニピュレーターがビデオディスプレイ２０による表示イメージ中に見られるとき、オペレーターはマニピュレーター３２、３４のための較正基準を設けることができる。図６Ａを参照すると、ビデオディスプレイ２０に表示されたイメージが示されており、３次元で見た例えば四面体又は立方体構造をした４点座標グラフィック要素６２が、立体イメージディスプレイ上の３次元空間にスーパーインポーズされ、３次元イメージ空間に座標基準を与えている。一つのマニピュレーターの位置をその対応するハンドコントロールに対して較正するために、本システムは制御ループを「開き」、オペレーターはハンドコントロール２４を動かし、例えばマニピュレーター３２の先端の動きを観測しながら、図６Ｂに示されるようにその先端がスーパーインポーズされたグラフィック要素６２の第１基準点６４に接触しているように見えるまで先端を操縦する。（ハンドコントロールとマニピュレーターの先端の動きはまだ調和していないので、第１基準点に先端を整列するには、非常に慎重な努力が要求される。）次に、オペレーター１４は、マニピュレーターと基準点が重なったことをシステムに知らせる（例えば、「セット」信号がシステムに送られる。）
【００２８】
次に、システムはマニピュレーター３２をその位置でロックし、それとハンドコントロール２４の結合を断つことにより制御ループを開き、オペレーター１４にハンドコントロール２４を放すように命じる。システムは、ハンドコントロールの延長長さＬ（図８及び図９）を調整して、差σ3 ＝Ｌ−Ｌ’を挿入することによりマニピュレーターの長さＬ’と一致させ、その結果、制御ループが閉じているときは、どちらかの装置による反発動作は生じない。即ち、ハンドコントロール２４とマニピュレーター３２の見掛けの延長位置は、制御ループにおいて比較するときは、同一でなければならない。それから、システムは、制御ループを閉じ、マニピュレーター３２のロックを解除し、オペレーター１４に制御を戻す。
【００２９】
次に、オペレーターは、ハンドコントロールをその旋回点のまわりに角度方向（Ψ，Ω）まで動かす。この角度位置において、オペレーターは、マニピュレーターのイメージがオペレーターのハンドコントロールから現れるているように感じる。上述の処理と同様に、システムは、制御ループが閉じているときに、マスター又はスレーブのどちらかによる反発動作が起こらないような変換を計算する。システムは、制御ループを閉じる前に、角度差σ1 = Ψ−Ψ’及びσ2 ＝Ω−Ω’を計算し、マスター又はスレーブの見掛けの位置を変換する。ここで、システムは、３次元空間におけるハンドコントロールマスターの位置（Ψ1，Ω1 ，Ｌ1 ）とマニピュレータースレーブの位置（Ψ'1, Ω'1, Ｌ'1）を記録する。
【００３０】
オペレーターは、スーパーインポーズされたグラフィック要素６２の残りの基準点を用いてこの処理要素を繰り返す。それから、システムは、位置を関係付ける等式の係数を決めるためのデータセットを用いて、ハンドコントロールマスター２４、２６の位置の増分をマニピュレータースレーブ３２、３４の位置の増分に関係付ける次の線形式を導出し組み込む。
ΔΩ’＝ｋ11ΔΩ＋ｋ12ΔΨ＋ｋ13ΔＬ
ΔΨ’＝ｋ21ΔΩ＋ｋ22ΔΨ＋ｋ23ΔＬ
ΔＬ’＝ｋ31ΔΩ＋ｋ32ΔΨ＋ｋ33ΔＬ
上記線形方程式の解は次の通りである。
【数３】
2005261956.tif 000005
システムは、適当な差σ1 、σ2 及びσ3 を用いて、サーボ４５を制御する座標変換器４３にこれらの係数値を組み込む。それにより、ループが閉じているときには反発動作は起こらない。
【００３１】
別の実施例では、マニピュレーターの較正は、システムの助けにより仮想動作を通じて行われる。図６Ｂを参照すると、オペレーターがマニピュレーター先端３２を導くのではなく、システムがマニピュレーター先端３２を３次元作業スペース３０内に定められた４点のうちの１つ（例えば、オペレーターに見られる基準点６４）に動かす。次に、オペレーターはハンドコントロール２４を用いて、重ねられたグラフィックドットをそれがマニピュレーター先端３２上にスーパーインポーズするまで操縦することにより、マニピュレーター３２の位置を動的に較正する。次に、オペレーター１４は、マニピュレーター先端３２と基準点６４が重なったことをシステムに知らせ、マニピュレーター３２とハンドコントロール２４の座標が記録される。この処理は残りの基準点に対しても繰り返され、その後、システムは、上記実施例で記載したように、座標変換式を導出して座標変換器４３に組み込む。
【００３２】
実際には、もし本発明が腹腔鏡手術で用いられるならば、システムよりもむしろ外科医が較正処理を開始するほうが好ましい。用手分娩に用いられる余地は少ないが、手術の間、較正処理が患者の腹部内で行われる。よって、マニピュレーターの自動的な運動は少ないにしても、オペレーターにより制御される運動よりも望ましくないと考えられる。
【００３３】
遠隔操作システムで臨場感を引き出すための別の方法は、特定の座標変換を使用し、横方向シフトやスケール変化のような表示イメージの他の変化を補償する。カメラは横方向や角度方向に変位させられ、表示イメージをシフトさせる。加えて、カメラは作業スペースの対象物を拡大でき、このことにより、スケール変化やマニピュレーターの見掛けの旋回点の変位が生じる。
【００３４】
図７Ａと図７Ｂは、イメージの横方向シフトとイメージの拡大により引き起こされたスケール変化の結合効果を示す。図７Ａは、２次元野における表示イメージの一部を示し、マニピュレーター３２を含む。イメージの中心は、座標（０，０）である。もしイメージ野内の座標（ｕ，ｖ）にあるマニピュレーター先端７２がまるでオペレーターの手にあるコントロール装置に堅固に取り付けられているように動くならば、オペレーターは最上の臨場感を経験するであろう。図において、コントロール装置は、点（ｍ，ｎ）で旋回する。マニピュレーターは、ｙ軸に対して角度α７４の位置にあり、旋回点（ｍ，ｎ）からマニピュレーター先端（ｕ，ｖ）までの距離は、長さＬ７６である。
【００３５】
図７Ｂは、イメージがファクターＭで拡大されたとき、オペレーターが見るものである。イメージの中心は、距離Δｘ及びΔｙだけ横方向にシフトされ、マニピュレーター先端７２の見掛けの座標は、（ｕ’，ｖ’）である。臨場感の所望の水準を保証するために、角度α７４と長さＬ７６が、透視補正手段２９により表示イメージ内で再マッピングされ、マニピュレーター先端７２が依然としてハンドコントロール装置に堅固にくっ付いているという印象をオペレーターに与える。次の一対の式は、角度α７４の角度α’７８への再マッピング及び長さＬ７６の長さＬ’８０への再マッピングを表す。
α’＝arctan ［（ｕ’−ｍ）／（ｖ’−ｎ）］
Ｌ’＝［（ｕ’−ｍ)2 ＋（ｖ’−ｎ)2 ]1/2 
ここで、
ｕ’＝Ｍ（ｕ−Δｘ）
ｖ’＝Ｍ（ｖ−Δｙ）
であり、
ｕ＝Ｌ（sin α）＋ｍ
ｖ＝Ｌ（cos α）＋ｎ
である。
【００３６】
上記式に従いαとＬが再マッピングされると、マニピュレーター先端７２は、まるでオペレーターのハンドコントロール装置に堅固に連接しているように、表示イメージ中を動く感じである。
【００３７】
上記関係式は３次元での変換を含むように拡張でき、図３に関して記載された実施例のように、カメラレンズ２８がそれ自身の視覚軸５４のまわりに回転させられるときにマニピュレーターの変位を補正できる。いずれにしても、２つのマニピュレーターを含む知覚された平面が、２つのハンドコントロールの平面と同一場所にあることを維持するという望ましい目的が達成される。
【００３８】
ここまで、本発明は特定の実施例に関して説明されてきた。他の実施例も、この記載を参照すれば当業者には明白となるであろう。例えば、本発明は、回転及び平行移動の複数の点を有する連結式マニピュレーターや、マニピュレーターに物理的に付けられてない場所に旋回点を有する連結式マニピュレーターに拡張できる。従って、本発明は、添付請求の範囲に示されるときを除き、制限されるものでない。
【図面の簡単な説明】
【００３９】
【図１Ａ】本発明による遠隔操作システムにおける遠隔オペレーターステーション及び作業サイトステーションの側面図である。
【図１Ｂ】本発明による遠隔操作システムにおける遠隔オペレーターステーション及び立体視に適した作業サイトステーションの斜視図である。
【図２】本発明の特定の実施例の概略斜視図であり、イメージ取得手段が、マニピュレーターを使用しているオペレーターの視点に対して標準的中心に位置している。
【図３】本発明の特定の実施例の概略斜視図であり、イメージ取得手段が、マニピュレーターを使用しているオペレーターの視点に対して横方向に離して置かれている。
【図４】本発明の特定の実施例の概略斜視図であり、イメージ取得手段が、マニピュレーターを使用しているオペレーターの視点に対して下方に位置している。
【図５】図５Ａは、立体イメージ取得手段のレンズの正面図であり、レンズが、マニピュレーターを使用するオペレーターの視点に対して標準の位置にある。図５Ｂは、立体イメージ取得手段のレンズの正面図であり、レンズが、マニピュレーターを使用するオペレーターの視点に対して回転している。
【図６】図６Ａは、遠隔操作システムにおける遠隔マニピュレーターのイメージの平面図であり、較正前のスーパーインポーズド立体４点座標要素を示す。図６Ｂは、遠隔操作システムにおける遠隔マニピュレーターのイメージの平面図であり、較正後のスーパーインポーズド立体４点座標要素を示す。
【図７】図７Ａは、遠隔操作システムにおける遠隔マニピュレーターのイメージの平面図であり、マニピュレーターに対するイメージ取得手段の水平での変位角度を示す。図７Ｂは、図７Ａの一部を拡大した図であり、横方向へのシフト後のマニピュレーターのエンドエフェクターの位置への合成効果を示す。
【図８】ハンドコントロールの投影としてマニピュレーターイメージを幾何学的に描写している。
【図９】図８に描かれたイメージに対する実際のマニピュレーターを幾何学的に描写している。
【図１Ａ】
2005261956.tif 000006
【図１Ｂ】
2005261956.tif 000007
【図２】
2005261956.tif 000008
【図３】
2005261956.tif 000009
【図４】
2005261956.tif 000010
【図５】
2005261956.tif 000011
【図６】
2005261956.tif 000012
【図７】
2005261956.tif 000013
【図８】
2005261956.tif 000014
【図９】
2005261956.tif 000015