(57)【要約】  第一マニピュレータ及び第二マニピュレータを備えた医療用マニピュレータシステムを制御するための複数の制御モードは、操作部による第二マニピュレータの操作を許可する第一モードと、操作部による操作指令に対して所定の制限を加えた上で制限の範囲内で第二マニピュレータの操作を許可する第二モードと、操作部による第二マニピュレータの操作を禁止する第三モードと、を含み、医療用マニピュレータシステムに設けられた判別部は、第二マニピュレータの所定の一部が第一マニピュレータによる視野領域の内にある場合に第一モードを選択し、上記所定の一部が視野領域の外にあり且つ第一マニピュレータと第二マニピュレータとの距離が所定値以下である場合に第二モードを選択し、上記所定の一部が視野領域の外にあり且つ第一マニピュレータと第二マニピュレータとの距離が前記所定値を超えている場合に第三モードを選択する。
2017115425.tif 000002
【特許請求の範囲】
【請求項１】
撮像部を有する第一マニピュレータと、
エンドエフェクタを有する第二マニピュレータと、
前記撮像部からの映像を表示する表示部と、
前記第一マニピュレータ又は前記第二マニピュレータを操作するための操作指令を発する操作部と、
複数の制御モードから１つのモードを選択して前記操作指令に基づいて前記第一マニピュレータ又は前記第二マニピュレータを制御する制御部と、
を備え、
前記制御部は、
前記第一マニピュレータに設定された所定部位の位置を第一位置として取得するとともに前記第二マニピュレータに設定された所定部位の位置を第二位置として取得する位置情報取得部と、
前記撮像部が撮像した映像を取得し、視野領域を算出する視野領域取得部と、
前記視野領域，前記第一位置，及び前記第二位置に基づいて複数の制御モードから１つのモードを選択する判別部と、
を有し、
前記複数の制御モードは、
前記操作部による前記第二マニピュレータの操作を許可する第一モードと、
前記操作部による操作指令に対して所定の制限を加えた上で前記制限の範囲内で前記第二マニピュレータの操作を許可する第二モードと、
前記操作部による前記第二マニピュレータの操作を禁止する第三モードと、
を含み、
前記判別部は、
前記第二位置が前記視野領域の内にある場合に前記第一モードを選択し、
前記第二位置が前記視野領域の外にあり且つ前記第一位置と前記第二位置との距離が所定値以下である場合に前記第二モードを選択し、
前記第二位置が前記視野領域の外にあり且つ前記第一位置と前記第二位置との距離が前記所定値を超えている場合に前記第三モードを選択する
ことを特徴とする医療用マニピュレータシステム。
【請求項２】
前記表示部は、
前記撮像部が撮像した映像を表示する視野表示部と、
前記第二マニピュレータの存在に対応する指標を表示可能な補助表示部と、
を有する請求項１に記載の医療用マニピュレータシステム。
【請求項３】
前記第二モードは、前記第一モードにおける前記第二マニピュレータの動作速度よりも低速で前記第二マニピュレータを動作させるように前記第二マニピュレータの動作速度を制限する
請求項１または請求項２に記載の医療用マニピュレータシステム。
【請求項４】
前記第二モードは、
前記第二マニピュレータの動作可能方向を前記第一モードよりも制限する
請求項１から請求項３のいずれか一項に記載の医療用マニピュレータシステム。
【請求項５】
前記第二モードは、
前記動作可能方向を前記第二位置が前記視野領域に向かう方向のみに制限する
請求項４に記載の医療用マニピュレータシステム。
【請求項６】
前記第二モードにおける制限の内容を設定する設定手段をさらに有する請求項１から請求項５のいずれか一項に記載の医療用マニピュレータシステム。
【請求項７】
前記第二マニピュレータは、前記第二マニピュレータが物体に接触したことを検知可能な接触検知手段をさらに有し、
前記第二モードは、前記第二マニピュレータと前記物体とが接触したことを前記接触検知手段が検知したときに、前記第二マニピュレータと前記物体とが接触したことを操作者に報知し、且つ、前記操作部による前記第二マニピュレータの操作を禁止する
請求項１から請求項６のいずれか一項に記載の医療用マニピュレータシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、医療用マニピュレータシステムに関する。
【背景技術】
【０００２】
従来、処置対象部位を内視鏡により観察しながらこの部位に対して処置具を用いて手術を行う医療用マニピュレータシステムが知られている。
たとえば、内視鏡画像の表示領域の外側に設定された境界領域に内視鏡の視野外に位置する処置具の位置及び配向を表示させる技術が特許文献１に開示されている。
特許文献１に開示された技術によれば、内視鏡の視野外に位置する処置具の位置及び配向を操作者に容易に把握させ、内視鏡の視野外の処置具を視野内へと容易に移動させることができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特表２００９−５４２３６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に開示された技術では、内視鏡の視野外に位置する処置具は、内視鏡画像により視認できない状態であっても操作者によって自在に移動可能である。しかしながら、この場合、処置具の移動を妨げる障害物が視野外に位置していたとしてもこの障害物の存在を把握できないので、内視鏡の視野外で処置具と障害物とが衝突する可能性を考慮しつつ視野外で処置具を移動させる操作が必要である。このため、特許文献１に開示された技術では、内視鏡の視野外における処置具の移動が、視野から外れた処置具を視野内に戻すような単純な移動に限られてしまうので、使い勝手が悪い。
本発明は、使い勝手の良い医療用マニピュレータシステムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明の一態様は、撮像部を有する第一マニピュレータと、エンドエフェクタを有する第二マニピュレータと、前記撮像部が撮像した映像を表示する表示部と、前記第一マニピュレータ又は前記第二マニピュレータを操作するための操作指令を発する操作部と、複数の制御モードから１つのモードを選択して前記操作指令に基づいて前記第一マニピュレータ又は前記第二マニピュレータを制御する制御部と、を備え、前記制御部は、前記第一マニピュレータに設定された所定部位の位置を第一位置として取得するとともに前記第二マニピュレータに設定された所定部位の位置を第二位置として取得する位置情報取得部と、前記撮像部が撮像した映像を取得し、視野領域を算出する視野領域取得部と、前記視野領域，前記第一位置，及び前記第二位置に基づいて複数の制御モードから１つのモードを選択する判別部と、を有し、前記複数の制御モードは、前記操作部による前記第二マニピュレータの操作を許可する第一モードと、前記操作部による操作指令に対して所定の制限を加えた上で前記制限の範囲内で前記第二マニピュレータの操作を許可する第二モードと、前記操作部による前記第二マニピュレータの操作を禁止する第三モードと、を含み、前記判別部は、前記第二位置が前記視野領域の内にある場合に前記第一モードを選択し、前記第二位置が前記視野領域の外にあり且つ前記第一位置と前記第二位置との距離が所定値以下である場合に前記第二モードを選択し、前記第二位置が前記視野領域の外にあり且つ前記第一位置と前記第二位置との距離が前記所定値を超えている場合に前記第三モードを選択することを特徴とする医療用マニピュレータシステムである。【０００６】
前記表示部は、前記撮像部が撮像した映像を表示する視野表示部と、前記第二マニピュレータの存在に対応する指標を表示可能な補助表示部と、を有していてもよい。【０００７】
前記第二モードは、前記第一モードにおける前記第二マニピュレータの動作速度よりも低速で前記第二マニピュレータを動作させるように前記第二マニピュレータの動作速度を制限してもよい。【０００８】
前記第二モードは、前記第二マニピュレータの動作可能方向を前記第一モードよりも制限してもよい。【０００９】
前記第二モードは、前記動作可能方向を前記第二位置が前記視野領域に向かう方向のみに制限してもよい。【００１０】
上記態様の医療用マニピュレータシステムは、前記第二モードにおける制限の内容を設定する設定手段をさらに有していてもよい。【００１１】
前記第二マニピュレータは、前記第二マニピュレータが物体に接触したことを検知可能な接触検知手段をさらに有し、前記第二モードは、前記第二マニピュレータと前記物体とが接触したことを前記接触検知手段が検知したときに、前記第二マニピュレータと前記物体とが接触したことを操作者に報知し、且つ、前記操作部による前記第二マニピュレータの操作を禁止してもよい。
【発明の効果】
【００１２】
本発明の医療用マニピュレータシステムは、撮像部の視野領域外に第二マニピュレータが位置していても第一マニピュレータとの距離が所定値以下であれば所定の制限の下で第二マニピュレータを動作させることができるので、撮像部の視野外に第二マニピュレータがあっても上記の制限の範囲で自由に第二マニピュレータの操作が可能であり、使い勝手が良い。
【図面の簡単な説明】
【００１３】
【図１】本発明の一実施形態の医療用マニピュレータシステムのブロック図である。
【図２】同実施形態の医療用マニピュレータシステムの一部を示すブロック図である。
【図３】同実施形態の医療用マニピュレータシステムによって規定される視野空間及び境界空間を示す模式図である。
【図４】同実施形態の医療用マニピュレータシステムによって規定される視野空間及び境界空間を示す模式図である。
【図５】同実施形態の医療用マニピュレータシステムの表示部に表示される画像を示す模式図である。
【図６】同実施形態の医療用マニピュレータシステムの表示部に表示される画像を示す模式図である。
【図７】同実施形態の医療用マニピュレータシステムの表示部に表示される画像を示す模式図である。
【図８】複数の制御モードから１つのモードを選択するため条件を説明するための表である。
【図９】同実施形態の変形例の医療用マニピュレータシステムのブロック図である。
【図１０】同実施形態の他の変形例の医療用マニピュレータシステムのブロック図である。
【図１１】同実施形態の他の変形例の医療用マニピュレータシステムのブロック図である。
【図１２】同変形例の医療用マニピュレータシステムの表示部に表示される画像の例を示す模式図である。
【図１３】同実施形態の他の変形例の医療用マニピュレータシステムによって規定される視野空間及び境界空間を示す模式図である。
【図１４】同変形例の医療用マニピュレータシステムの表示部に表示される画像の例を示す模式図である。
【図１５】複数の制御モードから１つのモードを選択するため条件を説明するための表である。
【発明を実施するための形態】
【００１４】
本発明の一実施形態について説明する。図１は、本実施形態の医療用マニピュレータシステムのブロック図である。
図１に示すように、本実施形態の医療用マニピュレータシステム１は、撮像部３を有する第一マニピュレータ２と、所定の基準座標系における第一マニピュレータ２の位置及び姿勢を検知する第一位置姿勢検知部４と、前記第一マニピュレータ２を駆動させる第一駆動部６と、エンドエフェクタ８を有する第二マニピュレータ７と、上記の基準座標系における第二マニピュレータ７の位置及び姿勢を検知する第二位置姿勢検知部９と、第二マニピュレータ７を駆動させる第二駆動部１１と、第一マニピュレータ２の撮像部３に接続された画像処理装置１２と、第一マニピュレータ２及び第二マニピュレータ７を操作するための操作部１３と、操作部１３に対する操作入力に基づいて第一マニピュレータ２及び第二マニピュレータ７を制御する制御部１５と、制御部１５に接続された表示部２２とを備えている。
【００１５】
第一マニピュレータ２は、体内の処置対象部位を撮像部３を用いて観察するためのマニピュレータである。第一マニピュレータ２の撮像部３は、撮像対象物を撮像して電気信号を画像処理装置１２へ送信するように、画像処理装置１２に電気的に接続されている。
【００１６】
第一位置姿勢検知部４は、第一マニピュレータ２を保持する第一多関節アーム５を有している。第一多関節アーム５は、第一マニピュレータ２の位置及び姿勢を検知するためのエンコーダ（不図示）を含む。第一多関節アーム５に設けられたエンコーダは、制御部１５に接続されている。
【００１７】
第一駆動部６は、第一マニピュレータ２の撮像部３を移動させるためのアクチュエータ（不図示）を有している。第一駆動部６のアクチュエータは、本実施形態では第一多関節アーム５の各関節に配されている。第一駆動部６は、制御部１５からの制御信号に従ってアクチュエータにより第一多関節アーム５を駆動することによって、第一マニピュレータ２を駆動する。
なお、第一マニピュレータ２の撮像部３の視野方向を変更するための別のアクチュエータ（不図示）が第一マニピュレータ２に配されていてもよく、この場合、このアクチュエータは第一駆動部６の一部として制御部１５により制御される。
【００１８】
第二マニピュレータ７は、体内の処置対象部位をエンドエフェクタ８を用いて外科的に処置するためのマニピュレータである。
【００１９】
第二マニピュレータ７のエンドエフェクタ８は、第二駆動部１１によって駆動されるように、第二駆動部１１に接続されている。たとえば本実施形態のエンドエフェクタ８は、第二駆動部１１によって開閉動作する鉗子や鋏である。なお、エンドエフェクタ８は、機械的に駆動されるものでなくてもよい。たとえばエンドエフェクタ８は、電気メスや超音波メスなどであってもよい。
【００２０】
第二位置姿勢検知部９は、第二マニピュレータ７を保持する第二多関節アーム１０を有している。第二多関節アーム１０は、第二マニピュレータ７の位置及び姿勢を検知するためのエンコーダ（不図示）を含む。第二多関節アーム１０に設けられたエンコーダは、制御部１５に接続されている。
なお、第二マニピュレータ７においてエンドエフェクタ８が首振り等の動作をすることができる場合には、第二位置姿勢検知部９のエンコーダは、第二マニピュレータ７自身の位置及び姿勢を検知するための第一のエンコーダと、エンドエフェクタ８の位置及び姿勢を検知するための第二のエンコーダとを含んでいてもよい。
【００２１】
第二駆動部１１は、第二マニピュレータ７全体を移動させるためのアクチュエータ（不図示）と、第二マニピュレータ７のエンドエフェクタ８を駆動するためのアクチュエータ（不図示）とを有している。第二マニピュレータ７全体を移動させるためのアクチュエータは、本実施形態では第二多関節アーム１０の各関節に配されている。エンドエフェクタ８を駆動するためのアクチュエータは、本実施形態では第二多関節アーム１０の遠位端に配されている。第二駆動部１１は、制御部１５からの制御信号に従って各アクチュエータによりエンドエフェクタ８及び第二多関節アーム１０を駆動することによって、第二マニピュレータ７を駆動する。
【００２２】
画像処理装置１２は、撮像部３から送信された電気信号を受け付けて、この電気信号を映像信号に変換する。画像処理装置１２は、映像信号を制御部１５へと出力する。なお、画像処理装置１２は、映像信号を制御部１５に加えて表示部２２にも出力できるように、複数系統の出力を備えていてもよい。
【００２３】
操作部１３は、第一マニピュレータ２及び第二マニピュレータ７を操作する操作者が用いる入力デバイスである。操作部１３は、操作者による入力に対応した操作指令を発する。操作部１３が発した操作指令は、制御部１５へと出力される。たとえば、第二マニピュレータ７を操作するための本実施形態の操作部１３は、第二マニピュレータ７の遠位部分及びエンドエフェクタ８と相似形のマスタアーム１４を有している。マスタアーム１４を操作者が移動させることにより、第二マニピュレータ７全体を移動させることができる。マスタアーム１４においてエンドエフェクタ８に対応する部位を操作者が動作させることにより、エンドエフェクタ８を動作させることができる。また、マスタアーム１４は、操作者がマスタアーム１４を動作させるために必要な力量を変更するための抵抗手段（不図示）を有している。
【００２４】
図２は、本実施形態の医療用マニピュレータシステムの一部を示すブロック図である。図３及び図４は、本実施形態の医療用マニピュレータシステムによって規定される視野空間及び境界空間を示す模式図である。図５、図６及び図７は、本実施形態の医療用マニピュレータシステムの表示部に表示される画像を示す模式図である。
【００２５】
図１に示すように、制御部１５は、第一マニピュレータ２及び第二マニピュレータ７を制御するために、第一マニピュレータ２、第一位置姿勢検知部４、第一駆動部６、第二マニピュレータ７、第二位置姿勢検知部９、第二駆動部１１、画像処理装置１２、及び操作部１３に、電気的に接続されている。
図２に示すように、制御部１５は、位置情報取得部１６と、視野領域取得部１７と、画像生成部１８と、画像重畳部１９と、制御信号出力部２０と、判別部２１とを有している。
【００２６】
位置情報取得部１６は、第一位置姿勢検知部４に設けられたエンコーダを参照し、第一マニピュレータ２の位置及び姿勢の情報を取得する。また、位置情報取得部１６は、第二位置姿勢検知部９に設けられたエンコーダを参照し、第二マニピュレータ７の位置及び姿勢を取得する。本実施形態では、位置情報取得部１６は、基準座標系における第一マニピュレータ２の撮像部３の部位を第一位置Ｐ１（図３および図４参照）として取得し、基準座標系における第二マニピュレータ７のエンドエフェクタ８の部位を第二位置Ｐ２（図３及び図４参照）として取得する。
本実施形態における基準座標系は、本実施形態の医療用マニピュレータに対して設定された所定の位置を原点とする直交座標系である。
第一位置Ｐ１の情報は撮像部３の位置の座標及びその姿勢の情報を含み、第二位置Ｐ２の情報はエンドエフェクタ８の位置の座標及びその姿勢の情報を含む。
【００２７】
視野領域取得部１７は、画像処理装置１２が出力した映像信号を受け付ける。すなわち、視野領域取得部１７は、撮像部３が撮像した映像を画像処理装置１２を介して取得する。
また、視野領域取得部１７は、撮像部３の画角等の光学特性並びに撮像部３の位置及び姿勢（第一位置Ｐ１の情報）に基づいて、撮像部３が配される体内の空間内に視野空間Ｓ１（図３及び図４参照）を規定する。たとえば、視野領域取得部１７は、撮像部３の画角等の光学特性並びに撮像部３の位置及び姿勢（第一位置Ｐ１の情報）に基づいて、基準座標系における視野空間Ｓ１の位置を算出する。視野空間Ｓ１は、撮像部３によって撮像可能な範囲のうち視野中心を含む一部であってもよいし、撮像部３の画角によって規定される空間であってもよい。
視野空間Ｓ１は、表示部２２に表示される画像において、撮像部３の撮像視野（視野領域Ａ１，図５参照）と対応する。
【００２８】
視野領域取得部１７は、視野空間Ｓ１の周囲に、境界空間Ｓ２（図３及び図４参照）を規定する。たとえば、境界空間Ｓ２の外延は、第二マニピュレータ７の可動範囲に基づいて設定される。また、境界空間Ｓ２の外延は、例えば、第二マニピュレータ７が配される体内の部位において第二マニピュレータ７が移動可能な空間の形状に基づいて設定されてもよい。体内で第二マニピュレータ７が移動可能な空間の形状に基づく境界空間Ｓ２の外延の設定は、空間の形状を計測した結果に基づいていてもよいし、第二マニピュレータ７が配される体内の臓器の概略形状として一般的な形状に基づいていてもよい。
境界空間Ｓ２は、表示部２２に表示される画像において、視野領域Ａ１の周囲に位置する撮像視野外の領域（境界領域Ａ２，図５参照）と対応する。
【００２９】
画像生成部１８は、第二マニピュレータ７を撮像部３の視野方向から見た状態を示す画像をコンピュータグラフィックスによって生成する（図６参照）。たとえば、画像生成部１８は、基準座標系における撮像部３の位置及び姿勢並びに基準座標系における第二マニピュレータ７の位置及び姿勢に基づいて、画像上における第二マニピュレータ７の描画位置及び第二マニピュレータ７の姿勢を算出して第二マニピュレータ７の形状を模した指標Ｍを含む画像を生成する。画像生成部１８が生成する画像は、第二マニピュレータ７のうち少なくともエンドエフェクタ８に対応する形状の指標Ｍを含む。
【００３０】
本実施形態では、画像生成部１８は、エンドエフェクタ８が視野空間Ｓ１外且つ境界空間Ｓ２内に位置している場合には指標Ｍを含む画像を生成し、エンドエフェクタ８が視野空間Ｓ１内に位置している場合には指標Ｍを含まない画像を生成する。
画像生成部１８は、エンドエフェクタ８の形状を模した指標Ｍを含む立体画像（たとえば操作者の左目と右目に対応するように視差を考慮して構成された一組の画像）を生成してもよい。
【００３１】
画像生成部１８は、指標Ｍに加えて背景を含む画像を生成してもよい。画像生成部１８が生成する画像における背景は、例えば、本実施形態の医療用マニピュレータシステム１を用いて処置を行う対象となる患者に対して予め行った画像診断によって得られた画像（ＣＴ画像やＭＲＩ画像等）や、第一マニピュレータ２の撮像部３が撮像した過去の画像に基づいて再構成した画像などであってよい。
【００３２】
画像重畳部１９は、画像処理装置１２が制御部１５へ出力した映像信号と画像生成部１８が生成した画像とを統合して構成された重畳画像を表示部２２へ出力する。画像重畳部１９は、表示部２２における表示可能領域の全域のうちの一部を、撮像部３により撮像された映像の表示領域（表示上の視野領域Ａ１）として設定する。さらに、画像重畳部１９は、表示部２２における表示可能領域のうち視野領域Ａ１以外の領域を、画像生成部１８が生成した画像の表示領域（表示上の境界領域Ａ２）として設定する。たとえば、本実施形態の画像重畳部１９は、画像生成部１８により生成された画像の中央に画像処理装置１２からの映像が位置するように、画像生成部１８により生成された画像の上に画像処理装置１２からの映像を重ねて表示部２２へと出力する。これにより、図５に示すように、表示部２２における表示可能領域の中央部分が視野領域Ａ１となり、視野領域Ａ１の外側が境界領域Ａ２となる。
【００３３】
図２に示すように、制御信号出力部２０は、操作部１３に対する操作入力に従って第一マニピュレータ２を動作させるための制御信号を生成して第一駆動部６へと出力する。
また、制御信号出力部２０は、操作部１３に対する操作入力に従って第二マニピュレータ７を動作させるための制御信号を生成して第二駆動部１１へと出力する。さらに、制御信号出力部２０は、複数の制御モードのうち判別部２１により選択された１つのモードに従って、操作部１３による操作指令に対する制限内容を変更する制御信号を操作部１３へと出力する。
複数の制御モードは、操作部１３による第二マニピュレータ７の操作を許可する第一モードと、操作部１３による操作指令に対して所定の制限を加えた上で制限の範囲内で第二マニピュレータ７の操作を許可する第二モードと、操作部１３による第二マニピュレータ７の操作を禁止する第三モードとを含む。
【００３４】
第一モードでは、抵抗手段は抵抗として機能せず、操作者が自在にマスタアーム１４を操作することができる。
【００３５】
第二モードにおける所定の制限とは、第二マニピュレータ７の動作に関して第一モードよりも使い勝手を良くするための制限である。本実施形態の第二モードにおける所定の制限とは、第二マニピュレータ７の移動速度が第一モードにおける第二マニピュレータ７の移動速度よりも低速となるような制限である。たとえば、第二モードが選択された場合、操作部１３のマスタアーム１４に対する操作の入力に対して抵抗手段が抵抗を高めることでマスタアーム１４への入力の速度を低下させることにより、第二マニピュレータ７の移動速度を低下させる。
【００３６】
第三モードにおける操作の禁止とは、操作部１３のマスタアーム１４が動作不能となるように抵抗手段が抵抗を高める制御である。
【００３７】
判別部２１は、撮像部３が位置する空間における撮像部３の位置（第一位置Ｐ１）とエンドエフェクタ８の位置（第二位置Ｐ２）との位置関係に対応した複数の条件に基づいて、上記の第一モード、第二モード、及び第三モードから１つのモードを選択する。
【００３８】
図８は、複数の制御モードから１つのモードを選択するため条件を説明するための表である。
本実施形態の判別部２１は、第二位置Ｐ２が視野空間Ｓ１の内にある場合（表示部２２の表示上では第二位置Ｐ２が視野領域Ａ１内にある場合）（図５参照）に第一モードを選択する。
【００３９】
また、本実施形態の判別部２１は、第二位置Ｐ２が視野空間Ｓ１の外（表示部２２の表示上では第二位置Ｐ２が視野領域Ａ１の外）にあり且つ第一位置Ｐ１と第二位置Ｐ２との距離（撮像部３の視野方向に対して直交する面に沿って測った距離）が所定値以下である場合（図６参照）に第二モードを選択する。
【００４０】
また、本実施形態の判別部２１は、第二位置Ｐ２が視野空間Ｓ１の外（表示部２２の表示上では第二位置Ｐ２が視野領域Ａ１の外）にあり且つ第一位置Ｐ１と第二位置Ｐ２との距離（撮像部３の視野方向に対して直交する面に沿って測った距離）が前記所定値を超えている場合（図７参照）に第三モードを選択する。
【００４１】
第一位置Ｐ１と第二位置Ｐ２との距離に関する前記所定値とは、例えば、撮像部３の視野方向に対して直交し且つ第二位置Ｐ２を含む面における撮像部３の視野中心から境界領域Ａ２の外延までの距離である。なお、前記所定値は、一定値には限られない。たとえば、境界領域Ａ２が円形である場合（境界空間Ｓ２の外延が円柱状や円錐状である場合）には前記所定値は一定値である。また、例えば、境界領域Ａ２が円形以外の場合には、前記所定値は、境界領域Ａ２の外延と視野中心との間の距離であり、部位により異なる。
【００４２】
本実施形態において、境界空間Ｓ２の外延は、組織の形状に対応して、予め、あるいは体内組織の計測結果に基づいて、決定される。このため、本実施形態では、境界空間Ｓ２の外延よりも内側の空間は、エンドエフェクタ８を移動させてもエンドエフェクタ８が体内の組織等に接触しにくいと見做すことができる。
【００４３】
表示部２２は、制御部１５の画像重畳部１９によって構成された重畳画像を表示する。表示部２２は、重畳画像を表示可能な表示パネル２３を有している。この表示パネル２３に重畳画像が表示されている状態において、表示パネル２３は、撮像部３が撮像した映像を表示する部位である視野表示部２２ａと、第二マニピュレータ７の存在に対応する指標Ｍを表示可能な部位である補助表示部２２ｂとに区別できる。
表示部２２は、制御部１５から出力された画像と画像処理装置１２から出力された画像とのいずれか一方を選択に応じて表示できるように、複数の入力系統及びセレクタを有していてもよい。
【００４４】
本実施形態の医療用マニピュレータシステム１の作用について説明する。
本実施形態の医療用マニピュレータシステム１の使用時には、医療用マニピュレータシステム１は、撮像部３とエンドエフェクタ８との位置関係に基づいて、判別部２１が制御モードを切り替える。
【００４５】
エンドエフェクタ８が視野領域Ａ１内にあるとき（図５参照）には、判別部２１は複数の制御モードから第一モードを選択するので、エンドエフェクタ８は操作部１３における操作に従って自在に移動可能である。
エンドエフェクタ８が視野領域Ａ１外且つ境界領域Ａ２内にあるとき（図６参照）には、判別部２１は複数の制御モードから第二モードを選択するので、エンドエフェクタ８はその移動速度が制限されつつも自在に移動可能である。
エンドエフェクタ８が境界領域Ａ２外にあるとき（図７参照）には、判別部２１は複数の制御モードから第三モードを選択するので、エンドエフェクタ８は操作部１３による操作に反応せず停止する。
【００４６】
なお、第一モード、第二モード、及び第三モードのいずれにおいても、操作部１３を用いて第一マニピュレータ２を動作させることは可能である。従って、第一モード又は第二モードで制御されている状態から第三モードへ移行してエンドエフェクタ８が停止した場合、第一マニピュレータ２を動作させて視野空間Ｓ１内又は境界空間Ｓ２内に第二マニピュレータ７が位置する状態に操作者が復帰させれば、第三モードから第一モード又は第二モードへ移行して第二マニピュレータ７及びそのエンドエフェクタ８の操作を再開できる。復帰のさせ方は、操作部１３を介して操作しても良いし、手で直接第一マニピュレータ２の位置を変えるなどしても良い。
【００４７】
第二マニピュレータ７が視野空間Ｓ１外且つ境界空間Ｓ２内に位置している状態では、第二マニピュレータ７は、撮像部３からの映像には含まれない。たとえば、エンドエフェクタ８が視野空間Ｓ１外且つ境界空間Ｓ２内に位置している状態では、エンドエフェクタ８は、視野領域Ａ１には表示されず、境界領域Ａ２内にコンピュータグラフィックスによる指標Ｍとして描画される。
【００４８】
本実施形態の医療用マニピュレータシステム１は、第二マニピュレータ７のエンドエフェクタ８が視野空間Ｓ１外に位置していても、エンドエフェクタ８が境界空間Ｓ２内に位置していれば所定の制限（第二モード）の下で第二マニピュレータ７を動作させることができる。エンドエフェクタ８が視野空間Ｓ１外且つ境界空間Ｓ２内に位置しているときには、表示部２２に表示される重畳画像における境界領域Ａ２内に、エンドエフェクタ８を示す指標Ｍが表示される。このため、エンドエフェクタ８が撮像部３により撮像されていなくてもエンドエフェクタ８の位置及び姿勢を把握しやすい。その結果、本実施形態の医療用マニピュレータシステム１は、撮像部３の視野外に第二マニピュレータ７があっても上記の制限の範囲で自由に第二マニピュレータ７の操作が可能であり、使い勝手が良い。
【００４９】
また、エンドエフェクタ８が境界空間Ｓ２外へ移動したときにエンドエフェクタ８の移動が停止するので、エンドエフェクタ８が体内の組織などに意図せず接触する可能性を低く抑えることができる。
【００５０】
（変形例１）
上記実施形態の変形例について説明する。以下の各変形例において、上記の実施形態に開示された構成要素と同様の構成要素には、上記実施形態と同一の符号を付し、重複する説明を省略する。
本変形例の医療用マニピュレータシステム１（図１参照）は、第二マニピュレータ７が境界空間Ｓ２内でその外延に近づくに従って第二マニピュレータ７の移動可能速度が漸次低下するように第二マニピュレータ７が制御される点で、上記実施形態と異なっている。
【００５１】
一例として、本変形例では、エンドエフェクタ８が境界空間Ｓ２の外延に近づくに従ってマスタアーム１４の抵抗手段による抵抗が漸次大きくなるように、制御部１５が抵抗手段を制御する。これにより、マスタアーム１４は、エンドエフェクタ８が境界空間Ｓ２の外延に近づくに従って、徐々に移動させにくくなる。逆に、制御部１５は、エンドエフェクタ８が境界空間Ｓ２から離れて視野空間Ｓ１へ向かって移動するに従って、抵抗手段による抵抗を漸次小さく変更するように抵抗手段を制御する。これにより、エンドエフェクタ８が境界空間Ｓ２から離れて視野空間Ｓ１へ向かって移動するに従って、マスタアーム１４の移動させにくさは徐々に解消される。
【００５２】
本変形例では、第一モードから第二モードに移行した時点における第二マニピュレータ７の移動速度は第一モードにおける移動速度と略等しく、第二モードから第三モードに移行する直前では第二マニピュレータ７は略停止状態である。このため、本変形例では、視野領域Ａ１から外れて境界領域Ａ２へ進入した時の第二マニピュレータ７の移動速度の変化がなめらかなので、使い勝手が良い。
【００５３】
（変形例２）
上記実施形態の他の変形例について説明する。図９は、本変形例の医療用マニピュレータシステムのブロック図である。
図９に示すように、本変形例の医療用マニピュレータシステム１は、第二マニピュレータ７が、第二マニピュレータ７が物体に接触したことにより物体が第二マニピュレータ７を押し返す力量を検知する触覚センサ２４（接触検知手段）を有し、マスタアーム１４が、第二マニピュレータ７のセンサが検知した力量を操作者の手に伝えるフィードバック手段（不図示）を有している。
【００５４】
本変形例の医療用マニピュレータシステム１は、第一モードにおいて、触覚センサ２４が検知した力量に対して所定の対応関係を有してフィードバック手段が動作する。たとえば、第二マニピュレータ７が体内の組織に接触した時の弾力に対応して、マスタアーム１４を操作する操作者がこの組織に直接触れたのと同程度の弾力を感じるように、フィードバック手段がマスタアーム１４から操作者に力量を伝える。
【００５５】
また、本変形例の医療用マニピュレータシステム１は、第二モードにおいて、触覚センサ２４が検知した力量に対して、第一モードにおいて操作者が感じるよりも大きな力量をマスタアーム１４から操作者に伝える。
【００５６】
本変形例では、第二モードにおいて、操作者は、視野空間Ｓ１外且つ境界空間Ｓ２内にエンドエフェクタ８が位置していることを表示部２２を用いて把握することができる。しかしながら、撮像部３が撮像した画像にはエンドエフェクタ８が表示されていないので、慎重を期して、触覚に頼って手さぐり状態で第二マニピュレータ７を動作させる。第二モードでは、第二マニピュレータ７が物体に接触したことを第一モードよりも知覚しやすいので、境界空間Ｓ２内で第二マニピュレータ７を移動させる際の使い勝手が良い。
なお、本変形例において、医療用マニピュレータシステム１が第二モードで動作している時に触覚センサ２４が第二マニピュレータ７と物体との接触を検知した場合に、第二マニピュレータ７と物体とが接触した旨を制御部１５が操作者に報知（視覚や聴覚により知覚可能なものも含む）するとともに、操作部１３による第二マニピュレータ７の操作を制御部１５が禁止してもよい。また、この場合、操作部１３による第二マニピュレータ７の操作を制御部１５が禁止することに代えて、第二マニピュレータ７と物体との接触が解消する方向にのみ第二マニピュレータ７が移動可能となるように第二モードにおいて第二マニピュレータ７の移動可能方向が制限されてもよい。
【００５７】
（変形例３）
上記実施形態のさらに他の変形例について説明する。
本変形例では、第二モードにおける動作として、上記実施形態，変形例１，及び変形例２に開示した動作から１つを選択して設定することができる。
たとえば、操作部１３が、第二モードにおける動作を選択するためのスイッチ（不図示）を有している。
本変形例の医療用マニピュレータシステム１では、操作者の好みに合わせて第二モードにおける動作を選択できるので、使い勝手が良い。
【００５８】
（変形例４）
上記実施形態のさらに他の変形例について説明する。図１０は、本変形例の医療用マニピュレータシステムのブロック図である。
図１０に示すように、本変形例の医療用マニピュレータシステム１は、第一マニピュレータ２及び第二マニピュレータ７に加えて第三マニピュレータ２５を有している。
【００５９】
第三マニピュレータ２５は、体内を観察する内視鏡等の観察装置であり、撮像部２６を有している。このため、本変形例では、第三マニピュレータ２５によって、第一マニピュレータ２の撮像部３とは異なる視点から処置対象部位を観察することができる。
また、第三マニピュレータ２５は、第一多関節アーム５と同様の第三多関節アーム２８（第三位置姿勢検知部２７）と、第一駆動部６と同様の第三駆動部２９とを有しており、制御部１５によって制御される。
【００６０】
たとえば、本変形例の医療用マニピュレータシステム１の制御部１５は、第二マニピュレータ７を移動させる制御と同様に、第一モード、第二モード、及び第三モードのうちのいずれか１つのモードに従って第三マニピュレータ２５を制御する。本実施形態の第三マニピュレータ２５は、第二モードにおける動作の制限及び第三モードにおける動作の禁止の制約を受ける点において、第二マニピュレータ７と同様のマニピュレータである。
【００６１】
本変形例の医療用マニピュレータシステム１では、処置対象部位に対して処置をする器具（第二マニピュレータ７）と処置対象部位を撮像部３とは異なる視点から観察する器具（第三マニピュレータ２５）とを併用することができ、いずれの器具も第二モードにおいて一定の制限の範囲で自由に操作が可能であるので、使い勝手が良い。
【００６２】
なお、本変形例では、第一マニピュレータ２と共に使用される他のマニピュレータの構成に対応して第二モードにおける制御の仕方が異なっていてもよい。たとえば、エンドエフェクタ８として鋭利なナイフを有する第二マニピュレータ７の場合、エンドエフェクタ８が体内の組織に意図せず接触すると組織を傷つける可能性があるので、第一モードから第二モードへ移行した時にこの第二マニピュレータ７が略停止状態となる程度に動作速度が低下するようになっていてもよい。また、例えば第二マニピュレータ７が体内の組織に接触しても悪影響が少ない場合には、第三モードにおいて第二マニピュレータ７の操作の一部を許可するように制御部１５が第二マニピュレータ７の動作を制御してもよい。
【００６３】
また、第一モードから第二モードへ移行した時に、エンドエフェクタ８が視野領域Ａ１内に進入する方向にのみ第二マニピュレータ７が移動可能となるように、第二モードにおいて第二マニピュレータ７の移動方向が制限されるようになっていてもよい。
【００６４】
（変形例５）
上記実施形態のさらに他の変形例について説明する。図１１は、本変形例の医療用マニピュレータシステムのブロック図である。図１２は、本変形例の医療用マニピュレータシステムの表示部に表示される画像の例を示す模式図である。
図１１に示すように、本変形例では、上記の画像重畳部１９に代えて、撮像部３が撮像した映像と画像生成部１８が生成した画像とをそれぞれ別の表示パネル２３に表示させる画像出力部３０を有している。表示部２２は、撮像部３が撮像した映像を表示する視野表示部２２ａとなる第一パネル２３Ａと、第二マニピュレータ７の存在に対応する指標Ｍを表示可能な補助表示部２２ｂとなる第二パネル２３Ｂとを有している。
【００６５】
本変形例では、例えば、撮像部３が撮像した映像と指標Ｍを含む画像とが異なる表示パネル２３（第一パネル２３Ａ，第二パネル２３Ｂ）に表示されるようになっているので、撮像部３が撮像した映像と指標Ｍを含む画像とにおける視野方向が互いに異なっていても違和感が少ない。たとえば、図１２に示すように、第一マニピュレータ２と第二マニピュレータ７とを含んだ俯瞰画像をコンピュータグラフィックスとして画像生成部１８（図１１参照）が生成し、第一マニピュレータ２と第二マニピュレータ７との位置関係をわかりやすく第二パネル２３Ｂに示すことができる。さらに、制御部１５は、処置対象部位の位置の目安となる目印線Ｌ１を第二パネル２３Ｂに描画してもよい。この目印線Ｌ１は、例えば、撮像部３が撮像した画像を解析して撮像部３と処置対象物との距離を測定した結果に基づいて第二パネル２３Ｂ上に描画される。
【００６６】
また、本変形例では、撮像部３が撮像した画像を表示する第一パネル２３Ａを正面に配し、上記の俯瞰画像を表示する第二パネル２３Ｂを下側に配置するとよい。この場合、撮像部３が撮像している処置対象部位を正面に捉えて処置を行い、処置対象部位を含む領域における各マニピュレータの位置関係を確認する際には視線を下に落とすことで第一マニピュレータ２及び第二マニピュレータ７を上から見下ろす自然な姿勢で俯瞰することができる。
【００６７】
（変形例６）
上記実施形態のさらに他の変形例について説明する。図１３は、本変形例の医療用マニピュレータシステムによって規定される視野空間及び境界空間を示す模式図である。図１４は、本変形例の医療用マニピュレータシステムの表示部に表示される画像の例を示す模式図である。
【００６８】
図１３及び図１４に示すように、本変形例では、視野空間Ｓ１（表示部２３における視野領域Ａ１に対応）の一部が境界空間Ｓ２（表示部２３における境界領域Ａ２に対応）の外にある点で上記の実施形態と異なっている。
【００６９】
本変形例において、境界空間Ｓ２は、第二マニピュレータ７を操作者の意図に沿って動作させることができる範囲として規定されている。また、本変形例において、視野空間Ｓ１は、第二マニピュレータ７の移動とは独立して、観察対象となる部位の位置に対応して撮像部３の位置及び姿勢に基づいて規定されている。このため、境界空間Ｓ２の外延近傍に撮像部３の視野中心を設定すると、「視野空間Ｓ１内であるとともに境界空間Ｓ２外である」という空間が生じる。
【００７０】
本変形例では、視野空間Ｓ１内であるとともに境界空間Ｓ２外であるような空間が第二マニピュレータ７の可動域に含まれている場合には、制御部１５は、この空間内で第二マニピュレータ７を第一モードで動作させる。すなわち、視野空間Ｓ１内であるとともに境界空間Ｓ２外である空間は、撮像部３を用いて組織と第二マニピュレータ７との位置関係を容易に把握できるので、第二マニピュレータ７の制御に関する制限をしない。
【００７１】
本変形例では、視野空間Ｓ１に対応する視野領域Ａ１及び境界空間Ｓ２に対応する境界領域Ａ２を両方とも表示部２２に表示させるために、表示部２２における表示可能領域の中に図１４に示すように視野領域Ａ１及び境界領域Ａ２を表示させる。この場合、第二マニピュレータ７が境界領域Ｓ２の外で動作をしていることを操作者が容易に把握することができ、また、第二マニピュレータ７をどちらに移動させるのがより適切であるかを操作者が容易に判断できる。
【００７２】
なお、本変形例では、第二マニピュレータ７が境界領域Ｓ２の外で動作をしていることを操作者に報知する点で上記実施形態の第一モードとは異なる制御が行われてもよい。たとえば、制御部１５は、第二マニピュレータ７が境界領域Ｓ２の外で動作をしていることを操作者に報知しながら、抵抗手段を抵抗として機能させずに操作者が自在にマスタアーム１４を操作することができる第四モード（図１５参照）を制御モードに含んでいてもよい。この場合、判別部２１は、第二位置Ｐ２が視野空間Ｓ１の中（表示部２２の表示上では第二位置Ｐ２が視野領域Ａ１の中）にあり且つ第一位置Ｐ１と第二位置Ｐ２との距離（撮像部３の視野方向に対して直交する面に沿って測った距離）が前記所定値を超えている場合に第四モードを選択する。
【００７３】
以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【００７４】
たとえば、上記実施形態及びその各変形例における第二モードによる制限が適宜組み合わされていてもよい。たとえば、第一モードから第二モードへ移行した時に、第二マニピュレータ７の移動速度が低下するとともに触覚センサ２４に基づくフィードバック力量を増加させてもよい。
【００７５】
また、第二モードにおいて第二マニピュレータ７が境界空間Ｓ２の外延に近づくに従って制限内容が漸次厳しくなるようになっていてもよい。たとえば、第二マニピュレータ７のエンドエフェクタ８の位置に関して、境界空間Ｓ２内で視野空間Ｓ１に近い位置にエンドエフェクタ８があれば第二マニピュレータ７の動作速度の制限のみをかけ、境界空間Ｓ２内でその外延に近い位置にエンドエフェクタ８があれば第二マニピュレータ７の動作速度の制限に加えて第二マニピュレータ７の動作方法の制限もかけるようになっていてもよい。
【００７６】
なお、上記具体的な構成に対する設計変更等は上記事項には限定されない。
【産業上の利用可能性】
【００７７】
本発明は、マニピュレータシステムに利用可能である。
【符号の説明】
【００７８】
１  医療用マニピュレータシステム
２  第一マニピュレータ
３  撮像部
４  第一位置姿勢検知部
５  第一多関節アーム
６  第一駆動部
７  第二マニピュレータ
８  エンドエフェクタ
９  第二位置姿勢検知部
１０  第二多関節アーム
１１  第二駆動部
１２  画像処理装置
１３  操作部
１４  マスタアーム
１５  制御部
１６  位置情報取得部
１７  視野領域取得部
１８  画像生成部
１９  画像重畳部
２０  制御信号出力部
２１  判別部
２２  表示部
２２ａ  視野表示部
２２ｂ  補助表示部
２３  表示パネル
２４  触覚センサ
２５  第三マニピュレータ
２６  撮像部
２７  第三位置姿勢検知部
２８  第三多関節アーム
２９  第三駆動部
３０  画像出力部
【図１】
2017115425.tif 000003
【図２】
2017115425.tif 000004
【図３】
2017115425.tif 000005
【図４】
2017115425.tif 000006
【図５】
2017115425.tif 000007
【図６】
2017115425.tif 000008
【図７】
2017115425.tif 000009
【図８】
2017115425.tif 000010
【図９】
2017115425.tif 000011
【図１０】
2017115425.tif 000012
【図１１】
2017115425.tif 000013
【図１２】
2017115425.tif 000014
【図１３】
2017115425.tif 000015
【図１４】
2017115425.tif 000016
【図１５】
2017115425.tif 000017
【手続補正書】
【提出日】平成29年5月9日(2017.5.9)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
撮像部を有する第一マニピュレータと、
エンドエフェクタを有する第二マニピュレータと、
前記撮像部からの映像を表示する表示部と、
前記第一マニピュレータ又は前記第二マニピュレータを操作するための操作指令を発する操作部と、
複数の制御モードから１つのモードを選択して前記操作指令に基づいて前記第一マニピュレータ又は前記第二マニピュレータを制御する制御部と、
を備え、
前記制御部は、
前記第一マニピュレータに設定された所定部位の位置を第一位置として取得するとともに前記第二マニピュレータに設定された所定部位の位置を第二位置として取得する位置情報取得部と、
前記撮像部が撮像した映像を取得し、視野領域を算出する視野領域取得部と、
前記視野領域，前記第一位置，及び前記第二位置に基づいて前記複数の制御モードから１つのモードを選択する判別部と、
を有し、
前記複数の制御モードは、
前記操作部による前記第二マニピュレータの操作を許可する第一モードと、
前記操作部による前記操作指令に対して所定の制限を加えた上で前記制限の範囲内で前記第二マニピュレータの操作を許可する第二モードと、
前記操作部による前記第二マニピュレータの操作を禁止する第三モードと、
を含み、
前記判別部は、
前記第二位置が前記視野領域の内にある場合に前記第一モードを選択し、
前記第二位置が前記視野領域の外にあり且つ前記第一位置と前記第二位置との距離が所定値以下である場合に前記第二モードを選択し、
前記第二位置が前記視野領域の外にあり且つ前記第一位置と前記第二位置との距離が前記所定値を超えている場合に前記第三モードを選択する
医療用マニピュレータシステム。
【請求項２】
前記表示部は、
前記撮像部が撮像した前記映像を表示する視野表示部と、
前記第二マニピュレータの存在に対応する指標を表示可能な補助表示部と、
を有する請求項１に記載の医療用マニピュレータシステム。
【請求項３】
前記第二モードは、前記第一モードにおける前記第二マニピュレータの動作速度よりも低速で前記第二マニピュレータを動作させるように前記第二マニピュレータの動作速度を制限する
請求項１に記載の医療用マニピュレータシステム。
【請求項４】
前記第二モードは、
前記第二マニピュレータの動作可能方向を前記第一モードよりも制限する
請求項１に記載の医療用マニピュレータシステム。
【請求項５】
前記第二モードは、
前記動作可能方向を前記第二位置が前記視野領域に向かう方向のみに制限する
請求項４に記載の医療用マニピュレータシステム。
【請求項６】
前記第二モードにおける制限の内容を設定する設定手段をさらに有する請求項１に記載の医療用マニピュレータシステム。
【請求項７】
前記第二マニピュレータは、前記第二マニピュレータが物体に接触したことを検知可能な接触検知手段をさらに有し、
前記第二モードは、前記第二マニピュレータと前記物体とが接触したことを前記接触検知手段が検知したときに、前記第二マニピュレータと前記物体とが接触したことを操作者に報知し、且つ、前記操作部による前記第二マニピュレータの操作を禁止する
請求項１に記載の医療用マニピュレータシステム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００５
【補正方法】変更
【補正の内容】
【０００５】
本発明の一態様は、撮像部を有する第一マニピュレータと、エンドエフェクタを有する第二マニピュレータと、前記撮像部が撮像した映像を表示する表示部と、前記第一マニピュレータ又は前記第二マニピュレータを操作するための操作指令を発する操作部と、複数の制御モードから１つのモードを選択して前記操作指令に基づいて前記第一マニピュレータ又は前記第二マニピュレータを制御する制御部と、を備え、前記制御部は、前記第一マニピュレータに設定された所定部位の位置を第一位置として取得するとともに前記第二マニピュレータに設定された所定部位の位置を第二位置として取得する位置情報取得部と、前記撮像部が撮像した映像を取得し、視野領域を算出する視野領域取得部と、前記視野領域，前記第一位置，及び前記第二位置に基づいて前記複数の制御モードから１つのモードを選択する判別部と、を有し、前記複数の制御モードは、前記操作部による前記第二マニピュレータの操作を許可する第一モードと、前記操作部による前記操作指令に対して所定の制限を加えた上で前記制限の範囲内で前記第二マニピュレータの操作を許可する第二モードと、前記操作部による前記第二マニピュレータの操作を禁止する第三モードと、を含み、前記判別部は、前記第二位置が前記視野領域の内にある場合に前記第一モードを選択し、前記第二位置が前記視野領域の外にあり且つ前記第一位置と前記第二位置との距離が所定値以下である場合に前記第二モードを選択し、前記第二位置が前記視野領域の外にあり且つ前記第一位置と前記第二位置との距離が前記所定値を超えている場合に前記第三モードを選択する医療用マニピュレータシステムである。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【０００６】
前記表示部は、前記撮像部が撮像した前記映像を表示する視野表示部と、前記第二マニピュレータの存在に対応する指標を表示可能な補助表示部と、を有していてもよい。
【国際調査報告】
2017115425.tif 000018
2017115425.tif 000019
2017115425.tif 000020