(57)【要約】【課題】鉗子の構成をさほど変更せずとも、施術の際に鉗子にかかる外力を操作者に帰還可能な手術ロボット鉗子の力帰還装置、手術ロボットシステムおよびプログラムを提供する。【解決手段】演算装置２００は、臓器の撮影画像から臓器表面の形状および位置を計測し、鉗子７０に付されたマーカー７３を撮像画像から抽出して鉗子７０の位置を計測し、これら計測結果に基づいて、臓器から鉗子７０にかかる印加力を求め、求めた印加力に応じた作用を操作者に付与する。より詳細には、操作者に振動を付与する振動発生器３２が配される。演算装置２００は、臓器から鉗子７０にかかる印加力の大きさに応じて振動発振器３２に生じる振動の周波数を変化させる。【選択図】図６
2016154603.tif 000002
【特許請求の範囲】
【請求項１】
臓器の撮影画像から前記臓器表面の形状および位置を計測する形状計測手段と、
鉗子に付されたマーカーを前記撮像画像から抽出して前記鉗子の位置を計測する位置計測手段と、
前記形状計測手段による計測結果と前記位置計測手段による計測結果とに基づいて、前記臓器から前記鉗子にかかる印加力を求め、求めた印加力に応じた作用を操作者に付与する力帰還手段と、を有する手術ロボット鉗子の力帰還装置。
【請求項２】
前記形状計測手段は、２つのカメラにより前記臓器をステレオ視で撮影して得られた撮影画像に基づいて、前記臓器表面の形状および位置を計測する、請求項１に記載の手術ロボット鉗子の力帰還装置。
【請求項３】
前記位置計測手段は、２つのカメラにより前記マーカーをステレオ視で撮影して得られた撮影画像に基づいて、前記鉗子の位置を計測する、請求項１または２に記載の手術ロボット鉗子の力帰還装置。
【請求項４】
前記力帰還手段は、前記操作者に振動を付与する振動発生器を備え、前記臓器から前記鉗子にかかる前記印加力の大きさに応じて前記振動の周波数を変化させる、請求項１ないし３の何れか一項に記載の手術ロボット鉗子の力帰還装置。
【請求項５】
前記振動発生器は、前記鉗子を操作する際に前記操作者が操作する操作部に配置される、請求項４に記載の手術ロボット鉗子の力帰還装置。
【請求項６】
前記力帰還手段は、前記臓器から前記鉗子にかかる前記印加力の大きさに応じて、スピーカから出力される音の周波数を変化させる、請求項１ないし５の何れか一項に記載の手術ロボット鉗子の力帰還装置。
【請求項７】
前記マーカーは、前記鉗子の長手方向に並ぶように複数付されている、請求項１ないし６の何れか一項に記載の手術ロボット鉗子の力帰還装置。
【請求項８】
前記マーカーは、前記鉗子の周方向に複数付されている、請求項１ないし７の何れか一項に記載の手術ロボット鉗子の力帰還装置。
【請求項９】
鉗子を保持するロボットアームと、
施術部位となる患部を撮影するカメラと、
前記ロボットアームを操作する操作部と、
請求項１ないし８の何れか一項に記載の手術ロボット鉗子の力帰還装置と、を有する手術ロボットシステム。
【請求項１０】
コンピュータに、
臓器の撮影画像から前記臓器表面の形状および位置を計測する形状計測機能と、
鉗子に付されたマーカーを前記撮像画像から抽出して前記鉗子の位置を計測する位置計測機能と、
前記形状計測機能による計測結果と前記位置計測機能による計測結果とに基づいて、前記臓器から前記鉗子にかかる印加力を求め、求めた印加力に応じた作用を操作者に付与する力帰還機能と、を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、手術ロボット鉗子にかかる力を使用者に伝達する力帰還装置、これを用いた手術ロボットシステムおよび手術ロボット鉗子に係る力を使用者に伝達する機能をコンピュータに実行させるプログラムに関する。
【背景技術】
【０００２】
現在、手術ロボットを用いた施術が前立腺肥大等の患者に対して行われている。このような手術ロボットとして、たとえば、Intuitive Surgical社製のダビンチが知られている。この種の手術ロボットでは、施術に用いる２つの鉗子がそれぞれ２つのロボットアームに取り付けられる。また、内視鏡によって患部が撮影され、患部の３次元画像（左右の目の視差を利用して立体的な視覚が得られる画像）がモニターに映写される。医師等の操作者は、モニターを参照しながら、両手で操作ユニットを操作して、各アームに取り付けられた鉗子を操る。
【０００３】
このように手術ロボットでは、患部の３次元画像がモニターに表示されるため、操作者は、モニターを参照することにより、患部と鉗子の位置をある程度把握できる。しかし、通常、３次元画像による位置の把握には限界があり、精緻な位置検出までは困難である。
【０００４】
これに対し、以下の特許文献１には、鉗子にかかる外力を推定するための外力推定装置が記載されている。この装置は、外力により変形する弾性部材について前記弾性部材の長さの変化量を検出する検出部と、前記変化量を使い外力を算出する算出部を有する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１４−３８０７５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記特許文献１の装置では、外力検出用の弾性部材やセンサ等を鉗子に埋め込む必要がある。このため、それまで使用していた高価な鉗子をそのまま使うことができず、構造が大幅に変更された専用の鉗子を、従前の鉗子に代えて新たに使用する必要がある。
【０００７】
本発明は、かかる課題に鑑みてなされたものであり、鉗子の構成をさほど変更せずとも、施術の際に鉗子にかかる外力を操作者に帰還可能な手術ロボット鉗子の力帰還装置、手術ロボットシステムおよびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の第１の態様は、手術ロボット鉗子の力帰還装置に関する。この態様に係る力帰還装置は、臓器の撮影画像から前記臓器表面の形状および位置を計測する形状計測手段と、鉗子に付されたマーカーを前記撮像画像から抽出して前記鉗子の位置を計測する位置計測手段と、前記形状計測手段による計測結果と前記位置計測手段による計測結果とに基づいて、前記臓器から前記鉗子にかかる印加力を求め、求めた印加力に応じた作用を操作者に付与する力帰還手段と、を有する。
【０００９】
本態様に係る手術ロボット鉗子の力帰還装置によれば、鉗子にマーカーを付することにより、鉗子の位置が撮影画像から計測される。また、臓器表面の位置および形状も、撮影画像に基づいて計測される。そして、計測された鉗子の位置と臓器表面の位置および形状と基づいて、前記臓器から前記鉗子にかかる印加力が求められ、求めた印加力に応じた作用が操作者に付与される。よって、鉗子の構成をさほど変更せずとも、施術の際に鉗子にかかる外力を操作者に帰還することができる。
【００１０】
第１の態様に係る手術ロボット鉗子の力帰還装置において、形状計測手段は、２つのカメラにより臓器をステレオ視で撮影して得られた撮影画像に基づいて、臓器表面の形状および位置を計測するよう構成することが好ましい。また、位置計測手段の方も、２つのカメラによりマーカーをステレオ視で撮影して得られた撮影画像に基づいて、鉗子の位置を計測するよう構成することが好ましい。こうすると、２つのカメラからの画像に基づいて臓器付近の３次元画像を手術ロボットに表示させながら、これらカメラからの画像を鉗子にかかる印加力の測定に用いることができる。
【００１１】
第１の態様に係る手術ロボット鉗子の力帰還装置において、力帰還手段は、操作者に振動を付与する振動発生器を備え、臓器から鉗子にかかる印加力の大きさに応じて振動の周波数を変化させる構成とされ得る。こうすると、手術に支障を与えずに操作者に鉗子にかかる印加力を帰還させることができる。
【００１２】
この場合、振動発生器は、鉗子を操作する際に操作者が操作する操作部に配置され得る。こうすると、操作者の手や指等に振動が付与されるため、鉗子にかかる印加力を確実に操作者に帰還させることができる。
【００１３】
また、力帰還手段は、臓器から鉗子にかかる印加力の大きさに応じて、スピーカから出力される音の周波数を変化させる構成としても良い。これによっても、鉗子にかかる印加力を円滑に操作者に帰還させることができる。
【００１４】
第１の態様に係る手術ロボット鉗子の力帰還装置において、マーカーは、鉗子の長手方向に並ぶように複数付されることが好ましい。こうすると、マーカーの並びを検出することにより、鉗子の長手方向を検出することができる。
【００１５】
また、マーカーは、鉗子の周方向に複数付されることが好ましい。こうすると、周方向における鉗子の回転位置を検出することができる。
【００１６】
本発明の第２の態様は、手術ロボットシステムに関する。この態様に係る手術ロボットシステムは、鉗子を保持するロボットアームと、施術部位となる患部を撮影するカメラと、前記ロボットアームを操作する操作部と、上述の手術ロボット鉗子の力帰還装置と、を有する。
【００１７】
本態様に係る手術ロボットシステムによれば、上記第１の態様に係る力帰還装置と同様の効果が奏され得る。
【００１８】
本発明の第３の態様は、手術ロボット鉗子に係る力を使用者に伝達する機能をコンピュータに実行させるプログラムに関する。この態様に係るプログラムは、コンピュータに、臓器の撮影画像から前記臓器表面の形状および位置を計測する形状計測機能と、鉗子に付されたマーカーを前記撮像画像から抽出して前記鉗子の位置を計測する位置計測機能と、前記形状計測機能による計測結果と前記位置計測機能による計測結果とに基づいて、前記臓器から前記鉗子にかかる印加力を求め、求めた印加力に応じた作用を操作者に付与する力帰還機能と、を実行させる。
【００１９】
本態様に係るプログラムによれば、上記第１の態様に係る力帰還装置と同様の効果が奏され得る。
【発明の効果】
【００２０】
以上のとおり本発明によれば、鉗子の構成をさほど変更せずとも、施術の際に鉗子にかかる外力を操作者に帰還可能な手術ロボット鉗子の力帰還装置および手術ロボットシステムを提供することができる。
【００２１】
本発明の特徴は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも、本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。
【図面の簡単な説明】
【００２２】
【図１】図１は実施の形態に係る手術ロボットシステムの外観を示す斜視図である。
【図２】図２（ａ）は実施の形態に係る手術ロボットシステムの手操作部付近の構成を示す斜視図、図２（ｂ）は実施の形態に係る手術ロボットシステムの３Ｄモニター部付近の構成を示す斜視図である。
【図３】図３（ａ）、（ｂ）は、それぞれ、実施の形態に係る操作杆の端部付近を模式的に示す側面図および正面図である。
【図４】図４は実施の形態に係る３Ｄディスプレイに表示される画面の例を模式的に示す図である。
【図５】図５（ａ）は実施の形態に係る内視鏡の出口付近を模式的に示す斜視図、図５（ｂ）は実施の形態に係る鉗子の先端部付近を模式的に示す平面図である。
【図６】図６は実施の形態に係る手術ロボットシステムの構成を示すブロック図である。
【図７】図７は実施の形態に係る振動発生器の駆動信号を模式的に示す図である。
【図８】図８（ａ）は実施の形態に係る臓器の表面形状と位置を計測する処理を示すフローチャート、図８（ｂ）は実施の形態に係る印加力帰還処理を示すフローチャートである。
【図９】図９（ａ）、（ｂ）は、それぞれ、実施の形態に係る臓器に対する鉗子の接触状態の一例を模式的に示す図である。
【図１０】図１０（ａ）は変更例に係る鉗子の構成を示す平面図、図１０（ａ）、（ｂ）は、それぞれ、変更例に係る鉗子の作用を説明する図である。
【図１１】図１１（ａ）、（ｂ）は、それぞれ、他の変更例に係る鉗子の構成を示す平面図およびマーカーの付設状態を模式的に示す図、図１１（ｃ）は、さらに他の変更例にかかる振動発生器の配置を示す図である。
【発明を実施するための形態】
【００２３】
図１は、実施の形態に係る手術ロボットシステム１の外観を示す斜視図である。
【００２４】
図１に示すように、手術ロボットシステム１は、操作ユニット２と、手術ユニット３とを備える。操作ユニット２と手術ユニット３は、信号ケーブル４で接続されている。手術ロボットシステム１は、図１に示す構成の他、システム全体を管理する管理装置（図示せず）を備えている。この管理装置を用いて、手術ユニット３に取り付けられた鉗子７０の種類が設定される。
【００２５】
医師等の操作者１ａは、操作ユニット２を操作して、手術ユニット３に装着された鉗子７０を操作する。操作者１ａによる操作に応じて、操作ユニット２からの操作信号が信号ケーブル４を介して手術ユニット３に送られる。これにより、手術ユニット３の各部が駆動される。
【００２６】
操作ユニット２は、椅子に座った状態で操作者１ａが顔を突っ込む凹部１０が設けられている。この凹部１０には、手術対象臓器の３Ｄ画像を表示するための３Ｄモニター部２０が設けられている。また、操作者１ａの手元の位置に手操作部３０が設けられ、足元の位置に足操作部４０が設けられている。
【００２７】
手術ユニット３は、フレーム状の支持部５０に、一つのアーム５１と３つのアーム５２が支持された構成となっている。中央のアーム５１には、内視鏡６０が装着される。このアーム５１を取り囲むように配置された３つのアーム５２に、それぞれ、鉗子７０が装着される。アーム５１および３つのアーム５２は、３次元に移動可能となっている。アーム５１の下端付近に管５１ａが設けられている。内視鏡６０は、この管５１ａに先端が差し込まれた状態でアーム５１に装着される。また、アーム５２の下端付近にもそれぞれ管５２ａが設けられている。鉗子７０は、この管５２ａに先端が差し込まれた状態でアーム５２に装着される。
【００２８】
手術の際には、３つのアーム５２のうち２つが適宜用いられる。この際、たとえば、ベッドに横たわる患者１ｂの腹部が数センチメートル切開され、ここに、内視鏡６０と、２つのアーム５２に装着された鉗子７０が差し込まれる。操作者１ａは、左右の手で操作ユニット２の手操作部３０を操作することにより、恰も、２つのアーム５２を自身の左右の手のように駆動することができ、且つ、各アーム５２に装着された鉗子７０を操ることができる。また、操作者１ａは、内視鏡６０により撮影された臓器の画像を、３Ｄモニター部２０を介して見ることができる。こうして、操作者１ａは、３Ｄモニター部２０の画像を見ながら、手操作部３０を操作して、患者１ｂに対する施術を行う。
【００２９】
図２（ａ）は、手操作部３０付近の構成を示す斜視図である。
【００３０】
図２（ａ）に示すように、手操作部３０は、一対の操作杆３０Ｌ、３０Ｒからなっている。操作杆３０Ｌ、３０Ｒには、それぞれ、左手および右手の指を差し込むためのリング３０ａが設けられている。操作杆３０Ｌ、３０Ｒは、それぞれ、３次元に自由に移動可能である。操作者１ａは、左右の腕をアームレスト３１に置いた状態で、左右の指をリング３０ａに差し込んで、操作杆３０Ｌ、３０Ｒを移動させる。この動きが操作杆３０Ｌ、３０Ｒの計測器（ロータリーエンコーダ等）により計測され、計測値が操作信号として、操作ユニット２から手術ユニット３に送られる。
【００３１】
図３（ａ）、（ｂ）は、それぞれ、操作杆３０Ｌの端部付近を模式的に示す側面図および正面図である。なお、操作杆３０Ｒの端部付近も図３（ａ）、（ｂ）と同様の構成である。
【００３２】
操作杆３０Ｌには、２つのリング３０ａが設けられ、各リング３０ａに操作者１ａの２本の指がそれぞれ矢印方向に差し込まれる。２つのリング３０ａは、取付部材３０ｃを介して回転バー３０ｂに装着されている。回転バー３０ｂは、中心軸回りに回転可能に中継部材３０ｄ支持されている。回転バー３０ｂの回転は、中継部材３０ｄに設けられた計測器によって計測される。中継部材３０ｄは、レバー状の支持部材３０ｅによって、次の中継部材に支持されている。
【００３３】
中継部材３０ｄの天面に、振動発生器３２が配置されている。振動発生器３２は、たとえば、コイルと磁石を有する電磁誘導方式の振動発生器であり、人が感じることができる周波数帯で振動する。振動発生器３２からの振動は、中継部材３０ｄ等を介して操作者１ａの左手に伝わる。また、リング３０ａに差し込まれていない操作者１ａの指が振動発生器３２上に接触している場合は、この指に、振動発生器３２からの振動が伝わる。
【００３４】
図２（ｂ）は、３Ｄモニター部２０付近の構成を示す斜視図である。
【００３５】
図２（ｂ）に示すように、凹部１０の底は２段になっており、下段に２つの窓２１が設けられている。また、凹部１０の左右の壁にスピーカ８０が設けられている。凹部１０に操作者１ａの顔を嵌めると、左右の目がそれぞれ２つの窓２１付近に位置付けられ、左右の耳がそれぞれ２つのスピーカ８０付近に位置付けられる。窓２１の奥には、３Ｄ画像を表示可能な３Ｄディスプレイ２２が配置されている。操作者１ａは、凹部１０底の上段に額を付けた状態で２つの窓２１を左右の目で覗き込むことにより、臓器付近の３Ｄ画像を見ることができる。
【００３６】
図４は、３Ｄディスプレイ２２に表示される画面２２０の例を模式的に示す図である。画面２２０には、臓器の他に、２つの鉗子７０の画像２２１が含まれている。
【００３７】
図５（ａ）は、内視鏡６０の出口付近を模式的に示す斜視図である。
【００３８】
図５（ａ）に示すように、内視鏡６０は、円筒形状の筒部６１の端面に２つのカメラ６２とＬＥＤ（Laser Emitting Diode）６３が装着された構成となっている。筒部６１内には、カメラ６２とＬＥＤ６３へと繋がる配線が通っている。
【００３９】
図５（ｂ）は、鉗子７０の先端部付近を模式的に示す平面図である。
【００４０】
図５（ｂ）に示すように、鉗子７０は、円筒形状の筒部７１の端部に先端効果器７２が設けられた構成となっている。筒部７１内には、先端効果器７２を作動させるワイヤが通っている。図５（ｂ）の例では、先端効果器７２は、開閉可能な摘みとなっている。また、筒部７１の先端付近に、マーカー７３が付されている。ここでは、筒部７１の端部を全周に亘って一定幅で着色することにより、マーカー７３が構成されている。マーカー７３の色は、青等、体内に存在し難い色が選択される。マーカー７３は、筒部７１に直接着色する方法の他、帯状のテープを貼り付ける方法によって、筒部７１に付される。
【００４１】
図６は、手術ロボットシステム１の構成を示すブロック図である。
【００４２】
図１〜５を参照して説明した構成の他、手術ロボットシステム１は、表示入力部９０と、コントローラ１００と、演算装置２００とを備えている。
【００４３】
表示入力部９０は、上述の管理装置（図１には図示せず）に設けられ、手術ロボットシステム１の各種設定やメンテナンス等に用いられる。手術ユニット３のアーム５２に装着される鉗子７０の種類は、表示入力部９０を用いてマニュアルで設定される。表示入力部９０は、たとえば、モニターとキーボード、マウスから構成される。あるいは、タッチパネルによって表示入力部９０が構成されても良い。
【００４４】
コントローラ１００は、ＣＰＵ（Central Processing Unit）等の演算処理部と、ハードディスク、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等の記憶部とを備え、記憶部に記憶されたプログラムに従って各部を制御する。コントローラ１００は、操作ユニット２および手術ユニット３の何れか一方に配置されても良く、あるいは、操作ユニット２および手術ユニット３の両方に分散して配置されても良い。
【００４５】
演算装置２００は、ＣＰＵ等の演算処理部と、ハードディスク、ＲＯＭ、ＲＡＭ等の記憶部とを備え、記憶部に記憶されたプログラムに従って演算処理を行う。演算装置２００は、操作ユニット２に搭載されている。これに代えて、演算装置２００が手術ユニット３に搭載されていても良く、あるいは、演算装置２００が操作ユニット２および手術ユニット３とは別に配置されていても良い。
【００４６】
演算装置２００の記憶部には、臓器ごとの想定剛性を表す臓器係数テーブル２０１が保持されている。演算装置２００は、臓器係数テーブル２０１に記憶された想定剛性を用いて、後述の如く、臓器から鉗子７０に印加される印加力を計測する。
【００４７】
また、演算装置２００の記憶部には、臓器から鉗子７０に印加される印加力に応じて振動発生器３２に生じる振動の周波数やスピーカ８０から出力される音の周波数を設定するための力帰還テーブル２０２が保持されている。たとえば、力帰還テーブル２０２は、印加力の範囲と振動発生器３２の駆動周波数およびスピーカ８０の駆動周波数とを対応付けたテーブルにより構成される。演算装置２００は、力帰還テーブル２０２に基づいて設定した周波数で振動発生器３２を駆動する。また、力帰還テーブル２０２に基づいて設定した周波数で、コントローラ１００を介して、スピーカ８０に音を出力させる。
【００４８】
図７（ａ）ないし（ｂ）は、振動発生器３２に供給される駆動信号を模式的に示す図である。振動発生器３２に供給される駆動信号は、臓器から鉗子７０に印加される印加力が大きくなるほど、周波数が高くなる。たとえば、臓器から鉗子７０に印加される印加力が最低レベル（鉗子７０が臓器に接触した直後）にある場合、図７（ａ）の駆動信号が振動発生器３２に印加される。その後、臓器から鉗子７０に印加される印加力が大きくなるに従って、駆動信号が図７（ｂ）、（ｃ）へと変化する。
【００４９】
図８（ａ）は、臓器の表面形状と位置の計測処理を示すフローチャートである。この処理は、演算装置２００の記憶部に記憶されたプログラムに従って、演算装置２００の演算処理部によって行われる。
【００５０】
手術ロボットシステム１を用いて手術が開始されると、演算装置２００は、臓器の表面形状および位置を計測するタイミングが到来したか否かを判定する（Ｓ１１）。本実施の形態では、手術が開始された後、一定期間経過ごとに、臓器の表面形状および位置が計測され更新される。計測タイミングが到来すると（Ｓ１１：ＹＥＳ）、演算装置２００は、内視鏡６０の２つのカメラ６２によって撮影された撮影画像をコントローラ１００から取得し、これら撮影画像に基づいて、臓器の形状および位置を算出する（Ｓ１３）。
【００５１】
ここで、臓器の形状および位置の算出は、以下の手順で行われる。
【００５２】
（１）２つのカメラ６２によって撮影された撮影画像に対して歪み補正を行う。
（２）歪み補正後の画像から血液や血管部を抽出するカラー抽出処理（ＲＧＢまたはＬ＊ａ＊ｂの座標上での領域の識別および抽出）を行う。
（３）抽出された領域に対しＬＯＧフィルタ処理を行って模様や輪郭を強調し、さらに２値化処理を行う。
（４）以上の処理が行われた２つの撮像画像についてステレオマッチングの処理を行って臓器表面の各点までの距離（奥行き方向の深さ）を算出し、１枚の距離画像を生成する。
（５）生成した距離画像にハフ変換処理を行って、鉗子７０前方の臓器の概略形状と各部位の位置を、平面または曲面へのフィッティングにより算出する。
【００５３】
こうして臓器の形状および位置を算出すると、演算装置２００は、手術ロボットシステム１の動作が終了したか否か、すなわち、手術ロボットシステム１を用いた手術が終了したか否かを判断する（Ｓ１４）。動作が終了していない場合（Ｓ１４：ＮＯ）、演算装置２００は、処理をＳ１１に戻して、次の計測タイミングを待つ。
【００５４】
図８（ｂ）は、印加力帰還処理を示すフローチャートである。この処理も、演算装置２００の記憶部に記憶されたプログラムに従って、演算装置２００の演算処理部によって行われる。
【００５５】
手術ロボットシステム１を用いて手術が開始されると、演算装置２００は、内視鏡６０の２つのカメラ６２によって撮影された撮影画像をコントローラ１００から取得し、これら撮影画像に基づいて、鉗子７０先端の位置を算出する（Ｓ２１）。
【００５６】
ここで、鉗子７０先端の位置の算出は、以下の手順で行われる。
【００５７】
（１）２つのカメラ６２によって撮影された撮影画像に対して歪み補正を行う。
（２）歪み補正後の画像からマーカー７３の色を抽出するカラー抽出処理（ＲＧＢまたはＬ＊ａ＊ｂの座標上での領域の識別および抽出）を行う。
（３）抽出された領域に対しＬＯＧフィルタ処理を行って模様や輪郭を強調し、抽出した色領域のクラスタ化、ラベリングおよび２値化処理を行う。
（４）設定されたクラスタのうちマーカー７３が存在し得ない範囲にあるクラスタや想定し得ないサイズのクラスタをノイズとして除去する。
（５）２つの撮像画像について相対的に対になるクラスタに対しステレオマッチングの処理を行って各クラスタまでの距離（奥行き方向の深さ）を算出し、１枚の距離画像を生成する。
（６）さらに想定外の距離にあるクラスタを除去し、残ったクラスタのうち上位２つの面積のクラスタを、マーカー７３に対応するクラスタとして特定する。
（７）特定したクラスタの面積中心位置を算出し、さらに面積中心までの距離（奥行き方向の深さ）を算出する。
（８）算出した距離に鉗子７０の先端効果器７２の半径Ｒ（図５（ｂ）参照）を加えて、先端効果器７２の先端部７２ａの位置を算出する。
【００５８】
なお、上記（８）の演算においては、鉗子７０の傾き状態や、鉗子７０長手方向の軸に対する鉗子７０の回転位置、および、先端効果器７２の曲がり具合等の形状が加味される。鉗子７０の傾き状態や鉗子７０の回転位置は、操作ユニット２の手操作部３０の操作状態によって把握される。
【００５９】
すなわち、演算装置２００は、図２（ａ）の操作鉗３０Ｌ、３０Ｒが操作されることにより操作ユニット２から手術ユニット３に送信される操作信号を随時コントローラ１００から取得して、鉗子７０の傾き状態や鉗子７０の回転位置を把握する。また、演算装置２００は、図示しない管理装置の表示入力部９０（図６参照）から設定された鉗子７０の種類をコントローラ１００から取得し、先端効果器７２の半径Ｒや曲がり具合等の形状を把握する。そして、演算装置２００は、上記（７）により求めた面積中心に、当該面積中心から先端効果器７２の先端部７２ａへと向かうベクトルを面積中心にベクトル的に加えて、先端効果器７２の先端部７２ａの位置を算出する。
【００６０】
こうして先端効果器７２の先端部７２ａの位置を算出すると、演算装置２００は、図８（ａ）で求めた臓器の形状および位置と、Ｓ２２で求めた先端部７２ａの位置とに基づいて、先端部７２ａが臓器の表面に当接したか否かを判定する（Ｓ２３）。具体的には、演算装置２００は、先端部７２ａの位置が臓器表面よりも奥側にあるか否かを判定する。
【００６１】
先端部７２ａが臓器の表面に当接していない場合（Ｓ２３：ＮＯ）、演算装置２００は、手術ロボットシステム１の動作が終了したか否か、すなわち、手術ロボットシステム１を用いた手術が終了したか否かを判定する（Ｓ２８）。動作が終了していない場合（Ｓ２８：ＮＯ）、演算装置２００は、処理をＳ２１に戻して、次の先端部７２ａの位置算出処理を実行する。
【００６２】
先端部７２ａが臓器の表面に当接した場合（Ｓ２３：ＹＥＳ）、演算装置２００は、臓器に対する先端部７２ａの食い込み量を算出する（Ｓ２４）。ここで、食い込み量は、たとえば、先端部７２ａの位置と、先端部７２ａの位置から鉗子７０の長手方向に存在する臓器表面の位置との間の距離である。演算装置２００は、算出した食い込み量に基づいて、臓器から鉗子７０に印加される印加力Ｆを推定する（Ｓ２５）。印加力Ｆは、たとえば、次式によって求められる。
【００６３】
Ｆ＝ｋ１×Ｘ＋ｋ２×Ｘ２  …（１）
式（１）において、ｋ１は、演算装置２００の臓器係数テーブル２０１に格納されている当該臓器の推定剛性である。また、Ｘは、ステップＳ２４で算出された食い込み量である。なお、食い込み量Ｘに対する印加力Ｆの線形性が良ければ、式（１）から２次の項を省略しても良い。逆に、食い込み量Ｘに対する印加力Ｆの相関が複雑であれば、式（１）に３次以上の項を追加しても良い。
【００６４】
こうして印加力Ｆを算出した後、演算装置２００は、算出した印加力Ｆに対応する振動発生器３２の振動周波数を力帰還テーブル２０２から取得し、取得した振動周波数で振動発生器３２を駆動する（Ｓ２６）。また、演算装置２００は、算出した印加力Ｆに対応するスピーカ８０の周波数を力帰還テーブル２０２から取得し、取得した周波数で音を出力するための信号をコントローラ１００に供給する（Ｓ２７）。これにより、振動発生器３２が印加力Ｆに対応する周波数で振動し、且つ、スピーカ８０から印加力Ｆに対応する周波数の音が出力される。
【００６５】
その後、演算装置２００は、手術ロボットシステム１の動作が終了したか否かを判定する（Ｓ２８）。動作が終了していない場合（Ｓ２８：ＮＯ）、演算装置２００は、処理をＳ２１に戻して、Ｓ２１移行の処理を繰り返す。動作が終了すると（Ｓ２８：ＹＥＳ）、演算装置２００は、印加力帰還処理を終了する。
【００６６】
なお、Ｓ２３〜Ｓ２７の処理は、施術に用いられている２つの鉗子７０それぞれについて行われる。操作者１ａの右手に対応するアーム５２に装着された鉗子７０の先端部７２ａが臓器に接触すると、臓器からこの鉗子７０に印加されている印加力Ｆが算出される。そして、この印加力Ｆに応じた周波数の振動が、操作者１ａの右手側の操作杆３０Ｒに設置された振動発生器３２から出力され、また、この印加力Ｆに応じた周波数の音が、操作者１ａの右耳側のスピーカ８０から出力される。同様に、操作者１ａの左手に対応するアーム５２に装着された鉗子７０の先端部７２ａが臓器に接触すると、臓器からこの鉗子７０に印加されている印加力Ｆが算出される。そして、この印加力Ｆに応じた周波数の振動が、操作者１ａの左手側の操作杆３０Ｌに設置された振動発生器３２から出力され、また、この印加力Ｆに応じた周波数の音が、操作者１ａの左耳側のスピーカ８０から出力される。
【００６７】
図９（ａ）、（ｂ）は、それぞれ、臓器３００に対する先端部７２ａの接触状態の一例を模式的に示す図である。
【００６８】
図９（ａ）の状態では、鉗子７０の先端部７２ａが臓器３００に接触していないため、振動発生器３２は振動せず、また、スピーカ８０から接触に基づく音は出力されない。その後、鉗子７０が臓器３００に接近し、図９（ｂ）のように先端部７２ａが臓器３００に接触すると、上記のように、食い込み量Ｘに応じた周波数で振動発生器３２が振動し、また、食い込み量Ｘに応じた周波数の音がスピーカ８０から出力される。これらの振動および音は、食い込み量Ｘに応じて周波数が変わる。このように、食い込み量Ｘに応じた作用が操作者１ａに帰還されることにより、操作者１ａは、３Ｄ画像では把握が困難な接触状況を、触覚および聴覚により知ることができる。これにより、操作者は、円滑かつ適切に手術を進めることができる。
【００６９】
＜実施の形態の効果＞
以上のとおり、本実施の形態によれば、鉗子７０にマーカー７３を付することにより、鉗子７０の先端部７２ａの位置が、内視鏡６０の２つのカメラ６２で撮影した撮影画像から計測される。また、臓器表面の位置および形状も、撮影画像に基づいて計測される。そして、計測された鉗子７０の先端部７２ａの位置と臓器表面の位置および形状と基づいて、臓器３００から鉗子７０にかかる印加力が求められ、求めた印加力に応じた作用が操作者１ａに付与される。よって、鉗子７０の構成をさほど変更せずとも、施術の際に鉗子７０に印加される外力を操作者１ａに帰還することができる。
【００７０】
内視鏡６０の２つのカメラ６２からの画像に基づいて臓器付近の３次元画像を操作ユニット２の３Ｄモニター部２０に表示させながら、これらカメラ６２からの画像を鉗子７０に印加される印加力の測定に用いることができる。
【００７１】
臓器３００から鉗子７０に印加される印加力の大きさに応じて振動発生器３２から生じる振動の周波数を変化させる構成であるため、手術に支障を与えずに操作者に鉗子７０にかかる印加力を帰還させることができる。
【００７２】
また、振動発生器３２は、鉗子７０を操作する際に操作者１ａが操作する手操作部３０の操作杆３０Ｌ、３０Ｒに配置されている。これにより、振動発生器３２からの振動が操作者１ａの手や指等に付与されるため、鉗子７０にかかる印加力を確実に操作者１ａに帰還させることができる。
【００７３】
また、臓器３００から鉗子７０に印加される印加力の大きさに応じて、スピーカ８０から出力される音の周波数が変化する。これによっても、鉗子７０に印加されている印加力を円滑に操作者に帰還させることができる。
【００７４】
＜変更例＞
以上、本発明の実施の形態および設計例について説明したが、本発明は、上記実施の形態および設計例によって制限されるものではなく、本発明の実施形態も、上記以外に種々の変更が可能である。
【００７５】
たとえば、上記実施の形態では、マーカー７３が鉗子７０の筒部７１先端付近に１つだけ付されたが、図１０（ａ）に示すように、２つのマーカー７３、７４が、鉗子７０の長手方向に並ぶように付されても良い。こうすると、演算装置２００は、図１０（ｂ）、（ｃ）に示すように、マーカー７３、７４のクラスタＰ１、Ｐ２の面積中心Ｃ１、Ｃ２を結ぶ方向Ｄを、鉗子７０の長手方向として検出することができる。この場合、鉗子７０の長手方向におけるマーカーの数は２つに限られず、３つ以上で合っても良い。
【００７６】
また、上記実施の形態では、マーカー７３は鉗子７０の全周において単色であったが、たとえば、図１１（ａ）、（ｂ）に示すように、マーカー７３の色が周方向において変化しても良い。図１１（ａ）、（ｂ）の例では、９０度ごとにマーカー７３が４つの領域７３ａ〜７３ｄに区分され、これら領域７３ａ〜７３ｄの色が互いに相違している。この場合も、各領域の色は、臓器に存在し難い色が選択される。こうすると、演算装置２００は、色の境界により、周方向における鉗子７０の回転位置を検出することができる。なお、図１１（ａ）、（ｂ）では、マーカー７３が周方向に４つの領域に区分されたが、周方向における区分数は４つに限られず、他の数に区分されても良い。また、色の組合せによって、鉗子７０の種類が判別できるようにしても良い。
【００７７】
また、上記実施の形態では、左右の操作杆３０Ｌ、３０Ｒに振動発生器３２を配置したが、振動発生器３２の配置位置はこれに限られず、操作の際に操作者１ａに振動が付与されれば他の位置であっても良い。たとえば、図１１に示すように、操作時に操作者１ａの左右の腕が置かれるアームレスト３１上の領域に、それぞれ、振動発生器３３が設置されても良い。
【００７８】
また、上記実施の形態では、振動および音によって、臓器３００から鉗子７０にかかる印加力が操作者１ａに帰還されたが、操作者１ａに付与される作用は、これ限られるものではない。たとえば、操作者１ａに対する音の付与が省略されても良く、あるいは、画像等の視覚による作用が操作者１ａに付与されても良い。臓器３００から鉗子７０にかかる印加力が画像により操作者１ａに帰還される場合、たとえば、図４に示す画面において、臓器に接触している鉗子７０の色が印加力の大きさに応じて変化しても良い。たとえば、臓器３００に鉗子７０が接触していない場合には鉗子７０の色は撮影された状態のままとされ、鉗子７０に印加された印加力が最低レベルの場合に鉗子７０の筒部７１の色が緑色に変化する。そして、鉗子７０に印加された印加力が大きくなるに従って次第に筒部７１の色が黄色から赤色へと変化する。この方法によっても、操作者１ａは、臓器３００から鉗子７０に印加されている印加力を知ることができる。
【００７９】
なお、印加力を画像により操作者１ａに伝達する場合、３Ｄ画像を注視する操作者の集中力を阻害しないように配慮する必要がある。このことから、操作者１ａに対する印加力の帰還は、上記実施の形態のように、振動や音を用いることが望ましいと言える。
【００８０】
なお、臓器およびマーカーの距離検出は、必ずしも、２つのカメラを用いたステレオカメラ法によって行われなくても良く、たとえば、臓器表面にランダムなドットパターンを照射し、撮像面におけるドットパターンの変位量から臓器およびマーカーの距離検出を行う方法であっても良い。ただし、３Ｄ画像の生成のために、予め、内視鏡６０に２つのカメラ６２が設けられているため、上記実施の形態のように、これらカメラ６２からの撮影画像を臓器およびマーカー７３の距離検出に共用することが最も好ましいと言える。
【００８１】
また、上記実施の形態では、式（１）により食い込み量Ｘから印加力Ｆが求められたが、食い込み量Ｘに対する印加力Ｆの線形性が良ければ、食い込み量Ｘをそのまま印加力Ｆとして用いても良い。
【００８２】
また、上記実施の形態では、予め印加力と周波数とを対応付けた力帰還テーブル２０２を用いて周波数が設定されたが、印加力をパラメータとする演算式によって周波数が設定されても良い。この場合、設定される周波数は、印加力に応じてリニアに変化するものであっても良い。
【００８３】
さらに、上記実施の形態では、図１に示すように、手術ユニット３において、鉗子７０が装着されるアーム５２が３つ備わっていたが、アーム５２の数がこれに限られるものではない。また、操作ユニット２や手術ユニット３の構成や各部のレイアウトも上記に限定されるものではなく、他の構成やレイアウトであっても良い。さらに、図８（ａ）、（ｂ）の処理を行うためのプログラムは、演算装置２００に予めインストールされていても良く、演算装置２００として市販のパソコン等を使う場合には、図８（ａ）、（ｂ）の処理を行うためのプログラムがディスク媒体やインターネットを介して取り込まれる形態であっても良い。
【００８４】
この他、本発明の実施の形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。
【符号の説明】
【００８５】
１  …  手術ロボットシステム
２  …  操作ユニット
３  …  手術ユニット
３０  …  手操作部（操作部）
３２  …  振動発生器
５２  …  アーム
６２  …  カメラ
７０  …  鉗子
７３、７４  …  マーカー
２００  …  演算装置（力帰還装置）
【図１】
2016154603.tif 000003
【図２】
2016154603.tif 000004
【図３】
2016154603.tif 000005
【図４】
2016154603.tif 000006
【図５】
2016154603.tif 000007
【図６】
2016154603.tif 000008
【図７】
2016154603.tif 000009
【図８】
2016154603.tif 000010
【図９】
2016154603.tif 000011
【図１０】
2016154603.tif 000012
【図１１】
2016154603.tif 000013