(57)【特許請求の範囲】
【請求項１】
操作指令を発するためのマスタ入力部と、
前記マスタ入力部により操作されるスレーブマニピュレータと、
前記操作指令に基づいて前記スレーブマニピュレータへ操作信号を送信する制御部と、
被写体の第一の映像を表示する第一画面と、前記第一の映像と異なる、前記被写体の第二の映像を表示する第二画面と、を有する表示部と、
前記第一の映像および前記第二の映像のうち、操作者が一つの映像を選択するための映像選択手段と、
を備え、
前記制御部は、前記操作指令に対して、前記映像選択手段を介して前記操作者により選択された映像に関連付けられた変換処理を行うことにより、前記スレーブマニピュレータを操作する前記操作信号を生成することを特徴とする医療用マスタスレーブマニピュレータ。
【請求項２】
前記映像選択手段は、前記操作者の顔が向いている前記映像を検出する検出部を含むことを特徴とする請求項１に記載の医療用マスタスレーブマニピュレータ。
【請求項３】
前記映像選択手段は、前記操作者が選択した前記映像が入力される入力手段を含むことを特徴とする請求項１に記載の医療用マスタスレーブマニピュレータ。
【請求項４】
前記第一の映像および前記第二の映像の少なくとも一つは、他の映像を画像処理することにより生成されることを特徴とする請求項１から３のいずれか一項に記載の医療用マスタスレーブマニピュレータ。
【請求項５】
前記第一の映像および前記第二の映像の少なくとも一つは、他の映像を回転処理することにより生成されることを特徴とする請求項４に記載の医療用マスタスレーブマニピュレータ。
【請求項６】
前記第一の映像および前記第二の映像の少なくとも一つは、他の映像を拡大もしくは縮小処理することにより生成されることを特徴とする請求項４に記載のマスタスレーブマニピュレータ。
【請求項７】
前記第一の映像および前記第二の映像は、それぞれ異なる複数の観察手段により取得されることを特徴とする請求項１から３のいずれか一項に記載の医療用マスタスレーブマニピュレータ。
【請求項８】
前記マスタ入力部は操作部を有し、
前記スレーブマニピュレータはスレーブアームを有し、その数は、前記操作部の数よりも多く、前記映像に関連付けられた変換処理の少なくとも一つにおいて、前記操作部と前記スレーブアームとの対応関係が他の変換処理と異なることを特徴とする請求項１から７のいずれか一項に記載の医療用マスタスレーブマニピュレータ。
【請求項９】
複数の前記スレーブマニピュレータを備えることを特徴とする請求項７または８に記載の医療用マスタスレーブマニピュレータ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マスタ入力デバイスとスレーブアームとを備えた医療用マスタスレーブマニピュレータに関する。
【背景技術】
【０００２】
医療の分野において、マスタ入力デバイスとスレーブアームを備えた医療用ロボットシステム（医療用マスタスレーブマニピュレータ）が提案されている。特許文献１に記載の医療用ロボットシステムでは、動作を制御するスレーブアームを選択する制御スイッチ機構がマスタ入力デバイスに設けられている。すなわち、第１のモードでは第１のスレーブアームを、第２のモードでは第２のスレーブアームを、マスタ入力デバイスによって制御し、いずれを制御するかを制御スイッチ機構により切り替える。
上記制御スイッチ機構としては、音声コマンド、物理的に配置されたスイッチ、フットペダル、ディスプレイ上に表示されたアイコンやグラフィックユーザインターフェース選択手段が挙げられている。
【０００３】
さらに、特許文献１の医療用ロボットシステムには、上述したものとは別の制御スイッチ機構が設けられている。この制御スイッチ機構は、マスタ入力デバイスにより動作を制御するモードを、腹腔鏡超音波（ＬＵＳ）プローブを制御して補助画像を取得する画像捕捉モードと、当該補助画像を本来の表示画像上に表示し操作するなどの画像操作モードに切り替える。
画像操作モードでは、内視鏡などの画像に、ＬＵＳプローブ等により取得された超音波診断画像などの別の補助画像をオーバーレイし、さらに、マスタ入力デバイスをポインディングデバイスとして機能させることができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特表２００９−５１２５１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
マスタスレーブマニピュレータを介して医療処置等を行う場合には、処置する部位の画像をスレーブアームに取り付けた内視鏡等で取得し、ディスプレイに表示された当該画像を見ながら操作者が処置を行う。このとき、表示されている画像中のスレーブアームの移動方向と、マスタ入力デバイスのうち実際に操作者が操作するマスターアームの移動方向が合わなくなり、操作者が直感的にマスタ入力を行いにくくなるという問題がある。
【０００６】
特許文献１の医療用ロボットシステムでは、制御スイッチ機構によって、表示される画像を切り換えて、マスタ入力デバイスをポインティングデバイスと関連させることで画像情報を操作しているが、表示されている画像と関連させてスレーブマニピュレータの制御方法を切り換えることについては考慮されておらず、依然として上述の問題が残されている。
【０００７】
本発明は上記事情に鑑みて成されたものであり、操作者が直感的にマスタ入力デバイスを操作してスレーブマニピュレータを動作させることができる医療用マスタスレーブマニピュレータを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の医療用マスタスレーブマニピュレータは、操作指令を発するためのマスタ入力部と、前記マスタ入力部により操作されるスレーブマニピュレータと、前記操作指令に基づいて前記スレーブマニピュレータへ操作信号を送信する制御部と、被写体の第一の映像を表示する第一画面と、前記第一の映像と異なる、前記被写体の第二の映像を表示する第二画面と、を有する表示部と、前記第一の映像および前記第二の映像のうち、操作者が一つの映像を選択するための映像選択手段とを備え、前記制御部は、前記操作指令に対して、前記映像選択手段を介して前記操作者により選択された映像に関連付けられた変換処理を行うことにより、前記スレーブマニピュレータを操作する前記操作信号を生成することを特徴とする。
【０００９】
前記映像選択手段は、前記操作者の顔が向いている前記映像を検出する検出部を含んでもよいし、前記操作者が選択した前記映像が入力される入力手段を含んでもよい。
【００１０】
前記第一の映像および前記第二の映像の少なくとも一つは、他の映像を画像処理することにより生成されてもよい。例えば、他の映像を回転処理することにより生成されてもよいし、他の映像を拡大もしくは縮小処理することにより生成されてもよい。
また、前記第一の映像および前記第二の映像は、それぞれ異なる複数の観察手段により取得されてもよい。
【００１１】
前記マスタ入力部は操作部を有し、前記スレーブマニピュレータはスレーブアームを有し、その数は、前記操作部の数よりも多く、前記映像に関連付けられた変換処理の少なくとも一つにおいて、前記操作部と前記スレーブアームとの対応関係が他の変換処理と異なってもよい。
【００１２】
本発明の医療用マスタスレーブマニピュレータは、複数の前記スレーブマニピュレータを備えてもよい。
【発明の効果】
【００１３】
本発明の医療用マスタスレーブマニピュレータによれば、操作者が直感的にマスタ入力デバイスを操作してスレーブマニピュレータを動作させることができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の第一実施形態の医療用マスタスレーブマニピュレータを適用した医療用マニピュレータシステムを示す図である。
【図２】同医療用マスタスレーブマニピュレータの機能ブロック図である。
【図３】同医療用マスタスレーブマニピュレータの動作の流れを示すフローチャートである。
【図４】同医療用マスタスレーブマニピュレータの判定部における判定ルーチンを示すフローチャートである。
【図５】本発明の第二実施形態の医療用マスタスレーブマニピュレータを適用した医療用マニピュレータシステムを示す図である。
【図６】同医療用マスタスレーブマニピュレータの動作の流れを示すフローチャートである。
【図７】本発明の第三実施形態の医療用マスタスレーブマニピュレータを適用した医療用マニピュレータシステムを示す図である。
【図８】同医療用マスタスレーブマニピュレータの機能ブロック図である。
【図９】同医療用マスタスレーブマニピュレータの動作の流れを示すフローチャートである。
【図１０】本発明の第四実施形態の医療用マスタスレーブマニピュレータのマスタ入力部を示す図である。
【図１１】同医療用マスタスレーブマニピュレータの機能ブロック図である。
【図１２】同医療用マスタスレーブマニピュレータの動作の流れを示すフローチャートである。
【図１３】本発明の変形例の医療用マスタスレーブマニピュレータにおけるマスタ入力部を示す図である。
【発明を実施するための形態】
【００１５】
以下、本発明の第一実施形態について説明する。図１は、本実施形態の医療用マスタスレーブマニピュレータ（以下、単に「マスタスレーブマニピュレータ」と称する。）１を示す図である。マスタスレーブマニピュレータ１は、マスターアーム２１を有し、操作指令を発するためのマスタ入力部２と、スレーブアーム３１を有するスレーブマニピュレータ３とを備え、術者（操作者）Ｏｐによるマスターアーム２１の操作に追従させるようにしてスレーブアーム３１を遠隔制御するものである。マスターアーム２１を介した操作指令は、制御部４のマスタ制御部４１に送信され、必要に応じて後述する変換処理が施された後、マニピュレータ制御部４２に入力される。その後、マニピュレータ制御部４２からスレーブマニピュレータ３へ動作信号が送られ、スレーブアーム３１が動作する。
【００１６】
図１に示すように、スレーブマニピュレータ３は、患者Ｐが載置される手術台１００に設置され、複数のスレーブアーム３１を有する。各スレーブアームは複数の多自由度関節を有して構成されており、多軸動作可能である。各多自由度関節は、図示しない動力部によって個別に駆動される。動力部としては、例えばインクリメンタルエンコーダや減速器等を備えたサーボ機構を有するモータ（サーボモータ）等を用いることができる。
【００１７】
複数のスレーブアーム３１の一つには、手技対象部位（被写体）を含む術野の映像を取得する内視鏡等の図示しない観察手段が取り付けられ、他のスレーブアームには、各種処置を行うための図示しない処置具が取り付けられる。観察手段や処置具は、公知のものを適宜選択して用いることができる。また、各スレーブアームは、装着された処置具等を駆動するための複数の動力部も有している（不図示）。この動力部も、例えばサーボモータを用いることができる。なお、以降の説明において、スレーブアームのうち処置具が取り付けられたスレーブアームを、「処置用スレーブアーム」と称することがある。
【００１８】
マスタ入力部２は、術者Ｏｐが操作する複数のマスターアーム２１と、上述の観察手段により取得された映像が表示される表示部２２とを備えている。各マスターアーム２１は、多軸動作可能な公知の構成を有し、術者Ｏｐに近い先端側に、術者が把持して操作指令を発する操作部としての把持部２１Ａを備えている。
【００１９】
表示部２２は、映像が表示されるディスプレイ２３と、ディスプレイ２３に取り付けられ、術者の顔の向きを検出する検出部（映像選択手段）２４とを有する。
ディスプレイ２３は、第一画面２５と第二画面２６との二つの画面を有している。第一画面２５には、観察手段により取得された術野の映像が表示され、第二画面２６には、当該映像を所定の回転角（例えば９０度）回転させた術野の映像（以下、「回転術野像」と称する。）が表示される。本実施形態では、各画面２５、２６には、視差に相当するずれを有する２つの映像が投影され、術者Ｏｐが偏光機構やシャッター機構等を備えた公知の３Ｄメガネ１０１を通して見ることで、各画面の映像を立体的に見ることができる。
【００２０】
検出部２４は、第一画面２５の上方に設けられた第一検出部２４Ａと、第二画面の上方に設けられた第二検出部２４Ｂとを有する。各検出部２４Ａ、２４Ｂは受光素子を備えており、３Ｄメガネ１０１に取り付けられた発光部１０２から発せられる光を受けることにより、術者Ｏｐの顔の向きを検出する。
なお、検出部の構成はこれに限定されず、公知の各種機構を適宜選択して採用することができ、検出原理として受発光を用いないものであってもよい。例えば、術者の顔や眼球の画像を取得し、当該画像から視線の向きを検出するようなものでもよい。
【００２１】
図２は、マスタスレーブマニピュレータ１の機能ブロック図である。観察手段３２と表示部２２との間には、画像処理部５０が設けられている。画像処理部５０は、公知の処理回路または処理プログラムであり、観察手段３２から送信された映像信号は画像処理部５０で映像表示可能な状態に処理される。処理された信号は、第一の変換処理Ｐｒ１を経て表示部２２の第一画面２５に表示されるとともに、第二の変換処理Ｐｒ２を経て第二画面２６に表示される。本実施形態では、第一画面２５には観察手段３２の取得した映像がそのまま表示され、第二画面２６には取得した映像が右回りに９０度回転されて表示される。すなわち、第二の変換処理Ｐｒ２は、右回りに９０度回転する処理であり、第一の変換処理Ｐｒ１は、「無変換」という変換処理である。本発明においては、「無変換」も変換処理の一つであると定義する。
なお、画像処理により回転処理を行った切替画像は、切替後も操作者が視認できる３Ｄ表示を維持する。たとえば、３Ｄ表示では両目の視差に対応した２画像を同一画面上に表示するが、画像処理時の回転量に応じて両目視差を考慮して３Ｄ表示を維持するように２画像を再変換して、表示部２２に表示する。
【００２２】
検出部２４とマスタ制御部４１との間には判定部５５が設けられている。判定部５５は、検出部２４から送信される情報に基づいて、術者Ｏｐの顔がディスプレイ２２の各画面２５、２６のいずれに向いているか、あるいはいずれにも向いていないかを判定し、判定結果をマスタ制御部４１に送信する。
【００２３】
上記のように構成されたマスタスレーブマニピュレータ１の動作について説明する。
図３は、マスタスレーブマニピュレータ１の動作の流れを示すフローチャートである。
まずステップＳ１０において、術者Ｏｐは、第二画面２６に表示される回転術野像の回転角度θ（例えば右回りに９０度）を、マスタ入力部の図示しないインターフェイスを介して画像処理部５０に入力し、第二画面に表示される映像を生成するための変換角度θを設定する。
【００２４】
観察手段３２から映像信号が送られてくると、ステップＳ２０において、画像処理部５０は、当該映像信号に対して第一の画像処理Ｐｒ１を行ってから第一画面２５に表示する。さらに、並行して同一の映像信号に第二の画像処理Ｐｒ２を行ってから第二画面２６に表示する。これにより、第一画面２５には、観察手段３２の取得した映像がそのまま表示され、第二画面２５には、観察手段３２の取得した映像が回転角度θだけ回転された映像が表示されて、表示部２２に映像が表示される。画像処理部５０による上記処理および映像の表示は、観察手段３２から映像信号が送信される間継続される。
【００２５】
マスタスレーブマニピュレータ１の動作中、判定部５５は、検出部２４から受信した情報に基づき、術者の顔が表示部２２のいずれの画面に向いているか、あるいはいずれにも向いていないかを繰り返し判定する。
【００２６】
図４は、判定部５５の判定ルーチンを示すフローチャートである。ステップＳ１０１では、第一検出部２４Ａから送信された情報に基づき、術者の顔が第一画面２５に向かっているか否かが判定される。ステップＳ１０１における判定がＹｅｓであれば、判定部５５は、術者が第一画面２５に向かっている、すなわち第一画面２５に表示された映像を選択していると判定して処理を終了し、ＮｏであればステップＳ１０２に進む。
【００２７】
ステップＳ１０２では、第二検出部２４Ｂから送信された情報に基づき、術者が第二画面２６に向かっているか否かが判定される。判定部５５は、ステップＳ１０２における判定がＹｅｓであれば、術者の顔が第二画面２６に向かっている、すなわち第二画面２６に表示された映像を選択していると判定して処理を終了する。ステップＳ１０２における判定がＮｏであれば、術者は第一画面２５および第二画面２６のいずれにも向かっていないと判定して処理を終了する。
【００２８】
また、判定部５５は、術者が第一画面２５および第二画面２６のいずれかに向かっていると判定したときは、その情報を画像処理部５０に送信する。当該情報を受信した画像処理部５０は、術者が向かっていると判定された画面にマーカー１０３（図１参照）を表示し、術者の認識を補助する。ここで、マーカーは画面表示に限らず、画面上部にＬＥＤのような発光指示器を設置し、点灯により術者の認識を補助してもよい。
【００２９】
図３に戻って、術者がマスタ入力部２の把持部２１Ａに操作指令を行うと、ステップＳ３０において、入力を受けたマスタ制御部４１から、術者Ｏｐが向かっている画面について判定部５５に照会が行われ、その時点における判定部５５の判定内容に基づき判定部５５からマスタ制御部４１に情報が送信される。このとき、判定部５５からは、上述の判定ルーチンに基づく判定内容と、当該判定内容と関連付けられたマスタ制御部４１による操作指令の変換処理内容とを含む情報が送信される。
【００３０】
続くステップＳ３１では、術者が第一画面２５および第二画面２６のいずれかに向かっているか否かが、判定部５５から送信された情報に基づき検証される。判定がＹｅｓの場合、処理はステップＳ４０に進む。判定がＮｏの場合は、処理はステップＳ３２に進む。
ステップＳ３２では、術者が第一画面２５および第二画面２６のいずれにも向かっていないことを示す情報が判定部５５から画像処理部５０に送信され、術者Ｏｐへの注意喚起処理が行われる。例えば、表示部２２に「画面に顔を向けてください」、「３Ｄメガネを装着してください」等の情報が表示される。併せてこのときに、マスタ入力部２からの操作指令に対して、スレーブマニピュレータ３の動作を停止させてもよい。
【００３１】
ステップＳ４０では、マスタ制御部４１の設定の切り替えが必要か否かが判定される。例えば、マスタ制御部４１が第一画面２５に対応した操作指令の変換処理をしているときに、「術者Ｏｐが第二画面２６に向かっている」という情報が判定部５５から送信されてきた場合は、マスタ制御部４１の設定切り替えが必要であるため、判定結果はＹｅｓとなり、処理はステップＳ４１に進む。
【００３２】
ステップＳ４１において、マスタ制御部４１は、判定部５５から受信した情報にもとづき、マスタ入力部２の把持部２１Ａの位置および姿勢と、第二画面２６に表示された映像における処置用スレーブアーム３１の先端部の位置および姿勢とを整合させるためのイニシャライズを行う。マスタ制御部４１は、把持部２１Ａの位置および姿勢と、第二画面２６内における処置用スレーブアーム３１先端部の位置および姿勢との差分を算出し、当該差分がゼロとなるようにマスタ入力部２の駆動部を動作させ、把持部２１Ａのイニシャライズを行う。このとき、表示部２２に「イニシャライズ中です。把持部から手を離してください」等のメッセージを表示して、術者に注意を喚起してもよい。
なお、マスターアームおよびスレーブアームの「位置」とは、マスターアームおよびスレーブアームの所定部位（例えば把持部２１Ａと処置具先端部など）の、ＸＹＺの座標系で表される三次元位置であり、「姿勢」とは、当該所定部位を基点とした先端の向きを意味する。また、マスタスレーブマニピュレータにおける位置・姿勢合わせは公知の技術であり、その具体的方法は上記に限られない。
【００３３】
続くステップＳ４２では、マスタ制御部４１における操作指令の変換処理内容が、判定部５５からの情報により更新される。これにより、把持部２１Ａの動作方向と、術者Ｏｐが選択した映像における処置用スレーブアーム３１先端部の動作方向とが一致するようにマスタ制御部４１が操作指令を変換する。変換処理内容の更新後、ステップＳ４３において、マスタ制御部４１が操作指令に対し、術者Ｏｐが選択した画面と関連付けられた変換処理を行ってマニピュレータ制御部４２に動作信号を送信し、処理を終了する。
【００３４】
判定部５５の情報とマスタ制御部４１の設定とが合致する場合、判定結果はＮｏとなり、処理はステップＳ４４に進む。ステップＳ４４では、マスタ制御部４１がその時点の設定で操作指令の変換処理を行ってマニピュレータ制御部４２に動作信号を送信し、処理を終了する。
【００３５】
本実施形態のマスタスレーブマニピュレータ１によれば、術者Ｏｐの顔が表示部２２の画面２５、２６のいずれに向かっているかが検出部２４の情報に基づいて判定部５５により判定される。そして、当該判定結果に基づいて、術者Ｏｐの選択した映像における処置用スレーブアーム３１先端部の移動方向と把持部２１Ａの移動方向とが同一となるように、マスタ制御部４１が操作指令に対して選択した映像と関連付けられた変換処理を行うよう変換処理内容が更新される。したがって、術者は、行おうとする手技や操作により適した画面に向かうだけで、マスタ制御部の変換処理内容が自動的に調節され、当該画面を見ながら把持部を直感的に操作して、スレーブマニピュレータを直感的にストレスなく操作することができる。
【００３６】
また、マスタ制御部４１の変換処理内容が更新される際に、把持部２１Ａの位置および姿勢のイニシャライズが行われるため、把持部２１Ａの動作方向だけでなく、位置・姿勢関係も自動的に処置用スレーブアーム３１先端部と整合される。したがって、より直感的に操作を行うことができる。
【００３７】
さらに、第二画面２６に表示された回転術野像は、観察手段３２が取得した映像を画像処理することにより生成されているため、術者Ｏｐが異なる視点で手技を行うために観察手段３２を駆動する必要がない。したがって、術野の視点切り替えをすぐに行うことができ、一連の手技をスムーズに行うことができる。また、観察手段の駆動による他のスレーブアームとの干渉の問題を無くすことができるため、手技の安全性が向上する。
【００３８】
さらに、第一画面２５と第二画面２６とは、並べて表示されているため、術者Ｏｐは一方の画面を見て手技を行いながら、周辺視野で大まかに他方の画面を視認することができる。したがって、確認した他方の画面の方が手技をしやすいマニピュレータ配置になっている等の判断を手技中に行い、必要に応じて他方の画面に向かえば、手技に用いる画面をスムーズに切り替えて、切り替え後の座標ずれを気にすることなく直感的に手技を継続することができる。
【００３９】
本実施形態では、マスタ制御部４１がマスタ入力部２を駆動してイニシャライズを行う例を説明したが、これに代えて、イニシャライズを術者がマニュアル操作で行えるように構成してもよい。例えば、マスタ入力部に駆動部を設けず、マスタ入力部からマスタ制御部への操作指令送信のオンオフを切り替えるフットスイッチを設ける。そして、フットスイッチを押してから術者が初期位置としたい所望の位置に把持部を動かし、再度フットスイッチを押すことでイニシャライズが完了する構成としてもよい。この場合、把持部の位置および姿勢とスレーブアーム先端部の位置および姿勢とが完全に整合しない場合があるが、術者の設定した初期位置を尊重し、当該初期位置からの移動量の差分値に基づきスレーブアームが操作されるため、術者が最も操作しやすい設定で、直感的に操作を行うことができる。
【００４０】
本発明の第二実施形態について、図５および図６を参照して説明する。本実施形態のマスタスレーブマニピュレータ６１と上述のマスタスレーブマニピュレータ１との異なるところは、注視する画面が切り替わる際に、マスターアームとスレーブアームとの対応関係が切り替わる点である。なお、以降の説明において、既に説明したものと共通する構成については、同一の符号を付して重複する説明を省略する。
【００４１】
図５は、マスタスレーブマニピュレータ６１のマスタ入力部２を示す図である。ディスプレイ２３に示されているように、スレーブマニピュレータ３には、処置用スレーブアームが、６２Ａ、６２Ｂ、６２Ｃの３本設けられている。第一画面２５上では、スレーブアーム６２Ａおよび６２Ｂが術者Ｏｐにとって直感的に操作しやすい位置にあり、右回りに９０度回転した第二画面２６上ではスレーブアーム６２Ｂおよび６２Ｃが術者Ｏｐにとって直感的に操作しやすい位置にある。マスタ入力部２には２本しかマスターアームがないため、この実施形態では、各画面において、直感的に操作しやすい２本の処置用スレーブアームとマスターアームとが関連付けられる。すなわち、各画面に表示される映像に応じて、マスターアームと処置用スレーブアームの対応関係が異なっている。
【００４２】
図６は、マスタスレーブマニピュレータ６１の動作の流れを示すフローチャートである。ステップＳ１１では、第一実施形態同様、第二画面を生成するための変換角度θが術者Ｏｐによって設定されるとともに、第一画面２５および第二画面２６のそれぞれで、マスターアーム２１により操作される２本の処置用スレーブアームが設定される。
その後、ステップＳ４１では、ステップＳ１１で設定された２本のスレーブアーム先端部とマスタ入力部の把持部２１Ａとの位置および姿勢が整合されるようにイニシャライズが行われ、続くステップＳ４２Ａにおいて、マスターアームとスレーブアームとの対応関係および操作指令の変換処理内容が更新される。
それ以外の点は、第一実施形態と概ね同様である。
【００４３】
本実施形態のマスタスレーブマニピュレータ６１においても、術者は、行おうとする手技や操作により適した画面に向かうだけで、マスタ制御部の変換処理内容が自動的に更新され、当該画面を見ながらマスターアームを直感的に操作することによりスレーブアームをストレスなく操作することができる。
さらに、マスターアームとスレーブアームとの対応関係も自動的に更新されるため、各画面において、最適なスレーブアームを操作して手技を行うことができる。
【００４４】
本実施形態では、処置用スレーブアームが３本の例を説明したが、処置用スレーブアームが２本であっても、４本以上であってもよい。また、ステップＳ１１で変換角度θと各画面で操作するスレーブアームを設定するのに代えて、マスタ制御部等が観察手段および各処置用スレーブアームの位置関係に基づき、第一画面と異なる組み合わせの２本のスレーブアームが操作しやすくなる回転角度を自動的に算出し、変換角度θを決定するように構成してもよい。このとき、観察手段および各処置用スレーブアームの位置関係は、観察手段の取得した映像から算出されてもよいし、スレーブアームのエンコーダの値等に基づく位置情報から算出されてもよい。
また、はじめのステップＳ１１で決められた変換角度θから、観察手段とスレーブアームの位置関係情報をもとに、最適なスレーブアームとマスターアームとの対応関係を自動的に算出してもよい。この場合も、上記と同様に、観察手段と各スレーブアームとの位置関係は、観察手段の取得した映像から算出されてもよいし、スレーブアームのエンコーダの値等に基づく位置情報から算出されてもよい。
別の方法として、スレーブアームとマスターアームとの対応関係は、ステップＳ４０の後に操作者が選択できるようにしてもよい。選択方法は、インターフェイス等の入力スイッチなどにより行うことができる。
【００４５】
本発明の第三実施形態について、図７から図９を参照して説明する。本実施形態のマスタスレーブマニピュレータ７１と上述のマスタスレーブマニピュレータ１との異なるところは、スレーブマニピュレータを複数備え、注視する画面が切り替わる際に、マスターアームとスレーブマニピュレータとの対応関係が切り替わる点である。
【００４６】
図７は、マスタスレーブマニピュレータ７１の全体構成を示す図である。マスタスレーブマニピュレータ７１は、符号３Ａおよび３Ｂで示す２台のスレーブマニピュレータを備えており、２名の患者Ｐ１およびＰ２に対する手技を並行して行うことが可能になっている。なお、患者は２名とは限らず、１名の患者の異なる患部に２台のスレーブマニピュレータを配置することもできる。
【００４７】
図８は、マスタスレーブマニピュレータ７１の機能ブロック図である。各スレーブマニピュレータ３Ａ、３Ｂは、それぞれ観察手段３２Ａ、３２Ｂを有している。第一画面２５には、観察手段３２Ａの取得した映像が表示され、第二画面２６には、観察手段３２Ｂの取得した映像が表示される。
マニピュレータ制御部４２とスレーブマニピュレータ３Ａ、３Ｂとの間には切替部７２が設けられており、マニピュレータ制御部４２とスレーブマニピュレータ３Ａ、３Ｂの一方とが選択的に接続され、接続されたスレーブマニピュレータにマニピュレータ制御部からの操作信号が送信される。
【００４８】
図９は、マスタスレーブマニピュレータ７１の動作の流れを示すフローチャートである。マスタスレーブマニピュレータ７１においては、回転角度θを設定するステップは行われない。観察手段３２Ａ、３２Ｂがそれぞれ患者の体内で手技を行う部位に到達すると、ステップＳ２０において第一画面２５および第二画面２６に各観察手段の取得した映像が表示される。
【００４９】
ステップＳ４０の判定がＹｅｓの場合、ステップＳ４００において、マスタ制御部４１は、切替部７２に指令を送り、現在接続されていないスレーブマニピュレータとマニピュレータ制御部４２とを接続するように接続を切り替えさせる。その後ステップＳ４１のイニシャライズが行われる。
それ以外の点は、第一実施形態と概ね同様である。
【００５０】
本実施形態のマスタスレーブマニピュレータ７１においても、術者Ｏｐは、行おうとする手技や操作により適した画面に向かうだけで、マスタ制御部の変換処理内容が自動的に更新され、当該画面を見ながらマスターアームを直感的に操作することにより、切り替えられたスレーブマニピュレータのスレーブアームをストレスなく操作することができる。
また、スレーブマニピュレータを複数備えることにより、複数の患者あるいは患部に対して好適に手技を行うことができる。
本実施形態において、スレーブマニピュレータを３つ以上備えることももちろん可能である。
第一実施形態および第三実施形態の説明から明らかなように、本発明において、「被写体の複数の異なる映像」とは、被写体が一つである場合と、被写体が複数ある場合の両方が含まれる概念である。
【００５１】
本発明の第四実施形態について、図１０および図１１を参照して説明する。本実施形態のマスタスレーブマニピュレータ８１と上述のマスタスレーブマニピュレータ１との異なるところは、スレーブマニピュレータが観察手段を複数備える点である。
【００５２】
図１０は、マスタスレーブマニピュレータ８１のマスタ入力部２を示す図であり、図１１は、マスタスレーブマニピュレータ７１の機能ブロック図である。スレーブマニピュレータ８２は、３本の処置用スレーブアーム８２Ａ、８２Ｂ、および８２Ｃを有し、第一画面２５および第二画面２６には、第二実施形態と同様の映像が表示されている。
ただし、スレーブマニピュレータは、第一内視鏡８３および第二内視鏡８４の二つの観察手段を備えており、第一画面２５には第一内視鏡８３により取得された映像が、第二画面２６には第二内視鏡８４により取得された映像が表示されている。したがって、第二画面２６に表示された映像は、第一画面の映像を画像処理したものではない。
【００５３】
図１２は、マスタスレーブマニピュレータ８１の動作の流れを示すフローチャートである。マスタスレーブマニピュレータ８１においては、ステップＳ１１Ａにおいて、回転角度θは設定されず、第一画面２５および第二画面２６のそれぞれで、マスターアームにより操作される２本のスレーブアームのみが設定される。ステップＳ４２Ａにおける変換処理内容は、第一内視鏡８３と第二内視鏡８４との位置関係等に基づき、自動算出される。
それ以外の点は、第二実施形態と概ね同様である。
【００５４】
本実施形態のマスタスレーブマニピュレータ８１においても、術者Ｏｐは、行おうとする手技や操作により適した画面に向かうだけで、マスタ制御部の変換処理内容が自動的に更新され、当該画面を見ながらマスターアームを直感的に操作することによりスレーブアームをストレスなく操作することができる。
【００５５】
また、第一内視鏡８３および第二内視鏡８４の２つの観察手段を有しているため、第二画面２６に回転術野像以外の様々な術野像を表示することができる。例えば、第一画面２５には手技を行う組織をある一方向からとらえた映像を表示し、第二画面には同組織を当該一方向と反対の方向からとらえた映像を表示することで、手技に用いる画面を切り替えながら、手技の各手順をより好適なアングル等で行うことができる。
【００５６】
上述の例では、処置用スレーブアームを３本としたが、本実施形態において、処置用スレーブアームの本数は、２本以下でも４本以上でもよく、本数に応じてステップＳ４２Ａにおけるマスターアームと処置用スレーブアームとの対応関係切替の有無を設定すればよい。また、上述の例では観察手段を２つ備える例を説明したが、これに代えて、観察部を複数備えた１つの観察手段を用い、各観察部の取得した映像が表示部に表示される構成としてもよい。また、観察手段の内視鏡は、同一の構造のものでなくてもよく、例えば一方が直視型、他方が側視型の内視鏡としてもよい。
【００５７】
以上、本発明の各実施形態について説明したが、本発明の技術範囲は上記実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲において、各構成要素に種々の変更を加えたり、削除したり、各実施形態の構成を組み合わせたりすることが可能である。
【００５８】
例えば、第二画面に表示する映像を第一画面の映像の画像処理により生成する場合、画像処理は上述の回転処理に限られない。一例を挙げると、図１３に示す変形例のように、第一画面２５の映像を拡大処理したものが第二画面２６に表示されてもよい。この場合、第一画面２５を見て手技を行う場合と第二画面２６を見て手技を行う場合とでは、マスターアームとスレーブアームとのモーションスケール比を異ならせることにより直感的な操作が可能となるため、変換処理内容の更新時に、モーションスケール比の変更を行うように構成すればよい。これにより、どちらの画面を見て手技を行っても、マスターアームの移動量とスレーブアームの移動量との関係が変化しないようにすることができる。このほか、拡大処理でなく、縮小処理を行ってもよい。
また、上述の各実施形態では、操作部としての把持部がマスターアームに連結された例を説明したが、操作部は、マスターアームの無い構成であってもよい。たとえば、操作部や操作者の手の位置・姿勢をカメラや位置センサなどのモーションセンサで取得する構成であってもよい。
【００５９】
また、上述の各実施例では、検出部により術者の顔がどちらの画面に向かっているかを検出し、当該画面に基づいてイニシャライズや変換処理内容の更新を行う例を説明したが、術者の位置や姿勢に基づきどちらの画面に向かっているかを検出するよう検出部を構成してもよい。さらには、術者が手技を行うために選択した映像が表示された画面をスイッチ等の入力手段により入力する構成でもよい。本発明のマスタスレーブマニピュレータでは、術者が選択した映像にもとづいて変換処理内容が自動的に更新されることが特徴であり、前者の場合は意図的にまたは無意識に、後者の場合は意図的に映像の選択が行われている。
入力手段は、フットスイッチに限られず、どこに設けられてもよい。
【００６０】
また、本発明において、表示部の構成は、様々に変更することができる。例えば、一画面のディスプレイの画面を２つの表示領域にわけ、それぞれに第一画面および第二画面の機能を持たせてもよいし、ヘッドマウントディスプレイを用いてもよい。
さらに、画面を２以上設け、それぞれに異なる術野像を表示してももちろん構わない。
【符号の説明】
【００６１】
１、６１、７１、８１  マスタスレーブマニピュレータ
２  マスタ入力部
３、３Ａ、３Ｂ  スレーブマニピュレータ
４  制御部
２１  マスターアーム
２１Ａ  把持部（操作部）
２２  表示部
２４  検出部（映像選択手段）
３１、６２Ａ、６２Ｂ、６２Ｃ、８２Ａ、８２Ｂ、８２Ｃ  スレーブアーム
８３  第一内視鏡（観察手段）
８４  第二内視鏡（観察手段）
Ｏｐ  術者（操作者）
【図１】
0005800609.tif 000002
【図２】
0005800609.tif 000003
【図３】
0005800609.tif 000004
【図４】
0005800609.tif 000005
【図５】
0005800609.tif 000006
【図６】
0005800609.tif 000007
【図７】
0005800609.tif 000008
【図８】
0005800609.tif 000009
【図９】
0005800609.tif 000010
【図１０】
0005800609.tif 000011
【図１１】
0005800609.tif 000012
【図１２】
0005800609.tif 000013
【図１３】
0005800609.tif 000014