(57)【要約】【課題】どのような作業環境であっても、手術者の動きに応じて精度良く所望の位置に撮像手段を駆動制御可能な手術用撮像システム及び手術用ロボットを提供する。【解決手段】体腔内を撮像する撮像手段２３と、撮像手段２３によって撮像された像が表示される像表示手段１１と、を備える手術用撮像システム１であって、撮像手段２３の駆動位置を制御する撮像位置制御手段２２と、手術者１４に装着されるマーカ１１ｂの位置を検出するマーカ検出手段１２と、を備え、マーカ検出手段１３ａによって検出されたマーカ１１ｂの移動量及び移動方向に基づいて撮像手段２３の駆動量及び駆動方向が決定され、撮像位置制御手段２２が、決定された前記駆動量及び駆動方向に基づいて撮像手段２３の駆動位置を制御する。【選択図】図１
2012223363.tif 000002
【特許請求の範囲】
【請求項１】
体腔内を撮像する撮像手段と、
前記撮像手段によって撮像された像が表示される像表示手段と、
を備える手術用撮像システムであって、
前記撮像手段の駆動位置を制御する撮像位置制御手段と、
手術者に装着されるマーカの位置を検出するマーカ検出手段と、
を備え、
該マーカ検出手段によって検出されたマーカの移動量及び移動方向に基づいて、前記撮像手段の駆動量及び駆動方向が決定され、
前記撮像位置制御手段が、決定された前記駆動量及び駆動方向に基づいて前記撮像手段の駆動位置を制御する
ことを特徴とする、手術用撮像システム。
【請求項２】
前記マーカ検出手段は、光学系検出手段である
ことを特徴とする、請求項１に記載の手術用撮像システム。
【請求項３】
前記光学系検出手段は、前記マーカの３次元位置を検出する立体カメラである
ことを特徴とする、請求項２に記載の手術用撮像システム。
【請求項４】
前記マーカ検出手段は複数備えられている
ことを特徴とする、請求項１〜３の何れか１項に記載の手術用撮像システム。
【請求項５】
前記撮像手段を駆動させる駆動モードのオン及びオフを制御する撮像切替トリガを備え、
前記駆動モードがオンの状態で、前記撮像位置制御手段による前記撮像手段の駆動が行われ、
前記駆動モードがオフの状態で、前記撮像位置制御手段による前記撮像手段の駆動が停止される
ことを特徴とする、請求項１〜４の何れか１項に記載の手術用撮像システム。
【請求項６】
前記像表示手段が、前記手術者の頭部に装着されるヘッドマウントディスプレイである
ことを特徴とする、請求項１〜５の何れか１項に記載の手術用撮像システム。
【請求項７】
前記マーカが複数個設けられている
ことを特徴とする、請求項１〜６の何れか１項に記載の手術用撮像システム。
【請求項８】
前記撮像手段が、手術用マニピュレータと一体となって構成されている
ことを特徴とする、請求項１〜７の何れか１項に記載の手術用撮像システム。
【請求項９】
請求項１〜８の何れか１項に記載の手術用撮像システムが適用される
ことを特徴とする、手術用ロボット。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、手術用撮像システム及び手術用ロボットに関する。
【背景技術】
【０００２】
患者への痛みを低減したり、手術後の手術痕を目立ちにくいものとしたりすることを目的として、低侵襲外科手術が広く行われている。低侵襲外科手術においては、例えば内視鏡、手術用マニピュレータ（例えば鉗子）が手術者等によって使用される。具体的には、手術者等が、患者の体表面に設けられた挿入孔から内視鏡及び手術用マニピュレータ等を挿入して駆動させ、手術者が手術を行うようになっている。
【０００３】
具体的には、体腔内に挿入した内視鏡によって体腔内を手術者が観察しながら、手術者が手術用マニピュレータを操作して手術を行うようになっている。このような技術に関連して、例えば特許文献１には、磁気センサを用い、手術者の頭の動きに応じてスコープ（内視鏡）の位置を制御する手術用マニピュレータシステムが記載されている。また、例えば特許文献２には、先端部が湾曲可能な体腔内観察装置が記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平８−７１０７２号公報
【特許文献２】特開平１０−３０９２５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に記載の技術においては、前記のように、磁気センサを用いて頭部の動作を検出している。しかしながら、この技術においては、例えば核磁気共鳴画像装置（ＭＲＩ）等の磁場を発生する装置の付近においては、磁場の乱れから正確な内視鏡の駆動制御が行えないことがある。
【０００６】
また、手術には通常金属製の器具が用いられるため、このような金属製の器具によって頭部付近の磁場に乱れが生じることがある。そのため、このような磁場の乱れによって、やはり正確な内視鏡の駆動制御が行えないことがある。
【０００７】
さらに、磁気センサの信号送信部と信号受信部との間に障害物（磁気遮蔽物）が存在すると、磁気の乱れが生じたり、信号受信部が磁気信号を正確に受信できなかったりすることがある。その結果、やはり正確な内視鏡の駆動制御が行えないことがある。
【０００８】
また、磁気センサを用いた場合、測定値のゼロ点が長期間使用による意図しない移動、即ちゼロ点ドリフトが生じうるという課題がある。
【０００９】
即ち、従来の技術においては、磁場、遮蔽物、金属物の存在等の作業環境に拠って磁場の乱れが生じ、精度の良い内視鏡の駆動制御を行えないことがある。また、このような環境で駆動制御を行う場合には、較正を多数行わなければならないことがあり、手術が煩雑になることがある。
【００１０】
また、特許文献２に記載の技術においては、体腔内に挿入される内視鏡の先端部の駆動方向が限定的であるため、体腔内の所望の位置を観察できないことがある。
【００１１】
本発明は前記課題に鑑みて為されたものであって、その目的は、どのような作業環境であっても、手術者の動きに応じて精度良く所望の位置に撮像手段を駆動制御可能な手術用撮像システム及び手術用ロボットを提供することにある。
【課題を解決するための手段】
【００１２】
本発明者らは前記課題を解決するべく鋭意検討した結果、手術者の動きをマーカによって検出することにより前記課題を解決できることを見出し、本発明を完成させた。
【００１３】
即ち、本発明の要旨は、体腔内を撮像する撮像手段と、前記撮像手段によって撮像された像が表示される像表示手段と、を備える手術用撮像システムであって、前記撮像手段の駆動位置を制御する撮像位置制御手段と、手術者に装着されるマーカの位置を検出するマーカ検出手段と、を備え、該マーカ検出手段によって検出されたマーカの移動量及び移動方向に基づいて前記撮像手段の駆動量及び駆動方向が決定され、前記撮像位置制御手段が、決定された前記駆動量及び駆動方向に基づいて前記撮像手段の駆動位置を制御することを特徴とする、手術用撮像システムに関する（請求項１）。
【００１４】
このような手術用撮像システムに拠れば、磁場や遮蔽物等の影響を受けずに、撮像手段（例えば内視鏡）の体腔内での駆動制御を正確に行うことができる。
【００１５】
また、この時、前記マーカ検出手段は、光学系検出手段である（請求項２）。このような構成に拠れば、より簡易に手術者の動きを検知することができる。
【００１６】
この時、前記光学系検出手段は、前記マーカの３次元位置を検出する立体カメラである（請求項３）。このような構成に拠れば、手術者の立体的な動きを確実に検出することができる。
【００１７】
さらにこの時、前記マーカ検出手段は複数備えられている（請求項４）。このような構成に拠れば、より確実に精度良く撮像手段の駆動を制御することができる。
【００１８】
さらに、本実施形態に係る手術用撮像システムは、前記撮像手段を駆動させる駆動モードのオン及びオフを制御する撮像切替トリガを備え、前記駆動モードがオンの状態で、前記撮像位置制御手段による前記撮像手段の駆動が行われ、前記駆動モードがオフの状態で、前記撮像位置制御手段による前記撮像手段の駆動が停止されるものである（請求項５）。
【００１９】
このような構成に拠れば、駆動モードをオフにしているときには撮像手段が駆動せず、像表示手段に表示される像が静止画になる。そのため、手術者が例えばマニピュレータ操作等をすることによってマーカが意図せず移動したとしても、表示される画像は静止画のままとすることができ、安定した手術を行うことができる。
【００２０】
また、前記像表示手段が、前記手術者の頭部に装着されるヘッドマウントディスプレイである（請求項６）。このような構成に拠れば、体腔内をより肉眼に近い状態で観察することができる。
【００２１】
さらに、前記マーカが複数個設けられている（請求項７）。このような構成に拠れば、より確実に手術者の動作を検出することができる。
【００２２】
そして、前記撮像手段は、前記撮像手段が、手術用マニピュレータと一体となって構成されている（請求項８）。このような構成に拠れば、撮像手段と手術用マニピュレータとを一体に構成できるため、装置の簡素化を図ることができる。
【００２３】
また、本発明の別の要旨は、前記の手術用撮像システムが適用されている手術用ロボットに関する（請求項９）。本実施形態に係る手術用ロボットに拠れば、従来よりも容易に撮像手段（例えば内視鏡）等を用いた手術が可能となる。
【発明の効果】
【００２４】
本発明に拠れば、どのような作業環境であっても、手術者の動きに応じて精度良く所望の位置に撮像手段を駆動制御可能な手術用撮像システム及び手術用ロボットを提供することができる。
【図面の簡単な説明】
【００２５】
【図１】本実施形態に係る手術用撮像システムの全体構成を示す図である。
【図２】本実施形態に係る手術用撮像システムに適用可能な、マーカを備えるヘッドマウントディスプレイの斜視図である。
【図３】ヘッドマウントディスプレイを装着した手術者の３つの動作を示す図である。
【図４】本実施形態に係る手術用撮像システムの運転時のフローチャートである。
【図５】本実施形態に係る手術用撮像システムを適用して測定した、横方向の位置分解能を示すグラフである。
【発明を実施するための形態】
【００２６】
以下、図面を適宜参照しながら、具体的な形態を挙げて本発明を実施するための形態（本実施形態）を説明する。ただし、本実施形態は以下の内容に何ら限定されるものではなく、その要旨を逸脱しない範囲で任意に変更して実施可能である。
【００２７】
なお、本明細書において「内視鏡の駆動」とは、特に指定しない限り、内視鏡の撮像機能の駆動を表すものではなく、内視鏡そのものの物理的な移動を表すものとする。また、図１において、図示の都合上、マスタ側システム１０に手術者１４が、スレーブ側システム２０に患者２６が含まれて示されている。さらに、以下で説明する各機能、各手段、各部については、公知のハードウェア（Central Processing Unit（ＣＰＵ）等）やソフトウェア、物理的な制御機構によって実現可能である。
【００２８】
［１．構成］
図１に示すように、本実施形態に係る手術用撮像システム１は、マスタ側システム１０とスレーブ側システム２０とからなる。マスタ側システム１０とスレーブ側システム２０とは、有線又は無線の形態で相互に接続されている（詳細は後記する。）。そして、手術用撮像システム１はこのような構成を有することにより、マスタ側システム１０での操作によって、スレーブ側システム２０での動作が行われるようになっている。それとともに、スレーブ側システム２０で得られた結果（撮像された像等）がマスタ側システム１０に送信されるようになっている。
【００２９】
はじめに、マスタ側システム１０について説明する。
【００３０】
マスタ側システム１０は、図１に示すように、手術者１４の頭部に装着されたヘッドマウントディスプレイ（ＨＭＤ）１１（像表示手段）と、立体カメラ１２（マーカ検出手段）と、立体カメラ１２に接続されているマスタ側装置１３と、マスタ側装置１３に接続されているフットスイッチＳＷ（撮像切替トリガ）と、により構成される。
【００３１】
ＨＭＤ１１は、前記のように、手術者１４の頭部に装着されるものである。このように、像表示手段としてＨＭＤを用いることにより、手術者１４の頭部の動きと手術者１４の視界の移動をより確実に同期することができる。即ち、手術用撮像システム１においては視線の移動に伴う頭部の動きが無いため、頭部の動きと視線の向きとが一致していると考えることができる。
【００３２】
ＨＭＤ１１の拡大斜視図を図２に示す。図１及び図２に示すように、ＨＭＤ１１は、後記する内視鏡２３（撮像手段）により撮影された像がカラーで表示される像表示部１１ａと、立体カメラ１２により検出されるマーカ１１ｂと、を備えるものである。そして、ＨＭＤ１１は、公知の任意のヘッドマウントディスプレイに対してマーカ１１ｂが装着されることにより構成されるものである。即ち、ＨＭＤ１１を介して、マーカ１１ｂが手術者１４に装着されるようになっている。そして、ＨＭＤ１１（より具体的には像表示部１１ａ）が、内視鏡２３によって撮像された像が表示される像表示手段として機能する。
【００３３】
ＨＭＤ１１には、４つのマーカ１１ｂが備えられ、本実施形態においてはそれぞれ異なる色のマーカ（例えば、青、赤、黄及び緑等）が備えられている。そして、これらのマーカ１１ｂは、背景の色と重複しない、或いは類似しない色のものを用いることが好ましい。
【００３４】
また、マーカの個数は特に制限されず、１個のみであってもよいし、複数個であってもよい。ただし、手術者１４の動作をより正確に把握する観点から、マーカ１１ｂの個数は３個以上とすることが好ましい。
【００３５】
さらに、マーカ１１ｂの形状や大きさも、マーカ検出手段が検出できる限り特に制限されない。ただし、マーカ１１ｂの形状としては、球状が好ましい。さらに、マーカ１１ｂの大きさとしては、画像のピクセルサイズよりも大きなものとすることが好ましい。
【００３６】
ＨＭＤ１１に備えられるマーカ１１ｂの位置は、図１及び図２に示すように、手術者１４の頭頂部と左右の頭側部と前頭部との４箇所である。このように、頭部全体を覆いつつ、マーカ１１ｂ同士にある程度の間隔を設けることにより、手術者１４の頭部の動きをより正確に把握することができるようになる。なお、マーカ１１ｂの設置場所はＨＭＤ１１本体に限られず、手術者１４の身体（例えば上半身の複数の箇所等）に直接設ける（固定する）ようにしてもよい。
【００３７】
ここで、ＨＭＤ１１の動作、即ち、手術者１４の動作と、内視鏡２３の駆動との関係について、図３を参照ながら説明する。なお、図３に示す「前後左右」とは、手術者１４から見た「前後左右」を表す。
【００３８】
本実施形態においては、図３（ａ）においては、手術者１４が頭部を右方向に向けたとき、内視鏡２３も右方向に駆動し、ＨＭＤ１１に表示される像も右方向に移動するようになっている。一方、手術者１４が頭部を左方向に向けたとき、内視鏡２３も左方向に駆動し、ＨＭＤ１１に表示される像も左方向に移動するようになっている。即ち、手術者１３の視線の方向に、内視鏡２３が駆動するようになっている。そして、これらの回転量が、内視鏡２３の駆動量に相当することになる。
【００３９】
また、図３（ａ）に示す場合の他、図３（ｂ）に示すように、手術者１４の身体全体の位置を右方向に移動した場合にも内視鏡２３は右方向に、身体全体を左方向に移動した場合にも内視鏡２３は左方向に駆動するようになっている。この場合には、身体全体の移動量が、内視鏡２３の駆動量に相当するものとなる。なお、本実施形態における内視鏡２３は、その先端部が屈曲機構を有していないため、前記のように駆動する。従って、屈曲機構を有する内視鏡を用いた場合には、図３（ｂ）に示すような手術者の左右並進に伴って、内視鏡の向きを変えずに内視鏡の左右併進が行われるようにすることができる。
【００４０】
さらに、図３（ｃ）に示すように、頭部を前方向に傾けた場合には、内視鏡２３は下方向に駆動してＨＭＤ１１に表示される像も下方向に移動する。一方、頭部を後ろ方向に傾けた場合には、内視鏡２３は上方向に駆動してＨＭＤ１１に表示される像も上方向に移動する。
【００４１】
このような図３（ａ）〜（ｃ）に示すように、頭部のみの回転（移動）や、身体全体の移動に拠って、内視鏡２３の駆動量及び駆動方向を制御することができるようになっている。
【００４２】
なお、図示はしていないが、手術者１４が身体全体を前方向に移動させることにより、内視鏡２３が前方向に移動して、ＨＭＤ１１に表示される像の大きさが大きくなる（即ち像が拡大される）。一方、手術者１４が身体全体を後方向に移動させることにより、内視鏡２３が後方向に移動して、ＨＭＤ１１に表示される像の大きさが小さくなる（即ち像が縮小される）。
【００４３】
以上説明したように、直観的な方法に拠って内視鏡２３の駆動が制御されるため、手術中のような極めて緊迫した状況下、内視鏡２３の操作の煩雑さを低減させることができる。
【００４４】
図１を参照しながら再び説明する。立体カメラ１２（マーカ検出手段）は、手術者１４に装着されているマーカ１１ｂの位置を検出するものである。本実施形態においては、手術者１４が装着しているＨＭＤ１１に備えられたマーカ１１ｂを立体カメラ１２が検出するようになっている。そして、立体カメラ１２がマーカ１１ｂの３次元位置を検出することにより、手術者１４の動作を把握することができる。
【００４５】
また、本実施形態においては、フェイルセイフ（Fail Safe）の観点から、図示していないが立体カメラ１２は複数台設置されている。このように、立体カメラ１２を複数台設置することにより、より正確に手術者１４の動作を把握することができる。また、例えば１台の立体カメラ１２と手術者１４との間に意図しない遮蔽物が生じた場合でも、他の立体カメラ１２によって手術者１４の動きを追跡できるようにすることができる。
【００４６】
立体カメラ１２の具体的な構成は特に制限されず、任意の立体カメラを適用することが可能である。また、マーカ検出手段として、本実施形態においては立体カメラを用いているが、他の光学系検出手段（例えば複数台の２次元カメラ等）や、さらに別の検出手段を用いてもよい。このようにマーカ検出手段を構成しても、立体カメラを用いた場合と同様の効果が得られる。
【００４７】
マスタ側装置１３は、立体カメラ１２に接続されているものである。具体的には、マスタ側装置１３は、画像解析部１３ａと、信号送信部１３ｂと、信号受信部１３ｃと、信号変換部１３ｄと、演算部（図示しない。）とを備えてなる。そして、マスタ側装置１３の画像解析部１３ａが、前記のように立体カメラ１２に接続されている。さらに、マスタ側装置１３の信号変換部１３ｄは、ＨＭＤ１１に接続されている。
【００４８】
画像解析部１３ａは、立体カメラ１２によって検出されたマーカ１１ｂの移動量を計測するものである。そして、計測された移動量に基づいて、演算部が内視鏡２３の駆動量を演算するようになっている。
【００４９】
マーカ１１ｂの具体的な移動量の決定方法としては、立体カメラ１２により撮影された像中のマーカ１１ｂの位置を所定時間追跡することにより、当該時間に移動したマーカ１１ｂの移動量を計測するようになっている。より具体的には、例えば、時刻ｔ０で座標（Ｘ１，Ｙ１，Ｚ１）の位置にあったマーカ１１ｂが、時刻ｔ０＋Δｔで座標（Ｘ２，Ｙ２，Ｚ２）の位置に移動した場合、座標（Ｘ１，Ｙ１，Ｚ１）から座標（Ｘ２，Ｙ２，Ｚ２）までの距離が移動量となる。そして、座標（Ｘ１，Ｙ１，Ｚ１）から座標（Ｘ２，Ｙ２，Ｚ２）への方向が移動方向となる。
【００５０】
そして、このような移動量の計測をそれぞれのマーカ１１ｂについて行い、それぞれのマーカ１１ｂの移動量を画像解析部１３ａが決定するようになっている。そして、決定された移動量及び移動方向に基づいて、演算部が内視鏡２３の駆動量及び駆動方向を決定するようになっている。そして、後記するフィルタ処理も、演算部が行うようになっている。
【００５１】
なお、本実施形態においては、マーカ１１ｂの移動量と内視鏡２３の駆動量とが同じ量になるように設定している。ただし、これらの関係は必ずしも同じ量に設定する必要は無く、内視鏡２３の急激な駆動を回避する観点から、マーカ１１ｂの移動量５に対して、内視鏡２３が１駆動するように設定してもよい。
【００５２】
信号送信部１３ｂは、演算部により決定された内視鏡２３の駆動量及び駆動方向を、後記するスレーブ側システム２０に備えられる信号受信部２１ａに信号として送信するものである。
【００５３】
信号送信部１３ｂは、フットスイッチＳＷに接続されている。フットスイッチＳＷは、撮像位置制御手段２２による内視鏡２３の駆動のオン及びオフ、換言すれば内視鏡２３を駆動させる駆動モードのオン及びオフを制御するものである。即ち、フットスイッチＳＷがオンの状態で内視鏡２３の駆動が行われるようになっている。一方、フットスイッチＳＷがオフの状態では内視鏡２３の駆動は行われない（停止する）ようになっている。このようなフットスイッチＳＷを備えることで、手術中、手術者１４が自身の意図しない動きをした場合であっても、内視鏡２３が意図しない方向に駆動することを防止することができる。
【００５４】
フットスイッチＳＷは、通常はオフ状態になっているものであり、手術者１４が押下するとオン状態に切り替わる。そして、手術者１４が足を外すと再びオフ状態に切り替わるようになっている。即ち、本実施形態においては、手術者１４がフットスイッチＳＷを押下し続けている間のみ、内視鏡２３が駆動するようになっている。内視鏡を用いた通常の手術中においては、手術者１４は両手でマニピュレータ２４を操作している。そのため、撮像切替トリガとしてフットスイッチＳＷを用いることで、手術者１４のマニピュレータ２４の操作を阻害することを防止することができる。
【００５５】
信号受信部１３ｃは、内視鏡２３により撮像された体腔内の様子についての信号を、後記する信号送信部２１ｃから受信するものである。また、信号変換部１３ｄは、信号受信部１３ｃで受信した信号を、ＨＭＤ１１に表示させる形式に変換するものである。このようにして受信した信号が変換され、内視鏡２３によって撮像されたカラー画像（映像）がＨＭＤ１１に表示されるようになっている。
【００５６】
次に、スレーブ側システム２０について説明する。
【００５７】
スレーブ側システムは、スレーブ側装置２１と、撮像位置制御手段２２と、内視鏡２３と、マニピュレータ２４（手術用マニピュレータ）と、支持台２５と、を備えてなる。
【００５８】
スレーブ側装置２１は、信号受信部２１ａと、画像処理部２１ｂと、信号送信部２１ｃと、を備えてなる。信号受信部２１ａは信号送信部１３ｂからの内視鏡２３の駆動量及び駆動方向に関する信号を受信するものである。そして、信号受信部２１ａは、後記する撮像位置制御手段２２に接続されている。
【００５９】
画像処理部２１ｂは、内視鏡２３により撮影された像を送信可能な信号に変換するものである。そして、画像処理部２１ｂによって変換された信号は、信号送信部２１ｃに送信される。また、信号送信部２１ｃは、画像処理部２１ｂから送信された信号を、前記した信号受信部１３ｃに送信するものである。そして、このようにして、スレーブ側装置２１からの信号がマスタ側装置１３に送信される。
【００６０】
撮像位置制御手段２２は、信号受信部２１ａに接続され、内視鏡２３の駆動量及び駆動方向を制御するものである。即ち、撮像位置制御手段２２は、前記した演算部により計算された駆動量及び駆動方向に基づいて、内視鏡２３の駆動位置制御を行うものである。
【００６１】
本実施形態における撮像位置制御手段２２は、空気圧を利用したピストン方式の装置によって、駆動量及び駆動方向を制御するように構成されている。撮像位置制御手段２２は、手術者１４に装着されたマーカ１１ｂに追従して、３方向（挿入口を回転中心とした左右方向、上下方向及び前後方向）に内視鏡２３を駆動させることが可能となっている。即ち、撮像位置制御手段２２は、従来の内視鏡視野内における３次元空間内の任意の位置を内視鏡２３が撮影可能になるように構成されている。
【００６２】
マニピュレータ２４は、所謂鉗子と呼称されるものである。本実施形態においては２つのマニピュレータ２４が備えられ、患者２６の体表面に設けられた挿入孔２６ａから体腔内に挿入されるようになっている。マニピュレータ２４は図示しない電気信号線によって手術者１４の手に装着された遠隔操作手段と接続されている。そのため、マニピュレータ２４は、手術者１４の手の動きに追従して、その先端部を駆動させることができるようになっている。
【００６３】
本実施形態におけるマニピュレータ２４は、空気圧によって駆動するように構成されている。即ち、本実施形態に係るマニピュレータ２４は、空気圧揺動アクチュエータと空気圧シリンダと（いずれも図示しない。）を備えるものである。マニピュレータ２４がこのような構成を有することにより、マニピュレータ２４が並進、上下、前後方向に移動可能になっている。
【００６４】
支持台２５は、内視鏡２３及びマニピュレータ２４等を一体的に支持するものであり、患者２６を取り囲むように設置される。ただし、内視鏡２３は、任意の方向に駆動可能に支持台２５に支持されている。また、支持台２５は例えばアルミニウム合金等の軽量で剛性の高い金属により構成される。
【００６５】
以上の構成を有する手術用撮像システム１に拠れば、ＨＭＤ１１に装着されたマーカ１１ｂにより、手術者１４の頭部の動きを正確に把握することができる。即ち、手術者１４の頭部の動きを検出することにより、手術者１４の視線を検出することができる。従って、手術者１４の視線に基づいて内視鏡２３の方向を制御することにより、内視鏡２３により撮像される体腔内の部位を制御することができる。そして、内視鏡２３により撮像された当該部位をＨＭＤ１１に表示させることができる。その結果、手術者１４は手術中に内視鏡２３の操作から開放され、容易に所望の位置に内視鏡２３を駆動させて体腔内の様子を観察することができる。
【００６６】
［２．制御方法］
次に、手術用撮像システム１における内視鏡２３の駆動制御について、図４及び図５を参照しながら説明する。
【００６７】
手術用撮像システム１を起動すると、立体カメラ１２により撮影されるＨＭＤ１１を装着した手術者１４が立体カメラ１２により撮影される。立体カメラ１２は、図１に示すように２台の２次元カメラ（即ち、左目カメラ及び右目カメラ）によって構成されているため、それぞれの２次元カメラにより撮影された手術者１４が、図示しないモニタに一緒に表示されるようになっている。なお、この時、内視鏡２３にも電力が供給され、現時点で内視鏡２３により撮影されている像が、ＨＭＤ１１に表示されている。
【００６８】
モニタには、前記のようにマーカ１１ｂを装着した手術者１４が表示されている。そして、モニタに表示されたマーカ１１ｂのうち、追跡するマーカ１１ｂをモニタの画面上にて指定する（ステップＳ１０１）。このとき、追跡するマーカ１１ｂの数は任意に変更可能であるが、より正確な駆動を行う観点から３つ以上のマーカ１１ｂを指定するものとする。また、モニタ上には２台の２次元カメラにより撮影された２つの画面が表示されており、それぞれの画面で、対応する同一のマーカ１１ｂを指定するものとする。
【００６９】
ステップＳ１０１で指定されたマーカ１１ｂについて、画像解析部１３ａは、色情報ヒストグラムを用いて追跡する（ステップＳ１０２，Ｓ１０３）。この追跡は、左目カメラと右目カメラとで撮影された像の両方について行われる。具体的な追跡方法としては、本実施形態においては色情報のヒストグラムが利用される。
【００７０】
この追跡時、例えば手術者１４が立体カメラ１２からフレームアウトしたり、立体カメラ１２と手術者１４との間に遮蔽物が出現したりしてマーカ１１ｂを追跡できなくなることがある（ステップＳ１０４のＹｅｓ方向）。このような場合には、指定されたマーカ１１ｂが再度追跡可能になるまで、ステップＳ１０２及びステップＳ１０３が繰り返される。
【００７１】
指定されたマーカ１１ｂが全て追跡可能であると画像解析部１３ａが判断した場合（ステップＳ１０４のＮｏ方向）、画像解析部１３ａは指定されたマーカ１１ｂの３次元位置を、左目画面及び右目画面（即ち左右画面）の位置に基づいて計算する（ステップＳ１０５）。具体的には、手術者１４が頭部を上下方向に移動することに伴うマーカ１１ｂの軌跡に基づいて、手術者１４の頭部の位置及び回転中心並びに手術者１４の姿勢等が計算される（ステップＳ１０６）。
【００７２】
以上のようにして初期設定が完了し、待機状態になる。次に、ステップＳ１０６が終了した後の、手術用撮像システム１運転時の制御について説明する。
【００７３】
前記待機状態において、手術者１４が頭部の位置をずらしたり回転させたりした場合、画像解析部１３ａは指定したマーカ１１ｂの並進量及び回転量に基づいて、頭部の並進量及び回転量を計算する（ステップＳ１０７）。そして、図示しない演算部が、計算された並進量及び回転量（即ち、移動量及び移動方向）に基づいて、内視鏡２３の駆動量及び駆動方向を計算する。
【００７４】
そして、演算部において計算された駆動量及び駆動方向（即ち、撮像位置制御手段２２に送信される動作指令値）に対して、フィルタ処理が行われる（ステップＳ１０８）。具体的には、前記動作指令値に対して、高周波成分をカットするローパスフィルタの適用と、所定の閾値以下の微小な動作指令値のカットとの２つの処理が行われる。動作指令値に対してこのような処理が行われることにより、内視鏡２３の駆動が滑らかなものになる。
【００７５】
そして、フットスイッチＳＷが押下されている状態（オンになっている状態、ステップＳ１０９のＹｅｓ方向）になると、信号送信部１３ｂはスレーブ側システム２０の信号受信部２１ａに対して、内視鏡２３の駆動量及び駆動方向（動作指令値）を送信する（ステップＳ１１０）。すると、内視鏡２３は、演算部により計算された駆動量及び駆動方向に基づいて駆動される。そして、手術者１４がフットスイッチＳＷから足を外すことにより、フットスイッチＳＷが押下されていない状態（オフになっている、ステップＳ１０９のＮｏ方向）になると、内視鏡２３の駆動は停止する。
【００７６】
その後、手術者１４による手術が終了する等して、内視鏡２３の操作が不要になった場合には、例えばシステム停止ボタンを押下すると（ステップＳ１１１のＹｅｓ方向）、手術用撮像システム１が終了する。
【００７７】
このようにして、手術者１４の頭部の動作に追従して、内視鏡２３の駆動が制御される。
【００７８】
［３．適用用途］
本実施形態に係る手術用撮像システムは、任意の用途に適用することができる。例えば、スレーブ側システム２０を構成する内視鏡２３及びマニピュレータ２３を一体に保持した手術用ロボット等に適用可能である。
【００７９】
［４．効果］
本実施形態に係る手術用撮像システムは磁気センサを用いていないため、周辺環境の影響を受けにくいという利点がる。そのため、本実施形態に係る手術用撮像システムに拠れば、どのような作業環境であっても、精度良く所望の位置に撮像手段を駆動制御可能となる。特に、ＭＲＩ等の強磁場を発生させる場所や、手術器具等の金属物が大量に存在する場所であっても、内視鏡駆動位置の精度低下を生じることなく、所望の位置に内視鏡を駆動させることができる。
【００８０】
特に、従来の磁気センサを用いた方式の場合、前記課題のほかにも、磁場送信部と受信部との距離に制限があるという課題がある。即ち、これらの間の距離が長くなればなるほど、精度が低下するという課題がある。具体的には、距離の３乗に比例して磁場量が減少することが知られており、その結果、これらをできるだけ近い距離に設置しなければならないという課題がある。
【００８１】
しかしながら、本実施形態に係る手術用撮像システムに拠れば、そのような制限が無い。即ち、例えば距離が長い場合であっても、立体カメラ１２に望遠レンズを取り付けたり、立体カメラ１２の解像度を増加させたりすれば、マーカ１１ｂの位置を正確に検出することができる。その結果、距離が長い場合であっても、内視鏡２３の駆動を精度良く行うことができる。
【００８２】
さらに、磁気センサを用いた場合とは異なり、本実施形態に係る手術用撮像システムにおいてはマーカ１１ｂの数を任意に増加させることができる。そして、マーカ１１ｂの数が増加すればするほど、検出精度は高いものとすることができる。さらに、マーカ１１ｂを任意に増加させた場合でも、ハードウェアの変更は少なくて済み、極めて容易に検出精度を増加させることができる。また、マーカ１１ｂは通常は安価であるため、安価に検出精度を増加させることもできる。
【００８３】
また、本実施形態に係る手術用撮像システムに拠れば、仮に立体カメラ１２とマーカ１１ｂとの間に遮蔽物が存在してもソフトウェア上で当該遮蔽物の存在を補正することができる。従って、このような遮蔽物が存在しても、存在しない場合と同等の操作及び精度で内視鏡２３が駆動可能となる。また、必要に応じて市販のカメラを増設することにより、やはり同等の精度で内視鏡２３の駆動が可能となる。
【００８４】
さらに、従来は、患者に対して手術を行う手術者と、内視鏡操作を行う助手と、の少なくとも２人が手術時に従事していた。そのため、内視鏡の方向が、手術者の意図と異なる方向に向くことがあり、手術の高効率化の妨げとなっていた。
【００８５】
このような課題を解決するために、手術者自身が内視鏡の操作を行うことが考えられた。具体的には、マニピュレータを用いた手術中に手術者がフットペダルを押下してモード切替を行い、手術者が手動で内視鏡の位置を制御する技術もあった。しかしながら、この技術に拠っては、マニピュレータの操作と内視鏡の駆動制御とを同時かつ同期して行うことができなかった。
【００８６】
しかしながら、本実施形態に係る手術用撮像システムに拠れば、内視鏡操作を手術者自身が行うことができる。そのため、従来要していた助手が不要となる。また、マニピュレータの操作（手術）を行いながら内視鏡の向きを手術者１４の意図するように制御することもできる。従って、従来よりも効率よく内視鏡を操作することができ、手術時間の短縮等の手術の高効率化が図れる。
【００８７】
さらに、本実施形態に係る手術用撮像システムに拠れば、手術者１４が所望するように、内視鏡２３を上下前後左右の任意の方向に駆動させることができる。従って、手術者１４の視界の向きに応じて自動的に内視鏡が駆動するため、直観的な操作が可能になる。
【００８８】
ここで、本実施形態に係る手術用システムを適用した場合の、内視鏡２３の分解能について図５を参照して説明する。図５は本発明者らの検討によって得られたグラフである。即ち、図５は、マーカ１１ｂを装着した手術者１４が立体カメラ１２に対して頭部を横方向に動作（図３（ｂ）に示す動作）させた際の、マーカ１１ｂの位置を画像認識で取得した実験結果である。
【００８９】
図５に示す実験の際には、立体カメラ１２として、左右方向の包括角度が８４．９°、上下方向の包括角度が６８．９°、解像度が３２０ピクセル×２４０ピクセル、基線長（２つのカメラ間の距離）が３００ｍｍの３次元カメラを用いた。そして、立体カメラ１２から０．５ｍ離れた位置に手術者１４を配置した場合に得られた結果である。
【００９０】
図５に示すように、本実施形態に係る手術用撮像システムに拠れば、位置分解能が１ｍｍ程度であり、高い位置分解能（駆動精度）を有することがわかる。また、本発明者らの検討によると、図示はしないが、ＨＭＤ１１の位置に対する内視鏡２３の追従性（即ち同期性）も極めて優れていることを示すグラフも得られている。
【００９１】
［５．変更例］
以上、具体的な実施形態を挙げて本実施形態を説明したが、本実施形態は前記の内容に何ら制限されるものではなく、本発明の要旨を損なわない範囲で任意に変更して実施可能である。
【００９２】
例えば、本実施形態においては、支持台２５に内視鏡２３とマニピュレータ２４とを一体に固定しているが、内視鏡２３とマニピュレータ２４とを一体に構成し、一体に構成された内視鏡２３及びマニピュレータ２４を支持台２５に固定するようにしてもよい。このように構成することにより、患者２６の体表面に形成する挿入孔２６ａの数を減らすことができる。そのため、よりいっそうの低侵襲外科手術が可能となる。
【００９３】
またこの場合、例えばマニピュレータ２４の先端部を空気圧揺動アクチュエータと空気圧シリンダとによって構成することにより、内視鏡によるフェイルセイフを高めることができる。即ち、マニピュレータに内視鏡を取り付けた場合、内視鏡が臓器に接触した場合に空気圧アクチュエータの差圧から当該接触を検出することができる。そして、このような場合には、内視鏡のそれ以上の駆動を停止させ、内視鏡による臓器の損傷をより確実に防止することができる。
【００９４】
さらに、本実施形態においては、マスタ側装置１３とスレーブ側装置２１とに、それぞれ信号送信部１３ｂ，２１ｃ及び信号受信部１３ｃ，２１ａが設けられているが、これらをまとめてそれぞれ信号送受信部とし、マスタ側装置１３の信号送受信部とスレーブ側装置２１の信号送受信部とで通信させるようにしてもよい。
【００９５】
また、図１に示す実施形態においては立体カメラ１２と手術者１４とが比較的に近い位置に存在するように示しているが、例えば部屋の４隅に手術者１４を捕捉できるように２次元カメラを設置し、当該部屋内の任意の場所で手術者１４が手術を行うようにすることもできる。
【００９６】
さらに、マスタ側システム１０とスレーブ側システム２０とは必ずしも近い位置にある必要は無く、例えば遠隔地医療等、それぞれのシステムが離れた位置にある場合でも、本実施形態に係る手術用撮像システムが適用可能である。
【００９７】
また、本実施形態においては、マーカ１１ｂはＨＭＤ１１に装着させているが、手術者１４の頭部（例えば耳等）に直接装着するようにしてもよい。また、例えば手術者１４の肩等に装着する等、マーカ１１ｂの装着位置は何ら限定されるものではない。従って、手術者１４に装着されて手術者の視線を推定できる部位である限り、あらゆる部位にマーカ１１ｂを装着可能である。
【００９８】
さらに、本実施形態においては、フットスイッチＳＷが押下されているときに内視鏡２３が駆動するようにしているが、このようなスイッチを設けずに、例えば手術者１４が素早く２回頭部を動かした場合に内視鏡２３が駆動されるモードになるように設定し、さらに２回動かした場合に内視鏡２３が駆動しないモードになるように設定してもよい。このような場合、頭部を素早く２回動かす動作が撮像切替トリガとなる。
【００９９】
また、撮像切替トリガとして、手術者等の声を用いてもよい。即ち、手術者が「切り替え」と発声することにより内視鏡２３が駆動するモードとなり、「止め」と発声することにより内視鏡２３が停止するモードになるようにしてもよい。
【０１００】
さらに、マーカ１１ｂの移動速度が所定の速度よりも速い（若しくは低い）場合には手術者１４の意図する移動ではないとみなし、このような場合には内視鏡２３を駆動させないように制御してもよい。
【０１０１】
また、図１に示す実施形態において、各手段は有線で接続されていてもよく、無線で接続されていてもよい。また、有線と無線とを適宜組み合わせて接続されていてもよい。
【符号の説明】
【０１０２】
１      手術用撮像システム
１０    マスタ側システム
１１    ヘッドマウントディスプレイ（ＨＭＤ、像表示手段）
１１ａ  像表示部
１１ｂ  マーカ
１２    立体カメラ（マーカ検出手段）
１３    マスタ側装置
１３ａ  画像解析部
１３ｂ  信号送信部
１３ｃ  信号受信部
１３ｄ  信号変換部
１４    手術者
２０    スレーブ側システム
２１    スレーブ側装置
２１ａ  信号受信部
２１ｂ  画像処理部
２１ｃ  信号送信部
２２    撮像位置制御手段
２３    内視鏡（撮像手段）
２４    マニピュレータ
２５    支持台
２６    患者
２６ａ  挿入孔
ＳＷ    フットスイッチ（撮像切替トリガ）
【図１】
2012223363.tif 000003
【図２】
2012223363.tif 000004
【図３】
2012223363.tif 000005
【図４】
2012223363.tif 000006
【図５】
2012223363.tif 000007