(57)【要約】  術者やスタッフなどの手術に参加する人に応じた最適な視野を得ることができる手術支援システムを提供する。手術支援システムは、患者の体内に配置される複数のカメラ３２と、カメラ３２の映像から自由視点映像を生成する生成部４１と、自由視点映像を映し出す表示部１２Ａと、表示部１２Ａの位置及び姿勢に応じた自由視点映像を当該表示部１２Ａに表示させる表示制御部４２と、を備える。
2015133608.tif 000002
【特許請求の範囲】
【請求項１】
患者の体内に配置される複数のカメラと、
前記カメラの映像から自由視点映像を生成する生成部と、
自由視点映像を映し出す表示部と、
前記表示部の位置及び姿勢に応じた前記自由視点映像を当該表示部に表示させる表示制御部と、を備えていることを特徴とする手術支援システム。
【請求項２】
前記複数のカメラと、前記複数のカメラが取り付けられかつ患者の体内に配置される取付部とを有するカメラユニットをさらに備えている、請求項１に記載の手術支援システム。
【請求項３】
前記カメラユニットは、前記複数のカメラを患者の体内に固定する固定部を有している、請求項２に記載の手術支援システム。
【請求項４】
前記取付部は、患者の体の内面に沿って配置されると共に当該内面の形状に追従して変形可能に構成されている、請求項２又は３に記載の手術支援システム。
【請求項５】
前記取付部は変形可能に構成され、前記カメラユニットは、前記取付部の変形に伴う前記複数のカメラの相対位置変化を検出する検出部をさらに備えている、請求項２〜４のいずれか１項に記載の手術支援システム。
【請求項６】
前記カメラユニットは、前記取付部を変形させる駆動部をさらに備えている、請求項２〜５のいずれか１項に記載の手術支援システム。
【請求項７】
前記生成部による自由視点映像の生成が可能な配置で複数のカメラを配置させるよう前記駆動部を制御する配置制御部を備えている、請求項６に記載の手術支援システム。
【請求項８】
前記配置制御部は、撮影対象物に対する注視位置についての入力に応じて複数のカメラの相対位置を変更させるよう前記駆動部を制御する、請求項７に記載の手術支援システム。
【請求項９】
前記配置制御部は、前記自由視点映像の生成結果についての評価に基づいて、前記複数のカメラの相対位置を変更させるよう前記駆動部を制御する、請求項７又は８に記載の手術支援システム。
【請求項１０】
前記配置制御部は、予め設定された配置パターンで複数のカメラを配置させるよう前記駆動部を制御する、請求項７に記載の手術支援システム。
【請求項１１】
前記表示部が、頭部装着型とされている、請求項１〜１０のいずれか１項に記載の手術支援システム。
【請求項１２】
複数のカメラの映像を結合することによって広角映像を生成する第２生成部をさらに備え、前記表示制御部は、前記広角映像と前記自由視点映像とを前記表示部に表示させる、請求項１〜１１のいずれか１項に記載の手術支援システム。
【請求項１３】
手術支援システムに用いるカメラユニットであって、
複数のカメラと、前記複数のカメラを取り付けた取付部と、前記取付部を患者の体内に挿入した状態で当該取付部を固定する固定部とを備えている、カメラユニット。
【請求項１４】
手術支援システムに用いるカメラユニットであって、
複数のカメラと、前記複数のカメラが取り付けられかつ患者の体内に配置される変形可能な取付部と、前記取付部の変形に伴う前記複数のカメラの相対位置変化を検出する検出部と、前記取付部を変形させる駆動部とを備えている、カメラユニット。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、手術支援システムおよびこれに用いるカメラユニットに関する。
【背景技術】
【０００２】
近年、患者への侵襲を少なくし術後のＱＯＬ向上等を図ることを目的として、内視鏡手術が多用されている。この内視鏡手術においては、例えば図１２に示すように、患者Ｍの体腔内に内視鏡Ａ１や鉗子等の処置具Ａ２を挿入し、外部ディスプレイＤ１〜Ｄ３に映し出された内視鏡Ａ１の映像を確認しながら、術者Ｘ１が処置具Ａ２を操作して所定の処置を行うのが一般的である。
また、外部ディスプレイＤ１〜Ｄ３だけでなく、ヘッドマウントディスプレイ（ＨＭＤ）と呼ばれる頭部装着型のディスプレイに内視鏡の映像を映し出す場合もある（例えば、下記特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３−１９２７７３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
前記内視鏡手術においては、通常、スタッフが内視鏡を操作するため、内視鏡が術部を撮影する方向（術部の観察方向）と、術者による処置方向とがずれてしまう場合が多い。これらの方向を一致させようとすると内視鏡を術者の真正面に配置しなければならず、内視鏡やスタッフの手が邪魔になり、術者による処置具の操作に支障を来すおそれがあるからである。このように術部の観察方向と術者の処置方向（視線方向）とがずれていると、当然のことながら処置具の操作がし難くなる。【０００５】
また、図１２に示す例では、内視鏡Ａ１の挿入方向に対して反対側にいるスタッフＸ３，Ｘ４は、他の外部ディスプレイＤ３で術部の様子を確認することが可能であるが、その映像は、スタッフＸ３，Ｘ４からみて左右が反転した映像となる。そのため、術部を処置している状況を直感的に把握し難くなる。
さらに、患者Ｍを挟んで術者Ｘ１の反対側から内視鏡Ａ１’を挿入するような場合（図１２に２点鎖線で示す）も、その映像は術者Ｘ１側から見て左右が反転した映像となるため、一層処置具Ａ２の操作が困難となる。
このような処置具Ａ２の操作性の問題は、特許文献１のような頭部装着型のディスプレイを用いたとしても改善されることはない。【０００６】
また、手術室に複数の外部ディスプレイＤ１〜３が設置されていても、各ディスプレイＤ１〜Ｄ３には同一の観察方向の映像が画一的に映し出されるだけであるため、個々の術者Ｘ１やスタッフＸ２〜Ｘ４の立ち位置等に応じた自由な視野を得ることができない。
さらに、従来の内視鏡は視野角が狭いので、術者Ｘ１の作業効率が悪く、術者の疲労も大きくなり、処置に相当の熟練を要する。【０００７】
本発明は、以上の実情に鑑み、術者やスタッフ等、手術に参加する人に応じた最適な視野を得ることができる手術支援システムおよびそれに用いるカメラユニットを提供することを主目的とする。
【課題を解決するための手段】
【０００８】
（１）  本発明に係る手術支援システムは、
患者の体内に配置される複数のカメラと、
前記カメラの映像から自由視点映像を生成する生成部と、
自由視点映像を映し出す表示部と、
前記表示部の位置及び姿勢に応じた前記自由視点映像を当該表示部に表示させる表示制御部と、を備えていることを特徴とする。【０００９】
本発明の手術支援システムは、患者の体内に設置された複数のカメラの映像から生成部が自由視点映像を生成し、表示制御部がディスプレイの位置及び姿勢に応じた自由視点映像を表示部に表示させる。言い換えると、そのディスプレイを正面から見ている人の視線の方向に合わせた映像を表示部に表示させることができる。したがって、実際にカメラが撮影する方向と、術者の処置方向や視線方向とが必ずしも一致していなくても、術部の観察方向と処置方向（視線方向）とを一致させることが可能となり、処置具の操作性を高めることができる。【００１０】
（２）  上記手術支援システムは、前記複数のカメラと、前記複数のカメラが取り付けられかつ患者の体内に配置される取付部とを有するカメラユニットを備えていてもよい。
この構成によれば、取付部を患者の体内に挿入することによって複数のカメラを同時に体内にセットすることができる。【００１１】
（３）  前記カメラユニットは、前記複数のカメラを患者の体内に固定する固定部を有していることが好ましい。
複数のカメラと固定部とを１つのユニットとして構成することによって、その持ち運びや患者への装着等の取り扱いを容易に行うことができる。【００１２】
（４）  前記取付部は、患者の体の内面に沿って配置されると共に当該内面の形状に追従して変形可能に構成されていてもよい。
このような構成によって、体内の形状に追従するように複数のカメラを配置することができる。【００１３】
（５）  前記取付部は変形可能に構成され、前記カメラユニットは、前記取付部の変形に伴う前記複数のカメラの相対位置変化を検出する検出部をさらに備えていてもよい。
この構成によれば、取付部の変形によって複数のカメラの相対位置が変化したとしても、それを検出部によって検出し、生成部による自由視点映像の生成を可能にすることができる。【００１４】
（６）  前記カメラユニットは、前記取付部を変形させる駆動部をさらに備えていることが好ましい。
このような構成によれば、駆動部による取付部の変形によって複数のカメラの相対位置を自律的に変更することができる。【００１５】
（７）  上記手術支援システムは、前記生成部による自由視点映像の生成が可能な配置で複数のカメラを配置させるよう前記駆動部を制御する配置制御部を備えていることが好ましい。
このような構成によって、駆動部による取付部の変形によって複数のカメラの相対位置を自律的に変更させ、自由視点映像の生成を可能にすることができる。【００１６】
（８）  前記配置制御部は、撮影対象物の注視位置についての入力に応じて複数のカメラの相対位置を変更させるよう前記駆動部を制御してもよい。
このような構成によって撮影対象物の注視位置についての自由視点映像を正確に生成することができる。なお、注視位置は、一点であってもよいし、ある程度の広さを有する範囲であってもよい。【００１７】
（９）  前記配置制御部は、前記自由視点映像の生成結果についての評価に基づいて、前記複数のカメラの相対位置を変更させるよう前記駆動部を制御してもよい。
このような構成によって、自由視点映像の生成結果をフィードバックしながらより正確な自由視点映像を生成することができる。【００１８】
（１０）  前記配置制御部は、予め設定された配置パターンで複数のカメラを配置させるよう前記駆動部を制御してもよい。
このような構成によっても、適切な自由視点映像を生成することができる。【００１９】
（１１）  前記表示部は、頭部装着型とされていることが好ましい。
この構成によれば、表示部を装着した人が頭を動かす（視線を動かす）ことに伴って表示部の位置や姿勢が変化すると、それに応じた自由視点映像が生成部により生成され、表示制御部によって表示部に表示される。したがって、術部を観察したい方向に装着者が頭部を動かすことによって所望の方向から術部を観察することができる。【００２０】
（１２）  手術支援システムは、複数のカメラの映像を結合することによって広角映像を生成する第２生成部をさらに備えていてもよく、この場合、前記表示制御部は、前記広角映像と前記自由視点映像とを前記表示部に表示させてもよい。
この構成によれば、術部を一点から観察する自由視点映像だけでなく、複数のカメラの映像を繋げた広角映像をディスプレイに表示させることによって術部を幅広く観察することが可能となる。なお、表示部には、広角画像と自由視点画像との双方を同時に表示させてもよいし、双方を切り換えて表示させてもよい。【００２１】
（１３）  本発明は、手術支援システムに用いるカメラユニットであって、
複数のカメラと、前記複数のカメラを取り付けた取付部と、前記取付部を患者の体内に挿入した状態で当該取付部を固定する固定部とを備えている。【００２２】
（１４）  本発明は、手術支援システムに用いるカメラユニットであって、
複数のカメラと、前記複数のカメラが取り付けられかつ患者の体内に配置される変形可能な取付部と、前記取付部の変形に伴う前記複数のカメラの相対位置変化を検出する検出部と、前記取付部を変形させる駆動部とを備えている。
【発明の効果】
【００２３】
本発明によれば、手術に参加する人に応じた最適な視野を得ることができる。
【図面の簡単な説明】
【００２４】
【図１】本発明の第１の実施形態に係る手術支援システムの説明図である。
【図２】カメラユニットの概略構成図である。
【図３】手術支援システムのブロック図である。
【図４】検出部の説明図である。
【図５】自由視点映像の説明図である。
【図６】本発明の第２の実施形態に係る手術支援システムの説明図である。
【図７】第３の実施形態に係る手術支援システムの説明図である。
【図８】（ａ）は挿入具の構造を示す側面図、（ｂ）は平面図である。
【図９】基準となるカメラによって対象物を撮影する様子を示す説明図である。
【図１０】複数のカメラの相対角度を対象物に応じて変更する様子を示す説明図である。
【図１１】カメラユニットの操作具を示す説明図である。
【図１２】従来例に係る手術支援システムの説明図である。
【発明を実施するための形態】
【００２５】
以下、図面を参照して本発明の実施形態を詳細に説明する。
＜第１の実施形態＞
図１は、本発明の第１の実施形態に係る手術支援システムの説明図である。
本実施形態の手術支援システム１０は、患者Ｍの体内に配置される複数のカメラを有するカメラユニット１１と、術者Ｘ１や、助手や看護婦等のスタッフＸ２〜Ｘ４が装着するヘッドマウントディスプレイ１２（以下、「ＨＭＤ」という）と、カメラで撮影した映像等をＨＭＤ１２に表示させるための制御を行う処理装置１３とを備えて構成されている。
【００２６】
図１に示す例では、手術台２１に横たわっている患者Ｍの胸腔や腹腔に、カメラユニット１１を挿入・固定するとともに複数の処置具Ａ２を挿入し、カメラユニット１１で撮影した映像等を術者Ｘ１やスタッフＸ２〜Ｘ４が装着しているＨＭＤ１２に映し出し、その映像を見ながら術者Ｘ１やスタッフＸ２〜Ｘ４がそれぞれ処置具Ａ２の操作等の作業を行うようになっている。
【００２７】
ＨＭＤ１２には、カメラユニット１１のカメラが直接撮影した映像のほか、当該映像から生成した仮想映像（自由視点映像）も表示させることが可能となっている。この仮想映像の生成については後述する。
【００２８】
図２は、カメラユニット１１の概略構成図である。この図に示す例では、カメラユニット１１が胸腔Ｍ１に固定されている。図中の符号Ｍ２は、肋骨であり、符号Ｍ３は、肋骨Ｍ２間に形成された貫通孔である。
カメラユニット１１は、複数のカメラ３２が取り付けられたベース部（取付部）３１と、このベース部３１を患者Ｍの体内に固定する固定具（固定部）３５とを備えている。ベース部３１は、可撓性を有する材料、例えば、シリコンゴム等を用いた合成樹脂材料により形成することができる。そして、ベース部３１は、患者の体内の内面に沿って変形することが可能となっている。ベース部３１には、複数のカメラ３２が並んだ状態で取り付けられている。また、ベース部３１には、複数の照明具３３も装着されている。
【００２９】
カメラ３２は、例えばＣＣＤやＣＭＯＳ等の撮像素子を備えたものを使用することができる。また、照明具３３は、例えばＬＥＤを用いることができ、これらを分散して配置することによって術部を広範囲で照らすことができる。
カメラユニット１１には、ベース部３１の変形によるカメラ３２の相対位置を検出する検出具３４が設けられている。
【００３０】
本実施形態の検出具３４は、図４に概略的に示すように、互いに屈曲可能に接続された複数のリンク部材３４Ａと、このリンク部材３４Ａの屈曲角度を検出する角度検出器３４Ｂとを備えている。この角度検出器３４Ｂは、例えばリンク部材３４Ａ同士を接続する軸部３４Ｃに設けられたポテンショメータにより構成することができる。ベース部３１は、複数のリンク部材３４Ａの下面に取り付けられている。
【００３１】
ベース部３１が胸腔Ｍ１の内面に沿って変形すると、これに追従して検出具３４のリンク部材３４Ａが屈曲する。各リンク部材３４Ａの相対角度は角度検出器３４Ｂによって検出されるので、検出具３４自体がどのように屈曲しているかを検出することができる。図２に示す複数のカメラ３２のそれぞれと特定のリンク部材３４Ａとは互いに対応付けられているので、検出具３４自体の屈曲の状態が検出されることによって複数のカメラ３２の相対位置を検出することができる。
【００３２】
なお、カメラ３２の位置・姿勢を検出する方法は、前記検出具３４による方法に限定されず、従来公知の方法を採用することができる。例えば、カメラ３２の撮像範囲内に所定のマーカやこれに相当する映像中の特徴点を設定し、このマーカ等を撮影した映像に基づいてキャリブレーションを行うことによってカメラ３２の位置・姿勢を検出してもよい。
【００３３】
図２に示すように、カメラユニット１１は、制御ボックス３７を備えている。そして、制御ボックス３７とベース部３１とは、固定具３５を構成するクリップ具によって連結されている。クリップ具３５は、貫通孔Ｍ３を通過して胸腔Ｍ１の壁部を挟み込むことによってベース部３１を胸腔Ｍ１内面に沿わせた状態で固定する。また、クリップ具３５には、カメラ３２、照明具３３、及び検出具３４の角度検出器３４Ｂ等に接続される配線が内蔵されている。クリップ具３５は、弾性変形可能であると共に、その弾性力によってベース部３１を胸腔Ｍ１内面に押し付けるように構成されている。
【００３４】
制御ボックス３７は、ベース部３１に設けられたカメラ３２、照明具３３、及び角度検出器３４Ｂに配線を介して接続されており、カメラ３２及び照明具３３の動作を制御するとともに、カメラ３２及び角度検出器３４Ｂからの信号を受けて処理装置１３等へ出力する機能を有している。この制御ボックス３７とベース部３１とは、胸腔Ｍ１の壁部を挟んで対向して配置されており、実質的にクリップとしても機能している。
【００３５】
図１に示すように、ＨＭＤ１２は、使用者の両目を覆うように頭部に装着して使用するものである。ＨＭＤ１２には、使用者の両目に対応する位置にそれぞれ表示部（ディスプレイ）１２Ａが設けられており、この表示部１２Ａに表示された映像を使用者が見ることができる。表示部１２Ａに表示される映像は、処理装置１３によって生成される。
【００３６】
また、ＨＭＤ１２には、位置・姿勢センサ１２Ｂが取り付けられている。この位置・姿勢センサ１２Ｂによって、ＨＭＤ１２、特に表示部１２Ａの位置や姿勢を検出することができる。そして、表示部１２Ａの位置や姿勢を検出することによってＨＭＤ１２を装着している人の視線方向を間接的に検出することができる。
位置・姿勢センサ１２Ｂとしては、例えば磁気センサを用いることができる。この磁気センサは、ＨＭＤ１２外に配置されたトランスミッタから放出された一様な磁場を検知する。そして、ＨＭＤ１２の動きに伴う磁場検知の変化を処理することによってトランスミッタと磁気センサとの間の絶対的な移動量を求め、その移動量からＨＭＤ１２の位置・姿勢を検出することができる。
【００３７】
位置・姿勢センサ１２Ｂとしては、磁気センサに限らず他の形態のセンサを採用することもできる。例えば、加速度センサやジャイロセンサ等を用いたモーションセンサによってＨＭＤ１２の位置・姿勢を検出してもよい。また、位置・姿勢センサ１２Ｂは、直接的にＨＭＤ１２に取り付けられていなくてもよい。例えば、外部からＨＭＤ１２の画像を撮像し、その画像を解析することによってＨＭＤ１２の位置や姿勢を検出するものであってもよい。
【００３８】
図３は、手術支援システム１０のブロック図である。
手術支援システム１０の処理装置１３は、例えばパーソナルコンピュータから構成され、ＣＰＵ等の演算部と、ＲＯＭ、ＲＡＭ、ハードディスク等の記憶部と、各種入出力インターフェース等を有している。そして、カメラユニット１１におけるカメラ３２及び角度検出器３４Ｂの信号と、ＨＭＤ１２における位置・姿勢センサ１２Ｂの信号が処理装置１３に入力される。そして、処理装置１３の演算部は、記憶部にインストールされたプログラムを実行することによって、入力された各種信号を用いて映像を生成し、その映像をＨＭＤ１２における表示部１２Ａに表示させる。したがって、ＨＭＤ１２を装着している人Ｘ１〜Ｘ４は、それぞれ表示部１２Ａに表示される映像を見ながら作業を行うことができる。
【００３９】
処理装置１３は、その機能構成として、自由視点映像を生成する生成部４１と、生成した自由視点映像をＨＭＤ１２の表示部１２Ａに表示させる表示制御部４２とを備えている。
図５は、自由視点映像についての説明図である。処理装置１３の生成部４１は、実際のカメラ３２で所定の対象物を撮影した映像を用いて、当該カメラ３２とは異なる方向から対象物を撮像する仮想のカメラ３２’の映像を生成（レンダリング）する。
【００４０】
複数のカメラ３２が対象物を撮影すると、その映像信号は処理装置１３の生成部４１に入力される。生成部４１は、入力されたカメラ３２の映像と、カメラ３２の相対位置（位置・姿勢）についての情報等を用いてカメラ３２間の位置を視点とする補間映像を自由視点映像として生成する。自由視点映像を生成するための具体的方法は、従来公知の種々の方法を採用することができ、特定の方法に限定されるものではない。例えば、特徴点の対応を評価する評価関数を設けて評価関数が最大となるような補間による方法や、術者からの関心領域の指定、処置具先端による空間位置のポインティングによって得られる３次元座標群に基づいて補間する方法等を用いることができる。なお、これらの方法については後述する第３の実施形態においても説明する。
【００４１】
表示制御部４２は、ＨＭＤ１２の表示部１２Ａの位置及び姿勢（方向）の情報が位置・姿勢センサ１２Ｂから入力され、その位置及び姿勢に対応する方向の自由視点映像を生成部４１から取得し、その映像を表示させるように表示部１２Ａを制御する。表示部１２Ａの位置及び姿勢は、この表示部１２Ａを正面から見る装着者の視線の方向に対応するため、ＨＭＤ１２の装着者は、自らの視線の方向から対象物（術部）を観察した映像を表示部１２Ａを介して見ることが可能となる。
【００４２】
したがって、図１に示すように、手術に参加する術者Ｘ１やスタッフＸ２〜Ｘ４は、それぞれＨＭＤ１２を装着しているので、それぞれの視点から術部を観察することができる。そのため、例えば、処置具Ａ２を用いて処置を行う術者Ｘ１は、処置方向と一致する方向に視線を向けることで、処置方向と同一の方向から術部を観察することができ、作業を行いやすくなる。また、処置方向とは異なる方向から術部を観察したい場合には、術者自身がその方向に視線の方向を変えるだけでよい。したがって、従来のようにスタッフＸ２〜Ｘ４にカメラ３２の方向を変えるために指示を与える必要も無く、自身の動作によって所望の視野を簡単に得ることができる。
【００４３】
また、本実施形態では、患者Ｍの体内にカメラ３２を固定することができるため、従来のように内視鏡を操作するスタッフの手や内視鏡自体が術者Ｘ１の邪魔になることもない。
さらに、術者Ｘ１だけでなくＨＭＤ１２を装着しているスタッフＸ２〜Ｘ４においても、それぞれの視線の方向に応じた映像を見ることができる。したがって、術者Ｘ１と対向した位置に居るスタッフＸ３，Ｘ４であっても、左右が反転した映像ではなく、自身の視線の方向から術部を観察した映像をＨＭＤ１２を介して見ることができる。
【００４４】
＜第２の実施形態＞
図６は、本発明の第２の実施形態に係る手術支援システムの説明図である。
本実施形態では、手術の参加者がＨＭＤ１２を装着しておらず、外部ディスプレイ（表示部）Ｄ１〜Ｄ３の表示を見ながら手術を行う。そして、各外部ディスプレイＤ１〜Ｄ３には、それぞれの位置や姿勢（方向）に応じた映像が出力されるようになっている。具体的には、外部ディスプレイＤ１〜Ｄ３を正面から見た人の視線の方向から術部を観察した映像が外部ディスプレイＤ１〜Ｄ３に出力される。したがって、処理装置１３には、外部ディスプレイＤ１〜Ｄ３の位置及び姿勢（方向）に関する情報が入力される。
【００４５】
通常、外部ディスプレイＤ１〜Ｄ３の位置及び姿勢は固定された状態となるため、これらの情報は予め処理装置１３に入力される。また、手術前後や手術中に外部ディスプレイＤ１〜Ｄ３の位置や姿勢が変更される場合には、当該位置及び姿勢を検出するセンサを設けておき、その検出情報をリアルタイムに処理装置１３に入力してもよい。
【００４６】
外部ディスプレイＤ１〜Ｄ３の位置及び姿勢は、当該外部ディスプレイＤ１〜Ｄ３を正面から見る人間の視線の方向に対応するため、例えば、術者Ｘ１の正面に配置された外部ディスプレイＤ１には、術者Ｘ１の視線方向から術部を観察した映像が出力される。また、術者Ｘ１の斜め前方に配置された他の外部ディスプレイＤ２には、これを正面から見た人の視線の方向から術部を観察した映像が出力される。したがって、術者Ｘ１は、その視線を外部ディスプレイＤ１から外部ディスプレイＤ２に変えることによって、術部の観察方向を変えることができる。
【００４７】
術者Ｘ１の横にいるスタッフＸ２は、術者Ｘ１と同一の外部ディスプレイＤ１，Ｄ２を見ることによって、２方向から術部を観察した映像を見ることができる。
他のスタッフＸ３，Ｘ４も、他の外部ディスプレイＤ３を見ることによって、自身の視線の方向にほぼ対応した術部の映像を見ることができる。
【００４８】
＜第３の実施形態＞
図７は、第３の実施形態に係る手術支援システムの説明図である。
本実施形態の手術支援システムは、カメラユニット６１と、処理装置６３と、表示部６２と、操作具９１とを備えている。
カメラユニット６１は、患者Ｍの体壁に形成された貫通孔Ｍ３に挿入して使用するものであり、第１の実施形態と同様に、複数のカメラ７２と、この複数のカメラ７２が取り付けられたベース部７１と、このベース部７１が取り付けられた検出具７４とを備えている。また、図示はしていないが、ベース部７１には照明も取り付けられる。
【００４９】
検出具７４は、図８に示すように、第１の実施形態と同様に、軸部７４Ｃによって屈曲可能に連結された複数のリンク部材７４Ａを備えている。また、複数のリンク部材７４Ａの屈曲角度は、角度検出器７４Ｂによって検出され、複数のカメラ７２の相対位置を検出することができる。
【００５０】
また、本実施形態のカメラユニット６１は、図７に示すように、検出具７４からさらに延長された延長具７８を備えている。この延長具７８は、検出具７４を構成する複数のリンク部材７４Ａと同一形状の複数のリンク部材７８Ａを備え、リンク部材７４Ａに連続して接続されている。また、図８に示すように、複数のリンク部材７８Ａを接続する軸部７８Ｃにも、検出具７４と同様にポテンショメータ等の角度検出器７８Ｂが設けられている。以下の説明では、検出具７４と延長具７８とを合わせて「挿入具」７９という。
【００５１】
図７に示すように、本実施形態のカメラユニット６１は、患者Ｍの体壁に形成された貫通孔Ｍ３から体腔内に挿入され、その先端部のカメラ７２を術部（対象物）に近づけて映像を取得するように構成されている。また、カメラユニット６１は、例えば挿入具７９の適宜箇所を体壁に固定したり、患者Ｍのベッドに固定したりすることができる。カメラユニット６１は、挿入具７９を固定するための手段として、第１の実施形態のようなクリップ具を備えてもよいし、ピン又は磁石等の他の手段を備えてもよい。
【００５２】
また、カメラユニット６１には、図８に示すように、複数のリンク部材７４Ａ，７８Ａを屈曲動作させるための駆動部８０が設けられている。この駆動部８０は、例えば、複数のリンク部材７４Ａ，７８Ａの軸部７４Ｃ，７８Ｃに設けられたモータによって構成することができる。駆動部８０により複数のリンク部材７４Ａ，７８Ａを屈曲動作させることによって、図７に示すように、ベース部７１を変形させて複数のカメラ７２の相対位置を変更することができ、さらにカメラユニット６１の全体を屈曲動作させることができる。
【００５３】
処理装置６３は、第１の実施形態と同様の生成部８１及び表示制御部８２を備える他、配置制御部８３と、操作制御部８４とを備えている。操作制御部８４は、カメラユニット６１の駆動部８０を制御して挿入具７９を屈曲操作するためのものである。
図１１に示すように、カメラユニット６１の挿入具７９は、操作具９１によって屈曲操作される。この操作具９１は、マスタースレーブ型の操作具であり、カメラユニット６１の挿入具７９の構造を模したマスターコントローラとされている。
【００５４】
操作具９１は、軸部によって屈曲可能に接続された複数のリンク部材９１Ａと、このリンク部材９１Ａの屈曲角度（相対角度）を検出するポテンショメータ等の角度検出器９１Ｂとを備えている。そして、操作具９１を術者等が手動で屈曲操作すると、各角度検出器９１Ｂによって検出された相対角度の信号が操作制御部８４に入力される。操作制御部８４は、入力された相対角度に基づいてカメラユニット６１の駆動部８０を制御し、操作具９１と同様の動きをカメラユニット６１の挿入具７９に行わせる。
【００５５】
したがって、患者Ｍの体腔内にカメラユニット６１を挿入して先端部のカメラ７２を対象物に接近させる際に、操作具９１の操作を介してカメラユニット６１を屈曲動作させることができ、対象物に到るまでの間にカメラユニット６１が他の臓器等に干渉するのを防止し、カメラユニット６１を術部に容易に到達させることができる。
【００５６】
図７に示すように、処理装置６３の配置制御部８３は、生成部８１による自由視点映像の生成が可能な配置で複数のカメラ７２を配置させるように、カメラユニット６１の駆動部８０を制御するものである。複数のカメラ７２によって撮影された映像を元に自由視点映像を生成する場合、各カメラ７２の注視点（注視位置）が一致していないと各カメラ７２の映像にずれが生じ、補間映像を生成することが困難となる。そのため、本実施形態の配置制御部８３は、一例として、いずれかのカメラ７２を基準となるカメラ７２として定め、その基準のカメラ７２によって撮影される映像内に設定された注視点に、他のカメラ７２の注視点を一致させるように複数のカメラ７２を配置させる。
【００５７】
例えば、図９に示すように、複数のカメラ７２のうちの１つのカメラ７２（例えば、中央のカメラ７２）を基準カメラに設定する。そして、体腔内に挿入したカメラユニット６１の基準カメラ７２の映像を外部ディスプレイ等に表示させるようにする。術者等は、対象物を撮影できる位置に基準カメラ７２を配置し、さらに基準カメラ７２の映像中の特定位置（例えば中心）が注視点となるように基準カメラ７２を配置する。配置制御部８３は、基準カメラ７２によって撮影された注視点についての３次元座標群を求め、図１０に示すように、他のカメラ７２の注視点が、基準カメラ７２の注視点に一致するように他のカメラ７２の相対位置を変更する。生成部８１は、複数のカメラ７２によって撮影された映像を用いて自由視点映像を生成し、表示制御部８２は、生成された自由視点映像を表示部６２に表示させる。
【００５８】
また、配置制御部８３は、評価関数に基づいて複数のカメラ７２の相対位置を自律的に変更することができる。この評価関数とは、例えば、複数のカメラ７２によって撮影された映像やこの映像を元に生成された自由視点映像が滑らかに繋がっているか否か（ズレが生じていないか否か）等を評価し、その評価スコアが高くなるように複数のカメラ７２の配置を制御するためのものである。つまり、配置制御部８３は、自由視点映像の生成結果を評価した上で複数のカメラ７２の相対位置をフィードバック制御する。このような評価関数を用いることによって、より正確な自由視点映像を生成することができる。
【００５９】
配置制御部８３は、注視点についての外部からの入力に応じて複数のカメラ７２の相対位置を自律的に制御することもできる。例えば、外部ディスプレイに表示された映像に対して関心領域を入力すると、配置制御部８３は、その関心領域を注視点として複数のカメラ７２の相対位置を変更する。この場合も評価関数を用いることによってより適切なカメラ７２の相対位置を求めることができる。外部ディスプレイに対する入力は、例えばマウスを用いたクリック操作や、タッチパネルタイプの外部ディスプレイに対するタッチ操作等により行うことができる。この場合、マウスや外部ディスプレイが入力を受け付ける受付部を構成する。
【００６０】
他の入力方法として、例えば、処置具Ａ２の先端部に磁気センサ等の位置検出センサを取り付けておき、手術中に検出された処置具Ａ２の先端位置を注視点についての入力とすることができる。処置具Ａ２の先端位置は、術者の関心領域と考えることができるため、その先端位置を注視点として複数のカメラ３２の相対位置を変更することによって、実際に手術に応じた適切な自由視点映像を生成することができる。
【００６１】
他の入力方法として、第１の実施形態で説明したＨＭＤ１２において、位置・姿勢センサ１２Ｂによって検出された表示部１２Ａの位置及び姿勢を注視点についての入力とすることができる。この表示部１２Ａを正面から見る装着者の視線の先は、装着者の関心領域と考えることができるため、視線の先を注視点として複数のカメラ７２の相対位置を変更することができる。なお、本実施形態においては、表示部としてＨＭＤ１２だけでなく、第２の実施形態のような外部ディスプレイＤ１〜Ｄ３を用いることもできる。この場合、外部ディスプレイに表示されている映像に対して直接関心領域（注視点）を入力するようにすればよい。
【００６２】
配置制御部８３は、複数のカメラ７２を予め設定した配置パターンに従って配置するように駆動部８０を制御してもよい。例えば、患者Ｍの体腔内に挿入したカメラユニット６１の基準カメラ７２を撮影対象物を撮影可能な位置に配置した後、その基準カメラ７２から注視点までの距離等に応じて最適な配置パターンを選択し、その配置パターンに従って他のカメラ７２の相対位置を変更するようにしてもよい。
【００６３】
なお、今回開示された実施形態および変形例はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内での全ての変更が含まれることが意図される。
例えば、上記第１及び第２の実施形態では、患者の胸腔にカメラユニットを装着する例について説明したが、腹腔等の他の箇所にカメラユニットを装着することも可能である。
カメラユニットの固定具は、上述のようなクリップを用いた構造に限らず、例えば、体の内面又は外面に突き刺して固定する構造等、他の形態を採用することも可能である。
【００６４】
また、上記第１及び第２の実施形態では、複数のカメラを取り付けたカメラユニットを用いているが、相互に独立した複数のカメラをそれぞれ患者の体内に挿入し、固定してもよい。
上記各実施形態におけるカメラは、２Ｄカメラであってもよいし、３Ｄカメラであってもよい。また、２Ｄカメラと３Ｄカメラを混在させてもよい。例えば、複数の２Ｄカメラを自由視点映像を生成するために用い、単一又は複数の３Ｄカメラを特定の部分を狭視野で撮影するために用いることができる。
【００６５】
第１及び第２の実施形態におけるカメラユニットのベース部は、体腔の内面に沿って変形しないものであってもよい。この場合、複数のカメラの相対位置を固定することができる。また、第１及び第２の実施形態におけるカメラユニットに、取付部を変形させる駆動部を設け、適切な自由視点映像を生成するために、自律的に複数のカメラの相対位置を変更できるように構成してもよい。
上記各実施形態において、カメラはベース部ではなく検出具のリンク部材に直接取り付けられていてもよい。この場合、リンク部材が取付部を構成することになる。
【００６６】
処置具の操作は、術者が直接的に行うものであってもよいし、術者が遠隔操作により作動する手術用ロボットによって行うものであってもよい。
また、本発明の手術システムは、表示部として、ＨＭＤと外部ディスプレイとを併用したものであってもよい。
【００６７】
本発明の手術支援システムは、処理装置の機能構成として、複数のカメラの映像を結合することによって広角映像を生成する第２生成部をさらに備えていてもよい。そして、このような広角映像と自由視点映像とを同時に又は切り換えて表示部に表示させてもよい。このような広角画像を表示部に表示させることによって、術部をより広範囲に観察することができ、適切な処置に役立てることができる。また、広角映像を生成する場合にも、第３の実施形態において説明したように、注視点についての外部からの入力に応じて複数のカメラの相対位置を自律的に制御することができる。この場合、評価関数を用いて広角映像の生成結果をフィードバックすることによって複数のカメラの相対位置を変更し、より正確な広角映像を生成するようにしてもよい。
【００６８】
本発明の手術支援システムは、例えば微小ガン等の病変を特定するシステムと併用することが好適である。例えば、超音波や画像を用いてガン等の病変を確認し、確認した病変の近くに小型のタグ装置を留置するシステムと併用することができる。このシステムは、手術の際に患者の体内でタグ装置の位置を確認することによって病変の位置を特定することができるので、特定した病変の位置に合わせて本発明のカメラを設置することによって、より適切で正確な術部の撮影を行うことができる。
【符号の説明】
【００６９】
１０      ：手術支援システム
１１      ：カメラユニット
１２      ：ヘッドマウントディスプレイ
１２Ａ    ：表示部
３２      ：カメラ
３４      ：検出具（検出部）
３５      ：クリップ具（固定部）
４１      ：生成部
４２      ：表示制御部
６１      ：カメラユニット
７２      ：カメラ
８０      ：駆動部
８１      ：生成部
８２      ：表示制御部
８３      ：配置制御部
Ｄ１〜Ｄ３：外部ディスプレイ（表示部）
Ｍ        ：患者
【図１】
2015133608.tif 000003
【図２】
2015133608.tif 000004
【図３】
2015133608.tif 000005
【図４】
2015133608.tif 000006
【図５】
2015133608.tif 000007
【図６】
2015133608.tif 000008
【図７】
2015133608.tif 000009
【図８】
2015133608.tif 000010
【図９】
2015133608.tif 000011
【図１０】
2015133608.tif 000012
【図１１】
2015133608.tif 000013
【図１２】
2015133608.tif 000014
【国際調査報告】
2015133608.tif 000015
2015133608.tif 000016
2015133608.tif 000017
2015133608.tif 000018