(57)【要約】【課題】内視鏡を用いて人体内部を観察する際に、内視鏡の挿入方向とは異なる角度から施術部分を視認できるようにする。【解決手段】本開示によれば、人体内部にトロッカを介して挿入されて人体内部を撮像する内視鏡に関し、前記内視鏡の撮像領域を指示するための指示情報を認識する認識部と、前記指示情報に基づいて、前記トロッカを回転中心として前記内視鏡を回動するための第１の制御情報と前記内視鏡の撮像領域を拡大するための第２の制御情報を生成する制御情報生成部と、を備える、医療用システムの制御装置が提供される。【選択図】図２
2018173681.tif 000002
【特許請求の範囲】
【請求項１】
人体内部にトロッカを介して挿入されて人体内部を撮像する内視鏡に関し、前記内視鏡の撮像領域を指示するための指示情報を認識する認識部と、
前記指示情報に基づいて、前記トロッカを回転中心として前記内視鏡を回動するための第１の制御情報と前記内視鏡の撮像領域を拡大するための第２の制御情報を生成する制御情報生成部と、
を備える、医療用システムの制御装置。
【請求項２】
前記第１の制御情報による前記内視鏡の前記回動により、前記撮像領域が前記内視鏡の視野角の端に向けて移動する、請求項１に記載の医療用システムの制御装置。
【請求項３】
前記撮像領域が前記内視鏡の視野角の端に向けて移動することにより、前記撮像領域が移動する前の被写体の奥行き方向の領域が前記内視鏡で撮像される、請求項２に記載の医療用システムの制御装置。
【請求項４】
前記第１の制御情報による前記内視鏡の前記回動が大きくなる程、前記第２の制御情報による前記撮像領域の拡大倍率が大きくなる、請求項１に記載の医療用システムの制御装置。
【請求項５】
前記第１の制御情報に基づいて前記内視鏡を支持する支持アーム装置が制御される、請求項１に記載の医療用システムの制御装置。
【請求項６】
前記第２の制御情報に基づいて、前記撮像領域を拡大するように前記内視鏡が制御される、請求項１に記載の医療用システムの制御装置。
【請求項７】
前記第２の制御情報に基づいて、前記撮像領域を拡大するための電子ズーム処理を行う電子ズーム処理部を備える、請求項１に記載の医療用システムの制御装置。
【請求項８】
前記認識部は、ユーザが操作するフットスイッチ、ユーザの頭の動きを検出する動作認識用カメラ、ユーザの視線の向きを検出する視線検出カメラ、またはユーザの発話による音声情報を取得するマイクロフォンから送られた前記指示情報を認識する、請求項１に記載の医療用システムの制御装置。
【請求項９】
人体内部にトロッカを介して挿入されて人体内部を撮像する内視鏡に関し、前記内視鏡の撮像領域を指示するための指示情報を認識することと、
前記指示情報に基づいて、前記トロッカを回転中心として前記内視鏡を回動するための第１の制御情報と前記内視鏡の撮像領域を拡大するための第２の制御情報を生成することと、
を備える、医療用システムの制御方法。
【請求項１０】
人体内部にトロッカを介して挿入されて人体内部を撮像する内視鏡に関し、前記内視鏡の撮像領域を指示するための指示情報を認識する認識部と、前記指示情報に基づいて、前記トロッカを回転中心として前記内視鏡を回動するための第１の制御情報と前記内視鏡による撮像領域を拡大するための第２の制御情報を生成する制御情報生成部と、を有する、医療用システムの制御装置と、
前記第１の制御情報に基づいて制御され、前記内視鏡を支持する支持アーム装置と、
前記第２の制御情報に基づいて制御される前記内視鏡と、
を備える、医療用システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、医療用システムの制御装置、医療用システムの制御方法及び医療用システムに関する。
【背景技術】
【０００２】
従来、例えば下記の特許文献１には、腹壁にトラカールを差し込み、トラカールの孔内に腹腔鏡であるスコープを挿入し、スコープにより検出された腹腔内の観察像をＴＶモニタに表示する技術が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平９−２８７１３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記特許文献１に記載されているような腹腔鏡、特に直視鏡を用いる場合、直視鏡は患者の身体への挿入方向の正面の画像を撮像する。腹腔内の施術部分を直視鏡の挿入方向とは異なる角度から視認しようとする場合、臓器を鉗子で引っ張って回転させるなどして、臓器の側面や裏側を正面に出して視認することが一般的に行われている。【０００５】
しかし、この方法では、臓器の把持、臓器の移動や伸展により、臓器が損傷するが想定される。また、この方法では、把持したり移動した臓器が他の臓器と接触することにより、臓器が損傷することも想定される。【０００６】
このため、内視鏡を用いて人体内部を観察する際に、内視鏡の挿入方向とは異なる角度から施術部分を視認できるようにすることが求められていた。
【課題を解決するための手段】
【０００７】
本開示によれば、人体内部にトロッカを介して挿入されて人体内部を撮像する内視鏡に関し、前記内視鏡の撮像領域を指示するための指示情報を認識する認識部と、前記指示情報に基づいて、前記トロッカを回転中心として前記内視鏡を回動するための第１の制御情報と前記内視鏡の撮像領域を拡大するための第２の制御情報を生成する制御情報生成部と、を備える、医療用システムの制御装置が提供される。【０００８】
また、本開示によれば、人体内部にトロッカを介して挿入されて人体内部を撮像する内視鏡に関し、前記内視鏡の撮像領域を指示するための指示情報を認識することと、前記指示情報に基づいて、前記トロッカを回転中心として前記内視鏡を回動するための第１の制御情報と前記内視鏡の撮像領域を拡大するための第２の制御情報を生成することと、を備える、医療用システムの制御方法が提供される。【０００９】
また、本開示によれば、人体内部にトロッカを介して挿入されて人体内部を撮像する内視鏡に関し、前記内視鏡の撮像領域を指示するための指示情報を認識する認識部と、前記指示情報に基づいて、前記トロッカを回転中心として前記内視鏡を回動するための第１の制御情報と前記内視鏡による撮像領域を拡大するための第２の制御情報を生成する制御情報生成部と、を有する、医療用システムの制御装置と、前記第１の制御情報に基づいて制御され、前記内視鏡を支持する支持アーム装置と、前記第２の制御情報に基づいて制御される前記内視鏡と、を備える、医療用システムが提供される。
【発明の効果】
【００１０】
以上説明したように本開示によれば、内視鏡を用いて人体内部を観察する際に、内視鏡の挿入方向とは異なる角度から施術部分を視認ことが可能となる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【００１１】
【図１】本開示の一実施形態に係る手術システムの概略構成を示す模式図である。
【図２】制御装置を含むシステムの構成を示すブロック図である。
【図３Ａ】患者の腹部の断面を示す図であって、手術用カメラ（直視鏡）と鉗子が腹部に挿入された状態を示す模式図である。
【図３Ｂ】患者の腹部の断面を示す図であって、手術用カメラ（直視鏡）と鉗子が腹部に挿入された状態を示す模式図である。
【図３Ｃ】患者の腹部の断面を示す図であって、手術用カメラ（直視鏡）と鉗子が腹部に挿入された状態を示す模式図である。
【図４Ａ】図３Ａの状態で手術用カメラにより撮像した画像を示す模式図である。
【図４Ｂ】図３Ｂの状態で手術用カメラにより撮像した画像を示す模式図である。
【図４Ｃ】図３Ｃの状態で手術用カメラにより撮像した画像を示す模式図である。
【図５】制御情報によるカメラアームの動作例を示す模式図であって、トロッカを中心とする点対称のピボット動作を示す模式図である。
【図６】制御情報によるカメラアームの動作例を示す模式図であって、ピボット動作とともにズーム動作を行う例を示す模式図である。
【発明を実施するための形態】
【００１２】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１３】
なお、説明は以下の順序で行うものとする。
１．手術システムの構成例
２．直視鏡を用いて施術領域の側面を観察する手法
３．制御情報によるカメラアームの動作例
【００１４】
１．手術システムの構成例
まず、図１を参照して、本開示の一実施形態に係る手術システム１０００の概略構成について説明する。本実施形態に係る手術システム１０００は、腹腔鏡により手術を行うシステムに関する。腹腔鏡手術では、患者１０の腹部に複数の孔を開け、その孔から鉗子、吸引装置、電気メス等の術具と手術用カメラ１１０を挿入して、手術用カメラ１１０で腹腔内を視認しながら術具で手術を行う。図１は、手術用カメラ１１０を用いた腹腔鏡手術のシステムにおいて、患者１０、術者２０、及び医療機器の位置関係を示す模式図である。なお、術者２０は、執刀医またはスコピスト等が該当する。
【００１５】
手術システム１０００は、手術用カメラ１１０、カメラアーム（支持アーム装置）１２０、動作認識用カメラ１３０、ディスプレイ１４０、手術台１５０、視線検出カメラ１６０、マイクロフォン１７０、フットスイッチ１８０、制御装置５００を有して構成される。手術用カメラ１１０は、カメラアーム１２０により保持された３Ｄカメラ等の機器である。本実施形態に係る手術用カメラ１１０は、腹腔鏡、特に直視鏡から構成され、患者１０の体内に挿入されて体内の様子を撮像する。手術用カメラ１１０は、撮像の結果得られる画像を術野画像として制御装置５００に送信する。
【００１６】
カメラアーム１２０は、手術用カメラ１１０を保持し、手術用カメラ１１０の位置や角度を制御する。動作認識用カメラ１３０は、例えば２Ｄカメラであり、ディスプレイ１４０の上に配置される。動作認識用カメラ１３０は、術者２０を撮像し、術者２０の動作を認識する。動作認識用カメラ１３０が術者２０の動作を認識し易くするため、術者２０にマーカー装着しても良い。動作認識用カメラ１３０は、撮像の結果得られる２Ｄ画像を術者画像として制御装置５００に送信する。
【００１７】
ディスプレイ１４０は、比較的大きい画面を有し、術者２０から比較的離れた位置に配置される。図１の例では、ディスプレイ１４０は、手術台１５０を挟んで術者２０と対向する位置に配置される。ディスプレイ１４０には、制御装置５００から送信されてくる術野画像等が表示される。
【００１８】
制御装置５００は、動作モードを、手動モードまたはハンズフリーモードに設定する。手動モードとは、術者２０の手による入力（例えば、カメラアーム１２０への加力や、各部に設けられた操作ボタン等（不図示）の操作）に基づいて手術システム１０００の制御を行うモードである。ハンズフリーモードとは、術者２０の手によらない、音声、視線、頭部の動きや方向、ジェスチャなどの非接触の入力やフットスイッチ１８０への脚部の接触による入力に基づいて手術システム１０００の制御を行うモードである。
【００１９】
また、制御装置５００は、動作認識用カメラ１３０から送信されてくる術者画像を受信し、術者画像内の術者２０の頭部の位置を検出し、また頭部の動き（ヘッドトラッキング）、頭部の向きを検出する。更に、制御装置５００は、術者画像から術者２０のジェスチャを認識する。
【００２０】
また、制御装置５００は、視線検出カメラ１６０から送信されてくる術者２０の視線の方向を表す情報を受信し、その情報と術者２０の頭部の位置及び方向とに基づいて、ディスプレイ１４０の画面上の視線の位置を認識する。また、制御装置５００は、マイクロフォン１７０から送信されてくる音声を受信し、その音声に対して音声認識を行う。また、制御装置５００は、フットスイッチ１８０から送信されてくるフットスイッチ１８０に対する操作を表す操作信号を受信し、その操作信号に基づいてフットスイッチ１８０に対する操作の内容を認識する。
【００２１】
さらに、動作モードがハンズフリーモードである場合、制御装置５００は、術者２０の頭部の動きや方向、術者２０のジェスチャ、ディスプレイ１４０の画面上の視線の位置を表す視線位置情報、音声認識結果、音量、およびフットスイッチ１８０に対する操作の内容を表す操作情報を入力情報とする。制御装置５００は、入力情報に基づいて術者２０からの指令および術者２０の状態を認識する。
【００２２】
制御装置５００は、術者２０の状態に応じて、術者２０からの指令を許可する。制御装置５００は、許可された指令に応じて、手術用カメラ１１０の撮影を制御したり、カメラアーム１２０の駆動を制御したり、ディスプレイ１４０の表示を制御したり、動作モードを変更したりする。
【００２３】
マイクロフォン１７０は、術者２０に装着される。マイクロフォン１８０は、術者２０の音声等を含む周囲の音声を取得し、制御装置５００に送信する。フットスイッチ１８０は、術者２０の周囲に配置され、術者２０の脚の接触により操作される。フットスイッチ１８０は、術者２０からの脚の操作を表す操作信号を制御装置５００に送信する。
【００２４】
以上のように構成される手術システム１０００では、術者２０は、患者１０を手術台１５０の上に横たわらせ、ディスプレイ１４０に表示される術野画像等を見ながら手術の処置を行う。
【００２５】
また、術者２０は、動作モード、手術用カメラ１１０の撮影条件、手術用カメラ１１０の位置や角度、ディスプレイ１４０の表示等を変更する場合、非接触の入力または足などの接触操作による入力を行う。従って、術者２０は、術具を把持した状態で入力を行うことができる。
【００２６】
なお、視線検出方法、術者２０の頭部の動きや方向、および、ジェスチャの検出方法、音声の取得方法等としては、任意の方法を採用することができる。
【００２７】
以上のように、図１に示すシステム１０００では、手術用カメラ１１０をカメラアーム１２０で把持し、術者２０が、手術用カメラ１１０で撮像した画像をディスプレイ１４０で見ながら手術用カメラ１１０の姿勢を制御する。
【００２８】
本実施形態では、手術用カメラ１１０の映像に制御情報や付加情報を追加してディスプレイ１４０に表示することで、術者２０が画像を視認することができる。図２は、制御装置５００を含むシステム１０００の構成を示すブロック図である。図２に示すように、制御装置５００には、手術用カメラ１１０、カメラアーム１２０、動作認識用カメラ１３０、ディスプレイ１４０、視線検出カメラ１６０、マイクロフォン１７０、フットスイッチ１８０が接続されている。図２において、手術用カメラ１１０の構成には、手術用カメラ１１０の焦点位置、焦点距離などを制御するカメラコントロールユニット（ＣＣＵ）が含まれる。
【００２９】
制御装置５００は、術者２０の指示に応じて、手術用カメラ１１０の空間位置や角度調整を行う。本実施形態では、術者２０が指示を出す場合に、フットスイッチ１８０による指示の他、視線の向き、頭の動き、音声等に基づいてハンズフリーにより指示を出すことができる。術者２０の指示に応じた指示情報は、制御装置５００に送られる。
【００３０】
制御装置５００は、認識部５２０、表示制御部５３０、制御情報生成部５４０、電子ズーム処理部５５０、モード設定部５６０、状態推定部５７０、制御部５８０を有して構成されている。認識部５２０は、音声認識部５２２、視線認識部５２４、頭部認識部５２６、ジェスチャ認識部５２８、操作認識部５２９により構成される。図２に示す制御装置５００の構成要素は、回路（ハードウェア）、またはＣＰＵなどの中央演算処理装置とこれを機能させるためのプログラム（ソフトウェア）から構成することができる。
【００３１】
音声認識部５２２は、マイクロフォン１７０から送信されてくる音声に対して音声認識を行い、術者２０の非接触の入力として、発話を認識する。また、音声認識部５２２は、術者２０の非接触の入力として、マイクロフォン１７０から送信されてくる音声の音量を認識する。音声認識部５２２は、音声認識結果である発話および音量を入力情報として制御情報生成部５４０に供給する。
【００３２】
視線認識部５２４は、視線検出カメラ１６０から送信されてくる視線の方向を表す情報と、頭部認識部５２６により認識される頭部の位置及び方向とに基づいて、術者２０の非接触の入力として、ディスプレイ１４０の画面上の視線の位置を認識する。視線認識部５２４は、その位置を表す視線位置情報を入力情報として制御情報生成部５４０、状態推定部５７０、表示制御部５３０に供給する。
【００３３】
頭部認識部５２６は、動作認識用カメラ１３０から送信されてくる術者画像から術者２０の位置を検出することにより、術者２０からの非接触の入力として、術者２０の頭部の位置、動き、および方向を認識する。頭部認識部５２６は、頭部の動きや方向を入力情報として制御情報生成部５４０と状態推定部５７０に供給する。また、頭部認識部５２６は、頭部の位置および方向を視線認識部５２４に供給する。
【００３４】
ジェスチャ認識部５２８は、動作認識用カメラ１３０から送信されてくる術者画像から、術者２０の非接触の入力として、術者２０のジェスチャの入力を認識する。ジェスチャ認識部５２８は、術者２０のジェスチャを入力情報として制御情報生成部５４０に供給する。
【００３５】
操作認識部５２９は、フットスイッチ１８０から送信されてくる操作信号を受信し、術者２０からの接触による入力として、フットスイッチ１８０に対する操作の内容を認識する。操作認識部５２９は、その操作の内容を表す操作情報を入力情報として制御情報生成部５４０に供給する。
【００３６】
制御情報生成部５４０は、認識部５２０から供給される入力情報に基づいて、術者２０からの指令を認識し、指令に基づいてカメラアーム１２０を制御するための制御情報を生成する。制御情報生成部５４０は、認識した指令が動作モードを変更する指令である場合、その指令に基づいて、モードを設定するモード設定部５６０に通知する。
【００３７】
モード設定部５６０は、制御情報生成部５４０から供給される指令に応じて、動作モードを手動モードまたはハンズフリーモードに設定する。モード設定部５６０は、設定された動作モードを状態推定部５７０に供給する。
【００３８】
状態推定部５７０は、モード設定部５６０から供給される動作モードがハンズフリーモードである場合、認識部５２０から供給される入力情報に基づいて術者２０の状態を推定する。状態推定部５７０は、推定された状態を制御情報生成部５４０に通知する。
【００３９】
制御部５８０は、制御情報生成部５４０から供給される制御情報に基づいて指令を実行する。具体的には、制御情報生成部５４０から供給される制御情報が、手術用カメラ１１０の撮影制御に関する制御情報である場合、制御部５８０は、その制御情報に応じて手術用カメラ１１０の撮影制御を行う。これにより、手術用カメラ１１０の電子ズーム機能などの各種撮影機能が制御される。
【００４０】
また、制御情報生成部５４０から供給される制御情報が、カメラアーム１２０の駆動制御に関する指令である場合、制御部５８０は、その制御情報に応じてカメラアーム１２０の駆動制御を行う。カメラアーム１２０は、一例として、複数の関節と、各関節に設けられたアクチュエータを備える。各関節のアクチュエータは、制御部５８０の制御によって駆動され、制御情報に応じたカメラアーム１２０の動作が実現される。また、制御情報生成部５４０から供給される指令が、ディスプレイ１４０の表示制御に関する制御情報である場合、制御部５８０は、その制御情報を表示制御部５３０に供給することにより、表示制御部５３０を制御する。
【００４１】
表示制御部５３０は、手術用カメラ１１０から送信されてくる術野画像をディスプレイ１４０に表示するための処理を行う。また、表示制御部５３０は、制御部５８０から供給される制御情報が、アノテーション表示指令である場合、視線認識部５２４から供給される視線位置情報に基づいて、手術用カメラ１１０から送信されてくる術野画像内の術者２０の視線に対応する位置にマークを重畳させる。そして、表示制御部５３０は、マークが重畳された術野画像をディスプレイ１４０に供給し、表示させる。
【００４２】
更に、表示制御部５３０は、制御部５８０から供給される指令が、メニューボタンなどのＧＵＩ（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）をディスプレイ１４０に表示させるメニュー表示指令である場合、手術用カメラ１１０から送信されてくる術野画像にＧＵＩの画像を重畳させる。表示制御部５３０は、ＧＵＩが重畳された術野画像をディスプレイ１４０に供給し、表示させる。
【００４３】
例えば、入力情報のうちの音声認識結果が「ズームイン」であり、かつ、視線位置情報がディスプレイ１４０の画面内の位置を表す場合、制御情報生成部５４０は、術者２０からの指令が、視線位置情報が示す視線の位置に対応する被写体を中心に手術用カメラ１１０にズームイン撮影させる指令であることを認識する。そして、制御情報生成部５４０は、認識した指令を実行するための制御情報を生成する。
【００４４】
同様に、入力情報のうちの音声認識結果が「ズームアウト」であり、かつ、視線位置情報がディスプレイ１４０の画面内の位置を表す場合、制御情報生成部５４０は、術者２０からの指令が、視線位置情報が表す視線の位置に対応する被写体を中心に手術用カメラ１１０にズームアウトさせる指令であることを認識する。そして、制御情報生成部５４０は、認識した指令を実行するための制御情報を生成する。
【００４５】
また、入力情報のうち音声認識結果が「フォーカス」であり、かつ、視線位置情報がディスプレイ１４０の画面内の位置を表す場合、制御情報生成部５４０は、術者２０からの指令が、視線位置情報が表す視線の位置に対応する被写体で合焦するように手術用カメラ１１０のフォーカス制御を行う指令であることを認識する。そして、制御情報生成部５４０は、認識した指令を実行するための制御情報を生成する。
【００４６】
以上により、術者２０は、コマンド入力に適している音声で撮影制御の内容を入力し、位置入力に適している視線で撮影制御に必要な位置を入力することができる。従って、術者２０は、撮影制御に関する指令を容易に行うことができる。
【００４７】
また、入力情報のうちの音声認識結果が「ピボット」であり、視線位置情報がディスプレイ１４０の画面内の位置を表し、視線位置情報が時間的に変化せず、術者２０の頭部の動きが移動である場合、かつ、操作情報がフットスイッチ１８０の押下を表す場合、制御情報生成部５４０は、術者２０からの指令が、頭部の動きに応じて手術用カメラ１１０がピボット動作するようにカメラアーム１２０を制御する指令であることを認識する。そして、制御情報生成部５４０は、認識した指令を実行するための制御情報を生成する。
【００４８】
入力情報のうちの音声認識結果が「スライド」であり、術者２０の頭部の動きが回転であり、視線位置情報がディスプレイ１４０の画面内の位置を表し、視線位置情報が表す位置の時間的変化の方向が、頭部の回転方向と同一である場合、かつ、操作情報がフットスイッチ１８０の押下を表す場合、制御情報生成部５４０は、術者２０からの指令が、視線の位置に応じて手術用カメラ１１０がスライド動作するようにカメラアーム１２０を制御する指令であることを認識する。そして、制御情報生成部５４０は、認識した指令を実行するための制御情報を生成する。
【００４９】
なお、ピボット動作指令およびスライド動作指令は、カメラアーム１２０の駆動制御に関する指令であるため、これらの指令の種類はカメラアーム制御に分類される。
【００５０】
２．直視鏡を用いて施術領域の側面を観察する手法
ところで、手術用カメラ１１０として腹腔鏡、特に直視鏡を用いる場合、直視鏡は患者１０の身体への挿入方向の正面の画像を撮像する。ここで、臓器のような立体物を視認する際に、立体物の側面方向を視認したい場合がある。一般的な方法では、視認対象物を正面に捉えた状態で、カメラを固定して鉗子で臓器を移動させることで、臓器などの立体物の側面を視認していた。しかし、この方法では、臓器の把持、臓器の移動や伸展により、臓器が損傷することも想定される。また、この方法では、臓器が他の臓器と接触することにより、臓器が損傷することも想定される。
【００５１】
本実施形態では、手術用カメラ１１０の視野角の端に対象物（臓器など）が位置するよう手術用カメラ１１０を配置し、前後左右に鏡筒の先を振りながら対象物の範囲の映像を切り取って電子ズームで拡大することで、対象物の視認範囲を変更することなく視認角度を変更する。これにより、直視鏡でありながら臓器の側面を視認することが可能となる。
【００５２】
図３Ａ〜図３Ｃ及び図４Ａ〜図４Ｃは、本実施形態の手法により、直視鏡で臓器の側面を視認する場合を示す模式図である。図３Ａ〜図３Ｃは、患者１０の腹部１２の断面を示しており、手術用カメラ（直視鏡）１１０と鉗子１５０，１５２が腹部１２の内部に挿入された状態を示している。内視鏡手術では、腹壁を切って開腹する代わりに、トロッカ１６０ａ，１６０ｂ，１６０ｃと呼ばれる筒状の開孔器具が腹壁に複数穿刺される。そして、トロッカ１６０ａ，１６０ｂ，１６０ｃから、手術用カメラ１１０の鏡筒や、鉗子１５０，１５２などのその他の術具が患者１０の体腔内に挿入される。
【００５３】
図３Ａ〜図３Ｃは、いずれも鉗子１５０によって腹部１２内の内臓１４を掴み、上に持ち上げた状態を示している。図３Ａ〜図３Ｃに示すように、鉗子１５０で内臓１４を持ち上げたことにより、内臓１４が変形し、突起１４ａが形成されている。図３Ａ〜〜図３Ｃにおいて、突起１４ａの側面に術者２０が視認したい部位１６，１８があるものとする。
【００５４】
図３Ａは、手術用カメラ１１０の腹部１２への挿入方向の正面に突起１４ａが位置している場合を示している。また、図４Ａは、図３Ａの状態で手術用カメラ１１０により撮像した画像を示している。図４Ａにおいて、画像７０は手術用カメラ１１０で撮像して得られる原画像を示している。また、図４Ａにおいて、画像７２は画像７０の領域Ａ１を拡大して得られる拡大画像を示している。
【００５５】
図４Ａに示すように、手術用カメラ１１０の挿入方向の正面に突起１４ａが位置している場合、執刀医１０が視認したい部位１６，１８を正面から撮像することができない。このため、画像７０の領域Ａ１を拡大した画像７２を用いたとしても、部位１６，１８を詳細に観察することはできない。
【００５６】
図３Ｂは、図３Ａの状態から、手術用カメラ１１０のピボット動作を行い、トロッカ１６０ａを回転中心として手術用カメラ１１０を回動した状態を示している。手術用カメラ１１０を回動することによって、手術用カメラ１１０の視野角θの端に突起１４ａが位置することになる。図４Ｂは、図３Ｂの状態で手術用カメラ１１０により撮像した画像を示している。図４Ａと同様、図４Ｂにおいても、画像７０は手術用カメラ１１０で撮像して得られる原画像を示している。また、図４Ｂにおいて、画像７２は画像７０の領域Ａ１を拡大して得られる拡大画像を示している。
【００５７】
図４Ｂに示すように、手術用カメラ１１０の視野角θの端に突起１４ａが位置することにより、図４Ａに比べて突起１４ａの側面がより詳細に撮像される。図４Ｂの画像７２に示すように、突起１４ａの稜線の左側の部位１６が正面から撮像されるため、図４Ａでは詳細に観察することができなかった部位１６を確実に観察することが可能である。
【００５８】
図３Ｃは、図３Ａの状態から、手術用カメラ１１０のピボット動作を行い、トロッカ１６０ａを回転中心として図３Ｂと逆方向に手術用カメラ１１０を回動した状態を示している。図３Ｃにおいても、手術用カメラ１１０を回動することによって、手術用カメラ１１０の視野角θの端に突起１４ａが位置することになる。図４Ｃは、図３Ｃの状態で手術用カメラ１１０により撮像した画像を示している。図４Ａ、図４Ｂと同様、図４Ｃにおいても、画像７０は手術用カメラ１１０で撮像して得られる原画像を示している。また、図４Ｃにおいて、画像７２は画像７０の領域Ａ１を拡大して得られる拡大画像を示している。
【００５９】
図４Ｃに示すように、手術用カメラ１１０の視野角θの端に突起１４ａが位置することにより、図４Ａに比べて突起１４ａの側面がより詳細に撮像される。図４Ｃの画像７２に示すように、突起１４ａの稜線の右側の部位１８が正面から撮像されるため、図４Ａでは詳細に観察することができなかった部位１８を確実に観察することが可能である。
【００６０】
３．制御情報によるカメラアームの動作例
次に、制御情報によるカメラアーム１２０の動作について説明する。カメラアーム１２０への代表的な命令として、手術用カメラ１１０を並進動作させるムーブ、対象物への回旋動作であるピボット、カメラのパン・チルト・ズーム命令がある。手術用カメラ１１０のパン・チルト・ロールとズーム、ムーブ動作を組み合わせて、ユーザから見て回旋するカメラ動作を実現する。図５は、制御情報によるカメラアーム１２０の動作例を示す模式図であって、図３Ａ〜図３Ｃに示したような、トロッカ１６０ａを中心とする点対称のピボット動作を示している。以下では、図３Ａに示す状態から図３Ｂに示す状態に手術用カメラ１１０が回動する場合を例に挙げて説明する。上述したように、術者２０がディスプレイ１４０の画面を見ながらフットスイッチ１８０を操作して指示を出したり、または視線の向きや頭の動きなどによるハンズフリーの指示を出すことで、カメラアーム１２０を制御するための制御情報が生成される。従って、図６に示すような画面上での操作量に基づく指示情報に基づいて、カメラアーム１２０の現実の動きを制御する制御情報が生成される。
【００６１】
図５に示すように、術者２０がディスプレイ１４０の画面を参照しながら、画面水平角Δφ、画面垂直角Δθ、画面角度Δψを指示情報として入力する。ここで、画面水平角Δφは水平方向の角度変化量、画面垂直角Δθは垂直方向の角度変化量、画面角度Δψは手術用カメラ１１０の長手方向の軸を回転中心とする回転角度である。
【００６２】
ハンズフリーによる術者２０の操作は、上述したピボット動作の場合と基本的に同様である。術者２０は、トロッカ１６０ａを中心としたピボット動作であることを発音し、ディスプレイ１４０上で視線の位置を画面水平角Δφに相当する分だけ移動する。
【００６３】
画面上での入力（指示情報）をＰＴＲ（Δφ，Δθ，Δψ）とすると、入力がカメラアーム１２０の現実の動きに変換されて、カメラアーム１２０を制御するための制御情報は、ＰＴＲ（−Δφ，−Δθ，Δψ）となる。変換は、予め設定されたテーブルを用いて行うことができる。ここで、Δφ，Δθの符号が反転するのは、図３Ａから図３Ｂに遷移する場合に、トロッカ１６０ａを中心として手術用カメラ１１０が回動するため、画面上での動きと、手術用カメラ１１０の先端の動きが逆方向になるためである。以上により、例えば、図３Ａから図３Ｂの状態に手術用カメラ１１０を動かす場合は、主に画面水平角Δφを変化させることによって、手術用カメラ１１０がトロッカ１６０ａを中心として回動することになる。
【００６４】
これにより、図３Ａに示す状態から図３Ｂに示す状態に手術用カメラ１１０が回動する。ディスプレイ１４０の画面は、図４Ａに示す画像７０から図４Ｂに示す画像７０に遷移することになる。図４Ｂに示す画像７０では、手術用カメラ１１０の視野角θの端に突起１４ａが位置するため、術者２０が突起１４ａの稜線の左側の部位１６を観察しようとした場合に、部位１６を画面中央で視認することができない。また、図４Ｂに示す画像７０では、手術用カメラ１１０が回動したことによって、手術用カメラ１１０の先端と突起１４ａの距離が遠くなるため、部位１６が縮小されてしまう。
【００６５】
このため、制御情報生成部５４０は、手術用カメラ１１０を回動させるための制御情報とともに、図４Ｂに示す画像７０の領域Ａ１を拡大するための制御情報を生成する。これにより、制御情報に基づいて制御されたカメラアーム１２０は、図３Ａに示す状態から図３Ｂに示す状態に手術用カメラ１１０を回動させる。また、制御情報に基づいて手術用カメラ１１０が制御され、手術用カメラ１１０の電子ズーム機能により、図４Ｂに示す画像７０の領域Ａ１を拡大して画像７２を生成する処理が行われる。従って、ディスプレイ１４０の画面の中央に観察しようとする部位１６が表示された画像７２を生成することができる。ここで、手術用カメラ１１０を回動量が大きいほど、手術用カメラ１１０の先端と突起１４ａの距離が遠くなるため、部位１６がより縮小されてしまう。従って、手術用カメラ１１０の回動量が大きくなるほど、電子ズーム機能による拡大倍率が高くなるように制御情報を生成することが望ましい。なお、手術用カメラ１１０の回動量と電子ズーム機能による拡大倍率との関係は、予め設定したテーブル等で規定しておくことができる。
【００６６】
なお、画像７０の領域Ａ１を拡大して画像７２を生成する処理は、制御装置５００側で行っても良い。この場合、制御装置５００が、手術用カメラ１１０から画像７０の画像情報を取得する。そして、電子ズーム処理部５５０は、画像７０に対して電子ズーム処理を行うことで、画像７０の領域Ａ１を拡大して画像７２を生成する。画像７２は、表示制御部５３０によりディスプレイ１４０に表示される。
【００６７】
図６は、制御情報によるカメラアーム１２０の動作例を示す模式図であって、図５で説明したピボット動作とともに、手術用カメラ１１０を被写体に近づけるズーム動作を行うことで、被写体を水平方向に移動させるムーブ動作を行う例を示している。
【００６８】
図６に示すように、術者２０がディスプレイ１４０の画面を参照しながら、画面上で水平方向移動量Δｘ、垂直方向移動量Δｙを指示情報として入力する。Δｘは画面の水平方向長さを基準とする割合（％）で示される。また、Δｙは画面の垂直方向長さを基準とする割合（％）で示される。
【００６９】
制御情報生成部５４０は、水平方向移動量Δｘ、垂直方向移動量Δｙを、手術用カメラ１１０の水平角Δφ、垂直角Δθ、軸方向移動量Δｚに変換する。変換は、予め設定されたテーブルを用いて行うことができる。変換により、画面上での入力（指示情報）をＭＯＶＥ（Δｘ，Δｙ）とすると、カメラアーム１２０を制御するための制御情報は、ＰＴＲ（−Δφ，−Δθ）、ＭＯＶＥ（Δｚ）となる。以上により、手術用カメラ１１０の回動に伴い、手術用カメラ１１０の先端と被写体との距離が離れるが、手術用カメラ１１０が軸方向に移動する。これにより、距離が離れた分だけ手術用カメラ１１０を被写体に近づけることができ、手術用カメラ１１０の先端と被写体との距離ｄの値は変化しない。これにより、手術用カメラ１１０は回旋動作を行っているが、ディスプレイ１４０上での被写体の大きさは変化しないため、ディスプレイ１４０を視認する術者２０に対して、手術用カメラ１１０が水平方向に移動したかのような視覚的効果を与えることができる。
【００７０】
以上説明したように本実施形態によれば、手術用カメラ（直視鏡）１１０を用いて人体内部を観察する際に、手術用カメラ１１０の視野角の端に被写体が位置するように手術用カメラ１１０を旋回させ、画面の周辺に移動した被写体の領域を拡大して表示するようにした。これにより、直視鏡を用いて人体内部を観察する際に、直視鏡の挿入方向とは異なる角度から施術部分を視認ことが可能となる。
【００７１】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【００７２】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【００７３】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）  人体内部にトロッカを介して挿入されて人体内部を撮像する内視鏡に関し、前記内視鏡の撮像領域を指示するための指示情報を認識する認識部と、
前記指示情報に基づいて、前記トロッカを回転中心として前記内視鏡を回動するための第１の制御情報と前記内視鏡の撮像領域を拡大するための第２の制御情報を生成する制御情報生成部と、
を備える、医療用システムの制御装置。
（２）  前記第１の制御情報による前記内視鏡の前記回動により、前記撮像領域が前記内視鏡の視野角の端に向けて移動する、前記（１）に記載の医療用システムの制御装置。
（３）  前記撮像領域が前記内視鏡の視野角の端に向けて移動することにより、前記撮像領域が移動する前の被写体の奥行き方向の領域が前記内視鏡で撮像される、前記（２）に記載の医療用システムの制御装置。
（４）  前記第１の制御情報による前記内視鏡の前記回動が大きくなる程、前記第２の制御情報による前記撮像領域の拡大倍率が大きくなる、前記（１）〜（３）のいずれかに記載の医療用システムの制御装置。
（５）  前記第１の制御情報に基づいて前記内視鏡を支持する支持アーム装置が制御される、前記（１）〜（４）のいずれかに記載の医療用システムの制御装置。
（６）  前記第２の制御情報に基づいて、前記撮像領域を拡大するように前記内視鏡が制御される、前記（１）〜（５）のいずれかに記載の医療用システムの制御装置。
（７）  前記第２の制御情報に基づいて前記撮像領域を拡大するための電子ズーム処理を行う電子ズーム処理部を備える、前記（１）〜（５）のいずれかに記載の医療用システムの制御装置。
（８）  前記認識部は、ユーザが操作するフットスイッチ、ユーザの頭の動きを検出する動作認識用カメラ、ユーザの視線の向きを検出する視線検出カメラ、またはユーザの発話による音声情報を取得するマイクロフォンから送られた前記指示情報を認識する、前記（１）〜（７）のいずれかに記載の医療用システムの制御装置。
（９）  人体内部にトロッカを介して挿入されて人体内部を撮像する内視鏡に関し、前記内視鏡の撮像領域を指示するための指示情報を認識することと、
前記指示情報に基づいて、前記トロッカを回転中心として前記内視鏡を回動するための第１の制御情報と前記内視鏡の撮像領域を拡大するための第２の制御情報を生成することと、
を備える、医療用システムの制御方法。
（１０）  人体内部にトロッカを介して挿入されて人体内部を撮像する内視鏡に関し、前記内視鏡の撮像領域を指示するための指示情報を認識する認識部と、前記指示情報に基づいて、前記トロッカを回転中心として前記内視鏡を回動するための第１の制御情報と前記内視鏡による撮像領域を拡大するための第２の制御情報を生成する制御情報生成部と、を有する、医療用システムの制御装置と、
前記第１の制御情報に基づいて制御され、前記内視鏡を支持する支持アーム装置と、
前記第２の制御情報に基づいて制御される前記内視鏡と、
を備える、医療用システム。
【符号の説明】
【００７４】
１１０    手術用カメラ
１２０    カメラアーム
１３０    動作認識用カメラ
１６０    視線検出カメラ
１７０    マイクロフォン
１８０    フットスイッチ
５００    制御装置
５２０    認識部
５４０    制御情報生成部
【図１】
2018173681.tif 000003
【図２】
2018173681.tif 000004
【図３Ａ】
2018173681.tif 000005
【図３Ｂ】
2018173681.tif 000006
【図３Ｃ】
2018173681.tif 000007
【図４Ａ】
2018173681.tif 000008
【図４Ｂ】
2018173681.tif 000009
【図４Ｃ】
2018173681.tif 000010
【図５】
2018173681.tif 000011
【図６】
2018173681.tif 000012
【国際調査報告】
2018173681.tif 000013
2018173681.tif 000014
2018173681.tif 000015