(57)【要約】【課題】人体を撮像する撮像装置に関連して相違がある場合であっても、同じような操作で撮像装置の動作を制御できるようにする。【解決手段】本開示によれば、支持アーム装置に装着されて人体を撮像する撮像装置に関し、前記撮像装置の動作を指示するための指示情報を認識する認識部と、前記撮像装置に関連する識別情報を取得する識別情報取得部と、前記指示情報及び前記識別情報に基づいて、前記撮像装置の動作を制御するための制御情報を生成する制御情報生成部と、を備える、医療用システムの制御装置が提供される。【選択図】図４
2018161377.tif 000002
【特許請求の範囲】
【請求項１】
支持アーム装置に装着されて人体を撮像する撮像装置に関し、前記撮像装置の動作を指示するための指示情報を認識する認識部と、
前記撮像装置に関連する識別情報を取得する識別情報取得部と、
前記指示情報及び前記識別情報に基づいて、前記撮像装置の動作を制御するための制御情報を生成する制御情報生成部と、
を備える、医療用システムの制御装置。
【請求項２】
前記制御情報は、前記識別情報に応じて前記指示情報を変換することで生成される、請求項１に記載の医療用システムの制御装置。
【請求項３】
前記識別情報は、前記撮像装置の種類を表す情報である、請求項１に記載の医療用システムの制御装置。
【請求項４】
前記識別情報は、前記撮像装置が適用される診療科を表す情報である、請求項１に記載の医療用システムの制御装置。
【請求項５】
前記識別情報に基づいて、前記支持アーム装置の動作範囲を規定する前記制御情報が生成される、請求項４に記載の医療用システムの制御装置。
【請求項６】
前記制御情報は、前記支持アーム装置を制御するための第１の制御情報と前記撮像装置を制御するための第２の制御情報とを含む、請求項１に記載の医療用システムの制御装置。
【請求項７】
前記撮像装置はビデオ顕微鏡又はビデオ内視鏡である、請求項１に記載の医療用システムの制御装置。
【請求項８】
前記指示情報は、前記撮像装置の前記動作として、ズーム、ムーブ、ピボット及びパン・チルト・ロールのいずれかの動作を指示するための情報である、請求項１に記載の医療用システムの制御装置。
【請求項９】
前記識別情報を記憶する記憶部を備える、請求項１に記載の医療用システムの制御装置。
【請求項１０】
支持アーム装置に装着されて人体を撮像する撮像装置に関し、前記撮像装置の動作を指示するための指示情報を認識することと、
前記撮像装置に関連する識別情報を取得することと、
前記指示情報及び前記識別情報に基づいて、前記撮像装置の動作を制御するための制御情報を生成することと、
を備える、医療用システムの制御方法。
【請求項１１】
人体を撮像する撮像装置と、
前記撮像装置を支持する支持アーム装置と、
前記撮像装置の動作を指示するための指示情報を認識する認識部と、前記撮像装置に関連する識別情報を取得する識別情報取得部と、前記指示情報及び前記識別情報に基づいて、前記撮像装置の動作を制御するための制御情報を生成する制御情報生成部と、を備える、医療用システムの制御装置と、
を備える、医療用システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、医療用システムの制御装置、医療用システムの制御方法及び医療用システムに関する。
【背景技術】
【０００２】
従来、例えば下記の特許文献１には、腹壁にトラカールを差し込み、トラカールの孔内に腹腔鏡であるスコープを挿入し、スコープにより検出された腹腔内の観察像をＴＶモニタに表示する技術が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平９−２８７１３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
観察像をモニタに表示する場合に、上記特許文献１に記載されている腹腔鏡のようなビデオ内視鏡を使う場合がある一方、例えば外科手術等では、ビデオ顕微鏡が用いられる場合がある。モニタに表示された観察像の範囲を移動したり、拡大したりする場合に、機器や使用環境の相違に応じて操作が異なると、モニタを見ながら手術等を行うユーザにとって操作性が低下する問題がある。
【０００５】
このため、人体を撮像する撮像装置に関連して相違がある場合であっても、同じような操作で撮像装置の動作を制御できるようにすることが求められていた。
【課題を解決するための手段】
【０００６】
本開示によれば、支持アーム装置に装着されて人体を撮像する撮像装置に関し、前記撮像装置の動作を指示するための指示情報を認識する認識部と、前記撮像装置に関連する識別情報を取得する識別情報取得部と、前記指示情報及び前記識別情報に基づいて、前記撮像装置の動作を制御するための制御情報を生成する制御情報生成部と、を備える、医療用システムの制御装置が提供される。
【０００７】
また、本開示によれば、支持アーム装置に装着されて人体を撮像する撮像装置に関し、前記撮像装置の動作を指示するための指示情報を認識することと、前記撮像装置に関連する識別情報を取得することと、前記指示情報及び前記識別情報に基づいて、前記撮像装置の動作を制御するための制御情報を生成することと、を備える、医療用システムの制御方法が提供される。
【０００８】
また、本開示によれば、人体を撮像する撮像装置と、前記撮像装置を支持する支持アーム装置と、前記撮像装置の動作を指示するための指示情報を認識する認識部と、前記撮像装置に関連する識別情報を取得する識別情報取得部と、前記指示情報及び前記識別情報に基づいて、前記撮像装置の動作を制御するための制御情報を生成する制御情報生成部と、を備える、医療用システムの制御装置と、を備える、医療用システムが提供される。
【発明の効果】
【０００９】
以上説明したように本開示によれば、人体を撮像する撮像装置に関連して相違がある場合であっても、同じような操作で撮像装置の動作を制御できるようにすることが可能となる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【００１０】
【図１】本開示の一実施形態に係る医療用機器を示す模式図である。
【図２】本開示の一実施形態に係る医療用機器を示す模式図である。
【図３】本開示の一実施形態に係る手術システムの概略構成を示す模式図である。
【図４】ビデオ顕微鏡に係るシステムの構成を示す模式図である。
【図５】ビデオ顕微鏡に係るシステムの構成を示す模式図である。
【図６】制御装置を含むシステムの構成を示すブロック図である。
【図７】ビデオ顕微鏡のシステムにおいて、ディスプレイの画面上での命令からカメラアームの命令への変換方式を示す模式図である。
【図８】ビデオ顕微鏡のシステムにおいて、ディスプレイの画面上での命令からカメラアームの命令への変換方式を示す模式図である。
【図９】ビデオ顕微鏡のシステムにおいて、ディスプレイの画面上での命令からカメラアームの命令への変換方式を示す模式図である。
【図１０】ビデオ顕微鏡のシステムにおいて、ディスプレイの画面上での命令からカメラアームの命令への変換方式を示す模式図である。
【図１１】腹腔鏡のシステムにおいて、ディスプレイの画面上での命令からカメラアームの命令への変換方式を示す模式図である。
【図１２】腹腔鏡のシステムにおいて、ディスプレイの画面上での命令からカメラアームの命令への変換方式を示す模式図である。
【図１３】腹腔鏡のシステムにおいて、ディスプレイの画面上での命令からカメラアームの命令への変換方式を示す模式図である。
【図１４】図７〜図１３に示した画面上での命令、カメラアーム命令、カメラ命令の関係を、ズーム、ムーブ、ピボット、パン・チルト・ロールのそれぞれについてまとめた模式図である。
【図１５】診療科に応じて動作範囲が異なる様子を示す模式図である。
【発明を実施するための形態】
【００１１】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１２】
なお、説明は以下の順序で行うものとする。
１．本実施形態の対象としての医療用機器
２．ビデオ内視鏡に係るシステムの構成例
３．ビデオ顕微鏡に係るシステムの構成例
４．制御装置を含むシステムのブロック構成例
５．術者による命令から制御情報への変換について
６．識別情報を参照した制御情報の生成
【００１３】
１．本実施形態の対象としての医療用機器
図１及び図２は、本開示の一実施形態に係る医療用機器を示す模式図である。医療用機器として、図１はビデオ顕微鏡１１２を示しており、図２はビデオ内視鏡（腹腔鏡１１０）を示している。ビデオ顕微鏡１１２、腹腔鏡１１０は、いずれもカメラアーム１２０（支持アーム装置）に支持され、カメラアーム１２０の駆動により所望の位置に移動される。ビデオ顕微鏡１１２または腹腔鏡１１０のカメラ画像はディスプレイ１４０に表示される。ビデオ顕微鏡１１２または腹腔鏡１１０は、使用者である術者２０により手動またはハンズフリー操作で制御される。なお、ビデオ内視鏡として腹腔鏡１１０を例示するが、ビデオ内視鏡は腹腔鏡１１０以外であっても良い。
【００１４】
２．ビデオ内視鏡に係るシステムの構成例
図３を参照して、本開示の一実施形態に係る手術システム１０００の概略構成について説明する。図３に示す手術システム１０００は、ビデオ内視鏡のシステムを示しており、特に腹腔鏡１１０により手術を行うシステムに関する。腹腔鏡手術では、患者１０の腹部に複数の孔を開け、その孔から鉗子、吸引装置、電気メス等の術具と腹腔鏡１１０を挿入して、腹腔鏡１１０で腹腔内を視認しながら術具で手術を行う。腹腔鏡１１０はトロッカ１６０ａを中心に回動可能とされる。図３は、腹腔鏡１１０を用いた腹腔鏡手術のシステムにおいて、患者１０、術者２０、及び腹腔鏡１１０の位置関係を示す模式図である。なお、術者２０は、執刀医またはスコピスト等が該当する。
【００１５】
手術システム１０００は、腹腔鏡１１０、カメラアーム１２０、動作認識用カメラ１３０、ディスプレイ１４０、手術台１５０、視線検出カメラ１６０、マイクロフォン１７０、フットスイッチ１８０、制御装置５００を有して構成される。腹腔鏡１１０は、カメラアーム１２０により保持された３Ｄカメラ等の機器である。腹腔鏡１１０は、患者１０の体内に挿入されて体内の様子を撮像する。腹腔鏡１１０は、撮像の結果得られる画像を術野画像として制御装置５００に送信する。
【００１６】
カメラアーム１２０は、腹腔鏡１１０を保持し、腹腔鏡１１０の位置や角度を制御する。動作認識用カメラ１３０は、例えば２Ｄカメラであり、ディスプレイ１４０の上に配置される。動作認識用カメラ１３０は、術者２０を撮像し、術者２０の動作を認識する。動作認識用カメラ１３０が術者２０の動作を認識し易くするため、術者２０にマーカー装着しても良い。動作認識用カメラ１３０は、撮像の結果得られる２Ｄ画像を術者画像として制御装置５００に送信する。
【００１７】
ディスプレイ１４０は、比較的大きい画面を有し、術者２０から比較的離れた位置に配置される。図３の例では、ディスプレイ１４０は、手術台１５０を挟んで術者２０と対向する位置に配置される。ディスプレイ１４０には、制御装置５００から送信されてくる術野画像等が表示される。ディスプレイ１４０は、３Ｄディスプレイから構成される。術者２０は、裸眼でディスプレイ１４０に表示された術野画像を３Ｄ画像として認識する。
【００１８】
制御装置５００は、動作モードを、手動モードまたはハンズフリーモードに設定する。手動モードとは、術者２０の手による入力（例えば、カメラアーム１２０への加力や、各部に設けられた操作ボタン等（不図示）の操作）に基づいて手術システム１０００の制御を行うモードである。ハンズフリーモードとは、術者２０の手によらない、音声、視線、頭部の動きや方向、ジェスチャなどの非接触の入力やフットスイッチ１８０への脚部の接触による入力に基づいて手術システム１０００の制御を行うモードである。
【００１９】
また、制御装置５００は、動作認識用カメラ１３０から送信されてくる術者画像を受信し、術者画像内の術者２０の頭部の位置を検出し、また頭部の動き（ヘッドトラッキング）、頭部の向きを検出する。更に、制御装置５００は、術者画像から術者２０のジェスチャを認識する。
【００２０】
また、制御装置５００は、視線検出カメラ１６０から送信されてくる術者２０の視線の方向を表す情報を受信し、その情報と術者２０の頭部の位置及び方向とに基づいて、ディスプレイ１４０の画面上の視線の位置を認識する。また、制御装置５００は、マイクロフォン１７０から送信されてくる音声を受信し、その音声に対して音声認識を行う。また、制御装置５００は、フットスイッチ１８０から送信されてくるフットスイッチ１８０に対する操作を表す操作信号を受信し、その操作信号に基づいてフットスイッチ１８０に対する操作の内容を認識する。
【００２１】
さらに、動作モードがハンズフリーモードである場合、制御装置５００は、術者２０の頭部の動きや方向、術者２０のジェスチャ、ディスプレイ１４０の画面上の視線の位置を表す視線位置情報、音声認識結果、音量、およびフットスイッチ１８０に対する操作の内容を表す操作情報を入力情報とする。制御装置５００は、入力情報に基づいて術者２０からの指令および術者２０の状態を認識する。
【００２２】
制御装置５００は、術者２０の状態に応じて、術者２０からの指令を許可する。制御装置５００は、許可された指令に応じて、腹腔鏡１１０の撮影を制御したり、カメラアーム１２０の駆動を制御したり、ディスプレイ１４０の表示を制御したり、動作モードを変更したりする。
【００２３】
マイクロフォン１７０は、術者２０に装着される。マイクロフォン１７０は、術者２０の音声等を含む周囲の音声を取得し、制御装置５００に送信する。フットスイッチ１８０は、術者２０の周囲に配置され、術者２０の脚の接触により操作される。フットスイッチ１８０は、術者２０からの脚の操作を表す操作信号を制御装置５００に送信する。
【００２４】
以上のように構成される手術システム１０００では、術者２０は、患者１０を手術台１５０の上に横たわらせ、ディスプレイ１４０に表示される術野画像等を見ながら手術の処置を行う。
【００２５】
また、術者２０は、動作モード、腹腔鏡１１０の撮影条件、腹腔鏡１１０の位置や角度、ディスプレイ１４０の表示等を変更する場合、非接触の入力または足などの接触操作による入力を行う。従って、術者２０は、術具を把持した状態で入力を行うことができる。
【００２６】
なお、視線検出方法、術者２０の頭部の動きや方向、および、ジェスチャの検出方法、音声の取得方法等としては、任意の方法を採用することができる。
【００２７】
以上のように、図３に示すシステム１０００では、腹腔鏡１１０をカメラアーム１２０で把持し、術者２０が、腹腔鏡１１０で撮像した画像をディスプレイ１４０で見ながら腹腔鏡１１０の姿勢を制御する。
【００２８】
３．ビデオ顕微鏡に係るシステムの構成例
図４及び図５は、ビデオ顕微鏡に係るシステム１０００の構成を示す模式図である。図４及び図５に示すシステムでは、図３の腹腔鏡１１０の代わりにビデオ顕微鏡１１２がカメラアーム１２０に装着されている。
【００２９】
図４に示すシステム１０００では、ビデオ顕微鏡１１２で撮像された画像がディスプレイ１４０に表示される。術者２０は、図３と同様、ディスプレイ１４０の画像を視認しながらビデオ顕微鏡１１２を操作することができる。
【００３０】
図５に示すシステム１０００は、図４と同様にビデオ顕微鏡１１２に係るシステムであるが、図４と異なり術者２０が頭部に眼鏡２００を装着している。眼鏡２００は、３Ｄ偏光眼鏡と視線検出デバイスにより構成される。術者２０は、眼鏡２００の３Ｄ偏光眼鏡を介してディスプレイ１４０を見ることにより、ディスプレイ１４０に表示される術野画像を３Ｄ画像として認識することができる。また、術者２０は、眼鏡２００を介して周囲を見ることにより、眼鏡２００に視線を入力する。眼鏡２００の視線検出デバイスは、術者２０の視線を検出し、視線の方向を表す情報を制御装置５００に送信する。
【００３１】
４．制御装置を含むシステムのブロック構成例
図６は、図３〜図５に示したシステムに関し、制御装置５００を含むシステム１０００の構成を示すブロック図である。図６に示すように、制御装置５００には、カメラ（撮像装置；腹腔鏡１１０またはビデオ顕微鏡１１２）、カメラアーム１２０、動作認識用カメラ１３０、ディスプレイ１４０、視線検出カメラ１６０、マイクロフォン１７０、フットスイッチ１８０、眼鏡１９０が接続されている。図６において、腹腔鏡１１０の構成には、腹腔鏡１１０の焦点位置、焦点距離などを制御するカメラコントロールユニット（ＣＣＵ）が含まれる。なお、図６において、図５に示すシステムの場合は、視線検出カメラ１６０は眼鏡２００に備えられる。
【００３２】
以下では、カメラが腹腔鏡１１０であるものとして説明する。制御装置５００は、術者２０の指示に応じて、腹腔鏡１１０の空間位置や角度調整を行う。本実施形態では、術者２０が指示を出す場合に、フットスイッチ１８０による指示の他、視線の向き、頭の動き、音声等に基づいてハンズフリーにより指示を出すことができる。術者２０の指示に応じた指示情報は、制御装置５００に送られる。
【００３３】
制御装置５００は、認識部５２０、表示制御部５３０、制御情報生成部５４０、電子ズーム処理部５５０、モード設定部５６０、状態推定部５７０、制御部５８０、識別情報取得部５９０、メモリ５９２を有して構成されている。認識部５２０は、音声認識部５２２、視線認識部５２４、頭部認識部５２６、ジェスチャ認識部５２８、操作認識部５２９により構成される。図６に示す制御装置５００の構成要素は、回路（ハードウェア）、またはＣＰＵなどの中央演算処理装置とこれを機能させるためのプログラム（ソフトウェア）から構成することができる。
【００３４】
音声認識部５２２は、マイクロフォン１７０から送信されてくる音声に対して音声認識を行い、術者２０の非接触の入力として、発話を認識する。また、音声認識部５２２は、術者２０の非接触の入力として、マイクロフォン１７０から送信されてくる音声の音量を認識する。音声認識部５２２は、音声認識結果である発話および音量を入力情報として制御情報生成部５４０に供給する。
【００３５】
視線認識部５２４は、視線検出カメラ１６０から送信されてくる視線の方向を表す情報と、頭部認識部５２６により認識される頭部の位置及び方向とに基づいて、術者２０の非接触の入力として、ディスプレイ１４０の画面上の視線の位置を認識する。視線認識部５２４は、その位置を表す視線位置情報を入力情報として制御情報生成部５４０、状態推定部５７０、表示制御部５３０に供給する。
【００３６】
頭部認識部５２６は、動作認識用カメラ１３０から送信されてくる術者画像から術者２０の位置を検出することにより、術者２０からの非接触の入力として、術者２０の頭部の位置、動き、および方向を認識する。頭部認識部５２６は、頭部の動きや方向を入力情報として制御情報生成部５４０と状態推定部５７０に供給する。また、頭部認識部５２６は、頭部の位置および方向を視線認識部５２４に供給する。
【００３７】
ジェスチャ認識部５２８は、動作認識用カメラ１３０から送信されてくる術者画像から、術者２０の非接触の入力として、術者２０のジェスチャの入力を認識する。ジェスチャ認識部５２８は、術者２０のジェスチャを入力情報として制御情報生成部５４０に供給する。
【００３８】
操作認識部５２９は、フットスイッチ１８０から送信されてくる操作信号を受信し、術者２０からの接触による入力として、フットスイッチ１８０に対する操作の内容を認識する。操作認識部５２９は、その操作の内容を表す操作情報を入力情報として制御情報生成部５４０に供給する。また、操作認識部５２９は、キーボードやマウス等の操作部材から入力される操作信号を受信することもできる。
【００３９】
制御情報生成部５４０は、認識部５２０から供給される入力情報に基づいて、術者２０からの指令を認識し、指令に基づいてカメラアーム１２０を制御するための制御情報を生成する。制御情報生成部５４０は、認識した指令が動作モードを変更する指令である場合、その指令に基づいて、モードを設定するモード設定部５６０に通知する。
【００４０】
識別情報取得部５９０は、腹腔鏡１１０やビデオ内視鏡１１２などのカメラが接続されると、カメラの識別情報を取得する。取得した識別情報はメモリ５９０に一時的に格納される。
【００４１】
モード設定部５６０は、制御情報生成部５４０から供給される指令に応じて、動作モードを手動モードまたはハンズフリーモードに設定する。モード設定部５６０は、設定された動作モードを状態推定部５７０に供給する。
【００４２】
状態推定部５７０は、モード設定部５６０から供給される動作モードがハンズフリーモードである場合、認識部５２０から供給される入力情報に基づいて術者２０の状態を推定する。状態推定部５７０は、推定された状態を制御情報生成部５４０に通知する。
【００４３】
制御部５８０は、制御情報生成部５４０から供給される制御情報に基づいて指令を実行する。具体的には、制御情報生成部５４０から供給される制御情報が、腹腔鏡１１０の撮影制御に関する制御情報である場合、制御部５８０は、その制御情報に応じて腹腔鏡１１０の撮影制御を行う。これにより、腹腔鏡１１０の電子ズーム機能などの各種撮影機能が制御される。
【００４４】
また、制御情報生成部５４０から供給される制御情報が、カメラアーム１２０の駆動制御に関する指令である場合、制御部５８０は、その制御情報に応じてカメラアーム１２０の駆動制御を行う。カメラアーム１２０は、一例として、複数の関節と、各関節に設けられたアクチュエータを備える。各関節のアクチュエータは、制御部５８０の制御によって駆動され、制御情報に応じたカメラアーム１２０の動作が実現される。また、制御情報生成部５４０から供給される指令が、ディスプレイ１４０の表示制御に関する制御情報である場合、制御部５８０は、その制御情報を表示制御部５３０に供給することにより、表示制御部５３０を制御する。
【００４５】
表示制御部５３０は、腹腔鏡１１０から送信されてくる術野画像をディスプレイ１４０に表示するための処理を行う。また、表示制御部５３０は、制御部５８０から供給される制御情報が、アノテーション表示指令である場合、視線認識部５２４から供給される視線位置情報に基づいて、腹腔鏡１１０から送信されてくる術野画像内の術者２０の視線に対応する位置にマークを重畳させる。そして、表示制御部５３０は、マークが重畳された術野画像をディスプレイ１４０に供給し、表示させる。
【００４６】
更に、表示制御部５３０は、制御部５８０から供給される指令が、メニューボタンなどのＧＵＩ（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）をディスプレイ１４０に表示させるメニュー表示指令である場合、腹腔鏡１１０から送信されてくる術野画像にＧＵＩの画像を重畳させる。表示制御部５３０は、ＧＵＩが重畳された術野画像をディスプレイ１４０に供給し、表示させる。
【００４７】
例えば、入力情報のうちの音声認識結果が「ズームイン」であり、かつ、視線位置情報がディスプレイ１４０の画面内の位置を表す場合、制御情報生成部５４０は、術者２０からの指令が、視線位置情報が示す視線の位置に対応する被写体を中心に腹腔鏡１１０にズームイン撮影させる指令であることを認識する。そして、制御情報生成部５４０は、認識した指令を実行するための制御情報を生成する。
【００４８】
同様に、入力情報のうちの音声認識結果が「ズームアウト」であり、かつ、視線位置情報がディスプレイ１４０の画面内の位置を表す場合、制御情報生成部５４０は、術者２０からの指令が、視線位置情報が表す視線の位置に対応する被写体を中心に腹腔鏡１１０にズームアウトさせる指令であることを認識する。そして、制御情報生成部５４０は、認識した指令を実行するための制御情報を生成する。
【００４９】
また、入力情報のうち音声認識結果が「フォーカス」であり、かつ、視線位置情報がディスプレイ１４０の画面内の位置を表す場合、制御情報生成部５４０は、術者２０からの指令が、視線位置情報が表す視線の位置に対応する被写体で合焦するように腹腔鏡１１０のフォーカス制御を行う指令であることを認識する。そして、制御情報生成部５４０は、認識した指令を実行するための制御情報を生成する。
【００５０】
以上により、術者２０は、コマンド入力に適している音声で撮影制御の内容を入力し、位置入力に適している視線で撮影制御に必要な位置を入力することができる。従って、術者２０は、撮影制御に関する指令を容易に行うことができる。
【００５１】
また、入力情報のうちの音声認識結果が「ピボット」であり、視線位置情報がディスプレイ１４０の画面内の位置を表し、視線位置情報が時間的に変化せず、術者２０の頭部の動きが移動である場合、かつ、操作情報がフットスイッチ１８０の押下を表す場合、制御情報生成部５４０は、術者２０からの指令が、頭部の動きに応じて腹腔鏡１１０がピボット動作するようにカメラアーム１２０を制御する指令であることを認識する。そして、制御情報生成部５４０は、認識した指令を実行するための制御情報を生成する。
【００５２】
入力情報のうちの音声認識結果が「スライド」であり、術者２０の頭部の動きが回転であり、視線位置情報がディスプレイ１４０の画面内の位置を表し、視線位置情報が表す位置の時間的変化の方向が、頭部の回転方向と同一である場合、かつ、操作情報がフットスイッチ１８０の押下を表す場合、制御情報生成部５４０は、術者２０からの指令が、視線の位置に応じて腹腔鏡１１０がスライド動作するようにカメラアーム１２０を制御する指令であることを認識する。そして、制御情報生成部５４０は、認識した指令を実行するための制御情報を生成する。
【００５３】
なお、ピボット動作指令およびスライド動作指令は、カメラアーム１２０の駆動制御に関する指令であるため、これらの指令の種類はカメラアーム制御に分類される。
【００５４】
５．術者による命令から制御情報への変換について
術者２０がディスプレイ１４０を見ながら出した命令は、認識部５２０によって認識され、制御情報生成部５４０によって制御情報が生成される。以下では、術者２０がディスプレイ１４０を見ながら出した命令を、カメラアーム１２０を動作させるためのカメラアーム命令、カメラ（腹腔鏡１１０、ビデオ顕微鏡）を動作させるためのカメラ命令に変換する手法について説明する。
【００５５】
術者２０は、ビデオ画面を見ながら使用する命令として、ズーム命令、カメラを並進動作させるムーブ命令、カメラを対象物に対して旋回させるピボット命令、カメラのパン・チルト・ロール命令を使用する。ビデオ顕微鏡１１２のためのカメラアーム命令には２次元ムーブ、ピボット、パン・チルト・ロール命令を使用し、カメラ命令にズームを使用する。腹腔鏡１１０の場合のカメラアーム命令には、３次元ムーブ、パン・チルト・ロール命令を使用する。ビデオ顕微鏡１１２の場合と腹腔鏡１１０の場合でカメラアーム１２０とカメラへの命令が異なるが、術者２０が使う命令は同一である。
【００５６】
図７〜図１０は、ビデオ顕微鏡１１２のシステム１０００において、ディスプレイ１４０の画面上での命令からカメラアームの命令への変換方式を示す模式図である。図７は、術者２０による画面上のムーブ命令が変換される場合を示している。画面上のムーブ命令は、画面上のＸＹ座標の変化量（ΔＸ，ΔＹ）として入力される。この変化量（ΔＸ，ΔＹ）は、画面のＸ方向またはＹ方向の長さを基準とした割合（％）で示される。画面上の変化量（ΔＸ，ΔＹ）は、カメラアーム１２０の状態に応じたカメラ−被写体間距離（被写体距離ｄ）と、カメラ状態に応じたズーム率ａと、に基づいて、空間座標系に変換されてカメラアーム命令として出力される。この場合、カメラアーム命令は、絶対距離であるΔＸ，ΔＹとなる。
【００５７】
図８は、術者２０による画面上のピボット命令が変換される場合を示している。画面上のピボット命令は、画面水平角Δψｐ、画面垂直角Δθｐとして入力される。画面上のピボット命令は、現在のカメラ角度（画面水平角ψｃ、画面垂直角θｃ）、カメラ−被写体間距離（焦点距離）ｄにより空間座標系に変換されて、カメラアーム命令として出力される。この場合、カメラアーム命令は、Δψａ（水平角）、Δθａ（垂直角）、半径ｄとなる。
【００５８】
図９は、術者２０による画面上のズーム命令の場合を示している。画面上のズーム命令は、Δａ（倍率）として入力される。ズーム命令は、変換されることなく、カメラアーム命令として出力される。この場合、カメラアーム命令はΔａとなる。
【００５９】
図１０は、パン・チルト・ロール命令の場合を示している。パン・チルト・ロール命令は、Δψｃ（画面水平角）、Δθｃ（画面垂直角）、Δθｒ（画面角度）として入力される。パン・チルト・ロール命令の場合も、変換されることなく、ユーザ座標系のパン・チルト・ロール命令がそのままカメラアーム命令に出力される。この場合、カメラアーム命令は、Δψｃ（水平角）、Δθｃ（垂直角）、Δθｒ（角度）となる。
【００６０】
図１１〜図１３は、腹腔鏡１１０のシステム１０００において、ディスプレイ１４０の画面上での命令からカメラアームの命令への変換方式を示す模式図である。図１１は、術者２０による画面上のパン・チルト・ロール命令の場合を示している。画面上のパン・チルト・ロール命令は、Δψｃ（画面水平角）、Δθｃ（画面垂直角）、Δθｒ（画面角度）として入力される。画面上のパン・チルト・ロール命令は、支点であるトロッカ１６０ａにより方向が反転されてカメラアーム命令に変換されて出力される。この場合、カメラアーム命令は、−Δψｃ（水平角）、−Δθｃ（垂直角）、Δθｒ（角度）となる。
【００６１】
図１２は、術者２０による画面上のムーブ命令の場合を示している。ムーブ命令は画面上での移動量（ΔＸ，ΔＹ）として入力される。この変化量（ΔＸ，ΔＹ）は、画面のＸ方向またはＹ方向の長さを基準とした割合（％）で示される。画面上のムーブ命令は、腹腔鏡１１０の先端から被写体までの距離ｄにより空間座標変換されて、パン・チルト・ロール命令と３次元ムーブ命令で表現される。この場合、カメラアーム命令は、−Δψｃ（水平角）、−Δθｃ（垂直角）で表されるパン・チルト・ロール命令と、Δｚ（軸方向深さ）で表されるムーブ命令で表される。このように、被写体を平面と仮定すると、焦点距離を保つためにムーブ命令のパン・チルト動作に伴って深さ方向の並進移動も加わることになる。
【００６２】
図１３は、術者２０による画面上のピボット命令の場合を示している。画面上のピボット命令は、Δψｐ（画面水平角）、Δθｐ（画面垂直角）として入力される。カメラアーム命令としてパン・チルト・ロール命令と軸方向のムーブ命令を、カメラ命令として電子ズームの切り取り範囲を示すクロップ命令を使用する。パン・チルト・ロール命令は、−Δψｃ（水平角）、−Δθｃ（垂直角）で表される。軸方向のムーブ命令は、Δｚｃ（軸方向深さ）で表される。また、クロップ命令は、画面上での移動量（ΔＸ，ΔＹ）と倍率（Δａ）で表される。
【００６３】
術者２０による画面上のズーム命令の場合、画面上のズーム命令は倍率（Δａ）として入力される。入力された画面上のズーム命令に対して、ズームレンズを備えていない腹腔鏡１１０の場合、鏡筒先端と撮影対象間の距離ｄを調整することで代替する。この場合、視認対象との焦点距離がずれるので、カメラアーム命令としてムーブ命令（Δｚ（軸方向深さ）を出力し、カメラ命令としてフォーカス命令ｄ＋ΔＲ（軸方向焦点距離）を使用する。
【００６４】
また、電子ズーム命令の場合、画面上での移動量（ΔＸ，ΔＹ）と倍率（Δａ）が入力される。この場合、入力が変換されることなく、カメラ命令として出力される。
【００６５】
図１４は、図７〜図１３に示した画面上での命令、カメラアーム命令、カメラ命令の関係を、ズーム、ムーブ、ピボット、パン・チルト・ロールのそれぞれについてまとめた模式図である。
【００６６】
６．識別情報を参照した制御情報の生成
以上のように、ディスプレイ１４０の画面上での命令に対し、カメラアーム１２０や腹腔鏡１１０、ビデオ顕微鏡１１２で行われる動作は異なる。本実施形態では、カメラアーム１２０の先にカメラを装着したビデオ顕微鏡またはビデオ内視鏡において、装置の構成に依存せずに同一の操作方法でカメラの撮影方向や画枠・ズームの制御を可能にする。術者２０が画面上で座標、方向を指定して視点を移動する指示をすると、カメラやカメラアームの実際の制御条件に自動で変換し、使用者がカメラの構成を意識することなく操作することを可能とする。
【００６７】
このため、制御装置５００の識別情報取得部５９０は、腹腔鏡１１０やビデオ内視鏡１１２などのカメラが接続されると、カメラの識別情報を取得する。取得した識別情報はメモリ５９０に一時的に格納される。
【００６８】
制御情報生成部５４０は、制御情報を生成する際に、識別情報取得部５９０が取得した識別情報を参照して制御情報を生成する。識別情報には、カメラの種類を示す情報、例えば腹腔鏡１１０であるか、あるいはビデオ顕微鏡１１２であるかを示す情報が含まれる。これにより、カメラの種類に応じて画面上の命令を実際の動作の命令に変換することが可能となる。
【００６９】
術者２０が画面上でムーブの命令を入力した場合を例に挙げて説明する。ビデオ顕微鏡１１２の場合は、図８に示したように、画面上のムーブ命令は、カメラアーム１２０の状態に応じたカメラ−被写体間距離（被写体距離ｄ）と、カメラ状態に応じたズーム率ａと、に基づいて、空間座標系に変換されてカメラアーム命令（絶対距離；ΔＸ，ΔＹ）として出力される。
【００７０】
一方、腹腔鏡１１０の場合は、図１３に示したように、画面上のズーム命令は、−Δψｃ（水平角）、−Δθｃ（垂直角）で表されるパン・チルト・ロール命令と、Δｚ（軸方向深さ）で表されるムーブ命令で表されるカメラアーム命令に変換される。制御情報生成部５４０は、メモリ５９に格納された識別情報を参照して、ビデオ顕微鏡１１２の場合は図１０に示す手法で画面上の命令をカメラアーム命令に変換し、腹腔鏡１１０の場合は図１３に示す手法で画面上の命令をカメラアーム命令に変換する。従って、カメラの種類に応じて画面上の命令を実際の動作の命令に変換することが可能となる。
【００７１】
図８に示すムーブ命令と、図１３に示すムーブ命令は、画面上で術者２０が指定する命令は同一であるが、カメラアーム１２０に対するカメラアーム命令はそれぞれ異なる。カメラアーム命令に従ってカメラアーム１２０が動作すると、ディスプレイ１４０上での画面の動き（ムーブ）は、図８と図１３とでは同じように表示される。これにより、術者２０などのユーザは、腹腔鏡１１０とビデオ内視鏡１１２のいずれを操作する場合であっても、カメラの種類を意識することなく操作することが可能となる。
【００７２】
識別情報は、最初にカメラと制御装置５００を接続した際に、カメラから制御装置５００に送信されるようにすることが望ましい。
【００７３】
以上の説明では、腹腔鏡１１０とビデオ内視鏡１１２の相違に応じて、制御情報生成部５４０が生成する制御情報が異なる例を示したが、カメラの種類をより細分化し、カメラの種類に応じて異なる制御情報を生成することができる。例えば、カメラの種類として、腹腔鏡１１０を更に細分化し、直視鏡と斜視鏡に分けて、それぞれの識別情報に基づいて制御情報を生成することも可能である。
【００７４】
また、腹腔鏡１１０やビデオ顕微鏡１１２といったカメラの種類のみならず、診療科に応じて異なる制御情報を生成することもできる。図１５は、診療科に応じて動作範囲が異なる様子を示す模式図である。図１５に示すように、脳外科では、焦点距離が３０ｃｍ程度であり、並進（ムーブ）の範囲が±４ｃｍ程度、回旋（ピボット）の範囲が±４５°程度である。
【００７５】
一方、眼科では、鏡筒から対象までの距離ｚは２０ｃｍ程度であり、並進（ムーブ）の範囲が±３ｃｍ程度、回旋（ピボット）の範囲が±６０°程度である。また、歯科では、焦点距離が３０ｃｍ〜４０ｃｍ程度であり、並進（ムーブ）の範囲が±８ｃｍ程度、回旋（ピボット）の範囲がＸ方向で±４５°程度、Ｙ方向で−７０°〜４５°程度である。
【００７６】
以上のように、診療科に応じてカメラの動作範囲が異なる。このため、本実施形態では、カメラを制御装置５００に接続した際に、カメラ側から診療科に応じた動作情報が制御装置５００に送られる。動作情報は、メモリ５９０に格納される。なお、診療科に関する情報は、術者２０がマイクロフォン１７０、キーボード等を用いて制御装置５００に入力しても良い。マイクロフォン１７０を用いて入力する場合は、音声認識部５２２によって音声により認識された診療科に関する情報が、識別情報取得部５９０によって取得される。
【００７７】
制御情報生成部５４０は、制御情報を生成する際に、メモリ５９０に格納された動作情報を参照して制御情報を生成する。これにより、診療科の種類に応じて画面上の命令を実際の動作の命令に変換することが可能となる。従って、診療科毎に異なる動作を自動で実現することができる。なお、ビデオ顕微鏡の適用診療科について、脳神経外科、眼科の仕様が想定できる。また、内視鏡の適用診療科について、消化器外科、肝胆膵外科、泌尿器科、胸部外科、婦人科が想定できる。
【００７８】
なお、上述した例では、腹腔鏡１１０として硬性鏡を例示したが、軟性鏡や、鏡筒が屈曲する内視鏡に適用することも可能である。この場合、画面上のムーブ命令に対して、フレキシブル鏡筒のロール、ＸまたはＹ方向屈曲、ビデオ画面のロール、ロボットアーム命令のムーブ命令への変換により、同等な動作を実現できる。画面上のピボット命令に対しては、カメラアーム命令のパン・チルト・ロール命令、ムーブ命令、フレキシブル鏡筒のロール、ＸまたはＹ方向屈曲、ビデオ画面のロール命令により、同等な動作を実現できる。
【００７９】
以上説明したように本実施形態によれば、制御装置５００に接続される医療用機器を識別するための識別情報を制御装置５００が取得するようにした。これにより、術者２０による命令をカメラアーム、カメラの動きに変換して制御情報を生成する際に、各種医療用機器の構成に応じた制御情報を生成することが可能となる。これにより、医療用機器の構成に依存せずに同一の操作方法でカメラの撮影方向や画枠・ズームの制御を可能にすることができる。
【００８０】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【００８１】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【００８２】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）  支持アーム装置に装着されて人体を撮像する撮像装置に関し、前記撮像装置の動作を指示するための指示情報を認識する認識部と、
前記撮像装置に関連する識別情報を取得する識別情報取得部と、
前記指示情報及び前記識別情報に基づいて、前記撮像装置の動作を制御するための制御情報を生成する制御情報生成部と、
を備える、医療用システムの制御装置。
（２）  前記制御情報は、前記識別情報に応じて前記指示情報を変換することで生成される、前記（１）に記載の医療用システムの制御装置。
（３）  前記識別情報は、前記撮像装置の種類を表す情報である、前記（１）又は前記（２）に記載の医療用システムの制御装置。
（４）  前記識別情報は、前記撮像装置が適用される診療科を表す情報である、前記（１）又は前記（２）に記載の医療用システムの制御装置。
（５）  前記識別情報に基づいて、前記支持アーム装置の動作範囲を規定する前記制御情報が生成される、前記（４）に記載の医療用システムの制御装置。
（６）  前記制御情報は、前記支持アーム装置を制御するための第１の制御情報と前記撮像装置を制御するための第２の制御情報とを含む、前記（１）〜（５）のいずれかに記載の医療用システムの制御装置。
（７）  前記撮像装置はビデオ顕微鏡又はビデオ内視鏡である、前記（１）〜（６）のいずれかに記載の医療用システムの制御装置。
（８）  前記指示情報は、前記撮像装置の前記動作として、ズーム、ムーブ、ピボット及びパン・チルト・ロールのいずれかの動作を指示するための情報である、前記（１）〜（７）のいずれかに記載の医療用システムの制御装置。
（９）  前記識別情報を記憶する記憶部を備える、前記（１）〜（８）のいずれかに記載の医療用システムの制御装置。
（１０）  支持アーム装置に装着されて人体を撮像する撮像装置に関し、前記撮像装置の動作を指示するための指示情報を認識することと、
前記撮像装置に関連する識別情報を取得することと、
前記指示情報及び前記識別情報に基づいて、前記撮像装置の動作を制御するための制御情報を生成することと、
を備える、医療用システムの制御方法。
（１１）  人体を撮像する撮像装置と、
前記撮像装置を支持する支持アーム装置と、
前記撮像装置の動作を指示するための指示情報を認識する認識部と、前記撮像装置に関連する識別情報を取得する識別情報取得部と、前記指示情報及び前記識別情報に基づいて、前記撮像装置の動作を制御するための制御情報を生成する制御情報生成部と、を備える、医療用システムの制御装置と、
を備える、医療用システム。
【符号の説明】
【００８３】
１１０    腹腔鏡
１１２    ビデオ内視鏡
１２０    カメラアーム
５００    制御装置
５２０    認識部
５４０    制御情報生成部
５９０    制御情報取得部
５９２    メモリ
【図１】
2018161377.tif 000003
【図２】
2018161377.tif 000004
【図３】
2018161377.tif 000005
【図４】
2018161377.tif 000006
【図５】
2018161377.tif 000007
【図６】
2018161377.tif 000008
【図７】
2018161377.tif 000009
【図８】
2018161377.tif 000010
【図９】
2018161377.tif 000011
【図１０】
2018161377.tif 000012
【図１１】
2018161377.tif 000013
【図１２】
2018161377.tif 000014
【図１３】
2018161377.tif 000015
【図１４】
2018161377.tif 000016
【図１５】
2018161377.tif 000017