(57)【要約】  本技術は、ユーザの負担なく、自由度の高い入力操作を実現することができるようにする入力制御装置、入力制御方法、および手術システムに関する。目標点決定部は、ディスプレイに表示される術野画像に対するユーザの視線位置と、術野画像において検出された特徴点とに基づいて、術野画像のディスプレイにおける表示の基準となる目標点を決定する。本技術は、手術システムの入力装置に適用することができる。
2018211969.tif 000002
【特許請求の範囲】
【請求項１】
ディスプレイに表示される術野画像に対するユーザの視線位置と、前記術野画像において検出された特徴点とに基づいて、前記術野画像の前記ディスプレイにおける表示の基準となる目標点を決定する目標点決定部
を備える入力制御装置。
【請求項２】
前記目標点決定部は、前記術野画像に対する前記ユーザの視線位置、および、前記術野画像において検出された前記特徴点のいずれかを、前記目標点に決定する
請求項１に記載の入力制御装置。
【請求項３】
前記特徴点は、前記術野画像において検出された、術具の一部を示す点である
請求項２に記載の入力制御装置。
【請求項４】
前記特徴点は、前記術野画像において検出された、術部における生体組織を示す点である
請求項２に記載の入力制御装置。
【請求項５】
前記目標点決定部は、前記術野画像において検出された前記特徴点と、前記術野画像に対する前記ユーザの視線位置とが一致した場合、前記ユーザの操作をトリガとして、前記特徴点を前記目標点に決定する
請求項２に記載の入力制御装置。
【請求項６】
前記目標点決定部は、前記術野画像において検出された前記特徴点と、前記術野画像に対する前記ユーザの視線位置とが一致しない場合、前記ユーザの操作をトリガとして、前記ユーザの視線位置を前記目標点に決定する
請求項５に記載の入力制御装置。
【請求項７】
前記目標点決定部は、前記術野画像において検出された前記特徴点と、前記術野画像に対する前記ユーザの視線位置とが一致した場合、前記特徴点および前記ユーザの視線位置のうちの前記ユーザの操作により選択された方を、前記目標点に決定する
請求項２に記載の入力制御装置。
【請求項８】
前記ディスプレイにおいて、決定された前記目標点を基準として前記術野画像を表示するために駆動する機構を制御するためのパラメータを生成するパラメータ生成部をさらに備える
請求項１に記載の入力制御装置。
【請求項９】
前記パラメータは、前記術野画像を撮影するカメラのズーム制御、および、前記カメラを支持するカメラアームの駆動制御の少なくともいずれかを行うためのパラメータである
請求項８に記載の入力制御装置。
【請求項１０】
入力制御装置が、
ディスプレイに表示される術野画像に対するユーザの視線位置と、前記術野画像において検出された特徴点とに基づいて、前記術野画像の前記ディスプレイにおける表示の基準となる目標点を決定する
ステップを含む入力制御方法。
【請求項１１】
術野画像を撮影するカメラと、
前記術野画像を表示するディスプレイと、
前記ディスプレイに表示される前記術野画像に対するユーザの視線位置と、前記術野画像において検出された特徴点とに基づいて、前記術野画像の前記ディスプレイにおける表示の基準となる目標点を決定する目標点決定部
を有する入力制御装置
を備える手術システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、入力制御装置、入力制御方法、および手術システムに関し、特に、自由度の高い入力操作を実現することができるようにする入力制御装置、入力制御方法、および手術システムに関する。
【背景技術】
【０００２】
近年、手術システムにおいて、術野画像に対する視線など、ユーザ（術者）のＮＵＩ（Natural User Interface）によってカメラのズーム制御やカメラアームの駆動制御を行うことで、画面操作を行うことが提案されている。【０００３】
また、従来、カメラにより取得された術野画像に写る術具などの特徴点を目標点として、カメラのズーム制御やカメラアームの駆動制御を行うことで、画面操作が行われている。【０００４】
例えば、特許文献１には、内視鏡手術システムにおいて、処置具の手元側のスイッチにより表示内容を変更可能なマーカを処置具の先端近傍に設け、内視鏡からの観察画像におけるマーカの表示内容の変化に基づいて、内視鏡を操作することが開示されている。【０００５】
視線位置による画面操作によれば、ユーザは、ハンズフリーで画面内の任意の位置を目標点として選択できる。しかしながら、ユーザは、必然的に注視点以外を観察することができないため、術野を俯瞰的に観察しながら画面操作を行うことができなかった。【０００６】
一方、術具などの特徴点を目標点とした画面操作によれば、ユーザは、その目標点以外を観察することができる。しかしながら、広範囲に術野を観察するためには、術具を移動させる必要があるものの、その術具が臓器を把持しているなど、術具の移動が制限された状態では、ユーザは、所望の画面操作を行えないことがあった。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平９−２８７１３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
したがって、画面操作に用いる目標点は、状況に応じて切り替えられることが望ましいが、その切り替えを、ユーザの負担なく、簡単な入力操作で実現させるものはなかった。【０００９】
本技術は、このような状況に鑑みてなされたものであり、ユーザの負担なく、自由度の高い入力操作を実現することができるようにするものである。
【課題を解決するための手段】
【００１０】
本技術の入力制御装置は、ディスプレイに表示される術野画像に対するユーザの視線位置と、前記術野画像において検出された特徴点とに基づいて、前記術野画像の前記ディスプレイにおける表示の基準となる目標点を決定する目標点決定部を備える。【００１１】
本技術の入力制御方法は、入力制御装置が、ディスプレイに表示される術野画像に対するユーザの視線位置と、前記術野画像において検出された特徴点とに基づいて、前記術野画像の前記ディスプレイにおける表示の基準となる目標点を決定するステップを含む。【００１２】
本技術の手術システムは、術野画像を撮影するカメラと、前記術野画像を表示するディスプレイと、前記ディスプレイに表示される前記術野画像に対するユーザの視線位置と、前記術野画像において検出された特徴点とに基づいて、前記術野画像の前記ディスプレイにおける表示の基準となる目標点を決定する目標点決定部を有する入力制御装置を備える。【００１３】
本技術においては、ディスプレイに表示される術野画像に対するユーザの視線位置と、前記術野画像において検出された特徴点とに基づいて、前記術野画像の前記ディスプレイにおける表示の基準となる目標点が決定される。
【発明の効果】
【００１４】
本技術によれば、ユーザの負担なく、自由度の高い入力操作を実現することが可能となる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１５】
【図１】本技術を適用した手術システムの構成例を示す図である。
【図２】フットスイッチの外観の構成例を示す上面図である。
【図３】手術システムにおける画面操作の例について説明する図である。
【図４】目標点に基づいた画面操作の具体例について説明する図である。
【図５】手術システムの機能構成例を示すブロック図である。
【図６】動作制御処理の第１の例について説明するフローチャートである。
【図７】目標点決定の一例について説明する図である。
【図８】目標点決定の一例について説明する図である。
【図９】目標点候補のユーザへのフィードバックの例について説明する図である。
【図１０】動作制御停止時の画面表示の例を示す図である。
【図１１】動作制御処理の第２の例について説明するフローチャートである。
【図１２】目標点の選択の一例について説明する図である。
【発明を実施するための形態】
【００１６】
以下、本開示を実施するための形態（以下、実施の形態とする）について説明する。なお、説明は以下の順序で行う。
【００１７】
１．手術システムの概要
２．手術システムの機能構成例
３．手術システムの動作制御処理の第１の例
４．手術システムの動作制御処理の第２の例
【００１８】
＜１．手術システムの概要＞
図１は、本技術を適用した手術システムの構成例を示すブロック図である。
【００１９】
手術システム１０は、術野カメラ１１、カメラアーム１２、動作認識用カメラ１３、ディスプレイ１４、制御装置１５、手術台１６、マイクロフォン１７、およびフットスイッチ１８により構成される。手術システム１０は、手術室などに配置され、術野カメラ１１により撮影される画像を参照した外科手術などの処置を可能にする。
【００２０】
術野カメラ１１（手術用撮影装置）は、カメラアーム１２により支持された３Ｄカメラなどのモダリティ機器である。術野カメラ１１は、手術台１６に横たわる患者２１の術野などを撮影し、その結果得られる３Ｄ画像を術野画像として制御装置１５に送信する。カメラアーム１２は、術野カメラ１１を支持し、術野カメラ１１の位置や角度を制御する。
【００２１】
動作認識用カメラ１３は、例えば２Ｄカメラであり、ディスプレイ１４の上に配置される。動作認識用カメラ１３は、マイクロフォン１７を頭部２２Ａに装着した術者２２を撮影する。動作認識用カメラ１３は、撮影の結果得られる２Ｄ画像を術者画像として制御装置１５に送信する。
【００２２】
ディスプレイ１４は、比較的小さい画面を有する３Ｄディスプレイであり、術者２２から比較的近い位置（図１の例では、手術台１６の上の術者２２に近い位置）に配置される。ディスプレイ１４は、制御装置１５から送信されてくる術野画像などを表示する。
【００２３】
制御装置１５は、手術システム１０の制御モードを、手動モードまたはハンズフリーモードに設定する。手動モードは、術者２２の手による入力（例えば、カメラアーム１２への加力や、各部に設けられた図示せぬ操作ボタンなどの操作）に基づいて手術システム１０の制御を行うモードである。ハンズフリーモードは、術者２２の手によらない、音声、視線、頭部２２Ａの動きや方向、ジェスチャなどの非接触の入力や、フットスイッチ１８への脚部２２Ｂの接触による入力に基づいて、手術システム１０の制御を行うモードである。
【００２４】
以下においては、主に、制御モードがハンズフリーモードである場合の動作について説明する。
【００２５】
制御装置１５は、動作認識用カメラ１３から送信されてくる術者画像内の頭部２２Ａの位置を検出することにより、頭部２２Ａの動きや方向を認識する。また、制御装置１５は、術者画像から術者２２の視線の方向を検出し、その方向に基づいてディスプレイ１４の画面上の視線の位置を認識する。
【００２６】
なお、手術システム１０では、視線検出は、動作認識用カメラ１３により撮影された術者画像を用いて行われるようにしたが、術者２２が、視線検出デバイスを備えた眼鏡を装着し、視線検出デバイスが視線検出を行うようにしてもよい。
【００２７】
また、手術システム１０では、動作認識用カメラ１３と術者２２との距離が短いため、術者画像から頭部２２Ａの動きや方向を検出したが、術者２２がマーカを装着し、術者画像内のマーカの位置から頭部２２Ａの動きや方向を検出するようにしてもよい。
【００２８】
制御装置１５は、マイクロフォン１７から送信されてくる音声を受信し、その音声に対して音声認識を行う。制御装置１５は、フットスイッチ１８から送信されてくるフットスイッチ１８に対する操作を表す操作信号を受信し、その操作信号に基づいてフットスイッチ１８に対する操作の内容を認識する。
【００２９】
さらに、制御モードがハンズフリーモードである場合、制御装置１５は、頭部２２Ａの動きや方向、術者２２のジェスチャ、ディスプレイ１４の画面上の視線の位置を表す視線位置情報、音声認識結果、音量、およびフットスイッチ１８に対する操作の内容を表す操作情報を入力情報とする。制御装置１５は、入力情報に基づいて術者２２からの指令および術者２２の状態を認識する。
【００３０】
制御装置１５は、術者２２の状態に応じて、術者２２からの指令を許可する。制御装置１５は、許可された指令に応じて、術野カメラ１１の撮影を制御したり、カメラアーム１２の駆動を制御したり、ディスプレイ１４の表示を制御したり、制御モードを変更したりする。
【００３１】
マイクロフォン１７は、術者２２の頭部２２Ａに装着される。マイクロフォン１７は、術者２２の音声などを含む周囲の音声を取得し、制御装置１５に送信する。
【００３２】
フットスイッチ１８は、術者２２の周囲に配置され、術者２２の脚部２２Ｂの接触により操作される。フットスイッチ１８は、術者２２の脚部２２Ｂによる操作を表す操作信号を制御装置１５に送信する。
【００３３】
以上のように構成される手術システム１０において、術者２２は、患者２１を手術台１６の上に横たわらせ、ディスプレイ１４に表示される術野画像などを見ながら、外科手術などの処置を行う。
【００３４】
また、術者２２は、制御モード、術野カメラ１１の撮影条件、術野カメラ１１の位置や角度、ディスプレイ１４の表示などを変更する場合、非接触の入力または足の接触による入力を行う。したがって、術者２２は、図示せぬ術具を把持した状態で入力を行うことができる。したがって、術者２２は、入力を行うたびに滅菌処理を行う必要がない。
【００３５】
なお、視線検出方法、術者２２の頭部２２Ａの動きや方向、および、ジェスチャの検出方法、音声の取得方法としては、任意の方法を採用することができる。例えば、視線検出デバイスやマイクロフォン１７は、ウェアラブルデバイスでなくてもよい。
【００３６】
（フットスイッチの外観構成と画面操作の例）
図２は、フットスイッチ１８の外観の構成例を示す上面図である。
【００３７】
フットスイッチ１８は、操作入力部として、レバー３１と踏込み部３２とを有している。
【００３８】
レバー３１は、いわゆるジョイスティックとして構成され、脚部２２Ｂによる操作入力を受け付ける。レバー３１は、例えば、手動モードにおける術野カメラ１１の位置決めなどに用いられる。
【００３９】
踏込み部３２は、全体として物理的なボタンとして構成され、脚部２２Ｂによる操作入力を受け付ける。踏込み部３２は、手術システム１０の各部の制御に用いられる。本実施の形態においては、術者２２の動作と、脚部２２Ｂにより踏み込まれる踏込み部３２の位置とに応じて、動作モードが設定される。そして、設定された動作モードに従って、術野カメラ１１およびカメラアーム１２の制御が行われることで、ディスプレイ１４に表示される術野画像の画面操作が行われる。
【００４０】
例えば、踏込み部３２の左上部３２ａまたは右上部３２ｂが踏み込まれることで、図３上段に示されるように、ディスプレイ１４に表示される術野画像上の所定の目標点が画面の中心に移動しながら、術野画像が拡大また縮小される（動作モード：ズーム）。
【００４１】
また、踏込み部３２の左下部３２ｃまたは右下部３２ｄが踏み込まれながら、術者２２の頭部２２Ａが左右に傾くことで、図３中段に示されるように、ディスプレイ１４に表示される術野画像上の所定の目標点が画面の中心に移動しながら、術野画像の撮影角度が変更される（動作モード：ピボット）。
【００４２】
さらに、踏込み部３２の左下部３２ｃまたは右下部３２ｄが踏み込まれることで、図３下段に示されるように、ディスプレイ１４に表示される術野画像上の所定の目標点が画面の中心に移動する（動作モード：ムーブ）。
【００４３】
なお、動作モードとして、上述したズーム、ピボット、およびムーブの各動作に限らず、任意の動作モードが設定されるようにしてもよい。
【００４４】
（目標点に基づいた画面操作の具体例）
ここで、図４を参照して、目標点に基づいた画面操作の具体例について説明する。
【００４５】
手術システム１０においては、術野画像上で表示の基準となる目標点が決定され、その目標点が画面の中心に移動するまで、逐次的にカメラアーム１２の駆動制御が行われる。
【００４６】
例えば、図４に示されるように、術野画像に対するユーザの視線位置Ｅ１を目標点とした場合、視線位置Ｅ１が画面の中心になるように、カメラアーム１２の追従動作が行われる。このとき、図３を参照して説明した画面操作によらず、カメラアーム１２の追従動作が行われる。例えば、ズーム動作においては、術野画像を拡大しながら、視線位置Ｅ１が画面の中心になるようにカメラアーム１２の追従動作が行われ、ムーブ動作においては、単に、視線位置Ｅ１が画面の中心になるようにカメラアーム１２の追従動作が行われる。
【００４７】
＜２．手術システムの機能構成例＞
図５は、手術システム１０の機能構成例を示すブロック図である。
【００４８】
図５に示される手術システム１０は、術野カメラ１１、カメラアーム１２、ディスプレイ１４、ユーザＩ／Ｆ（インタフェース）５１、入力制御装置５２、および制御装置７１から構成される。
【００４９】
ユーザＩ／Ｆ５１は、手術システム１０における各種の入力装置として構成される。ユーザ（術者２２）は、ユーザＩ／Ｆ５１を介して、手術システム１０に対して各種の情報の入力や指示入力を行うことができる。ユーザＩ／Ｆ５１に対して行われた入力の内容を示す入力情報は、入力制御装置５２に供給される。
【００５０】
ユーザＩ／Ｆ５１には、動作認識用カメラ１３、マイクロフォン１７、フットスイッチ１８などが含まれる。動作認識用カメラ１３は、術者を撮影した術者画像を入力情報として、入力制御装置５２に供給する。また、フットスイッチ１８は、術者２２の操作の内容を表す操作情報を入力情報として、入力制御装置５２に供給する。
【００５１】
さらに、ユーザＩ／Ｆ５１に、例えばメガネ型のウェアラブルデバイスやＨＭＤ（Head Mounted Display）などの、ユーザによって装着されるデバイスが含まれるようにし、これらのデバイスによって検出されるユーザのジェスチャや視線に応じて各種の入力が行われるようにしてもよい。
【００５２】
入力制御装置５２は、ユーザＩ／Ｆ５１からの入力情報に基づいて、制御装置７１が術野カメラ１１およびカメラアーム１２の制御に用いる制御情報を生成し、制御装置７１に供給する。
【００５３】
入力制御装置５２は、目標点決定部６１、パラメータ生成部６２、および動作モード判定部６３を備えている。
【００５４】
目標点決定部６１は、ユーザＩ／Ｆ５１から入力情報に基づいて、術野画像のディスプレイ１４における表示の基準となる目標点を決定する。
【００５５】
具体的には、目標点決定部６１は、ユーザＩ／Ｆ５１から入力情報として供給される術者画像から術者２２の視線の方向を検出し、その方向に基づいてディスプレイ１４の画面上の視線位置を認識する。また、目標点決定部６１は、制御装置７１から供給される、術野カメラ１１により撮影された術野画像において検出された特徴点を表す情報を取得する。そして、目標点決定部６１は、術者２２の視線位置、および、術野画像において検出された特徴点のいずれかを、ディスプレイ１４における表示の基準となる目標点に決定する。
【００５６】
パラメータ生成部６２は、ディスプレイ１４において、目標点決定部６１によって決定された目標点を基準として術野画像を表示するために、術野カメラ１１およびカメラアーム１２を制御するためのパラメータを生成する。パラメータ生成部６２により生成されたパラメータは、制御情報として制御装置７１に供給される。
【００５７】
動作モード判定部６３は、ユーザＩ／Ｆ５１から入力情報として供給されてくる術者画像内の頭部２２Ａの位置を検出することにより、頭部２２Ａの動きや方向など、術者２２の動作を認識する。動作モード判定部６３は、術者２２の動作の認識結果に基づいて、術者２２が指示している動作モード（ズーム、ピボット、およびムーブ）を判定し、その動作モードを表す動作モード情報を、制御情報として制御装置７１に供給する。
【００５８】
制御装置７１は、入力制御装置５２からの制御情報に基づいて、術野カメラ１１およびカメラアーム１２の動作を制御するとともに、ディスプレイ１４における術野画像の表示を制御する。
【００５９】
制御装置７１は、ＣＣＵ（Camera Control Unit）８１、およびアーム制御部８２を備えている。
【００６０】
ＣＣＵ８１は、術野カメラ１１およびディスプレイ１４の動作を制御する。
【００６１】
具体的には、ＣＣＵ８１は、パラメータ生成部６２からのパラメータと、動作モード判定部６３からの動作モード情報とに基づいて、術野カメラ１１のズーム制御やフォーカス制御を行う。術野カメラ１１のズーム制御においては、光学ズームの制御が行われてもよいし、デジタルズームの制御が行われるようにしてもよい。
【００６２】
ＣＣＵ８１は、画像処理部９１を有している。
【００６３】
画像処理部９１は、術野カメラ１１により撮影された術野画像に対して、画像を表示するための各種の画像処理を施し、ディスプレイ１４に供給する。さらに、画像処理部９１は、特徴点検出部１０１を有している。
【００６４】
特徴点検出部１０１は、術野カメラ１１により撮影された術野画像から所定の特徴点を検出し、その特徴点を表す情報を入力制御装置５２に供給する。例えば、特徴点検出部１０１は、手術で用いられる術具の一部や、術部における生体組織である臓器や血管など、術野画像中の特徴的な領域を検出する。なお、特徴点検出部１０１は、例えばＣＴ（Computed Tomography）画像や、手術用ナビゲーションシステムからの情報などの外部情報を参照することで、特徴点を検出するようにしてもよい。
【００６５】
アーム制御部８２は、パラメータ生成部６２からのパラメータと、動作モード判定部６３からの動作モード情報とに基づいて、カメラアーム１２の駆動制御を行う。
【００６６】
なお、図５の例において、入力制御装置５２は、ユーザＩ／Ｆ５１と一体となって構成されるようにもできるし、制御装置７１と一体となって構成されるようにしてもよい。
【００６７】
以上のような構成により、手術システム１０においては、ユーザの視線位置や、術部画像において検出された特徴点を目標点として、画面操作が行われる。
【００６８】
従来の手術システムにおいては、視線位置による画面操作によれば、ユーザは、ハンズフリーで画面内の任意の位置を目標点として選択できる。しかしながら、ユーザは、必然的に注視点以外を観察することができないため、術野を俯瞰的に観察しながら画面操作を行うことができなかった。
【００６９】
一方、術具などの特徴点を目標点とした画面操作によれば、ユーザは、その目標点以外を観察することができる。しかしながら、広範囲に術野を観察するためには、術具を移動させる必要があるものの、その術具が臓器を把持しているなど、術具の移動が制限された状態では、ユーザは、所望の画面操作を行えないことがあった。
【００７０】
したがって、画面操作に用いる目標点は、状況に応じて切り替えられることが望ましい。
【００７１】
しかしながら、目標点の切り替えを、ボタンなどに対する入力操作により行うことは、場合によっては、ユーザの負担になるおそれがある。特に、目標点の候補が複数存在する場合には、ユーザの混乱を避けるため、目標点の切り替えを、より簡単な入力操作で実現させる必要がある。
【００７２】
そこで、以下においては、画面操作に用いる目標点の切り替えを、ユーザの負担なく、簡単な入力操作で実現させる手術システム１０の動作制御処理について説明する。
【００７３】
＜３．手術システムの動作制御処理の第１の例＞
まず、図６のフローチャートを参照して、手術システム１０の動作制御処理の第１の例について説明する。この例では、動作モードとしてムーブ動作が行われる場合の処理について説明する。
【００７４】
ステップＳ１１において、目標点決定部６１は、ユーザＩ／Ｆ５１からの術者画像から術者２２の視線が検出されたか否かを判定する。ステップＳ１１の処理は、術者２２の視線が検出されるまで繰り返される。そして、術者２２の視線が検出されたと判定されると、処理はステップＳ１２に進む。
【００７５】
ステップＳ１２において、特徴点検出部１０１は、術野カメラ１１により撮影された術野画像から特徴点を検出する。
【００７６】
ステップＳ１３において、目標点決定部６１は、特徴点検出部１０１によって術野画像において検出された特徴点と、術者２２の視線位置とが一致したか否かを判定する。ステップＳ１３において、特徴点と術者２２の視線位置とが一致したと判定されると、処理はステップＳ１４に進む。
【００７７】
ステップＳ１４において、目標点決定部６１は、術者２２の視線位置と一致した特徴点を目標点候補に選択する。
【００７８】
一方、ステップＳ１３において、特徴点と術者２２の視線位置とが一致していないと判定された場合、処理はステップＳ１５に進む。
【００７９】
ステップＳ１５において、目標点決定部６１は、視線位置を目標点候補に選択する。
【００８０】
ステップＳ１６において、動作モード判定部６３は、フットスイッチ１８が操作されたか否かを判定する。ここでのフットスイッチ１８の操作は、動作モードを指示するための操作である。フットスイッチ１８が操作されるまでの間（動作モードが指示されるまでの間）、ステップＳ１３乃至Ｓ１５の処理が繰り返され、目標点候補の選択が繰り返される。そして、フットスイッチ１８が操作されたと判定されると、処理はステップＳ１７に進む。
【００８１】
ステップＳ１７において、目標点決定部６１は、フットスイッチ１８が操作されたことをトリガに、目標点候補に選択した特徴点または視線位置を目標点に決定する。
【００８２】
ステップＳ１８において、パラメータ生成部６２は、ディスプレイ１４において、目標点決定部６１によって決定された目標点を基準として術野画像を表示するためのパラメータを生成する。
【００８３】
ステップＳ１９において、ＣＣＵ８１およびアーム制御部８２は、パラメータ生成部６２によって生成されたパラメータと、動作モード判定部６３からのムーブ動作を表す動作モード情報とに基づいて、術野カメラ１１のズーム制御およびカメラアーム１２の駆動制御を行う。
【００８４】
例えば、ＣＣＵ８１は、目標点を画面の中心に移動させるために必要なカメラアーム１２の駆動量を、術野カメラ１１の画角情報などに基づいて算出することで、カメラアーム１２の駆動を制御する。
【００８５】
ステップＳ２０において、動作モード判定部６３は、フットスイッチ１８が操作されているか否かを判定する。フットスイッチ１８が操作されている間、ステップＳ１６，Ｓ１７の処理が繰り返され、この例では、目標点を基準としたムーブ動作が継続的に行われる。
【００８６】
一方、ステップＳ２０において、フットスイッチ１８が操作されていないと判定された場合、術野カメラ１１のズーム制御およびカメラアーム１２の駆動制御は停止され、処理は終了する。
【００８７】
例えば、図７上段に示される術野画像においては、術具１５１の先端が特徴点Ｐ１１として検出され、術具１５２の先端が特徴点Ｐ１２として検出されている。ここで、術者２２が、特徴点Ｐ１１と特徴点Ｐ１２のうち、特徴点Ｐ１１を目標点としたい場合、術者２２が特徴点Ｐ１１を注視することで、術者２２の視線位置Ｅ１１と、特徴点Ｐ１１とが一致する。
【００８８】
そして、この状態で、術者２２が、ムーブ動作を指示するフットスイッチ１８の操作を行うことで、図７下段に示されるように、特徴点Ｐ１１（術具１５１の先端）が術野画像の中心となる。
【００８９】
また、図８上段に示される術野画像においては、血管のある一部が特徴点Ｐ２１として検出され、血管の他の一部が特徴点Ｐ２２として検出されている。ここで、術者２２が、特徴点Ｐ２１と特徴点Ｐ２２のうち、特徴点Ｐ２１を目標点としたい場合、術者２２が特徴点Ｐ２１を注視することで、術者２２の視線位置Ｅ２１と、特徴点Ｐ２１とが一致する。
【００９０】
そして、この状態で、術者２２が、ムーブ動作を指示するフットスイッチ１８の操作を行うことで、図８下段に示されるように、特徴点Ｐ２１が術野画像の中心となる。
【００９１】
なお、図８の例においては、ＣＴ画像や手術用ナビゲーションシステムからの情報などの外部情報を用いて、血管や臓器などの特徴点が検出されるようにしてもよい。
【００９２】
また、図７や図８の例では、視線位置によって、特徴点のいずれかが目標点候補として選択された状態で、フットスイッチ１８が操作されることで、目標点が決定されるものとしたが、上述した処理においては、視線位置そのものを目標点に決定することもできる。
【００９３】
例えば、図７や図８の例のように、選択可能な特徴点が存在する場合であっても、それらを視線位置によって選択しない状態で、フットスイッチ１８が操作されることで、視線位置そのものが目標点候補として選択される。また、術野画像において特徴点が検出されない状態で、フットスイッチ１８が操作されることで、視線位置そのものが目標点に決定されるようにしてもよい。
【００９４】
以上の処理によれば、術野画像に対するユーザの視線位置、および、術野画像において検出された特徴点のいずれかが、ユーザの操作をトリガとして、目標点に決定されるので、画面操作に用いる目標点の切り替えを、ユーザの負担なく、簡単な入力操作で実現することが可能となる。
【００９５】
なお、上述した処理において、ユーザの視線位置や、術具や生体組織の特徴点など、目標点候補となる点を表す情報が、術野画像上に常に表示されるようにしてもよいし、常には表示されないようにしてもよい。特に、手術に用いられる術野画像において、手技に関係のない情報の提示は、手術の進行の妨げになるおそれがあり、常に表示されない方が望ましい場合もある。
【００９６】
図９は、目標点候補となる点のユーザへのフィードバックの例を示す図である。
【００９７】
図９のＡ，Ｂそれぞれの術野画像においては、術具１５１の先端が特徴点Ｐ１１として検出され、術具１５２の先端が特徴点Ｐ１２として検出されている。そのうちのいずれかが、ユーザの視線位置Ｅ１１と一致した場合に、その旨がユーザへフィードバックされる。
【００９８】
図９のＡの例では、視線位置Ｅ１１と特徴点Ｐ１１とが一致することで、特徴点Ｐ１１の領域が強調表示されている。また、図９のＢの例では、視線位置Ｅ１１と特徴点Ｐ１１とが一致することで、例えば「術具１を選択できます」などの音声メッセージが出力される。これにより、手術の進行の妨げになることなく、目標点候補となる点をユーザに認識させることができる。
【００９９】
なお、ユーザへのフィードバックの手法は、図９で例示したものに限られない。
【０１００】
また、上述した処理において、フェールセーフの観点から、強制的に動作制御処理を停止する処理が行われるようにしてもよい。
【０１０１】
例えば、術具の先端が目標点に決定され、その目標点に基づいて、カメラアーム１２の追従動作が行われる中で、その術具の先端が、術野画像から急にフレームアウトする場合が考えられる。
【０１０２】
そこで、図１０上段に示されるように、術具１５１の先端（特徴点Ｐ１１）が目標点に決定された後、画面上での特徴点Ｐ１１の座標が常時モニタリングされるようにする。
【０１０３】
そして、図１０下段に示されるように、画面上に設定された、画面中心を基準とした所定の大きさの矩形領域１７１内に、特徴点Ｐ１１の座標が位置するか否かが判定されるようにする。矩形領域１７１内に、特徴点Ｐ１１の座標が位置しないと判定された場合、強制的に動作制御処理が停止されるようにする。
【０１０４】
さらに、カメラアーム１２の追従動作が行われる中で、目標点候補を選択するユーザの視線位置が検出できなくなった場合にも、強制的に動作制御処理が停止されるようにしてもよい。
【０１０５】
＜４．手術システムの動作制御処理の第２の例＞
次に、図１１のフローチャートを参照して、手術システム１０の動作制御処理の第２の例について説明する。
【０１０６】
なお、図１１のフローチャートのステップＳ３１，Ｓ３２，Ｓ３６乃至Ｓ３８における処理は、図６のフローチャートのステップＳ１１，Ｓ１２，Ｓ１８乃至Ｓ２０における処理と同様であるので、その説明は省略する。
【０１０７】
また、図１１の処理においては、術野画像における特徴点およびユーザの視線位置のいずれかが、あらかじめ目標点に設定されているものとする。
【０１０８】
ステップＳ３３において、目標点決定部６１は、特徴点検出部１０１によって術野画像において検出された特徴点と、術者２２の視線位置とが一致したか否かを判定する。ステップＳ３３の処理は、特徴点と術者２２の視線位置とが一致するまで繰り返される。そして、ステップＳ３３において、特徴点と術者２２の視線位置とが一致したと判定されると、処理はステップＳ３４に進む。
【０１０９】
ステップＳ３４において、目標点決定部６１は、ユーザ（術者２２）の選択に応じて、術者２２の視線位置と一致した特徴点、および、術者２２の視線位置のいずれかを目標点に決定する。
【０１１０】
例えば、図１２上段に示される術野画像においては、術具１５１の先端が特徴点Ｐ１１として検出され、術具１５２の先端が特徴点Ｐ１２として検出されている。ここでは、術者２２の視線位置Ｅ１１があらかじめ目標点に設定されているものとする。この状態で、術者２２が特徴点Ｐ１１を注視すると、術者２２の視線位置Ｅ１１と、特徴点Ｐ１１とが一致する。
【０１１１】
このとき、術野画像上には、視線位置Ｅ１１と特徴点Ｐ１１のいずれを目標点に決定するかを術者２２に選択させるためのポップアップウィンドウ１８１が表示される。ポップアップウィンドウ１８１には、視線位置Ｅ１１を目標点に決定するためのボタンと、特徴点Ｐ１１（術具１５１の先端）を目標点に決定するためのボタンとが設けられる。これらのボタンは、例えばフットスイッチ１８が操作されることにより、選択状態がトグルされ、最終的にいずれか一方が選択される。
【０１１２】
図１２の例では、特徴点Ｐ１１を目標点に決定する（目標点を視線位置Ｅ１１から特徴点Ｐ１１に切り替える）ことが選択され、図１２下段に示されるように、特徴点Ｐ１１（術具１５１の先端）が術野画像の中心となる。
【０１１３】
なお、図１２の例では、視線位置Ｅ１１と特徴点Ｐ１１のいずれを目標点に決定するかを術者２２に選択させるために、ポップアップウィンドウ１８１が表示されるものとしたが、これに限らず、例えば音声などによって、その旨が術者２２に対して通知されるようにしてもよい。
【０１１４】
また、フットスイッチ１８が操作されることにより、視線位置Ｅ１１と特徴点Ｐ１１のいずれを目標点に決定するかが選択されるものとしたが、これに限らず、その他の手段によって、視線位置Ｅ１１と特徴点Ｐ１１のいずれを目標点に決定するかが選択されるようにしてもよい。
【０１１５】
このようにして、目標点が決定された後、ステップＳ３５において、目標点決定部６１は、動作モードを指示するためにフットスイッチ１８が操作されたか否かを判定する。ステップＳ３５の処理は、フットスイッチ１８が操作されるまで繰り返される。そして、フットスイッチ１８が操作されたと判定されると、処理はステップＳ３６に進む。
【０１１６】
ステップＳ３６以降においては、指示された動作モードに従って、術野カメラ１１のズーム制御およびカメラアーム１２の駆動制御が行われる。
【０１１７】
以上の処理によれば、術野画像において検出された特徴点と、術野画像に対するユーザの視線位置とが一致したときに、その特徴点およびユーザの視線位置のうちのユーザの操作により選択された方が目標点に決定されるので、画面操作に用いる目標点の切り替えを、ユーザの負担なく、簡単な入力操作で実現することが可能となる。
【０１１８】
なお、上述した処理においては、視線位置と特徴点のいずれを目標点に決定するかを術者２２に選択させるための表示や通知、言い換えると、目標点の切り替えの問い合わせは、特徴点と術者２２の視線位置とが一致した時に行われるものとしたが、術者２２により指定されたタイミングや、予め決まった時間間隔毎など、任意のタイミングで行われるようにしてもよい。
【０１１９】
また、目標点の切り替えの問い合わせは、図６のフローチャートを参照して説明した動作制御処理において行われるようにしてもよい。この場合、例えば、ユーザの視線位置、術具、血管などの生体組織の３点が一致したときに、目標点の切り替えの問い合わせが行われるようにする。
【０１２０】
以上においては、術野画像の表示の基準となる目標点を、画面の中心に移動させる構成について説明したが、これに限らず、目標点を、画面上の任意の位置に移動させるようにしてもよい。
【０１２１】
なお、上述した手術システムにおいて、入力情報に基づいて制御される制御対象は、術野カメラ１１やカメラアーム１２だけに限らず、それ以外の構成であってもよい。
【０１２２】
以上においては、本開示に係る技術を、術野カメラを用いた手術システムに適用した例について説明したが、本開示に係る技術が適用され得るシステムはかかる例に限定されない。例えば、本開示に係る技術は、内視鏡システムや顕微鏡手術システムに適用されてもよい。
【０１２３】
なお、制御装置７１や入力制御装置５２のハードウェア構成は、制御装置７１や入力制御装置５２の機能を実現できる回路を備えた情報処理装置で構成することができる。制御装置７１や入力制御装置５２を構成する情報処理装置は、例えばＣＰＵ（Central Processor Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、およびストレージ装置を備える。制御装置７１や入力制御装置５２の機能は、ＣＰＵが、例えばＲＯＭまたはストレージ装置にあらかじめ記録されたプログラムを、ＲＡＭ上で展開して実行することで実現される。
【０１２４】
さらに、情報処理装置は、ホストバス、ブリッジ、ＰＣＩ（Peripheral Component Interconnect/Interface）バスなどの外部バス、インタフェース、入力装置、出力装置、ドライブ、接続ポート、および通信装置を備え、相互に接続されていてもよい。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。したがって、本実施の形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
【０１２５】
なお、上述のような本実施の形態に係る手術システムを構成する情報処理装置の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータなどに実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。また、当該コンピュータプログラムを実行させるコンピュータの数は特に限定されない。例えば、当該コンピュータプログラムを、複数のコンピュータ（例えば、複数のサーバなど）が互いに連携して実行してもよい。
【０１２６】
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１２７】
さらに、本技術は以下のような構成をとることができる。
（１）
ディスプレイに表示される術野画像に対するユーザの視線位置と、前記術野画像において検出された特徴点とに基づいて、前記術野画像の前記ディスプレイにおける表示の基準となる目標点を決定する目標点決定部
を備える入力制御装置。
（２）
前記目標点決定部は、前記術野画像に対する前記ユーザの視線位置、および、前記術野画像において検出された前記特徴点のいずれかを、前記目標点に決定する
（１）に記載の入力制御装置。
（３）
前記特徴点は、前記術野画像において検出された、術具の一部を示す点である
（１）または（２）に記載の入力制御装置。
（４）
前記特徴点は、前記術野画像において検出された、術部における生体組織を示す点である
（１）または（２）に記載の入力制御装置。
（５）
前記目標点決定部は、前記術野画像において検出された前記特徴点と、前記術野画像に対する前記ユーザの視線位置とが一致した場合、前記ユーザの操作をトリガとして、前記特徴点を前記目標点に決定する
（２）乃至（４）のいずれかに記載の入力制御装置。
（６）
前記目標点決定部は、前記術野画像において検出された前記特徴点と、前記術野画像に対する前記ユーザの視線位置とが一致しない場合、前記ユーザの操作をトリガとして、前記ユーザの視線位置を前記目標点に決定する
（５）に記載の入力制御装置。
（７）
前記目標点決定部は、前記術野画像において検出された前記特徴点と、前記術野画像に対する前記ユーザの視線位置とが一致した場合、前記特徴点および前記ユーザの視線位置のうちの前記ユーザの操作により選択された方を、前記目標点に決定する
（２）乃至（４）のいずれかに記載の入力制御装置。
（８）
前記ディスプレイにおいて、決定された前記目標点を基準として前記術野画像を表示するために駆動する機構を制御するためのパラメータを生成するパラメータ生成部をさらに備える
（１）乃至（７）のいずれかに記載の入力制御装置。
（９）
前記パラメータは、前記術野画像を撮影するカメラのズーム制御、および、前記カメラを支持するカメラアームの駆動制御の少なくともいずれかを行うためのパラメータである
（８）に記載の入力制御装置。
（１０）
入力制御装置が、
ディスプレイに表示される術野画像に対するユーザの視線位置と、前記術野画像において検出された特徴点とに基づいて、前記術野画像の前記ディスプレイにおける表示の基準となる目標点を決定する
ステップを含む入力制御方法。
（１１）
術野画像を撮影するカメラと、
前記術野画像を表示するディスプレイと、
前記ディスプレイに表示される前記術野画像に対するユーザの視線位置と、前記術野画像において検出された特徴点とに基づいて、前記術野画像の前記ディスプレイにおける表示の基準となる目標点を決定する目標点決定部
を有する入力制御装置
を備える手術システム。
【符号の説明】
【０１２８】
１０  手術システム，  １１  術野カメラ，  １２  カメラアーム，  １３  動作認識用カメラ，  １４  ディスプレイ，  １５  制御装置，  １７  マイクロフォン，  １８  フットスイッチ，  ５１  ユーザＩ／Ｆ，  ５２  入力制御装置，  ６１  目標点決定部，  ６２  パラメータ生成部，  ６３  動作モード判定部，  ７１  制御装置，  ８１  ＣＣＵ，  ８２  アーム制御部，  ９１  画像処理部，  １０１  特徴点検出部
【図１】
2018211969.tif 000003
【図２】
2018211969.tif 000004
【図３】
2018211969.tif 000005
【図４】
2018211969.tif 000006
【図５】
2018211969.tif 000007
【図６】
2018211969.tif 000008
【図７】
2018211969.tif 000009
【図８】
2018211969.tif 000010
【図９】
2018211969.tif 000011
【図１０】
2018211969.tif 000012
【図１１】
2018211969.tif 000013
【図１２】
2018211969.tif 000014
【国際調査報告】
2018211969.tif 000015
2018211969.tif 000016