(57)【要約】【課題】簡単かつ確実にキャリブレーションを実行することができるようにする。【解決手段】入力部により視線の検出値を取得し、参照点検出部により参照点を検出する。推定部により視線が参照点を指向していることを推定する。推定部により視線が参照点を指向していることが推定されたときに、視線の検出値と参照点の差に基づいて、補正部により視線の検出値を補正する。本技術は、例えば術者が術具を用いて手術をしている最中に、術者の視線の検出値を補正する場合に適用することができる。【選択図】図５
2017176414.tif 000002
【特許請求の範囲】
【請求項１】
視線の検出値を取得する入力部と、
参照点を検出する参照点検出部と、
前記視線が前記参照点を指向していることを推定する推定部と、
前記推定部により前記視線が前記参照点を指向していることが推定されたときに、前記視線の検出値と前記参照点の差に基づいて、前記視線の検出値を補正する補正部と
を備える制御装置。
【請求項２】
前記視線は、術具を用いて手術する術者の手術中の視線である
請求項１に記載の制御装置。
【請求項３】
前記推定部は、前記術具が使用中であるとき、前記視線が前記参照点を指向していると推定する
請求項２に記載の制御装置。
【請求項４】
前記術具は通電して使用される
請求項３に記載の制御装置。
【請求項５】
前記参照点検出部は、通電して使用される前記術具の先端を前記参照点として検出し、
前記補正部は、前記視線の検出値と前記術具の先端との誤差に対応して、前記視線の検出値を補正する
請求項４に記載の制御装置。
【請求項６】
前記参照点検出部は、通電して使用される前記術具の軌跡を前記参照点として検出し、
前記補正部は、前記視線の検出値と前記術具の軌跡との誤差に対応して、前記視線の検出値を補正する
請求項４に記載の制御装置。
【請求項７】
前記推定部は、モニタに表示されているオブジェクトのパターンが検出された場合、前記モニタに表示されている前記オブジェクトの前記パターンに基づく動作が切り替えられたとき、前記視線が前記参照点を指向していると推定する
請求項２に記載の制御装置。
【請求項８】
前記参照点検出部は、音声コマンドを受け付けるときモニタに表示されるオブジェクトを前記参照点として検出し、
前記推定部は、前記音声コマンド受け付ける前記オブジェクトの表示が検出されたとき、前記視線が前記参照点を指向していると推定する
請求項２に記載の制御装置。
【請求項９】
視線の検出値を取得する入力ステップと、
参照点を検出する参照点検出ステップと、
前記視線が前記参照点を指向していることを推定する推定ステップと、
前記推定ステップの処理により前記視線が前記参照点を指向していることが推定されたときに、前記視線の検出値と前記参照点の差に基づいて、前記視線の検出値を補正する補正ステップと
を含む制御方法。
【請求項１０】
被手術者の術野を撮影する撮影部と、
前記撮影部により撮影された術野画像を表示する表示部と、
視線の検出値を取得する入力部と、
参照点を検出する参照点検出部と、
前記視線が前記参照点を指向していることを推定する推定部と、
前記推定部により前記視線が前記参照点を指向していることが推定されたときに、前記視線の検出値と前記参照点の差に基づいて、前記視線の検出値を補正する補正部と
を備える手術システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、制御装置および方法並びに手術システムに関し、特に簡単かつ確実にキャリブレーションを実行することができるようにした制御装置および方法並びに手術システムに関する。
【背景技術】
【０００２】
操作者の視線を検出し、モニタに表示されるメニュー、オブジェクト等を視線によって選択させることで、コンピュータの動作を制御することが提案されている。このような制御を実現するには、視線を正確に検出することが必要になる。このため、実際の視線の位置と、検出された視線の位置とのずれを補正するキャリブレーションが要求される。
【０００３】
例えば特許文献１には、選択されたオブジェクトと、表示された他のオブジェクトとの関係に基づいてずれを補正することが提案されている。
【０００４】
また、特許文献２には、音声によるキーワードが検出されたときのオブジェクトの位置に基づいて、ずれを補正することが提案されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１２−６５７８１号公報
【特許文献２】特開２００７−２５９６３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、上記した提案によれば、キャリブレーション専用の画面上で補正を行う場合に較べてキャリブレーションが簡単になるが、正確性が十分でなく、特に医療用のシステムに適用することは困難であった。
【０００７】
本技術はこのような状況に鑑みてなされたものであり、簡単かつ確実にキャリブレーションを実行することができるようにするものである。
【課題を解決するための手段】
【０００８】
本技術の一側面は、視線の検出値を取得する入力部と、参照点を検出する参照点検出部と、前記視線が前記参照点を指向していることを推定する推定部と、前記推定部により前記視線が前記参照点を指向していることが推定されたときに、前記視線の検出値と前記参照点の差に基づいて、前記視線の検出値を補正する補正部とを備える制御装置である。
【０００９】
前記視線は、術具を用いて手術する術者の手術中の視線である。
【００１０】
前記推定部は、前記術具が使用中であるとき、前記視線が前記参照点を指向していると推定することができる。
【００１１】
前記術具は通電して使用されることができる。
【００１２】
前記参照点検出部は、通電して使用される前記術具の先端を前記参照点として検出し、前記補正部は、前記視線の検出値と前記術具の先端との誤差に対応して、前記視線の検出値を補正することができる。
【００１３】
前記参照点検出部は、通電して使用される前記術具の軌跡を前記参照点として検出し、前記補正部は、前記視線の検出値と前記術具の軌跡との誤差に対応して、前記視線の検出値を補正することができる。
【００１４】
前記推定部は、モニタに表示されているオブジェクトのパターンが検出された場合、前記モニタに表示されている前記オブジェクトの前記パターンに基づく動作が切り替えられたとき、前記視線が前記参照点を指向していると推定することができる。
【００１５】
前記参照点検出部は、音声コマンドを受け付けるときモニタに表示されるオブジェクトを前記参照点として検出し、前記推定部は、前記音声コマンド受け付ける前記オブジェクトの表示が検出されたとき、前記視線が前記参照点を指向していると推定することができる。
【００１６】
本技術の一側面は、視線の検出値を取得する入力ステップと、参照点を検出する参照点検出ステップと、前記視線が前記参照点を指向していることを推定する推定ステップと、前記推定ステップの処理により前記視線が前記参照点を指向していることが推定されたときに、前記視線の検出値と前記参照点の差に基づいて、前記視線の検出値を補正する補正ステップとを含む制御方法である。
【００１７】
本技術の一側面は、被手術者の術野を撮影する撮影部と、前記撮影部により撮影された術野画像を表示する表示部と、視線の検出値を取得する入力部と、参照点を検出する参照点検出部と、前記視線が前記参照点を指向していることを推定する推定部と、前記推定部により前記視線が前記参照点を指向していることが推定されたときに、前記視線の検出値と前記参照点の差に基づいて、前記視線の検出値を補正する補正部とを備える手術システムである。
【００１８】
本技術の一側面においては、視線の検出値が取得され、参照点が検出され、視線が参照点を指向していることが推定され、視線が参照点を指向していることが推定されたときに、視線の検出値と参照点の差に基づいて、視線の検出値が補正される。
【発明の効果】
【００１９】
以上のように、本技術の一側面によれば、簡単かつ確実にキャリブレーションを実行することができるようになる。
【００２０】
なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また付加的な効果があってもよい。
【図面の簡単な説明】
【００２１】
【図１】本技術の一実施の形態の手術システムの構成を模式的に示す斜視図である。
【図２】本技術の一実施の形態の手術システムの機能的構成を示すブロック図である。
【図３】本技術の一実施の形態の手術システムの機能的構成を示すブロック図である。
【図４】本技術の一実施の形態の視線補正処理を説明するフローチャートである。
【図５】本技術の一実施の形態の視線補正処理を説明する図である。
【図６】本技術の一実施の形態の視線補正処理を説明する図である。
【図７】本技術の一実施の形態の視線補正処理を説明するフローチャートである。
【図８】本技術の一実施の形態の視線補正処理を説明する図である。
【図９】本技術の一実施の形態の視線補正処理を説明するフローチャートである。
【図１０】本技術の一実施の形態の視線補正処理を説明する図である。
【発明を実施するための形態】
【００２２】
以下、本技術を実施するための実施の形態について説明する。なお、説明は以下の順序で行う。
１．実施の形態：手術システム
（１）手術システムの構成(図１)
（２）手術システムの機能的構成（図２、図３）
（３）視線補正処理（図４乃至図１０）
２．その他
【００２３】
＜実施の形態＞
（１）手術システムの構成（図１）
図１は、本技術の一実施の形態の手術システムの構成を模式的に示す斜視図である。
【００２４】
手術システム１０は、術野カメラ１１、カメラアーム１２、制御装置１３、モニタアーム１４、モニタ１５、動作認識用カメラ１６、フットスイッチ１７、マイクロフォン１８および手術台１９により構成される。手術システム１０は、手術室等に配置され、術野カメラ１１により撮影される画像を参照した外科手術等の処置を可能にする。
【００２５】
具体的には、手術システム１０の術野カメラ１１（手術用撮影装置）は、カメラアーム１２により保持された３Ｄカメラ等のモダリティ機器である。術野カメラ１１は、手術台１９に横たわる被手術者３２の術野等を撮影し、その結果得られる３Ｄ画像を術野画像として制御装置１３に送信する。カメラアーム１２は、術野カメラ１１を保持し、術野カメラ１１の位置や角度を制御する。
【００２６】
動作認識用カメラ１６は、例えば２Ｄカメラであり、モニタ１５の上に配置される。動作認識用カメラ１６は、マイクロフォン１８を頭部３１Ａに装着した術者３１を撮影する。動作認識用カメラ１６は、撮影の結果得られる２Ｄ画像を術者画像として制御装置１３に送信する。モニタアーム１４は、モニタ１５を保持し、モニタ１５と動作認識用カメラ１６の位置や角度を制御する。
【００２７】
モニタ１５は、画像を表示する画面を有する３Ｄモニタであり、術者３１から比較的近い位置（図１の例では、手術台１９の上の術者３１に近い位置）に配置される。モニタ１５は、制御装置１３から送信されてくる術野画像等を表示する。モニタ１５の上には動作認識用カメラ１６が配置される。
【００２８】
制御装置１３は、動作モードを、手動モードまたはハンズフリーモードに設定する。手動モードとは、術者３１の手による入力（例えば、カメラアーム１２への加力や、各部に設けられた図示せぬ操作ボタン等の操作）に基づいて手術システム１０の制御を行うモードである。ハンズフリーモードとは、術者３１の手によらない、音声、視線、頭部３１Ａの動きや方向、ジェスチャなどの非接触の入力やフットフットスイッチ１７への脚部３１Ｂの接触による入力に基づいて、手術システム１０の制御を行うモードである。
【００２９】
また、制御装置１３は、動作認識用カメラ１６から送信されてくる術者画像内の頭部３１Ａの位置を検出することにより、頭部３１Ａの動きや方向を認識する。また、制御装置１３は、術者画像から術者３１の視線の方向を検出し、その方向に基づいてモニタ１５の画面上の視線の位置を認識する。さらに、制御装置１３は、術者画像から術者３１のジェスチャを認識する。
【００３０】
制御装置１３は、マイクロフォン１８から送信されてくる音声を受信し、その音声に対して音声認識を行う。制御装置１３は、フットスイッチ１７から送信されてくるフットスイッチ１７に対する操作を表す操作信号を受信し、その操作信号に基づいてフットスイッチ１７に対する操作の内容を認識する。
【００３１】
さらに、動作モードがハンズフリーモードである場合、制御装置１３は、次のような情報を入力情報とする。すなわち、頭部３１Ａの動きや方向、術者３１のジェスチャ、モニタ１５の画面上の視線の位置を表す視線位置情報、音声認識結果、音量、およびフットスイッチ１７に対する操作の内容を表す操作情報が入力情報とされる。制御装置１３は、入力情報に基づいて術者３１からの指令および術者３１の状態を認識する。
【００３２】
制御装置１３は、術者３１の状態に応じて、術者３１からの指令を許可する。制御装置１３は、許可された指令に応じて、術野カメラ１１の撮影を制御したり、カメラアーム１２やモニタアーム１４の駆動を制御したり、モニタ１５の表示を制御したり、動作モードを変更したりする。
【００３３】
術者３１は、裸眼でモニタ１５に表示された術野画像を３Ｄ画像として認識する。
【００３４】
マイクロフォン１８は、術者３１の頭部３１Ａに装着される。マイクロフォン１８は、術者３１の音声等を含む周囲の音声を取得し、制御装置１３に送信する。
【００３５】
フットスイッチ１７は、術者３１の周囲に配置され、術者３１の脚部３１Ｂの接触により操作される。フットスイッチ１７は、術者３１からの脚部３１Ｂの操作を表す操作信号を制御装置１３に送信する。
【００３６】
以上のように構成される手術システム１０では、術者３１は、被手術者３２を手術台１９の上に横たわらせ、モニタ１５に表示される術野画像等を見ながら、外科手術等の処置を行う。
【００３７】
また、術者３１は、動作モード、術野カメラ１１の撮影条件、術野カメラ１１の位置や角度、モニタ１５の表示等を変更する場合、非接触の入力または足の接触による入力を行う。従って、術者３１は、図示せぬ術具を把持した状態で入力を行うことができる。また、術者３１は、入力を行うたびに、滅菌処理を行う必要がない。
【００３８】
なお、視線検出方法、術者３１の頭部３１Ａの動きや方向、および、ジェスチャの検出方法、音声の取得方法としては、任意の方法を採用することができる。例えば、視線検出デバイスやマイクロフォン１８は、ウェアラブルデバイスでなくてもよい。
【００３９】
本明細書では、モニタ１５の水平方向をｘ方向といい、垂直方向をｙ方向といい、モニタ１５の画面に対して垂直な方向をｚ方向という。
【００４０】
なお、手術システム１０では、視線検出は、動作認識用カメラ１６により撮影された術者画像を用いて行われるようにしたが、術者３１が、視線検出デバイスを備えた眼鏡を装着し、視線検出デバイスが視線検出を行うようにしてもよい。
【００４１】
また、手術システム１０では、動作認識用カメラ１６と術者３１との距離が短いため、術者画像から頭部３１Ａの動きや方向を検出したが、術者３１がマーカ（不図示）を装着し、術者画像内のマーカの位置から頭部３１Ａの動きや方向を検出するようにしてもよい。
【００４２】
さらに、モニタ１５は、術者３１から比較的遠い位置に配置されるようにしてもよい。また、モニタ１５を、術者３１が３Ｄ偏光眼鏡を用いることにより３Ｄ画像を認識可能な３Ｄモニタとし、術者３１に、３Ｄ偏光眼鏡を装着させるようにしてもよい。
【００４３】
（２）手術システムの機能的構成
図２は、本技術の一実施の形態の手術システムの機能的構成を示すブロック図である。この実施の形態において制御装置１３は、術野カメラ１１、カメラアーム１２、モニタ１５および動作認識用カメラ１６等の動作を制御するように構成されている他、情報入力インタフェース５１から所定の情報が入力されるように構成されている。
【００４４】
情報入力インタフェース５１は、音声検出部６１、視線検出部６２、ヘッドトラック部６３、ジェスチャ検出部６４、フットスイッチ６５等を有している。音声検出部６１はマイクロフォン１８を構成要素とし、術者３１等の発する音声を検出する。視線検出部６２は動作認識用カメラ１６の画像信号から、術者３１の視線を検出する。ヘッドトラック部６３は動作認識用カメラ１６の画像信号から、術者３１の頭部３１Ａの動きを検出する。ジェスチャ検出部６４は動作認識用カメラ１６の画像信号から、術者３１のジェスチャを検出する。従って、視線検出部６２、ヘッドトラック部６３およびジェスチャ検出部６４は、画像信号処理部７４内に構成されていると考えることもできる。フットスイッチ６５は、図１のフットスイッチ１７の操作を検出し、その操作に対応する信号を出力する。
【００４５】
制御装置１３は、センサ入力部７１、キャリブレーション部７２、動作制御部７３、および画像信号処理部７４を有している。センサ入力部７１は、情報入力インタフェース５１からの信号を入力し、キャリブレーション部７２や動作制御部７３に出力する。キャリブレーション部７２は、検出値補正部８１と補正値更新部８２を有する。
【００４６】
検出値補正部８１と補正値更新部８２には、センサ入力部７１を介して視線検出部６２により検出された術者３１の視線の検出値が入力される。検出値補正部８１は入力された検出値を補正値更新部８２より供給された補正値に基づき補正し、補正後の検出値を動作制御部７３に出力する。補正値更新部８２は検出値補正部８１から補正後の検出値を現在の検出値として受け取り、センサ入力部７１を介して視線検出部６２より供給される術者３１の新たな視線の検出値と比較して、必要に応じて新たな補正値を計算する。計算結果は検出値補正部８１に出力される。
【００４７】
制御装置１３の動作制御部７３は、術野カメラ１１、カメラアーム１２、モニタ１５および動作認識用カメラ１６の動作を制御する他、画像信号処理部７４の動作を制御する。画像信号処理部７４は、術野カメラ１１および動作認識用カメラ１６が撮影した画像の画像信号を処理し、モニタ１５に出力して表示させる。
【００４８】
以上の基本的構成を有する手術システム１０により、術者３１が行う手術が支援される。すなわち、被手術者３２の所定の部位が術野カメラ１１により撮影され、その画像がモニタ１５に表示される。術者３１はその画像を見ながら手術を行う。
【００４９】
図３は、本技術の一実施の形態の手術システムの機能的構成を示すブロック図である。本実施の形態の手術システム１０は、図２に示す基本的構成以外に、簡単かつ確実にキャリブレーションが実行できるように、図３に示すように構成される。すなわち、画像信号処理部７４は参照点検出部１０１を有する。参照点検出部１０１は、術野カメラ１１が出力する画像信号から、参照点を検出し、補正値更新部８２に供給する。補正値更新部８２は参照点を利用して、補正値を計算する。
【００５０】
参照点としては、手術中に使用される術具の表示位置、所定のオブジェクトの表示位置等を用いることができる。
【００５１】
また、制御装置１３は情報入力部１１１を有する。情報入力部１１１は術者３１の手術中の操作に関する情報を入力し、補正のタイミングについての判定処理を行う。例えば術者３１が術具（後述する図５参照）を使用した場合、術具が使用されていることを表す信号の入力を受け、判定処理を行う。また、情報入力部１１１は動作制御部７３の出力から、カメラアーム１２やモニタアーム１４の動作モード切り替えの指示、あるいは視線によるシステム動作の切り替えの指示が出されたかを判定する。さらに情報入力部１１１は、音声コマンドをお受け付けるための所定のオブジェクト（後述する図１０参照）が表示されているかを判定する。判定結果は補正値更新部８２に出力される。その他の構成は図２の手術システム１０と同様である。
【００５２】
（３）視線補正処理
（３−１）視線補正処理１
次に手術システム１０の第１の視線補正処理について説明する。図４は、本技術の一実施の形態の視線補正処理を説明するフローチャートである。
【００５３】
ステップＳ１１において視線検出部６２は、術者３１の視線を検出する。すなわち動作認識用カメラ１６が術者３１の頭部３１Ａ（いまの場合、顔）を撮影し、その目の位置から視線を検出する。この視線検出処理は以後継続され、検出値補正部８１と補正値更新部８２には、現在の視線の検出値が常に入力される。
【００５４】
ステップＳ１２において検出値補正部８１は、初期視線を校正する。この校正処理は、校正専用の画面をモニタ１５に表示させ、それを術者３１に視認させ、その誤差を補正することで行われる。この校正処理は、最初に１回だけ行われる。
【００５５】
ステップＳ１３において補正値更新部８２は補正値を更新する。いまの場合、校正結果に基づいて補正値が更新される。検出値補正部８１は補正値に基づいて、いま検出されている視線の検出値を補正する。
【００５６】
ステップＳ１４において参照点検出部１０１は、参照点を検出する。参照点について図５を参照して説明する。図５は、本技術の一実施の形態の視線補正処理を説明する図である。図５は術野カメラ１１により撮影され、モニタ１５に表示された画像を示している。図５には術者３１が通電して使用する術具２０１として電気メスが映っている。ここではこの術具２０１の先端２０２が参照点とされる。参照点検出部１０１により検出された参照点の位置情報は、補正値更新部８２に供給される。
【００５７】
ステップＳ１５において補正値更新部８２は、誤差を計算する。すなわち現在の視線の検出値（すなわち視線検出位置の座標）と、参照点の座標との誤差が計算される。図５の例では、視線検出位置２１１は、術具２０１の先端２０２から離れ、その右上に位置しており、この視線検出位置２１１と先端２０２の位置の誤差が計算される。
【００５８】
ステップＳ１６において補正値更新部８２は、誤差量の判定を行う。すなわち、ステップＳ１５で計算された誤差量が基準の範囲内であるかが判定される。誤差量が基準の範囲内である場合、つまり、誤差量が小さい基準値以上であり、かつ大きい基準値以下である場合、ステップＳ１７において補正値更新部８２は補正値を決定する。具体的には誤差値が補正値に設定される。
【００５９】
ステップＳ１８において情報入力部１１１（推定部）は、補正のタイミングの判定を行う。つまり、いまが補正のタイミングであるかが判定される。例えば術者３１が術具２０１としての電気メスを使用するとき、通電状態にするため、その電源をオンするスイッチを操作する。あるいはフットスイッチ１７が操作される。電気メスを使用しているとき、術者３１は確実にその先端２０２を視認している。そこで術具２０１（いまの場合、電気メス）が使用されていることを表す信号が入力されたとき、術者３１が確実にその先端２０２を視認していると推定する。すなわちそのときの誤差量は、偶発的なエラーではなく、正しく検出された誤差量である。
【００６０】
そこで、術具２０１が使用されているときは、ステップＳ１８で補正のタイミングであると判定され、処理はステップＳ１３に戻り、補正値を更新する処理が実行される。すなわち、補正値更新部８２は、ステップＳ１７で決定された誤差量に基づく補正値で元の補正値を更新する。検出値補正部８１はこの補正値に基づき視線の検出値を補正する。つまり、図５において、現在の視線検出位置２１１が参照点としての先端２０２の位置と一致するように補正される。これにより確実に、検出値を正しい位置の値に補正することができる。
【００６１】
その後、新たな視線検出値に対して、ステップＳ１４で新たな参照点が検出され、同様の処理が繰り返される。
【００６２】
ステップＳ１８でいまは補正のタイミングではないと判定された場合、すなわち術具２０１が使用されていないときは、術者３１が術具２０１の先端２０２を視認していると推定することができない。そこでこの場合には、ステップＳ１９において補正値更新部８２は補正値を破棄する。すなわちステップＳ１７で決定された補正値が破棄される。そして処理はステップＳ１４に戻り、それ以降の処理が繰り返される。すなわち新たな検出値と参照点に基づいて同様の処理が繰り返される。
【００６３】
誤差量が下の基準値より小さい場合、誤差は殆ど無いと考えられるので、補正の必要が無い。また、誤差量が大きい基準値より大きい場合、偶発的に異常値が検出されたと考えられる。そこでステップＳ１６で誤差量が基準の範囲内ではないと判定された場合には、処理はステップＳ１６からステップＳ１４に戻る。そして、新たな視線検出値と新たな参照点が検出され、同様の処理が繰り返される。
【００６４】
図６は、本技術の一実施の形態の視線補正処理を説明する図である。図６において線２５１は術具２０１の先端２０２の軌跡を表している。すなわち術具２０１が、術具２０１Ａ、２０１Ｂ、２０１Ｃと順次その位置を移動させたときの軌跡が線２５１として表されている。
【００６５】
線２５２は術者３１の実際の視線の軌跡を表している。術者３１の実際の視線の軌跡の線２５２は、術具２０１の先端２０２の軌跡の線２５１に近似した線となっている。一方、線２５３は、術者３１の視線検出位置の軌跡を表している。この視線検出位置の軌跡を表す線２５３は、術者３１の実際の視線の軌跡の線２５２から離間している。しかし、上述した補正処理により、視線検出位置の軌跡を表す線２５３を、術者３１の実際の視線の軌跡の線２５２に近づけることができる。
【００６６】
なお、軌跡の線２５１，２５３を計算し、それに基づいて補正処理を行うようにしてもよい。
【００６７】
以上のようにして、術者３１が特別の負担を感じることなく、手術に必要な操作をしている間に、その裏で、簡単かつ確実にキャリブレーションが実行される。
【００６８】
（３−２）視線補正処理２
次に、図７を参照して、第２の視線補正処理について説明する。図７は、本技術の一実施の形態の視線補正処理を説明するフローチャートである。
【００６９】
ステップＳ３１において視線検出部６２は、術者３１の視線を検出する。すなわち動作認識用カメラ１６が術者３１の頭部３１Ａ（いまの場合、顔）を撮影し、その目の位置から視線を検出する。この視線検出処理は以後継続され、検出値補正部８１と補正値更新部８２には、現在の視線の検出値が常に入力される。
【００７０】
ステップＳ３２において検出値補正部８１は、初期視線を校正する。この校正処理は、校正専用の画面をモニタ１５に表示させ、それを術者３１に視認させ、その誤差を補正することで行われる。この校正処理は、最初に１回だけ行われる。
【００７１】
ステップＳ３３において補正値更新部８２は補正値を更新する。いまの場合、校正結果に基づいて補正値が更新される。検出値補正部８１は補正値に基づいて検出値を補正する。ここまでの処理は、図４のステップＳ１１乃至ステップＳ１３の処理と同様である。
【００７２】
ステップＳ３４において視線検出部６２は、視線検出頻度からパターンを抽出する。ここで図８を参照して、パターンについて説明する。
【００７３】
図８は、本技術の一実施の形態の視線補正処理を説明する図である。図８に示されるように、モニタ１５の下方中央の領域３０１には、５個のオブジェクト３１１乃至３１５が表示されている。これらは例えば手術システム１０の手術中に、カメラアーム１２やモニタアーム１４の動作モード切り替えの操作、あるいは視線によるシステム動作の切り替えの操作の状態に関するオブジェクトである。
【００７４】
術者３１はこれらのオブジェクトを視認することで所定の動作モードを選択し、設定する。すなわち、この視認はキャリブレーションのためのものではなく、手術のための操作の一環として行われるものである。この場合、術者３１は領域３０１のオブジェクト３１１乃至３１５を視認する。その結果、各オブジェクト３１１乃至３１５に視線を向ける時間が長くなり、その位置における視線の検出頻度が他の領域より多くなる。図８の例では、領域３３１における視線検出位置３４１乃至３４５が、視線の検出頻度が多い位置として検出されている。すなわち、この例では瞬間的な視線ではなく、視線の累積値に基づいて検出が行われる。
【００７５】
視線検出部６２は、このように、視線の検出頻度が他の領域より多くなる領域をパターンとして検出する。この例では、５個の検出頻度が多い点がほぼ直線上に並ぶように、所定の間隔で配列されている状態がパターンとして検出される。
【００７６】
ステップＳ３５において参照点検出部１０１は、参照点を検出する。図８の例では、領域３０１にオブジェクト３１１乃至３１５が直線上に並ぶように、所定の間隔で表示されているパターンが、参照点として検出される。参照点検出部１０１により検出された参照点の位置情報は、補正値更新部８２に供給される。
【００７７】
ステップＳ３６において補正値更新部８２は、パターンが一致したかを判定する。すなわち、ステップＳ３４で抽出されたパターンと、ステップＳ３５で参照点として検出されたパターンが比較される。
【００７８】
ステップＳ３４で抽出されたパターンと、ステップＳ３５で参照点として検出されたパターンが一致すると判定された場合、ステップＳ３７において補正値更新部８２は、誤差を計算する。すなわち現在の視線の検出値（すなわち視線検出位置の座標）と、参照点の座標との誤差が計算される。図８の例では、領域３３１の視線検出位置３４１乃至３４５は、領域３０１のオブジェクト３１１乃至３１５から、時計回転方向に若干回転したように、右上方向に位置している。ここでは視線検出位置３４１乃至３４５が存在する領域３３１と、オブジェクト３１１乃至３１５が存在する領域３０１の位置の誤差が計算される。
【００７９】
ステップＳ３８において補正値更新部８２は、誤差量の判定を行う。すなわち、ステップＳ３７で計算された誤差量が基準の範囲内であるかが判定される。誤差量が基準の範囲内である場合、つまり、誤差量が小さい基準値以上であり、かつ大きい基準値以下である場合、ステップＳ３９において補正値更新部８２は補正値を決定する。具体的には誤差値が補正値に設定される。
【００８０】
ステップＳ４０において情報入力部１１１は、補正のタイミングの判定を行う。つまり、いまが補正のタイミングであるかが判定される。動作制御部７３は術野カメラ１１、カメラアーム１２、モニタアーム１４、画像信号処理部７４、モニタ１５等を制御し、それらの制御情報を有している。情報入力部１１１は、動作制御部７３の制御情報を監視し、カメラアーム１２やモニタアーム１４の動作モード切り替えの指示、あるいは視線によるシステム動作の切り替えの指示等が出されたとき、それを検出する。情報入力部１１１によりその検出が行われたとき、術者３１はその切り替えのためにオブジェクト３１１乃至３１５を視認していると推定することができる。すなわちそのときの誤差量は、偶発的なエラーではなく、正しく検出された誤差量である。
【００８１】
そこで、動作モード切り替えの指示、あるいは視線によるシステム動作の切り替えの指示が入力されたと情報入力部１１１により判定されたときは、ステップＳ４０で補正のタイミングであると判定され、処理はステップＳ３３に戻る。そして、補正値を更新する処理が実行される。すなわち、補正値更新部８２は、ステップＳ３９で決定された誤差量に基づく補正値で元の補正値を更新する。検出値補正部８１はこの補正値に基づき視線の検出値を補正する。つまり、図８において、領域３３１の位置が領域３０１の位置と一致するように補正が行われる。すなわち、現在の視線検出位置３４１乃至３４５が、参照点としてのオブジェクト３１１乃至３１５の位置と一致するように補正される。これにより確実に、検出値を正しい位置の値に補正することができる。
【００８２】
その後、新たな視線検出値が検出され、ステップＳ３４で新たなパターンが抽出され、同様の処理が繰り返される。
【００８３】
動作モード切り替えの指示、あるいは視線によるシステム動作の切り替えの指示が情報入力部１１１で検出されていないときは、ステップＳ４０でいまは補正のタイミングではないと判定される。すなわちこのときは、必ずしも術者３１が領域３０１を視認していると推定することができない。そこでこのときは、ステップＳ４１において補正値更新部８２は補正値を破棄する。すなわちステップＳ３９で決定された補正値が破棄される。そして処理はステップＳ３４に戻り、それ以降の処理が繰り返される。すなわち新たなパターンに基づいて同様の処理が繰り返される。
【００８４】
ステップＳ３６においてパターンが一致しないと判定された場合、術者３１は抽出されたパターンとは別のパターンを視認していることになる。この場合に補正すると、却って誤差が大きくなるので補正は実行すべきではない。そこでこの場合には、処理はステップＳ３６からステップＳ３４に戻る。そして、新たなパターンが抽出され、同様の処理が繰り返される。
【００８５】
誤差量が小さい基準値より小さい場合、誤差は殆ど無いと考えられるので、補正の必要が無い。また、誤差量が大きい基準値より大きい場合、偶発的に異常値が検出されたと考えられる。そこでステップＳ３８で誤差量が基準の範囲内ではないと判定された場合には、処理はステップＳ３８からステップＳ３４に戻る。そして、新たなパターンが抽出され、同様の処理が繰り返される。
【００８６】
以上のようにして、術者３１が特別の負担を感じることなく、手術に必要な操作をしている間に、その裏で、簡単かつ確実にキャリブレーションが実行される。
【００８７】
（３−３）視線補正処理３
次に、図９を参照して、第３の視線補正処理について説明する。図９は、本技術の一実施の形態の視線補正処理を説明するフローチャートである。
【００８８】
ステップＳ５１において視線検出部６２は、術者３１の視線を検出する。すなわち動作認識用カメラ１６が術者３１の頭部３１Ａ（いまの場合、顔）を撮影し、その目の位置から視線を検出する。この視線検出処理は以後継続され、検出値補正部８１と補正値更新部８２には、現在の視線の検出値が常に入力される。
【００８９】
ステップＳ５２において検出値補正部８１は、初期視線を校正する。この校正処理は、校正専用の画面をモニタ１５に表示させ、それを術者３１に視認させ、その誤差を補正することで行われる。この校正処理は、最初に１回だけ行われる。
【００９０】
ステップＳ５３において補正値更新部８２は補正値を更新する。いまの場合、校正結果に基づいて補正値が更新される。検出値補正部８１は補正値に基づいて検出値を補正する。
【００９１】
ステップＳ５４において参照点検出部１０１は、参照点を検出する。ここまでの処理は図４のステップＳ１１乃至ステップＳ１４の処理と同様である。ここでこの例における参照点について説明する。
【００９２】
図１０は、本技術の一実施の形態の視線補正処理を説明する図である。図１０においては、モニタ１５の左上にオブジェクト４０１が表示されている。このオブジェクト４０１は術者３１から音声コマンドの入力を受け付けるタイミングのときに表示され、術者３１がこのオブジェクト４０１を視認しながら発した音声コマンドの入力だけが受け付けられる。
【００９３】
すなわち、術者３１が音声コマンドを入力するには、オブジェクト４０１を視認していなければならない。従って音声コマンドが入力されたタイミングにおいては、術者３１はオブジェクト４０１を視認する必要がある。そこで、この例では、オブジェクト４０１が参照点として検出される。参照点検出部１０１により検出された参照点の位置情報は、補正値更新部８２に供給される。
【００９４】
ステップＳ５５において音声検出部６１は、音声コマンドを認識したかを判定する。ここで認識される音声コマンドは、キャリブレーションのためのものではなく、手術のための操作の一環として発せられるものである。この場合、術者３１はオブジェクト４０１を視認する。音声コマンドが認識されたと判定された場合、ステップＳ５６において補正値更新部８２は、誤差を計算する。すなわち現在の視線の検出値（すなわち視線検出位置の座標）と、参照点の座標との誤差が計算される。図１０の例では、視線検出位置４０２とオブジェクト４０１の位置の誤差が計算される。
【００９５】
ステップＳ５７において補正値更新部８２は、誤差量の判定を行う。すなわち、ステップＳ５６で計算された誤差量が基準の範囲内であるかが判定される。誤差量が基準の範囲内である場合、つまり、誤差量が小さい基準値以上であり、かつ大きい基準値以下である場合、ステップＳ５８において補正値更新部８２は補正値を決定する。具体的には誤差値が補正値とされる。
【００９６】
ステップＳ５９において情報入力部１１１は、補正のタイミングの判定を行う。つまり、いまが補正のタイミングであるかが判定される。参照点検出部１０１はオブジェクト４０１を参照点として検出している。このオブジェクト４０１は術者３１から音声コマンドの入力を受け付けるタイミングのときに表示され、術者３１がこのオブジェクト４０１を視認しながら発した音声コマンドの入力だけが受け付けられる。従ってこのオブジェクト４０１が表示されているタイミングで音声コマンドが認識されたときは、術者３１はオブジェクト４０１を視認していると推定することができる。すなわちそのときの誤差量は、偶発的なエラーではなく、正しく検出された誤差量である。
【００９７】
音声コマンドはステップＳ５５において既に検出されているので、視認しなければ音声コマンドが受け付けられないというオブジェクト４０１が表示されていれば、術者３１はオブジェクト４０１を視認していると推定することができる。そこで、視認しなければ音声コマンドが受け付けられないというオブジェクト４０１が表示されているときは、ステップＳ５９で補正のタイミングであると判定され、処理はステップＳ５３に戻り、補正値を更新する処理が実行される。すなわち、補正値更新部８２は、ステップＳ５８で決定された誤差量に基づく補正値で元の補正値を更新する。検出値補正部８１はこの補正値に基づき視線の検出値を補正する。つまり図１０において、現在の視線検出位置４０２が、参照点としてのオブジェクト４０１の位置と一致するように補正される。これにより確実に、検出値を正しい位置の値に補正することができる。
【００９８】
その後、ステップＳ５４で新たな参照点が検出され、同様の処理が繰り返される。
【００９９】
誤差量が小さい基準値より小さい場合、誤差は殆ど無いと考えられるので、補正の必要が無い。また、誤差量が大きい基準値より大きい場合、偶発的に異常値が検出されたと考えられる。そこでステップＳ５７で誤差量が基準の範囲内ではないと判定された場合には、ステップＳ６０において補正値更新部８２は補正値を破棄する。すなわちステップＳ５６で決定された補正値が破棄される。そして処理はステップＳ５４に戻り、それ以降の処理が繰り返される。すなわち新たな視線検出点と参照点が検出され、同様の処理が繰り返される。
【０１００】
ステップＳ５５で音声コマンドが認識されないと判定された場合にも、処理はステップＳ５４に戻り、それ以降の処理が繰り返される。すなわち新たな視線検出点と参照点が検出され、同様の処理が繰り返される。
【０１０１】
以上のようにして、術者３１が特別の負担を感じることなく、手術に必要な操作をしている間に、その裏で、簡単かつ確実にキャリブレーションが実行される。
【０１０２】
以上においては図４、図７および図９の視線補正処理を個別に説明したが、それらは同時に並行して実施されるようにしてもよいし、所定の順番で、直列的に順次繰り返し実行されるようにしてもよい。
【０１０３】
本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０１０４】
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
【０１０５】
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１０６】
例えば、第１の実施の形態では、制御装置１３は、複数の種類の非接触の入力の組み合わせに基づいて制御を行うこと、および、術者３１の状態に応じて制御を制限することの両方により、手術の安全性を向上させたが、いずれか一方のみにより手術の安全性を向上させるようにしてもよい。
【０１０７】
また、制御装置１３による制御対象は、手術用装置であれば、どのようなものであってもよい。例えば、制御装置１３は、内視鏡やビデオ顕微鏡等の手術用撮影装置を制御することもできる。
【０１０８】
さらに、ズーム制御は、術野カメラ１１の撮影制御によって行われるのではなく、画像信号処理部７４において術野画像を処理することにより行われるようにしてもよい。
【０１０９】
この場合、画像信号処理部７４は、ズームイン撮影指令に応じて、術野カメラ１１から送信されてくる術野画像を拡大することにより、視線の位置に対応する被写体を中心にズームイン撮影されたズームイン画像を術野画像から生成する電子ズームを行う。同様に、画像信号処理部７４は、ズームアウト撮影指令に応じて、術野カメラ１１から送信されてくる術野画像を縮小することにより、視線の位置に対応する被写体を中心にズームアウト撮影されたズームアウト画像を術野画像から生成する。なお、このとき、画像信号処理部７４は、視線位置情報に基づいて、ズームイン画像やズームアウト画像内の視線に対応する位置にマーカを重畳するようにしてもよい。
【０１１０】
また、モニタ１５に術野画像が表示されている間、常に、アノテーション表示が行われるようにしてもよい。非接触の入力は、術者３１の音声、視線、頭部３１Ａの動きや方向、およびジェスチャに限定されない。例えば、術者３１の頭部３１Ａ以外の動きや姿勢などであってもよい。
【０１１１】
非接触の入力を受け付ける手段は、マイクロフォン１８などのようにウェアラブルであってもよいし、ウェアラブルでなくてもよい。
【０１１２】
制御装置１３は、動作モードが手動モードである場合であっても、術者３１の状態を推定し、その状態に応じて術野カメラ１１、カメラアーム１２、および画像信号処理部７４の制御を制限するようにしてもよい。
【０１１３】
＜その他＞
なお、本技術は、以下のような構成をとることもできる。
（１）
視線の検出値を取得する入力部と、
参照点を検出する参照点検出部と、
前記視線が前記参照点を指向していることを推定する推定部と、
前記推定部により前記視線が前記参照点を指向していることが推定されたときに、前記視線の検出値と前記参照点の差に基づいて、前記視線の検出値を補正する補正部と
を備える制御装置。
（２）
前記視線は、術具を用いて手術する術者の手術中の視線である
前記（１）に記載の制御装置。
（３）
前記推定部は、前記術具が使用中であるとき、前記視線が前記参照点を指向していると推定する
前記（１）または（２）に記載の制御装置。
（４）
前記術具は通電して使用される
前記（１）、（２）または（３）に記載の制御装置。
（５）
前記参照点検出部は、通電して使用される前記術具の先端を前記参照点として検出し、
前記補正部は、前記視線の検出値と前記術具の先端との誤差に対応して、前記視線の検出値を補正する
前記（１）乃至（４）のいずれかに記載の制御装置。
（６）
前記参照点検出部は、通電して使用される前記術具の軌跡を前記参照点として検出し、
前記補正部は、前記視線の検出値と前記術具の軌跡との誤差に対応して、前記視線の検出値を補正する
前記（１）乃至（５）のいずれかに記載の制御装置。
（７）
前記推定部は、モニタに表示されているオブジェクトのパターンが検出された場合、前記モニタに表示されている前記オブジェクトの前記パターンに基づく動作が切り替えられたとき、前記視線が前記参照点を指向していると推定する
前記（１）乃至（６）のいずれかに記載の制御装置。
（８）
前記参照点検出部は、音声コマンドを受け付けるときモニタに表示されるオブジェクトを前記参照点として検出し、
前記推定部は、前記音声コマンド受け付ける前記オブジェクトの表示が検出されたとき、前記視線が前記参照点を指向していると推定する
前記（１）乃至（７）のいずれかに記載の制御装置。
（９）
視線の検出値を取得する入力ステップと、
参照点を検出する参照点検出ステップと、
前記視線が前記参照点を指向していることを推定する推定ステップと、
前記推定ステップの処理により前記視線が前記参照点を指向していることが推定されたときに、前記視線の検出値と前記参照点の差に基づいて、前記視線の検出値を補正する補正ステップと
を含む制御方法。
（１０）
被手術者の術野を撮影する撮影部と、
前記撮影部により撮影された術野画像を表示する表示部と、
視線の検出値を取得する入力部と、
参照点を検出する参照点検出部と、
前記視線が前記参照点を指向していることを推定する推定部と、
前記推定部により前記視線が前記参照点を指向していることが推定されたときに、前記視線の検出値と前記参照点の差に基づいて、前記視線の検出値を補正する補正部と
を備える手術システム。
【符号の説明】
【０１１４】
１０  手術システム，  １１  術野カメラ，  １２  カメラアーム，  １３  制御装置，  １５  モニタ，  ５１  情報入力インタフェース，  ６１  音声検出部，  ６２  視線検出部，  ７２  キャリブレーション部，  ７３  動作制御部，  ７４  画像信号処理部，  ８１  検出値補正部，  ８２  補正値更新部，  １０１  参照点検出部，  １１１  情報入力部
【図１】
2017176414.tif 000003
【図２】
2017176414.tif 000004
【図３】
2017176414.tif 000005
【図４】
2017176414.tif 000006
【図５】
2017176414.tif 000007
【図６】
2017176414.tif 000008
【図７】
2017176414.tif 000009
【図８】
2017176414.tif 000010
【図９】
2017176414.tif 000011
【図１０】
2017176414.tif 000012