(57)【要約】本発明は、必要な操作を視線及びジェスチャにより容易に行うことができ、機器配置に対する制約が低い機器操作装置、機器操作方法、及び電子機器システムを提供する。本発明の一実施形態に係る内視鏡システム（１０）によれば、内視鏡装置（１００）の操作のために実際のキーボードやマウス、ボタン類に触れなくてよいため、医療現場での機器の持ち替えや手袋の着脱等が不要であり、必要な操作を視線及びジェスチャにより容易に行うことができる。また、内視鏡装置の操作のためのキーボードやマウス、ボタン類を設ける必要がなく、機器配置に対する制約が低い。さらに、操作機器及び操作内容に応じた仮想物体が疑似表示されるので、いずれの仮想物体に対する操作を行えば良いのか容易に把握できる。
2017038241.tif 000002
【特許請求の範囲】
【請求項１】
ユーザの視線を検出する視線検出部と、
仮想物体を疑似表示する疑似表示部と、
前記疑似表示された仮想物体に対するユーザのジェスチャを検出するジェスチャ検出部と、
前記検出された視線及び前記検出されたジェスチャに基づいて、操作対象機器と、前記操作対象機器に対する操作内容と、を判断する判断部と、
前記操作対象機器を制御し、前記判断した操作内容を前記操作対象機器に実行させる制御部と、
を備える機器操作装置。
【請求項２】
前記判断部は、
前記検出された視線と、前記検出されたジェスチャのうちの第１のジェスチャと、に基づいて前記操作対象機器及び前記操作内容を判断し、
前記検出されたジェスチャのうちの第２のジェスチャに基づいて前記判断を確定する、請求項１に記載の機器操作装置。
【請求項３】
前記疑似表示部は複数の前記仮想物体を疑似表示し、
前記ジェスチャ検出部は、前記複数の仮想物体のうちの第１の仮想物体に対するジェスチャを前記第１のジェスチャとして検出し、前記複数の仮想物体のうちの第２の仮想物体に対するジェスチャを前記第２のジェスチャとして検出する、請求項２に記載の機器操作装置。
【請求項４】
前記視線検出部は前記視線の移動を検出し、
前記判断部は、前記検出した視線の移動に基づいて、前記操作対象機器と前記操作対象機器に対する操作内容とを判断する、請求項１から３のいずれか１項に記載の機器操作装置。
【請求項５】
前記操作内容は、前記制御部が前記操作対象機器に実行させる機能と、前記機能の実行条件と、を含む、請求項１から４のいずれか１項に記載の機器操作装置。
【請求項６】
前記ジェスチャ検出部は、前記ユーザの手のジェスチャを検出する、請求項１から５のいずれか１項に記載の機器操作装置。
【請求項７】
前記視線検出部は、前記ジェスチャ検出部が前記ジェスチャの検出を開始したら前記視線の検出を停止し、前記ジェスチャ検出部が前記ジェスチャの検出を終了したら前記視線の検出を開始する、請求項１から６のいずれか１項に記載の機器操作装置。
【請求項８】
ユーザの視線を検出する視線検出部と、仮想物体を疑似表示する疑似表示部と、前記疑似表示された仮想物体に対するユーザのジェスチャを検出するジェスチャ検出部と、を備える機器操作装置の機器操作方法であって、
前記視線検出部により検出された視線及び前記ジェスチャ検出部により検出されたジェスチャに基づいて、操作対象機器と、前記操作対象機器に対する操作内容と、を判断する判断工程と、
前記操作対象機器を制御し、前記判断した操作内容を前記操作対象機器に実行させる制御工程と、
を含む機器操作方法。
【請求項９】
請求項１から７のいずれか１項に記載の機器操作装置と、
前記操作対象機器である電子機器と、
を含む電子機器システム。
【請求項１０】
前記電子機器は画像を表示する画像表示部を備え、
前記制御部は、前記電子機器を制御し、前記画像表示部に表示された画像に対する処理を前記電子機器に実行させる、請求項９に記載の電子機器システム。
【請求項１１】
前記電子機器は医療機器である、請求項９または１０に記載の電子機器システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は機器操作装置、機器操作方法、及び電子機器システムに係り、特にユーザの視線及びジェスチャにより機器を操作する技術に関する。
【背景技術】
【０００２】
各種機器の操作は、ユーザが手や足により機器自体を直接触れたり、機器に設けられた操作用機器やデバイスを操作したりすることにより行うのが一般的であるが、機器の種類や使用状況によっては、ユーザによる機器本体や周辺機器の操作の動作、あるいは操作用機器やデバイスの配置に制約が生じる場合がある。例えばスマートフォンやゲーム機等の携帯機器の操作、車両の運転、医療機器の操作では、保持や操作のため両手が自由にならないことがあり、また医療機器では機器操作に際して手袋の着脱や手洗い等を要することがあり、円滑な機器操作が困難な場合があった。【０００３】
そこで、このような状況において、視線及びジェスチャにより機器操作を行う技術が知られている（例えば、特許文献１〜３を参照）。特許文献１には、ドライバーの視線を検出して車のフロントガラスに表示された画像を選択し、手を動かして画像の選択を確定することが記載されている。特許文献２には、ドライバーの視線及び手振りやサイン、手の形状変化等のジェスチャによりインパネスイッチ等の操作対象機器を選択し、また選択した機器の操作を行うことが記載されている。また特許文献３には、視点検出手段や非接触の指先操作手段により、Ｘ線診断装置のコマンド選択等の操作を行うことが記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１４−２１８１９９号公報
【特許文献２】特開２０１４−１４９６４０号公報
【特許文献３】特開２００１−０７０２９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら上述の特許文献１〜３に記載されているような従来の技術では、必要な操作を容易に行えるものではなかった。例えば特許文献１，２では、実行しようとする操作が複雑である場合、ユーザの動作（視線の移動またはジェスチャ）が複雑になり煩わしく、必要なジェスチャを忘れると、ジェスチャを行うことによって車両の運転に支障をきたす、等のおそれがある。また特許文献３では操作者の手元に設けた指先検出手段を用いているが、機器操作のために実際の器具類を用いると、機器配置に対する制約となりやすい。【０００６】
このように、従来の技術では視線及びジェスチャにより操作する機器において必要な操作を容易に行うことが困難であり、機器配置に対する制約も高かった。【０００７】
本発明はこのような事情に鑑みてなされたもので、必要な操作を視線及びジェスチャにより容易に行うことができ、機器配置に対する制約が低い機器操作装置、機器操作方法、及び電子機器システムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上述した目的を達成するため、本発明の第１の態様に係る機器操作装置は、ユーザの視線を検出する視線検出部と、仮想物体を疑似表示する疑似表示部と、疑似表示された仮想物体に対するユーザのジェスチャを検出するジェスチャ検出部と、検出された視線及び検出されたジェスチャに基づいて、操作対象機器と、操作対象機器に対する操作内容と、を判断する判断部と、操作対象機器を制御し、判断した操作内容を操作対象機器に実行させる制御部と、を備える。【０００９】
第１の態様に係る機器操作装置では、仮想物体が疑似表示され、この仮想物体に対するジェスチャを検出するので、必要な操作を容易に行うことができる。また、視線及び仮想物体に対するジェスチャに基づいて判断及び制御するので操作用器具または部材を実際に設ける必要がなく、また器具または部材に直接触れる必要がないため、機器配置に対する制約が低い。【００１０】
なお第１の態様において、仮想物体の疑似表示は操作対象機器及び操作内容に応じて行うようにしてよい。具体的には例えば、操作対象機器がどのような機器であるか、及び操作対象機器がどのような処理を実行可能であるか、等の条件を考慮して疑似表示する物体及び表示の態様を決定することができる。【００１１】
また、第１の態様において、疑似表示する仮想物体は現実に操作に用いる器具または部材を模した物体でもよいし、これらに関係ない物体でもよい。仮想物体には操作対象機器及び操作内容に応じて文字、図形、または記号を表示したり、着色したりしてもよく、また検出したジェスチャに応じて表示が変動するようにしてもよい。また、ジェスチャは手または足等身体の一部分により行うようにしてよい。また第１の態様において操作対象機器は１つでもよいし、複数の機器のうちから視線及びジェスチャに基づいて１つ以上の機器を選択するようにしてもよい。【００１２】
第２の態様に係る機器操作装置は第１の態様において、判断部は、検出された視線と、検出されたジェスチャのうちの第１のジェスチャと、に基づいて操作対象機器及び操作内容を判断し、検出されたジェスチャのうちの第２のジェスチャに基づいて判断を確定する。第２の態様は判断を確定するための条件を規定するものである。なお第２のジェスチャは判断を確定するためのジェスチャであるので、第１のジェスチャより単純なものにしてもよい。【００１３】
第３の態様に係る機器操作装置は第２の態様において、疑似表示部は複数の仮想物体を疑似表示し、ジェスチャ検出部は、複数の仮想物体のうちの第１の仮想物体に対するジェスチャを第１のジェスチャとして検出し、複数の仮想物体のうちの第２の仮想物体に対するジェスチャを第２のジェスチャとして検出する。第３の態様によれば、第１，第２の仮想物体と第１，第２のジェスチャとをそれぞれ対応させてジェスチャを検出することによって、操作対象及び操作内容を確実かつ容易に指定することができる。なお第１，第２の仮想物体は同時に表示してもよいし、まず第１の仮想物体を表示して第１のジェスチャを検出し、その後に第２の仮想物体を表示するようにしてもよい。【００１４】
第４の態様に係る機器操作装置は第１から第３の態様のいずれか１つにおいて、視線検出部は視線の移動を検出し、判断部は、検出した視線の移動に基づいて、操作対象機器と操作対象機器に対する操作内容とを判断する。第４の態様によれば、ある時点での視線（注視点）の位置だけでなく視線の移動に基づいて操作対象機器と操作内容とを判断することによって、操作対象や操作内容を適切に指定することができる。【００１５】
第５の態様に係る機器操作装置は第１から第４の態様のいずれか１つにおいて、操作内容は、制御部が操作対象機器に実行させる機能と、機能の実行条件と、を含む。第５の態様では、操作対象機器に実行させる機能及び実行条件を指定できるので、ユーザは意図した操作を容易に行うことができる。なお第５の態様において「実行条件」とは、範囲、数量、時間、処理の程度等、機能の実行に際し特定する必要がある条件の具体的な値である。【００１６】
第６の態様に係る機器操作装置は第１から第５の態様のいずれか１つにおいて、ジェスチャ検出部は、ユーザの手のジェスチャを検出する。第６の態様は、ジェスチャの具体的な部位を規定したものである。なお第６の態様において、手首から先のジェスチャを検出するようにしてもよい。【００１７】
第７の態様に係る機器操作装置は第１から第６の態様のいずれか１つにおいて、視線検出部は、ジェスチャ検出部がジェスチャの検出を開始したら視線の検出を停止し、ジェスチャ検出部がジェスチャの検出を終了したら視線の検出を開始する。第７の態様では、視線検出の開始および終了の条件を設けることによって、安定して視線検出及び機器操作等を行えるようにしている。【００１８】
上述した目的を達成するため、本発明の第８の態様に係る機器操作方法は、ユーザの視線を検出する視線検出部と、仮想物体を疑似表示する疑似表示部と、疑似表示された仮想物体に対するユーザのジェスチャを検出するジェスチャ検出部と、を備える機器操作装置の機器操作方法であって、視線検出部により検出された視線及びジェスチャ検出部により検出されたジェスチャに基づいて、操作対象機器と、操作対象機器に対する操作内容と、を判断する判断工程と、操作対象機器を制御し、判断した操作内容を操作対象機器に実行させる制御工程と、を含む。第８の態様に係る機器操作方法によれば、第１の態様と同様に視線及び仮想物体に対するジェスチャにより必要な操作を容易に行うことができ、機器配置に対する制約が低い。【００１９】
上述した目的を達成するため、本発明の第９の態様に係る電子機器システムは、第１から第７の態様のいずれか１つに記載の機器操作装置と、操作対象機器である電子機器と、を含む。第９の態様に係る電子機器システムによれば、第１から第７の態様について上述したように、視線及び仮想物体に対するジェスチャにより必要な操作を容易に行うことができ、機器配置に対する制約を低くすることができる。【００２０】
第１０の態様に係る電子機器システムは第９の態様において、電子機器は画像を表示する画像表示部を備え、制御部は、電子機器を制御し、画像表示部に表示された画像に対する処理を電子機器に実行させる。第９の態様によれば、電子機器が取得した画像に対する処理を視線及びジェスチャにより実行することができる。【００２１】
第１１の態様に係る電子機器システムは第９または第１０の態様において、電子機器は医療機器である。医療機器は保持・動作・使用状況等に対する制約があるが、第１１の態様に係る電子機器システムでは視線及び仮想物体に対するジェスチャにより医療機器を容易に操作することができ、機器配置に対する制約も低い。なお第１１の態様において、医療機器は内視鏡装置、Ｘ線診断装置、超音波診断装置、読影支援装置、歯科診断・治療用装置等であってよいが、これらに限定されるものではない。
【発明の効果】
【００２２】
本発明の機器操作装置、機器操作方法、及び電子機器システムによれば、必要な操作を視線及びジェスチャにより容易に行うことができ、機器配置に対する制約が低い。
【図面の簡単な説明】
【００２３】
【図１】図１は、本発明の一実施形態に係る電子機器システムの全体構成を示す図である。
【図２】図２は、本発明の一実施形態に係る電子機器システムの構成を示すブロック図である。
【図３】図３は、電子機器システムを構成する内視鏡による観察の様子を示す図である。
【図４】図４は、電子機器システムの使用の様子を示す図である。
【図５】図５は、本発明の一実施形態に係る電子機器システムにおける機器操作の処理を示すフローチャートである。
【図６】図６は、内視鏡により取得した画像の例を示す図である。
【図７】図７は、仮想物体を疑似表示した様子を示す図である。
【図８】図８は、疑似表示した仮想物体に対するジェスチャを示す図である。
【図９】図９は、視線により画像の拡大範囲を指定する様子を示す図である。
【図１０】図１０は、拡大後の画像を示す図である。
【発明を実施するための形態】
【００２４】
＜第１の実施形態＞
以下、添付図面に従って本発明に係る機器操作装置、機器操作方法、及び電子機器システムの実施形態について説明する。図１は、第１の実施形態に係る内視鏡システム１０（電子機器システム）を示す外観図であり、図２は内視鏡システム１０の要部構成を示すブロック図である。図１、２に示すように、内視鏡システム１０は、内視鏡本体１１０、内視鏡プロセッサ２００、光源装置３００、及びモニタ４００（画像表示部）からなる内視鏡装置１００（医療機器である電子機器）と、内視鏡操作装置５００（機器操作装置）と、を含んで構成されている。
【００２５】
＜内視鏡本体の構成＞
内視鏡本体１１０は、手元操作部１０２と、この手元操作部１０２に連設される挿入部１０４とを備える。術者は手元操作部１０２を把持して操作し、挿入部１０４を被験者の体内に挿入して観察を行う。挿入部１０４は、手元操作部１０２側から順に、軟性部１１２、湾曲部１１４、先端部１１６で構成されている。先端部１１６には、撮影光学系１３０（図２参照）、照明部１２３、送水ノズル１２４、鉗子口１２６等が設けられる。
【００２６】
観察または処置の際には、操作部２０８（図２参照）の操作により、照明部１２３の照明用レンズ１２３Ａ，１２３Ｂから可視光または赤外光のいずれか、または両方を照射することができる。また操作部２０８の操作により、送水ノズル１２４から洗浄水が放出されて、撮影光学系１３０のレンズ１３２及び、照明用レンズ１２３Ａ，１２３Ｂを洗浄することができる。鉗子口１２６には腫瘍摘出や切除のための図示せぬ処置具が挿通され、適宜進退して被検体に必要な処置を施せるようになっている。
【００２７】
図２に示すように、先端部１１６の先端面には撮影光学系１３０のレンズ１３２が配設されており、このレンズ１３２の奥にＣＭＯＳ（Complementary MOS）型の撮像素子１３４、駆動回路１３６、ＡＦＥ（Analog Front End）１３８が配設されて、画像信号を出力するようになっている。本実施形態では撮像素子１３４がＣＭＯＳ型の撮像素子である場合について説明するが、撮像素子１３４はＣＣＤ（Charge Coupled Device）型でもよい。
【００２８】
レンズ１３２等を介して取り込まれた観察像は撮像素子１３４の受光面に結像されて電気信号に変換され、不図示の信号ケーブルを介して内視鏡プロセッサ２００に出力されて映像信号に変換される。これにより、内視鏡プロセッサ２００に接続されたモニタ４００に観察画像が表示される。
【００２９】
＜観察画像の表示＞
図３は内視鏡装置１００の挿入部１０４を被検体内に挿入した状態を示す図であり、撮影光学系１３０を介して観察画像を取得する様子を示している。図３中、参照符号ＩＡは撮影範囲を示し、参照符号ｔｍは腫瘍（図３中黒色で隆起している部分）を示す。
【００３０】
図１〜図３に示すように、先端部１１６の先端面には、レンズ１３２に隣接して照明部１２３の照明用レンズ１２３Ａ（可視光用）、１２３Ｂ（赤外光用）が設けられている。照明用レンズ１２３Ａ、１２３Ｂの奥には、後述するライトガイド１７０の射出端が配設され、このライトガイド１７０が挿入部１０４、手元操作部１０２、及びユニバーサルケーブル１０６に挿通され、ライトガイド１７０の入射端がライトガイドコネクタ１０８内に配置される。
【００３１】
＜光源装置の構成＞
図２に示すように、光源装置３００は、光源３１０、絞り３３０、及び集光レンズ３４０等から構成されており、照明用の光をライトガイド１７０に入射させる。光源３１０は、可視光源３１０Ａ及び赤外光源３１０Ｂを備えており、可視光及び赤外線の一方または両方を照射可能である。これにより、ライトガイドコネクタ１０８（図１参照）を光源装置３００に連結することによって、光源装置３００から照射された照明光がライトガイド１７０を介して照明用レンズ１２３Ａ、１２３Ｂに伝送され、照明用レンズ１２３Ａ、１２３Ｂから観察範囲に照射される。
【００３２】
＜内視鏡プロセッサの構成＞
次に、図２に基づき内視鏡プロセッサ２００の構成を説明する。内視鏡プロセッサ２００は、内視鏡装置１００から出力される画像信号を、画像入力コントローラ２０２を介して入力し、画像処理部２０４において必要な画像処理を行ってビデオ出力部２０６を介して出力する。これによりモニタ４００に観察画像が表示される。これらの処理はＣＰＵ（Central Processing Unit；中央処理装置）２１０の制御下で行われる。画像処理部２０４では、ホワイトバランス調整等の画像処理の他、モニタ４００に表示する画像の切替または重畳表示、電子ズーム処理、操作モードに応じた画像の表示、切替、または画像信号からの特定成分（例えば輝度信号）の抽出等を行う。
【００３３】
また、内視鏡プロセッサ２００は操作部２０８を備えている。操作部２０８は図示せぬ操作モード設定、切替スイッチまたは送水指示ボタン等を備えており、また可視光または赤外光の照射を操作することができる。
【００３４】
＜内視鏡操作装置の構成＞
図１，２に示すように、内視鏡操作装置５００（機器操作装置）は、頭部装着端末５１０（疑似表示部）と、視線検出カメラ５２０（視線検出部）と、演算部５３０（視線検出部、疑似表示部、ジェスチャ検出部、判断部、制御部）と、ディスプレイ５４０（疑似表示部）とを備える。
【００３５】
頭部装着端末５１０はユーザの頭部に装着される端末であり、ユーザの視野画像（視線方向を撮影した画像）を取得する視野カメラ５１２，５１４（疑似表示部）を備える。視野カメラ５１２，５１４は、頭部装着端末５１０をユーザの頭部に装着したときに左右の目付近にそれぞれ位置するように配置されている。そしてこれら視野カメラ５１２，５１４によりステレオ画像を取得し、演算部５３０がこのステレオ画像に基づき、視野カメラ５１２，５１４を基準とした被写体の位置、及び視野カメラ５１２，５１４から被写体までの距離を算出する。視線検出カメラ５２０はモニタ４００及びディスプレイ５４０の近傍に配置されてユーザの目の画像を撮影し、これに基づきユーザの視線が検出される。なお視線の検出を確実に安定して行うため、視線検出カメラ５２０を複数設けるようにしてもよい。演算部５３０は、視野カメラ５１２，５１４で取得したステレオ画像に基づく被写体位置及び距離の算出、視線検出カメラ５２０によって撮影した目の画像に基づく視線検出、疑似表示の制御及び仮想物体に対するジェスチャ検出、内視鏡装置１００の操作制御等を行う。ディスプレイ５４０は、視野画像を表示すると共に、視野画像に仮想物体を疑似表示する。
【００３６】
上述した構成の内視鏡操作装置５００による内視鏡装置１００の操作の詳細については、後述する。
【００３７】
＜内視鏡操作装置の使用状況＞
図４は、内視鏡操作装置５００により内視鏡装置１００を操作する様子を示す概念図である。図４に示す例では、頭部装着端末５１０を装着したユーザが内視鏡装置１００を操作しながらモニタ４００及びディスプレイ５４０を見ており、視野カメラ５１２，５１４によってユーザの視野画像を連続的に取得している（ただし視野カメラ５１４は図示を省略している）。また、視線検出カメラ５２０がモニタ４００及びディスプレイ５４０の近傍に設けられ、ユーザの目の画像を取得している。
【００３８】
＜内視鏡操作装置による内視鏡装置の操作＞
次に、上述した構成の内視鏡システム１０における、内視鏡操作装置５００による内視鏡装置１００の操作を説明する。図５は内視鏡装置１００の操作処理を示すフローチャートである。図５のフローチャートは、内視鏡操作装置５００が、モニタ４００に表示された観察画像に対する処理を行うように内視鏡装置１００を操作する場合の処理を示している。
【００３９】
処理がスタートすると、まずステップＳ１００により図３のように内視鏡装置１００の撮影光学系１３０を介して観察画像を取得し、図６のようにモニタ４００に表示する（図６中の参照符号ｔｍは、図３と同様に腫瘍を示す）。次に、ステップＳ１０２に進んで、視野カメラ５１２，５１４によるユーザの視野画像を取得する。
【００４０】
本実施形態では、以下に詳細を説明するようにディスプレイ５４０に仮想物体を疑似表示するが、視野画像内において特定の物体が認識されたことを疑似表示の開始条件としている。具体的には、図７（ａ）に示すように、視野画像においてユーザの手（ここでは左手とする）が認識されたか否かを判断し（ステップＳ１０４）、左手が検出されたら（ステップＳ１０４でＹｅｓ）、ステップＳ１０６へ進んで疑似表示を開始する。なお、ステップＳ１０４の判断は、左手が検出されるまで繰り返す。
【００４１】
ステップＳ１０６では、図７（ｂ）に示すように、ディスプレイ５４０に表示された画像内のユーザの手の位置に、内視鏡装置１００が有する機能において手を認識した時点で実行可能な機能に対応した仮想物体が疑似表示される。疑似表示の際の手の位置は、上述のように視野カメラ５１２，５１４によって取得したステレオ画像に基づいて算出することができる。なお本実施形態では、モニタ４００に内視鏡装置１００の観察画像が表示されていて（図６参照）、この観察画像に対し画像の拡大、印刷、照明（照明の変更）が実行可能な場合について説明しており、図７（ｂ）に示すようにキーボードのキーに各機能を文字表示した仮想物体ＩＯ１，ＩＯ２，ＩＯ３（第１の仮想物体）を疑似表示する。なお、詳細を後述するように、これら仮想物体ＩＯ１，ＩＯ２，ＩＯ３は、ジェスチャにより疑似的に操作できるようになっている。
【００４２】
ステップＳ１０４，Ｓ１０６における手の認識と疑似表示はマーカーレス型でビジョンベースのＡＲ（Augmented Reality）技術によって、決まったパターンの図形等（マーカー）を認識するのではなく、実在する物体または空間そのものを認識し、認識した物体等の位置およびその近傍に仮想物体を表示するようにしている。マーカーがなくても疑似表示できるので、機器配置に対する制約を低くすることができる。ただし、本発明において疑似表示はマーカーレス型のＡＲ技術によるものに限定されるものではなく、機器配置の制約等の条件に応じてマーカー型のＡＲ技術により行うようにしてもよい。なお、このようなＡＲ技術に関しては、例えば以下のＷｅｂサイトで紹介されている。
http://www.atmarkit.co.jp/ait/articles/1109/26/news136_2.html
【００４３】
なお、本実施形態ではユーザの左手を認識して疑似表示するようにしているが、認識する物体は左手に限らず右手や足等身体の他の部分でもよいし、ユーザの身体以外の物体でもよい。例えば、内視鏡装置１００の手元操作部１０２を認識して疑似表示を行うようにしてもよい。またマーカー型のＡＲ技術を用いる場合は、ユーザの手、手袋や手元操作部１０２にマーカーを貼付等により設けることができる。
【００４４】
ステップＳ１０６で仮想物体ＩＯ１，ＩＯ２，ＩＯ３を表示したら、ステップＳ１０８へ進み、仮想物体ＩＯ１，ＩＯ２，ＩＯ３に対しジェスチャ（第１のジェスチャ）がされたか否かを判断する。具体的には、以下の手順１〜４により、仮想物体ＩＯ１，ＩＯ２，ＩＯ３のいずれかに触れたり、押下げたりするジェスチャがされたか否かを判断する。なおここでは、ユーザが右手の指で仮想物体ＩＯ１，ＩＯ２，ＩＯ３のいずれかに触れるものとする。この際、仮想物体ＩＯ１，ＩＯ２，ＩＯ３に対し行うべきジェスチャを示すメッセージ（「実行したいキーに右手で触れて下さい」等）をディスプレイ５４０の画面に表示するようにしてもよい。
【００４５】
（手順１）視野カメラ５１２，５１４によってユーザの左手付近のステレオ画像を取得する。
【００４６】
（手順２）撮影したステレオ画像に基づき、右手の指と疑似表示した仮想物体ＩＯ１，ＩＯ２，ＩＯ３との位置関係を、演算部５３０により算出する。
【００４７】
（手順３）ユーザが手を動かして仮想物体ＩＯ１，ＩＯ２，ＩＯ３のいずれかと右手の指との距離がしきい値以下になったら、その仮想物体に触れるジェスチャがされたものと判断する。距離の算出は、視野カメラ５１２，５１４で取得したステレオ画像に基づいて行うことができる。
【００４８】
（手順４）ジェスチャがされたと判断したら、ジェスチャの対象となった仮想物体を変色させ、ジェスチャを検出したことをユーザに報知する。図８（ａ），（ｂ）では、仮想物体ＩＯ１に対してジェスチャがされ、これに応じて仮想物体ＩＯ１を変色させた場合の例を示している。なお変色に加えて、または変色に代えて仮想物体ＩＯ１を変形表示するようにしてもよい。
【００４９】
ステップＳ１０８でジェスチャがされたと判断したら、ジェスチャの対象である仮想物体に対応した機能を、操作対象機器である内視鏡装置１００に実行させる機能として確定する（ステップＳ１１０；判断工程）。本実施形態では、図８（ａ）に示すように仮想物体ＩＯ１に対するジェスチャがされたと判断して、モニタ４００に表示された観察画像の拡大を行う。
【００５０】
内視鏡装置１００に実行させる機能の実行条件（ここでは、画像の拡大という機能の実行条件である拡大範囲）は、視線により指定することができる（ステップＳ１１２）。具体的にはまず、視線検出カメラ５２０で取得したユーザの目の画像から注視点Ｐ１を検出し（図９（ａ））、次いでユーザの視線移動に応じて注視点Ｐ２を検出して（図９（ｂ））、注視点Ｐ１，Ｐ２を左下，右上とする長方形の領域ＥＡを拡大範囲とする。この際、視線方向は不安定なので、同一点を一定時間（例えば３秒）以上注視したら注視点として検出するようにしてもよい。
【００５１】
視線（注視点）の検出は、ユーザの目の画像から、基準点（動かない部分）を目頭、動点（動く部分）を虹彩とし、目頭に対する虹彩の位置に基づいて行うことができる。この場合例えば、左目の虹彩が目頭から離れていれば、ユーザは左側を見ている。逆に左目の目頭と虹彩が近ければ、ユーザは右側を見ている。
【００５２】
なお視線の検出は、基準点を角膜反射とし、動点を瞳孔にして、角膜反射の位置に対する瞳孔の位置に基づいて行うこともできる。この場合例えば、左目の角膜反射よりも瞳孔が目尻側にあれば、ユーザは左側を見ている。角膜反射よりも瞳孔が目頭側にあれば、ユーザは右側を見ている。この方式を用いる場合、ユーザの顔に赤外線を照射して赤外線カメラで撮影する。
【００５３】
上述のような視線検出の技術は、例えば以下のＷｅｂサイトに紹介されている。
http://jp.fujitsu.com/group/labs/techinfo/techguide/list/eye-movements_p03.html
【００５４】
ステップＳ１１２で拡大範囲を設定したら、ステップＳ１１４へ進んで視線検出の処理を停止し、ステップＳ１１６に進む。なおステップＳ１１４で視線検出の処理を停止するのは、視線（注視点）は不安定に動きやすいので、設定した拡大範囲が変動しないように固定するためである。なお画像拡大の実行条件が確定したら、ステップＳ１２４で視線検出の停止を解除（視線検出を再開）する。
【００５５】
ステップＳ１１６では、画像拡大範囲の確定、または画像拡大キャンセルのための仮想物体ＩＯ４，ＩＯ５（第２の仮想物体）をディスプレイ５４０に疑似表示する（図８（ｂ）参照）。仮想物体ＩＯ４，ＩＯ５はＯＫボタン、キャンセルボタンをそれぞれ模した仮想物体である。
【００５６】
仮想物体ＩＯ４，ＩＯ５を表示したらステップＳ１１８（判断工程）へ進み、仮想物体ＩＯ４，ＩＯ５のいずれに対するジェスチャ（第２のジェスチャ）がされたか判断する。このジェスチャは、ステップＳ１０８と同様に、ボタンを右手の指で触れたり押下げたりするジェスチャである。ジェスチャがされたか否かの判断は、ステップＳ１０４，Ｓ１０８と同様に、視野カメラ５１２，５１４で撮影したステレオ画像に基づいて行うことができる。
【００５７】
仮想物体ＩＯ４に対するジェスチャが検出されたら（ステップＳ１１８でＹｅｓ）、ステップＳ１２０（判断工程）へ進んで画像拡大の実行条件（拡大範囲：図９（ｂ）の領域ＥＡ）を確定し、ステップＳ１２２へ進む。一方、仮想物体ＩＯ５に対するジェスチャが検出されたら（ステップＳ１１８でＮｏ、ステップＳ１２６でＹｅｓ）、画像拡大をキャンセルして（ステップＳ１２８）、ステップＳ１００に戻る。なお仮想物体ＩＯ４，ＩＯ５のいずれかに対するジェスチャが検出されたら、ジェスチャの検出を終了する。
【００５８】
ステップＳ１２２（制御工程）では、ステップＳ１２０までで指定された実行条件により、内視鏡装置１００の機能を実行する。具体的には、演算部５３０が内視鏡プロセッサ２００に対し、領域ＥＡの範囲を拡大表示するよう指示し、内視鏡プロセッサ２００は画像処理部２０４により領域ＥＡの範囲を拡大して、拡大画像をモニタ４００に表示させる（図１０参照）。拡大画像を表示したらステップＳ１２４へ進んで視線検出の停止を解除して、ステップＳ１００に戻る。
【００５９】
以上説明したように、本実施形態に係る内視鏡システム１０を用いれば、内視鏡装置１００の操作（上述した例では画像の拡大）のために実際のキーボード、マウス、またはボタン類に触れなくてよいため、医療現場での機器の持ち替えや手袋の着脱等が不要であり、必要な操作を視線及びジェスチャ（例えば、右手のジェスチャ）により容易に行うことができる。また、内視鏡装置１００の操作のためのキーボード、マウス、またはボタン類を設ける必要がなく、機器配置に対する制約が低い。さらに、操作機器及び操作内容に応じた仮想物体が疑似表示される（上述した例では、実行可能な機能が仮想のキーに文字表示される）ので、いずれの仮想物体に対する操作を行えば良いのか容易に把握できる。
【００６０】
なお、内視鏡システム１０において、内視鏡装置１００の操作内容は上述の例に示す拡大表示、照明の変更、印刷に限られず、内視鏡装置１００が有する他の機能を実行させるようにしてもよい。また疑似表示する仮想物体はキーまたはボタンに限らず、ダイヤル、レバー、スイッチなどでもよく、仮想物体の表示をモニタ４００の観察画像に重畳させたり、切り替え表示したりしてもよい。
【００６１】
また、内視鏡装置１００の操作のためのジェスチャはキーまたはボタンの押し下げだけでなく、仮想物体に合わせて設定してよい。例えばダイヤルの回転やレバーの移動、グリップを握る等の動作を行うようにしてもよい。ジェスチャは手の指を動かす動作に限られず、指先や手首、あるいは足を動かす動作でもよい。
【００６２】
＜その他＞
上述の実施形態では、操作対象機器が医療機器である内視鏡装置１００である場合について説明したが、本発明において操作対象機器は医療機器でなくてもよい。医療機器の他にも、スマートフォン、タブレット端末、ゲーム機等の携帯機器の操作や、車両の運転等の機器操作のために両手を自由に使えない状況や、機器配置に制約がある状況での機器操作に適用できる。また、操作対象機器は１つに限られず、複数の機器から視線及びジェスチャに基づいて選択するようにしてもよい。また本発明において、操作対象機器や機器の使用状況、操作の種類や重要度等によってはジェスチャを片手ではなく両手で行うようにしてもよいし、視線検出の対象となるユーザとジェスチャ検出の対象となるユーザを別人としてもよい。
【符号の説明】
【００６３】
１０…内視鏡システム、１００…内視鏡装置、１１０…内視鏡本体、２００…内視鏡プロセッサ、３００…光源装置、４００…モニタ、５００…内視鏡操作装置、５１０…頭部装着端末、５１２，５１４…視野カメラ、５２０…視線検出カメラ、５３０…演算部、５４０…ディスプレイ、ＩＯ１，ＩＯ２，ＩＯ３，ＩＯ４，ＩＯ５…仮想物体、Ｐ１，Ｐ２…注視点
【図１】
2017038241.tif 000003
【図２】
2017038241.tif 000004
【図３】
2017038241.tif 000005
【図４】
2017038241.tif 000006
【図５】
2017038241.tif 000007
【図６】
2017038241.tif 000008
【図７】
2017038241.tif 000009
【図８】
2017038241.tif 000010
【図９】
2017038241.tif 000011
【図１０】
2017038241.tif 000012
【手続補正書】
【提出日】平成29年2月22日(2017.2.22)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ユーザの視線を検出する視線検出部と、
仮想物体を疑似表示する疑似表示部と、
前記疑似表示された仮想物体に対するユーザのジェスチャを検出するジェスチャ検出部と、
前記検出された視線及び前記検出されたジェスチャに基づいて、操作対象機器と、前記操作対象機器に対する操作内容と、を判断する判断部と、
前記操作対象機器を制御し、前記判断した操作内容を前記操作対象機器に実行させる制御部と、
を備え、
前記視線検出部は、ユーザの目の画像から第１の注視点を検出し、前記視線の移動に応じて第２の注視点を検出し、
前記判断部は、検出された前記第１の注視点と前記第２の注視点間の前記視線の移動に基づいて、前記操作対象機器と前記操作対象機器に対する操作内容とを判断する機器操作装置。
【請求項２】
前記判断部は、
前記検出された視線の移動と、前記検出されたジェスチャのうちの第１のジェスチャと、に基づいて前記操作対象機器及び前記操作内容を判断し、
前記検出されたジェスチャのうちの第２のジェスチャに基づいて前記判断を確定する、請求項１に記載の機器操作装置。
【請求項３】
前記疑似表示部は複数の前記仮想物体を疑似表示し、
前記ジェスチャ検出部は、前記複数の仮想物体のうちの第１の仮想物体に対するジェスチャを前記第１のジェスチャとして検出し、前記複数の仮想物体のうちの第２の仮想物体に対するジェスチャを前記第２のジェスチャとして検出する、請求項２に記載の機器操作装置。
【請求項４】
（削除）
【請求項５】
前記操作内容は、前記制御部が前記操作対象機器に実行させる機能と、前記機能の実行条件と、を含む、請求項１から３のいずれか１項に記載の機器操作装置。
【請求項６】
前記ジェスチャ検出部は、前記ユーザの手のジェスチャを検出する、請求項１から３及び５のいずれか１項に記載の機器操作装置。
【請求項７】
前記視線検出部は、前記ジェスチャ検出部が前記ジェスチャの検出を開始したら前記視線の検出を停止し、前記ジェスチャ検出部が前記ジェスチャの検出を終了したら前記視線の検出を開始する、請求項１から３、５及び６のいずれか１項に記載の機器操作装置。
【請求項８】
ユーザの目の画像から第１の注視点と視線の移動に応じて第２の注視点を検出する視線検出部と、仮想物体を疑似表示する疑似表示部と、前記疑似表示された仮想物体に対するユーザのジェスチャを検出するジェスチャ検出部と、を備える機器操作装置の機器操作方法であって、
前記視線検出部により検出された前記第１の注視点と前記第２の注視点間の前記視線の移動及び前記ジェスチャ検出部により検出されたジェスチャに基づいて、操作対象機器と、前記操作対象機器に対する操作内容と、を判断する判断工程と、
前記操作対象機器を制御し、前記判断した操作内容を前記操作対象機器に実行させる制御工程と、
を含む機器操作方法。
【請求項９】
請求項１から３及び５から７のいずれか１項に記載の機器操作装置と、
前記操作対象機器である電子機器と、
を含む電子機器システム。
【請求項１０】
前記電子機器は画像を表示する画像表示部を備え、
前記制御部は、前記電子機器を制御し、前記画像表示部に表示された画像に対する処理を前記電子機器に実行させる、請求項９に記載の電子機器システム。
【請求項１１】
前記電子機器は医療機器である、請求項９または１０に記載の電子機器システム。
【手続補正書】
【提出日】平成30年2月16日(2018.2.16)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ユーザの視線を検出する視線検出部と、
仮想物体を疑似表示する疑似表示部と、
前記疑似表示された仮想物体に対するユーザの手のジェスチャを検出するジェスチャ検出部と、
前記検出された視線及び前記検出されたジェスチャに基づいて、操作対象機器と、前記操作対象機器に対する操作内容と、を判断する判断部と、
前記操作対象機器を制御し、前記判断した操作内容を前記操作対象機器に実行させる制御部と、
を備え、
前記視線検出部は、ユーザの目の画像から第１の注視点を検出し、前記視線の移動に応じて第２の注視点を検出し、
前記判断部は、検出された前記第１の注視点と前記第２の注視点間の前記視線の移動に基づいて、前記操作対象機器と前記操作対象機器に対する操作内容とを判断する機器操作装置。
【請求項２】
前記判断部は、
前記検出された視線の移動と、前記検出されたジェスチャのうちの第１のジェスチャと、に基づいて前記操作対象機器及び前記操作内容を判断し、
前記検出されたジェスチャのうちの第２のジェスチャに基づいて前記判断を確定する、請求項１に記載の機器操作装置。
【請求項３】
前記疑似表示部は複数の前記仮想物体を疑似表示し、
前記ジェスチャ検出部は、前記複数の仮想物体のうちの第１の仮想物体に対するジェスチャを前記第１のジェスチャとして検出し、前記複数の仮想物体のうちの第２の仮想物体に対するジェスチャを前記第２のジェスチャとして検出する、請求項２に記載の機器操作装置。
【請求項４】
前記操作内容は、前記制御部が前記操作対象機器に実行させる機能と、前記機能の実行条件と、を含む、請求項１から３のいずれか１項に記載の機器操作装置。
【請求項５】
前記視線検出部は、前記ジェスチャ検出部が前記ジェスチャの検出を開始したら前記視線の検出を停止し、前記ジェスチャ検出部が前記ジェスチャの検出を終了したら前記視線の検出を開始する、請求項１から４のいずれか１項に記載の機器操作装置。
【請求項６】
請求項１から５のいずれか１項に記載の機器操作装置と、
前記操作対象機器である電子機器と、
を含む電子機器システム。
【請求項７】
前記電子機器は画像を表示する画像表示部を備え、
前記制御部は、前記電子機器を制御し、前記画像表示部に表示された画像に対する処理を前記電子機器に実行させる、請求項６に記載の電子機器システム。
【請求項８】
前記電子機器は医療機器である、請求項６または７に記載の電子機器システム。
【請求項９】
ユーザの目の画像から第１の注視点と視線の移動に応じて第２の注視点を検出する視線検出部と、仮想物体を疑似表示する疑似表示部と、前記疑似表示された仮想物体に対するユーザの手のジェスチャを検出するジェスチャ検出部と、を備える機器操作装置の機器操作方法であって、
前記視線検出部により検出された前記第１の注視点と前記第２の注視点間の前記視線の移動及び前記ジェスチャ検出部により検出されたジェスチャに基づいて、操作対象機器と、前記操作対象機器に対する操作内容と、を判断する判断工程と、
前記操作対象機器を制御し、前記判断した操作内容を前記操作対象機器に実行させる制御工程と、
を含む機器操作方法。
【国際調査報告】
2017038241.tif 000013
2017038241.tif 000014
2017038241.tif 000015
2017038241.tif 000016