(57)【要約】本発明は、ユーザが両手を使えない状況でも容易に操作することができ、且つユーザが意図した操作を的確に検出して実行することができる機器操作装置、機器操作方法、及び電子機器システムを提供する。本発明の機器操作装置は、ユーザの視線を検出する視線検出部（４２）と、ユーザの頸部に装着されユーザの頸部の動きを検出する頸部装着端末（３３）と、検出された視線及び検出された頸部の動きに基づいて、操作対象機器である電子機器（２０）及び操作内容のうちの少なくとも一方を判断する判断部（４４）と、判断に従って操作対象機器である電子機器を制御する機器制御部（４６）と、を備える。
2017038248.tif 000002
【特許請求の範囲】
【請求項１】
ユーザの視線を検出する視線検出部と、
前記ユーザの頸部に装着され前記ユーザの頸部の動きを検出する頸部装着端末と、
前記検出された視線及び前記検出された頸部の動きに基づいて、操作対象機器及び前記操作対象機器に対する操作内容のうちの少なくとも一方を判断する判断部と、
前記判断に従って前記操作対象機器を制御する制御部と、
を備える機器操作装置。
【請求項２】
前記判断部は、
前記検出された視線に基づいて前記操作対象機器及び前記操作内容のうちの少なくとも一方を判断し、
前記検出された頸部の動きに基づいて前記判断を確定する、請求項１に記載の機器操作装置。
【請求項３】
前記視線検出部は前記視線の移動を検出し、
前記判断部は、前記検出した視線の移動に基づいて、前記操作対象機器及び前記操作内容のうちの少なくとも一方を判断する、請求項１または２に記載の機器操作装置。
【請求項４】
前記操作内容は、前記制御部が前記操作対象機器に実行させる機能と、前記機能の実行条件と、を含む、請求項１から３のいずれか１項に記載の機器操作装置。
【請求項５】
前記頸部装着端末により検出された前記ユーザの喉の振動から前記ユーザの音声を認識する音声認識部と、を備える請求項１から４のいずれか１項に記載の機器操作装置。
【請求項６】
前記認識した音声を記録する音声記録部を備える請求項５に記載の機器操作装置。
【請求項７】
前記視線検出部は、前記頸部装着端末が前記頸部の動きの検出を開始したら前記視線の検出を停止し、前記頸部装着端末が頸部の動きの検出を終了したら前記視線の検出を開始する、請求項１から６のいずれか１項に記載の機器操作装置。
【請求項８】
前記判断部は、前記検出された頸部の動きが閾値よりも大きい場合に前記視線の検出を無効にする、
請求項１から７のいずれか１項に記載の機器操作装置。
【請求項９】
ユーザの視線を検出する視線検出部と、前記ユーザの頸部に装着され前記ユーザの頸部の動きを検出する頸部装着端末と、を備える機器操作装置の機器操作方法であって、
前記検出された視線及び前記検出された頸部の動きに基づいて、操作対象機器及び前記操作対象機器に対する操作内容のうちの少なくとも一方を判断する判断工程と、
前記判断に従って前記操作対象機器を制御する制御工程と、
を含む機器操作方法。
【請求項１０】
請求項１から８のいずれか１項に記載の機器操作装置と、
前記操作対象機器である電子機器と、
を含む電子機器システム。
【請求項１１】
前記電子機器は医療機器である、請求項１０に記載の電子機器システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は機器操作装置、機器操作方法、及び電子機器システムに係り、特にユーザの視線と頸部の動きとにより機器を操作する技術に関する。
【背景技術】
【０００２】
各種機器の操作は、ユーザが手や足により行うことが一般的であるが、機器の種類や使用状況によっては、ユーザの動作の制約あるいは機器や操作デバイスの配置の制約が生じる場合がある。例えばスマートフォンやゲーム機等の携帯機器の操作、車両の運転操作、または医療機器の操作では両手が自由にならない場合があり、また医療機器では操作に際して手袋の着脱や手洗い等を要する場合がある。つまり、手や足による操作技術では、円滑に操作を行うことが困難な場合があった。【０００３】
手や足を用いない操作技術として、視線及びジェスチャによる操作技術が知られている（例えば特許文献１〜４を参照）。【０００４】
特許文献１、２には、ユーザの頭部の撮影画像に基づいてユーザの注視点を検出し、かつユーザの頭部の撮影画像に基づいて頭部の所定の動作（例えば頭部を縦に振るうなずき動作）を検出し、頭部の所定の動作が検出されるとユーザの注視点に対応する操作を確定することが、記載されている。【０００５】
特許文献３には、ユーザの手の撮像画像に基づいてユーザの手の動作を検出し、指を１本立てている場合には視線位置にカーソルを移動させる処理を開始すること（カーソル追従モードオン）、及び拳を握って指を立てていない場合には視線位置にカーソルを移動させる処理を終了すること（カーソル追従モードオフ）が、記載されている。【０００６】
特許文献４には、ユーザの頭部に装着できるユニット（視線位置入力部）のカメラの撮像画像に基づいて視線位置を算出し、その視線位置に焦点位置を移動することが、記載されている。また、特許文献４には、ユーザの頭部の位置や角度を検出する磁気センサを用いることも記載されている。【０００７】
また、音声入力を用いる操作技術が知られている。特許文献５には、表示部に表示されたアイコン（例えば「光量減少」アイコン）をユーザが所定時間以上注視し続けた状態で、更にユーザがフットスイッチを踏んでアイコンの名称（例えば「光量減少」）を音声入力した場合、ユーザの操作を確定してアイコンに対応したアクションを実行することが、記載されている。音声入力には、衣服に装着するピンマイク、頭部に装着するヘッドマイクが用いられる。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２０１４−１２６９９７号公報
【特許文献２】特開２０００−１６３１９６号公報
【特許文献３】特開２００１−１００９０３号公報
【特許文献４】特開２００７−１９５８９２号公報
【特許文献５】特開２００１−２９９６９１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、ユーザが両手を使えない状況でも容易に操作することができ、且つユーザが意図した操作を的確に検出して実行することができる操作技術は提供されていないといえる。【００１０】
特許文献１、２に記載の技術では、視線検出により判断した操作をユーザの頭部の所定の動作検出により確定するので、確かに視線検出により判断するだけの場合よりも誤動作が回避される効果を期待することができるにしても、ユーザの頭部を撮影して得られた画像に基づいて頭部の動作を認識しているため、ユーザが意図的に頸部の筋肉を動かしたことに起因する頭部の動きであるのか、あるいは無意識のうちに体が動いたことに起因する頭部の動きであるのか、装置側で的確に判断することは難しい。また、仮に、判断処理を修正し、ユーザが小さな動きあるいは簡単な動きをした場合には装置側で無視し、ユーザが大きな動き（例えば４５度以上頭を傾ける動作）あるいは複雑な動きをした場合のみ有効とする判断処理を行うことを想定してみても、ユーザに大きな動作あるいは複雑な動作を強いることになるので、誤動作を回避できてもスムーズな操作を実現することができず、またユーザに疲労を与えることになる。【００１１】
特許文献３〜５に記載の技術でも、ユーザが両手を使えない状況で容易に操作できることと、ユーザが意図した操作を的確に検出して実行することを、両立させることができるとはいえない。【００１２】
一方、医療ミスの問題が起きているなか、手術の適否を判断するために、医師間の会話を記録に残すことも考えられるが、手術中の手術室では音楽が流れ、また複数の人が係るため、特許文献５の音声入力では周囲の音楽や音声が記録されてしまい、正確に手術の状況を記録することはできない。【００１３】
本発明はこのような事情に鑑みてなされたもので、ユーザが両手を使えない状況でも容易に操作することができ、且つユーザが意図した操作を的確に検出して実行することができる機器操作装置、機器操作方法、及び電子機器システムを提供することを目的とする。
【課題を解決するための手段】
【００１４】
上述した目的を達成するため、本発明の第１の態様に係る機器操作装置は、ユーザの視線を検出する視線検出部と、ユーザの頸部に装着されユーザの頸部の動きを検出する頸部装着端末と、検出された視線及び検出された頸部の動きに基づいて、操作対象機器及び操作対象機器に対する操作内容のうちの少なくとも一方を判断する判断部と、判断に従って操作対象機器を制御する制御部と、を備える。【００１５】
本態様によれば、ユーザが両手を使えない状況でも容易に操作することができ、且つユーザが意図した操作を的確に検出して実行することができる。【００１６】
本発明の第２の態様に係る機器操作装置において、判断部は、検出された視線に基づいて操作対象機器及び操作内容のうちの少なくとも一方を判断し、検出された頸部の動きに基づいて判断を確定する。【００１７】
本発明の第３の態様に係る機器操作装置において、視線検出部は視線の移動を検出し、判断部は、検出した視線の移動に基づいて、操作対象機器及び操作内容のうちの少なくとも一方を判断する。【００１８】
本発明の第４の態様に係る機器操作装置において、操作内容は、制御部が操作対象機器に実行させる機能と、機能の実行条件と、を含む。【００１９】
本発明の第５の態様に係る機器操作装置において、頸部装着端末により検出されたユーザの喉の振動からユーザの音声を認識する音声認識部と、を備える。【００２０】
本発明の第６の態様に係る機器操作装置において、認識した音声を記録する音声記録部を備える。【００２１】
本発明の第７の態様に係る機器操作装置において、視線検出部は、頸部装着端末が頸部の動きの検出を開始したら視線の検出を停止し、頸部装着端末が頸部の動きの検出を終了したら視線の検出を開始する。【００２２】
本発明の第８の態様に係る機器操作装置において、判断部は、検出された頸部の動きが閾値よりも大きい場合に視線の検出を無効にする。【００２３】
上述した目的を達成するため、本発明の機器操作方法は、ユーザの視線を検出する視線検出部と、ユーザの頸部に装着されユーザの頸部の動きを検出する頸部装着端末と、を備える機器操作装置の機器操作方法であって、検出された視線及び検出された頸部の動きに基づいて、操作対象機器及び操作対象機器に対する操作内容のうちの少なくとも一方を判断する判断工程と、判断に従って操作対象機器を制御する制御工程と、を含む。【００２４】
上述した目的を達成するため、本発明の電子機器システムは、機器操作装置と、操作対象機器である電子機器と、を含む。【００２５】
電子機器は、例えば医療機器である。
【発明の効果】
【００２６】
本発明よれば、ユーザが両手を使えない状況でも容易に操作することができ、且つユーザが意図した操作を的確に検出して実行することができる。
【図面の簡単な説明】
【００２７】
【図１】図１は、第１の実施形態における電子機器システムの一例の全体構成を示す図である。
【図２】図２は、第１の実施形態における機器操作装置の一例を示すブロック図である。
【図３】図３は、操作対象機器を指定するための画面情報の一例を示す図である。
【図４】図４は、操作内容を指定するための画面情報の一例を示す図である。
【図５】図５は、頸部の動きの検出の説明に用いる説明図である。
【図６】図６は、第１の実施形態の機器操作装置を用いた機器操作方法の第１の例について処理の流れを示すフローチャートである。
【図７】図７は、第１の実施形態の機器操作装置における視線検知の説明に用いる説明図である。
【図８】図８は、第１の実施形態の機器操作装置を用いた機器操作方法の第２の例について処理の流れを示すフローチャートである。
【図９】図９は、第１の実施形態の機器操作装置を用いた機器操作方法の第３の例について処理の流れを示すフローチャートである。
【図１０】図１０は、第２の実施形態における機器操作装置の一例を示すブロック図である。
【図１１】図１１は、第２の実施形態の機器操作装置における頭部装着端末で撮像される視野画像及び目の画像の説明に用いる説明図である。
【図１２】図１２は、第２の実施形態の機器操作装置における視線検出及び操作判断の一例の説明に用いる説明図である。
【図１３】図１３は、電子機器として内視鏡装置を用いる場合の電子機器システムの一例の全体構成を示す図である。
【図１４】図１４は、図１３に示した電子機器システムの構成を示すブロック図である。
【図１５】図１５は、内視鏡装置による観察の様子を示す図である。
【発明を実施するための形態】
【００２８】
以下、添付図面に従って本発明に係る機器操作装置、機器操作方法、及び電子機器システムの実施形態について説明する。
【００２９】
＜第１の実施形態＞
図１は、本発明の第１の実施形態における電子機器システムの一例の全体構成を示す図であり、図２は本発明の第１の実施形態における機器操作装置の一例を示すブロック図である。
【００３０】
図１に示すように、電子機器システム１０は、操作対象機器である電子機器２０と、電子機器２０を制御する機器操作装置３０とを含んで構成されている。
【００３１】
機器操作装置３０は、ユーザに対して表示を行う表示部３１（「ディスプレイ」ともいう）と、ユーザの視線を検出するためにユーザの顔を撮像する視線検出カメラ３２と、ユーザの頸部に装着されユーザの頸部の動きを検出する頸部装着端末３３と、表示部３１、視線検出カメラ３２及び頸部装着端末３３を制御する本体ユニットとして各種の演算を実行する演算部３４とを含んで構成されている。
【００３２】
表示部３１は、液晶表示デバイスなどの表示デバイスによって構成されている。
【００３３】
視線検出カメラ３２は、表示部３１の近傍に配置され、ユーザの少なくとも目を撮像して目の画像を含む画像（以下「ユーザ画像」という）を生成して出力する。ユーザの顔のうちの目の部分のみを抽出する場合、その抽出を視線検出カメラ３２の機能により実行してよいし、演算部３４にその抽出の機能を設けてもよい。尚、視線の検出を確実に安定して行うため、視線検出カメラ３２を複数設ける構成としてよい。
【００３４】
頸部装着端末３３は、ユーザの頸部に装着される端末であり、図１に示すように、ユーザの頸部の動きを検出する頸部動きセンサ５２と、頸部においてユーザの喉の振動を検出する振動センサ５４を備える。
【００３５】
頸部動きセンサ５２として、頸部の筋肉の動きを検出する筋電センサ、歪センサ、加速度センサなどのセンサデバイスを用いる。これら以外のセンサデバイスを用いてよい。また、「頸部の動き」として、頸部の筋肉の動き、頸部の骨の動き、及び頸部の表面の動き（つまり皮膚の動き）のうちのいずれを、頸部動きセンサ５２により検出してもよい。複数種類のセンサデバイスを用いて検出を行ってもよい。
【００３６】
振動センサ５４として、例えば、頸部の骨の振動を検出する加速度センサを用いる。他の種類のセンサを用いてもよい。
【００３７】
尚、頸部動きセンサ５２及び振動センサ５４を一つのセンサデバイスにより構成し、その一つのセンサデバイスに頸部の動き検出と喉の振動検出とを行わせてもよい。例えば、頸部動きセンサ５２及び振動センサ５４を一つの加速度センサで構成し、その加速度センサの出力信号から、低周波数成分を抽出することにより頸部の動きを示す信号を生成し、高周波数成分を抽出することにより喉の振動を示す信号を生成する。
【００３８】
図２に示すように、演算部３４は、複数の電子機器２０と通信を行う通信部３８と、電子機器２０の操作制御のためのプログラム及びそのプログラムの実行に必要な情報を記憶する記憶部３９と、記憶部３９に記憶されたプログラムを実行することにより機器操作装置３０の各部を制御するＣＰＵ（central processing unit）４０とを含んで構成されている。
【００３９】
通信部３８は、電子機器２０と通信を行う通信デバイスによって構成されている。図１には、無線により電子機器２０と通信する場合を図示したが、ローカルエリアネットワークなどを介して有線により電子機器２０と通信してもよい。また、図１では図示を省略した、演算部３４の外部の装置（例えばデータベース２２）と、ローカルエリアネットワークなどを介して通信してよい。
【００４０】
記憶部３９は、プログラムなどを記憶する不揮発性の記憶デバイスと、プログラムのワーク領域として使用される読み書き可能な記憶デバイスとを含んで構成されている。
【００４１】
ＣＰＵ４０は、図２に示すように、表示部３１の表示制御を行う表示制御部４１と、視線検出カメラ３２から出力されたユーザ画像に基づいてユーザの視線を検出する視線検出部４２と、頸部装着端末３３の頸部動きセンサ５２で検出されたユーザの頸部の動きに基づいてユーザの頭部の動作を認識する動作認識部４３と、視線検出部４２で検出された視線、及びユーザの頸部の動きから認識されたユーザの頭部の動作に基づいて、操作対象機器及び操作対象機器に対する操作内容のうちの少なくとも一方を判断する判断部４４と、頸部装着端末３３の振動センサ５４によりユーザの頸部で検出されたユーザの喉の振動からユーザの音声を認識する音声認識部４５と、判断部４４の判断に従って電子機器２０を制御する機器制御部４６を備える。
【００４２】
表示制御部４１は、表示部３１に、ユーザの操作に必要な画面情報を表示させる機能を有する。
【００４３】
表示制御部４１は、図３に示すように、複数の電子機器２０（例えば「電子機器Ａ」、「電子機器Ｂ」とする）をそれぞれ示す複数のアイコンＥ１１、Ｅ１２から、操作対象機器（例えば「電子機器Ａ」）を示すアイコン（例えばアイコンＥ１１）を視線入力により指定させるための画面情報（以下「操作対象機器指定画面情報」という）を、表示部３１に表示させる。
【００４４】
また、表示制御部４１は、図４（Ａ）に示すように、複数の機能（例えば「機能１」、「機能２」及び「機能３」とする）をそれぞれ示す複数のアイコンＥ２１、Ｅ２２、Ｅ２３から、操作対象機器に実行させる機能（例えば「機能１」）を示すアイコン（例えばアイコンＥ２１）を視線入力により指定させるための画面情報（以下「機能指定画面情報」という）を、表示部３１に表示させる。
【００４５】
また、表示制御部４１は、図４（Ｂ）に示すように、複数の実行条件（例えば「実行条件１」、「実行条件２」及び「実行条件３」とする）をそれぞれ示す複数のアイコンＥ３１、Ｅ３２、Ｅ３３から、操作対象機器に実行させる機能の実行条件を示すアイコン（例えばアイコンＥ３１）を視線入力により指定させるための画面情報（以下「実行条件指定画面情報」という）を、表示部３１に表示させる。
【００４６】
尚、「機能指定画面情報」及び「実行条件指定画面情報」は、操作内容を示すアイコンを視線入力により指定させるための画面情報（以下「操作内容指定画面情報」という）の一形態である。つまり、本例の「操作内容」には、「機能」及び「実行条件」が含まれる。
【００４７】
次に、視線検出部４２の視線検出について説明する。
【００４８】
視線（注視点）の検出は、ユーザの目の画像から、基準点を目頭、動点（基準点に対して相対的に動く部分）を虹彩とし、目頭に対する虹彩の位置に基づいて行うことができる。この場合例えば、左目の虹彩が目頭から離れていれば、ユーザは左側を見ている。逆に左目の目頭と虹彩が近ければ、ユーザは右側を見ている。
【００４９】
尚、視線の検出は、基準点を角膜反射点とし、動点を瞳孔にして、角膜反射の位置に対する瞳孔の位置に基づいて行うこともできる。この場合例えば、左目の角膜反射よりも瞳孔が目尻側にあれば、ユーザは左側を見ている。角膜反射よりも瞳孔が目頭側にあれば、ユーザは右側を見ている。この方式を用いる場合、ユーザの顔に赤外線を照射して赤外線カメラで撮影する。
【００５０】
本例の視線検出部４２は、視線の移動を検出し（つまり視線を連続して検出し）、本例の判断部４４は、検出された視線の移動に基づいて、操作対象機器と、操作対象機器に対する操作内容とを判断する。判断部４４により、操作対象機器と操作内容のうちの少なくとも一方を、検出した視線の移動に基づいて判断してもよい。
【００５１】
次に、動作認識部４３の動作認識について、具体例を説明する。
【００５２】
動作認識部４３により認識される動作として、例えば、図５（Ａ）に示す「首傾げ」（首を傾ける動作である）、図５（Ｂ）に示す「うなずき」（首の縦振り動作である）、図５（Ｃ）に示す「首振り」（首の横振り動作である）が挙げられる。つまり、「首傾げ」、「うなずき」、「首振り」といった動作を意図したユーザの脳からの指令により頸部の筋肉が動かされ、その結果として頭部が動くが、頸部の動きの結果である「頭部の動き」を検出して動作認識を行うのではなく、頸部装着端末３３の頸部動きセンサ５２により「頸部の動き」を直接的に検出して動作認識を行う。よって、動作認識部４３は、ユーザが意図した動作を的確に認識することが可能である。
【００５３】
判断部４４は、視線検出部４２により検出された視線に基づいて操作対象機器及び操作内容のうちの少なくとも一方を判断し、頸部装着端末３３の頸部動きセンサ５２で検出された頸部の動きに基づいて判断を確定する。尚、本例の判断部４４は、頸部動きセンサ５２の検出結果から動作認識部４３により認識された動作に基づいて判断を行っており、このような場合も本発明における「頸部の動きに基づいて判断する」あるいは「頸部の動きに基づいて判断を確定する」の概念に含まれる。
【００５４】
音声認識部４５は、頸部装着端末３３の振動センサ５４によりユーザの頸部により検出されるユーザの喉の振動に基づいて、ユーザの音声を認識する。
【００５５】
機器制御部４６は、本発明における「制御部」の一形態であり、判断部４４の判断に従って、操作対象機器である電子機器２０を制御する。
【００５６】
例えば、判断部４４により、図３に示した操作対象機器指定画面情報から「電子機器Ａ」が指定されたと判断され、図４（Ａ）に示した機能指定画面情報から「機能１」が指定されたと判断され、かつ図４（Ｂ）に示した実行条件指定画面情報から「実行条件１」が指定されたと判断された場合、通信部３８により、操作対象機器である電子機器Ａに対して機能１を実行条件１において実行するという指示を送信する。
【００５７】
図６は、本実施形態の機器操作装置３０を用いた機器操作方法の第１の例について処理の流れを示すフローチャートである。本処理は、ＣＰＵ４０により、記憶部３９に予め記憶されたプログラムに従って、実行される。
【００５８】
本処理がスタートすると、まず、ステップＳ１０２で、表示制御部４１により、図３に示したように、表示部３１に操作対象機器指定画面情報を表示する。
【００５９】
次に、ステップＳ１０４に進んで、視線検出部４２により、ユーザの視線を検出する。例えば、図７に示すようにユーザが表示部３１の画面上に視線を向けている場合、視線検出カメラ３２により撮像された撮像画像（ユーザ画像）に基づいて、表示部３１の画面においてユーザが視線を向けている位置（視線位置）が算出される。
【００６０】
次に、ステップＳ１０８に進んで、判断部４４により、ステップＳ１０４で検出された視線に基づいて、ユーザが視線により指定した操作対象機器を判断する。
【００６１】
次に、ステップＳ１１２に進んで、頸部装着端末３３の頸部動きセンサ５２によりユーザの頸部の動きを検出し、動作認識部４３によりユーザの動作を認識する。
【００６２】
次に、ステップＳ１１４に進んで、判断部４４により、ユーザが確定操作の動作（例えば図５（Ｂ）に示した「うなずき」）を行ったか否かを判断する。
【００６３】
確定操作が行われていないと判断された場合（ステップＳ１１４でＮＯの場合）、ステップＳ１１６に進んで、判断部４４により、ユーザが取消操作の動作（例えば図５（Ｃ）に示した「首振り」）を行ったか否かを判断する。取消操作が行われたと判断された場合（ステップＳ１１６でＹＥＳの場合）、視線検出結果に基づく操作対象機器の判断結果をクリアして、ステップＳ１０２に戻る。取消操作も行われていないと判断された場合（ステップＳ１１６でＮＯの場合）、ステップＳ１１２に戻り、頸部の動き検出（ステップＳ１１２）、確定操作判断（ステップＳ１１４）を繰り返す。
【００６４】
確定操作が行われたと判断された場合（ステップＳ１１４でＹＥＳの場合）、ステップＳ１２２に進んで、表示制御部４１により、図４に示したように、表示部３１に操作内容指定画面情報を表示する。例えば、図４（Ａ）に示した「機能指定画面情報」又は図４（Ｂ）に示した「実行条件指定画面情報」、あるいは両方の画面情報を組み合わせた画面情報が、操作内容指定画面情報として表示される。
【００６５】
次に、ステップＳ１２４に進んで、視線検出部４２により、ユーザの視線を検出する。つまり、視線検出部４２により、視線検出カメラ３２の撮像画像（ユーザ画像）に基づいて、表示部３１の画面においてユーザが視線を向けている位置（視線位置）を算出する。
【００６６】
次に、ステップＳ１２８に進んで、判断部４４により、ステップＳ１２４で検出された視線に基づいて、ユーザが視線により指定した操作内容を判断する。つまり、操作対象の電子機器２０に対する操作内容を判断する。
【００６７】
次に、ステップＳ１３２に進んで、頸部装着端末３３の頸部動きセンサ５２によりユーザの頸部の動きを検出し、動作認識部４３によりユーザの動作を認識する。
【００６８】
次に、ステップＳ１３４に進んで、判断部４４により、ユーザが確定操作の動作（例えば図５（Ｂ）に示した「うなずき」）を行ったか否かを判断する。
【００６９】
確定操作が行われていないと判断された場合（ステップＳ１３４でＮＯの場合）、ステップＳ１３６に進んで、判断部４４により、ユーザが取消操作の動作（例えば図５（Ｃ）に示した「首振り」）を行ったか否かを判断する。取消操作が行われたと判断された場合（ステップＳ１３６でＹＥＳの場合）、視線検出結果に基づく操作内容の判断結果をクリアして、ステップＳ１２２に戻る。取消操作も行われていないと判断された場合（ステップＳ１３６でＮＯの場合）、ステップＳ１３２に戻り、頸部の動き検出（ステップＳ１３２）、確定操作判断（ステップＳ１３４）を繰り返す。
【００７０】
確定操作が行われたと判断された場合（ステップＳ１３４でＹＥＳの場合）、ステップＳ１３８に進んで、指定された操作対象機器の指定された操作内容を実行する。
【００７１】
次に、ステップＳ１４２に進んで、複数の電子機器２０のうちの同じ電子機器２０に対する操作を継続するか否かを判断する。同じ電子機器２０に対する操作を継続する場合（ステップＳ１４２でＹＥＳの場合）、ステップＳ１２２に戻る。また、ステップＳ１４４により、他の電子機器２０に対する操作を開始するか否かを判断する。他の電子機器２０に対する操作を開始する場合（ステップＳ１４４でＹＥＳの場合）、ステップＳ１０２に戻る。
【００７２】
同一及び他の電子機器２０に対する操作を終了する場合（ステップＳ１４４でＮＯの場合）、ステップＳ１５０に進んで音声処理を実行することにより、レポートの生成及び出力を行う。
【００７３】
ステップＳ１５０の音声処理の詳細について説明する。まず、頸部装着端末３３の振動センサ５４により、ユーザの頸部で喉の振動を検出する。次に、音声認識部４５により、検出されたユーザの喉の振動に基づいて、ユーザの音声を認識する。次に、認識した音声を記録する。つまり、周囲の音楽や音声を記録することなく頸部装着端末３３を装着した人の音声のみを容易に記録することができる。
【００７４】
音声を記録する態様には、機器操作装置３０の本体ユニットである演算装置３４の内部で記録する態様（以下「内部記録態様」という）と、機器操作装置３０の本体ユニットである演算装置３４の外部で記録する態様（以下「外部記録態様」）とがあり、本発明はいずれの場合であってもよい。内部記録態様では、ＣＰＵ４０の制御により、例えば記憶部３９に音声のデータを記録する。この例では記憶部３９が「音声記録部」の一形態である。外部記録態様では、通信部３８（「音声データ出力部」の一形態である）から音声のデータを出力し、例えばデータベース２２に音声のデータを記録する。この例ではデータベース２２が「音声記録部」の一形態である。例えば、音声のデータをファイル化し、データベース２２に対し、ローカルエリアネットワークを介して送信する。
【００７５】
また、図６では機器操作終了後に音声処理（ステップＳ１５０）を行っているが、このような場合に本発明は限定されず、機器操作中の音声を入力、認識及び記録することができる。例えば、手術中の医師等の指示や会話を音声のデータとして記録に残し、医療事故が発生した場合の証拠として活用したり、医療技術の伝承に活用できるようにする。
【００７６】
音声処理（ステップＳ１５０）によりレポートの生成及び出力が終了すると、本処理を終了する。
【００７７】
図６において、ステップＳ１０８、Ｓ１１４、Ｓ１１６、Ｓ１２８、Ｓ１３４及びＳ１３６は、本発明における「判断工程」の一形態である。また、ステップＳ１３８は、本発明における「制御工程」の一形態である。
【００７８】
尚、図６では、視線検出部４２による視線検出と頸部装着端末３３による頸部の動き検出とが異なる時機に行われているが、視線検出及び頸部の動き検出とを時系列で並行して行ってよい。また視線検出及び頸部の動き検出をそれぞれ連続して行ってよい。このような並行制御を行う場合、視線検出及び頸部の動き検出が同時に実行される可能性があるが、本例の視線検出部４２は、頸部装着端末３３が頸部の動き検出を開始したら視線の検出を停止し、頸部装着端末３３が頸部の動き検出を終了したら視線の検出を開始する。例えば、図６のステップＳ１１２、ステップＳ１３２で頸部の動き検出が開始されたときに視線検出部４２に視線検出を停止させ、頸部の動き検出が終了したら視線検出部４２に視線検出を再開させる。
【００７９】
図８は、本実施形態の機器操作装置を用いた機器操作方法の第２の例について処理の流れを示すフローチャートである。本処理は、ＣＰＵ４０により、記憶部３９に予め記憶されたプログラムに従って、実行される。図６に示した本実施形態の第１の例と同じステップには同じ符号を付してあり、以下では相違点のみ説明する。
【００８０】
本例では、図６に示した視線検出（ステップＳ１０４、ステップＳ１２４）の代わりに、視線検出及び頸部の動き検出（ステップＳ１０４Ａ、ステップＳ１２４Ａ）を行う。この視線検出及び頸部の動き検出（ステップＳ１０４Ａ、ステップＳ１２４Ａ）の後に、頸部装着端末３３で検出された頸部の動きと閾値とを比較し（ステップＳ１０６、ステップＳ１２６）、検出された頸部の動きが閾値よりも大きい場合に視線の検出を無効にする。
【００８１】
つまり、本例では、ユーザの頸部が静止又は微動の状態での視線検出を有効にする一方で、ユーザの頸部の動きが大きく動く状態での視線検出を無効にする。なぜなら、ユーザの頸部が大きく動く状態では、ユーザの頭も大きく動き、その結果としてユーザの視線が無意識のうちに大きく動く可能性があり、ユーザの意図に合わない判断をする可能性があるからである。
【００８２】
ここで、「検出された頸部の動きが閾値よりも大きい場合」には、検出された頸部の動きの量（つまり動きベクトルの大きさ）が閾値よりも大きい場合、検出された頸部の動きの方向（つまり動きベクトルの方向）の変動を示す評価値が閾値よりも大きい場合、などが挙げられる。つまり、視線検出の精度に影響するユーザの頸部の動きの大きさとして、動きベクトルの大きさ以外に、動きベクトルの方向の変動の大きさが挙げられる。言い換えると、「検出された頸部の動き」は、動きベクトルの大きさ以外に、その動きベクトルの評価値を含む概念である。
【００８３】
図９は、本実施形態の機器操作装置を用いた機器操作方法の第３の例について処理の流れを示すフローチャートである。本処理は、ＣＰＵ４０により、記憶部３９に予め記憶されたプログラムに従って、実行される。図６に示した本実施形態の第１の例及び図８に示した本実施形態の第２の例と同じステップには同じ符号を付してあり、以下では相違点のみ説明する。
【００８４】
本例では、図６及び図８に示した頸部の動き検出（ステップＳ１１２、ステップＳ１３２）の代わりに、視線検出及び頸部の動き検出（ステップＳ１１２Ａ、ステップＳ１３２Ａ）を行う。この視線検出及び頸部の動き検出（ステップＳ１１２Ａ、ステップＳ１３２Ａ）による視線検出及び頸部の動き検出の結果に基づいて、確定操作か否かの判断（ステップＳ１１４、ステップＳ１３４）、及び取消操作か否かの判断（ステップＳ１１６、ステップＳ１３６）を行う。
【００８５】
つまり、本例では、操作対象機器及び操作内容の判断の確定を行うか否か、並びに操作対象機器及び操作内容の判断の取消を行うか否かを、頸部の動きの検出結果のみでなく視線の検出結果にも基づいて行う。なぜなら、単に頸部の動きのみに基づいてユーザが確定操作又は取消操作を行ったか否かを判断すると、ユーザが無意識のうちに頸部を動かした場合にもユーザが確定操作又は取消操作を行ったと誤判断する可能性があるからである。このような誤判断を回避する方法として、検出された頸部の動きと比較する閾値を大きくするなどの判定基準値を変更する方法も考えられる。しかし、誤判断回避のためにユーザにより大きな頸部の動きを強いることになると、即ち無理な動作をユーザに強要すると、スムーズな操作ができないことになり、ユーザの疲労にもつながる。そこで、ユーザが表示部３１の画面上のＧＵＩ（graphical user interface）要素（例えばボタン）を注視している状態で頸部を動かした場合には頸部の動きに関わらず表示部３１の画面上の視線位置がほぼ一定又は微動の範囲内に収まるという特性を利用して判断を行う。
【００８６】
例えば、首の縦振り（うなずき）であるか否かを判定することによりユーザが確定操作を行ったか否かを判断する場合、首を下（又は上）に振るとユーザの瞳が上（又は下）に移動することにより、頸部の動きベクトルの大きさが頸部の動き判定用の閾値よりも大きくなる一方で画面上の視線位置の移動量が視線移動判定用の閾値以下になることを検出する。また、首の横振りであるか否かを判定することによりユーザが取消操作を行ったか否かを判断する場合、首を左（又は右）に振るとユーザの瞳が右（又は左）に移動することにより、頸部の動きベクトルの大きさが頸部の動き判定用の閾値よりも大きくなる一方で画面上の視線位置の移動量が視線移動判定用の閾値以下になることを検出する。
【００８７】
＜第２の実施形態＞
図１０は、第２の実施形態における機器操作装置３０の一例を示すブロック図である。図１０において、図２に示した第１の実施形態の機器操作装置３０と同じ構成要素には同じ符号を付してあり、以下では異なる点のみ説明する。
【００８８】
頭部装着端末６０は、図１１に示すようにユーザの頭部に装着される端末であり、ユーザの目の視野内に存在する被写体を撮像して視野画像を取得する視野カメラ６１と、ユーザの目を撮像して目の画像を取得する視線検出カメラ６２を備える。視野カメラ６１は、頭部装着端末６０がユーザの頭部に装着されたときに左目及び／又は右目の近傍に位置するように配置される。本例では、ユーザの左目及び右目と表示部３１との相対的な三次元の位置関係を算出可能とするため、左目の近傍及び右目の近傍のそれぞれに視野カメラ６１を配置し、左目の視野画像と右目の視野画像とからなる立体視画像を取得する構成としている。視線検出カメラ６２は、頭部装着端末６０がユーザの頭部に装着されたときに左目及び右目のそれぞれが撮像対象となるように配置される。視線の検出を確実に安定して行うために複数の視線検出カメラ６２（例えば左目撮像用の視線検出カメラと右目撮像用の視線検出カメラの二台）を設けてよい。
【００８９】
本実施形態の機器操作装置３０を用いた機器操作方法は、第１実施形態で図６を用いて説明した処理とほぼ同様に実行することができる。第２実施形態では、視線検出部４２による視線検出（図６のステップＳ１０４）において、頭部装着端末６０の視野カメラ６１により取得された視野画像と、頭部装着端末６０の視線検出カメラ６２により取得された目の画像とに基づいて、ユーザの視線位置を算出する。
【００９０】
本例の頭部装着端末６０は、視野カメラ６１により取得された視野画像と視線検出カメラ６２により取得した目の画像とを、本体ユニットである演算部３４に対して送信し続ける。例えば、視野画像及び目の画像を静止画として、一定あるいは不定の時間間隔で送信する。動画として一定のフレームレートで送信してもよい。
【００９１】
演算部３４の視線検出部４２は、視野画像（本例では左目の視野画像及び右目の視野画像の両方）に基づいて、ユーザの目と表示部３１の画面との相対的な位置関係を算出する。また、演算部３４の視線検出部４２は、目の画像（本例では左目の画像及び右目の画像の両方）に基づいて、目の基準点と動点（基準点に対して相対的に動く部分）との相対的な位置関係を算出する。視線検出カメラ６２で可視光の撮像を行う場合、例えば、目頭及び／又は目尻を基準点とし、虹彩を動点とする。視線検出カメラ６２により赤外光の撮像を行う場合、例えば、角膜反射点を基準点とし、瞳孔を動点とする。
【００９２】
次に、演算部３４の視線検出部４２は、算出された目と表示部３１の画面との相対的な位置関係、及び算出された目の基準点と動点との位置関係に基づいて、視野画像のうちのどこをユーザが見ているかを示す座標（視野画像における視線位置である）を算出する。つまり、視野画像と視線位置との対応付けを行う。
【００９３】
図１２（Ａ）に示すように、視野画像の横方向をＸ方向として縦方向をＹ方向とした場合、視線位置は、（ｘ，ｙ）座標を中心とする例えば一定半径の小さな円形の範囲として表される。つまり、図１２（Ｂ）に示すように、ユーザは視野画像のうちの（ｘ，ｙ）座標を中心とした部分に存在するＧＵＩ要素（図では要素Ｅ２１から要素Ｅ２３の三つの要素のうちの要素Ｅ２１）に視線を向けていると判断することができる。そのＧＵＩ要素をユーザが注視している状態で、図１２（Ｃ）に示すように、ユーザが首を縦に振ると、頸部装着端末３３の頸部動きセンサ５２により頸部の動きが検出され、動作認識部４３によりユーザの首の縦振り（「うなずき」ともいう）が認識されるので、ユーザが注視した要素Ｅ２１に対応した操作が確定する。
【００９４】
本実施形態によれば、いわゆるメガネ型の頭部装着端末６０を用いて視線検知を行うので、ユーザの顔の向きや体の向きに依らず、ユーザの視線位置を正確に検出することが可能になる。つまり、ユーザは視線を自然に向けることができる。また、ユーザの頭部の角度（顔の向き）が変わった場合でも、頭部の角度の変化に関わらず正確に視線検出を行うことができる。
【００９５】
＜医用システムへの適用例＞
図１３は、図１に示した電子機器２０として内視鏡装置１００を用いる場合の電子機器システム（内視鏡システム１０）を示す外観図である。
【００９６】
≪内視鏡本体の構成≫
内視鏡本体１１０は、手元操作部１０２と、この手元操作部１０２に連設される挿入部１０４とを備える。術者は手元操作部１０２を把持して操作し、挿入部１０４を被験者の体内に挿入して観察を行う。挿入部１０４は、手元操作部１０２側から順に、軟性部１１２、湾曲部１１４、先端部１１６で構成されている。先端部１１６には、撮影光学系１３０（図１４参照）、照明部１２３、送水ノズル１２４、鉗子口１２６等が設けられる。
【００９７】
観察または処置の際には、操作部２０８（図１４参照）の操作により、照明部１２３の照明用レンズ１２３Ａ，１２３Ｂから可視光及び赤外光のいずれか、または両方を照射することができる。また操作部２０８の操作により、送水ノズル１２４から洗浄水が放出されて、撮影光学系１３０のレンズ１３２及び、照明用レンズ１２３Ａ，１２３Ｂを洗浄することができる。鉗子口１２６には腫瘍摘出または切除のための図示せぬ処置具が挿通され、適宜進退して被検体に必要な処置を施せるようになっている。
【００９８】
図１４に示すように、先端部１１６の先端面には撮影光学系１３０のレンズ１３２が配設されており、このレンズ１３２の奥にＣＭＯＳ（Complementary MOS）型の撮像素子１３４、駆動回路１３６、ＡＦＥ（Analog Front End）１３８が配設されて、画像信号を出力するようになっている。本実施形態では撮像素子１３４がＣＭＯＳ型の撮像素子である場合について説明するが、撮像素子１３４はＣＣＤ（Charge Coupled Device）型でもよい。
【００９９】
レンズ１３２等を介して取り込まれた観察像は撮像素子１３４の受光面に結像されて電気信号に変換され、不図示の信号ケーブルを介して内視鏡プロセッサ２００に出力されて映像信号に変換される。これにより、内視鏡プロセッサ２００に接続されたモニタ４００に観察画像が表示される。
【０１００】
≪観察画像の表示≫
図１５は内視鏡装置１００の挿入部１０４を被検体内に挿入した状態を示す図であり、撮影光学系１３０を介して観察画像を取得する様子を示している。図１５中、参照符号ＩＡは撮影範囲を示し、参照符号ｔｍは腫瘍（図１５中黒色で隆起している部分）を示す。
【０１０１】
図１３〜図１５に示すように、先端部１１６の先端面には、レンズ１３２に隣接して照明部１２３の照明用レンズ１２３Ａ（可視光用）、１２３Ｂ（赤外光用）が設けられている。照明用レンズ１２３Ａ、１２３Ｂの奥には、後述するライトガイド１７０の射出端が配設され、このライトガイド１７０が挿入部１０４、手元操作部１０２、及びユニバーサルケーブル１０６に挿通され、ライトガイド１７０の入射端がライトガイドコネクタ１０８内に配置される。
【０１０２】
≪光源装置の構成≫
図１４に示すように、光源装置３００は、光源３１０、絞り３３０、及び集光レンズ３４０等から構成されており、照明用の光をライトガイド１７０に入射させる。光源３１０は、可視光源３１０Ａ及び赤外光源３１０Ｂを備えており、可視光及び赤外線の一方または両方を照射可能である。これにより、ライトガイドコネクタ１０８（図１３参照）を光源装置３００に連結することによって、光源装置３００から照射された照明光がライトガイド１７０を介して照明用レンズ１２３Ａ、１２３Ｂに伝送され、照明用レンズ１２３Ａ、１２３Ｂから観察範囲に照射される。
【０１０３】
≪内視鏡プロセッサの構成≫
次に、図１４に基づき内視鏡プロセッサ２００の構成を説明する。内視鏡プロセッサ２００は、内視鏡装置１００から出力される画像信号を、画像入力コントローラ２０２を介して入力し、画像処理部２０４において必要な画像処理を行ってビデオ出力部２０６を介して出力する。これによりモニタ４００に観察画像が表示される。これらの処理はＣＰＵ（Central Processing Unit；中央処理装置）２１０の制御下で行われる。画像処理部２０４では、ホワイトバランス調整等の画像処理の他、モニタ４００に表示する画像の切替または重畳表示、電子ズーム処理、操作モードに応じた画像の表示及び切替、画像信号からの特定成分（例えば輝度信号）の抽出等を行う。
【０１０４】
また、内視鏡プロセッサ２００は操作部２０８を備えている。操作部２０８は図示せぬ操作モード設定、切替スイッチまたは送水指示ボタン等を備えており、また可視光または赤外光の照射を操作することができる。
【０１０５】
＜その他＞
図１３を用いて、操作対象機器が医療機器である内視鏡装置１００である場合について説明したが、本発明において操作対象機器は医療機器でなくてもよい。医療機器の他にも、スマートフォン、タブレット端末、ゲーム機等の携帯機器の操作や、車両の運転等の機器操作のために両手を自由に使えない状況や、機器配置に制約がある状況での機器操作に適用できる。また、操作対象機器は１つに限られず、複数の機器から視線及び頸部の動きに基づいて選択するようにしてもよい。また本発明において、操作対象機器や機器の使用状況、操作の種類や重要度等によってはジェスチャを頭部を動かさないで頸部のみを動かす動作で行うようにしてもよいし、視線検出の対象となるユーザとジェスチャ検出の対象となるユーザを別人としてもよい。
【０１０６】
本発明は、上述した実施形態には限定されず、本発明の主旨を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
【符号の説明】
【０１０７】
１０…電子機器システム、２０…電子機器、２２…データベース（音声記録部の一形態）、３０…機器操作装置、３１…表示部、３２…視線検出カメラ、３３…頸部装着端末、３４…演算部、３８…通信部、３９…記憶部（音声記録部の一形態）、４０…ＣＰＵ、４１…表示制御部、４２…視線検出部、４３…動作認識部、４４…判断部、４５…音声認識部、４６…機器制御部、５２…頸部動きセンサ、５４…振動センサ、６０…頭部装着端末、６１…視野カメラ、６２…視線検出カメラ
【図１】
2017038248.tif 000003
【図２】
2017038248.tif 000004
【図３】
2017038248.tif 000005
【図４】
2017038248.tif 000006
【図５】
2017038248.tif 000007
【図６】
2017038248.tif 000008
【図７】
2017038248.tif 000009
【図８】
2017038248.tif 000010
【図９】
2017038248.tif 000011
【図１０】
2017038248.tif 000012
【図１１】
2017038248.tif 000013
【図１２】
2017038248.tif 000014
【図１３】
2017038248.tif 000015
【図１４】
2017038248.tif 000016
【図１５】
2017038248.tif 000017
【手続補正書】
【提出日】平成30年2月16日(2018.2.16)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ユーザの視線を検出する視線検出部と、
前記ユーザの頸部に装着され前記ユーザの頸部の動きを検出する頸部装着端末と、
前記検出された視線及び前記検出された頸部の動きに基づいて、操作対象機器及び前記操作対象機器に対する操作内容のうちの少なくとも一方を判断する判断部と、
前記判断に従って前記操作対象機器を制御する制御部と、
を備え、
前記視線検出部は、前記頸部装着端末が前記頸部の動きの検出を開始したら前記視線の検出を停止し、前記頸部装着端末が頸部の動きの検出を終了したら前記視線の検出を開始する、機器操作装置。
【請求項２】
前記判断部は、
前記検出された視線に基づいて前記操作対象機器及び前記操作内容のうちの少なくとも一方を判断し、
前記検出された頸部の動きに基づいて前記判断を確定する、請求項１に記載の機器操作装置。
【請求項３】
前記視線検出部は前記視線の移動を検出し、
前記判断部は、前記検出した視線の移動に基づいて、前記操作対象機器及び前記操作内容のうちの少なくとも一方を判断する、請求項１または２に記載の機器操作装置。
【請求項４】
前記操作内容は、前記制御部が前記操作対象機器に実行させる機能と、前記機能の実行条件と、を含む、請求項１から３のいずれか１項に記載の機器操作装置。
【請求項５】
前記頸部装着端末により検出された前記ユーザの喉の振動から前記ユーザの音声を認識する音声認識部と、を備える請求項１から４のいずれか１項に記載の機器操作装置。
【請求項６】
前記認識した音声を記録する音声記録部を備える請求項５に記載の機器操作装置。
【請求項７】
前記判断部は、前記検出された頸部の動きが閾値よりも大きい場合に前記視線の検出を無効にする、
請求項１から６のいずれか１項に記載の機器操作装置。
【請求項８】
請求項１から７のいずれか１項に記載の機器操作装置と、
前記操作対象機器である電子機器と、
を含む電子機器システム。
【請求項９】
前記電子機器は医療機器である、請求項８に記載の電子機器システム。
【請求項１０】
ユーザの視線を検出する視線検出部と、前記ユーザの頸部に装着され前記ユーザの頸部の動きを検出する頸部装着端末と、を備える機器操作装置の機器操作方法であって、
前記検出された視線及び前記検出された頸部の動きに基づいて、操作対象機器及び前記操作対象機器に対する操作内容のうちの少なくとも一方を判断する判断工程と、
前記判断に従って前記操作対象機器を制御する制御工程と、
を含み、
前記頸部の動きの検出を開始したら前記視線の検出を停止し、前記頸部の動きの検出を終了したら前記視線の検出を開始する、機器操作方法。
【国際調査報告】
2017038248.tif 000018
2017038248.tif 000019
2017038248.tif 000020
2017038248.tif 000021