(57)【要約】  操作対象である操作対象機器の機能を示す情報を操作情報として取得する操作情報取得部と、操作対象機器を操作するユーザを撮像した画像の画像情報から、ユーザの視線情報を算出する画像認識部と、操作対象機器（２００）から送信された情報を用いて、操作対象機器（２００）の位置を算出する位置算出部（１０７）と、操作対象機器（２００）を操作する操作指示を示す音声信号を取得する音声信号取得部（１１２）と、音声信号が取得された場合に、算出された視線情報と、算出された操作対象機器の位置とに基づいて、操作指示の対象となる操作対象機器を特定する操作対象機器特定部（１１４）と、取得された操作指示に対応したテキスト情報に基づいて、特定された操作対象機器を制御する操作コマンドを生成するリモコン制御部（１１５）とを備える。
2019142295.tif 000002
【特許請求の範囲】
【請求項１】
操作対象である操作対象機器の機能を示す情報を操作情報として取得する操作情報取得部と、
前記操作対象機器を操作するユーザを撮像した画像の画像情報から、前記ユーザの視線情報を算出する画像認識部と、
前記操作対象機器から送信された情報を用いて、前記操作対象機器の位置を算出する位置算出部と、
前記操作対象機器を操作する操作指示を示す音声信号を取得する音声信号取得部と、
前記音声信号取得部が前記音声信号を取得した場合に、前記画像認識部が算出した前記視線情報と、前記位置算出部が算出した前記操作対象機器の位置とに基づいて、前記操作指示の対象となる前記操作対象機器を特定する操作対象機器特定部と、
前記音声信号取得部が取得した前記操作指示に対応したテキスト情報に基づいて、前記操作対象機器特定部が特定した前記操作対象機器を制御する操作コマンドを生成する制御部とを備えた機器操作装置。
【請求項２】
前記位置算出部は、前記操作対象機器に対応付けられた発光装置から送信された発光信号に基づいて、前記操作対象機器の位置を算出することを特徴とする請求項１記載の機器操作装置。
【請求項３】
前記位置算出部がいずれかの前記操作対象機器の位置を算出できなかった場合に、前記位置算出部が位置を算出できた他の前記操作対象機器の位置に基づいて、前記位置を算出できなかった操作対象機器の位置を推定する位置推定部を備えたことを特徴とする請求項１記載の機器操作装置。
【請求項４】
前記画像認識部が算出した前記ユーザの視線情報を予め設定された期間記憶する視線情報記憶部を備え、
前記操作対象機器特定部は、前記視線情報記憶部に記憶された前記視線情報を参照し、前記ユーザの視線ベクトルの方向に位置する前記操作対象機器を、前記操作指示の対象となる操作対象機器として特定することを特徴とする請求項１記載の機器操作装置。
【請求項５】
前記操作対象機器特定部は、前記視線情報記憶部に記憶された前記視線情報を参照し、前記音声信号取得部が前記音声信号を取得した時点から一定期間遡って得られる期間に、前記ユーザの視線ベクトルの方向に位置する前記操作対象機器を、前記操作指示の対象となる操作対象機器として特定することを特徴とする請求項４記載の機器操作装置。
【請求項６】
前記操作対象機器特定部は、前記ユーザの視線ベクトルの方向に複数の前記操作対象機器が位置した場合に、前記操作指示が入力された時点に最も近い時間帯での前記ユーザの視線ベクトルの方向に位置した操作対象機器を、前記操作指示の対象となる操作対象機器として特定することを特徴とする請求項５記載の機器操作装置。
【請求項７】
前記テキスト情報は、前記音声信号取得部が取得した前記操作指示に対応した音声ストリームに対して、音声認識処理および対話処理を実行して得られた、前記操作対象機器に対する操作のための情報であることを特徴とする請求項１記載の機器操作装置。
【請求項８】
請求項１記載の機器操作装置と、
前記機器操作装置から送信された前記操作コマンドに応じて機能の制御を行う前記操作対象機器と、
前記操作対象機器に対応付けて設けられ、前記機器操作装置に対して発光信号を送信する発光装置とを備え、
前記機器操作装置の前記位置算出部は、前記発光装置が送信した前記発光信号に基づいて、前記操作対象機器の位置を算出する機器操作システム。
【請求項９】
操作情報取得部が、操作対象である操作対象機器の機能を示す情報を操作情報として取得するステップと、
画像認識部が、前記操作対象機器を操作するユーザを撮像した画像の画像情報から、前記ユーザの視線情報を算出するステップと、
位置算出部が、前記操作対象機器から送信された情報を用いて、前記操作対象機器の位置を算出するステップと、
音声信号取得部が、前記操作対象機器を操作する操作指示を示す音声信号を取得するステップと、
操作対象機器特定部が、前記音声信号が取得された場合に、前記算出された前記視線情報と、前記算出された前記操作対象機器の位置とに基づいて、前記操作指示の対象となる前記操作対象機器を特定するステップと、
制御部が、前記取得された操作指示に対応したテキスト情報に基づいて、前記特定された前記操作対象機器を制御する操作コマンドを生成するステップとを備えた機器操作方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、検出された視線に基づいて機器を操作する技術に関するものである。
【背景技術】
【０００２】
機器の操作は、ユーザが手または足により行うことが一般的であるが、手または足を用いることなく、ユーザの視線を用いて機器を操作する技術も存在する。
例えば、特許文献１には、視線検出カメラから出力されたユーザ画像に基づいてユーザの視線を検出する視線検出部と、頸部に装着された頸部動きセンサで検出されたユーザの頸部の動きに基づいてユーザの頭部の動作を認識する動作認識部と、視線検出部で検出された視線、およびユーザの頸部の動きから認識されたユーザの頭部の動作に基づいて、操作対象機器を判断する判断部と、頸部装着端末の振動センサによりユーザの頸部で検出されたユーザの喉の振動からユーザの音声を認識する音声認識部と、判断部の判断に従って機器装置を制御する機器制御部と、複数の機器装置を示すアイコンおよび、操作対象機器に実行させる機能を示すアイコンを表示する表示部とを備える機器操作装置が開示されている。
当該機器操作装置は、ユーザが表示部の画面上に視線を向けている際に、視線検出カメラにより撮像されたユーザ画像に基づいて、表示部の画面上でユーザが視線を向けている視線位置を算出し、算出した視線位置に基づいて、ユーザの視線により指定された表示部上のアイコンから操作対象機器および操作対象機器に対する操作内容を判断する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】国際公開２０１７／０３８２４８Ａ１号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述した特許文献１に開示された技術では、表示部に表示された複数のアイコンから、操作対象機器のアイコンまたは機能のアイコンを視線により指定している。しかし、ユーザの位置および操作対象機器の位置が把握されていないため、ユーザが操作しようとする操作対象機器を指定する必要があり、機器操作の利便性が低下するという課題があった。【０００５】
この発明は、上記のような課題を解決するためになされたもので、ユーザが操作対象機器を指定することなく、当該操作対象機器を特定し、機器操作の利便性を向上させることを目的とする。
【課題を解決するための手段】
【０００６】
この発明に係る機器操作装置は、操作対象である操作対象機器の機能を示す情報を操作情報として取得する操作情報取得部と、操作対象機器を操作するユーザを撮像した画像の画像情報から、ユーザの視線情報を算出する画像認識部と、操作対象機器から送信された情報を用いて、操作対象機器の位置を算出する位置算出部と、操作対象機器を操作する操作指示を示す音声信号を取得する音声信号取得部と、音声信号取得部が音声信号を取得した場合に、画像認識部が算出した視線情報と、位置算出部が算出した操作対象機器の位置とに基づいて、操作指示の対象となる操作対象機器を特定する操作対象機器特定部と、音声信号取得部が取得した操作指示に対応したテキスト情報に基づいて、操作対象機器特定部が特定した操作対象機器を制御する操作コマンドを生成する制御部とを備えるものである。
【発明の効果】
【０００７】
この発明によれば、ユーザが操作対象機器を指定することなく、当該操作対象機器を特定することができ、機器操作の利便性を向上させることができる。
【図面の簡単な説明】
【０００８】
【図１】実施の形態１に係る機器操作装置を備えた機器操作システムの構成を示す図である。
【図２】実施の形態１に係る機器操作装置の構成を示すブロック図である。
【図３】実施の形態１に係る機器操作システムの発光装置の構成を示すブロック図である。
【図４】図４Ａおよび図４Ｂは、実施に形態１に係る機器操作装置のハードウェア構成例を示す図である。
【図５】図５Ａおよび図５Ｂは、実施に形態１に係る機器操作システムの発光装置のハードウェア構成例を示す図である。
【図６】実施の形態１に係る機器操作装置に接続された位置検出装置の構成を示す図である。
【図７】２次元ＰＳＤによる発光信号の受光を示す説明図である。
【図８】発光装置と２次元ＰＳＤとの間の距離を求める構成を示す説明図である。
【図９】実施の形態１に係る機器操作装置の位置算出部による操作対象機器の位置の算出を示す説明図である。
【図１０】実施の形態１に係る機器操作装置の操作対象機器特定部による操作対象機器の特定を示す説明図である。
【図１１】実施の形態１に係る機器操作装置による、事前の情報記憶処理を示すフローチャートである。
【図１２】実施の形態１に係る機器操作装置を備えた機器操作システムにおける操作対象機器の操作情報を記憶する処理を示すシーケンス図である。
【図１３】実施の形態１に係る機器操作装置が操作対象機器を制御する処理を示すフローチャートである。
【図１４】実施の形態１に係る機器操作装置を備えた機器操作システムにおける操作対象機器を操作する処理を示すシーケンス図である。
【図１５】実施の形態２に係る機器操作装置の構成を示すブロック図である。
【図１６】実施の形態２に係る機器操作システムの配置位置の関係を示す図である。
【図１７】実施の形態２に係る機器操作システムの機器操作装置に対する操作対象機器の位置を示す図である。
【図１８】実施の形態２に係る機器操作装置の位置推定処理を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
図１は、実施の形態１に係る機器操作装置１００を備えた機器操作システムの構成を示す図である。
機器操作システムは、機器操作装置１００、操作対象機器２００、操作対象機器２００に接続された発光装置３００を備えて構成される。機器操作装置１００は、アンテナまたは通信回線を介して、操作対象機器２００との通信接続を確立する。さらに、機器操作装置１００は、ネットワーク通信網４００を介して、外部のＷｅｂサーバ５００と接続される。
【００１０】
操作対象機器２００は、機器操作装置１００の制御に基づいて操作される操作対象である。操作対象機器２００は、図１に示すように第１の操作対象機器２０１、第２の操作対象機器２０２および第３の操作対象機器２０３等の複数の操作対象機器２００で構成される。操作対象機器２００は、発光信号を送信する発光装置３００と接続される。図１に示すように、第１の操作対象機器２０１には第１の発光装置３０１が接続され、第２の操作対象機器２０２には第２の発光装置３０２が接続され、第３の操作対象機器２０３には第３の発光装置３０３が接続される。図１では、操作対象機器２００および発光装置３００が３個配置される場合を例に示したが、操作対象機器２００および発光装置３００の配置数は３個に限定されるものではなく、適宜設定可能である。
【００１１】
操作対象機器２００は、機器操作装置１００から送信された操作コマンドに応じた赤外光を受光する。機器操作装置１００から送信された操作コマンドに応じた無線通信信号を、アンテナを介して受信する。操作対象機器２００は、受光した赤外光または受信した無線通信信号で通知された操作コマンドに基づいて、機能を実行する。また、操作対象機器２００は、機能を示す情報を操作情報に応じた無線通信信号を、アンテナを介して機器操作装置１００に送信する。
【００１２】
外部のＷｅｂサーバ５００は、機器操作装置１００から送信された音声ストリームに対して音声認識処理および対話処理を実行し、ユーザが機器操作装置１００に対して入力した音声に対応したテキスト情報を生成する機能を有する。
【００１３】
図１で示した機器操作システムは、例えば、既存の移動体通信網を利用した音声アシスタント機能を有するスマートスピーカまたはＡＩスピーカを利用する場合に適用される。音声アシスタント機能は、例えばクラウド事業者により提供されるサービスを、インターネットを介して使用する。
また、以下では、操作対象機器２００が室内に設置されているものとして説明する。図１で示したように、第１の操作対象機器２０１、第２の操作対象機器２０２および第３の操作対象機器２０３には、それぞれ異なる機種名が付与され、それぞれの機器毎に対応する操作を行う。
【００１４】
次に、機器操作装置１００の詳細な構成を、図２を参照しながら説明する。
図２は、実施の形態１に係る機器操作装置１００の構成を示すブロック図である。
機器操作装置１００は、ネットワーク通信部１０１、操作情報取得部１０２、操作情報記憶部１０３、出力制御部１０４、発光制御部１０５、赤外線通信部１０６、位置算出部１０７、位置情報記憶部１０８、画像情報取得部１０９、画像認識部１１０、視線情報記憶部１１１、音声信号取得部１１２、音声情報処理部１１３、操作対象機器特定部１１４およびリモコン制御部（制御部）１１５を備える。
また、機器操作装置１００には、スピーカ６０１、位置検出装置６０２、カメラ６０３ａ，６０３ｂ、マイク６０４およびアンテナ６０５が接続される。
【００１５】
ネットワーク通信部１０１は、アンテナ６０５および通信回線を介して、機器操作装置１００が取り扱う種々の情報の送受信を行う。例えば、機器操作装置１００のインターネット機能を実現するために、ネットワーク通信部１０１はネットワーク通信網４００を介してＷｅｂサーバ５００とデータ通信を行う。また、ネットワーク通信部１０１は、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の短距離無線通信、またはＷｉＦｉ（登録商標）等の無線通信によって、操作対象機器２００との間の通信を行う。また、ネットワーク通信部１０１は、後述するリモコン制御部１１５から入力される操作コマンドに応じた無線通信信号を、アンテナ６０５を介して操作対象機器２００に送信する。また、ネットワーク通信部１０１は、操作対象機器２００から送信された無線通信信号をアンテナ６０５を介して受信し、受信した無線通信信号に含まれる情報を操作情報取得部１０２またはリモコン制御部１１５に出力する。
【００１６】
操作情報取得部１０２は、ネットワーク通信部１０１を介して、操作対象機器２００の機能を示す情報を操作情報として取得する。ここで、操作対象機器２００の機能を示す情報とは、操作対象機器２００に対して行うことができる操作の内容を示す情報である。操作情報取得部１０２は、ネットワーク通信部１０１を介して、同一ネットワーク上に存在する操作対象機器２００を検索し、検索した操作対象機器２００から操作情報を取得する。または、操作情報取得部１０２は、ネットワーク通信部１０１を介して、操作対象機器２００に関するＷｅｂサーバ５００にアクセスし、操作情報を取得する。操作対象機器２００に関するＷｅｂサーバ５００とは、例えば操作対象機器２００を製造する製造元のＷｅｂサーバである。操作情報取得部１０２は、取得した操作情報を操作情報記憶部１０３に記憶させる。
【００１７】
操作情報記憶部１０３は、操作情報取得部１０２が取得した操作情報を記憶する記憶領域である。操作情報記憶部１０３に記憶される操作情報は、操作対象機器２００を識別するために各操作対象機器２００に付与された、例えばＵＵＩＤ（Universally Unique IDentifier）、アドレス、機種名および機能を示す情報で構成される識別情報である。
【００１８】
出力制御部１０４は、操作情報記憶部１０３に記憶された操作情報を参照し、検索された操作対象機器２００の機種名を読み上げるための制御情報を生成する。出力制御部１０４は、生成した制御情報をスピーカ６０１に出力する。出力制御部１０４は、例えば操作情報記憶部１０３への操作情報の記憶が完了すると、上述した操作対象機器２００の機種名を読み上げるための制御情報を生成し、出力する制御を行う。スピーカ６０１は、出力制御部１０４から入力された制御情報に基づいて、操作対象機器２００の機種名の読み上げを行う。ユーザは、読み上げられた操作対象機器２００の機種名に応じて、当該操作対象機器２００に発光装置３００を装着する。なお、発光装置３００は操作対象機器２００に予め装備されていてもよい。
【００１９】
なお、図２では、マイク６０４を介して読み上げ指示が入力される場合を示したが、タッチパネル、マウスまたはキーボード等の他の入力装置を介して読み上げ指示が入力される構成を示してもよい。また、図２では、スピーカ６０１が操作対象機器２００の機種名を読み上げる場合を示したが、ディスプレイ等の他の出力装置を介して操作対象機器２００の機種名を出力する構成としてもよい。
【００２０】
発光制御部１０５は、ネットワーク通信部１０１を介して、発光装置３００の各操作対象機器２００への装着が完了したことを示す応答を受信すると、各発光装置３００に発光信号の出力を要求するための発光信号出力要求を生成する。発光制御部１０５は、赤外線通信部１０６を介して、各発光装置３００に発光信号出力要求を送信する。
【００２１】
赤外線通信部１０６は、例えば、赤外線ダイオードなどの赤外線発光部および赤外線フォトダイオードなどの赤外線受光部を備え、機器操作装置１００と操作対象機器２００との間、および機器操作装置１００と発光装置３００との間で赤外線通信を行うための通信部である。赤外線通信部１０６は、発光制御部１０５から入力される発光信号出力要求、またはリモコン制御部１１５から入力される操作コマンドに応じた赤外光を発光する。赤外線通信部１０６は、赤外光を発光することにより、操作対象機器２００および発光装置３００に赤外線通信信号を送信する。また、赤外線通信部１０６は、操作対象機器２００および発光装置３００から送信された赤外線通信信号を受信し、受信した赤外線通信信号に含まれる情報をリモコン制御部１１５に出力する。
【００２２】
位置算出部１０７は、位置検出装置６０２から入力される検出出力を用いて、各操作対象機器２００の位置を算出する。位置検出装置６０２は、発光装置３００から出力された発光信号を検出する。ここで、発光装置３００から出力された発光信号は、発光装置３００と接続された操作対象機器２００から送信された情報であると言える。位置検出装置６０２は、発光信号を検出すると、当該発光信号の検出を示す検出出力を位置算出部１０７に出力する。位置検出装置６０２は、半導体位置検出素子（ＰＳＤ：Position Sensitive Device）を備える。位置検出装置６０２は、例えば、後述する図６で示すように４つの２次元ＰＳＤで構成される。
【００２３】
位置検出装置６０２のＰＳＤにおいて、発光装置３００が送信した発光信号が検出されると、位置算出部１０７は、当該発光信号の検出を示す検出出力に基づいて操作対象機器２００の位置を算出する。位置算出部１０７は、算出した各操作対象機器２００の位置を位置情報として位置情報記憶部１０８に記憶させる。なお、位置算出部１０７の詳細については後述する。位置情報記憶部１０８は、位置算出部１０７が算出した各操作対象機器２００の位置情報を記憶する記憶領域である。
【００２４】
画像情報取得部１０９は、カメラ６０３ａ，６０３ｂが撮像した画像の画像情報を取得する。画像情報取得部１０９は、取得した画像情報を画像認識部１１０に出力する。ここで、カメラ６０３ａ，６０３ｂは、ステレオカメラを構成し、被写体を複数の異なる方向から同時に撮影し、被写体の位置を記録することが可能である。カメラ６０３ａ，６０３ｂは、操作対象機器２００が配置された空間全体を撮像可能に配置され、操作対象機器２００を操作するユーザを撮影する。
【００２５】
画像認識部１１０は、画像情報取得部１０９から入力された画像情報からユーザの顔を検出する。画像認識部１１０は、検出したユーザの顔の画像データを解析してユーザの顔およびユーザの目を検出し、ユーザの顔位置、およびユーザの視線方向を示す視線ベクトルを算出する。画像認識部１１０は、算出したユーザの顔位置と、視線ベクトルとを紐付けて、視線情報として視線情報記憶部１１１に記憶させる。なお、画像認識部１１０の詳細については後述する。
【００２６】
視線情報記憶部１１１は、予め設定された期間における、ユーザの顔位置と、視線方向ベクトルとを視線情報として記憶する記憶領域である。カメラ６０３ａ，６０３ｂは常時動作し、当該カメラ６０３ａ，６０３ｂから画像情報取得部１０９および画像認識部１１０に、継続して画像情報が入力される。画像認識部１１０は、継続して入力される画像情報からユーザの顔位置と、視線ベクトルとを算出して視線情報記憶部１１１に記憶させる。視線情報記憶部１１１には、予め設定された期間のユーザの顔位置および視線ベクトルが記憶される。
【００２７】
音声信号取得部１１２は、マイク６０４を介して入力された操作対象機器２００への操作指示を示す音声信号を取得する。音声信号取得部１１２は、取得した音声信号を音声情報処理部１１３に出力する。また、音声信号取得部１１２は、音声信号を取得したことを示す情報と、当該音声信号を取得した時刻情報とを操作対象機器特定部１１４に通知する。
【００２８】
音声情報処理部１１３は、音声信号取得部１１２から入力された音声信号を、音声ストリームに変換する。音声情報処理部１１３は、変換した音声ストリームを、ネットワーク通信部１０１およびネットワーク通信網４００を介して外部のＷｅｂサーバ５００に送信する。Ｗｅｂサーバ５００は、音声ストリームを受信すると、受信した音声ストリームに対して音声認識処理および対話処理を行い、入力された音声信号に対応したテキスト情報を生成する。ここで、音声信号に対応したテキスト情報とは、音声信号が示す操作指示に対応した、操作対象機器２００を操作するための情報である。Ｗｅｂサーバ５００が行う、音声認識処理、対話処理およびテキスト情報の生成処理を、以下では音声アシスタント機能という。Ｗｅｂサーバ５００による音声アシスタント機能は、例えばクラウド事業者により提供されるサービスであり、各クラウド事業者によって入出力形式が公開されるものであることから、ここでは詳細な説明は省略する。
【００２９】
操作対象機器特定部１１４は、音声信号取得部１１２から、音声信号を取得したことを示す情報および時刻情報が通知されると、位置情報記憶部１０８および視線情報記憶部１１１を参照し、ユーザが視線を向けていた操作対象機器２００を、操作指示の対象となる操作対象機器２００として特定する。具体的には、操作対象機器特定部１１４は、位置情報記憶部１０８に記憶された操作対象機器２００の位置を示す情報と、視線情報記憶部１１１に記憶されたユーザの顔位置および視線ベクトルとから、視線ベクトルの方向に位置する操作対象機器２００を特定する。
【００３０】
操作対象機器特定部１１４は、例えば、時刻情報で示された音声信号を取得した時刻から一定期間（例えば、１０秒間）遡って得られる期間の視線情報を視線情報記憶部１１１から取得する。この場合、操作対象機器特定部１１４は、視線ベクトルの方向に位置する操作対象機器２００のうち、より長くユーザが視線を向けていた操作対象機器２００を特定する。または、ユーザが予め定められた期間以上、複数の操作対象機器２００に対して視線を向けていた場合、操作対象機器特定部１１４は、音声信号を取得した時刻に最も近い時間帯に、より長くユーザが視線を向けていた操作対象機器２００を特定する。操作対象機器特定部１１４は、特定した操作対象機器２００を示す情報をリモコン制御部１１５に出力する。
【００３１】
リモコン制御部１１５は、Ｗｅｂサーバ５００で生成されたテキスト情報を、ネットワーク通信部１０１を介して取得する。リモコン制御部１１５は、取得したテキスト情報から制御に応じた操作コマンドを生成する。リモコン制御部１１５は、生成した操作コマンドを、操作対象機器特定部１１４で特定された操作対象機器２００に対して、ネットワーク通信部１０１または赤外線通信部１０６を介して送信する。また、リモコン制御部１１５は、操作対象機器２００から操作コマンドに応じた制御の実施結果等をネットワーク通信部１０１または赤外線通信部１０６を介して受信する。
【００３２】
次に、図１で示した、操作対象機器２００に接続された発光装置３００の構成について説明する。
図３は、実施の形態１に係る機器操作システムの発光装置３００の構成を示すブロック図である。
発光装置３００は、赤外線通信部３１０、制御部３２０および発光部３３０を備える。
赤外線通信部３１０は、例えば、赤外線センサ等の赤外線受光部を備える。赤外線通信部３１０は、機器操作装置１００と発光装置３００との間で赤外線通信を行うための通信部である。赤外線通信部３１０は、機器操作装置１００から送信された赤外線通信信号を受信し、受信した赤外線通信信号に含まれる情報を制御部３２０に出力する。制御部３２０は、赤外線通信部１０６から入力された情報に応じて、発光部３３０に対して発光信号の送信を指示する。発光部３３０は、制御部３２０からの指示に基づいて、機器操作装置１００に対して発光信号を送信する。発光部３３０は、例えば、ＬＥＤ等の発光体によって構成される。発光部３３０は光の強さを変調させることができ、これにより機器操作装置１００は複数の発光装置３００をそれぞれ識別することができる。
なお、図１では、操作対象機器２００に発光装置３００が接続される構成を示したが、操作対象機器２００が発光装置３００の各構成を備える構成としても良い。
【００３３】
次に、機器操作装置１００のハードウェア構成例を説明する。
図４Ａおよび図４Ｂは、実施に形態１に係る機器操作装置１００のハードウェア構成例を示す図である。
機器操作装置１００におけるネットワーク通信部１０１は、通信インタフェース（通信Ｉ／Ｆ）１００ａにより実現される。機器操作装置１００における操作情報取得部１０２、出力制御部１０４、発光制御部１０５、位置算出部１０７、画像情報取得部１０９、画像認識部１１０、視線情報記憶部１１１、音声信号取得部１１２、音声情報処理部１１３、操作対象機器特定部１１４およびリモコン制御部１１５の各機能は、処理回路により実現される。即ち、機器操作装置１００は、上記各機能を実現するための処理回路を備える。当該処理回路は、図４Ａに示すように専用のハードウェアである処理回路１００ｂであってもよいし、図４Ｂに示すようにメモリ１００ｄに格納されているプログラムを実行するプロセッサ１００ｃであってもよい。
【００３４】
図４Ａに示すように、操作情報取得部１０２、出力制御部１０４、発光制御部１０５、位置算出部１０７、画像情報取得部１０９、画像認識部１１０、視線情報記憶部１１１、音声信号取得部１１２、音声情報処理部１１３、操作対象機器特定部１１４およびリモコン制御部１１５が専用のハードウェアである場合、処理回路１００ｂは、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-programmable Gate Array）、またはこれらを組み合わせたものが該当する。操作情報取得部１０２、出力制御部１０４、発光制御部１０５、位置算出部１０７、画像情報取得部１０９、画像認識部１１０、視線情報記憶部１１１、音声信号取得部１１２、音声情報処理部１１３、操作対象機器特定部１１４およびリモコン制御部１１５の各部の機能それぞれを処理回路で実現してもよいし、各部の機能をまとめて１つの処理回路で実現してもよい。
【００３５】
図４Ｂに示すように、操作情報取得部１０２、出力制御部１０４、発光制御部１０５、位置算出部１０７、画像情報取得部１０９、画像認識部１１０、視線情報記憶部１１１、音声信号取得部１１２、音声情報処理部１１３、操作対象機器特定部１１４およびリモコン制御部１１５がプロセッサ１００ｃである場合、各部の機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアはプログラムとして記述され、メモリ１００ｄに格納される。プロセッサ１００ｃは、メモリ１００ｄに記憶されたプログラムを読み出して実行することにより、操作情報取得部１０２、出力制御部１０４、発光制御部１０５、位置算出部１０７、画像情報取得部１０９、画像認識部１１０、視線情報記憶部１１１、音声信号取得部１１２、音声情報処理部１１３、操作対象機器特定部１１４およびリモコン制御部１１５の各機能を実現する。即ち、操作情報取得部１０２、出力制御部１０４、発光制御部１０５、位置算出部１０７、画像情報取得部１０９、画像認識部１１０、視線情報記憶部１１１、音声信号取得部１１２、音声情報処理部１１３、操作対象機器特定部１１４およびリモコン制御部１１５は、プロセッサ１００ｃにより実行されるときに、後述する図１１から図１４に示す各ステップが結果的に実行されることになるプログラムを格納するためのメモリ１００ｄを備える。また、これらのプログラムは、操作情報取得部１０２、出力制御部１０４、発光制御部１０５、位置算出部１０７、画像情報取得部１０９、画像認識部１１０、視線情報記憶部１１１、音声信号取得部１１２、音声情報処理部１１３、操作対象機器特定部１１４およびリモコン制御部１１５の手順または方法をコンピュータに実行させるものであるとも言える。
【００３６】
ここで、プロセッサ１００ｃとは、例えば、ＣＰＵ（Central Processing Unit）、処理装置、演算装置、プロセッサ、マイク６０４ロプロセッサ、マイク６０４ロコンピュータ、またはＤＳＰ（Digital Signal Processor）などのことである。
メモリ１００ｄは、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable ROM）、ＥＥＰＲＯＭ（Electrically EPROM）等の不揮発性または揮発性の半導体メモリであってもよいし、ハードディスク、フレキシブルディスク等の磁気ディスクであってもよいし、ミニディスク、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）等の光ディスクであってもよい。
【００３７】
なお、操作情報取得部１０２、出力制御部１０４、発光制御部１０５、位置算出部１０７、画像情報取得部１０９、画像認識部１１０、視線情報記憶部１１１、音声信号取得部１１２、音声情報処理部１１３、操作対象機器特定部１１４およびリモコン制御部１１５の各機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。このように、機器操作装置１００における処理回路は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの組み合わせによって、上述の各機能を実現することができる。
【００３８】
図５Ａおよび図５Ｂは、実施に形態１に係る機器操作システムの発光装置３００のハードウェア構成例を示す図である。
発光装置３００における制御部３２０の機能は、処理回路により実現される。即ち、発光装置３００は、上記機能を実現するための処理回路を備える。当該処理回路は、図５Ａに示すように専用のハードウェアである処理回路３００ａであってもよいし、図５Ｂに示すようにメモリ３００ｃに格納されているプログラムを実行するプロセッサ３００ｂであってもよい。
【００３９】
図５Ｂに示すように、制御部３２０がプロセッサ３００ｂである場合、各部の機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアはプログラムとして記述され、メモリ３００ｃに格納される。プロセッサ３００ｂは、メモリ３００ｃに記憶されたプログラムを読み出して実行することにより、制御部３２０の機能を実現する。即ち、制御部３２０は、プロセッサ３００ｂにより実行されるときに、後述する処理が結果的に実行されることになるプログラムを格納するためのメモリ３００ｃを備える。また、これらのプログラムは制御部３２０の手順または方法をコンピュータに実行させるものであるとも言える。
【００４０】
次に、機器操作装置１００の画像認識部１１０、位置算出部１０７および操作対象機器特定部１１４の詳細な構成について説明する。まず、画像認識部１１０について説明する。
画像認識部１１０は、画像情報取得部１０９から継続して入力される画像情報に対してユーザの顔、およびユーザの目の検出を行う。画像認識部１１０は、ユーザの顔、およびユーザの目を検出する度に、ユーザの顔位置およびユーザの視線ベクトルを算出し、視線情報記憶部１１１に記憶させる。
【００４１】
画像情報からユーザの顔を検出する技術、およびユーザの顔向きを検出する技術は、例えばデジタルカメラ等に実装されている、既に公知の種々の技術を適用可能であるため、記載を省略する。また、オープンソースの画像処理ライブラリ（例えば、ｏｐｅｎＣＶ、またはｄｌｉｂ）などを使用することにより、ユーザの顔、およびユーザの顔向き検出してもよい。
【００４２】
画像認識部１１０によるユーザの顔向きの検出は、画像認識部１１０が画像情報からユーザの顔の特徴点を検出し、検出した特徴点に基づいて、カメラ６０３ａ，６０３ｂに対するユーザ頭部の相対的な移動である平行移動および回転移動を検出することにより求められる。ここで、ユーザの顔の特徴点とは、例えば左目および右目の端点、鼻の頂点、口の右端、口の左端または顎の先端等である。また、ユーザの頭部の平行移動は、ユーザが位置する空間に設定された３次元座標の座標軸であるＸ軸、Ｙ軸、Ｚ軸上の移動から求める。ユーザ頭部の回転移動は、ユーザの頭部に対するＹｏｗ軸、Ｐｉｔｃｈ軸、Ｌａｗ軸を中心とした回転から求める。
【００４３】
画像認識部１１０による視線の検出は、ユーザの目の画像において、基準点を目頭とし、当該基準点に対して相対的に動く部分である動点を虹彩とし、基準点である目頭に対して動点である虹彩がどの位置に存在するかに基づいて行われる。例えば、ユーザの左目の虹彩が目頭から離れた位置に存在する場合には、画像認識部１１０は、ユーザが左方向を見ているとの視線を検出する。また、ユーザの左目の虹彩が目頭に近い位置に存在する場合には、画像認識部１１０は、ユーザが右方向を見ているとの視線を検出する。
【００４４】
画像認識部１１０は、上述した処理により得られたユーザの顔向き、およびユーザの視線の検出結果から、視線ベクトルを算出する。画像認識部１１０は、ユーザの顔位置と、ユーザの視線ベクトルとを紐付けて視線情報記憶部１１１に記憶させる。画像認識部１１０は、ユーザの顔位置および視線ベクトルを継続して算出し、視線情報記憶部１１１には予め設定された期間分のユーザの顔位置および視線ベクトルが視線情報として記録される。
【００４５】
次に、位置算出部１０７について、図６から図９を参照しながら説明する。
図６は、実施の形態１に係る機器操作装置１００に接続された位置検出装置６０２の構成を示す図である。
図６は、位置検出装置６０２が、第１の２次元ＰＳＤ６０２ａ、第２の２次元ＰＳＤ６０２ｂ、第３の２次元ＰＳＤ６０２ｃおよび第４の２次元ＰＳＤ６０２ｄの４つの２次元ＰＳＤで構成される場合を示している。図６では、第１の２次元ＰＳＤ６０２ａおよび第２の２次元ＰＳＤ６０２ｂは、第１の発光装置３０１および第３の発光装置３０３から出力される発光信号を受光する。同様に、図６では、第３の２次元ＰＳＤ６０２ｃおよび第４の２次元ＰＳＤ６０２ｄは、第２の発光装置３０２から出力される発光信号を受光する。
【００４６】
図７は、２次元ＰＳＤによる発光信号の受光を示す説明図である。
図７では、第１の２次元ＰＳＤ６０２ａが第１の発光装置３０１の発光信号を受光する場合を例に示している。第１の２次元ＰＳＤ６０２ａと第１の発光装置３０１とを組み合わせ、レンズ７００等の光学系を用いることにより、第１の２次元ＰＳＤ６０２ａは、発光信号の第１の２次元ＰＳＤ６０２ａへの入射角θ（ｔａｎθ＝ｆ／ｄ）を求めることができる。発光信号の第１の２次元ＰＳＤ６０２ａへの入射角θ（ｔａｎθ＝ｆ／ｄ）は、第１の２次元ＰＳＤ６０２ａにおける光スポットの重心位置の距離ｄと、レンズ７００と第１の２次元ＰＳＤ６０２ａとの距離ｆとから求める。
【００４７】
図８は、発光装置３００と、２次元ＰＳＤ６０２との間の距離の算出例を示す説明図である。
図８では、第１の２次元ＰＳＤ６０２ａおよび第２の２次元ＰＳＤ６０２ｂが、第１の発光装置３０１が送信する発光信号を受信する場合を例に示している。図８において、第１の２次元ＰＳＤ６０２ａにおける光スポットの重心位置の距離は距離ｄａｘであり、第２の２次元ＰＳＤ６０２ｂにおける光スポットの重心位置の距離は距離ｄｂｘである。第１の発光装置３０１と第１の２次元ＰＳＤ６０２ａとの距離Ａ、および第１の発光装置３０１と第２の２次元ＰＳＤ６０２ｂとの距離Ｂは、第１の２次元ＰＳＤ６０２ａと第２の２次元ＰＳＤ６０２ｂとの間の距離Ｒと、第１の２次元ＰＳＤ６０２ａにより検出される発光信号の入射角θ１と、第２の２次元ＰＳＤ６０２ｂにより検出される発光信号の入射角θ２とから、三角測量の原理に基づいて求められる。
【００４８】
図８の例の場合、位置検出装置６０２は、第１の２次元ＰＳＤ６０２ａと第２の２次元ＰＳＤ６０２ｂとの間の距離Ｒおよび発光信号の入射角θ１，θ２を、位置算出部１０７に出力する。位置算出部１０７は、位置検出装置６０２から入力された第１の２次元ＰＳＤ６０２ａと第２の２次元ＰＳＤ６０２ｂとの間の距離Ｒと、発光信号の入射角θ１，θ２を用いて、三角測量の原理に基づいて、第１の発光装置３０１と第１の２次元ＰＳＤ６０２ａとの距離Ａ、および第１の発光装置３０１と第２の２次元ＰＳＤ６０２ｂとの距離Ｂを求める。
【００４９】
距離Ａおよび距離Ｂは、以下の式（１）から式（４）を用いて算出される。なお、位置算出部１０７は、求めた距離Ａおよび距離Ｂのうち、距離Ａを機器操作装置１００と第１の発光装置３０１との距離として用いるものとする。
θ３ ＝ π − （θ１＋θ２）                          （１）
Ｒ／sin（θ３） ＝ Ａ／sin（θ２） ＝ Ｂ／sin（θ１） （２）
Ａ ＝ Ｒ・sin（θ２）／sin（θ３）                    （３）
Ｂ ＝ Ｒ・sin（θ１）／sin（θ３）                    （４）
【００５０】
次に、位置算出部１０７は、算出した距離Ａと、第１の発光装置３０１から位置検出装置６０２への発光信号の入射ベクトルとから、操作対象機器２００の位置を算出する。
図９は、実施の形態１に係る機器操作装置１００の位置算出部１０７による操作対象機器２００の位置の算出を示す説明図である。
図９では、第１の２次元ＰＳＤ６０２ａが、第１の発光装置３０１が送信する発光信号を受信する場合を例に示している。位置算出部１０７は、位置検出装置６０２から入力された第１の２次元ＰＳＤ６０２ａ上の光スポットの重心位置Ｃの座標（ｄｘ，ｘｙ）と、レンズ７００と第１の２次元ＰＳＤ６０２ａとの距離ｆとから、発光装置３００から第１の位置検出装置６０２ａへの入射ベクトルＤ（ｄｘ，ｄｙ，−ｆ）を取得する。位置算出部１０７は、取得した入射ベクトルＤと、算出した距離Ａとから、機器操作装置１００を原点とした場合の、第１の操作対象機器２０１の位置を算出する。
【００５１】
位置算出部１０７は、入射ベクトルＤ（ｄｘ，ｄｙ，−ｆ）のベクトル座標を（ｄｘ，ｄｙ，ｄｚ）、機器操作装置１００と第１の発光装置３０１との距離をＡ、および第１の操作対象機器２０１の座標を（Ｘ，Ｙ，Ｚ）とする、以下の式（５）および式（６）に基づいて、第１の操作対象機器２０１の位置を算出する。
ｄｘ：ｄｙ：ｄｚ＝Ｘ：Ｙ：Ｚ               （５）
Ａ２＝Ｘ２＋Ｙ２＋Ｚ２                      （６）
【００５２】
位置算出部１０７は、上述した処理により算出した第１の操作対象機器２０１の位置を、位置情報として位置情報記憶部１０８に記憶させる。同様に、位置算出部１０７は、その他の操作対象機器２００の位置を算出して位置情報記憶部１０８に記憶させる。また、位置算出部１０７は、機器操作装置１００が移動等によって位置が変化する毎に、各操作対象機器２００の位置情報を再度算出して位置情報記憶部１０８に記憶させるものとする。
【００５３】
次に、操作対象機器特定部１１４について、図１０を参照しながら説明する。
図１０は、実施の形態１に係る機器操作装置１００の操作対象機器特定部１１４による操作対象機器２００の特定を示す説明図である。
図１０では、第１の操作対象機器２０１、第２の操作対象機器２０２および第３の操作対象機器２０３の中から、ユーザが視認している操作対象機器２００、即ちユーザが操作した操作対象機器２００を特定する場合を例に示している。
操作対象機器特定部１１４は、音声信号取得部１１２から音声信号を取得したことを示す情報および時刻情報が通知されると、位置情報記憶部１０８に記憶され第１の操作対象機器２０１、第２の操作対象機器２０２および第３の操作対象機器２０３の位置を示す情報を取得し、視線情報記憶部１１１に記憶された時刻情報に対応した視線情報を取得する。操作対象機器特定部１１４は、位置を示す情報と、視線情報とに基づいて、ユーザが音声によって操作した操作対象機器２００を特定する。操作対象機器特定部１１４が、操作対象機器２００を特定する処理についてより詳細に説明する。
【００５４】
操作対象機器特定部１１４は、図１０に示すように、機器操作装置１００を原点とした３次元座標を設定する。次に、操作対象機器特定部１１４は、位置情報記憶部１０８に記憶された位置情報を参照し、第１の操作対象機器２０１、第２の操作対象機器２０２および第３の操作対象機器２０３のそれぞれの位置を中心とした半径ｒの球Ｅ，Ｆ，Ｇを設定する。半径ｒは、カメラ６０３の解像度、またはＰＳＤの性能等に基づいて、適宜設定される。
【００５５】
次に、操作対象機器特定部１１４は、音声信号取得部１１２から通知された時刻情報に基づいて、視線情報記憶部１１１からユーザが操作を行った時刻における、ユーザの顔位置Ｐおよびユーザの視線ベクトルＶを取得する。操作対象機器特定部１１４は、機器操作装置１００を原点とした３次元座標において、取得したユーザの顔位置Ｐから、ユーザの視線ベクトルＶを延長した直線Ｖａが、設定した半径ｒの球Ｅ，Ｆ，Ｇのいずれかと交差するか否か判定する。
【００５６】
操作対象機器特定部１１４は、直線Ｖａが球Ｅ，Ｆ，Ｇのいずれかと交差するかの判定処理において、ユーザの視線ベクトルＶを、ユーザの顔位置Ｐを原点とした座標系に座標変換する。変換後の視線ベクトルＶは、座標系の原点を通るベクトルとなり、当該変換後の視線ベクトルＶを延長した線分Ｖａと、半径ｒの球Ｅ，Ｆ，Ｇとの交差を計算により求める。線分Ｖａと球Ｅ，Ｆ，Ｇとの交差は、線分ＶａがＸ−Ｙ平面へ投影された線分および円との交差、線分ＶａがＹ−Ｚ平面に投影された線分と円との交差、Ｚ−Ｘ平面に投影された線分と円との交差を求めることにより求められる。なお、線分と円が交差する条件は自明であるため、ここでは説明を省略する。
【００５７】
図１０の例では、操作対象機器特定部１１４は、直線Ｖａが球Ｅと交差すると判定し、当該球Ｅに対応付けられた第１の操作対象機器２０１が、ユーザが視認している操作対象機器２００であると特定する。図１０の例において、仮に直線Ｖａが複数の球Ｅ，Ｆ，Ｇと交差した場合、操作対象機器特定部１１４は設定した半径ｒを一定の割合で縮小し、縮小後の半径ｒａの球Ｅａ，Ｆａ，Ｇａ（図示しない）と、線分Ｖａとが交差するか否か再度判定を行う。ある一定値以下まで半径ｒを縮小したが、線分Ｖａが複数の球と交差する場合、操作対象機器特定部１１４は、重なる操作対象機器２００が同一視線方向内に存在し、操作対象機器２００を一意に絞れないと判断する。操作対象機器２００を一意に絞れない場合、操作対象機器特定部１１４は、例えばユーザから距離が最も短い操作対象機器２００を、ユーザが視認している操作対象機器２００であると特定する。
【００５８】
操作対象機器特定部１１４は、視線情報記憶部１１１から視線情報を取得する場合、音声信号取得部１１２から通知された時刻情報を参照し、音声信号を取得した時刻から一定期間遡って得られる期間の視線情報である、ユーザの顔位置Ｐおよびユーザの視線ベクトルｖを取得する。操作対象機器特定部１１４は、音声信号を取得した時刻から一定期間遡って得られる期間の視線情報に基づいて、操作対象機器２００を一意に絞れない場合、より長くユーザが視線を向けていた操作対象機器２００を、ユーザが視認している操作対象機器２００であると特定する。また、ユーザが予め定められた期間以上、複数の操作対象機器２００に対して視線を向けていた場合、操作対象機器特定部１１４は、音声信号を取得した時刻に最も近い時間帯に、より長くユーザが視線を向けていた操作対象機器２００を、ユーザが視認している操作対象機器であると特定する。操作対象機器特定部１１４は、特定した操作対象機器２００を示す情報をリモコン制御部１１５に出力する。
【００５９】
次に、機器操作装置１００の動作について説明する。機器操作装置１００の動作は、事前に種々の情報を記憶する処理と、ユーザの音声に基づいて操作対象機器２００を制御する処理とに分けて説明する。まず、機器操作装置１００が事前に種々の情報を記憶する処理について、図１１のフローチャートおよび図１２のシーケンス図を参照しながら説明する。
図１１は、実施の形態１に係る機器操作装置１００による、事前の情報記憶処理を示すフローチャートである。
機器操作装置１００に操作対象機器２００の検索指示が入力されると（ステップＳＴ１）、操作情報取得部１０２はステップＳＴ１で入力された検索指示に応じて、ネットワーク通信部１０１を介して操作対象機器２００を検索する（ステップＳＴ２）。操作情報取得部１０２は、ステップＳＴ２で検索した操作対象機器２００の操作情報を取得し、操作情報記憶部１０３に記憶させる（ステップＳＴ３）。
【００６０】
出力制御部１０４が操作情報記憶部１０３に記憶された操作情報の読み上げを行い、発光制御部１０５がネットワーク通信部１０１を介して発光装置３００の装着が完了したことを示す通知を受信すると（ステップＳＴ４）、赤外線通信部１０６を介して各発光装置３００に発光信号出力要求を送信する（ステップＳＴ５）。位置算出部１０７は、ステップＳＴ５で送信された発光信号出力要求に応じて発光装置３００から送信された発光信号を検出したことを示す検出出力の入力を、位置検出装置６０２から受け付ける（ステップＳＴ６）。位置算出部１０７は、位置検出装置６０２から受け付けた検出出力から、各操作対象機器２００の位置を算出し、位置情報として位置情報記憶部１０８に記憶させる（ステップＳＴ７）。
【００６１】
次に、画像情報取得部１０９は、カメラ６０３ａ，６０３ｂから画像情報を取得する（ステップＳＴ８）。画像情報取得部１０９は、取得した画像情報を画像認識部１１０に出力する。画像認識部１１０は、ステップＳＴ８で取得された画像情報からユーザの顔データを検出し、検出したユーザの顔データを解析してユーザの顔位置およびユーザの視線ベクトルを算出する（ステップＳＴ９）。画像認識部１１０は、ステップＳＴ９で算出したユーザの顔位置およびユーザの視線ベクトルを視線情報として視線情報記憶部１１１に記憶させる。その後、フローチャートは、ステップＳＴ８の処理に戻り、機器操作装置１００は、視線情報の取得処理を継続する。
【００６２】
次に、図１１のフローチャートで示したステップＳＴ１からステップＳＴ４までの処理を、図１２のシーケンス図を参照しながら説明する。
図１２は、実施の形態１に係る機器操作装置１００を備えた機器操作システムにおける操作対象機器２００の操作情報を記憶する処理を示すシーケンス図である。
なお、以下では、機器操作装置１００と、操作対象機器２００とが同一のネットワーク上に存在するものとし、操作対象機器２００がＤＬＮＡ（Ｄｉｇｉｔａｌ Ｌｉｖｉｎｇ Ｎｅｔｗｏｒｋ Ａｌｌｉａｎｃｅ、登録商標（以下、記載を省略する））の仕組みを使用して、操作対象機器２００の操作情報の取得および操作を、無線通信によって行うものとして説明する。
【００６３】
ユーザが入力装置（図示しない）を介して入力した操作対象機器２００の検索指示が機器操作装置１００に入力されると（ステップＳＴ１１）、機器操作装置１００の操作情報取得部１０２は、入力された検索指示に基づいて、ネットワーク通信部１０１を介して、同一ネットワーク上に存在する操作対象機器２００を検索する（ステップＳＴ１２）。操作情報取得部１０２は、ステップＳＴ１２で検索した操作対象機器２００に、ネットワーク通信部１０１を介して、ＤＬＮＡにおける「Ｍ−ＳＥＡＲＣＨ」コマンドを送信する（ステップＳＴ１３）。操作対象機器２００は、ステップＳＴ１３で送信されたコマンドを受信すると（ステップＳＴ１４）、当該コマンドに対応した「デバイス（Ｄｖｉｃｅ）ＵＵＩＤ」および「アドレス」の情報を機器操作装置１００に送信する（ステップＳＴ１５）。
【００６４】
機器操作装置１００の操作情報取得部１０２は、ネットワーク通信部１０１を介して、ステップＳＴ１５で送信された情報を受信すると（ステップＳＴ１６）、ネットワーク通信部１０１を介して、操作対象機器２００にＤＬＮＡにおける「ＧＥＴ Ｄｅｖｉｃｅ Ｄｅｓｃｒｉｐｔｉｏｎ」コマンドを送信する（ステップＳＴ１７）。操作対象機器２００は、ステップＳＴ１７で送信されたコマンドを受信すると（ステップＳＴ１８）、当該コマンドに対応した「機種名」の情報を機器操作装置１００に送信する（ステップＳＴ１９）。
【００６５】
機器操作装置１００の操作情報取得部１０２は、ネットワーク通信部１０１を介して、ステップＳＴ１９で送信された情報を受信すると（ステップＳＴ２０）、ネットワーク通信部１０１を介して、操作対象機器２００にＤＬＮＡにおける「ＧＥＴ Ｓｅｒｖｉｃｅ Ｄｅｓｃｒｉｐｔｉｏｎ」コマンドを送信する（ステップＳＴ２１）。操作対象機器２００は、ステップＳＴ２１で送信されたコマンドを受信すると（ステップＳＴ２２）、当該コマンドに対応した「操作コマンド」の情報を機器操作装置１００に送信する（ステップＳＴ２３）。機器操作装置１００の操作情報取得部１０２は、ネットワーク通信部１０１を介してステップＳＴ２３で送信されたコマンドを受信する（ステップＳＴ２４）。
【００６６】
操作情報取得部１０２は、ステップＳＴ１６，２０，２４で受信したそれぞれの情報を、操作情報として操作情報記憶部１０３に記憶させる（ステップＳＴ２５）。出力制御部１０４は、操作情報記憶部１０３に記憶された操作対象機器２００の機種名を、ユーザに通知する制御を行う（ステップＳＴ２６）。操作対象機器２００の機種名を通知する制御は、例えば、スピーカ６０１を介して操作対象機器２００の機種名を読み上げるための制御である。ステップＳＴ２６の通知に基づいて、ユーザが読み上げられた操作対象機器２００に発光装置３００を装着すると、機器操作装置１００は発光装置３００の装着完了通知を受信し（ステップＳＴ２７）、処理を終了する。なお、図１２で示したステップＳＴ１３からステップＳＴ２５の処理は、ステップＳＴ１２で検索された全ての操作対象機器２００に対して繰り返し行われる。
【００６７】
次に、機器操作装置１００がユーザの音声に基づいて操作対象機器２００を制御する処理について、図１３のフローチャートおよび図１４のシーケンス図を参照しながら説明する。
なお、以下では、ユーザが操作対象機器２００であるテレビを音声により操作する場合を例に説明する。例えば、第１の操作対象機器２０１は、機種名が「ＡＡＡ」のテレビであり、電源ＯＮまたは電源ＯＦＦの操作、チャンネルの切り替え操作を行うものとする。ユーザは、第１の操作対象機器２０１であるテレビを視聴している状態で、テレビを操作するための起動ワードである「ＯＫ  アレックス」を音声入力の先頭に発話し、第１の操作対象機器２０１の操作を開始するものとする。以下では、ユーザが「ＯＫ  アレックス、テレビの音量を上げて」と発話した場合を例に説明を行うが、ユーザの発話はこれに限定されるものではない。
【００６８】
図１３は、実施の形態１に係る機器操作装置１００が第１の操作対象機器２０１を制御する処理を示すフローチャートである。
音声信号取得部１１２は、マイク６０４から発話「ＯＫ  アレックス、テレビの音量を上げて」の音声信号を取得すると（ステップＳＴ３１）、取得した音声信号を音声情報処理部１１３に出力し（ステップＳＴ３２）、音声信号を受け付けたことを示す情報および時刻情報を操作対象機器特定部１１４に通知する（ステップＳＴ３３）。音声情報処理部１１３は、ステップＳＴ３２で入力された音声信号を音声ストリームに変換し、ネットワーク通信部１０１を介して外部に送信する（ステップＳＴ３４）。リモコン制御部１１５は、ネットワーク通信部１０１を介して、ステップＳＴ３４で送信した音声ストリームに対応したテキスト情報を取得する（ステップＳＴ３５）。リモコン制御部１１５は、ステップＳＴ３５で取得したテキスト情報に基づいて、操作に応じた操作コマンドを生成する（ステップＳＴ３６）。
【００６９】
一方、操作対象機器特定部１１４は、ステップＳＴ３３で音声信号を受け付けたことを示す情報および時刻情報が入力されたことが通知されると、視線情報記憶部１１１を参照し、音声信号を取得した時刻から一定期間遡って得られる期間のユーザの顔位置情報および視線ベクトルを取得する（ステップＳＴ３７）。操作対象機器特定部１１４は、ステップＳＴ３７で取得したユーザの顔位置情報および視線ベクトルと、位置情報記憶部１０８に記憶された操作対象機器２００の位置情報とに基づいて、ユーザが視認している操作対象機器である第１の操作対象機器２０１を特定する（ステップＳＴ３８）。操作対象機器特定部１１４は、ステップＳＴ３８で特定した第１の操作対象機器２０１を示す情報を、リモコン制御部１１５に出力する。
【００７０】
リモコン制御部１１５は、ステップＳＴ３６で生成した操作コマンドを、ステップＳＴ３８で特定された第１の操作対象機器２０１に対して、赤外線通信部１０６を介して送信する（ステップＳＴ３９）。この例では、ユーザが視聴しているテレビに対して、音量を上げることを要求する操作コマンドを送信する。リモコン制御部１１５は、赤外線通信部１０６を介して、第１の操作対象機器２０１から、ステップＳＴ３９で送信した操作コマンドに応じた制御の実施結果等を受信し（ステップＳＴ４０）、処理を終了する。
【００７１】
次に、図１３のフローチャートで示したステップＳＴ３４からステップＳＴ３６、ステップＳＴ３９およびステップＳＴ４０の処理を、図１４のシーケンス図を参照しながら説明する。
図１４は、実施の形態１に係る機器操作システムがユーザの音声に基づいて第１の操作対象機器２０１を制御する処理を示すシーケンス図である。
機器操作装置１００の音声情報処理部１１３は、音声信号取得部１１２から入力された音声信号を音声ストリームに変換する（ステップＳＴ５１）。音声情報処理部１１３は、ステップＳＴ５１で変換した音声ストリームを、ネットワーク通信部１０１を介して、音声アシスタント機能を提供する事業者のＷｅｂサーバ５００に送信する（ステップＳＴ５２）。Ｗｅｂサーバ５００は、ステップＳＴ５２で送信された音声ストリームを受信すると（ステップＳＴ５３）、受信した音声ストリームから操作に関するテキスト情報を生成する（ステップＳＴ５４）。Ｗｅｂサーバ５００は、ステップＳＴ５４で生成したテキスト情報を機器操作装置１００に送信する（ステップＳＴ５５）。
【００７２】
機器操作装置１００のリモコン制御部１１５は、ネットワーク通信部１０１を介して、ステップＳＴ５５で送信されたテキスト情報を受信すると（ステップＳＴ５６）、当該テキスト情報に応じた操作コマンドを生成する（ステップＳＴ５７）。この例では、ステップＳＴ５７においてテレビの音量を上げることを要求する操作コマンドを生成する。リモコン制御部１１５は、ステップＳＴ５７で生成した操作コマンドを、赤外線通信部１０６を介して、操作対象機器特定部１１４が特定した第１の操作対象機器２０１に送信する（ステップＳＴ５８）。
【００７３】
第１の操作対象機器２０１は、ステップＳＴ５８で送信された操作コマンドを受信すると（ステップＳＴ５９）、第１の操作対象機器２０１は受信した操作コマンドに応じて音量を上げる制御を行う（ステップＳＴ６０）。第１の操作対象機器２０１は、操作コマンドに応じて音量を上げたことを示す応答を生成する（ステップＳＴ６１）。第１の操作対象機器２０１は、ステップＳＴ６１で生成した応答を、機器操作装置１００に送信する（ステップＳＴ６２）。機器操作装置１００のリモコン制御部１１５は、ネットワーク通信部１０１を介して、ステップＳＴ６２で送信された応答を受信し（ステップＳＴ６３）、処理を終了する。
【００７４】
以上のように、実施の形態１に係る機器操作装置１００によれば、操作対象である操作対象機器２００の機能を示す情報を操作情報として取得する操作情報取得部１０２と、操作対象機器２００を操作するユーザを撮像した画像の画像情報から、ユーザの視線情報を算出する画像認識部１１０と、操作対象機器２００から送信された情報を用いて、操作対象機器２００の位置を算出する位置算出部１０７と、操作対象機器２００を操作する操作指示を示す音声信号を取得する音声信号取得部１１２と、音声信号が取得された場合に、画像認識部１１０が算出した視線情報と、位置算出部１０７が算出した操作対象機器２００の位置とに基づいて、操作指示の対象となる操作対象機器２００を特定する操作対象機器特定部１１４と、操作指示に対応したテキスト情報に基づいて、操作対象機器特定部１１４が特定した操作対象機器２００を制御する操作コマンドを生成するリモコン制御部１１５とを備えるように構成した。
これにより、ユーザが視認している操作対象機器２００を特定することができる。これにより、ユーザが操作対象機器２００を操作する場合に、ユーザが操作対象機器２００を指定する処理を省略することができ、操作対象機器を操作する際の利便性を向上させることができる。
【００７５】
また、この実施の形態１に係る機器操作装置１００によれば、画像認識部１１０が算出したユーザの視線情報を予め設定された期間記憶する視線情報記憶部１１１を備え、操作対象機器特定部１１４は、記憶された視線情報を参照し、ユーザの視線ベクトルの方向に位置する操作対象機器を、操作指示の対象となる操作対象機器として特定するように構成した。
これにより、操作指示時に、ユーザがそれまで見ていた操作対象機器２００から目線を外した場合にも、操作対象機器２００を適切に判断することができる。
【００７６】
また、この実施の形態１に係る機器操作装置１００によれば、操作対象機器特定部１１４は、記憶された視線情報を参照し、音声信号取得部１１２が音声信号を取得した時点から一定期間遡って得られる期間に、ユーザの視線ベクトルの方向に位置する操作対象機器を、操作指示の対象となる操作対象機器として特定するように構成した。
これにより、ユーザが操作指示を行うまでの時点で、ユーザが操作対象とする操作対象機器を視認していた期間の長さから、操作対象機器を特定することにより、適切にユーザが視認している操作対象機器を特定することができる。
【００７７】
実施の形態２．
この実施の形態２では、機器操作装置を移動させた場合に、例えば機器操作装置と操作対象機器との間に遮蔽物が存在して、機器操作装置が当該操作対象機器の位置を把握できない場合に、他の操作対象機器の位置情報を用いて、遮蔽された操作対象機器の位置を求める構成を示す。
図１５は、実施の形態２に係る機器操作装置１００Ａの構成を示すブロック図である。
機器操作装置１００Ａは、図２で示した実施の形態１の機器操作装置１００に、位置推定部１１６を追加して構成している。また、実施の形態１の位置算出部１０７に替えて位置算出部１０７ａを設けて構成している。
以下では、実施の形態１に係る機器操作装置１００の構成要素と同一または相当する部分には、実施の形態１で使用した符号と同一の符号を付して説明を省略または簡略化する。
図１６は、実施の形態２に係る機器操作装置１００Ａの処理の概要を示す説明図である。
【００７８】
機器操作装置１００Ａを移動させると、機器操作装置１００Ａから見たユーザの位置および操作対象機器２００の位置が変化する。例えば、図１６に示すように、機器操作装置１００Ａを位置Ｘから位置Ｙに移動させると、機器操作装置１００Ａと第１の操作対象機器２０１との間に遮蔽物８００が位置する。そのため、機器操作装置１００Ａは、第１の操作対象機器２０１に接続された第１の発光装置３０１が送信する発光信号を受信することができない。機器操作装置１００Ａは、遮蔽物８００の影響を受けてない第２の操作対象機器２０２の位置を用いて、第１の操作対象機器２０１の位置を推定する。なお、図１６において、第１の操作対象機器２０１および第２の操作対象機器２０２は移動していないものとする。
【００７９】
位置算出部１０７ａは、実施の形態１と同様に、入力された検出出力に基づいて、操作対象機器２００の位置を算出し、操作対象機器２００の位置を示す情報を位置情報記憶部１０８に記憶する。位置算出部１０７ａは、全ての操作対象機器２００の検出出力が入力されたか否か判定を行う。全ての操作対象機器２００の検出出力が入力されなかった場合、位置算出部１０７ａは検出出力が入力されなかった操作対象機器（以下、非検出の操作対象機器という）２００を位置推定部１１６に通知する。
【００８０】
位置推定部１１６は、位置算出部１０７ａから非検出の操作対象機器２００が通知されると、当該非検出の操作対象機器２００の前回の位置情報を、位置情報記憶部１０８から取得する。また、位置推定部１１６は、検出出力が入力された操作対象機器２００の今回および前回の位置情報を位置情報記憶部１０８から取得する。位置推定部１１６は、取得した操作対象機器２００の今回および前回の位置情報と、非検出の操作対象機器２００の前回の位置情報とを用いて、非検出の操作対象機器２００の今回の位置を推定する。位置推定部１１６は、推定した非検出の操作対象機器２００の今回の位置を、位置情報として位置情報記憶部１０８に記憶させる。
【００８１】
図１７を参照しながら、位置推定部１１６の詳細な処理動作について説明する。
図１７は、実施の形態２に係る機器操作装置１００Ａの非検出の操作対象機器の位置の推定を示す図である。
位置推定部１１６は、機器操作装置１００Ａの位置を原点とし、当該機器操作装置１００Ａから見た第１の操作対象機器２０１の移動量と、第２の操作対象機器２０２の移動量を算出する。図１７において、原点Ｏは、移動前の機器操作装置１００Ａの原点であり、原点Ｏａは、移動後の機器操作装置１００Ａの原点である。原点Ｏから見た第２の操作対象機器２０２の座標（Ｂｘ，Ｂｙ，Ｂｚ）は、移動前の座標である。また、原点Ｏａから見た第２の操作対象機器２０２の座標（Ｂｘａ，Ｂｙａ，Ｂｚａ）は、移動後の座標である。機器操作装置１００Ａから見た、第２の操作対象機器２０２の移動量は、（Ｂｘａ−Ｂｘ，Ｂｙａ−Ｂｙ，Ｂｚａ−Ｂｚ）となる。
【００８２】
次に、原点Ｏから見た第１の操作対象機器２０１の移動前の座標を（Ａｘ，Ａｙ，Ａｚ）、原点Ｏａから見た第１の操作対象機器２０１の移動後の座標を（Ａｘａ，Ａｙａ，Ａｚａ）とすると、以下の式（７）および式（８）に基づいて、第１の操作対象機器２０１の移動後の座標が求まる。
Ａｘａ−Ａｘ＝Ｂｘａ−Ｂｘ
Ａｙａ−Ａｙ＝Ｂｙａ−Ｂｙ              （７）
Ａｚａ−Ａｚ＝Ｂｚａ−Ｂｚ
【００８３】
Ａｘａ＝Ｂｘａ−Ｂｘ＋Ａｘ
Ａｙａ＝Ｂｙａ−Ｂｙ＋Ａｙ              （８）
Ａｚａ＝Ｂｚａ−Ｂｚ＋Ａｚ
【００８４】
このように、第１の操作対象機器２０１が遮蔽物８００により遮蔽され、機器操作装置１００Ａの位置算出部１０７ａに第１の操作対象機器２０１の検出出力が入力されない場合であっても、ある１つの操作対象機器２００（図１７の例では第２の操作対象機器２０２）の、移動前後の座標が得られれば、位置推定部１１６は、非検出の操作対象機器２００（図１７の例では、第１の操作対象機器２０１）の現在の座標を推定することができる。
【００８５】
次に、機器操作装置１００Ａのハードウェア構成例を説明する。なお、実施の形態１に係る発明の機器操作装置１００と同一の構成の説明は省略する。
機器操作装置１００Ａにおける位置算出部１０７ａおよび位置推定部１１６は、図４Ａで示した処理回路１００ｂ、または図４Ｂで示したメモリ１００ｄに格納されるプログラムを実行するプロセッサ１００ｃである。
【００８６】
次に、実施の形態２に係る機器操作装置１００Ａの動作について説明する。
図１８は、実施の形態２に係る機器操作装置１００Ａの位置推定処理を示すフローチャートである。なお、以下では、非検出の操作対象機器２００を、図１６および図１７で示した第１の操作対象機器２０１と記載する。
機器操作装置１００Ａが移動すると（ステップＳＴ７１）、発光制御部１０５は、赤外線通信部１０６を介して各操作対象機器２００に対して発光信号出力要求を送信する（ステップＳＴ７２）。位置算出部１０７ａは、位置検出装置６０２から検出出力が入力されると、各操作対象機器２００の位置を算出し、位置情報として位置情報記憶部１０８に記憶させる（ステップＳＴ７３）。位置算出部１０７ａは、全ての操作対象機器２００の検出出力が入力されたか否か判定を行う（ステップＳＴ７４）。全ての操作対象機器２００の検出出力が入力された場合（ステップＳＴ７４；ＹＥＳ）、処理を終了する。
【００８７】
一方、全ての操作対象機器２００の検出出力が入力されなかった場合（ステップＳＴ７４；ＮＯ）、位置算出部１０７ａは検出出力が入力されなかった非検出の第１の操作対象機器２０１を位置推定部１１６に通知する（ステップＳＴ７５）。位置推定部１１６は、ステップＳＴ７５で通知された非検出の第１の操作対象機器２０１の前回の位置情報を位置情報記憶部１０８から取得する（ステップＳＴ７６）。また、位置推定部１１６は、位置情報記憶部１０８から、非検出の第１の操作対象機器２０１以外の、検出された操作対象機器２００の今回および前回の位置情報を位置情報記憶部１０８から取得する（ステップＳＴ７７）。位置推定部１１６は、ステップＳＴ７６で取得した位置情報と、ステップＳＴ７７で取得した位置情報とを用いて、非検出の第１の操作対象機器２０１の今回の位置を推定する（ステップＳＴ７８）。位置推定部１１６は、ステップＳＴ７８で推定した非検出の第１の操作対象機器２０１の今回の位置を示す位置情報を位置情報記憶部１０８に記憶させ（ステップＳＴ７９）、処理を終了する。
【００８８】
以上のように、この実施の形態２によれば、位置算出部１０７がいずれかの操作対象機器２００の位置を算出できなかった場合に、位置算出部１０７が位置を算出できた他の操作対象機器２００の位置に基づいて、位置を算出できなかった操作対象機器２００の位置を推定する位置推定部１１６を備えるように構成した。
これにより、機器操作装置の移動により、一部の操作対象機器の位置が検出されなくなった場合にも、他の操作対象機器の位置を用いて、非検出の操作対象機器の位置を推定することができる。これにより、機器操作装置の移動により、ユーザが操作対象機器を操作する際の操作性を低下させてしまうのを抑制することができる。
【００８９】
上記以外にも、本発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、各実施の形態の任意の構成要素の変形、または各実施の形態の任意の構成要素の省略が可能である。
【産業上の利用可能性】
【００９０】
この発明に係る機器操作装置は、例えば、スマートスピーカまたはＡＩスピーカを利用する環境において、ユーザが音声で操作する操作対象機器を的確に把握し、音声によって操作対象機器を操作する機器操作システムに用いられるのに適している。
【符号の説明】
【００９１】
１００  機器操作装置、１０１  ネットワーク通信部、１０２  操作情報取得部、１０３  操作情報記憶部、１０４  出力制御部、１０５  発光処理部、１０６  赤外線通信部、１０７，１０７ａ  位置算出部、１０８  位置情報記憶部、１０９  画像情報取得部、１１０  画像認識部、１１１  視線情報記憶部、１１２  音声信号取得部、１１３  音声情報処理部、１１４  操作対象機器特定部、１１５  リモコン制御部、１１６  位置推定部、２００  操作対象機器、２０１  第１の操作対象機器、２０２  第２の操作対象機器、２０３  第３の操作対象機器、３００  発光装置、３０１  第１の発光装置、３０２  第２の発光装置、３０３  第３の発光装置、４００  ネットワーク通信網、５００  Ｗｅｂサーバ。
【図１】
2019142295.tif 000003
【図２】
2019142295.tif 000004
【図３】
2019142295.tif 000005
【図４】
2019142295.tif 000006
【図５】
2019142295.tif 000007
【図６】
2019142295.tif 000008
【図７】
2019142295.tif 000009
【図８】
2019142295.tif 000010
【図９】
2019142295.tif 000011
【図１０】
2019142295.tif 000012
【図１１】
2019142295.tif 000013
【図１２】
2019142295.tif 000014
【図１３】
2019142295.tif 000015
【図１４】
2019142295.tif 000016
【図１５】
2019142295.tif 000017
【図１６】
2019142295.tif 000018
【図１７】
2019142295.tif 000019
【図１８】
2019142295.tif 000020
【手続補正書】
【提出日】平成30年7月4日(2018.7.4)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
この発明に係る機器操作装置は、操作対象である複数の操作対象機器の機能を示す情報を操作情報として取得する操作情報取得部と、複数の操作対象機器を操作するユーザを撮像した画像の画像情報から、ユーザの視線情報を算出する画像認識部と、複数の操作対象機器から送信された情報を用いて、複数の操作対象機器における各操作対象機器の位置を算出する位置算出部と、位置算出部が算出した前記各操作対象機器の位置情報を記憶する位置情報記憶部と、複数の操作対象機器それぞれを操作する操作指示を示す音声信号を取得する音声信号取得部と、音声信号取得部が音声信号を取得した場合に、画像認識部が算出した視線情報と、位置算出部が算出し前記位置情報記憶部に記憶された操作対象機器の位置情報とに基づいて、操作指示の対象となる操作対象機器を特定する操作対象機器特定部と、音声信号取得部が取得した操作指示に対応したテキスト情報に基づいて、操作対象機器特定部が特定した操作対象機器を制御する操作コマンドを生成する制御部とを備えるものである。
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
操作対象である複数の操作対象機器の機能を示す情報を操作情報として取得する操作情報取得部と、
前記複数の操作対象機器を操作するユーザを撮像した画像の画像情報から、前記ユーザの視線情報を算出する画像認識部と、
前記複数の操作対象機器から送信された情報を用いて、前記複数の操作対象機器における各操作対象機器の位置を算出する位置算出部と、
前記位置算出部が算出した前記各操作対象機器の位置情報を記憶する位置情報記憶部と、
前記複数の操作対象機器それぞれを操作する操作指示を示す音声信号を取得する音声信号取得部と、
前記音声信号取得部が前記音声信号を取得した場合に、前記画像認識部が算出した前記視線情報と、前記位置算出部が算出し前記位置情報記憶部に記憶された前記各操作対象機器の位置情報とに基づいて、前記操作指示の対象となる前記操作対象機器を特定する操作対象機器特定部と、
前記音声信号取得部が取得した前記操作指示に対応したテキスト情報に基づいて、前記操作対象機器特定部が特定した前記操作対象機器を制御する操作コマンドを生成する制御部とを備えた機器操作装置。
【請求項２】
前記位置算出部は、前記操作対象機器に対応付けられた発光装置から送信された発光信号に基づいて、前記操作対象機器の位置を算出することを特徴とする請求項１記載の機器操作装置。
【請求項３】
前記位置算出部がいずれかの前記操作対象機器の位置を算出できなかった場合に、前記位置算出部が位置を算出できた他の前記操作対象機器の位置に基づいて、前記位置を算出できなかった操作対象機器の位置を推定する位置推定部を備えたことを特徴とする請求項１記載の機器操作装置。
【請求項４】
前記画像認識部が算出した前記ユーザの視線情報を予め設定された期間記憶する視線情報記憶部を備え、
前記操作対象機器特定部は、前記視線情報記憶部に記憶された前記視線情報を参照し、前記ユーザの視線ベクトルの方向に位置する前記操作対象機器を、前記操作指示の対象となる操作対象機器として特定することを特徴とする請求項１記載の機器操作装置。
【請求項５】
前記操作対象機器特定部は、前記視線情報記憶部に記憶された前記視線情報を参照し、前記音声信号取得部が前記音声信号を取得した時点から一定期間遡って得られる期間に、前記ユーザの視線ベクトルの方向に位置する前記操作対象機器を、前記操作指示の対象となる操作対象機器として特定することを特徴とする請求項４記載の機器操作装置。
【請求項６】
前記操作対象機器特定部は、前記ユーザの視線ベクトルの方向に複数の前記操作対象機器が位置した場合に、前記操作指示が入力された時点に最も近い時間帯での前記ユーザの視線ベクトルの方向に位置した操作対象機器を、前記操作指示の対象となる操作対象機器として特定することを特徴とする請求項５記載の機器操作装置。
【請求項７】
前記テキスト情報は、前記音声信号取得部が取得した前記操作指示に対応した音声ストリームに対して、音声認識処理および対話処理を実行して得られた、前記操作対象機器に対する操作のための情報であることを特徴とする請求項１記載の機器操作装置。
【請求項８】
請求項１記載の機器操作装置と、
前記機器操作装置から送信された前記操作コマンドに応じて機能の制御を行う前記操作対象機器と、
前記操作対象機器に対応付けて設けられ、前記機器操作装置に対して発光信号を送信する発光装置とを備え、
前記機器操作装置の前記位置算出部は、前記発光装置が送信した前記発光信号に基づいて、前記操作対象機器の位置を算出する機器操作システム。
【請求項９】
操作情報取得部が、操作対象である複数の操作対象機器の機能を示す情報を操作情報として取得するステップと、
画像認識部が、前記複数の操作対象機器を操作するユーザを撮像した画像の画像情報から、前記ユーザの視線情報を算出するステップと、
位置算出部が、前記複数の操作対象機器から送信された情報を用いて、前記複数の操作対象機器における各操作対象機器の位置を算出するステップと、
位置情報記憶部が、前記位置算出部が算出した前記各操作対象機器の位置情報を記憶するステップと、
音声信号取得部が、前記操作対象機器を操作する操作指示を示す音声信号を取得するステップと、
操作対象機器特定部が、前記音声信号が取得された場合に、前記算出された前記視線情報と、前記算出され、記憶された前記各操作対象機器の位置情報とに基づいて、前記操作指示の対象となる前記操作対象機器を特定するステップと、
制御部が、前記取得された操作指示に対応したテキスト情報に基づいて、前記特定された前記操作対象機器を制御する操作コマンドを生成するステップとを備えた機器操作方法。
【国際調査報告】
2019142295.tif 000021
2019142295.tif 000022
2019142295.tif 000023
2019142295.tif 000024