(57)【要約】  本開示は、手と目のみを利用して直観的な動作で、遠隔操作を実現することができるようにする遠隔操作装置、および遠隔操作方法、遠隔操作システム、並びにプログラムに関する。複数の撮像部が、ユーザの目、手、および動作対象機器の存在する空間を撮像し、撮像された画像に基づいて、ユーザの目、手、および動作対象機器の位置を特定し、ユーザの目と動作対象機器との位置関係からユーザの視線を特定して、視線からなる直線上に手が位置する状態を維持しつつなされるユーザの動作が、動作対象機器への動作指示であるものとみなして、動作指示を動作対象機器に送って、動作させる。本開示は、遠隔操作装置に適用することができる。
2017145787.tif 000002
【特許請求の範囲】
【請求項１】
動作対象となる機器、ユーザの目、および手の位置を検出する位置検出部と、
前記目、前記手、および前記機器の位置関係が所定の位置関係を維持した状態であるとき、前記ユーザの動作を認識するユーザ動作認識部と、
前記ユーザの動作に応じた、前記動作対象となる機器への動作指示を特定する動作指示特定部と、
前記動作指示特定部により特定された動作指示で前記動作対象となる機器を駆動させる駆動指示部と
を含む遠隔操作装置。
【請求項２】
前記ユーザ動作認識部は、前記目、前記手、および前記機器の位置関係から、前記ユーザの前記機器への前記目からの視線を特定し、前記視線からなる直線上に前記手が位置する位置関係を維持した状態であるとき、前記ユーザの動作を認識する
請求項１に記載の遠隔操作装置。
【請求項３】
前記ユーザ動作認識部は、前記目、前記手、および前記機器の位置関係から、前記ユーザの前記機器への前記目からの視線を特定し、前記視線からなる直線上に前記手の所定の指が位置する位置関係を維持した状態であるとき、前記手の、前記視線からなる直線上での動きを、前記ユーザの動作として認識する
請求項２に記載の遠隔操作装置。
【請求項４】
前記動作対象となる機器は、自らの動作を制御するためのUI（User Interface）画像を表示する表示部をさらに含み、
前記ユーザ動作認識部は、前記目、前記手、および前記機器の位置関係から、前記ユーザの前記機器の前記表示部における所定のUI画像への前記目からの視線を特定し、前記視線からなる直線上に前記手が位置する位置関係を維持した状態であるときの前記ユーザの動作を、前記ユーザの前記UI画像への動作として認識する
請求項１に記載の遠隔操作装置。
【請求項５】
前記表示部は、前記ユーザが装着するシースルー型のHMD（Head Mount Display）であり、
前記ユーザ動作認識部は、前記目、前記手、および前記機器の位置関係から、前記ユーザの前記機器の前記表示部であるHMDにおける所定のUI画像への前記目からの視線を特定し、前記ユーザから見て前記HMDより前方において、前記視線からなる直線上に前記手が位置する位置関係を維持した状態であるときの前記ユーザの動作を、前記ユーザの前記UI画像への動作として認識する
請求項４に記載の遠隔操作装置。
【請求項６】
前記位置検出部は、前記目、および前記手の、少なくともいずれかの位置が検出できない場合、検出した前記ユーザのその他の人体としての部位に基づいて、前記目、および前記手の位置を推定し、
前記ユーザ動作認識部は、推定された前記目、および前記手、並びに前記機器の位置関係が所定の位置関係を維持した状態であるとき、前記ユーザの動作を認識する
請求項１に記載の遠隔操作装置。
【請求項７】
前記位置検出部は、複数の撮像方向から撮像する複数の撮像部より構成され、前記複数の撮像部により撮像された画像に基づいて、前記動作対象となる機器、前記ユーザの前記目、および前記手の位置を検出する
請求項１に記載の遠隔操作装置。
【請求項８】
前記ユーザ動作認識部は、前記目のうち右目、前記手、および前記機器の第１の位置関係、前記目のうち左目、前記手、および前記機器の第２の位置関係、並びに、前記目のうち左右の目の中間位置、前記手、および前記機器の第３の位置関係のうちのいずれかの位置関係について、所定の位置関係を維持した状態であるとき、前記ユーザの動作を認識する
請求項１に記載の遠隔操作装置。
【請求項９】
前記ユーザの動作に応じた、前記動作対象となる機器への動作指示を前記ユーザに提示する提示部をさらに含む
請求項１に記載の遠隔操作装置。
【請求項１０】
前記提示部は、前記動作指示に応じたUIを表示する表示部、前記動作指示に応じた光を発する発光部、前記動作指示に応じた音声を出力する音声出力部、前記動作指示に応じた匂いを発する匂い発生部、および、前記動作指示に応じた、前記動作対象となる機器による、反応、または動作を含む
請求項９に記載の遠隔操作装置。
【請求項１１】
動作対象となる機器、ユーザの目、および手の位置を検出し、
前記目、前記手、および前記機器の位置関係が所定の位置関係を維持した状態であるとき、前記ユーザの動作を認識し、
前記ユーザの動作に応じた、前記動作対象となる機器への動作指示を特定し、
特定された動作指示で前記動作対象となる機器を駆動させるステップ
を含む遠隔操作方法。
【請求項１２】
動作対象となる機器、ユーザの目、および手の位置を検出する位置検出部と、
前記目、前記手、および前記機器の位置関係が所定の位置関係を維持した状態であるとき、前記ユーザの動作を認識するユーザ動作認識部と、
前記ユーザの動作に応じた、前記動作対象となる機器への動作指示を特定する動作指示特定部と、
前記動作指示特定部により特定された動作指示で前記動作対象となる機器を駆動させる駆動指示部としてコンピュータを機能させるプログラム。
【請求項１３】
少なくともいずれか１の、マスタ機器と、その他の、スレーブ機器とを含む、複数の動作対象となる機器からなる遠隔操作システムにおいて、
前記マスタ機器は、
前記マスタ機器および前記スレーブ機器、ユーザの目、および手の位置を検出する位置検出部と、
前記目、前記手、および前記マスタ機器との位置関係、または、前記目、前記手、および前記スレーブ機器との位置関係が所定の位置関係を維持した状態であるとき、前記ユーザの動作を認識するユーザ動作認識部と、
前記ユーザの動作に応じた、前記マスタ機器、または、前記スレーブ機器への動作指示を特定する動作指示特定部と、
前記動作指示で前記マスタ機器を駆動させるマスタ駆動指示部と、
前記動作指示を前記スレーブ機器に送信するマスタ通信部と
を含み、
前記スレーブ機器は、
前記マスタ機器より送信されてくる前記スレーブ機器への前記動作指示を受信するスレーブ通信部と、
前記動作指示で前記スレーブ機器を駆動させるスレーブ駆動指示部と
を含む遠隔操作システム。
【請求項１４】
前記マスタ機器、および前記スレーブ機器のいずれかであって、表示機能を備えた第１の動作機器と、
前記マスタ機器、および前記スレーブ機器のいずれかであって、動作対象となる第２の動作機器とを含むとき、
前記位置検出部は、前記第１の動作機器および前記第２の動作機器、ユーザの目、および手の位置を検出し、
前記ユーザ動作認識部は、前記目、前記手、および前記第１の動作機器の位置関係が所定の第１の位置関係を維持した状態であるとき、前記ユーザの第１の所定の動作を、前記第１の動作機器を、前記第２の動作機器を制御するUIを表示するための対象機器として認識し、
前記動作指示特定部は、前記ユーザの前記第１の動作に応じて、前記第１の動作機器に、前記第２の動作機器を制御するUIを表示させる動作指示を特定し、
前記マスタ駆動指示部は、前記第２の動作機器を制御するUIを表示する動作指示で前記第１の動作機器を駆動させ、
前記ユーザ動作認識部は、前記目、前記手、および前記第２の動作機器の位置関係が所定の第２の位置関係を維持した状態であるとき、前記ユーザの第２の所定の動作を、前記第２の動作機器を、前記第１の動作機器により表示されたUIの操作に応じた動作をするための対象機器として認識し、
前記動作指示特定部は、前記ユーザの前記第２の動作に応じて、前記第２の動作機器に、前記第１の動作機器により表示されているUIの操作に応じた動作をさせる動作指示を特定し、
前記マスタ駆動指示部は、前記第１の動作機器により表示されているUIの操作に応じた動作指示で前記第２の動作機器を駆動させる
請求項１３に記載の遠隔操作システム。
【請求項１５】
前記スレーブ機器は、カーテンの開閉装置である
請求項１３に記載の遠隔操作システム。
【請求項１６】
前記スレーブ機器は、車両の後部シートのリクライニング装置である
請求項１３に記載の遠隔操作システム。
【請求項１７】
前記ユーザ動作認識部は、前記目、前記手、および前記スレーブ機器との位置関係から。前記ユーザの視線が、前記車両内のルームミラー越しの、前記スレーブ機器となる前記後部シートのリクライニング装置への視線であって、前記視線からなる直線上に前記手が位置する位置関係を維持した状態であるとき、前記ユーザの動作を認識する
請求項１６に記載の遠隔操作システム。
【請求項１８】
前記スレーブ機器は、回転翼、若しくは、固定翼による飛翔体、各種の掃除ロボット、ラジコン（ラジオコントロール）機器、荷物の仕分け装置、および仮想物を含む
請求項１３に記載の遠隔操作システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、遠隔操作装置、および遠隔操作方法、遠隔操作システム、並びにプログラム関し、特に、感覚的に容易に遠隔操作を実現できるようにした遠隔操作装置、および遠隔操作方法、遠隔操作システム、並びにプログラムに関する。
【背景技術】
【０００２】
室内や車内の機器であって、遠隔操作を実現する技術が提案されている。【０００３】
例えば、リモートコントローラを利用することなく遠隔操作を実現する技術が提案されている（特許文献１参照）。【０００４】
また、HMD（Head Mount Display）等のディスプレイ上に投影した画像に触れるなどして、手を動かして意思決定し、遠隔操作を実現する技術が提案されている（特許文献２参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−３０１６５４号公報
【特許文献２】特許５７９１１３１号
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、いずれの遠隔操作技術においても、ユーザが使用するにはリモートコントローラが必須である、または、不自然な動作を学習する必要があるなど、容易に、かつ、直観に利用できるものではなかった。【０００７】
すなわち、特許文献１の場合、ユーザの意志を機器に伝達させるには、時間が掛かり、不自然な動作が必要であった。【０００８】
また、特許文献２の場合、HMDを介しての操作でも、プロジェクションされた画像に触れる操作であるとすれば、日常の視野角と手の動きの感覚とは異なるので、ディスプレイ上の視界と手の動作スピード等のズレを修正する練習が必要となり、やはり不自然動作が必要であった。【０００９】
本開示は、このような状況に鑑みてなされたものであり、特に、手と目のみを利用して直観的な動作で、遠隔操作を実現するものである。
【課題を解決するための手段】
【００１０】
本開示の第１の側面の遠隔操作装置は、動作対象となる機器、ユーザの目、および手の位置を検出する位置検出部と、前記目、前記手、および前記機器の位置関係が所定の位置関係を維持した状態であるとき、前記ユーザの動作を認識するユーザ動作認識部と、前記ユーザの動作に応じた、前記動作対象となる機器への動作指示を特定する動作指示特定部と、前記動作指示特定部により特定された動作指示で前記動作対象となる機器を駆動させる駆動指示部とを含む遠隔操作装置である。【００１１】
前記ユーザ動作認識部には、前記目、前記手、および前記機器の位置関係から、前記ユーザの前記機器への前記目からの視線を特定させ、前記視線からなる直線上に前記手が位置する位置関係を維持した状態であるとき、前記ユーザの動作を認識させるようにすることができる。【００１２】
前記ユーザ動作認識部には、前記目、前記手、および前記機器の位置関係から、前記ユーザの前記機器への前記目からの視線を特定させ、前記視線からなる直線上に前記手の所定の指が位置する位置関係を維持した状態であるとき、前記手の、前記視線からなる直線上での動きを、前記ユーザの動作として認識させるようにすることができる。【００１３】
前記動作対象となる機器には、自らの動作を制御するためのUI（User Interface）画像を表示する表示部をさらに含ませるようにすることができ、前記ユーザ動作認識部には、前記目、前記手、および前記機器の位置関係から、前記ユーザの前記機器の前記表示部における所定のUI画像への前記目からの視線を特定させ、前記視線からなる直線上に前記手が位置する位置関係を維持した状態であるときの前記ユーザの動作を、前記ユーザの前記UI画像への動作として認識させるようにすることができる。【００１４】
前記表示部は、前記ユーザが装着するシースルー型のHMD（Head Mount Display）とすることができ、前記ユーザ動作認識部には、前記目、前記手、および前記機器の位置関係から、前記ユーザの前記機器の前記表示部であるHMDにおける所定のUI画像への前記目からの視線を特定させ、前記ユーザから見て前記HMDより前方において、前記視線からなる直線上に前記手が位置する位置関係を維持した状態であるときの前記ユーザの動作を、前記ユーザの前記UI画像への動作として認識させるようにすることができる。【００１５】
前記位置検出部には、前記目、および前記手の、少なくともいずれかの位置が検出できない場合、検出した前記ユーザのその他の人体としての部位に基づいて、前記目、および前記手の位置を推定させ、前記ユーザ動作認識部には、推定された前記目、および前記手、並びに前記機器の位置関係が所定の位置関係を維持した状態であるとき、前記ユーザの動作を認識させるようにすることができる。【００１６】
前記位置検出部には、複数の撮像方向から撮像する複数の撮像部より構成され、前記複数の撮像部により撮像された画像に基づいて、前記動作対象となる機器、前記ユーザの前記目、および前記手の位置を検出させるようにすることができる。【００１７】
前記ユーザ動作認識部には、前記目のうち右目、前記手、および前記機器の第１の位置関係、前記目のうち左目、前記手、および前記機器の第２の位置関係、並びに、前記目のうち左右の目の中間位置、前記手、および前記機器の第３の位置関係のうちのいずれかの位置関係について、所定の位置関係を維持した状態であるとき、前記ユーザの動作を認識させるようにすることができる。【００１８】
本開示の第１の側面の遠隔操作方法は、動作対象となる機器、ユーザの目、および手の位置を検出し、前記目、前記手、および前記機器の位置関係が所定の位置関係を維持した状態であるとき、前記ユーザの動作を認識し、前記ユーザの動作に応じた、前記動作対象となる機器への動作指示を特定し、特定された動作指示で前記動作対象となる機器を駆動させるステップを含む遠隔操作方法である。【００１９】
本開示の第１の側面のプログラムは、動作対象となる機器、ユーザの目、および手の位置を検出する位置検出部と、前記目、前記手、および前記機器の位置関係が所定の位置関係を維持した状態であるとき、前記ユーザの動作を認識するユーザ動作認識部と、前記ユーザの動作に応じた、前記動作対象となる機器への動作指示を特定する動作指示特定部と、前記動作指示特定部により特定された動作指示で前記動作対象となる機器を駆動させる駆動指示部としてコンピュータを機能させるプログラムである。【００２０】
本開示の第１の側面においては、動作対象となる機器、ユーザの目、および手の位置が検出され、前記目、前記手、および前記機器の位置関係が所定の位置関係を維持した状態であるとき、前記ユーザの動作が認識され、前記ユーザの動作に応じた、前記動作対象となる機器への動作指示が特定され、特定された動作指示で前記動作対象となる機器が駆動される。【００２１】
本開示の第２の側面の遠隔操作システムは、少なくともいずれか１の、マスタ機器と、その他の、スレーブ機器とを含む、複数の動作対象となる機器からなる遠隔操作システムにおいて、前記マスタ機器は、前記マスタ機器および前記スレーブ機器、ユーザの目、および手の位置を検出する位置検出部と、前記目、前記手、および前記マスタ機器との位置関係、または、前記目、前記手、および前記スレーブ機器との位置関係が所定の位置関係を維持した状態であるとき、前記ユーザの動作を認識するユーザ動作認識部と、前記ユーザの動作に応じた、前記マスタ機器、または、前記スレーブ機器への動作指示を特定する動作指示特定部と、前記動作指示で前記マスタ機器を駆動させるマスタ駆動指示部と、前記動作指示を前記スレーブ機器に送信するマスタ通信部とを含み、前記スレーブ機器は、前記マスタ機器より送信されてくる前記スレーブ機器への前記動作指示を受信するスレーブ通信部と、前記動作指示で前記スレーブ機器を駆動させるスレーブ駆動指示部とを含む遠隔操作システムである。【００２２】
前記マスタ機器、および前記スレーブ機器のいずれかであって、表示機能を備えた第１の動作機器と、前記マスタ機器、および前記スレーブ機器のいずれかであって、動作対象となる第２の動作機器とを含むとき、前記位置検出部には、前記第１の動作機器および前記第２の動作機器、ユーザの目、および手の位置を検出させ、前記ユーザ動作認識部には、前記目、前記手、および前記第１の動作機器の位置関係が所定の第１の位置関係を維持した状態であるとき、前記ユーザの第１の所定の動作を、前記第１の動作機器を、前記第２の動作機器を制御するUIを表示するための対象機器として認識させ、前記動作指示特定部には、前記ユーザの前記第１の動作に応じて、前記第１の動作機器に、前記第２の動作機器を制御するUIを表示させる動作指示を特定させ、前記マスタ駆動指示部には、前記第２の動作機器を制御するUIを表示する動作指示で前記第１の動作機器を駆動させ、前記ユーザ動作認識部には、前記目、前記手、および前記第２の動作機器の位置関係が所定の第２の位置関係を維持した状態であるとき、前記ユーザの第２の所定の動作を、前記第２の動作機器を、前記第１の動作機器により表示されたUIの操作に応じた動作をするための対象機器として認識させ、前記動作指示特定部には、前記ユーザの前記第２の動作に応じて、前記第２の動作機器に、前記第１の動作機器により表示されているUIの操作に応じた動作をさせる動作指示を特定させ、前記マスタ駆動指示部には、前記第１の動作機器により表示されているUIの操作に応じた動作指示で前記第２の動作機器を駆動させるようにすることができる。【００２３】
前記スレーブ機器は、カーテンの開閉装置とすることができる。【００２４】
前記スレーブ機器は、車両の後部シートのリクライニング装置とすることができる。【００２５】
前記ユーザ動作認識部には、前記目、前記手、および前記スレーブ機器との位置関係から、前記ユーザの視線が、前記車両内のルームミラー越しの、前記スレーブ機器となる前記後部シートのリクライニング装置への視線であって、前記視線からなる直線上に前記手が位置する位置関係を維持した状態であるとき、前記ユーザの動作を認識させるようにすることができる。【００２６】
本開示の第２の側面においては、少なくともいずれか１の、マスタ機器と、その他の、スレーブ機器とを含む、複数の動作対象となる機器からなる遠隔操作システムであって、前記マスタ機器により、前記マスタ機器および前記スレーブ機器、ユーザの目、および手の位置が検出され、前記目、前記手、および前記マスタ機器との位置関係、または、前記目、前記手、および前記スレーブ機器との位置関係が所定の位置関係を維持した状態であるとき、前記ユーザの動作が認識され、前記ユーザの動作に応じた、前記マスタ機器、または、前記スレーブ機器への動作指示が特定され、前記動作指示で前記マスタ機器が駆動され、前記動作指示が前記スレーブ機器に送信され、前記スレーブ機器により、前記マスタ機器より送信されてくる前記スレーブ機器への前記動作指示が受信され、前記動作指示で前記スレーブ機器が駆動される。
【発明の効果】
【００２７】
本開示の一側面によれば、手と目のみを利用して直観的な動作で、遠隔操作を実現することが可能となる。
【図面の簡単な説明】
【００２８】
【図１】本開示を適用した動作機器の第１の実施の形態の外観図である。
【図２】図１の動作機器を実現するための機能を説明する図である。
【図３】図１の動作機器による遠隔操作処理を説明するフローチャートである。
【図４】図１の動作機器の第１の変形例を説明する図である。
【図５】図１の動作機器の第２の変形例を説明する図である。
【図６】本開示を適用した動作機器を含む動作機器システムの第２の実施の形態の外観図である。
【図７】図６の動作機器システムを実現するための動作機器の機能を説明する図である。
【図８】図７の動作機器システムによる遠隔操作処理を説明するフローチャートである。
【図９】図６の動作機器システムの第１の変形例を説明する図である。
【図１０】図６の動作機器システムの第２の変形例を説明する図である。
【図１１】視線の補正を説明する図である。
【図１２】汎用のパーソナルコンピュータの構成例を説明する図である。
【発明を実施するための形態】
【００２９】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００３０】
また、以下の順序で説明を行う。
１．第１の実施の形態
２．第１の実施の形態の第１の変形例
３．第１の実施の形態の第２の変形例
４．第２の実施の形態
５．第２の実施の形態の第１の変形例
６．第２の実施の形態の第２の変形例
７．視線の補正
８．応用例
【００３１】
＜＜１．第１の実施の形態＞＞
図１，図２は、本開示の遠隔操作装置を適用した動作機器の第１の実施の形態の構成例を示している。尚、図１は、動作機器の外観図であり、図２は、図１の動作機器を実現するための機能を説明するブロック図である。
【００３２】
図１の動作機器１１は、ユーザにより遠隔操作可能な、例えば、家電製品等であり、例えば、遠隔操作可能なエアコン（エアコンディショナ）、照明、インターフォン、または、PC（パーソナルコンピュータ）等である。
【００３３】
動作機器１１の外観には、撮像部３１、および表示部３２が含まれている。
【００３４】
撮像部３１は、複数の、例えば、CMOS（Complementary Metal Oxide Semiconductor）イメージセンサなどからなり、動作機器１１を使用するユーザが存在する空間の画像であって、ユーザの目、および手の指先の空間内の位置、並びに、ユーザの視線の位置を認識するための画像を撮像する。
【００３５】
より具体的には、撮像部３１は、複数の方向から空間を撮像するイメージセンサからなり、空間内の画像を撮像すると共に、例えば、Depthカメラのように画像内のそれぞれの距離を測定することができる。すなわち、撮像部３１は、画像内におけるユーザの位置や、ユーザの目、および手や指先の位置を測定することにより、空間内の位置を認識する。また、撮像部３１を単眼カメラで構成するような場合、少なくとも、撮像部３１は、少なくとも３方向から画像を撮像する必要があるので、少なくてとも３台以上必要となる。
【００３６】
表示部３２は、LCD（Liquid Crystal Display）や有機EL（Electro-Luminescence）などからなり動作機器１１の動作を制御するためのUI（User Interface）を表示する。
【００３７】
また、動作機器１１は、機能として、制御部５１、および駆動部５２を備えている。
【００３８】
制御部５１は、動作機器１１の動作の全体を制御しており、撮像部３１より供給されてくる画像に基づいて、ユーザの目、および手の指先の空間内の位置を認識することで、ユーザの動作機器１１に対する動作指示を認識し、対応する動作を実現するために駆動部５２を制御して駆動させる。
【００３９】
より具体的には、制御部５１は、目指先対象機器位置検出部７１、ユーザ動作認識部７２、動作指示判定部７３、および駆動指示部７４を備えている。
【００４０】
目指先対象機器位置検出部７１は、撮像部３１より供給されてくる画像よりユーザを認識し、ユーザの目、および指先の位置を認識し、さらに、目、指先、および対象機器の位置関係を検出する。
【００４１】
より詳細には、目指先対象機器位置検出部７１は、手足頭動体といった人体の姿を検出する機能、および、顔画像を検出する機能を備えており、さらに、検出した顔画像に含まれる目、鼻、口、および耳といった各種の器官を抽出することが可能であり、これらの機能により、目および指先の位置を特定する。また、目指先対象機器位置検出部７１は、画像内に目や指先などが写っていないような場合であっても、姿勢や目以外の鼻、口、および耳などの位置から指先および目の位置を推定する。
【００４２】
そして、目指先対象機器位置検出部７１は、目、指先、および対象機器のそれぞれの位置が特定の位置関係となったとき、それぞれの位置情報をユーザ動作認識部７２に供給する。尚、対象機器とは、図１の例においては、動作機器１１自身である。
【００４３】
ここで、特定の位置関係とは、例えば、図１で示されるように、ユーザの目１２、ユーザの手１３の指先１３ａ、および対象機器である動作機器１１が、ユーザの目１２を起点として、対象機器である動作機器１１を終点とする視線を形成する直線上に並ぶ位置関係である。目指先対象機器位置検出部７１は、このような位置関係になった場合、それぞれの位置の情報の変化を、対象機器である自らに対する何らかの指示をするための動作をしている状態であるものとみなして、その位置関係を維持している間、それぞれの位置の情報をユーザ動作認識部７２に供給する。
【００４４】
ユーザ動作認識部７２は、目指先対象機器位置検出部７１により認識される目、指先、および対象機器のそれぞれの位置の情報の時系列の変化から、ユーザが指先や掌を動かすことで行った対象機器である動作機器１１に対する動作を認識し、その動作の情報を動作指示判定部７３に供給する。
【００４５】
すなわち、具体的には、図１で示されるように、表示部３２にUIとしての操作ボタン３２ａ乃至３２ｄが表示されている場合、ユーザ動作認識部７２は、例えば、目１２、指先１３ａ、および対象機器である動作機器１１の表示部３２に表示された操作ボタン３２ｃのそれぞれの位置が視線を形成する直線上に存在し、時系列に指先１３ａが、動作機器１１側に移動したり、目１２側に移動したり、それらの動きを繰り返したり、所定時間同一の位置に定位したりするといった情報を、動作の情報として認識し、認識した動作の情報を動作指示判定部７３に供給する。
【００４６】
動作指示判定部７３は、ユーザ動作認識部７２より供給されてくる動作の情報を取得し、動作の情報からユーザの意図である動作指示を判定し、判定結果である動作指示の情報を、駆動指示部７４に供給する。
【００４７】
より具体的には、動作指示判定部７３は、動作と、対応する動作指示（駆動部５２の具体的な駆動内容や、UI画像など）とが規定された情報である制御規範を図示せぬ内蔵するメモリに記憶しており、ユーザ動作認識部７２より供給されてくる動作と対応する動作指示を判定することにより、判定された動作指示を駆動指示部７４に供給する。
【００４８】
すなわち、例えば、図１で示されるように、目１２、指先１３ａ、および操作ボタン３２ｃが視線からなる直線上に存在し、その状態で指先１３ａが、動作機器１１側に移動したといった動作の情報が供給されてくるような場合、動作指示判定部７３は、対応する動作指示を制御規範より検索して判定し、例えば、操作ボタン３２ｃが押下されて、選択されることを示すものである場合には、対応する動作指示の情報を駆動指示部７４に供給する。
【００４９】
駆動指示部７４は、動作指示判定部７３より供給されてくる動作指示の情報に基づいて、駆動部５２の動作に指示を与えて、対応する動作を実行させる。
【００５０】
より具体的には、駆動指示部７４は、例えば、動作を制御するためのUIを生成し、駆動部５２の一部である表示部３２に表示させる。また、駆動指示部７４は、動作指示判定部７３からの動作指示の情報に基づいて、UIの表示を切り替えて表示部３２に表示させる。すなわち、例えば、指先１３ａが空間内の位置Ｐｃを指すことにより、目１２、指先１３ａおよび操作ボタン３２ｃが視線Ｌからなる直線上に配置されるような場合、操作ボタン３２ｃが選択されていることを示すため、駆動指示部７４は、駆動部５２の一部である表示部３２を制御して操作ボタン３２ｃの枠を他の枠と異なる色で表示する。
【００５１】
尚、図１においては、目１２および操作ボタン３２ａ乃至３２ｄが固定された位置である場合、指先１３ａが、空間上の位置Ｐａを指している場合、目１２、指先１３ａ、および操作ボタン３２ａが視線Ｌからなる直線上に並ぶことになり、この状態で指先１３ａが視線Ｌ上を動作機器１１側に移動することで、操作ボタン３２ａが押下されて選択されたものとみなさる。同様に、指先１３ａにより空間上の位置Ｐｂ，Ｐｄが選択されることで、操作ボタン３２ｂ，３２ｄが選択されたものとみなされる。
【００５２】
また、動作指示の情報に応じたUIが表示されることで、ユーザには、動作機器１１がどのように動作指示を認識したのかを示す情報（以下、単に認識情報とも称する）がフィードバックされることになるが、認識情報のフィードバックは、認識情報をユーザに提示できる限り、表示部３２を用いてUIで表示するのみではなく、それ以外の手法で提示されるようにしてもよい。
【００５３】
より具体的には、認識情報をユーザに提示する手法は、例えば、LED（Light Emission Diode）等の発光部により、動作指示に応じた光（動作指示に応じた色の光や点滅パターンなどを含む）を発する、スピーカなどの音声出力部により、動作指示に応じた音声（動作指示に応じたメロディなどを含む）を出力する、または、所定の匂いを発生させる匂い発生部により、動作指示に応じた匂い（動作指示に応じた種類の花の香りなどを含む）を発するようにしてもよい。さらには、動作機器１１そのものが、動作指示に応じた、反応や動作をするようにしてもよい。
【００５４】
駆動部５２は、動作機器１１が動作するための駆動機構が設けられており、動作指示に応じて動作させるものであり、例えば、エアコンであれば、風量や温度設定など、照明であれば、オンオフはもちろんのこと、明るさの調整など、インターフォンなどであれば、通話のオンオフなど、PCなどであれば、各種の演算処理や表示処理などである。さらに、駆動部５２は、表示部３２を含むものであり、動作指示により、UIの表示を切り替えて表示させる。また、UIは、操作ボタンに限らず、直感的に操作できそうなものであれば、他のものでもよく、例えば、操作つまみや操作レバーなどであってもよい。さらに、操作つまみや操作レバーなどのUIを使用するような場合、動作指示に対応する動作としては、例えば、つまみをつまんでひねるような手の動作や操作レバーを握って操作するような手の動作とするようにしてもよい。
【００５５】
＜遠隔操作処理＞
次に、図３のフローチャートを参照して、動作機器１１による遠隔操作処理について説明する。
【００５６】
ステップＳ１１において、撮像部３１は、動作機器１１を操作するユーザが存在する方向を撮像し、撮像した画像を制御部５１に供給する。
【００５７】
ステップＳ１２において、目指先対象機器位置検出部７１は、撮像部３１より供給されてくる画像に基づいて、ユーザの目、指先、および対象機器である動作機器１１の空間内の位置を検出する。
【００５８】
ステップＳ１３において、目指先対象機器位置検出部７１は、ユーザの目、指先、および対象機器の位置関係が、視線Ｌからなる直線上に並んでいるか否かを判定する。ステップＳ１３において、例えば、図１で示されるように、ユーザが、自らの視線Ｌを動作機器１１の表示部３２におけるUIからなる操作ボタン３２ｃに向けると共に、自らの指先１３ａを視線Ｌ上に置くように動作することで、ユーザの目１２、指先１３ａ、および表示部３２上に表示されたUIの操作ボタン３２ｃが直線上に並べられたような場合、処理は、ステップＳ１４に進む。
【００５９】
ステップＳ１４において、ユーザ動作認識部７２は、目指先対象機器位置検出部７１により認識される目、指先、および対象機器のそれぞれの位置の情報の時系列の変化から、ユーザが指先を動かすことで行った対象機器である動作機器１１に対する動作を認識し、認識した動作の情報を動作指示判定部７３に供給する。
【００６０】
ステップＳ１５において、動作指示判定部７３は、ユーザ動作認識部７２より供給されてくる動作の情報を取得すると、自らに内蔵されるメモリに記憶された制御規範に基づいて、ユーザの動作に対応するユーザの意図である動作機器１１への動作指示を判定し、判定結果である動作指示の情報を、駆動指示部７４に供給する。
【００６１】
ステップＳ１６において、駆動指示部７４は、動作指示の情報が、何らかの動作を指示するものであるか否かを判定する。ステップＳ１６において、何らかの動作が指示された場合、処理は、ステップＳ１７に進む。
【００６２】
ステップＳ１７において、駆動指示部７４は、駆動部５２を制御して、動作指示に対応する動作を実行させる。
【００６３】
すなわち、対象となる動作機器１１が特定される最初の処理においては、駆動指示部７４は、表示部３２に対して動作機器１１の動作を制御するためのUIを表示する。例えば、図１の場合、表示部３２には、UIとして操作ボタン３２ａ乃至３２ｄが表示されている。
【００６４】
また、操作ボタン３２ａ乃至３２ｄが表示されている状態であった場合、例えば、動作の情報が、操作ボタン３２ｃを押下する動作の情報である場合、駆動指示部７４は、操作ボタン３２ｃが押下されたことを示す情報として、操作ボタン３２ｃの表示枠を所定の色で発光させたりする表示にUIである操作ボタン３２ｃの枠の表示を切り替える。
【００６５】
さらに、制御規範に基づいて、例えば、操作ボタン３２ｃが押下されることにより、対象機器である動作機器１１の駆動部５２が、エアコンの風量や温度を制御するものである場合、すなわち、動作指示に対して、風量や温度設定を変化させるためにコンプレッサの回転数やファンの風量を上げるためにファンモータの回転数を増大させる必要があるような場合、駆動指示部７４は、駆動部５２であるコンプレッサやファンを制御して、回転数や風量を増大させる。
【００６６】
ステップＳ１８において、駆動指示部７４は、動作指示が動作の終了を指示するものであるか否かを判定し、終了を示すものではない場合、処理は、ステップＳ１２に戻り、以降の処理を繰り返す。
【００６７】
また、ステップＳ１３において、目、指先、および対象機器が直線上に並んでいない場合、ステップＳ１４乃至Ｓ１７の処理はスキップされる。
【００６８】
さらに、ステップＳ１６において、動作が指示されていない、すなわち、例えば、どのような動作の指示がなされているのか認識できない状態、または、実際に動作指示がない場合、ステップＳ１７の処理はスキップされる。
【００６９】
つまり、この場合、動作の内容が確定するまでは、ステップＳ１１乃至Ｓ１６，Ｓ１８の処理が繰り返されて、動作の内容が確定され、さらに、動作指示に基づいて、動作が必要な場合、ステップＳ１７の処理が実行されて駆動部５２が制御されて、動作がなされる。
【００７０】
以上の処理により、ユーザは、図１で示されるような動作させたい動作機器１１の表示部３２に表示されたUIからなる操作ボタン３２ａ乃至３２ｄのいずれかに対して視線Ｌを送り、その視線Ｌからなる直線上に、指先１３ａをかざすように位置させることで、動作対象となる動作機器１１を特定することができ、さらに、操作ボタン３２ａ乃至３２ｄのいずれかを含む直線上で所定の動きをすることにより、選択したことを認識させて、動作機器１１に対して所定の動作を指示することが可能となる。
【００７１】
結果として、リモートコントローラなどの付属機器を必要とすることなく、また、特に制御に必要な動作を学習することなく、目と指先だけの直感的な動作で、対象機器を遠隔操作することが可能となる。
【００７２】
尚、以上においては、目および指先の位置を特定するのに、ステレオ画像を撮像する撮像部３１により撮像された画像を用いる例について説明してきたが、目および指先との空間的な位置が特定されれば、それ以外の方法でもよく、例えば、赤外線画像を撮像し、体温が検出される領域のシルエットから目や指先の位置を特定するようにしてもよい。
【００７３】
また、例えば、目が撮像されていない、例えば、後頭部のみが写っているような画像などの場合については、後頭部から頭部の形状を推定し、さらに頭部の形状から顔面位置を特定して、顔面の構成から目の位置を特定するようにしてもよい。
【００７４】
また、指先については、例えば、人差指を立てた状態の手の形状における人差指の指先のみを認識するようにして、５本指を開いた状態などの場合については、人差指の指先の位置を検出しないようにすることで、ユーザの動作の誤検出を低減させて、高精度に動作を認識できるようにしてもよい。
【００７５】
さらに、以上においては、動作を指示するにあたって、ユーザの手や指先を使う例について説明してきたが、それ以外のものであってもよく、例えば、瞬きする回数などであってもよい。また、直感的な操作以外の学習が必要な動作をユーザが使うようにしてもよく、このようにすることで、より高度な遠隔操作を実現することが可能となる。また、ユーザの目による動作機器１１を特定するための視線については、動作機器１１が小さい場合については、視線方向を特定しやすいが、大きい場合には、広範囲の方向に対する視線が全て対象となる恐れがある。そこで、視線方向を特定するために、ある程度の大きさの動作機器１１には、例えば、視線方向を特定できる程度のサイズのマーク等を付して、そのマークへの視線が検出されるとき、マークが付されている動作機器へと視線が向けられているものと認識するようにしてもよい。
【００７６】
＜＜２．第１の実施の形態の第１の変形例＞＞
以上においては、表示部３２を動作機器１１に設け、表示部３２上にUIを表示するようにする例について説明してきたが、HMD（Head Mount Display）にUIを表示するようにしてもよい。
【００７７】
図４は、HMD９１にUIを表示するようにした動作機器１１の外観構成例を示している。この場合、目１２と指先１３ａの間のHMD９１上にUIからなる操作ボタン９１ａ乃至９１ｄが表示されることになる。したがって、この場合、図４で示されるように、目１２、操作ボタン９１ｃ、および指先１３ａが視線Ｌの直線上に並んだ場合、操作ボタン９１ｃが選択されたものとみなされる。
【００７８】
ユーザの操作については、UIがHMD９１に表示されることのみが異なるだけであり、視線をUIの操作ボタン９１ａ乃至９１ｄのいずれかに向けて、視線の先に指先１３ａを添えるだけでよく、やはり、直感的な操作で動作機器１１を遠隔操作することが可能となる。
【００７９】
尚、図４の場合、動作機器１１とHMD９１とは、図示しない通信装置により相互に有線または無線で接続されており、駆動指示部７４がHMD９１のUIの表示を制御する構成となる。
【００８０】
また、図４の動作機器１１による遠隔操作処理については、基本的に、図３のフローチャートを参照して説明した処理と同様であるので、その説明は省略する。
【００８１】
＜＜３．第１の実施の形態の第２の変形例＞＞
さらに、図４の動作機器１１は、動作機器１１の本体とHMD９１とから構成される例について説明してきたが、目１２および指先１３ａの位置を特定する撮像部３１は、目１２および指先１３ａの位置を特定することが可能な限り、動作機器１１の本体以外に設けられる構成でもよく、例えば、HMD９１やその周辺に設けるようにしてもよい。
【００８２】
図５は、撮像部３１をHMD９１の近傍、または、その付近に設けるようにした動作機器１１の外観構成例を示している。
【００８３】
すなわち、この場合、撮像部３１は、動作機器１１とは、有線または無線で接続されており、撮像した画像を動作機器１１本体の制御部５１に供給する。
【００８４】
また、図４の動作機器１１による遠隔操作処理については、基本的に、図３のフローチャートを参照して説明した処理と同様であるので、その説明は省略する。
【００８５】
＜＜４．第２の実施の形態＞＞
以上においては、動作機器１１が単体である場合の例について説明してきたが、例えば、複数の動作機器を設けて、複数の撮像部によりユーザの目、指先、および対象となる動作機器の位置を測定し、測定結果に即して、複数の動作機器を切り替えて遠隔操作できるようにしてもよい。
【００８６】
図６は、複数の動作機器と、複数の撮像部によりユーザの目、指先、および対象となる動作機器の位置を測定し、測定結果に即して、複数の動作機器を切り替えて遠隔操作できるようにした動作機器システムの構成例を示している。
【００８７】
図６の動作機器システムは、動作機器１１−１乃至１１−６、および撮像部３１−１乃至３１−３より構成されている。尚、図６においては、動作機器１１−１乃至１１−３のそれぞれに撮像部３１−１乃至３１−３が設けられているものとし、動作機器１１−４乃至１１−６には撮像部が設けられていないものとする。また、動作機器１１−１乃至１１−６は、それぞれエアコン、照明、インターフォン、PC、植物プラント、およびディスプレイである例としている。
【００８８】
また、動作機器１１−１乃至１１−６のうち、エアコンである動作機器１１−１がマスタ機器となり、その他のスレーブ機器となる動作機器１１−２乃至１１−６の動作を制御する。すなわち、動作機器１１−１乃至１１−６のいずれかが対象機器とされても、ユーザの目、指先、および対象機器の位置関係、およびユーザの動作を認識し、動作指示を特定し、対象機器に対して動作指示を供給するのは、エアコンである動作機器１１−１となる。
【００８９】
このため、図６の動作機器システムにおいては、少なくとも１台のマスタ機器が必要となる。すなわち、図１においては、１台の動作機器１１がマスタ機器そのものであると考えても良い。さらに、マスタ機器として機能できる動作機器１１は、動作機器システムにおいて、複数に存在していてもよく、その場合、いずれかのマスタ機器となる動作機器１１が対象機器となる動作機器１１の動作を制御する。
【００９０】
次に、具体的な遠隔操作の方法の例について説明する。例えば、図６で示されるように、目１２、手１３、および動作機器１１−１が視線Ｌ１からなる直線上に並ぶことで、マスタ機器である動作機器１１−１は、撮像部３１−１乃至３１−３により撮像された画像に基づいて、対象機器が、動作機器１１−１であることを認識する。
【００９１】
その後、手１３を開いた状態から、つまむような手１３ａの動作をすると共に、目１２の視線を視線Ｌ１から視線Ｌ２に移動させると共に手を手１３ａ’に移動させた後、開いた手１３’とすることで、目１２、手１３’、およびディスプレイである動作機器１１−６が視線Ｌ２からなる直線上に並ぶようにする。
【００９２】
ここでは、制御規範に基づいて、この一連の動作により、ディスプレイからなる動作機器１１−６が、動作機器１１−１のUIを表示させ、ユーザが、この動作機器１１−６に表示されているUIに対して視線Ｌ２を向けつつ、視線Ｌ２からなる直線上に手１３’を移動させて、UIに対応する動作をすることで、動作機器１１−１の遠隔操作を実現させる。
【００９３】
この結果、ユーザは、ディスプレイ１１−６に表示されたUIに対して視線Ｌ２を向けて、視線Ｌ２からなる直線上に手１３’を移動させることで、図１の動作機器１１における場合と同様の、図３の遠隔操作処理により、動作機器１１−１を遠隔操作することが可能となる。
【００９４】
＜図６の動作機器システムを実現するための機能構成例＞
次に、図７を参照して、図６の動作機器システムを実現するためのマスタ機器となる動作機器１１−１と、スレーブ機器となる動作機器１１−２乃至１１−６とを実現するための機能構成例について説明する。尚、撮像部３１−１乃至３１−３は、それぞれ動作機器１１−１乃至１１−３に設けられているものとし、動作機器１１−４乃至１１−６に設けられていないものとする。しかしながら、撮像部３１−１乃至３１−３により撮像される画像は、図１の動作機器１１における場合と同様に、目、手（指先）、対象となる動作機器、UI、および動作を認識させるための画像であり、いずれの画像もマスタ機器となる動作機器１１に供給され、マスタ機器となる動作機器１１が、対応する処理を実行する。
【００９５】
また、動作機器１１−１乃至１１−６は、インターネットやLAN（Local Area Network）等からなるネットワーク１０１を介して相互に情報やデータが授受可能であり、撮像部３１−１乃至３１−３のそれぞれにより撮像された画像が、マスタ機器である動作機器１１−１に供給される。動作機器１１−１は、時系列の画像から得られるユーザの手の位置の変化から、ユーザの動作を認識し、制御規範に基づいてユーザの動作に対応する動作指示を特定して、スレーブ機器である動作機器１１−２乃至１１−６のいずれかとなる対象機器に供給する。
【００９６】
マスタ機器である動作機器１１−１の基本的な機能は、図１の動作機器１１と同様であるが、さらに、通信部２０１が設けられている。
【００９７】
通信部２０１は、ネットワーク１０１を介して、撮像部３１−２，３１−３より供給されてくる画像を受信すると共に、動作指示判定部７３により判定された対象機器となる動作機器１１−２乃至１１−６に対して動作指示を送信する。
【００９８】
スレーブ機器としての動作機器１１−２乃至１１−６は、それぞれ通信部２３１、制御部２３２、および駆動部２３３を備えており、さらに、このうち、動作機器１１−２，１１−３は、撮像部３１−２，３１−３をそれぞれ備えている。
【００９９】
通信部２３１は、基本的に通信部２０１と同様のものであり、ネットワーク１０１を介して、制御部２３２より供給される、撮像部３１により撮像された画像をマスタ機器である動作機器１１−１に供給すると共に、マスタ機器である動作機器１１−１より供給されてくる動作指示を取得し、制御部２３２に供給する。
【０１００】
制御部２３２は、スレーブ機器としての動作機器１１−２乃至１１−６の動作の全体を制御しており、駆動制御部２５１を備えている。
【０１０１】
駆動制御部２５１は、基本的には、駆動制御部７４と同様であるが、マスタ機器には、表示部３２に対応する機能が設けられていない場合もあるので、その場合に必要とされる、UI表示画像、制御に必要なUIの表示に必要とされるUIの画像、および、制御規範に関する情報からなる制御情報をマスタ機器である動作機器１１−１に供給する。
【０１０２】
動作機器１１−１は、このように自らが備えていないディスプレイにUIを表示するといった未知の機能を備えたスレーブ機器となる動作機器１１−２乃至１１−６の制御情報を取得することで、スレーブ機器の駆動部２３３により実現される様々な動作を認識し、制御することが可能となる。
【０１０３】
駆動部２３３は、基本的に駆動部５２と同様のものであり、スレーブ機器のそれぞれの機能に応じたものとなる。駆動部２３３は、例えば、照明である動作機器１１−２については、発光部分であり、インターフォンである動作機器１１−３については、呼び出し機能、および通話機能であり、PCである動作機器１１−４については、演算処理機能であり、植物プラントである動作機器１１−５については、植物等への肥料供給機能や給水機能であり、ディスプレイである動作機器１１−６については、表示機能である。
【０１０４】
＜図６の動作機器システムによる遠隔操作処理＞
次に、図８のフローチャートを参照して、図６の動作機器システムによる遠隔操作処理について説明する。尚、この処理の説明においては、図６における動作機器１１−１がマスタ機器であり、マスタ機器である動作機器１１−１の動作を制御するためのUIを、表示機能を備えた動作機器１１−６により表示させ、表示されたUIを、図３のフローチャートを参照して、説明した上述した遠隔操作処理と同様の処理ことにより、遠隔操作するものとする。
【０１０５】
ステップＳ３１において、撮像部３１−１は、動作機器１１−１乃至１１−６を操作するユーザが存在する方向を撮像し、撮像した画像を制御部５１に供給する。
【０１０６】
ここで、ステップＳ５１において、撮像部３１−２は、動作機器１１−１乃至１１−６を操作するユーザが存在する方向を撮像し、撮像した画像を制御部２３２に供給する。
【０１０７】
ステップＳ５２において、制御部２３２は、通信部２３１を制御して、撮像した画像を、ネットワーク１０１を介して動作機器１１−１に送信する。
【０１０８】
ステップＳ３２において、制御部５１は、撮像部３１−１より送信されてきた画像、および、動作機器１１−２より送信されて、通信部２０１を介して受信された画像を取得して、目指先対象機器位置検出部７１に供給する。このとき、同様に、撮像部３１−３を備えた動作機器１１−３からも撮像された画像がマスタ機器である動作機器１１−１に供給されてくる。また、撮像部３１を備えていない動作機器１１−４乃至１１−６においては、ステップＳ５１，Ｓ５２の処理はスキップされる。
【０１０９】
ステップＳ３３において、目指先対象機器位置検出部７１は、撮像部３１−１より供給されてくる画像、および、動作機器１１−２，１１−３より送信されてきた画像に基づいて、ユーザの目、手、および対象機器となりうる動作機器１１−１乃至１１−６の空間内の位置を検出する。
【０１１０】
ステップＳ３４において、目指先対象機器位置検出部７１は、ユーザの目、手、および対象機器の位置関係が、直線上に並んでいるか否かを判定する。ステップＳ３４において、例えば、図６で示されるように、ユーザが、自らの視線を動作機器１１−１に向けて自らの手を視線Ｌ１上に置くように動作することで、ユーザの目１２、手１３（指先１３ａ）、および動作機器１１−１が直線上に並べられたような場合、処理は、ステップＳ３５に進む。
【０１１１】
ステップＳ３５において、目指先対象機器位置検出部７１は、対象機器となる動作機器１１を特定する。図６の例においては、対象機器として動作機器１１−１が特定される。
【０１１２】
ステップＳ３６において、動作指示判定部７３は、内蔵する図示せぬメモリに、対象機器の動作機器１１のUIの画像や制御規範等を含む制御情報を備えているか否かを判定する。ステップＳ３６において、例えば、これまでに、動作機器１１−１の動作を制御した経験がなく、制御情報が記憶されていないとみなされた場合、処理は、ステップＳ３７に進む。
【０１１３】
ステップＳ３７において、動作指示判定部７３は、通信部２０１を制御して、制御対象となる動作機器１１に制御情報を要求する。
【０１１４】
ステップＳ５１において、スレーブ機器である動作機器１１の駆動制御部２５１は、通信部２３１を制御して、制御情報の要求があったか否かを判定する。ステップＳ５１において、ステップＳ３７の処理により制御情報が要求されてきた場合、処理は、ステップＳ５２に進む。
【０１１５】
ステップＳ５２において、駆動制御部２５１は、図示せぬメモリに記憶された自らの動作機器１１を制御するためのUI画像、および制御規範を含む制御情報を読み出して、通信部２３１を制御して、マスタ機器である動作機器１１−１に送信する。
【０１１６】
ステップＳ３８において、動作指示判定部７３は、制御対象となる動作機器１１の制御情報を取得して、図示せぬメモリに記憶する。尚、この例においては、動作対象がマスタ機器である動作機器１１−１であり、自らに関する制御情報は当然のことながら自らで所持しているものであるので、ステップＳ３６において、制御情報はあるものとみなされて、ステップＳ３７，Ｓ３８の処理はスキップされる。また、同様に、ステップＳ５３において、制御情報の要求はないことになるので、ステップＳ５２の処理についてもスキップされる。
【０１１７】
ステップＳ３９において、ユーザ動作認識部７２は、目指先対象機器位置検出部７１により認識される目、指先、および対象機器のそれぞれの位置の情報の時系列の変化から、対象機器である動作機器１１に対してユーザにより実施された動作を認識し、認識した動作の情報を動作指示判定部７３に供給する。
【０１１８】
例えば、手１３を開いた状態から人差指と親指とをそれぞれの指先で接触させることにより、手１３ａで示される握る動作をした上で、視線を視線Ｌ１から視線Ｌ２に移動させつつ、手１３ａ’とした後、手１３’に移動させるといった動作が認識され、認識された動作の情報が動作指示判定部７３に供給される。
【０１１９】
ステップＳ４０において、動作指示判定部７３は、ユーザ動作認識部７２より供給されてくる動作の情報を取得すると、内蔵するメモリに記憶された制御情報に登録された動作のうちのいずれの動作であるかを検索し、検索された動作に対応付けられている動作指示を判定（特定）し、判定結果である動作指示の情報を、駆動制御部７４に供給する。
【０１２０】
すなわち、図６で示されるように、手１３を開いた状態から人差指と親指とをそれぞれの指先で接触させることにより握るような手１３ａのようにした上で、視線を動作機器１１−１への視線Ｌ１から、動作機器１１−６への視線Ｌ２に移動させつつ、手１３ａ’とし、さらに、開いて手１３’に移動させるといった動作が、対象機器である動作機器１１−１を制御するためのUIを動作機器１１−６に表示させることを意図したものであることが認識される。
【０１２１】
つまり、この場合、対象機器は、エアコンであって、マスタ機器である動作機器１１−１と、この動作機器１１−１を制御するためのUIを表示するためのディスプレイであって、スレーブ機器である動作機器１１−６との２台となる。
【０１２２】
ステップＳ４１において、動作指示判定部７３は、動作指示の情報が、何らかの動作を指示するものであるか否かを判定する。ステップＳ４１において、何らかの動作が指示された場合、処理は、ステップＳ４２に進む。
【０１２３】
ステップＳ４２において、駆動制御部７４は、通信部２０１を制御して、動作指示の情報に基づいて、対象機器に対応する動作機器１１に動作指示を送信する。
【０１２４】
ステップＳ５５において、駆動制御部２５１は、通信部２３１を制御して、動作指示が送信されてきたか否かを判定する。ステップＳ５５において、例えば、ステップＳ４２の処理により動作指示が送信されてきた場合、処理は、ステップＳ５６に進む。
【０１２５】
ステップＳ５６において、駆動制御部５１は、動作指示に対応する動作を、駆動部２３３を制御して駆動させる。
【０１２６】
すなわち、例えば、スレーブ機器である動作機器１１−６に、動作機器１１−１の動作を制御するためのUIの表示画像の情報が動作指示として、通信部２０１により送信される。
【０１２７】
例えば、手１３を開いた状態から人差指と親指とをそれぞれの指先で接触させることにより握るような手１３ａのようにした上で、視線を動作機器１１−１への視線Ｌ１から、動作機器１１−６への視線Ｌ２に移動させつつ、手１３ａ’とし、さらに、開いて手１３’に移動させるといった動作に対応して、対象機器である動作機器１１−１を制御するためのUIを動作機器１１−６に表示させる動作指示が送信される。この処理により、ディスプレイであって、スレーブ機器である動作機器１１−６は、図６で示されるように対象機器であって、エアコンである動作機器１１−１を制御するためのUIを、駆動部２３３であるディスプレイに表示させる。
【０１２８】
また、図６で示されるような動作機器１１−６に表示されたUIのメニューにより指定されるエアコンであって、対象機器である動作機器１１−１に対する動作を指示する動作指示であった場合、マスタ機器であって、対象機器となる動作機器１１−１の駆動制御部７４が、駆動部５２を制御する。
【０１２９】
このような処理により、駆動指示部７４は、例えば、対象機器である動作機器１１−１の駆動部５２を制御して、風量や温度設定を変化させるためにコンプレッサの回転数やファンの風量を上げるためにファンモータの回転数を増大させる。
【０１３０】
尚、ステップＳ４３において、駆動指示部７４は、動作指示が動作の終了を指示するものであるか否かを判定し、終了を示すものではない場合、処理は、ステップＳ３１に戻り、以降の処理を繰り返す。
【０１３１】
また、ステップＳ３４において、目、指先、および対象機器が直線上に並んでいない場合、ステップＳ３５乃至Ｓ４２の処理はスキップされる。また、ステップＳ４３において、動作指示の動作が終了を示すものだとみなされた場合、処理は終了する。このとき、ステップＳ５７において、駆動指示部２５１においても、終了であるものとみなされる。尚、ステップＳ５７において、終了が指示されていないとみなされた場合、処理は、ステップＳ５１に戻り、それ以降の処理が繰り返される。
【０１３２】
さらに、ステップＳ４１において、動作が指示されていない、すなわち、ユーザの動作は、時系列の動きを伴うものであるので、所定の時間の時系列の動きを観察しなければ動作を確定することができないので、動作の内容が確定しておらず、どのような動作の指示がなされているのかわからない状態の場合、ステップＳ４２の処理はスキップされる。
【０１３３】
以上の処理により、ユーザは、図６で示されるような動作させたい動作機器１１に表示機能が設けられていない場合、表示機能を備えた動作機器をスレーブ機器として利用することで、UIを表示させて、他の動作機器を制御することが可能となる。
【０１３４】
結果として、リモートコントローラなどの付属機器を必要とすることなく、目と指先だけで直感的な動作で、対象機器を遠隔操作することが可能となる。尚、マスタ機器となる動作機器１１は、常に動作できることが望ましいので、例えば、常時電源に接続されたものであることが望ましい。また、以上においては、マスタ機器が動作対象とされて、スレーブ機器に、マスタ機器を制御するためのUIを表示させて、UIを操作することによりマスタ機器を駆動させる例について説明してきたが、当然のことながら、第１のスレーブ機器を動作対象として、第２の表示機能を備えたスレーブ機器にUIを表示させて、表示されたUIを操作することで、第１のスレーブ機器の駆動を制御させるようにしてもよい。この場合においては、UIを表示する第２のスレーブ機器もUIを表示するという機能を実現する上で動作対象機器となる。逆に、スレーブ機器の動作を制御するためのUIを、表示機能を備えたマスタ機器が表示して、表示されたUIを操作することで、動作対象機器となるスレーブ機器の駆動を制御するようにしてもよい。
【０１３５】
＜＜５．第２の実施の形態の第１の変形例＞＞
以上においては、遠隔操作したい第１の動作機器にUIを表示させる機能が設けられていないときに、ネットワークを介して、表示機能を備えた第２の動作機器を別途遠隔操作することでUIを表示させ、第１の動作機器を遠隔操作する例について説明してきた。しかしながら、遠隔操作したい動作機器にUIが必要ない場合、UIを用いることなく直接遠隔操作させるようにしてもよい。
【０１３６】
すなわち、例えば、図９で示されるように、動作機器１１−６に代えて、カーテンからなる動作機器１１−１１を設けるようにして、撮像部３１−１乃至３１−３によりユーザのカーテンへの視線上に目１２と手１３とが存在する状態で、例えば、手１３から手１３’へと移動させる、または、その逆方向に動作させることで、閉じているカーテンを開く、または、開いていたカーテンを閉じるように指示したとき、カーテンを駆動させて開く、または閉じるようにしてもよい。
【０１３７】
尚、図９で示されるような例における遠隔操作処理については、図８のフローチャートを参照して説明した処理と同様であるので、その説明は省略する。
【０１３８】
＜＜６．第２の実施の形態の第２の変形例＞＞
また、図１０で示されるように、車両であるような場合、車両内の後部シート２８１を図７の駆動部２３３として構成し、後部シート２８１の所定のマーク２８１ａに対しての視線Ｌ１１を向けて、視線Ｌ１１上に目１２Ａと指先１３Ａとが存在する状態で、指先１３Ａを矢印方向に移動させることで、後部シート２８１をリクライニングさせるようにしてもよい。同様に、指先１３Ａを矢印と反対方向に移動させることで、後部シートのリクライニングを戻すようにしてもよい。
【０１３９】
この場合、後部シート２８１を単体とした動作機器１１として、図１の例のような遠隔操作装置として構成とするようにしてもよいし、図６の例のように、車両のECU（Engine Control Unit）をマスタ機器として、後部シート２８１をスレーブ機器とした遠隔操作システムを構成して機能させるようにしてもよい。
【０１４０】
また、図１０の場合、動作機器１１である車両にはルームミラー２７１なども存在する。そこで、ユーザのルームミラー２７１越しの後部シート２８１のマーク２８１ａへの視線Ｌ１２上に目１２Ｂ、指先１３Ｂが存在し、その状態で指先１３Ｂを矢印方向に移動させることで後部シートをリクライニングさせるようにしてもよい。同様に、指先１３Ｂを矢印と反対方向に移動させることで、後部シートのリクライニングを戻すようにしてもよい。
【０１４１】
尚、マーク２８１については、リクライニングを制御するものであることを認識し易くするものであることが望ましい。また、以上においては、車両の後部シートを動作機器１１とした場合の例について説明してきたが、ユーザから少し離れた動作機器であれば、これに限るものではなく、例えば、電車、船、飛行機、会場等、手の届かない位置に存在するものであって、遠隔操作が必要となりそうなものであればよい。
【０１４２】
また、図１０における遠隔操作処理については、図３のフローチャートを参照して説明した遠隔操作処理と同様の処理で実現することができるので、その説明は省略するものとする。
【０１４３】
さらに、以上においては、目、手、対象機器、および表示部など、ユーザと遠隔操作しようとする動作機器の位置を認識する上で、撮像部３１により撮像された画像を用いる例について説明してきたが、位置を測定できる限り、他の構成でもよく、例えば、赤外線カメラなどで、人体の体温に近い熱源のシルエットから目や手の位置を特定するようにしてもよい。
【０１４４】
また、撮像部３１により撮像した画像からでは、ユーザの目または手指等の所作を示す部位の位置を直接検知できない位置関係にある場合、人体の形状（髪、耳、頭部、片、首、顔の向き、呼吸、音、声、人体の特徴、形状、骨格推定、筋肉、腕、肘、肩、向き、または認識可能な付属パーツやこれらの推定情報）から各々の位置を推定し、補正する機能を備えるようにしてもよい。
【０１４５】
尚、以上においては、変形例としてカーテンの開閉や、後部シートのリクライニングを制御する例について説明してきたが、遠隔操作により動作を制御できるものであれば、その他の構成でもよく、例えば、回転翼、若しくは、固定翼などで飛翔する、いわゆるドローンのような飛翔体、各種の掃除ロボット、ラジコン（ラジオコントロール）機器、荷物の仕分け装置、または仮想物（仮想空間内において動作機器として設定されるもの）であってもよい。
【０１４６】
＜＜７．視線の補正＞＞
図１１の左部、中央部、および右部で示されるように、視線は、右眼１２Ｒ、左眼１２Ｌ、または、その中間位置１２Ｃを起点とし、対象となる動作機器やUIの表示位置を終点としたものとなる。
【０１４７】
このため、いずれかの設定としておくことで、より高精度な遠隔操作を実現することができる。
【０１４８】
そこで、このいずれを視線として定義するのかを、予めキャリブレーションにより設定することで、高精度な遠隔操作を実現することが可能となる。
【０１４９】
また、目の位置と、動作が認識できたときのエラーの有無により、学習し、ユーザに応じて補正するようにしてもよい。
【０１５０】
＜＜８．応用例＞＞
＜ソフトウェアにより実行させる例＞
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【０１５１】
図１７は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタ-フェイス１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。
【０１５２】
入出力インタ-フェイス１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブルメディア１０１１に対してデータを読み書きするドライブ１０１０が接続されている。
【０１５３】
CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブルメディア１０１１ら読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１５４】
以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。
【０１５５】
コンピュータ（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０１５６】
コンピュータでは、プログラムは、リムーバブルメディア１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記憶部１００８に、あらかじめインストールしておくことができる。
【０１５７】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１５８】
また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０１５９】
なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【０１６０】
例えば、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０１６１】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１６２】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１６３】
尚、本開示は、以下のような構成も取ることができる。
＜１＞  動作対象となる機器、ユーザの目、および手の位置を検出する位置検出部と、
前記目、前記手、および前記機器の位置関係が所定の位置関係を維持した状態であるとき、前記ユーザの動作を認識するユーザ動作認識部と、
前記ユーザの動作に応じた、前記動作対象となる機器への動作指示を特定する動作指示特定部と、
前記動作指示特定部により特定された動作指示で前記動作対象となる機器を駆動させる駆動指示部と
を含む遠隔操作装置。
＜２＞  前記ユーザ動作認識部は、前記目、前記手、および前記機器の位置関係から、前記ユーザの前記機器への前記目からの視線を特定し、前記視線からなる直線上に前記手が位置する位置関係を維持した状態であるとき、前記ユーザの動作を認識する
＜１＞に記載の遠隔操作装置。
＜３＞  前記ユーザ動作認識部は、前記目、前記手、および前記機器の位置関係から、前記ユーザの前記機器への前記目からの視線を特定し、前記視線からなる直線上に前記手の所定の指が位置する位置関係を維持した状態であるとき、前記手の、前記視線からなる直線上での動きを、前記ユーザの動作として認識する
＜２＞に記載の遠隔操作装置。
＜４＞  前記動作対象となる機器は、自らの動作を制御するためのUI（User Interface）画像を表示する表示部をさらに含み、
前記ユーザ動作認識部は、前記目、前記手、および前記機器の位置関係から、前記ユーザの前記機器の前記表示部における所定のUI画像への前記目からの視線を特定し、前記視線からなる直線上に前記手が位置する位置関係を維持した状態であるときの前記ユーザの動作を、前記ユーザの前記UI画像への動作として認識する
＜１＞乃至＜３＞のいずれかに記載の遠隔操作装置。
＜５＞  前記表示部は、前記ユーザが装着するシースルー型のHMD（Head Mount Display）であり、
前記ユーザ動作認識部は、前記目、前記手、および前記機器の位置関係から、前記ユーザの前記機器の前記表示部であるHMDにおける所定のUI画像への前記目からの視線を特定し、前記ユーザから見て前記HMDより前方において、前記視線からなる直線上に前記手が位置する位置関係を維持した状態であるときの前記ユーザの動作を、前記ユーザの前記UI画像への動作として認識する
＜４＞に記載の遠隔操作装置。
＜６＞  前記位置検出部は、前記目、および前記手の、少なくともいずれかの位置が検出できない場合、検出した前記ユーザのその他の人体としての部位に基づいて、前記目、および前記手の位置を推定し、
前記ユーザ動作認識部は、推定された前記目、および前記手、並びに前記機器の位置関係が所定の位置関係を維持した状態であるとき、前記ユーザの動作を認識する
＜１＞乃至＜５＞のいずれかに記載の遠隔操作装置。
＜７＞  前記位置検出部は、複数の撮像方向から撮像する複数の撮像部より構成され、前記複数の撮像部により撮像された画像に基づいて、前記動作対象となる機器、前記ユーザの前記目、および前記手の位置を検出する
＜１＞乃至＜６＞のいずれかに記載の遠隔操作装置。
＜８＞  前記ユーザ動作認識部は、前記目のうち右目、前記手、および前記機器の第１の位置関係、前記目のうち左目、前記手、および前記機器の第２の位置関係、並びに、前記目のうち左右の目の中間位置、前記手、および前記機器の第３の位置関係のうちのいずれかの位置関係について、所定の位置関係を維持した状態であるとき、前記ユーザの動作を認識する
＜１＞乃至＜７＞のいずれかに記載の遠隔操作装置。
＜９＞  前記ユーザの動作に応じた、前記動作対象となる機器への動作指示を前記ユーザに提示する提示部をさらに含む
＜１＞に記載の遠隔操作装置。
＜１０＞  前記提示部は、前記動作指示に応じたUIを表示する表示部、前記動作指示に応じた光を発する発光部、前記動作指示に応じた音声を出力する音声出力部、前記動作指示に応じた匂いを発する匂い発生部、および、前記動作指示に応じた、前記動作対象となる機器による、反応、または動作を含む
＜９＞に記載の遠隔操作装置。
＜１１＞  動作対象となる機器、ユーザの目、および手の位置を検出し、
前記目、前記手、および前記機器の位置関係が所定の位置関係を維持した状態であるとき、前記ユーザの動作を認識し、
前記ユーザの動作に応じた、前記動作対象となる機器への動作指示を特定し、
特定された動作指示で前記動作対象となる機器を駆動させるステップ
を含む遠隔操作方法。
＜１２＞  動作対象となる機器、ユーザの目、および手の位置を検出する位置検出部と、
前記目、前記手、および前記機器の位置関係が所定の位置関係を維持した状態であるとき、前記ユーザの動作を認識するユーザ動作認識部と、
前記ユーザの動作に応じた、前記動作対象となる機器への動作指示を特定する動作指示特定部と、
前記動作指示特定部により特定された動作指示で前記動作対象となる機器を駆動させる駆動指示部としてコンピュータを機能させるプログラム。
＜１３＞  少なくともいずれか１の、マスタ機器と、その他の、スレーブ機器とを含む、複数の動作対象となる機器からなる遠隔操作システムにおいて、
前記マスタ機器は、
前記マスタ機器および前記スレーブ機器、ユーザの目、および手の位置を検出する位置検出部と、
前記目、前記手、および前記マスタ機器との位置関係、または、前記目、前記手、および前記スレーブ機器との位置関係が所定の位置関係を維持した状態であるとき、前記ユーザの動作を認識するユーザ動作認識部と、
前記ユーザの動作に応じた、前記マスタ機器、または、前記スレーブ機器への動作指示を特定する動作指示特定部と、
前記動作指示で前記マスタ機器を駆動させるマスタ駆動指示部と、
前記動作指示を前記スレーブ機器に送信するマスタ通信部と
を含み、
前記スレーブ機器は、
前記マスタ機器より送信されてくる前記スレーブ機器への前記動作指示を受信するスレーブ通信部と、
前記動作指示で前記スレーブ機器を駆動させるスレーブ駆動指示部と
を含む遠隔操作システム。
＜１４＞  前記マスタ機器、および前記スレーブ機器のいずれかであって、表示機能を備えた第１の動作機器と、
前記マスタ機器、および前記スレーブ機器のいずれかであって、動作対象となる第２の動作機器とを含むとき、
前記位置検出部は、前記第１の動作機器および前記第２の動作機器、ユーザの目、および手の位置を検出し、
前記ユーザ動作認識部は、前記目、前記手、および前記第１の動作機器の位置関係が所定の第１の位置関係を維持した状態であるとき、前記ユーザの第１の所定の動作を、前記第１の動作機器を、前記第２の動作機器を制御するUIを表示するための対象機器として認識し、
前記動作指示特定部は、前記ユーザの前記第１の動作に応じて、前記第１の動作機器に、前記第２の動作機器を制御するUIを表示させる動作指示を特定し、
前記マスタ駆動指示部は、前記第２の動作機器を制御するUIを表示する動作指示で前記第１の動作機器を駆動させ、
前記ユーザ動作認識部は、前記目、前記手、および前記第２の動作機器の位置関係が所定の第２の位置関係を維持した状態であるとき、前記ユーザの第２の所定の動作を、前記第２の動作機器を、前記第１の動作機器により表示されたUIの操作に応じた動作をするための対象機器として認識し、
前記動作指示特定部は、前記ユーザの前記第２の動作に応じて、前記第２の動作機器に、前記第１の動作機器により表示されているUIの操作に応じた動作をさせる動作指示を特定し、
前記マスタ駆動指示部は、前記第１の動作機器により表示されているUIの操作に応じた動作指示で前記第２の動作機器を駆動させる
＜１３＞に記載の遠隔操作システム。
＜１５＞  前記スレーブ機器は、カーテンの開閉装置である
＜１３＞に記載の遠隔操作システム。
＜１６＞  前記スレーブ機器は、車両の後部シートのリクライニング装置である
＜１３＞に記載の遠隔操作システム。
＜１７＞  前記ユーザ動作認識部は、前記目、前記手、および前記スレーブ機器との位置関係から、前記ユーザの視線が、前記車両内のルームミラー越しの、前記スレーブ機器となる前記後部シートのリクライニング装置への視線であって、前記視線からなる直線上に前記手が位置する位置関係を維持した状態であるとき、前記ユーザの動作を認識する
＜１６＞に記載の遠隔操作システム。
＜１８＞  前記スレーブ機器は、回転翼、若しくは、固定翼による飛翔体、各種の掃除ロボット、ラジコン（ラジオコントロール）機器、荷物の仕分け装置、および仮想物を含む
＜１３＞に記載の遠隔操作システム。
【符号の説明】
【０１６４】
１１，１１−１乃至１１−６，１１−１１  動作機器，  １２，１２Ａ，１２Ｂ，１２’  目，  １３，１３Ａ，１３Ｂ，１３’  手，  １３ａ，１３ａ’  指先，  ３１  撮像部，  ３２  表示部，  ５１  制御部，  ５２  駆動部，  ７１  目指先対象機器位置検出部，  ７２  ユーザ動作認識部，  ７３  動作指示判定部，  ７４  駆動指示部，  ９１  表示部，  １１１  撮像部，  １２１  ネットワーク，  ２０１  通信部，  ２３１  通信部，  ２３２  制御部，  ２３３  駆動部，  ２５１  駆動制御部，  ２８１  後部シート
【図１】
2017145787.tif 000003
【図２】
2017145787.tif 000004
【図３】
2017145787.tif 000005
【図４】
2017145787.tif 000006
【図５】
2017145787.tif 000007
【図６】
2017145787.tif 000008
【図７】
2017145787.tif 000009
【図８】
2017145787.tif 000010
【図９】
2017145787.tif 000011
【図１０】
2017145787.tif 000012
【図１１】
2017145787.tif 000013
【図１２】
2017145787.tif 000014
【国際調査報告】
2017145787.tif 000015
2017145787.tif 000016
2017145787.tif 000017
2017145787.tif 000018