(57)【特許請求の範囲】
【請求項１】
ユーザに装着される第１ウェアラブル端末と、
前記ユーザに装着される第２ウェアラブル端末と、を具備し、
前記第１ウェアラブル端末は、前記第２ウェアラブル端末で操作可能な電子機器からの光信号を受信することで、前記ユーザの視線が前記電子機器に向けられたことを検出し、前記電子機器へ前記ユーザの視線が向けられたことが検出されてから一定期間内に前記第２ウェアラブル端末からの光信号を受信することで、前記第２ウェアラブル端末へ前記ユーザの視線が向けられたことを検出し、
前記第２ウェアラブル端末は、前記第１ウェアラブル端末から送信される前記電子機器の識別情報を受信し、前記電子機器のリモート操作画面を自画面に表示する
リモートコントロールシステム。
【請求項２】
前記第１ウェアラブル端末は、
前記電子機器および前記第２ウェアラブル端末からの前記光信号を受信する受光手段と、
前記電子機器の前記識別情報を無線通信により前記第２ウェアラブル端末に向けて出力する送信手段と、
を具備し、
前記第２ウェアラブル端末は、
前記第１ウェアラブル端末に向けて前記光信号を発光する発光手段と、
前記識別情報を受信する受信手段と、
前記受信手段により受信される前記識別情報で示される前記電子機器の前記リモート操作画面を前記自画面に表示する表示手段と、
を具備する請求項１に記載のリモートコントロールシステム。
【請求項３】
前記光信号は、赤外線信号であり、
前記第１ウェアラブル端末は、前記赤外線信号を受光する受光部を具備し、
前記受光部は、前記電子機器を識別可能な前記赤外線信号を受光することにより、前記電子機器へ前記ユーザの視線が向けられたことを検出し、前記第２ウェアラブル端末を識別可能な前記赤外線信号を受光することにより、前記第２ウェアラブル端末へ前記ユーザの視線が向けられたことを検出する
請求項２に記載のリモートコントロールシステム。
【請求項４】
前記第２ウェアラブル端末は、
スリープ状態の期間中であっても、前記発光手段から前記光信号を前記第１ウェアラブル端末に向けて発光し、
前記無線通信により前記第１ウェアラブル端末から前記識別情報を受信した時、前記スリープ状態から復帰して、前記リモート操作画面を次画面に表示する
請求項２に記載のリモートコントロールシステム。
【請求項５】
ユーザに装着される第１ウェアラブル端末と、
前記ユーザに装着される第２ウェアラブル端末と、を具備し、
前記第１ウェアラブル端末は、前記第２ウェアラブル端末で操作可能な電子機器からの光信号を受信することで、前記ユーザの視線が前記電子機器に向けられたことを検出した後、検出した前記電子機器の識別情報を示す光信号を、前記ユーザの視線が向けられている方向に送信し、
前記第２ウェアラブル端末は、前記第１ウェアラブル端末から送信される前記光信号を受信した場合、前記光信号が示す前記電子機器の識別情報に基づいて、前記電子機器のリモート操作画面を自画面に表示する
リモートコントロールシステム。
【請求項６】
前記光信号は、赤外線信号であり、
前記第１ウェアラブル端末は、
前記電子機器からの前記赤外線信号を受光する第１受光部と、
前記電子機器の識別情報を示す前記赤外線信号を前記ユーザの視線が向けられている方向に発光する発光部と、を具備し、
前記第２ウェアラブル端末は、
前記電子機器の識別情報を示す前記赤外線信号を受光する第２受光部と、
前記第２受光部により受信した前記識別情報で示される前記電子機器の前記リモート操作画面を前記自画面に表示する表示手段と、
を具備する請求項５に記載のリモートコントロールシステム。
【請求項７】
ユーザに装着される第１ウェアラブル端末と、
前記ユーザに装着され、加速度センサを有する第２ウェアラブル端末と、を具備し、
前記第１ウェアラブル端末は、前記第２ウェアラブル端末で操作可能な電子機器からの赤外線信号を受信することで、前記ユーザの視線が前記電子機器に向けられたことを検出し、検出した前記電子機器の識別情報を無線通信によって前記第２ウェアラブル端末に送信し、
前記第２ウェアラブル端末は、前記加速度センサの検出値に基づいて前記ユーザの視線が自端末に向けられたことを検出した時、又は前記識別情報の受信を契機に前記加速度センサの検出値に基づいて前記ユーザの視線が自端末に向けられたことを検出した時に、前記識別情報で示される前記電子機器のリモート操作画面を自画面に表示する
リモートコントロールシステム。
【請求項８】
前記第１ウェアラブル端末は、
前記電子機器からの前記赤外線信号を受光する受光部と、
前記電子機器の識別情報を前記無線通信により前記第２ウェアラブル端末に向けて送信する送信手段と、を具備し、
前記第２ウェアラブル端末は、
前記電子機器の識別情報を受信する受信手段と、
前記ユーザの動作を検出するための行動パターンを記憶するデータベースと、
前記加速度センサの検出値群と前記データベースの前記行動パターンとを比較することによって、前記ユーザの視線が自端末に向けられたことを検出する行動監視手段と、
前記受信手段により受信した前記識別情報で示される前記電子機器の前記リモート操作画面を前記自画面に表示する表示手段と、を具備する
請求項７に記載のリモートコントロールシステム。
【請求項９】
ユーザに装着され、カメラと、前記カメラで撮像された画像の認識を行う画像認識手段と、を有する第１ウェアラブル端末と、
前記ユーザに装着される第２ウェアラブル端末と、を具備し、
前記第１ウェアラブル端末は、前記カメラで撮像された前記第２ウェアラブル端末で操作可能な電子機器を前記画像認識手段により認識することにより、前記電子機器へ前記ユーザの視線が向けられたことを検出した後、検出した前記電子機器の識別情報を示す光信号を、前記ユーザの視線が向けられている方向に送信し、
前記第２ウェアラブル端末は、前記第１ウェアラブル端末から送信される前記光信号を受信した場合、前記光信号が示す前記電子機器の識別情報に基づいて、前記電子機器のリモート操作画面を自画面に表示する
リモートコントロールシステム。
【請求項１０】
ユーザに装着され、ジャイロセンサと、加速度センサとを有する第１ウェアラブル端末と、
前記ユーザに装着される第２ウェアラブル端末と、を具備し、
前記第１ウェアラブル端末は、前記ジャイロセンサの検出値および前記加速度センサの検出値によって得られた方向に基づき、前記第２ウェアラブル端末で操作可能な電子機器へ前記ユーザの視線が向けられたことを検出し、検出した前記電子機器の識別情報を無線通信によって前記第２ウェアラブル端末に送信し、
前記第２ウェアラブル端末は、前記第１ウェアラブル端末から送信される前記電子機器の識別情報を受信し、前記電子機器のリモート操作画面を自画面に表示する
リモートコントロールシステム。
【請求項１１】
ユーザに装着され、カメラと、前記カメラで撮像された画像の認識を行う画像認識手段と、加速度センサと、を有するウェアラブル端末であって、
前記カメラで撮像された前記ウェアラブル端末で操作可能な電子機器を前記画像認識手段により認識することにより、前記電子機器へ前記ユーザの視線が向けられたことを検出する第１視線検出手段と、
前記加速度センサの検出値に基づいて、前記ウェアラブル端末へ前記ユーザの視線が向けられたことを検出する第２視線検出手段と、
前記電子機器へ前記ユーザの視線が向けられたことが前記第１視線検出手段により検出されてから第１期間内に前記ウェアラブル端末へ前記ユーザの視線が向けられたことが前記第２視線検出手段により検出された場合、前記電子機器のリモート操作画面を自画面に表示する表示手段と、
を具備するウェアラブル端末。
【請求項１２】
前記第２視線検出手段は、
前記ユーザの動作を検出するための行動パターンを記憶するデータベースと、
前記加速度センサの検出値群と前記データベースの前記行動パターンとを比較することによって、前記ユーザの視線が自端末に向けられたことを検出する行動監視手段と、を含み、
第１視線検出手段から前記電子機器の識別情報を受信してから一定期間内に前記ユーザの視線が自端末に向けられたことを前記行動監視手段により検出した場合、前記表示手段は前記電子機器のリモート操作画面を自画面に表示する
請求項１１に記載のウェアラブル端末。
【請求項１３】
ユーザに装着される第１ウェアラブル端末および第２ウェアラブル端末による電子機器のリモートコントロール方法であって、
前記第２ウェアラブル端末で操作可能な前記電子機器からの光信号を前記第１ウェアラブル端末が受信することで、前記ユーザの視線が前記電子機器に向けられたことを検出することと、
前記電子機器へ前記ユーザの視線が向けられたことが検出されてから一定期間内に前記第２ウェアラブル端末からの光信号を前記第１ウェアラブル端末が受信することで、前記第２ウェアラブル端末へ前記ユーザの視線が向けられたことを検出することと、
前記第１ウェアラブル端末から送信される前記電子機器の識別情報を前記第２ウェアラブル端末が受信し、前記電子機器のリモート操作画面を前記第２ウェアラブル端末の画面に表示することと、
を具備するリモートコントロール方法。
【請求項１４】
ユーザに装着される第１ウェアラブル端末および第２ウェアラブル端末による電子機器のリモートコントロール方法であって、
前記第２ウェアラブル端末で操作可能な電子機器からの光信号を前記第１ウェアラブル端末が受信することで、前記ユーザの視線が前記電子機器に向けられたことを検出することと、
検出した前記電子機器の識別情報を示す光信号を、前記第１ウェアラブル端末から前記ユーザの視線が向けられている方向に送信することと、
前記第１ウェアラブル端末から送信される前記光信号を前記第２ウェアラブル端末が受信した場合、前記光信号が示す前記電子機器の識別情報に基づいて、前記電子機器のリモート操作画面を前記第２ウェアラブル端末の画面に表示することと、
を具備するリモートコントロール方法。
【請求項１５】
ユーザに装着される第１ウェアラブル端末および第２ウェアラブル端末による電子機器のリモートコントロール方法であって、
前記第２ウェアラブル端末で操作可能な電子機器からの赤外線信号を前記第１ウェアラブル端末が受信することで、前記ユーザの視線が前記電子機器に向けられたことを検出することと、
検出した前記電子機器の識別情報を前記第１ウェアラブル端末から無線通信によって前記第２ウェアラブル端末に送信することと、
前記第２ウェアラブル端末の加速度センサの検出値に基づいて、前記ユーザの視線が自端末に向けられたことを検出した時、又は前記識別情報の受信を契機に前記加速度センサの検出値に基づいて前記ユーザの視線が自端末に向けられたことを検出した時に、前記識別情報で示される前記電子機器のリモート操作画面を前記第２ウェアラブル端末の画面に表示することと、
を具備するリモートコントロール方法。
【請求項１６】
ユーザに装着され、ジャイロセンサと、加速度センサとを有する第１ウェアラブル端末と、前記ユーザに装着される第２ウェアラブル端末と、による電子機器のリモートコントロール方法であって、
前記第１ウェアラブル端末の前記ジャイロセンサの検出値および前記加速度センサの検出値によって得られた方向に基づき、前記第２ウェアラブル端末で操作可能な前記電子機器へ前記ユーザの視線が向けられた方向を検出することと、
検出した前記電子機器の識別情報を前記第１ウェアラブル端末から無線通信によって前記第２ウェアラブル端末に送信することと、
前記第１ウェアラブル端末から送信される前記電子機器の識別情報を前記第２ウェアラブル端末が受信し、前記電子機器のリモート操作画面を前記第２ウェアラブル端末の画面に表示することと、
を具備するリモートコントロール方法。
【請求項１７】
ユーザに装着され、カメラと、前記カメラで撮像された画像の認識を行う画像認識手段と、加速度センサと、を有するウェアラブル端末による電子機器のリモートコントロール方法であって、
前記カメラで撮像された前記ウェアラブル端末で操作可能な前記電子機器を前記画像認識手段により認識することにより、前記電子機器へ前記ユーザの視線が向けられたことを検出することと、
前記加速度センサの検出値に基づいて、前記ウェアラブル端末へ前記ユーザの視線が向けられたことを検出することと、
前記電子機器へ前記ユーザの視線が向けられたことが検出されてから一定期間内に前記ウェアラブル端末へ前記ユーザの視線が向けられたことが検出された場合、前記電子機器のリモート操作画面を前記ウェアラブル端末の画面に表示することと、
を具備するリモートコントロール方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、リモートコントロールシステム、ウェアラブル端末およびリモートコントロール方法に関する。
【背景技術】
【０００２】
近年、ウェアラブル端末などと称される、腕時計型やメガネ型などの装用可能な電子機器が普及し始めている。この種のウェアラブル端末は、エアコンディショナー、テレビジョン受像機、照明器具などの複数の家庭電化製品を操作することのできるマルチリモートコントローラとして利用し得る。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−１４６８０３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ウェアラブル端末をマルチリモートコントローラとして利用する場合、複数の家庭電化製品の中から目的の家庭電化製品を選択する操作が必要となる。ウェアラブル端末においては、このような操作がユーザに煩わしさを感じさせてしまう可能性がある。
【０００５】
本発明が解決しようとする課題は、ウェアラブル端末をリモートコントローラとして利用する場合の利便性を向上させるリモートコントロールシステム、ウェアラブル端末およびリモートコントロール方法を提供することである。
【課題を解決するための手段】
【０００６】
実施形態によれば、リモートコントロールシステムは、ユーザに装着される第１ウェアラブル端末および第２ウェアラブル端末を具備する。リモートコントロールシステムの前記第１ウェアラブル端末は、前記第２ウェアラブル端末で操作可能な電子機器からの光信号を受信することで、前記ユーザの視線が前記電子機器に向けられたことを検出し、前記電子機器へ前記ユーザの視線が向けられたことが検出されてから一定期間内に前記第２ウェアラブル端末からの光信号を受信することで、前記第２ウェアラブル端末へ前記ユーザの視線が向けられたことを検出する。前記第２ウェアラブル端末は、前記第１ウェアラブル端末から送信される前記電子機器の識別情報を受信し、前記電子機器のリモート操作画面を自画面に表示する。
【図面の簡単な説明】
【０００７】
【図１】第１実施形態のリモートコントロールシステムが利用される環境の一例を示す図。
【図２】第１実施形態のリモートコントロールシステムに適用されるメガネ型ウェアラブル端末の外観の一例を示す図。
【図３】第１実施形態のリモートコントロールシステムに適用される腕時計型ウェアラブル端末の外観の一例を示す図。
【図４】第１実施形態のリモートコントロールシステムにおけるメガネ型ウェアラブル端末と腕時計型ウェアラブル端末との連携の一例を概略的に説明するための図。
【図５】第１実施形態のリモートコントロールシステムに適用されるメガネ型ウェアラブル端末のシステム構成の一例を示す図。
【図６】第１実施形態のリモートコントロールシステムに適用される腕時計型ウェアラブル端末のシステム構成の一例を示す図。
【図７】第１実施形態のリモートコントロールシステムに適用されるメガネ型ウェアラブル端末の動作の流れの一例を示す図。
【図８】第１実施形態のリモートコントロールシステムに適用される腕時計型ウェアラブル端末の動作の流れの一例を示す図。
【図９】第２実施形態のリモートコントロールシステムに適用されるメガネ型ウェアラブル端末の外観の一例を示す図。
【図１０】第２実施形態のリモートコントロールシステムに適用されるメガネ型ウェアラブル端末のシステム構成の一例を示す図。
【図１１】第２実施形態のリモートコントロールシステムに適用される腕時計型ウェアラブル端末の外観の一例を示す図。
【図１２】第２実施形態のリモートコントロールシステムに適用される腕時計型ウェアラブル端末のシステム構成の一例を示す図。
【図１３】第２実施形態のリモートコントロールシステムに適用されるメガネ型ウェアラブル端末の動作の流れの一例を示す図。
【図１４】第２実施形態のリモートコントロールシステムに適用される腕時計型ウェアラブル端末の動作の流れの一例を示す図。
【図１５】第３実施形態のリモートコントロールシステムに適用される腕時計型ウェアラブル端末のシステム構成の一例を示す図。
【図１６】第３実施形態のリモートコントロールシステムに適用される腕時計型ウェアラブル端末上で動作するリモートコントロール支援プログラムの機能ブロック図。
【図１７】第３実施形態のリモートコントロールシステムに適用されるメガネ型ウェアラブル端末の動作の流れの一例を示す図。
【図１８】第３実施形態のリモートコントロールシステムに適用される腕時計型ウェアラブル端末の動作の流れの一例を示す図。
【図１９】第４実施形態のリモートコントロールシステムに適用されるメガネ型ウェアラブル端末のシステム構成の一例を示す図。
【図２０】第４実施形態のリモートコントロールシステムに適用されるメガネ型ウェアラブル端末上で動作するリモートコントロール支援プログラムの機能ブロック図。
【図２１】第４実施形態のリモートコントロールシステムに適用されるメガネ型ウェアラブル端末の動作の流れの一例を示す図。
【図２２】第５実施形態のリモートコントロールシステムの動作原理を概略的に説明するための図。
【図２３】第５実施形態のリモートコントロールシステムに適用される腕時計型ウェアラブル端末上で動作するリモートコントロール支援プログラムの機能ブロック図。
【図２４】第５実施形態のリモートコントロールシステムに適用される腕時計型ウェアラブル端末の動作の流れの一例を示す図。
【図２５】第６実施形態のリモートコントロールシステムの動作原理を概略的に説明するための図。
【図２６】第６実施形態のリモートコントロールシステムに適用されるメガネ型ウェアラブル端末のシステム構成の一例を示す図。
【図２７】第６実施形態のリモートコントロールシステムに適用されるメガネ型ウェアラブル端末上で動作するリモートコントロール支援プログラムの機能ブロック図。
【図２８】第６実施形態のリモートコントロールシステムに適用されるメガネ型ウェアラブル端末の動作の流れの一例を示す図。
【発明を実施するための形態】
【０００８】
以下、実施の形態について図面を参照して説明する。
【０００９】
（第１実施形態）
まず、第１実施形態について説明する。
【００１０】
図１は、本実施形態のリモートコントロールシステムが利用される環境の一例を示す図である。
【００１１】
本実施形態のリモートコントロールシステムは、メガネ型ウェアラブル端末１と腕時計型ウェアラブル端末２とが連携して、たとえば室内に設置されている、エアコンディショナー、テレビジョン受像機、照明器具などの複数の家庭電化製品３を腕時計型ウェアラブル端末２上で操作することを可能とするシステムである。より具体的には、腕時計型ウェアラブル端末２を、複数の家庭電化製品３を操作することのできるマルチリモートコントローラとして動作させるシステムであって、メガネ型ウェアラブル端末１と腕時計型ウェアラブル端末２との協働により、ある家庭電化製品３をユーザが操作する際、その家庭電化製品３を複数の家庭電化製品３の中から選択するといった煩わしい操作を腕時計型ウェアラブル端末２上で行うことを不要とするシステムである。
【００１２】
図１に示されるように、複数の家庭電化製品３は、それぞれＩＲ（Infrared Ray）発光部３Ａを有している。ＩＲ発光部３Ａは、家庭電化製品３を識別可能な赤外線信号を出力するためのモジュールであり、家庭電化製品３に予め搭載されてもよいし、外付けされてもよい。なお、図１には示されないが、複数の家庭電化製品３は、それぞれリモートコントロール信号（赤外線信号）を受信するためのＩＲ受光部を有している。または、複数の家庭電化製品３は、Wi-Fi（登録商標）規格やBluetooth（登録商標）規格等に準拠した無線通信を行うための無線通信モジュールを有していてもよい。この場合、複数の家庭電化製品３は、ルータを介して接続される家庭内ネットワーク経由でリモートコントロール信号を受信することができる。
【００１３】
図２は、本実施形態のリモートコントロールシステムに適用されるメガネ型ウェアラブル端末１の外観の一例を示す図である。
【００１４】
図２に示されるように、メガネ型ウェアラブル端末１は、ユーザの頭部に装着されるメガネ部１１と、メガネ部１１に着脱自在な外部ユニット部１２とを有している。外部ユニット部１２を装着することにより、汎用的なメガネをメガネ型ウェアラブル端末１として利用してもよい。即ち、メガネ部１１は、汎用的なメガネであってもよい。また、メガネ部１１と外部ユニット部１２とを一体構造としてもよい。
【００１５】
外部ユニット部１２には、メガネ型ウェアラブル端末１を装着するユーザの視線が向けられている方向から送信されてくる赤外線信号を受信するためのＩＲ受光部１３が設けられている。また、外部ユニット部１２には、たとえばメガネ型ウェアラブル端末１を電源オン／オフする等の各種操作を行うための操作部１４が設けられている。
【００１６】
一方、図３は、本実施形態のリモートコントロールシステムに適用される腕時計型ウェアラブル端末２の外観の一例を示す図である。
【００１７】
図３に示されるように、腕時計型ウェアラブル端末２は、時計部２１と、時計部２１をユーザの腕部に装着するためのベルト（バンド）部２２Ａ，２２Ｂとを有している。時計部２１には、表示画面上でのタッチ操作が可能なタッチスクリーンディスプレイ２３が設けられている。また、時計部２１には、赤外線信号を出力するためのＩＲ発光部２４が設けられている。時計部２１のＩＲ発光部２４からは、時計部２１を識別可能な赤外線信号と、家庭電化製品３向けのリモートコントロール信号（赤外線信号）が出力され得る。家庭電化製品３がWi-Fi（登録商標）規格やBluetooth（登録商標）規格等に準拠した無線通信によりルータ経由で家庭内ネットワークへ接続される場合、腕時計型ウェアラブル端末２は、家庭電化製品３向けのリモートコントロール信号を、Wi-Fi（登録商標）規格やBluetooth（登録商標）規格等に準拠した無線通信により出力するようにしてもよい。また、家庭電化製品３がWi-Fi（登録商標）規格やBluetooth（登録商標）規格等に準拠した無線通信に対応していない場合においても、Wi-Fi（登録商標）規格やBluetooth（登録商標）規格等に準拠した無線通信データを赤外線信号に変換するデバイスを用いることにより、腕時計型ウェアラブル端末２は、家庭電化製品３向けのリモートコントロール信号を、Wi-Fi（登録商標）規格やBluetooth（登録商標）規格等に準拠した無線通信により出力するようにしてもよい。
【００１８】
さらに、時計部２１には、たとえば腕時計型ウェアラブル端末２を電源オン／オフする等の各種操作を行うための操作部２５が設けられている。（電源オン状態で表示画面が提示されている）腕時計型ウェアラブル端末２を電源オフする操作は、タッチスクリーンディスプレイ２３上でのタッチ操作で行ってもよい。
【００１９】
図４を参照して、本実施形態のリモートコントロールシステムにおけるメガネ型ウェアラブル端末１と腕時計型ウェアラブル端末２との連携の一例を概略的に説明する。本実施形態のリモートコントロールシステムでは、ユーザが、メガネ型ウェアラブル端末１と腕時計型ウェアラブル端末２との両方を装着していることを想定している。腕時計型ウェアラブル端末２は、たとえばタッチスクリーンディスプレイ２３上でのタッチ操作が一定期間行われなかった場合、タッチスクリーンディスプレイ２３をオフする等のスリープ状態に移行する省電力機能を有している。
【００２０】
いま、腕時計型ウェアラブル端末２は、スリープ状態であるものとする。そして、腕時計型ウェアラブル端末２がスリープ状態である状況のまま、ユーザが、ある家庭電化製品３を見たとする（図４（Ａ））。このとき、メガネ型ウェアラブル端末１が、その家庭電化製品３へユーザの視線が向けられたことを検知する。たとえば、家庭電化製品３のＩＲ発光部３Ａから出力される赤外線信号をＩＲ受光部１３で受信することにより、メガネ型ウェアラブル端末１は、その家庭電化製品３へユーザの視線が向けられたことを検知することができる。
【００２１】
次に、ユーザが、ある家庭電化製品３を見てから一定期間内に、腕時計型ウェアラブル端末２を見たとする（図４（Ｂ１））。このとき、メガネ型ウェアラブル端末１が、腕時計型ウェアラブル端末２へユーザの視線が向けられたことを検知する。たとえば、腕時計型ウェアラブル端末２のＩＲ発光部２４から出力される赤外線信号をＩＲ受光部１３で受信することにより、メガネ型ウェアラブル端末１は、腕時計型ウェアラブル端末２へユーザの視線が向けられたことを検知することができる。なお、腕時計型ウェアラブル端末２は、スリープ状態である期間中も、腕時計型ウェアラブル端末２を識別可能な赤外線信号をＩＲ発光部２４から出力している。
【００２２】
ある家庭電化製品３へユーザの視線が向けられ、かつ、その直後（一定期間内）に腕時計型ウェアラブル端末２へユーザの視線が向けられた場合、メガネ型ウェアラブル端末１は、たとえばWi-Fi（登録商標）規格やBluetooth（登録商標）規格等に準拠した無線通信により、ユーザの視線が向けられた家庭電化製品３の識別情報を腕時計型ウェアラブル端末２へ通知する。前述したように、家庭電化製品３のＩＲ発光部３Ａは、家庭電化製品３を識別可能な赤外線信号を出力するので、この赤外線信号に基づき、メガネ型ウェアラブル端末１は、家庭電化製品３の識別情報を腕時計型ウェアラブル端末２へ通知することができる。
【００２３】
一方、メガネ型ウェアラブル端末１からの通知（家庭電化製品３の識別情報）を受信した腕時計型ウェアラブル端末２は、（スリープ状態であるならば）スリープ状態から復帰して、識別情報で示される家庭電化製品３用のリモートコントロール画面をタッチスクリーンディスプレイ２３に表示する（図４（Ｃ１））。なお、腕時計型ウェアラブル端末２は、スリープ状態である期間中も、無線通信機能は稼働している。
【００２４】
つまり、本実施形態のリモートコントロールシステムでは、ユーザが、ある家庭電化製品３を腕時計型ウェアラブル端末２で操作したいと考えて、その家庭電化製品３を見てから腕時計型ウェアラブル端末２を見るという行動を取った場合、その家庭電化製品３用のリモートコントロール画面が自動的に腕時計型ウェアラブル端末２上に表示されるようにする。これにより、スリープ状態から復帰させたり、複数の家庭電化製品３の中から目的の家庭電化製品３を選択したりといった腕時計型ウェアラブル端末２上での煩わしい操作を省くことができる。
【００２５】
もし、ユーザが、ある家庭電化製品３を見てから一定期間内に、腕時計型ウェアラブル端末２を見なかったとすると（図４（Ｂ２））、メガネ型ウェアラブル端末１から腕時計型ウェアラブル端末２への通知は行われない。したがって、腕時計型ウェアラブル端末２は、スリープ状態が維持される（図４の（Ｃ２））。
【００２６】
なお、ここでは、家庭電化製品３を操作する端末として、腕時計型ウェアラブル端末２を想定するが、ユーザの視線が向けられたことが検出できる端末であれば、ウェアラブル端末に限らず、たとえばスマートフォンなどであってもよい。
【００２７】
図５は、メガネ型ウェアラブル端末１のシステム構成の一例を示す図である。
【００２８】
図５に示されるように、メガネ型ウェアラブル端末１は、（図２に示される）ＩＲ受光部１３および操作部１４のほか、プロセッサ１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３および無線通信部１０４を有している。
【００２９】
プロセッサ１０１は、ＲＡＭ１０３をワークメモリとして、ＲＯＭ１０２に保持される各種プログラムを実行して、メガネ型ウェアラブル端末１の動作を制御する。各種プログラムの中には、メガネ型ウェアラブル端末１をリモートコントロールシステムの一要素として動作させるためのリモートコントロール支援プログラム３１０が含まれている。
【００３０】
無線通信部１０４は、たとえばWi-Fi（登録商標）規格やBluetooth（登録商標）規格等に準拠した無線通信を実行する無線通信モジュールである。
【００３１】
一方、図６は、腕時計型ウェアラブル端末２のシステム構成の一例を示す図である。
【００３２】
図６に示されるように、腕時計型ウェアラブル端末２は、（図３に示される）タッチスクリーンディスプレイ２３、ＩＲ発光部２４および操作部２５のほか、プロセッサ２０１、ＲＯＭ２０２、ＲＡＭ２０３および無線通信部２０４を有している。
【００３３】
プロセッサ２０１は、ＲＡＭ２０３をワークメモリとして、ＲＯＭ２０２に保持される各種プログラムを実行して、腕時計型ウェアラブル端末２の動作を制御する。各種プログラムの中には、腕時計型ウェアラブル端末２をリモートコントロールシステムの一要素として動作させるためのリモートコントロール支援プログラム４１０が含まれている。メガネ型ウェアラブル端末１のリモートコントロール支援プログラム３１０と、腕時計型ウェアラブル端末２のリモートコントロール支援プログラム４１０とは、各々単体のプログラムとして用意されるものでもよいし、１つのプログラム内の異なるサブプログラムとして用意され、パラメータ設定などにより使い分けが行われるものでもよい。
【００３４】
無線通信部２０４は、たとえばWi-Fi（登録商標）規格やBluetooth（登録商標）規格等に準拠した無線通信を実行する無線通信モジュールである。
【００３５】
図７は、リモートコントロール支援プログラム３１０によってリモートコントロールシステムの一要素として動作するメガネ型ウェアラブル端末１の動作の流れの一例を示す図である。
【００３６】
メガネ型ウェアラブル端末１は、家庭電化製品３から送信されてくる赤外線信号がＩＲ受光部１３により受信されていないかを監視する（ブロックＡ１）。受信されている場合（ブロックＡ１のＹＥＳ）、メガネ型ウェアラブル端末１は、今度は、この赤外線信号の受信から一定期間内に腕時計型ウェアラブル端末２から送信されてくる赤外線信号がＩＲ受光部１３により受信されていないかを監視する（ブロックＡ２）。
【００３７】
受信されている場合（ブロックＡ２のＹＥＳ）、メガネ型ウェアラブル端末１は、赤外線信号が受信された家庭電化製品３の識別情報を無線通信部１０４により腕時計型ウェアラブル端末２へ送信する（ブロックＡ３）。
【００３８】
一方、図８は、リモートコントロール支援プログラム４１０によってリモートコントロールシステムの一要素として動作する腕時計型ウェアラブル端末２の動作の流れの一例を示す図である。
【００３９】
腕時計型ウェアラブル端末２は、メガネ型ウェアラブル端末１から送信されてくる家庭電化製品３の識別情報が無線通信部２０４により受信されていないかを監視する（ブロックＢ１）。受信されている場合（ブロックＢ１のＹＥＳ）、腕時計型ウェアラブル端末２は、その識別情報で示される家庭電化製品３のリモートコントロール画面をタッチスクリーンディスプレイ２３に表示する（ブロックＢ２）。識別情報の受信時、スリープ状態であった場合、腕時計型ウェアラブル端末２は、リモートコントロール画面のタッチスクリーンディスプレイ２３への表示前に、スリープ状態から復帰する処理（たとえばタッチスクリーンディスプレイ２３をオンする）を行う。
【００４０】
なお、リモートコントロール画面の表示後、タッチスクリーンディスプレイ２３上でのタッチ操作に応じて、腕時計型ウェアラブル端末２は、リモートコントロール信号（赤外線信号）をＩＲ発光部２４から送信する処理を実行するが、ここでは、この処理の詳細については、その説明を省略する。家庭電化製品３がWi-Fi（登録商標）規格やBluetooth（登録商標）規格等に準拠した無線通信によりルータ経由で家庭内ネットワークへ接続される場合、腕時計型ウェアラブル端末２は、タッチスクリーンディスプレイ２３上でのタッチ操作に応じて、リモートコントロール信号を無線通信部２０４から送信する処理を実行する。家庭電化製品３がWi-Fi（登録商標）規格やBluetooth（登録商標）規格等に準拠した無線通信に対応していない場合においても、Wi-Fi（登録商標）規格やBluetooth（登録商標）規格等に準拠した無線通信データを赤外線信号に変換するデバイスを用いることにより、腕時計型ウェアラブル端末２は、タッチスクリーンディスプレイ２３上でのタッチ操作に応じて、リモートコントロール信号を無線通信部２０４から送信する処理を実行するようにしてもよい。
【００４１】
このように、本実施形態のリモートコントロールシステムにおいては、メガネ型ウェアラブル端末１と腕時計型ウェアラブル端末２とが連携することにより、操作したい家庭電化製品３を見てから腕時計型ウェアラブル端末２を見るだけで、腕時計型ウェアラブル端末２上で何らの操作を行うことなく、その家庭電化製品３用のリモートコントロール画面を腕時計型ウェアラブル端末２上に表示させることが可能となる。つまり、スリープ状態から復帰させたり、複数の家庭電化製品３の中から目的の家庭電化製品３を選択したりといった腕時計型ウェアラブル端末２上での煩わしい操作を行う必要がない。よって、本実施形態のリモートコントロールシステムは、ウェアラブル端末をリモートコントローラとして利用する場合における操作の効率を向上させることを実現する。
【００４２】
なお、腕時計型ウェアラブル端末２は、スリープ状態から復帰させたり、複数の家庭電化製品３の中から目的の家庭電化製品３を選択したりするためのユーザインタフェースを有してよいことはいうまでもない。
【００４３】
また、たとえば複数の家庭電化製品３の配置によっては、メガネ型ウェアラブル端末１のＩＲ受光部１３は、２つの家庭電化製品３から送信されてくる赤外線信号を同時に受信する可能性もある。このような場合、メガネ型ウェアラブル端末１は、（その直後に腕時計型ウェアラブル端末２から送信されてくる赤外線信号を受信したならば）これら２つの識別情報を腕時計型ウェアラブル端末２に送信するようにしてもよい。この時、腕時計型ウェアラブル端末２は、これら２つの家庭電化製品３を選択肢とする選択画面をタッチスクリーンディスプレイ２３上に表示するようにしてもよい。この場合でも、スリープ状態から復帰させるための操作を省くことができ、また、腕時計型ウェアラブル端末２で操作可能な家庭電化製品３が多数存在する場合、その中から候補を自動的に絞り込んで提示することができる。
【００４４】
さらに、腕時計型ウェアラブル端末２は、メガネ型ウェアラブル端末１から送信されてくる識別情報で示される家庭電化製品３用のリモートコントロール画面を表示する前に、その家庭電化製品３で正しいかを確認するための画面を表示するようにしてもよい。正しいとの回答（タッチ操作）を受けた場合、その家庭電化製品３用のリモートコントロール画面を表示し、誤っているとの回答を受けた場合、たとえば複数の家庭電化製品３の中から目的の家庭電化製品３を選択するための画面を表示してもよい。
【００４５】
（第２実施形態）
次に、第２実施形態について説明する。
【００４６】
第１実施形態では、ユーザの視線が家庭電化製品３に向けられた直後（一定期間内）に腕時計型ウェアラブル端末２に向けられたことを、メガネ型ウェアラブル端末１が、腕時計型ウェアラブル端末２から送信されてくる赤外線信号をＩＲ受光部１３により受信することで検出した。これに対して、本実施形態では、腕時計型ウェアラブル端末２が、メガネ型ウェアラブル端末１から送信されてくる赤外線信号を受信することにより検出する。
【００４７】
図９は、本実施形態におけるメガネ型ウェアラブル端末１の外観の一例を示す図であり、図１０は、本実施形態におけるメガネ型ウェアラブル端末１のシステム構成の一例を示す図である。図９および図１０に示されるように、本実施形態のメガネ型ウェアラブル端末１は、赤外線信号を出力するためのＩＲ発光部１５を有している。
【００４８】
また、図１１は、本実施形態における腕時計型ウェアラブル端末２の外観の一例を示す図であり、図１２は、本実施形態における腕時計型ウェアラブル端末２のシステム構成の一例を示す図である。図１１および図１２に示されるように、本実施形態の腕時計型ウェアラブル端末１は、赤外線信号を受信するためのＩＲ受光部２６を有している。
【００４９】
まず、図１３を参照して、本実施形態におけるメガネ型ウェアラブル端末１の動作の流れの一例を説明する。
【００５０】
メガネ型ウェアラブル端末１は、家庭電化製品３から送信されてくる赤外線信号がＩＲ受光部１３により受信されていないかを監視する（ブロックＨ１）。受信されている場合（ブロックＨ１のＹＥＳ）、メガネ型ウェアラブル端末１は、一定期間、赤外線信号が受信された家庭電化製品３の識別情報を通知するための赤外線信号をＩＲ発光部１５により出力する（ブロックＣ２）。この赤外線信号は、受信側において、（識別情報で示される家庭電化製品３から送信されてきたのではなく）メガネ型ウェアラブル端末１から送信されてきたことが認識できる信号である。
【００５１】
続いて、図１４を参照して、本実施形態における腕時計型ウェアラブル端末２の動作の流れの一例を説明する。
【００５２】
腕時計型ウェアラブル端末２は、メガネ型ウェアラブル端末１から送信されてくる、家庭電化製品３の識別情報を通知するための赤外線信号がＩＲ受光部２０４により受信されていないかを監視する（ブロックＩ１）。受信されている場合（ブロックＩ１のＹＥＳ）、腕時計型ウェアラブル端末２は、その識別情報で示される家庭電化製品３のリモートコントロール画面をタッチスクリーンディスプレイ２３に表示する（ブロックＩ２）。
【００５３】
このように、本実施形態のリモートコントロールシステムにおいても、メガネ型ウェアラブル端末１と腕時計型ウェアラブル端末２とが連携することにより、操作したい家庭電化製品３を見てから腕時計型ウェアラブル端末２を見るだけで、腕時計型ウェアラブル端末２上で何らの操作を行うことなく、その家庭電化製品３用のリモートコントロール画面を腕時計型ウェアラブル端末２上に表示させることが可能となる。
【００５４】
（第３実施形態）
次に、第３実施形態について説明する。
【００５５】
第１実施形態では、ユーザの視線が家庭電化製品３に向けられた直後（一定期間内）に腕時計型ウェアラブル端末２に向けられたことを、メガネ型ウェアラブル端末１が、腕時計型ウェアラブル端末２から送信されてくる赤外線信号をＩＲ受光部１３により受信することで検出した。これに対して、本実施形態では、腕時計型ウェアラブル端末２が、たとえば腕時計を見る場合に（腕時計が装着された）腕を持ち上げながら内側に捻転させるといった典型的な行動が取られたかを判定することにより検出する。また、本実施形態では、メガネ型ウェアラブル端末１は、家庭電化製品３から送信されてくる赤外線信号がＩＲ受光部１３により受信された時点で、その家庭電化製品３の識別情報を無線通信部１０４により腕時計型ウェアラブル端末２へ送信する。
【００５６】
図１５は、本実施形態における腕時計型ウェアラブル端末２のシステム構成の一例を示す図である。
【００５７】
図１５に示されるように、本実施形態の腕時計型ウェアラブル端末２は、加速度センサ２０５を有している。（腕時計型ウェアラブル端末２の）リモートコントロール支援プログラム４１０は、加速度センサ２０５の検出値に基づき、ユーザの視線が腕時計型ウェアラブル端末２に向けられたことを検出する。なお、加速度センサ２０５は、腕時計型ウェアラブル端末２がスリープ状態である期間中も動作している。
【００５８】
図１６は、本実施形態における（腕時計型ウェアラブル端末２の）リモートコントロール支援プログラム４１０の機能ブロック図である。
【００５９】
図１６に示されるように、リモートコントロール支援プログラム４１０は、行動監視部４１１およびリモートコントロール支援処理部４１２を有している。また、リモートコントロール支援プログラム４１０は、行動パターンＤＢ（Database）４１１Ａおよびリモートコントロール支援ＤＢ４１２Ａを有している。
【００６０】
行動監視部４１１は、一定期間分の加速度センサ２０５の検出値群と行動パターンＤＢ４１１Ａに格納されている加速度センサ２０５の検出値群とを比較して、ユーザが所定の行動を取ったことを検出する（ユーザによる所定の動作を検出する）。行動パターンＤＢ４１１Ａには、ユーザが腕時計型ウェアラブル端末２を見るという行動を取った場合の腕時計型ウェアラブル端末２の位置的な変動量を示す加速度センサ２０５の検出値群が少なくとも格納されている。様々な行動に対応する加速度センサ２０５の検出値群を行動パターンＤＢ４１１Ａに格納しておくことで、行動監視部４１１は、ユーザの様々な行動を検出することができる。たとえば、スリープ状態から復帰させるための操作を、腕時計型ウェアラブル端末２が装着される腕を所定の手順で動かすこと（ジェスチャ）で行えるようにする等への利用が考えられ得る。なお、ここでは、ユーザの行動を検出するために加速度センサ２０５を用いる例を示すが、他のセンサを用いてもよいし、他のセンサを併用してもよい。
【００６１】
リモートコントロール支援処理部４１２は、メガネ型ウェアラブル端末１から送信されてくる家庭電化製品３の識別情報が無線通信部２０４により受信された場合、この識別情報の受信から一定期間内に腕時計型ウェアラブル端末２を見るという行動が行動監視部４１１により検出されるか否かを確認する。この行動が一定期間内に検出された場合、リモートコントロール支援処理部４１２は、識別情報で示される家庭電化製品３用のリモートコントロール画面をタッチスクリーンディスプレイ２３に表示する。
【００６２】
リモートコントロール支援ＤＢ４１２Ａには、たとえば、識別情報と家庭電化製品３との対応を示すデータ、各家庭電化製品３用のリモートコントロール画面を表示するためのデータ、各家庭電化製品３用のリモートコントロール信号（赤外線信号）を出力するためのデータなどが格納されている。なお、第１および第２実施形態では説明を省略したが、第１および第２実施形態における（腕時計型ウェアラブル端末２の）リモートコントロール支援プログラム４１０も、リモートコントロール支援処理部４１２およびリモートコントロール支援ＤＢ４１２Ａに相当するモジュールを備えている。
【００６３】
このように、本実施形態のリモートコントロールシステムにおいても、メガネ型ウェアラブル端末１と腕時計型ウェアラブル端末２とが連携することにより、操作したい家庭電化製品３を見てから腕時計型ウェアラブル端末２を見るだけで、腕時計型ウェアラブル端末２上で何らの操作を行うことなく、その家庭電化製品３用のリモートコントロール画面を腕時計型ウェアラブル端末２上に表示させることが可能となる。
【００６４】
なお、行動監視部４１１が、腕時計型ウェアラブル端末２を見るという行動の検出のみに利用される場合、メガネ型ウェアラブル端末１から送信されてくる家庭電化製品３の識別情報が無線通信部２０４により受信されたことを契機として、行動監視部４１１を動作させるようにしてもよい。加速度センサ２０５の検出値がＲＡＭ２０３に一定期間分蓄積されるようにしておくことで、タイムラグを吸収することは可能である。
【００６５】
図１７は、本実施形態におけるメガネ型ウェアラブル端末１の動作の流れの一例を示す図である。
【００６６】
メガネ型ウェアラブル端末１は、家庭電化製品３から送信されてくる赤外線信号がＩＲ受光部１３により受信されていないかを監視する（ブロックＣ１）。受信されている場合（ブロックＣ１のＹＥＳ）、メガネ型ウェアラブル端末１は、赤外線信号が受信された家庭電化製品３の識別情報を無線通信部１０４により腕時計型ウェアラブル端末２へ送信する（ブロックＣ２）。
【００６７】
一方、図１８は、本実施形態における腕時計型ウェアラブル端末２の動作の流れの一例を示す図である。
【００６８】
腕時計型ウェアラブル端末２は、メガネ型ウェアラブル端末１から送信されてくる家庭電化製品３の識別情報が無線通信部２０４により受信されていないかを監視する（ブロックＤ１）。受信されている場合（ブロックＤ１のＹＥＳ）、腕時計型ウェアラブル端末２は、今度は、この識別情報の受信から一定期間内に腕時計型ウェアラブル端末２を見るという行動が行動監視部４１１により検出されていないかを監視する（ブロックＤ２）。
【００６９】
検出されている場合（ブロックＤ２のＹＥＳ）、腕時計型ウェアラブル端末２は、受信された識別情報で示される家庭電化製品３のリモートコントロール画面をタッチスクリーンディスプレイ２３に表示する（ブロックＤ３）。
【００７０】
以上のように、本実施形態のリモートコントロールシステムにおいても、ウェアラブル端末をリモートコントローラとして利用する場合における操作の効率を向上させることが実現される。
【００７１】
（第４実施形態）
次に、第４実施形態について説明する。
【００７２】
第１乃至第３実施形態では、ユーザの視線が家庭電化製品３に向けられたことを、メガネ型ウェアラブル端末１は、家庭電化製品３から送信されてくる赤外線信号をＩＲ受光部１３により受信することで検出した。これに対して、本実施形態では、ユーザの視線方向の画像をカメラで撮像し、この画像を認識することにより検出する。なお、カメラで撮像された画像を認識することにより、ユーザの視線が腕時計型ウェアラブル端末２に向けられたことを検出することも可能であるが、ここでは、第２および第３実施形態と同様、腕時計型ウェアラブル端末２側において検出するものとする。
【００７３】
図１９は、本実施形態におけるメガネ型ウェアラブル端末１のシステム構成の一例を示す図である。
【００７４】
図１９に示されるように、本実施形態のメガネ型ウェアラブル端末１は、ＩＲ受光部１３に替えて、カメラ１０５を有している。（メガネ型ウェアラブル端末１の）リモートコントロール支援プログラム３１０は、カメラ１０５で撮像された画像に基づき、ユーザの視線が家庭電化製品３に向けられたことを検出する。
【００７５】
図２０は、本実施形態における（メガネ型ウェアラブル端末１の）リモートコントロール支援プログラム３１０の機能ブロック図である。
【００７６】
図２０に示されるように、リモートコントロール支援プログラム３１０は、画像認識部３１１およびリモートコントロール支援処理部３１２を有している。また、リモートコントロール支援プログラム３１０は、イメージＤＢ３１１Ａおよびリモートコントロール支援ＤＢ３１２Ａを有している。
【００７７】
画像認識部３１１は、カメラ１０５で撮像された画像中から物体が撮像されている部分領域を抽出し、この部分領域上の画像とイメージＤＢ３１１Ａに格納されている画像とを比較して、カメラ１０５で撮像された画像上の家庭電化製品３を検出する。即ち、ユーザの視線が家庭電化製品３へ向けられたことを検出する。イメージＤＢ３１１Ａには、たとえば、各家庭電化製品３を様々な角度から撮像した画像などが格納されている。画像間の類似度を算出する手法は、既存のいずれの手法でも構わない。
【００７８】
リモートコントロール支援処理部３１２は、カメラ１０５で撮像された画像上の家庭電化製品３が画像認識部３１１により検出された場合、その家庭電化製品３の識別情報を無線通信部１０４により腕時計型ウェアラブル端末２へ送信する。リモートコントロール支援ＤＢ３１２Ａには、たとえば、イメージＤＢ３１１Ａに格納されている画像の識別子と家庭電化製品３の識別情報との対応を示すデータなどが格納されている。なお、第１乃至第３実施形態では説明を省略したが、第１乃至第３実施形態における（メガネ型ウェアラブル端末２の）リモートコントロール支援プログラム３１０も、リモートコントロール支援処理部３１２およびリモートコントロール支援ＤＢ３１２Ａに相当するモジュールを備えている。第１乃至第３実施形態におけるリモートコントロール支援ＤＢ３１２Ａには、たとえば、ＩＲ受光部１３により受信される赤外線信号と、無線通信部１０４により送信すべき家庭電化製品３の識別情報との対応を示すデータなどが格納される。
【００７９】
図２１は、本実施形態におけるメガネ型ウェアラブル端末１の動作の流れの一例を示す図である。
【００８０】
メガネ型ウェアラブル端末１は、カメラ１０５で撮像された画像を入力し（ブロックＥ１）、この画像に対する画像認識処理を実行する（ブロックＥ２）。メガネ型ウェアラブル端末１は、この画像中から家庭電化製品３が検出されたかどうかを判定し（ブロックＥ３）、検出されている場合（ブロックＥ３のＹＥＳ）、その家庭電化製品３の識別情報を無線通信部１０４により腕時計型ウェアラブル端末２へ送信する（ブロックＥ４）。
【００８１】
このように、本実施形態のリモートコントロールシステムにおいても、メガネ型ウェアラブル端末１と腕時計型ウェアラブル端末２とが連携することにより、操作したい家庭電化製品３を見てから腕時計型ウェアラブル端末２を見るだけで、腕時計型ウェアラブル端末２上で何らの操作を行うことなく、その家庭電化製品３用のリモートコントロール画面を腕時計型ウェアラブル端末２上に表示させることが可能となる。
【００８２】
即ち、本実施形態のリモートコントロールシステムにおいても、ウェアラブル端末をリモートコントローラとして利用する場合における操作の効率を向上させることが実現される。
【００８３】
（第５実施形態）
次に、第５実施形態について説明する。
【００８４】
図２２は、本実施形態のリモートコントロールシステムの動作原理を概略的に説明するための図である。図２２に示されるように、本実施形態のリモートコントロールシステムにおいては、腕時計型ウェアラブル端末２上で操作可能な家庭電化製品３が配置されているたとえば屋内などに、１以上のカメラ４が設置されていることを想定する。
【００８５】
第３実施形態では、ユーザの視線が家庭電化製品３に向けられたことを、メガネ型ウェアラブル端末１が、ユーザの視線方向の画像をカメラで撮像し、この画像を認識することで検出した。これに対して、本実施形態では、腕時計型ウェアラブル端末２が、カメラ４で撮像される画像を無線通信部２０４により取得し、この画像に基づき、ユーザの視線が家庭電化製品３に向けられたことを検出する。本実施形態においては、メガネ型ウェアラブル端末１は不要である。
【００８６】
図２３は、本実施形態における（腕時計型ウェアラブル端末２の）リモートコントロール支援プログラム４１０の機能ブロック図である。
【００８７】
図２３に示されるように、リモートコントロール支援プログラム４１０は、行動監視部４１１、リモートコントロール支援処理部４１２、画像認識部４１３および視線検出部４１４を有している。また、リモートコントロール支援プログラム４１０は、行動パターンＤＢ４１１Ａおよびリモートコントロール支援ＤＢ４１２Ａを有している。
【００８８】
画像認識部４１３は、無線通信部２０４により受信された画像中から人物の顔部が撮像されている部分領域を抽出する。視線検出部４１４は、画像認識部４１３が抽出した部分領域上の画像を解析して、ユーザの視線が向けられている方向を検出する。たとえば、顔部の傾きや目の黒目部分の中心部からのずれなどにより、ユーザの視線が向けられている方向を検出することができる。本実施形態のリモートコントロール支援ＤＢ４１２Ａにおいては、カメラ４毎に、どの方向に家庭電化製品３が配置されているかを示す情報が格納されている。視線検出部４１４は、リモートコントロール支援ＤＢ４１２Ａを参照し、ユーザの視線が向けられている方向と一致する家庭電化製品３が存在する場合、その家庭電化製品３の識別情報を行動監視部４１１に通知する。
【００８９】
行動監視部４１１は、前述した第２実施形態と同様の動作を行う。つまり、行動監視部４１１は、一定期間分の加速度センサ２０５の検出値群と行動パターンＤＢ４１１Ａに格納されている加速度センサ２０５の検出値群とを比較して、たとえばユーザが腕時計型ウェアラブル端末２を見るという所定の行動を取ったことを検出する。行動監視部４１１は、視線検出部４１４から識別情報の通知を受けてから一定期間内に腕時計型ウェアラブル端末２を見るという行動が行動監視部４１１により検出されるか否かを確認する。
【００９０】
また、リモートコントロール支援処理部４１２も、前述した第２実施形態と同様の動作を行う。つまり、行動監視部４１１により所定の行動が一定期間内に検出された場合、リモートコントロール支援処理部４１２は、識別情報で示される家庭電化製品３用のリモートコントロール画面をタッチスクリーンディスプレイ２３に表示する。
【００９１】
図２４は、本実施形態における腕時計型ウェアラブル端末２の動作の流れの一例を示す図である。
【００９２】
腕時計型ウェアラブル端末２は、（腕時計型ウェアラブル端末２上で操作可能な家庭電化製品３が配置されているたとえば屋内などに設置されている）カメラ４で撮像された画像を入力し（ブロックＦ１）、この画像に対する画像認識処理および視線検出処理を実行する（ブロックＦ２）。
【００９３】
腕時計型ウェアラブル端末２は、ユーザの視線が向けられている方向と一致する家庭電化製品３が存在するかどうかを判定する（ブロックＦ３）。存在する場合（ブロックＦ３のＹＥＳ）、腕時計型ウェアラブル端末２は、今度は、ユーザの視線が家庭電化製品３向けられていることが検出されてから一定期間内に腕時計型ウェアラブル端末２を見るという行動が行動監視部４１１により検出されていないかを監視する（ブロックＦ４）。
【００９４】
検出されている場合（ブロックＦ４のＹＥＳ）、腕時計型ウェアラブル端末２は、その家庭電化製品３のリモートコントロール画面をタッチスクリーンディスプレイ２３に表示する（ブロックＦ５）。
【００９５】
このように、本実施形態のリモートコントロールシステムにおいても、操作したい家庭電化製品３を見てから腕時計型ウェアラブル端末２を見るだけで、腕時計型ウェアラブル端末２上で何らの操作を行うことなく、その家庭電化製品３用のリモートコントロール画面を腕時計型ウェアラブル端末２上に表示させることが可能となる。
【００９６】
即ち、本実施形態のリモートコントロールシステムにおいても、ウェアラブル端末をリモートコントローラとして利用する場合における操作の効率を向上させることが実現される。
【００９７】
（第６実施形態）
次に、第６実施形態について説明する。
【００９８】
図２５は、本実施形態のリモートコントロールシステムの動作原理を概略的に説明するための図である。図２５に示されるように、本実施形態のリモートコントロールシステムにおいては、メガネ型ウェアラブル端末１が、ユーザにより装着される前、常に、所定の位置（１Ａ）に所定の状態で置かれていることを想定する。つまり、メガネ型ウェアラブル端末１を所定の状態で支持するホルダーのようなものが所定の位置に配置されているものと想定する。
【００９９】
第１乃至第５実施形態では、ユーザの視線が家庭電化製品３に向けられたことを、家庭電化製品３から送信されてくる赤外線信号に基づき検出したり、カメラで撮像した画像に基づき検出したりしていた。これに対して、本実施形態では、メガネ型ウェアラブル端末１が、所定の位置（１Ａ）での所定の状態からの空間的な遷移を追跡することにより検出する。なお、ユーザの視線が腕時計型ウェアラブル端末２に向けられたことは、第２および第３実施形態と同様、腕時計型ウェアラブル端末２側において検出する。
【０１００】
図２６は、本実施形態におけるメガネ型ウェアラブル端末１のシステム構成の一例を示す図である。
【０１０１】
図２６に示されるように、本実施形態のメガネ型ウェアラブル端末１は、ＩＲ受光部１３やカメラ１０５に替えて、ジャイロセンサ１０６および加速度センサ１０７を有している。（メガネ型ウェアラブル端末１の）リモートコントロール支援プログラム３１０は、所定の位置（１Ａ）での所定の状態を初期状態として、ジャイロセンサ１０６の検出値および加速度センサ１０７の検出値に基づき、（ユーザの頭部に装着される）メガネ型ウェアラブル端末１の状態を追跡し、ユーザの視線が家庭電化製品３に向けられたことを検出する。なお、ここでは、メガネ型ウェアラブル端末１の状態を追跡するためにジャイロセンサ１０６と加速度センサ１０７を用いる例を示すが、他のセンサを用いてもよいし、他のセンサを併用してもよい。
【０１０２】
図２７は、本実施形態における（メガネ型ウェアラブル端末１の）リモートコントロール支援プログラム３１０の機能ブロック図である。
【０１０３】
図２７に示されるように、リモートコントロール支援プログラム３１０は、視線監視部３１３およびリモートコントロール支援処理部３１２を有している。また、リモートコントロール支援プログラム３１０は、リモートコントロール支援ＤＢ３１２Ａを有している。本実施形態におけるリモートコントロール支援ＤＢ３１２Ａには、メガネ型ウェアラブル端末１を装着したユーザが家庭電化製品３を見た場合のメガネ型ウェアラブル端末１の状態を示す情報などが格納されている。
【０１０４】
視線監視部３１３は、ジャイロセンサ１０６の検出値および加速度センサ１０７の検出値に基づき、メガネ型ウェアラブル端末１の状態を追跡する。リモートコントロール支援ＤＢ３１２Ａに格納されている状態と一致する状態が存在する場合、視線監視部３１３は、その状態の識別子をリモートコントロール支援処理部３１２に通知する。この通知を受けたリモートコントロール支援処理部３１２は、その識別子に対応づけられる家庭電化製品３の識別情報をリモートコントロール支援ＤＢ３１２Ａから取得し、無線通信部１０４により腕時計型ウェアラブル端末２に送信する。
【０１０５】
図２８は、本実施形態におけるメガネ型ウェアラブル端末１の動作の流れの一例を示す図である。
【０１０６】
メガネ型ウェアラブル端末１は、ジャイロセンサ１０６の検出値および加速度センサ１０７の検出値を入力し（ブロックＧ１）、メガネ型ウェアラブル端末１の状態、具体的には、メガネ型ウェアラブル端末１を装着するユーザの視線が向けられている方向を検出する（ブロックＧ２）。メガネ型ウェアラブル端末１は、ユーザの視線が向けられている方向と一致する家庭電化製品３が存在するかどうかを判定し（ブロックＧ３）、存在する場合（ブロックＧ３のＹＥＳ）、その家庭電化製品３の識別情報を無線通信部１０４により腕時計型ウェアラブル端末２へ送信する（ブロックＧ４）。
【０１０７】
このように、本実施形態のリモートコントロールシステムにおいても、操作したい家庭電化製品３を見てから腕時計型ウェアラブル端末２を見るだけで、腕時計型ウェアラブル端末２上で何らの操作を行うことなく、その家庭電化製品３用のリモートコントロール画面を腕時計型ウェアラブル端末２上に表示させることが可能となる。
【０１０８】
即ち、本実施形態のリモートコントロールシステムにおいても、ウェアラブル端末をリモートコントローラとして利用する場合における操作の効率を向上させることが実現される。
【０１０９】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【０１１０】
１…メガネ型ウェアラブル端末、２…腕時計型ウェアラブル端末、３…家庭電化製品、３Ａ…ＩＲ発光部、４…カメラ、１３…ＩＲ受光部、１５…ＩＲ発光部、２３…タッチスクリーンディスプレイ、２４…ＩＲ発光部、２６…ＩＲ受光部、１０１…プロセッサ、１０４…無線通信部、１０５…カメラ、１０６…ジャイロセンサ、１０７…加速度センサ、２０１…プロセッサ、２０４…無線通信部、２０５…加速度センサ、３１０…リモートコントロール支援プログラム、３１１…画像認識部、３１１Ａ…イメージＤＢ、３１２…リモートコントロール支援処理部、３１２Ａ…リモートコントロール支援ＤＢ、３１３…視線監視部、４１０…リモートコントロール支援プログラム、４１１…行動監視部、４１１Ａ…行動パターンＤＢ、４１２…リモートコントロール支援処理部、４１２Ａ…リモートコントロール支援ＤＢ、４１３…画像認識部、４１４…視線検出部。
【図１】
0006758856.tif 000002
【図２】
0006758856.tif 000003
【図３】
0006758856.tif 000004
【図４】
0006758856.tif 000005
【図５】
0006758856.tif 000006
【図６】
0006758856.tif 000007
【図７】
0006758856.tif 000008
【図８】
0006758856.tif 000009
【図９】
0006758856.tif 000010
【図１０】
0006758856.tif 000011
【図１１】
0006758856.tif 000012
【図１２】
0006758856.tif 000013
【図１３】
0006758856.tif 000014
【図１４】
0006758856.tif 000015
【図１５】
0006758856.tif 000016
【図１６】
0006758856.tif 000017
【図１７】
0006758856.tif 000018
【図１８】
0006758856.tif 000019
【図１９】
0006758856.tif 000020
【図２０】
0006758856.tif 000021
【図２１】
0006758856.tif 000022
【図２２】
0006758856.tif 000023
【図２３】
0006758856.tif 000024
【図２４】
0006758856.tif 000025
【図２５】
0006758856.tif 000026
【図２６】
0006758856.tif 000027
【図２７】
0006758856.tif 000028
【図２８】
0006758856.tif 000029