(57)【要約】  端末装置は、イメージセンサにより撮像された画像から特定画像を検出し（ステップＳ１０１）、特定画像に基づく画像検出情報を制御装置に送信する（ステップＳ１０２）。制御装置は、端末装置から送信された画像検出情報を受信すると、画像検出情報に基づいて、複数の機器から制御候補機器を選択すると共に制御候補機器に関する操作情報を生成し（ステップＳ１０３）、端末装置に送信する（ステップＳ１０４）。端末装置は、制御装置から送信された操作情報を受信すると、操作情報の内容をユーザに報知する（ステップＳ１０５）。制御装置は、ユーザにより制御候補機器に対する制御が許可されたか否かを判別し（ステップＳ１０６）、許可された場合には、制御コマンドを制御候補機器に送信する（ステップＳ１０７）。
2018011890.tif 000002
【特許請求の範囲】
【請求項１】
複数の機器を制御する制御装置と、端末装置を備える制御システムであって、
前記端末装置は、
イメージセンサと、
前記イメージセンサにより撮像された画像から予め定めた条件に合致する特定画像を検出する特定画像検出手段と、
前記特定画像に基づく画像検出情報を前記制御装置に送信する検出情報送信手段と、
前記制御装置から送信された操作情報を受信すると、前記操作情報の内容をユーザに報知する報知手段と、を備え、
前記制御装置は、
前記端末装置から送信された前記画像検出情報を受信すると、前記画像検出情報に基づいて、前記複数の機器から制御候補機器を選択すると共に前記制御候補機器に関する操作情報を生成し、前記端末装置に送信する操作情報送信手段と、
ユーザにより前記制御候補機器に対する制御が許可されたか否かを判別し、許可された場合には、前記制御候補機器を前記操作情報に基づいて制御する機器制御手段と、を備える、制御システム。
【請求項２】
前記機器制御手段は、前記操作情報送信手段により前記操作情報が送信された後、前記端末装置から、前記制御候補機器に対応する前記画像検出情報を予め定めた期間の間、継続して受信した場合、ユーザにより前記制御候補機器に対する制御が許可されたと判別する、請求項１に記載の制御システム。
【請求項３】
前記報知手段により前記操作情報の内容が報知された後、前記検出情報送信手段は、前記画像検出情報に前記特定画像の位置に関する位置情報を格納し、
前記機器制御手段は、前記位置情報に基づいて、ユーザにより前記制御候補機器に対する制御が許可されたか否かを判別する、請求項１に記載の制御システム。
【請求項４】
前記端末装置は、ユーザの視線を検出する視線検出手段をさらに備え、
前記報知手段により前記操作情報の内容が報知された後、前記検出情報送信手段は、前記画像検出情報に前記視線検出手段により検出された結果を示す視線情報を格納し、
前記機器制御手段は、前記視線情報に基づいて、ユーザにより前記制御候補機器に対する制御が許可されたか否かを判別する、請求項１に記載の制御システム。
【請求項５】
前記操作情報送信手段は、前記制御候補機器に対する制御の可否を判別し、制御が不可であると判別した場合、前記端末装置に送信する前記操作情報に前記制御候補機器に対する制御が不可であることを示す情報を格納する、請求項１から４の何れか１項に記載の制御システム。
【請求項６】
前記報知手段は、前記制御候補機器に対する制御の許可又は不許可の指示済みであることをユーザに報知する、請求項１から５の何れか１項に記載の制御システム。
【請求項７】
前記端末装置は、前記報知手段により前記操作情報の内容が報知された後、ユーザにより前記制御候補機器に対する制御が許可されたか否かを判別し、判別した結果を示す許可判別情報を前記制御装置に送信する許可判別手段をさらに備え、
前記機器制御手段は、前記許可判別情報に基づいて、ユーザにより前記制御候補機器に対する制御が許可されたか否かを判別する、請求項１に記載の制御システム。
【請求項８】
複数の機器を制御する制御装置と、端末装置を備える制御システムで実行される方法であって、
端末装置が、イメージセンサにより撮像された画像から予め定めた条件に合致する特定画像を検出し、前記特定画像に基づく画像検出情報を前記制御装置に送信し、
制御装置が、前記端末装置から送信された前記画像検出情報を受信すると、前記画像検出情報に基づいて、前記複数の機器から制御候補機器を選択すると共に前記制御候補機器に関する操作情報を生成し、前記端末装置に送信し、
前記端末装置が、前記制御装置から送信された前記操作情報を受信すると、前記操作情報の内容をユーザに報知し、
前記制御装置が、ユーザにより前記制御候補機器に対する制御が許可されたか否かを判別し、許可された場合には、前記制御候補機器を前記操作情報に基づいて制御する、機器制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、制御システム及び機器制御方法に関する。
【背景技術】
【０００２】
バーコードが示す情報を用いてネットワークに接続された機器を操作する技術が知られている（例えば、特許文献１）。【０００３】
特許文献１に開示されるデジタル家電遠隔操作システムでは、携帯電話に接続されたバーコードリーダによってバーコードを読み取って、読み取ったバーコードに記述された情報コードに従ってデジタル家電が操作される。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−１１０１４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、近年、ウェアラブルコンピュータ（ウェアラブルデバイス、ウェアラブル端末とも呼ばれる。）が普及しつつある。このようなウェアラブルコンピュータは、主として娯楽や健康管理で利用されているが、さらに、ウェアラブルコンピュータが備えるセンサによって計測される情報を用いて機器の操作を行う研究も進められている。【０００６】
しかしながら、ウェアラブルコンピュータが備えるセンサは、常時起動、即ち、常時の計測が想定されるため、上記のように機器の操作に利用される場合、ユーザの意図しない操作が自動的に行われてしまうという懸念がある。【０００７】
本発明は、上記課題を解決するためになされたものであり、ユーザの意図しない操作の実行を回避可能な制御システム等を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、本発明に係る制御システムは、
複数の機器を制御する制御装置と、端末装置を備える制御システムであって、
前記端末装置は、
イメージセンサと、
前記イメージセンサにより撮像された画像から予め定めた条件に合致する特定画像を検出する特定画像検出手段と、
前記特定画像に基づく画像検出情報を前記制御装置に送信する検出情報送信手段と、
前記制御装置から送信された操作情報を受信すると、前記操作情報の内容をユーザに報知する報知手段と、を備え、
前記制御装置は、
前記端末装置から送信された前記画像検出情報を受信すると、前記画像検出情報に基づいて、前記複数の機器から制御候補機器を選択すると共に前記制御候補機器に関する操作情報を生成し、前記端末装置に送信する操作情報送信手段と、
ユーザにより前記制御候補機器に対する制御が許可されたか否かを判別し、許可された場合には、前記制御候補機器を前記操作情報に基づいて制御する機器制御手段と、を備える。
【発明の効果】
【０００９】
本発明では、端末装置は、検出した特定画像に基づく画像検出情報を制御装置に送信する。制御装置は、画像検出情報に基づいて、制御候補機器を選択すると共に制御候補機器に関する操作情報を生成し、端末装置に送信する。端末装置は、操作情報の内容をユーザに報知し、制御装置は、ユーザにより制御が許可された場合に、制御候補機器を制御する。したがって、機器に対するユーザの意図しない操作の実行が回避可能となる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施形態１に係る制御システムの構成を示す図である。
【図２】制御装置のハードウェア構成を示すブロック図である。
【図３】制御装置が備える二次記憶装置に記憶されるテーブル等を説明するための図である。
【図４】実施形態１に係る端末装置のハードウェア構成を示すブロック図である。
【図５】実施形態１に係る端末装置の機能構成を示す図である。
【図６】制御装置の機能構成を示す図である。
【図７】実施形態１の機器制御処理の手順を示すフローチャートである。
【図８】ユーザの視野に特定画像が入っている様子を示す図である。
【図９】実施形態１における操作情報映像の投影例を示す図である。
【図１０】実施形態１の変形例１について説明するための図である。
【図１１】実施形態１の変形例２について説明するための図（その１）である。
【図１２】実施形態１の変形例２について説明するための図（その２）である。
【図１３】実施形態１の変形例３について説明するための図（その１）である。
【図１４】実施形態１の変形例３について説明するための図（その２）である。
【図１５】実施形態１の変形例４について説明するための図である。
【図１６】本発明の実施形態２に係る端末装置のハードウェア構成を示すブロック図である。
【図１７】実施形態２における制御許可の指示について説明するための図である。
【図１８】実施形態２の変形例１について説明するための図である。
【図１９】実施形態２の変形例２について説明するための図である。
【図２０】他の実施形態について説明するための図である。
【発明を実施するための形態】
【００１１】
以下、本発明の実施形態について図面を参照して詳細に説明する。
【００１２】
（実施形態１）
図１は、本発明の実施形態１に係る制御システム１の構成を示す図である。制御システム１は、一般家庭で使用される電力の管理を行う、いわゆる、ＨＥＭＳ（Home Energy Management System）と呼ばれるシステムである。
【００１３】
図１に示すように、制御システム１は、制御装置２と、端末装置３と、複数の機器４（機器４−１，４−２，…）と、を備える。制御装置２は、家屋Ｈ内の適切な場所に設置され、この家庭（需要地）において消費される電力の監視を行い、電力の消費状況を表示する。また、制御装置２は、各機器４の制御や動作状態の監視などを行う。
【００１４】
機器４（機器４−１，４−２，…）は、例えば、エアコン、照明器、テレビ、給湯機、ＩＨ（Induction Heating）調理器等の電気機器である。各機器４は、家屋Ｈ（敷地も含む）内に設置され、商用電源、発電設備や蓄電設備等（何れも図示せず）からの電力を供給する電力線に接続される。また、各機器４は、図示しない無線ネットワークを介して、制御装置２と通信可能に接続する。この無線ネットワークは、例えば、エコーネットライト（ECHONET Lite）に準じたネットワークである。なお、機器４の仕様によっては、外付けの通信アダプタ（図示せず）を介して、この無線ネットワークに接続されるようにしてもよい。
【００１５】
各機器４は、制御装置２からの要求に応答して、現在の運転状態を示す情報を格納したデータ（運転状態データ）を制御装置２に送信する。
【００１６】
制御装置２は、図２に示すように、ＣＰＵ（Central Processing Unit）２０と、通信インタフェース２１と、ＲＯＭ（Read Only Memory）２２と、ＲＡＭ（Random Access Memory）２３と、二次記憶装置２４と、を備える。これらの構成部は、バス２５を介して相互に接続される。ＣＰＵ２０は、この制御装置２を統括的に制御する。ＣＰＵ２０によって実現される機能の詳細については後述する。
【００１７】
通信インタフェース２１は、上述した無線ネットワークを介して各機器４と無線通信するためのネットワークカードと、端末装置３と無線通信するためのＩＣチップを含んで構成される。
【００１８】
ＲＯＭ２２は、複数のファームウェアやこれらのファームウェアの実行時に使用されるデータ等を記憶する。ＲＡＭ２３は、ＣＰＵ２０の作業領域として使用される。
【００１９】
二次記憶装置２４は、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）、フラッシュメモリ等の読み書き可能な不揮発性の半導体メモリやＨＤＤ（Hard Disk Drive）等から構成される。二次記憶装置２４は、図３に示すように、遠隔操作プログラム２４０と、機器情報２４１とを記憶する。なお、この他にも、二次記憶装置２４は、機器４の動作状態を監視するためのプログラムや、この家庭で消費される電力を監視するためのプログラム等を含む各種のプログラムと、これらのプログラムの実行時に使用されるデータを記憶する。
【００２０】
遠隔操作プログラム２４０は、ＣＰＵ２０によって実行されるコンピュータ・プログラムである。遠隔操作プログラム２４０には、端末装置３を介した機器４の操作のための処理について記述されている。
【００２１】
機器情報２４１は、機器４に関する情報であり、接続情報テーブル２４１０と、場所情報テーブル２４１１と、動作情報テーブル２４１２と、操作コードテーブル２４１３と、を有する。接続情報テーブル２４１０は、機器４の接続情報を格納するデータテーブルである。接続情報とは、機器４と通信するための情報であり、例えば、機器４のアドレスである。
【００２２】
場所情報テーブル２４１１は、機器４の場所情報を格納するデータテーブルである。場所情報とは、機器４が設置されている場所を示す情報であり、より詳細には、家屋Ｈにおける部屋を識別する情報である。部屋を識別する情報とは、例えば、各部屋に予め割り当てたＩＤ（identification）や各部屋の名称（“リビング”、“キッチン”等）である。
【００２３】
動作情報テーブル２４１２は、機器４の現在の動作状態を格納するデータテーブルである。動作状態には、例えば、電源状態（電源のオン／オフ）、運転有無（運転中／停止中）、異常有無（異常／正常）、運転モード、設定情報等が含まれる。運転モードとは、運転方式を示し、例えば、エアコンの場合では、冷房、暖房、送風、除湿等が該当し、照明器の場合では、通常照明、節電照明等が運転モードに該当する。設定情報には、エアコンの場合では、設定温度（目標温度ともいう。）や風量等が該当し、照明器の場合では、明るさの段階等が該当する。ＣＰＵ２０は、各機器４から取得する運転状態データに基づいて、動作情報テーブル２４１２を更新する。
【００２４】
操作コードテーブル２４１３は、操作コードと、機器４を識別する情報（例えば、機器のＩＤやアドレス）及び機器４の操作内容とを対応付けたデータテーブルである。操作コードは、例えば、アルファベットと数字とを組み合わせた半角４桁の文字列であり、例えば、“L001”がリビングに設置されている照明器の電源のオン／オフ操作を示し、“L002”がリビングに設置されているエアコンの電源のオン／オフ操作を示し、“K013”がキッチンに設置されている冷蔵庫の節電機能のオン／オフ操作を示す。
【００２５】
図１に戻り、端末装置３は、いわゆるウェアラブルコンピュータ（ウェアラブルデバイス、ウェアラブル端末とも呼ばれる。）であり、本実施形態では、ユーザの頭部に装着される眼鏡型のヘッドマウントディスプレイ（スマートグラスともいう。）である。
【００２６】
端末装置３は、図４に示すように、ＣＰＵ３０、通信インタフェース３１、イメージセンサ３２、映像投影部３３、ＲＯＭ３４、ＲＡＭ３５、二次記憶装置３６と、を備える。これらの構成部は、バス３７を介して相互に接続される。
【００２７】
ＣＰＵ３０は、端末装置３を統括的に制御する。ＣＰＵ３０によって実現される機能の詳細については後述する。通信インタフェース３１は、制御装置２と無線通信するためのＩＣチップを含んで構成される。
【００２８】
イメージセンサ３２は、ＣＣＤ（Charge-Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等のイメージセンサであり、端末装置３を装着したユーザの視野に入っている被写体を撮像可能なように端末装置３のフレームの外側に設けられている。即ち、イメージセンサ３２の撮像範囲（視野）は、端末装置３を装着したユーザの視野と同等である。
【００２９】
映像投影部３３は、ＣＰＵ３０の制御の下、端末装置３における右眼用、左眼用のレンズの少なくとも何れか一方に映像を投影する。なお、端末装置３におけるこれらのレンズは、誘電体多層膜によるハーフミラーを採用し、前方からの光は透過し、映像投影部３３による映像は反射させる構造となっている。これにより、ユーザは、端末装置３を装着したままで外界の様子を見ることができつつ、投影された映像も併せて見ることが可能である。つまり、端末装置３を装着したユーザは、いわゆる拡張現実（Augmented Reality:AR）を体感することができる。
【００３０】
ＲＯＭ３４は、複数のファームウェアやこれらのファームウェアの実行時に使用されるデータ等を記憶する。ＲＡＭ３５は、ＣＰＵ３０の作業領域として使用される。
【００３１】
二次記憶装置３６は、ＥＥＰＲＯＭやフラッシュメモリ等の読み書き可能な不揮発性の半導体メモリで構成される。二次記憶装置３６は、制御装置２を介して機器４を遠隔操作するための処理について記述された遠隔操作プログラムを含む各種のプログラムと、これらのプログラムの実行時に使用されるデータを記憶する。
【００３２】
端末装置３は、機能的には、図５に示すように、特定画像検出部３００と、検出情報送信部３０１と、報知部３０２と、を備える。これらの機能部は、ＣＰＵ３０が二次記憶装置３６に記憶されている遠隔操作プログラムを実行することで実現される。
【００３３】
特定画像検出部３００は、一定時間間隔（例えば、０．５秒間隔）で、イメージセンサ３２により撮像された画像から予め定めた条件に合致する特定画像を検出する。特定画像とは、本実施形態では、二次元コードであり、より詳細には、マトリックス式の二次元コードである。なお、特定画像は、スタック式の二次元コードであってもよいし、一次元コードでもよい。あるいは、特定画像は、周知の規格に基づくものに限定されず、制御システム１で使用するために定義したものであってもよい。
【００３４】
検出情報送信部３０１は、特定画像検出部３００により特定画像が検出される度に、当該検出された特定画像をデコードし、デコードした結果（本実施形態では、上述した操作コード）を格納した情報（画像検出情報）を制御装置２に送信する。
【００３５】
報知部３０２は、制御装置２から送信された後述する操作情報を受信すると、操作情報の内容をユーザに報知する。より詳細には、報知部３０２は、操作情報の内容を示す映像を端末装置３のレンズの予め定めた位置に投影する。
【００３６】
続いて、制御装置２の機能構成について説明する。制御装置２は、機能的には、図６に示すように、操作情報送信部２００と、機器制御部２０１と、を備える。これらの機能部は、ＣＰＵ２０が二次記憶装置２４に記憶されている遠隔操作プログラム２４０を実行することで実現される。
【００３７】
操作情報送信部２００は、候補決定部２０００と、操作情報生成部２００１と、を有する。候補決定部２０００は、端末装置３からの上述した画像検出情報を受信すると、受信した画像検出情報から操作コードを抽出する。そして、候補決定部２０００は、抽出した操作コードを用いて操作コードテーブル２４１３を参照することで、制御対象の候補となる機器４（制御候補機器）と当該機器４の操作内容を決定する。
【００３８】
例えば、操作コードが“L001”の場合、候補決定部２０００は、リビングに設置されている照明器（以下、リビングの照明器と称する。）を制御候補機器として決定し、電源のオン／オフをリビングの照明器の操作内容として決定する。
【００３９】
操作情報生成部２００１は、動作情報テーブル２４１２を参照して、決定した制御候補機器における決定した操作内容に対応する現在の動作状態を取得する。そして、操作情報生成部２００１は、決定した制御候補機器及びその操作内容と、取得した当該制御候補機器の現在の動作状態に基づいて、端末装置３に通知するための操作情報を生成する。
【００４０】
例えば、リビングの照明器が制御候補機器であり、操作内容が電源のオン／オフであり、リビングの照明器の電源が現在オフである場合、操作情報には、リビングの照明器をオフからオンにする制御であることを示す情報が格納される。操作情報生成部２００１は、このようにして生成した操作情報を端末装置３に送信する。
【００４１】
機器制御部２０１は、許可判別部２０１０と、制御コマンド送信部２０１１と、を有する。許可判別部２０１０は、操作情報の送信後に、端末装置３から送られてくる画像検出情報に基づいて、ユーザにより、当該制御候補機器に対する制御が許可されたか否かを判別する。
【００４２】
より詳細には、許可判別部２０１０は、先に端末装置３に送信した操作情報に対応する画像検出情報と同内容（即ち、操作コードが同一）の画像検出情報を、予め定めた期間（第１期間）の間、端末装置３から継続して受信したか否かを判別する。そして、継続して受信した場合、許可条件が成立したとして、当該制御候補機器に対する制御が許可されたと判別する。第１期間は、例えば１０秒である。
【００４３】
また、許可判別部２０１０は、先に端末装置３に送信した操作情報に対応する画像検出情報と同内容の画像検出情報を、予め定めた期間（第２期間）の間、１回も受信できなかった場合、不許可条件が成立したとして、当該制御候補機器に対する制御が許可されなかったと判別する。第２期間は、例えば１０秒である。
【００４４】
許可判別部２０１０は、上記のような許可されたか否かの判別を、操作情報生成部２００１により操作情報が端末装置３に送信されてから、即ち、端末装置３において操作情報の内容がユーザに報知されてから、予め定めた期間（許可待ち期間）の間に行う。許可待ち期間は、例えば３０秒である。なお、許可待ち期間の間に、許可条件、不許可条件の何れも成立しなかった場合、許可判別部２０１０は、当該制御候補機器に対する制御が許可されなかったと判別する。
【００４５】
制御コマンド送信部２０１１は、上記の許可条件が成立した場合、当該制御候補機器を制御するための制御コマンドを生成し、当該制御候補機器に送信する。より詳細には、制御コマンド送信部２０１１は、上記の操作情報で示される内容で当該制御候補機器を制御するための制御コマンドを生成する。
【００４６】
図７は、制御システム１で実行される、遠隔操作における機器制御処理の手順を示すフローチャートである。端末装置３を装着したユーザの視野（レンズ越しのユーザ視野）に、紙等の物体に印字された特定画像（即ち、二次元コード）が入ると（図８参照）、端末装置３の特定画像検出部３００は、かかる特定画像を検出する（ステップＳ１０１）。
【００４７】
端末装置３の検出情報送信部３０１は、特定画像検出部３００により検出された特定画像をデコードし、デコードした結果（即ち、操作コード）を格納した画像検出情報を制御装置２に送信する（ステップＳ１０２）。
【００４８】
制御装置２の操作情報送信部２００（候補決定部２０００、操作情報生成部２００１）は、端末装置３からの画像検出情報を受信すると、受信した画像検出情報に格納されている操作コードに基づいて、制御候補機器を決定し、操作情報を生成する（ステップＳ１０３）。そして、操作情報送信部２００は、生成した操作情報を端末装置３に送信する（ステップＳ１０４）。
【００４９】
端末装置３の報知部３０２は、制御装置２からの操作情報を受信すると、操作情報の内容をユーザに報知する（ステップＳ１０５）。より詳細には、報知部３０２は、操作情報の内容を示す映像（操作情報映像）を端末装置３のレンズに投影する。図９に、操作情報映像が投影された例を示す。
【００５０】
ユーザは、制御候補機器に対する制御を許可する場合（ここでは、リビングの照明器をオフからオンにする制御を許可する場合）、上述した許可待ち期間内（例えば、３０秒以内）に、少なくとも第１期間（例えば１０秒）の間、当該二次元コードがユーザの視野（視界）に入っているように注意する。具体的には、ユーザは、当該二次元コードがユーザの視野から外れてしまうほどに、頭部を動かしたり、あるいは、二次元コードが印字された物体を動かさないようにする。
【００５１】
一方、制御候補機器に対する制御を許可しない場合には、ユーザは、第２期間（例えば１０秒）の間、当該二次元コードがユーザの視野から外れるように、頭部を動かしたり、あるいは、当該二次元コードが印字された物体を動かせばよい。
【００５２】
制御装置２の許可判別部２０１０は、操作情報を端末装置３に送信してから（即ち、端末装置３にて操作情報の内容が報知されてから）、端末装置３から送られくる画像検出情報を監視して、当該制御候補機器に対する制御が許可されたか否かを判別する（ステップＳ１０６）。
【００５３】
制御が許可されたと判別されると（ステップＳ１０６；ＹＥＳ）、制御コマンド送信部２０１１は、操作情報生成部２００１が生成した操作情報の内容で当該制御候補機器を制御するための制御コマンドを生成し、当該制御候補機器に送信する（ステップＳ１０７）。
【００５４】
以上説明したように、本発明の実施形態１に係る制御システム１では、特定画像、即ち二次元コードを用いて機器４を制御することが可能であるため、ユーザの操作性が向上し、利便性に優れる。また、端末装置３により特定画像が検出されても、制御装置２は、直ちに対応する機器４の制御を実行せず、当該特定画像に対応する操作情報を生成し、端末装置３に送信する。そして、端末装置３は、制御装置２からの操作情報の内容をユーザに報知する。制御装置２は、制御の実行をユーザが許可した場合に限り、当該機器４（制御候補機器）の制御を実行する。したがって、機器４に対して、ユーザの意図しない操作が実行されてしまう事態を回避でき、機器４に対する誤操作の防止効果が得られる。
【００５５】
さらに、制御の実行の許可、不許可を、特別な操作を行うことなく、簡易な動作によって制御装置２に指示することができるため、このような端末装置３を用いた機器４の遠隔操作サービスを幅広いユーザに提供することが可能となる。
【００５６】
なお、実施形態１は、以下のように変形してもよい。
【００５７】
（変形例１）
端末装置３の報知部３０２は、操作情報の内容に加え、図１０に示すように、許可及び不許可の指示方法をユーザに報知してもよい。
【００５８】
（変形例２）
実施形態１では、操作情報映像が投影されると、ユーザは、第１期間（例えば１０秒）の間、特定画像（二次元コード）がユーザの視野に入っているようにすることで制御の許可を指示した。しかしながら、この指示方法に限定されることはない。
【００５９】
例えば、ユーザは、視野内における現在の特定画像の位置を、視野内における予め定めた領域に移動させることで、制御の許可を指示できるようにしてもよい。この場合、端末装置３の報知部３０２は、制御装置２からの操作情報を受信すると、操作情報映像を端末装置３のレンズに投影すると共に、図１１に示すような移動先枠１１０１をレンズに投影する。
【００６０】
ユーザは、制御の実行を許可する場合、頭部を動かしたり、あるいは、当該特定画像が印字された物体の位置を動かす等して、ユーザの視野内（即ち、イメージセンサ３２の撮像範囲内）における特定画像の位置を、上記の移動先枠１１０１で囲まれた領域まで移動させる（図１２参照）。
【００６１】
この変形例では、端末装置３の検出情報送信部３０１は、操作情報映像が投影されてから予め定めた期間（許可待ち期間と同一期間）の間は、制御装置２に送信する画像検出情報に、特定画像検出部３００により検出された特定画像をデコードした結果に加え、当該特定画像の位置情報を格納する。特定画像の位置情報とは、イメージセンサ３２によって撮像された画像（撮像画像）における特定画像の位置を示す情報である。
【００６２】
また、この変形例における制御装置２の許可判別部２０１０は、受信した画像検出情報に含まれる特定画像の位置情報に基づいて、ユーザにより制御が許可されたか否かを判別する。即ち、特定画像が、撮像画像における、上記の移動先枠１１０１の投影位置に相当する領域内に位置する場合、許可判別部２０１０は、許可条件が成立したとして、当該制御候補機器に対する制御が許可されたと判別する。なお、撮像画像の領域と、移動先枠１１０１の投影位置との対応関係を示すデータは、予め制御装置２の二次記憶装置２４に保存されているものとする。
【００６３】
（変形例３）
実施形態１では、１つの特定画像がユーザの視野（イメージセンサ３２の撮像範囲）に入った場合、即ち、制御候補機器が１つの場合の制御について説明した。しかし、図１３に示すように、複数の特定画像がユーザの視野に入るケースもあり得る。このような場合、この変形例における端末装置３の報知部３０２は、制御装置２から送信された操作情報を受信すると、対応する特定画像に近接させて当該操作情報映像を投影する（図１４参照）。
【００６４】
このようにすると、複数の特定画像が検出された場合であっても、ユーザは、各特定画像と操作情報の内容との対応関係を把握できる。
【００６５】
この変形例では、前述した変形例２の場合と同様、ユーザは、ユーザの視野内における何れかの特定画像の位置を、レンズに投影された移動先枠１１０１で囲まれた領域まで移動させることで、当該特定画像に対応する制御候補機器に対する制御の許可を制御装置２に指示することができる。この変形例において、許可待ち期間は、固定ではなく、制御候補機器の数に応じて変更してもよい。例えば、制御候補機器が１つの場合、許可待ち期間は３０秒であり、制御候補機器が３つの場合、許可待ち期間は６０秒にしてもよい。
【００６６】
（変形例４）
制御装置２において、候補決定部２０００により制御候補機器とその操作内容が決定された後、操作情報生成部２００１が操作情報を端末装置３に送信する前に、当該制御候補機器に対する制御の可否を判断するようにしてもよい。具体的には、制御装置２の操作情報送信部２００は、制御候補機器に対する制御の可否を判別する図示しない制御可否判別部をさらに備える。
【００６７】
例えば、制御可否判別部は、動作情報テーブル２４１２を参照して、当該制御候補機器に異常が検出されているか否かを判別する。異常が検出されている場合、制御可否判別部は、当該制御候補機器に対する制御は不可であると判別する。また、例えば、当該制御候補機器に対して行われた直近の操作から予め定められた操作禁止期間が経過していない場合、制御可否判別部は、当該制御候補機器に対する制御は不可であると判別する。操作禁止期間は、全ての機器４で共通であってもよいし、機器４の種別毎、あるいは個別に設定されてもよい。
【００６８】
また、例えば、当該制御候補機器が、予めスケジュールされた運転の最中または、予めスケジュールされた運転の開始直前（例えば、開始時刻の１０分前以内など）の場合、制御可否判別部は、当該制御候補機器に対する制御は不可であると判別する。
【００６９】
操作情報生成部２００１は、制御可否判別部により制御が不可であると判別されると、制御候補機器の現在の動作状態及び制御が不可であることを示す操作情報を生成し、端末装置３に送信する。この場合に端末装置３で報知される操作情報の内容の例を図１５に示す。
【００７０】
許可判別部２０１０は、制御可否判別部により制御が不可であると判別された制御候補機器に対応する画像検出情報を端末装置３から受信した場合であっても、制御の許可／不許可の判別に係る処理を行うことなく、当該画像検出情報を破棄する。
【００７１】
このように、制御候補機器の制御の可否を判別することで、安全性、省エネ性、快適性等の観点から端末装置３を介して操作されることが好ましくない機器４を操作対象から外すことが可能となる。
【００７２】
（実施形態２）
続いて、本発明の実施形態２について説明する。なお、以下の説明において、実施形態１と共通する構成要素等については、同一の符号を付し、その説明を省略する。
【００７３】
図１６は、実施形態２の端末装置３Ａのハードウェア構成を示すブロック図である。端末装置３Ａには、実施形態１の端末装置３の構成に加え、視線検出部３８が追加されている。視線検出部３８は、眼電位センサを備え、端末装置３Ａを装着したユーザの視線を検出する。なお、視線検出部３８は、ユーザの眼部を撮像するイメージセンサを有し、撮像した眼部の画像を解析することでユーザの視線を検出してもよい。
【００７４】
端末装置３Ａの報知部３０２は制御装置２からの操作情報を受信すると、操作情報映像を端末装置３Ａのレンズに投影すると共に、図１７に示すようなマーク１７０１をレンズに投影する。ユーザは、制御の実行を許可する場合、予め定めた期間（第３期間）の間、マーク１７０１を見つめる。第３期間は、前述した第１，第２期間より短い時間であり、例えば３秒である。
【００７５】
端末装置３Ａの検出情報送信部３０１は、操作情報映像が投影されてから予め定めた期間（許可待ち期間と同一期間）の間は、制御装置２に送信する画像検出情報に、特定画像検出部３００により検出された特定画像をデコードした結果に加え、視線情報を格納する。視線情報とは、視線検出部３８の検出値を示す情報である。
【００７６】
本実施形態の制御装置２の許可判別部２０１０は、受信した画像検出情報に含まれる視線情報を監視することで、ユーザにより制御が許可されたか否かを判別する。より詳細には、許可判別部２０１０は、視線情報から、ユーザがマーク１７０１を見ているか否かを判別し、ユーザがマーク１７０１を見ている状態が予め定めた期間（第３期間と同一期間）の間、継続した場合に、許可条件が成立したとして、当該制御候補機器に対する制御が許可されたと判別する。なお、視線検出部３８の検出値と、マーク１７０１の投影位置との対応関係を示すデータは、予め制御装置２の二次記憶装置２４に保存されているものとする。
【００７７】
一方、許可待ち期間の間に、上記の許可条件が成立しなかった場合、許可判別部２０１０は、当該制御候補機器に対する制御が許可されなかったと判別する。
【００７８】
制御コマンド送信部２０１１は、上記の許可条件が成立した場合、操作情報生成部２００１が生成した操作情報の内容で当該制御候補機器を制御するための制御コマンドを生成し、当該制御候補機器に送信する。
【００７９】
以上説明したように、本発明の実施形態２に係る制御システム１では、特定画像、即ち二次元コードを用いて機器４を制御することが可能であるため、ユーザの操作性が向上し、利便性に優れる。また、端末装置３Ａにより特定画像が検出されても、制御装置２は、直ちに対応する機器４の制御を実行せず、当該特定画像に対応する操作情報を生成し、端末装置３に送信する。そして、端末装置３Ａは、制御装置２からの操作情報の内容をユーザに報知する。制御装置２は、制御の実行をユーザが許可した場合に限り、当該機器４（制御候補機器）の制御を実行する。機器４に対して、ユーザの意図しない操作が実行されてしまう事態を回避でき、機器４に対する誤操作の防止効果が得られる。
【００８０】
さらに、ユーザは、制御の実行の許可、不許可を視線を変えるだけで制御装置２に指示することができる。したがって、このような端末装置３を用いた機器４の遠隔操作サービスをより幅広いユーザに提供することが可能となる。
【００８１】
なお、実施形態２は、以下のように変形してもよい。
【００８２】
（変形例１）
実施形態２では、ユーザは、制御内容が報知されると、第３期間の間、端末装置３のレンズに投影されたマーク１７０１を見つめることで制御の許可を指示した。しかしながら、この指示方法に限定されることはない。
【００８３】
例えば、端末装置３Ａの報知部３０２は、マーク１７０１ではなく、図１８に示すように、許可する場合と許可しない場合の視線の移動先を示すマーク１８０１Ａ，１８０１Ｂを端末装置３Ａのレンズに投影してもよい。
【００８４】
ユーザは、制御を許可する場合、第３期間の間、マーク１８０１Ａを見つめ、一方、制御を許可しない場合は、第３期間の間、マーク１８０１Ｂを見つめる。
【００８５】
この変形例において、制御装置２の許可判別部２０１０は、受信した画像検出情報に含まれる視線情報から、ユーザがマーク１８０１Ａを見ているか否かを判別する。ユーザがマーク１８０１Ａを見ている状態が第３期間の間、継続した場合、許可判別部２０１０は、許可条件が成立したとして、当該制御候補機器に対する制御が許可されたと判別する。
【００８６】
また、許可判別部２０１０は、視線情報から、ユーザがマーク１８０１Ｂを見ているか否かを判別する。ユーザがマーク１８０１Ｂを見ている状態が第３期間の間、継続した場合、許可判別部２０１０は、不許可条件が成立したとして、当該制御候補機器に対する制御が許可されなかったと判別する。
【００８７】
なお、視線検出部３８の検出値と、マーク１８０１Ａ，１８０１Ｂそれぞれの投影位置との対応関係を示すデータは、予め制御装置２の二次記憶装置２４に保存されているものとする。
【００８８】
許可待ち期間の間に、上記の許可条件、不許可条件の何れも成立しなかった場合、許可判別部２０１０は、当該制御候補機器に対する制御が許可されなかったと判別する。
【００８９】
（変形例２）
実施形態２では、１つの特定画像がユーザの視野（イメージセンサ３２の撮像範囲）に入った場合、即ち、制御候補機器が１つの場合の制御について説明した。しかし、図１３に示すように、複数の特定画像がユーザの視野に入るケースもあり得る。このような場合、この変形例における端末装置３Ａの報知部３０２は、実施形態１の変形例３の場合と同様、制御装置２からの操作情報を受信すると、対応する特定画像に近接させて当該操作情報映像を投影する（図１９参照）。
【００９０】
この変形例では、ユーザは、制御を許可する場合、第４期間の間、当該制御候補機器に対応する操作情報映像を見つめる。第４期間は、前述した第１，第２期間より短く、第３期間より長い時間であり、例えば５秒である。また、報知部３０２は、ユーザの視線が向けられた操作情報映像の投影態様を他と異なるようにする。例えば、図１９の例では、制御候補機器であるキッチンの照明器に対応する操作情報映像にユーザの視線が向けられていることが示されている。このようすれば、ユーザは、自分の視線がどこに向けられているかを容易且つ正確に認識できる。
【００９１】
端末装置３Ａの検出情報送信部３０１は、上述したように、操作情報映像が投影されてから予め定めた期間（許可待ち期間と同一期間）の間は、制御装置２に送信する画像検出情報に、特定画像検出部３００により検出された特定画像をデコードした結果に加え、視線情報を格納する。ただし、この変形例における視線情報は、当該特定画像に対応する操作情報映像にユーザの視線が向けられているか否かを示す情報である。
【００９２】
この変形例における制御装置２の許可判別部２０１０は、受信した画像検出情報に含まれる視線情報を監視して、ユーザが何れか１つの操作情報映像を見ているか否かを判別する。そして、何れか１つの操作情報映像を見ている状態が予め定めた期間（第４期間）の間、継続した場合、許可判別部２０１０は、許可条件が成立したとして、当該画像検出情報に対応する制御候補機器に対する制御が許可されたと判別する。
【００９３】
なお、実施形態１の変形例３の場合と同様、許可待ち期間は、固定ではなく、制御候補機器の数に応じて変更してもよい。例えば、制御候補機器が１つの場合、許可待ち期間は３０秒であり、制御候補機器が３つの場合、許可待ち期間は６０秒にしてもよい。
【００９４】
（変形例３）
実施形態１の変形例４と同様に、実施形態２の制御装置２において、操作情報送信部２００が、制御候補機器に対する制御の可否を判別する図示しない制御可否判別部をさらに備えるようにしてもよい。この場合、操作情報生成部２００１は、制御可否判別部により制御が不可であると判別されると、制御候補機器の現在の動作状態及び制御が不可であることを示す操作情報を生成し、端末装置３Ａに送信する。
【００９５】
許可判別部２０１０は、制御可否判別部により制御が不可であると判別された制御候補機器に対応する画像検出情報を端末装置３Ａから受信した場合であっても、制御の許可／不許可の判別に係る処理を行うことなく、当該画像検出情報を破棄する。
【００９６】
本発明は、上記の各実施形態に限定されず、本発明の要旨を逸脱しない範囲での種々の変更は勿論可能である。
【００９７】
例えば、上記の各実施形態では、端末装置３，３Ａは、眼鏡型のヘッドマウントディスプレイ（スマートグラスともいう。）であったが、本発明に係る端末装置として、非透過型のヘッドマウントディスプレイや、ヘッドマウントディスプレイ以外のウェアラブルコンピュータを採用することも可能である。このような端末装置では、端末装置３，３Ａにおける映像投影部３３の替わりに、イメージセンサ３２により撮像された外界の様子を示す画像（外界画像）を表示する液晶ディスプレイ等の表示デバイスを備える。この場合、操作情報映像が、外界画像に重畳させて表示デバイスに表示される。
【００９８】
また、操作情報の内容が報知されていることをユーザに知らせるため、端末装置３，３Ａは、音や光を発したり、あるいは、振動する等してもよい。
【００９９】
また、端末装置３，３Ａが、制御の許可又は不許可の指示を制御装置２が受付済みであることをユーザに報知してもよい。この場合、ユーザによる制御の許可又は不許可の指示を受け付けたことが制御装置２から端末装置３，３Ａに通知される。かかる通知を受けた端末装置３，３Ａは、対応する操作情報映像の投影態様（あるいは表示態様）を許可又は不許可に応じて変化させる。このような報知が、実施形態１の変形例３における端末装置３で行われた例を図２０に示す。図２０の例では、リビングの照明器に対する制御が許可済みであり、リビングのエアコンに対する制御が不許可済みであり、キッチンの照明器に対する制御については許可又は不許可の指示待ちであることが示されている。
【０１００】
また、操作情報の内容の報知態様も映像のみに限定されず、例えば、音声メッセージで報知してもよい。
【０１０１】
また、上記の各実施形態では、制御装置２が、制御候補機器に対する制御がユーザにより許可されたか否かを判別していたが、かかる判別を端末装置３，３Ａが行ってもよい。具体的には、端末装置３，３Ａは、制御装置２の許可判別部２０１０と同様の機能を果たす許可判別部（図示せず）を備え、この許可判別部は、判別した結果を示す情報（許可判別情報）を制御装置２に送信する。そして、制御装置２は、かかる許可判別情報に基づいて、ユーザが制御候補機器に対する制御を許可したか否かを判別する。
【０１０２】
また、端末装置３，３Ａに、制御候補機器に対する制御の許可又は不許可をユーザから受け付けるための押しボタンやスイッチ等を別途設けてもよい。あるいは、端末装置３，３Ａに、マイクロフォンを設け、ユーザが、音声により制御候補機器に対する制御の許可又は不許可を指示できるようにしてもよいし、端末装置３，３Ａに、加速度センサを設け、ユーザが、端末装置３，３Ａを傾けたり、振ったりすることで制御候補機器に対する制御の許可又は不許可を指示できるようにしてもよい。
【０１０３】
上記の実施形態では、ＣＰＵ２０によって二次記憶装置２４に記憶されている遠隔操作プログラム２４０が実行されることで、制御装置２の各機能部（図６参照）が実現された。また、ＣＰＵ３０によって二次記憶装置３６に記憶されている遠隔操作プログラムが実行されることで、端末装置３，３Ａの各機能部（図５参照）が実現された。しかし、制御装置２、端末装置３，３Ａそれぞれの機能部の全部又は一部が、専用のハードウェアで実現されるようにしてもよい。専用のハードウェアとは、例えば、単一回路、複合回路、プログラム化されたプロセッサ、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、又は、これらの組み合わせ等である。
【０１０４】
また、上記の実施形態において、制御装置２によって実行されるプログラムは、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ（digital versatile disc）、光磁気ディスク（Magneto-Optical Disc）、ＵＳＢ（Universal Serial Bus）メモリ、メモリカード、ＨＤＤ等のコンピュータ読み取り可能な記録媒体に格納して配布することも可能である。そして、かかるプログラムを特定の又は汎用のコンピュータにインストールすることによって、当該コンピュータを上記の各実施形態における制御装置２として機能させることも可能である。
【０１０５】
また、上記のプログラムをインターネット等のネットワーク上のサーバが有するディスク装置等に格納しておき、当該プログラムがサーバからコンピュータにダウンロードされるようにしてもよい。
【０１０６】
本発明は、広義の精神と範囲を逸脱することなく、様々な実施形態及び変形が可能である。また、上述した実施形態は、本発明を説明するためのものであり、本発明の範囲を限定するものではない。つまり、本発明の範囲は、実施形態ではなく、請求の範囲によって示される。そして、請求の範囲内及びそれと同等の発明の意義の範囲内で施される様々な変形が、本発明の範囲内とみなされる。
【産業上の利用可能性】
【０１０７】
本発明は、家庭内に設置された電気機器の動作を管理するシステム等に好適に採用され得る。
【符号の説明】
【０１０８】
１  制御システム、２  制御装置、３  端末装置、４−１，４−２  機器、２０，３０  ＣＰＵ、２１，３１  通信インタフェース、２２，３４  ＲＯＭ、２３，３５  ＲＡＭ、２４，３６  二次記憶装置、２５，３７  バス、３２  イメージセンサ、３３  映像投影部、３８  視線検出部、２００  操作情報送信部、２０１  機器制御部、２４０  遠隔操作プログラム、２４１  機器情報、３００  特定画像検出部、３０１  検出情報送信部、３０２  報知部、２０００  候補決定部、２００１  操作情報生成部、２０１０  許可判別部、２０１１  制御コマンド送信部、２４１０  接続情報テーブル、２４１１  場所情報テーブル、２４１２  動作情報テーブル、２４１３  操作コードテーブル
【図１】
2018011890.tif 000003
【図２】
2018011890.tif 000004
【図３】
2018011890.tif 000005
【図４】
2018011890.tif 000006
【図５】
2018011890.tif 000007
【図６】
2018011890.tif 000008
【図７】
2018011890.tif 000009
【図８】
2018011890.tif 000010
【図９】
2018011890.tif 000011
【図１０】
2018011890.tif 000012
【図１１】
2018011890.tif 000013
【図１２】
2018011890.tif 000014
【図１３】
2018011890.tif 000015
【図１４】
2018011890.tif 000016
【図１５】
2018011890.tif 000017
【図１６】
2018011890.tif 000018
【図１７】
2018011890.tif 000019
【図１８】
2018011890.tif 000020
【図１９】
2018011890.tif 000021
【図２０】
2018011890.tif 000022
【手続補正書】
【提出日】平成30年5月9日(2018.5.9)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
上記目的を達成するため、本発明に係る制御システムは、
複数の機器を制御する制御装置と、端末装置を備える制御システムであって、
前記端末装置は、
イメージセンサと、
前記イメージセンサにより撮像された画像から予め定めた条件に合致する特定画像を検出する特定画像検出手段と、
前記特定画像に基づく画像検出情報を前記制御装置に送信する検出情報送信手段と、
前記制御装置から送信された操作情報を受信すると、前記操作情報の内容をユーザに報知する報知手段と、を備え、
前記制御装置は、
前記端末装置から送信された前記画像検出情報を受信すると、前記画像検出情報に基づいて、前記複数の機器から制御候補機器を選択すると共に前記制御候補機器に関する操作情報を生成し、前記端末装置に送信する操作情報送信手段と、
ユーザにより前記制御候補機器に対する制御が許可されたか否かを判別し、許可された場合には、前記制御候補機器を前記操作情報に基づいて制御する機器制御手段と、を備え、
前記報知手段は、前記制御候補機器に対する制御の許可又は不許可の指示済みであることをユーザに報知する。
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数の機器を制御する制御装置と、端末装置を備える制御システムであって、
前記端末装置は、
イメージセンサと、
前記イメージセンサにより撮像された画像から予め定めた条件に合致する特定画像を検出する特定画像検出手段と、
前記特定画像に基づく画像検出情報を前記制御装置に送信する検出情報送信手段と、
前記制御装置から送信された操作情報を受信すると、前記操作情報の内容をユーザに報知する報知手段と、を備え、
前記制御装置は、
前記端末装置から送信された前記画像検出情報を受信すると、前記画像検出情報に基づいて、前記複数の機器から制御候補機器を選択すると共に前記制御候補機器に関する操作情報を生成し、前記端末装置に送信する操作情報送信手段と、
ユーザにより前記制御候補機器に対する制御が許可されたか否かを判別し、許可された場合には、前記制御候補機器を前記操作情報に基づいて制御する機器制御手段と、を備え、
前記報知手段は、前記制御候補機器に対する制御の許可又は不許可の指示済みであることをユーザに報知する、制御システム。
【請求項２】
複数の機器を制御する制御装置と、端末装置を備える制御システムであって、
前記端末装置は、
イメージセンサと、
前記イメージセンサにより撮像された画像から予め定めた条件に合致する特定画像を検出する特定画像検出手段と、
前記特定画像に基づく画像検出情報を前記制御装置に送信する検出情報送信手段と、
前記制御装置から送信された操作情報を受信すると、前記操作情報の内容をユーザに報知する報知手段と、を備え、
前記制御装置は、
前記端末装置から送信された前記画像検出情報を受信すると、前記画像検出情報に基づいて、前記複数の機器から制御候補機器を選択すると共に前記制御候補機器に関する操作情報を生成し、前記端末装置に送信する操作情報送信手段と、
ユーザにより前記制御候補機器に対する制御が許可されたか否かを判別し、許可された場合には、前記制御候補機器を前記操作情報に基づいて制御する機器制御手段と、を備え、
前記機器制御手段は、前記操作情報送信手段により前記操作情報が送信された後、前記端末装置から、前記制御候補機器に対応する前記画像検出情報を予め定めた期間の間、継続して受信した場合、ユーザにより前記制御候補機器に対する制御が許可されたと判別する、制御システム。
【請求項３】
複数の機器を制御する制御装置と、端末装置を備える制御システムであって、
前記端末装置は、
イメージセンサと、
前記イメージセンサにより撮像された画像から予め定めた条件に合致する特定画像を検出する特定画像検出手段と、
前記特定画像に基づく画像検出情報を前記制御装置に送信する検出情報送信手段と、
前記制御装置から送信された操作情報を受信すると、前記操作情報の内容をユーザに報知する報知手段と、を備え、
前記制御装置は、
前記端末装置から送信された前記画像検出情報を受信すると、前記画像検出情報に基づいて、前記複数の機器から制御候補機器を選択すると共に前記制御候補機器に関する操作情報を生成し、前記端末装置に送信する操作情報送信手段と、
ユーザにより前記制御候補機器に対する制御が許可されたか否かを判別し、許可された場合には、前記制御候補機器を前記操作情報に基づいて制御する機器制御手段と、を備え、
前記報知手段により前記操作情報の内容が報知された後、前記検出情報送信手段は、前記画像検出情報に前記特定画像の位置に関する位置情報を格納し、
前記機器制御手段は、前記位置情報に基づいて、ユーザにより前記制御候補機器に対する制御が許可されたか否かを判別する、制御システム。
【請求項４】
複数の機器を制御する制御装置と、端末装置を備える制御システムであって、
前記端末装置は、
イメージセンサと、
ユーザの視線を検出する視線検出手段と、
前記イメージセンサにより撮像された画像から予め定めた条件に合致する特定画像を検出する特定画像検出手段と、
前記特定画像に基づく画像検出情報を前記制御装置に送信する検出情報送信手段と、
前記制御装置から送信された操作情報を受信すると、前記操作情報の内容をユーザに報知する報知手段と、を備え、
前記制御装置は、
前記端末装置から送信された前記画像検出情報を受信すると、前記画像検出情報に基づいて、前記複数の機器から制御候補機器を選択すると共に前記制御候補機器に関する操作情報を生成し、前記端末装置に送信する操作情報送信手段と、
ユーザにより前記制御候補機器に対する制御が許可されたか否かを判別し、許可された場合には、前記制御候補機器を前記操作情報に基づいて制御する機器制御手段と、を備え、
前記報知手段により前記操作情報の内容が報知された後、前記検出情報送信手段は、前記画像検出情報に前記視線検出手段により検出された結果を示す視線情報を格納し、
前記機器制御手段は、前記視線情報に基づいて、ユーザにより前記制御候補機器に対する制御が許可されたか否かを判別する、制御システム。
【請求項５】
前記操作情報送信手段は、前記制御候補機器に対する制御の可否を判別し、制御が不可であると判別した場合、前記端末装置に送信する前記操作情報に前記制御候補機器に対する制御が不可であることを示す情報を格納する、請求項１から４の何れか１項に記載の制御システム。
【請求項６】
前記端末装置は、前記報知手段により前記操作情報の内容が報知された後、ユーザにより前記制御候補機器に対する制御が許可されたか否かを判別し、判別した結果を示す許可判別情報を前記制御装置に送信する許可判別手段をさらに備え、
前記機器制御手段は、前記許可判別情報に基づいて、ユーザにより前記制御候補機器に対する制御が許可されたか否かを判別する、請求項１に記載の制御システム。
【請求項７】
複数の機器を制御する制御装置と、端末装置を備える制御システムで実行される方法であって、
端末装置が、イメージセンサにより撮像された画像から予め定めた条件に合致する特定画像を検出し、前記特定画像に基づく画像検出情報を前記制御装置に送信し、
制御装置が、前記端末装置から送信された前記画像検出情報を受信すると、前記画像検出情報に基づいて、前記複数の機器から制御候補機器を選択すると共に前記制御候補機器に関する操作情報を生成し、前記端末装置に送信し、
前記端末装置が、前記制御装置から送信された前記操作情報を受信すると、前記操作情報の内容をユーザに報知し、
前記制御装置が、ユーザにより前記制御候補機器に対する制御が許可されたか否かを判別し、許可された場合には、前記制御候補機器を前記操作情報に基づいて制御し、
前記端末装置が、前記制御候補機器に対する制御の許可又は不許可の指示済みであることをユーザに報知する、機器制御方法。
【請求項８】
複数の機器を制御する制御装置と、端末装置を備える制御システムで実行される方法であって、
端末装置が、イメージセンサにより撮像された画像から予め定めた条件に合致する特定画像を検出し、前記特定画像に基づく画像検出情報を前記制御装置に送信し、
制御装置が、前記端末装置から送信された前記画像検出情報を受信すると、前記画像検出情報に基づいて、前記複数の機器から制御候補機器を選択すると共に前記制御候補機器に関する操作情報を生成し、前記端末装置に送信し、
前記端末装置が、前記制御装置から送信された前記操作情報を受信すると、前記操作情報の内容をユーザに報知し、
前記制御装置が、ユーザにより前記制御候補機器に対する制御が許可されたか否かを判別し、許可された場合には、前記制御候補機器を前記操作情報に基づいて制御し、
前記制御装置は、前記操作情報を送信した後、前記端末装置から、前記制御候補機器に対応する前記画像検出情報を予め定めた期間の間、継続して受信した場合、ユーザにより前記制御候補機器に対する制御が許可されたと判別する、機器制御方法。
【請求項９】
複数の機器を制御する制御装置と、端末装置を備える制御システムで実行される方法であって、
端末装置が、イメージセンサにより撮像された画像から予め定めた条件に合致する特定画像を検出し、前記特定画像に基づく画像検出情報を前記制御装置に送信し、
制御装置が、前記端末装置から送信された前記画像検出情報を受信すると、前記画像検出情報に基づいて、前記複数の機器から制御候補機器を選択すると共に前記制御候補機器に関する操作情報を生成し、前記端末装置に送信し、
前記端末装置が、前記制御装置から送信された前記操作情報を受信すると、前記操作情報の内容をユーザに報知し、その後、前記制御装置に送信する前記画像検出情報に前記特定画像の位置に関する位置情報を格納し、
前記制御装置が、前記位置情報に基づいて、ユーザにより前記制御候補機器に対する制御が許可されたか否かを判別し、許可された場合には、前記制御候補機器を前記操作情報に基づいて制御する、機器制御方法。
【請求項１０】
複数の機器を制御する制御装置と、端末装置を備える制御システムで実行される方法であって、
端末装置が、イメージセンサにより撮像された画像から予め定めた条件に合致する特定画像を検出し、前記特定画像に基づく画像検出情報を前記制御装置に送信し、
制御装置が、前記端末装置から送信された前記画像検出情報を受信すると、前記画像検出情報に基づいて、前記複数の機器から制御候補機器を選択すると共に前記制御候補機器に関する操作情報を生成し、前記端末装置に送信し、
前記端末装置が、前記制御装置から送信された前記操作情報を受信すると、前記操作情報の内容をユーザに報知し、その後、ユーザの視線を検出し、検出した結果を示す視線情報を前記制御装置に送信する前記画像検出情報に格納し、
前記制御装置が、前記視線情報に基づいて、ユーザにより前記制御候補機器に対する制御が許可されたか否かを判別し、許可された場合には、前記制御候補機器を前記操作情報に基づいて制御する、機器制御方法。
【国際調査報告】
2018011890.tif 000023
2018011890.tif 000024
2018011890.tif 000025
2018011890.tif 000026