(57)【要約】【課題】被制御装置に所定の処理を指示する指示情報が対応付けられた画像の選択に係るユーザの負担を抑制しつつ、ユーザが指示することのできる所定の処理の種類を増やす。【解決手段】スマートフォン（１）は、指示画像（Ｉｍａ１）と付加情報（ＡｄＩｎ１）との組合せに応じた第２指示情報（ＤｉｒＩ２）で特定される所定の処理を、所定の家庭内機器（３）に実行させる。【選択図】図１
2015220490.tif 000002
【特許請求の範囲】
【請求項１】
所定の処理を被制御装置に実行させる制御装置であって、
上記所定の処理の実行を指示する指示情報が対応付けられた画像を用いて、上記所定の処理を被制御装置に実行させることを指示するユーザの操作を取得する操作取得手段と、
上記操作取得手段によって取得された操作において用いられている画像に対応付けられた指示情報以外の情報である付加情報を取得する付加情報取得手段と、
上記画像に対応付けられた指示情報と上記付加情報取得手段によって取得された上記付加情報との組合せに予め対応付けられた処理を上記被制御装置が実行するよう指示する処理指示手段と、
を備えることを特徴とする制御装置。
【請求項２】
上記付加情報は、ユーザが入力する情報である
ことを特徴とする請求項１に記載の制御装置。
【請求項３】
上記付加情報は、上記操作取得手段が上記所定の処理を被制御装置に実行させることを指示する操作を取得した時刻である
ことを特徴とする請求項１または２に記載の制御装置。
【請求項４】
上記付加情報は、上記操作取得手段が上記所定の処理を被制御装置に実行させることを指示する操作を取得した時刻における自装置の位置を示す情報である
ことを特徴とする請求項１から３のいずれか１項に記載の制御装置。
【請求項５】
被制御装置に所定の処理の実行を指示する指示情報が対応付けられた画像を用いて該所定の処理を該被制御装置に実行させることを指示するユーザの操作を取得すると、該被制御装置に該所定の処理を実行させる制御装置から、
（ｉ）上記画像を特定する情報である画像情報、
（ｉｉ）上記制御装置が取得する情報であって、上記画像に対応付けられた指示情報以外の情報である付加情報、
を受信するサーバ受信手段と、
上記サーバ受信手段によって受信された上記画像情報によって特定される画像に対応付けられた指示情報において指定されている被制御装置に、上記指示情報と上記付加情報との組合せに予め対応付けられた処理を実行させる信号を送信するサーバ送信手段と、
を備えることを特徴とするサーバ。
【請求項６】
被制御装置に所定の処理を実行させることを指示するユーザの操作であって、制御装置が取得する操作において用いられる、被制御装置に上記所定の処理の実行を指示する指示情報が対応付けられた画像に対応付けられた指示情報と、該画像に対応付けられた指示情報以外の情報である付加情報との組合せに予め対応付けられた処理の実行を指示する信号を受信する装置受信手段と、
上記装置受信手段によって受信された信号にしたがって、上記指示情報と上記付加情報との組合せに予め対応付けられた処理を実行する実行手段と
を備えることを特徴とする被制御装置。
【請求項７】
被制御装置に所定の処理の実行を指示する指示情報が対応付けられた画像をユーザに表示する表示手段と、
上記表示手段によって表示された画像を用いて、上記所定の処理を上記被制御装置に実行させることを指示するユーザの操作を取得する操作取得手段と、
上記操作取得手段によって取得された操作において用いられた画像に対応付けられた指示情報以外の情報である付加情報を取得する付加情報取得手段と、
上記画像に対応付けられた指示情報と上記付加情報取得手段によって取得された上記付加情報との組合せに予め対応付けられた処理を上記被制御装置が実行するよう指示する処理指示手段と、
上記処理指示手段によって指示された処理を実行する実行手段と、
を含むことを特徴とする制御システム。
【請求項８】
所定の処理を被制御装置に実行させる制御装置の制御方法であって、
上記所定の処理の実行を指示する指示情報が対応付けられた画像を用いて、上記所定の処理を被制御装置に実行させることを指示するユーザの操作を取得する操作取得ステップと、
上記操作取得ステップにて取得した操作において用いられた画像に対応付けられた指示情報以外の情報である付加情報を取得する付加情報取得ステップと、
上記画像に対応付けられた指示情報と上記付加情報取得ステップにて取得した上記付加情報との組合せに予め対応付けられた処理を上記被制御装置が実行するよう指示する処理指示ステップと、
を含むことを特徴とする制御装置の制御方法。
【請求項９】
被制御装置に所定の処理の実行を指示する指示情報が対応付けられた画像を用いて該所定の処理を該被制御装置に実行させることを指示するユーザの操作を取得すると、該被制御装置に該所定の処理を実行させる制御装置から、
（ｉ）上記画像を特定する情報である画像情報、
（ｉｉ）上記制御装置が取得する情報であって、上記画像に対応付けられた指示情報以外の情報である付加情報、
を受信するサーバ受信ステップと、
上記サーバ受信ステップにて受信した上記画像情報によって特定される画像に対応付けられた指示情報において指定されている被制御装置に、上記指示情報と上記付加情報との組合せに予め対応付けられた処理を実行させる信号を送信するサーバ送信ステップと、
を含むことを特徴とするサーバの制御方法。
【請求項１０】
請求項１から４の何れか１項に記載の制御装置としてコンピュータを機能させるための制御プログラムであって、コンピュータを上記各手段として機能させるための制御プログラム。
【請求項１１】
請求項５に記載のサーバとしてコンピュータを機能させるための制御プログラムであって、コンピュータを上記各手段として機能させるための制御プログラム。
【請求項１２】
請求項６に記載の被制御装置としてコンピュータを機能させるための制御プログラムであって、コンピュータを上記各手段として機能させるための制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被制御装置を制御する制御装置等に関する。
【背景技術】
【０００２】
ユーザが所定のインタフェースを介して外部の機器を操作する方法に関して、当該外部の機器が実行可能な処理が高度化するのに伴って当該操作が複雑化したため、当該インタフェースを改善する試みが広く行われている。
【０００３】
例えば、単純なイラスト（画像）によって処理を指定できるインタフェースが開発されている。下記の特許文献１には、自装置において実行すべき処理を指定する情報（処理指定情報）が格納された画像データを外部から受信することにより、画像データ送信機能しか持たない操作装置からでも、自在に操作できる画像データ受信装置が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−１６９３０５号公報（２００３年６月１３日公開）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記の特許文献１に開示された技術では、ユーザが指定することのできる処理が、予め上記画像データに対応付けられた処理に限定されるという問題がある。また、ユーザが指定することのできる処理を増やすために、上記画像データの種類を増やした場合、ユーザは指定したい処理に対応付けられた画像データを、大量の画像データの中から選択しなければならないという問題がある。
【０００６】
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、被制御装置に所定の処理を指示する指示情報が対応付けられた画像の選択に係るユーザの負担を抑制しつつ、ユーザが指示することのできる所定の処理の種類を増やすことにより、ユーザの利便性を向上させる制御装置等を提供することである。
【課題を解決するための手段】
【０００７】
上記の課題を解決するために、本発明の一態様に係る制御装置は、所定の処理を被制御装置に実行させる制御装置であって、上記所定の処理の実行を指示する指示情報が対応付けられた画像を用いて、上記所定の処理を被制御装置に実行させることを指示するユーザの操作を取得する操作取得手段と、上記操作取得手段によって取得された操作において用いられている画像に対応付けられた指示情報以外の情報である付加情報を取得する付加情報取得手段と、上記画像に対応付けられた指示情報と上記付加情報取得手段によって取得された上記付加情報との組合せに予め対応付けられた処理を上記被制御装置が実行するよう指示する処理指示手段と、を備えている。
【０００８】
また、上記の課題を解決するために、本発明の一態様に係るサーバは、被制御装置に所定の処理の実行を指示する指示情報が対応付けられた画像を用いて該所定の処理を該被制御装置に実行させることを指示するユーザの操作を取得すると、該被制御装置に該所定の処理を実行させる制御装置から、（ｉ）上記画像を特定する情報である画像情報、（ｉｉ）上記制御装置が取得する情報であって、上記画像に対応付けられた指示情報以外の情報である付加情報、を受信するサーバ受信手段と、上記サーバ受信手段によって受信された上記画像情報によって特定される画像に対応付けられた指示情報において指定されている被制御装置に、上記指示情報と上記付加情報との組合せに予め対応付けられた処理を実行させる信号を送信するサーバ送信手段と、を備えている。
【０００９】
そして、上記の課題を解決するために、本発明の一態様に係る被制御装置は、被制御装置に所定の処理を実行させることを指示するユーザの操作であって、制御装置が取得する操作において用いられる、被制御装置に上記所定の処理の実行を指示する指示情報が対応付けられた画像に対応付けられた指示情報と、該画像に対応付けられた指示情報以外の情報である付加情報との組合せに予め対応付けられた処理の実行を指示する信号を受信する装置受信手段と、上記装置受信手段によって受信された信号にしたがって、上記指示情報と上記付加情報との組合せに予め対応付けられた処理を実行する実行手段とを備えている。
【００１０】
また、上記の課題を解決するために、本発明の一態様に係る制御システムは、被制御装置に所定の処理の実行を指示する指示情報が対応付けられた画像をユーザに表示する表示手段と、上記表示手段によって表示された画像を用いて、上記所定の処理を上記被制御装置に実行させることを指示するユーザの操作を取得する操作取得手段と、上記操作取得手段によって取得された操作において用いられた画像に対応付けられた指示情報以外の情報である付加情報を取得する付加情報取得手段と、上記画像に対応付けられた指示情報と上記付加情報取得手段によって取得された上記付加情報との組合せに予め対応付けられた処理を上記被制御装置が実行するよう指示する処理指示手段と、上記処理指示手段によって指示された処理を実行する実行手段と、を含む。
【００１１】
また、上記の課題を解決するために、本発明の一態様に係る制御装置の制御方法は、所定の処理を被制御装置に実行させる制御装置の制御方法であって、上記所定の処理の実行を指示する指示情報が対応付けられた画像を用いて、上記所定の処理を被制御装置に実行させることを指示するユーザの操作を取得する操作取得ステップと、上記操作取得ステップにて取得した操作において用いられた画像に対応付けられた指示情報以外の情報である付加情報を取得する付加情報取得ステップと、上記画像に対応付けられた指示情報と上記付加情報取得ステップにて取得した上記付加情報との組合せに予め対応付けられた処理を上記被制御装置が実行するよう指示する処理指示ステップと、を含む。
【００１２】
そして、上記の課題を解決するために、本発明の一態様に係るサーバの制御方法は、被制御装置に所定の処理の実行を指示する指示情報が対応付けられた画像を用いて該所定の処理を該被制御装置に実行させることを指示するユーザの操作を取得すると、該被制御装置に該所定の処理を実行させる制御装置から、（ｉ）上記画像を特定する情報である画像情報、（ｉｉ）上記制御装置が取得する情報であって、上記画像に対応付けられた指示情報以外の情報である付加情報、を受信するサーバ受信ステップと、上記サーバ受信ステップにて受信した上記画像情報によって特定される画像に対応付けられた指示情報において指定されている被制御装置に、上記指示情報と上記付加情報との組合せに予め対応付けられた処理を実行させる信号を送信するサーバ送信ステップと、を含む。
【発明の効果】
【００１３】
本発明の上記各態様によれば、被制御装置に所定の処理を指示する指示情報が対応付けられた画像の選択に係るユーザの負担を抑制しつつ、ユーザが指示することのできる所定の処理の種類を増やすことにより、ユーザの利便性を向上させることができるという効果を奏する。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施形態１に係る制御システムの制御装置、サーバおよび被制御装置の要部構成を示すブロック図である。
【図２】本発明の各実施形態に係る制御システムの概要を示す図である。
【図３】上記制御装置の表示面に表示される指示画像の例を示す図である。
【図４】上記指示画像に対応付けられた第１指示情報と付加情報との組合せに、第２指示情報が対応付けられているデータの例を示す図である。
【図５】上記制御システムにおいて実行される制御処理の一例を示すフローチャートである。
【図６】上記制御システムにおいて、ユーザと被制御装置との間で行われるメッセージおよび指示画像のやり取りを表す模式図である。
【図７】上記制御システムにおいて、ユーザと被制御装置との間で行われる別のメッセージおよび指示画像のやり取りを表す模式図である。
【図８】上記制御システムにおいて、ユーザと被制御装置との間で行われるさらに別のメッセージおよび指示画像のやり取りを表す模式図である。
【図９】上記制御システムにおいて、ユーザと被制御装置との間で行われるさらに別のメッセージおよび指示画像のやり取りを表す模式図である。
【図１０】本発明の実施形態２に係る制御システムの制御装置、サーバおよび被制御装置の要部構成を示すブロック図である。
【図１１】本発明の実施形態２に係る制御システムにおいて、ユーザと被制御装置との間で行われるメッセージおよび指示画像のやり取りを表す模式図である。
【図１２】本発明の実施形態３に係る制御システムの制御装置、サーバおよび被制御装置の要部構成を示すブロック図である。
【図１３】本発明の実施形態３に係る制御システムにおいて、ユーザと被制御装置との間で行われるメッセージおよび指示画像のやり取りを表す模式図である。
【図１４】本発明の実施形態３に係る制御システムにおいて、ユーザと被制御装置との間で行われる別のメッセージおよび指示画像のやり取りを表す模式図である。
【図１５】本発明の実施形態４に係る制御システムの制御装置および被制御装置の要部構成を示すブロック図である。
【図１６】本発明の各実施形態に係る制御システムの各サーバ、制御装置、または被制御装置として利用可能なコンピュータの構成を例示したブロック図である。
【発明を実施するための形態】
【００１５】
〔実施形態１〕
以下、本発明の実施形態１について、図１から図９に基づいて詳細に説明する。
【００１６】
〔家族伝言板システム１００の概要〕
まず、本実施形態に係る家族伝言板システム１００（制御システム）の概要を図２に基づいて説明する。図２は、家族伝言板システム１００の概要を示す図である。家族伝言板システム１００は、あらかじめ登録されたユーザ（図２に示す例ではお父さん、お母さん、子供）の間で情報を共有可能な電子伝言板（いわゆるソーシャル・ネットワーク・サービス）を提供するシステムである。家族伝言板システム１００は、スマートフォン１ａ、１ｂ、１ｃ、エージェントサーバ２ａ、家族伝言板サーバ２ｂ、ホームサーバ２ｃ、家庭内に配置された機器３（ロボット掃除機３ａおよび空調装置３ｅを含む）を含む。なお、「家庭内に配置された機器３」を以下では「家庭内機器３」と称する。また、スマートフォン１ａ、１ｂ、１ｃを特に区別する必要がない場合は、単に「スマートフォン１」と称する。同様に、エージェントサーバ２ａ、家族伝言板サーバ２ｂ、ホームサーバ２ｃを特に区別する必要がない場合は、単に「サーバ２」と称する。
【００１７】
家族伝言板システム１００では、ユーザは、家族伝言板に指示画像Ｉｍａ１を投稿する（つまり、指示画像Ｉｍａ１を選択または指定する）ことにより、家庭内機器３の動作を制御できる。家族伝言板システム１００においてはさらに、ユーザは、指示画像Ｉｍａ１とともに「おはよう」といった挨拶等（付加情報ＡｄＩｎ１）を投稿する（入力する）ことにより、当該指示画像のみを投稿した場合とは別の処理を家庭内機器３に実行させることができる。ユーザが指示画像Ｉｍａ１とともに付加情報ＡｄＩｎ１を家族伝言板に投稿した場合に家庭内機器３が実行する動作について、詳細は後述する。
【００１８】
また、家族伝言板システム１００では、家庭内機器３の状態およびユーザによって書き込まれたメッセージの内容等に応じて、家庭内機器３が家族伝言板にメッセージを書き込む。さらに、ユーザは、それぞれが所持するスマートフォン１ａ、１ｂ、１ｃを用いて家族伝言板にアクセスし、メッセージの書き込み、または閲覧を行うことができる。
【００１９】
スマートフォン１（制御装置）は、サーバ２を介して家庭内機器３を制御する情報端末である。スマートフォン１は、入力面１１、表示面１２を備える。ユーザは入力面１１をタッチし、スマートフォン１に当該入力面における位置を指定することにより（入力面１１上の座標を与えることにより）、指示画像Ｉｍａ１を選択するなどの情報をスマートフォン１に与えることができる。また、ユーザは入力面１１をタッチして、例えば「おはよう」、「外気温」、「２７℃」等の文字情報（付加情報ＡｄＩｎ１）をスマートフォン１に与えることができる。上記のように、スマートフォン１は携帯型の情報端末である。ここで、スマートフォン１と同等の機能は、携帯電話、パーソナルコンピュータ、タブレット型端末などでも実現できることに注意する。すなわち、必要な情報を入出力可能な機器でありさえすれば、端末はスマートフォンでなくともよい。
【００２０】
エージェントサーバ２ａは、家族伝言板に投稿された指示画像Ｉｍａ１を特定する情報をスマートフォン１（または、家族伝言板サーバ２ｂ）から受信し、当該指示画像に応じた第１指示情報ＤｉｒＩ１をホームサーバ２ｃに送信する。エージェントサーバ２ａは、第１指示情報ＤｉｒＩ１をホームサーバ２ｃに送信することによって、家庭内機器３の各々の動作を制御する。また、エージェントサーバ２ａは、スマートフォン１（または、家族伝言板サーバ２ｂ）から、指示画像Ｉｍａ１とともに、当該指示画像に対応付けられた第１指示情報ＤｉｒＩ１以外の情報である付加情報ＡｄＩｎ１を取得すると、以下の動作を実行する。すなわち、指示画像Ｉｍａ１と付加情報ＡｄＩｎ１との組合せに対応付けられた第２指示情報ＤｉｒＩ２をホームサーバ２ｃに送信する。エージェントサーバ２ａは、第２指示情報ＤｉｒＩ２をホームサーバ２ｃに送信することによって、家庭内機器３の各々の動作を制御する。
【００２１】
また、エージェントサーバ２ａは、家庭内機器３の状態、家庭内機器３が取得した情報、およびユーザの書き込み内容等に応じて、家庭内機器３の各々を擬人化したキャラクタとして、家族伝言板にメッセージ等を書き込む。これにより、ユーザは、家族伝言板において家庭内機器３の各々とのコミュニケーションを疑似体験できる。なお、以下の説明においては、空調装置３ｅを擬人化したキャラクタ「微風ちゃん」が、家族伝言板にメッセージ等を書き込む例を説明する。
【００２２】
なお、第１指示情報ＤｉｒＩ１と第２指示情報ＤｉｒＩ２とを特に区別する必要がない場合は、単に「指示情報」と称する。また、以下では、家庭内機器３の各々の動作を制御する機能と家族伝言板への書き込みを行う機能とを、エージェントサーバ２ａが備えた例を説明するが、これらの機能は個別のサーバに搭載してもよい。
【００２３】
家族伝言板サーバ２ｂは、スマートフォン１ａ、１ｂ、および１ｃに対する家族伝言板の表示画面の提示、および書き込みの管理等の、家族伝言板に関する処理全般を行う。
【００２４】
ホームサーバ２ｃは、家庭内機器３の各々とエージェントサーバ２ａとの間の情報の送受信を統括して制御する。ホームサーバ２ｃには、家庭内機器３が通信可能に無線接続されており、ホームサーバ２ｃは、エージェントサーバ２ａから受信した指示情報にしたがって、家庭内機器３の各々の動作を制御する。具体的には、ホームサーバ２ｃは、エージェントサーバ２ａから受信した指示情報に対応する制御信号を家庭内機器３に送信し、家庭内機器３の動作を制御する。また、ホームサーバ２ｃは、家庭内機器３から取得した情報を、エージェントサーバ２ａに送信する。なお、図２は、家庭内機器３が、ロボット掃除機３ａ、冷蔵庫３ｂ、洗濯機３ｃ、調理機器３ｄ、空調装置３ｅ、掃除機ロボットではない掃除機３ｆ、およびテレビ３ｇである例を示すが、家庭内機器の種類および数は上記機器に限定されない。
【００２５】
家庭内機器３（被制御装置）は、ホームサーバ２ｃから受信する制御信号に従って、所定の処理を実行する。
【００２６】
まず、スマートフォン１（制御装置）の概要を整理しておく。スマートフォン１は、所定の処理を家庭内機器３（被制御装置）に実行させる制御装置であって、上記所定の処理の実行を指示する第１指示情報ＤｉｒＩ１（指示情報）が対応付けられた指示画像Ｉｍａ１（画像）を用いて、上記所定の処理を家庭内機器３に実行させることを指示するユーザの操作を取得する第１入力制御部１１１（操作取得手段）と、第１入力制御部１１１によって取得された操作において用いられている上記指示画像Ｉｍａ１に対応付けられた第１指示情報ＤｉｒＩ１以外の情報である付加情報ＡｄＩｎ１を取得する第２入力制御部１１２（付加情報取得手段）と、上記指示画像Ｉｍａ１に対応付けられた第１指示情報ＤｉｒＩ１と第２入力制御部１１２によって取得された上記付加情報ＡｄＩｎ１との組合せに予め対応付けられた処理を上記家庭内機器３が実行するよう指示する処理指示部１１４（処理指示手段）と、を備える。
【００２７】
そして、スマートフォン１の第２入力制御部１１２が取得する上記付加情報ＡｄＩｎ１は、ユーザが入力する情報である。
【００２８】
また、サーバ２（例えば、エージェントサーバ２ａ）は、家庭内機器３に所定の処理の実行を指示する第１指示情報ＤｉｒＩ１が対応付けられた指示画像Ｉｍａ１を用いて該所定の処理を家庭内機器３に実行させることを指示するユーザの操作を取得すると、家庭内機器３に該所定の処理を実行させるスマートフォン１から、（ｉ）上記指示画像Ｉｍａ１を特定する情報である指示画像情報ＩｍＩｎ１、（ｉｉ）スマートフォン１が取得する情報であって、上記指示画像Ｉｍａ１に対応付けられた第１指示情報ＤｉｒＩ１以外の情報である付加情報ＡｄＩｎ１、を受信するサーバ受信部２１１（サーバ受信手段）と、サーバ受信部２１１によって受信された指示画像情報ＩｍＩｎ１によって特定される指示画像Ｉｍａ１に対応付けられた第１指示情報ＤｉｒＩ１において指定されている家庭内機器３に、上記第１指示情報ＤｉｒＩ１と上記付加情報ＡｄＩｎ１との組合せに予め対応付けられた処理を実行させる制御信号を送信するサーバ送信部２１２（サーバ送信手段）と、を備える。
【００２９】
さらに、家庭内機器３は、家庭内機器３に所定の処理を実行させることを指示するユーザの操作であって、スマートフォン１が取得する操作において用いられる、家庭内機器３に上記所定の処理の実行を指示する第１指示情報ＤｉｒＩ１が対応付けられた指示画像Ｉｍａ１に対応付けられた第１指示情報ＤｉｒＩ１と、該指示画像Ｉｍａ１に対応付けられた第１指示情報ＤｉｒＩ１以外の情報である付加情報ＡｄＩｎ１との組合せに予め対応付けられた処理の実行を指示する信号を受信する機器通信部３１（装置受信手段）と、機器通信部３１によって受信された信号にしたがって、上記第１指示情報ＤｉｒＩ１と上記付加情報ＡｄＩｎ１との組合せに予め対応付けられた処理を実行する処理実行部３２（実行手段）とを備える。
【００３０】
家族伝言板システム１００は、家庭内機器３に所定の処理の実行を指示する第１指示情報ＤｉｒＩ１が対応付けられた指示画像Ｉｍａ１をユーザに表示する表示制御部１１３（表示手段）と、表示制御部１１３によって表示された指示画像Ｉｍａ１を用いて、上記所定の処理を家庭内機器３に実行させることを指示するユーザの操作を取得する第１入力制御部１１１と、第１入力制御部１１１によって取得された操作において用いられた指示画像Ｉｍａ１に対応付けられた第１指示情報ＤｉｒＩ１以外の情報である付加情報ＡｄＩｎ１を取得する第２入力制御部１１２と、指示画像Ｉｍａ１に対応付けられた第１指示情報ＤｉｒＩ１と第２入力制御部１１２によって取得された付加情報ＡｄＩｎ１との組合せに予め対応付けられた処理を上記家庭内機器３が実行するよう指示する処理指示部１１４と、処理指示部１１４によって指示された処理を実行する処理実行部３２と、を含む。
【００３１】
以下、家族伝言板システム１００におけるスマートフォン１、サーバ２、および家庭内機器３について、図１を用いてより詳細に説明する。
【００３２】
〔構成の詳細〕
図１は、スマートフォン１、サーバ２、および家庭内機器３の要部構成を示すブロック図である。以下、家庭内機器３、サーバ２、スマートフォン１の順に説明していく。なお、本実施の形態に直接関係のない部分（例えば、スマートフォン１について電話回線を利用して通話を実現する部分、空調装置３ｅについて吸気および排気を実現する部分など）については、以下の説明および上記ブロック図から省略している。ただし、実施の実情に則して、スマートフォン１、サーバ２、および家庭内機器３は、当該省略した構成を含んでもよい。
【００３３】
（ロボット掃除機３ａについて）
ロボット掃除機３ａ（被制御装置）は、サーバ２を介して、スマートフォン１によって制御される被制御装置の１つである。ロボット掃除機３ａは、自走しながら掃除する機能を有する。ロボット掃除機３ａは、動作ログの記憶機能、充電残量の検出および出力機能、画像撮影機能、音声認識機能、音声出力機能などをさらに有する。また、ロボット掃除機３ａは、家庭内機器に制御信号を送信してこれを操作する機能も有する。
【００３４】
（空調装置３ｅについて）
空調装置３ｅ（被制御装置）は冷暖房等の空調を行う装置である。図１に示すように、空調装置３ｅは、機器通信部３１と処理実行部３２とを備える。
【００３５】
機器通信部３１は、サーバ２（ホームサーバ２ｃ）との通信を行い、具体的には、サーバ２から、所定の処理の実行を指示する制御信号を受信する。また、機器通信部３１は、空調装置３ｅが有する機能、実行中の処理などに関する情報である機器情報、および、上記制御信号にしたがって空調装置３ｅが実行する処理の結果についての情報である実行結果情報を、サーバ２に送信してもよい。
【００３６】
処理実行部３２は、機器通信部３１がサーバ２から受信した上記制御信号にしたがって、所定の処理を実行する。
【００３７】
また、空調装置３ｅは図示しない温度センサ等を備え、検出した室温および外気温等をホームサーバ２ｃに送信できてもよい。
【００３８】
なお、図２に示される例では、すべての家庭内機器３がネットワークに含まれ、ホームサーバ２ｃと通信可能に接続されている。しかし、ロボット掃除機３ａがホームサーバ２ｃから送信された指示情報をロボット掃除機３ａ以外の家庭内機器３の各々に中継できる場合、ロボット掃除機３ａ以外の家庭内機器３はホームサーバ２ｃと直接接続されていなくともよい。また、図２に示される例では、ホームサーバ２ｃは、家庭内機器３の各々に搭載されたセンサによって取得されたセンシングデータ、家庭内機器３の各々の動作ログ、および家庭内機器３の各々が撮影した写真を送信している。ただし、家庭内機器３の各々が送信する情報はこれらの例に限られない。さらに、家族伝言板に関与する家庭内機器３が存在しない場合のように、ホームサーバ２ｃによる統括的な制御が必要ない場合、ホームサーバ２ｃを設けず、ロボット掃除機３ａがエージェントサーバ２ａと情報を送受信する構成としてもよい。
【００３９】
（サーバ２について）
以下では、図２に示されるエージェントサーバ２ａ、家族伝言板サーバ２ｂ、およびホームサーバ２ｃが有する本質的な機能を、「サーバ２」が統合的に備えているとして説明する。サーバ２は、スマートフォン１、家庭内機器３と通信可能に接続されており、サーバ通信部２１と、指示情報抽出部２２と、サーバ記憶部２３とを備える。
【００４０】
サーバ通信部２１は、サーバ受信部２１１とサーバ送信部２１２とを含む。サーバ受信部２１１は、スマートフォン１から、ユーザがスマートフォン１を用いて家族伝言板に投稿した指示画像Ｉｍａ１を示す指示画像情報ＩｍＩｎ１と、ユーザが家族伝言板に投稿した付加情報ＡｄＩｎ１とを受信する。サーバ送信部２１２は、指示画像情報ＩｍＩｎ１と付加情報ＡｄＩｎ１との組合せに対応付けられた第２指示情報ＤｉｒＩ２において特定される家庭内機器３に、該第２指示情報ＤｉｒＩ２において特定される処理の実行を指示する信号（制御信号）を送信する。指示画像情報ＩｍＩｎ１と付加情報ＡｄＩｎ１との組合せに対応付けられた第２指示情報ＤｉｒＩ２について、詳細は後述する。
【００４１】
なお、指示画像情報ＩｍＩｎ１は、指示画像Ｉｍａ１を一意に識別可能な情報である。指示画像Ｉｍａ１を一意に識別できさえすれば、指示画像情報ＩｍＩｎ１の形式は何でもよい。例えば、指示画像情報ＩｍＩｎ１は、数字であってもよいし、文字であってもよい。スマートフォン１とサーバ２とで指示画像Ｉｍａ１を保存するディレクトリ構造が同じ場合、指示画像情報ＩｍＩｎ１は、当該指示画像を格納するパスの名前であってもよい。あるいは、指示画像情報ＩｍＩｎ１は、指示画像Ｉｍａ１そのものであってもよい。この場合、スマートフォン１は指示画像Ｉｍａ１をサーバ２に送信する。また、付加情報ＡｄＩｎ１は、ユーザがスマートフォン１に入力した情報であることは必須ではない。ユーザがスマートフォン１に入力した情報ではない付加情報ＡｄＩｎ１については、別の実施の形態において説明する。
【００４２】
さらに、サーバ通信部２１は、スマートフォン１から受信した指示画像Ｉｍａ１を含むメッセージを作成し、すべてのスマートフォン１に該メッセージを送信して、複数のスマートフォン１で該メッセージを表示可能にする。また、家庭内機器３の各々を擬人化したキャラクタからのメッセージとしてスマートフォン１に表示させるメッセージを生成し、すべてのスマートフォン１に該メッセージを送信して、複数のスマートフォン１で該メッセージを表示可能にする。
【００４３】
なお、サーバ通信部２１は、家庭内機器３から、上記処理の実行結果または家庭内機器３の動作状態等についての情報である機器情報を取得した場合、当該実行結果または機器情報をスマートフォン１に送信してもよい。
【００４４】
指示情報抽出部２２は、サーバ通信部２１が受信する、指示画像情報ＩｍＩｎ１、または、指示画像情報ＩｍＩｎ１および付加情報ＡｄＩｎ１に応じて、ユーザがスマートフォン１を用いて実行させようとする処理を抽出する。そして、指示情報抽出部２２は、抽出した第２指示情報ＤｉｒＩ２をサーバ通信部２１に出力する。第２指示情報ＤｉｒＩ２の抽出について、概要を説明しておく。指示情報抽出部２２は、サーバ通信部２１が受信したのが指示画像情報ＩｍＩｎ１のみである場合、指示画像テーブル２３１を参照して、当該指示画像情報ＩｍＩｎ１に対応付けられた第１指示情報ＤｉｒＩ１を取得する。第１指示情報ＤｉｒＩ１は、制御対象である家庭内機器３（被制御装置）を特定する第１機器特定情報ＤｉｒＩ１ａと、当該制御対象に所定の処理の実行を指示する第１処理特定情報ＤｉｒＩ１ｂとを含む。サーバ通信部２１が指示画像情報ＩｍＩｎ１と付加情報ＡｄＩｎ１とを受信した場合、指示情報抽出部２２は、指示定義テーブル２３２を参照して、当該指示画像情報ＩｍＩｎ１と付加情報ＡｄＩｎ１との組合せに対応付けられた第２指示情報ＤｉｒＩ２を取得する。第２指示情報ＤｉｒＩ２は、制御対象である家庭内機器３（被制御装置）を特定する第２機器特定情報ＤｉｒＩ２ａと、当該制御対象に所定の処理の実行を指示する第２処理特定情報ＤｉｒＩ２ｂとを含む。
【００４５】
なお以下では、説明の簡略化のため、第１指示情報ＤｉｒＩ１によって特定される家庭内機器３と、第２指示情報ＤｉｒＩ２によって特定される家庭内機器３とは同じ装置であるとする。具体的には、第１指示情報ＤｉｒＩ１と第２指示情報ＤｉｒＩ２とは共に空調装置３ｅを特定しているものとして説明を行う。ただし、第１指示情報ＤｉｒＩ１によって特定される家庭内機器３と、第２指示情報ＤｉｒＩ２によって特定される家庭内機器３とは別の装置であってもよい。例えば、第１指示情報ＤｉｒＩ１によってロボット掃除機３ａが特定され、第２指示情報ＤｉｒＩ２によって空調装置３ｅが特定されてもよい。
【００４６】
なお、第１機器特定情報ＤｉｒＩ１ａと第２機器特定情報ＤｉｒＩ２ａとが常に同じ家庭内機器３を特定する場合には第２機器特定情報ＤｉｒＩ２ａは必須ではない。ただし、例えば、ユーザがスマートフォン１を用いて、以下のような操作を行った場合には、第１機器特定情報ＤｉｒＩ１ａによって特定される家庭内機器３と、第２機器特定情報ＤｉｒＩ２ａによって特定される家庭内機器３とは異なる。なお、以下の説明においては、ロボット掃除機３ａは室内温度を検知する機能を備えず、空調装置３ｅのみが室内温度を検知することができるものとする。ユーザがスマートフォン１を用いて、ロボット掃除機３ａに所定の処理を実行させる第１指示情報ＤｉｒＩ１が対応付けられる指示画像Ｉｍａ１を投稿するとともに、「室内温度」という文字情報を入力した場合、スマートフォン１は以下の処理を実行する。すなわち、スマートフォン１は、ロボット掃除機３ａに所定の処理を実行させるとともに、空調装置３ｅが室内温度を検知させる。つまり、上記の例においては、第１機器特定情報ＤｉｒＩ１ａによって特定されるのはロボット掃除機３ａであり、第２機器特定情報ＤｉｒＩ２ａによって特定されるのはロボット掃除機３ａおよび空調装置３ｅとなる。以上に説明したように、第１指示情報ＤｉｒＩ１と第２指示情報ＤｉｒＩ２とが区別されることにより、ユーザはスマートフォン１を用いて、以下の処理を実行させることができる。すなわち、指示画像Ｉｍａ１の選択とともに、付加情報ＡｄＩｎ１を入力することにより、指示画像Ｉｍａ１に対応付けられた第１機器特定情報ＤｉｒＩ１ａにより特定される家庭内機器３以外の家庭内機器３に、ユーザは所定の処理を実行させることができる。
【００４７】
サーバ記憶部２３は、サーバ２が使用する各種データを格納する。サーバ記憶部２３は、サーバ２（特に、指示情報抽出部２２）が実行する（１）制御プログラム、（２）ＯＳプログラム、（３）各種機能を実行するためのアプリケーションプログラム、および、（４）該アプリケーションプログラムを実行するときに読み出す各種データを記憶する。上記の（１）〜（４）のデータは、例えば、ＲＯＭ（read only memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable ROM）、ＥＥＰＲＯＭ（登録商標）（Electrically EPROM）、ＨＤＤ（Hard Disc Drive）等の不揮発性記憶装置に記憶される。また、サーバ記憶部２３には、指示画像テーブル２３１と指示定義テーブル２３２とが格納されている。
【００４８】
指示画像テーブル２３１は、スマートフォン１から受信する指示画像情報ＩｍＩｎ１（指示画像Ｉｍａ１）と、第１指示情報ＤｉｒＩ１とが対応付けられたテーブルである。図３は、指示画像テーブル２３１の一例を示している。例えば、図３に例示する指示画像テーブル２３１の１行目を参照して、指示情報抽出部２２は、エアコン（空調装置）が動いている指示画像Ｉｍａ１に、「エアコンをつける」という第１指示情報ＤｉｒＩ１が対応付けられていることを把握する。つまり、エアコンが動いている指示画像Ｉｍａ１には、第１機器特定情報ＤｉｒＩ１ａ：空調装置３ｅと、第１処理特定情報ＤｉｒＩ１ｂ：電源ＯＮとが対応付けられていることを把握する。言い換えれば、エアコンが動いている指示画像Ｉｍａ１には、制御対象として「空調装置３ｅ」が、該制御対象に実行させる所定の処理として「電源ＯＮ」が、対応付けられていることを把握する。同様に、指示情報抽出部２２は、図３の指示画像テーブル２３１の２行目を参照して、エアコンが寝ている指示画像Ｉｍａ１に、第１機器特定情報ＤｉｒＩ１ａ：空調装置３ｅと、第１処理特定情報ＤｉｒＩ１ｂ：電源ＯＦＦとが対応付けられていることを把握する。
【００４９】
なお、第１指示情報ＤｉｒＩ１は、以下に示すように、指示画像情報ＩｍＩｎ１（指示画像Ｉｍａ１）と対応付けられていてもよい。例えば、指示画像Ｉｍａ１のデータのメタ情報（例えばＥｘｉｆヘッダなど）に、第１指示情報ＤｉｒＩ１が格納されている。あるいは、指示画像Ｉｍａ１を格納するパスの名前を用いて、指示画像Ｉｍａ１と第１指示情報ＤｉｒＩ１とが対応付けられていてもよい。例えば、「/image/cleaner/photo.jpg」は、ロボット掃除機３ａに写真を撮影させることを表し、「/image/cleaner/moveForward.jpg」は、ロボット掃除機３ａを前進させることを表してもよい。同様に、「/image/ac/on.jpg」は、空調装置３ｅをつける（空調装置３ｅの電源をＯＮにする）ことを表し、「/image/ac/off.jpg」は、空調装置３ｅを消す（空調装置３ｅの電源をＯＦＦにする）ことを表してもよい。
【００５０】
指示定義テーブル２３２は、スマートフォン１から受信する指示画像情報ＩｍＩｎ１および付加情報ＡｄＩｎ１の組合せと、第２指示情報ＤｉｒＩ２とが対応付けられたテーブルである。指示定義テーブル２３２は、例えば図４に示すようなデータであってもよい。図４に例示する指示定義テーブル２３２においては、指示画像情報ＩｍＩｎ１に対応付けられた第１指示情報ＤｉｒＩ１と、付加情報ＡｄＩｎ１との組合せに、第２指示情報ＤｉｒＩ２が対応付けられている。より正確には、図４においては、指示画像情報ＩｍＩｎ１に対応付けられた第１機器特定情報ＤｉｒＩ１ａおよび第１処理特定情報ＤｉｒＩ１ｂと、付加情報ＡｄＩｎ１の種別および内容との組合せに、第２指示情報ＤｉｒＩ２（第２機器特定情報ＤｉｒＩ２ａおよび第２処理特定情報ＤｉｒＩ２ｂ）が対応付けられている。
【００５１】
例えば、図４の指示定義テーブル２３２の２行目には、「第１機器特定情報ＤｉｒＩ１ａ：家庭内機器」および「第１処理特定情報ＤｉｒＩ１ｂ：全処理」と、種別が入力情報であって内容が「おはよう」等である付加情報との組合せに、以下の第２指示情報ＤｉｒＩ２が対応付けられている。すなわち、「第２機器特定情報ＤｉｒＩ２ａ：第１処理特定情報で特定される家庭内機器」と「第２処理特定情報ＤｉｒＩ２ｂ：第１処理特定情報で特定される処理＋付加情報の内容に対応する挨拶」とを含む第２指示情報ＤｉｒＩ２が対応付けられている。
【００５２】
なお、上記記載において、「＋（プラス）」とは、「＋の記号の前に記載されている処理」に、「＋の記号の後に記載されている処理」が追加されていることを示す。以下、「＋（プラス）」は、同様の意味で用いるものとする。
【００５３】
ここで、「第１機器特定情報ＤｉｒＩ１ａ：家庭内機器」および「第１処理特定情報ＤｉｒＩ１ｂ：全処理」に対応付けられた指示画像情報ＩｍＩｎ１（指示画像Ｉｍａ１）は、ユーザがスマートフォン１で選択可能な任意の指示画像情報ＩｍＩｎ１（指示画像Ｉｍａ１）である。
【００５４】
したがって、サーバ通信部２１が、ユーザがスマートフォン１に入力した「おはよう」等の付加情報を任意の指示画像情報ＩｍＩｎ１とともに受信すると、指示情報抽出部２２は、指示定義テーブル２３２の２行目を参照し、以下の第２指示情報ＤｉｒＩ２を取得する。すなわち、上記指示画像情報ＩｍＩｎ１に対応付けられた第１機器特定情報ＤｉｒＩ１ａで特定される家庭内機器３に、上記指示画像情報ＩｍＩｎ１に対応付けられた第１処理特定情報で特定される処理を実行させ、かつ、上記「おはよう」との内容に対応する「おはよう」との挨拶を実行させることを内容とする、第２指示情報ＤｉｒＩ２を取得する。
【００５５】
同様に、図４の指示定義テーブル２３２の３行目には、「第１機器特定情報ＤｉｒＩ１ａ：エアコン」および「第１処理特定情報ＤｉｒＩ１ｂ：電源ＯＮ」と、種別が入力情報であって内容が「○○℃」等である付加情報との組合せに、以下の第２指示情報ＤｉｒＩ２が対応付けられている。すなわち、「第２機器特定情報ＤｉｒＩ２ａ：エアコン」と「第２処理特定情報ＤｉｒＩ２ｂ：電源ＯＮ＋目標室内温度を○○℃に設定して運転」とを含む第２指示情報ＤｉｒＩ２が対応付けられている。
【００５６】
ここで、「第１機器特定情報ＤｉｒＩ１ａ：エアコン」と「第１処理特定情報ＤｉｒＩ１ｂ：電源ＯＮ」とに対応付けられた指示画像Ｉｍａ１とは、図３の指示画像テーブル２３１の１行目に示されている、「エアコンが動いている」指示画像Ｉｍａ１である。
【００５７】
したがって、サーバ通信部２１が、ユーザがスマートフォン１に入力した「○○℃」という付加情報を、「エアコンが動いている」指示画像Ｉｍａ１を識別する指示画像情報ＩｍＩｎ１とともに受信すると、指示情報抽出部２２は、指示定義テーブル２３２の３行目を参照し、以下の第２指示情報ＤｉｒＩ２を取得する。すなわち、指示情報抽出部２２は、「空調装置３ｅについて、電源をＯＮにし、かつ、目標室内温度を○○℃に設定して運転させる」ことを内容とする、第２指示情報ＤｉｒＩ２を取得する。
【００５８】
なお、図４の指示定義テーブル２３２には、主に、第１機器特定情報ＤｉｒＩ１ａがエアコンである場合の第２指示情報ＤｉｒＩ２の内容についての例が示されている。しかしながら、指示定義テーブル２３２には、第１機器特定情報ＤｉｒＩ１ａがエアコン以外の家庭内機器である場合の第２指示情報ＤｉｒＩ２も定義されている。例えば、指示定義テーブル２３２には、第１機器特定情報ＤｉｒＩ１ａがロボット掃除機であって、第１処理特定情報ＤｉｒＩ１ｂが掃除である場合の第２指示情報ＤｉｒＩ２についても定義されている。
【００５９】
（スマートフォン１について）
図１に示すように、スマートフォン１は、制御部１０、入力面１１、表示面１２、通信部１３、および記憶部１４を含む。
【００６０】
入力面１１は、ユーザにより指定された入力面１１上の位置を示す入力信号を、入力制御部１１０に出力する。入力面１１は、マルチタッチを検出可能なタッチパネルであることが好ましい。ただし、入力面１１は、ユーザの接触した位置を検知可能な入力機器でありさえすれば、ハードウェアの種類はタッチパネルに限定されない。
【００６１】
表示面１２は、表示制御部１１３から入力される表示用データを表示する。表示用データには、家族伝言板および当該家族伝言板に含まれるコンテンツ（例えば、指示画像Ｉｍａ１の一覧）が含まれる。表示面１２について、本実施の形態では主に液晶ディスプレイ（Liquid Crystal Display；ＬＣＤ）を想定しているが、表示機能を有する装置（例えば、表示制御部１１３から入力された表示用データに基づき、表示素子を駆動するドライバ回路を備えた装置）でありさえすればハードウェアの種類は限定されない。
【００６２】
なお、各構成が有する機能を明示するために、図１は入力面１１と表示面１２とを分離して示すが、例えば入力面１１をタッチパネルで、表示面１２を液晶ディスプレイで実現する場合、両者は一体として構成されてよい。これにより、入力面１１に対するユーザの指の接触位置と、表示面１２が当該接触に応じて表示する図形等の表示位置とが一致するため、ユーザは自然な入力感覚を得ることができる。
【００６３】
通信部１３は、所定の通信方式にしたがう通信網を介して外部と通信する。外部機器との通信を実現する本質的な機能が備わってさえいればよく、通信回線、通信方式、または通信媒体などは限定されない。通信部１３は、例えばイーサネット（登録商標）アダプタなどの機器で構成できる。また、通信部１３は、例えばIEEE802.11無線通信、Bluetooth（登録商標）などの通信方式や通信媒体を利用できる。
【００６４】
通信部１３は、処理指示部１１４から入力された指示画像情報ＩｍＩｎ１および付加情報ＡｄＩｎ１を、サーバ２へ送信する。また、通信部１３は、サーバ２から送信された実行結果、機器情報、および投稿情報を受信し、投稿情報取得部１１５へ出力する。
【００６５】
記憶部１４は、スマートフォン１が使用する各種データを格納する。記憶部１４は、スマートフォン１の制御部１０が実行する（１）制御プログラム、（２）ＯＳプログラム、（３）各種機能を実行するためのアプリケーションプログラム、および、（４）該アプリケーションプログラムを実行するときに読み出す各種データを記憶する。上記の（１）〜（４）のデータは、例えば、ＲＯＭ（read only memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable ROM）、ＥＥＰＲＯＭ（登録商標）（Electrically EPROM）、ＨＤＤ（Hard Disc Drive）等の不揮発性記憶装置に記憶される。また、記憶部１４には、指示画像一覧テーブル１４１が格納されている。
【００６６】
指示画像一覧テーブル１４１は、ユーザがスマートフォン１において選択することにより家庭内機器３に実行させることができる処理に対応付けられた指示画像Ｉｍａ１の一覧が格納されており、例えば、図３に例示するサーバ２のサーバ記憶部２３に格納されている指示画像テーブル２３１の紙面左側の列に示されている指示画像Ｉｍａ１の一覧が格納されている。
【００６７】
制御部１０は、ユーザ入力受付処理、指示情報送信処理、投稿情報表示処理を含むスマートフォン１の機能を統括して制御するものであり、入力制御部１１０、表示制御部１１３、処理指示部１１４、および投稿情報取得部１１５を含む。
【００６８】
入力制御部１１０は、入力面１１から入力された入力信号に基づいて入力情報を生成し、当該入力情報を表示制御部１１３および処理指示部１４４に出力する。入力制御部１１０は、第１入力制御部１１１と、第２入力制御部１１２とを含む。第１入力制御部１１１は、ユーザによって指示画像Ｉｍａ１が指定された（家族伝言板に投稿された）ことを示す情報を取得する。第２入力制御部１１２は、ユーザによって入力面１１に入力された「おはよう」などの文字情報を、付加情報ＡｄＩｎ１として取得する。付加情報ＡｄＩｎ１は、指示画像Ｉｍａ１（指示画像情報ＩｍＩｎ１）に対応付けられた第１指示情報ＤｉｒＩ１以外の情報であればよく、特に内容について制限はない。付加情報ＡｄＩｎ１の具体例について、詳細は後述する。
【００６９】
表示制御部１１３は、表示面１２に、指示画像Ｉｍａ１をユーザに選択可能に表示する。すなわち、表示制御部１１３は、指示画像一覧テーブル１４１から取得する指示画像Ｉｍａ１の一覧を表示面１２に表示する。また、表示制御部１１３は、投稿情報取得部１１５から、サーバ２が出力した実行結果、機器情報、および投稿情報を受信し、該実行結果、機器情報、および投稿情報を含む家族伝言板を表示面１２に表示する。
【００７０】
処理指示部１１４は、第１入力制御部１１１からユーザによって選択された指示画像Ｉｍａ１を取得すると、該指示画像Ｉｍａ１を一意に識別可能な情報である指示画像情報ＩｍＩｎ１を通信部１３に出力する。また、処理指示部１１４は、上記指示画像Ｉｍａ１とともにユーザが入力面１１に入力した付加情報ＡｄＩｎ１を第２入力制御部１１２から取得し、該付加情報ＡｄＩｎ１を通信部１３に出力する。詳細は後述するが、上記指示画像情報ＩｍＩｎ１（指示画像Ｉｍａ１）と上記付加情報ＡｄＩｎ１との組合せには、第２指示情報ＤｉｒＩ２が対応付けられている。そして、第２指示情報ＤｉｒＩ２は、制御対象である家庭内機器３（被制御装置）を特定する第２機器特定情報ＤｉｒＩ２ａと、当該制御対象に所定の処理の実行を指示する第２処理特定情報ＤｉｒＩ２ｂとを含む。したがって、処理指示部１１４は、上記指示画像情報ＩｍＩｎ１（指示画像Ｉｍａ１）と上記付加情報ＡｄＩｎ１とをサーバ２に送信することにより、以下の処理を行うものである。すなわち、処理指示部１１４は、上記指示画像Ｉｍａ１と上記付加情報ＡｄＩｎ１との組合せに予め対応付けられている家庭内機器３に、上記指示画像Ｉｍａ１と上記付加情報ＡｄＩｎ１との組合せに予め対応付けられている所定の処理を実行させる。
【００７１】
投稿情報取得部１１５は、通信部１３からサーバ２が出力した実行結果、機器情報、および投稿情報が入力された場合、該実行結果、機器情報、および投稿情報を表示制御部１１３に出力する。ここで、上記投稿情報は、あるスマートフォン１から指示画像情報ＩｍＩｎ１による指示が行われたことを、他のスマートフォンのユーザに共有できるようにするために、指示画像情報ＩｍＩｎ１を受信したサーバ２から送信された、メッセージを含む情報である。
【００７２】
〔家族伝言板システム１００が実行する処理〕
以下、図５に基づいて、家族伝言板システム１００において実行される処理の流れを説明する。図５は、家族伝言板システム１００（スマートフォン１、サーバ２、ロボット掃除機３ａ）において実行される処理の一例を示すフローチャートである。
【００７３】
スマートフォン１は、ユーザによる指示画像Ｉｍａ１を用いた所定の処理の実行指示の操作を取得すると（Ｓ１０１）、つまり、指示画像Ｉｍａ１が選択された（家族伝言板に投稿された）ことを検知すると、以下の処理を実行する。すなわち、スマートフォン１は、付加情報ＡｄＩｎ１を取得したかを判定する（Ｓ１０２）。つまり、ユーザが、スマートフォン１を用いて、指示画像Ｉｍａ１とともに、付加情報ＡｄＩｎ１を家族伝言板に投稿したかを判定する。
【００７４】
指示画像Ｉｍａ１とともに付加情報ＡｄＩｎ１を取得していない場合（Ｓ１０２でＮＯ）、スマートフォン１は、該指示画像Ｉｍａ１（指示画像情報ＩｍＩｎ１）をサーバ２に送信する。つまり、指示画像Ｉｍａ１のみが家族伝言板に投稿された場合、スマートフォン１は、指示画像情報ＩｍＩｎ１をサーバ２に送信する。スマートフォン１は、上記指示画像情報ＩｍＩｎ１により特定される指示画像Ｉｍａ１に対応付けられた第１指示情報ＤｉｒＩ１において特定される被制御装置に、第１指示情報ＤｉｒＩ１において特定される所定の処理を実行するように指示する（Ｓ１０５）。言い換えれば、スマートフォン１は、上記指示画像Ｉｍａ１に対応付けられた第１機器特定情報ＤｉｒＩ１ａによって特定される被制御装置に、上記指示画像Ｉｍａ１に対応付けられた第１処理特定情報ＤｉｒＩ１ｂによって特定される所定の処理を実行するように指示する。
【００７５】
付加情報ＡｄＩｎ１を取得した場合（Ｓ１０２でＹＥＳ）、つまり、指示画像Ｉｍａ１とともに付加情報ＡｄＩｎ１が家族伝言板に投稿された場合、スマートフォン１は、指示画像Ｉｍａ１（指示画像情報ＩｍＩｎ１）と付加情報ＡｄＩｎ１とをサーバ２に送信して、以下の判定を行う。すなわち、上記指示画像Ｉｍａ１と上記付加情報ＡｄＩｎ１との組合せに対応付けられた処理（第２指示情報ＤｉｒＩ２）がサーバ２の指示定義テーブル２３２にあるかを判定する（Ｓ１０３）。正確には、スマートフォン１は、サーバ２に、上記指示画像Ｉｍａ１と上記付加情報ＡｄＩｎ１との組合せに対応付けられた第２指示情報ＤｉｒＩ２が指示定義テーブル２３２にあるかを判定させ、該判定の結果をサーバ２から取得する。
【００７６】
上記指示画像Ｉｍａ１と上記付加情報ＡｄＩｎ１との組合せに対応付けられた処理がない場合（Ｓ１０３でＮＯ）、スマートフォン１は、上記付加情報ＡｄＩｎ１の内容について確認を行うメッセージを表示面１２に表示する（Ｓ１０６）。
【００７７】
上記指示画像Ｉｍａ１と上記付加情報ＡｄＩｎ１との組合せに対応付けられた処理がある場合（Ｓ１０３でＹＥＳ）、スマートフォン１は、指示画像Ｉｍａ１と付加情報ＡｄＩｎ１とをサーバ２に送信して、以下の処理を家庭内機器３に実行するように指示する。すなわち、上記指示画像Ｉｍａ１と上記付加情報ＡｄＩｎ１との組合せに対応付けられた第２指示情報ＤｉｒＩ２において特定されている被制御装置に、該第２指示情報ＤｉｒＩ２において特定されている処理を実行するように指示する（Ｓ１０４）。言い換えれば、上記指示画像Ｉｍａ１と上記付加情報ＡｄＩｎ１との組合せに対応付けられた第２機器特定情報ＤｉｒＩ２ａによって特定される被制御装置に、上記指示画像Ｉｍａ１と上記付加情報ＡｄＩｎ１との組合せに対応付けられた第２処理特定情報ＤｉｒＩ２ｂによって特定される処理を実行するように指示する。
【００７８】
なお、スマートフォン１によるＳ１０４に対応する、サーバ２の処理は、以下のように表現することができる。すなわち、サーバ２は、スマートフォン１から、指示画像Ｉｍａ１を特定する情報である指示画像情報ＩｍＩｎ１と、付加情報ＡｄＩｎ１とを受信する（Ｓ１０４’−１）。そして、受信した指示画像情報ＩｍＩｎ１によって特定される指示画像Ｉｍａ１に対応付けられている第１指示情報ＤｉｒＩ１において指定されている家庭内機器３に、以下の信号（制御信号）を送信する。すなわち、サーバ２は、上記第１指示情報ＤｉｒＩ１において指定されている家庭内機器３に、上記第１指示情報ＤｉｒＩ１と上記付加情報ＡｄＩｎ１との組合せに予め対応付けられた処理を実行させる信号（制御信号）を送信する（Ｓ１０４’−２）。
【００７９】
〔制御例１―指示画像とともに「おはよう」という文字を投稿する機器制御〕
図６に基づいて、ユーザが家族伝言板に指示画像Ｉｍａ１とともに付加情報ＡｄＩｎ１を投稿する場合に家族伝言板システム１００において実行される一連の処理を説明する。
【００８０】
図６は、家族伝言板において、ユーザ（お父さん）と空調装置３ｅ（微風ちゃん）との間で行われるメッセージおよび指示画像Ｉｍａ１のやり取りを表す模式図である。
【００８１】
図６に示すように、お父さん（ユーザ）は、エアコンが動いている状態を示す指示画像Ｉｍａ１と「おはよう」との文字情報（付加情報ＡｄＩｎ１）とを、メッセージとして家族伝言板に投稿している。スマートフォン１は、サーバ２に、エアコンが動いている指示画像Ｉｍａ１を示す指示画像情報ＩｍＩｎ１と、「お父さんが『おはよう』と入力した」との付加情報ＡｄＩｎ１とをサーバ２に送信する。
【００８２】
サーバ２は、指示画像テーブル２３１を参照し、スマートフォン１から受信する上記指示画像情報ＩｍＩｎ１と、上記付加情報ＡｄＩｎ１とから、以下の内容を把握する。すなわち、サーバ２は、エアコンが動いている指示画像Ｉｍａ１に、「エアコンをつける」という第１指示情報ＤｉｒＩ１が対応付けられていることを把握する。つまり、サーバ２は、上記指示画像Ｉｍａ１に対応付けられた第１機器特定情報ＤｉｒＩ１ａは「空調装置３ｅ」であり、上記指示画像Ｉｍａ１に対応付けられた第１処理特定情報ＤｉｒＩ１ｂは「電源ＯＮ」であることを把握する。
【００８３】
サーバ２は、指示定義テーブル２３２を参照し、任意の指示画像Ｉｍａ１について、該指示画像Ｉｍａ１と、スマートフォン１に入力された「おはよう」との付加情報ＡｄＩｎ１との組合せに、以下の第２指示情報ＤｉｒＩ２が対応付けられることを把握する。すなわち、上記指示画像Ｉｍａ１と上記付加情報ＡｄＩｎ１との組合せに、「第２機器特定情報ＤｉｒＩ２ａ：上記指示画像Ｉｍａ１に対応付けられた第１機器特定情報ＤｉｒＩ１ａで特定される家庭内機器３」が対応付けられることを把握する。また、上記指示画像Ｉｍａ１と上記付加情報ＡｄＩｎ１との組合せに、「第２処理特定情報ＤｉｒＩ２ｂ：上記指示画像Ｉｍａ１に対応付けられた第１処理特定情報ＤｉｒＩ１ｂで特定される処理＋『おはよう』に対応する挨拶」が対応付けられることを把握する。
【００８４】
そして、サーバ２は、上記第２機器特定情報ＤｉｒＩ２ａによって特定される家庭内機器３に、上記第２処理特定情報ＤｉｒＩ２ｂによって特定される処理を実行させる信号（制御信号）を送信する。図６の例でサーバ２は、「空調装置３ｅ（微風ちゃん）」に、「電源をＯＮにする」という処理と、「おはよう」に対応する挨拶をする処理とを実行させる制御信号を送信する。
【００８５】
上記信号を受信した空調装置３ｅは、以下の２つの処理を実行する。すなわち、空調装置３ｅ（微風ちゃん）は、「電源をＯＮにする」という処理を実行するとともに、お父さんの投稿した上記指示画像Ｉｍａ１を受け取ったというメッセージ（「エアコンの運転を始めますね！」）を家族伝言板に投稿する。また、空調装置３ｅ（微風ちゃん）は、お父さんが上記指示画像Ｉｍａ１と一緒に投稿した「おはよう」との文字に対して、「おはようございます。」との挨拶メッセージを、家族伝言板に投稿している。つまり、空調装置３ｅは「電源をＯＮにする」という処理を実行し、微風ちゃんは、「おはようございます。エアコンの運転を始めますね！」というメッセージを家族伝言板に投稿する。なお実際には、サーバ２が、空調装置３ｅに代わって、「おはようございます。エアコンの運転を始めますね！」というメッセージを家族伝言板に投稿する。ただし、サーバ２（エージェントサーバ２ａ）が、空調装置３ｅ（家庭内機器３の各々）を擬人化したキャラクタ：微風ちゃんとして、家族伝言板にメッセージ等を書き込む点については既に説明済であるため、詳細は略記する。
【００８６】
以上の概略をまとめると、スマートフォン１は以下のステップで処理を実行する。すなわち、スマートフォン１の実行する制御方法は、所定の処理を家庭内機器３（被制御装置）に実行させる制御装置の制御方法であって、上記所定の処理の実行を指示する第１指示情報ＤｉｒＩ１（指示情報）が対応付けられた指示画像Ｉｍａ１（画像）を用いて、上記所定の処理を家庭内機器３に実行させることを指示するユーザの操作を取得する操作取得ステップ（Ｓ１０１）と、上記操作取得ステップにて取得した操作において用いられた指示画像Ｉｍａ１に対応付けられた第１指示情報ＤｉｒＩ１以外の情報である付加情報ＡｄＩｎ１を取得する付加情報取得ステップ（Ｓ１０２でＹＥＳ）と、上記指示画像Ｉｍａ１に対応付けられた第１指示情報ＤｉｒＩ１と上記付加情報取得ステップにて取得した上記付加情報ＡｄＩｎ１との組合せに予め対応付けられた処理を家庭内機器３が実行するよう指示する処理指示ステップ（Ｓ１０４）と、を含む。
【００８７】
また、サーバ２が実行する処理は、以下の各ステップを含む。すなわち、家庭内機器３（被制御装置）に所定の処理の実行を指示する第１指示情報ＤｉｒＩ１（指示情報）が対応付けられた指示画像Ｉｍａ１（画像）を用いて該所定の処理を家庭内機器３に実行させることを指示するユーザの操作を取得すると、家庭内機器３に該所定の処理を実行させるスマートフォン１（制御装置）から、（ｉ）上記指示画像Ｉｍａ１を特定する情報である指示画像情報ＩｍＩｎ１（画像情報）、（ｉｉ）スマートフォン１が取得する情報であって、上記指示画像Ｉｍａ１に対応付けられた第１指示情報ＤｉｒＩ１以外の情報である付加情報ＡｄＩｎ１、を受信するサーバ受信ステップ（Ｓ１０４’−１）と、上記サーバ受信ステップにて受信した指示画像情報ＩｍＩｎ１によって特定される指示画像Ｉｍａ１に対応付けられた第１指示情報ＤｉｒＩ１において指定されている家庭内機器３に、第１指示情報ＤｉｒＩ１と付加情報ＡｄＩｎ１との組合せに予め対応付けられた処理を実行させる制御信号（信号）を送信するサーバ送信ステップ（Ｓ１０４’−２）と、を含む。
【００８８】
上記した従来の技術では、指示画像を選択することによってユーザが被制御装置に実行させることのできる処理は、該指示画像に予め対応付けられている処理のみであった。そのため、ユーザは、例えば、エアコンが動いている指示画像Ｉｍａ１と一緒に「おはよう」と投稿しても、空調装置３ｅに実行させることができる処理は、該指示画像Ｉｍａ１に予め対応付けられた処理（例えば、電源をＯＮにする処理）だけだった。
【００８９】
これに対し、スマートフォン１は、指示画像Ｉｍａ１と、ユーザが入力した付加情報ＡｄＩｎ１との組合せに対応付けられた第２指示情報ＤｉｒＩ２によって特定される処理を、該第２指示情報ＤｉｒＩ２によって特定される被制御装置に実行させることができる。ユーザは、例えば、エアコンが動いている指示画像Ｉｍａ１と一緒に「おはよう」と投稿することによって、空調装置３ｅに、該指示画像Ｉｍａ１に対応付けられた処理とともに、上記「おはよう」との投稿に対応する処理を実行させることができる。つまり、家族伝言板システム１００においては、例えば、ユーザによる「おはよう」等の所定の入力文字情報（付加情報ＡｄＩｎ１）に反応してユーザに返信するための返信メッセージ（例、「おはよう」、「いい朝だね」など）が用意されている。そして、スマートフォン１は、指示画像Ｉｍａ１とともに「おはよう」という文字情報を取得した場合、つまり、該指示画像Ｉｍａ１とともに「おはよう」という文字を家族伝言板に投稿するユーザ操作を受け付けた場合、以下の動作を実行する。すなわち、スマートフォン１は、所定の家庭内機器３に、上記返信メッセージを出力する（投稿する）ように指示する動作を実行する。
【００９０】
したがって、スマートフォン１は、指示画像Ｉｍａ１の種類を増加させずに、指示画像Ｉｍａ１とともに入力される（投稿される）付加情報ＡｄＩｎ１によって、指示画像Ｉｍａ１に対応付けられた処理以外の処理を被制御装置に実行させることができる。したがって、スマートフォン１は、指示画像Ｉｍａ１の種類を増やさずに、指示画像Ｉｍａ１を投稿することによって被制御装置（家庭内機器３）に実行させることのできる処理の種類を増やすことができ、ユーザの利便性を向上させることができる。
【００９１】
〔制御例２―指示画像とともに「外気温」という文字を投稿する機器制御〕
図７は、ユーザが指示画像Ｉｍａ１と一緒に「外気温」という文字（付加情報ＡｄＩｎ１）を家族伝言板に投稿した場合に、ユーザと家庭内機器３（空調装置３ｅ）との間で行われるメッセージおよび指示画像Ｉｍａ１のやり取りを表す模式図である。
【００９２】
図７に示すように、お父さん（ユーザ）は、エアコンが調べている状態を示す指示画像Ｉｍａ１とともに「外気温」という付加情報ＡｄＩｎ１を入力したメッセージを、家族伝言板に投稿している。お父さんによる上記の投稿（操作）を受け付けると、スマートフォン１は、サーバ２に、上記指示画像Ｉｍａ１を示す指示画像情報ＩｍＩｎ１と、「内容：外気温」であって「種別：入力情報」である付加情報ＡｄＩｎ１とを送信する。
【００９３】
サーバ２は、指示画像テーブル２３１を参照して、スマートフォン１から受信する上記指示画像情報ＩｍＩｎ１と、上記付加情報ＡｄＩｎ１とから、以下の内容を把握する。すなわち、サーバ２は、上記指示画像Ｉｍａ１に、「状態(室温、室内湿度、運転状態)を取得し、報告」という第１指示情報ＤｉｒＩ１が対応付けられていることを把握する。つまり、上記指示画像Ｉｍａ１に対応付けられる第１機器特定情報ＤｉｒＩ１ａは「空調装置３ｅ」であって、上記指示画像Ｉｍａ１に対応付けられる第１処理特定情報ＤｉｒＩ１ｂは「状態(室温、室内湿度、運転状態)を取得し、報告」であることを把握する。
【００９４】
また、サーバ２は、図４に例示する指示定義テーブル２３２を参照して、上記指示画像Ｉｍａ１と、「内容：外気温」であって「種別：入力情報」である付加情報ＡｄＩｎ１との組合せから、以下の第２指示情報ＤｉｒＩ２を取得する。すなわち、「第２機器特定情報ＤｉｒＩ２ａ：エアコン」および「第２処理特定情報ＤｉｒＩ２ｂ：室温、室内湿度、運転状態を取得し、報告する＋外気温を取得し、報告する」という第２指示情報ＤｉｒＩ２を取得する。
【００９５】
そして、サーバ２は、第２機器特定情報ＤｉｒＩ２ａによって特定される家庭内機器３に、第２処理特定情報ＤｉｒＩ２ｂによって特定される処理を実行させる制御信号を送信する。図７の例でサーバ２は、「空調装置３ｅ（微風ちゃん）」に、「室温、室内湿度、運転状態を取得し、報告する」という処理と、「外気温を取得し、報告する」という処理とを実行させる制御信号を送信する。
【００９６】
上記信号を受信した空調装置３ｅは、以下の処理を実行する。すなわち、空調装置３ｅは、「室温、室内湿度、運転状態および外気温を取得し、報告する」という処理を実行する。また、空調装置３ｅ（微風ちゃん）は、「室温：２３℃、室内湿度：４２％、運転状態：電源ＯＮです。外気温：９℃です。」との報告メッセージを、家族伝言板に投稿している。
【００９７】
つまり、家族伝言板システム１００においては、家族伝言板に指示画像Ｉｍａ１とともに投稿される（入力される）所定の文字に対応付けられる所定の処理が用意されている。そして、スマートフォン１は、指示画像Ｉｍａ１とともに「外気温」という文字を含む付加情報ＡｄＩｎ１が入力された場合は、該指示画像Ｉｍａ１に対応付けられる処理に加えて、以下の処理を空調装置３ｅに実行させる。すなわち、スマートフォン１は、「外気温を取得し、外気温について報告するメッセージを返信する（投稿する）」処理を、空調装置３ｅに実行させる。
【００９８】
なお、外気温について、空調装置３ｅは、自ら取得してもよいし、サーバ２を介して関連情報源９から取得してもよい。
【００９９】
〔制御例３―指示画像とともに「２７℃」という文字を投稿することによる機器制御〕
図８は、ユーザが、指示画像Ｉｍａ１と一緒に「２７℃」という文字（付加情報ＡｄＩｎ１）を家族伝言板に投稿した場合に、ユーザと空調装置３ｅ（微風ちゃん）との間で行われるメッセージおよび指示画像Ｉｍａ１のやり取りを表す模式図である。
【０１００】
図８に示すように、お父さん（ユーザ）は、エアコンが動いている状態を示す指示画像Ｉｍａ１とともに「２７℃」という付加情報ＡｄＩｎ１を入力したメッセージを、家族伝言板に投稿している。お父さんによる上記の投稿（操作）を受け付けると、スマートフォン１は、サーバ２に、上記指示画像Ｉｍａ１を示す指示画像情報ＩｍＩｎ１と、「内容：２７℃」であって「種別：入力情報」である付加情報ＡｄＩｎ１とを送信する。
【０１０１】
サーバ２は、指示画像テーブル２３１を参照して、スマートフォン１から受信する上記指示画像情報ＩｍＩｎ１と、上記付加情報ＡｄＩｎ１とから、以下の内容を把握する。すなわち、サーバ２は、上記指示画像Ｉｍａ１に、「エアコンをつける」という第１指示情報ＤｉｒＩ１が対応付けられていることを把握する。つまり、上記指示画像Ｉｍａ１に対応付けられる第１機器特定情報ＤｉｒＩ１ａは「空調装置３ｅ」であって、上記指示画像Ｉｍａ１に対応付けられる第１処理特定情報ＤｉｒＩ１ｂは「電源ＯＮ」であることを把握する。
【０１０２】
また、サーバ２は、図４に例示する指示定義テーブル２３２を参照して、上記指示画像Ｉｍａ１と、「内容：２７℃」であって「種別：入力情報」である付加情報ＡｄＩｎ１との組合せから、以下の第２指示情報ＤｉｒＩ２を取得する。すなわち、「第２機器特定情報ＤｉｒＩ２ａ：エアコン」および「第２処理特定情報ＤｉｒＩ２ｂ：電源ＯＮ＋目標室内温度を２７℃に設定」という第２指示情報ＤｉｒＩ２を取得する。
【０１０３】
そして、サーバ２は、第２機器特定情報ＤｉｒＩ２ａによって特定される家庭内機器３に、第２処理特定情報ＤｉｒＩ２ｂによって特定される処理を実行させる制御信号を送信する。図８の例でサーバ２は、「空調装置３ｅ（微風ちゃん）」に、「電源をＯＮにする」という処理と、「目標室内温度を２７℃に設定して運転」という処理とを実行させる制御信号を送信する。
【０１０４】
上記信号を受信した空調装置３ｅは、以下の処理を実行する。すなわち、空調装置３ｅは、「電源をＯＮにし、目標室内温度を２７℃に設定して運転」という処理を実行する。また、空調装置３ｅ（微風ちゃん）は、お父さんからの上記投稿に基づいて上記処理を実行することを報告する、「わかりましたー。お部屋の温度を２７℃にしておきますね！」との報告メッセージを、家族伝言板に投稿している。
【０１０５】
つまり、スマートフォン１は、指示画像Ｉｍａ１とともに所定の文字を含む情報（付加情報ＡｄＩｎ１）が家族伝言板に投稿された（入力された）場合に、該指示画像Ｉｍａ１に対応付けられる処理に加えて、該所定の文字に対応付けられる処理を用意している。そして、スマートフォン１は、指示画像Ｉｍａ１とともに「外気温」という文字を含む付加情報ＡｄＩｎ１が入力された場合は、該指示画像Ｉｍａ１に対応付けられる処理に加えて、外気温を取得し、外気温について報告するメッセージを返信する（投稿する）。
【０１０６】
つまり、家族伝言板システム１００においては、家庭内機器３（例えば、空調装置３ｅ）の動作を制御するための所定の文字情報（付加情報ＡｄＩｎ１）が予め格納されている。そして、エアコンが動いている状態を示す指示画像Ｉｍａ１とともに、上記所定の文字情報がスマートフォン１に入力された場合、該指示画像Ｉｍａ１に対応付けられる処理に加えて、該所定の文字情報に対応付けられる処理を、空調装置３ｅに実行させる。例えば、エアコンが動いている状態を示す指示画像Ｉｍａ１とともに、「○○（数値）＋℃」という文字情報を取得した場合、スマートフォン１は、空調装置３ｅに、目標室内温度を「○○℃」に設定して運転を行うよう指示する。
【０１０７】
〔制御例４―指示画像とともに未定義の文字が投稿された場合の処理〕
図９は、ユーザが、指示画像Ｉｍａ１と一緒に「２３」という文字（付加情報ＡｄＩｎ１）を家族伝言板に投稿した場合に、ユーザと空調装置３ｅ（微風ちゃん）との間で行われるメッセージおよび指示画像Ｉｍａ１のやり取りを表す模式図である。
【０１０８】
図９に示すように、お父さん（ユーザ）は、エアコンが動いている状態を示す指示画像Ｉｍａ１とともに「２３」という付加情報ＡｄＩｎ１を入力したメッセージを、家族伝言板に投稿している。お父さんによる上記の投稿（操作）を受け付けると、スマートフォン１は、サーバ２に、上記指示画像Ｉｍａ１を示す指示画像情報ＩｍＩｎ１と、「内容：２３」であって「種別：入力情報」である付加情報ＡｄＩｎ１とを送信する。
【０１０９】
サーバ２は、指示画像テーブル２３１を参照して、上記指示画像Ｉｍａ１に対応付けられる第１機器特定情報ＤｉｒＩ１ａは「空調装置３ｅ」であって、上記指示画像Ｉｍａ１に対応付けられる第１処理特定情報ＤｉｒＩ１ｂは「電源ＯＮ」であることを把握する。
【０１１０】
また、サーバ２は、図４に例示する指示定義テーブル２３２を参照して、上記指示画像Ｉｍａ１と、「内容：２３」であって「種別：入力情報」である付加情報ＡｄＩｎ１との組合せに対応付けられる第２指示情報ＤｉｒＩ２が無いかを判定する。そして、上記指示画像Ｉｍａ１と、「内容：２３」であって「種別：入力情報」である付加情報ＡｄＩｎ１との組合せに対応付けられる第２指示情報ＤｉｒＩ２が無いと判定すると、サーバ２は該判定の結果をスマートフォン１に通知する。スマートフォン１は、サーバ２から上記判定の結果を通知されると、上記付加情報ＡｄＩｎ１の内容について確認を行うメッセージを表示面１２に表示する。例えば、図９に示すように、スマートフォン１は、「今すぐ運転？」、「２３℃運転？」、「２３時に運転？」、「２３時まで運転？」および「その他」という内容の回答ボタン付きの返信を家族伝言板に投稿する。そして、空調装置３ｅにどのような処理を実行させるかを、上記返信に対するユーザからの回答によって決定する。
【０１１１】
なお、スマートフォン１は、サーバ２に、図４の指示定義テーブル２３２の６行目を参照させて、サーバ２に、「空調装置３ｅ」に「○○の内容について確認を行うメッセージを家族伝言板に投稿」させる信号を送信させてもよい。ここで、図４の指示定義テーブル２３２の６行目には、エアコンが動いている指示画像Ｉｍａ１と、「内容：○○」であって「種別：入力情報」である付加情報ＡｄＩｎ１との組合せに、以下の第２指示情報ＤｉｒＩ２が対応付けられている。すなわち、「第１機器特定情報ＤｉｒＩ１ａ：エアコン」および「第１処理特定情報ＤｉｒＩ１ｂ：電源ＯＮ」と、上記付加情報ＡｄＩｎ１との組合せに、「○○の内容について確認を行うメッセージを家族伝言板に投稿」という第２指示情報ＤｉｒＩ２が対応付けられている。正確には、上記指示画像Ｉｍａ１と上記付加情報ＡｄＩｎ１との組合せに、「第２機器特定情報ＤｉｒＩ２ａ：エアコン」および「第２処理特定情報ＤｉｒＩ２ｂ：○○の内容について確認を行うメッセージを家族伝言板に投稿」が対応付けられている。したがって、サーバ２は、第２機器特定情報ＤｉｒＩ２ａによって特定される空調装置３ｅに、「『２３』の内容について確認を行うメッセージを家族伝言板に投稿」を実行させる制御信号を送信する。
【０１１２】
上記信号を受信した空調装置３ｅは、「『２３』の内容について確認を行うメッセージを家族伝言板に投稿」という処理を実行する。具体的には、空調装置３ｅは、「今すぐ運転？」、「２３℃運転？」、「２３時に運転？」、「２３時まで運転？」および「その他」という内容の回答ボタン付きの返信を家族伝言板に投稿する。
【０１１３】
スマートフォン１、サーバ２、および空調装置３ｅが実行する上記の処理は、以下のように理解することができる。すなわち、指示画像Ｉｍａ１とともに家族伝言板に投稿された文字情報が、つまり、スマートフォン１が指示画像Ｉｍａ１とともに入力を受け付けた付加情報ＡｄＩｎ１が、数字だけで構成されている場合、当該数字によってユーザが意図している処理の内容が不明確である。そこで、スマートフォン１は、例えば、エアコンが動いている状態を示す指示画像Ｉｍａ１とともに数字だけを家族伝言板に投稿する（入力する）ユーザ操作を受け付けた場合、以下の動作を実行する。すなわち、上記数字が、「設定温度（℃）」、「（運転開始）時刻」、「（運転終了）時刻」等のいずれを指示するものなのかを確認するため、スマートフォン１は、ユーザが容易に回答できる内容の返信メッセージを家族伝言板に投稿する。
【０１１４】
〔スマートフォン１が奏する効果〕
スマートフォン１は、指示画像Ｉｍａ１と付加情報ＡｄＩｎ１とを家族伝言板に投稿する操作を受け付けた場合、つまり、指示画像Ｉｍａ１とともに付加情報ＡｄＩｎ１を取得した場合、以下の処理を、家庭内機器３（被制御装置）に実行させる。すなわち、上記指示画像Ｉｍａ１と上記付加情報ＡｄＩｎ１との組合せに応じた処理を、家庭内機器３に実行させる。例えば、スマートフォン１は、指示画像Ｉｍａ１とともに付加情報ＡｄＩｎ１を取得した場合、該指示画像Ｉｍａ１に対応付けられる処理に加えて、上記付加情報ＡｄＩｎ１に応じた処理を、家庭内機器３に実行させる。したがって、スマートフォン１は、指示画像Ｉｍａ１の種類を抑えつつ、指示画像Ｉｍａ１を用いてユーザが家庭内機器３に実行させることのできる処理の種類を増やすことができる。つまり、スマートフォン１は、指示画像Ｉｍａ１の選択に係るユーザの負担を抑制しつつ、ユーザが指示することのできる所定の処理の種類を増やすことにより、ユーザの利便性を向上させることができる。
【０１１５】
〔実施形態２〕
本発明の他の実施形態について、図１０および図１１に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材、および上記実施形態にて説明した処理と同様の処理については、それぞれ上記実施形態と同じ符号を付し、その説明を省略する。
【０１１６】
まず、本実施形態に係る家族伝言板システム２００（制御システム）の概要を図１０に基づいて説明する。図１０は、家族伝言板システム２００の概要を示す図である。図に示すように、家族伝言板システム２００は、スマートフォン４（制御装置）、サーバ２、および家庭内機器３を含む。家族伝言板システム２００におけるサーバ２と家庭内機器３とは、家族伝言板システム１００におけるサーバ２と家庭内機器３と同様なので説明を省略する。
【０１１７】
最初にスマートフォン４の概要を説明しておけば以下の通りである。すなわち、スマートフォン４が取得する付加情報ＡｄＩｎ２は、第１入力制御部１１１（操作取得手段）が、指示画像Ｉｍａ１を家族伝言板に投稿する（指示画像Ｉｍａ１を指定する）操作を受け付けた時刻である。つまり、スマートフォン４は、指示画像Ｉｍａ１に対応付けられる所定の処理を家庭内機器３（被制御装置）に実行させることを指示する操作を第１入力制御部１１１が取得した時刻である付加情報ＡｄＩｎ２を取得する。以下、詳細を説明する。
【０１１８】
〔構成の詳細〕
図１０に示す通り、スマートフォン４は、家族伝言板システム１００におけるスマートフォン１の構成に加えてさらに、タイマ１６と時刻情報取得部１１６とを備える。
【０１１９】
タイマ１６は、現在時刻を計時する。
【０１２０】
時刻情報取得部１１６は、第１入力制御部１１１が、指示画像Ｉｍａ１を家族伝言板に投稿する操作を取得した（操作を受け付けた）時刻を、タイマ１６から取得する。つまり、時刻情報取得部１１６は、第１入力制御部１１１が、指示画像Ｉｍａ１に対応付けられる所定の処理を家庭内機器３（被制御装置）に実行させることを指示する操作を取得した時刻をタイマ１６から取得する。なお、時刻情報取得部１１６は、ユーザが表示面１２に表示されている指示画像Ｉｍａ１を選択した時刻を取得できればよく、該自国の取得元がタイマ１６であることは必須ではない。
【０１２１】
図１１は、ユーザ（お父さん）が、エアコンが動いている状態を示す指示画像Ｉｍａ１を家族伝言板に投稿した場合に、ユーザと空調装置３ｅ（微風ちゃん）との間で行われるメッセージおよび指示画像Ｉｍａ１のやり取りを表す模式図である。この例では、スマートフォン４は、お父さんが上記指示画像Ｉｍａ１を家族伝言板に投稿した時刻を、上記指示画像Ｉｍａ１の送信時刻として取得する。
【０１２２】
図１１に示すように、お父さんは、４月２９日の１８時５０分に、エアコンが動いている状態を示す指示画像Ｉｍａ１を、家族伝言板に投稿している。そして、スマートフォン４（時刻情報取得部１１６）は、お父さんが上記指示画像Ｉｍａ１を家族伝言板に投稿した時刻：１８時５０分を、付加情報ＡｄＩｎ２として取得する。
【０１２３】
スマートフォン４は、サーバ２に、エアコンが動いている指示画像Ｉｍａ１を示す指示画像情報ＩｍＩｎ１と、「内容：１８時５０分」であって「種別：送信時刻」である付加情報ＡｄＩｎ２とを送信する。
【０１２４】
サーバ２は、指示画像テーブル２３１を参照して、上記指示画像Ｉｍａ１に対応付けられる第１機器特定情報ＤｉｒＩ１ａは「空調装置３ｅ」であって、上記指示画像Ｉｍａ１に対応付けられる第１処理特定情報ＤｉｒＩ１ｂは「電源ＯＮ」であることを把握する。
【０１２５】
また、サーバ２は、図４に例示する指示定義テーブル２３２を参照して、エアコンが動いている指示画像Ｉｍａ１と、「内容：１８時５０分」であって「種別：送信時刻」である付加情報ＡｄＩｎ２との組合せから、以下の第２指示情報ＤｉｒＩ２を取得する。すなわち、「第１機器特定情報ＤｉｒＩ１ａ：エアコン」および「第１処理特定情報ＤｉｒＩ１ｂ：電源ＯＮ」と、上記付加情報ＡｄＩｎ２との組合せから、「エアコンをつけ、送信時刻に対応する挨拶をする」という第２指示情報ＤｉｒＩ２を取得する。正確には、エアコンが動いている指示画像Ｉｍａ１と上記付加情報ＡｄＩｎ２との組合せには、「第２機器特定情報ＤｉｒＩ２ａ：エアコン」および「第２処理特定情報ＤｉｒＩ２ｂ：電源ＯＮ＋送信時刻に対応する挨拶」が対応付けられている。
【０１２６】
そして、サーバ２は、第２機器特定情報ＤｉｒＩ２ａによって特定される家庭内機器３に、第２処理特定情報ＤｉｒＩ２ｂによって特定される処理を実行させる制御信号を送信する。図１１の例でサーバ２は、「空調装置３ｅ（微風ちゃん）」に、「電源をＯＮにする」という処理と、「１８時５０分」という送信時刻に対応する挨拶として、「『お疲れ様です。』という挨拶をする」処理とを実行させる制御信号を送信する。
【０１２７】
上記信号を受信した空調装置３ｅは、以下の処理を実行する。すなわち、空調装置３ｅ（微風ちゃん）は、「電源をＯＮにする」という処理を実行するとともに、お父さんの投稿した上記指示画像Ｉｍａ１を受け取ったというメッセージ（「エアコンの運転を始めますね！」）を家族伝言板に投稿する。また、空調装置３ｅ（微風ちゃん）は、「１８時５０分」という送信時刻に対応する挨拶として、「お疲れ様です。」との挨拶メッセージを、家族伝言板に投稿している。つまり、空調装置３ｅは「電源をＯＮにする」という処理を実行し、微風ちゃんは、「お疲れ様です。エアコンの運転を始めますね！」というメッセージを家族伝言板に投稿する。
【０１２８】
つまり、スマートフォン４は、指示画像Ｉｍａ１と、該指示画像Ｉｍａ１を家族伝言板に投稿する操作を第１入力制御部１１１が取得した時刻である付加情報ＡｄＩｎ２と、に応じた処理を、家庭内機器３に実行させる。
【０１２９】
〔実施形態３〕
本発明の他の実施形態について、図１２、１３および１４に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材、および上記実施形態にて説明した処理と同様の処理については、それぞれ上記実施形態と同じ符号を付し、その説明を省略する。
【０１３０】
まず、本実施形態に係る家族伝言板システム３００（制御システム）の概要を図１２に基づいて説明する。図１２は、家族伝言板システム３００の概要を示す図である。図に示すように、家族伝言板システム３００は、スマートフォン５（制御装置）、サーバ２、および家庭内機器３を含む。家族伝言板システム３００におけるサーバ２と家庭内機器３とは、家族伝言板システム１００におけるサーバ２と家庭内機器３と同様なので説明を省略する。
【０１３１】
最初にスマートフォン５の概要を説明しておけば、以下の通りである。すなわち、スマートフォン５が取得する付加情報ＡｄＩｎ３は、第１入力制御部１１１（操作取得手段）が、指示画像Ｉｍａ１を家族伝言板に投稿する（指示画像Ｉｍａ１を指定する）操作を受け付けた時刻におけるスマートフォン５の位置を示す情報である。つまり、スマートフォン５は、指示画像Ｉｍａ１に対応付けられる所定の処理を家庭内機器３（被制御装置）に実行させることを指示する操作を第１入力制御部１１１が取得した時刻における、スマートフォン５の位置情報である付加情報ＡｄＩｎ３を取得する。以下、詳細を説明する。
【０１３２】
〔構成の詳細〕
図１２に示す通り、スマートフォン５は、家族伝言板システム１００におけるスマートフォン１（家族伝言板システム２００におけるスマートフォン４）の構成に加えてさらに、測位部１５と位置情報取得部１１７とを備える。
【０１３３】
測位部１５は、スマートフォン５の位置を測定するために必要な情報を取得するものである。測位部１５によって取得された測位データは、制御部５０に入力され、制御部５０が、ユーザの位置を表す位置情報を取得するために用いられる。測位部１５は、例えば、全地球測位システム（ＧＰＳ；Global Positioning System）におけるＧＰＳアンテナを含む機構によって実現される。この場合、測位部１５は、ＧＰＳ衛星から発信された衛星電波に含まれる測位データ（ＧＰＳデータ）を受信する。ＧＰＳデータは、位置情報取得部１１７に供給される。
【０１３４】
位置情報取得部１１７は、測位部１５によって検出された情報信号に基づいて、スマートフォン５の位置情報を、つまり、スマートフォン５を所持するユーザの位置情報を取得する。測位部１５からＧＰＳデータが供給された場合、位置情報取得部１１７は、ＧＰＳデータに基づいて、電波の伝播時間等を算出し、緯度経度情報を位置情報として求める。位置情報取得部１１７は、特に、第１入力制御部１１１（操作取得手段）が、指示画像Ｉｍａ１を家族伝言板に投稿する（指示画像Ｉｍａ１を指定する）操作を受け付けた時刻におけるスマートフォン５の位置の情報を取得する。なお、位置情報取得部１１７が取得する位置情報は、緯度経度情報に限定されない。
【０１３５】
図１３は、ユーザが指示画像Ｉｍａ１と一緒に「今から車で帰ります」という文字（付加情報ＡｄＩｎ１）を家族伝言板に投稿した場合に、ユーザと家庭内機器３との間で行われるメッセージおよび指示画像Ｉｍａ１のやり取りを表す模式図である。この例では、スマートフォン５は、お父さんが上記指示画像Ｉｍａ１を家族伝言板に投稿した時刻にお父さんが居た位置の（つまり、スマートフォン５の位置の）情報を、上記指示画像Ｉｍａ１の送信場所として、取得する。
【０１３６】
図１３に示すように、お父さんは、２９日（４月２９日）の１８時５０分に、エアコンが動いている状態を示す指示画像Ｉｍａ１とともに「今から車で帰ります」という付加情報ＡｄＩｎ１を入力したメッセージを、家族伝言板に投稿している。お父さんによる上記の投稿（操作）を受け付けると、スマートフォン５は、以下の３つの付加情報を取得する。すなわち、スマートフォン５の第２入力制御部１１２は、「内容：今から車で帰ります」であって「種別：入力情報」である付加情報ＡｄＩｎ１を取得する。また、スマートフォン５の時刻情報取得部１１６は、お父さんが上記指示画像Ｉｍａ１を家族伝言板に投稿した時刻：「１８時５０分」を、付加情報ＡｄＩｎ２として取得する。さらに、スマートフォン５の位置情報取得部１１７は、お父さんが上記指示画像Ｉｍａ１を家族伝言板に投稿した時刻においてお父さんが居た位置の（つまり、スマートフォン５の位置の）情報：「○○付近」を、付加情報ＡｄＩｎ３として取得する。
【０１３７】
そして、スマートフォン５は、サーバ２に、上記指示画像Ｉｍａ１を示す指示画像情報ＩｍＩｎ１とともに、上記３つの付加情報ＡｄＩｎ１、ＡｄＩｎ２、ＡｄＩｎ３を送信する。すなわち、スマートフォン５は、上記指示画像情報ＩｍＩｎ１と、「内容：今から車で帰ります」であって「種別：入力情報」である付加情報ＡｄＩｎ１と、「内容：１８時５０分」であって「種別：送信時刻」である付加情報ＡｄＩｎ２と、「内容：○○付近」であって「種別：送信場所」である付加情報ＡｄＩｎ３とを、サーバ２に送信する。
【０１３８】
サーバ２は、指示画像テーブル２３１を参照して、上記指示画像Ｉｍａ１に対応付けられる第１機器特定情報ＤｉｒＩ１ａは「空調装置３ｅ」であって、上記指示画像Ｉｍａ１に対応付けられる第１処理特定情報ＤｉｒＩ１ｂは「電源ＯＮ」であることを把握する。
【０１３９】
また、サーバ２は、図４に例示する指示定義テーブル２３２を参照して、エアコンが動いている指示画像Ｉｍａ１と、上記３つの付加情報ＡｄＩｎ１、ＡｄＩｎ２、ＡｄＩｎ３との組合せから、以下の第２指示情報ＤｉｒＩ２を取得する。すなわち、「第２機器特定情報ＤｉｒＩ２ａ：エアコン」および「第２処理特定情報ＤｉｒＩ２ｂ：電源ＯＮ＋（ｉ）入力情報から移動手段「車」を推定する。（ｉｉ）該移動手段による、送信場所から自宅までの移動時間を算出する。（ｉｉｉ）送信時刻と移動時間とから、帰宅時刻を算出する。（ｉｖ）帰宅時刻までに室内温度が所与の目標室内温度になるように運転。」という第２指示情報ＤｉｒＩ２を取得する。
【０１４０】
そして、サーバ２は、第２機器特定情報ＤｉｒＩ２ａによって特定される家庭内機器３に、第２処理特定情報ＤｉｒＩ２ｂによって特定される処理を実行させる制御信号を送信する。具体的には、サーバ２は、「空調装置３ｅ」に、「電源をＯＮにする」という処理に加えて、以下の処理を実行するように指示する制御信号を送信する。すなわち、サーバ２は、先ず（ｉ）「今から『車』で帰ります」という入力情報（付加情報ＡｄＩｎ１）から移動手段：「車」を推定する。次に、サーバ２は、（ｉｉ）移動手段：「車」という情報を用いて、「○○付近」という送信場所（付加情報ＡｄＩｎ３）から自宅までの移動時間を、算出する。その結果、サーバ２は、例えば、移動時間：１時間１０分を算出する。そして、サーバ２は、（ｉｉｉ）移動時間：１時間１０分と、「１８時５０分」という送信時刻（付加情報ＡｄＩｎ２）とから、帰宅時刻を算出する。つまり、サーバ２は、帰宅時刻：２０時を算出する。したがって、サーバ２は、（ｉｖ）「帰宅時刻：２０時までに室内温度が所与の目標室内温度になるように運転。」という処理を、「電源をＯＮにする」という処理に加えて実行するように指示する信号を、「空調装置３ｅ」に送信する。つまり、図１３の例でサーバ２は、「空調装置３ｅ（微風ちゃん）」に、「電源をＯＮにする」という処理と、上記（ｉ）から（ｉｖ）に対応する「帰宅時刻＝２０時に室内温度が所与の目標室内温度になるように運転」という処理とを実行させる制御信号を送信する。
【０１４１】
上記信号を受信した空調装置３ｅは、「電源をＯＮにする」という処理と、「帰宅時刻＝２０時に室内温度が所与の目標室内温度になるように運転」するという処理とを実行する。また、微風ちゃんは、取得した上記送信位置、上記送信時刻、および上記「車」という移動手段から算出する（想定）帰宅時刻とを確認するとともに、空調装置３ｅが実行しようとしている処理の当否を確認するメッセージを、家族伝言板に投稿する。つまり、微風ちゃんは、「○○付近にいらっしゃいますね。２０時頃にご帰宅ですね。ご帰宅時刻に合わせて、エアコンの運転を始めます！」というメッセージを家族伝言板に投稿する。なお、上記の例で微風ちゃんは、送信位置、帰宅時刻、および空調装置３ｅが実行しようとしている処理の当否を確認するメッセージを投稿している。しかしながら、微風ちゃんがこれらの事項の全てを確認することは必須ではないし、また、別の事項を確認してもよい。例えば、微風ちゃんは、空調装置３ｅが実行しようとしている処理の当否のみを確認してもよい。
【０１４２】
スマートフォン５は、指示画像Ｉｍａ１と、該指示画像Ｉｍａ１が家族伝言板に投稿された時刻におけるスマートフォン５の位置を示す情報である付加情報ＡｄＩｎ３との組合せに応じた処理を、家庭内機器３に実行させる。また、家族伝言板システム３００においては、予め、「今」、「車」、「帰宅」などの所定の文字が、付加情報ＡｄＩｎ１を構成する文字として準備されている。そして、ユーザが指示画像Ｉｍａ１とともに家族伝言板に投稿した付加情報ＡｄＩｎ１を形態素解析することによって、「今」、「車」、「帰宅」などの所定の文字を抽出した場合、該所定の文字を含む付加情報ＡｄＩｎ１に応じた処理を、家庭内機器３に実行させる。
【０１４３】
例えば、空調装置３ｅが、自宅の室内温度を上記所定の目標室内温度にするのに３０分を要するものとする。空調装置３ｅは、お父さんの帰宅時刻＝２０時に、室内温度が所与の目標室内温度になるように運転すればよいので、つまり、１９時半から運転を開始すればよいことになる。お父さんが、エアコンが動いている状態を示す指示画像Ｉｍａ１を家族伝言板に投稿した直後（１８時５０分）に空調装置３ｅが動作を開始すると、空調装置３ｅは、無駄な時間（４０分）余分に運転することになる。
【０１４４】
一方、スマートフォン５は、指示画像Ｉｍａ１と、該指示画像Ｉｍａ１の投稿（送信）時刻におけるスマートフォン５の位置情報である付加情報ＡｄＩｎ３との組合せに応じた処理を家庭内機器３に実行させる。したがって、スマートフォン５は、例えば、家庭内機器３をより効率的に動作させることができる。
【０１４５】
図１４は、ユーザが指示画像Ｉｍａ１のみを家族伝言板に投稿した場合に、ユーザと家庭内機器３との間で行われるメッセージおよび指示画像Ｉｍａ１のやり取りを表す模式図である。この例では、スマートフォン５は、お父さんが上記指示画像Ｉｍａ１を家族伝言板に投稿した時刻と、該時刻におけるスマートフォン５の位置情報とを取得する。
【０１４６】
図１４に示すように、お父さんは、２９日（４月２９日）の１８時５０分に、エアコンが動いている状態を示す指示画像Ｉｍａ１を家族伝言板に投稿している。お父さんによる上記の投稿（操作）を受け付けると、スマートフォン５は、以下の２つの付加情報を取得する。すなわち、スマートフォン５の時刻情報取得部１１６は、お父さんが上記指示画像Ｉｍａ１を家族伝言板に投稿した時刻：「１８時５０分」を、付加情報ＡｄＩｎ２として取得する。また、スマートフォン５の位置情報取得部１１７は、お父さんが上記指示画像Ｉｍａ１を家族伝言板に投稿した時刻においてお父さんが居た位置の（つまり、スマートフォン５の位置の）情報：「○○付近」を、付加情報ＡｄＩｎ３として取得する。
【０１４７】
そして、スマートフォン５は、サーバ２に、上記指示画像Ｉｍａ１を示す指示画像情報ＩｍＩｎ１とともに、上記２つの付加情報ＡｄＩｎ２およびＡｄＩｎ３を送信する。すなわち、スマートフォン５は、上記指示画像情報ＩｍＩｎ１と、「内容：１８時５０分」であって「種別：送信時刻」である付加情報ＡｄＩｎ２と、「内容：○○付近」であって「種別：送信場所」である付加情報ＡｄＩｎ３とを、サーバ２に送信する。
【０１４８】
サーバ２は、指示画像テーブル２３１を参照して、上記指示画像Ｉｍａ１に対応付けられる第１機器特定情報ＤｉｒＩ１ａは「空調装置３ｅ」であって、上記指示画像Ｉｍａ１に対応付けられる第１処理特定情報ＤｉｒＩ１ｂは「電源ＯＮ」であることを把握する。
【０１４９】
また、サーバ２は、図４に例示する指示定義テーブル２３２を参照して、エアコンが動いている指示画像Ｉｍａ１と、上記２つの付加情報ＡｄＩｎ１、ＡｄＩｎ２、ＡｄＩｎ３との組合せから、以下の第２指示情報ＤｉｒＩ２を取得する。すなわち、「第２機器特定情報ＤｉｒＩ２ａ：エアコン」および「第２処理特定情報ＤｉｒＩ２ｂ：電源ＯＮ＋（ｉ）操作履歴情報等に基づいて、送信時刻および送信場所から、帰宅時刻を推定する。（ｉｉ）帰宅時刻までに室内温度が所与の目標室内温度になるように運転。」という第２指示情報ＤｉｒＩ２を取得する。
【０１５０】
そして、サーバ２は、第２機器特定情報ＤｉｒＩ２ａによって特定される家庭内機器３に、第２処理特定情報ＤｉｒＩ２ｂによって特定される処理を実行させる制御信号を送信する。具体的には、サーバ２は、「空調装置３ｅ」に、「電源をＯＮにする」という処理に加えて、以下の処理を実行するように指示する制御信号を送信する。すなわち、サーバ２は、先ず（ｉ）スマートフォン５の操作履歴情報等に基づいて、送信時刻および送信場所から、帰宅時刻を推定する。例えば、サーバ２は、スマートフォン５の操作履歴情報等に基づいて、つまり、お父さんの普段の行動履歴に基づいて、お父さんが、「１８時５０分」頃に、「○○付近」に居る場合には、お父さんの帰宅時刻は「２０時」頃になると推定してもよい。また、サーバ２は、スマートフォン５の操作履歴情報等に基づいて、つまり、お父さんの普段の行動履歴に基づいて、お父さんが、「１８時５０分」頃に、「○○付近」に居る場合には、「車で帰宅する」（移動手段：「車」）と推定してもよい。そして、付加情報ＡｄＩｎ３：「○○付近」、家の位置情報、および上記移動手段：「車」に基づいて、帰宅に要する移動時間を算出し、該移動時間と付加情報ＡｄＩｎ２：「１８時５０分」とから、お父さんの帰宅時刻は「２０時」頃になると推定してもよい。
【０１５１】
そして、サーバ２は、（ｉｉ）「帰宅時刻：２０時までに室内温度が所与の目標室内温度になるように運転。」という処理を、「電源をＯＮにする」という処理に加えて実行するように指示する信号を、「空調装置３ｅ」に送信する。図１４の例でサーバ２は、「空調装置３ｅ（微風ちゃん）」に、「電源をＯＮにする」という処理と、上記（ｉ）および（ｉｉ）に対応する「帰宅時刻＝２０時に室内温度が所与の目標室内温度になるように運転」という処理とを実行させる制御信号を送信する。
【０１５２】
上記信号を受信した空調装置３ｅは、「電源をＯＮにする」という処理と、「帰宅時刻＝２０時に室内温度が所与の目標室内温度になるように運転」するという処理とを実行する。また、微風ちゃんは、上記送信位置、（想定）帰宅時刻、および、空調装置３ｅが実行しようとしている処理の当否を確認するメッセージを、家族伝言板に投稿する。
【０１５３】
スマートフォン５は、指示画像Ｉｍａ１と、該指示画像Ｉｍａ１が家族伝言板に投稿された時刻におけるスマートフォン５の位置を示す情報である付加情報ＡｄＩｎ３との組合せに応じた処理を、家庭内機器３に実行させる。さらに、スマートフォン５は、上記指示画像Ｉｍａ１と、上記付加情報ＡｄＩｎ３と、ユーザによるスマートフォン５の使用履歴などの情報との組合せに応じた処理を、家庭内機器３に実行させる。
【０１５４】
なお、上記の説明においては、サーバ２が、ユーザ（お父さん）の帰宅時刻を算出する例を説明したが、スマートフォン５が、ユーザの帰宅時刻を算出してもよい。
【０１５５】
〔実施形態４〕
上記までに説明してきた家族伝言板システム１００、２００、３００においては、以下の複数の処理（機能）が複数の装置、サーバに分散されて実行される構成となっていた。すなわち、ユーザの選択した指示画像Ｉｍａ１と、指示画像Ｉｍａ１に対応付けられた第１指示情報ＤｉｒＩ１以外の情報であって、該指示画像Ｉｍａ１とともに付加情報ＡｄＩｎ１とを取得する機能は、スマートフォン１、４、５によって実行されていた。上記指示画像Ｉｍａ１（指示画像情報ＩｍＩｎ１）と上記付加情報ＡｄＩｎ１との組合せに予め対応付けられている第２指示情報ＤｉｒＩ２を取得する機能は、サーバ２によって実行されていた。また、第２指示情報ＤｉｒＩ２の第２機器特定情報ＤｉｒＩ２ａによって特定される被制御装置に、第２指示情報ＤｉｒＩ２の第２処理特定情報ＤｉｒＩ２ｂによって特定される処理の実行を指示する信号を送信する機能は、サーバ２によって実行されていた。上記第２処理特定情報ＤｉｒＩ２ｂによって特定される処理を実行する機能は、各家庭内機器３によって実行されていた。
【０１５６】
しかしながら、１つのサーバ内で各々の機能を実現してもよいし、各々の機能を有するサーバが個別に複数存在してもよいし、個々のサーバは異なる事業者によって管理されていてもよい。例えば、指示画像Ｉｍａ１と付加情報ＡｄＩｎ１とを取得する機能、指示画像Ｉｍａ１（指示画像情報ＩｍＩｎ１）と付加情報ＡｄＩｎ１との組合せに予め対応付けられている第２指示情報ＤｉｒＩ２を取得する機能、第２指示情報ＤｉｒＩ２の第２機器特定情報ＤｉｒＩ２ａによって特定される被制御装置に、第２指示情報ＤｉｒＩ２の第２処理特定情報ＤｉｒＩ２ｂによって特定される処理の実行を指示する信号を送信する機能は、全て、スマートフォン６が実行するとしてもよい。
【０１５７】
図１５は、指示画像Ｉｍａ１と付加情報ＡｄＩｎ１とを取得し、指示画像Ｉｍａ１（指示画像情報ＩｍＩｎ１）と付加情報ＡｄＩｎ１との組合せに予め対応付けられている第２指示情報ＤｉｒＩ２を取得し、第２指示情報ＤｉｒＩ２の第２機器特定情報ＤｉｒＩ２ａによって特定される被制御装置に、第２指示情報ＤｉｒＩ２の第２処理特定情報ＤｉｒＩ２ｂによって特定される処理の実行を指示する信号を送信するスマートフォン６の構成を示す図である。
【０１５８】
図１５に例示するスマートフォン６は、サーバ２のサーバ記憶部２３に格納されていた指示画像テーブル２３１および指示定義テーブル２３２に対応する指示画像テーブル１７１および指示定義テーブル１７２を、記憶部１７に格納している。そして、スマートフォン６の処理指示部１１４は、第１入力制御部１１１から指示画像Ｉｍａ１を、第２入力制御部１１２から付加情報ＡｄＩｎ１を取得する。そして、処理指示部１１４は、指示画像テーブル１７１および指示定義テーブル１７２を参照して、上記指示画像Ｉｍａ１と上記付加情報ＡｄＩｎ１との組合せに予め対応付けられている第２指示情報ＤｉｒＩ２を取得する。スマートフォン６の通信部１３は、上記第２指示情報ＤｉｒＩ２の第２機器特定情報ＤｉｒＩ２ａによって特定される被制御装置に、第２指示情報ＤｉｒＩ２の第２処理特定情報ＤｉｒＩ２ｂによって特定される処理の実行を指示する制御信号を送信する。
【０１５９】
〔実施形態５〕
スマートフォン１、４、５、６、サーバ２、および家庭内機器３の各ブロックは、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。後者の場合、スマートフォン１、４、５、６、サーバ２、および家庭内機器３を図１３に示すようなコンピュータ（電子計算機）を用いて構成することができる。図１３は、スマートフォン１、４、５、６、サーバ２、および家庭内機器３として利用可能なコンピュータ１０００の構成を例示したブロック図である。
【０１６０】
コンピュータ１０００は、図１３に示すように、バス１１００を介して互いに接続された演算装置１２００と、主記憶装置１３００と、補助記憶装置１４００と、入出力インタフェース１５００とを備えている。演算装置１２００、主記憶装置１３００、および補助記憶装置１４００は、それぞれ、例えばＣＰＵ、ＲＡＭ（random access memory）、ハードディスクドライブであってもよい。なお、主記憶装置１３００は、コンピュータ読み取り可能な「一時的でない有形の媒体」であればよく、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブル論理回路などを用いることができる。
【０１６１】
入出力インタフェース１５００には、入力装置２０００および出力装置３０００が接続される。スマートフォン１、４、５、６、サーバ２、および家庭内機器３の入力装置２０００および出力装置３０００は、他のサーバまたは装置から送信されるデータの受信、および他のサーバまたは装置へのデータの送信を行う。スマートフォン１、４、５、６、および家庭内機器３の入力装置２０００および出力装置３０００は、さらに、ユーザからの音声および文字等の入力操作の取得、およびユーザへの発話等を行う。
【０１６２】
補助記憶装置１４００には、コンピュータ１０００をスマートフォン１、４、５、６、サーバ２、および家庭内機器３として動作させるための各種プログラムが格納されている。そして、演算装置１２００は、補助記憶装置１４００に格納された上記各プログラムを主記憶装置１３００上に展開し、主記憶装置１３００上に展開された上記各プログラムに含まれる命令を実行することによって、コンピュータ１０００を、スマートフォン１、４、５、６、サーバ２、および家庭内機器３が備える各部として機能させる。
【０１６３】
なお、ここでは、内部記録媒体である補助記憶装置１４００に記録されている上記各プログラムを用いてコンピュータ１０００を機能させる構成について説明したが、外部記録媒体に記録されているプログラムを用いてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
【０１６４】
〔変形例〕
（ネットワークアダプタについて）
空調装置３ｅ（家庭内機器３）の備える、上記第２処理特定情報ＤｉｒＩ２ｂによって特定される処理を実行する機能は、空調装置３ｅに取付けられたネットワークアダプタが備えていてもよい。
【０１６５】
（付加情報のキャンセル機能について）
なお、これまで、ユーザによって選択された（投稿された）指示画像Ｉｍａ１と、付加情報ＡｄＩｎ１との組合せに応じた（予め対応付けられた）処理を、家庭内機器３（被制御装置）に実行させる例を中心に説明してきた。
【０１６６】
しかしながら、ユーザは、指示画像Ｉｍａ１と付加情報ＡｄＩｎ１との組合せに応じた処理ではなく、選択した指示画像Ｉｍａ１にのみ応じた処理を、家庭内機器３に実行させることができてもよい。すなわち、スマートフォン１、４、５、６は、取得した付加情報ＡｄＩｎ１をキャンセルし、または、指示画像Ｉｍａ１と付加情報ＡｄＩｎ１との組合せに応じた処理をキャンセルし、指示画像Ｉｍａ１のみに対応付けられる処理を家庭内機器３に実行させてもよい。
【０１６７】
例えば、エアコンが動いている状態を示す指示画像Ｉｍａ１とともに「今から車で帰ります」という付加情報ＡｄＩｎ１を入力したメッセージを、家族伝言板に投稿した場合であっても、スマートフォン５は、空調装置３ｅに以下の処理を実行させてもよい。
【０１６８】
すなわち、スマートフォン５は、空調装置３ｅに、ユーザの帰宅時間に合わせて運転を実行させる（開始させる）のではなく、上記ユーザによる上記投稿の直後に運転を開始させてもよい。
【０１６９】
〔まとめ〕
本発明の態様１に係る制御装置（スマートフォン１、４、５、および６）は、所定の処理を被制御装置（家庭内機器３）に実行させる制御装置であって、上記所定の処理の実行を指示する指示情報（第１指示情報ＤｉｒＩ１）が対応付けられた画像（指示画像Ｉｍａ１）を用いて、上記所定の処理を被制御装置に実行させることを指示するユーザの操作を取得する操作取得手段（第１入力制御部１１１）と、上記操作取得手段によって取得された操作において用いられている画像に対応付けられた指示情報以外の情報である付加情報（付加情報ＡｄＩｎ１、ＡｄＩｎ２、およびＡｄＩｎ３）を取得する付加情報取得手段（第２入力制御部１１２）と、上記画像に対応付けられた指示情報と上記付加情報取得手段によって取得された上記付加情報との組合せに予め対応付けられた処理を上記被制御装置が実行するよう指示する処理指示手段（処理指示部１１４）と、を備えている。
【０１７０】
ここで、指示情報（第１指示情報ＤｉｒＩ１）とは、被制御装置（家庭内機器３）に、所定の処理の実行を指示する情報である。指示情報は、制御対象である被制御装置を特定する第１機器特定情報ＤｉｒＩ１ａと、当該制御対象に上記所定の処理の実行を指示する第１処理特定情報ＤｉｒＩ１ｂとを含む。指示情報は、例えば、制御対象である「空調装置３ｅ」に、「電源をＯＮにする」という所定の処理、および、「室温、室内湿度、運転状態を取得し、報告する」という所定の処理の、実行を指示する情報である。
【０１７１】
上記の構成によれば、上記制御装置は、上記画像に対応付けられた指示情報と上記付加情報との組合せに予め対応付けられた処理を上記被制御装置に実行させる。これにより、上記制御装置は、所定の処理の実行を指示する指示情報が対応付けられた画像の種類を増加させずに、該画像と付加情報との組合せに対応付けられる処理を、すなわち、該画像に対応付けられた処理以外の処理を、被制御装置に実行させることができる。したがって、上記制御装置は、上記画像の種類を増やさずに、上記画像を用いて被制御装置に実行させることのできる処理の種類を増やすことができ、ユーザの利便性を向上させることができる。
【０１７２】
本発明の態様２に係る制御装置（スマートフォン１）は、上記態様１において、上記付加情報（付加情報ＡｄＩｎ１）は、ユーザが入力する情報であってもよい。
【０１７３】
この態様によれば、上記制御装置は、上記画像に対応付けられた指示情報とユーザの入力する上記付加情報との組合せに予め対応付けられた処理を上記被制御装置に実行させる。したがって、上記制御装置は、所定の処理の実行を指示する指示情報が対応付けられた画像の種類を増加させずに、該画像とユーザの入力する付加情報との組合せに対応付けられる処理を、被制御装置に実行させることができる。
【０１７４】
本発明の態様３に係る制御装置（スマートフォン４）は、上記態様１または２において、上記付加情報（付加情報ＡｄＩｎ２）は、上記操作取得手段が上記所定の処理を被制御装置に実行させることを指示する操作を取得した時刻であってもよい。
【０１７５】
この態様によれば、上記制御装置は、上記画像に対応付けられた指示情報と、上記操作取得手段が上記所定の処理を被制御装置に実行させることを指示する操作を取得した時刻である付加情報と、の組合せに予め対応付けられた処理を上記被制御装置に実行させる。したがって、上記制御装置は、所定の処理の実行を指示する指示情報が対応付けられた画像の種類を増加させずに、該画像と上記付加情報との組合せに対応付けられる処理を、被制御装置に実行させることができる。
【０１７６】
本発明の態様４に係る制御装置（スマートフォン５）は、上記態様１から３の何れかにおいて、上記付加情報（付加情報ＡｄＩｎ３）は、上記操作取得手段が上記所定の処理を被制御装置に実行させることを指示する操作を取得した時刻における自装置の位置を示す情報であってもよい。
【０１７７】
この態様によれば、上記制御装置は、上記画像に対応付けられた指示情報と、上記操作取得手段が上記所定の処理を被制御装置に実行させることを指示する操作を取得した時刻における自装置の位置を示す情報である付加情報と、の組合せに予め対応付けられた処理を上記被制御装置に実行させる。したがって、上記制御装置は、所定の処理の実行を指示する指示情報が対応付けられた画像の種類を増加させずに、該画像と上記付加情報との組合せに対応付けられる処理を、被制御装置に実行させることができる。
【０１７８】
本発明の態様５に係るサーバ（サーバ２）は、被制御装置（家庭内機器３）に所定の処理の実行を指示する指示情報（第１指示情報ＤｉｒＩ１）が対応付けられた画像（指示画像Ｉｍａ１）を用いて該所定の処理を被制御装置に実行させることを指示するユーザの操作を取得すると、該被制御装置に該所定の処理を実行させる制御装置（スマートフォン１）から、（ｉ）上記画像を特定する情報である画像情報（指示画像情報ＩｍＩｎ１）、（ｉｉ）上記制御装置が取得する情報であって、上記画像に対応付けられた指示情報以外の情報である付加情報（付加情報ＡｄＩｎ１）、を受信するサーバ受信手段（サーバ受信部２１１）と、上記サーバ受信手段によって受信された上記画像情報によって特定される画像に対応付けられた指示情報において指定されている被制御装置に、上記指示情報と上記付加情報との組合せに予め対応付けられた処理を実行させる信号（制御信号）を送信するサーバ送信手段（サーバ送信部２１２）と、を備える。
【０１７９】
この態様によれば、上記サーバは、上記被制御装置に、上記画像に対応付けられた指示情報と上記付加情報との組合せに予め対応付けられた処理を実行させる信号（制御信号）を送信する。つまり、上記サーバは、所定の処理の実行を指示する指示情報が対応付けられた画像の種類を増加させずに、該画像と付加情報との組合せに対応付けられる処理を、すなわち、該画像に対応付けられた処理以外の処理を、実行させる信号を被制御装置に送信する。したがって、上記サーバは、上記画像の種類を増やさずに、上記画像を用いて被制御装置に実行させることのできる処理の種類を増やすことができ、ユーザの利便性を向上させることができる。
【０１８０】
本発明の態様６に係る被制御装置（家庭内機器３）は、被制御装置に所定の処理を実行させることを指示するユーザの操作であって、制御装置（スマートフォン１）が取得する操作において用いられる、被制御装置に上記所定の処理の実行を指示する指示情報（第１指示情報ＤｉｒＩ１）が対応付けられた画像（指示画像Ｉｍａ１）に対応付けられた指示情報と、該画像に対応付けられた指示情報以外の情報である付加情報（付加情報ＡｄＩｎ１）との組合せに予め対応付けられた処理の実行を指示する信号を受信する装置受信手段（機器通信部３１）と、上記装置受信手段によって受信された信号にしたがって、上記指示情報と上記付加情報との組合せに予め対応付けられた処理を実行する実行手段（処理実行部３２）とを備える。
【０１８１】
この態様によれば、上記被制御装置は、上記画像に対応付けられた指示情報と上記付加情報との組合せに予め対応付けられた処理を実行する。つまり、上記被制御装置は、所定の処理の実行を指示する指示情報が対応付けられた画像の種類を増加させずに、該画像と付加情報との組合せに対応付けられる処理を、つまり、該画像に対応付けられた処理以外の処理を実行する。したがって、上記被制御装置は、上記画像の種類を増やさずに、実行できる処理の種類を増やすことができ、ユーザの利便性を向上させることができる。
【０１８２】
本発明の態様７に係る制御システム（家族伝言板システム１００、２００、３００、および４００）は、被制御装置（家庭内機器３）に所定の処理の実行を指示する指示情報（第１指示情報ＤｉｒＩ１）が対応付けられた画像（指示画像Ｉｍａ１）をユーザに表示する表示手段（表示制御部１１３）と、上記表示手段によって表示された画像を用いて、上記所定の処理を上記被制御装置に実行させることを指示するユーザの操作を取得する操作取得手段（第１入力制御部１１１）と、上記操作取得手段によって取得された操作において用いられた画像に対応付けられた指示情報以外の情報である付加情報（付加情報ＡｄＩｎ１）を取得する付加情報取得手段（第２入力制御部１１２）と、上記画像に対応付けられた指示情報と上記付加情報取得手段によって取得された上記付加情報との組合せに予め対応付けられた処理を上記被制御装置が実行するよう指示する処理指示手段（処理指示部１１４）と、上記処理指示手段によって指示された処理を実行する実行手段（処理実行部３２）と、を含む。
【０１８３】
この態様によれば、上記制御システムは、上記被制御装置に、上記画像に対応付けられた指示情報と上記付加情報との組合せに予め対応付けられた処理を実行させる。つまり、上記制御システムは、所定の処理の実行を指示する指示情報が対応付けられた画像の種類を増加させずに、該画像と付加情報との組合せに対応付けられる処理を、つまり、該画像に対応付けられた処理以外の処理を実行させる。したがって、上記制御システムは、上記画像の種類を増やさずに、被制御装置に実行させることのできる処理の種類を増やすことができ、ユーザの利便性を向上させることができる。
【０１８４】
本発明の態様８に係る制御装置（スマートフォン１、４、５、および６）の制御方法は、所定の処理を被制御装置（家庭内機器３）に実行させる制御装置の制御方法であって、上記所定の処理の実行を指示する指示情報（第１指示情報ＤｉｒＩ１）が対応付けられた画像（指示画像Ｉｍａ１）を用いて、上記所定の処理を被制御装置に実行させることを指示するユーザの操作を取得する操作取得ステップ（Ｓ１０１）と、上記操作取得ステップにて取得した操作において用いられた画像に対応付けられた指示情報以外の情報である付加情報（付加情報ＡｄＩｎ１）を取得する付加情報取得ステップ（Ｓ１０２でＹＥＳ）と、上記画像に対応付けられた指示情報と上記付加情報取得ステップにて取得した上記付加情報との組合せに予め対応付けられた処理を家庭内機器３が実行するよう指示する処理指示ステップ（Ｓ１０４）と、を含む。よって、態様１と同様の効果を奏する。
【０１８５】
本発明の態様９に係るサーバ（サーバ２）の制御方法は、被制御装置（家庭内機器３）に所定の処理の実行を指示する指示情報（第１指示情報ＤｉｒＩ１）が対応付けられた画像（指示画像Ｉｍａ１）を用いて該所定の処理を家庭内機器３に実行させることを指示するユーザの操作を取得すると、該被制御装置に該所定の処理を実行させる制御装置（スマートフォン１）から、（ｉ）上記画像を特定する情報である画像情報（指示画像情報ＩｍＩｎ１）、（ｉｉ）制御装置が取得する情報であって、上記画像に対応付けられた指示情報以外の情報である付加情報（付加情報ＡｄＩｎ１）、を受信するサーバ受信ステップ（Ｓ１０４’−１）と、上記サーバ受信ステップにて受信した上記画像情報によって特定される画像に対応付けられた指示情報において指定されている家庭内機器３に、上記指示情報と上記付加情報との組合せに予め対応付けられた処理を実行させる信号（制御信号）を送信するサーバ送信ステップ（Ｓ１０４’−２）と、を含む。よって、態様５と同様の効果を奏する。
【０１８６】
本発明の各態様に係る制御装置、サーバ、および被制御装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記制御装置、サーバ、および被制御装置が備える各手段として動作させることにより上記制御装置、サーバ、および被制御装置をコンピュータにて実現させる上記制御装置、サーバ、および被制御装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
【０１８７】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
【産業上の利用可能性】
【０１８８】
本発明は、空調装置、掃除機、テレビ、冷蔵庫などの被制御装置を制御可能な、スマートフォン、タブレット端末、パーソナルコンピュータ、テレビジョン受像機などの装置等に適用できる。
【符号の説明】
【０１８９】
１、４、５、６                  スマートフォン（制御装置）
２                              サーバ
３                              家庭内機器（被制御装置）
３１                              機器通信部（装置受信手段）
３２                              処理実行部（実行手段）
１００、２００、３００、４００      家族伝言板システム（制御システム）
１１１                              第１入力制御部（操作取得手段）
１１２                              第２入力制御部（付加情報取得手段）
１１３                              表示制御部（表示手段）
１１４                              処理指示部（処理指示手段）
２１１                              サーバ受信部（サーバ受信手段）
２１２                              サーバ送信部（サーバ送信手段）
ＤｉｒＩ１                          第１指示情報（指示情報）
Ｉｍａ１                            指示画像（画像）
ＡｄＩｎ１、ＡｄＩｎ２、ＡｄＩｎ３  付加情報
【図１】
2015220490.tif 000003
【図２】
2015220490.tif 000004
【図３】
2015220490.tif 000005
【図４】
2015220490.tif 000006
【図５】
2015220490.tif 000007
【図６】
2015220490.tif 000008
【図７】
2015220490.tif 000009
【図８】
2015220490.tif 000010
【図９】
2015220490.tif 000011
【図１０】
2015220490.tif 000012
【図１１】
2015220490.tif 000013
【図１２】
2015220490.tif 000014
【図１３】
2015220490.tif 000015
【図１４】
2015220490.tif 000016
【図１５】
2015220490.tif 000017
【図１６】
2015220490.tif 000018
【手続補正書】
【提出日】平成27年6月5日(2015.6.5)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
所定の処理を被制御装置に直接実行させる、または該所定の処理をサーバを介して該被制御装置に実行させる制御装置であって、
上記所定の処理の実行を指示する指示情報が対応付けられた画像を用いて、上記所定の処理を被制御装置に実行させることを指示するユーザ操作を取得する操作取得手段と、
上記操作取得手段によって取得されたユーザ操作において用いられている画像に対応付けられた指示情報以外の情報である付加情報を取得する付加情報取得手段と、
上記操作取得手段によって取得されたユーザ操作において用いられている画像に対応付けられた指示情報と上記付加情報取得手段によって取得された上記付加情報との組合せに予め対応付けられた処理を、上記被制御装置および上記サーバの少なくとも一方に実行させることを指示する処理指示手段と、
を備えることを特徴とする制御装置。
【請求項２】
上記付加情報は、ユーザが入力する情報である
ことを特徴とする請求項１に記載の制御装置。
【請求項３】
上記付加情報は、上記所定の処理を上記被制御装置に直接実行させる、または上記所定の処理をサーバを介して上記被制御装置に実行させることを指示するユーザ操作を、上記操作取得手段が取得した時刻である
ことを特徴とする請求項１または２に記載の制御装置。
【請求項４】
上記付加情報は、上記所定の処理を上記被制御装置に直接実行させる、または上記所定の処理をサーバを介して上記被制御装置に実行させることを指示するユーザ操作を、上記操作取得手段が取得した時刻における自装置の位置を示す情報である
ことを特徴とする請求項１から３のいずれか１項に記載の制御装置。
【請求項５】
上記画像は、上記付加情報取得手段が上記付加情報を取得せずに上記操作取得手段が該画像を取得した場合、該画像に対応付けられた指示情報のみに対応付けられた処理を、上記被制御装置および上記サーバの少なくとも一方に実行させるものである
ことを特徴とする請求項１から４のいずれか１項に記載の制御装置。
【請求項６】
被制御装置に所定の処理の実行を直接指示する、または該被制御装置に該所定の処理の実行をサーバを介して指示する指示情報が対応付けられた画像を用いて、該所定の処理を該被制御装置に実行させることを指示するユーザ操作を取得すると、該被制御装置に該所定の処理を実行させる制御装置から、
（ｉ）上記画像を特定する情報である画像情報、および、
（ｉｉ）上記制御装置が取得する情報であって、上記画像に対応付けられた指示情報以外の情報である付加情報、
を受信するサーバ受信手段と、
上記被制御装置に、上記指示情報と上記付加情報との組合せに予め対応付けられた処理を実行させる信号を送信すること、および該予め対応付けられた処理を実行することの少なくとも一方を行う処理実行手段と、
を備えることを特徴とするサーバ。
【請求項７】
被制御装置に所定の処理を実行させることを直接指示する、または該被制御装置に該所定の処理の実行をサーバを介して指示するユーザ操作であって、制御装置が取得するユーザ操作において用いられる、上記被制御装置に上記所定の処理の実行を指示する指示情報が対応付けられた画像に対応付けられた指示情報と、該指示情報以外の情報である付加情報との組合せに予め対応付けられた処理の実行を指示する信号を受信する装置受信手段と、
上記装置受信手段によって受信された信号にしたがって、上記指示情報と上記付加情報との組合せに予め対応付けられた処理を実行する実行手段と
を備えることを特徴とする被制御装置。
【請求項８】
被制御装置に所定の処理の実行を直接指示する、または該被制御装置に該所定の処理の実行をサーバを介して指示する指示情報が対応付けられた画像をユーザに表示する表示手段と、
上記表示手段によって表示された画像を用いて、上記所定の処理を上記被制御装置に実行させることを指示するユーザ操作を取得する操作取得手段と、
上記操作取得手段によって取得された上記ユーザ操作において用いられた上記画像に対応付けられた指示情報以外の情報である付加情報を取得する付加情報取得手段と、
上記画像に対応付けられた上記指示情報と、上記付加情報取得手段によって取得された上記付加情報との組合せに予め対応付けられた処理を、上記被制御装置および上記サーバの少なくとも一方に実行させることを指示する処理指示手段と、
上記処理指示手段によって指示された処理を実行する実行手段と、
を含むことを特徴とする制御システム。
【請求項９】
所定の処理を被制御装置に直接実行させる、または該所定の処理をサーバを介して該被制御装置に実行させる制御装置の制御方法であって、
上記所定の処理の実行を指示する指示情報が対応付けられた画像を用いて、上記所定の処理を上記被制御装置に実行させることを指示するユーザ操作を取得する操作取得ステップと、
上記操作取得ステップにて取得した上記ユーザ操作において用いられた画像に対応付けられた指示情報以外の情報である付加情報を取得する付加情報取得ステップと、
上記操作取得ステップにて取得した上記ユーザ操作において用いられた画像に対応付けられた指示情報と、上記付加情報取得ステップにて取得した上記付加情報との組合せに予め対応付けられた処理を上記被制御装置および上記サーバの少なくとも一方に実行させることを指示する処理指示ステップと、
を含むことを特徴とする制御装置の制御方法。
【請求項１０】
被制御装置に所定の処理の実行を直接指示する、または該被制御装置に該所定の処理の実行をサーバを介して指示する指示情報が対応付けられた画像を用いて、該所定の処理を該被制御装置に実行させることを指示するユーザ操作を取得すると、該被制御装置に該所定の処理を実行させる制御装置から、
（ｉ）上記画像を特定する情報である画像情報、および、
（ｉｉ）上記制御装置が取得する情報であって、上記画像に対応付けられた指示情報以外の情報である付加情報、
を受信するサーバ受信ステップと、
上記サーバ受信ステップにて受信した上記画像情報によって特定される画像に対応付けられた指示情報において指定されている被制御装置に、上記指示情報と上記付加情報との組合せに予め対応付けられた処理を実行させる信号を送信すること、および該予め対応付けられた処理を実行することの少なくとも一方を行う処理実行ステップと、
を含むことを特徴とするサーバの制御方法。
【請求項１１】
請求項１から５の何れか１項に記載の制御装置としてコンピュータを機能させるための制御プログラムであって、コンピュータを上記各手段として機能させるための制御プログラム。
【請求項１２】
請求項６に記載のサーバとしてコンピュータを機能させるための制御プログラムであって、コンピュータを上記各手段として機能させるための制御プログラム。
【請求項１３】
請求項７に記載の被制御装置としてコンピュータを機能させるための制御プログラムであって、コンピュータを上記各手段として機能させるための制御プログラム。