(57)【要約】【課題】既存の音声インタラクションが有する不利を解決し又は緩和することによりユーザの利便性を高める。【解決手段】１つ以上の被制御機器を制御する機器制御部と、少なくとも１つの前記被制御機器に関する、ユーザ向けの音声通知を出力する音声通知部と、前記音声通知部により出力される前記音声通知に対応するメッセージを表示装置に表示させる表示制御部と、を備える制御装置を提供する。【選択図】図４
2017123564.tif 000002
【特許請求の範囲】
【請求項１】
１つ以上の被制御機器を制御する機器制御部と、
少なくとも１つの前記被制御機器に関する、ユーザ向けの音声通知を出力する音声通知部と、
前記音声通知部により出力される前記音声通知に対応するメッセージを表示装置に表示させる表示制御部と、
を備える制御装置。
【請求項２】
前記表示制御部は、前記音声通知の出力からある時間インターバルが経過した後に、前記音声通知に対応するメッセージを前記表示装置に表示させる、請求項１に記載の制御装置。
【請求項３】
前記音声通知は、ユーザの反応を求める内容を含み、
前記表示制御部は、前記時間インターバルが経過する前に前記反応が検出された場合には、前記音声通知に対応するメッセージを前記表示装置に表示させない、
請求項２に記載の制御装置。
【請求項４】
前記音声通知は、前記被制御機器に関するステータスが所定の通知条件を満たす場合に出力され、
前記表示制御部は、前記時間インターバルが経過する前に前記ステータスが前記所定の通知条件を満たさなくなった場合には、前記音声通知に対応するメッセージを前記表示装置に表示させない、
請求項２に記載の制御装置。
【請求項５】
前記表示制御部は、前記メッセージを表示する表示装置の設置場所又は移動性に関するタイプに応じて、前記時間インターバルを設定する、請求項２に記載の制御装置。
【請求項６】
前記制御装置は、前記制御装置の近傍のユーザの存在を認識する認識部、をさらに備え、
前記音声通知部は、前記認識部により前記ユーザの存在が認識された場合において、前記音声通知に対応するメッセージが前記表示装置により表示可能であるときに、当該メッセージを見ることをユーザに促す追加的な音声通知を出力する、
請求項１に記載の制御装置。
【請求項７】
前記表示装置は、前記制御装置とは別体に構成される機器である、請求項１に記載の制御装置。
【請求項８】
前記１つ以上の被制御機器は、前記制御装置を内蔵する第１の被制御機器、及び前記制御装置とは別体に構成される第２の被制御機器、のうちの少なくとも１つを含む、請求項１に記載の制御装置。
【請求項９】
１つ以上の被制御機器を制御し及び少なくとも１つの前記被制御機器に関するユーザ向けの音声通知を出力する制御装置、と接続される表示装置であって、
前記制御装置から受信される指示に応じて、前記制御装置により出力される前記音声通知に対応するメッセージを表示部に表示させる表示制御部、
を備える表示装置。
【請求項１０】
前記表示制御部は、前記制御装置による前記音声通知の出力からある時間インターバルが経過した後に、前記音声通知に対応する前記メッセージを前記表示部に表示させる、請求項９に記載の表示装置。
【請求項１１】
前記表示制御部は、１つ以上のメッセージアイテムを有するメッセージウィンドウを前記表示部に表示させ、
各メッセージアイテムは、対応する被制御機器を識別する情報と当該被制御機器に関する前記メッセージとを表示する、
請求項９に記載の表示装置。
【請求項１２】
前記表示制御部は、前記表示装置のタイプ若しくは現在位置、ユーザの属性、プレゼンス若しくは権限、又は前記メッセージの重要度に応じて、前記メッセージウィンドウに表示させるメッセージアイテムを選択する、請求項１１に記載の表示装置。
【請求項１３】
前記メッセージウィンドウは、前記１つ以上の被制御機器にそれぞれ対応する前記メッセージアイテムを有し、
前記表示制御部は、前記メッセージウィンドウ内の前記メッセージアイテムの表示順序を、対応するメッセージのタイムスタンプの順に決定する、
請求項１１に記載の表示装置。
【請求項１４】
前記表示制御部は、前記表示順序に関わらず、高い重要度が設定されたメッセージを優先的に前記メッセージウィンドウに表示させる、請求項１３に記載の表示装置。
【請求項１５】
前記表示制御部は、前記メッセージウィンドウ内のあるメッセージアイテムに対する所定のユーザ入力が検出された場合に、当該メッセージアイテムにより識別される被制御機器を遠隔的に操作するための遠隔制御ウィンドウを前記表示部に表示させる、請求項１１に記載の表示装置。
【請求項１６】
前記メッセージウィンドウに表示される前記メッセージアイテムの数は、前記被制御機器の数に等しい、請求項１１に記載の表示装置。
【請求項１７】
１つ以上の被制御機器を制御する制御装置により実行される制御方法であって、
少なくとも１つの前記被制御機器に関する、ユーザ向けの音声通知を出力することと、
出力される前記音声通知に対応するメッセージを表示装置に表示させることと、
を含む制御方法。
【請求項１８】
１つ以上の被制御機器を制御し及び少なくとも１つの前記被制御機器に関するユーザ向けの音声通知を出力する制御装置、と接続される表示装置により実行される表示制御方法であって、
前記制御装置から受信される指示に応じて、前記制御装置により出力される前記音声通知に対応するメッセージを表示部に表示させること、
を含む表示制御方法。
【請求項１９】
制御装置のプロセッサを、
１つ以上の被制御機器を制御する機器制御部と、
少なくとも１つの前記被制御機器に関する、ユーザ向けの音声通知を出力する音声通知部と、
前記音声通知部により出力される前記音声通知に対応するメッセージを表示装置に表示させる表示制御部と、
として機能させるプログラム。
【請求項２０】
１つ以上の被制御機器を制御し及び少なくとも１つの前記被制御機器に関するユーザ向けの音声通知を出力する制御装置、と接続される表示装置のプロセッサを、
前記制御装置から受信される指示に応じて、前記制御装置により出力される前記音声通知に対応するメッセージを表示部に表示させる表示制御部、
として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、制御装置、表示装置、方法及びプログラムに関する。
【背景技術】
【０００２】
従来、環境内の被制御機器を制御するリモートコントローラにおいて、ユーザインタフェースのために音声を活用する技術が知られている。例えば、特許文献１は、ユーザ入力として音声コマンドを認識する技術を開示している。特許文献２は、ユーザの操作のための音声ガイダンスを出力する技術を開示している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１１−１２０６４７号公報
【特許文献２】特開２００１−３３８２１３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
情報処理技術の発展に伴い、マシンとユーザとの間のインタラクションはますます高度化し且つ多様化してきている。しかしながら、既存の音声インタラクションの仕組みは、情報伝達の確実性、適時性又は選択性といった観点において、依然として改善の余地を残している。
【課題を解決するための手段】
【０００５】
本開示によれば、１つ以上の被制御機器を制御する機器制御部と、少なくとも１つの前記被制御機器に関する、ユーザ向けの音声通知を出力する音声通知部と、前記音声通知部により出力される前記音声通知に対応するメッセージを表示装置に表示させる表示制御部と、を備える制御装置が提供される。
【０００６】
また、本開示によれば、１つ以上の被制御機器を制御し及び少なくとも１つの前記被制御機器に関するユーザ向けの音声通知を出力する制御装置、と接続される表示装置であって、前記制御装置から受信される指示に応じて、前記制御装置により出力される前記音声通知に対応するメッセージを表示部に表示させる表示制御部、を備える表示装置が提供される。
【０００７】
また、本開示によれば、１つ以上の被制御機器を制御する制御装置により実行される制御方法であって、少なくとも１つの前記被制御機器に関する、ユーザ向けの音声通知を出力することと、出力される前記音声通知に対応するメッセージを表示装置に表示させることと、を含む制御方法が提供される。
【０００８】
また、本開示によれば、１つ以上の被制御機器を制御し及び少なくとも１つの前記被制御機器に関するユーザ向けの音声通知を出力する制御装置、と接続される表示装置により実行される表示制御方法であって、前記制御装置から受信される指示に応じて、前記制御装置により出力される前記音声通知に対応するメッセージを表示部に表示させること、を含む表示制御方法が提供される。
【０００９】
また、本開示によれば、制御装置のプロセッサを、１つ以上の被制御機器を制御する機器制御部と、少なくとも１つの前記被制御機器に関する、ユーザ向けの音声通知を出力する音声通知部と、前記音声通知部により出力される前記音声通知に対応するメッセージを表示装置に表示させる表示制御部と、として機能させるプログラムが提供される。
【００１０】
また、本開示によれば、１つ以上の被制御機器を制御し及び少なくとも１つの前記被制御機器に関するユーザ向けの音声通知を出力する制御装置、と接続される表示装置のプロセッサを、前記制御装置から受信される指示に応じて、前記制御装置により出力される前記音声通知に対応するメッセージを表示部に表示させる表示制御部、として機能させるプログラムが提供される。
【発明の効果】
【００１１】
本開示に係る技術によれば、音声インタラクションと視覚的なインタラクションとの望ましい形態での混合によって、ユーザの利便性を一層高めることができる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果と共に、又は上記の効果に代えて、本明細書に示されたいずれかの効果、又は本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【００１２】
【図１】本開示に係るインタラクションシステムが利用され得る環境の一例について説明するための説明図である。
【図２Ａ】コントローラと被制御機器との間の関係の第１の例について説明するための説明図である。
【図２Ｂ】コントローラと被制御機器との間の関係の第２の例について説明するための説明図である。
【図２Ｃ】コントローラと被制御機器との間の関係の第３の例について説明するための説明図である。
【図３Ａ】補助エージェントの配置の第１の例について説明するための説明図である。
【図３Ｂ】補助エージェントの配置の第２の例について説明するための説明図である。
【図３Ｃ】補助エージェントの配置の第３の例について説明するための説明図である。
【図３Ｄ】補助エージェントの配置の第４の例について説明するための説明図である。
【図３Ｅ】補助エージェントの配置の第５の例について説明するための説明図である。
【図４】一実施形態に係るコントローラの論理的な機能の構成の一例を示すブロック図である。
【図５Ａ】音声通知の一例を示す説明図である。
【図５Ｂ】音声通知に対応するメッセージの表示の第１の例を示す説明図である。
【図５Ｃ】音声通知に対応するメッセージの表示の第２の例を示す説明図である。
【図５Ｄ】音声通知に対応するメッセージの確認を促すための報知の一例を示す説明図である。
【図６】音声通知に対応するメッセージの表示についての第１のシナリオについて説明するための説明図である。
【図７】音声通知に対応するメッセージの表示についての第２のシナリオについて説明するための説明図である。
【図８】音声通知に対応するメッセージの表示についての第３のシナリオについて説明するための説明図である。
【図９】音声通知に対応するメッセージの表示についての第４のシナリオについて説明するための説明図である。
【図１０】音声通知に対応するメッセージの表示についての第５のシナリオについて説明するための説明図である。
【図１１】一実施形態に係る補助エージェントの論理的な機能の構成の一例を示すブロック図である。
【図１２】一実施形態に係るメッセージウィンドウの基本的な構成の一例について説明するための説明図である。
【図１３】図１２に示したメッセージウィンドウにおけるタブの切り替えの一例について説明するための説明図である
【図１４】重要度の高いメッセージアイテムの表示の一例について説明するための説明図である。
【図１５Ａ】メッセージアイテムの表示の他の例について説明するための説明図である。
【図１５Ｂ】メッセージアイテムの表示のまた別の例について説明するための説明図である。
【図１６】メッセージウィンドウの表示の経時的変化の一例を示す説明図である。
【図１７】メッセージウィンドウから遠隔制御ウィンドウへの遷移の一例を示す説明図である。
【図１８】一実施形態に係る被制御機器により実行される処理の流れの一例を示すフローチャートである。
【図１９】一実施形態に係るコントローラにより実行される処理の流れの一例を示すフローチャートである。
【図２０】一実施形態に係る補助エージェントにより実行される処理の流れの一例を示すフローチャートである。
【図２１Ａ】外部サーバとの連携の第１の例について説明するための説明図である。
【図２１Ｂ】外部サーバとの連携の第２の例について説明するための説明図である。
【発明を実施するための形態】
【００１３】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１４】
また、以下の順序で説明を行う。
１．システムの概要
１−１．想定される環境の例
１−２．コントローラ
１−３．いくつかの問題点
１−４．補助エージェントの導入
２．コントローラの構成例
３．補助エージェントの構成例
４．処理の流れ
４−１．被制御機器の処理
４−２．コントローラの処理
４−３．補助エージェントの処理
５．外部サーバとの連携
６．まとめ
【００１５】
＜１．システムの概要＞
［１−１．想定される環境の例］
図１は、本開示に係るインタラクションシステムが利用され得る環境の一例について説明するための説明図である。図１の左半分を参照すると、環境１は、例えばユーザが居住する家のリビングを含む。リビングには、被制御機器１０ａ、１０ｂ、１０ｃが存在する。被制御機器１０ａは、リビングの室内温度を調整する空調機器である。被制御機器１０ｂは、テレビジョン放送のコンテンツを表示するためのディスプレイを有するテレビジョン機器である。被制御機器１０ｃは、自動開閉機能付きのカーテン１０ｃである。図１の右半分を参照すると、さらに、家の外側に設置される被制御機器１０ｄ及び１０ｅが環境１に含まれる。被制御機器１０ｄは、ドアの施錠及び開錠を管理するスマートロックである。被制御機器１０ｅは、照明光を発する外灯である。なお、図１の例に限定されず、環境１にはいかなる種類の被制御機器が存在してもよい。以下の説明において、被制御機器１０ａ〜１０ｅを互いに区別する必要が無い場合には、符号の末尾のアルファベットを省略することにより、これらを被制御機器１０と総称する。符号の末尾のアルファベットの省略の意味は、他の構成要素についても同様である。
【００１６】
本開示に係るインタラクションシステムは、１つ以上の被制御機器１０が存在するこのような環境において利用される。図１では、環境の一例としてユーザが居住する家の様子が示されているが、本開示に係るインタラクションシステムは、乗用車若しくはその他の乗り物、オフィス、店舗、教育施設、又は公共施設といった、他のいかなる環境において利用されてもよい。また、地理的に離れた複数の環境（例えば、家庭及び乗用車、又は家庭及びオフィスなど）を１つのインタラクションシステムが統合的に扱ってもよい。
【００１７】
図１を参照すると、さらに、通信機器２０と、インタラクションシステムを構成し得る装置の一例である制御装置３０とが示されている。通信機器２０は、被制御機器１０と制御装置３０との間の通信を中継する。通信機器２０は、例えば無線ＬＡＮ（Local  Area  Network）アクセスポイント、ルータ又はＬＡＮスイッチなどのいかなる種類の通信機器であってもよい。制御装置３０が被制御機器１０と（例えばアドホックネットワークを介して、又は機器内若しくは機器間の接続線を介して）直接的に通信する場合には、通信機器２０は存在しなくてもよい。
【００１８】
［１−２．コントローラ］
制御装置３０は、１つ以上の被制御機器１０を制御する機能を有する。本明細書では、被制御機器を制御する論理的な機能を「コントローラ」という。図１の例では、制御装置３０がコントローラ１００を有する。例えば、コントローラ１００は、ユーザに適した温度へ室内温度を調整するように、空調機器１０ａを制御する。また、コントローラ１００は、ユーザの所望の映像コンテンツを表示するようにテレビジョン機器１０ｂを制御し、室内の所望の明るさが実現されるようにカーテン１０ｃを制御し、所定のセキュリティルールに従ってスマートロック１０ｄを制御し、及び外灯１０ｅのオン／オフ若しくは照明光の強さを制御する。
【００１９】
被制御機器１０は、周期的に、何らかのトリガ条件が満たされた際に、又はコントローラ１００からの要求に応じて、自装置に関連付けられるステータスをコントローラ１００へ報告する。例えば、空調機器１０ａのステータスは、目標温度、風量及び風向きといった機器自体の動作ステータスに加えて、温度センサにより測定される温度及び湿度センサにより測定される湿度といった環境ステータスをも含み得る。また、被制御機器１０は、何らかのイベントが検出された場合に、イベントの発生をコントローラ１００へ報告する。例えば、テレビジョン機器１０ｂは、ユーザへ推薦される放送番組の放送時刻が近付いたことをイベントとして報告してもよい。また、スマートロック１０ｄは、施錠又は開錠が行われたことをイベントとして報告してもよい。
【００２０】
コントローラ１００は、被制御機器若しくは図示しないセンサから取得されるステータス及び／又は予め記憶される制御条件に従って、被制御機器を自律的に制御してもよい。また、コントローラ１００は、ユーザインタフェースを介して取得されるユーザ入力に従って被制御機器を制御してもよい。コントローラ１００と被制御機器１０との間で交換される制御信号は、赤外線、可視光線若しくは電波といった無線チャネルを介して伝送されてもよく、又は有線チャネルを介して伝送されてもよい。
【００２１】
図２Ａ〜図２Ｃは、コントローラと被制御機器との間の関係の例をそれぞれ示している。図２Ａに示した第１の例において、コントローラ１００は、被制御機器１０ａ及び１０ｂとは別体に構成される制御装置３０に実装されるモジュールである。コントローラ１００は、被制御機器１０ａ及び１０ｂをそれぞれ制御し、並びに被制御機器１０ａ及び１０ｂからのステータス報告又はイベント報告を受け取る。図２Ｂに示した第２の例において、コントローラ１００は、被制御機器１０ｂに内蔵されるモジュールとして実装されている。コントローラ１００は、被制御機器１０ｂを制御し、及び被制御機器１０ｂに関連付けられるステータスを監視する。図２Ｃに示した第３の例においても、コントローラ１００は、被制御機器１０ｂに内蔵されるモジュールとして実装されている。さらに、被制御機器１０ｂは、被制御機器１０ａと通信する。被制御機器１０ｂ内のコントローラ１００は、被制御機器１０ｂを制御し及び被制御機器１０ｂに関連付けられるステータスを監視することに加え、被制御機器１０ａを制御し及び被制御機器１０ａからのステータス報告又はイベント報告を受け取る。なお、図２Ａ〜図２Ｃは単独で動作する機能モジュールとしてコントローラ１００が実装される例を示しているが、外部のモジュール（例えば外部サーバ）と連携することによりコントローラ１００の機能性が提供される例について、後にさらに説明する。
【００２２】
一実施形態において、コントローラ１００は、音声インタフェースを介してユーザとのインタラクションを行う。典型的には、コントローラ１００は、少なくとも１つの被制御機器１０に関するユーザ向けの音声通知を出力する。ユーザは、コントローラ１００から出力される音声通知を聞くことにより、被制御機器１０に関連付けられるステータスを知得し、イベントの発生を知得し、又はコントローラ１００により提案される制御に承認を与えるべきかを判断することができる。音声インタフェースは、ユーザの視覚的な注目を要しない点、ＩＴスキルの低いユーザにとっても馴染みやすい点、及び対話を通じた疑似的に人間のようなインタラクションを可能とする点において、他の種類のユーザインタフェースよりも優れた利点を有する。ユーザからコントローラ１００へのユーザ入力のための手段もまた、音声インタフェースであってもよい。その代わりに又はそれに加えて、ユーザ入力のための手段は、他の種類のユーザインタフェース（例えば、ボタン若しくはスイッチ等の機械的なインタフェース、タッチインタフェース又はジェスチャインタフェース）であってもよい。
【００２３】
［１−３．いくつかの問題点］
音声インタフェースは上述した優れた利点を有するとは言え、いくつかの問題点もまた孕んでいる。第一に、音声通知が行われた時点でユーザが音声の届く範囲内にいない可能性がある。また、仮に音声の届く範囲内にユーザがいたとしても、ユーザが音声通知を聞き逃すかもしれず、又はユーザが音声通知に対してその時点で反応することを望まないかもしれない。第二に、同じ内容の音声通知を繰り返し出力すると、その内容がユーザに伝わる確率は高まるが、意図的に反応を控えているユーザにはそうした繰り返しは却って煩わしさを感じさせる。第三に、例えばユーザの不在時に蓄積された多数の情報を音声通知として出力しようとすると、通知に要する長い時間長がユーザにとっての負担になり得る。また、その多くの通知のうちの一部のみがユーザが知りたいと望む内容を有するかもしれないが、ユーザが所望の音声通知のみを簡易に選択して聞くことは困難である。
【００２４】
［１−４．補助エージェントの導入］
本開示に係る技術の実施形態は、被制御機器を制御するコントローラが音声インタフェースを提供する際に生じ得る上述した問題点のうちの１つ以上を解決し又は少なくとも軽減するために、本明細書において「補助エージェント」と称する追加的な機能性を導入する。補助エージェントは、コントローラにより提供される音声インタフェースの不都合を視覚的なユーザインタフェースを提供することによって補償することにより、コントローラを補助する。なお、コントローラは、ユーザと被制御機器との間で被制御機器の制御を仲介するという点においては、それ自体エージェントのような役割を有する。また、後述するように、補助エージェントもまた、被制御機器を制御する機能を含み得る。従って、本明細書での「コントローラ」及び「エージェント」との用語は、本開示に係る技術を何ら限定するものではなく、単に２種類の機能性を便宜的に呼び分けるために使用される。
【００２５】
補助エージェントは、典型的には、コントローラにより出力される音声通知に対応するメッセージを表示装置に表示させる。補助エージェントは、コントローラと同じ機器に実装されてもよく、又は通信インタフェースを介してコントローラと通信する他の機器に実装されてもよい。
【００２６】
図３Ａ〜図３Ｅは、補助エージェントの配置の例をそれぞれ示している。図３Ａに示した第１の例では、コントローラ１００及び補助エージェント２００の双方が、被制御機器１０とは別体に構成される制御装置３０に一体的に実装されている。補助エージェント２００は、メッセージを表示装置４０ａを介して画面へ表示させることができる。ここでは、表示装置４０ａはプロジェクタであり、画面はテーブル上の投影面である。
【００２７】
図３Ｂに示した第２の例では、コントローラ１００及び補助エージェント２００の双方が、被制御機器１０ｂに一体的に実装されている。補助エージェント２００は、メッセージを表示装置４０ｂに表示させることができる。ここでは、表示装置４０ｂは、テレビジョン機器のディスプレイに相当する。
【００２８】
図３Ｃに示した第３の例では、コントローラ１００を内蔵する制御装置３０とは別体に構成される被制御機器１０ｂに補助エージェント２００が実装されており、制御装置３０（コントローラ１００）と被制御機器１０ｂ（補助エージェント２００）とは、それぞれの通信インタフェース３５ａ、３５ｂを介して相互に通信する。補助エージェント２００は、メッセージを表示装置４０ｂに表示させることができる。
【００２９】
図３Ｄに示した第４の例では、補助エージェント２００は、制御装置３０（コントローラ１００）とも被制御機器１０とも異なる機器である表示端末４０ｃに実装されている。
制御装置３０（コントローラ１００）と表示端末４０ｃ（補助エージェント２００）とは、それぞれの通信インタフェースを介して相互に通信する。補助エージェント２００は、メッセージを表示端末４０ｃに表示させることができる。図３Ｄは、表示端末４０ｃの一例としてタブレットＰＣ（Personal  Computer）を示しているが、補助エージェントを実装可能な表示端末はかかる例に限定されない。例えば、デスクトップＰＣ、ラップトップＰＣ、スマートフォン、ゲーム端末、カーナビゲーション機器、ヘッドマウントディスプレイ又はスマートウォッチなどの、他のいかなる種類の端末に補助エージェントが実装されてもよい。
【００３０】
図３Ｅに示した第５の例では、複数の補助エージェント２００ａ、２００ｂ、２００ｃ及び２００ｄが存在する。補助エージェント２００ａは、コントローラ１００と共に制御装置３０に一体的に実装されている。補助エージェント２００ｂは、固定的に設置される被制御機器１０ｂに実装されている。補助エージェント２００ｃは、移動性を有する表示端末４０ｃに実装されている。補助エージェント２００ｄは、移動性を有する表示端末４０ｄに実装されている。なお、本明細書において、「移動性を有する」との表現は、対象の端末が持ち運ばれ、移動するユーザに装着され、又は移動するユーザの体内に埋め込まれるといった様々な移動の形態を包含するものとする。歩行、走行又は飛行といった動作を自律的に行う自律移動型のマシン（例えば、ロボット）に補助エージェントが実装されてもよい。
【００３１】
補助エージェント２００の配置に関わらず、上述したように、補助エージェント２００は、コントローラ１００によりユーザ向けの音声通知が出力される場合に、少なくとも１つのそうした音声通知に対応するメッセージを表示装置に表示させる。ユーザがコントローラ１００から離れた場所にいる場合にも、ユーザの手元に画面があれば、ユーザはメッセージの内容を直ちに確認することができる。また、ユーザは、表示されたメッセージの内容を所望のタイミングで確認し、又は所望のタイミングでその内容に対して反応することができる。また、補助エージェント２００がコントローラ１００の音声インタフェースの代替手段として視覚的なユーザインタフェースを提供するため、コントローラ１００は、音声通知を過剰に繰り返さなくてよい。補助エージェント２００が提供する視覚的なユーザインタフェースは、多数の情報を、多様な形態で表示し得る。このような音声インタラクションと視覚的なインタラクションとの混合（mixture）によって、情報伝達の確実性、適時性又は選択性は改善され、ユーザの利便性は高められる。こうしたコントローラ１００及び補助エージェント２００のより詳細な構成の例を、次節以降で詳しく説明する。
【００３２】
＜２．コントローラの構成例＞
図４は、一実施形態に係るコントローラ１００の論理的な機能の構成の一例を示すブロック図である。コントローラ１００は、音声通知部１１０、音声認識部１２０、画像認識部１３０、機器制御部１４０、記憶部１５０及び表示制御部１６０を備える。図４の例によれば、音声通知部１１０は、スピーカ３１に接続される。音声認識部１２０は、マイクロフォン３２に接続される。画像認識部１３０は、カメラ３３に接続される。機器制御部１４０は、１つ以上のセンサ３４、通信インタフェース３５、１つ以上の入力インタフェース３６、及び赤外線インタフェース３７に接続される。表示制御部１６０は、通信インタフェース３５、表示装置４０及び報知装置４１に接続される。表示装置４０は、例えばプロジェクタ又はモニタなどであってよい。報知装置４１は、例えばＬＥＤ（Light  Emitting  Diode）ランプ又はバイブレータなどであってよい。
【００３３】
（１）音声通知部
音声通知部１１０及び音声認識部１２０は、コントローラ１００によるユーザとの音声インタラクションを遂行する役割を有する。典型的には、音声通知部１１０は、コントローラ１００により制御される少なくとも１つの被制御機器１０に関する、ユーザ向けの音声通知を、スピーカ３１を介して出力する。音声通知部１１０は、例えば、機器制御部１４０により指定される通知用テキストに基づいて、自動音声合成技術を用いて音声通知を生成してもよい。その代わりに、音声通知部１１０は、機器制御部１４０により指定される通知番号又はその他の識別情報に対応する音声データを記憶部１５０から取得し、取得した音声データから音声通知を再生してもよい。
【００３４】
音声通知部１１０により出力される音声通知は、必ずしも目的とするユーザにより聞き取られるとは限らない。音声通知部１１０は、複数回にわたって同じ音声通知を繰り返してもよい。但し、本実施形態では、音声通知部１１０により音声通知が出力された後、音声通知に対応するメッセージが補助エージェント２００により表示される。そのため、音声通知部１１０は、過剰な回数にまで同じ音声通知を繰り返さない。
【００３５】
音声通知部１１０は、後述する音声認識部１２０若しくは画像認識部１３０又は他の人感センサにより近傍にユーザが存在することが検出された場合において、過去に出力した音声通知に対応するメッセージが補助エージェント２００により表示可能であるときに、当該メッセージを見ることをユーザに促す追加的な音声通知（以下、リマインド通知という）を出力してもよい。ここでのメッセージは、既に補助エージェント２００により表示されていてもよく、又は何らかのユーザ入力をトリガとして表示されてもよい。また、リマインド通知を聞いたユーザが、表示されるメッセージを見る代わりに出力済みの音声通知を聞くことを（例えば、音声コマンド又はその他のユーザ入力によって）要求した場合には、音声通知部１１０は、出力済みの音声通知をスピーカ３１を介して再度出力してもよい。
【００３６】
（２）音声認識部
音声認識部１２０は、マイクロフォン３２を介して入力される音声の内容を音声認識技術を用いて認識する。例えば、音声認識部１２０は、ユーザにより発せられる音声コマンドを認識する。音声認識部１２０により認識される音声コマンドは、被制御機器１０を制御するための音声コマンドを含み得る。被制御機器１０を制御するための音声コマンドは、典型的には、対象機器を識別する名称と、制御内容に関連付けられるキーワードとからなる（例えば、“テレヴィジョン”＋“スイッチオン”）。コントローラ１００が被制御機器１０についての特定の制御を提案した場合には、その提案への反応としての音声コマンドは、承認又は拒絶を意味するより簡易なキーワードのみであってもよい。また、音声認識部１２０により認識される音声コマンドは、コントローラ１００自体へ向けられる音声コマンドを含んでもよい。一例として、音声認識部１２０は、ユーザが音声通知の再出力を要求していることを示す音声コマンドを認識してもよい。また、音声認識部１２０は、音声通知を補助エージェント２００へ転送することをユーザが明示的に要求していることを示す音声コマンドを認識してもよい。音声認識部１２０は、例えば、予め記憶部１５０により記憶されている音声コマンドのパターンと入力された音声のパターンとを照合することにより、個々の音声コマンドを認識し得る。
【００３７】
さらに、音声認識部１２０は、音声信号を解析することにより得られるスペクトルを個々のユーザの声紋と照合することにより、音声を発したユーザを識別してもよい。また、音声認識部１２０は、個々のユーザを識別することなく、単に近傍にユーザが存在すること認識してもよい。
【００３８】
（３）画像認識部
画像認識部１３０は、カメラ３３から入力される撮像画像に映る環境１の状況を画像認識技術を用いて認識する。例えば、画像認識部１３０は、コントローラ１００へ向けて音声を発するユーザの顔を認識することにより、個々のユーザを識別してもよい。また、画像認識部１３０は、単に近傍にユーザが存在すること認識してもよい。また、画像認識部１３０は、ユーザが演じるジェスチャを読み取ることにより、被制御機器１０を制御するためのジェスチャコマンド又はコントローラ１００自体へ向けられるジェスチャコマンドを認識してもよい。ジェスチャコマンドは、例えばプロジェクタにより投影される表示画像の上で動かされるユーザの手又は指の動き又は形状に対応するコマンドであってもよい。画像認識部１３０は、例えば、予め記憶部１５０により記憶されている画像特徴量と撮像画像から抽出される画像特徴量とを照合することにより、ユーザを識別し、ユーザの存在を認識し、又はジェスチャコマンドを認識し得る。
【００３９】
（４）機器制御部
機器制御部１４０は、１つ以上の被制御機器１０を制御する。ある実施例によれば、機器制御部１４０は、センサ３４から入力される環境ステータスが制御目標値を満たすように、その環境ステータスに作用する被制御機器１０を制御する。環境ステータスは、通信インタフェース３５を介して被制御機器１０から受信されてもよい。以下に、環境ステータスと、対応する被制御機器の種類との組合せの例を列挙する：
・室内温度        −  空調機器，暖房機器，冷房機器
・室内湿度        −  空調機器，加湿器，除湿機
・環境音量        −  テレビジョン機器，メディアプレーヤ
・環境照度        −  照明機器，カーテン
・ハウスダスト量  −  空気清浄器
【００４０】
他の実施例によれば、機器制御部１４０は、センサ３４又は被制御機器１０から取得される環境ステータスから被制御機器１０の制御目標値又は目標とする動作状態を決定し、決定した目標値又は目標状態を達成するように被制御機器１０を制御する。以下に、環境ステータスと、対応する被制御機器の種類と、その制御内容との組合せの例を列挙する：
・室内温度        −  給湯器（水温）
・環境照度        −  ディスプレイ（輝度）、プロジェクタ（輝度）
・ハウスダスト量  −  自律掃除機（レベル、オン／オフ、活動場所）
【００４１】
また別の実施例によれば、機器制御部１４０は、日付又は時刻が記憶部１５０により予め記憶され又は動的に学習される制御条件を満たす場合に、被制御機器１０を制御する。以下に、被制御機器の種類とその制御内容との組合せの例を列挙する：
・テレビジョン機器  −  特定のチャンネルの再生
・レコーダ          −  コンテンツの録画／録音
・カーテン          −  開閉
・外灯              −  オン／オフ、色（例えば、クリスマスカラー）
・自動車            −  出勤時のエンジン始動
【００４２】
また別の実施例によれば、機器制御部１４０は、音声認識部１２０又は画像認識部１３０から入力される認識結果に基づいて判定されるユーザのプレゼンスに応じて、被制御機器１０を制御する。以下に、ユーザのプレゼンスの種類と、対応する被制御機器の種類と、その制御内容との組合せの例を列挙する：
・ユーザ帰宅／外出  −  空調機器（オン／オフ）
・ユーザ帰宅        −  給湯器（オン）
・ユーザ不在        −  スマートロック（セキュリティレベル：高）
【００４３】
なお、これらの例は、本開示に係る技術が適用され得る制御内容を限定しない。コントローラ１００は、どのような手法でどういった種類の被制御機器１０を制御してもよい。
【００４４】
機器制御部１４０は、通信インタフェース３５を介して被制御機器１０から受信される報告に基づいて、ユーザに向けて音声通知を出力するように音声通知部１１０へ指示する。例えば、機器制御部１４０は、周期的に被制御機器１０から環境ステータス及び／又は動作ステータスの報告を受信してもよい。機器制御部１４０は、所定のユーザ入力（例えば、音声コマンド、ジェスチャコマンド、又は入力インタフェース３６からの何らかの入力）が検出された場合に、被制御機器１０へステータス報告を要求してもよい。機器制御部１４０は、被制御機器１０からステータス報告又はイベント報告を受信すると、報告されたステータス又はイベントをユーザに伝えるための音声通知を音声通知部１１０から出力させる。
【００４５】
機器制御部１４０は、所定の通知条件が満たされる場合にのみ、音声通知を音声通知部１１０から出力させてもよい。例えば、音声通知の通知条件は、以下に列挙されるパラメータのうちの１つ以上に関連付けられ得る：
・被制御機器の動作ステータス
・環境ステータス
・ユーザのプレゼンス
・特定のユーザのプレゼンス
・日付及び／又は時刻
【００４６】
本実施形態において、機器制御部１４０から出力を指示される音声通知のうちのいくつかは、ユーザの反応を求める内容を含む。例えば、機器制御部１４０は、被制御機器１０の制御を開始し、変更し又は終了する前に、そうした制御動作の承認を音声通知を通じてユーザに求める。そして、機器制御部１４０は、制御動作が承認された場合には当該アクションを実行し、制御動作が拒絶された場合には当該アクションを実行しない。また、機器制御部１４０は、ユーザにとって望ましいと推測される制御動作を音声通知を通じてユーザに提案してもよい。ユーザにとって望ましい制御動作の内容は、ユーザにより設定され、記憶部１５０により記憶されてもよい。その代わりに、ユーザからの指示又は承認の履歴に基づいて、ユーザにとって望ましい制御動作が学習されてもよい。機器制御部１４０は、提案が承認された場合には提案された制御動作を実行し、提案が拒絶された場合には提案された制御動作を実行しない。
【００４７】
機器制御部１４０は、制御動作が承認された場合、又はユーザの承認を要しない制御動作を開始する場合に、通信インタフェース３５又は赤外線インタフェース３７を介して対象の被制御機器１０へ制御信号を送信する。被制御機器１０は、受信される制御信号に従って動作する。被制御機器１０は、動作結果をコントローラ１００へ報告してもよい。
【００４８】
機器制御部１４０は、音声通知の出力を音声通知部１１０へ指示した後、表示制御部１６０と連携して、音声通知に対応する視覚的なインタラクションをさらに遂行する。音声通知に対応する視覚的なインタラクションについて、後に詳しく説明する。
【００４９】
（５）記憶部
記憶部１５０は、コントローラ１００による被制御機器１０の制御及びユーザとのインタラクションのために要する様々なデータを記憶する。例えば、記憶部１５０は、ユーザ識別情報（識別子及びニックネームなど）、ユーザ属性情報（年齢、性別、及び嗜好など）及びユーザ別設定情報（例えば、メッセージ選択条件、表示順など）を含み得るユーザ情報を記憶する。また、記憶部１５０は、音声通知のため通知条件、及び被制御機器１０の制御のための制御条件などの、様々な制御設定を記憶する。さらに、記憶部１５０は、音声通知部１１０により出力される音声通知のための音声データを記憶してもよい。また、記憶部１５０は、音声認識部１２０による音声認識のための辞書データを記憶してもよい。また、記憶部１５０は、画像認識部１３０による画像認識のための画像特徴量データを記憶してもよい。
【００５０】
（６）表示制御部
表示制御部１６０は、音声通知部１１０により出力される音声通知に対応するメッセージを補助エージェント２００に表示させる。本実施形態において、表示制御部１６０は、音声通知の出力からある時間インターバルが経過した後に、当該音声通知に対応するメッセージを補助エージェント２００に表示させる。表示制御部１６０から補助エージェント２００へ送信される指示は、メッセージを表示すべき時刻を示すタイムスタンプを含んでもよい。その代わりに、表示制御部１６０から補助エージェント２００へ送信される指示は、音声通知が出力された時刻を示すタイムスタンプと上述した時間インターバルを示す情報とを含んでもよい。また、上述した時間インターバルの経過後に指示が送信される場合には、当該指示は、そうした時間情報を含まなくてもよい。表示制御部１６０から補助エージェント２００へ送信される指示は、メッセージの重要度などの他の情報を含んでもよい。
【００５１】
図５Ａは、音声通知の一例を示している。図５Ａを参照すると、コントローラ１００から、ユーザＵ１向けの音声通知Ｎ１１が出力されている。音声通知Ｎ１１は、ユーザＵ１のために推薦される放送コンテンツの視聴をユーザＵ１に提案する内容を有する。ユーザＵ１は、音声通知Ｎ１１による提案を、音声コマンド又はその他のユーザ入力によって承認し又は拒絶することができる。但し、ここでは、ユーザＵ１は、他の作業に気をとられているため、又は音声通知Ｎ１１の音量が十分でなかったために、音声通知Ｎ１１に対して反応しない。
【００５２】
図５Ｂは、音声通知Ｎ１１の出力からある時間インターバルが経過した後に行われる、音声通知に対応するメッセージの表示の第１の例を示している。ここでは、補助エージェント２００は、コントローラ１００と同一の機器に存在し、表示装置４０を用いてメッセージを表示する。図５Ｂを参照すると、補助エージェント２００は、コントローラ１００からの指示に従い、音声通知Ｎ１１に対応するメッセージＭ１１を表示している。コントローラ１００は、音声通知Ｎ１１を繰り返す代わりに、新たな音声通知Ｎ１２を出力している。
【００５３】
図５Ｃは、音声通知Ｎ１１の出力からある時間インターバルが経過した後に行われる、音声通知に対応するメッセージの表示の第２の例を示している。ここでは、補助エージェント２００は、コントローラ１００とは別体に構成される機器に存在し、通信インタフェースを介してコントローラ１００からメッセージを受信する。図５Ｃを参照すると、補助エージェント２００は、コントローラ１００からの指示に従い、音声通知Ｎ１１に対応するメッセージＭ１３を、ユーザＵ１により使用されている表示端末に表示している。
【００５４】
表示制御部１６０は、出力済みの複数の音声通知にそれぞれ対応する複数のメッセージを、補助エージェント２００に表示させてもよい。また、表示制御部１６０は、表示されているメッセージを見ることをユーザに促すための報知を、報知装置４１を用いて行ってもよい。メッセージの確認を促すための報知は、例えば、バイブレータの振動又は特定の色又はパターンでのＬＥＤランプの点灯又は点滅であってもよい。
【００５５】
図５Ｄは、音声通知に対応するメッセージの確認を促すための報知の一例を示している。ここでは、補助エージェント２００は、コントローラ１００と同一の機器に存在する。図５Ｄを参照すると、補助エージェント２００は、コントローラ１００からの指示に従い、音声通知Ｎ１１に対応するメッセージＭ１１及び音声通知Ｎ１２に対応するメッセージＭ１２を表示している。コントローラ１００は、音声でリマインド通知Ｎ１４を出力している。また、補助エージェント２００は、ＬＥＤランプ４１ａの点灯によって、ユーザの反応を待ち受けているメッセージが存在することを報知している。
【００５６】
図６は、音声通知に対応するメッセージの表示についての第１のシナリオについて説明するための説明図である。第１のシナリオでは、まず、時刻ｔ２１において、コントローラ１００から音声通知Ｎ２１が出力される。次に、時刻ｔ２１から時間インターバルＴ１が経過した後の時刻ｔ２２において、補助エージェント２００により音声通知Ｎ２１に対応するメッセージＭ２１が表示される。メッセージＭ２１は、時刻ｔ２２よりも後の時刻ｔ２３において、ユーザ入力が検出されたために消滅する。メッセージＭ２１の消滅の理由は、予め決定される表示期間の満了、又は後に説明するようなステータスの変化に起因する通知条件の不満足であってもよい。
【００５７】
表示制御部１６０は、ユーザの反応を求める内容の音声通知が出力された場合において、上記時間インターバルが経過する前にユーザの反応が検出されたときは、当該音声通知に対応するメッセージを補助エージェント２００に表示させなくてよい。図７は、音声通知に対応するメッセージの表示についての第２のシナリオについて説明するための説明図である。第２のシナリオにおいても、時刻ｔ２１において、コントローラ１００から音声通知Ｎ２１が出力される。次に、時間インターバルＴ１の経過時点に相当する時刻ｔ２２が到来する前に、時刻ｔ２４において、ユーザＵ１が音声通知Ｎ２１に対して音声コマンドＣ２１を発する。表示制御部１６０は、この場合、音声コマンドの認識を通じてもはや音声通知Ｎ２１に対応するメッセージＭ２１を表示する必要性が無くなったことを知得し、時刻ｔ２２が到来してもメッセージＭ２１を補助エージェント２００に表示させない。
【００５８】
表示制御部１６０は、被制御機器１０に関するステータスが所定の通知条件を満たす場合に出力される音声通知に対応するメッセージを、上記時間インターバルが経過する前に当該ステータスがその通知条件を満たさなくなった場合には補助エージェント２００に表示させなくてよい。図８は、音声通知に対応するメッセージの表示についての第３のシナリオについて説明するための説明図である。第３のシナリオにおいても、時刻ｔ２１において、コントローラ１００から音声通知Ｎ２１が出力される。音声通知Ｎ２１は、被制御機器１０ｂでの特定の放送コンテンツの視聴をユーザＵ１に提案する内容を有し、当該放送コンテンツが再生中ではないことを条件として出力される。次に、時間インターバルＴ１の経過時点に相当する時刻ｔ２２が到来する前に、時刻ｔ２５において、ユーザＵ１がコントローラ１００を介さずに被制御機器１０ｂを操作し、推薦された放送コンテンツの視聴を開始する。表示制御部１６０は、この場合、被制御機器１０ｂからの報告を通じて、音声通知Ｎ２１の通知条件が満たされなくなったことを知得し、時刻ｔ２２が到来してもメッセージＭ２１を補助エージェント２００に表示させない。
【００５９】
既に説明したように、補助エージェント２００は、様々なタイプの表示装置を用いて実装され得る。例えば、あるタイプの表示装置は、コントローラ１００と同じ機器に一体化される。他のタイプの表示装置は、コントローラ１００とは別体に構成される機器である。コントローラ１００とは別体に構成される機器は、さらに固定型の機器と移動性を有する機器とに分類され得る。表示制御部１６０は、メッセージを表示する表示装置の、こうした設置場所又は移動性に関するタイプに応じて、音声通知の出力と対応するメッセージの表示との間の時間インターバルを設定してもよい。設置場所に関するタイプは、例えば、同一機器、同一環境内、又は環境外、に分類され得る。移動性に関するタイプは、例えば、移動性無し（固定）又は移動性有り、に分類され得る。
【００６０】
図９は、音声通知に対応するメッセージの表示についての第４のシナリオについて説明するための説明図である。第４のシナリオでは、３つの補助エージェント２００が存在する。そのうちの１つは、表示装置４０ａを有する機器においてコントローラ１００と一体化されている。他の１つは、コントローラ１００と同一の環境内に設置される固定型の表示端末４０ｂに実装されている。残りの１つは、移動性を有する表示端末（移動端末）４０ｃに実装されている。まず、時刻ｔ３１において、コントローラ１００から音声通知Ｎ３１が出力される。次に、時刻ｔ３１から時間インターバルＴ３２が経過した後の時刻ｔ３５において、表示装置４０ａにより音声通知Ｎ３１に対応するメッセージＭ３１が表示される。次に、時刻ｔ３１から時間インターバルＴ３３が経過した後の時刻ｔ３６において、固定型の表示端末４０ｂ上で音声通知Ｎ３１に対応するメッセージＭ３２が表示される。時間インターバルＴ３３は、時間インターバルＴ３２よりも長い。時間インターバルＴ３３が経過する前に、ユーザ入力が検出され又は通知条件が満たされなくなった場合には、メッセージＭ３２は表示されなくてよい。次に、時刻ｔ３１から時間インターバルＴ３４が経過した後の時刻ｔ３７において、移動端末４０ｃ上で音声通知Ｎ３１に対応するメッセージＭ３３が表示される。時間インターバルＴ３４は、時間インターバルＴ３２及びＴ３３よりも長い。時間インターバルＴ３４が経過する前に、ユーザ入力が検出され又は通知条件が満たされなくなった場合には、メッセージＭ３３は表示されなくてよい。このように、恐らくはコントローラ１００のより近くにある表示装置から順に、時間差をつけてメッセージを表示することで、制御される環境にいないユーザ又は制御に関心を有しないユーザに向けて過剰に頻繁にメッセージが表示される不都合を軽減することができる。
【００６１】
第４のシナリオのように複数の補助エージェント２００が存在するケースにおいて、表示制御部１６０は、所定の選択条件に従ってメッセージを表示すべき補助エージェント（又は表示装置）を選択してもよい。以下に、選択条件の例を想定されるケースの説明と共に列挙する。なお、これら選択条件はどのように組み合わされてもよい：
・選択条件１−表示装置のタイプ
特定の環境にいるユーザにのみ関係する音声通知に対応するメッセージは、その環境に固定的に設置されている表示装置により表示され得る；
・選択条件２−表示装置の現在位置
特定の環境にいるユーザにのみ関係する音声通知に対応するメッセージは、その環境から離れた場所に位置している移動端末には表示されない；
・選択条件３−ユーザの属性
セキュリティに関係する音声通知に対応するメッセージは、閾値よりも低い年齢のユーザの移動端末には表示されない；
・選択条件４−ユーザのプレゼンス
任意のメッセージは、ユーザがいない環境に存在する表示装置には表示されない；
・選択条件５−ユーザの権限
ある被制御機器に関係する音声通知に対応するメッセージは、その被制御機器の制御に関与する権限を有するユーザが指定した表示装置にのみ表示され得る；
・選択条件６−メッセージの重要度
高い重要度が付与された音声通知に対応するメッセージは、他の条件に関わらず、全ての又は特定のユーザが利用する表示装置に優先的に又は強制的に表示され得る；
【００６２】
図１０は、音声通知に対応するメッセージの表示についての第５のシナリオについて説明するための説明図である。第５のシナリオでは、３つの補助エージェント２００が存在する。そのうちの１つは、表示装置４０ａを有する機器においてコントローラ１００と一体化されている。他の１つは、ユーザＵ２が利用する移動端末４０ｃに実装されている。残りの１つは、ユーザＵ１が利用する移動端末４０ｄに実装されている。まず、時刻ｔ４１において、コントローラ１００から音声通知Ｎ４１が出力される。次に、時刻ｔ４１から時間インターバルＴ４２が経過した後の時刻ｔ４５において、表示装置４０ａにより音声通知Ｎ４１に対応するメッセージＭ４１が表示される。次に、時刻ｔ４１から時間インターバルＴ４３が経過した後の時刻ｔ４６において、移動端末４０ｃ上で音声通知Ｎ４１に対応するメッセージＭ４２が表示される。時間インターバルＴ４３は、時間インターバルＴ４２よりも長い。一方、移動端末４０ｄ上では、音声通知Ｎ４１に対応するメッセージは、時間の経過に関わらず表示されない。音声通知Ｎ４１に対応するメッセージが表示されない理由は、例えば、ユーザＵ１が特定の環境内にいないこと、ユーザＵ１の年齢が閾値を下回ること、又はユーザＵ１が音声通知Ｎ４１に関連付けられる権限を有しないことなどであってよい。このように、所定の選択条件に従い、音声通知に対応するメッセージを表示する装置を選択的に決定することで、不要なメッセージの表示が抑制され、及び被制御機器の制御に伴う安全性を確保することができる。
【００６３】
表示制御部１６０は、通知を補助エージェント２００に転送することを求めるユーザ入力（例えば、音声コマンド）が検出された場合に、音声通知に対応するメッセージの表示を補助エージェント２００に指示してもよい。この場合、上述した時間インターバルに関わらず、音声通知に対応するメッセージが補助エージェント２００により表示され得る。ユーザは、音声通知を聞いたものの適切な反応を返すことができない状況にある場合に、補助エージェント２００を活用して、通知に反応するタイミングを先送りすることができる。
【００６４】
＜３．補助エージェントの構成例＞
図１１は、一実施形態に係る補助エージェント２００の論理的な機能の構成の一例を示すブロック図である。補助エージェント２００は、ユーザインタフェース部２１０及び表示制御部２２０を備える。図１１の例によれば、ユーザインタフェース部２１０は、１つ以上の入力インタフェース４６に接続される。表示制御部２２０は、通信インタフェース３５及び表示装置４０に接続される。
【００６５】
ユーザインタフェース部２１０は、補助エージェント２００によるユーザとのインタラクションを遂行する役割を有する。ユーザインタフェース部２１０は、例えば、入力インタフェース４６を介してユーザ入力を検出し、ユーザ入力信号を表示制御部２２０へ出力する。入力インタフェース４６は、タッチセンサ、キーボード、キーパッド、ボタン、スイッチ、カメラ、マイクロフォン、人感センサ、振動センサ又は姿勢センサなどのいかなる入力手段を含んでもよい。ユーザインタフェース部２１０は、コントローラ１００と同様、ユーザ入力として、音声認識技術を用いて音声コマンドを認識してもよく、又は撮像画像からジェスチャコマンドを認識してもよい。
【００６６】
表示制御部２２０は、同一の機器内の接続線を介して、又は通信インタフェース３５を介してコントローラ１００と接続される。表示制御部２２０は、コントローラ１００によりユーザへ向けて音声通知が出力される場合に、コントローラ１００から受信される指示に応じて、当該音声通知に対応するメッセージを表示装置４０に表示させる。本実施形態において、表示制御部２２０は、音声通知の出力からある時間インターバルが経過した後に、当該音声通知に対応するメッセージを表示装置４０に表示させる。
【００６７】
一例として、表示制御部２２０は、ダイアログボックス又はポップアップウィンドウなどの簡易な表示アイテムを用いて、単一のメッセージのみを表示装置４０に表示させてもよい。他の例として、表示制御部２２０は、１つ以上のメッセージアイテムを有するメッセージウィンドウを表示装置４０に表示させてもよい、後者の例において、各メッセージアイテムは、対応する被制御機器を識別する情報と当該被制御機器に関する音声通知に対応するメッセージとを表示し得る。被制御機器を識別する情報は、機器の名称若しくは識別子のような文字情報であってもよく、又はアイコンのような画像情報であってもよい。
【００６８】
図１２は、一実施形態に係るメッセージウィンドウの基本的な構成の一例について説明するための説明図である。図１２を参照すると、複数のメッセージをそれぞれ表示する複数のメッセージアイテムを有するメッセージウィンドウＷ１が示されている。メッセージウィンドウＷ１は、タブ形式で構成されており、相互に切り替えて表示され得る第１のタブ６１、第２のタブ６２及び第３のタブ６３を含む。第１のタブ６１は、有効な全てのメッセージアイテムを表示する「全メッセージ」タブである。第２のタブ６２は、コントローラ１００からユーザへの提案に関連付けられるメッセージアイテムを表示する「提案」タブである。第３のタブ６３は、コントローラ１００により収集されたステータスに関連付けられるメッセージアイテムを表示する「ステータス」タブである。
【００６９】
図１２の例では、第１のタブ６１は、メッセージアイテム５１、５２、５３、５４、５５、５６及び５７を有する。各メッセージアイテムのアイコンは、各メッセージアイテムがどの被制御機器についての音声通知に対応するメッセージを表示しているのかを識別する。メッセージアイテム５１は、空調機器である被制御機器１０ａの暖房機能を起動することをユーザに提案するためのメッセージを表示している。この提案が表示されている間に、ユーザがユーザ入力（例えば、「ＯＫ」ボタンへのタッチ）を通じて提案を承認すると、表示制御部２２０はコントローラ１００へ提案が承認されたことをシグナリング（例えば、応答を送信）する。ユーザは、補助エージェント２００を介することなく、例えば音声コマンドを通じて直接的にコントローラ１００へ承認を与えてもよい。また、ユーザは、被制御機器１０ａを直接的に操作してもよい。メッセージアイテム５２は、被制御機器１０ａから報告された室内温度を環境ステータスとしてユーザに通知するためのメッセージを表示している。ユーザは、被制御機器１０ａに関するステータスの表示を必要としない場合、メッセージアイテム５２の右上角に位置している「×」ボタンへタッチすることにより、メッセージアイテム５２を非表示に設定し得る。メッセージアイテム５３は、テレビジョン機器である被制御機器１０ｂのチャンネルを切り替えて特定の放送番組を視聴することをユーザに提案するためのメッセージを表示している。メッセージアイテム５４は、スマートロックである被制御機器１０ｄから報告されたドアのロック状態を動作ステータスとしてユーザに通知するためのメッセージを表示している。メッセージアイテム５５は、被制御機器１０ｂから報告された表示中のチャンネルの情報を動作ステータスとしてユーザに通知するためのメッセージを表示している。メッセージアイテム５６は、カーテンである被制御機器１０ｂから報告されたカーテンの開閉状態を動作ステータスとしてユーザに通知するためのメッセージを表示している。メッセージアイテム５７は、外灯である被制御機器１０ｅから報告された点灯状態を動作ステータスとしてユーザに通知するためのメッセージを表示している。表示制御部２２０は、メッセージウィンドウＷ１において、個々のメッセージアイテムの色、サイズ、形状、点滅パターン又はアニメーションの種類などの表示属性を、機器ごと、メッセージの種類（ステータス報告、イベント報告又は提案）ごと、又は重要度ごとに別々に設定してもよい。
【００７０】
なお、図１２に示したメッセージウィンドウＷ１の構成は一例に過ぎず、他の構成を有するウィンドウが提供されてもよい。例えば、メッセージウィンドウに表示されるメッセージアイテムの数は、コントローラ１００により制御され又は管理される被制御機器の数に等しくてもよい（即ち、１つの被制御機器について１つのメッセージアイテム）。それにより、ウィンドウ内の表示が煩雑になることを回避しつつ、環境内に存在する多数の被制御機器の概況をユーザが把握することが容易となる。また、同一のクラスに属する複数の被制御機器については、１つのメッセージアイテムのみが表示されてもよい（例えば、複数の照明機器について１つのメッセージアイテム、など）。また、複数の提案メッセージに対して包括的に承認又は拒絶を返すＧＵＩアイテムがウィンドウ内に設けられてもよい。メッセージの内容は、音声通知の内容とは一致していなくてもよい。例えば、表示装置のタイプ、又は対象ユーザの属性に依存して、メッセージのテキストが変化してもよい。年少のユーザ向けには、メッセージの内容が理解し易くなるように、メッセージのテキストが加工又は簡略化されてもよい。
【００７１】
図１３は、図１２に示したメッセージウィンドウＷ１におけるタブの切り替えの一例について説明するための説明図である。図１３を参照すると、ユーザにより第２のタブ６２のインデックス部分がタッチされた結果として、「提案」タブに相当する第２のタブ６２がメッセージウィンドウＷ１に表示されている。第２のタブ６２は、メッセージアイテム５１及び５３、即ちコントローラ１００からユーザへの提案についてのメッセージを表示するメッセージアイテムのみを含む。こうした選択的表示によって、ユーザは、自らの反応を要求しているメッセージのみを直ちに見分けて適切な反応（例えば、提案の承認又は拒絶）を返すことができる。メッセージの表示から所定の時間長が経過してもユーザの反応が検出されない提案は、その提案が承認されたものとして扱われてもよく、又は拒絶されたものとして扱われてもよい。
【００７２】
表示制御部２２０は、上述したメッセージウィンドウＷ１において、ウィンドウ内のメッセージアイテムの表示順序を、対応するメッセージのタイムスタンプの順に決定し得る。ここでのタイムスタンプは、対応するメッセージが補助エージェント２００により初めて表示され若しくは（コントローラ１００から）受信された時刻を示してもよく、又は対応する音声通知がコントローラ１００から出力された時刻を示してもよい。図１２の例では、メッセージウィンドウＷ１内のメッセージアイテムは、タイムスタンプの降順（より新しいアイテムが上）に並んでいる。
【００７３】
表示制御部２２０は、コントローラ１００から受信されたメッセージの全てをウィンドウに表示させる代わりに、受信されたメッセージを選択的に表示装置４０に表示させてもよい。例えば、表示制御部２２０は、コントローラ１００の表示制御部１６０に関連して上述した選択条件１〜６のうちの１つ又は２つ以上の組合せに応じて（即ち、メッセージを表示する表示装置のタイプ若しくは現在位置、ユーザの属性、プレゼンス若しくは権限、又はメッセージの重要度に応じて）、メッセージウィンドウに表示させるメッセージアイテムを選択してもよい。
【００７４】
表示制御部２２０は、上述した表示順序に関わらず、高い重要度が設定されたメッセージを優先的にメッセージウィンドウに表示させてもよい。図１４は、重要度の高いメッセージアイテムの表示の一例について説明するための説明図である。図１４を参照すると、メッセージウィンドウＷ２において、メッセージアイテム５１及び５３に重畳する形で、メッセージアイテム５８が表示されている。メッセージアイテム５８は、スマートロックである被制御機器１０ｄにおいてドアが開錠されたというイベントをユーザに通知するためのメッセージを表示している。重要度は、コントローラ１００又は補助エージェント２００において予め登録される設定（例えば、被制御機器ごと、音声通知の種類ごと又はメッセージの種類ごとの設定）に基づいて、各メッセージに付与されてよい。このような優先的又は強制的な表示がなされることで、例えばセキュリティなどの側面でユーザにより必ず確認されることが望ましいメッセージを、確実にユーザへ伝えることができる。
【００７５】
図１５Ａは、メッセージアイテムの表示の他の例について説明するための説明図である。図１５Ａには、図１３を用いて説明したメッセージウィンドウＷ１が再び示されており、メッセージアイテム５１のアイコンをタッチすることにより表示されるポップアップメニュー６５内のメニューアイテム「Ｈｉｓｔｏｒｙ」がユーザによりタッチされている。また、その結果、メッセージアイテム５１に対応する被制御機器１０ａに関するメッセージの履歴を時系列で示す履歴ウィンドウＷ３が表示されている。このような１つの機器に固有のメッセージのみを表示するウィンドウを追加的に提供することで、主たるメッセージウィンドウの内容を簡潔に保ちながら、特定の被制御機器についてのステータス変化又はイベント発生状況等の詳細をもユーザに伝えることが容易となる。
【００７６】
図１５Ｂは、メッセージアイテムの表示のまた別の例について説明するための説明図である。図１５Ｂには、特に移動端末に実装される補助エージェント２００により表示され得る一例としてのメッセージウィンドウＷ４が示されている。メッセージウィンドウＷ４は、メッセージアイテム７１、７２及び７３を有する。メッセージアイテム７１、７２及び７３は、コントローラ１００から受信された全てのメッセージではなく、所定の選択条件に従って表示制御部２２０により選択されたアイテム（例えば、外出時においても表示されるようにユーザにより設定されたアイテム）である。また、メッセージアイテム７１は、コントローラ１００からの２つの提案が保留中であることを示している。例えば、メッセージアイテム７１に含まれるボタン「Ｒｅａｄ」をユーザがタッチすると、それら提案の内容をそれぞれ表示する２つのメッセージアイテムが、メッセージウィンドウＷ４内に展開され得る。こうした選択的なメッセージの表示によって、ユーザの行動状況又は関心の度合いにふさわしい、煩雑でないインタラクションを実現することができる。
【００７７】
図１６は、メッセージウィンドウの表示の経時的変化の一例を示す説明図である。図１６を参照すると、まず、時刻Ｔ＝ｔ５１に、最新のタイムスタンプを有するメッセージアイテム８１がメッセージウィンドウＷ５１内に表示される。メッセージアイテム８１の他に、メッセージウィンドウＷ５１は、メッセージアイテム８２及び８３を表示している。メッセージアイテム８１は、被制御機器１０ａの制御に関するユーザへの提案を示す内容を有する。メッセージアイテム８２は、被制御機器１０ｂの制御に関するユーザへの提案を示す内容を有する。
【００７８】
時刻Ｔ＝ｔ５２に、ユーザは、メッセージアイテム８２内のボタンにタッチすることにより、メッセージアイテム８２を介するコントローラ１００からの提案を承認する。このユーザ入力に応じて、メッセージウィンドウＷ５２からメッセージアイテム８２は消滅し、代わりに新たなメッセージアイテム８４がメッセージアイテム８１の上に表示される。メッセージアイテム８４は、メッセージアイテム８２による提案をユーザが承認した結果として生じた被制御機器１０ｂに関するステータスの変化を示す内容を有する。
【００７９】
時刻Ｔ＝ｔ５３に、例えばユーザが（補助エージェント２００を介さずに）被制御機器１０ａを操作した結果として、メッセージアイテム８１に対応する音声通知の通知条件が満たされなくなったものとする。すると、メッセージウィンドウＷ５２からメッセージアイテム８１は消失し、代わりに新たなメッセージアイテム８５が最上段に表示される。メッセージアイテム８５は、ユーザによる被制御機器１０ａの操作の結果として生じた被制御機器１０ａに関するステータスの変化を示す内容を有する。
【００８０】
時刻Ｔ＝ｔ５４に、被制御機器１０ｄにおいて新たなイベントが生じたことをきっかけとして、新たなメッセージアイテム８６が最上段に表示される。メッセージアイテム８６は、被制御機器１０ｄにおいて検出された動作ステータスの変化をイベントとして示す内容を有する。被制御機器１０ｄに関するステータス又はイベントに高い重要度が設定されている場合、メッセージアイテム８６は、他のメッセージアイテムとは区別され得る態様（表示属性）で、優先的にメッセージウィンドウ内に表示され得る。
【００８１】
メッセージウィンドウは、環境内の１つ以上の被制御機器１０をユーザが一元的に操作するためのポータルとしての役割を有していてもよい。例えば、表示制御部２２０は、メッセージウィンドウ内のメッセージアイテムに対する所定のユーザ入力が検出された場合に、当該メッセージアイテムにより識別される被制御機器１０を遠隔的に操作するための遠隔制御ウィンドウを、表示装置４０に表示させてもよい。
【００８２】
図１７は、メッセージウィンドウから遠隔制御ウィンドウへの遷移の一例を示す説明図である。図１７の左上には、図１６に示したものと同様のメッセージウィンドウＷ５１が再び示されている。メッセージウィンドウＷ５１は、メッセージアイテム８１、８２及び８３を有する。例えば、ユーザが被制御機器１０ａに対応するメッセージアイテム８１上でフリックを行うと、被制御機器１０ａを操作するための遠隔制御ウィドウＷ５２が表示される。ユーザがメッセージアイテム８２上でフリックを行うと、被制御機器１０ｂを操作するための遠隔制御ウィドウＷ５３が表示される。ユーザがメッセージアイテム８３上でフリックを行うと、被制御機器１０ｃを操作するための遠隔制御ウィドウＷ５４が表示される。このようなユーザインタフェースが提供されることで、ユーザは、コントローラ１００からの制御の提案（又はその他の通知）があったもののその提案が不適当な場合に、ユーザは、単に提案を拒絶するだけでなく、その提案をきっかけとして所望の制御を素早く自ら行うことができる。
【００８３】
＜４．処理の流れ＞
［４−１．被制御機器の処理］
図１８は、一実施形態に係る被制御機器１０により実行される処理の流れの一例を示すフローチャートである。図１８を参照すると、まず、被制御機器１０は、環境ステータスを取得する（ステップＳ１１０）。例えば、空調機器１０ａは、環境温度及び環境湿度といったステータスを取得し得る。なお、必ずしも全ての種類の被制御機器１０が環境ステータスを取得しなくてもよい。よって、ステップＳ１１０は省略されてもよい。
【００８４】
次に、被制御機器１０は、自律的な動作を実行する（ステップＳ１１２）。例えば、空調機器１０ａは、稼動中である場合に、環境温度と目標温度との差分に基づいて、送出する空気の温度を変化させる。テレビジョン機器１０ｂは、視聴予約又は録画予約の予約データに基づいて、対象の放送番組の受信及び再生、又は録画を開始する。カーテン１０ｃは、タイマの設定に基づいて閉じた状態から開いた状態へ、又は開いた状態から閉じた状態へ変化する。
【００８５】
次に、被制御機器１０は、ステータス報告のタイミングが到来したかを判定する（ステップＳ１１４）。ステータス報告のタイミングは、予め周期的に設定され、又は特定の時刻に設定され得る。被制御機器１０は、ステータス報告のタイミングが到来したと判定される場合に、コントローラ１００へ環境ステータス又は動作ステータスを送信する（ステップＳ１１６）。
【００８６】
次に、被制御機器１０は、イベント報告を行うか否かを判定する（ステップＳ１１８）。例えば、スマートロック１０ｄは、ユーザにより設定された期間中にドアが開錠されたこと、又は何らかの者によりドアの開錠が試行されたものの失敗したことを、コントローラ１００へ報告すべきイベントであると判定してもよい。被制御機器１０は、イベント報告を行うことを決定した場合に、コントローラ１００へイベント報告を送信する（ステップＳ１２０）。
【００８７】
次に、被制御機器１０は、コントローラ１００又は他の装置から制御信号が受信されたかを判定する（ステップＳ１２２）。被制御機器１０は、制御信号が受信された場合には、受信された制御信号に従った動作を実行する（ステップＳ１２４）。例えば、外灯１０ｅは、点灯すべきことを指示する制御信号がコントローラ１００から受信された場合に、点灯する。
【００８８】
［４−２．コントローラの処理］
図１９は、一実施形態に係るコントローラ１００により実行される処理の流れの一例を示すフローチャートである。図１９を参照すると、まず、機器制御部１４０は、１つ以上の被制御機器１０及び１つ以上のセンサ３４から、環境ステータス及び動作ステータスを収集する（ステップＳ１３０）。機器制御部１４０は、これらステータスに加えて、例えば電子番組表又は天候データといった補足情報を外部サーバから取得してもよい。
【００８９】
次に、音声認識部１２０は、音声認識を実行することにより、ユーザの存在を検出し、ユーザを識別し、又はユーザにより発せられた音声コマンドを検出する（ステップＳ１３２）。また、画像認識部１３０は、画像認識を実行することにより、ユーザの存在を検出し、ユーザを識別し、又はジェスチャコマンドを検出し得る。
【００９０】
次に、機器制御部１４０は、被制御機器１０の各々について、関連する通知条件を判定することにより、ユーザ向けの音声通知を出力するか否かを判定する（ステップＳ１３４）。ここでの判定は、ステップＳ１３０において収集された環境ステータス及び動作ステータス、ステップＳ１３２において取得されたユーザのプレゼンス、並びに日時といった指標に基づき得る。機器制御部１４０は、ユーザ向けに１つ以上の音声通知を出力すると判定すると、音声通知部１１０にそれら音声通知をスピーカ３１を介して順に出力させる（ステップＳ１３６）。
【００９１】
次に、表示制御部１６０は、音声通知部１１０により出力された音声通知に対応するメッセージを、補助エージェント２００に表示させるか否かを判定する（ステップＳ１３６）。表示制御部１６０は、メッセージを補助エージェント２００に表示させると判定した場合には、メッセージを表示すべき１つ以上の表示装置を選択する（ステップＳ１４０）また、表示制御部１６０は、選択した表示装置ごとの時間インターバルを、例えば表示装置のタイプ、ユーザのプレゼンス又はメッセージの重要度に基づいて決定する（ステップＳ１４２）。
【００９２】
次に、表示制御部１６０は、表示すべき個々のメッセージについて、ステップＳ１４２において決定した時間インターバルが経過したかを判定する（ステップＳ１４４）。表示制御部１６０は、時間インターバルが経過する前に、求めていたユーザの反応が検出された場合、又は、対応する通知条件が満たされなくなった場合には、メッセージの表示を撤回する。表示制御部１６０は、時間インターバルが経過し、かつメッセージの表示が撤回済みでない場合（ステップＳ１４６）、音声通知に対応するメッセージの表示を、補助エージェント２００へ指示する（ステップＳ１４８）。
【００９３】
次に、機器制御部１４０は、被制御機器１０を制御するか否かを判定する（ステップＳ１５０）。例えば、機器制御部１４０は、被制御機器１０を制御することを指示するユーザ入力が検出された場合、被制御機器１０を制御することを決定する。ここでのユーザ入力は、音声コマンド、ジェスチャコマンド若しくはその他の入力としてコントローラ１００により検出され、又は、補助エージェント２００からのシグナリング（例えば、制御動作の提案に対する承認）を通じて検出され得る。機器制御部１４０は、被制御機器１０を制御することを決定すると、被制御機器１０へ制御信号を送信する（ステップＳ１５２）。
【００９４】
［４−３．補助エージェントの処理］
図２０は、一実施形態に係る補助エージェント２００により実行される処理の流れの一例を示すフローチャートである。図２０を参照すると、まず、表示制御部２２０は、同一の機器内の接続線を介して、又は通信インタフェース３５を介してコントローラ１００から、メッセージ表示指示を受信する（ステップＳ２１０）。
【００９５】
次に、表示制御部２２０は、（メッセージに割り当てられた時間インターバルの経過後に）表示することを指示されたメッセージに対応するメッセージアイテムを生成し、又は既存のメッセージアイテムを新たに指示されたメッセージを表示するように更新する（ステップＳ２１２）。
【００９６】
次に、表示制御部２２０は、ウィンドウ内に１つ以上の有効なメッセージアイテムを配置することにより、最新のメッセージウィンドウを構成する（ステップＳ２１４）。例えば、表示制御部２２０は、所定の選択条件に従って表示すべきメッセージをフィルタリングし、及び所定の表示順序に従ってメッセージアイテムを並び替え得る。
【００９７】
そして、表示制御部２２０は、１つ以上の有効なメッセージアイテムで構成されたメッセージウィンドウを表示装置４０に表示させる（既にメッセージウィンドウが表示されている場合には、その表示を更新する）（ステップＳ２２０）。
【００９８】
また、ユーザインタフェース部２１０は、例えば入力インタフェース４６を介してユーザ入力を監視する（ステップＳ２２０）。ユーザインタフェース部２１０によりユーザ入力が検出されると、表示制御部２２０は、検出されたユーザ入力に従った動作を実行する（ステップＳ２２２）。ここで実行される動作は、例えば、メッセージウィンドウ内のタブの切り替え、指定された被制御機器１０を操作するための遠隔制御ウィンドウの表示、又は、提案の承認若しくは拒絶をコントローラ１００へ伝えるためのシグナリングなど、いかなる動作であってもよい。
【００９９】
＜５．外部サーバとの連携＞
前節まで、単一のコントローラ１００と１つ以上の補助エージェント２００とによりインタラクションシステムが構成される例を説明した。しかしながら、かかる例に限定されず、コントローラ１００は、相互に連携する複数の装置によって具現化されてもよい。
【０１００】
図２１Ａは、外部サーバとの連携の第１の例について説明するための説明図である。図２１Ａを参照すると、環境１に存在するコントローラ１００ａに加えて、ネットワーク３を介してコントローラ１００ａと通信する外部サーバ５が示されている。そして、外部サーバ５の上で、コントローラ１００ｂが稼動する。コントローラ１００ａは、図４に示したコントローラ１００の機能ブロックのうち、例えば音声通知部１１０、機器制御部１４０及び表示制御部１６０を有する。一方、コントローラ１００ｂは、図４に示したコントローラ１００の機能ブロックのうち、音声認識部１２０及び画像認識部１３０を有する。コントローラ１００ａは、マイクロフォン３２を介して取得される音声信号又は当該音声信号から抽出される音声特徴データをコントローラ１００ｂへ送信し、音声コマンドの認識をコントローラ１００ｂに委任する。また、コントローラ１００ａは、カメラ３３を介して取得される画像信号又は当該画像信号から抽出される画像特徴データをコントローラ１００ｂへ送信し、画像認識をコントローラ１００ｂに委任する。コントローラ１００は、委任された音声認識又は画像認識を、豊富な処理リソースと大規模な辞書データとを用いて実行し、実行結果をコントローラ１００ａへ返却する。コントローラ１００ａは、コントローラ１００ｂから返却されるこうした認識結果に基づいて、ユーザとのインタラクション及び被制御機器１０の制御を実行する。なお、コントローラ１００ａ及びコントローラ１００ｂへの機能の分配は、ここで説明した例には限定されない。
【０１０１】
コントローラ１００ｂは、環境１の外部に存在する端末からコントローラ１００ａ又は環境１内の他の機器へのアクセスを制御する役割を有していてもよい。また、外部サーバ５とは別の機器（例えば、図示しないホームゲートウェイ）がこうしたアクセス制御の役割を有していてもよい。
【０１０２】
図２１Ｂは、外部サーバとの連携の第２の例について説明するための説明図である。図２１Ｂを参照すると、環境１に存在するコントローラ１００ａ、コントローラ１００ａと通信する外部サーバ５、及び外部サーバ５上で稼働するコントローラ１００ｂが再び示されている。第２の例では、コントローラ１００ａは、図４に示したコントローラ１００の機能ブロックのうちの全てを有する。コントローラ１００ｂもまた、図４に示したコントローラ１００の機能ブロックのうちの全てを有する。但し、コントローラ１００ａにとって利用可能な処理リソース及び記憶リソースは、コントローラ１００ｂにとって利用可能な処理リソース及び記憶リソースよりも少ない。コントローラ１００ａは、例えば音声認識、画像認識、被制御機器の制御又は表示制御といった処理の負荷がキャパシティを超えそうになると、一部の処理をコントローラ１００ｂへ委任する。処理の負荷が低い場合には、コントローラ１００ａは、単独で処理を遂行する。
【０１０３】
＜６．まとめ＞
ここまで、図１〜図２１Ｂを用いて、本開示に係る技術の実施形態について説明した。上述した実施形態によれば、１つ以上の被制御機器を制御するコントローラから少なくとも１つの被制御機器に関するユーザ向けの音声通知が出力され、当該音声通知に対応するメッセージが表示装置により表示される。従って、ユーザに音声通知が届かず又はユーザが音声通知を聞き逃したとしても、ユーザは、表示されるメッセージの内容を事後的に確認し、必要に応じてメッセージに対して反応することができる。こうした補完的なインタラクション手段が確保されることで、主として音声インタラクションを遂行するコントローラは、ユーザ向けの音声通知を過剰に繰り返さなくてよい。このような音声インタラクションと視覚的なインタラクションとの混合によって、情報伝達の確実性、適時性又は選択性が改善され、ユーザの利便性が高められる。
【０１０４】
また、上述した実施形態によれば、音声通知に対応するメッセージは、当該音声通知の出力からある時間インターバルが経過した後に表示される。従って、音声通知に対してユーザが適切なアクションをとるための時間的猶予が保証される。そして、ユーザの迅速な反応又は被制御機器に関するステータスの変化に起因して、音声通知の目的が達せられ又は音声通知の内容の有効性が失われた場合に、その音声通知に対応するメッセージが不必要に表示されてしまう事態を回避することができる。
【０１０５】
また、上述した実施形態によれば、メッセージを表示する表示装置のタイプに応じて、個々の表示装置がメッセージを表示するまでの時間インターバルが動的に決定され得る。従って、例えば、まずは被制御機器が設置されている環境に存在するユーザに通知への注意を向けさせ、それでも適切な反応が得られない場合にのみそれ以外のユーザに注意を喚起するといった段階的なインタラクションを実現することができる。
【０１０６】
また、上述した実施形態によれば、音声通知に対応するメッセージは、１つ以上のメッセージアイテムを一覧化するメッセージウィンドウにおいて、対応する被制御機器を識別する情報と共に表示される。従って、ユーザは、環境内に存在する複数の被制御機器の概況をメッセージウィンドウを通じて手軽に把握することができる。また、ユーザは、メッセージアイテム上に設けられるＧＵＩアイテムを通じて、音声通知が出力された際には返すことのできなかった反応を事後的に返すことができる。また、表示されるべきメッセージを表示端末ごとの設定に従って変化させることで、重要なメッセージ又はユーザが特に関心を有するメッセージが見逃される可能性を低減することができる。
【０１０７】
なお、上述した実施形態では、コントローラとユーザとの間の主たるインタラクションが音声インタラクションによって実現され、視覚的なインタラクションが補完的に提供される。しかしながら、かかる例に限定されず、音声インタラクションに類似する性質を有する他の種類のインタラクション手段（例えば、シリアルに情報を表示する字幕、又は手話などのジェスチャインタラクションなど）が音声インタラクションの代わりに採用されてもよい。本開示に係る技術によれば、そうした他の種類のインタラクション手段の欠点また、視覚的なインタラクションにより補完され得る。
【０１０８】
本明細書において説明した様々な処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられる記憶媒体（非一時的な媒体：non-transitory  media）に予め格納される。そして、各プログラムは、例えば、実行時にＲＡＭ（Random  Access  Memory）に読み込まれ、ＣＰＵ（Central  Processing  Unit）などのプロセッサにより実行される。
【０１０９】
また、本明細書においてフローチャートを用いて説明した処理は、必ずしもフローチャートに示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。
【０１１０】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１１１】
また、本明細書に記載された効果は、あくまで説明的又は例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果と共に、又は上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏し得る。
【０１１２】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
１つ以上の被制御機器を制御する機器制御部と、
少なくとも１つの前記被制御機器に関する、ユーザ向けの音声通知を出力する音声通知部と、
前記音声通知部により出力される前記音声通知に対応するメッセージを表示装置に表示させる表示制御部と、
を備える制御装置。
（２）
前記表示制御部は、前記音声通知の出力からある時間インターバルが経過した後に、前記音声通知に対応するメッセージを前記表示装置に表示させる、前記（１）に記載の制御装置。
（３）
前記音声通知は、ユーザの反応を求める内容を含み、
前記表示制御部は、前記時間インターバルが経過する前に前記反応が検出された場合には、前記音声通知に対応するメッセージを前記表示装置に表示させない、
前記（２）に記載の制御装置。
（４）
前記音声通知は、前記被制御機器に関するステータスが所定の通知条件を満たす場合に出力され、
前記表示制御部は、前記時間インターバルが経過する前に前記ステータスが前記所定の通知条件を満たさなくなった場合には、前記音声通知に対応するメッセージを前記表示装置に表示させない、
前記（２）又は前記（３）に記載の制御装置。
（５）
前記表示制御部は、前記メッセージを表示する表示装置の設置場所又は移動性に関するタイプに応じて、前記時間インターバルを設定する、前記（２）〜（４）のいずれか１項に記載の制御装置。
（６）
前記制御装置は、前記制御装置の近傍のユーザの存在を認識する認識部、をさらに備え、
前記音声通知部は、前記認識部により前記ユーザの存在が認識された場合において、前記音声通知に対応するメッセージが前記表示装置により表示可能であるときに、当該メッセージを見ることをユーザに促す追加的な音声通知を出力する、
前記（１）〜（５）のいずれか１項に記載の制御装置。
（７）
前記表示装置は、前記制御装置とは別体に構成される機器である、前記（１）〜（６）のいずれか１項に記載の制御装置。
（８）
前記１つ以上の被制御機器は、前記制御装置を内蔵する第１の被制御機器、及び前記制御装置とは別体に構成される第２の被制御機器、のうちの少なくとも１つを含む、前記（１）〜（７）のいずれか１項に記載の制御装置。
（９）
１つ以上の被制御機器を制御し及び少なくとも１つの前記被制御機器に関するユーザ向けの音声通知を出力する制御装置、と接続される表示装置であって、
前記制御装置から受信される指示に応じて、前記制御装置により出力される前記音声通知に対応するメッセージを表示部に表示させる表示制御部、
を備える表示装置。
（１０）
前記表示制御部は、前記制御装置による前記音声通知の出力からある時間インターバルが経過した後に、前記音声通知に対応する前記メッセージを前記表示部に表示させる、前記（９）に記載の表示装置。
（１１）
前記表示制御部は、１つ以上のメッセージアイテムを有するメッセージウィンドウを前記表示部に表示させ、
各メッセージアイテムは、対応する被制御機器を識別する情報と当該被制御機器に関する前記メッセージとを表示する、
前記（９）又は（１０）に記載の表示装置。
（１２）
前記表示制御部は、前記表示装置のタイプ若しくは現在位置、ユーザの属性、プレゼンス若しくは権限、又は前記メッセージの重要度に応じて、前記メッセージウィンドウに表示させるメッセージアイテムを選択する、前記（１１）に記載の表示装置。
（１３）
前記メッセージウィンドウは、前記１つ以上の被制御機器にそれぞれ対応する前記メッセージアイテムを有し、
前記表示制御部は、前記メッセージウィンドウ内の前記メッセージアイテムの表示順序を、対応するメッセージのタイムスタンプの順に決定する、
前記（１１）又は前記（１２）に記載の表示装置。
（１４）
前記表示制御部は、前記表示順序に関わらず、高い重要度が設定されたメッセージを優先的に前記メッセージウィンドウに表示させる、前記（１３）に記載の表示装置。
（１５）
前記表示制御部は、前記メッセージウィンドウ内のあるメッセージアイテムに対する所定のユーザ入力が検出された場合に、当該メッセージアイテムにより識別される被制御機器を遠隔的に操作するための遠隔制御ウィンドウを前記表示部に表示させる、前記（１１）〜（１４）のいずれか１項に記載の表示装置。
（１６）
前記メッセージウィンドウに表示される前記メッセージアイテムの数は、前記被制御機器の数に等しい、前記（１１）〜（１５）のいずれか１項に記載の表示装置。
（１７）
１つ以上の被制御機器を制御する制御装置により実行される制御方法であって、
少なくとも１つの前記被制御機器に関する、ユーザ向けの音声通知を出力することと、
出力される前記音声通知に対応するメッセージを表示装置に表示させることと、
を含む制御方法。
（１８）
１つ以上の被制御機器を制御し及び少なくとも１つの前記被制御機器に関するユーザ向けの音声通知を出力する制御装置、と接続される表示装置により実行される表示制御方法であって、
前記制御装置から受信される指示に応じて、前記制御装置により出力される前記音声通知に対応するメッセージを表示部に表示させること、
を含む表示制御方法。
（１９）
制御装置のプロセッサを、
１つ以上の被制御機器を制御する機器制御部と、
少なくとも１つの前記被制御機器に関する、ユーザ向けの音声通知を出力する音声通知部と、
前記音声通知部により出力される前記音声通知に対応するメッセージを表示装置に表示させる表示制御部と、
として機能させるプログラム。
（２０）
１つ以上の被制御機器を制御し及び少なくとも１つの前記被制御機器に関するユーザ向けの音声通知を出力する制御装置、と接続される表示装置のプロセッサを、
前記制御装置から受信される指示に応じて、前記制御装置により出力される前記音声通知に対応するメッセージを表示部に表示させる表示制御部、
として機能させるプログラム。
【符号の説明】
【０１１３】
１        環境
５        外部サーバ
１０      被制御機器
２０      通信機器
３０      制御装置
４０      表示装置
１００    コントローラ
１１０    音声通知部
１２０    音声認識部
１３０    画像認識部
１４０    機器制御部
１５０    記憶部
１６０    表示制御部
２００    補助エージェント
２１０    ユーザインタフェース部
２２０    表示制御部
【図１】
2017123564.tif 000003
【図２Ａ】
2017123564.tif 000004
【図２Ｂ】
2017123564.tif 000005
【図２Ｃ】
2017123564.tif 000006
【図３Ａ】
2017123564.tif 000007
【図３Ｂ】
2017123564.tif 000008
【図３Ｃ】
2017123564.tif 000009
【図３Ｄ】
2017123564.tif 000010
【図３Ｅ】
2017123564.tif 000011
【図４】
2017123564.tif 000012
【図５Ａ】
2017123564.tif 000013
【図５Ｂ】
2017123564.tif 000014
【図５Ｃ】
2017123564.tif 000015
【図５Ｄ】
2017123564.tif 000016
【図６】
2017123564.tif 000017
【図７】
2017123564.tif 000018
【図８】
2017123564.tif 000019
【図９】
2017123564.tif 000020
【図１０】
2017123564.tif 000021
【図１１】
2017123564.tif 000022
【図１２】
2017123564.tif 000023
【図１３】
2017123564.tif 000024
【図１４】
2017123564.tif 000025
【図１５Ａ】
2017123564.tif 000026
【図１５Ｂ】
2017123564.tif 000027
【図１６】
2017123564.tif 000028
【図１７】
2017123564.tif 000029
【図１８】
2017123564.tif 000030
【図１９】
2017123564.tif 000031
【図２０】
2017123564.tif 000032
【図２１Ａ】
2017123564.tif 000033
【図２１Ｂ】
2017123564.tif 000034