(57)【要約】【課題】電気機器の近くのいる人の要求に合った電気機器の遠隔操作が行われやすくする。【解決手段】操作補助装置１は、マイクを有する音声処理装置４に入力された音声メッセージに基づいて作成されたテキスト情報を取得するテキスト情報取得部１３１と、音声メッセージが発せられた建物内に設置されている複数の電気機器を特定する機器特定部１３２と、テキスト情報取得部１３１がテキスト情報を取得した後に、機器特定部１３２が特定した複数の電気機器から一以上の電気機器を選択する選択部１３３と、音声処理装置４に関連付けられた通信端末３に、テキスト情報と、選択部１３３が選択した一以上の電気機器を操作するために用いられる一以上のアイコンとを表示させる表示制御部１３４と、を有する。【選択図】図２
2020014085.tif 000002
【特許請求の範囲】
【請求項１】
マイクを有する音声処理装置に入力された音声メッセージに基づいて作成されたテキスト情報を取得するテキスト情報取得部と、
前記音声メッセージが発せられた建物内に設置されている複数の電気機器を特定する機器特定部と、
前記テキスト情報取得部が前記テキスト情報を取得した後に、前記機器特定部が特定した前記複数の電気機器から一以上の電気機器を選択する選択部と、
前記音声処理装置に関連付けられた通信端末に、前記テキスト情報と、前記選択部が選択した前記一以上の電気機器を操作するために用いられる一以上のアイコンとを表示させる表示制御部と、
を有する操作補助装置。
【請求項２】
前記選択部は、前記テキスト情報に含まれる単語と、当該単語に関連付けて記憶部に記憶された電気機器とに基づいて、前記一以上の電気機器を選択する、
請求項１に記載の操作補助装置。
【請求項３】
前記選択部は、前記テキスト情報に対応する前記音声メッセージの入力者を特定した結果に基づいて、前記一以上の電気機器を選択する、
請求項１又は２に記載の操作補助装置。
【請求項４】
前記表示制御部は、前記選択部が前記一以上の電気機器を選択した処理の尤度に基づいて決定した順序で前記一以上のアイコンを並べて表示させる、
請求項１から３のいずれか一項に記載の操作補助装置。
【請求項５】
前記表示制御部は、前記通信端末に関連付けて、前記通信端末に過去に前記一以上のアイコンを表示させた後に前記通信端末のユーザにより操作されたアイコンを示す履歴情報を記憶部に記憶させ、
前記選択部は、前記記憶部に記憶された前記履歴情報に基づいて前記一以上の電気機器を選択する、
請求項１から４のいずれか一項に記載の操作補助装置。
【請求項６】
前記表示制御部は、前記電気機器を遠隔操作するために用いられる第１アイコン、及び前記電気機器を操作する方法を前記通信端末に表示させるために用いられる第２アイコンの少なくともいずれかを前記通信端末に表示させる、
請求項１から５のいずれか一項に記載の操作補助装置。
【請求項７】
前記表示制御部は、前記テキスト情報に対応する前記音声メッセージの入力者を特定した結果に基づいて、前記通信端末に表示させる前記一以上のアイコンの種別を決定する、
請求項６に記載の操作補助装置。
【請求項８】
前記表示制御部は、前記テキスト情報に対応する前記音声メッセージの入力者を特定した結果に基づいて、前記音声処理装置に関連付けられた複数の前記通信端末から選択した通信端末に、前記テキスト情報と前記一以上のアイコンとを表示させる、
請求項１から７のいずれか一項に記載の操作補助装置。
【請求項９】
前記通信端末において前記一以上のアイコンから選択されたアイコンを特定するための選択アイコン情報を前記通信端末から取得する端末情報取得部と、
前記選択アイコン情報が示すアイコンに対応する操作内容メッセージを、前記音声メッセージが入力された音声処理装置に送信するメッセージ送信部と、
をさらに有する、
請求項１から８のいずれか一項に記載の操作補助装置。
【請求項１０】
前記メッセージ送信部が前記操作内容メッセージを前記音声処理装置に送信した後に、前記テキスト情報取得部が所定の前記テキスト情報を取得した場合に、前記選択アイコン情報が示すアイコンに対応する操作指示を、前記複数の電気機器を制御する制御装置に送信する指示送信部をさらに有する、
請求項９に記載の操作補助装置。
【請求項１１】
前記指示送信部は、前記メッセージ送信部が前記操作内容メッセージを前記音声処理装置に送信した後に、前記テキスト情報取得部が電気機器を特定する情報を含む前記テキスト情報を取得した場合に、当該テキスト情報により特定される電気機器に対応する前記操作指示を送信する、
請求項１０に記載の操作補助装置。
【請求項１２】
前記表示制御部は、前記メッセージ送信部が前記操作内容メッセージを前記音声処理装置に送信した後に、前記テキスト情報取得部が電気機器を特定する情報を含む前記テキスト情報を取得した場合に、当該テキスト情報により特定される電気機器を操作するために用いられる前記一以上のアイコンを前記通信端末に表示させる、
請求項１０に記載の操作補助装置。
【請求項１３】
前記テキスト情報取得部は、前記音声メッセージが入力された時点における前記複数の電気機器の状態を示す機器状態情報をさらに取得し、
前記表示制御部は、前記テキスト情報と、前記機器状態情報が示す前記複数の電気機器の状態とを前記通信端末に表示させる、
請求項１から１２のいずれか一項に記載の操作補助装置。
【請求項１４】
前記テキスト情報取得部は、前記音声メッセージが入力された時点における前記複数の電気機器の状態を示す機器状態情報をさらに取得し、
前記表示制御部は、前記機器状態情報が所定の条件を満たす場合に、前記一以上のアイコンを前記通信端末に表示させる、
請求項１から１３のいずれか一項に記載の操作補助装置。
【請求項１５】
前記選択部は、前記音声メッセージが入力された音声処理装置が設置された部屋に設置されている前記一以上の電気機器を選択する、
請求項１から１４のいずれか一項に記載の操作補助装置。
【請求項１６】
マイクを有する音声処理装置に入力された音声メッセージに基づいて作成されたテキスト情報を取得するステップと、
前記音声メッセージが発せられた建物内に設置されている複数の電気機器を特定するステップと、
前記テキスト情報を受信した後に、特定した前記複数の電気機器から一以上の電気機器を選択するステップと、
前記音声処理装置に関連付けられた通信端末に、前記テキスト情報と、選択した前記一以上の電気機器を操作するために用いられる一以上のアイコンとを表示させるステップと、
を有する操作補助方法。
【請求項１７】
マイクを有する音声処理装置と、前記音声処理装置に関連付けられた通信端末と、前記音声処理装置に入力された音声メッセージに基づいて、前記音声処理装置が設置された建物内の電気機器を操作するための補助をする操作補助装置と、を備え、
前記操作補助装置は、
前記音声メッセージに基づいて作成されたテキスト情報を取得するテキスト情報取得部と、
前記音声メッセージが発せられた建物内に設置されている複数の前記電気機器を特定する機器特定部と、
前記テキスト情報取得部が前記テキスト情報を取得した後に、前記機器特定部が特定した前記複数の電気機器から一以上の電気機器を選択する選択部と、
前記音声処理装置に関連付けられた前記通信端末に、前記テキスト情報と、前記選択部が選択した前記一以上の電気機器を操作するために用いられる一以上のアイコンとを表示させる表示制御部と、
を有し、
前記通信端末は、前記一以上のアイコンから選択された一のアイコンに対応する電気機器を操作するための操作指示を送信する、
操作補助システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電気機器の操作を補助する操作補助装置、操作補助方法及び操作補助システムに関する。
【背景技術】
【０００２】
従来、電気機器を遠隔操作するためのメッセージを通信端末に表示するシステムが知られている（例えば、特許文献１を参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第５７１０５７０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来のシステムにおいては、電気機器が設置されている場所の周辺の状況に基づいて決定されたメッセージが通信端末に送信される。しかしながら、従来のシステムのように、電気機器が設置されている場所の周辺の状況のみに基づいてメッセージを決定する場合、電気機器の近くにいる人の要求に合っていないメッセージが送信されてしまう場合があるという問題があった。
【０００５】
そこで、本発明はこれらの点に鑑みてなされたものであり、電気機器の近くのいる人の要求に合った電気機器の遠隔操作が行われやすくすることを目的とする。
【課題を解決するための手段】
【０００６】
本発明の第１の態様の操作補助装置は、マイクを有する音声処理装置に入力された音声メッセージに基づいて作成されたテキスト情報を取得するテキスト情報取得部と、前記音声メッセージが発せられた建物内に設置されている複数の電気機器を特定する機器特定部と、前記テキスト情報取得部が前記テキスト情報を取得した後に、前記機器特定部が特定した前記複数の電気機器から一以上の電気機器を選択する選択部と、前記音声処理装置に関連付けられた通信端末に、前記テキスト情報と、前記選択部が選択した前記一以上の電気機器を操作するために用いられる一以上のアイコンとを表示させる表示制御部と、を有する。
【０００７】
前記選択部は、例えば、前記テキスト情報に含まれる単語と、当該単語に関連付けて記憶部に記憶された電気機器とに基づいて、前記一以上の電気機器を選択する。前記選択部は、前記テキスト情報に対応する前記音声メッセージの入力者を特定した結果に基づいて、前記一以上の電気機器を選択してもよい。
【０００８】
前記表示制御部は、前記選択部が前記一以上の電気機器を選択した処理の尤度に基づいて決定した順序で前記一以上のアイコンを並べて表示させてもよい。
【０００９】
前記表示制御部は、前記通信端末に関連付けて、前記通信端末に過去に前記一以上のアイコンを表示させた後に前記通信端末のユーザにより操作されたアイコンを示す履歴情報を記憶部に記憶させ、前記選択部は、前記記憶部に記憶された前記履歴情報に基づいて前記一以上の電気機器を選択してもよい。
【００１０】
前記表示制御部は、前記電気機器を遠隔操作するために用いられる第１アイコン、及び前記電気機器を操作する方法を前記通信端末に表示させるために用いられる第２アイコンの少なくともいずれかを前記通信端末に表示させてもよい。
【００１１】
前記表示制御部は、前記テキスト情報に対応する前記音声メッセージの入力者を特定した結果に基づいて、前記通信端末に表示させる前記一以上のアイコンの種別を決定してもよい。
【００１２】
前記表示制御部は、前記テキスト情報に対応する前記音声メッセージの入力者を特定した結果に基づいて、前記音声処理装置に関連付けられた複数の前記通信端末から選択した通信端末に、前記テキスト情報と前記一以上のアイコンとを表示させてもよい。
【００１３】
前記通信端末において前記一以上のアイコンから選択されたアイコンを特定するための選択アイコン情報を前記通信端末から取得する端末情報取得部と、前記選択アイコン情報が示すアイコンに対応する操作内容メッセージを、前記音声メッセージが入力された音声処理装置に送信するメッセージ送信部と、をさらに有してもよい。
【００１４】
前記メッセージ送信部が前記操作内容メッセージを前記音声処理装置に送信した後に、前記テキスト情報取得部が所定の前記テキスト情報を取得した場合に、前記選択アイコン情報が示すアイコンに対応する操作指示を、前記複数の電気機器を制御する制御装置に送信する指示送信部をさらに有してもよい。
【００１５】
前記指示送信部は、前記メッセージ送信部が前記操作内容メッセージを前記音声処理装置に送信した後に、前記テキスト情報取得部が電気機器を特定する情報を含む前記テキスト情報を取得した場合に、当該テキスト情報により特定される電気機器に対応する前記操作指示を送信してもよい。
【００１６】
前記表示制御部は、前記メッセージ送信部が前記操作内容メッセージを前記音声処理装置に送信した後に、前記テキスト情報取得部が電気機器を特定する情報を含む前記テキスト情報を取得した場合に、当該テキスト情報により特定される電気機器を操作するために用いられる前記一以上のアイコンを前記通信端末に表示させてもよい。
【００１７】
前記テキスト情報取得部は、前記音声メッセージが入力された時点における前記複数の電気機器の状態を示す機器状態情報をさらに取得し、前記表示制御部は、前記テキスト情報と、前記機器状態情報が示す前記複数の電気機器の状態とを前記通信端末に表示させてもよい。
【００１８】
前記テキスト情報取得部は、前記音声メッセージが入力された時点における前記複数の電気機器の状態を示す機器状態情報をさらに取得し、前記表示制御部は、前記機器状態情報が所定の条件を満たす場合に、前記一以上のアイコンを前記通信端末に表示させてもよい。
【００１９】
前記選択部は、前記音声メッセージが入力された音声処理装置が設置された部屋に設置されている前記一以上の電気機器を選択してもよい。
【００２０】
本発明の第２の態様の操作補助方法は、マイクを有する音声処理装置に入力された音声メッセージに基づいて作成されたテキスト情報を取得するステップと、前記音声メッセージが発せられた建物内に設置されている複数の電気機器を特定するステップと、前記テキスト情報を受信した後に、特定した前記複数の電気機器から一以上の電気機器を選択するステップと、前記音声処理装置に関連付けられた通信端末に、前記テキスト情報と、選択した前記一以上の電気機器を操作するために用いられる一以上のアイコンとを表示させるステップと、を有する。
【００２１】
本発明の第３の態様の操作補助システムは、マイクを有する音声処理装置と、前記音声処理装置に関連付けられた通信端末と、前記音声処理装置に入力された音声メッセージに基づいて、前記音声処理装置が設置された建物内の電気機器を操作するための補助をする操作補助装置と、を備える。前記操作補助装置は、前記音声メッセージに基づいて作成されたテキスト情報を取得するテキスト情報取得部と、前記音声メッセージが発せられた建物内に設置されている複数の前記電気機器を特定する機器特定部と、前記テキスト情報取得部が前記テキスト情報を取得した後に、前記機器特定部が特定した前記複数の電気機器から一以上の電気機器を選択する選択部と、前記音声処理装置に関連付けられた前記通信端末に、前記テキスト情報と、前記選択部が選択した前記一以上の電気機器を操作するために用いられる一以上のアイコンとを表示させる表示制御部と、を有する。前記通信端末は、前記一以上のアイコンから選択された一のアイコンに対応する電気機器を操作するための操作指示を送信する。
【発明の効果】
【００２２】
本発明によれば、電気機器の近くのいる人の要求に合った電気機器の遠隔操作が行われやすくすることができるという効果を奏する。
【図面の簡単な説明】
【００２３】
【図１】操作補助システムの概要を説明するための図である。
【図２】第１の実施形態に係る操作補助装置の機能構成を示す図である。
【図３】電気機器選択用データベースの一例を示す図である。
【図４】ユーザに関する情報を集約したユーザ情報データベースの一例を示す図である。
【図５】通信端末に表示される画面（メッセージ画面）の例を示す図である。
【図６】通信端末に表示される画面（リモコン画面）の例を示す図である。
【図７】操作補助システムにおける処理シーケンスの一例を示す図である。
【図８】第２の実施形態に係る操作補助装置の機能構成を示す図である。
【発明を実施するための形態】
【００２４】
［操作補助システムＳの概要］
図１は、操作補助システムＳの概要を説明するための図である。操作補助システムＳは、操作補助装置１と、音声変換サーバ２と、通信端末３と、音声処理装置４と、ゲートウェイ５とを有する。操作補助装置１、音声変換サーバ２、通信端末３、音声処理装置４及びゲートウェイ５は、ネットワークＮに接続されている。ネットワークＮは、例えばインターネット及び携帯電話網のようにデジタルデータを送受信可能な通信回線を含む。
【００２５】
操作補助装置１は、建物Ｂに設置された各種の電気機器（例えばテレビ２１、照明２２、エアコン２３、鍵２４）を遠隔操作する際の補助をする装置である。操作補助装置１は、例えば操作補助システムＳを用いた操作補助サービスを提供する事業者が管理するサーバである。
【００２６】
音声変換サーバ２は、建物Ｂにおいて発せられた音声メッセージをテキスト情報に変換する。音声変換サーバ２は、生成したテキスト情報を操作補助装置１に送信する。
【００２７】
通信端末３は、建物Ｂに設置された電気機器を遠隔操作する権限を有するユーザが使用する端末であり、例えばスマートフォン又はタブレットである。通信端末３は、操作補助装置１の制御に基づいて、建物Ｂにおいて発せられた音声メッセージに基づくテキスト情報とともに、建物Ｂに設置された電気機器を遠隔操作するためのアイコンをディスプレイに表示する。通信端末３は、例えば「エアコン」に対応するアイコンを表示し、通信端末３を操作するユーザにより当該アイコンが選択されると、エアコンの温度を調節するためのリモコン画面を表示する。通信端末３が表示する画面の詳細については後述する。
【００２８】
音声処理装置４は、マイク及びスピーカーを有する。音声処理装置４は、マイクが検出した音声メッセージをデジタル信号に変換し、変換したデジタル信号を、ネットワークＮを介して音声変換サーバ２に送信する。また、音声処理装置４は、マイクが検出した音声メッセージを解析した結果を音声変換サーバ２から取得し、解析した結果に応じた音声メッセージを発することもできる。
【００２９】
ゲートウェイ５は、建物Ｂに設置された複数の電気機器を制御する制御装置である。ゲートウェイ５は、例えば通信端末３から受信した操作指示に基づいて、操作指示に含まれている電気機器識別情報（以下、電気機器ＩＤという）に対応する電気機器を制御する。電気機器ＩＤは、電気機器を識別するための情報である。
【００３０】
［操作補助システムＳにおける処理の流れの概要］
以下、図１を参照しながら、操作補助システムＳにおける典型的な処理の流れについて説明する。まず、建物Ｂにいる人Ｈが音声メッセージを発すると、音声処理装置４が当該音声メッセージを取得する（図１における（１））。音声処理装置４は、取得した音声メッセージをデジタル信号に変換し、変換後のデジタル信号を音声変換サーバ２に送信する（図１における（２））。
【００３１】
音声変換サーバ２は、受信した音声メッセージのデジタル信号を音素分析し、テキスト情報に変換する（図１における（３））。音声変換サーバ２は、生成したテキスト情報を操作補助装置１に送信する（図１における（４））。
【００３２】
続いて、操作補助装置１は、音声変換サーバ２からテキスト情報を取得した後に、音声メッセージに対応するテキスト情報の内容に基づいて、又は音声メッセージを発した人が誰であるかに基づいて、遠隔操作をすることが望ましいと推定される電気機器を特定する（図１における（５））。操作補助装置１は、音声変換サーバ２から受信したテキスト情報とともに、特定した電気機器を遠隔操作するためのアイコンを通信端末３に表示させるべく、テキスト情報及びアイコン情報を通信端末３に送信する（図１における（６））。アイコン情報は、例えば、特定した電気機器の種別又は電気機器の型名を示す画像情報又はテキスト情報である。
【００３３】
通信端末３は、操作補助装置１からテキスト情報及びアイコン情報を受信すると、受信したテキスト情報を時系列に表示するとともに、アイコン情報に対応するアイコンを表示する（図１における（７））。アイコンは、通信端末３のユーザが選択することにより遠隔操作をするための画面に切り替わる限りにおいて、画像であってもテキストであってもよい。
【００３４】
通信端末３は、ユーザが、例えば画面にタッチすることによりアイコンを選択すると、選択されたアイコンに対応する電気機器を遠隔操作するためのリモコン画面を表示する。通信端末３は、リモコン画面におけるユーザの操作内容に対応する操作指示情報をゲートウェイ５に送信する（図１における（８））。操作指示情報には、電気機器を特定するための情報と、操作内容を示す情報とが含まれている。ゲートウェイ５は、受信した操作指示情報において指定されている電気機器を、操作指示情報が示す操作内容に基づいて制御する（図１における（９））。なお、通信端末３は、操作補助装置１を介することなく操作指示情報をゲートウェイ５に送信してもよく、操作補助装置１を介して操作指示情報をゲートウェイ５に送信してもよい。
【００３５】
＜第１の実施形態＞
［操作補助装置１の機能構成］
図２は、第１の実施形態に係る操作補助装置１の機能構成を示す図である。操作補助装置１は、通信部１１と、記憶部１２と、制御部１３とを有する。制御部１３は、テキスト情報取得部１３１と、機器特定部１３２と、選択部１３３と、表示制御部１３４とを有する。
【００３６】
通信部１１は、ネットワークＮにアクセスするための通信インターフェースであり、例えばＬＡＮ（Local Area Network）コントローラを有する。通信部１１は、ネットワークＮを介して音声変換サーバ２からテキスト情報を受信したり、ネットワークＮを介してアイコン情報を通信端末３に送信したりする。
【００３７】
記憶部１２は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）及びハードディスク等の記憶媒体を含む。記憶部１２は、制御部１３が実行するプログラムを記憶している。また、記憶部１２は、制御部１３が通信端末３にアイコン情報を送信する処理を実行するために必要な各種のデータを記憶している。
【００３８】
図３及び図４は、記憶部１２が記憶しているデータの一例を示す図である。図３は、選択部１３３が一以上の電気機器を選択するために用いる電気機器選択用データベースの一例を示している。電気機器選択用データベースにおいては、電気機器名と、電気機器に関連する単語である関連語とが関連付けられている。後述するように、選択部１３３は、例えば、図３に示す電気機器選択用データベースを参照することにより、通信端末３のユーザが遠隔操作をするべき電気機器として、音声変換サーバ２から受信したテキスト情報に含まれる単語に関連付けられた電気機器を選択する。
【００３９】
図４は、ユーザに関する情報を集約したユーザ情報データベースの一例を示している。ユーザ情報データベースにおいては、音声処理装置４を識別するための装置ＩＤと、音声処理装置４が設置されている建物内に設置されている電気機器名と、当該電気機器を遠隔操作可能なユーザの通信端末３に固有の通信端末ＩＤとが関連付けられている。通信端末ＩＤは、例えば通信端末３のユーザが携帯電話事業者から付与されている携帯電話番号である。
【００４０】
図２に戻り、制御部１３の各部の構成について説明する。制御部１３は、例えばＣＰＵ（Central Processing Unit）であり、記憶部１２に記憶されたプログラムを実行することにより、テキスト情報取得部１３１、機器特定部１３２、選択部１３３及び表示制御部１３４として機能する。
【００４１】
テキスト情報取得部１３１は、音声処理装置４に入力された音声メッセージに基づいて作成されたテキスト情報を取得する。具体的には、テキスト情報取得部１３１は、通信部１１を介して、音声変換サーバ２が音声メッセージを変換することにより生成したテキスト情報を取得する。また、テキスト情報取得部１３１は、テキスト情報に関連付けて、音声メッセージが入力された音声処理装置４の装置ＩＤを取得する。テキスト情報取得部１３１は、取得した装置ＩＤを機器特定部１３２に入力し、取得したテキスト情報を選択部１３３に入力する。
【００４２】
機器特定部１３２は、音声メッセージが入力された場所に設置されている複数の電気機器を特定する。機器特定部１３２は、例えば、図４に示したユーザ情報データベースを参照することにより、テキスト情報取得部１３１から入力された装置ＩＤに関連付けられている電気機器名を特定する。テキスト情報取得部１３１は、図４に示す例において装置ＩＤとしてＳ１０００１を取得した場合、音声メッセージが発せられた建物内に２台のエアコン、テレビ、及び２台の照明が設置されていることを特定する。
【００４３】
選択部１３３は、テキスト情報取得部１３１がテキスト情報を取得した後に、通信端末３にアイコンが表示される対象となる一以上の電気機器を選択する。選択部１３３は、例えば、図３に示した電気機器選択用データベースを参照し、テキスト情報取得部１３１が取得したテキスト情報に含まれる単語に基づいて一以上の電気機器を選択する。選択部１３３は、テキスト情報に含まれる一以上の単語を抽出し、抽出した一以上の単語が、電気機器選択用データベースにおける関連語のいずれかと一致又は類似している場合に、一致又は類似する関連語に関連付けられた電気機器名を選択する。図３に示す例の場合、例えばテキスト情報が「この部屋すごく暑いよ」であり、「暑い」という単語が含まれている場合、選択部１３３は、エアコンを選択する。
【００４４】
テキスト情報に含まれる一以上の単語が電気機器選択用データベースにおいて複数の電気機器に関連付けられている場合、選択部１３３は複数の電気機器を選択する。テキスト情報に複数の単語が含まれている場合、選択部１３３は、複数の単語それぞれに関連付けられた複数の電気機器を選択する。
【００４５】
選択部１３３は、テキスト情報に含まれる単語の代わりに、又はテキスト情報に含まれる単語とともに、テキスト情報に対応する音声メッセージの入力者を特定した結果に基づいて電気機器を選択してもよい。選択部１３３は、例えばテキスト情報に含まれる主語が「ぼく」である場合に、音声メッセージを発した人が子供であると特定し、テキスト情報に含まれる主語が「わたし」である場合に、音声メッセージを発した人が母親であると特定する。そして、選択部１３３は、音声メッセージを発した人が子供であると特定した場合に、予め子供に関連付けて記憶部１２に記憶された電気機器（例えば、エアコン及びテレビ）を選択する。
【００４６】
選択部１３３は、音声メッセージを発した人が母親であると特定した場合に、予め母親に関連付けて記憶部１２に記憶された電気機器（例えば、エアコン及び鍵）を選択する。このように、選択部１３３が、音声メッセージの入力者に基づいて電気機器を選択することで、音声メッセージの入力者が遠隔操作して欲しいと考えている電気機器を選択できる確率が高まる。
【００４７】
なお、選択部１３３は、音声メッセージの入力者を特定するための情報を音声変換サーバ２から取得し、取得した情報に基づいて電気機器を選択してもよい。この場合、音声変換サーバ２は、音声処理装置４から受信したデジタル信号を周波数解析することにより、音声メッセージの入力者の年齢及び性別等を特定し、特定した結果を、音声メッセージの入力者を特定するための情報として操作補助装置１に通知する。
【００４８】
また、電気機器選択用データベースに、各電気機器が音声処理装置４と同じ部屋に設置されているか否かを示す情報が含まれており、選択部１３３は、当該情報に基づいて、音声メッセージが入力された音声処理装置４が設置された部屋に設置されている一以上の電気機器を選択してもよい。このようにすることで、選択部１３３は、通信端末３にアイコンを表示する対象となる電気機器として、音声メッセージを入力した人がいる部屋の電気機器を選択することができるので、通信端末３のユーザが、音声メッセージを入力した人がいる部屋の電気機器を遠隔操作できる確率が高まる。
【００４９】
表示制御部１３４は、音声処理装置４に関連付けられた通信端末に、音声処理装置４に入力された音声メッセージに基づくテキスト情報と、選択部１３３が選択した一以上の電気機器を操作するために用いられる一以上のアイコンとを表示させる。具体的には、表示制御部１３４は、音声変換サーバ２から送信されたテキスト情報と、選択部１３３が選択した電気機器を特定するための情報を含むアイコン情報とを通信端末３に送信することにより、音声メッセージに基づくテキスト情報とアイコンとを通信端末３に表示させる。アイコン情報には、選択部１３３が選択した電気機器の種別とともに、電気機器の型名を示す情報が含まれていてもよい。
【００５０】
図５及び図６は、通信端末３に表示される画面の例を示す図である。図５は、建物Ｂにいる子供が「家に着いたよ」、「暑いよ〜」という音声メッセージを発した後に通信端末３に表示されるメッセージ画面を示している。音声メッセージに「暑い」という単語が含まれていることから、選択部１３３が「エアコンＡ」、「エアコンＢ」及び「扇風機」を選択したことにより、図５に示す画面が表示されている。
【００５１】
図６は、図５に示す画面において通信端末３のユーザが「エアコンＡ」を選択した場合に表示されるリモコン画面の例を示す図である。通信端末３は、例えば、電気機器の種類ごとに異なるリモコン画面の画面データを記憶しており、アイコンが選択された場合、操作補助装置１から送信されたアイコン情報が示す電気機器の種類に対応するリモコン画面を表示する。通信端末３は、電気機器の型名ごとに異なるリモコン画面の画面データを記憶しており、アイコンが選択された場合、操作補助装置１から送信されたアイコン情報が示す電気機器の型名に対応するリモコン画面を表示してもよい。通信端末３は、リモコン画面を表示した状態でリモコン画面内のボタンが押されると、押されたボタンに対応する操作指示情報をゲートウェイ５に対して送信する。
【００５２】
通信端末３は、リモコン画面の画面データを記憶しておらず、画面データを取得するためのアドレス情報（例えば操作補助装置１の記憶部１２において画面データが記憶されているエリアにアクセスするためのＵＲＬ情報）を記憶していてもよい。この場合、通信端末３は、選択されたアイコンに対応する電気機器のリモコン画面データに関連付けられたアドレス情報を利用して画面データを取得し、取得した画面データに基づくリモコン画面を表示する。
【００５３】
表示制御部１３４は、選択部１３３が一以上の電気機器を選択した処理の尤度に基づいて決定した順序で一以上のアイコンを並べて表示させてもよい。例えば、電気機器選択用データベースにおいて、関連語ごとに重み係数が割り当てられており、表示制御部１３４は、テキスト情報に含まれている関連語の重み係数の値が大きいほど尤度が大きいと判定し、尤度が大きい順にアイコンを並べて表示させる。このようにすることで、通信端末３のユーザが、音声メッセージを発した人の意思に合った遠隔操作を行える確率を高めることができる。
【００５４】
表示制御部１３４は、通信端末３に関連付けて、通信端末３のユーザにより選択されたアイコンを示す履歴情報を記憶部１２に記憶させてもよい。このようにするために、通信端末３は、ユーザによりアイコンが選択されると、選択されたアイコンを示す情報を操作補助装置１に送信する。このように記憶部１２に履歴情報が記憶されている場合、選択部１３３は、記憶部１２に記憶された履歴情報に基づいて一以上の電気機器を選択することができるので、音声メッセージを発した人が操作して欲しいと思っている電気機器を選択する確率を高めることができる。
【００５５】
表示制御部１３４は、通信端末３に関連付けて、音声メッセージに基づくテキスト情報に含まれる単語と、過去に通信端末３のユーザにより選択されたアイコンを示す履歴情報を記憶部１２に記憶させてもよい。この場合、選択部１３３は、音声メッセージの内容に応じて一以上の電気機器を選択することができるので、通信端末３が、特定の音声メッセージが発せられた場合にユーザが選択する確率が高いアイコンを表示しやすくなる。表示制御部１３４は、履歴情報に基づいて決定した順序で複数のアイコンを並べて通信端末３に表示させてもよい。
【００５６】
表示制御部１３４は、電気機器を遠隔操作するために用いられる第１アイコン、及び電気機器を操作する方法を通信端末３に表示させるために用いられる第２アイコンの少なくともいずれかを通信端末３に表示させてもよい。第１アイコンは、図５に示したように、ユーザが選択することによりリモコン画面が表示されるアイコンである。第２アイコンは、ユーザが選択することにより、第２アイコンに対応する電気機器の操作マニュアルが表示されるアイコンである。通信端末３は、電気機器の型名に関連付けて操作マニュアルの電子データを記憶していてもよく、操作補助装置１又は他の装置から操作マニュアルの電子データを取得してもよい。
【００５７】
表示制御部１３４は、第１アイコンの代わりに、通信端末３から直接操作することができない宅内の装置を所定の状態にするように通知するための第３アイコンを通信端末３に表示させてもよい。表示制御部１３４は、例えばテキスト情報取得部１３１が所定のメッセージを受信した場合に、受信したメッセージに関連付けられた電気機器の状態を示す情報を取得し、取得した情報が所定の条件を満たす場合に第３アイコンを通信端末３に表示させる。
【００５８】
具体的には、表示制御部１３４は、テキスト情報取得部１３１が、帰宅した子供による「ただいま」という音声メッセージに対応するテキスト情報を取得した場合に、当該テキスト情報に対応する電気機器である窓の開閉センサーの状態を検知する。表示制御部１３４は、窓の開閉状態が「開」である場合、「窓を閉める」という内容の第３アイコンを通信端末３に表示させる。さらに、表示制御部１３４は、「窓を閉めてください」という音声メッセージを音声処理装置４に送信する。このような構成により、音声処理装置４が発する「窓を閉めてください」という音声を聞いた子供が窓を閉めることが可能になる。
【００５９】
表示制御部１３４は、テキスト情報に対応する音声メッセージの入力者を特定した結果に基づいて、通信端末３に表示させる一以上のアイコンの種別を決定してもよい。表示制御部１３４は、例えば、入力者が子供である場合に通信端末３のユーザ（例えば父親）が電気機器を遠隔操作できるように第１アイコンを表示させ、入力者が子供でない場合に、通信端末３のユーザが操作方法を説明できるように第２アイコンを表示させる。このようにすることで、通信端末３のユーザは、音声メッセージの入力者に適した対応をすることが可能になる。
【００６０】
表示制御部１３４は、テキスト情報に対応する音声メッセージの入力者を特定した結果に基づいて、音声処理装置４に関連付けられた複数の通信端末３から一台の通信端末３を選択し、選択した通信端末３にテキスト情報と一以上のアイコンとを表示させてもよい。この場合、記憶部１２は、音声処理装置４に関連付けられた家族の構成員のうち、音声メッセージを発した人と、テキスト情報及びアイコンを通信端末３に表示させる対象となる人とを関連付けて記憶しておく。例えば、記憶部１２は、音声メッセージの入力者が子供である場合、母親の通信端末３を、テキスト情報及びアイコンを表示させる通信端末３として記憶する。記憶部１２は、音声メッセージの入力者が母親である場合、父親の通信端末３を、テキスト情報及びアイコンを表示させる通信端末３として記憶する。
【００６１】
表示制御部１３４は、記憶部１２に記憶された情報を参照することにより、音声メッセージの入力者に対応する人の通信端末３にテキスト情報及びアイコンを表示させる。例えば音声メッセージの入力者が子供である場合、表示制御部１３４は母親の通信端末３にテキスト情報及びアイコンを表示させる。音声メッセージの入力者が母親である場合、表示制御部１３４は父親の通信端末３にテキスト情報及びアイコンを表示させる。表示制御部１３４がこのように構成されていることにより、音声メッセージの入力者が電気機器を操作可能なスキルのレベルに適した人が遠隔操作又は操作方法の助言をすることが可能になる。
【００６２】
［操作補助システムＳにおける処理シーケンス］
図７は、操作補助システムＳにおける処理シーケンスの一例を示す図である。音声処理装置４は、音声メッセージの入力を受けると、音声メッセージのデジタル信号を音声変換サーバ２に送信する。音声変換サーバ２は、受信した音声メッセージをテキスト情報に変換する（Ｓ１）。音声変換サーバ２は、生成したテキスト情報を操作補助装置１に送信する。
【００６３】
操作補助装置１は、テキスト情報を受信した後に、遠隔操作用のアイコンを通信端末３に表示させる対象となる電気機器を選択する（Ｓ２）。続いて、操作補助装置１は、選択した電気機器に対応するアイコンを通信端末３に表示させるためのアイコン情報を、テキスト情報とともに通信端末３に送信する。通信端末３は、受信したテキスト情報とともに、アイコン情報が示すアイコンを表示する（Ｓ３）。
【００６４】
この状態で、通信端末３は、アイコンが選択されたか否かを監視する（Ｓ４）。通信端末３は、アイコンが選択されるまでは、テキスト情報とアイコンを表示した状態で待機し、アイコンが選択されると（Ｓ４においてＹＥＳ）、選択されたアイコンに対応する電気機器を遠隔操作するためのリモコン画面を表示する（Ｓ５）。通信端末３は、リモコン画面において操作された内容を含む操作指示情報をゲートウェイ５に送信する。ゲートウェイ５は、受信した操作指示情報において指定された電気機器を制御する（Ｓ６）。
【００６５】
［第１の実施形態に係る操作補助装置１による効果］
以上説明したように、操作補助装置１の選択部１３３は、音声処理装置４に入力された音声メッセージに基づいて作成されたテキスト情報を取得した後に、一以上の電気機器を選択する。そして、表示制御部１３４は、音声処理装置４に関連付けられた通信端末３に、テキスト情報と、選択部１３３が選択した一以上の電気機器を操作するために用いられる一以上のアイコンとを表示させる。操作補助装置１がこのような構成を有することで、操作補助装置１は、音声処理装置４に音声メッセージを入力した人が電気機器を操作できない場合であっても、通信端末３のユーザが、音声メッセージの入力者が所望するように電気機器を遠隔操作することが可能になる。
【００６６】
＜第２の実施形態＞
図８は、第２の実施形態に係る操作補助装置１Ａの機能構成を示す図である。第２の実施形態に係る操作補助装置１Ａは、端末情報取得部１３５と、メッセージ送信部１３６と、指示送信部１３７とをさらに有する点で、第１の実施形態に係る操作補助装置１と異なり、他の点で同じである。
【００６７】
端末情報取得部１３５は、通信端末３において一以上のアイコンから選択されたアイコンを特定するための選択アイコン情報を通信端末３から取得する。端末情報取得部１３５は、取得した選択アイコン情報をメッセージ送信部１３６に通知する。
【００６８】
メッセージ送信部１３６は、選択アイコン情報が示すアイコンに対応する操作内容メッセージを、音声メッセージが入力された音声処理装置４に送信する。例えば、通信端末３のユーザがエアコンを遠隔操作するためのアイコンを選択した場合、メッセージ送信部１３６は、「エアコンを遠隔操作しますが、よいですか？」という操作内容メッセージを音声処理装置４に送信する。メッセージ送信部１３６は、例えば音声変換サーバ２を介して操作内容メッセージを送信する。音声処理装置４は、受信した操作内容メッセージを、内蔵するスピーカーから音声として出力してもよく、音声処理装置４に設けられたディスプレイに表示してもよい。
【００６９】
指示送信部１３７は、電気機器を制御するための操作指示をゲートウェイ５に送信する。指示送信部１３７は、例えば、メッセージ送信部１３６が操作内容メッセージを音声処理装置４に送信した後に、テキスト情報取得部１３１が所定のテキスト情報を取得した場合に、選択アイコン情報が示すアイコンに対応する操作指示をゲートウェイ５に送信する。所定のテキスト情報は、操作内容メッセージが示す電気機器が遠隔操作されることを承認することを示すテキスト情報であり、例えば「いいよ」又は「ありがとう」のように肯定的な単語である。
【００７０】
また、指示送信部１３７は、テキスト情報取得部１３１が、遠隔操作を中止することを示す単語が含まれたテキスト情報を取得した場合、操作指示情報をゲートウェイ５に送信しない。このように、指示送信部１３７が、所定のテキスト情報を取得したことを条件として操作指示情報をゲートウェイ５に送信することで、音声メッセージの入力者の意に反した遠隔操作が行われることを防止できる。
【００７１】
なお、表示制御部１３４は、テキスト情報取得部１３１が、遠隔操作を中止することを示す単語が含まれたテキスト情報を取得した場合、通信端末３への遠隔操作用のアイコンの表示を中止させたり、リモコン画面の表示を中止させたりしてもよい。このように、メッセージ送信部１３６が操作内容メッセージを送信することで、電気機器が遠隔操作されることを音声メッセージの入力者が認識し、認識した結果に応じた対処をできるので、音声メッセージの入力者の意向に沿っていない遠隔操作が行われることを防ぐことができる。
【００７２】
また、指示送信部１３７は、メッセージ送信部１３６が操作内容メッセージを音声処理装置４に送信した後に、テキスト情報取得部１３１が電気機器を特定する情報を含むテキスト情報を取得した場合に、当該テキスト情報により特定される電気機器に対応する操作指示を送信してもよい。指示送信部１３７は、例えば、メッセージ送信部１３６が、エアコンをオンしたことを示す操作内容メッセージを送信した後に、テキスト情報取得部１３１が「リビングにいるよ」というテキスト情報を取得した場合、リビングに設置されたエアコンをオンするための操作指示を送信し、他の部屋に設置されたエアコンをオンするための操作指示を送信しない。このようにすることで、指示送信部１３７は、音声メッセージの入力者のニーズに合った遠隔操作を実現できるので、音声メッセージの入力者の満足度が向上する。
【００７３】
表示制御部１３４は、メッセージ送信部１３６が操作内容メッセージを音声処理装置４に送信した後に、テキスト情報取得部１３１が電気機器を特定する情報を含むテキスト情報を取得した場合に、当該テキスト情報により特定される電気機器を操作するために用いられる一以上のアイコンを通信端末３に表示させてもよい。指示送信部１３７は、例えば、メッセージ送信部１３６が、エアコンをオンしたことを示す操作内容メッセージを送信した後に、テキスト情報取得部１３１が「リビングにいるよ」というテキスト情報を取得した場合、リビングに設置されたエアコンを遠隔操作するためのアイコンを通信端末３に表示させる。このようにすることで、通信端末３が、音声メッセージの入力者のニーズに合った遠隔操作を実現できるので、音声メッセージの入力者の満足度が向上する。
【００７４】
［第２の実施形態に係る操作補助装置１Ａによる効果］
以上説明したように、第２の実施形態に係る操作補助装置１Ａにおいては、端末情報取得部１３５が、通信端末３においてどのアイコンが選択されたかを特定し、メッセージ送信部１３６が、音声処理装置４を介して、どの電気機器が遠隔操作されようとしているかを、音声メッセージの入力者に通知する。そして、指示送信部１３７は、音声メッセージの入力者が所定の音声メッセージを入力したことを条件として、ゲートウェイ５に電気機器を制御するための操作指示情報を送信する。操作補助装置１Ａがこのような構成を有することにより、音声メッセージの入力者の意思に反した遠隔操作が行われる確率を下げることができるので、音声メッセージの入力者の満足度が向上する。
【００７５】
＜第３の実施形態＞
第１の実施形態に係る操作補助装置１及び第２の実施形態に係る操作補助装置１Ａは、通信端末３のユーザが電気機器の状態を確認することなく電気機器を遠隔操作することが想定されていた。これに対して、第３の実施形態に係る操作補助装置１又は操作補助装置１Ａは、電気機器の状態を通信端末３のユーザが把握できるようにする点で、第１の実施形態及び第２の実施形態と異なる。
【００７６】
本実施形態のテキスト情報取得部１３１は、音声メッセージが入力された時点における複数の電気機器の状態を示す機器状態情報をさらに取得する。表示制御部１３４は、テキスト情報と、機器状態情報が示す複数の電気機器の状態とを通信端末３に表示させる。テキスト情報取得部１３１及び表示制御部１３４がこのように構成されていることにより、通信端末３のユーザは、電気機器の状態を認識した上で電気機器を遠隔操作することができるので、不適切な操作をする確率を減らすことができる。例えば、通信端末３のユーザは、エアコンの設定が２５℃になっている場合に、それ以上エアコンの設定温度を下げないようにするという判断をすることが可能になる。
【００７７】
また、表示制御部１３４は、機器状態情報が所定の条件を満たす場合に一以上のアイコンを通信端末３に表示させてもよい。例えば、テキスト情報取得部１３１が取得したテキスト情報に「暑い」という単語が含まれている場合であっても、エアコンの設定温度が２５℃になっている場合、さらに設定温度を下げることは不適切である。そこで、表示制御部１３４は、機器状態情報が、エアコンの設定温度が閾値以下であることを示している場合、エアコンを遠隔操作するためのアイコンを通信端末３に表示させない。表示制御部１３４が、このように構成されていることにより、音声メッセージを入力した人の要望が適切でない場合に、通信端末３のユーザが誤って電気機器を遠隔操作してしまうことを防止することができる。
【００７８】
＜第４の実施形態＞
上記の各実施形態においては、操作補助装置１又は操作補助装置１Ａが通信端末３に電気機器を遠隔操作するためのアイコンを表示させた後に、通信端末３のユーザの操作に応じて電気機器が遠隔操作された。これに対して第４の実施形態に係る操作補助装置１Ｂは、通信端末３にアイコンを表示させる前に、音声メッセージに基づくテキスト情報の内容に基づいて、自動的に電気機器を制御した後に通信端末３にアイコンを表示させることができるという点で、他の実施形態と異なる。
【００７９】
操作補助装置１Ｂは、第１の実施形態に係る操作補助装置１の構成に加えて、第２の実施形態に係る操作補助装置１Ａが有していた指示送信部１３７を有する。指示送信部１３７は、テキスト情報取得部１３１が取得した音声メッセージに基づくテキスト情報に所定の単語が含まれている場合に、所定の単語に関連付けられた電気機器を制御するための操作指示情報をゲートウェイ５に送信する。所定の単語は、例えば図３に示した電気機器選択用データベースに含まれている関連語である。
【００８０】
指示送信部１３７は、関連語が示す状態を改善するように電気機器を制御するための操作指示情報を送信する。指示送信部１３７は、例えばテキスト情報に「暑い」という関連語が含まれている場合、エアコンの温度を下げることを指示するための操作指示情報を送信する。
【００８１】
表示制御部１３４は、指示送信部１３７が操作指示情報をゲートウェイ５に送信した後に、電気機器を遠隔操作したことを示すテキスト情報を通信端末３に送信する。表示制御部１３４は、例えば、通信端末３において、音声メッセージに基づくテキスト情報と、電気機器を遠隔操作したことを示すテキスト情報とが時系列に表示されるように、これらのメッセージを順次送信する。通信端末３は、音声メッセージが発せられた後に操作補助装置１Ｂが自動的に電気機器を遠隔操作したことをユーザが認識できるように、音声メッセージに基づくテキスト情報と、操作補助装置１Ｂが遠隔操作したことを示すテキスト情報とを時系列に表示する。
【００８２】
このように、操作補助装置１Ｂが、音声メッセージの内容に基づいて自動的に電気機器を制御できることで、例えば、子供が「暑いよう」という音声メッセージを発したにもかかわらず通信端末３のユーザが遠隔操作をできない場合に、子供が熱中症になってしまうといった問題が生じることを未然に防止できる。
【００８３】
なお、操作補助装置１Ｂが自動的に遠隔制御することの必要性は電気機器によって異なる。そこで、記憶部１２は、電気機器に関連付けて、操作補助装置１Ｂによる自動的な遠隔制御の必要性を示す情報を記憶してもよい。そして、指示送信部１３７は、音声メッセージに基づくテキスト情報に、自動的な遠隔制御が必要であることを示す情報が記憶部１２に記憶されている電気機器に対応する関連語が含まれていることを条件として、表示制御部１３４が通信端末３にアイコン情報を送信する前に、ゲートウェイ５に対して操作指示情報を送信してもよい。
【００８４】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の分散・統合の具体的な実施の形態は、以上の実施の形態に限られず、その全部又は一部について、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を合わせ持つ。
【符号の説明】
【００８５】
１  操作補助装置
２  音声変換サーバ
３  通信端末
４  音声処理装置
５  ゲートウェイ
１１  通信部
１２  記憶部
１３  制御部
２１  テレビ
２２  照明
２３  エアコン
２４  鍵
１３１  テキスト情報取得部
１３２  機器特定部
１３３  選択部
１３４  表示制御部
１３５  端末情報取得部
１３６  メッセージ送信部
１３７  指示送信部
【図１】
2020014085.tif 000003
【図２】
2020014085.tif 000004
【図３】
2020014085.tif 000005
【図４】
2020014085.tif 000006
【図５】
2020014085.tif 000007
【図６】
2020014085.tif 000008
【図７】
2020014085.tif 000009
【図８】
2020014085.tif 000010