(57)【要約】【課題】ユーザの利便性と省エネルギー化の両立を図った音声操作サービスを提供する。【解決手段】音声認識部５０２は、ユーザが発した音声の内容を取得し、位置特定部５０１は、ユーザの位置を示す位置情報を取得する。機器制御部５０３は、ユーザが発した音声の内容と、位置情報とに基づいて、複数の機器から制御対象の候補となる１又は複数の候補機器を選択する。機器制御部５０３は、各候補機器の内、取得された音声の内容に基づいて動作させた際の消費電力が最も小さい候補機器を制御対象の機器として決定すると共に、制御対象の機器の制御内容を決定し、決定した制御内容に基づいて、制御対象の機器に対する制御指令を生成する。制御指令送信部５０７は、生成された制御指令を制御対象の機器に送信する。【選択図】図９
2020060951.tif 000002
【特許請求の範囲】
【請求項１】
建物に居るユーザが発した音声の内容を取得する音声内容取得手段と、
前記建物における前記ユーザの位置を示す位置情報を取得するユーザ位置取得手段と、
前記取得された音声の内容と、前記取得された位置情報とに基づいて、前記建物に設置されている複数の機器から制御対象の候補となる１又は複数の候補機器を選択する機器選択手段と、
前記各候補機器の内、前記取得された音声の内容に基づいて動作させた際の消費電力が最も小さい候補機器を制御対象の機器として決定すると共に、前記制御対象の機器の制御内容を決定する対象機器決定手段と、
前記決定された制御内容に基づいて、前記制御対象の機器に対する制御指令を生成する制御指令生成手段と、
前記生成された制御指令を前記制御対象の機器に送信する制御指令送信手段と、を備える、制御装置。
【請求項２】
前記選択された各候補機器の動作状態を取得する機器状態取得手段をさらに備え、
前記対象機器決定手段は、前記各候補機器の動作状態も加味して、前記制御対象の機器及び当該制御対象の機器の制御内容を決定する、請求項１に記載の制御装置。
【請求項３】
前記建物を含む地域の気象情報を取得する気象情報取得手段をさらに備え、
前記対象機器決定手段は、前記気象情報も加味して、前記制御対象の機器及び当該制御対象の機器の制御内容を決定する、請求項１又は２に記載の制御装置。
【請求項４】
前記対象機器決定手段により決定された制御対象の機器及び制御内容に基づく制御の提案の認否をユーザに問い合わせる問合せ手段をさらに備え、
前記制御指令生成手段は、ユーザが前記制御の提案を認めた場合に、前記制御対象の機器に対する制御指令を生成する、請求項１から３の何れか１項に記載の制御装置。
【請求項５】
音声入力装置と、制御装置と、を備え、
前記音声入力装置は、
建物に居るユーザが発した音声を入力する入力手段と、
前記入力された音声に基づいた音声データを前記制御装置に送信する送信手段と、を備え、
前記制御装置は、
前記音声入力装置から前記音声データを受信する音声データ受信手段と、
前記受信された音声データを解析して、前記ユーザが発した音声の内容を取得する音声内容取得手段と、
前記建物における前記ユーザの位置を示す位置情報を取得するユーザ位置取得手段と、
前記取得された音声の内容と、前記取得された位置情報とに基づいて、前記建物に設置されている複数の機器から制御対象の候補となる１又は複数の候補機器を選択する機器選択手段と、
前記各候補機器の内、前記取得された音声の内容に基づいて動作させた際の消費電力が最も小さい候補機器を制御対象の機器として決定すると共に、前記制御対象の機器の制御内容を決定する対象機器決定手段と、
前記決定された制御内容に基づいて、前記制御対象の機器に対する制御指令を生成する制御指令生成手段と、
前記生成された制御指令を前記制御対象の機器に送信する制御指令送信手段と、を備える、機器制御システム。
【請求項６】
前記対象機器決定手段により決定された制御対象の機器及び制御内容に基づく制御の提案の認否を前記ユーザに問い合わせるための問合せデータを前記音声入力装置に送信する問合せデータ送信手段をさらに備え、
前記制御指令生成手段は、前記音声入力装置から、前記ユーザが前記制御の提案を認める旨の応答が返ってきた場合に、前記制御対象の機器に対する制御指令を生成する、請求項５に記載の機器制御システム。
【請求項７】
音声内容取得手段が、建物に居るユーザが発した音声の内容を取得し、
ユーザ位置取得手段が、前記建物における前記ユーザの位置を示す位置情報を取得し、
機器選択手段が、前記取得された音声の内容と、前記取得された位置情報とに基づいて、前記建物に設置されている複数の機器から制御対象の候補となる１又は複数の候補機器を選択し、
対象機器決定手段が、前記各候補機器の内、前記取得された音声の内容に基づいて動作させた際の消費電力が最も小さい候補機器を制御対象の機器として決定すると共に、前記制御対象の機器の制御内容を決定し、
制御指令生成手段が、前記決定された制御内容に基づいて、前記制御対象の機器に対する制御指令を生成し、
制御指令送信手段が、前記生成された制御指令を前記制御対象の機器に送信する、機器制御方法。
【請求項８】
コンピュータを、
建物に居るユーザが発した音声の内容を取得する音声内容取得手段、
前記建物における前記ユーザの位置を示す位置情報を取得するユーザ位置取得手段、
前記取得された音声の内容と、前記取得された位置情報とに基づいて、前記建物に設置されている複数の機器から制御対象の候補となる１又は複数の候補機器を選択する機器選択手段、
前記各候補機器の内、前記取得された音声の内容に基づいて動作させた際の消費電力が最も小さい候補機器を制御対象の機器として決定すると共に、前記制御対象の機器の制御内容を決定する対象機器決定手段、
前記決定された制御内容に基づいて、前記制御対象の機器に対する制御指令を生成する制御指令生成手段、
前記生成された制御指令を前記制御対象の機器に送信する制御指令送信手段、として機能させる、プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、制御装置、機器制御システム、機器制御方法及びプログラムに関する。
【背景技術】
【０００２】
近年、ＡＩスピーカ（スマートスピーカともいう。）を介した音声操作により、ＩｏＴ（Internet of Things）機器、情報家電、ネット家電等と称されるインターネットに接続される機器を操作するシステムが提案され（例えば、特許文献１）、また、一般家庭においても利用されつつある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】国際公開第２０１４／１７１１４４号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来のこの種のシステムにおいては、省エネルギー化の観点での機器の制御が実現されていないのが実情である。
【０００５】
本発明は、上記実情に鑑みてなされたものであり、ユーザの音声に基づく機器の制御において、ユーザの利便性と省エネルギー化の両立が図れる制御装置等を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明に係る制御装置は、
建物に居るユーザが発した音声の内容を取得する音声内容取得手段と、
前記建物における前記ユーザの位置を示す位置情報を取得するユーザ位置取得手段と、
前記取得された音声の内容と、前記取得された位置情報とに基づいて、前記建物に設置されている複数の機器から制御対象の候補となる１又は複数の候補機器を選択する機器選択手段と、
前記各候補機器の内、前記取得された音声の内容に基づいて動作させた際の消費電力が最も小さい候補機器を制御対象の機器として決定すると共に、前記制御対象の機器の制御内容を決定する対象機器決定手段と、
前記決定された制御内容に基づいて、前記制御対象の機器に対する制御指令を生成する制御指令生成手段と、
前記生成された制御指令を前記制御対象の機器に送信する制御指令送信手段と、を備える。
【発明の効果】
【０００７】
本発明によれば、ユーザの音声に基づく機器の制御において、ユーザの利便性と省エネルギー化の両立を図ることが可能となる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施の形態に係る機器制御システムの全体構成を示す図
【図２】本実施の形態の家電機器のハードウェア構成を示すブロック図
【図３】本実施の形態の音声入力装置のハードウェア構成を示すブロック図
【図４】本実施の形態の音声入力装置の機能構成を示すブロック図
【図５】本実施の形態の制御装置のハードウェア構成を示すブロック図
【図６】本実施の形態の制御装置が備える補助記憶装置について説明するための図
【図７】本実施の形態の機器情報テーブルの一例を示す図
【図８】本実施の形態の機能コードテーブルの一例を示す図
【図９】本実施の形態の制御装置の機能構成を示すブロック図
【図１０】本実施の形態の制御装置の機能構成において、機器制御部の詳細構成を示す図
【図１１】本実施の形態の制御装置が実行する機器制御処理の手順を示すフローチャート
【図１２】本実施の形態の機器制御処理に含まれる対象機器決定処理の手順を示すフローチャート
【発明を実施するための形態】
【０００９】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
【００１０】
図１は、本発明の実施の形態に係る機器制御システム１の全体構成を示す図である。機器制御システム１は、家屋Ｈに設置された家電機器２ａ，２ｂ，…を音声操作により制御できるようにしたシステムであり、家電機器２ａ，２ｂ，…と、音声入力装置３と、ホームゲートウェイ４と、制御装置５と、気象サーバ６とを備える。
【００１１】
家電機器２ａ，２ｂ，…は、エアコン、換気装置、床暖房システム、床冷暖房システム、テレビ、オーディオ、ヘルス機器、照明機器、給湯器、太陽光発電システム、蓄電システム、電動窓、電動シャッター、電動ブラインド、電動カーテン、電子錠、インターフォン等であり、家屋Ｈ（敷地も含む）内に設置される。以下、家電機器２ａ，２ｂ，…にて共通する説明については、特に個々を指定せずに家電機器２と表記する。
【００１２】
家電機器２は、いわゆるＩｏＴ（Internet of Things）機器、情報家電、ネット家電、スマート家電等と称され、ネットワークＮ１を介してブロードバンドルータとしての機能を有するホームゲートウェイ４に接続され、ホームゲートウェイ４を介してネットワークＮ２に接続される。家電機器２は、図２に示すように、メインユニット２０と、通信インタフェース２１と、ＣＰＵ２２と、ＲＯＭ２３と、ＲＡＭ２４と、補助記憶装置２５とを備える。これらの構成部は、バス２６を介して相互に接続される。
【００１３】
メインユニット２０は、当該家電機器２の本来的な機能を実現するための構成部である。例えば、当該家電機器２が、エアコン（室内機）である場合、メインユニット２０には、ファン、熱交換器、温度センサ等が含まれ、当該家電機器２が、照明機器である場合、メインユニット２０には、ＬＥＤが含まれる。
【００１４】
通信インタフェース２１は、ネットワークＮ１を介してホームゲートウェイ４と有線又は無線にて通信接続し、ネットワークＮ２に接続される制御装置５を含む他の装置とホームゲートウェイ４を介して通信するためのネットワークカードを備える。このネットワークカードは、例えば、ＩＥＥＥ８０２．３シリーズの有線ＬＡＮ（Local Area Network）、ＩＥＥＥ８０２．１１シリーズの無線ＬＡＮ等の規格に則ったものである。ネットワークＮ２として、インターネットが例示される。なお、家電機器２は、通信インタフェース２１を備える代わりに、外付けの通信アダプタを介して、ホームゲートウェイ４と有線又は無線にて通信接続し、ネットワークＮ２に接続される制御装置５を含む他の装置とホームゲートウェイ４を介して通信する構成であってもよい。
【００１５】
ＣＰＵ（Central Processing Unit）２２は、当該家電機器２を統括的に制御する。ＲＯＭ（Read Only Memory）２３は、複数のファームウェア及びこれらのファームウェアの実行時に使用されるデータを記憶する。ＲＡＭ（Random Access Memory）２４は、ＣＰＵ２２の作業領域として使用される。
【００１６】
補助記憶装置２５は、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）、フラッシュメモリ等の読み書き可能な不揮発性の半導体メモリ又はＨＤＤ（Hard Disk Drive）を含んで構成される。補助記憶装置２５は、制御装置５と通信するためのプログラムと、メインユニット２０の動作を制御するためのプログラムと、これらのプログラムの実行時に使用されるデータとを記憶する。
【００１７】
図１に戻り、音声入力装置３は、ユーザの発話により入力された音声に基づいて様々なサービスを提供する装置であり、いわゆるＡＩスピーカ（スマートスピーカともいう。）である。音声入力装置３は、図３に示すように、マイク３０と、Ａ／Ｄコンバータ３１と、スピーカ３２と、通信インタフェース３３と、ＣＰＵ３４と、ＲＯＭ３５と、ＲＡＭ３６と、補助記憶装置３７とを備える。これらの構成部は、バス３８を介して相互に接続される。
【００１８】
マイク３０は、ユーザが発した音声を入力し、入力した音声からアナログ音声信号を生成して、Ａ／Ｄコンバータ３１に出力する。Ａ／Ｄコンバータ３１は、マイク３０から出力されたアナログ音声信号からノイズを除去し、デジタル音声信号を生成し、ＣＰＵ３４に供給する。スピーカ３２は、ＣＰＵ３４から供給されたデジタル音声信号に対応する音声を出力する。
【００１９】
通信インタフェース３３は、ネットワークＮ１を介してホームゲートウェイ４と有線又は無線にて通信接続し、ネットワークＮ２に接続される制御装置５を含む他の装置とホームゲートウェイ４を介して通信するためのネットワークカードを備える。このネットワークカードは、例えば、ＩＥＥＥ８０２．３シリーズの有線ＬＡＮ、ＩＥＥＥ８０２．１１シリーズの無線ＬＡＮ等の規格に則ったものである。
【００２０】
ＣＰＵ３４は、当該音声入力装置３を統括的に制御する。ＣＰＵ３４によって実現される音声入力装置３の機能の詳細については後述する。ＲＯＭ３５は、複数のファームウェア及びこれらのファームウェアの実行時に使用されるデータを記憶する。ＲＡＭ３６は、ＣＰＵ３４の作業領域として使用される。
【００２１】
補助記憶装置３７は、ＥＥＰＲＯＭ、フラッシュメモリ等の読み書き可能な不揮発性の半導体メモリ又はＨＤＤを含んで構成される。補助記憶装置３７は、音声操作入力プログラムと、かかる音声操作入力プログラムの実行時に使用されるデータとを記憶する。音声操作入力プログラムは、ユーザの音声操作を入力し、入力した音声操作に基づく音声データを制御装置５に送信する処理と、制御装置５から結果データ又は問合せデータを受信し、受信した結果データ又は問合せデータに基づく音声を出力する処理とが記述されたプログラムである。
【００２２】
音声入力装置３は、機能的には、図４に示すように、音声入力部３００と、送信部３０１と、受信部３０２と、音声出力部３０３とを備える。これらの機能部は、ＣＰＵ３４が補助記憶装置３７に記憶されている上記の音声操作入力プログラムを実行することで実現される。
【００２３】
音声入力部３００は、本発明に係る入力手段の一例である。音声入力部３００は、ユーザが発話した音声を入力し、入力した音声に基づく音声データを生成する。詳細には、音声入力部３００は、ユーザの音声を示すアナログ音声信号にＰＣＭ（Pulse Code Modulation: パルス符号変調）を適用してデジタル音声信号に変換し、さらに非可逆圧縮を適用することにより音声データを生成する。なお、音声入力部３００は、予め定めたキーワードをユーザが発したか否かを判定し、当該キーワードをユーザが発した場合に、続いて発話された音声に基づく音声データを生成する。これにより、ユーザが不用意に発した音声により、家電機器２がユーザの意図しない動作を開始してしまうことを防止できる。
【００２４】
送信部３０１は、本発明に係る送信手段の一例である。送信部３０１は、音声入力部３００により生成された音声データをホームゲートウェイ４を介して制御装置５に送信する。その際、ホームゲートウェイ４は、音声入力装置３から送信された音声データに、当該音声入力装置３のＭＡＣアドレス（Media Access Control address）を付与して暗号化を行い、ネットワークＮ２を介して制御装置５に送信する。
【００２５】
受信部３０２は、制御装置５から送信された結果データ又は問合せデータをホームゲートウェイ４を介して受信する。結果データとは、ユーザの音声に従い制御装置５により、何れかの家電機器２が制御されたか否かの結果を示すデータである。詳細には、何れかの家電機器２が制御された場合、結果データには、“リビングのエアコンをＯＮにしました”、“寝室の照明をＯＮにしました”等、当該家電機器２が制御されたことを示すデジタル音声データが格納されている。一方、何れの家電機器２も制御されなかった場合、即ち、何れの家電機器２も制御できなかった場合、結果データには、“操作できません”等、家電機器２の制御ができなかったことを示すデジタル音声データが格納されている。問合せデータについては後述する。
【００２６】
音声出力部３０３は、受信部３０２により受信された結果データ又は問合せデータに格納されているデジタル音声データに基づく音声を出力する。
【００２７】
図１に戻り、制御装置５は、家電機器２及び音声入力装置３のメーカ、販売会社等によって設置され、運用されるサーバコンピュータであり、一般的なＷｅｂサーバとしての機能を有し、ネットワークＮ２に接続される。制御装置５は、顧客、即ち、家屋Ｈの居住者であるユーザに対して、利便性と省エネルギー化の両立を図った音声操作サービスを提供する。
【００２８】
制御装置５は、図５に示すように、通信インタフェース５０と、ＣＰＵ５１と、ＲＯＭ５２と、ＲＡＭ５３と、補助記憶装置５４とを備える。これらの構成部は、バス５５を介して相互に接続される。
【００２９】
通信インタフェース５０は、ネットワークＮ２に接続して、ホームゲートウェイ４、気象サーバ６等の他の装置と通信するためのインタフェースである。ＣＰＵ５１は、当該制御装置５を統括的に制御する。ＣＰＵ５１によって実現される制御装置５の機能の詳細については後述する。
【００３０】
ＲＯＭ５２は、複数のファームウェアとこれらのファームウェアの実行時に使用されるデータを記憶する。ＲＡＭ５３は、ＣＰＵ５１の作業領域として使用される。
【００３１】
補助記憶装置５４は、ＥＥＰＲＯＭ、フラッシュメモリ等の読み書き可能な不揮発性の半導体メモリ又はＨＤＤを含んで構成される大容量の記憶装置である。補助記憶装置５４は、図６に示すように、機器制御プログラム５４０と、顧客情報テーブル５４１と、機器情報テーブル５４２と、機能コードテーブル５４３とを記憶する。なお、この他にも、補助記憶装置５４は、音声認識のためのデータベースである音声認識ＤＢ等を記憶する。
【００３２】
機器制御プログラム５４０は、音声操作サービスを実現するためのプログラムである。機器制御プログラム５４０には、音声入力装置３から送信された音声データを解析して音声の内容を取得する処理、制御対象の家電機器２を決定する処理、制御対象の家電機器２に対して制御指令を送信する処理等が記述されている。
【００３３】
顧客情報テーブル５４１は、音声入力装置３を購入し、音声操作サービスに加入している顧客に関する情報（以下、顧客情報という。）を管理するためのデータテーブルである。顧客情報には、何れも図示しないが、顧客ＩＤ（identification）と、当該顧客の個人情報（氏名、住所、性別、生年月日等）と、認証用に当該顧客が設定したパスワードと、当該顧客のパソコン、スマートフォン等のメールアドレスと、当該顧客宅のホームゲートウェイ４のＩＰ（Internet Protocol）アドレスとが含まれている。顧客情報は、音声入力装置３を購入したユーザのパソコン、スマートフォン等から送信された加入手続情報に基づいて、制御装置５のＣＰＵ５１により生成され顧客情報テーブル５４１に登録される。
【００３４】
音声入力装置３を購入したユーザは、自宅のパソコン、スマートフォン等に予めインストールされた音声操作サービスを利用するためのアプリケーションプログラム（以下、音声操作アプリという。）を起動し、予め定められた加入手続操作を行う。これにより、上記の加入手続情報が、当該パソコン、スマートフォン等から制御装置５に送信される。上記の音声操作アプリは、制御装置５、その他のプログラム配布サーバ等から当該パソコン、スマートフォン等にダウンロードすることができる。
【００３５】
機器情報テーブル５４２は、各顧客宅の家電機器２、音声入力装置３に関する情報（以下、機器情報という。）が登録されるデータテーブルである。図７に示すように、機器情報には、機器ＩＤ、顧客ＩＤ、名称、設置場所、ＭＡＣアドレス、機能コード、消費電力１、消費電力２等が含まれている。機器情報は、音声操作サービスに加入したユーザのパソコン、スマートフォン等から送信された登録手続情報に基づいて、制御装置５のＣＰＵ５１により生成され機器情報テーブル５４２に登録される。
【００３６】
ユーザにより、自宅のパソコン、スマートフォン等にインストールされている上記の音声操作アプリが起動され、予め定められた登録手続操作が行われると、上記の登録手続情報が、当該パソコン、スマートフォン等から制御装置５に送信される。
【００３７】
機器情報において、機能コードとは、当該家電機器２が備える機能と、後述する機能コードテーブル５４３とに基づいて、ＣＰＵ５１により付与されるコードである。
【００３８】
消費電力１，２，…とは、当該家電機器２の各動作状態に応じた消費電力の値（単位は、Ｗ）である。例えば、エアコンのように、冷房、暖房、送風等、運転モードの種類により負荷が異なる家電機器２では、運転モードの種類等に基づいて、消費電力１，２，…として、各消費電力の値が格納される。このようにすることで、よりユースケースに応じた消費電力の値を採用することができる。制御装置５は、消費電力１，２，…に関する情報を、当該ユーザ宅に設置された図示しない電力計測装置から通信により取得したり、当該家電機器２から通信により取得することで、機器情報テーブル５４２に反映することができる。あるいは、制御装置５は、図示しないサーバから、当該家電機器２の定格電力に関する情報を通信により取得することで、当該家電機器２の消費電力１，２，…の各値を機器情報テーブル５４２に反映してもよい。
【００３９】
機能コードテーブル５４３は、図８に示すように、機能コード毎に、家電機器２の機能と、音声の内容とを対応付けたレコードが登録されたデータテーブルである。機能コードテーブル５４３は、家電機器２に機能コードを付与する際に使用される。例えば、エアコン１〜３は、“室内温度を下げる”機能と、“室内温度を上げる”機能とを備えるため、機能コード“１”，“２”が付与される。また、例えば、照明１，２は、“室内を明るくする”機能と、“室内を暗くする”機能とを備えるため、機能コード“３”，“４”が付与される。また、例えば、電動窓１、シャッター１は、“室内温度を下げる”機能と、“室内温度を上げる”機能と、“室内を明るくする”機能と、“室内を暗くする”機能とを備えるため、機能コード“１”〜“４”が付与される。なお、機能コードテーブル５４３に登録されている何れの機能も備えない家電機器２に対しては、機能コードは付与されない。
【００４０】
また、機能コードテーブル５４３は、ユーザの音声に対応する家電機器２、即ち、ユーザの環境に対する改善の要望に対応する家電機器２を同定する際に使用される。例えば、ユーザが発した音声の内容が、“暑い”を示す場合、ユーザの要望に対応する家電機器２として、機能コード“１”が付与された家電機器２、即ち、“室内温度を下げる”機能を備える家電機器２が同定される。また、例えば、ユーザが発した音声の内容が、“寒い”を示す場合、ユーザの要望に対応する家電機器２として、機能コード“２”が付与された家電機器２、即ち、“室内温度を上げる”機能を備える家電機器２が同定される。
【００４１】
また、例えば、ユーザが発した音声の内容が、“暗い”を示す場合、ユーザの要望に対応する家電機器２として、機能コード“３”が付与された家電機器２、即ち、“室内を明るくする”機能を備える家電機器２が同定される。また、例えば、ユーザが発した音声の内容が、“明るい”を示す場合、ユーザの要望に対応する家電機器２として、機能コード“４”が付与された家電機器２、即ち、“室内を暗くする”機能を備える家電機器２が同定される。
【００４２】
図１に戻り、気象サーバ６は、気象庁、気象事業者等によって運営されるデータサーバであって、気象情報を通信により提供する。気象サーバ６は、制御装置５とネットワークＮ２を介して通信可能に接続されており、ネットワークＮ２を介して制御装置５に気象情報を配信する。気象情報には、家屋Ｈを含む地域における現在の天気、気温、湿度、日射量等の情報が含まれている。
【００４３】
続いて、制御装置５の機能について説明する。制御装置５は、機能的には、図９に示すように、音声データ受信部５００と、位置特定部５０１と、音声認識部５０２と、機器制御部５０３と、機器状態取得部５０４と、気象情報取得部５０５と、問合せデータ送信部５０６と、制御指令送信部５０７と、応答データ受信部５０８と、結果データ送信部５０９とを備える。これらの機能部は、ＣＰＵ５１が補助記憶装置５４に記憶されている機器制御プログラム５４０を実行することで実現される。
【００４４】
音声データ受信部５００は、本発明に係る音声データ受信手段の一例である。音声データ受信部５００は、音声入力装置３からホームゲートウェイ４を介して送信された音声データを受信する。位置特定部５０１は、本発明に係るユーザ位置取得手段の一例である。位置特定部５０１は、当該音声入力装置３に対して発話したユーザの位置を特定する。
【００４５】
詳細には、位置特定部５０１は、当該音声データの送信元のホームゲートウェイ４のＩＰアドレスから顧客情報テーブル５４１を参照して、当該ユーザの顧客ＩＤを特定する。そして、位置特定部５０１は、特定した顧客ＩＤと、当該音声データに含まれる音声入力装置３のＭＡＣアドレスとから、機器情報テーブル５４２を参照して、当該ユーザの家屋Ｈにおける当該音声入力装置３が設置されている場所を特定する。位置特定部５０１は、特定した当該音声入力装置３が設置されている場所をユーザの位置として特定する。位置特定部５０１は、特定した当該ユーザの顧客ＩＤと、特定した位置に関する情報（以下、位置情報という。）と、当該ユーザ宅のホームゲートウェイ４のＩＰアドレスとを機器制御部５０３に通知する。
【００４６】
音声認識部５０２は、本発明に係る音声内容取得手段の一例である。音声認識部５０２は、音声データ受信部５００により受信された音声データを音声認識ＤＢを用いて公知の音声認識手法で解析し、ユーザが発した音声の内容を特定し、特定した音声の内容を示すテキストデータ（以下、音声内容データという。）を生成する。音声認識部５０２は、生成した音声内容データを機器制御部５０３に通知する。
【００４７】
機器制御部５０３は、ユーザが発した音声の内容に基づいて、当該ユーザの家屋Ｈにおける当該ユーザが居る場所に設置された何れかの家電機器２を制御する。詳細には、機器制御部５０３は、図１０に示すように、機器選択部５０３０と、対象機器決定部５０３１と、問合せデータ生成部５０３２と、制御指令生成部５０３３と、結果データ生成部５０３４とを備える。
【００４８】
機器選択部５０３０は、本発明に係る機器選択手段の一例である。機器選択部５０３０は、音声認識部５０２から通知された音声内容データと、位置特定部５０１から通知された当該ユーザの位置情報等とに基づいて、当該ユーザの家屋Ｈに設置されている複数の家電機器２から制御対象の候補となる１又は複数の候補機器を選択する。詳細には、先ず、機器選択部５０３０は、位置特定部５０１から通知された顧客ＩＤと、位置情報とから機器情報テーブル５４２を参照して、ユーザが居る場所に設置された全ての家電機器２を特定する。例えば、当該ユーザ宅に設置された各家電機器２に対応する機器情報の内容が図７に示すような場合であって、当該ユーザがリビングに居る場合、機器選択部５０３０は、エアコン１、テレビ１、照明１及び電動窓１を、当該ユーザが居る場所に設置された家電機器２として特定する。
【００４９】
次に、機器選択部５０３０は、音声内容データから機能コードテーブル５４３を参照して、当該ユーザが発話した音声の内容に対応する家電機器２の機能コードを取得する。そして、機器選択部５０３０は、特定した全ての家電機器２の内から、取得した機能コードと一致する家電機器２を候補機器として選択する。例えば、音声内容データが“暑い”を示す場合、機器選択部５０３０は、エアコン１、テレビ１、照明１、電動窓１の内から、エアコン１と電動窓１を候補機器として選択する。
【００５０】
機器状態取得部５０４は、本発明に係る機器状態取得手段の一例である。機器状態取得部５０４は、機器選択部５０３０により選択された各候補機器の現在の動作状態を取得する。詳細には、各候補機器に対して、動作状態を要求するデータ（以下、動作状態要求データという。）を送信する。そして、機器状態取得部５０４は、かかる動作状態要求データに応答して各候補機器から送られてきた動作状態データを受信する。受信した動作状態データには、当該候補機器の現在の動作状態を示す情報が格納されている。機器状態取得部５０４は、取得した各候補機器の動作状態を機器制御部５０３に通知する。
【００５１】
気象情報取得部５０５は、本発明に係る気象情報取得手段の一例である。気象情報取得部５０５は、気象サーバ６から気象情報を取得する。詳細には、気象情報取得部５０５は、気象サーバ６に気象情報を要求するデータ（以下、気象情報要求データという。）を送信する。そして、気象情報取得部５０５は、かかる気象情報要求データに応答して気象サーバ６から送られてきた気象情報を受信して取得する。気象情報取得部５０５は、取得した気象情報を機器制御部５０３に通知する。
【００５２】
機器制御部５０３の対象機器決定部５０３１は、本発明に係る対象機器決定手段の一例である。対象機器決定部５０３１は、音声認識部５０２から通知された音声内容データと、機器情報テーブル５４２と、機器状態取得部５０４から通知された各候補機器の現在の動作状態と、気象情報取得部５０５から通知された気象情報と、現在の時刻等との各情報に基づいて、何れか１つの候補機器を制御対象となる対象機器として決定する。その際、対象機器決定部５０３１は、音声内容データで示されるユーザの要望を適えつつ、より省エネルギー化が図れる候補機器を対象機器として決定する。
【００５３】
詳細には、対象機器決定部５０３１は、候補機器の内から、機器情報テーブル５４２で保持される消費電力の情報に基づいて、消費電力がより小さい家電機器２を選定する。その際、例えば、当該家電機器２がエアコンの場合、室内を冷やすために冷房運転にするか、あるいは、消費電力が小さい送風運転にするか等、室内外の温度状態と当該家電機器２の運転モードとを考慮して、上記の選定を行う。また、対象機器決定部５０３１は、候補機器の内、動作状態がユーザの要望と逆行しているものがあるか否かについても確認する。例えば、ユーザが“暑い”と発話した場合、当該ユーザが居る部屋のエアコンが暖房運転を行っている場合には、当該エアコンの運転を停止することも室温を下げる手段として選択することができる。
【００５４】
以下、具体例として、ユーザがＡＩスピーカ１に対して、“暑い”と発話したケース（ケースＡ）と、ユーザがＡＩスピーカ２に対して、“暗い”と発話したケース（ケースＢ）について説明する。
【００５５】
＜ケースＡ＞
外気温がリビングの室温より低く、天候が雨以外であり、且つ、電動窓１の現在の動作状態が“閉”状態である場合、対象機器決定部５０３１は、電動窓１を対象機器として決定する。一方、外気温がリビングの室温以上、天候が雨、又は、電動窓１の現在の動作状態が“開”状態である場合、対象機器決定部５０３１は、エアコン１を対象機器として決定する。
【００５６】
＜ケースＢ＞
日中で、天候が晴れであり、且つ、シャッター１の現在の動作状態が“閉”状態である場合、対象機器決定部５０３１は、シャッター１を対象機器として決定する。一方、日中以外、天候が晴れ以外、又は、シャッター１の現在の動作状態が“開”状態である場合、対象機器決定部５０３１は、照明２を対象機器として決定する。
【００５７】
また、対象機器決定部５０３１は、対象機器の決定と共に、当該対象機器の制御内容を決定する。例えば、上記のケースＡにおいて、電動窓１を対象機器に決定した場合、対象機器決定部５０３１は、電動窓１を開状態にする制御を行うことを決定する。一方、エアコン１を対象機器に決定した場合、対象機器決定部５０３１は、エアコン１に冷房運転又は送風運転させる制御を行うことを決定する。
【００５８】
また、例えば、上記のケースＢにおいて、シャッター１を対象機器に決定した場合、対象機器決定部５０３１は、シャッター１を開状態にする制御を行うことを決定する。一方、照明２を対象機器に決定した場合、対象機器決定部５０３１は、照明２を点灯する制御を行うことを決定する。
【００５９】
問合せデータ生成部５０３２は、対象機器決定部５０３１により決定された対象機器及びその制御内容に基づく制御の提案の認否をユーザに問い合わせるための問合せデータを生成する。詳細には、問合せデータ生成部５０３２は、対象機器決定部５０３１により決定された対象機器の名称と決定された制御内容とから、公知の音声合成処理によりデジタル音声データを生成し、生成したデジタル音声データが格納された問合せデータを生成する。例えば、問合せデータ生成部５０３２は、“リビングの電動窓を開けてもよろしいでしょうか”との音声を示すデジタル音声データを生成する。
【００６０】
問合せデータ送信部５０６は、本発明に係る問合せデータ送信手段の一例である。問合せデータ送信部５０６は、問合せデータ生成部５０３２により生成された問合せデータを、先に受信した音声データの送信元の音声入力装置３（例えば、ＡＩスピーカ１）に対して送信する。問合せデータ生成部５０３２及び問合せデータ送信部５０６は、本発明に係る問合せ手段の一例である。
【００６１】
上記の問合せデータに応答して、当該音声入力装置３から、制御の提案を認めない旨の音声データが送信されると、対象機器決定部５０３１は、残りの候補機器の内から、ユーザの要望と、省エネルギー化の観点から最も適したものを新たな対象機器として決定し、その制御内容を決定する。そして、問合せデータ生成部５０３２は、対象機器決定部５０３１により決定された対象機器及びその制御内容に基づいて問合せデータを生成し、問合せデータ送信部５０６は、問合せデータ生成部５０３２により生成された問合せデータを、当該音声入力装置３に送信する。
【００６２】
一方、送信した問合せデータに応答して、当該音声入力装置３から、制御の提案を認める旨の音声データが送信されると、制御指令生成部５０３３は、対象機器決定部５０３１によって決定された対象機器及び制御内容に基づいて、当該対象機器に対する制御指令を生成する。制御指令送信部５０７は、制御指令生成部５０３３により生成された制御指令を当該対象機器に送信する。制御指令生成部５０３３は、本発明に係る制御指令生成手段の一例であり、制御指令送信部５０７は、本発明に係る制御指令送信手段の一例である。
【００６３】
応答データ受信部５０８は、制御指令送信部５０７により制御指令が送信された後、当該対象機器から送られてくる応答データを受信する。かかる応答データには、制御指令に従った動作を行ったか否かを示す情報が含まれている。応答データに、制御指令に従った動作を行ったことを示す情報が含まれている場合、応答データ受信部５０８は、対象機器から正常応答が返ってきたことを機器制御部５０３の結果データ生成部５０３４に通知する。
【００６４】
一方、応答データに、制御指令に従った動作を行っていないことを示す情報が含まれている場合、応答データ受信部５０８は、対象機器から正常応答が返ってこなかったことを結果データ生成部５０３４に通知する。また、応答データ受信部５０８は、制御指令が対象機器に送信された後、予め定めた時間が経過しても当該対象機器から応答データを受信できなかった場合、対象機器から正常応答が返ってこなかったことを結果データ生成部５０３４に通知する。
【００６５】
結果データ生成部５０３４は、応答データ受信部５０８からの通知内容に基づいて、制御結果をユーザに通知するための結果データを生成する。詳細には、応答データ受信部５０８からの通知内容が、対象機器から正常応答が返ってきたことを示す場合、結果データ生成部５０３４は、当該対象機器の名称と、制御内容とから、公知の音声合成処理によりデジタル音声データを生成し、生成したデジタル音声データが格納された結果データを生成する。例えば、結果データ生成部５０３４は、“リビングの電動窓を開けました”との音声を示すデジタル音声データを生成する。
【００６６】
一方、応答データ受信部５０８からの通知内容が、対象機器から正常応答が返ってこなかったことを示す場合、結果データ生成部５０３４は、“操作できません”との音声を示すデジタル音声データを生成し、生成したデジタル音声データが格納された結果データを生成する。
【００６７】
結果データ送信部５０９は、結果データ生成部５０３４により生成された結果データを、当該音声入力装置３に対して送信する。
【００６８】
図１１は、制御装置５が実行する機器制御処理の手順を示すフローチャートである。音声入力装置３から送信された音声データを受信すると（ステップＳ１０１：ＹＥＳ）、位置特定部５０１は、当該音声入力装置３に対して発話したユーザの位置を特定する（ステップＳ１０２）。
【００６９】
音声認識部５０２は、受信された音声データを音声認識ＤＢを用いて公知の音声認識手法で解析し、ユーザが発した音声の内容を特定する（ステップＳ１０３）。ユーザが発した音声の内容が、例えば、“暑い”、“暗い”等といった家電機器２に対する制御の要望を示す場合（ステップＳ１０４；ＹＥＳ）、機器選択部５０３０は、当該ユーザの家屋Ｈに設置されている複数の家電機器２から制御対象の候補となる１又は複数の候補機器を選択する（ステップＳ１０５）。一方、ユーザが発した音声の内容が、制御の提案に対する回答を示す場合（ステップＳ１０４；ＮＯ）、ステップＳ１１１に移行する。
【００７０】
機器状態取得部５０４は、各候補機器の現在の動作状態を取得する（ステップＳ１０６）。また、気象情報取得部５０５は、気象サーバ６から気象情報を取得する（ステップＳ１０７）。対象機器決定部５０３１は、ユーザが発した音声の内容と、機器情報テーブル５４２と、各候補機器の現在の動作状態と、気象情報と、現在の時刻等との各情報に基づいて、制御対象となる対象機器と、その制御内容とを決定する対象機器決定処理を実行する（ステップＳ１０８）。
【００７１】
図１２は、対象機器決定処理の手順を示すフローチャートである。対象機器決定部５０３１は、機器選択部５０３０が選択した全ての候補機器の内、動作状態がユーザの要望と逆行しているものがあるか否かを判定する（ステップＳ２０１）。ユーザの要望と逆行した動作状態の候補機器がある場合（ステップＳ２０１；ＹＥＳ）、対象機器決定部５０３１は、当該候補機器を対象機器として決定し、当該動作を停止させる制御を行うことを決定する（ステップＳ２０２）。その後、図１１のフローチャートのステップＳ１０９に移行する。例えば、候補機器であるエアコンが暖房運転を行っているときに、ユーザが発した音声の内容が“暑い”である場合、対象機器決定部５０３１は、当該エアコンの運転を停止させる制御を行う。
【００７２】
一方、ユーザの要望と逆行した動作状態の候補機器がない場合（ステップＳ２０１；ＮＯ）、対象機器決定部５０３１は、ユーザの要望に適う機能での動作を最も小さい消費電力で行うことができる候補機器を抽出する（ステップＳ２０３）。対象機器決定部５０３１は、抽出した候補機器における当該動作が、現在の気象状況の下で不適切か否かを判定する（ステップＳ２０４）。抽出した候補機器の当該動作が現在の気象状況の下で不適切な場合（ステップＳ２０４；ＹＥＳ）、ステップＳ２０３に戻る。例えば、雨が降っている場合、電動窓１の“開”状態となる動作は不適切であると判定される。一方、抽出した候補機器の当該動作が現在の気象状況の下で不適切ではない場合（ステップＳ２０４；ＮＯ）、対象機器決定部５０３１は、当該候補機器の制御が可能であるか否かを判定する（ステップＳ２０５）。
【００７３】
対象機器決定部５０３１は、当該候補機器が既に当該動作を行っている場合、当該候補機器の制御が可能でないと判定し、当該候補機器が当該動作を行っていない場合、当該候補機器の制御が可能であると判定する。具体的には、例えば、当該候補機器がシャッター１であり、ユーザの要望に適う機能での動作が、開状態となる動作であって、現在のシャッター１の動作状態が、開状態である場合、対象機器決定部５０３１は、当該候補機器の制御が可能でないと判定する。当該候補機器の制御が可能でない場合（ステップＳ２０５；ＮＯ）、ステップＳ２０３に戻る。一方、当該候補機器の制御が可能である場合（ステップＳ２０５；ＹＥＳ）、対象機器決定部５０３１は、当該候補機器を対象機器として決定し、当該動作を行わせる制御を行うことを決定する（ステップＳ２０６）。その後、図１１のフローチャートのステップＳ１０９に移行する。
【００７４】
図１１のフローチャートに戻り、問合せデータ生成部５０３２は、対象機器決定処理で決定された対象機器及びその制御内容に基づく制御の提案の認否をユーザに問い合わせるための問合せデータを生成する（ステップＳ１０９）。問合せデータ送信部５０６は、問合せデータ生成部５０３２により生成された問合せデータを、先に受信した音声データの送信元の音声入力装置３に対して送信する（ステップＳ１１０）。その後、ステップＳ１０１に戻る。
【００７５】
ステップＳ１１１では、機器制御部５０３は、ユーザからの回答が了承を示すか否かを判別する。ユーザからの回答が了承を示さない場合（ステップＳ１１１；ＮＯ）、ステップＳ１０８に戻り、対象機器決定部５０３１は、新たな対象機器とその制御内容を決定する。
【００７６】
一方、ユーザからの回答が了承を示す場合（ステップＳ１１１；ＹＥＳ）、制御指令生成部５０３３は、当該対象機器に対する制御指令を生成する（ステップＳ１１２）。制御指令送信部５０７は、制御指令生成部５０３３により生成された制御指令を当該対象機器に送信する（ステップＳ１１３）。
【００７７】
以上説明したように、本実施の形態に係る機器制御システム１では、ユーザは、音声入力装置３に対して、家電機器２に対する制御の要望を示す音声を発話すると、制御装置５は、当該ユーザの居る場所に設置され、ユーザの要望に沿った動作が可能な機能を備えた１又は複数の家電機器２（即ち、１又は複数の候補機器）の内から、ユーザの要望を適えつつ、より省エネルギー化が図れる家電機器２を対象機器として決定する。
【００７８】
したがって、ユーザの利便性と省エネルギー化の両立を図った音声操作サービスを提供することが可能となる。
【００７９】
また、決定した対象機器及びその制御内容の認否をユーザに問い合わせるため、ユーザの意図しない制御の実行は回避される。なお、このような制御装置５の問合せ機能について、有効／無効にする設定を、ユーザは、パソコン、スマートフォン等を介した操作により適宜変更できるようにしてもよい。例えば、ユーザにより問合せ機能が無効に設定されている場合、制御装置５は、ユーザに問い合わせることなく、決定した対象機器を決定した制御内容で制御してもよい。
【００８０】
本発明は、上記の実施の形態に限定されず、本発明の要旨を逸脱しない範囲での種々の変更は勿論可能である。
【００８１】
例えば、他の実施の形態の機器制御システム１においては、制御装置５は、音声データ受信部５００と音声認識部５０２とを備えず、ネットワークＮ２に接続される図示しない音声認識サーバにより、音声データ受信部５００及び音声認識部５０２と同様の処理が実行されるようにしてもよい。詳細には、当該音声認識サーバは、音声入力装置３からの音声データを受信し、受信した音声データを解析して、ユーザが発した音声の内容を特定し、特定した音声の内容を示すテキストデータ（即ち、音声内容データ）を含む音声認識情報を制御装置５に送信する。制御装置５は、音声認識サーバから音声認識情報を受信するための図示しない音声認識情報受信部を備える。音声認識情報受信部は、本発明に係る音声内容取得手段の他の例である。音声認識情報には、制御装置５において当該ユーザを特定できる情報（例えば、顧客ＩＤ）と、当該音声入力装置３の設置場所に関する情報とが含まれる。なお、音声入力装置３の設置場所に関する情報の代わりに、制御装置５において当該音声入力装置３を特定できる情報（例えば、ＭＡＣアドレス）が含まれるようにしてもよい。
【００８２】
また、上記の実施の形態に係る制御装置５の少なくとも一部の機能が、ホームゲートウェイ４で実現されてもよい。このようにすると、制御装置５の処理負荷が軽減されるため、より多くの顧客に対して音声操作サービスを提供することが可能となる。
【００８３】
また、ホームゲートウェイ４の機能が、音声入力装置３で実現されてもよい。また、各家電機器２が、ホームゲートウェイ４を介さずにネットワークＮ２に接続される仕様であってもよい。
【００８４】
上記の実施の形態では、ＣＰＵ５１によって補助記憶装置５４に記憶されている機器制御プログラム５４０が実行されることで、制御装置５の機能部（図９、図１０参照）が実現された。しかし、制御装置５の機能部の全部又は一部が、専用のハードウェアで実現されるようにしてもよい。専用のハードウェアとは、例えば、単一回路、複合回路、プログラム化されたプロセッサ、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、又は、これらの組み合わせである。
【００８５】
上記の実施の形態において、機器制御プログラム５４０は、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ（Digital Versatile Disc）、光磁気ディスク（Magneto-Optical Disc）、ＵＳＢ（Universal Serial Bus）メモリ、メモリカード、ＨＤＤ等のコンピュータ読み取り可能な記録媒体に格納して配布することも可能である。そして、このように配布した機器制御プログラム５４０を特定の又は汎用のコンピュータにインストールすることによって、当該コンピュータを上記の実施の形態における制御装置５として機能させることも可能である。
【００８６】
また、機器制御プログラム５４０をインターネット上の図示しないサーバが有する記憶装置に格納しておき、当該サーバから制御装置５に機器制御プログラム５４０がダウンロードされるようにしてもよい。
【００８７】
本発明は、広義の精神と範囲を逸脱することなく、様々な実施の形態及び変形が可能である。また、上述した実施の形態は、本発明を説明するためのものであり、本発明の範囲を限定するものではない。つまり、本発明の範囲は、実施の形態ではなく、特許請求の範囲によって示される。そして、特許請求の範囲内及びそれと同等の発明の意義の範囲内で施される様々な変形が、本発明の範囲内とみなされる。
【符号の説明】
【００８８】
１  機器制御システム、２（２ａ，２ｂ）  家電機器、３  音声入力装置、４  ホームゲートウェイ、５  制御装置、６  気象サーバ、２０  メインユニット、２１，３３，５０  通信インタフェース、２２，３４，５１  ＣＰＵ、２３，３５，５２  ＲＯＭ、２４，３６，５３  ＲＡＭ、２５，３７，５４  補助記憶装置、２６，３８，５５  バス、３０  マイク、３１  Ａ／Ｄコンバータ、３２  スピーカ、３００  音声入力部、３０１  送信部、３０２  受信部、３０３  音声出力部、５００  音声データ受信部、５０１  位置特定部、５０２  音声認識部、５０３  機器制御部、５０４  機器状態取得部、５０５  気象情報取得部、５０６  問合せデータ送信部、５０７  制御指令送信部、５０８  応答データ受信部、５０９  結果データ送信部、５４０  機器制御プログラム、５４１  顧客情報テーブル、５４２  機器情報テーブル、５４３  機能コードテーブル、５０３０  機器選択部、５０３１  対象機器決定部、５０３２  問合せデータ生成部、５０３３  制御指令生成部、５０３４  結果データ生成部
【図１】
2020060951.tif 000003
【図２】
2020060951.tif 000004
【図３】
2020060951.tif 000005
【図４】
2020060951.tif 000006
【図５】
2020060951.tif 000007
【図６】
2020060951.tif 000008
【図７】
2020060951.tif 000009
【図８】
2020060951.tif 000010
【図９】
2020060951.tif 000011
【図１０】
2020060951.tif 000012
【図１１】
2020060951.tif 000013
【図１２】
2020060951.tif 000014