(57)【要約】【課題】ユーザが動作に基づく機器の制御を容易に行うことを可能にする。【解決手段】本発明の一実施形態に係る制御サーバ１は、ユーザを撮像することによって得られた画像からユーザの動作を検出する動作検出部１１１と、ユーザが発した音声を検出する音声検出部１１２と、動作検出部１１１が検出した動作によって指定された機器３に対して、音声検出部１１２が検出した音声に対応する制御を行う機器制御部１１４と、を有する。機器３は、制御サーバ１からの制御信号を受けることによって、オン、オフ、調節等の作動を行う。【選択図】図５
2019061334.tif 000002
【特許請求の範囲】
【請求項１】
ユーザを撮像することによって得られた画像から前記ユーザの動作を検出する動作検出部と、
前記ユーザが発した音声を検出する音声検出部と、
前記動作検出部が検出した前記動作によって指定された機器に対して、前記音声検出部が検出した前記音声に対応する制御を行う機器制御部と、
を有する機器制御装置。
【請求項２】
前記機器制御部は、前記動作検出部が検出した前記動作及び前記音声検出部が検出した前記音声によって指定された前記機器に対して、前記音声検出部が検出した前記音声に対応する前記制御を行う、
請求項１に記載の機器制御装置。
【請求項３】
前記動作検出部が検出した前記動作によって指定された第１の機器と前記音声検出部が検出した前記音声によって指定された第２の機器とが異なる場合に、前記機器制御部は前記第１の機器及び前記第２の機器を間欠的に動作させる、
請求項２に記載の機器制御装置。
【請求項４】
前記動作検出部が検出した前記動作によって指定された第１の機器と前記音声検出部が検出した前記音声によって指定された第２の機器とが異なる場合に、前記機器制御部は所定の規則に従って前記第１の機器及び前記第２の機器のどちらか一方に対して前記制御を行う、
請求項２に記載の機器制御装置。
【請求項５】
前記機器制御部は、前記ユーザごとに設定された前記所定の規則に従って、前記第１の機器及び前記第２の機器のどちらか一方に対して前記制御を行う、
請求項４に記載の機器制御装置。
【請求項６】
前記音声検出部が検出した前記音声と前記制御の対象である前記機器とを関連付けて学習する学習部をさらに備え、
前記機器制御部は、前記学習部によって前記音声検出部が検出した前記音声に関連付けられた前記機器に対して、前記音声検出部が検出した前記音声に対応する前記制御を行う、
請求項１から５のいずれか一項に記載の機器制御装置。
【請求項７】
前記動作検出部が検出した前記動作によって複数の前記機器が指定された場合に、前記機器制御部は複数の前記機器を間欠的に作動させる、
請求項１から６のいずれか一項に記載の機器制御装置。
【請求項８】
前記動作検出部が検出した前記動作によって複数の前記機器が指定された場合に、前記機器制御部は複数の前記機器を示す音声を出力する、
請求項１から６のいずれか一項に記載の機器制御装置。
【請求項９】
前記動作検出部が検出した前記動作によって複数の前記機器が指定された場合に、前記機器制御部は、複数の前記機器に予め設定された優先度に従って複数の前記機器のうち少なくとも１つの機器の前記制御を行う、
請求項１から６のいずれか一項に記載の機器制御装置。
【請求項１０】
前記機器制御部は、前記動作検出部が検出した前記動作の時間の長さ及び前記音声検出部が検出した前記音声の大きさが所定の閾値以上である場合に、前記制御を行う、
請求項１から９のいずれか一項に記載の機器制御装置。
【請求項１１】
前記機器制御部は、前記動作検出部が検出した前記動作によって指定された範囲内に位置する前記機器に対して、前記音声検出部が検出した前記音声に対応する前記制御を行う、
請求項１から１０のいずれか一項に記載の機器制御装置。
【請求項１２】
前記機器制御部は、前記ユーザが前記範囲から外へ移動することによって指定された前記範囲内に位置する前記機器に対して、前記音声検出部が検出した前記音声に対応する前記制御を行う、
請求項１１に記載の機器制御装置。
【請求項１３】
ユーザを撮像することによって得られた画像から前記ユーザの動作を検出するステップと、
前記ユーザが発した音声を検出するステップと、
前記動作を検出するステップで検出された前記動作によって指定された機器に対して、前記音声を検出するステップで検出された前記音声に対応する制御を行うステップと、
を有する機器制御方法。
【請求項１４】
機器と、前記機器を制御する機器制御装置とを備え、
前記機器制御装置は、
ユーザを撮像することによって得られた画像から前記ユーザの動作を検出する動作検出部と、
前記ユーザが発した音声を検出する音声検出部と、
前記動作検出部が検出した前記動作によって指定された前記機器に対して、前記音声検出部が検出した前記音声に対応する制御を行う機器制御部と、
を有し、
前記機器は、前記機器制御部による前記制御に従って動作する、機器制御システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザの動作に基づいて機器を制御する機器制御装置、機器制御方法及び機器制御システムに関する。
【背景技術】
【０００２】
ユーザの動作（ジェスチャ）を検知することによって、住宅内に設置された様々な機器への指示を行う機器制御装置が開発されている。ここでユーザの動作とは、機器の操作部に対して直接操作を行うことではなく、機器の操作部から同一又は離れた空間でユーザが行う様々な動作をいう。機器制御装置はユーザが所定の動作を行ったことを検知すると、該動作に基づいて照明、空調機器、ＡＶ（Audio Visual）機器等の機器をオン又はオフにし、あるいは調節することができる。
【０００３】
特許文献１には、ユーザ端末において、ユーザが行った動作を検知し、該動作に関連付けられた相手との通信を開始する技術が記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第５８２００５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、ユーザの動作のみによって機器への指示を行う場合には、ユーザは制御対象の機器を指定する動作に加えて、機器のオン、オフ、調節等の各作動に対応する様々な動作を覚える必要がある。特許文献１に記載の技術は、ユーザ端末を保持した手をフリックすることや、ユーザ端末を振ること等を、動作として検出する。このように、動作による機器の制御を実行するためには、ユーザにとって様々な動作を覚えることが必要という難しさがある。
【０００６】
本発明は上述の点に鑑みてなされたものであり、ユーザが動作に基づく機器の制御を容易に行うことが可能な機器制御装置、機器制御方法及び機器制御システムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の第１の態様の機器制御装置は、ユーザを撮像することによって得られた画像から前記ユーザの動作を検出する動作検出部と、前記ユーザが発した音声を検出する音声検出部と、前記動作検出部が検出した前記動作によって指定された機器に対して、前記音声検出部が検出した前記音声に対応する制御を行う機器制御部と、を有する。
【０００８】
前記機器制御部は、前記動作検出部が検出した前記動作及び前記音声検出部が検出した前記音声によって指定された前記機器に対して、前記音声検出部が検出した前記音声に対応する前記制御を行ってもよい。
【０００９】
前記動作検出部が検出した前記動作によって指定された第１の機器と前記音声検出部が検出した前記音声によって指定された第２の機器とが異なる場合に、前記機器制御部は前記第１の機器及び前記第２の機器を間欠的に動作させてもよい。
【００１０】
前記動作検出部が検出した前記動作によって指定された第１の機器と前記音声検出部が検出した前記音声によって指定された第２の機器とが異なる場合に、前記機器制御部は所定の規則に従って前記第１の機器及び前記第２の機器のどちらか一方に対して前記制御を行ってもよい。
【００１１】
前記機器制御部は、前記ユーザごとに設定された前記所定の規則に従って、前記第１の機器及び前記第２の機器のどちらか一方に対して前記制御を行ってもよい。
【００１２】
前記音声検出部が検出した前記音声と前記制御の対象である前記機器とを関連付けて学習する学習部をさらに備え、前記機器制御部は、前記学習部によって前記音声検出部が検出した前記音声に関連付けられた前記機器に対して、前記音声検出部が検出した前記音声に対応する前記制御を行ってもよい。
【００１３】
前記動作検出部が検出した前記動作によって複数の前記機器が指定された場合に、前記機器制御部は複数の前記機器を間欠的に作動させてもよい。
【００１４】
前記動作検出部が検出した前記動作によって複数の前記機器が指定された場合に、前記機器制御部は複数の前記機器を示す音声を出力してもよい。
【００１５】
前記動作検出部が検出した前記動作によって複数の前記機器が指定された場合に、前記機器制御部は、複数の前記機器に予め設定された優先度に従って複数の前記機器のうち少なくとも１つの機器の前記制御を行ってもよい。
【００１６】
前記機器制御部は、前記動作検出部が検出した前記動作の時間の長さ及び前記音声検出部が検出した前記音声の大きさが所定の閾値以上である場合に、前記制御を行ってもよい。
【００１７】
前記機器制御部は、前記動作検出部が検出した前記動作によって指定された範囲内に位置する前記機器に対して、前記音声検出部が検出した前記音声に対応する前記制御を行ってもよい。
【００１８】
前記機器制御部は、前記ユーザが前記範囲から外へ移動することによって指定された前記範囲内に位置する前記機器に対して、前記音声検出部が検出した前記音声に対応する前記制御を行ってもよい。
【００１９】
本発明の第２の態様の機器制御方法は、ユーザを撮像することによって得られた画像から前記ユーザの動作を検出するステップと、前記ユーザが発した音声を検出するステップと、前記動作を検出するステップで検出された前記動作によって指定された機器に対して、前記音声を検出するステップで検出された前記音声に対応する制御を行うステップと、を有する。
【００２０】
本発明の第３の態様の機器制御システムは、機器と、前記機器を制御する機器制御装置とを備え、前記機器制御装置は、ユーザを撮像することによって得られた画像から前記ユーザの動作を検出する動作検出部と、前記ユーザが発した音声を検出する音声検出部と、前記動作検出部が検出した前記動作によって指定された前記機器に対して、前記音声検出部が検出した前記音声に対応する制御を行う機器制御部と、を有し、前記機器は、前記機器制御部による前記制御に従って動作する。
【発明の効果】
【００２１】
本発明によれば、ユーザの動作に基づいて機器の制御を行う際に、ユーザはより簡単に動作に基づく機器の制御を行うことが可能になる。
【図面の簡単な説明】
【００２２】
【図１】第１の実施形態に係る機器制御システムの模式図である。
【図２】第１の実施形態に係る制御サーバが検出するユーザの動作及び音声を示す模式図である。
【図３】第１の実施形態に係る制御サーバがユーザの音声から抽出する言語を示す模式図である。
【図４】第１の実施形態に係る制御サーバで用いられる制御データベース及び学習データベースを示す模式図である。
【図５】第１の実施形態に係る機器制御システムのブロック図である。
【図６】第１の実施形態に係る機器制御方法のフローチャートを示す図である。
【図７】第２の実施形態に係る機器制御システムの模式図である。
【図８】第３の実施形態に係る機器制御方法のフローチャートを示す図である。
【図９】第４の実施形態においてユーザの動作及び音声が指定する範囲を示す模式図である。
【図１０】第５の実施形態に係る機器制御方法のフローチャートを示す図である。
【発明を実施するための形態】
【００２３】
（第１の実施形態）
図１は、本実施形態に係る機器制御システムＳの模式図である。機器制御システムＳは、機器制御装置としての制御サーバ１と、様々な情報を取得する１つ又は複数のセンサ装置２と、制御サーバ１によって制御される１つ又は複数の機器３と、通信を仲介するゲートウェイ４と、を含む。機器制御システムＳは、その他のサーバ、端末等の機器を含んでもよい。
【００２４】
機器３は、制御サーバ１からの制御信号を受けることによって、オン、オフ、調節等の制御がなされる被制御機器である。機器３として、照明、空調機器、ＡＶ機器等、任意の機器を用いることができる。機器３は、制御サーバ１による制御だけでなく、ユーザによる操作によって作動してもよい。機器３は、通信モジュールを有しており、有線通信又は無線通信によってゲートウェイ４を介して制御サーバ１と通信する。
【００２５】
センサ装置２は、画像、音声、温度等の情報を測定して取得する。センサ装置２は、情報の取得に必要な各種のセンサを有する。センサ装置２は機器３に内蔵されてもよく、あるいは独立して設置されてもよい。センサ装置２は、通信モジュールを有しており、有線通信又は無線通信によってゲートウェイ４を介して制御サーバ１と通信する。
【００２６】
ゲートウェイ４は、センサ装置２、機器３及び制御サーバ１の間で授受される信号に対してプロトコル変換等の処理を行って通信可能にする中継装置である。ゲートウェイ４は、有線接続又は無線接続によってセンサ装置２及び機器３のそれぞれに接続され、またローカルエリアネットワーク、インターネット等の任意のネットワークＮを介して制御サーバ１に接続される。
【００２７】
制御サーバ１は、センサ装置２、機器３及びゲートウェイ４が設置されている建物の外部において、有線通信又は無線通信によってネットワークＮに接続される。制御サーバ１は、単一のコンピュータ、又はコンピュータ資源の集合であるクラウドによって構成される。制御サーバ１は、センサ装置２が測定した情報を示す信号を、ゲートウェイ４を介して受信する。次に制御サーバ１は、センサ装置２からの情報に基づいて、制御対象の機器３及び制御内容を判定する。そして制御サーバ１は、制御内容を示す信号を、ゲートウェイ４を介して機器３へ送信する。
【００２８】
［ユーザの動作及び音声の説明］
図２は、本実施形態に係る制御サーバ１が検出するユーザの動作及び音声を示す模式図である。ユーザの動作は、制御対象の機器を指定する動作である。図２の例では、ユーザの動作はユーザの手を所定の形状にすることであり、より具体的には制御対象の機器３に向けて指を差す行為である。ユーザの音声は、制御対象の機器３を指定するとともに、機器３の制御内容を指定する音声である。図２の例では、ユーザが発する「あれつけて」という音声である。
【００２９】
制御サーバ１は、同時又は所定時間内に検出された動作及び音声を１つの組として検出する。すなわち、制御サーバ１は、検出された動作と、該動作が検出された前後の所定の時間内に検出された音声とを１つの組として検出する。制御サーバ１は、動作の指差し方向（すなわち指の延長線上）に位置する機器３を制御対象として選択する。また、制御サーバ１は、音声が示す機器３が既に学習されている場合には、動作の代わりに音声に関連付けられた機器３を制御対象として選択する。そして制御サーバ１は、選択された制御対象の機器に対して、音声に対応する制御内容（例えば機器３をオンにすること）を決定する。
【００３０】
図２に示したユーザの動作は一例であり、制御サーバ１はユーザを撮像して得られた画像から判定可能な所定の動作を検出するように構成される。ユーザの動作として、１つの動作に限らず、２つ以上の動作を組み合わせて用いてもよい。また、図２に示したユーザの音声は一例であり、制御サーバ１は後述の特定語及び調整語を示す所定の音声を検出するように構成される。
【００３１】
［ユーザの音声から抽出される言語の説明］
図３（ａ）、図３（ｂ）は、本実施形態に係る制御サーバ１がユーザの音声から抽出する言語を示す模式図である。制御サーバ１は、センサ装置２によって測定した音声から言語を抽出し、該言語に基づいて制御対象及び制御内容を決定する。本実施形態において、音声は、特定語及び調整語を含む。特定語は、制御対象の機器３を特定する言葉である。調整語は、機器３の制御内容を示す言葉である。
【００３２】
図３（ａ）の例では、ユーザの音声は、「あれ」という特定語、及び「つけて」という調整語を含む。これにより、制御サーバ１は、動作によって指定された方向にある機器３に対して、「つけて」に対応するオンの作動を行わせる。図３（ｂ）の例では、ユーザの音声は、「あのエアコン」という特定語、及び「消して」という調整語を含む。これにより、制御サーバ１は、動作によって指定された方向にあるエアコンである機器３に対して、「消して」に対応するオフの作動を行わせる。
【００３３】
このように、制御サーバ１は動作及び音声を組み合わせて制御を実行するため、動作のみによって制御対象及び制御内容の両方を指定することがなく、ユーザは様々な動作を覚える必要がない。
【００３４】
［データベースの説明］
図４（ａ）は、本実施形態に係る制御サーバ１で用いられる制御データベースＤを示す模式図である。制御データベースＤは、ユーザの動作及び音声から制御対象の機器３及び制御内容を決定するための情報である。制御データベースＤは、機器番号Ｄ１、位置情報Ｄ２及び種類Ｄ３を関連付けて記憶する。
【００３５】
機器番号Ｄ１は、機器３を識別するための番号である。機器番号Ｄ１は、例えば登録された機器３の通し番号でもよく、機器３に予め付与されたＭＡＣ（Media Access Control）アドレス等でもよい。
【００３６】
位置情報Ｄ２は、機器３の位置を示す情報であり、例えば建物の所定の点を基準とした３次元座標Ｘ、Ｙ、Ｚで表される。機器３の位置は、ユーザによって指差しの動作が行われた際に、指差し方向に位置する機器３を特定するために使用される。機器３の位置は、例えばセンサ装置２によって機器３を撮像して得られた画像から制御サーバ１が推定する。あるいは、ユーザが携帯端末のアプリケーション等を用いて各機器３の位置を制御サーバ１に設定してもよい。この場合には、例えばユーザはアプリケーション上で座標情報を入力する、あるいはアプリケーションに表示された建物内のマップにマークをつけることによって、機器３の位置を制御サーバ１に設定する。本実施形態では３次元座標を用いているが、高さ方向の座標を除いて２次元座標を用いてもよい。この場合には、高さを区別せずに水平方向の位置によって機器３が特定される。
【００３７】
種類Ｄ３は、機器３の種類を示す情報であり、例えばテレビ、エアコン、ライト等である。機器３の種類は、ユーザの音声で指定された場合に、該種類に機器３の選択を限定するために使用される。機器３の種類は、例えばセンサ装置２によって得られた画像における機器３の外観に基づいて制御サーバ１が推定する。あるいは、ユーザが携帯端末のアプリケーション等を用いて各機器３の種類を制御サーバ１に設定してもよい。この場合には、例えばアプリケーションに複数の機器３の種類が記憶されており、ユーザは機器３ごとに該複数の種類のいずれかを選択することによって、機器３の種類を制御サーバ１に設定する。また、ユーザがアプリケーションに任意の機器３の種類を追加して設定可能にしてもよい。
【００３８】
図４（ｂ）は、本実施形態に係る制御サーバ１で用いられる学習データベースＤＤを示す模式図である。学習データベースＤＤは、特定語と制御対象の機器３とを関連付けるように学習された内容を示す情報である。学習データベースＤＤは、機器番号ＤＤ１、学習位置ＤＤ２及び学習語ＤＤ３を関連付けて記憶する。
【００３９】
機器番号ＤＤ１は、機器３を識別するための番号である。機器番号ＤＤ１は、制御データベースＤの機器番号Ｄ１に対応する。学習位置ＤＤ２は、学習時のユーザの位置を示す情報であり、例えば建物の所定の点を基準とした３次元座標Ｘ、Ｙ、Ｚで表される。学習語ＤＤ３は、学習された特定語を示す情報である。
【００４０】
制御サーバ１は、ユーザの動作によって指定された制御対象の機器３に対する制御を行った場合に、該機器３（機器番号ＤＤ１）と、該ユーザの位置（学習位置ＤＤ２）と、該音声から抽出された特定語（学習語ＤＤ３）とを関連付けて学習データベースＤＤに記憶する。そして制御サーバ１は、学習位置ＤＤ２の近傍（例えば学習位置ＤＤ２を中心とした所定の範囲内）で学習語ＤＤ３に一致する特定語が検出された場合に、学習位置ＤＤ２及び学習語ＤＤ３に関連付けられた機器番号ＤＤ１の機器３を制御対象として選択する。これにより、あるユーザの位置において特定語が学習済の場合には、ユーザの動作が検出されなくても、該特定語のみによって制御対象の機器３を特定することができる。
【００４１】
図４（ａ）、図４（ｂ）に示した制御データベースＤ及び学習データベースＤＤは一例であり、制御データベースＤ及び学習データベースＤＤの内容及び形式は、本実施形態に係る機器制御方法で利用可能である限り任意に設定される。図４（ａ）、図４（ｂ）において、制御データベースＤ及び学習データベースＤＤは視認性のために文字列の表で表されているが、制御サーバ１が解釈可能な任意のデータ形式（ファイル形式）で表されてもよく、例えばバイナリデータ又はテキストデータでよい。制御データベースＤ及び学習データベースＤＤは制御サーバ１の内部に記憶されてもよく、制御サーバ１の外部の記憶装置に記憶されてもよい。
【００４２】
［機器制御システムＳの構成］
図５は、本実施形態に係る機器制御システムＳのブロック図である。図５において、矢印は主なデータの流れを示しており、図５に示したもの以外のデータの流れがあってよい。図５において、各ブロックはハードウェア（装置）単位の構成ではなく、機能単位の構成を示している。そのため、図５に示すブロックは単一の装置内に実装されてよく、あるいは複数の装置内に別れて実装されてよい。ブロック間のデータの授受は、データバス、ネットワーク、可搬記憶媒体等、任意の手段を介して行われてよい。
【００４３】
センサ装置２は、画像センサ２１及び音声センサ２２を有する。画像センサ２１は、撮像した画像を示す情報を出力する撮像素子を有するカメラである。画像センサ２１によって撮像された画像は、制御サーバ１がユーザの動作を検出するために用いられる。また制御サーバ１は、複数の画像センサ２１によって複数の方向から撮像された画像から、ユーザの位置を推定する。あるいは、ユーザの位置を検出するために、赤外線や超音波を被写体（ユーザ）に照射することによって距離を測定する距離センサを設けてもよい。
【００４４】
音声センサ２２は、周囲から取得した音声を示す情報を出力するマイクロフォンである。音声センサ２２は、例えば複数の指向性マイクロフォンを搭載し、いずれの方向からの音声であるかを特定できるように構成されることが望ましい。
【００４５】
制御サーバ１は、制御部１１と、通信部１２と、記憶部１３と、を有する。制御部１１は、動作検出部１１１と、音声検出部１１２と、機器選択部１１３と、機器制御部１１４と、学習部１１５とを有する。
【００４６】
通信部１２は、ゲートウェイ４を介してセンサ装置２及び機器３との間で通信をするための通信インターフェースである。通信部１２は、センサ装置２及び機器３から受信した通信信号に所定の処理を行ってデータを取得し、取得したデータを制御部１１に入力する。また、通信部１２は、制御部１１から入力されたデータに所定の処理を行って通信信号を生成し、生成した通信信号をセンサ装置２及び機器３に送信する。
【００４７】
記憶部１３は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ハードディスクドライブ等を含む記憶媒体である。記憶部１３は、制御部１１が実行するプログラムを予め記憶している。
【００４８】
制御部１１は、例えばＣＰＵ（Central Processing Unit）等のプロセッサであり、記憶部１３に記憶されたプログラムを実行することにより、動作検出部１１１、音声検出部１１２、機器選択部１１３、機器制御部１１４及び学習部１１５として機能する。制御部１１の機能の少なくとも一部は、電気回路によって実行されてもよい。また、制御部１１の機能の少なくとも一部は、ネットワーク経由で実行されるプログラムによって実行されてもよい。
【００４９】
本実施形態に係る機器制御システムＳは、図５に示す具体的な構成に限定されない。例えば制御サーバ１は、１つの装置に限られず、２つ以上の物理的に分離した装置が有線又は無線で接続されることにより構成されてもよい。
【００５０】
動作検出部１１１は、センサ装置２の画像センサ２１によって撮像された画像から、ユーザの動作及び位置を検出する。具体的には、動作検出部１１１は、取得した画像に対して３次元認識の画像解析技術を適用し、ユーザの動作及び位置を検出する。３次元認識の画像解析技術として、公知の技術を用いることができる。ユーザによる動作が行われない場合には、動作検出部１１１は、ユーザの位置のみを検出する。
【００５１】
動作検出部１１１による動作検出と並行して、音声検出部１１２は、センサ装置２の音声センサ２２から取得した音声から、特定語及び調整語を検出する。具体的には、音声検出部１１２は、取得した音声に対して音声認識技術を適用し、該音声から言語を抽出する。音声認識技術として、公知の技術を用いることができる。
【００５２】
そして音声検出部１１２は、抽出した言語に含まれる特定語及び調整語を検出する。例えば特定語及び調整語は予めリストとして定義されており、音声検出部１１２は、抽出した言語とリストとを比較することによって、該言語中の特定語及び調整語を検出する。さらに音声検出部１１２は、検出した調整語が指定する内容（オン、オフ、調節等）を制御内容として決定する。
【００５３】
ここで音声検出部１１２は、動作検出部１１１が用いる画像が撮像された時間と同時又はその前後の所定の時間内に取得された音声を、検出する対象の音声とする。これにより、動作及び音声を１つの組として検出できる。
【００５４】
機器選択部１１３は、学習データベースＤＤにおいて、動作検出部１１１が検出したユーザの位置（学習位置ＤＤ２）及び音声検出部１１２が検出した特定語（学習語ＤＤ３）に対応する学習内容があるか否かを判定する。ここで機器選択部１１３は、動作検出部１１１が検出した位置が、学習内容が示す位置の近傍（例えば学習位置ＤＤ２を中心とした所定の範囲内）である場合に、検出した位置は学習内容が示す位置に対応していると判定する。動作検出部１１１が検出したユーザの位置及び音声検出部１１２が検出した特定語に対応する学習内容がある場合に、機器選択部１１３は、該位置及び特定語に関連付けられた機器３（機器番号ＤＤ１）を示す学習内容を取得する。
【００５５】
そして機器選択部１１３は、取得した学習内容が示す機器３を制御対象として選択する。このように、動作検出部１１１が検出したユーザの位置において音声検出部１１２が検出した特定語が既に学習されている場合には、機器選択部１１３は、ユーザの動作を用いずに制御対象の機器３を選択できる。
【００５６】
学習データベースＤＤにおいて動作検出部１１１が検出したユーザの位置及び音声検出部１１２が検出した特定語に対応する学習内容がない場合に、機器選択部１１３は、動作検出部１１１が検出したユーザの動作に対応する機器３を制御対象として選択する。具体的には、機器選択部１１３は、制御データベースＤにおける各機器３の位置情報Ｄ２から、動作検出部１１１が検出したユーザの位置を起点とした指の延長線上に位置する機器３（すなわち機器番号Ｄ１）を制御対象として決定する。
【００５７】
さらに、機器選択部１１３は、動作検出部１１１が検出したユーザの動作に対応する機器３を制御対象として選択する際に、音声検出部１１２が検出した特定語を組み合わせて利用してもよい。この場合に、機器選択部１１３は、ユーザの位置を起点とした指の延長線上に位置する複数の機器３のうち、特定語によって限定された１つの機器３を選択する。
【００５８】
具体的には、機器選択部１１３は、機器３の種類（例えば「エアコン」）を示す特定語が検出された場合には、動作に対応する複数の機器３のうち、制御データベースＤにおいて特定語が示す種類に一致する種類Ｄ３に関連付けられた機器３を選択する。
【００５９】
さらに、機器選択部１１３は、選択可能な機器３の位置の範囲を限定するために特定語を利用してもよい。この場合に、例えば「あれ」という特定語は遠方を示し、「これ」という特定語は近傍を示すことが制御サーバ１に予め定義される。そして機器選択部１１３は、「あれ」という特定語が検出された場合には動作に対応する複数の機器３のうち最も遠くの機器３を選択し、「これ」という特定語の場合には該複数の機器３のうち最も近くの機器３を選択する。
【００６０】
このように制御サーバ１は、動作と音声とを組み合わせて制御対象の機器３を選択することによって、より柔軟に機器３の選択を受け付けることができる。
【００６１】
動作の誤検出を抑制するために、ユーザの動作の長さ及びユーザの音声の大きさに基づいて、制御を行ってもよい。具体的には、動作検出部１１１、音声検出部１１２及び機器選択部１１３は、同一の動作が所定時間継続された場合であって、音声の大きさが所定閾値以上である場合に、動作及び音声に基づいて制御対象及び制御内容を決定する。これにより、機器３への指示を意図していない日常的な動作及び音声を検出して誤って機器３を制御することを抑制することができる。
【００６２】
動作検出部１１１、音声検出部１１２及び機器選択部１１３がユーザの動作及び音声に関連付けられた制御対象及び制御内容を決定した場合に、機器制御部１１４は、決定された制御内容に従って制御を行うための制御信号を生成し、決定された制御対象の機器３に通信部１２を介して送信する。機器３は、ゲートウェイ４を介して制御サーバ１から受信した制御信号に従って、オン、オフ、調節等の所定の作動を行う。
【００６３】
動作検出部１１１が検出したユーザの位置において音声検出部１１２が検出した特定語がまだ学習されていない場合に、学習部１１５は、該位置及び該特定語について選択された機器３を学習する。具体的には、学習部１１５は、機器制御部１１４が制御を実行した際に、動作検出部１１１が検出したユーザの位置と、音声検出部１１２が検出した特定語と、機器選択部１１３が制御対象として選択した機器３とを、学習データベースＤＤに登録する。
【００６４】
学習部１１５は、初めて制御が実行された機器３、ユーザの位置及び特定語の組み合わせを学習内容として学習データベースＤＤに登録してもよい。あるいは、学習部１１５は、制御が実行された機器３、ユーザの位置及び特定語の組み合わせの回数を計数し、所定の回数になった組み合わせのみを学習内容として学習データベースＤＤに登録してもよい。
【００６５】
センサ装置２から制御サーバ１へ画像及び音声を常時送信すると通信負荷が大きいため、センサ装置２は、画像から所定の動作に近い動作を検出した場合にのみ、制御サーバ１への画像及び音声の送信を開始してもよい。この場合には、センサ装置２は動作検知ソフトウェアを実行するコンピュータとして構成され、所定の動作に近い動作を予め登録する。センサ装置２は、該動作検知ソフトウェアを用いて、画像センサ２１が撮像した画像から予め登録された動作を検知した場合に、制御サーバ１への画像及び音声の送信を開始する。これにより、センサ装置２から制御サーバ１へ送信されるデータの通信量を低減することができる。
【００６６】
［機器制御方法のフローチャート］
図６は、本実施形態に係る機器制御方法のフローチャートを示す図である。図６のフローチャートは、例えばユーザが制御サーバ１に対して所定の開始操作を行うことによって開始される。
【００６７】
まず動作検出部１１１は、センサ装置２の画像センサ２１によって撮像された画像からユーザの動作及び位置を検出するとともに、音声検出部１１２は、センサ装置２の音声センサ２２から取得した音声から、特定語及び調整語を検出する（Ｓ１１）。ステップＳ１１においてユーザによる動作を検出できない場合には、動作検出部１１１は、ユーザの位置のみを検出する。
【００６８】
ステップＳ１１で動作検出部１１１及び音声検出部１１２が位置及び音声を検出しない場合に（Ｓ１２のＮＯ）、制御サーバ１はステップＳ１１に戻って処理を繰り返す。ステップＳ１１で動作検出部１１１及び音声検出部１１２が位置及び音声を検出した場合に（Ｓ１２のＹＥＳ）、機器選択部１１３は、学習データベースＤＤから、ステップＳ１１で動作検出部１１１が検出した位置（学習位置ＤＤ２）及び音声検出部１１２が検出した特定語（学習語ＤＤ３）に対応する学習内容があるか否かを判定する（Ｓ１３）。
【００６９】
検出した位置及び特定語に対応する学習内容がある場合に（Ｓ１４のＹＥＳ）、機器選択部１１３は、該位置及び特定語に関連付けられた機器３（機器番号ＤＤ１）を示す学習内容を取得する。そして機器選択部１１３は、取得した学習内容が示す機器３を制御対象として選択する（Ｓ１５）。
【００７０】
検出した位置及び特定語に対応する学習内容がない場合に（Ｓ１４のＮＯ）、機器選択部１１３は、ステップＳ１１で動作検出部１１１が検出したユーザの動作に対応する機器３を制御対象として選択する（Ｓ１６）。
【００７１】
音声検出部１１２は、ステップＳ１１で音声検出部１１２が検出した調整語が指定する内容（オン、オフ、調節等）を制御内容として決定する（Ｓ１７）。
【００７２】
機器制御部１１４は、ステップＳ１７で音声検出部１１２が決定した制御内容に従って制御を行うための制御信号を生成し、ステップＳ１５又はＳ１６で機器選択部１１３が選択した制御対象の機器３に通信部１２を介して送信する（Ｓ１８）。このとき、ステップＳ１１で動作検出部１１１が検出したユーザの位置において音声検出部１１２が検出した特定語がまだ学習されていない場合に、学習部１１５は、該位置及び該特定語についてステップＳ１６で機器選択部１１３が選択した機器３を学習する。
【００７３】
所定の終了条件（例えばユーザが制御サーバ１に対して所定の終了操作を行うこと）が満たされない場合に（Ｓ１９のＮＯ）、制御サーバ１はステップＳ１１に戻って処理を繰り返す。所定の終了条件が満たされる場合に（Ｓ１９のＹＥＳ）、制御サーバ１は処理を終了する。
【００７４】
［動作及び音声が矛盾した場合の処理］
ユーザの動作が示す内容と、ユーザの音声が示す内容とが矛盾する場合がある。例えば、ユーザの動作（テレビを指さす動作）によって選択される第１の機器３（テレビ）と、特定語（「あのエアコン」という音声）の学習内容から選択される第２の機器３（エアコン）とが異なる場合である。この理由としては、ユーザ自身が誤って矛盾する動作及び音声を発したことや、動作を行ったユーザと音声を発したユーザとが異なっていることが考えられる。
【００７５】
この場合に、制御サーバ１は、ステップＳ１７の後であってステップＳ１８の前に、動作及び音声の矛盾を解消する処理を行う。具体的には、機器制御部１１４は、動作及び音声によって選択された複数の機器３に、それぞれランプの点滅（すなわち間欠的な作動）等の作動を行わせる。そして動作検出部１１１、音声検出部１１２及び機器選択部１１３は、ユーザの動作及び音声を改めて検出することによって制御対象及び制御内容の再選択を受け付ける。これにより、制御サーバ１は、動作及び音声が矛盾したことをユーザに知らせることができ、制御対象の機器３を改めて選択させることができる。選択された機器３を制御対象の機器３として、機器制御部１１４は、ステップＳ１８以降の処理を行う。
【００７６】
別の方法として、制御サーバ１は、動作及び音声が矛盾した場合に、動作及び音声のどちらを優先するかを示す所定の規則に従って、動作及び音声のどちらか一方に基づいて制御対象の機器３を選択してもよい。選択された機器３を制御対象の機器３として、機器制御部１１４は、ステップＳ１８以降の処理を行う。
【００７７】
また、制御サーバ１は、動作及び音声が矛盾した場合に、ユーザごとに動作及び音声のどちらを優先するか判定してもよい。この場合に、制御サーバ１には、ユーザごとに動作及び音声のどちらを優先するかを示す規則が予め設定される。そして機器選択部１１３は、画像又は音声からユーザを識別し、識別したユーザごとの設定に基づいて動作及び音声のどちらか一方に基づいて制御対象の機器３を選択する。ユーザの識別は、画像又は音声に画像認識技術又は音声認識技術を適用することによって行われる。画像認識技術又は音声認識技術として、公知の技術を用いることができる。選択された機器３を制御対象の機器３として、機器制御部１１４は、ステップＳ１８以降の処理を行う。
【００７８】
［第１の実施形態の効果］
本実施形態に係る制御サーバ１は、ユーザの動作及び音声を組み合わせることによって制御対象及び制御内容を決定する。そのため、ユーザは様々な動作を覚える必要がなく、動作を用いる機器制御を容易に行うことができる。
【００７９】
さらに、制御サーバ１はユーザの動作によって指定された機器３と特定語とを関連付けるように学習することによって、次回からは学習された特定語のみによって動作を伴わずに制御対象の機器３を選択可能にする。すなわち、初回には「あれつけて」という言葉と指差し動作とを組み合わせて制御対象の機器３を特定する必要があるが、次回からは「あれつけて」という言葉のみで同一の機器３を特定可能になる。このように、ユーザは「あれ」や「これ」のような特定語が示す機器３を制御サーバ１に自動的に学習させることができるため、ユーザの利便性を向上させることができる。
【００８０】
（第２の実施形態）
第１の実施形態において制御サーバ１は建物の外部に配置され、ネットワークＮを介してセンサ装置２及び機器３と通信する。そのため、ネットワークＮの通信状況によっては動作や音声の検出及び機器の制御の実行に時間が掛かるおそれがある。また、センサ装置２から制御サーバ１へ画像及び音声を常時送信すると通信負荷が大きい。それに対して、本実施形態では、建物の外部に配置された制御サーバ１−１に加えて、建物内に制御サーバ１−２を設ける。
【００８１】
図７は、本実施形態に係る機器制御システムＳの模式図である。機器制御システムＳは、第１の実施形態と同様のセンサ装置２、機器３及びゲートウェイ４に加えて、建物外においてネットワークＮに接続されている制御サーバ１−１、及び建物内においてゲートウェイ４とネットワークＮとの間に接続されている制御サーバ１−２を含む。制御サーバ１−１及び制御サーバ１−２は、それぞれ図５の制御サーバ１と同様の構成を有する。
【００８２】
本実施形態では、建物内の制御サーバ１−２及び建物外の制御サーバ１−１の間で処理やデータを調整することによって、動作及び音声の検出の速度及び精度のバランスをとる。例えば建物内の制御サーバ１−２において計算量の小さい検出処理を行い、建物外の制御サーバ１−１において計算量の大きい検出処理を行う。あるいは例えば建物内の制御サーバ１−２の記憶部１３に少ない量の制御データベースＤ及び学習データベースＤＤを記憶し、建物外の制御サーバ１−１の記憶部１３に多い量の制御データベースＤ及び学習データベースＤＤを記憶する。
【００８３】
まず建物内の制御サーバ１−２は、センサ装置２からの情報に基づいて動作及び音声の検出を行う。そして制御サーバ１−２が動作及び音声を検出できなかった場合に、制御サーバ１−２は建物外の制御サーバ１−１にセンサ装置２からの情報を転送し、制御サーバ１−１は、センサ装置２からの情報に基づいて動作及び音声の検出を行う。制御サーバ１−２及び制御サーバ１−１のどちらか一方は、検出した動作及び音声に基づいて機器３の制御を行う。
【００８４】
［第２の実施形態の効果］
一般的に、建物内の制御サーバ１−２はネットワークＮを介さないため通信負荷が掛からないが、設置スペースや設置コストによって機器構成に制約がある。一方、建物外の制御サーバ１−１は高度な機器構成を備えることができるため高速に処理を行えるが、通信負荷が掛かる。そこで本実施形態に係る機器制御システムＳは、建物内の制御サーバ１−２で簡易的な検出を行い、建物外の制御サーバ１−１で複雑な検出を行う。このような構成によって、動作及び音声の検出の精度を維持しつつも検出の速度を向上できる。
【００８５】
（第３の実施形態）
本実施形態は、ユーザの動作及び音声によって複数の制御対象の候補が発生した場合に、ユーザに該候補を通知し、ユーザが該候補のうち１つの機器３を改めて選択して制御することを可能にする。
【００８６】
［機器制御方法のフローチャート］
図８は、本実施形態に係る機器制御方法のフローチャートを示す図である。図８のフローチャートでは、図６のフローチャートにおいてステップＳ１５、Ｓ１６の後であってステップＳ１７の前に、ステップＳ２０〜Ｓ２２が行われる。それ以外のステップは図６のフローチャートと同様であるため、以下では説明を省略する。
【００８７】
機器選択部１１３がステップＳ１５又はステップＳ１６で複数の機器３を制御対象として選択した場合に、該機器３を複数の制御対象の候補として扱う。複数の制御対象の候補がない場合には（Ｓ２０のＮＯ）、制御サーバ１は図６のフローチャートと同様のステップＳ１７〜Ｓ１９を行う。複数の制御対象の候補がある場合に（Ｓ２０のＹＥＳ）、機器制御部１１４は、所定の方法によって複数の制御対象の候補を通知する（Ｓ２１）。
【００８８】
通知方法として、機器制御部１１４は、複数の制御対象の候補である機器３に、ランプの点滅（すなわち間欠的な作動）等の作動を行わせる。このような方法によれば、ユーザは、機器３の点滅等を見ることによって、複数の制御対象の候補を知ることができる。
【００８９】
別の通知方法として、機器選択部１１３は、予め記憶された優先順位に従って、複数の制御対象の候補のうち２つ以上の所定の数（例えば３つ）の機器３を選択する。そして機器制御部１１４は、センサ装置２に設けられたスピーカ（不図示）から、機器選択部１１３が選択した機器３を示す音声を出力する。機器３を示す音声は、制御サーバ１に予め記憶された機器３を識別するための音声でもよく、あるいはユーザが制御サーバ１に設定した音声（例えば録音されたユーザの音声）でもよい。このような方法によれば、ユーザは、音声を聴くことによって、機器３自体を見なくても、複数の制御対象の候補を知ることができる。
【００９０】
複数の制御対象の候補の通知を受けたユーザは、１つの制御対象の機器３を指定するように、改めて動作を行うとともに音声を発する。動作検出部１１１、音声検出部１１２及び機器選択部１１３は、ユーザの動作及び音声を改めて検出することによって制御対象及び制御内容の再選択を受け付ける（Ｓ２２）。ステップＳ２２の再選択の受付方法は、ステップＳ１１〜Ｓ１６と同様である。そして制御サーバ１はステップＳ２０に戻って処理を繰り返す。
【００９１】
別の方法として、機器選択部１１３は、制御サーバ１に予め記憶された優先度に従って、複数の制御対象の候補のうち１つの機器３を制御対象として決定してもよい。この場合には、図８のフローチャートにおいてステップＳ２２の再選択の受付は省略される。
【００９２】
［第３の実施形態の効果］
本実施形態に係る制御サーバ１は、第１の実施形態と同様の効果を奏するとともに、ユーザの動作及び音声によって複数の制御対象の候補が発生した場合に、該候補をユーザに通知し、再選択を受け付ける。これにより、例えば機器３の位置や学習内容によって意図せず複数の機器が選択された場合であっても、ユーザは複数の候補が発生したことを知った上で改めて機器３の選択を行うことができるため、意図しない機器３を制御することを抑制できる。
【００９３】
（第４の実施形態）
本実施形態は、ユーザの動作及び音声によって、機器３が位置する部屋（範囲）に基づいて機器３を制御することを可能にする。
【００９４】
［指差しによる範囲Ｒの指定］
図９は、本実施形態においてユーザの動作及び音声が指定する範囲Ｒを示す模式図である。図９は、建物の内部を上方から見た状態を示す。図９には、ユーザの動作及び音声によって指定された範囲Ｒが破線で表されている。
【００９５】
制御サーバ１には、建物内を区画する範囲Ｒを示す範囲情報が予め記憶されている。範囲Ｒは、建物の所定の点を基準とした座標範囲として定義される。範囲Ｒは、例えば部屋ごとに設定される。
【００９６】
動作検出部１１１は、センサ装置２の画像センサ２１によって撮像された画像から、ユーザの動作及び位置を検出する。また、音声検出部１１２は、センサ装置２の音声センサ２２から取得した音声から、特定語及び調整語を検出する。
【００９７】
範囲Ｒを指定する語（例えば「あの部屋」）は、予め制御サーバ１に記憶される。音声検出部１１２が検出した特定語が範囲Ｒを指定する語を含む場合に、機器選択部１１３は、動作検出部１１１が検出したユーザの位置を起点とした指の延長線上に位置する範囲Ｒを、範囲情報から特定する。
【００９８】
そして音声検出部１１２が検出した特定語が機器３の種類（例えば「エアコン」）を含む場合に、機器選択部１１３は、特定された範囲Ｒの中に位置する機器３のうち、制御データベースＤにおいて特定語が示す種類に一致する種類Ｄ３に関連付けられた機器３を選択する。音声検出部１１２が検出した特定語が機器３の種類を含まない場合には、機器選択部１１３は、特定された範囲Ｒの中に位置する全ての機器３を選択する。このような構成において、ユーザは動作及び音声によって部屋を指定することによって、指定した部屋内に位置する機器３を制御することができる。
【００９９】
［ユーザの移動による範囲Ｒの指定］
さらに、ユーザがある範囲Ｒ（部屋）から外へ移動した後、所定時間内に「消して」のような調整語を含む音声を発した場合に、機器選択部１１３はユーザの移動前の範囲Ｒの中に位置する機器３を選択してもよい。換言すると、機器選択部１１３は、ユーザが範囲Ｒから外へ移動することを、ユーザが範囲Ｒを指定する動作として利用する。
【０１００】
また、ユーザがある範囲Ｒ（部屋）から外へ移動した後、所定時間内に「エアコン消して」のように機器３の種類を示す特定語及び調整語を含む音声を発した場合には、機器選択部１１３は、ユーザの移動前の範囲Ｒの中に位置する機器３のうち、制御データベースＤにおいて特定語が示す種類に一致する種類Ｄ３に関連付けられた機器３を選択する。このような構成により、ユーザは部屋に向かって指差しすることなく、ユーザの移動前の部屋内の機器３を制御することができる。
【０１０１】
［第４の実施形態の効果］
本実施形態に係る制御サーバ１は、第１の実施形態と同様の効果を奏するとともに、動作及び音声によって指定された部屋内に位置する機器３を制御する。これにより、ユーザの利便性を向上させることができる。例えばユーザから特定の部屋の中にある機器３を視認できない状態であっても、ユーザは該部屋を指定することによって該部屋の中にある機器３を制御することができる。
【０１０２】
（第５の実施形態）
第１の実施形態は常時ユーザの動作及び音声を検出するのに対して、本実施形態はユーザの開始音声が検出された場合にユーザの動作及び音声の検出を開始する。これにより動作及び音声の検出のために制御サーバ１に掛かる負荷を軽減することができる。
【０１０３】
［機器制御方法のフローチャート］
図１０は、本実施形態に係る機器制御方法のフローチャートを示す図である。図１０のフローチャートでは、図６のフローチャートにおいてステップＳ１１の前に、ステップＳ２３〜Ｓ２４が行われる。それ以外のステップは図６のフローチャートと同様であるため、以下では説明を省略する。
【０１０４】
まず制御サーバ１は、開始音声が検出される前には動作検出部１１１による動作の検出を行わず、音声検出部１１２による開始音声の検出を開始する。音声検出部１１２は、センサ装置２の音声センサ２２から取得した音声から、所定の開始音声を検出する（Ｓ２３）。開始音声は、例えば「ＯＫ」、「Ｈｅｌｌｏ」等の制御サーバ１に記憶された音声である。また、開始音声は、ユーザが制御サーバ１に予め録音した音声でもよい。例えば音声検出部１１２は、センサ装置２の音声センサ２２から取得した音声の周波数スペクトルに、予め録音された開始音声の周波数スペクトルの所定の割合以上が含まれている場合に、開始音声を検出する。所定の割合は、開始音声と一致していると考えられる程度の割合であり、例えば９０％である。音声検出部１１２は、音声センサ２２から取得した音声の周波数スペクトルのパターンと、予め録音された開始音声の周波数スペクトルのパターンとの相関度が所定値以上である場合に、開始音声を検出してもよい。
【０１０５】
開始音声はあくまでユーザの動作及び音声の検出を開始するためのトリガとして用いられ、その後にユーザの動作及び音声が行われることによって初めて機器３の制御が行われる。開始音声の検出は高い精度で行われる必要はないため、例えば音声認識技術を適用して開始音声から言語を抽出するような計算量の大きい処理を行わない。これにより、開始音声が検出されるまでの制御サーバ１の負荷は大幅に軽減される。
【０１０６】
ステップＳ２３で音声検出部１１２が開始音声を検出しない場合に（Ｓ２４のＮＯ）、制御サーバ１はステップＳ２３に戻って処理を繰り返す。ステップＳ２３で音声検出部１１２が開始音声を検出した場合に（Ｓ２４のＹＥＳ）、図６のフローチャートと同様のステップＳ１〜Ｓ１９を行う。また、制御サーバ１は、開始音声が検出された時点から所定の時間が経過した場合に、動作の検出を停止し、再びステップＳ２３に戻って開始音声の検出を行ってもよい。このように開始音声を検出した後の所定期間のみ、画像からの動作の検出を行うことによって、制御サーバ１の処理負荷及び通信負荷を軽減することができるため好適である。
【０１０７】
音声検出部１１２が検出した開始音声の特徴情報に基づいて、制御サーバ１は制御可能な機器３又は機器３の機能を制限してもよい。音声の特徴情報は、例えば声の高さや声紋である。音声検出部１１２は、センサ装置２の音声センサ２２から取得した音声から、特定語及び調整語を検出するとともに、音声の特徴情報を取得する。そして機器制御部１１４は、音声検出部１１２が検出した音声の特徴情報に基づいて、動作検出部１１１、音声検出部１１２及び機器選択部１１３が決定した制御の可否を判定する。
【０１０８】
具体的には、例えば機器制御部１１４は音声の高さからユーザの年齢を推定し、推定した年齢が所定の年齢以上である場合に制御を許可し、そうでない場合に制御を拒否する。また、例えば機器制御部１１４は音声の声紋からユーザを識別し、識別したユーザの年齢が所定の年齢以上である場合に制御を許可し、そうでない場合に制御を拒否する。また、機器制御部１１４は、機器３の作動（オン、オフ、調節等）ごとに制御の可否を判定してもよい。開始音声の特徴情報に基づく制限の規則は、制御サーバ１に予め記憶されてもよく、あるいはユーザによって任意に設定されてもよい。
【０１０９】
このような構成により、制御サーバ１は、例えばユーザが子供の場合に、加熱機器（例えば電気コンロ、電気ストーブ等の加熱機器）のような安全に係る機器３の制御を制限することができる。
【０１１０】
［第５の実施形態の効果］
本実施形態に係る制御サーバ１は、第１の実施形態と同様の効果を奏するとともに、開始音声が検出された場合にユーザの動作及び音声の検出を開始する。これにより、制御サーバ１は常時ユーザの動作及び音声の監視を行う必要がないため、制御サーバ１の負荷を軽減することができる。さらに制御サーバ１は、ユーザの音声の特徴情報に基づいて制御の可否を判定することによって、特定の機器３の制御を制限し、安全性を向上させることができる。
【０１１１】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の分散・統合の具体的な実施の形態は、以上の実施の形態に限られず、その全部又は一部について、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を合わせ持つ。
【０１１２】
制御サーバ１の制御部１１（プロセッサ）は、図６、８、１０に示す機器制御方法に含まれる各ステップ（工程）の主体となる。すなわち、制御部１１は、図６、８、１０に示す機器制御方法を実行するための機器制御プログラムを記憶部１３から読み出し、該機器制御プログラムを実行して制御サーバ１の各部を制御することによって、図６、８、１０に示す機器制御方法を実行する。図６、８、１０に示す機器制御方法に含まれるステップは一部省略されてもよく、ステップ間の順番が変更されてもよく、複数のステップが並行して行われてもよい。
【符号の説明】
【０１１３】
Ｓ  機器制御システム
１  制御サーバ
１１１  動作検出部
１１２  音声検出部
１１３  機器選択部
１１４  機器制御部
１１５  学習部
３  機器
【図１】
2019061334.tif 000003
【図２】
2019061334.tif 000004
【図３】
2019061334.tif 000005
【図４】
2019061334.tif 000006
【図５】
2019061334.tif 000007
【図６】
2019061334.tif 000008
【図７】
2019061334.tif 000009
【図８】
2019061334.tif 000010
【図９】
2019061334.tif 000011
【図１０】
2019061334.tif 000012