(57)【要約】【課題】情報処理装置と電気機器との通信が途絶した場合であっても、電気機器の運転状態を確実に監視することができる技術を提供する。【解決手段】制御装置は、電気機器と通信を行うことにより電気機器の運転状態を取得し、制御装置と電気機器との通信が途絶したか否かを判定し、制御装置と電気機器との通信が途絶したと判定した場合、電気機器の運転状態を監視するためのセンサを起動し、センサによって取得されたセンサデータに基づいて、電気機器の運転状態を検出し、検出した運転状態を報知する。【選択図】図２
2020182145.tif 000002
【特許請求の範囲】
【請求項１】
情報処理装置における情報処理方法であって、
電気機器と通信を行うことにより前記電気機器の運転状態を取得するステップと、
前記情報処理装置と前記電気機器との前記通信が途絶したか否かを判定するステップと、
前記情報処理装置と前記電気機器との前記通信が途絶したと判定した場合、前記電気機器の運転状態を監視するためのセンサを起動するステップと、
前記センサによって取得されたセンサデータに基づいて、前記電気機器の運転状態を検出するステップと、
検出した前記運転状態を報知するステップと、
を含む情報処理方法。
【請求項２】
前記センサは、前記電気機器を撮像する撮像部と、前記電気機器から発せられる音を取得する収音部との少なくとも一方を含み、
前記検出するステップは、前記撮像部によって取得された画像データ及び前記収音部によって取得された音データの少なくとも一方に基づいて、前記電気機器の運転状態を検出する、
請求項１記載の情報処理方法。
【請求項３】
前記検出するステップは、前記撮像部によって取得された前記画像データに基づいて、前記電気機器に配置された発光部の発光状態に対応する前記電気機器の運転状態を認識する、
請求項２記載の情報処理方法。
【請求項４】
前記検出するステップは、前記撮像部によって取得された前記画像データに基づいて、前記電気機器の外観状態に対応する前記電気機器の運転状態を認識する、
請求項２記載の情報処理方法。
【請求項５】
前記検出するステップは、前記収音部によって取得された前記音データに基づいて、前記電気機器から発せられる音に対応する前記電気機器の運転状態を認識する、
請求項２記載の情報処理方法。
【請求項６】
前記起動するステップは、前記電気機器を識別する情報と、前記撮像部が前記電気機器を監視可能であるか否かを示す情報と、前記収音部が前記電気機器を監視可能であるか否かを示す情報とを対応付けた起動判定情報を予め記憶する記憶部を参照することにより、前記電気機器を監視可能な前記撮像部及び前記収音部の少なくとも一方を起動する、
請求項２〜５のいずれか１項に記載の情報処理方法。
【請求項７】
前記起動するステップは、
前記撮像部及び前記収音部の少なくとも一方を起動し、
前記撮像部によって取得された前記画像データに前記電気機器を示す画像が含まれるか否かの判定、及び前記収音部によって取得された音データに前記電気機器から発せられる稼働音が含まれるか否かの判定の少なくとも一方を行い、
前記画像データに前記電気機器を示す画像が含まれる場合、前記撮像部の起動を維持し、前記画像データに前記電気機器を示す画像が含まれない場合、前記撮像部を停止し、
前記収音部によって取得された音データに前記電気機器から発せられる前記稼働音が含まれる場合、前記収音部の起動を維持し、前記収音部によって取得された音データに前記電気機器から発せられる前記稼働音が含まれない場合、前記収音部を停止する、
請求項２〜５のいずれか１項に記載の情報処理方法。
【請求項８】
前記情報処理装置と前記電気機器との前記通信が疎通している際に、前記センサを起動するステップと、
前記通信により取得した前記運転状態と、前記運転状態が取得された際に前記センサによって取得された前記センサデータとを関連付けた状態検出情報を作成するステップと、
をさらに含み、
前記検出するステップは、前記状態検出情報を参照し、前記センサによって取得された前記センサデータに関連付けられた前記運転状態を特定する、
請求項１〜７のいずれか１項に記載の情報処理方法。
【請求項９】
前記センサが起動した後、前記センサが前記電気機器を監視可能であるか否かを判定するステップと、
前記センサが前記電気機器を監視可能ではないと判定した場合、前記センサが前記電気機器を監視不可能であることを示す電文を送信するステップと、
をさらに含む、
請求項１〜８のいずれか１項に記載の情報処理方法。
【請求項１０】
電気機器と通信を行うことにより前記電気機器の運転状態を取得する取得部と、
情報処理装置と前記電気機器との前記通信が途絶したか否かを判定する判定部と、
前記情報処理装置と前記電気機器との前記通信が途絶したと判定された場合、前記電気機器の運転状態を監視するためのセンサを起動する起動部と、
前記センサによって取得されたセンサデータに基づいて、前記電気機器の運転状態を検出する検出部と、
検出した前記運転状態を報知する報知部と、
を備える情報処理装置。
【請求項１１】
情報処理装置が備えるコンピュータに、
電気機器と通信を行うことにより前記電気機器の運転状態を取得するステップと、
前記情報処理装置と前記電気機器との前記通信が途絶したか否かを判定するステップと、
前記情報処理装置と前記電気機器との前記通信が途絶したと判定した場合、前記電気機器の運転状態を監視するためのセンサを起動するステップと、
前記センサによって取得されたセンサデータに基づいて、前記電気機器の運転状態を検出するステップと、
検出した前記運転状態を報知するステップと、
を実行させる情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、電気機器の運転を制御するとともに、電気機器の運転状態を取得する技術に関する。
【背景技術】
【０００２】
近年、家電と通信回線により接続し、ユーザによるタッチパネル操作又は音声入力操作により、家電の運転開始又は停止などの遠隔操作を行うとともに、家電の運転工程の進行状況又はエラーの発生などの家電の運転状態をユーザに報知する制御装置が本格的に利用され始めている。
【０００３】
また、制御装置のユーザインターフェイスとしては、タッチパネル操作又は音声入力操作以外にも、手振り動作などのジェスチャー操作がある。ジェスチャー操作により家電を制御するために、カメラを備えた制御装置も提案されている。
【０００４】
こうした制御装置は、スマートフォン又はタブレット型コンピュータなどのモバイル機器に、家電制御用のアプリケーションプログラムがインストールされることにより実現される。また、家族全員が随時に利用できるようにするため、家電制御を主目的とする複数の制御装置が、リビングルーム、キッチン、寝室及び子供部屋などの複数の部屋の壁に設置される状況も一般的となっている。
【０００５】
そして、制御装置と家電との間の通信回線には、ケーブルの敷設が不要な無線方式が主に用いられる。
【０００６】
しかしながら、無線方式の通信回線においては、特に１台のルータで宅内全体をカバーする利用形態の家庭では、ドアの開閉又は人の往来により電波状況が悪化して、通信が途絶するおそれがある。
【０００７】
例えば、特許文献１に開示の家電機器は、家電と制御装置との通信が途絶した場合、通信途絶経過時間をカウントして把握し、通信途絶経過時間が予め設定した安全状態移行時間を超過すると、現在の運転状態を記憶して運転を停止し、通信が復旧すると、記憶した運転状態を読み込んで運転停止前と同じ設定で運転を自動再開する。
【０００８】
また、家電の運転状態を監視する方法としては、通信回線を利用した方法以外の方法もある。例えば、特許文献２に開示の監視装置は、家電から発する振動、音、熱及び光などの物理現象をセンサで検出し、検出した物理現象に基づいて、家電の動作状態を判断し、判断された家電の動作状態を遠方の通信端末に送信する。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２０１５−１１５６９８号公報
【特許文献２】特開２００３−１１１１５９号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、特許文献１の従来技術では、通信状態異常時に家電が運転を停止することで、通信状態異常時に家電を異常動作させないようにしている。そのため、特許文献１の従来技術では、通信状態異常時に家電が運転されず、通信状態異常時における家電の運転状態を監視することができない。
【００１１】
また、特許文献２の従来技術は、家電に通信のための構成を付加することなく、家電の動作状態を監視している。しかしながら、特許文献２の従来技術には、家電の監視を開始するタイミングについては開示されていない。そのため、例えば、ユーザは、家電を操作する毎に、センサを家電の前に設置したり、センサを起動させたりする必要があり、このような作業は、ユーザにとって煩わしい作業となる。また、センサを常時起動させて、家電の動作状態を常時監視する場合、ユーザにプライバシー上の不安及び抵抗を感じさせるおそれがある。
【００１２】
本開示は、上記の問題を解決するためになされたもので、情報処理装置と電気機器との通信が途絶した場合であっても、電気機器の運転状態を確実に監視することができる技術を提供することを目的とするものである。
【課題を解決するための手段】
【００１３】
本開示の一態様に係る情報処理方法は、情報処理装置における情報処理方法であって、電気機器と通信を行うことにより前記電気機器の運転状態を取得するステップと、前記情報処理装置と前記電気機器との前記通信が途絶したか否かを判定するステップと、前記情報処理装置と前記電気機器との前記通信が途絶したと判定した場合、前記電気機器の運転状態を監視するためのセンサを起動するステップと、前記センサによって取得されたセンサデータに基づいて、前記電気機器の運転状態を検出するステップと、検出した前記運転状態を報知するステップと、を含む。
【発明の効果】
【００１４】
本開示によれば、情報処理装置と電気機器との通信が途絶した場合であっても、ユーザに追加の操作を行わせることなく、かつユーザにプライバシー上の不安を感じさせずに、電気機器の運転状態を確実に監視することができる。
【図面の簡単な説明】
【００１５】
【図１】本開示の実施の形態１にかかる機器制御システムの構成の一例を示すブロック図である。
【図２】本開示の実施の形態１における機器制御システムの動作の一例を示すシーケンス図である。
【図３】本開示の実施の形態１における第２制御装置の動作の一例を示す第１のフローチャートである。
【図４】本開示の実施の形態１における第２制御装置の動作の一例を示す第２のフローチャートである。
【図５】本開示の実施の形態１の変形例にかかる機器制御システムの構成の一例を示すブロック図である。
【図６】本開示の実施の形態２にかかる機器制御システムの構成の一例を示すブロック図である。
【図７】本実施の形態２において、第１制御装置、第２制御装置及び第３制御装置が備える撮像部及び収音部の撮像範囲及び音声取得範囲について説明するための図である。
【図８】本実施の形態２における第１起動判定情報について説明するための図である。
【図９】本実施の形態２における第２起動判定情報について説明するための図である。
【図１０】本実施の形態２における第３起動判定情報について説明するための図である。
【図１１】本開示の実施の形態２における第２制御装置の動作の一例を示す第１のフローチャートである。
【図１２】本開示の実施の形態２における第２制御装置の動作の一例を示す第２のフローチャートである。
【図１３】本開示の実施の形態３にかかる機器制御システムの構成の一例を示すブロック図である。
【図１４】本実施の形態３における第１認識参照情報について説明するための図である。
【図１５】本実施の形態３における第２認識参照情報について説明するための図である。
【図１６】本実施の形態３における第３認識参照情報について説明するための図である。
【図１７】本開示の実施の形態３における第２制御装置の動作の一例を示す第１のフローチャートである。
【図１８】本開示の実施の形態３における第２制御装置の動作の一例を示す第２のフローチャートである。
【図１９】本開示の実施の形態４にかかる機器制御システムの構成の一例を示すブロック図である。
【図２０】本実施の形態４において、運転開始時におけるロボット掃除機の位置を説明するための図である。
【図２１】本実施の形態４において、運転開始から所定時間経過後におけるロボット掃除機の位置を説明するための図である。
【図２２】本開示の実施の形態４における第１制御装置の動作の一例を示す第１のフローチャートである。
【図２３】本開示の実施の形態４における第１制御装置の動作の一例を示す第２のフローチャートである。
【図２４】本開示の実施の形態４における第２制御装置の監視切替処理の一例を示すフローチャートである。
【発明を実施するための形態】
【００１６】
（本開示の基礎となった知見）
音声により家電の操作を入力するためのマイクと、ジェスチャー又はユーザの顔認識を行うためのカメラとを備え、家電と通信により接続し、家電の運転開始又は停止などの遠隔操作を行うとともに、家電の運転工程の進行状況又はエラーの発生などの家電の運転状態を監視する制御装置の利用が本格化している。従来技術では、制御装置と家電との通信が途絶した場合に、家電は、自律的に運転を停止する。
【００１７】
また、画像認識及び音声認識などの技術が進歩しており、工場などでは、機器の状況を画像及び音により監視する方法が実用化され始めている。しかしながら、このような画像又は音を使った監視を一般ユーザの宅内で用いる場合には、宅内の様子が監視されることになり、ユーザにプライバシー上の不安及び抵抗を感じさせるおそれがある。
【００１８】
このように、家電との通信が途絶した場合に、ユーザにプライバシー上の不安及び抵抗を感じさせることなく、家電の運転状態を継続して監視する技術は従来知られていない。
【００１９】
以上の課題を解決するために、本開示の一態様に係る情報処理方法は、情報処理装置における情報処理方法であって、電気機器と通信を行うことにより前記電気機器の運転状態を取得するステップと、前記情報処理装置と前記電気機器との前記通信が途絶したか否かを判定するステップと、前記情報処理装置と前記電気機器との前記通信が途絶したと判定した場合、前記電気機器の運転状態を監視するためのセンサを起動するステップと、前記センサによって取得されたセンサデータに基づいて、前記電気機器の運転状態を検出するステップと、検出した前記運転状態を報知するステップと、を含む。
【００２０】
この構成によれば、情報処理装置と電気機器との通信が途絶した場合に、電気機器の運転状態を監視するためのセンサが起動され、センサによって取得されたセンサデータに基づいて検出された電気機器の運転状態が報知される。
【００２１】
したがって、情報処理装置と電気機器との通信が途絶した場合であっても、ユーザに追加の操作を行わせることなく、かつユーザにプライバシー上の不安を感じさせずに、電気機器の運転状態を確実に監視することができる。
【００２２】
また、上記の情報処理方法において、前記センサは、前記電気機器を撮像する撮像部と、前記電気機器から発せられる音を取得する収音部との少なくとも一方を含み、前記検出するステップは、前記撮像部によって取得された画像データ及び前記収音部によって取得された音データの少なくとも一方に基づいて、前記電気機器の運転状態を検出してもよい。
【００２３】
この構成によれば、撮像部によって取得された画像データ及び収音部によって取得された音データの少なくとも一方に基づいて、電気機器の運転状態が検出されるので、例えば、電気機器の外観又は電気機器の稼働音から電気機器の運転状態を推定することができる。
【００２４】
また、上記の情報処理方法において、前記検出するステップは、前記撮像部によって取得された前記画像データに基づいて、前記電気機器に配置された発光部の発光状態に対応する前記電気機器の運転状態を認識してもよい。
【００２５】
この構成によれば、電気機器に配置された発光部の発光状態を画像データから検出することにより、発光状態に対応する電気機器の運転状態を推定することができる。
【００２６】
また、上記の情報処理方法において、前記検出するステップは、前記撮像部によって取得された前記画像データに基づいて、前記電気機器の外観状態に対応する前記電気機器の運転状態を認識してもよい。
【００２７】
この構成によれば、電気機器の外観状態を画像データから検出することにより、外観状態に対応する電気機器の運転状態を推定することができる。
【００２８】
また、上記の情報処理方法において、前記検出するステップは、前記収音部によって取得された前記音データに基づいて、前記電気機器から発せられる音に対応する前記電気機器の運転状態を認識してもよい。
【００２９】
この構成によれば、電気機器から発せられる音を音データから検出することにより、電気機器から発せられる音に対応する電気機器の運転状態を推定することができる。
【００３０】
また、上記の情報処理方法において、前記起動するステップは、前記電気機器を識別する情報と、前記撮像部が前記電気機器を監視可能であるか否かを示す情報と、前記収音部が前記電気機器を監視可能であるか否かを示す情報とを対応付けた起動判定情報を予め記憶する記憶部を参照することにより、前記電気機器を監視可能な前記撮像部及び前記収音部の少なくとも一方を起動してもよい。
【００３１】
この構成によれば、電気機器を監視不可能な撮像部及び収音部は起動されないので、ユーザにプライバシー上の不安を感じさせずに、電気機器の監視に必要な撮像部及び収音部のみを起動させることができる。
【００３２】
また、上記の情報処理方法において、前記起動するステップは、前記撮像部及び前記収音部の少なくとも一方を起動し、前記撮像部によって取得された前記画像データに前記電気機器を示す画像が含まれるか否かの判定、及び前記収音部によって取得された音データに前記電気機器から発せられる稼働音が含まれるか否かの判定の少なくとも一方を行い、前記画像データに前記電気機器を示す画像が含まれる場合、前記撮像部の起動を維持し、前記画像データに前記電気機器を示す画像が含まれない場合、前記撮像部を停止し、前記収音部によって取得された音データに前記電気機器から発せられる前記稼働音が含まれる場合、前記収音部の起動を維持し、前記収音部によって取得された音データに前記電気機器から発せられる前記稼働音が含まれない場合、前記収音部を停止してもよい。
【００３３】
この構成によれば、電気機器を監視不可能な撮像部及び収音部は起動されないので、ユーザにプライバシー上の不安を感じさせずに、電気機器を監視可能な撮像部及び収音部のみを起動させることができる。
【００３４】
また、上記の情報処理方法において、前記情報処理装置と前記電気機器との前記通信が疎通している際に、前記センサを起動するステップと、前記通信により取得した前記運転状態と、前記運転状態が取得された際に前記センサによって取得された前記センサデータとを関連付けた状態検出情報を作成するステップと、をさらに含み、前記検出するステップは、前記状態検出情報を参照し、前記センサによって取得された前記センサデータに関連付けられた前記運転状態を特定してもよい。
【００３５】
この構成によれば、通信により取得した運転状態と、運転状態が取得された際に実際にセンサによって取得されたセンサデータとを関連付けた状態検出情報が自動的に作成されるので、より正確に電気機器の運転状態を特定することができる。
【００３６】
また、上記の情報処理方法において、前記センサが起動した後、前記センサが前記電気機器を監視可能であるか否かを判定するステップと、前記センサが前記電気機器を監視可能ではないと判定した場合、前記センサが前記電気機器を監視不可能であることを示す電文を送信するステップと、をさらに含んでもよい。
【００３７】
この構成によれば、例えば、センサにより監視できない位置に電気機器が自律的に移動した場合に、他の制御装置に電文が送信されるので、他の制御装置のセンサにより移動後の電気機器を監視することができる。
【００３８】
本開示の他の態様に係る情報処理装置は、電気機器と通信を行うことにより前記電気機器の運転状態を取得する取得部と、情報処理装置と前記電気機器との前記通信が途絶したか否かを判定する判定部と、前記情報処理装置と前記電気機器との前記通信が途絶したと判定された場合、前記電気機器の運転状態を監視するためのセンサを起動する起動部と、前記センサによって取得されたセンサデータに基づいて、前記電気機器の運転状態を検出する検出部と、検出した前記運転状態を報知する報知部と、を備える。
【００３９】
この構成によれば、情報処理装置と電気機器との通信が途絶した場合に、電気機器の運転状態を監視するためのセンサが起動され、センサによって取得されたセンサデータに基づいて検出された電気機器の運転状態が報知される。
【００４０】
したがって、情報処理装置と電気機器との通信が途絶した場合であっても、ユーザに追加の操作を行わせることなく、かつユーザにプライバシー上の不安を感じさせずに、電気機器の運転状態を確実に監視することができる。
【００４１】
本開示の他の態様に係る情報処理プログラムは、情報処理装置が備えるコンピュータに、電気機器と通信を行うことにより前記電気機器の運転状態を取得するステップと、前記情報処理装置と前記電気機器との前記通信が途絶したか否かを判定するステップと、前記情報処理装置と前記電気機器との前記通信が途絶したと判定した場合、前記電気機器の運転状態を監視するためのセンサを起動するステップと、前記センサによって取得されたセンサデータに基づいて、前記電気機器の運転状態を検出するステップと、検出した前記運転状態を報知するステップと、を実行させてもよい。
【００４２】
この構成によれば、情報処理装置と電気機器との通信が途絶した場合に、電気機器の運転状態を監視するためのセンサが起動され、センサによって取得されたセンサデータに基づいて検出された電気機器の運転状態が報知される。
【００４３】
したがって、情報処理装置と電気機器との通信が途絶した場合であっても、ユーザに追加の操作を行わせることなく、かつユーザにプライバシー上の不安を感じさせずに、電気機器の運転状態を確実に監視することができる。
【００４４】
また、本開示は、以上のような特徴的な処理を実行する方法として実現することができるだけでなく、方法に含まれる特徴的なステップを実行するための処理手段を備える制御装置などとして実現することもできる。
【００４５】
また、このような方法に含まれる特徴的な各ステップをコンピュータに実行させるコンピュータプログラムとして実現することもできる。そして、そのようなコンピュータプログラムを、ＣＤ−ＲＯＭ等のコンピュータ読取可能な非一時的な記録媒体あるいはインターネット等の通信回線を介して流通させることができるのは、言うまでもない。
【００４６】
以下、添付図面を参照しながら、本開示の実施の形態について説明する。なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、構成要素、ステップ及びステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また全ての実施の形態において、各々の内容を組み合わせることもできる。また、以下の図のすべてを通じて、特に断らないかぎり、同一の符号は同一の対象を指す。
【００４７】
（実施の形態１）
図１は、本開示の実施の形態１にかかる機器制御システムの構成の一例を示すブロック図である。一例として、図１の破線で囲むリビングルーム１及びサニタリー２の範囲内に記載する構成物が、それぞれリビングルーム１及びサニタリー２の部屋内に配置されている。
【００４８】
図１に示す機器制御システムは、空気調和機３、空気清浄機４、洗濯機５、洗浄便座装置６、ルータ７、第１制御装置８、第２制御装置９、第３制御装置１０、端末装置３０及びサーバ９１を備える。空気調和機３、空気清浄機４、洗濯機５及び洗浄便座装置６は、電気機器の一例である。なお、宅内には、空気調和機３、空気清浄機４、洗濯機５及び洗浄便座装置６以外の家電が設置されてもよい。
【００４９】
図１のリビングルーム１には、空気調和機３、空気清浄機４、ルータ７、第１制御装置８が設置されている。
【００５０】
第１制御装置８は、制御部１１、監視起動部１２、撮像部１３、通信部１４、収音部１５、記憶部１６及び表示操作部１７を備える。第１制御装置８は、例えば、リビングルーム１の壁に設置される。
【００５１】
制御部１１は、例えばＣＰＵ（中央演算処理装置）であり、第１制御装置８全体を制御する。
【００５２】
通信部１４は、ルータ７が構成する宅内ローカルエリアネットワークを介して、宅内の各家電及び他の制御装置と通信する。通信部１４は、宅内の各家電と無線で接続される。また、通信部１４は、ルータ７及び第２制御装置９と有線で接続され、第３制御装置１０と無線で接続される。
【００５３】
通信部１４は、リビングルーム１内に設置された空気調和機３及び空気清浄機４と通信を行うことにより空気調和機３及び空気清浄機４の運転状態を取得する。なお、通信部１４は、空気調和機３及び空気清浄機４以外の家電機器の運転状態を取得してもよい。
【００５４】
撮像部１３は、例えばカメラなどの撮像デバイスであり、撮像画像を取り込み、撮像画像に画像処理を施し、制御部１１へ画像データを出力する。撮像部１３は、第１制御装置８が設置された空間（リビングルーム１）内を撮像する。すなわち、撮像部１３は、リビングルーム１内に設置された空気調和機３及び空気清浄機４を撮像する。
【００５５】
収音部１５は、例えばマイクなどの音響デバイスであり、音響信号を取り込み、音響信号に音響処理を施し、制御部１１へ音響データを出力する。収音部１５は、第１制御装置８が設置された空間（リビングルーム１）内の音を収集する。すなわち、撮像部１３は、リビングルーム１内に設置された空気調和機３及び空気清浄機４から発せられる音を取得する。
【００５６】
表示操作部１７は、例えば、タッチパネル付き液晶ディスプレイ、スイッチ又はＬＥＤ（発光ダイオード）などの入力デバイス及び表示デバイスである。表示操作部１７は、ユーザからの入力操作を受け付けるとともに、ユーザに報知する種々の情報を表示する。
【００５７】
表示操作部１７は、リビングルーム１内に設置された空気調和機３及び空気清浄機４を遠隔制御するための入力操作を受け付ける。
【００５８】
監視起動部１２は、制御部１１と連携して、撮像部１３及び収音部１５におけるデータ取り込み、データ解析及び認識処理の起動制御及び停止制御を行う。監視起動部１２は、第１制御装置８と電気機器との通信が途絶したか否かを判定する。監視起動部１２は、第１制御装置８と電気機器との通信が途絶したと判定した場合、電気機器の運転状態を監視するための撮像部１３及び収音部１５を起動する。撮像部１３及び収音部１５は、センサの一例である。
【００５９】
制御部１１は、センサによって取得されたセンサデータに基づいて、電気機器の運転状態を検出する。ここで、センサは、電気機器を撮像する撮像部１３と、電気機器から発せられる音を取得する収音部１５との少なくとも一方を含む。すなわち、制御部１１は、撮像部１３によって取得された画像データ及び収音部１５によって取得された音データの少なくとも一方に基づいて、電気機器の運転状態を検出する。
【００６０】
表示操作部１７は、制御部１１によって検出された電気機器の運転状態を報知する。
【００６１】
記憶部１６は、例えばメモリであり、制御部１１などの各部の動作プログラム及び各部の動作に必要なデータなどを記憶する。
【００６２】
また、図１の撮像部１３は、ユーザの身振りなどのジェスチャーによるコマンドの入力操作を受け付ける。また、収音部１５は、ユーザの音声によるコマンドの入力操作を受け付ける。
【００６３】
次に、図１のサニタリー２には、洗濯機５、洗浄便座装置６、第２制御装置９及び第３制御装置１０が設置されている。
【００６４】
サニタリー２の第２制御装置９は、リビングルーム１の第１制御装置８と同じ構成であり、制御部１１、監視起動部１２、撮像部１３、通信部１４、収音部１５、記憶部１６及び表示操作部１７を備える。なお、図１では、第２制御装置９の構成を省略している。
【００６５】
また、第３制御装置１０は、制御部１１、監視起動部１２、通信部１４、収音部１５、記憶部１６及び音声出力部１８を備える。第３制御装置１０は、第１制御装置８及び第２制御装置９とは異なり、撮像部１３及び表示操作部１７を備えていない。
【００６６】
音声出力部１８は、例えばスピーカであり、音声により種々の情報をユーザに報知する。音声出力部１８は、制御部１１によって検出された電気機器の運転状態を報知する。
【００６７】
近年、スマートスピーカのように、家電を音声により操作するマイクを主体とした製品が商品化されている。第３制御装置１０は、センサとして収音部１５のみを備える。なお、撮像部１３のみを備える制御装置、又は簡易的な表示操作部１７のみを備える制御装置が存在してもよい。
【００６８】
また、第１制御装置８、第２制御装置９、第３制御装置１０及び家電は、ルータ７を介して、宅外のインターネット回線９２に接続し、サーバ９１又は端末装置３０と通信可能に接続される。端末装置３０は、例えば、スマートフォン又はタブレット型コンピュータである。
【００６９】
図１において、宅内ネットワーク又は宅外ネットワークに用いられる通信回線の物理的なメディア形態及び上位レイヤのプロトコルは特に限定されない。一般的には、壁に固定されたり、宅内の固定の場所に設置されたりする機器は有線で接続され、移設される機器、買い足される機器又は買い替えられる機器は、配線の敷設などの手間が不要である無線で接続される。図１では、第１制御装置８及び第２制御装置９は、ルータ７と有線で接続され、第３制御装置１０及び各家電は、ルータ７と無線で接続される。図１におけるＳ字及び逆Ｓ字の両矢印は、無線方式の通信で接続することを仮想的に示している。
【００７０】
なお、実施の形態１においては、洗濯機５などの家電との通信が可能な場合にも、撮像部１３（カメラ）及び収音部１５（マイク）の電源はオンされているが、撮像画像及び取得音の解析処理、認識処理及び解釈処理を行っていない。監視起動部１２は、撮像画像及び取得音の解析処理、認識処理及び解析処理の実行を開始することにより、撮像部１３及び収音部１５を起動する。
【００７１】
このように、無線方式の通信は、有線方式の通信とは異なり、配線の敷設は不要であるものの、図１のルータ７のように、１台のアクセスポイントで宅内全体をカバーする場合も多い。そのため、無線方式の通信の場合、各部屋の扉の開閉位置、又はユーザの往来などで電波状況が悪化して通信が途絶する頻度が高くなる。さらに、常時コンテンツを更新して使用しているスマートフォン又はパーソナルコンピュータパソコンとは異なり、運転開始から運転終了までユーザが操作確認を行わない家電は、運転開始以後に無線が途絶したとしてもユーザに気付かれない可能性が高い。
【００７２】
以下、本開示の実施の形態１において、図１の機器制御システムのユースケースの一例について説明する。
【００７３】
まず、ユーザは、第２制御装置９の表示操作部１７を用いて洗濯機５の運転開始を指示する。このとき、第２制御装置９と洗濯機５とが通信可能である場合、ユーザは、洗濯機５の運転が開始されたことを確認して、リビングルーム１に戻るなどサニタリー２を離れる。
【００７４】
その後、洗濯機５の運転中に第２制御装置９と洗濯機５との無線による通信が途絶した場合、第２制御装置９の通信部１４は、洗濯機５の運転終了又はエラー発生などの運転状態を示す情報を洗濯機５から受信できない。そこで、第２制御装置９の監視起動部１２は、撮像部１３及び収音部１５を起動して洗濯機５の運転状態の監視を開始する。そして、第２制御装置９の収音部１５は、洗濯機５の運転終了時に出力される電子音を取得する。第２制御装置９の制御部１１は、洗濯機５の運転が終了したことを検出する。第２制御装置９の表示操作部１７は、洗濯機５の運転が終了したことを報知する。
【００７５】
また、第２制御装置９の通信部１４は、洗濯機５の運転が終了したことを通知する状態通知電文を第１制御装置８へ送信する。第１制御装置８の表示操作部１７は、第２制御装置９と同様に、洗濯機５の運転が終了したことを報知する。これにより、サニタリー２を離れてリビングルーム１に居るユーザにも、洗濯機５の運転が終了したことを報知する。この動作により、洗濯機５の運転開始後に無線通信が途絶しても、洗濯機５の運転終了時にユーザは的確に洗濯機５の運転終了を把握でき、次の動作に移ることができる。
【００７６】
図２は、本開示の実施の形態１における機器制御システムの動作の一例を示すシーケンス図である。図２では、サニタリー２の第２制御装置９が、洗濯機５の運転開始から、運転終了又はエラー発生による運転停止までの運転状態を監視する動作を、更に詳細に示している。
【００７７】
まず、ステップＳ１０１において、第２制御装置９の表示操作部１７は、ユーザによる洗濯機５の運転開始操作を受け付ける。第２制御装置９の通信部１４は、運転開始要求電文を洗濯機５へ送信する。
【００７８】
次に、ステップＳ１２１において、洗濯機５は、第２制御装置９から運転開始要求電文を受信すると、洗濯機５の運転を開始する。洗濯機５は、運転開始応答電文を第２制御装置９へ返信する。第２制御装置９の通信部１４は、洗濯機５によって送信された運転開始応答電文を受信する。なお、この時点では通信途絶は未だ発生していないとする。
【００７９】
次に、ステップＳ１０２において、第２制御装置９の通信部１４は、洗濯機５の運転状態を取得するための状態取得要求電文を洗濯機５へ送信する。
【００８０】
次に、ステップＳ１２２において、洗濯機５は、例えばすすぎ工程などの現在の運転状態を示す情報含む状態取得応答電文を第２制御装置９へ返信する。この時点で、通信途絶が発生していない場合、状態取得応答電文が第２制御装置９において正常に受信される。
【００８１】
第２制御装置９と洗濯機５との通信が正常である場合、第２制御装置９の通信部１４は、状態取得要求電文の送信と状態取得応答電文の受信とを繰り返し行う。第２制御装置９の制御部１１は、受信した状態取得応答電文に基づいて洗濯機５の運転状態を監視する。
【００８２】
次に、ステップＳ１０３において、第２制御装置９の通信部１４は、状態取得要求電文を洗濯機５へ送信する。ここで、ステップＳ１０３の処理とステップＳ１２３の処理との間に通信途絶が発生した場合、第２制御装置９の通信部１４は、洗濯機５から状態取得応答電文を受信できない。
【００８３】
次に、ステップＳ１０４において、第２制御装置９の監視起動部１２は、洗濯機５との通信途絶を検出する。第２制御装置９の監視起動部１２は、状態取得要求電文を送信してから所定時間が経過しても、洗濯機５から状態取得応答電文が受信されない場合、第２制御装置９と洗濯機５との通信が途絶したと判断する。
【００８４】
次に、ステップＳ１０５において、第２制御装置９の監視起動部１２は、撮像部１３及び収音部１５を起動する。これにより、第２制御装置９による洗濯機５の監視が開始される。洗濯機５は、状態取得応答電文の返信が失敗した後も運転を継続する。
【００８５】
次に、ステップＳ１２４において、洗濯機５は、運転を終了又はエラー発生を検知する。
【００８６】
次に、ステップＳ１２５において、洗濯機５は、運転終了又はエラー発生に対応したブザー音（電子音）を出力する。
【００８７】
次に、ステップＳ１０６において、第２制御装置９の収音部１５は、洗濯機５から出力されたブザー音を取得する。撮像部１３及び収音部１５は、洗濯機５を監視するために起動されている。
【００８８】
次に、ステップＳ１０７において、第２制御装置９の制御部１１は、洗濯機５からのブザー音が取得されると、洗濯機５の運転終了又はエラー発生を検出する。
【００８９】
次に、ステップＳ１０８において、第２制御装置９の表示操作部１７は、洗濯機５の運転終了又はエラー発生を報知する。ここで、表示操作部１７は、例えば、「サニタリーの洗濯機の運転が終了しました。」などの通知文を表示する。
【００９０】
次に、ステップＳ１０９において、第２制御装置９の通信部１４は、洗濯機５の運転状態が運転終了又はエラー発生であることを示す状態通知電文を第１制御装置８、第３制御装置１０及び端末装置３０へ同報送信する。第１制御装置８、第３制御装置１０及び端末装置３０は、第２制御装置９によって送信された状態通知電文を受信する。
【００９１】
次に、ステップＳ１３１において、第１制御装置８の表示操作部１７は、洗濯機５の運転終了又はエラー発生を報知する。なお、第３制御装置１０及び端末装置３０も、洗濯機５の運転終了又はエラー発生を報知する。
【００９２】
上記のように、遠隔操作を行った家電との通信が途絶した場合でも、自動的に撮像部及び収音部の少なくとも一方を用いて家電の運転状態が検出される。そのため、ユーザは電気機器の運転状態を適切なタイミングで把握することができ、より効率的かつ安全に家電を使用することができる。
【００９３】
図３は、本開示の実施の形態１における第２制御装置の動作の一例を示す第１のフローチャートであり、図４は、本開示の実施の形態１における第２制御装置の動作の一例を示す第２のフローチャートである。なお、図３及び図４のフローチャートでは、図２と同様に、第２制御装置９と洗濯機５とが通信を行う例について説明する。
【００９４】
まず、ステップＳ１において、第２制御装置９の表示操作部１７は、ユーザによる洗濯機５の運転開始操作を受け付ける。
【００９５】
次に、ステップＳ２において、第２制御装置９の通信部１４は、無線通信回線を介して、運転開始要求電文を洗濯機５へ送信する。洗濯機５は、第２制御装置９によって送信された運転開始要求電文を受信する。洗濯機５は、運転開始要求電文を受信すると、運転を開始する。洗濯機５は、運転を開始すると、無線通信回線を介して、運転開始応答電文を第２制御装置９へ返信する。第２制御装置９の通信部１４は、洗濯機５からの運転開始応答電文を待ち受ける。
【００９６】
次に、ステップＳ３において、第２制御装置９の通信部１４は、無線通信回線を介して、洗濯機５によって送信された運転開始応答電文を受信する。第２制御装置９の通信部１４は、運転開始応答電文を受信することにより、洗濯機５との通信回線が正常であることを確認する。第２制御装置９は、洗濯機５から転開始応答電文を受信すると、所定時間間隔で洗濯機５の運転状態を監視する。
【００９７】
次に、ステップＳ４において、第２制御装置９の通信部１４は、無線通信回線を介して、洗濯機５の運転状態を取得するための状態取得要求電文を所定時間間隔で洗濯機５へ送信する。第２制御装置９の通信部１４は、状態取得要求電文を所定時間間隔で洗濯機５へ送信することにより、洗濯機５の運転状態を所定時間間隔で取得する。所定時間間隔は、例えば１分である。洗濯機５は、第２制御装置９によって送信された状態取得要求電文を受信すると、運転状態を示す情報を含む状態取得応答電文を第２制御装置９へ送信する。
【００９８】
次に、ステップＳ５において、第２制御装置９の通信部１４は、洗濯機５からの状態取得応答電文を待ち受け、洗濯機５から状態取得応答電文を受信したか否かを判断する。第２制御装置９と洗濯機５との通信回線が正常である場合、第２制御装置９の通信部１４は、状態取得応答電文を受信する。
【００９９】
ここで、状態取得応答電文を受信したと判断された場合（ステップＳ５でＹＥＳ）、ステップＳ６において、第２制御装置９の制御部１１は、通信部１４によって受信された状態取得応答電文に含まれる洗濯機５の運転状態が、運転終了又はエラー発生であるか否かを判断する。ここで、運転状態が、運転終了又はエラー発生ではないと判断された場合（ステップＳ６でＮＯ）、ステップＳ４に処理が戻り、第２制御装置９の通信部１４は、状態取得要求電文を所定時間間隔で洗濯機５へ送信する。
【０１００】
一方、運転状態が、運転終了又はエラー発生であると判断された場合（ステップＳ６でＹＥＳ）、ステップＳ１０へ処理が移行する。
【０１０１】
また、状態取得応答電文を受信していないと判断された場合（ステップＳ５でＮＯ）、ステップＳ７において、第２制御装置９の監視起動部１２は、状態取得要求電文を送信してから所定時間が経過したか否かを判断する。所定時間は、タイムアウト時間であり、例えば１分である。ここで、状態取得要求電文を送信してから所定時間が経過していないと判断された場合（ステップＳ７でＮＯ）、ステップＳ５に処理が戻る。なお、第２制御装置９の監視起動部１２は、状態取得要求電文を送信してから所定時間を複数回数（例えば、２回）経過したか否かを判断してもよい。
【０１０２】
第２制御装置９と洗濯機５との通信回線が途絶した場合、所定時間が経過しても状態取得応答電文が受信されることはない。そのため、状態取得要求電文を送信してから所定時間が経過しても状態取得応答電文が受信されない場合、第２制御装置９と洗濯機５との通信回線が途絶したと判断することができる。
【０１０３】
一方、状態取得要求電文を送信してから所定時間が経過したと判断された場合（ステップＳ７でＹＥＳ）、ステップＳ８において、第２制御装置９の監視起動部１２は、撮像部１３及び収音部１５を起動する。撮像部１３が起動されると、撮像部１３は、取得した画像データの解析を開始する。収音部１５が起動されると、収音部１５は、取得した音響データの解析を開始する。
【０１０４】
次に、ステップＳ９において、第２制御装置９の制御部１１は、撮像部１３によって取得された画像データ又は収音部１５によって取得された音響データに基づいて、洗濯機５の運転終了又はエラー発生を検出したか否かを判断する。
【０１０５】
第２制御装置９の制御部１１は、撮像部１３によって取得された画像データに基づいて、洗濯機５に配置された発光部（ＬＥＤ）の発光状態に対応する洗濯機５の運転状態を認識する。
【０１０６】
より具体的には、第２制御装置９の記憶部１６は、洗濯機５の外観画像を予め記憶している。第２制御装置９の制御部１１は、撮像部１３によって取得された画像データから、洗濯機５の外観画像を認識し、画像データ内における洗濯機５の位置を特定する。また、第２制御装置９の記憶部１６は、洗濯機５の運転状態と、洗濯機５の表面に設置されたＬＥＤの発光状態とを対応付けて予め記憶している。第２制御装置９の制御部１１は、撮像部１３によって取得された画像データから、洗濯機５に設置されたＬＥＤの発光状態を認識し、認識した発光状態に対応付けられている運転状態を特定する。
【０１０７】
例えば、運転終了時において、洗濯機５は、洗濯機５の表面に設置されたＬＥＤを所定の発光状態で点灯させる。撮像部１３によって取得された画像データに、所定の発光状態で点灯するＬＥＤの光が含まれる場合、第２制御装置９の制御部１１は、洗濯機５の運転が終了したと判断する。また、エラー発生時において、洗濯機５は、洗濯機５の表面に設置されたＬＥＤを所定の発光状態で点灯させる。撮像部１３によって取得された画像データに、所定の発光状態で点灯するＬＥＤの光が含まれる場合、第２制御装置９の制御部１１は、洗濯機５にエラーが発生したと判断する。
【０１０８】
また、第２制御装置９の制御部１１は、収音部１５によって取得された音響データに基づいて、洗濯機５から発せられる音に対応する洗濯機５の運転状態を認識する。
【０１０９】
より具体的には、第２制御装置９の記憶部１６は、洗濯機５の運転状態と、洗濯機５から発せられる音とを対応付けて予め記憶している。第２制御装置９の制御部１１は、収音部１５によって取得された音響データから、洗濯機５によって発せられた音を認識し、認識した音に対応付けられている運転状態を特定する。
【０１１０】
例えば、運転終了時において、洗濯機５は、洗濯機５に設置されたスピーカに所定のブザー音を出力させる。収音部１５によって取得された音響データに、所定のブザー音が含まれる場合、第２制御装置９の制御部１１は、洗濯機５の運転が終了したと判断する。また、エラー発生時において、洗濯機５は、洗濯機５に設置されたスピーカに所定のブザー音を出力させる。収音部１５によって取得された音響データに、所定のブザー音が含まれる場合、第２制御装置９の制御部１１は、洗濯機５にエラーが発生したと判断する。
【０１１１】
なお、第２制御装置９の制御部１１は、撮像部１３によって取得された画像データに基づいて、電気機器の外観状態に対応する電気機器の運転状態を認識してもよい。例えば、空気調和機３は、運転が終了すると、ルーバーが閉じられ、外観状態が変化する。そこで、第２制御装置９の記憶部１６は、電気機器の運転状態と、電気機器の外観状態とを対応付けて予め記憶してもよい。第２制御装置９の制御部１１は、撮像部１３によって取得された画像データから、電気機器の外観状態を認識し、認識した外観状態に対応付けられている運転状態を特定してもよい。
【０１１２】
ステップＳ９で洗濯機５の運転終了又はエラー発生を検出していないと判断された場合（ステップＳ９でＮＯ）、ステップＳ９の判断処理が繰り返し行われる。
【０１１３】
一方、洗濯機５の運転終了又はエラー発生を検出したと判断された場合（ステップＳ９でＹＥＳ）、ステップＳ１０において、第２制御装置９の表示操作部１７は、洗濯機５の運転終了又はエラー発生を報知する。
【０１１４】
次に、ステップＳ１１において、第２制御装置９の通信部１４は、洗濯機５の運転状態が運転終了又はエラー発生であることを示す状態通知電文を第１制御装置８、第３制御装置１０及び端末装置３０へ同報送信する。第１制御装置８、第３制御装置１０及び端末装置３０は、第２制御装置９によって送信された状態通知電文を受信する。第１制御装置８及び第３制御装置１０の表示操作部１７は、洗濯機５の運転終了又はエラー発生を報知する。また、端末装置３０も、洗濯機５の運転終了又はエラー発生を報知する。
【０１１５】
なお、第２制御装置９の通信部１４は、状態通知電文をサーバ９１へ送信してもよい。サーバ９１は、洗濯機５の運転終了又はエラー発生を示す情報をログ情報として記憶する。
【０１１６】
次に、ステップＳ１２において、第２制御装置９の監視起動部１２は、撮像部１３及び収音部１５を停止する。
【０１１７】
なお、図３のステップＳ７において、状態取得要求電文を送信してから所定時間が経過したと判断された場合、すなわち、第２制御装置９と洗濯機５との無線通信の途絶が検出された場合、第２制御装置９の通信部１４は、引き続き状態取得要求電文を洗濯機５へ送信してもよい。
【０１１８】
この構成によれば、無線通信の途絶が一時的であった場合に、状態取得応答電文が受信されることにより、第２制御装置９の監視起動部１２は、無線通信の途絶が解消されたことを検出し、撮像部１３及び収音部１５を停止することが可能となる。
【０１１９】
また、状態取得要求電文を送信してから所定時間が経過したと判断された場合、すなわち、第２制御装置９と洗濯機５との無線通信が途絶したことが検出された場合に、第２制御装置９の表示操作部１７は、第２制御装置９と洗濯機５との無線通信が途絶したことを、ユーザに報知してもよい。しかし、通信途絶の発生が報知された場合に、ユーザが洗濯機５の状態を確認したとしても、偶然に運転が終了していたりエラーが発生していたりする場合は稀であると考えられる。また、ユーザにとっては、通信途絶の発生が報知される度に、通信途絶の原因を調べて解決することは煩わしい作業である。そのため、本開示の実施の形態１のように、第２制御装置９の表示操作部１７は、第２制御装置９と洗濯機５との無線通信が途絶したことをユーザに報知することなく、洗濯機５の運転終了又はエラー発生のみをユーザに報知することがより好ましい。
【０１２０】
本実施の形態１では、洗濯機５の運転終了又はエラー発生が、洗濯機５から発せられる電子音により検出される例について説明しているが、本開示は特にこれに限定されない。洗濯機５の洗濯槽又はモータは、すすぎ工程又は脱水工程などの運転状態毎に異なる音を発生させる。そのため、第２制御装置９の制御部１１は、収音部１５によって取得された音響データから、洗濯槽の振動音又はモータの稼動音を検出し、検出した振動音又は稼動音に対応する運転状態を検出してもよい。
【０１２１】
また、第２制御装置９の制御部１１は、撮像部１３によって取得された画像データから、洗濯機５の発光部（ＬＥＤ）の色の変化、光量の変化、又は点滅などの点灯パターンの変化を発光状態として検出してもよい。
【０１２２】
また、空気調和機３は、運転終了時にルーバーを開いた状態から閉じた状態に変化させる。そのため、第２制御装置９の制御部１１は、撮像部１３によって取得された画像データから、家電が備える可動部分の位置の変化を検出してもよい。
【０１２３】
さらに、食器洗い乾燥機又は洗濯機５の窓材は、温水が使用されることにより、透明な状態から曇った状態に変化したり、曇った状態から透明な状態に変化したりする。そのため、第２制御装置９の制御部１１は、撮像部１３によって取得された画像データから、家電が運転されることにより変化する外観状態の変化を検出してもよい。
【０１２４】
なお、本実施の形態１では、第２制御装置９の制御部１１は、運転終了又はエラー発生を運転状態として検出しているが、本開示は特にこれに限定されず、すすぎ工程から脱水工程への工程の変化などの運転状態の変化を検出してもよい。
【０１２５】
また、運転状態の検出に必要な情報、例えば、家電の種類、家電の機種毎に異なる報知音、稼動音の周波数、又はＬＥＤの発光状態に関する情報は、第２制御装置９の記憶部１６に予め記憶してもよいし、ユーザが指定するタイミング又は新たにサーバ９１に登録されたタイミングでサーバ９１から第２制御装置９の記憶部１６にダウンロードされてもよい。
【０１２６】
さらに、本実施の形態１では、ルータ７と各家電との無線通信のみが途絶した場合を示した。しかしながら、ルータ７と制御装置との有線通信が途絶した場合でも、制御装置は、他の制御装置に運転状態を報知することはできないが、少なくとも監視のための撮像部１３及び収音部１５を起動し、運転状態を報知することは可能である。
【０１２７】
また、ユーザによる家電の運転開始操作を受け付けた制御装置と、撮像部１３及び収音部１５を用いて家電の運転状態を検出する制御装置とは異なっていてもよい。
【０１２８】
例えば、実施の形態１において、ユーザは、サニタリー２の第２制御装置９の代わりに、リビングルーム１の第１制御装置８から洗濯機５の運転を開始してもよい。この場合、運転開始要求電文、状態取得要求電文、運転開始応答電文、状態取得応答電文が、同報電文として第１制御装置８以外の、第２制御装置９及び第３制御装置１０でも送信及び受信可能な電文プロトコルを用いる。この構成により、第２制御装置９及び第３制御装置１０においても、第１制御装置８と同様に、洗濯機５との無線通信の途絶を検出でき、各制御装置の監視起動部１２が、撮像部１３又は収音部１５を起動できる。
【０１２９】
また、本実施の形態１において、第１制御装置８、第２制御装置９及び第３制御装置１０は、それぞれが宅内のどの部屋に配置されているかを予め記憶してもよい。また、第１制御装置８及び第２制御装置９は、撮像部１３によって検出される家電がどの部屋に配置されているかを判定してもよい。
【０１３０】
続いて、本実施の形態１の変形例について説明する。
【０１３１】
図５は、本開示の実施の形態１の変形例にかかる機器制御システムの構成の一例を示すブロック図である。
【０１３２】
図５に示す機器制御システムは、空気調和機３、空気清浄機４、洗濯機５、洗浄便座装置６、ルータ７、ホームサーバ５５、第１制御装置５６、第２制御装置５７、第３制御装置５８、端末装置３０及びサーバ９１を備える。図５に示す機器制御システムは、第１制御装置５６、第２制御装置５７及び第３制御装置５８の他に、各制御装置の構成の一部を含むホームサーバ５５を備える。なお、本実施の形態１の変形例において、実施の形態１と同じ構成については、同じ符号を付し、説明を省略する。
【０１３３】
図５の第１制御装置５６、第２制御装置５７及び第３制御装置５８の構成は、図１の第１制御装置８、第２制御装置９及び第３制御装置１０の構成の一部と同じである。図５では、ホームサーバ５５は、各制御装置の通信電文を仲介し、各家電の運転状態及び各家電との通信状態を判定する。
【０１３４】
第１制御装置５６及び第２制御装置５７は、制御部１１、撮像部１３、通信部１４、収音部１５、記憶部１６及び表示操作部１７を備える。第３制御装置５８は、制御部１１、通信部１４、収音部１５、記憶部１６及び音声出力部１８を備える。
【０１３５】
ホームサーバ５５は、制御部５９、監視起動部６０、通信部６１及び記憶部６２を備える。
【０１３６】
制御部５９は、例えばＣＰＵであり、ホームサーバ５５全体を制御する。記憶部６２は、例えばメモリであり、制御部５９などの各部の動作プログラム及び各部の動作に必要なデータなどを記憶する。
【０１３７】
通信部６１は、宅内ローカルエリアネットワークを介して、第１制御装置５６、第２制御装置５７及び第３制御装置５８と通信を行う。通信部６１は、第１制御装置５６、第２制御装置５７及び第３制御装置５８が家電に送信する状態取得要求電文を、第１制御装置５６、第２制御装置５７及び第３制御装置５８から受信する。また、通信部６１は、第１制御装置５６、第２制御装置５７及び第３制御装置５８が家電から受信した状態取得応答電文を、第１制御装置５６、第２制御装置５７及び第３制御装置５８から受信する。
【０１３８】
実施の形態１の変形例では、図１では各制御装置に分散させた監視起動部１２による無線通信の途絶の検出をホームサーバ５５の監視起動部６０が集約して行う。監視起動部６０は、第１制御装置５６、第２制御装置５７及び第３制御装置５８と電気機器との通信が途絶したか否かを判定する。例えば、図３及び図４の例では、監視起動部６０は、第２制御装置９が状態取得要求電文を送信してから所定時間が経過したか否かを判断する。そして、監視起動部６０は、第２制御装置９が状態取得要求電文を送信してから所定時間が経過しても状態取得応答電文が受信されない場合、第２制御装置９と洗濯機５との通信回線が途絶したと判断する。
【０１３９】
ホームサーバ５５の通信部６１は、監視起動部６０によって第２制御装置９と洗濯機５との通信回線が途絶したと判断された場合、第１制御装置５６、第２制御装置５７及び第３制御装置５８に対して、撮像部１３及び収音部１５の起動を指示する電文を送信する。第１制御装置５６、第２制御装置５７及び第３制御装置５８は、撮像部１３及び収音部１５の起動を指示する電文を受信した場合、撮像部１３及び収音部１５を起動して洗濯機５の監視動作を開始する。
【０１４０】
第２制御装置５７の通信部１４は、洗濯機５の運転終了又はエラー発生が検出された場合、ホームサーバ５５に状態通知電文を送信する。続いて、ホームサーバ５５の通信部６１は、洗濯機５の運転終了又はエラー発生を示す状態通知電文を受信した場合、洗濯機５の運転終了又はエラー発生の報知を指示する電文を第１制御装置５６、第２制御装置５７及び第３制御装置５８に送信する。
【０１４１】
なお、実施の形態１の変形例では、監視起動部がホームサーバ５５に集約される構成を説明したが、制御装置の他の構成又は処理の一部をホームサーバ５５が行う構成であってもよい。
【０１４２】
特に、ホームサーバ５５の制御部５９は、処理能力の高いＣＰＵで構成し、音響データ又は画像データの処理を行って運転状態を検出してもよい。これにより、第１制御装置５６、第２制御装置５７及び第３制御装置５８の制御部１１は、比較的処理能力の低い安価なＣＰＵで構成することが可能になり、商業上メリットが生じる。
【０１４３】
（実施の形態２）
本開示の実施の形態２について以下に説明する。
【０１４４】
実施の形態１では、各制御装置の監視起動部１２が、制御装置と家電との無線通信の途絶を検出した場合に、全ての収音部１５及び撮像部１３を起動している。
【０１４５】
これに対し、実施の形態２では、実施の形態１に加えて、監視起動部は、通信が途絶した家電機器を監視可能な収音部１５及び撮像部１３のみを起動する。実施の形態２の構成では、監視対象家電を監視可能な撮像部１３および収音部１５のみが起動される。これにより、宅内にて撮像部１３による撮影又は収音部１５による音声の取得が実施されることに対するユーザの心理的な抵抗感を一層引き下げることができ、加えて各制御装置の処理負荷及びエネルギー消費をさらに抑制することができる。
【０１４６】
図６は、本開示の実施の形態２にかかる機器制御システムの構成の一例を示すブロック図である。本実施の形態２において、実施の形態１と同じ構成については同じ符号を付し、説明を省略する。
【０１４７】
図６に示す機器制御システムは、空気調和機３、空気清浄機４、洗濯機５、洗浄便座装置６、ルータ７、第１制御装置８Ａ、第２制御装置９Ａ、第３制御装置１０Ａ、端末装置３０及びサーバ９１を備える。
【０１４８】
第１制御装置８Ａは、制御部１１、監視起動部１２Ａ、撮像部１３、通信部１４、収音部１５、記憶部１６Ａ及び表示操作部１７を備える。第１制御装置８Ａは、例えば、リビングルーム１の壁に設置される。
【０１４９】
第２制御装置９Ａは、第１制御装置８Ａと同じ構成であり、制御部１１、監視起動部１２Ａ、撮像部１３、通信部１４、収音部１５、記憶部１６Ａ及び表示操作部１７を備える。なお、図６では、第２制御装置９Ａの構成を省略している。第２制御装置９Ａは、例えば、サニタリー２の壁に設置される。
【０１５０】
また、第３制御装置１０Ａは、制御部１１、監視起動部１２Ａ、通信部１４、収音部１５、記憶部１６Ａ及び音声出力部１８を備える。第３制御装置１０Ａは、第１制御装置８Ａ及び第２制御装置９Ａとは異なり、撮像部１３及び表示操作部１７を備えていない。
【０１５１】
第１制御装置８Ａ、第２制御装置９Ａ及び第３制御装置１０Ａが備える撮像部１３及び収音部１５には、撮像可能な撮像範囲及び音声を取得可能な音声取得範囲がある。
【０１５２】
図７は、本実施の形態２において、第１制御装置、第２制御装置及び第３制御装置が備える撮像部及び収音部の撮像範囲及び音声取得範囲について説明するための図である。
【０１５３】
図７において、第１撮像範囲４１は、第１制御装置８Ａの撮像部１３により撮像可能な範囲を示す。第１撮像範囲４１内には、空気調和機３及び空気清浄機４が含まれる。これは、第１制御装置８Ａの撮像部１３が、第１撮像範囲４１内に存在する家電を撮像可能であることを表現している。
【０１５４】
また、図７において、第１音声取得範囲４３は、第１制御装置８Ａの収音部１５により音声取得可能な範囲を示す。第１音声取得範囲４３内には、空気調和機３及び空気清浄機４が含まれる。これは、第１制御装置８Ａの収音部１５が、第１音声取得範囲４３内に存在する家電の稼動音又は電子音を取得可能であることを表現している。
【０１５５】
また、第２撮像範囲４２は、第２制御装置９Ａの撮像部１３により撮像可能な範囲を示す。第２撮像範囲４２内には、洗濯機５が含まれる。これは、第２制御装置９Ａの撮像部１３が、第２撮像範囲４２内に存在する家電を撮像可能であることを表現している。
【０１５６】
また、第２音声取得範囲４４は、第２制御装置９Ａの収音部１５により音声取得可能な範囲を示す。第２音声取得範囲４４内には、洗濯機５が含まれる。これは、第２制御装置９Ａの収音部１５が、第２音声取得範囲４４内に存在する家電の稼動音又は電子音を取得可能であることを表現している。
【０１５７】
また、第３音声取得範囲４５は、第３制御装置１０Ａの収音部１５により音声取得可能な範囲を示す。第３音声取得範囲４５内には、洗濯機５及び洗浄便座装置６が含まれる。これは、第３制御装置１０Ａの収音部１５が、第３音声取得範囲４５内に存在する家電の稼動音又は電子音を取得可能であることを表現している。
【０１５８】
記憶部１６Ａは、電気機器を識別する情報と、撮像部１３が電気機器を監視可能であるか否かを示す情報と、収音部１５が電気機器を監視可能であるか否かを示す情報とを対応付けた起動判定情報を予め記憶する。
【０１５９】
図８は、本実施の形態２における第１起動判定情報について説明するための図であり、図９は、本実施の形態２における第２起動判定情報について説明するための図であり、図１０は、本実施の形態２における第３起動判定情報について説明するための図である。
【０１６０】
第１制御装置８Ａの記憶部１６Ａは、図８に示す第１起動判定情報６３を予め記憶している。第１起動判定情報６３は、第１制御装置８Ａが備える撮像部１３及び収音部１５が、宅内の複数の家電のそれぞれについて監視可能であるか否かを示す情報である。
【０１６１】
第２制御装置９Ａの記憶部１６Ａは、図９に示す第２起動判定情報６４を予め記憶している。第２起動判定情報６４は、第２制御装置９Ａが備える撮像部１３及び収音部１５が、宅内の複数の家電のそれぞれについて監視可能であるか否かを示す情報である。
【０１６２】
第３制御装置１０Ａの記憶部１６Ａは、図１０に示す第３起動判定情報６５を予め記憶している。第３起動判定情報６５は、第３制御装置１０Ａが備える収音部１５が、宅内の複数の家電のそれぞれについて監視可能であるか否かを示す情報である。
【０１６３】
監視起動部１２Ａは、記憶部１６Ａを参照することにより、電気機器を監視可能な撮像部及び収音部の少なくとも一方を起動する。
【０１６４】
第１制御装置８Ａの監視起動部１２Ａは、第１制御装置８Ａと家電との無線通信の途絶を検出した場合、記憶部１６Ａに記憶されている第１起動判定情報６３を参照し、監視可能な撮像部１３又は収音部１５のみを選択して起動する。
【０１６５】
例えば、第１起動判定情報６３は、第１制御装置８Ａが空気調和機３を撮像可能であり、第１制御装置８Ａが空気調和機３から発せられる音を取得可能であり、第１制御装置８Ａが洗濯機５を撮像不可能であり、第１制御装置８Ａが洗濯機５から発せられる音を取得不可能であることを示している。空気調和機３が監視対象家電である場合、第１制御装置８Ａの監視起動部１２Ａは、撮像部１３及び収音部１５を起動する。
【０１６６】
第２制御装置９Ａの監視起動部１２Ａは、第２制御装置９Ａと家電との無線通信の途絶を検出した場合、記憶部１６Ａに記憶されている第２起動判定情報６４を参照し、監視可能な撮像部１３又は収音部１５のみを選択して起動する。
【０１６７】
第３制御装置１０Ａの監視起動部１２Ａは、第３制御装置１０Ａと家電との無線通信の途絶を検出した場合、記憶部１６Ａに記憶されている第３起動判定情報６５を参照し、監視可能な収音部１５のみを選択して起動する。
【０１６８】
次に、実施の形態２における第１制御装置８Ａ、第２制御装置９Ａ及び第３制御装置１０Ａの動作について説明する。
【０１６９】
図１１は、本開示の実施の形態２における第２制御装置の動作の一例を示す第１のフローチャートであり、図１２は、本開示の実施の形態２における第２制御装置の動作の一例を示す第２のフローチャートである。なお、図１１及び図１２のフローチャートでは、第２制御装置９Ａと洗濯機５とが通信を行い、第２制御装置９Ａが洗濯機５を監視する例について説明する。
【０１７０】
なお、図１１のステップＳ２１〜ステップＳ２７の処理は、図３のステップＳ１〜ステップＳ７の処理と同じである。
【０１７１】
状態取得要求電文を送信してから所定時間が経過したと判断された場合（ステップＳ２７でＹＥＳ）、ステップＳ２８において、第２制御装置９Ａの監視起動部１２Ａは、記憶部１６Ａに記憶されている第２起動判定情報６４を参照し、撮像部１３及び収音部１５の少なくとも一方で洗濯機５を監視可能であるか否かを判断する。
【０１７２】
ここで、撮像部１３及び収音部１５の少なくとも一方で監視可能であると判断された場合（ステップＳ２８でＹＥＳ）、ステップＳ２９において、第２制御装置９Ａの監視起動部１２Ａは、監視可能な撮像部１３及び収音部１５の少なくとも一方を起動する。本実施の形態２では、撮像部１３及び収音部１５がともに洗濯機５を監視可能であるので、監視起動部１２Ａは、撮像部１３及び収音部１５の両方を起動する。
【０１７３】
なお、図１２のステップＳ３０〜ステップＳ３２の処理は、図４のステップＳ９〜ステップＳ１１の処理と同じである。
【０１７４】
次に、ステップＳ３３において、第２制御装置９Ａの監視起動部１２Ａは、起動した撮像部１３及び収音部１５の少なくとも一方を停止する。本実施の形態２では、撮像部１３及び収音部１５がともに起動しているので、監視起動部１２Ａは、撮像部１３及び収音部１５の両方を停止する。
【０１７５】
一方、撮像部１３及び収音部１５のいずれでも監視可能ではないと判断された場合（ステップＳ２８でＮＯ）、ステップＳ３４において、第２制御装置９Ａの通信部１４は、第２制御装置９Ａと洗濯機５との通信が途絶したことを示す通信途絶電文を他の制御装置へ送信する。本実施の形態２では、第２制御装置９Ａの通信部１４は、通信途絶電文を第１制御装置８Ａ及び第３制御装置１０Ａへ送信する。このとき、第２制御装置９Ａの監視起動部１２Ａは、撮像部１３及び収音部１５のいずれも起動しない。
【０１７６】
なお、第１起動判定情報６３、第２起動判定情報６４及び第３起動判定情報６５は、ユーザの住宅状況によって異なる。そのため、各制御装置の表示操作部１７は、ユーザによる第１起動判定情報６３、第２起動判定情報６４及び第３起動判定情報６５の入力操作を受け付けてもよい。また、各制御装置と通信可能に接続された端末装置３０は、ユーザによる第１起動判定情報６３、第２起動判定情報６４及び第３起動判定情報６５の入力操作を受け付けてもよく、入力された第１起動判定情報６３、第２起動判定情報６４及び第３起動判定情報６５をそれぞれの制御装置へ送信してもよい。
【０１７７】
また、第１制御装置８Ａ、第２制御装置９Ａ及び第３制御装置１０Ａは、第１起動判定情報６３、第２起動判定情報６４及び第３起動判定情報６５をそれぞれ自動的に作成してもよい。
【０１７８】
一例としては、制御装置又は家電が新設、買い替え又は移設される際に、表示操作部１７は、ユーザによる学習モードの実施操作の入力を受け付ける。次に、制御装置の監視起動部１２Ａは、家電との無線通信が正常な状態で、撮像部１３を起動する。続いて、家電の運転が開始されると、通信部１４は、家電種別及び運転状態を含む状態取得応答電文を受信する。制御部１１は、状態取得応答電文の受信と略同期して、撮像部１３から取得された画像データを用いて家電の運転状態を検出する。制御部１１は、撮像部１３から検出した運転状態と、状態取得応答電文に含まれる運転状態が同じであれば、当該家電のＩＤと、撮像部１３が当該家電を監視可能であることを示す情報とを対応付けて起動判定情報を更新する。
【０１７９】
また、本実施の形態２において、監視起動部１２Ａは、制御装置と電気機器との通信が疎通している際に、センサ（撮像部１３又は収音部１５）を起動してもよい。そして、制御部１１は、通信により取得した運転状態と、運転状態が取得された際にセンサによって取得されたセンサデータ（画像データ又は音響データ）とを関連付けた状態検出情報を作成してもよい。制御部１１は、作成した状態検出情報を記憶部１６Ａに記憶してもよい。また、センサによって取得されたセンサデータから運転状態を検出する際に、制御部１１は、記憶部１６Ａに記憶された状態検出情報を参照し、センサによって取得されたセンサデータに関連付けられた運転状態を特定してもよい。
【０１８０】
（実施の形態３）
本開示の実施の形態３について以下に説明する。
【０１８１】
本開示の実施の形態３においては、監視起動部は、家電との無線通信の途絶を検出し、通信が途絶した家電を監視可能な撮像部１３及び収音部１５を判断する際に、実施の形態２における起動判定情報を参照するのではなく、撮像部１３によって取得された画像データ内に監視対象家電が撮影されているか否かを判定するとともに、収音部１５によって取得された音響データ内に監視対象家電の稼動音が含まれているか否かを判定する。
【０１８２】
図１３は、本開示の実施の形態３にかかる機器制御システムの構成の一例を示すブロック図である。本実施の形態３において、実施の形態１及び実施の形態２と同じ構成については同じ符号を付し、説明を省略する。
【０１８３】
図１３に示す機器制御システムは、空気調和機３、空気清浄機４、洗濯機５、洗浄便座装置６、ルータ７、第１制御装置８Ｂ、第２制御装置９Ｂ、第３制御装置１０Ｂ、端末装置３０及びサーバ９１を備える。
【０１８４】
第１制御装置８Ｂは、制御部１１、監視起動部１２Ｂ、撮像部１３、通信部１４、収音部１５、記憶部１６Ｂ及び表示操作部１７を備える。第１制御装置８Ｂは、例えば、リビングルーム１の壁に設置される。
【０１８５】
第２制御装置９Ｂは、第１制御装置８Ｂと同じ構成であり、制御部１１、監視起動部１２Ｂ、撮像部１３、通信部１４、収音部１５、記憶部１６Ｂ及び表示操作部１７を備える。なお、図１３では、第２制御装置９Ｂの構成を省略している。第２制御装置９Ｂは、例えば、サニタリー２の壁に設置される。
【０１８６】
また、第３制御装置１０Ｂは、制御部１１、監視起動部１２Ｂ、通信部１４、収音部１５、記憶部１６Ｂ及び音声出力部１８を備える。第３制御装置１０Ｂは、第１制御装置８Ｂ及び第２制御装置９Ｂとは異なり、撮像部１３及び表示操作部１７を備えていない。
【０１８７】
記憶部１６Ｂは、電気機器を識別する情報と、画像認識に用いる電気機器を示す画像データと、音声認識に用いる電気機器の稼働音を示す音響データとを対応付けた認識参照情報を予め記憶する。
【０１８８】
図１４は、本実施の形態３における第１認識参照情報について説明するための図であり、図１５は、本実施の形態３における第２認識参照情報について説明するための図であり、図１６は、本実施の形態３における第３認識参照情報について説明するための図である。
【０１８９】
第１制御装置８Ｂの記憶部１６Ｂは、図１４に示す第１認識参照情報７０を予め記憶している。第１認識参照情報７０は、画像認識処理において参照される電気機器を示す画像データ（画像認証参照情報）と、音声認識処理において参照される電気機器の稼働音を示す音響データ（稼働音認証参照情報）とを含む。
【０１９０】
第２制御装置９Ｂの記憶部１６Ｂは、図１５に示す第２認識参照情報７１を予め記憶している。第２認識参照情報７１は、画像認識処理において参照される電気機器を示す画像データ（画像認証参照情報）と、音声認識処理において参照される電気機器の稼働音を示す音響データ（稼働音認証参照情報）とを含む。
【０１９１】
第３制御装置１０Ｂの記憶部１６Ｂは、図１６に示す第３認識参照情報７２を予め記憶している。第３認識参照情報７２は、音声認識処理において参照される電気機器の稼働音を示す音響データ（稼働音認証参照情報）を含む。
【０１９２】
例えば、第１認識参照情報７０、第２認識参照情報７１及び第３認識参照情報７２は、監視起動部１２Ｂに用いられる認識処理方法に応じたデータを含む。取得した画像データ及び音響データとパターンマッチングを行う認識処理が監視起動部１２Ｂに用いられる場合、第１認識参照情報７０、第２認識参照情報７１及び第３認識参照情報７２、家電の外観を示す画像データ及び家電の稼動音を示す音響データを含む。また、機械学習による認識処理が監視起動部１２Ｂに用いられる場合、第１認識参照情報７０、第２認識参照情報７１及び第３認識参照情報７２は、家電の外観を示す画像及び家電の稼動音から抽出した特徴データ又は判定アルゴリズムの係数データを含む。
【０１９３】
監視起動部１２Ｂは、撮像部１３の撮像画像内に監視対象の家電が撮像されているか否かを判定するとともに、収音部１５の取得音内に監視対象の家電の稼動音が含まれているか否かを判定する。
【０１９４】
監視起動部１２Ｂは、撮像部１３及び収音部１５の少なくとも一方を起動する。監視起動部１２Ｂは、撮像部１３によって取得された画像データに電気機器を示す画像が含まれるか否かの判定、及び収音部１５によって取得された音データに電気機器から発せられる稼働音が含まれるか否かの判定の少なくとも一方を行う。監視起動部１２Ｂは、画像データに電気機器を示す画像が含まれる場合、撮像部１３の起動を維持し、画像データに電気機器を示す画像が含まれない場合、撮像部１３を停止する。また、監視起動部１２Ｂは、収音部１５によって取得された音データに電気機器から発せられる稼働音が含まれる場合、収音部１５の起動を維持し、収音部１５によって取得された音データに電気機器から発せられる稼働音が含まれない場合、収音部１５を停止する。
【０１９５】
次に、実施の形態３における第１制御装置８Ｂ、第２制御装置９Ｂ及び第３制御装置１０Ｂの動作について説明する。
【０１９６】
図１７は、本開示の実施の形態３における第２制御装置の動作の一例を示す第１のフローチャートであり、図１８は、本開示の実施の形態３における第２制御装置の動作の一例を示す第２のフローチャートである。なお、図１７及び図１８のフローチャートでは、第２制御装置９Ｂと洗濯機５とが通信を行い、第２制御装置９Ｂが洗濯機５を監視する例について説明する。
【０１９７】
なお、図１７のステップＳ４１〜ステップＳ４７の処理は、図３のステップＳ１〜ステップＳ７の処理と同じである。
【０１９８】
状態取得要求電文を送信してから所定時間が経過したと判断された場合（ステップＳ４７でＹＥＳ）、ステップＳ４８において、第２制御装置９Ｂの監視起動部１２Ｂは、撮像部１３及び収音部１５を起動する。
【０１９９】
次に、ステップＳ４９において、第２制御装置９Ｂの監視起動部１２Ｂは、記憶部１６Ｂに記憶されている第２認識参照情報７１を参照し、撮像部１３で洗濯機５を監視可能であるか否かを判断する。
【０２００】
すなわち、第２制御装置９Ｂの監視起動部１２Ｂは、記憶部１６Ｂに記憶されている第２認識参照情報７１の洗濯機５の外観画像を参照し、撮像部１３によって撮像された画像データ内に、洗濯機５の外観画像が含まれているか否かを判断する。監視起動部１２Ｂは、撮像部１３によって撮像された画像データ内に、洗濯機５の外観画像が含まれていると判断した場合、撮像部１３で監視可能であると判断する。また、監視起動部１２Ｂは、撮像部１３によって撮像された画像データ内に、洗濯機５の外観画像が含まれていないと判断した場合、撮像部１３で監視不可能であると判断する。
【０２０１】
ここで、撮像部１３で洗濯機５を監視不可能であると判断された場合（ステップＳ４９でＮＯ）、ステップＳ５０において、第２制御装置９Ｂの監視起動部１２Ｂは、起動した撮像部１３を停止する。
【０２０２】
一方、撮像部１３で洗濯機５を監視可能であると判断された場合（ステップＳ４９でＹＥＳ）、ステップＳ５１において、第２制御装置９Ｂの監視起動部１２Ｂは、記憶部１６Ｂに記憶されている第２認識参照情報７１を参照し、収音部１５で洗濯機５を監視可能であるか否かを判断する。
【０２０３】
すなわち、第２制御装置９Ｂの監視起動部１２Ｂは、記憶部１６Ｂに記憶されている第２認識参照情報７１の洗濯機５の脱水運転音などの稼働音を参照し、収音部１５によって取得された音響データ内に、洗濯機５の稼動音が含まれているか否かを判断する。監視起動部１２Ｂは、収音部１５によって取得された音響データ内に、洗濯機５の稼動音が含まれていると判断した場合、収音部１５で監視可能であると判断する。また、監視起動部１２Ｂは、収音部１５によって取得された音響データ内に、洗濯機５の稼動音が含まれていないと判断した場合、収音部１５で監視不可能であると判断する。
【０２０４】
ここで、収音部１５で洗濯機５を監視不可能であると判断された場合（ステップＳ５１でＮＯ）、ステップＳ５２において、第２制御装置９Ｂの監視起動部１２Ｂは、起動した収音部１５を停止する。
【０２０５】
一方、収音部１５で洗濯機５を監視可能であると判断された場合（ステップＳ５１でＹＥＳ）、ステップＳ５３において、第２制御装置９Ｂの監視起動部１２Ｂは、撮像部１３及び収音部１５の少なくとも一方が起動されているか否かを判断する。なお、本実施の形態３では、撮像部１３及び収音部１５がともに洗濯機５を監視可能であるので、撮像部１３及び収音部１５の両方が起動される。
【０２０６】
ここで、撮像部１３及び収音部１５の少なくとも一方が起動されていると判断された場合（ステップＳ５３でＹＥＳ）、ステップＳ５４において、第２制御装置９Ｂの制御部１１は、撮像部１３によって取得された画像データ及び収音部１５によって取得された音響データの少なくとも一方に基づいて、洗濯機５の運転終了又はエラー発生を検出したか否かを判断する。
【０２０７】
なお、図１８のステップＳ５４〜ステップＳ５６の処理は、図４のステップＳ９〜ステップＳ１１の処理と同じである。
【０２０８】
次に、ステップＳ５７において、第２制御装置９Ｂの監視起動部１２Ｂは、起動した撮像部１３及び収音部１５の少なくとも一方を停止する。本実施の形態３では、撮像部１３及び収音部１５がともに起動しているので、監視起動部１２Ｂは、撮像部１３及び収音部１５の両方を停止する。
【０２０９】
一方、撮像部１３及び収音部１５のいずれも起動されていないと判断された場合（ステップＳ５３でＮＯ）、ステップＳ５８において、第２制御装置９Ｂの通信部１４は、第２制御装置９Ｂと洗濯機５との通信が途絶したことを示す通信途絶電文を他の制御装置へ送信する。本実施の形態３では、第２制御装置９Ｂの通信部１４は、通信途絶電文を第１制御装置８Ｂ及び第３制御装置１０Ｂへ送信する。
【０２１０】
なお、本実施の形態３の第２制御装置９Ｂの監視起動部１２Ｂは、第２認識参照情報７１を参照し、撮像部１３及び収音部１５の少なくとも一方で洗濯機５を監視可能であるか否かを判断しているが、さらに、実施の形態２の第２起動判定情報６４を参照し、撮像部１３及び収音部１５の少なくとも一方で洗濯機５を監視可能であるか否かを判断してもよい。例えば、監視起動部１２Ｂは、家電を画像認識する際に、ユーザ又はペットなどが家電を遮ってしまい、撮像部１３で家電を監視不可能と判断された場合に、第２起動判定情報６４をさらに参照することにより、撮像部１３で家電を監視可能であるか否かを判断することができる。
【０２１１】
また、実施の形態２及び実施の形態３では、各家電が撮像部１３及び収音部１５で監視可能であるか否かの情報は、部屋単位又は制御装置単位でまとめて設定されてもよい。この構成により、サニタリーなど、ユーザが撮像部１３及び収音部１５での監視を一切実施したくない場所に設置される家電を監視するか否かの設定を簡略化できる。
【０２１２】
また、第１制御装置、第２制御装置及び第３制御装置は、ユーザが在室しているか否かを検出し、ユーザが在室している場合、室内の収音部１５及び撮像部１３を起動しなくてもよい。ユーザの在室を判定する方法としては、例えば、撮像部１３によって撮像された画像を用いてユーザの在室を判定してもよいし、熱赤外線センサなどの人物を検出するためのセンサを撮像部１３とは別に制御装置に備えてもよい。
【０２１３】
なお、監視起動部１２Ｂが参照する記憶部１６Ｂの認識参照情報は、新たな制御装置が設置される場合、又は新たな家電が設置される場合に、サーバからダウンロードされて、追加又は更新されてもよい。
【０２１４】
また、実施の形態１に例示したホームサーバ５５又は宅外のサーバ９１が、本実施の形態３の画像認識処理又は音声認識処理などの負荷の大きい処理を行ってもよい。この場合、通信回線を介して画像データ又は音響データなどを送受信するのに要する処理時間、及び演算処理に要する処理時間などが適切に分散されることにより、より効率的な機器制御システムを構成できる。
【０２１５】
（実施の形態４）
本開示の実施の形態４について以下に説明する。
【０２１６】
本実施の形態４では、自動的に掃除するロボット掃除機のように、監視対象の家電が移動する場合に、当該家電を監視する制御装置を切り替える。
【０２１７】
図１９は、本開示の実施の形態４にかかる機器制御システムの構成の一例を示すブロック図である。本実施の形態４において、実施の形態１〜実施の形態３と同じ構成については同じ符号を付し、説明を省略する。
【０２１８】
図１９に示す機器制御システムは、空気調和機３、空気清浄機４、洗濯機５、洗浄便座装置６、ロボット掃除機６６、ルータ７、第１制御装置８Ｃ、第２制御装置９Ｃ、第３制御装置１０Ｃ、端末装置３０及びサーバ９１を備える。
【０２１９】
第１制御装置８Ｃは、制御部１１Ｃ、監視起動部１２Ａ、撮像部１３、通信部１４Ｃ、収音部１５、記憶部１６Ａ及び表示操作部１７を備える。第１制御装置８Ｃは、例えば、リビングルーム１の壁に設置される。
【０２２０】
第２制御装置９Ｃは、第１制御装置８Ｃと同じ構成であり、制御部１１Ｃ、監視起動部１２Ａ、撮像部１３、通信部１４Ｃ、収音部１５、記憶部１６Ａ及び表示操作部１７を備える。なお、図１９では、第２制御装置９Ｃの構成を省略している。第２制御装置９Ｃは、例えば、サニタリー２の壁に設置される。
【０２２１】
また、第３制御装置１０Ｃは、制御部１１Ｃ、監視起動部１２Ａ、通信部１４Ｃ、収音部１５、記憶部１６Ａ及び音声出力部１８を備える。第３制御装置１０Ｃは、第１制御装置８Ｃ及び第２制御装置９Ｃとは異なり、撮像部１３及び表示操作部１７を備えていない。
【０２２２】
ロボット掃除機６６は、宅内の床面を掃除しながら宅内を自動で移動する。本実施の形態４におけるロボット掃除機６６は、リビングルーム１とサニタリー２との間を移動する。
【０２２３】
図２０は、本実施の形態４において、運転開始時におけるロボット掃除機の位置を説明するための図であり、図２１は、本実施の形態４において、運転開始から所定時間経過後におけるロボット掃除機の位置を説明するための図である。
【０２２４】
図２０に示すように、ロボット掃除機６６は、運転開始時においてリビングルーム１に存在している。このとき、ロボット掃除機６６は、第１制御装置８Ｃの撮像部１３の第１撮像範囲４１内に存在するとともに、第１制御装置８Ｃの収音部１５の第１音声取得範囲４３内に存在する。そのため、第１制御装置８Ｃは、撮像部１３又は収音部１５によりロボット掃除機６６の運転状態を監視することができる。
【０２２５】
そして、図２１に示すように、ロボット掃除機６６は、運転開始から所定時間が経過すると、リビングルーム１からサニタリー２へ自律移動する。このとき、ロボット掃除機６６は、第２制御装置９Ｃの撮像部１３の第２撮像範囲４２内に存在するとともに、第２制御装置９Ｃの収音部１５の第２音声取得範囲４４内に存在する。そのため、第１制御装置８Ｃは、撮像部１３又は収音部１５によりロボット掃除機６６の運転状態を監視することができなくなる。一方、第２制御装置９Ｃは、撮像部１３又は収音部１５によりロボット掃除機６６の運転状態を監視することができる。
【０２２６】
制御部１１Ｃは、監視起動部１２Ａによって撮像部１３及び収音部１５の少なくとも一方が起動された後、撮像部１３及び収音部１５の少なくとも一方が電気機器を監視可能であるか否かを判定する。
【０２２７】
通信部１４Ｃは、撮像部１３及び収音部１５の少なくとも一方が電気機器を監視可能ではないと判定された場合、撮像部１３及び収音部１５の少なくとも一方が電気機器を監視不可能であることを示す監視切替電文を送信する。
【０２２８】
次に、実施の形態４における第１制御装置８Ｃ、第２制御装置９Ｃ及び第３制御装置１０Ｃの動作について説明する。
【０２２９】
図２２は、本開示の実施の形態４における第１制御装置の動作の一例を示す第１のフローチャートであり、図２３は、本開示の実施の形態４における第１制御装置の動作の一例を示す第２のフローチャートである。なお、図２２及び図２３のフローチャートでは、第１制御装置８Ｃとロボット掃除機６６とが通信を行い、第１制御装置８Ｃがロボット掃除機６６を監視する例について説明する。
【０２３０】
まず、ステップＳ６１において、第１制御装置８Ｃの表示操作部１７は、ユーザによるロボット掃除機６６の運転開始操作を受け付ける。このとき、ロボット掃除機６６は、リビングルーム１に停止している。
【０２３１】
次に、ステップＳ６２において、第１制御装置８Ｃの通信部１４Ｃは、無線通信回線を介して、運転開始要求電文をロボット掃除機６６へ送信する。ロボット掃除機６６は、第１制御装置８Ｃによって送信された運転開始要求電文を受信する。ロボット掃除機６６は、運転開始要求電文を受信すると、リビングルーム１において運転を開始する。ロボット掃除機６６は、運転を開始すると、無線通信回線を介して、運転開始応答電文を第１制御装置８Ｃへ返信する。第１制御装置８Ｃの通信部１４Ｃは、ロボット掃除機６６からの運転開始応答電文を待ち受ける。
【０２３２】
次に、ステップＳ６３において、第１制御装置８Ｃの通信部１４Ｃは、無線通信回線を介して、ロボット掃除機６６によって送信された運転開始応答電文を受信する。第１制御装置８Ｃの通信部１４Ｃは、運転開始応答電文を受信することにより、ロボット掃除機６６との通信回線が正常であることを確認する。第１制御装置８Ｃは、ロボット掃除機６６から転開始応答電文を受信すると、所定時間間隔でロボット掃除機６６の運転状態を監視する。
【０２３３】
次に、ステップＳ６４において、第１制御装置８Ｃの通信部１４Ｃは、無線通信回線を介して、ロボット掃除機６６の運転状態を取得するための状態取得要求電文を所定時間間隔でロボット掃除機６６へ送信する。第１制御装置８Ｃの通信部１４Ｃは、状態取得要求電文を所定時間間隔でロボット掃除機６６へ送信することにより、ロボット掃除機６６の運転状態を所定時間間隔で取得する。所定時間間隔は、例えば１分である。ロボット掃除機６６は、第２制御装置９によって送信された状態取得要求電文を受信すると、運転状態を示す情報を含む状態取得応答電文を第１制御装置８Ｃへ送信する。
【０２３４】
次に、ステップＳ６５において、第１制御装置８Ｃの通信部１４Ｃは、ロボット掃除機６６からの状態取得応答電文を待ち受け、洗濯機５から状態取得応答電文を受信したか否かを判断する。第１制御装置８Ｃとロボット掃除機６６との通信回線が正常である場合、第１制御装置８Ｃの通信部１４Ｃは、状態取得応答電文を受信する。
【０２３５】
ここで、状態取得応答電文を受信したと判断された場合（ステップＳ６５でＹＥＳ）、ステップＳ６６において、第１制御装置８Ｃの制御部１１Ｃは、通信部１４Ｃによって受信された状態取得応答電文に含まれるロボット掃除機６６の運転状態が、運転終了又はエラー発生であるか否かを判断する。ここで、運転状態が、運転終了又はエラー発生ではないと判断された場合（ステップＳ６６でＮＯ）、ステップＳ６４に処理が戻り、第１制御装置８Ｃの通信部１４Ｃは、状態取得要求電文を所定時間間隔でロボット掃除機６６へ送信する。
【０２３６】
一方、運転状態が、運転終了又はエラー発生であると判断された場合（ステップＳ６６でＹＥＳ）、ステップＳ７３へ処理が移行する。
【０２３７】
また、状態取得応答電文を受信していないと判断された場合（ステップＳ６５でＮＯ）、ステップＳ６７において、第１制御装置８Ｃの監視起動部１２Ａは、状態取得要求電文を送信してから所定時間が経過したか否かを判断する。所定時間は、タイムアウト時間であり、例えば１分である。ここで、状態取得要求電文を送信してから所定時間が経過していないと判断された場合（ステップＳ６７でＮＯ）、ステップＳ６５に処理が戻る。
【０２３８】
第１制御装置８Ｃとロボット掃除機６６との通信回線が途絶した場合、所定時間が経過しても状態取得応答電文が受信されることはない。そのため、状態取得要求電文を送信してから所定時間が経過しても状態取得応答電文が受信されない場合、第１制御装置８Ｃとロボット掃除機６６との通信回線が途絶したと判断することができる。
【０２３９】
一方、状態取得要求電文を送信してから所定時間が経過したと判断された場合（ステップＳ６７でＹＥＳ）、ステップＳ６８において、第１制御装置８Ｃの監視起動部１２Ａは、記憶部１６Ａに記憶されている第１起動判定情報６３を参照し、撮像部１３及び収音部１５の少なくとも一方でロボット掃除機６６を監視可能であるか否かを判断する。
【０２４０】
ここで、撮像部１３及び収音部１５のいずれでも監視可能ではないと判断された場合（ステップＳ６８でＮＯ）、ステップＳ６９において、第１制御装置８Ｃの通信部１４Ｃは、第１制御装置８Ｃとロボット掃除機６６との通信が途絶したことを示す通信途絶電文を他の制御装置へ送信する。本実施の形態４では、第１制御装置８Ｃの通信部１４Ｃは、通信途絶電文を第２制御装置９Ｃ及び第３制御装置１０Ｃへ送信する。このとき、第１制御装置８Ｃの監視起動部１２Ａは、撮像部１３及び収音部１５のいずれも起動しない。
【０２４１】
一方、撮像部１３及び収音部１５の少なくとも一方で監視可能であると判断された場合（ステップＳ６８でＹＥＳ）、ステップＳ７０において、第１制御装置８Ｃの監視起動部１２Ａは、監視可能な撮像部１３及び収音部１５の少なくとも一方を起動する。本実施の形態４では、撮像部１３及び収音部１５がともにロボット掃除機６６を監視可能であるので、監視起動部１２Ａは、撮像部１３及び収音部１５の両方を起動する。
【０２４２】
次に、ステップＳ７１において、第１制御装置８Ｃの制御部１１Ｃは、第１制御装置８Ｃによって監視可能な空間内にロボット掃除機６６が存在しているか否かを判断する。
【０２４３】
第１制御装置８Ｃによって監視可能な空間は、第１制御装置８Ｃの撮像部１３により撮像可能な第１撮像範囲４１及び第１制御装置８Ｃの収音部１５により音声取得可能な第１音声取得範囲４３の少なくとも一方である。
【０２４４】
第１制御装置８Ｃの制御部１１Ｃは、第１認識参照情報７０を参照し、撮像部１３によって撮像された画像データ内に、ロボット掃除機６６の外観画像が含まれているか否かを判断する。撮像部１３によって撮像された画像データ内に、ロボット掃除機６６の外観画像が含まれている場合、第１制御装置８Ｃの制御部１１Ｃは、第１制御装置８Ｃによって監視可能な空間内にロボット掃除機６６が存在していると判断する。
【０２４５】
また、第１制御装置８Ｃの制御部１１Ｃは、第１認識参照情報７０を参照し、収音部１５によって取得された音響データ内に、ロボット掃除機６６の稼動音が含まれているか否かを判断する。収音部１５によって取得された音響データ内に、ロボット掃除機６６の稼動音が含まれている場合、第１制御装置８Ｃの制御部１１Ｃは、第１制御装置８Ｃによって監視可能な空間内にロボット掃除機６６が存在していると判断する。第１制御装置８Ｃによって監視可能な空間内にロボット掃除機６６が存在する場合、第１制御装置８Ｃは、ロボット掃除機６６を引き続き監視することができる。
【０２４６】
なお、記憶部１６Ａは、実施の形態３の第１認識参照情報７０、第２認識参照情報７１及び第３認識参照情報７２を予め記憶している。
【０２４７】
ここで、第１制御装置８Ｃによって監視可能な空間内にロボット掃除機６６が存在すると判断された場合（ステップＳ７１でＹＥＳ）、ステップＳ７２において、第１制御装置８Ｃの制御部１１Ｃは、撮像部１３によって取得された画像データ又は収音部１５によって取得された音響データに基づいて、ロボット掃除機６６の運転終了又はエラー発生を検出したか否かを判断する。なお、ロボット掃除機６６の運転終了又はエラー発生の検出方法については、実施の形態１と同じである。
【０２４８】
ここで、ロボット掃除機６６の運転終了又はエラー発生を検出していないと判断された場合（ステップＳ７２でＮＯ）、ステップＳ７１に処理が戻る。
【０２４９】
一方、ロボット掃除機６６の運転終了又はエラー発生を検出したと判断された場合（ステップＳ７２でＹＥＳ）、ステップＳ７３において、第１制御装置８Ｃの表示操作部１７は、ロボット掃除機６６の運転終了又はエラー発生を報知する。
【０２５０】
次に、ステップＳ７４において、第１制御装置８Ｃの通信部１４Ｃは、ロボット掃除機６６の運転状態が運転終了又はエラー発生であることを示す状態通知電文を第２制御装置９Ｃ、第３制御装置１０Ｃ及び端末装置３０へ同報送信する。第２制御装置９Ｃ、第３制御装置１０Ｃ及び端末装置３０は、第１制御装置８Ｃによって送信された状態通知電文を受信する。第２制御装置９Ｃ及び第３制御装置１０Ｃの表示操作部１７は、ロボット掃除機６６の運転終了又はエラー発生を報知する。また、端末装置３０も、ロボット掃除機６６の運転終了又はエラー発生を報知する。
【０２５１】
なお、第１制御装置８Ｃの通信部１４Ｃは、状態通知電文をサーバ９１へ送信してもよい。サーバ９１は、ロボット掃除機６６の運転終了又はエラー発生を示す情報をログ情報として記憶する。
【０２５２】
次に、ステップＳ７５において、第１制御装置８Ｃの監視起動部１２Ａは、起動した撮像部１３及び収音部１５の少なくとも一方を停止する。本実施の形態４では、撮像部１３及び収音部１５がともに起動しているので、監視起動部１２Ａは、撮像部１３及び収音部１５の両方を停止する。
【０２５３】
また、ステップＳ７１で第１制御装置８Ｃによって監視可能な空間内にロボット掃除機６６が存在いないと判断された場合（ステップＳ７１でＮＯ）、ステップＳ７６において、第１制御装置８Ｃの通信部１４Ｃは、撮像部１３及び収音部１５の少なくとも一方がロボット掃除機６６を監視不可能であることを示し、ロボット掃除機６６の監視を他の制御装置に指示するための監視切替電文を第２制御装置９Ｃ及び第３制御装置１０Ｃへ同報送信する。
【０２５４】
例えば、図２１に示すように、ロボット掃除機６６が、リビングルーム１から、第１制御装置８Ｃによって監視可能な空間外であるサニタリー２へ移動した場合、第１制御装置８Ｃは、ロボット掃除機６６を継続して監視することができなくなる。そこで、第１制御装置８Ｃは、監視切替電文を第２制御装置９Ｃ及び第３制御装置１０Ｃへ同報送信することにより、ロボット掃除機６６を監視する制御装置を切り替える。
【０２５５】
第２制御装置９Ｃ及び第３制御装置１０Ｃは、第１制御装置８Ｃによって送信された監視切替電文を受信する。
【０２５６】
続いて、監視切替電文を受信した第２制御装置９Ｃによる監視切替処理について説明する。
【０２５７】
図２４は、本開示の実施の形態４における第２制御装置の監視切替処理の一例を示すフローチャートである。なお、図２４のフローチャートでは、ロボット掃除機６６がリビングルーム１からサニタリー２へ移動し、サニタリー２に設置された第２制御装置９Ｃとロボット掃除機６６とが通信を行い、第２制御装置９Ｃがロボット掃除機６６を監視する例について説明する。
【０２５８】
まず、ステップＳ８１において、第２制御装置９Ｃの通信部１４Ｃは、第１制御装置８Ｃによって送信された監視切替電文を受信する。
【０２５９】
なお、ロボット掃除機６６は、運転開始応答電文を第１制御装置８Ｃだけでなく、宅内の他の制御装置（第２制御装置９Ｃ及び第３制御装置１０Ｃ）へ同報送信してもよい。第２制御装置９Ｃの通信部１４Ｃは、ロボット掃除機６６から運転開始応答電文を受信すると、他の制御装置（第１制御装置８Ｃ）によって送信された監視切替電文を受信したか否かを判断してもよい。
【０２６０】
次に、ステップＳ８２において、第２制御装置９Ｃの監視起動部１２Ａは、記憶部１６Ａに記憶されている第２起動判定情報６４を参照し、撮像部１３及び収音部１５の少なくとも一方で、監視切替電文により監視が指示されたロボット掃除機６６を監視可能であるか否かを判断する。
【０２６１】
ここで、撮像部１３及び収音部１５のいずれでも監視可能ではないと判断された場合（ステップＳ８２でＮＯ）、処理が終了する。
【０２６２】
一方、撮像部１３及び収音部１５の少なくとも一方で監視可能であると判断された場合（ステップＳ８２でＹＥＳ）、ステップＳ８３において、第２制御装置９Ｃの監視起動部１２Ａは、監視可能な撮像部１３及び収音部１５の少なくとも一方を起動する。本実施の形態４では、撮像部１３及び収音部１５がともにロボット掃除機６６を監視可能であるので、監視起動部１２Ａは、撮像部１３及び収音部１５の両方を起動する。
【０２６３】
次に、ステップＳ８４において、第２制御装置９Ｃの制御部１１Ｃは、第２制御装置９Ｃによって監視可能な空間内にロボット掃除機６６が存在しているか否かを判断する。
【０２６４】
ここで、第２制御装置９Ｃによって監視可能な空間内にロボット掃除機６６が存在すると判断された場合（ステップＳ８４でＹＥＳ）、ステップＳ８５において、第２制御装置９Ｃの制御部１１Ｃは、撮像部１３によって取得された画像データ又は収音部１５によって取得された音響データに基づいて、ロボット掃除機６６の運転終了又はエラー発生を検出したか否かを判断する。なお、ロボット掃除機６６の運転終了又はエラー発生の検出方法については、実施の形態１と同じである。
【０２６５】
ここで、ロボット掃除機６６の運転終了又はエラー発生を検出していないと判断された場合（ステップＳ８５でＮＯ）、ステップＳ８４に処理が戻る。
【０２６６】
一方、ロボット掃除機６６の運転終了又はエラー発生を検出したと判断された場合（ステップＳ８５でＹＥＳ）、ステップＳ８６において、第２制御装置９Ｃの表示操作部１７は、ロボット掃除機６６の運転終了又はエラー発生を報知する。
【０２６７】
次に、ステップＳ８７において、第２制御装置９Ｃの通信部１４Ｃは、ロボット掃除機６６の運転状態が運転終了又はエラー発生であることを示す状態通知電文を第１制御装置８Ｃ、第３制御装置１０Ｃ及び端末装置３０へ同報送信する。第１制御装置８Ｃ、第３制御装置１０Ｃ及び端末装置３０は、第２制御装置９Ｃによって送信された状態通知電文を受信する。第１制御装置８Ｃ及び第３制御装置１０Ｃの表示操作部１７は、ロボット掃除機６６の運転終了又はエラー発生を報知する。また、端末装置３０も、ロボット掃除機６６の運転終了又はエラー発生を報知する。
【０２６８】
次に、ステップＳ８８において、第２制御装置９Ｃの監視起動部１２Ａは、起動した撮像部１３及び収音部１５の少なくとも一方を停止する。本実施の形態４では、撮像部１３及び収音部１５がともに起動しているので、監視起動部１２Ａは、撮像部１３及び収音部１５の両方を停止する。
【０２６９】
また、ステップＳ８４で第２制御装置９Ｃによって監視可能な空間内にロボット掃除機６６が存在いないと判断された場合（ステップＳ８４でＮＯ）、ステップＳ８９において、第２制御装置９Ｃの通信部１４Ｃは、撮像部１３及び収音部１５の少なくとも一方がロボット掃除機６６を監視不可能であることを示し、ロボット掃除機６６の監視を他の制御装置に指示するための監視切替電文を第１制御装置８Ｃ及び第３制御装置１０Ｃへ同報送信する。
【０２７０】
なお、各制御装置の撮像部１３の撮像範囲同士が近接していない場合もある。この場合、一の制御装置で監視不可能になってから他の制御装置で監視可能になるまでのディレイタイムが発生するおそれがある。そこで、監視起動部１２Ａは、ステップＳ８２の判断処理を所定時間（例えば、数十秒又は数分）間隔で行ってもよい。
【０２７１】
また、図２３及び図２４においては、監視起動部１２Ａは、撮像部１３及び収音部１５をともに起動しているが、撮像部１３のみを起動してもよく、収音部１５のみを起動してもよい。
【０２７２】
以上のように、本実施の形態４によれば、一の制御装置が電気機器を監視することができなくなった場合でも、他の制御装置と連携することで、他の制御装置に電気機器の監視を自動的に引き継ぐことができる。
【０２７３】
なお、本実施の形態４では、ステップＳ６８において、第１制御装置８Ｃの監視起動部１２Ａは、実施の形態２と同様に、第１起動判定情報６３を参照し、撮像部１３及び収音部１５の少なくとも一方でロボット掃除機６６を監視可能であるか否かを判断しているが、本開示は特にこれに限定されず、実施の形態３と同様に、第１認識参照情報７０を参照し、撮像部１３でロボット掃除機６６を監視可能であるか否かを判断し、収音部１５でロボット掃除機６６を監視可能であるか否かを判断してもよい。
【０２７４】
また、本実施の形態４では、第１制御装置８Ｃが、撮像部１３及び収音部１５の少なくとも一方を用いてロボット掃除機６６を監視できなくなった場合、第２制御装置９Ｃに監視が切り替えられる。このとき、第２制御装置９Ｃとロボット掃除機６６との無線通信は途絶していない可能がある。そこで、図２４に示す監視切替処理において、第２制御装置９Ｃの通信部１４Ｃは、監視切替電文を受信すると、無線通信回線を介して、ロボット掃除機６６の運転状態を取得するための状態取得要求電文を所定時間間隔でロボット掃除機６６へ送信してもよい。そして、監視起動部１２Ａによって状態取得要求電文を送信してから所定時間が経過したと判断された場合、ステップＳ８２以降の処理が行われてもよい。
【０２７５】
なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
【０２７６】
本開示の実施の形態に係る装置の機能の一部又は全ては典型的には集積回路であるＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ）として実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【０２７７】
また、本開示の実施の形態に係る装置の機能の一部又は全てを、ＣＰＵ等のプロセッサがプログラムを実行することにより実現してもよい。
【０２７８】
また、上記で用いた数字は、全て本開示を具体的に説明するために例示するものであり、本開示は例示された数字に制限されない。
【０２７９】
また、上記フローチャートに示す各ステップが実行される順序は、本開示を具体的に説明するために例示するためのものであり、同様の効果が得られる範囲で上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。
【産業上の利用可能性】
【０２８０】
本開示に係る情報処理方法、情報処理装置及び情報処理プログラムは、情報処理装置と電気機器との通信が途絶した場合であっても、電気機器の運転状態を確実に監視することができるので、電気機器の運転を制御するとともに、電気機器の運転状態を取得する情報処理方法、情報処理装置及び情報処理プログラムとして有用である。
【符号の説明】
【０２８１】
１    リビングルーム
２    サニタリー
３    空気調和機
４    空気清浄機
５    洗濯機
６    洗浄便座装置
７    ルータ
８，８Ａ，８Ｂ，８Ｃ    第１制御装置
９，９Ａ，９Ｂ，９Ｃ    第２制御装置
１０，１０Ａ，１０Ｂ，１０Ｃ    第３制御装置
１１，１１Ｃ    制御部
１２，１２Ａ，１２Ｂ    監視起動部
１３      撮像部
１４，１４Ｃ    通信部
１５    収音部
１６，１６Ａ，１６Ｂ    記憶部
１７    表示操作部
１８    音声出力部
３０    端末装置
６６    ロボット掃除機
９１    サーバ
９２    インターネット回線
【図１】
2020182145.tif 000003
【図２】
2020182145.tif 000004
【図３】
2020182145.tif 000005
【図４】
2020182145.tif 000006
【図５】
2020182145.tif 000007
【図６】
2020182145.tif 000008
【図７】
2020182145.tif 000009
【図８】
2020182145.tif 000010
【図９】
2020182145.tif 000011
【図１０】
2020182145.tif 000012
【図１１】
2020182145.tif 000013
【図１２】
2020182145.tif 000014
【図１３】
2020182145.tif 000015
【図１４】
2020182145.tif 000016
【図１５】
2020182145.tif 000017
【図１６】
2020182145.tif 000018
【図１７】
2020182145.tif 000019
【図１８】
2020182145.tif 000020
【図１９】
2020182145.tif 000021
【図２０】
2020182145.tif 000022
【図２１】
2020182145.tif 000023
【図２２】
2020182145.tif 000024
【図２３】
2020182145.tif 000025
【図２４】
2020182145.tif 000026