(57)【要約】【課題】広範囲で機器の位置を特定できるとともに複数の機器の位置の特定を同時に行え、しかもこれらを低コストで実現できる機器位置特定装置を提供する。【解決手段】テレビ１０Ａ、エアコン１０Ｂ、コンポ１０Ｃ等の機器から送信される機器特定情報を蓄積する機器特定情報蓄積部３５と、前記各機器の動作状況を検知する機器動作検知部３４と、前記各機器を撮影する全方位カメラ２から出力される画像情報を蓄積する画像蓄積部３１と、機器特定情報蓄積部３５に蓄積された機器特定情報、機器動作検知部３４で検知された前記各機器の動作状況及び画像蓄積部３１に蓄積された画像情報に基づいて前記各機器の位置を特定する機器位置特定部３６と、を備える。【選択図】図１
2011175336.tif 000002
【特許請求の範囲】
【請求項１】
機器特定情報を蓄積する機器特定情報蓄積部と、
機器の動作状況を検知する機器動作検知部と、
少なくとも前記機器を撮影するカメラから出力される画像情報を蓄積する画像蓄積部と、
前記機器特定情報蓄積部に蓄積された前記機器特定情報、前記機器動作検知部で検知された前記機器の動作状況、及び前記画像蓄積部に蓄積された前記画像情報に基づいて前記機器の位置を特定する機器位置特定部と、
を備えた機器位置特定装置。
【請求項２】
前記機器位置特定部は、
前記機器動作検知部が検知した機器に対応する前記機器特定情報を前記機器特定情報蓄積部から取得し、取得した前記機器特定情報に基づいて前記画像蓄積部に蓄積された前記画像情報から前記機器の位置を特定する請求項１に記載の機器位置特定装置。
【請求項３】
前記機器位置特定部で特定された前記機器の位置を蓄積する機器位置蓄積部を更に備え、前記機器位置蓄積部に蓄積された前記機器の位置は、前記機器位置特定部の特定動作が任意のタイミングで再度行われることにより更新される請求項１に記載の機器位置特定装置。
【請求項４】
前記機器は、画像を表示する機能を有する画像表示機器であり、
前記機器特定情報は、前記画像表示機器の画面の変化や画面の色の情報を基に前記画像表示機器の位置を検出する方法を示す情報を含むものである請求項１又は請求項２に記載の機器位置特定装置。
【請求項５】
前記機器は、動作時に可動する部分を有する機器であり、
前記機器特定情報は、前記機器の可動部分の動きを基に前記機器の位置を検出する方法を示す情報を含むものである請求項１又は請求項２に記載の機器位置特定装置。
【請求項６】
前記機器特定情報は、人物の身体の一部が向いている方向を指定する情報を含むものである請求項１又は請求項２に記載の機器位置特定装置。
【請求項７】
機器特定情報を蓄積する機器特定情報蓄積ステップと、
機器の動作状況を検知する機器動作検知ステップと、
少なくとも前記機器を撮影するカメラから出力される画像情報を蓄積する画像蓄積ステップと、
前記機器特定情報蓄積ステップで蓄積された前記機器特定情報、前記機器動作検知ステップで検知された前記機器の動作状況、及び前記画像蓄積ステップで蓄積された前記画像情報に基づいて前記機器の位置を特定する機器位置特定ステップと、
を備えた機器位置特定方法。
【請求項８】
コンピュータに、
機器特定情報を蓄積する機器特定情報蓄積ステップ、
機器の動作状況を検知する機器動作検知ステップ、
少なくとも前記機器を撮影するカメラから出力される画像情報を蓄積する画像蓄積ステップ、
前記機器特定情報蓄積ステップで蓄積された前記機器特定情報、前記機器動作検知ステップで検知された前記機器の動作状況、及び前記画像蓄積ステップで蓄積された前記画像情報に基づいて前記機器の位置を特定する機器位置特定ステップ、
を実行させる機器位置特定プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ネットワークに接続されたテレビ、エアコン、コンポ等の家電機器を離れたところから一括操作できる住宅設備に用いて好適な機器位置特定装置に関する。
【背景技術】
【０００２】
従来、上述した住宅設備における家電機器の位置を特定する技術として、例えば特許文献１に記載されたものが知られている。この特許文献１には、発光手段を用いてネットワーク上の多数のネットワーク接続機器（以下、“機器”と呼ぶ）のそれぞれを特定する技術が記載されている。その処理の流れを以下に示す。
１．管理端末から機器の発光素子を発光させる。
２．発光を受光して位置を求める。
３．求めた位置と機器を関連付ける。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−１９８００９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した特許文献１に記載された従来技術には、以下に列記する課題がある。
１）機器の位置の特定に発光／受光の各素子を必要とするので、コスト高になる。
２）管理端末が受光可能な位置に発光素子がある必要があるので、機器の位置の特定可能な範囲が限られる。
３）発光の有無のみで位置を検出するので、複数の機器の特定を同時に行えない。
【０００５】
本発明は、係る事情に鑑みてなされたものであり、広範囲に機器の位置特定を行えるとともに、複数の機器の位置特定を同時に行え、しかも機器の位置特定を低コストで実現できる機器位置特定装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の機器位置特定装置は、機器特定情報を蓄積する機器特定情報蓄積部と、機器の動作状況を検知する機器動作検知部と、少なくとも前記機器を撮影するカメラから出力される画像情報を蓄積する画像蓄積部と、前記機器特定情報蓄積部に蓄積された前記機器特定情報、前記機器動作検知部で検知された前記機器の動作状況、及び前記画像蓄積部に蓄積された前記画像情報に基づいて前記機器の位置を特定する機器位置特定部と、を備えた。
【０００７】
上記構成によれば、カメラで撮影できる領域内にある機器の位置を特定することができる。また、カメラで機器の位置を検出するので、複数の機器の特定を同時に行うことができる。また、機器に位置特定のための手段（前述した従来技術では“発光素子”）を設ける必要がないので、コストの低減が図れる。
【０００８】
上記構成において、前記機器位置特定部は、前記機器動作検知部が検知した機器に対応する前記機器特定情報を前記機器特定情報蓄積部から取得し、取得した前記機器特定情報に基づいて前記画像蓄積部に蓄積された前記画像情報から前記機器の位置を特定する。
【０００９】
上記構成によれば、取得した機器特定情報に基づいて画像蓄積部に蓄積された画像情報から機器の位置を特定するので、カメラで撮影できる領域内にある機器の位置を特定することができる。
【００１０】
上記構成において、前記機器位置特定部で特定された前記機器の位置を蓄積する機器位置蓄積部を更に備え、前記機器位置蓄積部に蓄積された前記機器の位置は、前記機器位置特定部の特定動作が任意のタイミングで再度行われることにより更新される。
【００１１】
上記構成によれば、各機器の位置を機器位置特定部の特定動作が任意のタイミングで再度行われることにより更新するので、常に最新の機器位置情報を蓄積しておくことができ、機器の誤認識や誤操作が生じることがない。
【００１２】
上記構成において、前記機器は、画像を表示する機能を有する画像表示機器であり、前記機器特定情報は、前記画像表示機器の画面の変化や画面の色情報とこれらの情報を基に前記画像表示機器の位置を検出する方法を示す情報を含むものである。
【００１３】
上記構成によれば、テレビ等の画像表示機器の特有の情報を基に確実に該機器の位置を特定することができる。
【００１４】
上記構成において、前記機器は、動作時に可動する部分を有する機器であり、前記機器特定情報は、前記機器の可動部分の動きと該可動部分の動きを基に前記機器の位置を検出する方法を示す情報を含むものである。
【００１５】
上記構成によれば、エアコン等の可動部分（ルーバー等）を有する機器の該可動部分の動きを基に確実に該機器の位置を特定することができる。
【００１６】
上記構成において、前記機器特定情報は、人物の動きと少なくとも前記人物の身体の一部が向いている方向を指定する情報を含むものである。
【００１７】
上記構成によれば、人物が操作を行おうとしている機器の位置を確実に特定することができる。
【００１８】
本発明の機器位置特定方法は、機器特定情報を蓄積する機器特定情報蓄積ステップと、機器の動作状況を検知する機器動作検知ステップと、少なくとも前記機器を撮影するカメラから出力される画像情報を蓄積する画像蓄積ステップと、前記機器特定情報蓄積ステップで蓄積された前記機器特定情報、前記機器動作検知ステップで検知された前記機器の動作状況、及び前記画像蓄積ステップで蓄積された前記画像情報に基づいて前記機器の位置を特定する機器位置特定ステップと、を備えた。
【００１９】
上記方法によれば、カメラで撮影できる領域内にある機器の位置を特定することができる。また、カメラで機器の位置を検出するので、複数の機器の特定を同時に行うことができる。また、機器に位置特定のための手段（前述した従来技術では“発光素子”）を設ける必要がないので、コストの低減が図れる。
【００２０】
本発明の機器位置特定プログラムは、コンピュータに、機器特定情報を蓄積する機器特定情報蓄積ステップ、機器の動作状況を検知する機器動作検知ステップ、少なくとも前記機器を撮影するカメラから出力される画像情報を蓄積する画像蓄積ステップ、前記機器特定情報蓄積ステップで蓄積された前記機器特定情報、前記機器動作検知ステップで検知された前記機器の動作状況、及び前記画像蓄積ステップで蓄積された前記画像情報に基づいて前記機器の位置を特定する機器位置特定ステップ、を実行させる。
【００２１】
上記プログラムによれば、カメラで撮影できる領域内にある機器の位置を特定することができる。また、カメラで機器の位置を検出するので、複数の機器の特定を同時に行うことができる。また、機器に位置特定のための手段（前述した従来技術では“発光素子”）を設ける必要がないので、コストの低減が図れる。
【発明の効果】
【００２２】
本発明は、広範囲に機器の位置特定を行えるとともに、複数の機器の位置特定を同時に行え、しかも機器の位置特定を低コストで実現できる。
【図面の簡単な説明】
【００２３】
【図１】本発明の一実施の形態に係る機器位置特定装置の概略構成を示すブロック図
【図２】図１の機器位置特定装置を住宅に設置した一例を示す模式図
【図３】図１の機器位置特定装置のネットワークにテレビを接続したときのテレビとサーバとの間の処理を示すシーケンス図及びテレビの機器特定情報と機器特定情報蓄積部の中身の一例を示す図
【図４】図１の機器位置特定装置の機器位置蓄積部に蓄積された機器位置情報の一例を示す図
【図５】図１の機器位置特定装置によるテレビの位置特定を模式的に示した図
【図６】図５に示す処理を詳細に示すシーケンス図
【図７】図１の機器位置特定装置によるエアコンの位置特定を模式的に示した図
【図８】図１の機器位置特定装置によるコンポの位置特定を模式的に示した図
【図９】図１の機器位置特定装置の機器位置蓄積部に蓄積されたジェスチャーによる位置検知結果の一例を示す図であり、（ａ）は１回目の位置検知結果、（ｂ）は２回目の位置検知結果
【図１０】図９の位置推定結果の５００×５００画像内での位置を示す図
【発明を実施するための形態】
【００２４】
以下、本発明を実施するための好適な実施の形態について、図面を参照して詳細に説明する。
【００２５】
図１は、本発明の一実施の形態に係る機器位置特定装置の概略構成を示すブロック図である。同図において、本実施の形態の機器位置特定装置１は、全方位カメラ２と、全方位カメラ２で撮影された機器の画像を含む画像情報に基づいて各機器の位置を特定するサーバ３とを備えている。なお、本実施の形態では、位置特定対象とする機器を、テレビ、エアコン、コンポ等の家電機器とするが、これらを単に“機器”と呼称する。カメラとサーバと機器はネットワーク（有線・無線）を通じて接続されている。
【００２６】
全方位カメラ２は、水平方向３６０度、垂直方向約１２０度の全方位を撮影して画像情報を出力する。サーバ３は、画像蓄積部３１と、人物検出部３２と、ジェスチャー検出部３３と、機器動作検知部３４と、機器特定情報蓄積部３５と、機器位置特定部３６と、機器位置蓄積部３７と、機器位置更新部３８と、機器操作判定部３９と、機器操作部４０とを備えて構成される。
【００２７】
画像蓄積部３１は、少なくとも機器を撮影する全方位カメラ２から出力された画像情報を蓄積する。人物検出部３２は、画像蓄積部３１に蓄積された画像情報を背景差分処理により人物領域を抽出し、抽出した人物領域をテンプレートマッチングにより人物を検出する。ジェスチャー検出部３３は、人物検出部３２で検出された人物のジェスチャーすなわち身振り手振りを検出する。機器動作検知部３４は、機器１０の動作状況を検知する。機器１０は操作が行われた場合や一定時間ごとに機器動作検知部３４に機器の状態や操作内容を通知することで、例えば、機器１０の電源がオン状態になっているか、オフ状態になっているかを検知する。
【００２８】
機器特定情報蓄積部３５は、予め機器１０から送信される機器特定情報を蓄積する。機器特定情報として、以下に列記するものが挙げられる。
（１）機器の形状、色情報
（２）機器動作時の可視情報（照明、表示ＬＥＤ（発光ダイオード）、画面等）の変化
（３）機器動作時の稼働部分（エアコンのルーバー、ＣＤやＤＶＤのトレー等）の変化
（４）人の動き情報（顔向き、リモコン操作時、スイッチ操作時の腕の向き等）
（５）機器動作時の音声情報（ラジオの音等）
機器特定情報は、機器１０をサーバ３に接続した時に該機器１０からサーバ３に送信されて、機器特定情報蓄積部３５に蓄積される。なお、機器１０は、種別（テレビ、エアコン、コンポ等）のみをサーバ３に伝えて、サーバ３はデータベース（図示略）から機器特定情報を取得するようにしてもよい。このようにすることで、機器１０側の構成を簡略化できる。
【００２９】
図２は、本実施の形態の機器位置特定装置１を住宅１００に設置した一例を示す模式図である。同図に示す住宅１００には、テレビ１０Ａ、エアコン１０Ｂ、コンポ１０Ｃ及び照明器具１０Ｄ等の機器がある。これらの機器１０Ａ〜１０Ｄはネットワークに接続されたＨＵＢ（集線装置）４を介してサーバ３に接続されている。各機器１０Ａ〜１０Ｄをネットワーク（ＮＷ）に接続することによって、各機器１０Ａ〜１０Ｄから機器特定情報がサーバ３に送信される。すなわち、テレビ１０Ａからはこれに関する機器特定情報がサーバ３に送信され、エアコン１０Ｂからはこれに関する機器特定情報がサーバ３に送信され、コンポ１０Ｃからはこれに関する機器特定情報がサーバ３に送信され、照明機器１０Ｄからはこれに関する機器特定情報がサーバ３に送信される。なお、図２中の符号５はユーザ（又は人物）を示す。
【００３０】
図３は、機器位置特定装置１のネットワークにテレビ１０Ａを接続したときのテレビ１０Ａとサーバ３との間の処理を示すシーケンス図及びテレビ１０Ａの機器特定情報と機器特定情報蓄積部３５の中身の一例を示す図である。同図において、ユーザ５がテレビ１０Ａを機器位置特定装置１のネットワークに接続すると、テレビ１０Ａが自身の機器特定情報をサーバ３へ送信する。サーバ３はテレビ１０Ａから送信された機器特定情報を受信すると、該機器特定情報に管理用ＩＤ（例えばＴＶ００１）を付与して自身の機器特定情報蓄積３５に蓄積する。その後、テレビ１０Ａに管理用ＩＤを通知する。図３に示すように、機器特定情報蓄積部３５には、テレビ１０Ａからの機器特定情報より以前に受信したエアコン１０Ｂの機器特定情報が蓄積されている。このエアコン１０Ｂには管理用ＩＤとしてＡＣ００１が付与されている。
【００３１】
テレビ１０Ａの機器特定情報は、「家電種別」と「位置検出情報」と「位置検出方法」から構成され、家電種別は「テレビ」、位置検出情報は「画面の変化、画面の色・輝度情報」、位置検出方法は「フレーム間差分」となっている。位置検出方法の判定方法には２つの基準を設けており、基準１は電源オン通知前後の各０．５秒間の合計１秒を利用し、基準２は電源オフ通知前後の各０．５秒間の合計１秒を利用する。
【００３２】
図１に戻り、機器位置特定部３６は、機器特定情報蓄積部３５に蓄積された機器特定情報、機器動作検知部３４で検知された機器１０の動作状況及び画像蓄積部３１に蓄積された画像情報に基づいて機器１０の位置を特定する。機器位置蓄積部３７は、機器位置特定部３６で特定された機器１０の位置を機器位置情報として蓄積する。図４は、機器位置蓄積部３７に蓄積された機器位置情報の一例を示す図である。同図に示す例では、エアコン１０Ｂ（ＩＤ＝ＡＣ００１）とテレビ１０Ａ（ＩＤ＝ＴＶ００１）の機器位置情報が蓄積されている。この例では、機器位置を５００×５００の画像内での位置としており、エアコン１０Ｂの位置は（２０，４００）、テレビ１０Ａの位置は（１００，２００）となっている。動作は、エアコン１０Ｂでは「人物に直接風を当てない」、テレビ１０Ａでは「近づいたら電源ＯＮ」となっている。位置情報の最終検出時は、エアコン１０Ｂでは「２００９／１１／１２、１９：１５：１５」、テレビ１０Ａでは「２００９／４／４、１４：１３：４３」となっている。
【００３３】
図１に戻り、機器位置更新部３８は、機器位置特定部３６による特定動作が任意のタイミングで再度行われることにより機器位置蓄積部３７に蓄積された機器位置情報を更新する。この場合、機器によって更新頻度を変えるようにしてもよい（例えば、エアコン１０Ｂは１年おき、扇風機は１日おきなど）。なお、他の機器に変化があった場合は模様替えを考慮して機器位置の再検知をするようにしてもよい。機器操作判定部３９は、人物検出部３２で人物が検出されたときに、機器位置蓄積部３７に蓄積されている機器位置情報と人物位置を比較し、機器の操作が必要か否かを判定する。機器操作部４０は、機器操作判定部３９で機器操作が必要と判定された機器１０の操作を行う。例えば、エアコンのそばに人物が検出された場合には、検出された人物に風が直接当たらないように送風方向を制御する。
【００３４】
次に、本実施の形態の機器位置特定装置１の動作について説明する。図５は、機器位置特定装置１によるテレビ１０Ａの位置特定を模式的に示した図である。同図において、ユーザ５がテレビ１０Ａを機器位置特定装置１のネットワークに接続すると、テレビ１０Ａがサーバ３との間で通信を行い、自身の機器特定情報を送信する。この機器特定情報は、機器名：テレビ、位置検出情報：画面の変化及び画面の色や輝度情報、位置検出方法：フレーム間差分（１秒）及び色判定から構成される。なお、この図に示す位置検出方法は図３に示す位置検出方法を簡略化して記載したものである。
【００３５】
機器特定情報蓄積部３５はテレビ１０Ａから送信された機器特定情報を受信して蓄積する。テレビ１０Ａから機器特定情報が送信された後、ユーザ５がテレビ１０Ａの電源をＯＮすることで、機器動作検知部３４がテレビ１０Ａの電源がＯＮになったことを検知し、機器位置特定部３６に通知する。画像蓄積部３１にはテレビ１０Ａの画像情報を含む全方位を撮影して得られた画像情報が蓄積されており、機器位置特定部３６は画像蓄積部３１に蓄積されている画像情報から機器特定情報蓄積部３５に蓄積されたテレビ１０Ａの機器特定情報を基にテレビ１０Ａの検出方法を決定する。この際、テレビ１０Ａか否かは蓄積された画像情報のフレーム間差分（１秒）を取り、画像情報の色や輝度の変化から判断する。このようにして、テレビ１０Ａの検出領域を検出すると、検出した検出領域とテレビ１０Ａとを対応付けて、テレビ１０Ａの位置を特定する。そして、特定したテレビ１０Ａの位置を機器位置蓄積部３７に蓄積する。
【００３６】
ここで、例えばテレビの電源がＯＮになった際に部屋の中を人物が歩いていた場合にはフレーム間差分をとると複数の変化（テレビの電源ＯＮと人物の移動）が検出される。このような場合でも、機器特定情報から、テレビの電源ＯＮ時には輝度が明るくなるという変化であることが分かるので、検出された変化がテレビなのか人物なのかの区別をすることができる。
【００３７】
図６は、上記処理を詳細に示すシーケンス図である。同図において、ユーザ５がテレビ１０Ａの電源をＯＮする。これによりテレビ１０Ａが画面を表示するとともに電源をＯＮしたことをサーバ３に通知する（テレビ１０Ａの機器ＩＤはＴＶ００１）。サーバ３は、全方位カメラ２から一定時間毎に送信される画像を受信して蓄積しており、その間にテレビ１０Ａより電源ＯＮの通知を受けると、テレビ１０Ａの機器特定情報を検索し、該当する機器特定情報があれば、既に蓄積している時刻ｔ１（通知の０．５秒前）〜時刻ｔ２（通知の０．５秒後）の画像を取得する。当該画像の取得後、テレビ１０Ａの機器特定情報に含まれる位置検出方法に従い、基準１（電源ＯＮ時）に基づいてテレビ１０Ａの位置を検出する。そして、検出したテレビ１０Ａの位置すなわち機器位置情報を機器位置蓄積部３７に蓄積する。その後、テレビ１０Ａに対して機器の位置を特定したことを通知する。
【００３８】
一旦、テレビ１０Ａの位置が特定されれば、例えば翌日、ユーザ５がテレビ１０Ａに近づくと、サーバ３は全方位カメラ２からの画像より人物の位置を検出し、機器位置蓄積部３７を参照してテレビ１０Ａの位置と人物位置を比較し、比較結果が、当該人物がテレビ１０Ａの電源をＯＮするであると想定できるものであれば、機器ＩＤ＝ＴＶ００１に電源ＯＮを通知する。この通知によりテレビ１０Ａは自身の電源をＯＮして画面を表示する。
【００３９】
このように、テレビ１０Ａの機器特定情報と、テレビ１０Ａの動作状況と、テレビ１０Ａの画像を含む全方位カメラ２からの画像情報とに基づいてテレビ１０Ａの位置を特定し、テレビ１０Ａの位置を特定した後、全方位カメラ２からの画像情報より人物を検出した場合で、当該人物とテレビ１０Ａの位置とを比較して、当該人物がテレビ１０Ａに近づいていると判断すると、テレビ１０Ａの電源をＯＮにする。
【００４０】
次に、図７は、機器位置特定装置１によるエアコン１０Ｂの位置特定を模式的に示した図である。同図において、ユーザ５がエアコン１０Ｂを機器位置特定装置１のネットワークに接続すると、エアコン１０Ｂがサーバ３との間で通信を行い、自身の機器特定情報を送信する。この機器特定情報は、機器名：エアコン、位置検出情報：ルーバーの動き、位置検出方法：フレーム間差分（１０秒間）から構成される。
【００４１】
機器特定情報蓄積部３５はエアコン１０Ｂから送信された機器特定情報を受信して蓄積する。エアコン１０Ｂから機器特定情報が送信された後、ユーザ５がエアコン１０Ｂの電源をＯＮすることで、機器動作検知部３４がエアコン１０Ｂの電源がＯＮになったことを検知し、機器位置特定部３６に通知する。画像蓄積部３１にはエアコン１０Ｂの画像情報を含む全方位を撮影して得られた画像情報が蓄積されており、機器位置特定部３６は画像蓄積部３１に蓄積されている画像情報から機器特定情報蓄積部３５に蓄積されたエアコン１０Ｂの機器特定情報を基にエアコン１０Ｂの検出方法を決定する。すなわち、フレーム間差分（１０秒間）を用いてエアコン１０Ｂの検出領域を検出する。この際、エアコン１０Ｂか否かはエアコン１０Ｂのルーバー１０Ｂｒの動きから判断する。機器特定情報にはルーバー１０Ｂｒの動きとして、例えば周期的な動きであることが記述されている。そこで機器位置特定部３６は電源ＯＮ後の１０秒間の画像から周期的な動きをしている領域を求めそこにエアコンがあることを検出する。このようにしてエアコン１０Ｂの検出領域を検出できると、検出した検出領域とエアコン１０Ｂとを対応付けて、エアコン１０Ｂの位置を特定する。そして、特定したエアコン１０Ｂの位置を機器位置蓄積部３７に蓄積する。このエアコン１０Ｂでの処理の詳細も図６のシーケンス図で示す処理と略同様になる。
【００４２】
次に、図８は、機器位置特定装置１によるコンポ１０Ｃの位置特定を模式的に示した図である。同図において、ユーザ５がコンポ１０Ｃを機器位置特定装置１のネットワークに接続すると、コンポ１０Ｃがサーバ３との間で通信を行い、自身の機器特定情報を送信する。この機器特定情報は、機器名：コンポ、位置検出情報：人の動き、位置検出方法：腕の向いている方向から構成される。
【００４３】
機器特定情報蓄積部３５はコンポ１０Ｃから送信された機器特定情報を受信して蓄積する。コンポ１０Ｃから機器特定情報が送信された後、ユーザ５がコンポ１０Ｃのリモコン１０Ｃｒを操作してコンポ１０Ｃの電源をＯＮすることで、機器動作検知部３４がコンポ１０Ｃの電源がＯＮになったことを検知し、機器位置特定部３６に通知する。画像蓄積部３１にはコンポ１０Ｃの画像情報を含む全方位を撮影して得られた画像情報が蓄積されており、機器位置特定部３６は画像蓄積部３１に蓄積されている画像情報から機器特定情報蓄積部３５に蓄積されたコンポ１０Ｃの機器特定情報を基にコンポ１０Ｃの検出方法を決定する。すなわち、電源ＯＮになったタイミングの前後の画像に対して人物検出部３２による人物検出と、ジェスチャー検出部３３による人物のジェスチャー認識を行い、コンポ１０Ｃの検出領域を検出する。この際、コンポ１０Ｃか否かはリモコン１０Ｃｒを持った人の動きから判断し、また腕の向いている方向にコンポ１０Ｃがあると判断する。このようにしてコンポ１０Ｃの検出領域を検出できると、検出した検出領域とコンポ１０Ｃとを対応付けてコンポ１０Ｃの位置を特定する。そして、特定したコンポ１０Ｃの位置を機器位置蓄積部３７に蓄積する。
【００４４】
このように、コンポ１０Ｃの位置検出は人物検出とジェスチャー認識とにより行う。図７の場合は、検出した人物が腕を向けるというジェスチャーを行うことで、そのジェスチャーを認識し、腕の向いている方向に検出領域があり、その検出領域とコンボ１０Ｃを対応付ける。
【００４５】
ここで、コンポ１０Ｃの位置特定を詳細に説明する。図９は、機器位置蓄積部３７に蓄積されたジェスチャーによる位置検知結果の一例を示す図であり、（ａ）は１回目の位置検知結果、（ｂ）は２回目の位置検知結果である。また、図１０は図９の位置推定結果の５００×５００画像内での位置を示す図である。コンポ１０Ｃの機器ＩＤは「ＡＵ００１」、動作は「人との距離に応じて音量調整」である。１回目の検出結果は、始点（２４０，２５０）、方向（２，１）であり、推定できる機器位置（３７０，３１５）は、人物（始点：２４０，２５０）から人物の腕の方向（２，１）に延ばした線分の画像端との中点Ｐ１である。２回目の検出結果は、始点（４００，１５０）、方向（０，１）であり、１回目の線分と２回目の線分との交点Ｐ２を機器位置（４００，３３０）と推定する。３回目以降はより交点に近い点を推定していく。さらに、一定時間過去のデータは捨てる・重み付けを低くするなどしてもよい。ここでは簡単のために線分を用いた推定を行ったが、全周囲画像の歪みを考慮してパノラマ展開後の画像を用いた推定を行ってもよい。
【００４６】
なお、リモコンによる操作の例を説明したが、機器本体のスイッチを直接操作するタイプの機器については、人物が本体のスイッチを直接操作するジェスチャーを認識してもよい。その場合には、腕のむいている方向ではなく手の先端部分を機器位置と推定すればよい。リモコンと機器本体のスイッチの両方の機能を持つ機器の場合には、機器は機器が操作された際にリモコンによる操作なのか機器本体のスイッチを直接操作したものかという情報も合わせて機器動作検知部に送信することで、機器位置特定部は推定方法を切り替えることができる。
【００４７】
図９では、「動作」が「人の距離に応じて音量調整」であるので、コンポ１０Ｃの位置を特定した後、機器操作判定部３９が全方位カメラ２からの画像情報に基づいて人（ユーザ５）とコンポ１０Ｃの位置との間の距離を測定し、測定した距離に対応する音量を設定するために機器操作部４０に指令を与える。機器操作部４０は機器操作判定部３９からの指令に従いコンポ１０Ｃの音量を設定する。
【００４８】
このように本実施の形態の機器位置特定装置１によれば、テレビ１０Ａ、エアコン１０Ｂ、コンポ１０Ｃ等の機器から送信される機器特定情報を蓄積する機器特定情報蓄積部３５と、テレビ１０Ａ、エアコン１０Ｂ、コンポ１０Ｃ等の機器の動作状況を検知する機器動作検知部３４と、テレビ１０Ａ、エアコン１０Ｂ、コンポ１０Ｃ等の機器を撮影する全方位カメラ２から出力される画像情報を蓄積する画像蓄積部３１と、機器特定情報蓄積部３５に蓄積された機器特定情報、機器動作検知部３４で検知されたテレビ１０Ａ、エアコン１０Ｂ、コンポ１０Ｃ等の機器の動作状況、及び画像蓄積部３１に蓄積された画像情報に基づいてテレビ１０Ａ、エアコン１０Ｂ、コンポ１０Ｃ等の機器の位置を特定する機器位置特定部３６と、を備えたので、全方位カメラ２で撮影できる領域内にあるテレビ１０Ａ、エアコン１０Ｂ、コンポ１０Ｃ等の全ての機器１０の位置を特定することができる。また、全方位カメラ２でテレビ１０Ａ、エアコン１０Ｂ、コンポ１０Ｃ等の機器１０の位置を検出し、機器特定情報に基づいて位置を検出するので、画像変化が同時に複数個所で検出された場合でも機器特定情報に基づいて各変化がどの機器に対応するかを求めることができるため複数の機器１０の特定を同時に行うことができる。また、テレビ１０Ａ、エアコン１０Ｂ、コンポ１０Ｃ等の機器に位置特定のための手段（前述した従来技術では“発光素子”）を設ける必要がないため、コストの低減が図れる。
【００４９】
また、機器位置特定部３６で特定されたテレビ１０Ａ、エアコン１０Ｂ、コンポ１０Ｃ等の機器の位置を蓄積する機器位置蓄積部３７と、機器位置蓄積部３７に蓄積されたテレビ１０Ａ、エアコン１０Ｂ、コンポ１０Ｃ等の機器の位置を、機器位置特定部３６の特定動作が任意のタイミングで再度行われることにより更新する機器位置更新部３８とを備えたので、常に最新の機器位置情報を蓄積しておくことができ、機器の誤認識や誤操作が生じることがない。
【００５０】
また、機器によって更新タイミングを変えてもよい。例えば、エアコンのような設置後に位置が変わる可能性の低いものは１年ごとの検出にする。これにより、認識処理の回数を低減することが可能となる。
【００５１】
なお、上記実施の形態では、コンポ１０Ｃの位置検出方法として、ユーザ５の腕の向いている方向としたが、このような検出方法はコンポ１０Ｃに限定されるものではなく、テレビ１０Ａでもエアコン１０Ｂにも同様に用いることができる。この逆も可能であり、テレビ１０Ａやエアコン１０Ｂにコンポ１０Ｃの位置検出方法を用いることもできる。前述した図５〜図８で説明した位置検出方法はあくまでも一つの形態であり、限定されるものではない。
【産業上の利用可能性】
【００５２】
本発明は、広範囲に機器の位置特定を行えるとともに、複数の機器の位置特定を同時に行え、しかも機器の位置特定を低コストで実現できるといった効果を有し、ネットワークに接続されたテレビ、エアコン、コンポ等の家電機器を離れたところから一括操作できる住宅設備への適用が可能である。
【符号の説明】
【００５３】
１  機器位置特定装置
２  全方位カメラ
３  サーバ
４  ＨＵＢ
５  ユーザ（人物）
１０  機器
１０Ａ  テレビ
１０Ｂ  エアコン
１０Ｂｒ  ルーバー
１０Ｃ  コンポ
１０Ｃｒ  リモコン
３１  画像蓄積部
３２  人物検出部
３３  ジェスチャー検出部
３４  機器動作検知部
３５  機器特定情報蓄積部
３６  機器位置特定部
３７  機器位置蓄積部
３８  機器位置更新部
３９  機器操作判定部
４０  機器操作部
【図１】
2011175336.tif 000003
【図２】
2011175336.tif 000004
【図３】
2011175336.tif 000005
【図４】
2011175336.tif 000006
【図５】
2011175336.tif 000007
【図６】
2011175336.tif 000008
【図７】
2011175336.tif 000009
【図８】
2011175336.tif 000010
【図９】
2011175336.tif 000011
【図１０】
2011175336.tif 000012