(57)【要約】      （修正有）【課題】通常の家電機器などの電気機器に関する状況を遠隔において監視可能な電気機器監視システムを提供する。【解決手段】撮像対象に係る電気機器の比較用映像情報、当該電気機器における機器状況を表示する状況表示部位の映像情報、状況表示部位の映像に対応する機器状況情報が記憶されたデータベース１２〜１４を備え、カメラ１１により得られた映像情報とデータベースの情報に基づき電気機器を特定し、特定された機器情報に対応するデータベースの映像情報と、カメラにより得られた映像情報とに基づき状況表示部位を抽出し、抽出された状況表示部位の映像と、データベースの機器状況情報とを用いて、カメラにより映像情報が得られたときの対応電気機器の状況情報を検出し、サーバ２６により、得られた電気機器の状況情報をネットワーク３０を介して端末へ提供する。【選択図】図１
2009094603.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも１つの電気機器を撮像対象として映像情報を得るカメラと、
前記撮像対象に係る電気機器の比較用映像情報と、当該電気機器における機器状況を表示する状況表示部位の映像情報と、状況表示部位の映像に対応する機器状況情報が記憶されたデータベースと、
前記カメラにより得られた映像情報と前記データベースの比較用映像情報とに基づき電気機器を特定する機器特定手段と、
前記機器特定手段により特定された機器情報に対応するデータベース内に記憶された状況表示部位の映像情報と、前記カメラにより得られた映像情報とに基づき得られた映像中の状況表示部位を抽出する状況表示部位抽出手段と、
前記状況表示部位抽出手段により抽出された状況表示部位の映像と、データベース内に記憶された状況表示部位の映像に対応する機器状況情報とを用いて、前記カメラにより映像情報が得られたときの対応電気機器の状況情報を検出する検出手段と、
検出手段により得られた電気機器の状況情報をネットワークを介して端末へ提供するサーバと
を具備することを特徴とする電気機器監視システム。
【請求項２】
前記カメラにより得られた映像情報について、電気機器の向きと大きさをデータベースの情報に基づき正規化し、前記機器特定手段へ与える正規化手段を具備することを特徴とする請求項１に記載の電気機器監視システム。
【請求項３】
撮像対象に係る電気機器の機種情報がセットされる機器機種情報記憶部を備え、
機器特定手段、状況表示部位抽出手段及び検出手段は、前記機器機種情報記憶部の情報に基づきデータベースの情報を絞り込んでアクセスすることを特徴とする請求項１に記載の電気機器監視システム。
【請求項４】
検出手段により検出された電気機器の状況情報を時系列に並べて記憶する機器状況情報記憶部を有し、
サーバはこの機器状況情報記憶部の情報を端末へ提供することを特徴とする請求項１乃至３のいずれか１項に記載の電気機器監視システム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、屋内に設置された家電機器などの電気機器の状況を、屋内から離れた場所から知ることを可能とする電気機器監視システムに関するものである。
【背景技術】
【０００２】
従来の家電機器の状況を監視及び制御するために、電気機器にアダプタを接続し、ホームゲートウエイを介して通信可能としたものが知られている（特許文献１参照）。このシステムでは、電気機器が、自装置の状況をアダプタに送出する構成や、アダプタ側から到来する信号を受信して動作する構成を備える必要があり、通常の家電機器をそのまま使用できるものではない。
【特許文献１】特開２００６−２０３５１５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
本発明は上記のような従来の電気機器監視システムが有する問題点を解決するためになされたもので、その目的は、通常の家電機器などの電気機器に関する状況を遠隔において監視可能な電気機器監視システムを提供することである。
【課題を解決するための手段】
【０００４】
本発明に係る電気機器監視システムは、少なくとも１つの電気機器を撮像対象として映像情報を得るカメラと、前記撮像対象に係る電気機器の比較用映像情報と、当該電気機器における機器状況を表示する状況表示部位の映像情報と、状況表示部位の映像に対応する機器状況情報が記憶されたデータベースと、前記カメラにより得られた映像情報と前記データベースの比較用映像情報とに基づき電気機器を特定する機器特定手段と、前記機器特定手段により特定された機器情報に対応するデータベース内に記憶された状況表示部位の映像情報と、前記カメラにより得られた映像情報とに基づき得られた映像中の状況表示部位を抽出する状況表示部位抽出手段と、前記状況表示部位抽出手段により抽出された状況表示部位の映像と、データベース内に記憶された状況表示部位の映像に対応する機器状況情報とを用いて、前記カメラにより映像情報が得られたときの対応電気機器の状況情報を検出する検出手段と、検出手段により得られた電気機器の状況情報をネットワークを介して端末へ提供するサーバとを具備することを特徴とする。
【０００５】
本発明に係る電気機器監視システムは、前記カメラにより得られた映像情報について、電気機器の向きと大きさをデータベースの情報に基づき正規化し、前記機器特定手段へ与える正規化手段を具備することを特徴とする。
【０００６】
本発明に係る電気機器監視システムは、撮像対象に係る電気機器の機種情報がセットされる機器機種情報記憶部を備え、機器特定手段、状況表示部位抽出手段及び検出手段は、前記機器機種情報記憶部の情報に基づきデータベースの情報を絞り込んでアクセスすることを特徴とする。
【０００７】
本発明に係る電気機器監視システムは、検出手段により検出された電気機器の状況情報を時系列に並べて記憶する機器状況情報記憶部を有し、サーバはこの機器状況情報記憶部の情報を端末へ提供することを特徴とする。
【発明の効果】
【０００８】
本発明に係る電気機器監視システムは、カメラにより電気機器を撮像対象として映像情報を得て、電気機器映像のデータベースと比較して、電気機器を特定し、映像中の状況表示部位を抽出し、状況表示部位の映像に対応する機器状況情報とを用いて、カメラにより映像情報が得られたときの対応電気機器の状況情報を検出するので、特別な電気機器の構成を備えることなく現状電気機器の状況監視を行うことが可能である。
【０００９】
本発明に係る電気機器監視システムは、カメラにより得られた映像情報について正規化を行ってデータベースの情報と比較を行うので、適切な比較が可能となる。
【００１０】
本発明に係る電気機器監視システムは、撮像対象に係る電気機器の機種情報がセットされる機器機種情報記憶部を備え、機器特定手段、状況表示部位抽出手段及び検出手段は、前記機器機種情報記憶部の情報に基づきデータベースの情報を絞り込むので、処理の効率化を図り、高速な処理が可能である。
【００１１】
本発明に係る電気機器監視システムは、検出された電気機器の状況情報を時系列に並べて記憶するので、メンテナンスなどに役立てることができる。
【発明を実施するための最良の形態】
【００１２】
以下添付図面を参照して、本発明に係る電気機器監視システムの実施例を説明する。各図において、同一の構成要素には同一の符号を付して重複する説明を省略する。図１には、本発明に係る電気機器監視システムの実施例構成が示されている。この電気機器監視システムは、カメラ１１により、少なくとも１つの電気機器を撮像対象として映像情報を得る。この実施例では、機器映像データベース１２、状況表示部位データベース１３、機器状況情報データベース１４が備えられている。
【００１３】
機器映像データベース１２には、図２に示されるように、撮像対象に係る電気機器の比較用映像情報が記憶されている。ここでは、電気機器として冷蔵庫とテレビとについて示しているが、電子レンジ、ＶＴＲ、ＤＶＤレコーダ、照明器具など状況表示部位を備える各種電気機器についての比較用映像情報を記憶可能である。
【００１４】
機器映像データベース１２には、一種類の電気機器毎に幾つかの型番の電気機器の映像情報が、型番に対応して記憶されると共に、その電気機器の色情報及び寸法情報が記憶されている。図２の例では、電気冷蔵庫について１つの型番（ＡＢＣ１２３）に対応して記憶された情報と、テレビについて１つの型番（ＴＶＳ６７８）に対応して記憶された情報とが示されているが、複数の型番に対応して情報が記憶されている。また、映像情報として、正面の映像情報、正面から左に４５度旋回した映像情報、正面から右に４５度旋回した映像情報を記憶するものを例示している。
【００１５】
状況表示部位データベース１３には、電気機器における機器状況を表示する状況表示部位の映像情報が記憶されている。図３の例は、電気冷蔵庫について１つの型番（ＡＢＣ１２３）に対応して記憶された情報であり、状況表示部位５０として、二つのＬＥＤ５１、５２とＬＣＤ５３とを備える映像情報が、状況表示部位５０の位置情報と共に記憶されている。
【００１６】
上記において、位置情報に示されている右ｘｘ，下ｘｘは、図４に示すように、電気機器の状況表示部位５０が設けられた面Ｍの左上端部を原点として、右へｘｘセンチ，下へｘｘセンチ進んだ位置に、状況表示部位５０が設けられていることを示している。
【００１７】
また、図５の例では、テレビについて１つの型番（ＴＶＳ６７８）に対応して記憶された情報であり、状況表示部位として、二つのＬＥＤ６１、６２を備える映像情報が、状況表示部位の位置情報と共に状況表示部位データベース１３に記憶されている。状況表示部位データベース１３には、これら図３、図５に例示した以外の電気機器に関する状況表示部位の映像情報も記憶されている。
【００１８】
機器状況情報データベース１４は、状況表示部位の映像に対応する機器状況情報が記憶されたデータベースであり、図６に示すように、型番に対応して、状況表示部位に含まれるランプなどの色や点灯状態（点灯、消灯、点滅）更には、ＬＣＤによる表示にそれぞれ、対応する状況情報が記憶されている。
【００１９】
図６（ａ）は、電気冷蔵庫について１つの型番（ＡＢＣ１２３）に対応して記憶された情報であり、左のＬＥＤ５１が電源ランプであり、赤色の点灯は電源オンの状態を示し、黒色の消灯は電源オフを示すことが記憶され、中央のＬＥＤ５２が動作モードのランプであり、緑点灯が急速冷凍モードであり、青色点灯が通常モードを示し、黄色点灯が節電モードを示し、赤色点灯が異常状態を示すことが記憶され、右側のＬＣＤ５３の文字が庫内の温度を示すことが記憶されている。
【００２０】
図６（ｂ）は、テレビについて１つの型番（ＴＶＳ６７８）に対応して記憶された情報であり、上側のＬＥＤ６１が電源ランプであり、赤色の点灯は電源オンの状態を示し、黒色の消灯は電源オフを示すことが記憶され、上側のＬＥＤ６２が動作モードのランプであり、緑点灯がテレビモードであり、青色点灯が録画モードを示し、赤色点灯が異常状態を示すことが記憶されている。
【００２１】
更に、機器映像データベース１２には、図７に示されるように、カメラ１１により撮像された映像画面に存在する物体の寸法を算出するための長さ情報テーブルが記憶されている。カメラ１１により撮像された映像画面が図８のようであり、縦方向ｙに２５５ラインの走査線が存在し、ｘ軸と物体の輪郭がなす角度をθとすると、角度θに応じて各走査線間の長さがテーブル化されている。
【００２２】
例えば、角度θが９０で０ラインから２５５ラインまでの長さを持つ物体は、３５０センチ（３．５メートル）であり、図８に示すように、角度θ＝θ１で０ラインから１２０ラインまでの画面上で長さｌを持つ物体は、２５０センチである。線分において、角度θ対応の終点ラインのテーブル値から始点ラインのテーブル値を引き算して、長さを得ることができる。なお、右下がりの線分は、ｘ軸と平行な線となす鋭角を角度θとする。角度θが０のときには、ｘ方向の長さを表すもので、最大で５００センチ（５メートル）である。
【００２３】
図１における電気機器監視システムには、機器機種情報記憶部１５が設けられ、入力部１６と表示部１７を用いて、入力部１６から機種毎に型番を入力して、機器機種情報を記憶させることができる。例えば、機種が冷蔵庫については型番ＡＢＣ１２３を、機種がテレビについては型番ＴＶＳ６７８を、更に色の情報や各種機器の情報を記憶することができる。機器機種情報記憶部１５に記憶された機器機種情報は、映像正規化部２１、機器特定部２２、機器状況表示部位抽出部２３、機器状況検出部２４へ与えられ、この情報に基づきデータベースの情報を絞り込むことができ、処理の効率化を図り、高速な処理が可能とされている。
【００２４】
正規化手段である映像正規化部２１は、カメラ１１から出力された映像情報を受け取り、映像情報について、電気機器の向きと大きさを機器映像データベース１２の情報に基づき正規化し、機器特定部２２へ与えるものである。機器特定手段である機器特定部２２は、カメラ１１により得られた映像情報と機器映像データベース１２の比較用映像情報とに基づき電気機器を特定するものであり、結果は機器状況表示部位抽出部２３へ送られる。
【００２５】
状況表示部位抽出手段である機器状況表示部位抽出部２３は、特定された機器情報に対応する状況表示部位データベース１３内に記憶された状況表示部位の映像情報と、カメラ１１により得られた映像情報とに基づき得られた映像中の状況表示部位を抽出するものであり、抽出結果は機器状況検出部２４へ送られる。
【００２６】
検出手段である機器状況検出部２４は、抽出された状況表示部位の映像と、機器状況情報データベース１４内に記憶された状況表示部位の映像に対応する機器状況情報とを用いて、カメラ１１により映像情報が得られたときの対応電気機器の状況情報を検出するものである。
【００２７】
機器状況検出部２４の検出結果は、機器状況情報記憶部２５に時系列で記憶される。機器状況情報記憶部２５に接続されているサーバ２６は、ネットワーク３０に接続され、機器状況情報記憶部２５に記憶されている電気機器の状況情報をネットワーク３０を介して端末３１へ提供する。
【００２８】
以上の通りに構成された電気機器監視システムは、図９に示されているフローチャートに基づき例えば所定時間間隔（例えば、５分間隔）において動作を行うので、この動作を説明する。動作の前に、オペレータにより入力部１６から機種毎に型番が入力されて、機器機種情報が機器機種情報記憶部１５に記憶される。スタートとなり、カメラ１１による撮像が開始されて映像（１フレームの映像）の取得が行われ、映像正規化部２１が映像について輝度変化の大きな部分を境界として物体の切り出しを行い（Ｓ１１）、この切り出した物体の映像について、機器映像データベース１２内の図７に示した長さ情報テーブルを用いて大きさ情報を算出し、機器映像データベース１２内の寸法情報と比較し（Ｓ１２）、機器の寸法に概ね該当するか否かを検出する（Ｓ１３）。
【００２９】
即ち、図２に示す型番（ＡＢＣ１２３）の冷蔵庫に対応する寸法８０×６０×１８０に対応する物体か、図２に示す型番（ＴＶＳ６７８）のテレビに対応する寸法６０×５０×６０に対応する物体かなど全てとの比較を行う。上記ステップＳ１３において、該当するものがなければ、次の物体の切り出しを行い（Ｓ１４）、物体があることが確認されると（Ｓ１５）ステップＳ１２、Ｓ１３を繰り返す。
【００３０】
上記ステップＳ１３において、該当するものが検出されると、映像正規化部２１がカメラから送られた映像から切り出した機器映像の正規化を行う（Ｓ１６）。ここの正規化では、機器機種情報記憶部１５に設定された機器機種情報を用いて色や大きさ方向を、機器映像データベース１２内の三方向を向く映像に合わせて変更するなどが行われる。正規化された映像は、ステップＳ１３において概ね該当した機器の型番情報と共に機器特定部２２へ送られる。
【００３１】
機器特定部２２では、機器機種情報記憶部１５に設定された機器機種情報を用いて送られてきた型番情報と一致することを確認し、これに対応する機器映像データベース１２内の映像情報を取り出し、この映像情報と正規化された映像情報との比較（マッチング）を行い、機器形状の特定を行う（Ｓ１７）。ここでは、状況表示部位の映像を取り出しやすい形状・向きにして、当該機器の映像と型番情報を機器状況表示部位抽出部２３へ送る。
【００３２】
機器状況表示部位抽出部２３では、機器機種情報記憶部１５に設定された機器機種情報を用いて送られてきた型番情報と一致することを確認し、これに対応する状況表示部位データベース１３から位置情報を取り出し、これに基づき送られてきた映像から状況表示部位を切り出す（Ｓ１８）。
【００３３】
上記において切り出した状況表示部位と対応する状況表示部位データベース１３内の映像情報とのマッチングを行い、個々の状況表示部位を抽出する（Ｓ１９）。ここで、図３の例では、ＬＥＤ５１、５２、ＬＣＤ５３を取り出すことを意味し、図５の例では、ＬＥＤ６１、６２を取り出すことを意味する。抽出された個々の状況表示部位の映像は型番情報と共に、機器状況検出部２４へ送られる。
【００３４】
機器状況検出部２４では、機器機種情報記憶部１５に設定された機器機種情報を用いて送られてきた型番情報と一致することを確認し、ステップＳ１９に次いで、抽出した個々の状況表示部位について、画像認識し、色や文字などの情報を得る（Ｓ２０）。このステップＳ２０に次いで、上記認識結果を機器状況情報データベース１４の情報と比較し、状況情報を検出する（Ｓ２１）。
【００３５】
例えば、図３に示されるような状況表示部位５０が抽出され、ＬＥＤ５１が赤色点灯であり、ＬＥＤ５２が青色点灯であり、ＬＣＤ５３の文字が「２℃」である場合には、冷蔵庫について、電源オン、正常、庫内温度２℃が状況情報として検出される。また、図５に示されるような機器状況表示部位が抽出され、ＬＥＤ６１が赤色点灯であり、ＬＥＤ６２が青色点灯である場合には、テレビについて電源オン、録画モードが状況情報として検出される。
【００３６】
上記のようにステップＳ２１において電気機器の状況情報が検出されると、機器状況検出部は機器状況情報記憶部２５へ検出された状況情報を日付時刻情報と共に時系列に沿って記憶し（Ｓ２２）、ステップＳ１４へ進み、次の物体の切り出しを行い（Ｓ１４）、物体があることが確認されると（Ｓ１５）ステップＳ１２以降の処理を行う。ステップＳ１５において、次の物体候補が切り出されないことが検出されるとエンドとなる。
【００３７】
以上のような処理の結果、機器状況情報記憶部２５には、図１０に示すように、検出された状況情報が日付時刻情報と共に時系列に沿って記憶されることになる。上記監視対象の電気機器について状況を知りたい遠隔地にあるユーザは、図１に示されるように、パーソナルコンピュータや携帯電話機などの端末３１によりネットワーク３０を介してサーバ２６にアクセスして、電気機器の状況情報を取り出し表示することができる。このとき、サーバ２６は、図１１に示すフローチャートに対応するプログラムにより処理を行い、電気機器の状況情報を提供する。
【００３８】
即ち、端末３１からのアクセスを待っており（Ｓ３１）、アクセスを検出すると、機器状況情報記憶部２５から最新の状況情報を日付時刻情報と共に取り出し、端末３１において閲覧可能に提供し（Ｓ３２）、履歴情報へのスクロール指示を受けて（Ｓ３４）、状況情報を日付時刻情報と共にスクロールするようにして端末３１において閲覧可能に提供する（Ｓ３５）。また、切断監視を行っており（Ｓ３３、Ｓ３６）、切断検出によりエンドとなる。
【００３９】
以上のように本実施例により、家電機器などの電気機器に新な構成を付加することなく、遠隔から電気機器の状況監視を行うことができる。なお、本実施例において、カメラの旋回やズームを行う場合には、旋回角度とズーム比に対応させて図７に示したような長さ情報テーブルを用意し、旋回角度とズーム比に合わせて該当のテーブルを用いて寸法の計算を行うようにする。
【図面の簡単な説明】
【００４０】
【図１】本発明に係る電気機器状況監視システムの実施例を示すブロック図。
【図２】本発明に係る電気機器状況監視システムの実施例に用いられるデータベースに記憶された電気機器映像情報などの一例を示す図。
【図３】本発明に係る電気機器状況監視システムの実施例に用いられるデータベースに記憶された状況表示部位の映像情報などの一例を示す図。
【図４】本発明に係る電気機器状況監視システムの実施例に用いられるデータベースに記憶される位置情報に関する説明図。
【図５】本発明に係る電気機器状況監視システムの実施例に用いられるデータベースに記憶された状況表示部位の映像情報などの一例を示す図。
【図６】本発明に係る電気機器状況監視システムの実施例に用いられるデータベースに記憶された状況表示部位に対応する状況情報の一例を示す図。
【図７】本発明に係る電気機器状況監視システムの実施例に用いられるデータベースに記憶されたテーブルであり、撮像された映像画面に存在する物体の寸法を算出するための長さ情報テーブル内情報の一例を示す図。
【図８】図７における長さ情報テーブル内情報に関する説明のための図。
【図９】本発明に係る電気機器状況監視システムの実施例の動作を示すフローチャート。
【図１０】本発明に係る電気機器状況監視システムの実施例により、記憶された状況情報の一例を示す図。
【図１１】本発明に係る電気機器状況監視システムの実施例のサーバによる動作を示すフローチャート。
【符号の説明】
【００４１】
１１  カメラ
１２  機器映像データベース
１３  状況表示部位データベース
１４  機器状況情報データベース
１５  機器機種情報記憶部
１６  入力部
１７  表示部
２１  映像正規化部
２２  機器特定部
２３  機器状況表示部位抽出部
２４  機器状況検出部
２５  機器状況情報記憶部
２６  サーバ
３０  ネットワーク
３１  端末
５０  状況表示部位
【図１】
2009094603.tif 000003
【図２】
2009094603.tif 000004
【図３】
2009094603.tif 000005
【図４】
2009094603.tif 000006
【図５】
2009094603.tif 000007
【図６】
2009094603.tif 000008
【図７】
2009094603.tif 000009
【図８】
2009094603.tif 000010
【図９】
2009094603.tif 000011
【図１０】
2009094603.tif 000012
【図１１】
2009094603.tif 000013