(57)【要約】【課題】操作対象機器を遠隔から容易に操作可能とする。【解決手段】操作端末１からの要求により，撮像装置２は，室内映像撮影手段２１によって操作対象機器３の映像を撮影し，その映像と各操作対象機器３に対応した映像上の領域情報とを要求元の操作端末１へ送信する。操作端末１は，受信した映像を表示手段１３に表示する。操作手段１４により映像上の位置が入力されると，受信した領域情報に基づいて操作対象機器３を認識し，その操作対象機器３の操作パネル画像を表示手段１３に表示する。次に操作端末１は，操作手段１４による操作パネル画像の操作ボタン等の選択に基づき，選択された操作ボタン等に対応した操作対象機器３への制御信号を，伝送手段１００を介して操作対象機器３に送信する。【選択図】        図１
2004356803.tif 000002
【特許請求の範囲】
【請求項１】
制御信号受信手段により受信した制御信号に基づいて動作する操作対象機器を，遠隔地から操作する遠隔機器操作システムであって，
前記操作対象機器を遠隔操作する操作端末と，該操作端末と伝送手段を介して通信可能な撮像装置とを備え，
前記撮像装置は，
前記操作対象機器の映像を撮影する映像撮影手段と，
前記映像内に設定した前記操作対象機器に対応した領域の情報および該操作対象機器の識別情報を含む領域情報を記憶する記憶手段と，
前記映像撮影手段の撮影した映像および前記領域情報を前記操作端末に送信する遠隔地映像伝送手段とを備え，
前記操作端末は，
前記撮像装置から映像および領域情報を受信する映像受信手段と，
前記映像受信手段で受信した映像を表示する表示手段と，
前記表示手段の表示した映像の中の１点を選択入力する操作手段と，
前記操作対象機器に該操作対象機器を動作させる制御信号を送信する制御信号伝送手段と，
前記操作手段で入力された点が前記操作対象機器に対応した領域内であればその領域に対応する操作対象機器の各種操作指示を割り当てた領域を設定した操作画面を前記表示手段に表示し，前記操作手段で入力された点が前記操作指示に対応した領域内であればその領域に対応する操作指示に対応した制御信号を，前記領域に対応する操作対象機器に対して制御信号伝送手段により送信させる制御手段とを備える
ことを特徴とする遠隔機器操作システム。
【請求項２】
制御信号受信手段により受信した制御信号に基づいて動作する操作対象機器と，映像撮影手段で撮影した前記操作対象機器の映像とその映像内にあらかじめ設定した前記操作対象機器に対応した領域の情報および該操作対象機器の識別情報を含む領域情報とを送信する撮像装置とを有する遠隔機器操作システムにおいて前記操作対象機器を遠隔地から操作する操作端末であって，
前記撮像装置から映像および領域情報を受信する映像受信手段と，
前記映像受信手段で受信した映像を表示する表示手段と，
前記表示手段の表示した映像の中の１点を選択入力する操作手段と，
前記操作対象機器に該操作対象機器を動作させる制御信号を送信する制御信号伝送手段と，
前記操作手段で入力された点が前記操作対象機器に対応した領域内であればその領域に対応する操作対象機器の各種操作指示を割り当てた領域を設定した操作画面を前記表示手段に表示し，前記操作手段で入力された点が前記操作指示に対応した領域内であればその領域に対応する操作指示に対応した制御信号を，前記領域に対応する操作対象機器に対して制御信号伝送手段により送信させる制御手段とを備える
ことを特徴とする遠隔機器操作システムにおける操作端末。
【請求項３】
制御信号受信手段により受信した制御信号に基づいて動作する操作対象機器と，該操作対象機器の映像を表示した画面における点の選択入力操作によって該操作対象機器を遠隔地から操作する操作端末とを有する遠隔機器操作システムにおける撮像装置であって，
前記操作対象機器の映像を撮影する映像撮影手段と，
前記映像内に設定した前記操作対象機器に対応した領域の情報および該操作対象機器の識別情報を含む領域情報を記憶する記憶手段と，
前記操作端末からの要求により，前記映像撮影手段の撮影した映像および前記領域情報を要求元の操作端末に送信する遠隔地映像伝送手段とを備える
ことを特徴とする遠隔機器操作システムにおける撮像装置。
【請求項４】
請求項３に記載の遠隔機器操作システムにおける撮像装置において，
前記映像撮影手段の撮影した映像から移動する物体を検出するとともに，検出した移動物体が前記操作対象機器であった場合に，前記移動物体の移動先に前記操作対象機器に対応した領域を変更する移動検出手段を備える
ことを特徴とする遠隔機器操作システムにおける撮像装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は，遠隔地から機器を操作することができる遠隔機器操作システムに関し，特に，操作対象機器の映像を利用した遠隔機器操作システム，そのシステムにおける操作端末および撮像装置に関する。
【０００２】
【従来の技術】
従来，遠隔機器操作システムとして，自宅にある電気機器を電話回線を通して遠隔から操作するものが知られており，例えば，留守番電話装置を遠隔制御するものなどがある（例えば，特許文献ｌ参照）。
【０００３】
【特許文献１】
特開平９−２００３２９号公報
【０００４】
【発明が解決しようとする課題】
しかしながら，このような従来の遠隔機器操作システムにあっては，機器を制御するコマンドをＰＢ信号（０〜９，＃，＊）の組み合わせとして電話機から指示することにより遠隔制御するようになっており，これらコマンド毎のＰＢ信号の組み合わせを覚えておかなければならないため，特に遠隔操作に習熟していな者にとっては，使い勝手のよいものではなかった。
【０００５】
そこで，本発明は，上記従来技術の問題点を解決し，操作対象となる機器の操作パネルの画像を表示し，その画像上の操作ボタン等を操作させることにより，機器を遠隔から容易に操作することができるようにすることを目的とする。
【０００６】
【課題を解決するための手段】
上記課題を解決するため，第１の発明は，制御信号受信手段を有し，該制御信号受信手段で受信した制御信号に基づいて動作する操作対象機器を備え，該操作対象機器の映像を撮影する室内映像撮影手段と，前記映像内に設定した前記操作対象機器に対応した領域の情報および該操作対象機器の識別情報を含む領域情報を記憶しておく記憶手段と，前記室内映像撮影手段の撮影した映像および前記領域情報を送信する遠隔地映像伝送手段とを有する撮像装置を備え，前記撮像装置の送信する映像および領域情報を受信する映像受信手段と，該映像受信手段で受信した映像を表示する表示手段と，該表示手段の表示した映像の中の１点を選択入力する操作手段と，前記操作対象機器に前記制御信号を送信する制御信号伝送手段と，前記操作手段で入力された点が前記操作対象機器に対応した領域内であれば該領域に対応する操作対象機器の各種操作指示を割り当てた領域を設定した操作画面を前記表示手段に表示し，前記操作手段で入力された点が前記操作指示に対応した領域内であれば該領域に対応する操作指示に対応した制御信号を対応した操作対象機器に制御信号伝送手段により送信させる制御手段とを有する操作端末を備えることを特徴とする。
【０００７】
第１の発明では，映像により選択した機器の操作画面が表示され，操作画面の操作指示が割り当てられた領域を選択することで操作指示が機器に送信される。したがって，遠隔機器操作システムの使い勝手を向上させることができる。
【０００８】
第２の発明は，上記第１の発明の構成に加え，撮像装置が，前記室内映像撮影手段の撮影した映像から移動する物体を検出するとともに，検出した移動物体が前記操作対象機器であった場合に，該移動物体の移動先に該操作対象機器に対応した領域を変更する移動検出手段を備えることを特徴とする。
【０００９】
第２の発明では，操作対象機器の移動が検出され，移動先に該操作対象機器に対応する領域の割り付けが変更される。したがって，操作対象機器を移動しても割り付け領域の変更を手作業で行う必要がなく，手間を省くことができる。
【００１０】
【発明の実施の形態】
以下，本発明の実施の形態を図面を参照して説明する。図１は，本発明の一実施形態に係る遠隔機器操作システムの構成を示す図である。図１において，遠隔機器操作システムは，遠隔から機器を操作する操作端末ｌと，操作する機器のある室内を撮影して映像を操作端末１に送信する撮像装置２と，操作対象となるテレビ，照明，ドアなどの操作対象機器３（３ａ，３ｂ，３ｃ）とを備え，各装置は無線または有線による伝送手段１００を介して相互に通信できるようになっている。
【００１１】
操作端末１は，操作端末１の各部を制御して操作端末１としての機能を動作させる制御手段１１と，撮像装置２からの映像および該映像内の操作対象機器３の領域の割り当て情報である領域情報を受信する映像受信手段１２と，映像受信手段１２が受信した映像を表示する表示手段１３と，表示手段１３に表示された映像上のポインタなどの操作を入力して操作対象機器３への操作情報を入力する操作手段１４と，操作手段１４に入力された操作情報に基づいて各操作対象機器３に制御信号を送信する制御信号伝送手段１５と，各操作対象機器３に対応した操作パネルの画像や操作パネル上のボタン等に対応する制御信号などを記憶しておく記憶手段１６とを備えている。
【００１２】
撮像装置２は，室内の映像を撮影する室内映像撮影手段２１と，室内映像撮影手段２１の撮影した映像を監視し操作対象機器３の移動を検出して割り当て領域を変更する移動検出手段２２と，移動検出手段２２が出力する室内の映像および領域の割り当て情報である領域情報を操作端末１に送信する遠隔地映像伝送手段２３と，各操作対象機器３の領域の割り当て情報や各操作対象機器３の識別情報などを記憶しておく記憶手段２４とを備えている。
【００１３】
操作対象機器３（３ａ，３ｂ，３ｃ）は，該機器を操作するための信号を受信し，各部を制御して該操作を実行させる制御信号受信手段３１（３１ａ，３１ｂ，３１ｃ）を備えている。図１では，操作対象機器３ａは照明，操作対象機器３ｂはドア，操作対象機器３ｃはテレビを例に示している。
【００１４】
このような遠隔機器操作システムにおいて，撮像装置２の室内映像撮影手段２１で撮影した図２に示すような映像の中で，操作対象機器３ａ〜３ｃのそれぞれに対応した映像上の領域を，例えば図中Ａ〜Ｃの破線枠のように設定し，その設定情報を記憶手段２４に記憶しておく。例えば，図２においては，破線枠Ａの領域は操作対象機器３ａの照明に対応し，破線枠Ｂの領域は操作対象機器３ｂのドアに対応し，破線枠Ｃの領域は操作対象機器３ｃのテレビに対応する。
【００１５】
その後，操作端末１の制御手段１１が，映像受信手段１２により伝送手段１００を介して撮像装置２の遠隔地映像伝送手段２３に映像の送信を要求すると，遠隔地映像伝送手段２３は，移動検出手段２２に映像の出力を要求し，出力される室内映像撮影手段２１で撮影している現在の映像と，各操作対象機器３ａ〜３ｃの割り当て領域や識別情報などを含む領域情報とを，操作端末１の映像受信手段１２に伝送手段１００を介して送信する。
【００１６】
操作端末１の制御手段１１は，映像受信手段１２が撮像装置２からの映像および領域情報を受信すると，受信した映像を表示手段１３に表示するとともに領域情報を記憶手段１６に記憶する。
【００１７】
その後，ユーザによる操作手段１４の入力操作によって，表示手段１３に表示された映像上の操作対象機器３ａ〜３ｃの領域（図２のＡ〜Ｃの破線枠内）がポインタなどにより選択されると，制御手段１１は，選択された領域に対応した操作対象機器３の操作パネルの画像およびその画像上で割り付けられている操作ボタン等の割り付け領域の情報を記憶手段１６から読み出し，操作パネルの画像を表示手段１３に表示する。
【００１８】
例えば，図３（ａ）は選択された領域に対応した機器が，操作対象機器３ａの照明の場合の画像で，図３（ｂ）は操作対象機器３ｃのテレビの場合の画像である。図３（ａ）においては，照明のスイッチオンがＤの領域に，スイッチオフがＥの領域にそれぞれ割り付けられている。また，図３（ｂ）においては，電源オン／オフボタンがＦの領域に，チャンネル減少ボタンがＧの領域に，チャンネル増加ボタンがＨの領域にそれぞれ割り付けられている。
【００１９】
このような操作パネルの画像の操作ボタンやスイッチの領域内が，操作手段１４の操作によりポインタなどで選択されると，制御手段１１は，選択された操作ボタンやスイッチに対応した操作対象機器３への制御信号を記憶手段１６から読み出し，その操作対象機器３に制御信号伝送手段１５により送信する。例えば，操作対象機器３ｃのテレビの電源オン／オフボタン（Ｆの領域）が選択されると，電源をオン／オフする制御信号が制御信号伝送手段１５により操作対象機器３ｃの制御信号受信手段３１ｃに送信される。
【００２０】
操作対象機器３の制御信号受信手段３１は，制御信号を受信すると，受信した制御信号に基づいて操作対象機器３を動作させる，例えば，操作対象機器３ｃの制御信号受信手段３１ｃにおいて，電源をオン／オフする制御信号を受信すると，制御信号受信手段３１ｃは，電源スイッチを制御して電源オン状態であればオフ状態に，電源オフ状態であればオン状態にする。
【００２１】
このように，本実施の形態の遠隔機器操作システムによれば，遠隔から機器を操作パネルの画像を使って操作することができる。なお，操作パネルの画像は，撮像装置２から受信した映像の該当部分を拡大した画像でもよく，また，別にあらかじめ操作対象機器３ごとに用意された画像でもよい。
【００２２】
図４は，撮像装置２の記憶手段２４および操作端末１の記憶手段１６に記憶される情報の例を示す。図４（Ａ）は，図２および図３で説明した領域の情報を記憶する領域情報テーブルの例を示している。領域情報テーブルには，照明ａ，ドアｂ，テレビｃといった操作対象機器３の機器ＩＤごとに，撮影した映像における領域の座標情報が設定される。ここでは，領域の座標情報として，例えば照明ａの操作対象機器３ａの場合，矩形領域の左上隅の座標（ｘａｓ，ｙａｓ）と右下隅の座標（ｘａｅ，ｙａｅ）とが設定されている。この座標情報で示される領域が，図２に示すＡの領域を表す。
【００２３】
また，各操作対象機器３の操作指示の種類ごとに，それを識別する操作指示ＩＤとその操作指示ＩＤに対応する指示領域座標情報が設定される。例えば，照明をオンにすることを指示するａ１の操作指示ＩＤに対しては，指示領域座標情報として「（ｘａ１，ｙａ１）−（ｘａ２，ｙａ２）」の領域の情報が設定されているが，これは図３に示すＤの領域を表している。（ｘａ１，ｙａ１）は，Ｄの領域の左上隅の座標であり，（ｘａ２，ｙａ２）は，Ｄの領域の右下隅の座標である。もちろん，領域は必ずしも矩形領域でなくてもよい。
【００２４】
撮像装置２は，図４（Ａ）に示す領域情報テーブルを，映像とともに操作端末１へ送信するが，一度にすべての領域の情報を送信するのではなく，その都度，必要な部分だけを送信するようにしてもよい。
【００２５】
また，図４（Ｂ）は，操作端末２の制御信号伝送手段１５から各操作対象機器３へ送信する制御信号の情報が格納された制御信号情報テーブルの例を示している。制御信号情報テーブルには，各操作指示の種類を示す操作指示ＩＤごとに，制御信号伝送手段１５から制御信号受信手段３１へ送信する制御信号パターンデータ（もしくはコマンド）Ｓａ１，Ｓａ２，…が格納されている。これらの情報は，あらかじめ記憶手段１６に記憶しておくようにしてもよいし，必要なときに撮像装置２または各操作対象機器３から得て記憶しておくようにしてもよい。また，各制御信号受信手段３１が実際の制御信号パターンデータではなく，操作指示ＩＤを認識して動作できる場合には，制御信号情報テーブルは不要である。
【００２６】
さらに，撮像装置２の移動検出手段２２は，室内映像撮影手段２１の撮影している映像を監視し，オプティカルフローなどの手法を用いて室内の物体の移動を検出しており，移動を検出し，かつその移動元が操作対象機器３が割り付けられている領域であると，該物体の移動が終わる（停止する）のを検出し，移動が停止したときに，その移動先に操作対象機器３の割り付け領域も移動させ，記憶手段２４の領域の情報，すなわち図４（Ａ）に示す領域情報テーブルの領域座標情報を更新する。
【００２７】
例えば，図５に示すように，操作対象機器３ｃのテレビが移動した場合，Ｃの領域も移動させＣ’の領域を新たに操作対象機器３ｃの領域として記憶手段２４に記憶する。
【００２８】
その後，操作端末１の映像受信手段１２からの映像の送信要求を受信すると，遠隔地映像伝送手段２３は，移動検出手段２２の出力する現在の映像と更新された領域情報を映像受信手段１２に送信し，操作端末１の制御手段１１は，更新された領域情報に基づいて処理を行うので，移動した操作対象機器３の領域が操作手段１４によって選択されることにより，操作対象機器３の操作パネルの画像を表示し操作させることができる。
【００２９】
例えば，図５の場合，Ｃの領域が選択されても操作パネルは表示されず，移動先のＣ’の領域が選択されることで，操作対象機器３ｃの操作パネルを表示するようになる。
【００３０】
このように本発明の実施の形態においては，移動検出手段２２により操作対象機器３の移動を検出し，移動先にその操作対象機器３の領域を変更しているので，機器を移動した場合にも領域の変更を手作業で行う必要がなく，領域情報の再設定の手間を省くことができる。
【００３１】
【発明の効果】
本発明によれば，操作対象機器に対応した操作画面により操作指示を操作対象機器に送信して操作対象機器を操作することができ，遠隔機器操作システムの使い勝手を向上させることができる。また，移動検出手段により操作対象機器の移動を検出し，操作対象機器の割り付け領域を移動先に変更しているので，操作対象機器を移動しても割り付け領域の変更を手作業で行う必要がなく，手間を省くことができる。
【図面の簡単な説明】
【図１】遠隔機器操作システムの構成図である。
【図２】撮像装置が撮影した映像内での領域の割り付けを示す図である。
【図３】操作対象機器操作パネルの画像の例を示す図である。
【図４】撮像装置および操作端末の記憶手段に記憶される情報の例を示す図である。
【図５】操作対象機器の移動の例を示す図てある。
【符号の説明】
１    操作端末
２    撮像装置
３ａ，３ｂ，３ｃ  操作対象機器
１１  制御手段
１２  映像受信手段
１３  表示手段
１４  操作手段
１５  制御信号伝送手段
１６  記憶手段
２１  室内映像撮影手段
２２  移動検出手段
２３  遠隔地映像伝送手段
２４  記憶手段
３１ａ，３１ｂ，３１ｃ  制御信号受信手段
１００  伝送手段
【図１】
2004356803.tif 000003
【図２】
2004356803.tif 000004
【図３】
2004356803.tif 000005
【図４】
2004356803.tif 000006
【図５】
2004356803.tif 000007