(57)【特許請求の範囲】
【請求項１】
テレビ電話端末機と、電話回線網を介してテレビ電話端末機と通信可能な制御機器とを備え、テレビ電話端末機から制御機器へ送信されてきた操作情報に基づいて、制御機器が電子機器を制御する遠隔制御システムであって、
テレビ電話端末機は、キー入力手段と、表示手段と、電子機器を操作するための操作情報に対応付けられた複数個の分割領域を備えた映像パターン素材を記憶した記憶手段と、キー入力手段からの指示に基づき映像パターン素材中の特定の分割領域を特徴付けて映像パターンを生成する映像パターン生成手段と、映像パターンを含む映像データや音声データを制御機器へ送信する通信制御手段とを備え、
制御機器は、テレビ電話端末機との間で映像データや音声データの送受信を行う通信制御手段と、映像データに含めて送られてきた映像パターンを解析することにより特徴付けられた分割領域を特定して映像パターンの特徴を抽出する映像解析手段と、電子機器の種々の制御用コマンドを映像パターンの特徴に対応付けて記憶しているコマンド記憶手段と、映像解析手段から与えられた映像パターンの特徴に対応する制御用コマンドをコマンド記憶手段から読み出して電子機器に与えるコマンド実行手段とを備えたことを特徴とする遠隔制御システム。
【請求項２】
請求項１記載の遠隔制御システムにおいて、テレビ電話端末機は、制御機器から送られてきた画像と映像パターン素材とを表示手段に表示する映像合成処理手段を更に備える遠隔制御システム。
【請求項３】
請求項１または２記載の遠隔制御システムにおいて、映像パターン生成手段は、映像パターン素材の特定の分割領域に特定の色を付与することによって、その分割領域を特徴付けた映像パターンを生成する遠隔制御システム。
【請求項４】
請求項３記載の遠隔制御システムにおいて、映像パターン生成手段は、電子機器を操作するための複数種類の操作情報に対応付けられた複数種類の色の中から選択された特定の色を付与することによって、その分割領域を特徴付けた映像パターンを生成する遠隔制御システム。
【請求項５】
請求項１から４のいずれかに記載の遠隔制御システムにおいて、映像パターン生成手段は、電子機器を操作するための複数種類の操作情報に対応付けられた分割領域の大きさによって、その分割領域を特徴付けた映像パターンを生成する遠隔制御システム。
【請求項６】
請求項１から４のいずれかに記載の遠隔制御システムにおいて、映像パターン生成手段は、電子機器を操作するための複数種類の操作情報に対応付けられた複数個の分割領域の位置関係によって、その分割領域を特徴付けた映像パターンを生成する遠隔制御システム。
【請求項７】
請求項１から４のいずれかに記載の遠隔制御システムにおいて、映像パターン生成手段は、電子機器を操作するための複数種類の操作情報に対応付けられた分割領域の移動方向によって、その分割領域を特徴付けた映像パターンを生成する遠隔制御システム。
【請求項８】
請求項１記載の遠隔制御システムに用いられるテレビ電話端末機であって、キー入力手段と、表示手段と、電子機器を操作するための操作情報に対応付けられた複数個の分割領域を備えた映像パターン素材を記憶した記憶手段と、キー入力手段からの指示に基づき映像パターン素材中の特定の分割領域を特徴付けて映像パターンを生成する映像パターン生成手段と、映像パターンを含む映像データや音声データを制御機器へ送信する通信制御手段とを備えたことを特徴とするテレビ電話端末機。
【請求項９】
請求項８記載のテレビ電話端末機において、制御機器から送られてきた画像と映像パターン素材とを表示手段に表示する映像合成処理手段を更に備えるテレビ電話端末機。
【請求項１０】
請求項８記載のテレビ電話端末機において、映像パターン素材は、自画像代替画像として取り込まれた画像の一つであるテレビ電話端末機。
【請求項１１】
請求項１記載の遠隔制御システムに用いられる制御機器であって、テレビ電話端末機との間で映像データや音声データの送受信を行う通信制御手段と、映像データに含めて送られてきた映像パターンを解析することにより特徴付けられた分割領域を特定して映像パターンの特徴を抽出する映像解析手段と、電子機器の種々の制御用コマンドを映像パターンの特徴に対応付けて記憶しているコマンド記憶手段と、映像解析手段から与えられた映像パターンの特徴に対応する制御用コマンドをコマンド記憶手段から読み出して電子機器に与えるコマンド実行手段とを備えたことを特徴とする制御機器。
【請求項１２】
請求項１１記載の制御機器において、映像解析手段は、映像パターンを線順次に走査することにより、特徴付けられた連続する画素群からなるオブジェクトを抽出し、そのオブジェクトの直交２軸方向における最大値と最小値をとる各点の座標を求めることにより、特徴付けられた分割領域を特定する制御機器。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、テレビ電話端末機と、電話回線網を介してテレビ電話端末機と通信可能な制御機器とを備え、テレビ電話端末機から制御機器へ送信されてきた操作情報に基づいて、制御機器が電子機器を制御する遠隔制御システム及びこのシステムに用いられるテレビ電話端末機並びに制御機器及び電子機器に係り、特に、電子機器を操作するための操作情報を制御機器へ送信するための技術に関する。
【背景技術】
【０００２】
従来、この種の遠隔制御システムとして、特許文献１に記載されたシステムが知られている。このシステムは、テレビ電話端末機を使って室内のカメラを遠隔操作して室内の状況をモニタリングできるようにした画像電話システムである。具体的には、カメラのパンニング、チルト、ズームイン／アウトなどの動作を制御するための操作情報を複数種類のダイアルトーン信号（ＤＴＭＦ信号：Dial Tone Multi frequency信号）に対応付けておいて、指定した特定のダイアルトーン信号をテレビ電話端末機から遠隔地の制御機器へ送る。制御機器は、受信したダイアルトーン信号から制御用コマンドを生成してカメラに与えることにより、カメラに所望の動作をさせて室内をモニタリングする。
【特許文献１】特開平１０−９３９４０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記の従来システムには次のような問題点がある。
一般的なテレビ電話端末機は、映像データと音声データとを送受信する。ダイアルトーン信号は、音声データの周波数域にある特定周波数信号の組み合わせである。そのため、テレビ電話端末機と制御機器との回線が接続された状態（通話状態）でカメラが遠隔操作された場合に、テレビ電話端末機の周囲に騒音があると、その騒音がカメラ操作用のダイアルトーン信号に重畳して制御機器に送信される結果、制御機器側においてダイアルトーン信号が正しく認識されずに、誤動作が起こるおそれがある。
【０００４】
また、制御機器側にはカメラの他にスピーカが接続されていると、カメラ操作用のダイアルトーン信号を受信したときに、スピーカから電子音（ピポパ音）が不所望に発せられる。例えば、カメラが設置された室内に居る者に気付かれずにカメラを操作したい場合に、スピーカから電子音が発せられるのは不都合である。
【０００５】
本発明は、このような事情に鑑みてなされたものであって、テレビ電話端末機側の周囲音によって誤動作が起こるおそれがなく、また、電子機器の遠隔操作時に制御機器側で不所望な電子音を発することのない遠隔制御システム及びこのシステムに用いられるテレビ電話端末機並びに制御機器及び電子機器を提供することを目的としている。
【課題を解決するための手段】
【０００６】
上記課題を解決するために本発明は次のような構成を採る。
すなわち、請求項1記載の発明は、テレビ電話端末機と、電話回線網を介してテレビ電話端末機と通信可能な制御機器とを備え、テレビ電話端末機から制御機器へ送信されてきた操作情報に基づいて、制御機器が電子機器を制御する遠隔制御システムであって、
テレビ電話端末機は、キー入力手段と、表示手段と、電子機器を操作するための操作情報に対応付けられた複数個の分割領域を備えた映像パターン素材を記憶した記憶手段と、キー入力手段からの指示に基づき映像パターン素材中の特定の分割領域を特徴付けて映像パターンを生成する映像パターン生成手段と、映像パターンを含む映像データや音声データを制御機器へ送信する通信制御手段とを備え、
制御機器は、テレビ電話端末機との間で映像データや音声データの送受信を行う通信制御手段と、映像データに含めて送られてきた映像パターンを解析することにより特徴付けられた分割領域を特定して映像パターンの特徴を抽出する映像解析手段と、電子機器の種々の制御用コマンドを映像パターンの特徴に対応付けて記憶しているコマンド記憶手段と、映像解析手段から与えられた映像パターンの特徴に対応する制御用コマンドをコマンド記憶手段から読み出して電子機器に与えるコマンド実行手段とを備えたことを特徴とする。
【０００７】
請求項１記載の発明の作用は次のとおりである。まず、テレビ電話端末機から制御機器へテレビ電話をかけることにより回線が接続される。そしてテレビ電話端末機の記憶手段から映像パターン素材が読み出される。操作者がキー入力手段を操作することにより、映像パターン素材を構成する複数個の分割領域の中から、操作者が希望する電子機器の操作内容に応じた特定の分割領域が特徴付けられる。このようにして生成された映像パターンは映像データとして制御機器へ送信される。
【０００８】
映像データを受信した制御機器において、映像パターンが解析されることにより、特徴付けられた分割領域の位置が特定されて映像パターンの特徴が抽出される。制御機器のコマンド記憶手段には、電子機器の種々の制御用コマンドと映像パターンの特徴とが対応付けて記憶されているので、抽出された映像パターンの特徴に対応する制御用コマンドがコマンド実行手段によって読み出される。コマンド実行手段は、読み出した制御コマンドを電子機器に与えることより、電子機器が遠隔制御される。
【０００９】
以上のように、テレビ電話端末機側では、電子機器の操作情報は映像パターン化されて映像データとして制御機器に送られるので、テレビ電話端末機の周囲に騒音があっても、その騒音によって映像パターンは影響を受けない。したがって、制御機器側の電子機器がテレビ電話端末機側の騒音によって誤動作することがない。また、映像パターンが制御機器で受信されてもスピーカから電子音（ピポパ音）が発せられることがないので、制御機器側に居る者に気付かれずに電子機器を操作することができる。
【００１０】
本発明において、映像パターン素材や映像パターンは必ずしも表示手段に表示させる必要はないが、制御機器から送られてきた画像と映像パターン素材とを表示手段に表示するように構成すれば（請求項２記載の発明）、操作者が表示手段に映し出された映像パターン素材や映像パターンを目視確認できるので、電子機器の操作を容易・確実に行うことができる。
【００１１】
映像パターン素材の特定の分割領域を特徴付ける手法は特に限定されないが、映像パターン生成手段は、例えば映像パターン素材の特定の分割領域に特定の色を付与することによって、その分割領域を特徴付けた映像パターンを生成する（請求項３記載の発明）。また、好ましくは、複数種類の操作情報に対応付けられた複数種類の色の中から選択された特定の色を付与することによって、その分割領域を特徴付けた映像パターンを生成する（請求項４記載の発明）。この手法によると、特徴付けた分割領域の位置によって複数の操作情報を表すことができるのに加えて、色の種類によって更に別の操作情報を表すことができるので、制御機器へ多くの操作情報を伝達することができる。
【００１２】
さらに、映像パターン生成手段は、複数種類の操作情報に対応付けられた分割領域の大きさによって、その分割領域を特徴付けた映像パターンを生成してもよい（請求項５記載の発明）。このようにすれば、特徴付けた分割領域の位置によって複数の操作情報を表すことができるのに加えて、特徴付けた分割領域の大きさ（面積）によって更に別の操作情報を表すことができるので、制御機器へ多くの操作情報を伝達することができる。
【００１３】
また、映像パターン生成手段は、複数種類の操作情報に対応付けられた複数個の分割領域の位置関係によって、その分割領域を特徴付けた映像パターンを生成することも好ましい（請求項６記載の発明）。この手法によると、特徴付けた複数個の分割領域の位置関係によって更に別の操作情報を表すことができるので、制御機器へ多くの操作情報を伝達することができる。
【００１４】
さらに、映像パターン生成手段は、複数種類の操作情報に対応付けられた分割領域の移動方向によって、その分割領域を特徴付けた映像パターンを生成してもよい（請求項７記載の発明）。この手法によると、特徴付けた分割領域の移動方向によって更に別の操作情報を表すことができるので、制御機器へ多くの操作情報を伝達することができる。
【００１６】
また、本発明は、請求項１記載の遠隔制御システムに用いられるテレビ電話端末機であって、キー入力手段と、表示手段と、電子機器を操作するための操作情報に対応付けられた複数個の分割領域を備えた映像パターン素材を記憶した記憶手段と、キー入力手段からの指示に基づき映像パターン素材中の特定の分割領域を特徴付けて映像パターンを生成する映像パターン生成手段と、映像パターンを含む映像データや音声データを制御機器へ送信する通信制御手段とを備えたことを特徴とする（請求項８記載の発明）。本発明に係るテレビ電話端末機によると、請求項１記載の遠隔制御システムを好適に実現することができる。
【００１７】
本発明に係るテレビ電話端末機において好ましくは、制御機器から送られてきた画像と映像パターン素材とを表示手段に表示するように構成すれば（請求項９記載の発明）、操作者が表示手段に映し出された映像パターン素材や映像パターンを目視確認できるので、電子機器の操作を容易・確実に行うことができる。
【００１８】
また、本発明に係るテレビ電話端末機において好ましくは、映像パターン素材は、自画像代替画像として取り込まれた画像の一つである（請求項１０記載の発明）。一般的な携帯型のテレビ電話端末機は、操作者自身の映像に代えて、操作者が指定したキャラクター画像（自画像代替画像）を相手側へ送る機能を有している。このようなキャラクター画像は、これらの画像の提供サイトからテレビ電話端末機にダウンロードされる。本発明における映像パターン素材を自画像代替画像の一つとして取り扱えば、一般的な携帯型のテレビ電話端末機の機能をそのまま利用して本発明を容易に実現することができる。
【００１９】
さらに、本発明は、請求項１記載の遠隔制御システムに用いられる制御機器であって、テレビ電話端末機との間で映像データや音声データの送受信を行う通信制御手段と、映像データに含めて送られてきた映像パターンを解析することにより特徴付けられた分割領域を特定して映像パターンの特徴を抽出する映像解析手段と、電子機器の種々の制御用コマンドを映像パターンの特徴に対応付けて記憶しているコマンド記憶手段と、映像解析手段から与えられた映像パターンの特徴に対応する制御用コマンドをコマンド記憶手段から読み出して電子機器に与えるコマンド実行手段とを備えたことを特徴とする（請求項１１記載の発明）。本発明に係る制御機器によると、請求項１記載の遠隔制御システムを好適に実現することができる。
【００２０】
本発明に係る制御機器において好ましくは、映像解析手段は、映像パターンを線順次に走査することにより、特徴付けられた連続する画素群からなるオブジェクトを抽出し、そのオブジェクトの直交２軸方向における最大値と最小値をとる各点の座標を求めることにより、特徴付けられた分割領域を特定する（請求項１２記載の発明）。このように構成すれば、比較的に簡単に特徴付けられた分割領域を特定することができる。
【発明の効果】
【００２２】
以上のように、本発明によれば、テレビ電話端末機側では、電子機器の操作情報は映像パターン化されて映像データとして制御機器に送られるので、制御機器側の電子機器がテレビ電話端末機側の騒音によって誤動作することがない。また、映像パターンが制御機器で受信されてもスピーカから電子音（ピポパ音）が発せられることがないので、制御機器側に居る者に気付かれずに電子機器を操作することができる。
【発明を実施するための最良の形態】
【００２３】
以下、図面を参照して本発明の実施例を説明する。
図１は、本発明に係る遠隔制御システムの一実施例の概略構成を示したブロック図である。
【００２４】
この遠隔制御システムは、テレビ電話端末機２と、電話回線網４を介してテレビ電話端末機２と通信可能な制御機器６とを備え、テレビ電話端末機２から制御機器６へ送信されてきた操作情報に基づいて、制御機器６が電子機器８を制御するようになっている。具体的には、電子機器８は例えば室内監視用のカメラなどを含み、テレビ電話端末機２と制御機器６との間でテレビ電話通信を行うことにより、テレビ電話端末機２の映像表示器１２を通じて室内をモニタリングすることができる。さらに、テレビ電話端末機２は、電子機器８を操作するための操作情報（例えば、カメラのパンニング、チルト、ズームイン／アウトなどに係る操作情報）を映像パターン化して制御機器６に送信する。制御機器６は映像パターンを解析して対応する制御コマンドに変換し、電子機器８を制御するようになっている。以下、本実施例に係る遠隔制御システムの各部の構成を説明する。
【００２５】
テレビ電話端末機２は携帯型テレビ電話であって、音声とともに映像を送受信できるものである。この種の携帯型テレビ電話として、例えば、ＦＯＭＡ／フォーマ（登録商標：株式会社エヌ・ティ・ティ・ドコモ）が挙げられる。テレビ電話端末機２は、制御機器６から送られてきた音声データを出力するためのスピーカ１０、制御機器６から送られてきた映像データを表示するための映像表示器１２、テレビ電話端末機２の操作者を撮像するためのカメラ１４、テレビ電話端末機２を操作するためのテンキー等からなるキー入力部１６、テレビ電話端末機２の操作者の音声を入力するためのマイクロフォン１８等を備えている。
【００２６】
さらに、テレビ電話端末機２は、テレビ電話通信の制御を行う通信制御部２０を備えている。制御機器６から送られてきた映像データおよび音声データは、通信制御部２０を介してテレビ電話デコーダ２２に与えられる。テレビ電話デコーダ２２は、符号化されて送られてきた映像データおよび音声データａを復号化し、その復号化された音声データｂはスピーカ１０に、映像データｃは映像合成処理部２４にそれぞれ与えられる。映像合成処理部２４は、制御機器６から送られてきた画像と映像パターン素材ｄとを合成する。映像パターン素材は、後に詳しく説明するように、電子機器８を操作するための操作情報に対応付けられた複数個の分割領域を備えた画像である。映像合成処理部２４で合成された映像は映像表示器１２に与えられる。
【００２７】
テレビ電話端末機２のカメラ１４からの映像データｅおよびマイクロフォン１８からの音声データｆはテレビ電話エンコーダ２６に与えられて符号化される。映像パターン素材記憶部２８は映像パターン素材を記憶している。映像パターン生成部３０は、キー入力部１６からの指示に基づき映像パターン素材中の特定の分割領域を特徴付けた映像パターンｇを生成する。映像パターンｇについても後に詳述する。生成された映像パターンｇはテレビ電話エンコーダ２６に与えられて符号化される。符号化された映像パターンｇを含む映像データｅや音声データｆは通信制御部２０および電話回線網４を介して制御機器６へ送られる。
【００２８】
制御機器６の構成を説明する。制御機器６は、テレビ電話端末機２との間でテレビ電話通信の制御を行う通信制御部３２と、テレビ電話端末機２から送られてきた映像データおよび音声データを復号化するテレビ電話デコーダ３４と、テレビ電話端末機２へ送る映像データおよび音声データを符号化するテレビ電話エンコーダ３６を備えている。さらに、制御機器６は、映像データに含めて送られてきた映像パターンを解析することにより、特徴付けられた分割領域を特定する画像解析部３８を備えている。コマンド記憶部４０は、電子機器８の種々の制御用コマンドを映像パターンの特徴に対応付けて記憶している。ここで、映像パターンの特徴とは、例えば特定の色を付与されて特徴付けられた特定の分割領域の位置、個数、位置関係、大きさ、移動方向、あるいは特定の分割領域に付与された色の種類などである。コマンド実行部４２は、コマンド記憶部４０の内容を参照して、画像解析部３８から与えられた映像パターンの特徴を対応する制御コマンドに変換して、その制御コマンドcmd1〜cmd4を電子機器８に与えてコマンドを実行させる。
【００２９】
電子機器８の概略構成を図２に示す。電子機器８は、スピーカ４４と音量調整部４６、映像表示器４８、カメラ５０とカメラ制御部５２と映像信号処理部５４、マイクロフォン５６と音量調整部５８を含む。スピーカ４４は、テレビ電話端末機２からの音声データｈを出力する。音量調整部４４は、制御機器６から与えられた制御コマンドcmd1に基づき、スピーカ４４の音量を調整する。映像表示器４８は、テレビ電話端末機２のカメラ１４で得られた映像データｉを表示する。カメラ５０は、例えば室内に設置される監視用カメラである。カメラ制御部５２は、制御機器６から与えられた制御コマンドcmd2に基づき、カメラ５０のパンニング、チルト、ズームイン／アウトなど種々の操作を行う。映像信号処理部５４は、制御機器６から与えられた制御コマンドcmd3に基づき、カメラ５０からの映像データｊの明るさやコントラストを調整する。マイクロフォン５６は、制御機器６側の音声を入力する。音量調整部５８は、制御機器６から与えられた制御コマンドcmd4に基づき、マイクロフォン５６からの音声データｋの大きさ（音量）を調整する。
【００３０】
次に、上述した構成を備えた遠隔制御システムの動作を説明する。図３を参照する。図３は、実施例に係るシステムの動作順序を示したフローチャートである。
【００３１】
まず、テレビ電話端末機２の操作者がテレビ電話端末機２を操作して、映像パターン素材をテレビ電話端末機２の映像パターン素材記憶部２８に取り込む（図３のステップＳ１）。本実施例において、映像パターン素材は、サービス業者が運営するＷｅｂサイトから自画像代替画像の一つとしてテレビ電話端末機２に取り込むことができるようになっている。ここで、自画像代替画像とは、テレビ電話端末機２の通話時に、操作者自身の画像に代えて操作者の指定により相手方に送信されるキャラクター画像である。このような自画像代替画像はサービス業者がＷｅｂサイトから提供しているので、映像パターン素材を自画像代替画像の一つとして取り扱えば、映像パターン素材を簡単にテレビ電話端末機２に取り込むことができる。映像パターン素材を一度、テレビ電話端末機２に取り込むと、次回からは取り込み操作を行う必要はない。なお、映像パターン素材の取り込みは上記の例に限らず、例えば、テレビ電話端末機２に予め記憶させておいてもよいし、あるいは、コンピュタからデータ転送して取り込むようにしてもよい。
【００３２】
次に、制御機器６へテレビ電話をかけて通話を開始する（図３のステップＳ２）。これにより、テレビ電話端末機２の映像表示器１２に制御機器６側の映像が映し出される。
【００３３】
テレビ電話端末機２の操作者が制御機器６に接続されている電子機器８を調整操作したい場合、キー入力部１６を操作することにより、まず、映像パターン素材記憶部２８に記憶されている映像パターン素材を呼び出す（図３のステップＳ３）。映像合成処理部２４は、呼び出された映像パターン素材と、制御機器６から送られてきた画像とを映像表示器１２に表示させる。図４の（ａ）は、テレビ電話端末機２の映像表示器１２に表示された映像パターン素材Ｐ１と、制御機器６から送られてきた相手側画像Ｐ２とを示している。映像パターン素材Ｐ１は、相手側画像Ｐ２を隠さないように小さく表示されているので、相手側画像Ｐ２が見づらくなることはない。なお、映像パターンを生成している間だけ、映像パターン素材Ｐ１と相手側画像Ｐ２との表示位置を入れ替えて、映像パターン素材Ｐ１を見やすくしても良い。
【００３４】
図４の（ｂ）は、映像パターン素材Ｐ１を拡大して示した図である。以下、この図を参照して、映像パターン素材Ｐ１について説明する。映像パターン素材Ｐ１は、制御機器６に接続された電子機器８を操作するための操作情報に対応付けられた複数個の分割領域を備えている。本実施例において、映像パターン素材Ｐ１は、9個の分割領域Ｐ１１、・・・、Ｐ３３を備えている。分割領域Ｐ１１は、電子機器８のスピーカ４４に対応付けられた分割領域である。分割領域Ｐ３１は、電子機器８のマイクロフォン５６に対応付けられた分割領域である。分割領域Ｐ２２は、電子機器８のカメラ５０に対応付けられた分割領域である。分割領域Ｐ１３は、電子機器８のスピーカ４４およびマイクロフォン５６の音量を上げるときや、カメラ５０をズームインするときの操作に対応付けられた分割領域である。分割領域Ｐ３３は、電子機器８のスピーカ４４およびマイクロフォン５６の音量を下げるときや、カメラ５０をズームアウトするときの操作に対応付けられた分割領域である。分割領域Ｐ２１，Ｐ２３は、カメラ５０をパンニング（左右の首振り）するときの操作に対応付けられた分割領域である。分割領域Ｐ１２、Ｐ３２は、カメラ５０をチルト（上下の傾け）するときの操作に対応付けられた分割領域である。
【００３５】
映像パターン生成部３０は、キー入力部１６からの指示に基づき、映像パターン素材Ｐ１の特定の分割領域に特定の色を付与することによって、その分割領域を特徴付けた映像パターンを生成する。本実施例では、「緑色」を付与して特定の分割領域を特徴付けるようになっている。図５は、映像パターンの例を示している。図中のハッチング領域が「緑色」を付与して特徴付けられた分割領域である。図５の（ａ１）の映像パターンは、電子機器８のスピーカ４４の音量を上げるという操作情報に対応する映像パターンである。同図（ａ２）の映像パターンは、電子機器８のスピーカ４４の音量を下げるという操作情報に対応する映像パターンである。同図（ｂ１）の映像パターンは、電子機器８のマイクロフォン５６の音量を上げるという操作情報に対応する映像パターンである。同図（ｂ２）の映像パターンは、電子機器８のマイクロフォン５６の音量を下げるという操作情報に対応する映像パターンである。同図（ｃ１）の映像パターンは、電子機器８のカメラ５０をズームインするという操作情報に対応する映像パターンである。同図（ｃ２）の映像パターンは、電子機器８のカメラ５０をズームアウトするという操作情報に対応する映像パターンである。同図（ｄ１）の映像パターンは、電子機器８のカメラ５０を左方向にパンニングするという操作情報に対応する映像パターンである。同図（ｄ２）の映像パターンは、電子機器８のカメラ５０を右方向にパンニングするという操作情報に対応する映像パターンである。また図示しないが、分割領域Ｐ１２が色付けされた映像パターンは、カメラ５０を上方に傾けるという操作情報に対応し、分割領域Ｐ３２が色付けされた映像パターンは、カメラ５０を下方に傾けるという操作情報に対応する。
【００３６】
以上のようにして生成された映像パターンは、映像データとして音声データとともに制御機器６へ送信される（図３のステップＳ５）。
【００３７】
制御機器６へ送信された映像パターンはテレビ電話デコーダ３４で復号化された後に画像解析部３８へ取り込まれて、映像パターンの特徴を抽出するために画像解析される（図３のステップＳ６）。以下、図６〜図８の各フローチャートを参照して画像解析について詳しく説明する。
【００３８】
まず、画像解析部３８に新しい画像フレーム（すなわち、映像パターンを含む１フレーム分の画像）を入力する（図６のステップＳ１１）。そして、画像フレーム中で色（本実施例では「緑色」）によって特徴付けられた分割領域である「色オブジェクト」を抽出する（図６のステップＳ１２）。色オブジェクト抽出処理の詳細を図７のフローチャートを参照して説明する。
【００３９】
まず、画像フレーム中から検出しようとする色を設定する（ステップＴ１）。図５で説明した例では、「緑色」の１色を使って特定の分割領域を特徴付けているが、電子機器６を操作するための複数種類の操作情報に対応付けて複数種類の色を設定するようにしてもよい。例えば、制御機器６に３台のカメラが接続されている場合に、「緑色」で分割領域が特徴付けられた場合は第１のカメラが操作対象として選択されたことを意味し、「赤色」で分割領域が特徴付けられた場合は第２のカメラが操作対象として選択されたことを意味し、「青色」で分割領域が特徴付けられた場合は第３のカメラが操作対象として選択されたことを意味するというように、色に応じて操作対象となるカメラを選択するようにしてもよい。
【００４０】
次に、画像フレーム中の各画素が色オブジェクトに属しているか否かを順に判定するために、新たな着目画素を設定（着目画素のアドレスを指定）する（ステップＴ２）。そして、検出対象色（ここでは、「緑色」）について予め決められた色相・彩度の範囲と、着目画素の色相・彩度とを比較して、着目画素の色相・彩度が予め決められた色相・彩度の範囲内にあるかどうかを判断することによって、着目画素が色オブジェクトを構成するものであるか否かを判定する（ステップＴ３）。その着目画素が色オブジェクトを構成するものでない場合はステップＴ４へ進み、次の画素があるか否かを判定し、次の画素があればステップＴ２に戻って新たな着目画素（線順次に走査していった場合に前の着目画素に隣接する画素）を設定して、ステップＴ３の判定処理を行う。
【００４１】
その着目画素が色オブジェクトを構成する場合はステップＴ５へ進み、その着目画素の周辺画素（上下左右に隣接する画素）が色グループ（広がりをもった色の領域）に属しているか否かを判定する。周辺画素が色グループに属していない場合、その着目画素は新しい色オブジェクトＯｎを構成する要素であるとして、その着目画素の座標（ｘ，ｙ）を記憶する（ステップＴ６）。そして、新たな色オブジェクトＯｎについて、Ｘ方向で最大値をとる画素Ｘmax、同じくＸ方向で最小値をとる画素Ｘmin、Y方向で最大値をとる画素Ymax、同じくY方向で最小値をとる画素Yminの各座標（ｘ，ｙ）を定義する（ステップＴ７）。
【００４２】
一方、周辺画素が色グループに属している場合は、その周辺画素が所属している色オブジェクトＯａに着目画素の座標（ｘ，ｙ）を追加する（ステップＴ８）。そして、色オブジェクトＯａのサイズを再設定処理する（ステップＴ９）。以下、図８のフローチャートを参照して色オブジェクトＯａのサイズ再設定処理について説明する。
【００４３】
まず、色オブジェクトＯａ中のＸ方向で最小値をとる画素Ｘminのｘ座標値と、当該色オブジェクトＯａに属すると判定された着目画素のｘ座標値とを比較し（ステップＵ１）、着目画素のｘ座標値の方が小さければ、画素Ｘminのｘ座標値を着目画素のｘ座標値で更新するとともに、画素Ｘminのｙ座標値を着目画素のｙ座標値で更新する（ステップＵ２）。同様に、色オブジェクトＯａ中のＸ方向で最大値をとる画素Ｘmaxのｘ座標値と、当該色オブジェクトＯａに属すると判定された着目画素のｘ座標値とを比較し（ステップＵ３）、着目画素のｘ座標値の方が大きければ、画素Ｘmaxのｘ座標値を着目画素のｘ座標値で更新するとともに、画素Ｘmaxのｙ座標値を着目画素のｙ座標値で更新する（ステップＵ４）。
【００４４】
色オブジェクトＯａ中のＹ方向で最小値をとる画素Yminと最大値をとる画素Ymaxについても同様の判定を行い（ステップＵ５、Ｕ７）、画素Yminおよび画素Ymaxの（ｘ，ｙ）座標を更新してゆく（ステップＵ６、Ｕ８）。
【００４５】
図８に示した処理を、着目画素が色オブジェクトＯａに属していると判定されるごとに行うことにより、色オブジェクトＯａの大雑把な位置および大きさを簡易に把握することができる。図９は、図８に示した色オブジェクトＯａのサイズ再設定処理を模式的に示した図である。同図（ａ）に示すように、画像フレームが線順次に走査されることにより、色オブジェクトＯａについてＸ方向の最大画素Ｘmaxと最小画素Ｘmin、およびＹ方向の最大画素Ｙmaxと最小画素Ｙminが求められ、同様に色オブジェクトＯｂについてＸ方向の最大画素Ｘmaxと最小画素Ｘmin、およびＹ方向の最大画素Ｙmaxと最小画素Ｙminが求められる。同図（ｂ）から理解できるように、各色オブジェクトについて抽出された画素Ｘmax、Ｘmin、Ｙmax、Ｙminは、色オブジェクトに外接する四角形に対応する。したがって、各画素Ｘmax、Ｘmin、Ｙmax、Ｙminの座標は色オブジェクトの形を正確には反映するものでない。しかし、映像パターン中に特徴付けられた分割領域の位置、個数、大きさ、位置関係などを判定するためには、色オブジェクトの正確な形をパターン認識などの複雑な処理によって検出する必要はなく、本実施例のようにＸ、Ｙ方向について最大値をとる画素と最小値をとる画素を抽出することで十分に対応することができる。逆に、本実施例によると、必要最小限の画素を抽出するだけでよいので、制御機器６側におけるデータ処理の負担を軽減することができるとともに、処理の高速化を図ることができる。
【００４６】
図７のステップＴ１からＴ９までの処理が特定の検出対象色について行われると、図７のステップＴ１０に進み、次の検出対象色があるか否かが判定され、次の検出対象色があればステップＴ１に戻って、その検出対象色について同様の処理が繰り返される。
【００４７】
図６に戻って説明する。ステップＳ１２の色オブジェクトの抽出処理が終わると、抽出された色オブジェクトが有効なものであるか否かを判定する（図６のステップＳ１３）。例えば、映像パターンの分割領域の大きさに応じて、有効な色オブジェクトとして採用する色オブジェクトの基準面積の範囲を予め決めておき、抽出された色オブジェクトの外接四角形の面積が前記基準面積の範囲内にあるかを判定する。基準面積の範囲内にあれば当該色オブジェクトを有効な色オブジェクトとして採用し、一方、基準面積の範囲を外れた色オブジェクトのデータは廃棄する。
【００４８】
有効な色オブジェクトであると判定されると、図６のステップＳ１４に進み、色オブジェクトの特徴が制御コマンドと関連付けられているか否かを判定する。具体的には、制御機器６のコマンド実行部４２は、色オブジェクトの特徴である色オブジェクトの座標データ（本実施例では画素Ｘmax、Ｘmin、Ｙmax、Ｙminの（ｘ，ｙ）座標）を画像解析部３８から与えられる。コマンド実行部４２は、コマンド記憶部４０の内容を参照し、画像解析部３８から与えられた色オブジェクトの特徴に対応する制御コマンドがあるか否かを判定する。
【００４９】
図５の（ａ１）に示した映像パターンを例にとって、色オブジェクトの特徴と制御コマンドとの関連付けについて説明する。コマンド記憶部４０には、分割領域Ｐ１１の位置に応じて予め決められた位置座標の範囲と、分割領域Ｐ１３の位置に応じて予め決められた位置座標の範囲とが登録され、二つの位置座標の範囲に対応付けて、電子機器８のスピーカ４４の音量を大きくするためのコマンドｃｍｄ１（図２参照）が記憶さている。今、画像解析部３８が画像フレームを解析して二つの色オブジェクトＯａ、Ｏｂを抽出したとする。コマンド実行部４２は、画像解析部３８から与えられた二つの色オブジェクトＯａ、Ｏｂの座標データから各色オブジェクトの位置を求める。各色オブジェクトの位置は、画素Ｘmax、Ｘmin、Ｙmax、Ｙminの（ｘ，ｙ）座標で定義される四角形の重心座標で表すことができる。二つの色オブジェクトＯａ、Ｏｂの位置座標が、コマンド記憶部４０に予め記憶された分割領域Ｐ１１，Ｐ１３の位置座標の範囲内にあれば、コマンド実行部４２はコマンド記憶部４０から色オブジェクトの特徴（ここでは、分割領域Ｐ１１、Ｐ１３の位置座標）に対応する制御コマンドｃｍｄ１を読み出す。
【００５０】
制御コマンドｃｍｄ１を読み出したコマンド実行部４２は、そのコマンドｃｍｄ１を電子機器８に渡してコマンドを実行（ここでは、スピーカ４４の音量調整）させる（図３、図６のステップＳ７）。１つの画像フレームについての画像解析が終わると、新しい画像フレームがあるか否かを判断し（図６のステップＳ１５）、新しい画像フレームがあれば同様の画像解析を実行する。
【００５１】
以上の説明から明らかなように、本実施例に係る遠隔制御システムによれば、制御機器６に接続された電子機器８をテレビ電話端末機２で遠隔制御するために、電子機器８を操作するための操作情報を映像パターン化して制御機器６へ送信しているので、操作情報をＤＴＭＦ信号で送っていた従来システムのように、テレビ電話端末機の周囲の騒音がＤＴＭＦ信号に重畳して制御機器側で誤認識・誤動作することがなく、操作情報を確実に制御機器６へ送信することができる。また、操作情報を映像パターン化して制御機器６へ送信しているので、操作情報をＤＴＭＦ信号で送っていた従来システムのように、操作情報を受信しているときに制御機器側のスピーカから電子音（ピポパ音）が発せられることがなく、制御機器６側に居る者に気付かれずに電子機器８を操作することができる。
【００５２】
本発明の上記の実施例に限らず、次のように変形実施することもできる。
（１）上記の実施例では、映像パターン中で特徴付けられた分割領域の位置、個数、位置関係を、電子機器８の種々の操作情報に対応付けたが、映像パターンの特徴付けは種々変更実施可能である。例えば、図１０に示すように、特徴付けられた分割領域の大きさ（面積）を複数種類の操作情報に対応付けてもよい。図１０の（ａ）は音量を小さくする操作情報に対応した映像パターン、（ｂ）は音量を中位にする操作情報に対応した映像パターン、（ｃ）は音量を大きくする操作情報に対応した映像パターンである。また、図１１は、特徴付けられた分割領域の移動方向を、電子機器８の操作情報に対応付けた映像パターンの動画（連続した映像パターン）である。例えば、図１１のように、特徴付けた映像パターンを左から右に移動させることにより、カメラを右方向に移動させる操作情報に対応付けてもよい。また、特徴付けられた分割領域の位置、個数、位置関係、大きさ、動きの方向などを適宜組み合わせて複数種類の操作情報に対応付けてもよい。
【００５３】
（２）上記の実施例では、特定の色を付与することによって映像パターン中の特定の分割領域を特徴付けたが、本発明はこれに限らない。例えば、映像パターン中の特定の分割領域を明るくすること（明度の変化）によって特徴付けを行ってもよい。
【００５４】
（３）上記の実施例では、テレビ電話端末機２の映像表示器１２に映像パターン素材を表示し、操作者がこの表示を見ながらキー入力部１６を操作することによって所望の映像パターンを生成するようにした。しかしながら、映像パターン素材や映像パターンは必ずしも映像表示器１２に表示させる必要はない。例えば、図５に示したような電子機器６の操作情報に対応付けた複数種類の映像パターンをテレビ電話端末機２に予め登録しておくとともに、各映像パターンとキー入力部１６のキー操作の順序とを予め対応付けて決めておく。例えば、スピーカ４４の音量を上げるという操作情報に対応する映像パターン（図５の（ａ１）の映像パターン）は、キー入力部１６でキーを［＊］→［１］→［１］のように３回押し下げることに対応付け、また、スピーカ４４の音量を下げるという操作情報に対応する映像パターン（図５の（ａ２）の映像パターン）は、キー入力部１６でキーを［＊］→［１］→［２］のように３回押し下げることに対応付けておく。そして、テレビ電話端末機２と制御機器６とが通話状態にあるときに、操作者が［＊］→［１］→［１］の順でキー操作すると（このときＤＴＭＦ信号の送信は禁止しておく）、それに対応する映像パターンが映像パターン素材記憶部２８から読み出され、映像パターン生成部３０で生成されて制御機器６へ送信されるように構成しておく。このようにすれば、映像パターンをテレビ電話端末機２の映像表示器１２に表示する必要はない。
【００５５】
（４）上記の実施例では、制御機器６と電子機器８とは別体に構成したが、制御機器６を電子機器８に組み込むように構成してもよい。
【図面の簡単な説明】
【００５６】
【図１】本発明に係る遠隔制御システムの一実施例の概略構成を示したブロック図である。
【図２】電子機器の概略構成を示したブロック図である。
【図３】実施例に係るシステムの動作順序を示したフローチャートである。
【図４】映像パターン素材の説明図である。
【図５】種々の映像パターンの説明図である。
【図６】画像解析処理のフローチャートである。
【図７】色オブジェクト抽出処理のフローチャートである。
【図８】色オブジェクトのサイズ再設定処理のフローチャートである。
【図９】色オブジェクトのサイズ再設定処理の説明図である。
【図１０】映像パターンのその他の例を示した図である。
【図１１】映像パターンの更に別の例を示した図である。
【符号の説明】
【００５７】
２    テレビ電話端末機
４    電話回線網
６    制御機器
８    電子機器
１２    映像表示器（表示手段）
１６    キー入力部（キー入力手段）
２０    通信制御部（通信制御手段）
２４    映像合成処理部（映像合成処理手段）
２８    映像パターン素材記憶部（記憶手段）
３０    映像パターン生成部（映像パターン生成手段）
３２    通信制御部（通信制御手段）
３８    画像解析部（映像解析手段）
４０    コマンド記憶部（コマンド記憶手段）
４２    コマンド実行部（コマンド実行手段）
【図１】
0004646141.tif 000002
【図２】
0004646141.tif 000003
【図３】
0004646141.tif 000004
【図４】
0004646141.tif 000005
【図５】
0004646141.tif 000006
【図６】
0004646141.tif 000007
【図７】
0004646141.tif 000008
【図８】
0004646141.tif 000009
【図９】
0004646141.tif 000010
【図１０】
0004646141.tif 000011
【図１１】
0004646141.tif 000012