(57)【要約】【課題】制御命令の数を増加させることが可能であるとともに、拡張性の高い制御を行うことが可能な遠隔制御システムを提供する。【解決手段】通信回線を介して情報を送受信可能な第１のテレビ電話端末装置及び第２のテレビ電話端末装置と、前記第２のテレビ電話端末装置に接続された制御サーバとを備える。前記第１のテレビ電話端末装置は、被制御機器を制御する制御命令に対応させた画像情報が選択されると、選択された画像情報を含むコマンド情報を前記第２のテレビ電話端末装置に送信し、前記第２のテレビ電話端末装置は、受信したコマンド情報に含まれている画像情報を前記制御サーバに出力する。そして前記制御サーバは、入力された画像情報を解析する画像認識手段と、前記画像認識手段による解析結果に応じた制御命令を判定する判定手段と、判定した制御命令に応じた制御信号を被制御機器に出力する制御信号出力手段とを有する。【選択図】        図７
2007201597.tif 000002
【特許請求の範囲】
【請求項１】
通信回線を介して情報を送受信可能な第１のテレビ電話端末装置及び第２のテレビ電話端末装置と、前記第２のテレビ電話端末装置に接続された制御サーバとを備え、
前記第１のテレビ電話端末装置は、被制御機器を制御する制御命令に対応させた画像情報が選択されると、選択された画像情報を含むコマンド情報を前記第２のテレビ電話端末装置に送信し、
前記第２のテレビ電話端末装置は、受信したコマンド情報に含まれている画像情報を前記制御サーバに出力し、
前記制御サーバは、
入力された画像情報を解析する画像認識手段と、
前記画像認識手段による解析結果に応じた制御命令を判定する判定手段と、
判定した制御命令に応じた制御信号を被制御機器に出力する制御信号出力手段とを有する、
ことを特徴とする遠隔制御システム。
【請求項２】
請求項１に記載の遠隔制御システムであって、
前記画像情報は、キャラクタが所定の部位を所定の動作状態とすることを表示させる画像情報であり、
前記制御サーバは、前記画像情報が入力されると、前記画像認識手段にて、前記所定の部位の動作状態を認識し、認識した部位における動作状態に応じた制御命令を判定する、
ことを特徴とする遠隔制御システム。
【請求項３】
請求項２に記載の遠隔制御システムであって、
前記画像情報におけるキャラクタは、所定の部位を所定の動作状態とする表示を複数組み合わせて複数の部位を各々所定の動作状態とする表示が可能であり、
前記制御サーバは、前記画像情報におけるキャラクタの各々の部位における各々の動作状態に応じた各々の制御命令を判定し、判定した複数の制御命令に応じた制御信号を被制御機器に出力する、
ことを特徴とする遠隔制御システム。
【請求項４】
請求項１に記載の遠隔制御システムであって、
前記画像情報は、制御命令による被制御機器に関する動作を示す図柄を表示させる画像情報であり、
前記制御サーバは、前記画像情報が入力されると、前記画像認識手段にて、前記図柄を認識し、認識した図柄に応じた制御命令を判定する、
ことを特徴とする遠隔制御システム。
【請求項５】
請求項４に記載の遠隔制御システムであって、
前記画像情報における図柄は、複数の図柄を組み合わせた表示が可能であり、
前記制御サーバは、前記画像情報において各々の図柄に応じた各々の制御命令を判定し、判定した複数の制御命令に応じた制御信号を被制御機器に出力する、
ことを特徴とする遠隔制御システム。
【請求項６】
請求項１〜５のいずれかに記載の遠隔制御システムであって、
前記第１のテレビ電話端末装置は複数であり、
前記制御サーバには、複数の第１のテレビ電話端末装置からの前記画像情報を入力することが可能であるとともに、第１のテレビ電話端末装置に対応させて遠隔制御の許可及び禁止を示すアクセス権情報が記憶されており、
前記制御サーバは、画像情報を送信してきた第１のテレビ電話端末装置と前記アクセス権情報とを照合し、当該第１のテレビ電話端末装置に対応する遠隔制御が許可を示している場合に制御信号を被制御機器に出力する、
ことを特徴とする遠隔制御システム。
【請求項７】
請求項１〜６のいずれかに記載の遠隔制御システムであって、
前記制御サーバは、前記制御命令に応じて制御された前記被制御機器が出力する画像情報または音声情報の少なくとも一方を含む被制御情報を、前記第２のテレビ電話端末装置及び前記通信回線を介して前記第１のテレビ電話端末装置に送信可能であり、
前記第１のテレビ電話端末装置は、前記被制御情報を、前記通信回線を介して受信可能であり、受信した被制御情報に含まれている画像情報または音声情報の少なくとも一方を再生可能である、
ことを特徴とする遠隔制御システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、遠隔制御システムに関する。
【背景技術】
【０００２】
従来より、テレビ電話にてキャラクタ等の代替画像を表示させたり、テレビ電話を用いた遠隔操作システム等、テレビ電話を用いた種々の技術が提案されている。
例えば、特許文献１に記載された従来技術では、テレビ電話の留守番電話の応答時に、ユーザ自身の映像に代わる代替画像を表示させ、代替画像表示時にアクションコマンドの入力により、アクションコマンドを反映した代替画像を表示させるテレビ電話端末が提案されている。当該テレビ電話端末において留守番電話の応答側（着信側）では、入力されたアクションコマンドを解析して（発信側に）表示されている代替画像を動作させる。
また特許文献２に記載された従来技術には、テレビ電話の通信端末にて、音声、トーン信号、文字、画像、動画像を用いて録画再生機器を遠隔操作する録画再生機器操作装置が提案されている。
また特許文献３に記載された従来技術には、テレビ電話回線を用いて、携帯電話にて遠隔地からの映像を受信し、当該携帯電話からＤＴＭＦ信号を送信して遠隔地の撮像手段の動作を制御する遠隔操作映像システムが提案されている。
【特許文献１】特開２００４−３２８０６９号公報
【特許文献２】特開２００３−１２５３２８号公報
【特許文献３】特開２００５−２３６６７６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
特許文献１に記載した従来技術では、代替画像を受信して表示している発信側の機器は、受信した代替画像を表示するのみであり、当該代替画像を用いて何らかの制御を行うものではない。
特許文献２に記載した従来技術には、携帯通信端末から画像または動画像を送信して、当該画像または動画像を使ってどのように遠隔操作を行うか、という具体的な構成について何も記載されていない。
特許文献３に記載された従来技術では、遠隔操作の制御にはＤＴＭＦ信号（Dial  Tone  Multi  Frequency信号：プッシュ音、トーン信号）を用いており、音声信号にて被制御機器を制御するものである。ＤＴＭＦ信号を用いて遠隔操作を行う場合、制御の種類はプッシュ音を出すボタンの数に依存し、制御命令の数の限界が低く、比較的不便である。また、押すことが可能なボタンは１度に１つであり、複数のボタンを同時に押して複数の制御を同時に行うことはできない。
本発明は、このような点に鑑みて創案されたものであり、制御命令の数を増加させることが可能であるとともに、拡張性の高い制御を行うことが可能な遠隔制御システムを提供することを課題とする。
【課題を解決するための手段】
【０００４】
上記課題を解決するための手段として、本発明の第１発明は、請求項１に記載されたとおりの遠隔制御システムである。
請求項１に記載の遠隔制御システムは、通信回線を介して情報を送受信可能な第１のテレビ電話端末装置及び第２のテレビ電話端末装置と、前記第２のテレビ電話端末装置に接続された制御サーバとを備える。
前記第１のテレビ電話端末装置は、被制御機器を制御する制御命令に対応させた画像情報が選択されると、選択された画像情報を含むコマンド情報を前記第２のテレビ電話端末装置に送信し、前記第２のテレビ電話端末装置は、受信したコマンド情報に含まれている画像情報を前記制御サーバに出力する。
そして前記制御サーバは、入力された画像情報を解析する画像認識手段と、前記画像認識手段による解析結果に応じた制御命令を判定する判定手段と、判定した制御命令に応じた制御信号を被制御機器に出力する制御信号出力手段とを有する。
【０００５】
また、本発明の第２発明は、請求項２に記載されたとおりの遠隔制御システムである。
請求項２に記載の遠隔制御システムは、請求項１に記載の遠隔制御システムであって、前記画像情報は、キャラクタが所定の部位を所定の動作状態とすることを表示させる画像情報である。
そして前記制御サーバは、前記画像情報が入力されると、前記画像認識手段にて、前記所定の部位の動作状態を認識し、認識した部位における動作状態に応じた制御命令を判定する。
【０００６】
また、本発明の第３発明は、請求項３に記載されたとおりの遠隔制御システムである。
請求項３に記載の遠隔制御システムは、請求項２に記載の遠隔制御システムであって、前記画像情報におけるキャラクタは、所定の部位を所定の動作状態とする表示を複数組み合わせて複数の部位を各々所定の動作状態とする表示が可能である。
そして前記制御サーバは、前記画像情報におけるキャラクタの各々の部位における各々の動作状態に応じた各々の制御命令を判定し、判定した複数の制御命令に応じた制御信号を被制御機器に出力する。
【０００７】
また、本発明の第４発明は、請求項４に記載されたとおりの遠隔制御システムである。
請求項４に記載の遠隔制御システムは、請求項１に記載の遠隔制御システムであって、前記画像情報は、制御命令による被制御機器に関する動作を示す図柄を表示させる画像情報である。
そして前記制御サーバは、前記画像情報が入力されると、前記画像認識手段にて、前記図柄を認識し、認識した図柄に応じた制御命令を判定する。
【０００８】
また、本発明の第５発明は、請求項５に記載されたとおりの遠隔制御システムである。
請求項５に記載の遠隔制御システムは、請求項４に記載の遠隔制御システムであって、前記画像情報における図柄は、複数の図柄を組み合わせた表示が可能である。
そして前記制御サーバは、前記画像情報において各々の図柄に応じた各々の制御命令を判定し、判定した複数の制御命令に応じた制御信号を被制御機器に出力する。
【０００９】
また、本発明の第６発明は、請求項６に記載されたとおりの遠隔制御システムである。
請求項６に記載の遠隔制御システムは、請求項１〜５のいずれかに記載の遠隔制御システムであって、前記第１のテレビ電話端末装置は複数であり、前記制御サーバには、複数の第１のテレビ電話端末装置からの前記画像情報を入力することが可能であるとともに、第１のテレビ電話端末装置に対応させて遠隔制御の許可及び禁止を示すアクセス権情報が記憶されている。
そして前記制御サーバは、画像情報を送信してきた第１のテレビ電話端末装置と前記アクセス権情報とを照合し、当該第１のテレビ電話端末装置に対応する遠隔制御が許可を示している場合に制御信号を被制御機器に出力する。
【００１０】
また、本発明の第７発明は、請求項７に記載されたとおりの遠隔制御システムである。
請求項７に記載の遠隔制御システムは、請求項１〜６のいずれかに記載の遠隔制御システムであって、前記制御サーバは、前記制御命令に応じて制御された前記被制御機器が出力する画像情報または音声情報の少なくとも一方を含む被制御情報を、前記第２のテレビ電話端末装置及び前記通信回線を介して前記第１のテレビ電話端末装置に送信可能である。
そして前記第１のテレビ電話端末装置は、前記被制御情報を、前記通信回線を介して受信可能であり、受信した被制御情報に含まれている画像情報または音声情報の少なくとも一方を再生可能である。
【発明の効果】
【００１１】
請求項１に記載の遠隔制御システムを用いれば、画像情報を用いるとともに、当該画像情報を解析する画像認識手段による解析結果にて制御命令を判定するので、ＤＴＭＦ信号の数に制限されることなく、画像認識手段による認識の数を増やすことでＤＴＭＦ信号の数以上の種々の制御命令を利用することが可能である。
【００１２】
また、請求項２に記載の遠隔制御システムを用いれば、キャラクタの一部の部位の動作状態に制御命令を対応させることで、利用者が制御命令を意味づけして記憶し易く、画像情報と制御命令の対応を覚えることが容易である。
【００１３】
また、請求項３に記載の遠隔制御システムを用いれば、ＤＴＭＦ信号を用いた場合には不可能であった複数の制御命令の組み合わせが可能であり、任意の制御命令を組み合わせて同時に制御を行うことが可能である。
【００１４】
また、請求項４に記載の遠隔制御システムを用いれば、制御命令による被制御機器に関する動作を図柄に対応させることで、更に利用者が制御命令を意味づけして記憶し易く、画像情報と制御命令の対応を覚えることが更に容易である。
【００１５】
また、請求項５に記載の遠隔制御システムを用いれば、ＤＴＭＦ信号を用いた場合には不可能であった複数の制御命令の組み合わせが可能であり、任意の制御命令を組み合わせて同時に制御を行うことが可能である。
【００１６】
また、請求項６に記載の遠隔制御システムを用いれば、アクセス権を適切に設定することが可能であり、セキュリティを要する被制御機器を適切に遠隔制御することができる。
【００１７】
また、請求項７に記載の遠隔制御システムを用いれば、遠隔制御を指示する第１のテレビ電話端末装置にて、遠隔制御した被制御機器の出力（画像情報または音声情報の少なくとも一方）を受信して確認することができるので、便利である。
【発明を実施するための最良の形態】
【００１８】
以下に本発明を実施するための最良の形態を図面を用いて説明する。図１は、本発明の遠隔制御システム１の全体概略図の一実施の形態を示している。
図１の例に示すように、遠隔制御システム１は、通信回線３０を介して情報を送受信可能な第１のテレビ電話端末装置１０（この例では携帯端末装置であり、遠隔制御の指示を行うテレビ電話端末装置）、及び第２のテレビ電話端末装置２０（遠隔制御の指示を受けるテレビ電話端末装置）と、第２のテレビ電話端末装置２０に接続された制御サーバ４０にて構成される。なお通信回線３０には、テレビ電話回線やインターネット等、種々のものを用いることができる。例えば本実施の形態ではテレビ電話回線を通信回線３０として利用した。
第１のテレビ電話端末装置１０と第２のテレビ電話端末装置２０とが通信回線３０を介してテレビ電話が可能に接続された状態にて、第１のテレビ電話端末装置１０から所定のコマンド情報を送信すると、中継局３２及び通信回線３０を介して第２のテレビ電話端末装置２０がコマンド情報を受信して、受信したコマンド情報に含まれている画像情報を制御サーバ４０に出力する。
制御サーバ４０は、入力された画像情報に基づいた制御信号を出力し、所定エリアＡ（例えば個人宅）の被制御機器５０（（録画）再生装置、エアコン、照明、パーソナルコンピュータ等のリモートコントロールが可能な機器）を制御する。
また、制御支援サーバ６０は、本発明の遠隔制御システム１のサービス提供企業のサーバであり、第１のテレビ電話端末装置１０へのコマンド情報の提供（配信）や、制御サーバ４０への制御プログラム及び画像データベース（後述）の提供（配信）を行う。なお、制御支援サーバ６０は省略してもよい。
【００１９】
次に、図２を用いて制御サーバ４０の構成と動作について説明する。本実施の形態にて説明する遠隔制御システム１は、ＤＴＭＦ信号（プッシュ音、トーン信号）を用いて遠隔制御コマンドを送信していた従来技術とは異なり、テレビ電話を用いて、遠隔地の第１のテレビ電話端末装置１０から制御命令に対応させた画像情報を含むコマンド情報を送信し、第２のテレビ電話端末装置２０にて受信した画像情報を、制御サーバ４０の画像認識手段を用いて制御命令を解析して制御信号を出力する。
制御サーバ４０は、第２のテレビ電話端末装置２０から出力される画像情報を取り込む画像取り込み装置４２（画像キャプチャユニット等）、取り込んだ画像情報を解析するとともに解析結果に応じた制御命令を判定するパーソナルコンピュータ４３（画像認識手段及び判定手段に相当し、以下、パソコン４３と記載する）、判定した制御命令に応じた制御信号を出力するリモコン装置４４（制御信号出力手段に相当）にて構成される。
そしてリモコン装置４４から出力された制御信号ＬＲ（例えば赤外線信号）にて、被制御機器５０（（録画）再生装置、エアコン、照明、パソコン等）が制御される。
【００２０】
なお、被制御機器５０とパソコン４３とが同一である場合、制御信号出力手段は当該パソコン４３を遠隔制御するソフトウェアが相当する。また、第２のテレビ電話端末装置２０と画像取り込み装置４２とパーソナルコンピュータ４３とリモコン装置４４の任意の機器を組み合わせて一体で構成してもよい。例えば、画像取り込み装置４２とパソコン４３は一体で構成されていてもよい。
また第２のテレビ電話端末装置２０には、第１のテレビ電話端末装置１０と画像情報及び音声情報を送受信して、ユーザ同士の顔を確認しながら通話を行う一般的なテレビ電話を利用する場合にはカメラ２１とマイク及びヘッドフォン等（図示省略）が必要である。しかし、本発明の遠隔制御システムとして利用し、一般的なテレビ電話を利用しなければ、第２のテレビ電話端末装置２０からカメラ２１とマイク及びヘッドフォン等は省略してもよい。その代わりに、第２のテレビ電話端末装置２０は、被制御機器５０から出力される画像情報及び音声情報を取り込む入力端子を備え、入力された画像情報及び音声情報を第１のテレビ電話端末装置１０に送信する。
【００２１】
次にユーザが第１のテレビ電話端末装置１０を用いて、第２のテレビ電話端末装置２０及び制御サーバ４０を介して被制御機器５０を遠隔制御する手順を説明するとともに、図６に示すフローチャートを用いて制御サーバ４０の処理手順も説明する。
ユーザは第１のテレビ電話端末装置１０を用いて第２のテレビ電話端末装置２０との間でテレビ電話接続を確立させる。
制御サーバ４０は、ステップＳ１０にてテレビ電話接続されたか否かを判定する。接続された場合（Ｙｅｓ）、ステップＳ２０に進み、接続されていない場合（Ｎｏ）、ステップＳ１０に戻る。
【００２２】
次にユーザは制御命令に対応する画像情報を含むコマンド情報を選択し、第２のテレビ電話端末装置２０を介して制御サーバ４０にコマンド情報を送信する。
コマンド情報に含まれている画像情報は、例えば、図３（Ａ）〜（Ｈ）に示すような、キャラクタが所定の部位を所定の状態（動作状態）とすることを表示させる画像情報や、図５（Ｂ）に示すような、制御命令による被制御機器に関する動作を示す図柄を表示させる画像情報である。
なお、本実施の形態にて説明するキャラクタは、「利用者の分身」として表示するものであり、例えばアバタと呼ばれるものである。まず、キャラクタを画像情報として用いる場合の例を説明する。
図３（Ａ）〜（Ｈ）は、キャラクタ「うさぎ」の画像情報の例を示しており、テレビ電話に用いる画像情報として、ユーザ自身の画像でなく当該キャラクタの画像情報を送信することができる。またユーザは当該キャラクタに動作等（アクション等）を与えた画像情報を任意に選択することができる。
また、キャラクタにおける各画像情報は、被制御機器５０を制御する制御命令に対応付けられている。例えば図３（Ａ）はキャラクタ基本形であり、制御状態を維持（何も制御しない）命令に対応付けられており、図３（Ｂ）はサングラスを装着した状態を示しており照明（被制御機器）に対する「オン（点灯）」の制御命令に対応付けられている。また例えば図３（Ｃ）は右手上げの状態で録画再生機器（被制御機器）に対する「再生」の制御命令に対応付けられ、図３（Ｄ）は左手上げの状態で録画再生機器（被制御機器）に対する「録画」の制御命令に対応付けられている。
【００２３】
次に、図４を用いて遠隔制御を行っている第１のテレビ電話端末装置１０の表示部１０ａにおける表示例を説明する。
表示部１０ａには、テレビ電話の通話相手から受信した画像を表示する主画面１０ｂと、テレビ電話の通話相手に送信する自画像を表示する子画面１０ｃとが表示される。
通常のテレビ電話として利用する場合は、主画面１０ｂには通話相手の顔が表示され、子画面１０ｃには第１のテレビ電話端末装置１０を操作しているユーザの顔が表示される。
本実施の形態にて説明する遠隔制御として利用する場合は、第１のテレビ電話端末装置１０は、遠隔制御された被制御機器５０から出力された画像情報または音声情報の少なくとも一方を含む被制御情報（例えば（録画）再生装置の再生画像及び再生音声）を再生することが可能である。例えば図４（Ａ）に示すように、主画面１０ｂに被制御情報に含まれている画像情報を表示し、被制御情報に含まれている音声情報を出力することが可能である。また子画面１０ｃには、現在第２のテレビ電話端末装置２０に送信している画像情報が表示されている。
この場合、図２の例に示すように（録画）再生装置（被制御機器５０）の出力をテレビ電話端末装置２０に接続し、当該（録画）再生装置から出力された被制御情報（画像情報、音声情報等）を、通信回線３０を介して第１のテレビ電話端末装置１０にて受信可能に構成する。
そして第１のテレビ電話端末装置１０は、通信回線３０を介して被制御情報を受信可能であり、受信した被制御情報に基づいた（含まれている）画像情報または音声情報の少なくとも一方を再生可能に構成されている。
【００２４】
なお、図４（Ａ）では、第１のテレビ電話端末装置１０を用いて、図４（Ｂ）の例に示す制御命令に対応させた画像情報の中から「Ｎｏ．３」の画像を選択して、（録画）再生装置に対して「再生」の制御命令を送信した場合の例を示している。この場合、第１のテレビ電話端末装置１０は、子画面１０ｃに表示されている制御命令「再生」を指示する「Ｎｏ．３」の画像を送信し、（録画）再生装置から受信した被制御情報の画像情報を主画面１０ｂに表示する。
なお、第１のテレビ電話端末装置１０のユーザは画面の切り替え操作を行うことで、子画面１０ｃには（録画）再生装置への制御命令の選択を支援するメニュー画面を表示させたり、全画面モードに移行して図４（Ｂ）に示す画像情報の一覧を表示することができる。なお、メニュー画面に表示されていない制御命令であっても、ユーザの操作によって表示されたキャラクタ選択画面等（例えば図４（Ｂ）に示す一覧画面）から、所望する制御命令に対応する動作状態のキャラクタを選択することができる。
【００２５】
次に図５を用いて、図柄を画像情報として用いる場合の例を説明する。
なお、図５（Ａ）では、第１のテレビ電話端末装置１０を用いて、図５（Ｂ）の例に示す制御命令に対応させた画像情報（この場合、図柄）の中から「Ｎｏ．１０」の画像を選択して、（録画）再生装置に対して「再生」の制御命令を送信した場合の例を示している。画像情報としてキャラクタを用いた場合と比較して、図柄を用いる方法では、制御命令と図柄とを、より理解し易く対応付けすることができるので便利である。
なお、図５（Ｂ）の例では、各図柄を一覧表示（全部とは限らない）した図柄を図柄基本形としており、この図柄では現在の制御状態を維持する（変化させない）ことが好ましい。
【００２６】
ユーザは、第１のテレビ電話端末装置１０に表示された第２のテレビ電話端末装置２０からの画像を確認することで、テレビ電話接続が確立していること確認し、選択したコマンド情報を送信する（例えば図３（Ｂ）の画像情報（制御命令「照明オン」）を選択して送信する）。
第２のテレビ電話端末装置２０は、コマンド情報を受信し、コマンド情報に含まれている画像情報を制御サーバ４０に出力する。この場合、テレビ電話の画面では、ユーザの画像がテレビ電話に表示されているのではなく、コマンド情報に含まれている画像情報がテレビ電話に表示されている。
そして制御サーバ４０はステップＳ２０にて、テレビ電話に表示されている画像情報（この場合、図３（Ｂ）の画像情報）を取り込み、ステップＳ３０に進む。
【００２７】
制御サーバ４０はステップＳ３０にて、制御サーバ４０に予め記憶されている画像データベースを参照して画像認識を行い、取り込んだ画像情報のキャラクタの種類（または図柄のグループの種類）を判定する。なお、画像データベースを制御支援サーバ６０に記憶しておき、制御サーバ４０から制御支援サーバ６０に参照にいくように構成してもよい。また画像情報を制御サーバ４０から制御支援サーバ６０に送信し、制御支援サーバ６０による判定結果を制御サーバ４０で受信するように構成してもよい。
なお、画像認識によるキャラクタ種類の判定方法は、例えば画像データベースに記憶されている輪郭を参照して一致する輪郭のキャラクタ（または図柄）と判定させたり、画像における所定位置（例えば領域Ｇ９の右下部）に識別用の特定図柄を挿入するようにしてもよい。
図３ではキャラクタ「うさぎ」の例を示したが、ユーザの嗜好に合わせた複数のキャラクタ（または図柄グループ）を用意しておくことが可能であり、キャラクタ毎（または図柄のグループ毎）に異なる制御が可能である。
ステップＳ４０では、認識したキャラクタの種類（または図柄のグループの種類）が遠隔制御用のキャラクタ（または図柄のグループ）であるか否かを判定する。遠隔制御用キャラクタ（または図柄のグループ）であると判定した場合（Ｙｅｓ）はステップＳ５０に進む。また、遠隔制御用キャラクタ（または図柄のグループ）でないと判定した場合（Ｎｏ）は、例えば第１のテレビ電話端末装置１０に「遠隔制御用のキャラクタではありません」等のメッセージ出力用の情報を送信し、ステップＳ１０に戻ってもよいし、メッセージ出力等を行わずに（何も処理を行わずに）ステップＳ１０に戻ってもよい。
【００２８】
ステップＳ５０に進んだ場合、当該コマンド情報を送信してきた第１のテレビ電話端末装置１０が、当該キャラクタを用いた遠隔制御を行うアクセス権を有しているか否かを確認する。制御サーバ４０は、特定の第１のテレビ電話端末装置だけでなく、複数の第１のテレビ電話端末装置から遠隔制御を利用することが可能である（例えば第１のテレビ電話端末装置１０Ａから第２のテレビ電話端末装置２０を介して遠隔制御が可能であり、第１のテレビ電話端末装置１０Ｂから第２のテレビ電話端末装置２０を介して遠隔制御が可能である）。
制御サーバ４０には、第１のテレビ電話端末装置に対応させて制御命令の許可及び禁止を示すアクセス権情報が記憶されている。例えば第１のテレビ電話端末装置１０Ａについては（電話番号、固有ＩＤ等で特定）キャラクタ「うさぎ」による遠隔制御を「許可」と記憶し、他のキャラクタによる遠隔制御を、それぞれ「禁止」と記憶する。
制御サーバ４０は、コマンド情報を送信してきた第１のテレビ電話端末装置の電話番号、固有ＩＤ等（コマンド情報等に含まれている）から第１のテレビ電話端末装置を特定し、アクセス権情報と照合する。そしてアクセス権情報に、認識したキャラクタの項目に「許可」が設定されている場合（Ｙｅｓ）はステップＳ６０に進む。また、「許可」が設定されていない場合（Ｎｏ）は、例えば第１のテレビ電話端末装置に「このキャラクタで遠隔制御する権限がありません」等のメッセージ出力用の情報を送信し、ステップＳ１０に戻ってもよいし、メッセージ出力等を行わずに（何も処理を行わずに）ステップＳ１０に戻ってもよい。
【００２９】
ステップＳ６０に進んだ場合、制御サーバ４０は、画像認識手段を用いて、認識したキャラクタの種類（この場合、キャラクタ「うさぎ」）における所定の部位の動作状態を認識して（この場合、「サングラス装着」を認識）、ステップＳ７０に進む。
制御サーバ４０における画像認識では、例えば図３に示すように、表示した画像情報を複数の領域（図３の例では領域Ｇ１〜領域Ｇ９）に分割し、分割された各領域内にて、キャラクタの基本形の画像（図３の例では（Ａ））と相違する領域（所定の部位に相当）と相違内容（所定の動作状態に相当）を判定する。例えば図３（Ｂ）に示す画像では、制御サーバ４０は、基本形である図３（Ａ）の各領域Ｇ１〜Ｇ９と図３（Ｂ）の各領域Ｇ１〜Ｇ９とを比較して「領域Ｇ５」に相違があることを認識する。そして制御サーバは、図３（Ｂ）の領域Ｇ５と、キャラクタ「うさぎ」の領域５に関する画像データベースと参照して、相違内容は「サングラス装着」であることを認識する。なお図示省略するが、同じ領域Ｇ５であっても、「両目閉じ」、「右目ウィンク」、「帽子装着」等、種々の動作状態を設定可能であり、従来のＤＴＭＦ信号のトーン信号数に制限されることなく、種々の制御命令を遠隔制御で使用することができる。
なお、第１のテレビ電話端末装置１０の子画面１０ｃに、制御命令に対応させた画像情報が表示されるので、従来のＤＴＭＦ信号の「音」よりも、「現在、どのような制御命令を指示したか」を、より判り易く報知することができる。
なお、所定の部位の所定の動作状態を判定する画像認識方法は、上記の方法に限定されず、種々の方法（ロジック）で実現することができる。
【００３０】
そしてステップＳ７０では、認識したキャラクタにおける所定の部位の動作状態に応じた制御命令（この場合、「照明オン」）を判定し、ステップＳ８０に進む。
そして制御サーバ４０はステップＳ８０にて、判定した制御命令に応じた制御信号（この場合、照明を点灯させる制御信号）を制御信号出力手段から出力し、ステップＳ１０に戻る（画像データベースには、制御命令が、前記の部位及び動作状態に対応させて記憶されている）。
なお、キャラクタの画像情報において、所定の部位を所定の動作状態とする表示を複数組み合わせて複数の部位を各々所定の動作状態とした画像情報を用いることもできる。例えば図３（Ｃ）が「領域Ｇ４、Ｇ７」の部位にて「右手上げ」の動作状態を表示して（録画）再生機器への「再生」の制御命令に対応付けられており、図３（Ｄ）が「領域Ｇ６、Ｇ９」の部位にて「左手上げ」の動作状態を表示して（録画）再生機器への「録画」の制御命令に対応付けられている場合、図３（Ｇ）に示す「領域Ｇ４、Ｇ７」の「右手上げ」と「領域Ｇ６、Ｇ９」の「左手上げ」を組み合わせた画像情報をコマンド情報として利用すると、「再生」と「録画」の制御命令を実行することができる（例えば（録画）再生機器がＨＤＤレコーダの場合、録画しながら再生することが可能である）。
更には、図３（Ｈ）に示すように「領域Ｇ５」の「サングラス装着」も組み合わせると、「再生」と「録画」に加えて「照明点灯」の制御命令も実行することが可能となる。
【００３１】
また、例えば図５（Ａ）及び（Ｂ）に示すように、第１のテレビ電話端末装置１０の子画面１０ｃに遠隔制御用の画像情報の一覧メニューに相当する画面（例えば「Ｎｏ．１図柄基本形」）を表示する。そしてユーザが、当該一覧の中から例えば「１←（左矢印）」と「９（右向き三角形）」を選択すると、第１のテレビ電話端末装置１０は、選択した図柄を組み合わせた「図柄Ｎｏ．（ｎ）（左矢印と右向き三角形）」を生成し、子画面１０ｃに表示するとともに、第２のテレビ電話端末装置２０に送信する。
制御サーバ４０は、画像認識手段を用いて、「図柄Ｎｏ．（ｎ）（左矢印と右向き三角形）」の画像から「１←（左矢印）」と「９（右向き三角形）」を認識し、認識した各々の図柄に応じた各々の制御命令を判定し、判定した複数の制御命令に応じた制御信号（この場合、「カーソル左移動」と「再生」）を被制御機器５０に出力する。なお、「１←（左矢印）」と「９（右向き三角形）」の形状はもちろんのこと、色彩も異なるものとしておけば、より容易に認識（識別）することができる。
【００３２】
本実施の形態にて説明した遠隔制御システム１では、従来のＤＴＭＦ信号による制御では不可能であった複数の制御命令の組み合わせ（上記）に加えて、継続的に制御状態を保持する制御も可能である（例えば（録画）再生機器の再生中に早送りボタンを押し続ける早送り再生等）。例えば、制御命令「再生」のコマンド情報を送信した後、制御命令「早送り」のコマンド情報を、所望する継続期間中、送信し続ければよい。
また本実施の形態にて説明した遠隔制御システム１では、従来のＤＴＭＦ信号による制御とは異なり、プッシュ音を利用していないので、第３者が盗聴し易い音声の盗聴を回避することができ、より安全である。
また、キャラクタの動作状態に制御命令を対応付けることで意味づけが可能であり（例えば、照明を点灯したから（眩しくて）サングラスをかける等）、ユーザが制御命令に対する画像情報を覚えることが容易である。
【００３３】
次に、図７に第１のテレビ電話端末装置１０、第２のテレビ電話端末装置２０、制御サーバ４０の機能ブロック図の例を示す。
図７にて太字で示した第１のテレビ電話端末装置１０のステップＳ１００、画像生成ブロック１２、テレビ電話で送信する画像情報を選択する画像選択ブロック１３、及び制御サーバ４０が、従来のＤＴＭＦ信号を用いた遠隔制御システムから変更した個所である。
制御サーバ４０内の各機能については既に説明しているので省略する。
第１のテレビ電話端末装置１０において、ステップＳ１００は、本実施の形態にて説明した画像情報による遠隔制御を行うか否かを判定しており、「否」の場合（Ｎｏ）は、通常のテレビ電話または従来のＤＴＭＦ信号による遠隔制御を行うことができる。ＤＴＭＦ信号による遠隔制御を行う場合、図７では点線で示しているＤＴＭＦ信号生成ブロック１１、ＤＴＭＦ装置８０を必要とする。
【００３４】
画像生成ブロック１２は、ユーザからの指示に応じた画像情報を選択するブロックである。なお、図３の例における領域Ｇ１〜Ｇ９の領域毎の動作状態をユーザが選択することで、ユーザが任意の画像を生成できるようにしてもよい。
画像選択ブロック１３では、ユーザを撮像するカメラからの画像をテレビ電話で利用するか、上記の生成した画像をテレビ電話で利用するか、ユーザの指示に応じて選択する。なお、画像選択ブロック１３から出力されている「子画面合成」は、図４（Ａ）における子画面１０ｃの表示情報（この場合、遠隔制御のメニュー画面）を生成することを示している。
ＤＴＭＦ信号を用いた従来の遠隔制御システムでは、図７のＤＴＭＦ装置８０にてスーパーインポーズ機能を用いて遠隔制御のメニュー画面等をテレビ電話画像に挿入しており、テレビ電話通信のノイズ等の影響により第１のテレビ電話端末装置１０に表示される画像の鮮明度が低く、且つ第２のテレビ電話端末装置２０から送信される画像情報を表示する主画面１０ｂを隠してしまう（覆うように表示される）。しかし本実施の形態では、図７の画像選択ブロックにて遠隔制御のメニュー画面等を生成して表示しているので、テレビ電話通信を介しておらず、非常に鮮明度の高いメニュー画面等を表示させることができるとともに、子画面１０ｃにメニュー画面等を表示するので、主画面１０ｂをメニュー画面等で隠してしまうことがない。
【００３５】
次に図８を用いて、第１のテレビ電話端末装置１０Ａと第２のテレビ電話端末装置２０Ａとを用いたテレビ電話システムＡと、第１のテレビ電話端末装置１０Ｂと第２のテレビ電話端末装置２０Ｂとを用いたテレビ電話システムＢとの、複数の異なるテレビ電話システムにて、１台の制御サーバ４０から被制御機器５０を遠隔制御する構成について説明する。なお、図８の例では１台の制御サーバ４０に２組のテレビ電話システムを接続した構成の例を示したが、３組以上のテレビ電話システムを接続することも可能である。この構成にて、制御サーバ４０にて例えばオンラインゲーム等のサービスを提供することができる。
第２のテレビ電話端末装置２０Ａが出力する画像情報と、第２のテレビ電話端末装置２０Ｂが出力する画像情報とを、制御サーバ４０の画像取り込み装置４２に入力する。そして、２台の第２のテレビ電話端末装置２０Ａ、２０Ｂからの各々の画像情報を画像認識して制御命令を判定（アクセス権の判定も各々の画像情報にて行うことが可能）し、２台の第２のテレビ電話端末装置２０Ａ、２０Ｂに対応させて設けた２台の制御信号出力手段４４から制御信号を出力する。
なお図８の例では、第２のテレビ電話端末装置２０Ａの音声出力と被制御機器５０からの音声出力とを合成して第２のテレビ電話端末装置２０Ｂの音声入力部に入力し、第２のテレビ電話端末装置２０Ｂの音声出力と被制御機器５０からの音声出力とを合成して第２のテレビ電話端末装置２０Ａの音声入力部に入力している。
また、第２のテレビ電話端末装置２０Ａの画像入力には被制御機器からの画像を入力し、第２のテレビ電話端末装置２０Ｂの画像入力には被制御機器からの画像を入力している。この場合、制御サーバ４０の画像認識手段及び制御命令の判定手段は２組設ける必要がない。
【００３６】
本発明の遠隔制御システム１は、本実施の形態で説明した外観、構成、処理、表示例等に限定されず、本発明の要旨を変更しない範囲で種々の変更、追加、削除が可能である。
本実施の形態にて説明したコマンド情報に含ませる画像情報は静止画像の例を用いたが、動画像を用いて画像認識させることも可能である。この場合、動作速度の変化も加えることができるので、更に複数の制御命令に対応付けすることが可能である。
また、音声情報と画像情報は干渉しないので、従来のＤＴＭＦとの併用が可能である。従って、既存のＤＴＭＦ信号による遠隔制御を利用しながら、本実施の形態にて説明した遠隔制御を行うことも可能である。
また遠隔制御としては、家電製品のリモコン操作やパソコン４３のソフトウェアの操作等、種々の制御を行うことが可能である。
また、第１のテレビ電話端末装置１０の画像生成プログラム（コマンド情報に含ませる画像情報を生成するプログラム）、制御サーバ４０の画像データベース及び画像認識プログラム等は、制御支援サーバ６０から配信することが可能である。
本実施の形態の説明では、遠隔制御の指示を行う第１のテレビ電話端末装置１０に携帯端末装置を用いたが、第１のテレビ電話端末装置１０は携帯端末装置に限定されるものではなく、テレビ電話端末装置であれば、固定式等であってもよい。
【図面の簡単な説明】
【００３７】
【図１】本発明の遠隔制御システム１の一実施の形態における全体構成を説明する図である。
【図２】遠隔制御システム１の概略外観を説明する図である。
【図３】画像情報の例を説明する図である。
【図４】第１のテレビ電話端末装置１０の表示部１０ａへの表示例、及び選択する制御命令に対応する画像情報（キャラクタ）の例を説明する図である。
【図５】第１のテレビ電話端末装置１０の表示部１０ａへの表示例、及び選択する制御命令に対応する画像情報（図柄）の例を説明する図である。
【図６】制御サーバ４０の処理手順の例を説明するフローチャートである。
【図７】遠隔制御システム１の機能ブロックを説明する図である。
【図８】２組のテレビ電話端末装置を用いて被制御機器を制御する構成の例を説明する図である。
【符号の説明】
【００３８】
１        遠隔制御システム
１０      第１のテレビ電話端末装置
２０      第２のテレビ電話端末装置
３０      通信回線
３２      基地局
４０      制御サーバ
４２      画像取り込み装置
４３      パーソナルコンピュータ（画像認識手段、判定手段）
４４      リモコン装置（制御信号出力手段）
５０      被制御機器
６０      制御支援サーバ
【図１】
2007201597.tif 000003
【図２】
2007201597.tif 000004
【図３】
2007201597.tif 000005
【図４】
2007201597.tif 000006
【図５】
2007201597.tif 000007
【図６】
2007201597.tif 000008
【図７】
2007201597.tif 000009
【図８】
2007201597.tif 000010