(57)【要約】ユーザによって制御される環境の画像を生成するカメラを用いるシステムが提供される。画像は、制御装置のディスプレイモニタに表示される。制御装置は、ユーザがディスプレイモニタの画像の領域と相互作用することを可能にする。その領域は、環境の画像内に表示された制御可能な家庭用電化（CE）装置に対応する。その領域との相互作用により、CE装置が事前にプログラムされた方法で制御されることをもたらす。
2005500772.tif 000002
【特許請求の範囲】
【請求項１】
ユーザが遠隔で装置を制御することを可能にする方法であって、
サーバにつなげられたカメラを介して、前記装置の画像を取得し、
データネットワークを介して、前記サーバから前記画像を検索し、
ディスプレイモニタに前記画像を表示し、
制御インタフェースとのユーザの相互作用により、前記装置の制御のためのコマンドと前記画像とを関連付ける制御インタフェースと、前記ユーザが相互作用することを可能にすることを有する方法。
【請求項２】
請求項１に記載の方法であって、
前記ユーザが前記装置の複数の制御可能な構成要素を制御することを可能にするステップと、
前記複数の制御可能な構成要素のそれぞれ１つの制御のためのそれぞれのコマンドと、前記画像のそれぞれの領域とを関連付けるステップと、
前記複数の制御可能な構成要素の前記それぞれ１つの前記制御を実施するために、前記ユーザが前記それぞれの領域と相互作用することを可能にするステップと
を更に有する方法。
【請求項３】
遠隔で装置を制御する遠隔制御システムであって、
前記装置の画像を取得するカメラと、
ネットワークを介して、前記装置の前記画像を表すデータを受信するデータ入力と、
前記画像の表示のためのディスプレイモニタと、
制御インタフェースとのユーザの相互作用により、前記装置の制御のためのコマンドと前記画像とを関連付ける制御インタフェースと
を有するシステム。
【請求項４】
請求項３に記載のシステムであって、
前記ネットワークがインターネットであるシステム。
【請求項５】
請求項３に記載のシステムであって、
無線モデムを有する個人情報端末が、データ入力と、ディスプレイモニタと、前記ネットワークを介してサーバと無線により通信する制御インタエースとを有するシステム。
【請求項６】
請求項５に記載のシステムであって、
前記サーバと前記装置との間に制御ネットワークがつなげられたシステム。
【請求項７】
請求項３に記載のシステムであって、
前記制御インタフェースとの前記ユーザの相互作用により、前記装置の制御のためのコマンドと前記画像の領域とを関連付けるソフトウェアを更に有するシステム。
【請求項８】
遠隔で装置を制御する遠隔制御装置であって、
制御インタフェースとのユーザの相互作用により、制御ネットワークを介して前記装置の制御のためのコマンドと前記装置のビデオ画像とを関連付ける制御インタフェースを有する装置。
【請求項９】
請求項８に記載の装置であって、
前記装置の前記ビデオ画像がビデオカメラによって取得され、前記制御ネットワークにつなげられたネットワークを介して前記制御インタフェースに送信される装置。
【請求項１０】
請求項８に記載の装置であって、
前記制御インタフェースが前記カメラを制御するための制御を有する装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は特に家庭用電化（CE）装置の遠隔制御に関する。
【背景技術】
【０００２】
遠隔制御ユニットは周知である。一例は、ロイヤル・フィリップス・エレクトロニクス（Royal  Philips  Electronics）により製造されるプロント（Pronto）（商標）である。プロント（Pront）（商標）は、IRを介してCE装置を制御するためのいわゆる万能のプログラム可能遠隔制御ユニットである。それは、実質的に何らかの既存の家庭用電化（CE）装置のIRコードを保存することを可能にする。プロント（Pronto）（商標）は、グラフィカル・ユーザ・インタフェース（GUI）としてタッチスクリーン機能を備えたLCDを有する。プロント（Pronto）（商標）の制御機能は、ユーザ自身で完全にカスタマイズされ得る。個々の制御機能はアイコンとしてグラフィカルに表され得る。プロント（Pronto）（商標）は、ユーザがタッチスクリーンのLCDに表示され、検索され得る各ページのアイコンの各グループをクラスター化することを可能にする。
【発明の開示】
【課題を解決するための手段】
【０００３】
本発明はユーザによって制御される環境の画像を生成するためにカメラを用いる。前記画像は制御装置のディスプレイモニタに表示される。前記制御装置は、ユーザがディスプレイモニタ上のイメージの領域と相互作用することを可能にする。前記領域は、環境の画像内に表示された制御可能な家庭用電化（CE）装置に対応する。前記領域との相互作用により、CE装置が事前にプログラムされた方法で制御されることをもたらす。
【０００４】
本方法は、例えばウェブカメラ、すなわちウェブブラウザとつなげられたビデオカメラを用いて、カメラが取得しているもの、例えば生の映像又は静止画像を遠隔でユーザが見ることを可能にする。ウェブカメラで取得された画像は、ウェブサーバとインターネット又は他のデータネットワークを介して、セットトップボックス又はウェブブラウザを有するパーソナルコンピュータに送信され得る。
【０００５】
制御され得るＣＥ装置と、カメラから取得された画像の２次元座標を関連付けるために、トレーニングモードが用いられる。例えば、数回ランプをつけて消すことにより、本発明のシステムは、取得された画像のどのピクセルがランプに関連付けられているかを学習し、画像マップを構成するためにその情報を用いる。
【０００６】
一例として、本発明のシステムが家庭環境で用いられている場合、ユーザは遠隔でウェブカメラを制御し、ユーザの制御可能な家庭用装置の一部の画像を取得する。家庭用装置は、例えばランプや、スプリンクラーの装置や、コーヒーメーカーや、家庭内気候調節装置等からなる。取得された画像は、ユーザによって相互作用される制御装置のディスプレイスクリーンに表示される。装置の特定の一部を表示する画像の領域は、装置の前記の特定の一部を制御するために割り当てられたアクティブな領域を表す。例えばタッチスクリーンを介して、又は領域内でカーソルの位置を合わせてコンピュータマウスをクリックすることにより、ユーザが制御装置の前記の画像の領域をアクティブにすると、制御装置から関連する装置の一部に送信されるコマンドが生成される。
【０００７】
本発明の実施例は、ハンドヘルド装置につなげられたグラフィカル・ユーザ・インタフェース（GUI）と無線モデムを備えたハンドヘルド装置、例えばPDA（個人情報端末）を有する情報処理システムを提供する。無線モデムは、インターネットのようなデータネットワークを介してサーバとの通信を可能にする。制御ネットワークは、サーバと制御可能な装置との間につなげられる。ハンドヘルド装置は、インターネットとサーバを介して装置の無線遠隔制御装置として機能することができる。本システムはまた、ハードウェアとソフトウェアを共に備えたビデオカメラ、例えばウェブカメラを有し、PDAのLCDスクリーンに表示されるのに適した形式を合わせた静止画像を作る。
【０００８】
画像はハンドヘルド装置のグラフィカル・ユーザ・インタフェースとしての役割をする。表示されたウェブカメラの画像又はその領域がクリックされ、又は押されて、ウェブカメラの画像内に表示された遠隔制御CE又は他の電子装置に送信されるコマンドを実行する。例えば、ユーザはウェブカメラの画像のランプの画像を押し、ランプをつけたり消したりするコマンドをランプに送信するコマンドを遠隔で送信するプログラムをサーバが実行する命令をすることができる。ランプがビデオカメラの視野の範囲に存在する場合には、リアルタイムのウェブカメラのビデオ画像を介して、ランプのスイッチのオン又はオフが視覚によって確かめられ得る。
【０００９】
以下の特許文献が参照として取り込まれる。
【００１０】
インターネットを介して遠隔制御を行う無線モデムを有するPDA（PDA  HAS  WIRELESS  MODEM  FOR  REMOTE  CONTROL  VIA  THE  INTERNET）としてJoost  KeminkとRik  Sagarにより1999年10月27日に出願された米国出願第09/427,821号。この文献は、インターネットとローカルホームサーバを介してCE装置の遠隔制御を可能にするPDAと無線モデムの組み合わせに関する。
【００１１】
サーバを介した装置の制御のためにサーバからユーザインタフェースを検索するハンドヘルド（HANDHELD  RETRIEVES  UI  FROM  SERVER  FOR  CONTROL  OF  APPARATUS  VIA  SERVER）としてRik  Sagarにより2000年4月6日に出願された米国出願第09/544,666号。この文献は、インターネットのサーバに識別子を送信する無線モデムを有するハンドヘルドのリモコンに関する。サーバは、識別子をURLに関連付ける参照テーブルを有する。URLはインターネットの他の機械のCGIプログラムを指示する。機械はCGIプログラムの実行を通じて装置を制御する。
【００１２】
制御構成の検索を起動するリモコン（REMOTE  INITIATES  RETRIEVAL  OF  CONTROL  CONFIGURATION）としてMartin  FreemanとBonghan  Choにより1999年11月4日に出願された米国出願第09/434,155号。この文献は、ユニットの外部のストレージ装置から制御構成の検索を起動可能なプログラム可能遠隔制御ユニットに関する。ユニットは検索された制御構成を保存するメモリと、構成を表すアイコンを表示するディスプレイと、表示されたアイコンに基づいて選択を入力するタッチスクリーンとを有する。ストレージ装置はCE装置の構成要素である。装置自体の特定の装置の制御構成を保存又はバックアップすることにより、リモコンが真に広くプログラム可能になる。
【００１３】
ユーザプロフィールに基づくインターネット可能な装置のカスタマイズされたアップグレード（CUSTOMIZED  UPGRADING  OF  INTERNET-ENABLED  DEVICES  BASED  ON  USER-PROFILE）としてAdrian  TurnerとSimon  PearceとDavid  EvesとAllan  Timmsにより1998年9月25日に出願された米国出願第09/160,490号と、ホームネットワークの共同の側面のアップグレード（UPGRADING  OF  SYNERGETIC  ASPECTS  OF  HOME  NETWORKS）としてEugene  Shuteynにより1998年11月10日に出願された米国出願第09/189.535号であり、双方ともに、ネットワーク可能な家庭用電化装置の特定のエンドユーザのユーザプロフィールと、前記の形式の装置の新しい技術的特性のデータベースを維持するサーバシステムに関する。プロフィールと新しい技術的特性との間に一致があり、ユーザが更新又はセールスオファーについての情報を受信したいとユーザが示していると、ユーザはネットワークを介してその特性を取得するオプションを通知される。ユーザに更なる使用の可能性又はユーザの装置の拡張を知らせるために、ユーザの装置の一部の間に相互作用が検出される。
【発明を実施するための最良の形態】
【００１４】
本発明は一例として添付の図面を参照して説明される。
【００１５】
本発明は２つの例に関連して以下に説明される。第１の例は、インターネットを介してランプをつけたり消したりするリモコンの使用である。第２の例は、ホームサーバから保存された画像を検索することに関する。
【００１６】
図１は、本発明のシステム１００のブロック図である。システム１００は、無線モデム１０４を介してデータネットワーク１０６、例えばインターネットに接続される個人情報端末（PDA）のようなハンドヘルド装置１０２、例えば3COMによって製造されたPalmIIIx又はWindows（登録商標）  CEベースのハンドヘルドを含む。モデム１０４は、例えばMinstrel又はRicochetである。ノバテル・ワイヤレス（Novatel  Wireless）によって販売されるMinstrelは、とりわけユーザにウェブをブラウズし、電子メールを受信することを可能にするPDAのための双方向無線モデムである。
【００１７】
更に一般的な意味において、Minstrel又はRicochetのような無線モデムは、（スループットと遅延と対象範囲内での）通信のためにインターネットを用いる何らかの形式のアプリケーションによって用いられ得るIPアドレスをハンドヘルド装置１０２に提供する。Minstrelは、携帯電話サービスプロバイダによって対応されているセルラ・デジタル・パケット・データ（Cellular  Digital  Packet  Data）（CDPD）と称される技術を用いる。ウェブサーフィンは、CDPDの速度上限の19.2kbpsに制限される。
【００１８】
メトリコム（Metricom）からのRicochetは、28.8kbpsの範囲の更に早い接続速度を有するが、３つのメトロポリタンセンター（サンフランシスコのベイエリアとシアトルとワシントン）で対応されているのみである。本発明のシステムの遠隔制御機能は、高速のデータ速度を必要としない。通信される情報は大きさに制限がある。この例におけるデータ速度は約9,600ボーである。
【００１９】
ハンドヘルド装置１０２はPDA以外の装置であることが考えられる。例えば、ハンドヘルド装置１０２は、RF信号を出すことができる装置、又はインターネットのようなデータネットワークに直接接続された（すなわち無線でなく）パーソナルコンピュータであることが創造される。
【００２０】
システム１００は、サーバ１０８と、X-10コントローラ１１０と、X-10スイッチモジュール１１２とランプ１１４とを更に有する。X-10は電子装置の制御のための通信プロトコルである。前記プロトコルは、標準的な家庭の配線１１６で通信するX-10送信機とX-10受信機との間の通信のために設計されたものである。X-10はここでは一例として述べられる。CEBusや（IRブラスターを通じた）IR等のような電力供給線を使わない他の制御機構が実現可能である。スイッチ１１２は、コントローラ１１０の制御の下で、本線の電力供給１１６にランプ１１４を接続する。次に、コントローラ１１０はサーバ１０８から制御入力を取得する。
【００２１】
PDA１０２は、タッチスクリーン又はグラフィカルなタブレット機能を備えたディスプレイ又はグラフィカル・ユーザ・インタフェース（GUI）と、クライアントアプリケーション１２０を有する。クライアントアプリケーション１２０は、ディスプレイ１１８のソフトボタンの生成を制御する。
【００２２】
ユーザがディスプレイ１１８のオンボタンをアクティブにすると、アプリケーション１２０は無線モデム１０４を用いて、インターネット１０６を介してサーバ１０８にコマンドを送信する。サーバ１０８は、ウェブサーバ１２２を作動するPCのハードウェアと、ウェブサーバ１２２によって作動されるCGIスクリプトを含むソフトウェアモジュール１２４とを含む。CGIは共通ゲートウェイ・インタフェースを意味し、HTTPプロトコルの一部である。CGIはウェブサーバ１２２とクライアントアプリケーションのようなアプリケーションとの間で情報を往復して情報を転送するために用いられる。
【００２３】
PC１０８で作動するウェブサーバ１２２は、インターネット１０６上でPDA１０２から受信したコマンドを解釈する。解釈の機構は、例えば検索されるそれぞれの特定のコマンドが特定の動作にリンクされるPC１０８のデータベースを用いる。前記データベースはユーザによって完全にカスタマイズされ得る。この例におけるコマンドは、ランプ１１４をつけるという動作として解釈される。
【００２４】
このため、PC１０８は、例えばRS232ケーブルを介して、コントローラ１１０と通信を行い、後者にランプ１１４をつけるスイッチ１１２にコマンドを発行する命令をする。スイッチ１１２はコマンドを受信し、電力線１１６にランプ１１４を接続する。同様に、その後ユーザがディスプレイ１１８でオフボタンを押すと、クライアントアプリケーション１２０は、インターネット１０６を介して対応するコマンドをモデム１０４を介してPC１０８に送信する。ウェブブラウザ１２２はコマンドを解釈して、スイッチ１１２にランプ１１４を消す命令をコントローラ１１０にする。
【００２５】
システム１００は、ここで信頼性のあるホームサーバ（RHS）と称されるサーバ１２６と、ウェブカメラのようなビデオカメラ１２８とを更に含む。この例において、RHS１２６はサーバ１２２内の構成要素であってもよく、又は分離した低価格のサーバであってもよい。その他、ウェブサーバ１２２とスクリプト１２４はサーバ１２６の構成要素になり得る。
【００２６】
ビデオカメラ１２８は、ビデオカメラが取得しているもの、例えば生の映像又は自動的にリフレッシュされる静止画像をユーザが遠隔で見ることを可能にする。
【００２７】
RHS１２６は、少なくとも１つの映像情報源、この例ではビデオカメラ１２８からのビデオ画像から画像を受信するハードウェアとソフトウェアを含み、その画像をPDA１０２又はウェブブラウザを備えた他のコンピュータに転送する。クライアントアプリケーション１２０は、押した場合に、アプリケーション１２０にモデム１０４とインターネット１０６を介してサーバ１０８にコマンドを送信させるソフトボタン、例えば「見る」を提供する。PC１０８で作動するウェブサーバ１２２は、コマンドを受信し、それを解釈し、ビデオ画像をウェブサーバ１２２に送信するようにRHS１２６に命令する。後者は、ビデオ画像の形式をPDA１０２のGUI１１８のディスプレイに適切なように変換し、形式をあわせた画像をPC１０８のメモリ内のデータベースに保存する。
【００２８】
ユーザがクライアントアプリケーション１２０によって作られた他のソフトボタン、例えば「画像」を押す。関連付けられたコマンドがモデム１０４とインターネット１０６を介してPC１０８に送信される。ウェブブラウザ１２２がコマンドを受信し、それを解釈し、その結果、データベースから保存された画像を検索し、共通のインターネットプロトコルを介してPDA１０２にそれを戻す。そして、PDA１０２は、クライアントアプリケーション１２０の制御の下でGUI１１８に画像を表示する。
【００２９】
GUI１１８によって表示された画像は、クリックされて又は押されて、ランプ１１４と他の電子装置を遠隔で制御するクリック可能なユーザインタフェース（画像のマップ）をもたらす。例えば、ユーザは画像上のランプ１１４の画像を押し、ランプ１１４にオン／オフのコマンドを遠隔で送信するプログラムをウェブサーバ１２２に実行させる命令を行い得る。ランプ１１４がネットワーク可能（例えばインターネット可能）である場合、ランプ１１４は、固有のインターネットアドレスとウェブサーバ１１２を介して直接制御され得る。ランプ１１４がネットワーク可能でない場合、ランプ１１４はRHS１２６につなげられ、それを通じて間接的に制御可能になる。
【００３０】
セキュリティ目的のため、RHS１２６が例えばパスワードを通じて条件付きのアクセスを与えることが考えられる。定期的にリフレッシュされ、GUI１１８によって表示されるリアルタイムのウェブカメラのビデオ画像を押すことにより、ランプ１１４を制御することも更に考えられる。従って、ランプ１１４がビデオカメラの視野の範囲にある場合、ランプ１１４のスイッチのオン又はオフは、リアルタイムのビデオ画像を介して視覚的に確かめられ得る、すなわち、ついたり消えたりするランプ１１４は、画像の色又は輝度に影響を与える。他の例において、水の噴出の存在又は欠如が、スプリンクラーがオンになっているかオフになっているかを確かめる。コーヒーメーカー又はヒーターの“オン”のライトが、電源オンのモードを確かめる。
【００３１】
その他、ウェブカメラのビデオ画像上の装置の画像がクリックされ、又は押されると、スライダー・コントロール・パネル（slider  control  panel）のようなユーザインタフェースがポップアップし得る。例えば、ユーザがウェブカメラのビデオ画像上のラジオの画像を押して、ラジオをつけたり、音量を調整したり、カセットを再生したりする等のような、多様な制御オプションを有するスライダー・コントロール・パネル（slider  control  panel）をポップアップする。１つ以上の多様な制御オプションを押すことにより、その結果、ウェブサーバ１１２は、ラジオを遠隔で制御するプログラムを実行する命令が行われる。したがって、ビデオカメラ１２８によって取得されると、制御される装置の画像は直感的なユーザインタフェースとしての役割をする。
【００３２】
制御され得るCE及び電気器具と、ビデオカメラ１２８から取得されたビデオ画像の２次元座標とを関連付けるために、トレーニングモードが用いられる。例えば、数回ランプをつけて消すことにより、システムが取得された画像のどのピクセルがランプに関連付けられているかを学習し、画像マップを構成するためにその情報を用いる。
【００３３】
本発明のシステムをトレーニングして、画像又はその領域と、特定のタスク、例えば個々の制御コマンドを関連付けることも想像される。画像又はその領域は、ユーザインタフェースのコマンドを表すための役割をする。トレーニングセッション（群）の間に画像が取得され、将来の利用のために保存される。使用中、制御される装置の異なる状態を示す画像又は他の所定の表示（例えばアイコン）がユーザに提示される。ユーザは、例えば選択されたイメージをクリックすることにより、又は他の確認動作を実行することにより、選択された画像によって示された装置の状態を選択又は実施する。
【００３４】
更に、本発明のシステムは、アイコンをハイライトすることにより、又はドラッグ・アンド・ドロップのアイコンのインタフェースを用いることにより、ユーザが制御される装置の望ましい状態の表示を作ることを可能にし、各アイコンは効力、例えばライトのオン／オフを表す。システムをより容易に使えるようにするために、実際の環境（部屋や、劇場のステージ等）の画像は背景として用いられ得る。制御される装置の状態と、特定の要素、又はハイライト又はドラッグ・アンド・ドロップされるアイコンとを関連付けるようにシステムがトレーニングされる。
【００３５】
その他、ドラッグ・アンド・ドロップのアイコンは、その効果に関連付けられた特性を有する場合があり、その特性を満たす空間に配置され得る。例えば、ライト又はランプのアイコンは、ランプが照らす領域の特定の座標に関連付けられる。ライト又はランプのアイコンがドラッグ・アンド・ドロップのインタフェースの特定の座標に配置されると、ランプがオンになる。アイコンが特定の座標から移動されると、ランプがオフになる。
【００３６】
本発明の遠隔制御システムは、いくつかの概念的に簡単な例を参照して説明された。本発明を用いて、他の更に高度なシナリオが実現され得ることは明らかである。例えば、ユーザが好みのテレビ番組を記録するように装置を設定し忘れた、又は設定できなかったことに気付くと、VCR又はTiVoのような記録装置は、世界のどこからでもプログラムされ得る。これに関して、時間と位置によるパーソナル化されたテレビ（TIME-AND  LOCATION-DRIVEN  PERSONALIZED  TV）としてEugene  Shteynにより1999年4月1日に出願された米国出願第09/283,545号（代理人管理番号PHA23,633）を参照し、その内容が参照として取り込まれる。他の例として、夜遅くに車で家に戻る間に、ユーザは中央暖房装置をオンにしたり、家や庭のライトをつけたりし得る。他の例として、仕事中又は旅行中に、ユーザは家の庭のスプリンクラーの装置をプログラムしたり、又はアクティブにしたりし得る。
【００３７】
本発明のシステムはまた、遠隔のユーザに家を監視することを可能にするセキュリティシステムとして、又は親が子供を異なる場所で監視することを可能にする万一のためのベビーシッターのシステムとしての役割をすることも想像される。
【００３８】
従って、ここで説明したものは単に本発明の原理の適用の例証である。それ故に、本発明の範囲と意図を逸脱することなく、その技術に熟練した人によって他の構成と方法が実現され得る。
【図面の簡単な説明】
【００３９】
【図１】本発明によるシステムのブロック図である。
【図１】
2005500772.tif 000003
【国際公開パンフレット】
2005500772.tif 000004
2005500772.tif 000005
2005500772.tif 000006
2005500772.tif 000007
2005500772.tif 000008
2005500772.tif 000009
2005500772.tif 000010
2005500772.tif 000011
2005500772.tif 000012
2005500772.tif 000013
2005500772.tif 000014
2005500772.tif 000015
【国際調査報告】
2005500772.tif 000016
2005500772.tif 000017