(57)【特許請求の範囲】
【請求項１】
ユーザインタラクションを含むシーン記述情報と、被制御装置を制御するための機器制御用のメニューを表すシーン記述情報とを用いるユーザインタフェースシステムにおいて、
上記ユーザインタラクションを含むシーン記述情報と上記機器制御用のメニューを表すシーン記述情報とを記憶する記憶手段と、上記被制御装置を制御する機器制御信号を生成する機器操作信号生成手段とを有するサーバと、
上記ユーザインタラクションを含むシーン記述情報と上記機器制御用のメニューを表すシーン記述情報とを復号する復号手段と、ユーザ入力情報が入力される入力手段とを有するリモート端末とを有し、
上記サーバは、上記記憶手段に記憶した、上記ユーザインタラクションを含むシーン記述情報と上記機器制御用のメニューを表すシーン記述情報とを上記リモート端末に送り、
上記リモート端末は、上記サーバから送られた上記ユーザインタラクションを含むシーン記述情報と上記機器制御用のメニューを表すシーン記述情報とを上記復号手段で復号し、表示部の画面上に上記ユーザインタラクションを含むシーン記述情報で記述されたコンテンツと上記機器制御用のメニューとを表示させ、上記表示部に表示された上記機器制御用のメニューが選択されることに応じて上記入力手段に入力された上記表示部における上記機器制御用のメニューの選択位置を示すユーザ入力情報を上記サーバに送り、
上記サーバは、上記リモート端末より送られた上記ユーザ入力情報に基づいて上記機器操作信号生成手段にて上記機器制御信号を生成するユーザインターフェースシステム。
【請求項２】
上記サーバは、シーン記述情報を復号する復号手段を有し、上記復号手段にて、ユーザインタラクションを含むシーン記述情報で記述されたコンテンツのシーン記述情報と被制御装置を制御する機器制御用のメニューを表すシーン記述情報とを復号し、上記表示部にユーザインタラクションを含むシーン記述情報で記述されたコンテンツと上記制御機器用のメニューとを表示させ、シーン記述情報に含まれているユーザインタラクションと上記機器制御用のメニューとを上記リモート端末で区別なく操作することを可能とする請求項１記載のユーザインターフェースシステム。
【請求項３】
上記サーバは、シーン記述情報を生成するシーン記述生成手段を有し、該シーン記述生成手段にて生成されたシーン記述情報を入力とする請求項１記載のユーザインターフェースシステム。
【請求項４】
上記シーン記述生成手段は、ユーザインタラクションを含むシーン記述情報で記述されたコンテンツと同じシーン記述方法で被制御装置を制御する機器制御用のメニューのシーン記述情報を生成する請求項３記載のユーザインタフェースシステム。
【請求項５】
ユーザインタラクションを含むシーン記述情報と被制御装置を制御するための機器制御用のメニューを表すシーン記述情報とを用い、リモート端末と共にユーザインタフェースを構成するサーバ装置において、
上記ユーザインタラクションを含むシーン記述情報と上記機器制御用のメニューを表すシーン記述情報とを記憶する記憶手段と、上記被制御装置を制御する機器制御信号を生成する機器操作信号生成手段とを有し、
上記記憶手段に記憶した、上記ユーザインタラクションを含むシーン記述情報と上記機器制御用のメニューを表すシーン記述情報とを上記リモート端末に送り、
上記リモート端末において復号されて表示部の画面上に表示された上記ユーザインタラクションを含むシーン記述情報で記述されたコンテンツと上記機器制御用のメニューとのうち、上記機器制御用のメニューが選択されることに応じて該リモート端末に入力された上記表示部における上記機器制御用のメニューの選択位置を示すユーザ入力情報を受け取り、該ユーザ入力情報に基づいて上記機器操作信号生成手段にて上記機器制御信号を生成するサーバ装置。
【請求項６】
シーン記述情報を復号する復号手段を有し、上記復号手段にてユーザインタラクションを含むシーン記述情報で記述されたコンテンツのシーン記述情報と上記被制御装置を制御するための制御用のメニューを表すシーン記述情報とを復号し、上記表示部にユーザインタラクションを含むシーン記述情報で記述されたコンテンツのシーンと上記制御用のメニューのシーンとを表示させ、シーン記述情報に含まれているユーザインタラクションと上記機器制御用のメニューとを上記リモート端末で区別なく操作することを可能とする請求項５記載のサーバ装置。
【請求項７】
シーン記述情報を生成するシーン記述生成手段を有し、該シーン記述生成手段にて生成されたシーン記述情報を入力とする請求項５記載のサーバ装置。
【請求項８】
上記シーン記述生成手段は、ユーザインタラクションを含むシーン記述情報で記述されたコンテンツと同じシーン記述方法で被制御装置を制御するための機器制御用のメニューのシーン記述情報を生成する請求項７記載のサーバ装置。
【請求項９】
ユーザインタラクションを含むシーン記述情報と被制御装置を制御するための機器制御用のメニューを表すシーン記述情報とを用い、サーバと共にユーザインタフェースを構成するリモート端末装置において、
シーン記述情報を復号する復号手段と、
ユーザ入力情報が入力される入力手段とを有し、
上記サーバから送られた上記ユーザインタラクションを含むシーン記述情報と上記機器制御用のメニューを表すシーン記述情報とを上記復号手段で復号して表示部の画面上に上記ユーザインタラクションを含むシーン記述情報で記述されたコンテンツと上記機器制御用のメニューとを表示させ、上記表示部に表示された上記機器制御用のメニューが選択されることに応じて上記入力手段に入力された上記表示部における上記機器制御用のメニューの選択位置を示すユーザ入力情報を上記サーバに送り、上記サーバは、上記ユーザ入力情報に基づいて被制御装置を制御する機器制御信号を生成するリモート端末装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ユーザインタラクションを含むシーン記述情報を用いるユーザインターフェースシステム、シーン記述生成装置及び方法、シーン記述配信方法、サーバ装置、リモート端末装置、伝送媒体並びに記録媒体に関する。
【０００２】
【従来の技術】
リモート端末によって機器制御を行う際に、一台のリモート端末によって複数の被制御機器を制御したりする目的で、サーバからリモート端末へメニューデータを送信する従来のユーザインターフェースシステムを図７に示す。
【０００３】
サーバ７０１はメニューデータ記憶装置７０３に記憶しているメニューデータ７２３を送受信装置７０５によりリモート端末７０６へ送信する。サーバ７０１は、例えばTVやホームサーバなどである。リモート端末７０６は、受信したメニューデータ７２３を表示装置７０７により表示する。ユーザ入力装置７０８は、ユーザ入力７０９を、例えばどのメニューを選択したかというようなユーザ入力情報７１０へ変換し、送受信装置７０５ｂを介してサーバ７０１へ送信する。メニューデータ７２３やユーザ入力情報７１０の送受信には一般に赤外線などが使用される。サーバ７０１中の機器操作信号生成装置７０４は、ユーザ入力情報７１０をメニューに対応した被制御機器７１５のための機器制御信号７１４に変換し、被制御機器７１５を制御する。
【０００４】
このようなユーザインターフェースシステムの例を図８に示す。サーバ８０１は、メニューデータ８２３をリモート端末８０６へ送信する。図８の例では、メニューデータ８２３は、VTRを制御するために停止と録画メニューから成る。リモート端末８０６は、メニューデータ８２３を表示する。図８の例ではタッチパネルを用いてメニューデータ８２３を表示している。例えばユーザが録画メニューを選択すると、リモート端末８０６は録画が選択されたというユーザ入力情報８１０をサーバ８０１へ送信する。サーバ８０１は被制御機器８１５で録画するための機器制御信号８１４を生成し、被制御機器８１５へ送ることにより、図８の例ではVTRの録画が開始される。
【０００５】
リモート端末８０６用のメニューデータ８２３は、リモート端末８０６の表示装置に依存したデータ形式であるため、異なるリモート端末８０６間では互換性が無いという問題がある。
【０００６】
ところで、ディジタルTV放送やDVD、HyperText Markup Language（以下、HTMLという。)等で記述されたインターネットのホームページ、ISO/IEC14496-1に規定されたシーン記述方式であるBinary Format for the Scene（以下、MPEG-4 BIFSという。）、ISO/IEC14772に規定されたVirtual Reality Modeling Language（以下、VRMLという。）など、ユーザ入力によるインタラクションを含むことが可能なシーン記述方法で記述されたコンテンツがある。このコンテンツのデータを、以下、シーン記述と呼ぶ。シーン記述には、そのコンテンツ中で使用するオーディオや画像、コンピュータグラフィックなどのデータも含むものとする。
【０００７】
インタラクションを含むシーン記述の例を図９に示す。図９の例では、「球」「矩形」「三角」を選択するためのボタンが予め入力シーン記述９００中に含まれている。サーバ９０１により復号された復号済シーン９１２は、表示端末９１３に表示される。ユーザの入力を補助する目的で、サーバ９０１はユーザ選択位置表示９２４を表示端末９１３に表示させることが一般的である。ユーザは、表示端末９１３に表示される復号済シーン９１２およびユーザ選択位置表示９２４を見ながらリモート端末９０６を操作する。リモート端末９０６とは、キーボードやマウスなどである。ユーザ入力情報９１０は、リモート端末９０６からサーバ９０１へ送信される。ユーザ入力とは、例えばユーザ選択位置の移動量などである。サーバ９０１は、ユーザ入力に基づいてシーン記述入力９００を復号する。図９の例では、例えばユーザが「矩形」ボタンを選択したならば矩形が表示される。
【０００８】
図９の例のようなユーザ入力によるインタラクションを含むシーン記述からなるコンテンツを視聴する際の復号およびユーザインタラクションシステムを図１０に示す。
【０００９】
リモート端末Ａ０６はユーザ入力Ａ０９を受け付け、例えばユーザ選択位置の変化といったユーザ入力情報Ａ１０を送信装置Ａ０５ｂを介してサーバＡ０１へ送信する。サーバＡ００のシーン記述復号装置Ａ０２は、受信したユーザ入力情報Ａ１０に基づいてシーン記述入力Ａ００を復号する。復号された復号済シーンＡ１２は、表示端末Ａ１３に表示される。
【００１０】
図９，図１０に示したように、ユーザ入力によるインタラクションを含むシーンからなるコンテンツを視聴する場合には、ユーザは表示端末を見ながらリモート端末を操作しなければならない。キーボードのようなリモート端末を使用する場合には特に、表示端末を見ながらリモート端末を操作するにはスキルが必要であり、多くの場合、表示端末とリモート端末を交互に確認しながら入力することが必要になってしまう。さらに、この視線の移動は、ユーザの入力誤りを招きやすい。
【００１１】
図７，図８に示した被制御機器を制御するためのユーザインターフェースと、図９，図１０に示したシーン記述自体に含まれるインタラクションのためのユーザインターフェースは別個に扱われている。
【００１２】
【発明が解決しようとする課題】
従来の技術で述べたように、リモート端末によって機器制御を行う際、サーバからリモート端末へメニューデータを送信するユーザインターフェースシステムでは、リモート端末用のメニューデータは、リモート端末の表示装置に依存したデータ形式である。従って、異なるリモート端末間ではメニューデータの互換性が無いという問題がある。
【００１３】
また、メニューデータはサーバもしくはリモート端末を製造する際にサーバもしくはリモート端末中に記憶させるため、被制御機器の変更や追加が困難であった。メニューデータを更新するためには、リモート端末の表示装置に依存したデータ形式であるメニューデータを専用の生成装置で生成する必要があり、専用のデータ形式を扱える記録メディアもしくは伝送媒体を介してサーバもしくはリモート端末へ入力する必要があった。
【００１４】
また、従来の技術で述べたように、ディジタルTV放送やDVD、インターネットのホームページ、MPEG-4 BIFS、VRMLなど、ユーザ入力によるインタラクションを含むシーンからなるコンテンツを視聴する場合には、ユーザは表示端末の表示装置を見ながらリモート端末を操作しなければならない。キーボードのようなリモート端末を使用する場合には特に、表示端末を見ながらリモート端末を操作するにはスキルが必要であり、多くの場合、表示端末とリモート端末を交互に確認しながら入力することが必要になってしまう。さらに、この視線の移動は、ユーザの入力誤りを招きやすいという問題点があった。ユーザ入力を、特別な訓練を必要とせずに誰にでも簡単に行えるようにすることが強く望まれているが、従来技術では実現できなかった。
【００１５】
被制御機器を制御するためのユーザインターフェースと、シーン記述自体位に含まれるインタラクションのためのユーザインターフェースは別個に扱われているため、各々に別個のリモート端末を用いる必要があった。
【００１６】
そこで本発明は、以上の問題を解決し、ユーザ入力によるインタラクションを含むシーンに対して、リモート端末のみを見ながらユーザ入力を可能とする上、機器制御のためのユーザインターフェースとシーン記述自体に含まれるインタラクションのためのユーザインターフェースとを統合して扱うことを可能とするようなユーザインターフェースシステム、シーン記述生成装置及び方法、シーン記述配信方法、サーバ装置、リモート端末装置、伝送媒体並びに記録媒体を提供することを目的とする。
【００１７】
【課題を解決するための手段】
上述の課題を解決するために、本発明に係るユーザインタフェースシステムは、ユーザインタラクションを含むシーン記述情報と、被制御装置を制御するための機器制御用のメニューを表すシーン記述情報とを用いるユーザインタフェースシステムにおいて、上記ユーザインタラクションを含むシーン記述情報と上記機器制御用のメニューを表すシーン記述情報とを記憶する記憶手段と、上記被制御装置を制御する機器制御信号を生成する機器操作信号生成手段とを有するサーバと、上記ユーザインタラクションを含むシーン記述情報と上記機器制御用のメニューを表すシーン記述情報とを復号する復号手段と、ユーザ入力情報が入力される入力手段とを有するリモート端末とを有し、上記サーバは、上記記憶手段に記憶した、上記ユーザインタラクションを含むシーン記述情報と上記機器制御用のメニューを表すシーン記述情報とを上記リモート端末に送り、上記リモート端末は、上記サーバから送られた上記ユーザインタラクションを含むシーン記述情報と上記機器制御用のメニューを表すシーン記述情報とを上記復号手段で復号し、表示部の画面上に上記ユーザインタラクションを含むシーン記述情報で記述されたコンテンツと上記機器制御用のメニューとを表示させ、上記表示部に表示された上記機器制御用のメニューが選択されることに応じて上記入力手段に入力された上記表示部における上記機器制御用のメニューの選択位置を示すユーザ入力情報を上記サーバに送り、上記サーバは、上記リモート端末より送られた上記ユーザ入力情報に基づいて上記機器操作信号生成手段にて上記機器制御信号を生成するものである。
【００２１】
本発明に係るサーバ装置は、ユーザインタラクションを含むシーン記述情報と被制御装置を制御するための機器制御用のメニューを表すシーン記述情報とを用い、リモート端末と共にユーザインタフェースを構成するサーバ装置において、上記ユーザインタラクションを含むシーン記述情報と上記機器制御用のメニューを表すシーン記述情報とを記憶する記憶手段と、上記被制御装置を制御する機器制御信号を生成する機器操作信号生成手段とを有し、上記記憶手段に記憶した、上記ユーザインタラクションを含むシーン記述情報と上記機器制御用のメニューを表すシーン記述情報とを上記リモート端末に送り、上記リモート端末において復号されて表示部の画面上に表示された上記ユーザインタラクションを含むシーン記述情報で記述されたコンテンツと上記機器制御用のメニューとのうち、上記機器制御用のメニューが選択されることに応じて該リモート端末に入力された上記表示部における上記機器制御用のメニューの選択位置を示すユーザ入力情報を受け取り、該ユーザ入力情報に基づいて上記機器操作信号生成手段にて上記機器制御信号を生成するものである。
【００２２】
本発明に係るリモート端末装置は、ユーザインタラクションを含むシーン記述情報と被制御装置を制御するための機器制御用のメニューを表すシーン記述情報とを用い、サーバと共にユーザインタフェースを構成するリモート端末装置において、シーン記述情報を復号する復号手段と、ユーザ入力情報が入力される入力手段とを有し、上記サーバから送られた上記ユーザインタラクションを含むシーン記述情報と上記機器制御用のメニューを表すシーン記述情報とを上記復号手段で復号して表示部の画面上に上記ユーザインタラクションを含むシーン記述情報で記述されたコンテンツと上記機器制御用のメニューとを表示させ、上記表示部に表示された上記機器制御用のメニューが選択されることに応じて上記入力手段に入力された上記表示部における上記機器制御用のメニューの選択位置を示すユーザ入力情報を上記サーバに送り、上記サーバは、上記ユーザ入力情報に基づいて被制御装置を制御する機器制御信号を生成するものである。
【００２５】
すなわち、本発明は、リモート端末がサーバと同じシーン記述を復号可能なシーン記述復号装置および表示装置を具備し、リモート端末にもシーン記述を送信して表示し、リモート端末上で入力したユーザ入力をサーバへ送信することを特徴とするユーザインターフェースシステムである。
【００２６】
リモート端末がシーン記述入力を復号し表示することにより、 ユーザ入力によるインタラクションを含むシーンに対して、リモート端末のみを見ながらユーザ入力することが可能となる。
【００２７】
また、機器制御用のメニューデータにも、同一のシーン記述復号装置で復号可能なシーン記述を使用することにより、機器制御のためのユーザインターフェースとシーン記述自体に含まれるインタラクションのためのユーザインターフェースとを統合して扱うことが可能となる。さらに、インタラクションを含むコンテンツと機器制御用のメニューを表すシーン記述を同一のシーン記述生成装置により生成可能となり、同一の記録媒体へ記録、同一の伝送媒体で伝送することが可能となり、機器制御用メニューの更新を、インタラクションを含むコンテンツのシーン記述のための記録媒体もしくは伝送媒体を用いて行うことが可能となる。
【００２８】
【発明の実施の形態】
まず、本発明の第１の実施の形態としてユーザインタフェースシステムについて、図１、図２を用いて説明する。
【００２９】
図１に示すユーザインタフェースシステムは、シーン記述情報であるシーン記述１００を入力されるサーバ１０１と、サーバ１０１から送られたシーン記述１００を表示してこの表示に応じてユーザ入力１０９を受けるリモート端末１０６と、サーバ１０１から送られた復号済シーン１１２を表示する表示端末１１３と、サーバ１０１から送られた機器制御信号１１４によって制御される被制御機器１１５とを有している。
【００３０】
サーバ１０１は、入力されたシーン記述１００やユーザ入力情報１１０に基づいて復号済シーン１１２を復号すると共に機器制御情報１１１を生成するシーン記述復号装置１０２と、入力されたシーン記述１００を記憶するシーン記述記憶装置１０３と、ユーザ入力情報１１０やシーン記述復号装置１０２からの機器制御情報１１１に基づいて機器制御信号１１４を生成する機器操作信号生成装置１０４と、入力されたりシーン記述記憶装置１０３に記憶されたシーン記述１００をリモート端末１０６に送ると共にリモート端末１０６からユーザ入力情報１１０や機器制御情報１１１を受けてシーン記述復号装置１０２や機器操作信号生成装置１０４にユーザ入力情報１１０を機器操作信号生成装置１０４に機器制御情報１１１を送る送受信装置１０５とを有している。
【００３１】
リモート端末１０６は、復号済シーン１１２を表示する表示端末１０７と、この表示に応じたユーザ入力１０９を受けるユーザ入力装置１０８と、ユーザ入力装置１０８からのユーザ入力情報１１０に基づいてシーン記述１００を復号済シーン１１２に復号すると共に機器制御情報１１１を生成するシーン記述復号装置１０２ｂと、シーン記述１００を記憶してシーン記述復号装置１０２ｂに送るシーン記述記憶装置１０３ｂと、サーバ１０１から送られたシーン記述１００を受けてシーン記述復号装置１０２ｂやシーン記述記憶装置１０３ｂに送ると共にシーン記述復号装置１０２ｂからの機器制御情報１１１やユーザ入力装置１０８からのユーザ入力情報１１０を受けてサーバ１０１に送る送受信装置１０５ｂとを有している。
【００３２】
第１の実施の形態におけるサーバ１０１は、ディジタルTV放送の受信端末やDVDプレーヤ、パーソナルコンピュータ、ホームサーバなどである。サーバ１０１中のシーン記述復号装置１０２は、DVDのコンテンツやHTMLのようにインタラクションを含むシーン記述入力１００を復号済シーン１１２へ復号し、表示端末１１３へ表示する。表示端末１１３は、TVやパーソナルコンピュータのモニタなどであり、サーバ１０１と一体であっても構わない。
【００３３】
第１の実施の形態におけるサーバ１００は、シーン記述記憶装置１０３を備えており、機器制御用のメニューデータは、シーン記述記憶装置１０３に記憶されている。ここで、機器制御用のメニューデータは、インタラクションを含むコンテンツと同様の、シーン記述復号装置によって復号可能なシーン記述データであることが特徴である。機器制御用のメニューデータ用のシーン記述は、サーバ１０１から送受信装置１０５を介してリモート端末へ送信される。本発明のリモート端末１０６は、インタラクションを含むコンテンツを復号するのと同様のシーン記述復号装置１０２ｂを備えることを特徴とする。
【００３４】
機器制御を行う場合、リモート端末１０６のシーン記述復号装置１０２ｂは、サーバ１０１から送信された、もしくはリモート端末１０６中に備えたシーン記述記憶装置１０３ｂから読み出した機器制御のためのメニューデータを表すシーン記述入力を復号し、表示装置１０７により表示する。ユーザは、シーン記述を復号することによって得られた機器制御のためのメニュー画面を見ながら機器制御のための入力を行う。ユーザ入力装置１０８は、ユーザ入力１０９をユーザ入力情報１１０としてシーン記述復号装置１０２ｂへ送る。ユーザ入力情報１１０とは、ユーザの選択位置などの情報である。シーン記述復号装置１０２ｂは、ユーザ入力情報１１０に基づいてシーン記述入力を復号することにより、ユーザの選択に応じたメニューの表示を行うことが可能となる。一方、リモート端末１０６はユーザ入力情報１１０を送受信装置１０５ｂを介してサーバ１０１へ送信する。サーバ１０１は、機器操作信号生成装置１０４により、ユーザ入力情報１１０を機器制御信号１１４に変換し、図示していない送信装置により被制御機器１１５へ送信する。ユーザ入力情報１１０に応じた機器制御情報１１１の対応関係がシーン記述中に記述されている場合には、ユーザ入力情報１１０はシーン記述復号装置１０２もしくは１０２ｂにより機器制御情報１１１へマッピングされてから機器制御信号生成装置１０４へ送られる。被制御機器１１５がサーバ１０１自体である場合もある。
【００３５】
ディジタルTV放送やDVD、インターネットのホームページ、MPEG-4 BIFS、VRMLなど、ユーザ入力によるインタラクションを含むシーンからなるコンテンツを視聴する場合には、サーバ１０１へ入力されたシーン記述１００はシーン記述復号装置１０２で復号され、表示されると同時に、送受信装置１０５を介してリモート端末１０６へ送信される。本実施の形態のリモート端末１０６は、インタラクションを含むコンテンツを復号するのと同様のシーン記述復号装置１０２ｂを備えているため、シーン記述入力１０１をリモート端末中の表示装置１０７によって表示することが可能となる。従って、ユーザは表示端末１１３を見ること無く、リモート端末１０６のみを見ながらユーザ入力を行うことが可能となり、表示端末１１３とリモート端末１０６を交互に確認しながら入力することが必要になってしまうという従来技術の問題点を解決することが可能となっている。
【００３６】
また、シーン記述記憶装置１０３、１０３ｂに記憶する機器制御用のメニューデータを表すシーン記述１００は、インタラクションを含むコンテンツのシーン記述のための記録媒体もしくは伝送媒体によって入力され、シーン記述記憶装置１０３、１０３ｂによって更新することが可能である。これは、機器制御用のメニューデータが、インタラクションを含むコンテンツと同様のシーン記述復号装置によって復号可能なシーン記述データである、という本発明の特徴によって可能となっている。
【００３７】
図２は、第１の実施の形態によりコンテンツ自体に含まれるインタラクションと、機器制御のためのメニュー画面を統一的に扱うことが可能になったユーザインタフェースシステムの例を示している。機器制御のためにリモート端末に表示されるメニューは図８と共通であり、サーバ２０１へ入力されるシーン記述は、図９と共通の例を示している。本実施の形態のリモート端末２０６へは、サーバ２０１からインタラクションを含んでいるシーン記述入力と、機器制御のメニューのためのシーン記述入力が送信される。リモート端末ではそれらのシーン記述を復号し、表示する。従って、リモート端末にはインタラクションを含むコンテンツ自体の復号済シーンと機器制御用メニューの双方が表示可能となり、ユーザは双方を区別無く、単一のリモート端末で操作することが可能となっている。
【００３８】
図２では、インタラクションを含むコンテンツ自体の復号済シーンと機器制御用メニューの双方を同時にリモート端末において表示しているが、どちらか一方を選択して表示させても良い。
【００３９】
図８の例と同様に、ユーザがリモート端末２０６上で例えば録画メニューを選択すると、録画を選択した旨のユーザ入力情報２１０がサーバ２０１へ送信され、サーバはユーザ入力情報２１０を機器制御信号２１４に変換し、被制御機器２１５（図２の例ではVTR)へ送信することで録画が開始される。
【００４０】
一方で図９と同様に、ユーザがリモート端末２０６上で、例えばシーン記述入力に予め含まれていた「矩形」選択ボタンを選択したならば、その旨のユーザ入力情報２１０がサーバ２０１へ送信され、サーバ２０１はユーザ入力情報に基づいてシーン記述入力２００を復号することにより、矩形物体を表示する復号済シーン２１２が表示端末２１３において表示される。
【００４１】
ユーザは表示端末２１３を見ること無く、リモート端末２０６のみを見ながらユーザ入力を行うことが可能となり、かつ、シーン記述入力に含まれているインタラクションと機器制御のためのメニューとを区別無く、共通のリモート端末で操作することが可能となる。
【００４２】
本発明の第２の実施の形態としてユーザインタフェースシステムについて、図３を用いて説明する。
【００４３】
このユーザインタフェースシステムは、シーン記述情報であるシーン記述３００を入力されるサーバ３０１と、サーバ３０１から送られたシーン記述３００を表示してこの表示に応じてユーザ入力３０９を受けるリモート端末１０６と、サーバ３０１から送られた復号済シーン３１２を表示する表示端末３１３と、リモート端末３０６から送られた機器制御信号３１４によって制御される被制御機器３１５とを有している。
【００４４】
サーバ３０１は、入力されたシーン記述３００やユーザ入力情報３１０に基づいて復号済シーン３１２を復号するシーン記述復号装置３０２と、入力されたシーン記述３００を記憶するシーン記述記憶装置３０３と、入力されたりシーン記述記憶装置３０３に記憶されたシーン記述３００をリモート端末３０６に送ると共にリモート端末３０６からユーザ入力情報３１０を受けてシーン記述復号装置３０２に送る送受信装置３０５とを有している。
【００４５】
リモート端末３０６は、復号済シーン３１２を表示する表示端末３０７と、この表示に応じたユーザ入力３０９を受けるユーザ入力装置３０８と、ユーザ入力装置３０８からのユーザ入力情報３１０に基づいてシーン記述３００を復号済シーン３１２に復号すると共に機器制御情報３１１を生成するシーン記述復号装置３０２ｂと、ユーザ入力装置３０８からのユーザ入力情報３１０やシーン記述復号装置３０２ｂからの機器制御情報３１１に基づいて機器制御信号３１４を生成する機器操作信号生成装置３１４と、シーン記述３００を記憶してシーン記述復号装置３０２ｂに送るシーン記述記憶装置３０３ｂと、サーバ３０１から送られたシーン記述３００を受けてシーン記述復号装置３０２ｂやシーン記述記憶装置３０３ｂに送ると共にユーザ入力装置３０８からのユーザ入力情報３１０を受けてサーバ３０１に送る送受信装置３０５ｂとを有している。
【００４６】
図１に示した第１の実施の形態に対応するユーザインタフェースシステムの構成との違いは、機器操作信号生成装置３０４がサーバ３０１ではなく、リモート端末３０６に備わっている点である。第１の実施の形態と同様にリモート端末３０６上に表示された機器制御のためのメニューを表す復号済シーンを見てユーザが操作した結果は、リモート端末３０６中の機器操作信号生成装置３０４により機器制御信号３１４へ変換され、サーバ３０１を介さずに、リモート端末中の図示されていない送信装置により被制御機器３１５へ送られる。第１の実施の形態と異なり、サーバ３０１から被制御機器３１５へ機器制御信号３１５を送る必要が無いため、サーバ３０１と被制御機器の接続が不用になるという効果がある。また、インタラクションを含むシーン記述から成るコンテンツを復号する必要が無い場合には、ユーザ入力情報３１０をリモート端末３０６からサーバへ送信する必要が無いため、サーバ３０１の送受信装置３０５は受信機能を持たなくとも良い。つまり、機器制御メニューのためのシーン記述を送信する送信装置で良い。かつ、リモート端末３０６の送受信装置３０５ｂは送信機能を持たない受信装置で良い。
【００４７】
ユーザ入力情報３１０に応じた機器制御情報の対応関係がシーン記述中に記述されている場合には、ユーザ入力情報３１０はシーン記述復号装置３０２ｂにより機器制御情報３１１へマッピングされてから機器制御信号生成装置３０４へ送られる。被制御機器３１３がサーバ３０１やリモート端末３０６自体である場合も、本実施の形態は有効である。
【００４８】
本発明の第３の実施の形態としてユーザインタフェースシステムについて、図４を用いて説明する。
【００４９】
このユーザインタフェースシステムは、シーン記述情報であるシーン記述４００を入力されるサーバ４０１と、ユーザ入力４０９を受けるリモート端末４０６と、サーバ４０１から送られた復号済シーン４１２を表示する表示端末４１３と、サーバ４０１から送られた機器制御信号４１４によって制御される被制御機器４１５とを有している。
【００５０】
サーバ４０１は、入力されたシーン記述４００やユーザ入力情報４１０に基づいて復号済シーン４１２を復号すると共に機器制御情報４１１を生成するシーン記述復号装置４０２と、ユーザ入力情報４１０やシーン記述復号装置４０２からの機器制御情報４１１に基づいて機器制御信号を生成する機器操作信号生成装置４０４と、リモート端末４０６から送られたユーザ入力情報４１０をシーン記述復号装置４０２や機器操作信号生成装置４０４に送る受信装置４０５とを有している。
【００５１】
リモート端末４０６は、ユーザ入力４０９を受けるユーザ入力装置４０８と、ユーザ入力装置４０８からのユーザ入力情報４１０をサーバ４０１に送る送信装置４０５ｂとを有している。
【００５２】
図１に示した第１の実施の形態に対応するユーザインタフェースシステムの構成との違いは、リモート端末４０６においてシーン記述の復号、表示を行わない点である。シーン記述復号装置４０２は、ディジタルTV放送やDVD、インターネットのホームページ、MPEG-4 BIFS、VRMLなどのシーン記述だけでなく、機器制御のためのメニューも復号し、復号済シーン４１２として表示端末４１３へ表示する。従って、ユーザは表示端末４１３を見ながら、シーン記述入力に含まれているインタラクションと機器制御のためのメニューとを区別無く、唯一のリモート端末で操作することが可能である。
【００５３】
なお、表示端末４１２とリモート端末４０６は、タッチパネルなどユーザ入力装置を備えた表示端末を使用することによって一体とすることができる。
【００５４】
次に、第４の実施の形態に対応するシーン記述生成装置の構成を、図５を用いて説明する。
【００５５】
シーン記述生成装置５１８は、入力される機器制御用メニュー５１６やシナリオ５１７に基づいてシーン記述５００に符号化するシーン記述符号化装置５１９と、シーン記述符号化装置５１９からのシーン記述５００を記憶するシーン記述記憶装置５２０とを有している。
【００５６】
サーバ５０１は、シーン記述生成装置５１８のシーン記述符号化装置５１９やシーン記述記憶装置５２０から出力されたシーン記述５００を記録媒体５２１や伝送媒体５２２を介して受け取る。サーバ５０１は、リモート端末５０６との間で、ユーザ入力情報５１０を送受する。
【００５７】
第４の実施の形態は、ディジタルTV放送やDVD、インターネットのホームページ、MPEG-4 BIFS、VRMLなどのコンテンツのシーン記述を生成する装置、および機器制御のためのメニューを表すシーン記述を生成する装置に関する。
【００５８】
シーン記述生成装置５１８は、第１の実施の形態、第２の実施の形態及び第３の実施の形態におけるサーバの入力となるシーン記述を生成する。サーバ５０１およびリモート端末５０６は、第１の実施の形態、第２の実施の形態及び第３の実施の形態のサーバとリモート端末である。シーン記述生成装置５１８は、シーン記述符号化装置５１９を備える。本実施の形態のシーン記述符号化装置５１９は、ユーザインタラクションを含むコンテンツのためのシナリオ５１７を入力とし、DVD、HTML、MPEG-4 BIFS、VRMLなどのシーン記述を出力する。また、機器制御用メニュー５１６を入力とし、機器制御のためのメニューを表すシーン記述を生成する。
【００５９】
本実施の形態のサーバ５０１およびリモート端末５０６は、ディジタルTV放送やDVD、インターネットのホームページ、MPEG-4 BIFS、VRMLなどのコンテンツのシーン記述を復号するシーン記述復号装置により、機器制御のためのメニューを表すシーン記述をも復号することが可能であるため、シーン記述符号化装置５１９は、双方のシーン記述を混在させたシーン記述を生成することが可能となる。
【００６０】
インタラクションを含むコンテンツのシーン記述と機器制御のためのメニューを表すシーン記述を混在させたシーン記述の復号、表示例を図６に示す。説明のために、図２と同様の内容を含むシーン記述の例を示している。図２の例と同様に、シーン記述には「球」「矩形」「三角」を選択するボタンが含まれており、例えばユーザが「矩形」を選択すると矩形を含むシーンが表示される。本実施の形態では、コンテンツのシーン記述と機器制御のためのメニューを表すシーン記述を混在させることが可能であり、図６では例として被制御機器６１５（VTR)により録画を行うためのメニューを、コンテンツに含まれるインタラクションと同様のインターフェースで提供している。
【００６１】
インタラクションを含むコンテンツのシーン記述と機器制御のためのメニューを表すシーン記述を混在させることが可能となる本実施の形態の特徴により、双方の区別が無いユーザインターフェースを提供することが可能となった。
【００６２】
図５のシーン記述生成装置５１８のシーン記述符号化装置５１９で生成されたシーン記述もしくは一度シーン記述記憶装置５２０に蓄積されたシーン記述５００は、記録媒体５２１もしくは伝送媒体５２２によりサーバ５０１へ送られる。本実施の形態では、機器制御のためのメニューを表すシーン記述が、インタラクションを含むコンテンツのシーン記述と同様に扱えるため、コンテンツのシーン記述を記録する記録媒体およびコンテンツのシーン記述を伝送する伝送媒体を共用することが可能となった。
【００６３】
また、記録媒体５２１もしくは伝送媒体５２２を介して機器制御メニューを表すシーン記述を配信し、サーバ５０１中のシーン記述記憶装置（図１のシーン記述記憶装置１０３、図３のシーン記述記憶装置３０３，図４のシーン記述記憶装置４０３）もしくはリモート端末５０６中のシーン記述記憶装置（図１のシーン記述記憶装置１０３ｂ、図３のシーン記述記憶装置３０３ｂへ記憶させることにより、新しい機器制御用メニューを更新することが可能である。本実施の形態によって、機器制御用メニューのシーン記述を更新するための記録媒体および伝送媒体は、インタラクションを含むコンテンツのシーン記述のために従来使用されていた記録媒体および伝送媒体をそのまま使用することができる。
【００６４】
以上のように、本実施の形態は、静止画像信号・動画像信号・音声信号・テキストデータおよびグラフィックデータなどから成りユーザからの入力を受け付けるインタラクションを含むシーンに対するユーザ入力、および機器制御を提供する。この技術は、例えば光磁気ディスクや磁気テープなどの記録媒体から再生してディスプレイに表示したり、インターネットや放送のコンテンツを受信して表示する際に、リモート端末においてユーザ入力を行い、シーンのインタラクションを行ったり、機器制御を行う場合などに用いて好適である。
【００６５】
すなわち、本実施の形態は、ディジタルTV放送やDVD、HTML、MPEG-4 BIFS、VRMLなど、ユーザ入力によるインタラクションを含むシーンからなるコンテンツを視聴する際に、シーン記述及び機器制御のためのメニュー用シーン記述をリモート端末で復号・表示することを特徴とするユーザインターフェースシステムであり、機器制御のためのユーザインターフェースとシーン記述自体に含まれるインタラクションのためのユーザインターフェースとを統合して扱うことが可能となる。
【００６６】
【発明の効果】
ディジタルTV放送やDVD、インターネットのホームページ、MPEG-4 BIFS、VRMLなど、ユーザ入力によるインタラクションを含むシーンからなるコンテンツを視聴する場合には、ユーザは表示端末を見ながらリモート端末を操作しなければならなかった。
【００６７】
本発明では、リモート端末がサーバと同じシーン記述を復号可能なシーン記述復号装置備え、リモート端末にもシーン記述を送信して表示することにより、 ユーザ入力によるインタラクションを含むシーンに対して、リモート端末のみを見ながらユーザ入力することを可能とした。
【００６８】
また、リモート端末によって機器制御を行う際、サーバからリモート端末へメニューデータを送信するユーザインターフェースシステムでは、リモート端末用のメニューデータは、リモート端末の表示装置に依存したデータ形式であるため、異なるリモート端末間ではメニューデータの互換性が無いという問題があった。
【００６９】
本発明では、機器制御用のメニューデータにも、同一のシーン記述復号装置で復号可能なシーン記述を使用することにより、機器制御のためのユーザインターフェースとシーン記述自体に含まれるインタラクションのためのユーザインターフェースとを統合して扱うことを可能とした。ユーザは単一のリモート端末によって、機器制御のためのユーザインターフェースとシーン記述自体に含まれるインタラクションの双方を操作することができる。
【００７０】
さらに、インタラクションを含むコンテンツと機器制御用のメニューを表すシーン記述を同一のシーン記述生成装置により生成可能となり、同一の記録媒体へ記録、同一の伝送媒体で伝送することが可能となり、機器制御用メニューの更新を、インタラクションを含むコンテンツのシーン記述のための記録媒体もしくは伝送媒体を用いて行うことができるという効果がある。
【図面の簡単な説明】
【図１】第１の実施の形態に対応するユーザインタフェースシステムの構成を表すブロック図である。
【図２】第１の実施の形態に対応するユーザインタフェースシステムの例を表す図である。
【図３】第２の実施の形態に対応するユーザインタフェースシステムの構成を表すブロック図である。
【図４】第３の実施の形態に対応するユーザインタフェースシステムの構成を表すブロック図である。
【図５】第４の実施の形態に対応するシーン記述生成装置の構成とシーン記述の伝送を表すブロック図である。
【図６】第４の実施の形態に対応するシーン記述の例を表す図である。
【図７】従来の機器制御のためのユーザインターフェースシステム構成を表すブロック図である。
【図８】従来の機器制御のためのユーザインターフェースシステム例を表す図である。
【図９】従来のインタラクションを含むシーン記述とユーザインターフェースシステムの例を表す図である。
【図１０】従来技術のインタラクションを含むシーン記述に対するユーザインターフェースシステム構成を表すブロック図である。
【符号の説明】
１００ シーン記述入力、１０１ サーバ、１０２ サーバのシーン記述復号装置、１０２ｂ リモート端末のシーン記述復号装置、１０３ サーバのシーン記述記憶装置、１０３ｂ リモート端末のシーン記述記憶装置、１０４ 機器操作信号生成装置、１０５ サーバの送受信装置、１０５ｂ リモート端末の送受信装置、１０６ リモート端末、１０７ 表示装置、１０８ ユーザ入力装置、１１３ 表示端末、１１４ 機器制御信号、１１５ 被制御機器
【図１】
0004411730.tif 000002
【図２】
0004411730.tif 000003
【図３】
0004411730.tif 000004
【図４】
0004411730.tif 000005
【図５】
0004411730.tif 000006
【図６】
0004411730.tif 000007
【図７】
0004411730.tif 000008
【図８】
0004411730.tif 000009
【図９】
0004411730.tif 000010
【図１０】
0004411730.tif 000011