(57)【要約】【課題】  各リモート制御装置の表示能力、操作環境等に適した操作環境を提供し、リモート制御装置におけるユーザの操作性を良好なものとすることにある。【解決手段】  ＤＴＶ１１０は、ＩＥＥＥ１３９４ネットワークを介して接続されるＶＣＲ１００から、ＶＣＲ１００を制御するための第１の操作情報を受信し、インターネットを介して接続されるモバイルＰＣ１４０に応じた変換ルールに基づいて、前記第１の操作情報を第２の操作情報に変換し、モバイルＰＣ１４０に対して送信する。【選択図】  図１
2005341042.tif 000002
【特許請求の範囲】
【請求項１】
第１のネットワークを介して接続される被リモート制御装置から、前記被リモート制御装置を制御するための第１の操作情報を受信する操作情報受信手段と、
第２のネットワークを介して接続されるリモート制御装置に応じた変換ルールに基づいて、前記第１の操作情報を第２の操作情報に変換する操作情報変換手段と、
前記第２の操作情報を前記リモート制御装置に対して送信する操作情報送信手段とを有することを特徴とするリモート制御装置。
【請求項２】
前記リモート制御装置の操作環境情報を受信する操作環境情報受信手段と、
前記操作環境情報に基づいて、前記リモート制御装置に応じた前記変換ルールを生成する変換ルール生成手段とを更に有することを特徴とする請求項１に記載のリモート制御装置。
【請求項３】
前記リモート制御装置が制御可能な前記第１のネットワークを介して接続される一又は複数の被リモート制御装置のリストへのリンク情報を前記第２の操作情報に挿入するリンク情報挿入手段を更に有することを特徴とする請求項１又は２に記載のリモート制御装置。
【請求項４】
ＥＰＧ（Electronic Program Guide）情報を受信するＥＰＧ情報受信手段と、
前記ＥＰＧ情報へのリンク情報を前記第２の操作情報に挿入するリンク情報挿入手段とを更に有することを特徴とする請求項１又は２に記載のリモート制御装置。
【請求項５】
前記リモート制御装置の前記被リモート制御装置に対する制御に応じた画像データを、前記被リモート制御装置から受信する画像データ受信手段と、
前記画像データへのリンク情報を前記第２の操作情報に挿入するリンク情報挿入手段とを更に有することを特徴とする請求項１又は２に記載のリモート制御装置。
【請求項６】
前記リモート制御装置の前記被リモート制御装置に対する制御に応じた画像データを、前記被リモート制御装置から受信する画像データ受信手段と、
前記画像データを前記第２の操作情報に付加する画像データ付加手段とを更に有することを特徴とする請求項１又は２に記載のリモート制御装置。
【請求項７】
リモート制御装置の制御方法であって、
第１のネットワークを介して接続される被リモート制御装置から、前記被リモート制御装置を制御するための第１の操作情報を受信する操作情報受信ステップと、
第２のネットワークを介して接続されるリモート制御装置に応じた変換ルールに基づいて、前記第１の操作情報を第２の操作情報に変換する操作情報変換ステップと、
前記第２の操作情報を前記リモート制御装置に対して送信する操作情報送信ステップとを含むことを特徴とするリモート制御装置の制御方法。
【請求項８】
請求項７に記載のリモート制御装置の制御方法をコンピュータに実行させるためのプログラム。
【請求項９】
請求項８に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ネットワークを介して被リモート制御装置に対する制御を遠隔で行うことが可能な技術に関するものである。
【背景技術】
【０００２】
従来、単独で稼動していたか、あるいは機器の種類毎の独自の接続によって動作していた家庭内のオーディオ・ビジュアル機器や家電機器を、一つのネットワークによって接続する要求が高まっている。高速のデジタル通信技術によって動画データ、オーディオデータなどリアルタイム性を要求されるデータと、静止画データ、制御データといった通信の信頼性が要求されるデータとを混在した状態で転送することができるネットワーク通信がこれを実現している。
【０００３】
家庭内ネットワークの中心としてユーザインタフェースを提供する機器はテレビであり、接続された機器のリモート操作画面をテレビ画面上に表示し、テレビのリモコン装置によってユーザの操作を入力することによって機器を制御するいわゆるリモート制御サービスが提供されるが、操作画面の表示やユーザ操作に従った機器制御を実行するためのプログラムが機器毎に必要である。ネットワークに接続される機器は多種に及び、また時間を追って新しい機能を有する機種も出現するため、接続される可能性のある全ての機器に対する制御プログラムをテレビ側で準備する事は困難である。
【０００４】
こうした問題を解決するアプローチの一つに、操作パネルの画像データをネットワークに接続された被リモート制御装置から送信し、テレビに代表される表示器を備えたリモート制御装置がこれを受信して、操作者に対して操作パネル画像を表示器に表示すると同時に、操作者の操作入力を被リモート制御装置へ送信することにより被リモート制御装置の制御を行うシステムが例えば特許文献１に開示されている。
【０００５】
【特許文献１】特開平１１−３３１４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
被リモート制御装置から送られるリモート制御表示データに基づくリモート操作は、リモート表示データとして表示することにより、被リモート制御装置が有するいかなる固有の機能をも操作することが可能となるという大きな特色を有しているが、こうしたリモート制御の利便性を家庭内のみならず、たとえば外出先からなど、もっと遠隔地から制御を行いたいという要望がある。
【０００７】
家庭内ネットワークとして利用されるＩＥＥＥ１３９４によるＡＶ機器のネットワークには接続台数や接続されるケーブルの距離に制約があり、ネットワークとして到達できる範囲が限られる。
【０００８】
一方、ＩＰをベースとしたネットワークは、オフィス環境で広く普及しているイーサネット（登録商標）、ＡＴＭによる広域ネットワーク、電話網など、様々な物理的接続手段を横断し、極めて広範囲に接続することのできるネットワークであり、社会的インフラとして広く普及している。中でもＨＴＴＰプロトコルを利用したいわゆるインターネットは、ＰＣを初め、携帯電話やＰＨＳを介して接続したＰＤＡのみならず、携帯電話自身も接続することが可能であり、家庭内、外出先、屋内、戸外を問わず利用可能な身近な通信手段の一つとなっている。
【０００９】
これらの接続機器は、インターネットに接続する共通の機能を有する反面、それぞれの機器の特徴をなすべく、その表示能力、操作性が大きく異なる。例えば、ＰＣは画素数、色数の多い比較的高性能な表示部を備え、キーボードに加えポインティングによる自由な操作性を有する。他方、インターネットに接続できる携帯電話は、限られた表示画素数の表示器と、上下左右への方向キーまたは数字キーに限られた簡便な操作系しか持たない。
【００１０】
これらの装置のそれぞれの表示系、操作系において使いやすい操作環境は異なる。例えばＰＣではテキストによるメニューからの選択よりグラフィカルなアイコンを表示し、マウスポインタで直接選択する方式が直感的で使いやすい。また、携帯電話の小さな表示器はテキストの表示が良好であり、上下方向キーによる選択が好適であろう。
【００１１】
それぞれの表示系、操作系に対する適切な操作環境の差は大きく、被リモート制御装置が提供する一つの操作環境で多くをカバーすることは難しい。接続する多様な機器の表示能力、操作性の差を吸収する仕組みが必要となる。
【００１２】
そこで、本発明の目的は、各リモート制御装置の表示能力、操作環境等に適した操作環境を提供し、リモート制御装置におけるユーザの操作性を良好なものとすることにある。
【課題を解決するための手段】
【００１３】
本発明のリモート制御装置は、第１のネットワークを介して接続される被リモート制御装置から、前記被リモート制御装置を制御するための第１の操作情報を受信する操作情報受信手段と、第２のネットワークを介して接続されるリモート制御装置に応じた変換ルールに基づいて、前記第１の操作情報を第２の操作情報に変換する操作情報変換手段と、前記第２の操作情報を前記リモート制御装置に対して送信する操作情報送信手段とを有することを特徴とする。
【００１４】
本発明のリモート制御装置の制御方法は、リモート制御装置の制御方法であって、第１のネットワークを介して接続される被リモート制御装置から、前記被リモート制御装置を制御するための第１の操作情報を受信する操作情報受信ステップと、第２のネットワークを介して接続されるリモート制御装置に応じた変換ルールに基づいて、前記第１の操作情報を第２の操作情報に変換する操作情報変換ステップと、前記第２の操作情報を前記リモート制御装置に対して送信する操作情報送信ステップとを含むことを特徴とする。
【００１５】
本発明のプログラムは、前記リモート制御装置の制御方法をコンピュータに実行させることを特徴とする。
【００１６】
本発明のコンピュータ読み取り可能な記録媒体は、前記プログラムを記録したことを特徴とする。
【発明の効果】
【００１７】
本発明によれば、リモート制御装置に応じた変換ルールに基づいて、リモート制御装置がリモート被制御装置を制御するための操作情報を変換するように構成したので、各リモート制御装置の表示能力、操作環境等に適した操作環境を提供することを可能とし、リモート制御装置におけるユーザの操作性を良好なものとすることができる。
【発明を実施するための最良の形態】
【００１８】
以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。
【００１９】
図１は、本発明の一実施形態に係るリモート制御システムを表すブロック図である。このシステムは、高速シリアルインタフェースによるネットワーク１に接続され、リモコン１２０によるユーザ操作入力を有するデジタルテレビ１１０、デジタルテレビ１１０に操作のための表示を行いデジタルテレビ１１０のリモコン入力に基づいてリモート制御されるデジタルビデオ（ＶＣＲ）１００、デジタルビデオカメラ（ＤＶ）１３１、チューナ１３２と、公衆回線を含むインターネットに接続されたモバイルＰＣ１４０、ＰＤＡ１５１、携帯端末１５２から構成される。
【００２０】
図２はデジタルテレビ１１０を介してリモート制御され、他の被リモート制御装置となるＶＣＲ１００の主要な構成を示す図である。１０４は放送波から所望の放送番組を受信し、また内蔵するデジタルビデオレコーダにより受信した番組または高速シリアルインタフェースによるネットワーク１および図示しないアナログ入出力端子からの入力を録画し、またデジタルビデオレコーダから再生される映像、音声データを含むストリームデータをネットワーク１へ出力するＶＣＲ本体部、１０３はリモート制御のためにデジタルテレビ１１０に表示する表示データ（ＧＵＩデータ）及び操作情報を格納または生成する表示データ発生器、１０２はネットワーク１を介して通信を行いＶＣＲ本体部１０４と表示データ発生器１０３を制御する制御部である。また、１０１は１３９４高速シリアルバスのインタフェースである１３９４Ｉ／Ｆ部であり、ネットワーク１によって、デジタルテレビ１１０の１３９４Ｉ／Ｆ部、あるいは他の装置の１３９４Ｉ／Ｆ部に接続される。
【００２１】
図３はリモコン１２０によるユーザ操作入力を有するデジタルテレビ１１０の構成を示す図である。１１１は１３９４高速シリアルバスのインタフェースである１３９４Ｉ／Ｆ部、１１３は１３９４Ｉ／Ｆ部１１１で受信したストリームデータをビデオストリームと音声ストリームに分離して各々のストリームデータをデコードする機能を含むデコーダ、１１９はデコードされた音声データのＤ／Ａ変換と増幅及びスピーカを含む音声出力部である。
【００２２】
１１４は１３９４Ｉ／Ｆ部１１１で受信したリモート制御のための操作データ及び表示データ(ＧＵＩデータ)を格納し、ＧＵＩデータから変換されたＨＴＭＬによる操作ページデータを格納する記憶部、１１６は赤外線または無線などを使用してユーザの操作入力を行うリモコン制御部、１１５はリモート制御のための表示データ（ＧＵＩデータ）に基づいて接続された被リモート制御機器のリモート制御のための表示（操作パネル）を生成する描画制御部、１１７はデコーダ１１３から出力されるビデオデータと描画制御部１１５から出力される表示を合成して表示デバイス１１８に表示を行うための画像合成部、１２４は表示データ記憶部に格納されたＧＵＩデータを後述するリモート制御端末より受信するユーザインタフェース情報に基づきＨＴＭＬによる操作パネルデータに変換して表示データ記憶部に格納する操作データ変換部、１２３はイーサネット（登録商標）によるネットワークインタフェース、１２２はネットワークインタフェース１２３を通じて受信する要求に応答してＨＴＭＬによる操作ページデータを送出し、受信した要求メッセージからユーザの操作内容を抽出するサーバ部、１１２は制御部、デコーダ１１３、表示データメモリ１１４、リモコン制御部１１６、１３９４Ｉ／Ｆ部１１１及び描画制御部１１５をコントロールする制御部であり、ネットワークに接続されたＶＣＲ１００から送信されるストリームデータを受信して表示デバイス１１８及び音声出力部１１９に出力する他、表示デバイス１１８に表示されるリモート制御のための表示とリモコン操作入力、およびサーバ部１２２から抽出される操作入力に基づいて１３９４Ｉ／Ｆ部１１１に接続される被リモート制御装置の制御を行うデジタルテレビ１１０全体の動作を統合的に制御する。
【００２３】
図４はインターネット２に接続され、デジタルテレビ１１０から受信するＨＴＭＬによる操作ページデータを表示し、表示に基づくユーザの操作をデジタルテレビ１１０へ伝える機能を有するリモート制御端末となるモバイルＰＣ１４０の構成を説明するための図である。
【００２４】
ＰＣは一般的に全体の制御を司るＣＰＵと、ＣＰＵとバスを介して接続される記憶部、描画制御部、表示部、操作入力部、インターネットＩ／Ｆ部を有するが、本実施形態においては、ＣＰＵで実行されるアプリケーションソフトウエアとしてＨＴＭＬデータを受信し、データを解釈して表示しするブラウザ機能が必要である。また表示画面に対するユーザの入力をＨＴＭＬデータへの操作としてインターネットＩ／Ｆ部を通じて出力する機能が必要である。図４はこうした機能の構成を示すものであり、イーサネット（登録商標）によるインターネットＩ／Ｆ部１４１、操作入力部１４２、ブラウザ部１４３、表示部１４４、ＣＰＵによる制御部１４５で構成される。
【００２５】
図１に示される他のリモート制御端末であるＰＤＡ１５１、携帯電話１５２においても、それぞれの装置に固有な動作を担う構成要素を持つほか、本実施形態で説明するリモート制御端末としての機能を担う構成要素として、図４と同様の構成を有する。
【００２６】
１３９４Ｉ／Ｆ（ＩＥＥＥ１３９４高速シリアルバス）は、デイジーチェーン方式、ノード分岐方式、及びこれらの組み合わせに対応し、自由度の高い接続を可能としたネットワークバスである。100Mbps、200Mbps、400Mbpsでシリアル転送を行うデータ転送方式で、上位の転送速度を有する機器は下位のデータ転送速度をサポートするため、異なる転送速度を有する機器が混在可能である。また、コマンドなどの制御信号、ファイルデータといった非同期で転送されるデータの転送のためのAsynchronous転送と、ビデオデータや音声信号（いわゆるストリーム データ）等の時間的に連続性を要求されるデータの転送を一定期間(125us)ごとに逐次行うIsochronous転送の２つの転送モードを有する。
【００２７】
ＡＶ機器の制御のためのＡＶ／Ｃ（Audio Video Control）コマンドがAsynchronous転送の上に構築され、同時にこれらのコマンドによって制御されるＡＶ機器のモデルがAV/C unitまたはsubunitとして定義されている。また、静止画ファイル転送やプリントデータ転送など転送に確実性と高速性を求められるデータ転送のためにはAsynchronous転送によるプロトコルであるAsynchronous Serial Bus Connectionと、この転送のためのコネクションを結ぶ、または解消するための手順と制御コマンドが定義され、使用されている。
【００２８】
Isochronous転送によるストリームデータ転送にはＤＶフォーマットによる画像／音声データ転送、ＭＰＥＧ２フォーマットによる画像／音声ストリームの転送がある。これらのストリームデータ転送のためのコネクションを結ぶ、または解消するための手順と制御コマンドもまたAsynchronous転送によるＡＶ／Ｃコマンドとして定義されている。
【００２９】
ＩＰをベースとしたネットワーク２に接続されたサーバ部１２２とブラウザ１４３は、ＴＰＣ、ＨＴＴＰプロトコルスタックの上で、ブラウザからの要求メッセージに対してサーバからのレスポンスメッセージとしてＨＴＭＬデータおよび画像データなどを転送する動作を行う。
【００３０】
図５は、リモート制御システムのリモート制御のための表示データ（ＧＵＩデータ）の転送と表示、及びリモート制御の手順について、１３９４ネットワークとインターネット上の通信に注目して説明するための図である。本図の説明では１３９４ネットワーク上の被リモート制御装置の一つであるＶＣＲ１００との間の手順を述べているが、ネットワークに他の被リモート制御装置が接続された場合にも同様の通信が行われ、さらにＶＣＲ１００と並行しても同様の制御が行われ得る。
【００３１】
図５において、デジタルテレビ１１０の制御部１１２は、始めに１３９４ネットワークに接続されたデバイスに対して、順次AV/C digital Interface Commnad Set仕様（AVC仕様）に基づいたSubunitInfoコマンドを送信し、デバイスが備える機能を調査する（２０１）。
【００３２】
図６に、Subunit Infoコマンドの詳細を示す。図６（ａ）は、Subunit Infoコマンドフレームを表す図である。一つのAV Unitは、８つのpageを保持し、一つのpageには各4byteで表される４つのSubunit typeが格納される。デジタルテレビ１１０の制御部１１２は、各被リモート制御装置に対して図６（ａ）に示すコマンドを発行する。
【００３３】
Operand[0]は、図６（ｂ）に相当し、pageにはAV Unitのpage(0~7)を、extention_codeには固定値7をセットする。Subunit Infoコマンドを受信したAV Unitは、対応するレスポンスとして、図６（ｃ）を発行する。Operand[1~4]には、図６（ｄ）に示すようなSubunit情報が格納される。Subunit_Typeには、図7に示すSubunit Type valueが、max_subunit_IDには、実装されているSubunit数が格納されている。なお、Subunitが実装されていない場合や１page当たり４つに満たない場合には、FFｈがそのまま入る。上記の手順を繰り返すことによりコントロール装置であるデジタルテレビは、被リモート制御装置が実装しているSubunitを判断することが出来る。
【００３４】
Subunit Infoコマンドの結果、デバイスが本実施形態に係るリモート制御機能を備えていた場合、IEC1212（ANSI/IEEE Std 1212 Control and Status Register(CSR) Architeture for Microcomputer Busses）で規格化されたコンフィギュレーションＲＯＭの中の必要な内容を読み出し（２０２）、デバイスに関する情報、デバイスを代表するデバイスアイコンの画像データなどを獲得する。デジタルテレビの制御部は各デバイスから得られるこの情報からユーザが操作し得る機器のリストおよびデバイスアイコン群(以下まとめてデバイスリストと記す)を得て表示データメモリ１１４に格納すると同時に、描画制御部を通じてデバイスアイコン群を表示デバイスに表示してユーザに操作対象の選択を促す。
【００３５】
次に、ユーザのリモコン操作によりこれらのデバイスアイコンの一つとしてＶＣＲ１００に対応するデバイスアイコンが選択された場合、デジタルテレビの制御部１１２は、ＶＣＲ１００を被リモート制御装置としたセッションを開始するため、ＡＶ／ＣコマンドのGui_update（open）コマンドを発行する（２０５）。図８−１（ａ）にGui_updateコマンドのコマンドフレームを示す。operand[3]に格納されるsubfunctionの値（図８−１（ｂ））によりこのコマンドによる被リモート制御装置への指示が指定される。openはリモート制御のセッションの開始、closeはセッションの終了を指示する。startはリモート制御のためのＧＵＩデータの転送を指示する。被リモート制御装置は次にstopの指示があるまでの間、装置の状態や操作の結果によりＧＵＩデータに変更が生じたとき、後述の手順でＧＵＩデータを制御装置へ送信する。restoreは１３９４ネットワークのバスリセットが発生した際にＧＵＩデータ転送のためのAsynchronous serial bus connectionを復帰する場合に指定される。changeはＧＵＩデータ変更の報告範囲の変更を指定する際に指定する。
【００３６】
Gui_update（open）コマンドを受信したＶＣＲ１００の制御部１０２はコマンドへのレスポンスとしてAsynchronous serial bus connectionに使用すべきplug番号をoperand[0]に格納して返送する。デジタルテレビの制御部１１２はこのplug番号を用いて、必要なＶＣＲ１００の内部コネクション及びＶＣＲ１００とデジタルテレビ１１０間のコネクションを、Connectコマンド(２０６)およびAllocate_attachコマンド(２０７)を発行して確立する。
【００３７】
続いて、デジタルテレビの制御部１１２はGui_update(start)コマンドを発行してＧＵＩデータの転送の開始を指示し(２０８)、Push_gui_dataコマンドを発行してＶＣＲ１００のＧＵＩデータの転送を指示する(２０９)。
【００３８】
図８−１（ｃ）にPush_gui_dataコマンドのコマンドフレームを示す。operand[0]にはGui_update(open)によって獲得したplug番号を指定する。operand[5]のindicatorには図８−１（ｄ）に示すlevelとwith_data指定を格納する。levelは被リモート制御Push_gui_dataコマンドによる指示で転送される被リモート制御機器のＧＵＩデータの転送範囲を後述するＧＵＩデータの木構造に従って指定する。指定する値は図８−２（ａ）に示す２ビットの３値で、00（itself）では後述の要素ＩＤで指定した要素そのものを、01（itself and next level）では要素ＩＤで指定した要素とその要素に属する要素を、11（all level）では01（itself and next level）の範囲と、この範囲に含まれる要素に属する次の要素までを指定する。with_dataは、このビットが１のとき、要素ＩＤとlevelで指定される要素が持つテキスト、イメージ、サウンドなどの実データを指定する。operand[6]からの４バイトには後述するＧＵＩデータの要素を識別する要素ＩＤを格納して、Asynchronous serial bus connectionを通じて転送を指示するＧＵＩデータを指定するが、ルートとなるパネル要素を指定する場合に限りFFFFhで要素ＩＤを代用することが可能である。
【００３９】
Push_gui_dataコマンドを受け取ったＶＣＲ１００の制御部１０２は、コマンドのレスポンスを返送し、ＶＣＲ１００のパネルデータ発生器１０３からリモート制御のための表示データをAsynchronous serial bus connectionを通じてデジタルテレビ１１０へ転送する（２１０）。転送された表示データは表示データメモリ１１４に格納された後、制御部１１２で要素ごとに読み出され、描画制御部１１５へ送られ画像合成部１１７を通じて表示デバイス１１８に表示され、ユーザに対する操作情報（操作パネル）として提供される。
【００４０】
表示データは操作情報として表示される要素の集合であり、パネル要素をルートとした木構造のデータ構造を有する。図９はこうした要素と、各要素に従属する必須データまたは選択データを示す表であり、図１０は各要素に対してユーザが取り得る操作であるユーザアクションを示す表である。
【００４１】
パネル要素は、操作要素の集合を示すものであり、リンクとして各要素が有するのＩＤの列を保持する。また、パネル要素のタイトルとなる文字列データであるラベルへのリンクと、パネルの表示する表示スクリーン上の位置及び大きさデータを有する。また、パネルの背景の色指定、または背景に表示するビットマップデータへのリンク、表示する文字列に対するフォントの選択指定をオプションとして保持する事ができる。また、ビデオ及び音声のストリームを転送するIsochronous転送チャネルデータをオプションとして保持する事ができ、このオプションが指定された場合には、転送されるストリームからデコードされるオーディオビデオデータをパネル要素全体に表示する。
【００４２】
ボタン要素は、ユーザがリモコンによって押す、または離す操作をする事ができる要素であり、押されたときと、離されたときに各々キートップに表示する二つのビットマップデータへのリンクを保持する。ビットマップの大きさはサイズデータで、表示位置は位置データで示される。位置データは、この要素が属するパネル要素内での相対位置を画素単位で指定したものである。また、ボタン要素のタイトル（または機能的な説明）となるラベルへのリンクを保持し、表示する文字列に対するフォントの選択肢をオプションとして保持する事ができる。オプションとして保持することの出来るフォーカスナビゲーションについては後で別に説明する。
【００４３】
テキスト要素は、タイトルや説明を文字列で表示する要素であり、位置、サイズと、ラベルとなるテキストデータへのリンクを保持し、背景色の指定とフォントの選択肢とフォーカスナビゲーションをオプションとして保持する事ができる。
【００４４】
アイコン要素は、ビットマップを表示し、ユーザが選択する事ができる要素であり、ビットマップデータへのリンク、ラベル、位置、サイズとラベルとなるテキストデータへのリンクを保持し、フォントの選択肢、オーディオ・ビジュアル指定とフォーカスナビゲーションをオプションとして保持する事ができる。
【００４５】
アニメーション要素は、複数のビットマップを保持して、これを一定時間間隔で順に切り替えて表示し、ユーザが選択することのできる要素である。位置、サイズと、ラベルとなるテキストデータへのリンクを保持し、フォントの選択肢、フォーカスナビゲーションをオプションとして保持する事ができる。
【００４６】
図１１−１はＧＵＩデータを構成する要素のデータ構造を示す図である。図１１−１（ａ）はパネル要素、ボタン要素など、要素データのデータ構造である。全ての要素は、表示データの中での識別のために要素ＩＤを保持する。要素タイプは要素の種別を示すコードであり、図１２（ａ）に示す要素タイプが格納される。要素データは、この要素が保持するデータを必須データ、選択データの順に格納する。
【００４７】
図１１−１（ｂ）は必須データまたは選択データとして各要素からリンクされるテキスト、ビットマップ、サウンドなどの実データのデータ構造である。全ての実データは要素と同様に識別のための要素ＩＤを保持する。要素タイプは実データの種別を示すコードで、図１２（ｂ）に示すデータタイプが格納される。実データは、テキストデータであれば文字列データが、ビットマップデータであればビットマップデータ列が、サウンドであればサウンドデータ列が格納される。
【００４８】
図１１−２（ａ）〜図１１−２（ｆ）、図１１−３（ａ）〜図１１−３（ｄ）は要素データが保持する必須データ、または選択データとなる要素またはデータのリンクデータ構造である。図１１−２（ａ）はテキスト実データへのリンクであり、要素ＩＤにはリンク先のテキスト実データの要素ＩＤが格納される。図１１−２（ｂ）はビットマップ実データへのリンクであり、要素ＩＤにはビットマップ実データの要素ＩＤが格納される。図１１−２（ｃ）は要素へのリンクであり、要素ＩＤにはパネル要素に属するボタン要素、テキスト要素などの要素の要素ＩＤが格納され、要素タイプは、図１２（ａ）に示す要素タイプが格納される。図１１−２（ｃ）は背景カラーとして指定するカラーデータのデータ構造であり、ＲＧＢ各８bitで表現されるカラーデータが格納される。
【００４９】
図１１−２（ｅ）は要素の表示位置を指定するデータの構造である。各要素の位置は表示デバイス上の２次元座標系で、要素が属する上位の要素の左上隅を原点とする相対位置として表現される。即ち、要素がルートとなるパネル要素である場合は表示デバイス上の位置が、要素がパネル要素に属するものであればパネル要素上の位置が画素単位で指定される。
【００５０】
図１１−２（ｆ）は要素を表示するサイズを指定するデータ構造であり、「幅」及び「高さ」には要素の大きさを画素単位で表現した値が格納される。図１１−３（ａ）は要素で表示されるテキストのフォントサイズを指定するデータ構造であり、図１２（ｄ）で示されるフォントコードが格納される。
【００５１】
図１１−３（ｂ）は要素の要素データに選択データを格納する場合のデータ構造であり、「選択データタイプ」に図１２（ｃ）に示す選択データタイプを格納し、「選択データ」に背景カラー、フォント、など選択的に付加されるデータ構造が格納される。
【００５２】
図１１−３（ｃ）はパネル要素の背景またはアイコン要素に表示されるオーディオビデオデータを転送するIsochronousチャネルを指定するデータ構造であり、下位6bitにIsochronousチャネルが格納され、上位2bitにはいずれも0Bがセットされる。
【００５３】
図１１−３（ｄ）は要素にフォーカスがあるとき、上下左右の各方向へのフォーカス移動とこの要素に対する選択入力があったとき、フォーカスの移動先となる要素を指定するデータ構造である。図に示すとおり、上下左右の４方向についてフォーカス移動の操作入力があった場合のフォーカスの移動先が要素ＩＤとして、また、要素の選択を行う操作入力があった場合のフォーカスの移動先が要素ＩＤとして格納されている。フォーカスの移動先の要素ＩＤとしてFFFFhが格納されている場合、または自身の要素ＩＤが指定されている場合には、該当する操作入力があってもフォーカスの移動を行わない。
【００５４】
図１３はリモート制御のための表示データにおけるデータ構成の一例を木構造で示した図である。また、図１４はこのデータの構造のうち、パネル要素のデータ構造を示す図である。こうしたデータがAsynchronous serial bus connectionを通じてデジタルテレビ１１０へ転送される。
【００５５】
図１５にリモート制御のための表示データの表示例（操作パネル）を示す。制御部１１２は描画制御部１１５を通じてこうした表示を表示デバイス１１８に表示する一方、リモコン制御部１１６を通じてユーザの操作入力を受け付ける。例えば、図１５においてＶＣＲの再生を示すPLAYボタン３０４にユーザの選択候補としてのフォーカスがある事をボタンのハイライト表示３１３で示し、リモコン操作に応答してフォーカス位置を変更する。この動作をファーカスナビゲーションと呼ぶ。また、フォーカスのあるボタンに対して選択決定のリモコン操作に応答してボタンの表示を解放状態のビットマップ表示から押し下げ状態のビットマップ表示に切り替える動作を行う。
【００５６】
ボタンの押し下げなど、表示要素ごとに許容されたユーザアクションを検知すると、デジタルテレビの制御部１１２は、User_Actionコマンドを発行して、ＶＣＲ１００の制御部１０２に通知する（図５の２１３）。制御部１０２は、通知された表示要素ごとに予め定められたユーザアクションに対応する制御をＶＣＲ本体部１０４に対して行う。表示データ発生器１０３はＶＣＲ本体１０４の動作状態の変化を反映し、表示データに変化がある場合には、変化のあった表示データをデジタルテレビ１１０へAsynchronous serial bus connectionによって転送する（図５の２１４）。ＶＣＲ本体への制御によっては、Isochronous connection通じて新たなストリームデータの転送が開始される（２１６）。フォーカスナビゲーションを行い、ユーザの操作入力をユーザアクションとして被リモート制御装置に通知する一連の動作をユーザインタラクションと呼ぶ。
【００５７】
図１６はユーザインタラクションに使用されるリモコン１２０を示す図である。リモコン１２０は表示データ上でフォーカスの移動を指示する方向キー３１２、３１３、３１４、３１５とフォーカスのある表示要素に対する選択決定を指示する決定キー３１６を備える。表示要素がボタン要素であるとき、選択決定の指示はボタンの押し下げ（および開放）のユーザアクションを発生し、アイコンおよびアニメーション要素である場合には選択のユーザアクションを発生する。
【００５８】
図１６のリモコン１２０は、また、電源のオンオフキー３１７、音量アップキー３１８、音量ダウンキー３１９、メニューキー３２０を備える。これらのキーに対する操作は、常にデジタルテレビ１１０に対する操作となり、リモコン制御部を通じて制御部１１２に通知されて、デジタルテレビ１１０の電源のオンオフ、音量の調節、デジタルテレビのメニュー呼び出しの制御に渡される。
【００５９】
続いて、インターネット２に接続されたモバイルＰＣ１４０によるデジタルテレビ１１０を介した遠隔地からのリモート制御の動作について説明する。デジタルテレビ１１０においては、被リモート制御装置から受信したパネルデータを表示データメモリに格納すると共に、インターネット２と通じて接続されたリモート制御端末に送信するためのＨＴＭＬデータをパネルデータを基に作成し、保持する。
【００６０】
図５においてデジタルテレビ１１０はＩＥＥＥ１３９４ネットワークに接続された機器ごとにSubunit Infoコマンドの発行(２０１)とコンフィギュレーションROMへのリード(２０２)によって得られたユーザが操作し得る機器のリストおよびデバイスアイコンから、ＨＴＭＬによるデバイス選択のための操作ページデータを操作データ変換部１２４で作成し、表示データメモリ１１４にdevicelist.htmlとして格納する。モバイルＰＣからのデジタルテレビ１１０のサーバ部１２２へのgetメッセージによるアクセス（２０３）に対するレスポンスメッセージとしてＨＴＭＬによる操作ページデータがモバイルＰＣ１４０のブラウザ部へ転送され（２０３）、表示部１４４に表示される。図１７はＨＴＭＬによるデバイス選択ページのための操作ページデータの例、図１８はモバイルＰＣ１４０の表示部１４４に表示された操作ページの例である。
【００６１】
ユーザが表示操作ページ上でリモート操作可能なデバイスを表すアイコンの一つを選択すると、操作ページ上でリンクとして指定されたデバイスのパネルを生成するためのプログラムがgetメッセージ(２０４)を受け取ったサーバ部１２２で起動され、制御部１１２を通じて対象となるデバイスに対してGui_Updateコマンドの発行（２０５）をはじめとするリモート制御の手続きが開始される。デバイスから送られたＧＵＩデータが(２１０)表示データメモリ１１４に格納されると、操作データ変換部１２４によりＨＴＭＬによる操作ページデータに変換され、表示データメモリ１１４に格納される。サーバ部のプログラムはgetメッセージ(２０４)に対するレスポンスとして操作ページのデータをモバイルＰＣ１４０のブラウザ部１４３に送信し（２１１）、操作ページとして表示部１４４に表示される。
【００６２】
図１９は表示される操作ページの一例である。モバイルＰＣ１４０は小型ながらもキーボードおよびポインティングデバイスと、カラーグラフィクス表示可能な液晶ディスプレイを備えて、ディスプレイに表示したアイコンなどのグラフィクス表示要素をマウスカーソルを用いて自由に選択することができる。操作ページはイメージを含むカラーグラフィクス表示によりデジタルテレビ１１０が受信したＧＵＩデータによる操作パネルがほぼそのまま再現されている。
【００６３】
図２０はこうした表示能力、操作性を有するリモート操作端末で使用するＨＴＭＬによる操作パネルデータをＧＵＩデータから変換する際の変換ルールの例を示す表である。ボタン要素、アイコン要素などイメージデータを有する表示要素は、ＧＵＩデータが持つイメージデータをそのまま使用することができる。ボタン要素においてはボタンが離された状態のイメージである開放ビットマップリンクによるイメージデータが使用され、アニメーション要素ではアニメーションを構成するアニメーションビットマップリンクが指す一番目のイメージデータが使用される。操作データ変換部124にその機能があれば、アニメーションを含むＧＩＦファイルに変換して使用することも可能である。
【００６４】
また、各要素に指定された位置、サイズの情報もＨＴＭＬによる操作パネルデータに指定される。ＧＵＩデータの選択データとしてパネル要素、テキスト要素に与えられる背景カラー、背景ビットマップも指定される。本実施例においては、その他の必須データおよび選択データはＨＴＭＬによる操作ページデータに反映されない。
【００６５】
モバイルＰＣ１４０のユーザは表示された操作ページを見て、所望の機能を示す表示要素を選択すると、リンクとして指定されたエレメント種類ごとに定められた処理プログラムプログラムがgetメッセージ(２１２)を受け取ったサーバ部１２２で起動され、引数として渡された要素ＩＤとアクションコードに基づき制御部１１２からUserActionコマンドが発行される(２１３)。被リモート制御装置であるデバイスからUserActionコマンドに反応して新たに送信されたＧＵＩデータがデジタルテレビ１００で受信され、表示データメモリ１１２に格納されると、操作データ変換部１２４によりＨＴＭＬによる操作ページデータに変換され、表示データメモリ１１４に格納される。サーバ部のプログラムはgetメッセージ(２１２)に対するレスポンスとして新しい操作ページのデータをモバイルＰＣ１４０のブラウザ部１４３に送信し（２１５）、新たな操作ページとして表示部１４４に表示される。
【００６６】
本実施形態に接続されるリモート制御端末の形態は多種に渡り、その操作環境も大きく異なる。図２１、図２２、図２３はそれぞれモバイルＰＣ（図１の１４０）、ＰＤＡ（図１の１５１）、携帯端末（図１の１５２）の外観を示す例である。
【００６７】
このようにリモート制御端末として接続される機器によってその操作環境は大きく異なり、それぞれの端末でユーザが操作しやすい環境を実現するための操作ページ、あるいは操作ページデータとして適切なものは異なる。このためＧＵＩデータからＨＴＭＬによる操作ページデータを変換する際に画一的なルールを適用して変換したのでは、端末によっては表示できないことや、快適な操作が行えないことがある。従ってデジタルテレビ１１０は、各リモート制御端末の操作環境に応じたＨＴＭＬによる操作ページデータを提供しなければならない。
【００６８】
本実施形態におけるデジタルテレビ１１０においては、ＩＥＥＥ１３９４ネットワークに接続されたデバイスの情報またはＧＵＩデータからＨＴＭＬによる操作ページデータに変換する場合、予めリモート制御端末の操作環境情報を受信しておき、受信した操作環境情報を基にリモート制御端末に適切となる操作ページデータを作成して、リモート制御端末側に供給する方法をとる。
【００６９】
種々のリモート制御端末の操作環境に適したＨＴＭＬによる操作ページデータを作成するために、リモート制御端末は最初にリモート制御を行う為にデジタルテレビ１１０にアクセスする際、自らの操作環境をgetメッセージの引数としてデジタルテレビに送信する(２００)。図２４に引数として送信する操作環境情報を示す。図２２に示すような一般的なモノクロ液晶のＰＤＡの場合、01h(表示画面)02h(カラー)00h(ポインティングデバイス)01h(サウンド)の4byteのデータを送信する。
【００７０】
上記操作環境情報を受信したデジタルテレビの制御部１１２は、上述した手順によりデバイスリスト及びＧＵＩデータを取得する(２１０)。取得したＧＵＩデータをＨＴＭＬによる操作ページデータに変換し、リモート制御端末側で閲覧可能にするが、このときの変換ルールに上記操作環境情報を利用する。変換ルールの基本は図２０のとおりであるが、受信した操作環境情報の制約により、制御部１１２の変換プログラムは変換ルールを更新する。上記したＰＤＡ操作環境状況に於いては、表示画面のサイズにおける制約上各ＧＵＩ要素の位置及びサイズ情報は使用しない。従ってイメージデータのサイズも必ずしも指定どおりでなく、適当な大きさにリサイズ、またはクリッピングされ、ＰＤＡが表示できる配置で表示されることになる。更に、カラーの制約上背景カラーも使用しない。
【００７１】
このように条件を各要素のデータごとに反映させていくことで、図２５に示すような変換ルールが作成される。こうして作成した変換ルールに基づき、デジタルテレビの制御部１１２は、ＧＵＩデータをＰＤＡで快適に操作できるようなＨＴＭＬによる操作ページデータに変換する。
【００７２】
また、図２６は携帯端末から受信した操作環境情報に基づき作成された変換ルールの例であり、携帯端末の限られた表示面積と操作選択手段に合わせてＧＵＩデータのテキストデータだけが採用される。ボタン要素、アイコン要素など本来イメージとして表示される要素も、要素につけられたラベルデータによるテキストで代替される。表示される操作ページとしては制約の多いものとなるが、他方では、携帯端末が使用できる場所であればどこからでもリモート制御を行うことができるという利便性を得ることが出来る。
【００７３】
デジタルテレビ１１０に於いては、こうしたリモート制御端末のいずれから接続された場合でもその操作環境情報にあった適切な操作ページデータ作成し、レスポンスとして送出することが可能である。
【００７４】
上記のような変換の結果得られるＨＴＭＬによる操作ページデータのリモート制御端末による違いを以下に説明する。
【００７５】
モバイルＰＣは、小型ながらもキーボードおよびポインティングデバイスと、カラーグラフィクス表示可能な液晶ディスプレイを備えて、ディスプレイに表示したアイコンなどのグラフィクス表示要素をマウスカーソルを用いて自由に選択することができる。操作ページデータとして得られるＨＴＭＬデータの表示は図１９のようになる。
【００７６】
ＰＤＡは図示しない携帯電話／ＰＨＳなどに接続し、公衆回線を経由してインターネットに接続される。白黒またはカラーの小面積のディスプレイを備え、ディスプレイ表面に設けられたタッチパネルを通じて操作を行うことが出来る。図２７はこうしたＰＤＡのようなリモート端末に於いて表示される操作ページの表示例である。図２７（ａ）はリモート制御可能なデバイスのリストであり、リモート制御の対象とするデバイスを選択する画面、図２７（ｂ）は被リモート制御デバイスとしてＶＣＲを選択したときのＶＣＲ制御のための表示画面であり、図１５に示されるＧＵＩデータから変換されたＨＴＭＬによる操作ページデータを表示した例である。
【００７７】
また、携帯端末は携帯電話の機能に加え、主にテキストの表示に適した限定的なディスプレイを備え、携帯電話回線網に設けられたサーバを通じてインターネットに接続される。ディスプレイに表示された主にテキストを上下方向のカーソル移動キーで選択し、操作を行うことが出来る。図２８（ａ）はリモート制御可能なデバイスのテキストによるリストであり、リモート制御の対象とするデバイスを選択する画面、図２８（ｂ）は被リモート制御デバイスとしてＶＣＲを選択したときのＶＣＲ制御のための操作ページの表示例であり、図１５に示されるＧＵＩデータから変換されたテキストで構成されたＨＴＭＬによる操作ページデータを表示した例である。
【００７８】
リモート制御端末は、操作ページデータを与えるデジタルテレビのサーバ部１２２の固定のＵＲＬにアクセスするだけでよい。予め操作環境情報を送信しているので、他に何も指定することなしに、リモート制御端末の操作環境に合った操作ページを得ることが出来る。リモート制御端末におけるユーザの操作性を良好なものにすることができる。
【００７９】
＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。以下の第２の実施形態に係る説明は、上記実施形態との相違点についてのみを説明する。上記実施形態と同一の構成、同一の動作には上記実施形態で説明したものと同一の符号を付与してこれを表すものとする。
【００８０】
第１の実施形態では、デジタルテレビ１１０は、各リモート制御端末の操作環境に応じたＨＴＭＬによる操作ページデータを作成し、そのリモート制御端末の類型を示すＵＲＬに分けて格納する。各リモート制御端末は、自身の表示と操作の形態を考慮して、最適な操作ページデータを与えると考えられるディレクトリをＵＲＬに指定して、ＤＴＶのサーバにアクセスする。
【００８１】
ところで、作成されたＨＴＭＬによる操作ページデータを使って外出先から家庭内ネットワークに接続された被リモート制御装置を制御した場合、その操作結果や操作結果によって生じる被制御装置の状態の変化、或いは関連するその他の機器の状況等をリモート制御端末で閲覧するという要望がある。
【００８２】
本実施形態におけるデジタルテレビ１１０においては、こうした閲覧したい機器の情報やサービスを先に説明したＨＴＭＬによる操作ページデータにリンク情報として埋め込むことでリモート制御端末からの閲覧を可能にする。
【００８３】
以下、デジタルテレビ１１０の操作データ変換部１２４が変換したＨＴＭＬによる操作ページデータにリンク情報を挿入する手順について説明する。
【００８４】
デジタルテレビ１１０の表示データメモリ１１４は、被リモート制御装置からのＧＵＩデータを格納するだけでなく、ＨＴＭＬによる操作ページデータに挿入するSubunit毎のリンク情報テーブルを保持している。図２９に本実施形態に於けるリンク情報テーブルを示す。ユーザに録画予約をアシストするために図示しないデジタルテレビ１１０のチューナ部が受信するＥＰＧ（Electronic Program Guide）情報や家庭内ネットワークに接続されていて使用可能な他の機器を知らせる為のデバイスリスト、及び、リモート制御装置によるリモート制御の結果、デジタルテレビ１１０の表示デバイス１１８に映し出される静止画或いは動画等の情報がリンク情報として操作ページデータに挿入される。これらの情報が挿入されるか否かがSubunit単位で決められている。なお、複数のSubunitを搭載しているデバイスは、論理和の集合で挿入される。
【００８５】
デジタルテレビ１１０は、ＥＰＧ等自身で提供する情報を予めＨＴＭＬデータし、表示データメモリ１１４ないしは図示しないＨＤＤ等の記憶媒体に格納しておく。このＨＴＭＬは、内容の更新や周辺機器の情報・状態の変化の度、更新される。
【００８６】
図３０に外出先にてリモート制御端末であるＰＤＡから家庭内ネットワークに接続されたＤＶＨＳを制御するための操作ページデータにリンクされた、デジタルテレビ１１０の図示しないチューナが受信したＥＰＧ情報を参照する様子を示す。
【００８７】
外出先からＰＤＡを用いてデジタルテレビ１１０のサーバ部１２２にアクセスすると、サーバ部１２２がＨＴＭＬデータとして保持しているデジタルテレビを含む家庭内ネットワークに接続されている使用可能な被リモート制御装置の一覧(デバイスリスト)を閲覧することが出来る(図３０（ａ）)。
【００８８】
ユーザが所望のデバイスを選択すると、デジタルテレビ１１０は図５に於ける２０５〜２１０の手順のとおり該当する被制御装置にからＧＵＩデータを受信する。上述したとおり受信したＧＵＩデータをデジタルテレビ１１０は操作データ変換部１２４にてＨＴＭＬによる操作ページデータに変換する。このときデジタルテレビ１１０の制御部１１２は、表示データメモリ１１４に予め格納しているＨＴＭＬによるＥＰＧデータへのリンク情報を操作ページデータに追加する。操作ページデータに追加されるリンク情報は上述したとおりSubunit毎に異なり、図２９のテーブルに従う。ユーザはリモート制御端末で、上述したＥＰＧへのリンク情報５０１を含むＨＴＭＬによる操作ページデータをＨＴＴＰ経由で取得することが出来る(図３０（ｂ）)。
【００８９】
ユーザはこのリンク情報を選択することで、図３０（ｃ）に示すようなＥＰＧデータを閲覧することが出来る。ＥＰＧデータは、日付(５０３)・チャネル(５０４)・時間帯(５０５)にあった番組情報を提供している。
【００９０】
このようにＤＶＨＳのＨＴＭＬによる操作ページデータにＥＰＧへのリンク情報を追加することで、ユーザは例えばＥＰＧの情報を見ながらＤＶＨＳに録画する番組を外出先から録画予約するといった使い方が可能となる。
【００９１】
＜第３の実施形態＞
本発明の第３の実施形態は、上記実施形態に係るリモート制御システムに於けるＨＴＭＬファイルで表された操作ページデータにデバイスの状態を表す静止画を直接付加させる点に異なる特徴を有するものである。以下の第３の実施形態に係る説明は、上記実施形態との相違点についてのみを説明する。上記実施形態と同一の構成、同一の動作には上記実施形態で説明したものと同一の符号を付与してこれを表すものとする。
【００９２】
図３１にリモート制御端末であるモバイルＰＣから家庭内ネットワークに接続されたＤＶＣを制御するために使用する操作ページデータに、デジタルテレビ１１０の表示デバイス１１８に表示される画像を埋め込む例を示す。
【００９３】
ユーザがリモート制御端末であるモバイルＰＣにて、デバイスリストの中からＤＶＣを選択すると、デジタルテレビ１１０は図５に於ける２０５〜２１０の手順のとおり該当するＤＶＣにからＧＵＩデータを受信する。上述したとおり受信したＧＵＩデータをデジタルテレビ１１０は操作データ変換部１２４にてＨＴＭＬによる操作ページデータに変換する。このときデジタルテレビ１１０の制御部１１２は、表示データメモリ１１４に格納しているSubunit毎のリンク情報テーブル(図２９)を参照し、ＤＶＣが実装するtape recorder/player Subunitが提供出来るリンク情報を操作ページデータに追加する。本実施形態では、デジタルテレビ１１０がキャプチャし、サーバ部１２２に格納する表示デバイス１１８に表示されるＤＶＣのコンテンツを表す静止画ファイルへのリンクが追加される(図３０（ａ）)。
【００９４】
デジタルテレビ１１０は、従来の家庭内に於ける操作では被制御装置であるＤＶＣからＧＵＩデータ及びIsochronous Connectionを通じて転送されるストリームデータを受信し、表示デバイス１１８に表示する(図１５)。一方、リモート制御端末により外出先からＤＶＣを操作する場合は、上述のとおりＧＵＩデータをＨＴＭＬによる操作ページデータに変換し、更にリンク情報テーブルに従って追加した静止画ファイルをＨＴＴＰ経由で閲覧することが可能となる(図３１（ｂ）)。
【００９５】
デジタルテレビ１１０は、被リモート制御装置であるＤＶＣから転送されるストリームデータ(動画像)を、定期的にチャプチャし、静止画ファイルを更新していく。こうすることで外出先から操作した被リモート制御装置の操作結果をリモート制御端末で、実際の動画像に近い形で閲覧すること出来る。
【００９６】
本実施形態に於いては、被リモート制御装置の動作状況としてIsochronous Connectionにより転送されるストリームデータをキャプチャした静止画をHTMLデータに貼り付けるとしたが、音声情報をリアルタイムに転送するような構成にすることも可能である。
【００９７】
また、本実施形態に於いては、対象となる被リモート制御装置の動作状況をＨＴＭＬによる操作ページデータにて確認するとしたが、関連する別のデバイス、或いはデジタルテレビ１１０自身の動作状況を操作ページデータに追加するという構成にすることも可能である。
【００９８】
また、本実施形態に於いては、被リモート制御装置の動作状況としてIsochronous Connectionにより転送されるストリームデータをキャプチャした静止画をHTMLデータに貼り付けるとしたが、ストリーミング技術に対応したデータを作成するエンコーダ、配信を行う配信サーバを保持するデジタルテレビ及び、ストリーミングデータを受信し再生を行うプレーヤを保持するリモート制御端末を用い、Isochronous Connectionより転送される動画データをネットワーク経由でダウンロードしながら順次再生するという構成にすることも可能である。
【００９９】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。
【０１００】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【０１０１】
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【０１０２】
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ(基本システム或いはオペレーティングシステム)などが実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１０３】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【図面の簡単な説明】
【０１０４】
【図１】本発明の第一の実施形態に係るシステム全体の構成を表すブロック図である。
【図２】ＶＣＲの構成を説明するための図である。
【図３】デジタルテレビの構成を説明するための図である。
【図４】リモート制御端末の構成を説明するための図である。
【図５】リモート制御の手順を説明するための図である。
【図６】接続機器情報取得のためのコマンド(Subunit Infoコマンド)を説明するための図である。
【図７】Subunitの種類を説明するための図である。
【図８−１】リモート制御のための制御コマンドを説明するための図である。
【図８−２】リモート制御のための制御コマンドを説明するための図である。
【図９】操作情報の要素とその必須データ及び選択データを説明するための図である。
【図１０】操作情報の要素が取り得るユーザアクションを説明するための図である。
【図１１−１】ＧＵＩデータのデータ構造を示す図である。
【図１１−２】ＧＵＩデータのデータ構造を示す図である。
【図１１−３】ＧＵＩデータのデータ構造を示す図である。
【図１２】ＧＵＩデータに格納するタイプ、コードを説明するための図である。
【図１３】ＧＵＩデータの木構造の例を示す図である。
【図１４】ＧＵＩデータのうちパネル要素の実際のデータ例を示す図である。
【図１５】リモート制御のためのＧＵＩデータのデジタルテレビにおける表示例を示す図である。
【図１６】リモート制御装置が備えるリモコンを示す図である。
【図１７】リモート制御端末に送られる操作ページデータを示す図である。
【図１８】リモート制御端末であるモバイルＰＣに表示される操作ページ(デバイス選択画面)を示す図である。
【図１９】リモート制御端末であるモバイルＰＣに表示される操作ページ(デバイス操作画面)を示す図である。
【図２０】リモート制御端末の操作環境に合わせて作成されるＧＵＩデータからＨＴＭＬによる操作ページデータに変換する際のルールを説明するための図である。
【図２１】リモート制御端末であるモバイルＰＣの外観を示す図である。
【図２２】リモート制御端末であるＰＤＡの外観を示す図である。
【図２３】リモート制御端末である携帯端末の外観を示す図である。
【図２４】リモート制御端末の操作環境情報を示す図である。
【図２５】リモート制御端末の操作環境(ＰＤＡ相当)に合わせて作成されるＧＵＩデータからＨＴＭＬによる操作ページデータに変換する際のルールを説明するための図である。
【図２６】リモート制御端末の操作環境(ＰＤＡ相当)に合わせて作成されるＧＵＩデータからＨＴＭＬによる操作ページデータに変換する際のルールを説明するための図である。
【図２７】リモート制御端末であるＰＤＡに表示される操作ページの表示例を示す図である。
【図２８】リモート制御端末である携帯端末に表示される操作ページの表示例を示す図である。
【図２９】デジタルテレビが保持するSubmit毎のリンク情報テーブルを説明するための図である。
【図３０】リモート制御端末（ＰＤＡ）に表示されるデバイスリスト、操作ページデータ及び操作ページデータにリンクされるＥＰＧ情報を説明するための図である。
【図３１】リモート制御端末（モバイルＰＣ）に表示される操作ページデータ及び操作ページデータにリンクされる静止画像を説明するための図である。
【符号の説明】
【０１０５】
１００  ＶＣＲ
１０１、１１１  １３９４インタフェース部
１０２、１１２、１４５  制御部
１０３  パネルデータ発生器
１０４  ＶＣＲ本体部
１１０  ＤＴＶ
１１３  デコーダ
１１４  表示データメモリ
１１５  描画制御部
１１６  リモコン制御部
１１７  画像合成部
１１８  表示デバイス
１１９  音声出力部
１２０  リモコン
１２２  サーバ部
１２３  ネットワークインタフェース部
１２４  操作データ変換部
１２５  編集データメモリ
１２６  編集制御部
１３１  ＤＶ
１３２  チューナ
１４０  モバイルＰＣ
１４１  インタフェース部
１４３  ブラウザ
１４４  表示部
１５１  ＰＤＡ
１５２  携帯端末
【図１】
2005341042.tif 000003
【図２】
2005341042.tif 000004
【図３】
2005341042.tif 000005
【図４】
2005341042.tif 000006
【図５】
2005341042.tif 000007
【図６】
2005341042.tif 000008
【図７】
2005341042.tif 000009
【図８−１】
2005341042.tif 000010
【図８−２】
2005341042.tif 000011
【図９】
2005341042.tif 000012
【図１０】
2005341042.tif 000013
【図１１−１】
2005341042.tif 000014
【図１１−２】
2005341042.tif 000015
【図１１−３】
2005341042.tif 000016
【図１２】
2005341042.tif 000017
【図１３】
2005341042.tif 000018
【図１４】
2005341042.tif 000019
【図１５】
2005341042.tif 000020
【図１６】
2005341042.tif 000021
【図１７】
2005341042.tif 000022
【図１８】
2005341042.tif 000023
【図１９】
2005341042.tif 000024
【図２０】
2005341042.tif 000025
【図２１】
2005341042.tif 000026
【図２２】
2005341042.tif 000027
【図２３】
2005341042.tif 000028
【図２４】
2005341042.tif 000029
【図２５】
2005341042.tif 000030
【図２６】
2005341042.tif 000031
【図２７】
2005341042.tif 000032
【図２８】
2005341042.tif 000033
【図２９】
2005341042.tif 000034
【図３０】
2005341042.tif 000035
【図３１】
2005341042.tif 000036