(57)【要約】【課題】大画面ディスプレイを備えたＡＶシステムにおいて、タッチパネルのような直感的に操作方法を理解させるユーザインターフェースを用いて、ＡＶ機器を簡単に操作する。【解決手段】サーバ３は、コンテンツのメニュー画像をリアルタイムで作成するとともに、メニュー画像に表示されるオブジェクトのメタデータをＨＴＭＬでリアルタイムに作成し、メニュー画像及びメタデータをクライアント１に送信する。クライアント１は、メニュー画像をＰＤＰパネル１１に高解像度で出力表示するとともに、低解像度のメニュー画像をタッチパネルＵＩユニット２に送信する。また、クライアントは、タッチパネルＵＩユニット２からタッチパネル信号を受信すると、タッチパネル信号とメタデータとからユーザが操作したオブジェクトを判断し、このオブジェクトを操作し、オブジェクト操作結果をサーバ３に送信する。【選択図】図５
2008312153.tif 000002
【特許請求の範囲】
【請求項１】
映像出力を有するＡＶ機器である被操作装置と、
第１の表示画面を有する第１の表示装置及び前記被操作装置と接続され、前記被操作装置が出力した映像を前記第１の表示装置に表示する操作装置と、
前記操作装置と相互に通信可能であり、前記第１の表示画面よりも小さな第２の表示画面を有し、前記第１の表示装置に表示された映像と同一の映像を表示する第２の表示装置を備えるとともに、前記被操作装置を操作指示するための操作信号を前記第２の表示画面を介してタッチパネル形式で入力する、携行可能な操作指示装置と、
を備えるＡＶ機器の操作制御システムであって、
前記被操作装置は、
前記被操作装置を操作するメニューの映像、及び前記メニューの各操作対象の位置及び操作内容に関するメタ情報を動的に作成して、前記操作装置に送信し、
前記操作装置は、
受信したメニューの映像を前記第１の表示装置及び前記操作指示装置に送信し、
前記操作指示装置から、前記操作信号を前記第２の表示画面上の位置情報として受信し、
前記被操作装置から受信した前記メタ情報と、前記操作指示装置から受信した前記操作信号と、に基づいて、選択された操作対象を識別し、選択された操作対象の操作内容に従って操作を行い、操作結果を前記被操作装置に送信し、
前記被操作装置は、
受信した操作結果に応じて、自装置の制御を行うことを特徴とするＡＶ機器の操作制御システム。
【請求項２】
前記操作装置は、
受信したメニューの映像及び受信したメニューのメタ情報を、前記第２の表示装置の解像度に合わせて、調整制御し、
調整制御したメニューの映像を前記操作指示装置に送信することを特徴とする請求項１記載のＡＶ機器の操作制御システム。
【請求項３】
前記操作装置は、
選択された操作対象を所定の記憶部に記憶し、
前記所定の記憶部に記憶した操作対象を一覧表示にした操作履歴メニューの映像及びメタ情報を作成し、作成した操作履歴メニューの映像を前記第１の表示装置及び前記操作指示装置に送信し、
前記操作指示装置から、前記操作履歴メニューに対する前記操作信号を前記第２の表示画面上の位置情報として受信し、
前記操作履歴メニューのメタ情報及び受信した前記操作指示信号に基づいて、前記操作履歴メニューの中から選択された操作対象を識別し、選択された操作対象の操作内容に従って操作を行い、操作結果を前記被操作装置に送信することを特徴とする請求項１又は２記載のＡＶ機器の操作制御システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、大型ディスプレイを備えたＡＶ（Audio Visual）システムにおいて、接続されたＡＶ機器の操作を制御する技術に関する。
【背景技術】
【０００２】
昨今のＡＶシステムにおいては、大画面のディスプレイを用いてコンテンツを視聴することが多い。ＡＶシステムには、例えば、ＳＴＢ（Set Top Box）、ＤＶＤ（Digital Versatile Disc）プレーヤ、ＡＶアンプなど複数のＡＶ機器を接続するのが一般的である。このため、ＡＶシステムにおいては複数のリモコンが必要となるが、各ＡＶ機器は高機能化しているため、それぞれのリモコン操作も複雑化してきており、ユーザの学習が必要となっている。特に、操作メニューを大画面のディスプレイに表示させつつ、リモコンのボタン操作を行う場合には、ディスプレイ及びリモコンの双方を交互に見つつ操作する必要があるため、操作に煩わしさを感じるユーザも多い。
【０００３】
ところで、不特定多数の人が使う公共機器、例えば、駅の券売機や銀行のＡＴＭ（Automatic Teller Machine）など、においては、タッチパネルを使用したユーザインターフェースが一般的である。タッチパネルは、操作させたい機能のコントロール（ボタン等）だけを適切な大きさに表示することができるとともに、コントロールの周囲に操作の目的や説明を具体的に表示できるので、操作の複雑さを解消でき、不特定多数のユーザが簡単に使えるユーザインターフェースである。（例えば、特許文献１、２参照。）。
【０００４】
【特許文献１】特開２００４−１９５５２７号公報
【特許文献２】特開２００６−１２７１０１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
そのため、上述したＡＶシステムの大画面のディスプレイにタッチパネルのような不特定多数のユーザが簡単に使えるユーザインターフェースが適用できれば、ＡＶシステムの操作性を向上させることができる。
【０００６】
しかしながら、大画面のディスプレイ（例えば、５０〜６０インチのＰＤＰ（Plasma Display Panel）など）に貼付するようなタッチパネルを作成することは物理的に困難であるという問題がある。また、大画面のディスプレイは適性距離（例えば、３〜４ｍ）離れて視聴するものであるため、この距離ではタッチパネルを操作できないという問題もある。
【０００７】
また、ＡＶアンプなどのＡＶ機器は、ビデオ回路を持っていないので、タッチパネルインターフェースを用いたとしても、大画面のディスプレイに画像（操作メニュー）を表示できないという問題もある。さらには、ＤＶＤプレーヤのようにビデオ出力を有し、大画面のディスプレイに画像（操作メニュー）を表示できるＡＶ機器であったとしても、一般のＤＶＤプレーヤは、タッチパネル信号を理解することができないので、タッチパネルインターフェースを使うことができないという問題もある。
【０００８】
本発明は上記の事情を鑑みてなされたものであり、その課題の一例としては、大画面ディスプレイを備えたＡＶシステムにおいて、例えば、タッチパネルのような直感的に操作方法を理解させるユーザインターフェースを用いて、接続される装置がどのような種類のＡＶ機器であっても簡単に操作することができるＡＶ機器の操作制御技術を提供することにある。
【課題を解決するための手段】
【０００９】
上記の課題を達成するため、本発明に係るＡＶ機器の操作制御システムは、その一態様として、映像出力を有するＡＶ機器である被操作装置と、第１の表示画面を有する第１の表示装置及び前記被操作装置と接続され、前記被操作装置が出力した映像を前記第１の表示装置に表示する操作装置と、前記操作装置と相互に通信可能であり、前記第１の表示画面よりも小さな第２の表示画面を有し、前記第１の表示装置に表示された映像と同一の映像を表示する第２の表示装置を備えるとともに、前記被操作装置を操作指示するための操作信号を前記第２の表示画面を介してタッチパネル形式で入力する、携行可能な操作指示装置と、を備えるＡＶ機器の操作制御システムであって、前記被操作装置は、前記被操作装置を操作するメニューの映像、及び前記メニューの各操作対象の位置及び操作内容に関するメタ情報を動的に作成して、前記操作装置に送信し、前記操作装置は、受信したメニューの映像を前記第１の表示装置及び前記操作指示装置に送信し、前記操作指示装置から、前記操作信号を前記第２の表示画面上の位置情報として受信し、前記被操作装置から受信した前記メタ情報と、前記操作指示装置から受信した前記操作信号と、に基づいて、選択された操作対象を識別し、選択された操作対象の操作内容に従って操作を行い、操作結果を前記被操作装置に送信し、前記被操作装置は、受信した操作結果に応じて、自装置の制御を行うことを特徴とする。
【発明を実施するための最良の形態】
【００１０】
以下、本発明の実施の形態を図面を用いて説明する。
【００１１】
＜操作制御システムの概念＞
（タッチパネルＵＩユニット）
図１は、本発明の実施の形態に係るＡＶ機器の操作制御システム（以下、操作制御システムという）１００の概略構成図である。操作制御システム１００は、大型のディスプレイを有する大画面ＴＶユニット１、小型のディスプレイを有し、ユーザが携行可能なタッチパネルユーザインターフェースユニット（以下、タッチパネルＵＩユニットという）２、及び大画面ＴＶユニット１に接続された複数のＡＶ機器３ａ、３ｂ、…、３ｎ（例えば、ＤＶＤレコーダやＡＶアンプなど。以下、接続されたＡＶ機器を総称するときはＡＶ機器３と表記する）を備えている。ここで、大画面ＴＶユニット１に表示される映像と、タッチパネルＵＩユニット２に表示される映像は同じであり、例えば、大画面ＴＶユニット１にＤＶＤレコーダ３ａで再生されている映像コンテンツが表示されているときは、タッチパネルＵＩユニット２にも同一の映像コンテンツが表示され、また、大画面ＴＶユニット１にＤＶＤレコーダ３ａの操作メニューが表示されているときは、タッチパネルＵＩユニット２にも同一の操作メニューが表示されている。このため、操作制御システム１００においては、ユーザは、映像コンテンツを視聴するときは、大画面ユニット１の大画面を見、ＡＶ機器３の操作を行うときは、携行するタッチパネルＵＩユニット２の画面を見るというような使い方ができる。なお、大画面ＴＶユニット１とタッチパネルＵＩユニット２は、無線で相互に通信可能な構成となっている。
【００１２】
大画面ＴＶユニット１は、大画面ディスプレイであるＰＤＰ（Plasma Display Panel）パネル１１と、チューナやメディアレシーバの機能を有するＰＤＰコントローラ１２と、から構成されている。なお、本実施の形態においては、大画面ＴＶユニット１として、プラズマＴＶを採用したが、これに限定されず、他の種類の大画面ＴＶでもよく、例えば、液晶ＴＶやブラウン管ＴＶなどでもよい。また、ＰＤＰパネル１１とＰＤＰコントローラ１２は、物理的に一体化された装置であっても、物理的に分離され、筐体が異なる装置のいずれであってもよい。
【００１３】
ＰＤＰコントローラ１２は、大画面ＴＶユニット１自身の操作メニュー画像や接続されたＡＶ機器３の操作メニュー画像をＰＤＰパネル１１に表示するとともに、タッチパネルＵＩユニット２にも同一画像を送信するようになっている。なお、タッチパネルＵＩユニット２には、画面の大きさに合わせて解像度を下げた画像が送信されるため、ＰＤＰコントローラ１２は、画像解像度を調整する機能も有する。また、ＰＤＰコントローラ１２は、タッチパネルＵＩユニット２から送信されたタッチパネル信号（ユーザがタッチパネル画面上のどの位置に触れたかを示す位置情報）を受け取って、表示された操作メニューの中の選択された項目を判断し、選択された項目の操作を行い、操作結果をＡＶ機器３に送信するようになっている。この結果、ＡＶ機器３は操作結果に従って、自装置を操作制御することができる。なお、ＰＤＰコントローラ１２とＡＶ機器３との間で行われるデータのやりとりに関しては、後述する。
【００１４】
タッチパネルＵＩユニット２は、タッチパネル機能を有する入出力装置であり、ＰＤＰコントローラ１２から送信されてきた映像をそのまま表示し、ユーザの操作により入力されたタッチパネル信号をそのままＰＤＰコントローラ１２に送信するようになっている。また、送信される映像が圧縮・暗号化されているので、その復号処理も行う。なお、本実施の形態においては、大画面ＴＶユニット１とタッチパネルＵＩユニット２は無線で接続される形態であったが、これに限定されず、有線で接続される形態であってもよい。
【００１５】
このように操作制御システム１００においては、大画面ＴＶユニット１のディスプレイに直接、タッチパネルインターフェースを取り入れるのではなく、携行可能な小型のタッチパネルＵＩユニット２にタッチパネルインターフェースを取り入れて、大画面ＴＶユニット１に表示される映像と同一の映像をタッチパネルＵＩユニット２に表示するので、大画面ディスプレイを備えたＡＶシステムであっても、ユーザはタッチパネルを使うことができ、ＡＶ機器の操作を簡単とすることができる。
【００１６】
（大画面ＴＶユニットとＡＶ機器のデータのやりとり）
次に、上述したタッチパネルＵＩユニット２を介したタッチパネル信号をＡＶ機器３が理解する仕組みについて説明する。
【００１７】
本実施の形態における大画面ＴＶユニット１とＡＶ機器３とのデータのやりとりは、図２に示すように、操作される機器がサーバ（本実施の形態では、ＡＶ機器３が相当する）となり、操作する機器（本実施の形態では、大画面ＴＶユニット１のＰＤＰコントローラ１２が相当する）がクライアントとなった、Ｗｅｂサーバ・クライアント方式を採用する。Ｗｅｂサーバ・クライアント方式では、サーバ１がコンテンツのメタデータをクライアント３に送信し、クライアント１は、サーバ３から送信されたメタデータを解釈して、操作メニュー映像を作成し、ＰＤＰパネル１１及びタッチパネルＵＩユニット２にメニュー映像を表示する。また、クライアント１は、タッチパネルＵＩユニット２から受信したタッチパネル信号に基づいて操作を行い、操作結果をオブジェクト操作信号としてサーバ３に送信するようになっている。その結果、操作制御システム１００においては、ＡＶアンプなどビデオ回路（ビデオ出力）を有しないＡＶ機器３であっても、タッチパネルインターフェースを用いて、ＡＶ機器３の操作を制御することができる。
【００１８】
一方、図３は、Ｗｅｂサーバ・クライアント方式とは異なるリモート操作方式を説明するための図である。リモート操作方式では、タッチパネルＵＩユニット２に入力されたタッチパネル信号を、操作される機器（ＡＶ機器３）が理解する必要があるため、背景技術欄で述べたように以下のような問題点がある。すなわち、一般のＡＶ機器（例えば、ＤＶＤレコーダ）では、タッチパネルインターフェースを使うことができないし、ＡＶアンプなどのＡＶ機器は、ビデオ回路を持っていないので、タッチパネルインターフェースを用いたとしても、大画面のディスプレイに操作メニューの画像を表示することができないという問題点である。従って、本実施の形態の操作制御システム１００においては、このリモート操作方式を採用していない。
【００１９】
ところで、ビデオ回路（ビデオ出力）を有するＢＤ（Blu-ray Disc）プレーヤやＤＶＤプレーヤにおいては、独自のナビゲーション機能やＪａｖａ（登録商標）プログラム実行機能を備えていたり、映像データがコピープロテクションのために暗号化されていることがある。このような場合には、クライアント１は、上述したナビゲーション機能、Ｊａｖａ（登録商標）プログラム実行機能、及びコピープロテクションの暗号を解読できる機能がないと、メニュー画像を表示することができない。すなわち、クライアント１には、サーバ３が有する独自機能を理解する機構が必要であるが、接続する各ＡＶ機器のすべてのこのような機能に対応するのは現実には困難である。そこで、本実施の形態の操作制御システム１００においては、上述したＷｅｂサーバ・クライアント方式を改良したＷｅｂサーバ・クライアント方式（以下、改良されたＷｅｂサーバ・クライアント方式という）を採用する。すなわち、ＡＶアンプなどビデオ出力を有しないＡＶ機器を操作可能とするためにＷｅｂサーバ・クライアント方式を採用するが、独自機能を有するＤＶＤプレーヤやＢＤプレーヤを操作可能とするために、ビデオ出力を有するＡＶ機器に対しては、新規な機構を追加する。
【００２０】
図４は、改良されたＷｅｂサーバ・クライアント方式を説明するための図である。改良されたＷｅｂサーバ・クライアント方式では、メニュー映像をクライアント１側で作成するのではなく、サーバ３側でリアルタイムに（所定の時間間隔ごと、例えば、０．４秒ごとなど、あるいは表示メニューの情報が更新されるごとに）メニュー映像（リアルタイム映像という）を作成し、作成したメニュー映像及びメニュー映像に関するメタデータ（詳しくは、メニューに表示される各オブジェクト（メニューボタン、ラジオボタン、セレクトリストなど）の画面上の位置に関する情報、及び各オブジェクトの操作内容（例えば、操作によりオン・オフの２値をとるなど）に関する情報を意味する。以降、リアルタイムメタデータという）を所定の時間間隔ごと、あるいは、表示メニューの情報が更新されるごとにクライアント１に送信するようになっている。本実施の形態では、サーバ３は、動的にメニュー映像及びメニュー映像に関するメタデータを作成して、送信するので、メニュー映像が変化しても、変化したメニュー映像に対応した操作制御が可能となっている。なお、上述したリアルタイムの時間間隔は、クライアント１がサーバ３にメタデータ（ＨＴＭＬ）の送信要求を出す間隔、クライアント１が受信したメタデータ（ＨＴＭＬ）を理解する時間、及び圧縮されたビデオデータのフレーム間隔等を加味して算出される。
【００２１】
クライアント１は、リアルタイム映像及びリアルタイムメタデータを受け取ると、メニューに表示される各オブジェクトの位置関係を把握できるので、タッチパネルＵＩユニット２から受信したタッチパネル信号（位置情報）と各オブジェクトの位置関係から、ユーザが選択したオブジェクトを判断でき、判断したオブジェクト（ユーザにより操作されたオブジェクト）の操作内容に従って、所望の操作を行い、操作結果をオブジェクト操作信号としてサーバ３に送信するようになっている。
【００２２】
このように改良されたＷｅｂサーバ・クライアント方式においては、操作メニューの映像はビデオ回路を有するサーバ１側で作成されるので、クライアント１は操作メニューの映像を作成する必要がない。また、クライアント１は操作メニューのオブジェクトの位置を把握して、受信したタッチパネル信号がいずれのオブジェクトに対する操作であるかを理解すればよいので、各サーバ３が有する独自機能を理解するための複雑な構成を採用する必要もない。そのため、改良されたＷｅｂサーバ・クライアント方式においては、クライアント１が実装する機能を軽減して単純化することができる。
【００２３】
図５は、改良されたＷｅｂサーバ・クライアント方式におけるクライアント１とサーバ３とのデータのやりとりを詳細に示す機能ブロック図である。ここでは、サーバ３はＤＶＤプレーヤであり、ＤＶＤに記録されたコンテンツのメニュー画面（例えば、複数のチャプタ項目を表示する）を表示し、ユーザがメニュー画面の中からいずれかの項目を選択した場合を想定して説明する。
【００２４】
一般的に、リッチコンテンツのナビゲーションシステムは非常に複雑であり、ＡＶ機器ごとに異なる仕様となっている。このようなナビゲーションシステムを単一のタッチパネルＵＩシステムで理解し操作させることは難しい。加えて、メニューも色々なフォントやイメージで作られ、再生コンテンツデータも色々なコーディング（圧縮、コピープロテクション）が使われるので、単一のタッチパネルＵＩシステムで扱いきれない。
【００２５】
これに対し、グラフィックユーザーインターフェース（ＧＵＩ）部分は、オブジェクト（ボタンなど）を選択する上下左右キーと、決定（Ｙｅｓ）キー、中止（Ｎｏ）キーの主に６つのキーと、ルートメニューや１つ前の画面に戻る補助キー、説明を表示させる説明キーなどでシンプルに作られている。本実施の形態では、この操作の部分だけをメタデータとして扱い、リアルタイムＨＴＭＬで抽象化して記述するものである。
【００２６】
まず、サーバ３は、図５に示すように、ＤＶＤに記録されたコンテンツをデコードし、メニュー画像をリアルタイムで作成し、クライアント１に送信する（リアルタイムビデオ）。一方、ナビゲーション機能により、メニュー画像に表示されるオブジェクト（ボタンなど）のメタデータをＨＴＭＬでリアルタイムに作成し、リアルタイムビデオと同期をとってクライアント１に送信する（リアルタイムＨＴＭＬ）。
【００２７】
クライアント１は、リアルタイムビデオを受信すると、ビデオプロセッサがメニュー画像をＰＤＰパネル１１に高解像度で出力表示するとともに、タッチパネルプロセッサがタッチパネルＵＩユニット２の解像度に合わせて、メニュー画像の解像度変換を行い、ワイヤレスアダプタを介して、低解像度のメニュー画像を無線でタッチパネルＵＩユニット２に送信する。
【００２８】
ユーザはタッチパネルＵＩユニット２に表示されたメニュー画像を見て、所望の項目を選択すると（例えば、チャプタ１を選択する）、タッチパネルＵＩユニット２は操作位置を示すタッチパネル信号をクライアント１に無線で送信するので、クライアント１はタッチパネル信号と、サーバ３から送信されたリアルタイムメタデータとからユーザが操作したオブジェクト（例えば、チャプタ１のボタン）を判断し、このオブジェクを操作し（例えば、チャプタ１のボタンをオンの状態にする）、オブジェクト操作結果（例えば、チャプタ１のボタンはオンの状態である）をサーバ３に送信する。
【００２９】
サーバ３は、クライアント１から送信されたオブジェクト操作結果に基づいて、自装置の操作制御を行う（チャプタ１のコンテンツを再生する）。
【００３０】
このように本実施の形態では、サーバ３はタッチパネルＵＩユニット（タッチパネル信号）を全く理解していないが、クライアント１がタッチパネル信号をオブジェクト操作信号に変換して、サーバ３に送信するので、タッチパネルＵＩユニット２を介した操作をサーバ３は理解することができる。また、クライアント１も、サーバ３の独自機能を理解することができなくても、サーバ３がリアルタイムでメニュー画像及びメタデータを送信しているので、これらの情報とタッチパネル信号から、操作対象のオブジェクトを判断でき、選択されたオブジェクトに対する操作を実行することができる。
【００３１】
図６は、図５のデータのやりとりを具体的なメニュー画面（４つの選択ボタンが表示されたメニュー画面）を例に挙げて説明する図である。図６に示すように、サーバ３で作成されたメニュー画面のメタデータ（ボタン１〜４の位置情報、及び操作情報）は、リアルタイムＨＴＭＬとして、クライアント１に送信される。また、サーバ３で作成されたメニュー映像は、リアルタイムビデオとして、クライアント１に送信される。この結果、メニュー映像はＰＤＰパネル１１に表示されるとともに、タッチパネルＵＩユニット２に表示される。なお、タッチパネルＵＩユニット２に表示されるメニュー映像は、画像解像度の調整をした画像（低解像度の画像）であり、また、ズームやスクロール機能を有する画像となっている。これは、タッチパネルＵＩユニット２の画面がＰＤＰパネル１１の画面の大きさに比べて小さいため、小さな画面用に付加的な機能を加えたものである。すなわち、小さな画面においては、ボタン等のオブジェクトの数が多いときは、画像がつぶれて各オブジェクトを識別できない等の欠点があるので、ズーム機能やスクロール機能を備えて、ユーザのタッチパネルＵＩユニット２に対する操作性を向上させるものである。また、タッチパネルＵＩユニット２に表示されるメニューには、接続されている他のＡＶ機器３の選択も可能とするボタン等のオブジェクトも付加されている。
【００３２】
＜実施例＞
次に、上述した特徴を有する操作制御システム１００の一実施例について説明する。
【００３３】
（構成）
図７は、大画面ＴＶユニット１、タッチパネルＵＩユニット２、及びＡＶ機器３としてＤＶＤプレーヤ３ｃ及びスピーカ３ｄを備えた操作制御システム１００Ａの概略構成図、図９は、大画面ＴＶユニット１の機能ブロック図、図１０は、タッチパネルＵＩユニット２の機能ブロック図である。
【００３４】
大画面ＴＶユニット１は、図７及び図８に示すように、ＰＤＰパネル１１とＰＤＰコントローラ１２とから構成されている。ここで、ＰＤＰパネル１１は、適正な視聴位置にいるユーザの手がＰＤＰパネル１１に達しないような画面の大きさを有しており、好ましくは、３ｍ以上の距離を離して視聴する４２インチ以上の画面を有するのがよい。ＰＤＰコントローラ１２のビデオ・オーディオデータデコーダー１２１は、ＤＶＤプレーヤ３ｃから出力されたビデオ・オーディオデータを受け取って、信号処理をして、ＨＤ（Hi Definition）画像を生成し、ＰＤＰ信号発生器１２２を介して、ＨＤ画像をＰＤＰパネル１１に表示出力する。これに対して、ＵＩユニット画像発生器１２３は、ＨＤ画像をＱＶＧＡ（Quarter Video Graphics Array）圧縮画像に変換し、ＱＶＧＡ圧縮画像を無線ＬＡＮアダプター４を介して、タッチパネルＵＩユニット２に送信する。なお、オーディオデータは、スピーカアンプ１２４を介してスピーカ３ｄに出力される。
【００３５】
タッチパネルＵＩユニット２は、図９に示すように、７インチ（４８０×２４０ドット）ＬＣＤディスプレイ２１にタッチパネル２２を装着した入出力装置を有する。データプロセッサ２４は、ＰＤＰコントローラ１２から送信されたビデオ・オーディオデータを無線ＬＡＮユニット２３を介して受け取り、ビデオ・オーディオデータのデータ圧縮を解いて、生成した映像データをＬＣＤ信号発生器２５を介して、７インチＬＣＤパネル２１に表示する。なお、データプロセッサ２４により生成された音声データは、ヘッドホンアンプ２６を介してヘッドホンに出力される。また、タッチパネルコントローラ２７は、タッタパネル２６からタッチパネル信号を受け取り、データプロセッサ２４及び無線ＬＡＮユニット２３を介して、タッチパネル信号をＰＤＰコントローラ１２に送信する。
【００３６】
（動作）
図１０は、操作制御システム１００Ａの動作を示すシーケンス図であり、ＤＶＤプレーヤ３ｃにＤＶＤを挿入してからコンテンツを再生するまでの各装置における処理を示している。
【００３７】
まず、ユーザがＤＶＤプレーヤ３ｃにＤＶＤ（例えば、映画コンテンツが記録されたＤＶＤ）を挿入すると（ステップＳ１０）、ＤＶＤプレーヤ３ｃは、ＤＶＤを読み取って、メニュー画像（リアルタイム映像）及びメニューの内容を示すメタデータ（リアルタイムメタデータ）を作成し、ＰＤＰコントローラ１２に送信する（ステップＳ２０）。
【００３８】
次いで、ＰＤＰコントローラ１２は、ＤＶＤプレーヤ３ｃから受信したメニュー画像に従って、高解像度のメニュー画面を作成し、ＰＤＰパネル１１に送信し（ステップＳ３０）、また、低解像度のメニュー画面を作成し、タッチパネルＵＩユニット２に送信する（ステップＳ４０）。この結果、ＰＤＰパネル１１及びタッチパネルＵＩユニット２には、メニュー画面が表示される（ステップＳ５０，Ｓ６０）。
【００３９】
次いで、ユーザは大画面ＴＶユニット１からタッチパネルＵＩユニット２に視線を移して、タッチパネルＵＩユニット２に表示されたメニューを見て、メニュー項目のいずれかをタッチパネルに触れることで選択する（ステップＳ７０）。これにより、タッチパネルＵＩユニット２は、タッチパネル信号（触れた位置を示す位置情報）をＰＤＰコントローラ１２に送信する（ステップＳ８０）。
【００４０】
次いで、ＰＤＰコントローラ１２は、ＤＶＤプレーヤ３ｃから受け取ったメタデータとタッチパネルＵＩユニット２から受け取ったタッチパネル信号とを比較して、ユーザが選択したメニュー項目が何であるかを判断し（ステップＳ９０）、判断の結果、ユーザにより選択されたメニュー項目をＤＶＤプレーヤ３ｃに通知する（ステップＳ１００）。
【００４１】
ＤＶＤプレーヤ３ｃは、ユーザにより選択されたメニュー項目を受け取ると、当該メニュー項目に該当するコンテンツの再生を行う（ステップＳ１１０）。この結果、コテンツ再生が開始されるので、ユーザは視線をタッチパネルＵＩユニット２からＰＤＰパネル１１に移して、ＤＶＤの映像を鑑賞する。
【００４２】
以上、述べたように本実施の形態の操作制御システム１００によれば、大画面ディスプレイを備えたＡＶシステムにおいて、タッチパネルのような直感的に操作方法を理解させるユーザインターフェースを用いて、接続される装置がどのような種類のＡＶ機器であっても簡単に操作することができる。すなわち、ＰＤＰコントローラ１２とＡＶ機器３との間の操作制御方式としてＷｅｂサーバ・クライアント方式を採用しているので、ＡＶアンプなどビデオ回路（ビデオ出力）を有しないＡＶ機器３であっても、ＰＤＰコントローラ１２はタッチパネルインターフェースを用いて、ＡＶ機器３の操作を制御することができる。また、独自機能を有するＤＶＤプレーヤやＢＤプレーヤなどのビデオ回路（ビデオ出力）を有するＡＶ機器３に対しては、改良されたＷｅｂサーバ・クライアント方式を採用し、ＡＶ機器（サーバ）３は、操作メニューに関するリアルタイム映像及び操作メニューに関するリアルタイムメタデータを作成して、ＰＤＰコントローラ（クライアント）１に送信し、ＰＤＰコントローラ（クライアント）１は、受信したリアルタイムメタデータ及びタッチパネルＵＩユニット２からのタッチパネル信号に基づいて、選択されたオブジェクト及び操作内容を把握し、タッチパネル信号をオブジェクト操作信号に変換して、ＡＶ機器（サーバ）３に送信するので、ＡＶ機器３の操作を制御することができる。
【００４３】
以上、本発明の実施の形態について説明してきたが、本発明の要旨を逸脱しない範囲において、本発明の実施の形態に対して種々の変形や変更を施すことができる。
【００４４】
例えば、過去に使用した機能（過去に選択されたメニュー項目）をクライアント１が履歴データとして記憶しておき、記憶した履歴データを一覧表示する操作履歴メニューを作成し（操作履歴メニューの映像及びメタデータ）、当該操作履歴メニューの中から検索又は選択をするようにして、ＡＶ機器３の操作を行うようにしてもよい。過去に選択した機能を容易にユーザが選択できるようにしたものである。特に、複数の階層に亘ってメニューが構成されているような場合には、複数の階層を遷移することなく、所望のメニュー項目を選択することができる。
【００４５】
また、上記実施の形態の操作制御システム１００においては、ユーザが操作指示を行う入出力装置（操作指示装置という）として、タッチパネルＵＩユニット２を採用したが、操作指示装置はこれに限定されず、他の入出力装置であってもよい。例えば、（１）音声発話装置と音声認識装置、（２）点字ディスプレイとメカニカルボタンを操作指示装置としてもよい。上記実施形態の操作制御システム１００では、ＡＶ機器（サーバ）３がタッチパネル信号を理解していなくても、ＰＤＰコントローラ（クライアント）１２の機能により、ユーザはタッチパネルでＡＶ機器（サーバ）３を操作できた。同様にして、クライアント１が、例えば、（１）音声発話装置と音声認識装置、（２）点字ディスプレイとメカニカルボタンを理解でき、リアルタイムメタデータにこれらのオブジェクトに関するデータが含まれていれば、ユーザは上述した入出力装置を介してサーバ３を操作することができるからである。
【図面の簡単な説明】
【００４６】
【図１】本発明の実施の形態に係る操作制御システムの概略構成図である。
【図２】Ｗｅｂサーバ・クライアント方式を説明する図である。
【図３】リモート操作方式を説明する図である。
【図４】改良されたＷｅｂサーバ・クライアント方式を説明する図である。
【図５】本発明の実施の形態に係る操作制御システムの、改良されたＷｅｂサーバ・クライアント方式におけるクライアントとサーバとのデータのやりとりを詳細に示す機能ブロック図である。
【図６】図５に示すデータのやりとりを具体的なメニュー画面を用いて説明する図である。
【図７】本発明の実施の形態に係る操作制御システムの一例の構成図である。
【図８】図７の大画面ＴＶユニットの構成を詳しく示す図である。
【図９】図７のタッチパネルＵＩユニットの構成を詳しく示す図である。
【図１０】図７の操作制御システムの動作を示すシーケンス図である。
【符号の説明】
【００４７】
１  大画面ＴＶユニット（クライアント）
２  タッチパネルＵＩユニット
３  ＡＶ機器
１１  ＰＤＰパネル
１２  ＰＤＰコントローラ
１００，１００Ａ  ＡＶ機器の操作制御システム    
【図１】
2008312153.tif 000003
【図２】
2008312153.tif 000004
【図３】
2008312153.tif 000005
【図４】
2008312153.tif 000006
【図５】
2008312153.tif 000007
【図６】
2008312153.tif 000008
【図７】
2008312153.tif 000009
【図８】
2008312153.tif 000010
【図９】
2008312153.tif 000011
【図１０】
2008312153.tif 000012