(57)【特許請求の範囲】
【請求項１】
エンコードされたコンテンツデータであって、映像を表示するための第１データとユーザーによって操作可能なオブジェクトを表示するための第２データとを含むコンテンツデータを、外部電子機器に送信する送信手段と、
前記第２データをデコードするデコード手段と、
前記コンテンツデータを用いて前記映像と前記オブジェクトとが前記外部電子機器の画面に表示されているときに、前記オブジェクトに対するユーザー操作に応じて、前記デコードされた第２データを用いて、当該ユーザー操作に対応する処理を実行する操作処理手段とを具備する電子機器。
【請求項２】
前記デコードされた第２データを用いて、前記オブジェクトを前記電子機器の画面に表示する表示処理手段をさらに具備し、
前記送信手段は、前記電子機器の画面に表示されたオブジェクトに対する第１ユーザー操作に応じて、前記デコードされた第２データを用いて、当該第１ユーザー操作に対応する処理を実行する請求項１記載の電子機器。
【請求項３】
前記デコードされた第２データを用いて、前記オブジェクトを前記電子機器の画面に表示する表示処理手段をさらに具備し、
前記送信手段は、前記電子機器の画面に表示されたオブジェクトに対する第１ユーザー操作に応じて、当該第１ユーザー操作に対応する操作データを前記外部電子機器に送信する請求項１記載の電子機器。
【請求項４】
前記外部電子機器から、前記外部電子機器の画面に表示されたオブジェクトに対する第２ユーザー操作に対応する操作データを受信する受信手段をさらに具備し、
前記操作処理手段は、前記操作データと前記デコードされた第２データとを用いて、前記第２ユーザー操作に対応する処理を実行する請求項１記載の電子機器。
【請求項５】
前記操作データは、前記第２ユーザー操作が行われた、前記外部電子機器の画面上の座標を示す座標データを含み、
前記操作処理手段は、前記デコードされた第２データと前記座標データとを用いて、前記第２ユーザー操作に対応する処理を実行する請求項４記載の電子機器。
【請求項６】
前記操作データは、前記第２ユーザー操作が行われた、前記外部電子機器の画面上の座標を示す座標データと、前記ユーザー操作が行われたときの前記映像の再生位置を示す時刻データとを含み、
前記操作処理手段は、前記デコードされた第２データと前記座標データと前記時刻データとを用いて、前記ユーザー操作に対応する処理を実行する請求項４記載の電子機器。
【請求項７】
前記デコードされた第２データをエンコードするエンコード手段をさらに具備し、
前記送信手段は、さらに、前記第１データと前記エンコードされた第２データとを前記外部電子機器に送信する請求項１記載の電子機器。
【請求項８】
前記送信手段は、さらに、前記第１データと前記デコードされた第２データとを前記外部電子機器に送信する請求項１記載の電子機器。
【請求項９】
前記デコード手段は、前記第１データと前記第２データとをデコードし、
前記デコードされた第１データと前記デコードされた第２データとを用いて、前記映像と前記オブジェクトとを前記電子機器の画面に表示する表示処理手段をさらに具備する請求項１記載の電子機器。
【請求項１０】
前記デコードされた第２データの少なくとも一部と、当該デコードされた第２データの少なくとも一部に関連する、前記第１データの少なくとも一部とを保存する保存処理手段をさらに具備する請求項１記載の電子機器。
【請求項１１】
前記送信手段は、前記電子機器と前記外部電子機器の間で確立された無線接続を介して、前記コンテンツデータを前記外部電子機器に送信する請求項１記載の電子機器。
【請求項１２】
前記第１データと前記デコードされた第２データとは、前記第１データと前記デコードされた第２データとを同期させるための同期データを含む請求項１記載の電子機器。
【請求項１３】
前記送信手段は、前記オブジェクトに対する、音声によるユーザー操作に応じて、当該ユーザー操作を示す操作データを前記外部電子機器に送信する請求項１記載の電子機器。
【請求項１４】
エンコードされたコンテンツデータであって、映像を表示するための第１データとユーザーによって操作可能なオブジェクトを表示するための第２データとを含むコンテンツデータを、外部電子機器に送信し、
前記第２データをデコードし、
前記コンテンツデータを用いて前記映像と前記オブジェクトとが前記外部電子機器の画面に表示されているときに、前記オブジェクトに対するユーザー操作に応じて、前記デコードされた第２データを用いて、当該ユーザー操作に対応する処理を実行する通信制御方法。
【請求項１５】
コンピュータにより実行されるプログラムであって、前記プログラムは、
エンコードされたコンテンツデータであって、映像を表示するための第１データとユーザーによって操作可能なオブジェクトを表示するための第２データとを含むコンテンツデータを、外部電子機器に送信する手順と、
前記第２データをデコードする手順と
前記コンテンツデータを用いて前記映像と前記オブジェクトとが前記外部電子機器の画面に表示されているときに、前記オブジェクトに対するユーザー操作に応じて、前記デコードされた第２データを用いて、当該ユーザー操作に対応する処理を実行する手順とを前記コンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、コンテンツデータを伝送する電子機器、および該機器に適用される通信制御方法に関する。
【背景技術】
【０００２】
アクセスポイントを介することなく２つのデバイスを無線接続するＷｉ−Ｆｉ  Ｄｉｒｅｃｔが利用されている。このＷｉ−Ｆｉ  Ｄｉｒｅｃｔを用いた技術として、無線接続されたデバイス間で、コンテンツのシームレスな表示を提供する技術（Ｗｉ−Ｆｉ  Ｄｉｓｐｌａｙ）がある。これにより、ソースデバイス上のコンテンツの視聴が要求された場合に、そのコンテンツをシンク機器の画面に表示することができるので、ユーザーは、例えば、スマートフォンやタブレットコンピュータ（ソース機器）の画面のような小さな画面に表示される映像を、テレビジョン受信機（シンク機器）の画面のようなより大きな画面で視聴することができる。この方式では、ソース機器で画面表示するため、符号化されているオリジナルコンテンツを一旦デコードし、表示後、再エンコードした後、シンク機器に伝送している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】国際公開第２０１０／０７９７９０号パンフレット
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記のように再エンコードすると、画質劣化の恐れがある。そこで、本出願の発明者は、コンテンツをデコードせずにそのままシンク機器に送り、シンク機器側で全体をデコードする方法を考えている。この技術の場合、デコードと再エンコードを行わないので、オリジナルのコンテンツ品質を維持できるという利点がある。【０００５】
ところで、コンテンツは、映像や音声だけでなく、メニューやボタンのような、ユーザーによって操作可能なオブジェクトを含むことがある。しかし、デコードせずシンクへ送る方式では、シンク機器の画面にオブジェクトが表示される場合に、そのオブジェクトに対するユーザー操作を適切に処理できない場合があるという課題があった。【０００６】
本発明は、機器間でコンテンツをシームレスに表示する場合に、コンテンツ内のオブジェクトに対する操作を適切に処理できる電子機器および通信制御方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
実施形態によれば、電子機器は、送信手段、デコード手段および操作処理手段を具備する。送信手段は、エンコードされたコンテンツデータであって、映像を表示するための第１データとユーザーによって操作可能なオブジェクトを表示するための第２データとを含むコンテンツデータを、外部電子機器に送信する。デコード手段は、前記第２データをデコードする。操作処理手段は、前記コンテンツデータを用いて前記映像と前記オブジェクトとが前記外部電子機器の画面に表示されているときに、前記オブジェクトに対するユーザー操作に応じて、前記デコードされた第２データを用いて、当該ユーザー操作に対応する処理を実行する。
【図面の簡単な説明】
【０００８】
【図１】図１は、実施形態に係る電子機器の外観の例を示す斜視図である。
【図２】図２は、同実施形態の電子機器のシステム構成の例を示すブロック図である。
【図３】図３は、トランスコーディング方式によるコンテンツの伝送を説明するための図である。
【図４】図４は、ノントランスコーディング方式によるコンテンツの伝送を説明するための図である。
【図５】図５は、同実施形態の電子機器によって伝送されるコンテンツの構成の例を示す図である。
【図６】図６は、図３のトランスコーディング方式でコンテンツが伝送された場合に、ユーザー操作が処理される例を説明するための図である。
【図７】図７は、図４のノントランスコーディング方式でコンテンツが伝送された場合に、ユーザー操作が処理できない例を説明するための図である。
【図８】図８は、同実施形態の電子機器によって、ハイブリッドトランスコーディング方式でコンテンツが伝送される例を説明するための図である。
【図９】図９は、同実施形態の電子機器によって、ハイブリッドトランスコーディング方式でコンテンツが伝送される別の例を説明するための図である。
【図１０】図１０は、同実施形態の電子機器によって、ハイブリッドトランスコーディング方式でコンテンツが伝送されるさらに別の例を説明するための図である。
【図１１】図１１は、同実施形態の電子機器によって実行されるコンテンツ伝送プログラムの機能構成を示すブロック図である。
【図１２】図１２は、図１１のコンテンツ伝送プログラムに設けられるコンテンツ処理部の構成の第１の例を示すブロック図である。
【図１３】図１３は、図１１のコンテンツ伝送プログラムに設けられるコンテンツ処理部の機能構成の第２の例を示すブロック図である。
【図１４】図１４は、図１１のコンテンツ伝送プログラムに設けられるコンテンツ処理部の機能構成の第３の例を示すブロック図である。
【図１５】図１５は、図１１のコンテンツ伝送プログラムに設けられるコンテンツ処理部の機能構成の第４の例を示すブロック図である。
【図１６】図１６は、図１１のコンテンツ伝送プログラムに設けられるコンテンツ処理部の構成の第５の例を示すブロック図である。
【図１７】図１７は、同実施形態の電子機器（ソース機器）によって実行されるコンテンツ送信処理の手順の第１の例を示すフローチャートである。
【図１８】図１８は、同実施形態の電子機器からコンテンツを受信する外部電子機器（シンク機器）によって実行されるコンテンツ表示処理の手順の第１の例を示すフローチャートである。
【図１９】図１９は、同実施形態の電子機器（ソース機器）によって実行されるコンテンツ送信処理の手順の第２の例を示すフローチャートである。
【図２０】図２０は、同実施形態の電子機器からコンテンツを受信する外部電子機器（シンク機器）によって実行されるコンテンツ表示処理の手順の第２の例を示すフローチャートである。
【図２１】図２１は、同実施形態の電子機器（ソース機器）によって実行されるコンテンツ送信処理の手順の第３の例を示すフローチャートである。
【図２２】図２２は、同実施形態の電子機器からコンテンツを受信する外部電子機器（シンク機器）によって実行されるコンテンツ表示処理の手順の第３の例を示すフローチャートである。
【図２３】図２３は、同実施形態の電子機器（ソース機器）によって実行されるコンテンツ送信処理の手順の第４の例を示すフローチャートである。
【図２４】図２４は、同実施形態の電子機器（ソース機器）と外部電子機器（シンク機器）とによって実行されるユーザー操作処理の手順の第１の例を示すフローチャートである。
【図２５】図２５は、同実施形態の電子機器（ソース機器）と外部電子機器（シンク機器）とによって実行されるユーザー操作処理の手順の第２の例を示すフローチャートである。
【図２６】図２６は、同実施形態の電子機器（ソース機器）と外部電子機器（シンク機器）とによって実行されるユーザー操作処理の手順の第３の例を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下、実施の形態について図面を参照して説明する。  
図１は、一実施形態に係る電子機器の外観を示す斜視図である。この電子機器は、タブレットコンピュータ、ノートブック型パーソナルコンピュータ、スマートフォン、ＰＤＡ、またはデジタルカメラのような各種電子機器に内蔵される組み込みシステムとして実現され得る。以下では、この電子機器がタブレットコンピュータ１０として実現されている場合を想定する。タブレットコンピュータ１０は、タブレットまたはスレートコンピュータとも称される携帯型電子機器であり、図１に示すように、本体１１とタッチスクリーンディスプレイ１７とを備える。タッチスクリーンディスプレイ１７は、本体１１の上面に重ね合わせるように取り付けられている。
【００１０】
本体１１は、薄い箱形の筐体を有している。タッチスクリーンディスプレイ１７には、フラットパネルディスプレイと、フラットパネルディスプレイの画面上のペンまたは指の接触位置を検出するように構成されたセンサとが組み込まれている。フラットパネルディスプレイは、例えば、液晶表示装置（ＬＣＤ）であってもよい。センサとしては、例えば、静電容量方式のタッチパネル、電磁誘導方式のデジタイザなどを使用することができる。
【００１１】
図２は、タブレットコンピュータ１０のシステム構成を示す図である。  
タブレットコンピュータ１０は、図２に示されるように、ＣＰＵ１０１、システムコントローラ１０２、主メモリ１０３、グラフィクスコントローラ１０４、ＢＩＯＳ−ＲＯＭ１０５、不揮発性メモリ１０６、無線通信デバイス１０７、エンベデッドコントローラ（ＥＣ）１０８、サウンドコントローラ１０９、等を備える。
【００１２】
ＣＰＵ１０１は、タブレットコンピュータ１０内の各種コンポーネントの動作を制御するプロセッサである。ＣＰＵ１０１は、ストレージデバイスである不揮発性メモリ１０６から主メモリ１０３にロードされる各種ソフトウェアを実行する。これらソフトウェアには、オペレーティングシステム（ＯＳ）１０３Ａ、および各種アプリケーションプログラムが含まれている。アプリケーションプログラムには、コンテンツ伝送プログラム１０３Ｂが含まれている。このコンテンツ伝送プログラム１０３Ｂは、本タブレットコンピュータ１０をソース機器として、コンテンツを外部電子機器（シンク機器）の画面にシームレスに表示するためのコンテンツデータ伝送表示機能等を有する。
【００１３】
また、ＣＰＵ１０１は、ＢＩＯＳ−ＲＯＭ１０５に格納された基本入出力システム（ＢＩＯＳ）も実行する。ＢＩＯＳは、ハードウェア制御のためのプログラムである。
【００１４】
システムコントローラ１０２は、ＣＰＵ１０１のローカルバスと各種コンポーネントとの間を接続するデバイスである。システムコントローラ１０２には、主メモリ１０３をアクセス制御するメモリコントローラも内蔵されている。また、システムコントローラ１０２は、ＰＣＩ  ＥＸＰＲＥＳＳ規格のシリアルバスなどを介してグラフィクスコントローラ１０４との通信を実行する機能も有している。
【００１５】
グラフィクスコントローラ１０４は、本タブレットコンピュータ１０のディスプレイモニタとして使用されるＬＣＤ１７Ａを制御する表示コントローラである。このグラフィクスコントローラ１０４によって生成される表示信号はＬＣＤ１７Ａに送られる。ＬＣＤ１７Ａは、表示信号に基づいて画面イメージを表示する。このＬＣＤ１７Ａ上にはタッチパネル１７Ｂが配置されている。
【００１６】
システムコントローラ１０２は、サウンドコントローラ１０９との通信を実行する機能も有している。サウンドコントローラ１０９は音源デバイスであり、再生対象のオーディオデータをスピーカー１３等に出力する。また、サウンドコントローラ１０９は、マイク１２によって検出された音声のデータをシステムコントローラ１０２に出力する。
【００１７】
無線通信デバイス１０７は、例えば、ＩＥＥＥ  ８０２．１１ｎおよびＷｉ−Ｆｉ  Ｄｉｒｅｃｔに基づく通信を実行するように構成されるデバイスである。この無線通信デバイス１０７は、アクセスポイントなしにデバイス間の無線接続を確立することができる。なお、無線通信デバイス１０７は、無線ＬＡＮまたは３Ｇ移動通信などの無線通信を実行するように構成されるデバイスであってもよく、また有線ＬＡＮのような有線通信を実行するように構成されるデバイスであってもよい。
【００１８】
ＥＣ１０８は、電力管理のためのエンベデッドコントローラを含むワンチップマイクロコンピュータである。ＥＣ１０８は、ユーザーによるパワーボタンの操作に応じて本タブレットコンピュータ１０を電源オンまたは電源オフする機能を有している。
【００１９】
上述したように、本タブレットコンピュータ１０は、接続された外部電子機器に、コンテンツをシームレスに表示する機能を有する。この機能は、例えば、アクセスポイントを介することなく２つのデバイスを無線接続するＷｉ−Ｆｉ  Ｄｉｒｅｃｔを用いて、無線接続されたデバイス間で、コンテンツのシームレスな表示を提供する技術（Ｗｉ−Ｆｉ  Ｄｉｓｐｌａｙ）を利用して実現される。この機能により、タブレットコンピュータ１０（以下、ソース機器とも称する）上のコンテンツの視聴が要求されるときに、そのコンテンツ（映像、画像、音声）を、外部電子機器（以下、シンク機器とも称する）のディスプレイやスピーカーに出力することができるので、ユーザーは、例えば、タブレットコンピュータ１０の画面のような小さな画面に表示される映像を、テレビジョン受信機の画面のようなより大きな画面で視聴することができる。
【００２０】
この機器間のコンテンツの伝送には、例えば、トランスコーディング（transcoding）方式が用いられるが、オリジナルコンテンツのコーデックをシンク機器側がデコードできる場合には、ノントランスコーディング（non-transcoding）方式による伝送を利用する可能性もある。
【００２１】
図３に示すように、トランスコーディング方式による伝送では、ソース機器１０は、コンテンツデータをシンク機器２０がデコード可能なコーデック（例えば、映像データではＨ．２６４）にトランスコードし、トランスコードされたコンテンツデータをシンク機器２０に送信する。すなわち、ソース機器１０のデコーダ１５がコンテンツデータをデコードし、エンコーダ１６がデコードされたコンテンツデータを再エンコードし、再エンコードされたコンテンツデータをシンク機器２０に送信する。なお、エンコーダ１６は、画面に表示されるコンテンツの画像をキャプチャーし、そのキャプチャーされた画像をエンコード（再エンコード）してもよい。また、ソース機器１０は、デコードされたコンテンツデータを用いて、ソース機器１０の画面にコンテンツ（映像）１７１を表示する。
【００２２】
一方、シンク機器２０は、ソース機器１０から、例えばＭＰＥＧ−２  ＴＳコンテナで、トランスコードされたコンテンツデータを受信し、デコーダ２５でデコードし、シンク機器２０の画面にコンテンツ（映像）２０１を表示する。
【００２３】
このように、トランスコーディング方式による伝送では、トランスコードされたコンテンツデータがシンク機器２０に送信されるので、オリジナルのコンテンツデータのコーデックに関わらず、コンテンツ２０１をシンク機器２０の画面に表示することができる。しかし、トランスコーディング方式による伝送では、トランスコード（再エンコード）によって画質が劣化する可能性がある。さらに、ソース機器１０からシンク機器２０へコンテンツを少ない遅延量で伝送するためには、ソース機器１０に設けられるエンコーダ１６は、コンテンツデータをリアルタイムでエンコードできるリアルタイムエンコーダである必要があり、その分の消費電力量が増大する。
【００２４】
一方、図４に示すように、ノントランスコーディング方式による伝送では、ソース機器１０は、オリジナルのコンテンツデータをそのままシンク機器２０に送信する。シンク機器２０では、デコーダ２５でこのオリジナルのコンテンツデータをデコードし、シンク機器２０の画面にコンテンツ（映像）２０１を表示する。ソース機器１０ではコンテンツデータがトランスコードされていないので（すなわち、デコードおよびエンコードされていないので）、ソース機器１０の画面にコンテンツは表示されていない。
【００２５】
このように、ノントランスコーディング方式による伝送では、シンク機器２０の画面に、オリジナルの画質で映像を表示することができる。また、ソース機器１０で、コンテンツデータをデコードおよびエンコードしないので、消費電力を小さくでき、また高性能なリアルタイムエンコーダ（サイズが大きい画像をリアルタイムに処理可能なエンコーダ）が不要である。しかし、ノントランスコーディング方式による伝送では、シンク機器２０が、オリジナルのコンテンツデータをデコードできること、すなわち、オリジナルのコンテンツデータのコーデックに対応していることが必要である。
【００２６】
また、コンテンツデータは、映像や音声のデータだけでなく、メニューやボタンのような、ユーザーによって操作可能なオブジェクト（すなわち、インタラクティブなオブジェクト）のデータを含むことがある。
【００２７】
図５は、複数の画像プレーン（レイヤ）６１，６２，６３を有するコンテンツの例を示す。メインムービープレーン６１はコンテンツ内の映像および音声に対応する。メインムービープレーン６１に対応するデータは、コンテンツ内で最大のデータサイズを有し、例えば、画像サイズ（画角）が大きくなるほど、エンコードに要するリソースが増大する。このメインムービープレーン６１に対応するデータは、オーディオ／ビデオストリームとも称する。
【００２８】
プレゼンテーションプレーン６２は字幕のような情報に対応する。プレゼンテーションプレーン６２に対応するデータのデータサイズは、通常、ごく小さいものである。また、インタラクティブプレーン６３は、ユーザー操作の対象となるオブジェクトに対応し、例えばボタンとして画面に配置される。なお、プレゼンテーションプレーン６２、インタラクティブプレーン６３等の、メインムービープレーン６１以外に対応するデータは、制御ストリームとも称する。
【００２９】
これら複数の画像プレーン６１，６２，６３は、重ね合わせられ、１つの画像６５として画面に表示される。このような複数の画像プレーン６１，６２，６３によって、例えば、映像、字幕、ボタン等をそれぞれ独立して制御できるので、コンテンツに互換性を持たせ、コンテンツの利用のための実装を容易にすることができる。
【００３０】
図６および図７を参照して、コンテンツがボタンのような操作対象のオブジェクト（インタラクティブプレーン）を含む場合の、トランスコーディング方式による伝送とノントランスコーディング方式による伝送とを説明する。このコンテンツは、例えば、いわゆる４Ｋと称される、ハイビジョンの４倍の画素数を有する高画質な映像のＡＶコンテンツである。
【００３１】
図６に示す例では、図３を参照して上述したように、トランスコーディング方式による伝送において、ソース機器１０のデコーダ１５およびエンコーダ１６によってトランスコードされたコンテンツデータが、シンク機器２０に送信されている。そして、ソース機器１０の画面には、コンテンツに含まれる映像（メインムービープレーン）１７１とボタン（インタラクティブプレーン）１７２とが表示されている。なお、カーソル１７３は、ポインティングデバイス等を用いて指示されるユーザー操作の位置を示す矢印の画像である。
【００３２】
シンク機器２０では、ソース機器１０から受信したコンテンツデータ（すなわち、トランスコードされたコンテンツデータ）がデコーダ２５によってデコードされ、シンク機器２０の画面に、コンテンツに含まれる映像（メインムービープレーン）２０１とボタン（インタラクティブプレーン）２０２とが表示されている。なお、シンク機器２０の画面には、ソース機器１０から送信されたカーソル１７３に関するデータに基づいて、ソース機器１０の画面上のカーソル１７３に対応するカーソル２０３を表示することもできる。
【００３３】
そして、シンク機器２０の画面にコンテンツが表示されているときに、シンク機器２０でコンテンツに対するユーザー操作が行われた場合（例えば、ボタン２０２を押す操作が行われた場合）には、シンク機器２０は、ユーザインプットバックチャネル（user input back channel：ＵＩＢＣ）機能を利用して、ユーザー操作に対応する座標情報２６をソース機器１０に送信する。ＵＩＢＣは、ユーザーによる入力に関するデータを送受信するために、機器間で確立される通信チャネルである。
【００３４】
ソース機器１０は、ＵＩＢＣで、シンク機器２０からユーザー操作に対応する座標情報２６を受信する。そして、ソース機器１０は、デコーダ１５によってデコードされたコンテンツデータを用いて、座標情報２６に対応するユーザー操作を認識し、そのユーザー操作に対応する操作処理１８を実行し、処理結果をシンク機器２０の画面に反映させることができる。つまり、ソース機器１０の画面とシンク機器２０の画面とに、ユーザー操作に基づく同一のコンテンツ（画像）を表示することができる。
【００３５】
また、ソース機器１０でコンテンツに対するユーザー操作が行われた場合（例えば、ボタン１７２を押す操作が行われた場合）にも、ソース機器１０は、デコーダ１５によってデコードされたコンテンツデータを用いて、そのユーザー操作に対応する操作処理１８を実行し、処理結果をシンク機器２０の画面に反映させることができる。
【００３６】
このように、ソース機器１０がコンテンツデータをデコードしているので、ソース機器１０は、ソース機器１０またはシンク機器２０でのユーザー操作に応じた処理を、少ない遅延量で実行することができる。そのため、ユーザーは、ソース機器１０からシンク機器２０に伝送され、表示されているコンテンツに対して、直感的な操作を行うことができる。
【００３７】
しかしながら、上述したように、トランスコーディング方式による伝送は、トランスコードによって画質が劣化する可能性がある、リアルタイムエンコーダが必要であり、またその分の消費電力量が増大すると云った欠点を有する。
【００３８】
図７に示す例では、図４を参照して上述したように、ノントランスコーディング方式による伝送において、オリジナルのコンテンツデータがソース機器１０からシンク機器２０に送信されている。シンク機器２０では、受信したオリジナルのコンテンツデータがデコーダ２５によってデコードされ、シンク機器２０の画面に、コンテンツに含まれる映像（メインムービープレーン）２０１とボタン（インタラクティブプレーン）２０２とが表示されている。なお、カーソル２０３は、ユーザー操作の位置を示す矢印の画像である。
【００３９】
シンク機器２０の画面にコンテンツが表示されているときに、シンク機器２０でコンテンツに対するユーザー操作が行われた場合には、シンク機器２０は、そのユーザー操作に対応する座標情報２６をソース機器１０に送信する。ソース機器１０は、シンク機器２０からユーザー操作に対応する座標情報２６を受信する。しかし、ソース機器１０は、コンテンツデータをデコードしていないので、座標情報２６に対応するユーザー操作を認識することができず、ユーザー操作に応じた処理を実行することができない。
【００４０】
コンテンツに対するユーザー操作は、例えば、複数のボタンを含む操作パネルを用いて行われる。このような操作パネルを用いたユーザー操作には、コンテンツの再生を制御するための操作（例えば、再生、停止、一時停止、再開、早送り、早戻し、スロー再生、等）のように各種のコンテンツに共通の操作だけでなく、指定のＵＲＬへ移動する操作やコンテンツの特定の位置に遷移させるチャプタ移動操作のように、コンテンツに依存した操作も含まれていることがある。そのため、種々のユーザー操作に対応する全てのコマンドを事前に用意し、そのコマンドを用いて、シンク機器２０からソース機器１０に、ユーザー操作に対応する処理の実行を要求することは困難である。そのため、ソース機器１０でコンテンツデータ（インタラクティブプレーンのデータ）をデコードすることなく、ユーザー操作を適切に処理することは困難であり、ノントランスコーディング方式による伝送ではユーザー操作に制限が生じることになる。
【００４１】
また、例えば、コンテンツがノントランスコーディング方式で伝送され、ユーザーが、トランスコーディング方式とノントランスコーディング方式のいずれでコンテンツが伝送されているかを知らない場合には、ユーザーがシンク機器２０の画面上の操作パネルのボタンを操作しても、その操作に応じた動作が行われず、ユーザーによる操作に混乱を招くおそれがある。
【００４２】
しかしながら、上述したように、ノントランスコーディング方式による伝送は、シンク機器２０の画面にオリジナルの画質で映像を表示できる、ソース機器１０の消費電力量を小さくできる、また高性能なリアルタイムエンコーダが不要であると云った利点を有するものである。
【００４３】
そのため本実施形態では、ノントランスコーディング方式の利点を有し、且つシンク機器２０でのユーザー操作に制限が生じないハイブリッドトランスコーディング（Hybrid-transcoding）方式で、コンテンツをシームレスに表示する機能を提供する。
【００４４】
図８から図１０を参照して、ハイブリッドトランスコーディング方式でコンテンツが伝送される例を説明する。  
図８に示す例では、ソース機器１０は、コンテンツの操作画面部分（インタラクティブプレーン）に対応するデータをデコーダ１５でデコードし、デコードされたデータをエンコーダ１６でエンコード（再エンコード）する。つまり、ソース機器１０は、コンテンツの操作画面部分に対応するデータをトランスコードする。そして、ソース機器１０は、コンテンツのオーディオ／ビデオ部分（メインムービープレーン）に対応するオリジナルのデータと、トランスコードされた操作画面部分に対応するデータとをシンク機器２０に送信する。なお、ソース機器１０は、ユーザー操作の位置を示すカーソルに関するデータをシンク機器２０に送信してもよい。
【００４５】
シンク機器２０は、デコーダ２５で、ソース機器１０から受信した、コンテンツのオーディオ／ビデオ部分に対応するオリジナルのデータと、トランスコードされた操作画面部分に対応するデータとをデコードする。そして、シンク機器２０は、コンテンツに含まれる映像（メインムービープレーン）２０１とボタン２０２を含む操作画面（インタラクティブプレーン）とを画面に表示する。なお、シンク機器２０は、ソース機器１０から送信されたカーソルに関するデータに基づいて、シンク機器２０の画面にカーソル２０３を表示することもできる。
【００４６】
そして、シンク機器２０の画面にコンテンツが表示されているときに、シンク機器２０でコンテンツに対するユーザー操作が行われた場合（例えば、ボタン２０２を押す操作が行われた場合）には、シンク機器２０は、ＵＩＢＣで、ユーザー操作に対応する座標情報２６をソース機器１０に送信する。
【００４７】
ソース機器１０は、ＵＩＢＣで、シンク機器２０からユーザー操作に対応する座標情報２６を受信する。そして、ソース機器１０は、デコーダ１５によってデコードされたコンテンツデータを用いて、座標情報２６に対応するユーザー操作を認識し、そのユーザー操作に対応する操作処理１８を実行し、処理結果をシンク機器２０の画面に反映させることができる。
【００４８】
より具体的な例として、シンク機器２０の画面上のボタン２０２に対してユーザー操作（例えば、ボタン２０２を押す操作）が行われた場合を想定する。  
まず、シンク機器２０は、ユーザー操作で指示（選択）された位置に対応する座標、すなわち、ボタン２０２内の座標を検出し、検出された座標を含む座標情報２６をソース機器１０に送信する。
【００４９】
ソース機器１０は、シンク機器２０から座標情報２６を受信し、デコードされたインタラクティブプレーンに対応するデータを用いて、受信した座標情報２６に示される座標が、インタラクティブプレーン上のボタンの座標に対応することを検出する。つまり、ソース機器１０は、シンク機器２０の画面上のボタン２０２に対するユーザー操作を、デコードされたインタラクティブプレーンのデータに基づくインタラクティブプレーン上のボタンに対するユーザー操作として認識する。そして、ソース機器１０は、そのボタンに対するユーザー操作に対応する操作処理１８を実行し、処理結果をシンク機器２０の画面に反映させることができる。
【００５０】
ここで操作処理１８の例としては、コンテンツの再生制御（例えば、再生、停止、一時停止、再開、早送り、早戻し、スロー再生、等）や、指定のＵＲＬへ移動する処理、チャプタ遷移処理等が挙げられる。いくつか例を挙げると、例えばボタン２０２が、一時停止のボタンである場合、ソース機器１０は、メインムービープレーンに関し、シンク機器２０へのコンテンツ送出を停止するか、あるいは一時停止したコンテンツ位置のピクチャの送信を継続する。インタラクティブプレーンに関しては、ソース機器１０は、一時停止したコンテンツ位置（時間位置・再生位置）に対応するインタラクティブプレーンのデコード及びエンコードを継続して、そのエンコードデータをシンク機器２０に送信する。
【００５１】
また、シンク機器２０は、ソース機器１０は、早送りや早戻しでは、メインムービープレーンに含まれる複数ピクチャのうち所定のピクチャのみ伝送し、スロー再生においては、メインムービープレーンの伝送タイミングを遅延させる。
【００５２】
また、ボタン２０２がチャプタ遷移のボタンである場合、ソース機器１０は、操作処理１８を実行して、該チャプタに対応するコンテンツ位置からメインムービープレーンを読み出し、それをシンク機器２０に送信する。また、このとき、オリジナルコンテンツにおいて、インタラクティブプレーンとメインムービープレーンとが同期されている場合、ソース機器１０は、インタラクティブプレーンに関しても、該チャプタに対応する時間位置（再生位置）からデコード１５を実行する。
【００５３】
また、ボタン２０２が指定のＵＲＬへ移動するためのボタンである場合、ソース機器１０は、当該ＵＲＬのウェブページにアクセスして該ページを表示する。なお、ウェブページを表示する際にソース機器１０は、ハイブリッドトランスコーディング（Hybrid-transcoding）方式からトランスコーディング方式に切替えて、表示画面に表示する映像をエンコードして当該エンコードデータを伝送しても良い。
【００５４】
また、ソース機器１０でコンテンツに対するユーザー操作が行われた場合、ソース機器１０は、デコーダ１５によってデコードされたコンテンツデータを用いて、そのユーザー操作に対応する操作処理１８を実行し、処理結果をシンク機器２０の画面に反映させることができる。
【００５５】
このように、ソース機器１０がコンテンツデータをデコードしているので、ソース機器１０は、ソース機器１０またはシンク機器２０でのユーザー操作に応じた処理を適切に行うことができ、ユーザーによる操作性を向上させることができる。また、ソース機器１０は、メインムービープレーンのオリジナルのデータをシンク機器２０に送信しているので、シンク機器２０の画面に、オリジナルの画質で映像を表示することができる。さらに、ソース機器１０で、メインムービープレーンのデータをデコードおよびエンコードしないので、消費電力を小さくでき、また高性能なリアルタイムエンコーダ（サイズが大きい画像をリアルタイムに処理可能なエンコーダ）が不要である。
【００５６】
また、図９に示す例では、ソース機器１０は、コンテンツデータをデコーダ１５でデコードする。ソース機器１０は、デコードされたデータを用いて、コンテンツに含まれる映像（メインムービープレーン）１７１とボタン１７２を含む操作画面（インタラクティブプレーン）とを画面に表示する。また、ソース機器１０は、オリジナルのコンテンツデータをシンク機器２０に送信する。なお、ソース機器１０は、ユーザー操作の位置を示すカーソルに関するデータをシンク機器２０に送信してもよい。
【００５７】
シンク機器２０は、デコーダ２５で、ソース機器１０から受信した、オリジナルのコンテンツデータをデコードする。そして、シンク機器２０は、コンテンツに含まれる映像（メインムービープレーン）２０１とボタン２０２を含む操作画面（インタラクティブプレーン）とを画面に表示する。なお、シンク機器２０は、ソース機器１０から送信されたカーソルに関するデータに基づいて、シンク機器２０の画面にカーソル２０３を表示することもできる。
【００５８】
そして、シンク機器２０の画面にコンテンツが表示されているときに、シンク機器２０でコンテンツに対するユーザー操作が行われた場合には、シンク機器２０は、ＵＩＢＣで、ユーザー操作に対応する座標情報２６をソース機器１０に送信する。
【００５９】
ソース機器１０は、ＵＩＢＣで、シンク機器２０からユーザー操作に対応する座標情報２６を受信する。そして、ソース機器１０は、デコーダ１５によってデコードされたコンテンツデータを用いて、座標情報２６に対応するユーザー操作を認識し、そのユーザー操作に対応する操作処理１８を実行し、処理結果をシンク機器２０の画面に反映させることができる。また、ソース機器１０でコンテンツに対するユーザー操作が行われた場合、ソース機器１０は、デコーダ１５によってデコードされたコンテンツデータを用いて、そのユーザー操作に対応する操作処理１８を実行し、処理結果をシンク機器２０の画面に反映させることができる。
【００６０】
このように、ソース機器１０がコンテンツデータをデコードしているので、ソース機器１０は、ソース機器１０またはシンク機器２０でのユーザー操作に応じた処理を適切に行うことができ、ユーザーによる操作性を向上させることができる。また、ソース機器１０は、オリジナルのコンテンツデータをシンク機器２０に送信しているので、シンク機器２０の画面に、オリジナルの画質で映像を表示することができる。さらに、ソース機器１０で、デコードされたコンテンツデータをエンコード（再エンコード）しないので、消費電力を小さくでき、また高性能なリアルタイムエンコーダ（サイズが大きい画像をリアルタイムに処理可能なエンコーダ）が不要である。
【００６１】
なお図９に示す例においては、コンテンツに含まれる映像（メインムービープレーン）１７１を表示画面に全画面表示している。しかし、例えばユーザーの操作に応じて、コンテンツの映像を画面の一部のみに表示する場合（ウィンドウ表示等）、ソース機器１０はハイブリッドトランスコーディング（Hybrid-transcoding）方式からトランスコーディング方式に切替え、表示画面に表示する映像全体をエンコードして、エンコードした映像を送信しても良い。反対に、トランスコーディング方式での送信中に、コンテンツ映像が全画面表示に切り替わると、ハイブリッドトランスコーディング方式に切替えても良い。
【００６２】
さらに、図１０に示す例では、ソース機器１０は、コンテンツの操作画面部分（インタラクティブプレーン）に対応するデータをデコーダ１５でデコードする。また、ソース機器１０は、オリジナルのコンテンツデータをシンク機器２０に送信する。なお、ソース機器１０は、ユーザー操作の位置を示すカーソルに関するデータをシンク機器２０に送信してもよい。
【００６３】
シンク機器２０は、デコーダ２５で、ソース機器１０から受信した、オリジナルのコンテンツデータをデコードする。そして、シンク機器２０は、コンテンツに含まれる映像（メインムービープレーン）２０１とボタン２０２を含む操作画面（インタラクティブプレーン）とを画面に表示する。なお、シンク機器２０は、ソース機器１０から送信されたカーソルに関するデータに基づいて、シンク機器２０の画面にカーソル２０３を表示することもできる。
【００６４】
そして、シンク機器２０の画面にコンテンツが表示されているときに、シンク機器２０でコンテンツに対するユーザー操作が行われた場合には、シンク機器２０は、ＵＩＢＣで、ユーザー操作に対応する座標情報２６をソース機器１０に送信する。
【００６５】
ソース機器１０は、ＵＩＢＣで、シンク機器２０からユーザー操作に対応する座標情報２６を受信する。そして、ソース機器１０は、デコーダ１５によってデコードされたコンテンツデータを用いて、座標情報２６に対応するユーザー操作を認識し、そのユーザー操作に対応する操作処理１８を実行し、処理結果をシンク機器２０の画面に反映させることができる。
【００６６】
また、ソース機器１０でコンテンツに対するユーザー操作が行われた場合、ソース機器１０は、デコーダ１５によってデコードされたコンテンツデータを用いて、そのユーザー操作に対応する操作処理１８を実行し、処理結果をシンク機器２０の画面に反映させることができる。
【００６７】
このように、ソース機器１０がインタラクティブプレーンのデータをデコードしているので、ソース機器１０は、ソース機器１０またはシンク機器２０でのユーザー操作に応じた処理を適切に行うことができ、ユーザーによる操作性を向上させることができる。また、ソース機器１０は、オリジナルのコンテンツデータをシンク機器２０に送信しているので、シンク機器２０の画面に、オリジナルの画質で映像を表示することができる。さらに、ソース機器１０で、メインムービープレーンのデータをデコードおよびエンコードせず、インタラクティブプレーンのデータをエンコードしないので、消費電力を小さくでき、また高性能なリアルタイムエンコーダ（サイズが大きい画像をリアルタイムに処理可能なエンコーダ）が不要である。
【００６８】
次いで、図１１を参照して、ソース機器１０によって実行されるコンテンツ伝送プログラム１０３Ｂの機能構成の例を説明する。ソース機器１０は、ハイブリッドトランスコーディング方式でコンテンツデータを伝送する機能を有する。オリジナルのコンテンツデータは、任意のコーデックでエンコードされたコンテンツデータであって、映像を表示するための第１データ（メインムービープレーンのデータ）と、ユーザーによって操作可能なオブジェクトを表示するための第２データ（インタラクティブプレーンのデータ）とを含むコンテンツデータである。
【００６９】
ソース機器１０は、例えば、制御部３１、コンテンツ処理部３２、送信部３３、表示処理部３４、操作処理部３６、および受信部３７を備える。また、コンテンツを受信するシンク機器２０は、例えば、受信部４１、コンテンツ処理部４２、表示処理部４３、送信部４４、および操作処理部４５を備える。
【００７０】
ソース機器１０の制御部３１は、コンテンツ伝送プログラム１０３Ｂ内の各部の動作を制御する。制御部３１は、コンテンツ処理部３２によるコンテンツデータに対する処理（デコード、エンコード、等）を制御する。制御部３１は、例えば、コンテンツ処理部３２の機能を有効または無効にする制御信号をコンテンツ処理部３２に出力する。コンテンツ処理部３２は、制御部３１によって出力される制御信号に応じて、コンテンツをソース機器１０で表示（出力）するための処理と、コンテンツをシンク機器２０に伝送するための処理とを実行し得る。
【００７１】
ハイブリッドトランスコーディング方式でコンテンツをシンク機器２０に伝送する場合、コンテンツ処理部３２と送信部３３とは、少なくとも一部がトランスコードされていないコンテンツデータ（例えば、メインムービープレーンがトランスコードされていないコンテンツデータ）を、シンク機器２０に送信する。送信部３３は、例えば、ソース機器１０とシンク機器２０との間で確立された無線接続（例えば、Ｗｉ−Ｆｉ  Ｄｉｒｅｃｔに基づく無線接続）を介して、そのコンテンツデータをシンク機器２０に送信する。なお、送信部３３は、コンテンツデータを送信する前に、当該コンテンツデータを、トランスコーディング方式とノントランスコーディング方式とハイブリッドトランスコーディング方式のいずれの伝送方式で送信するかを、シンク機器２０に通知することができる。これにより、シンク機器２０は、通知された伝送方式に応じて、ソース機器１０から伝送されたコンテンツデータを処理することができる。また、シンク機器２０は、通知された伝送方式に応じて、その伝送方式を示す情報を画面に表示し、現在のコンテンツの伝送方式をユーザーに知らせることもできる。
【００７２】
また、コンテンツ処理部３２は、コンテンツデータの少なくとも一部（例えば、インタラクティブプレーンのデータ）をデコードする。そして、操作処理部３６は、ソース機器１０またはシンク機器２０でのユーザー操作に応じて、コンテンツ処理部３２でデコードされたコンテンツデータの少なくとも一部を用いて、当該ユーザー操作に対応する処理を実行する。
【００７３】
次いで、図１５を参照して、コンテンツをソース機器１０で表示（出力）するための、コンテンツ処理部３２の機能構成の例を説明する。このコンテンツ処理部３２は、コンテンツデータをデコードし、ＬＣＤ１７Ａの画面に表示される映像とスピーカー１３等に出力される音声とを生成するように構成されている。
【００７４】
まず、スイッチ５０２は、コンテンツデータ５２１をレイヤー（プレーン）に応じたデコーダ５１１〜５１５に振り分ける。オーディオデコーダ５１１は、振り分けられたオーディオストリーム（オーディオデータ）５２２をデコードする。これにより、スピーカー等で出力される音声が生成される。
【００７５】
ビデオデコーダ５１２は、振り分けられたビデオストリーム（ビデオデータ）５２３をデコードすることによって、ビデオプレーンを生成する。プレゼンテーショングラフィクス（ＰＧ）デコーダ５１３は、振り分けられたＰＧストリーム（ＰＧデータ）５２４をデコードすることによって、プレゼンテーションプレーンを生成する。インタラクティブグラフィクス（ＩＧ）デコーダ５１４は、振り分けられたＩＧストリーム（ＩＧデータ）５２５をデコードすることによって、ＩＧプレーンを生成する。テキストデコーダ５１５は、振り分けられたテキストストリーム（テキストデータ）５２６をデコードすることによって、テキストを生成する。そして、マルチプレクサ５１６は、ビデオプレーンとＩＧプレーンとＰＧプレーンとテキストとを重ね合わせる（多重化する）。これにより、画面に表示される画像が生成される。
【００７６】
表示処理部３４は、コンテンツ処理部３２によって生成された画像をソース機器１０（ＬＣＤ１７Ａ）の画面に表示する。また、コンテンツ処理部３２によって生成された音声は、スピーカー１３等で出力される。
【００７７】
なお、上述したコンテンツ処理部３２内の各部の動作は、制御部３１による有効／無効制御信号に応じて、有効または無効に設定することができる。例えば、ハイブリッドトランスコーディング方式でコンテンツデータが伝送される場合に、ソース機器（タブレットコンピュータ）１０の画面に映像が表示されないとき、制御部３１は、Ｖデコーダ５１４とＡデコーダ５１５とを無効にし、ＩＧデコーダ５１１とテキストデコーダ５１２とＰＧデコーダ５１６とを有効にする制御信号をコンテンツ処理部３２に出力する。これにより、インタラクティブプレーンのデータ（ＩＧプレーン５２１およびＰＧプレーン５２２のデータ）がデコードされ、メインムービープレーンのデータ（Ｖプレーン５２３および音声のデータ）がデコードされない。つまり、Ｖデコーダ５１４およびＡデコーダ５１５に、オリジナルのメインムービープレーンのデータを通過（スルー）させ、且つＩＧデコーダ５１１とテキストデコーダ５１２とＰＧデコーダ５１３とに、ユーザー操作を処理するために必要なインタラクティブプレーンのデータをデコードさせる。
【００７８】
図１３から図１６は、ハイブリッドトランスコーディング方式でコンテンツデータを伝送するための、コンテンツ処理部３２の機能構成の例を示す。なお、図１３から図１６に示す例では、説明を簡単にするために、図１２に示したコンテンツ処理部３２の構成を省略し、動作が有効にされる構成により示している。
【００７９】
図１３に示す例では、コンテンツ処理部３２は、エンコードされたコンテンツデータであって、映像を表示するためのオーディオ／ビデオストリーム（第１データ）とユーザーによって操作可能なオブジェクトを表示するための制御ストリーム（第２データ）３２Ｃとを含むコンテンツデータをスルーし（すなわち、何等処理を施すことなく通過させ）、送信部４４は、このコンテンツデータをシンク機器（外部電子機器）２０に送信する。また、コンテンツ処理部３２は、コンテンツデータの内の制御ストリーム（第２データ）３２Ｃをデコードする。操作処理部３６は、コンテンツデータを用いて映像とオブジェクトとがシンク機器２０の画面に表示されているときに、オブジェクトに対するユーザー操作に応じて、デコードされた制御ストリーム（第２データ）３２Ｃを用いて、当該ユーザー操作に対応する処理を実行する。
【００８０】
より具体的には、コンテンツ処理部３２は、スイッチ３２１、デコーダ３２２、および表示レイアウト処理部３２３を備える。  
スイッチ３２１は、オリジナルのコンテンツデータ３２Ａの内の制御ストリーム３２Ｃ（例えば、ＩＧプレーンおよびＰＧプレーンのデータ）をデコーダ３２２に振り分ける。デコーダ３２２は、振り分けられた制御ストリーム３２Ｃをデコードする。そして、表示レイアウト処理部３２３は、デコードされたデータに対応する画像やテキストのレイアウト（画面構成）を決定する。表示レイアウト処理部３２３は、決定されたレイアウトに基づいて、ユーザー操作のためのボタン（オブジェクト）やテキストを含む操作画面の画像を生成してもよい。また、オリジナルのコンテンツデータ３２Ａはコンテンツ処理部３２内を通過する。このオリジナルのコンテンツデータ３２Ａは、送信部３３によってシンク機器２０に送信される。
【００８１】
なお、表示処理部３４は、操作画面の画像をソース機器１０の画面に表示してもよい。また、送信部３３は、ソース機器１０の画面に表示されているオブジェクト（操作画面）に対するユーザー操作に応じて、このユーザー操作を示す操作データをシンク機器２０に送信してもよい。
【００８２】
図１４に示す例では、コンテンツ処理部３２は、スイッチ３２１、デコーダ３２２、および表示レイアウト処理部３２３を備える。  
スイッチ３２１は、オリジナルのコンテンツデータ３２Ａの内のオーディオ／ビデオストリーム３２Ｂ（例えば、オーディオ、ビデオデータ）を、そのまま出力する。また、スイッチ３２１は、オリジナルのコンテンツデータ３２Ａの内の制御ストリーム３２Ｃ（例えば、ＩＧプレーンおよびＰＧプレーンのデータ）をデコーダ３２２に振り分ける。デコーダ３２２は、振り分けられた制御ストリーム３２Ｃをデコードする。そして、表示レイアウト処理部３２３は、デコードされたデータに対応する画像やテキストのレイアウト（画面構成）を決定する。表示レイアウト処理部３２３は、決定されたレイアウトに基づいて、ユーザー操作のためのボタン（オブジェクト）やテキストを含む操作画面の画像を生成してもよい。
【００８３】
送信部３３は、オリジナルのオーディオ／ビデオストリーム３２Ｂと、デコードされた制御ストリーム３２Ｃ（制御ストリーム３２Ｃから得られた画像（レイヤ））とをシンク機器２０に送信する。オリジナルのオーディオ／ビデオストリーム３２Ｂと、デコードされた制御ストリーム３２Ｃとは、これら２つのストリーム（データ）を同期させるための同期データ（例えば、タイムスタンプ）を含んでいてもよい。この同期データにより、映像および音声（メインムービープレーン）と、操作画面（インタラクティブプレーン）とを連動させることができる。なお、表示処理部３４は、操作画面の画像をソース機器１０の画面に表示してもよい。
【００８４】
シンク機器２０は、デコードされた制御ストリーム３２Ｃを受信し、このデコードされた制御ストリーム３２Ｃを用いて操作画面を表示できるので、操作に関わる処理（インタラクティブプレーンに対する処理）をソース機器１０だけで行い、複数の機器で操作に関わる処理が行われることによる混乱を回避することができる。
【００８５】
図１５に示す例では、コンテンツ処理部３２は、スイッチ３２１、デコーダ３２２、表示レイアウト処理部３２３、およびエンコーダ３２４を備える。  
スイッチ３２１は、オリジナルのコンテンツデータ３２Ａの内のオーディオ／ビデオストリーム３２Ｂ（例えば、オーディオ、ビデオデータ）を、そのまま出力する。また、スイッチ３２１は、オリジナルのコンテンツデータ３２Ａの内の制御ストリーム３２Ｃ（例えば、ＩＧプレーンおよびＰＧプレーンのデータ）をデコーダ３２２に振り分ける。
【００８６】
デコーダ３２２は、振り分けられた制御ストリーム３２Ｃをデコードする。表示レイアウト処理部３２３は、デコードされたデータに対応する画像やテキストのレイアウト（画面構成）を決定する。表示レイアウト処理部３２３は、決定されたレイアウトに基づいて、ユーザー操作のためのボタン（オブジェクト）やテキストを含む操作画面の画像を生成してもよい。次いで、エンコーダ３２４は、デコードされた制御ストリーム３２Ｃをエンコード（再エンコード）する。エンコーダ３２４は、デコードされた制御ストリーム３２Ｃを、例えばシンク機器２０による処理に適したコーデックでエンコードする。したがって、デコーダ３２２およびエンコーダ３２４によって、制御ストリーム３２Ｃがシンク機器２０による処理に適したコーデックにトランスコードされる。
【００８７】
送信部３３は、オリジナルのオーディオ／ビデオストリーム３２Ｂと、トランスコードされた制御ストリーム３２Ｃとをシンク機器２０に送信する。また、表示処理部３４は、操作画面の画像をソース機器１０の画面に表示してもよい。
【００８８】
図１６に示す例では、コンテンツ処理部３２は、スイッチ３２１、デコーダ３２２，３２５、および表示レイアウト処理部３２３を備える。  
スイッチ３２１は、オリジナルのコンテンツデータ３２Ａの内のオーディオ／ビデオストリーム３２Ｂ（例えば、オーディオ、ビデオデータ）をデコーダ３２５に振り分け、オリジナルのコンテンツデータ３２Ａの内の制御ストリーム３２Ｃ（例えば、ＩＧプレーンおよびＰＧプレーンのデータ）をデコーダ３２２に振り分ける。
【００８９】
デコーダ３２５は、振り分けられたオーディオ／ビデオストリーム３２Ｂをデコードすることによって、映像と音声とを生成する。また、デコーダ３２２は、振り分けられた制御ストリーム３２Ｃをデコードする。表示レイアウト処理部３２３は、デコードされたデータに対応する画像やテキストのレイアウト（画面構成）を決定する。表示レイアウト処理部３２３は、決定されたレイアウトに基づいて、ユーザー操作のためのボタン（オブジェクト）やテキストを含む操作画面の画像を生成する。
【００９０】
また、オリジナルのコンテンツデータ３２Ａはコンテンツ処理部３２内を通過する。送信部３３は、このオリジナルのコンテンツデータ３２Ａをシンク機器２０に送信する。また、表示処理部３４は、映像と操作画面の画像とを重ね合わせ、その重ね合わせられた画像（映像）をソース機器１０の画面に表示する。
【００９１】
コンテンツ処理部３２は、デコードされた制御ストリーム３２Ｃ（または、デコードされたインタラクティブプレーンのデータ）を操作処理部３６に出力する。また、コンテンツ処理部３２は、デコードされた制御ストリーム３２Ｃの少なくとも一部と、当該デコードされた制御ストリーム３２Ｃの少なくとも一部に関連する、オーディオ／ビデオストリーム３２Ｂ（メインムービープレーンのデータ）の少なくとも一部とを作業メモリ３５に保存（蓄積）してもよい。
【００９２】
シンク機器２０の受信部４１は、ソース機器１０（送信部３３）によって送信されたコンテンツデータを受信する。コンテンツ処理部４２は、そのコンテンツデータをデコードし、画面に表示される画像（映像）と、スピーカー等によって出力される音声とを生成する。コンテンツ処理部４２による処理は、例えば、図１２を参照して説明した処理と同様である。
【００９３】
表示処理部４３は、コンテンツ処理部４２によって生成された画像（映像）を、シンク機器２０の画面に表示する。また、表示処理部４３は、コンテンツ処理部４２によって生成された音声を、シンク機器２０のスピーカー等で出力する。
【００９４】
シンク機器２０の画面に表示されるコンテンツ（画像）には、図５で示したように、ボタンのような、ユーザー操作のためのオブジェクト（インタラクティブプレーン）が含まれることがある。ソース機器１０とシンク機器２０とでは、ユーザーが、リモートコントローラや各種のポインティングデバイスを用いて、そのオブジェクトに対する操作を行うことができる。このユーザー操作は、コンテンツの再生を制御するための操作（例えば、再生、停止、一時停止、再開、早送り、早戻し、スロー再生、等）、コンテンツの表示形態を変更するための操作（例えば、全画面表示）、所定のＵＲＬへ移動するための操作、コンテンツの音量を変更するための操作、等を含む。
【００９５】
また、ユーザー操作は、マイクを用いた音声によるユーザー操作であってもよい。ソース機器１０またはシンク機器２０は、マイクを用いて入力された音声データを解析することによって、例えば、音声から「再生」、「停止」のようなコマンドによるユーザー操作を検出してもよいし、また音声からマウスのようなポインティングデバイスで指示される位置の移動、クリック、タップのようなユーザー操作を検出してもよい。
【００９６】
以下では、シンク機器２０でユーザー操作が行われた場合の処理と、ソース機器１０でユーザー操作が行われた場合の処理とを説明する。
【００９７】
まず、シンク機器２０でユーザー操作が行われた場合について説明する。  
シンク機器２０の送信部４４は、シンク機器２０の画面に表示されたオブジェクトに対するユーザー操作（第２ユーザー操作）が検出されたことに応じて、そのユーザー操作に対応する操作データをソース機器１０に送信する。この操作データは、ユーザー操作が行われた、シンク機器２０の画面上の位置を示す座標データを含む。また、操作データは、ユーザー操作が行われたときの映像（コンテンツ）の再生位置を示す時刻データ（タイムスタンプ）を含んでいてもよい。
【００９８】
ソース機器１０の受信部３７は、シンク機器２０から、ユーザー操作に対応する操作データを受信する。操作処理部３６は、操作データに含まれる座標データと、デコードされたインタラクティブプレーンのデータ（デコードされた制御ストリーム３２Ｃ）とを用いて、シンク機器２０で検出されたユーザー操作を認識する。操作処理部３６は、例えば、座標データで示される画面上の座標に基づいて、インタラクティブプレーン上のオブジェクトから、ユーザーが操作したオブジェクト（例えば、ボタン２０２）を認識する。操作処理部３６は、認識されたユーザー操作に対応する処理（すなわち、認識されたオブジェクトに対するユーザー操作に対応する処理）を実行する。そして、送信部３３は、処理結果に対応するコンテンツデータをシンク機器２０に送信する。
【００９９】
操作処理部３６は、操作データに含まれる座標データおよび時刻データと、デコードされたインタラクティブプレーンのデータとを用いて、ユーザー操作に対応する処理を実行してもよい。その場合、操作処理部３６は、時刻データで示される再生位置（再生時刻）と、座標データで示される画面上の座標とに基づいて、インタラクティブプレーン上のオブジェクトから、ユーザーが操作したオブジェクトを認識し、そのオブジェクトに対するユーザー操作に対応する処理を実行する。
【０１００】
また、例えば、ユーザー操作がコンテンツの再生を制御するための操作（例えば、再生、停止、一時停止、再開、早送り、早戻し、スロー再生、等）である場合、操作処理部３６および送信部３３は、そのユーザー操作に対応する再生位置から開始されるコンテンツデータをシンク機器２０に送信する。操作処理部３６は、ユーザー操作が所定の再生位置に戻す操作である場合には、例えば、作業メモリ３５に保存（蓄積）されている、デコードされたコンテンツデータを利用して、その所定の再生位置に対応するコンテンツデータ上の位置を特定し、シンク機器２０に送信すべきコンテンツデータを取得することができる。
【０１０１】
また、ユーザー操作がコンテンツの表示形態を変更するための操作（例えば、全画面表示）である場合、送信部３３は、そのユーザー操作で指定された表示形態でコンテンツを表示するためのコンテンツデータをシンク機器２０に送信する。ユーザー操作が所定のＵＲＬへ移動するための操作である場合、送信部３３は、その所定のＵＲＬのコンテンツのデータをシンク機器２０に送信する。また、ユーザー操作がコンテンツの音量を変更するための操作である場合、送信部３３は、音量が変更されたコンテンツデータをシンク機器２０に送信する。
【０１０２】
なお、表示処理部３４は、ソース機器１０の画面にコンテンツの少なくとも一部（例えば、操作画面）が表示されている場合には、ユーザー操作に対応する処理結果に応じてその表示内容を変更してもよい。
【０１０３】
シンク機器２０の受信部４１は、ソース機器１０から、ユーザー操作の処理結果に基づくコンテンツデータを受信する。そして、コンテンツ処理部４２および表示処理部４３は、受信されたコンテンツデータを用いて画像をシンク機器２０の画面に表示する。また、コンテンツ処理部４２および表示処理部４３は、受信されたコンテンツデータを用いて音声をスピーカー等から出力してもよい。
【０１０４】
なお、シンク機器２０の送信部４４は、ユーザー操作がシンク機器２０で処理可能である場合には、操作データをソース機器１０に送信せず、シンク機器２０の操作処理部４５でそのユーザー操作に対応する処理を実行してもよい。例えば、ユーザー操作がコンテンツを全画面表示する操作である場合、操作処理部４５は、表示処理部４３にコンテンツを全画面表示させる。ユーザー操作が所定のＵＲＬへ移動するための操作である場合、操作処理部４５は、その所定のＵＲＬにアクセスし、対応するコンテンツのデータを受信する。また、ユーザー操作がコンテンツの音量を変更するための操作である場合、操作処理部４５は、シンク機器２０に設けられたスピーカー等のボリュームを変更する。
【０１０５】
次いで、ソース機器１０でユーザー操作が行われた場合について説明する。  
まず、ソース機器１０の操作処理部３６は、ユーザー操作が検出された場合、デコードされたインタラクティブプレーンのデータ（デコードされた制御ストリーム３２Ｃ）を用いて、そのユーザー操作に対応する処理を実行する。操作処理部３６は、例えば、ユーザー操作が検出された画面上の位置（座標）に基づいて、インタラクティブプレーン上のオブジェクトから、ユーザーが操作したオブジェクト（例えば、ボタン１７２）を認識し、認識されたオブジェクトに対するユーザー操作に対応する処理を実行する。そして、送信部３３は、処理結果に対応するコンテンツデータをシンク機器２０に送信する。なお、表示処理部３４は、ソース機器１０の画面にコンテンツの少なくとも一部（例えば、操作画面）が表示されている場合には、ユーザー操作に対応する処理結果に応じて表示を変更してもよい。
【０１０６】
シンク機器２０の受信部４１は、ソース機器１０から、ユーザー操作の処理結果に基づくコンテンツデータを受信する。そして、コンテンツ処理部４２および表示処理部４３は、受信されたコンテンツデータを用いて画像をシンク機器２０の画面に表示する。また、コンテンツ処理部４２および表示処理部４３は、受信されたコンテンツデータを用いて音声をスピーカー等から出力してもよい。
【０１０７】
なお、ソース機器１０の送信部３３は、ソース機器１０でユーザー操作が検出された場合、そのユーザー操作に対応する操作データをシンク機器２０に送信してもよい。シンク機器２０の受信部４１は操作データを受信し、操作処理部４５は、受信された操作データと、デコードされたインタラクティブプレーンのデータとを用いて、ソース機器１０で検出されたユーザー操作を認識し、認識されたユーザー操作に対応する処理を実行する。
【０１０８】
このようにして、ソース機器１０で検出されたユーザー操作を処理することにより、ユーザーは、例えば、タブレットコンピュータであるソース機器１０に設けられたタッチパネル１７Ｂを、シンク機器２０のタッチパッドとして使用することができる。
【０１０９】
なお、上述したハイブリッドトランスコーディング方式による伝送は、コンテンツ伝送プログラム１０３Ｂのようなソフトウェアではなく、ハードウェアによって実現されてもよい。
【０１１０】
次いで、図１７から図２３のフローチャートを参照して、ソース機器１０によってコンテンツが伝送され、シンク機器２０によってそのコンテンツが表示される場合の処理について説明する。以下では、説明を簡単にするために、ソース機器１０とシンク機器２０との接続（無線接続）が確立され、ペアリングのためのセッションが実行されることにより、機器間のリンクが確立されている場合を想定する。
【０１１１】
図１７は、ソース機器１０によって実行されるコンテンツ送信処理の手順の第１の例を示す。  
まず、制御部３１は、コンテンツデータをシンク機器２０に送信するか否かを判定する（ブロックＢ１０１）。制御部３１は、例えば、コンテンツをシンク機器２０で表示（出力）するための操作が検出された場合に、コンテンツデータをシンク機器２０に送信すると判定する。コンテンツデータを送信しない場合（ブロックＢ１０１のＮＯ）、ブロックＢ１０１に戻り、コンテンツデータをシンク機器２０に送信するか否かが再度判定される。
【０１１２】
コンテンツデータを送信する場合（ブロックＢ１０１のＹＥＳ）、送信部３３は、コンテンツデータ（オリジナルのコンテンツデータ）をシンク機器２０に送信する（ブロックＢ１０２）。次いで、コンテンツ処理部３２は、コンテンツデータ内のインタラクティブプレーンのデータをデコードする（ブロックＢ１０３）。コンテンツ処理部３２は、デコードされたインタラクティブプレーンのデータを作業メモリ３５に一時保存してもよい。また、表示処理部３４は、デコードされたインタラクティブプレーンのデータを用いて、インタラクティブプレーンに対応する画像をディスプレイ１７の画面に表示してもよい（ブロックＢ１０４）。
【０１１３】
図１８は、シンク機器２０によって実行されるコンテンツ表示処理の手順の第１の例を示す。このコンテンツ表示処理では、シンク機器２０は、図１７に示した処理でソース機器１０が送信したコンテンツデータを用いてコンテンツを再生する。
【０１１４】
まず、受信部４１は、ソース機器１０からコンテンツデータ（オリジナルコンテンツデータ）を受信する（ブロックＢ１５１）。コンテンツ処理部４２は、受信されたコンテンツデータをデコードする（ブロックＢ１５２）。コンテンツ処理部４２は、デコードされたデータを用いたプレーン毎の画像を重ね合わせる（ブロックＢ１５３）。コンテンツ処理部４２は、例えば、メインムービープレーンの画像と、プレゼンテーションプレーンの画像と、インタラクティブプレーンの画像とを多重化する。そして、表示処理部４３は、重ね合わせられた画像を画面に表示する（ブロックＢ１５４）。
【０１１５】
図１９は、ソース機器１０によって実行されるコンテンツ送信処理の手順の第２の例を示す。  
まず、制御部３１は、コンテンツデータをシンク機器２０に送信するか否かを判定する（ブロックＢ２０１）。コンテンツデータを送信しない場合（ブロックＢ２０１のＮＯ）、ブロックＢ２０１に戻り、コンテンツデータをシンク機器２０に送信するか否かが再度判定される。
【０１１６】
コンテンツデータを送信する場合（ブロックＢ２０１のＹＥＳ）、送信部３３は、コンテンツデータ内のメインムービープレーンのデータ（オリジナルデータ）をシンク機器２０に送信する（ブロックＢ２０２）。次いで、コンテンツ処理部３２は、コンテンツデータ内のインタラクティブプレーンのデータをデコードする（ブロックＢ２０３）。コンテンツ処理部３２は、デコードされたインタラクティブプレーンのデータを作業メモリ３５に一時保存してもよい。送信部３３は、デコードされたインタラクティブプレーンのデータをシンク機器２０に送信する（ブロックＢ２０４）。なお、プレゼンテーションプレーンのデータは、メインムービープレーンのデータとインタラクティブプレーンのデータのいずれかと同様に扱われてもよい。
【０１１７】
また、表示処理部３４は、デコードされたインタラクティブプレーンのデータを用いて、インタラクティブプレーンに対応する画像をディスプレイ１７の画面に表示してもよい（ブロックＢ２０５）。
【０１１８】
図２０は、シンク機器２０によって実行されるコンテンツ表示処理の手順の第２の例を示す。このコンテンツ表示処理では、シンク機器２０は、図１９に示した処理でソース機器１０が送信したコンテンツデータを用いてコンテンツを再生する。
【０１１９】
まず、受信部４１は、ソース機器１０から、メインムービープレーンのデータ（オリジナルデータ）を受信し（ブロックＢ２５１）、デコードされたインタラクティブプレーンのデータを受信する（ブロックＢ２５２）。コンテンツ処理部４２は、受信されたメインムービープレーンのデータをデコードする（ブロックＢ２５３）。コンテンツ処理部４２は、デコードされたデータを用いたプレーン毎の画像を重ね合わせる（ブロックＢ２５４）。コンテンツ処理部４２は、例えば、デコードされたムービープレーンのデータを用いたメインムービープレーンの画像と、受信されたインタラクティブプレーンのデータを用いたインタラクティブプレーンの画像とを多重化する。コンテンツ処理部３２は、メインムービープレーンの画像に対して、インタラクティブプレーンの画像を重畳してもよいし、インタラクティブプレーンの画像をPicture-in-Pictureではめ込み画像としてもよい。なお、プレゼンテーションプレーンのデータは、メインムービープレーンのデータとインタラクティブプレーンのデータのいずれかと同様に扱われてもよい。そして、表示処理部４３は、重ね合わせられた画像を画面に表示する（ブロックＢ２５５）。
【０１２０】
図２１は、ソース機器１０によって実行されるコンテンツ送信処理の手順の第３の例を示す。  
まず、制御部３１は、コンテンツデータをシンク機器２０に送信するか否かを判定する（ブロックＢ３０１）。コンテンツデータを送信しない場合（ブロックＢ３０１のＮＯ）、ブロックＢ３０１に戻り、コンテンツデータをシンク機器２０に送信するか否かが再度判定される。
【０１２１】
コンテンツデータを送信する場合（ブロックＢ３０１のＹＥＳ）、送信部３３は、コンテンツデータ内のメインムービープレーンのデータ（オリジナルデータ）をシンク機器２０に送信する（ブロックＢ３０２）。次いで、コンテンツ処理部３２は、コンテンツデータ内のインタラクティブプレーンのデータをデコードする（ブロックＢ３０３）。コンテンツ処理部３２は、デコードされたインタラクティブプレーンのデータを作業メモリ３５に一時保存してもよい。そして、コンテンツ処理部３２は、デコードされたインタラクティブプレーンのデータをエンコード（再エンコード）する（ブロックＢ３０４）。コンテンツ処理部３２は、例えば、シンク機器２０による処理に適したコーデックで、デコードされたインタラクティブプレーンのデータをエンコードする。送信部３３は、エンコード（トランスコード）されたインタラクティブプレーンのデータをシンク機器２０に送信する（ブロックＢ３０５）。なお、プレゼンテーションプレーンのデータは、メインムービープレーンのデータとインタラクティブプレーンのデータのいずれかと同様に扱われてもよい。
【０１２２】
また、表示処理部３４は、デコードされたインタラクティブプレーンのデータを用いて、インタラクティブプレーンに対応する画像をディスプレイ１７の画面に表示してもよい（ブロックＢ３０６）。
【０１２３】
図２２は、シンク機器２０によって実行されるコンテンツ表示処理の手順の第３の例を示す。このコンテンツ表示処理では、シンク機器２０は、図２１に示した処理でソース機器１０が送信したコンテンツデータを用いてコンテンツを再生する。
【０１２４】
まず、受信部４１は、ソース機器１０から、メインムービープレーンのデータ（オリジナルデータ）を受信し（ブロックＢ３５１）、エンコード（トランスコード）されたインタラクティブプレーンのデータを受信する（ブロックＢ３５２）。コンテンツ処理部４２は、受信されたメインムービープレーンのデータをデコードし（ブロックＢ３５３）、受信されたインタラクティブプレーンのデータをデコードする（ブロックＢ３５４）。コンテンツ処理部４２は、デコードされたデータを用いたプレーン毎の画像を重ね合わせる（ブロックＢ３５５）。コンテンツ処理部４２は、例えば、デコードされたムービープレーンのデータを用いたメインムービープレーンの画像と、デコードされたインタラクティブプレーンのデータを用いたインタラクティブプレーンの画像とを多重化する。なお、プレゼンテーションプレーンのデータは、メインムービープレーンのデータとインタラクティブプレーンのデータのいずれかと同様に扱われてもよい。そして、表示処理部４３は、重ね合わせられた画像を画面に表示する（ブロックＢ３５６）。
【０１２５】
また、図２３は、ソース機器１０によって実行されるコンテンツ送信処理の手順の第４の例を示す。  
まず、制御部３１は、コンテンツデータをシンク機器２０に送信するか否かを判定する（ブロックＢ４０１）。コンテンツデータを送信しない場合（ブロックＢ４０１のＮＯ）、ブロックＢ４０１に戻り、コンテンツデータをシンク機器２０に送信するか否かが再度判定される。
【０１２６】
コンテンツデータを送信する場合（ブロックＢ４０１のＹＥＳ）、送信部３３は、コンテンツデータ（オリジナルのコンテンツデータ）をシンク機器２０に送信する（ブロックＢ４０２）。次いで、コンテンツ処理部３２は、コンテンツデータをデコードする（ブロックＢ４０３）。コンテンツ処理部３２は、デコードされたコンテンツデータを作業メモリ３５に一時保存してもよい。また、コンテンツ処理部３２は、デコードされたデータを用いたプレーン毎の画像を重ね合わせる（ブロックＢ４０４）。コンテンツ処理部４２は、例えば、メインムービープレーンの画像と、プレゼンテーションプレーンの画像と、インタラクティブプレーンの画像とを多重化する。そして、表示処理部３４は、重ね合わせられた画像を画面に表示する（ブロックＢ４０５）。
【０１２７】
なお、図２３の処理でソース機器１０が送信したコンテンツデータ（オリジナルコンテンツデータ）を用いた、シンク機器２０によるコンテンツ表示処理は、図１８を参照して説明した通りである。
【０１２８】
次いで、図２４から図２６のフローチャートを参照して、コンテンツに対するユーザー操作に応じた処理について説明する。
【０１２９】
図２４は、ソース機器１０とシンク機器２０とによって実行されるユーザー操作処理の手順の第１の例を示す。  
まず、シンク機器２０の操作処理部４５は、コンテンツに対するユーザー操作が検出されたか否かを判定する（ブロックＢ６０１）。ユーザー操作が検出されていない場合（ブロックＢ６０１のＮＯ）、ブロックＢ６０１に戻り、コンテンツに対するユーザー操作が検出されたか否かが再度判定される。一方、ユーザー操作が検出されている場合（ブロックＢ６０１のＹＥＳ）、送信部４４は、そのユーザー操作に対応する操作データ（例えば、座標データ、時刻データ）をソース機器１０に送信する（ブロックＢ６０２）。
【０１３０】
次いで、ソース機器１０の受信部３７は、シンク機器２０から、ユーザー操作に対応する操作データを受信する（ブロックＢ６０３）。操作処理部３６は、操作データと、デコードされたインタラクティブプレーンのデータとを用いて、シンク機器２０で検出されたユーザー操作を認識し、認識されたユーザー操作に対応する処理を実行する（ブロックＢ６０４）。そして、送信部３３は、処理結果に対応するコンテンツデータをシンク機器２０に送信する（ブロックＢ６０５）。なお、表示処理部３４は、ソース機器１０の画面にコンテンツの少なくとも一部が表示されている場合には、ユーザー操作に対応する処理結果に応じて表示を変更してもよい。
【０１３１】
シンク機器２０の受信部４１は、ソース機器１０から、ユーザー操作の処理結果に対応するコンテンツデータを受信する（ブロックＢ６０６）。そして、コンテンツ処理部４２および表示処理部４３は、受信されたコンテンツデータを用いて、画像を画面に表示する（ブロックＢ６０７）。
【０１３２】
図２５は、ソース機器１０とシンク機器２０とによって実行されるユーザー操作処理の手順の第２の例を示す。  
まず、ソース機器１０の操作処理部３６は、コンテンツに対するユーザー操作が検出されたか否かを判定する（ブロックＢ７０１）。ユーザー操作が検出されていない場合（ブロックＢ７０１のＮＯ）、ブロックＢ７０１に戻り、コンテンツに対するユーザー操作が検出されたか否かが再度判定される。一方、ユーザー操作が検出されている場合（ブロックＢ７０１のＹＥＳ）、操作処理部３６およびコンテンツ処理部３２は、デコードされたインタラクティブプレーンのデータを用いて、ユーザー操作に対応する処理を実行する（ブロックＢ７０２）。そして、送信部３３は、処理結果に対応するコンテンツデータをシンク機器２０に送信する（ブロックＢ７０３）。なお、表示処理部３４は、ソース機器１０の画面にコンテンツの少なくとも一部が表示されている場合には、ユーザー操作に対応する処理結果に応じて表示を変更してもよい。
【０１３３】
次いで、シンク機器２０の受信部４１は、ソース機器１０から、ユーザー操作の処理結果に対応するコンテンツデータを受信する（ブロックＢ７０４）。コンテンツ処理部４２および表示処理部４３は、受信されたコンテンツデータを用いて、画像を画面に表示する（ブロックＢ７０５）。
【０１３４】
図２６は、ソース機器１０とシンク機器２０とによって実行されるユーザー操作処理の手順の第３の例を示す。  
まず、ソース機器１０の操作処理部３６は、コンテンツに対するユーザー操作が検出されたか否かを判定する（ブロックＢ８０１）。ユーザー操作が検出されていない場合（ブロックＢ８０１のＮＯ）、ブロックＢ８０１に戻り、コンテンツに対するユーザー操作が検出されたか否かが再度判定される。一方、ユーザー操作が検出されている場合（ブロックＢ８０１のＹＥＳ）、送信部３３は、そのユーザー操作に対応する操作データ（例えば、座標データ、時刻データ）をシンク機器２０に送信する（ブロックＢ８０２）。
【０１３５】
次いで、シンク機器２０の受信部４１は、ソース機器１０から、ユーザー操作に対応する操作データを受信する（ブロックＢ８０３）。操作処理部４５、コンテンツ処理部４２および表示処理部４３は、受信された操作データと、デコードされたインタラクティブプレーンのデータとを用いて、ソース機器１０で検出されたユーザー操作を認識し、認識されたユーザー操作に対応する処理を実行する（ブロックＢ８０４）。
【０１３６】
以上説明したように、本実施形態によれば、機器間でコンテンツをシームレスに表示する場合に、コンテンツ内のオブジェクトに対する操作を適切に処理することができる。ソース機器１０の送信部３３は、エンコードされたコンテンツデータであって、映像を表示するための第１データ（メインムービープレーンのデータ）とユーザーによって操作可能なオブジェクトを表示するための第２データ（インタラクティブプレーンのデータ）とを含むコンテンツデータを、シンク機器２０に送信する。コンテンツ処理部３２は、第２データをデコードする。シンク機器２０が受信したコンテンツデータを用いて映像とオブジェクトとを画面に表示しているとき、操作処理部３６は、オブジェクトに対するユーザー操作に応じて、デコードされた第２データを用いて、ユーザー操作に対応する処理を実行する。
【０１３７】
これにより、トランスコードされていない、オリジナルのコンテンツデータをシンク機器１０に送信する方式であっても、ソース機器１０で第２データ（インタラクティブプレーンのデータ）をデコードしておくことによって、当該ソース機器１０でオブジェクトに対するユーザー操作を認識し、そのユーザー操作を反映した動作を実現することができる。
【０１３８】
なお、図１７から図２６のフローチャートで説明した本実施形態の処理手順は全てソフトウェアによって実行することができる。このため、この処理手順を実行するプログラムを格納したコンピュータ読み取り可能な記憶媒体を通じてこのプログラムを通常のコンピュータにインストールして実行するだけで、本実施形態と同様の効果を容易に実現することができる。
【０１３９】
ここで説明したシステムの様々なモジュールは、ソフトウェアアプリケーション、ハードウェアおよび／またはソフトウェアのモジュール、あるいは、サーバのような１つ以上のコンピュータ上のコンポーネントとして実現することができる。様々なモジュールを別々に示したが、これらは、同一の根本的なロジックまたはコードのいくつかまたはすべてを共有することが可能である。
【０１４０】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【図１】
0006022076.tif 000002
【図２】
0006022076.tif 000003
【図３】
0006022076.tif 000004
【図４】
0006022076.tif 000005
【図５】
0006022076.tif 000006
【図６】
0006022076.tif 000007
【図７】
0006022076.tif 000008
【図８】
0006022076.tif 000009
【図９】
0006022076.tif 000010
【図１０】
0006022076.tif 000011
【図１１】
0006022076.tif 000012
【図１２】
0006022076.tif 000013
【図１３】
0006022076.tif 000014
【図１４】
0006022076.tif 000015
【図１５】
0006022076.tif 000016
【図１６】
0006022076.tif 000017
【図１７】
0006022076.tif 000018
【図１８】
0006022076.tif 000019
【図１９】
0006022076.tif 000020
【図２０】
0006022076.tif 000021
【図２１】
0006022076.tif 000022
【図２２】
0006022076.tif 000023
【図２３】
0006022076.tif 000024
【図２４】
0006022076.tif 000025
【図２５】
0006022076.tif 000026
【図２６】
0006022076.tif 000027