(57)【特許請求の範囲】
【請求項１】
コンテンツを映像および／または音声で提示する第１提示装置と一体であり、前記コンテンツに含まれるオブジェクトに対応し、前記コンテンツを映像および／または音声以外の代替の手段により提示する第２提示装置が接続されたコンテンツ受信装置に前記コンテンツを提供するコンテンツ提供システムであって、
前記コンテンツに含まれるオブジェクト毎に、前記オブジェクトを提示可能な前記第１提示装置及び前記第２提示装置毎に設定され、前記第１提示装置及び前記第２提示装置が前記オブジェクトを提示する手段である映像、音声、動作および演奏情報を示す提示メディアと、１つの前記オブジェクトを前記第１提示装置及び複数の前記第２提示装置で提示可能な場合には前記オブジェクトを提示する優先順序を示す優先度と、を少なくとも含む移動情報を、符号化する移動情報符号化手段、を備え、
符号化された前記移動情報を含む多重信号を前記コンテンツ受信装置に提供することを特徴とするコンテンツ提供システム。
【請求項２】
コンテンツを映像および／または音声で提示する第１提示装置と一体であり、前記コンテンツに含まれるオブジェクトに対応し、前記コンテンツを映像および／または音声以外の代替の手段により提示する第２提示装置が接続され、コンテンツ提供システムから前記コンテンツを受信するコンテンツ受信装置であって、
前記コンテンツに含まれるオブジェクト毎に、前記オブジェクトを提示可能な前記第１提示装置及び前記第２提示装置毎に設定され、前記第１提示装置及び前記第２提示装置が前記オブジェクトを提示する手段である映像、音声、動作および演奏情報を示す提示メディアと、１つの前記オブジェクトを前記第１提示装置及び複数の前記第２提示装置で提示可能な場合には前記オブジェクトを提示する優先順序を示す優先度と、を少なくとも含む移動情報を、復号化する移動情報復号化手段と、
復号化された前記移動情報に基づいて、前記オブジェクトを提示する第２提示装置を決定する第２提示装置決定手段と、を備え、
前記オブジェクトを、前記第２提示装置決定手段が決定した第２提示装置に提示することを特徴とするコンテンツ受信装置。
【請求項３】
コンテンツを映像および／または音声で提示する第１提示装置と一体であり、前記コンテンツに含まれるオブジェクトに対応し、前記コンテンツを映像および／または音声以外の代替の手段により提示する第２提示装置が接続されたコンテンツ受信装置に前記コンテンツを提供するコンテンツ提供方法であって、
前記コンテンツに含まれるオブジェクト毎に、前記オブジェクトを提示可能な前記第１提示装置及び前記第２提示装置毎に設定され、前記第１提示装置及び前記第２提示装置が前記オブジェクトを提示する手段である映像、音声、動作および演奏情報を示す提示メディアと、１つの前記オブジェクトを前記第１提示装置及び複数の前記第２提示装置で提示可能な場合には前記オブジェクトを提示する優先順序を示す優先度と、を少なくとも含む移動情報を、符号化する移動情報符号化ステップ、を含み、
符号化された前記移動情報を含む多重信号を前記コンテンツ受信装置に提供することを特徴とするコンテンツ提供方法。
【請求項４】
コンテンツを映像および／または音声で提示する第１提示装置と一体であり、前記コンテンツに含まれるオブジェクトに対応し、前記コンテンツを映像および／または音声以外の代替の手段により提示する第２提示装置が接続されたコンテンツ受信装置に、コンテンツ提供システムから前記コンテンツを受信するコンテンツ受信方法であって、
前記コンテンツに含まれるオブジェクト毎に、前記オブジェクトを提示可能な前記第１提示装置及び前記第２提示装置毎に設定され、前記第１提示装置及び前記第２提示装置が前記オブジェクトを提示する手段である映像、音声、動作および演奏情報を示す提示メディアと、１つの前記オブジェクトを前記第１提示装置及び複数の前記第２提示装置で提示可能な場合には前記オブジェクトを提示する優先順序を示す優先度と、を少なくとも含む移動情報を、復号化する移動情報復号化ステップと、
復号化された前記移動情報に基づいて、前記オブジェクトを提示する第２提示装置を決定する第２提示装置決定ステップと、を含み、
前記オブジェクトを、前記第２提示装置決定ステップで決定した第２提示装置に提示することを特徴とするコンテンツ受信方法。
【請求項５】
コンテンツを映像および／または音声で提示する第１提示装置と一体であり、前記コンテンツに含まれるオブジェクトに対応し、前記コンテンツを映像および／または音声以外の代替の手段により提示する第２提示装置が接続されたコンテンツ受信装置に前記コンテンツを提供するためのコンテンツ提供プログラムであって、
コンピュータに、請求項３に記載のコンテンツ提供方法を実現させることを特徴とするコンテンツ提供プログラム。
【請求項６】
請求項３に記載するコンテンツ提供方法によって提供されたコンテンツを受信するためのコンテンツ受信プログラムであって、
コンピュータに、請求項４に記載のコンテンツ受信方法を実現させることを特徴とするコンテンツ受信プログラム。
【請求項７】
前記第１提示装置は、音声出力装置を含むＴＶディスプレイであり、
前記第２提示装置は、手足の動作および音声の出力が可能なぬいぐるみであることを特徴とする請求項１に記載のコンテンツ提供システム。
【請求項８】
前記第１提示装置は、音声出力装置を含むＴＶディスプレイであり、
前記第２提示装置は、手足の動作および音声の出力が可能なぬいぐるみであることを特徴とする請求項２に記載のコンテンツ受信装置。
【請求項９】
前記第１提示装置は、音声出力装置を含むＴＶディスプレイであり、
前記第２提示装置は、手足の動作および音声の出力が可能なぬいぐるみであることを特徴とする請求項３に記載のコンテンツ提供方法。
【請求項１０】
前記第１提示装置は、音声出力装置を含むＴＶディスプレイであり、
前記第２提示装置は、手足の動作および音声の出力が可能なぬいぐるみであることを特徴とする請求項４に記載のコンテンツ受信方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、娯楽性に富むコンテンツを提供するコンテンツ提供システム、コンテンツ受信装置、コンテンツ提供方法、コンテンツ受信方法、コンテンツ提供プログラムおよびコンテンツ受信プログラムに関する。
【０００２】
【従来の技術】
近年、デジタル放送やインターネットによるコンテンツの配信により、従来のテレビジョン（以下、ＴＶと記載する）放送と比較すると、利用者にとっては満足度の高い映像や音声が提供されるようになった。また、データ放送により、利用者との双方向通信も可能となり、利用者の満足度を更に高めている。
【０００３】
データ放送は、ＴＶ放送等の映像や音声による主サービスにデータによる付加情報を加えて各種サービスを行うものであり、そのデータによる付加情報の提示を主サービスの映像や音声を提示する装置（例えば、ＴＶ受信機）で行っている。最近、データ放送の中には、主サービスの映像や音声を提示する装置以外の各種装置を制御するものもあるが、その各種装置を制御するための付加情報によって主サービスの映像や音声を変化させるものではない。
【０００４】
また、コンテンツに含まれるオブジェクトを抽出して映像や音声を符号化する技術も開発されている。この符号化技術は、主に高能率符号化を目的としたものであり、オブジェクトの映像や音声のデータを効率的に符号化する技術である。したがって、この符号化技術は、映像や音声を出力する提示装置以外の提示装置でオブジェクトを提示することを目的としてデータを符号化するのではなく、映像や音声を出力する提示装置内に閉じたデータの符号化技術である。
【０００５】
【発明が解決しようとする課題】
しかしながら、従来のコンテンツを提供するサービスには、コンテンツに含まれるキャラクタ等のオブジェクトを、主サービスの映像や音声を提示する装置以外の各種装置に移動させて提示するようなサービスはない。このようなサービスが実現すると、キャラクタ等がＴＶ画面から飛び出してくるといったことができ、臨場感に溢れるとともに娯楽性に富んだコンテンツとなる。
【０００６】
従来のデータ放送における技術は、主サービスの映像や音声を提示する装置以外の各種装置を制御することができ、主サービスの映像や音声に情報を付加することを前提とした技術である。したがって、主サービスの映像や音声からオブジェクトを取り出して、そのオブジェクトを主サービスの映像や音声を提示する装置以外の各種装置に提示させるようなことはできない。また、従来のオブジェクトの符号化技術やサーバ型放送における映像や音声のシーンオブジェクトの代替技術は、コンテンツに含まれるオブジェクトを符号化することはできるが、１台の提示装置内で扱うデータを対象とした技術である。したがって、その符号化によって、オブジェクトが主となる提示装置以外の提示装置に移動させるような符号化を行うことはできない。
【０００７】
そこで、本発明の課題は、コンテンツに含まれるオブジェクトを提示装置間で移動させて提示可能なコンテンツ提供システム、コンテンツ受信装置、コンテンツ提供方法、コンテンツ受信方法、コンテンツ提供プログラムおよびコンテンツ受信プログラムを提供することにある。
【０００８】
【課題を解決するための手段】
前記課題を解決した本発明の請求項１に係るコンテンツ提供システムは、コンテンツを映像および／または音声で提示する第１提示装置と一体であり、前記コンテンツに含まれるオブジェクトに対応し、前記コンテンツを映像および／または音声以外の代替の手段により提示する第２提示装置が接続されたコンテンツ受信装置に前記コンテンツを提供するコンテンツ提供システムであって、前記コンテンツに含まれるオブジェクト毎に、前記オブジェクトを提示可能な前記第１提示装置及び前記第２提示装置毎に設定され、前記第１提示装置及び前記第２提示装置が前記オブジェクトを提示する手段である映像、音声、動作および演奏情報を示す提示メディアと、１つの前記オブジェクトを前記第１提示装置及び複数の前記第２提示装置で提示可能な場合には前記オブジェクトを提示する優先順序を示す優先度と、を少なくとも含む移動情報を、符号化する移動情報符号化手段、を備え、符号化された前記移動情報を含む多重信号を前記コンテンツ受信装置に提供することを特徴とする。
【０００９】
本発明の請求項２に係るコンテンツ受信装置は、コンテンツを映像および／または音声で提示する第１提示装置と一体であり、前記コンテンツに含まれるオブジェクトに対応し、前記コンテンツを映像および／または音声以外の代替の手段により提示する第２提示装置が接続され、コンテンツ提供システムから前記コンテンツを受信するコンテンツ受信装置であって、前記コンテンツに含まれるオブジェクト毎に、前記オブジェクトを提示可能な前記第１提示装置及び前記第２提示装置毎に設定され、前記第１提示装置及び前記第２提示装置が前記オブジェクトを提示する手段である映像、音声、動作および演奏情報を示す提示メディアと、１つの前記オブジェクトを前記第１提示装置及び複数の前記第２提示装置で提示可能な場合には前記オブジェクトを提示する優先順序を示す優先度と、を少なくとも含む移動情報を、復号化する移動情報復号化手段と、復号化された前記移動情報に基づいて、前記オブジェクトを提示する第２提示装置を決定する第２提示装置決定手段と、を備え、前記オブジェクトを、前記第２提示装置決定手段が決定した第２提示装置に提示することを特徴とする。
【００１０】
本発明の請求項３に係るコンテンツ提供方法は、コンテンツを映像および／または音声で提示する第１提示装置と一体であり、前記コンテンツに含まれるオブジェクトに対応し、前記コンテンツを映像および／または音声以外の代替の手段により提示する第２提示装置が接続されたコンテンツ受信装置に前記コンテンツを提供するコンテンツ提供方法であって、前記コンテンツに含まれるオブジェクト毎に、前記オブジェクトを提示可能な前記第１提示装置及び前記第２提示装置毎に設定され、前記第１提示装置及び前記第２提示装置が前記オブジェクトを提示する手段である映像、音声、動作および演奏情報を示す提示メディアと、１つの前記オブジェクトを前記第１提示装置及び複数の前記第２提示装置で提示可能な場合には前記オブジェクトを提示する優先順序を示す優先度と、を少なくとも含む移動情報を、符号化する移動情報符号化ステップ、を含み、符号化された前記移動情報を含む多重信号を前記コンテンツ受信装置に提供することを特徴とする。
【００１１】
本発明の請求項４に係るコンテンツ受信方法は、コンテンツを映像および／または音声で提示する第１提示装置と一体であり、前記コンテンツに含まれるオブジェクトに対応し、前記コンテンツを映像および／または音声以外の代替の手段により提示する第２提示装置が接続されたコンテンツ受信装置に、コンテンツ提供システムから前記コンテンツを受信するコンテンツ受信方法であって、前記コンテンツに含まれるオブジェクト毎に、前記オブジェクトを提示可能な前記第１提示装置及び前記第２提示装置毎に設定され、前記第１提示装置及び前記第２提示装置が前記オブジェクトを提示する手段である映像、音声、動作および演奏情報を示す提示メディアと、１つの前記オブジェクトを前記第１提示装置及び複数の前記第２提示装置で提示可能な場合には前記オブジェクトを提示する優先順序を示す優先度と、を少なくとも含む移動情報を、復号化する移動情報復号化ステップと、復号化された前記移動情報に基づいて、前記オブジェクトを提示する第２提示装置を決定する第２提示装置決定ステップと、を含み、前記オブジェクトを、前記第２提示装置決定ステップで決定した第２提示装置に提示することを特徴とする。
【００１２】
本発明の請求項５に係るコンテンツ提供プログラムは、コンテンツを映像および／または音声で提示する第１提示装置と一体であり、前記コンテンツに含まれるオブジェクトに対応し、前記コンテンツを映像および／または音声以外の代替の手段により提示する第２提示装置が接続されたコンテンツ受信装置に前記コンテンツを提供するためのコンテンツ提供プログラムであって、コンピュータに、請求項３に記載のコンテンツ提供方法を実現させることを特徴とする。
【００１３】
本発明の請求項６に係るコンテンツ受信プログラムは、請求項３に記載するコンテンツ提供方法によって提供されたコンテンツを受信するためのコンテンツ受信プログラムであって、コンピュータに、請求項４に記載のコンテンツ受信方法を実現させることを特徴とする。
【００１４】
本発明の請求項７に係るコンテンツ提供システムは、請求項１に記載のコンテンツ提供システムにおいて、前記第１提示装置は、音声出力装置を含むＴＶディスプレイであり、前記第２提示装置は、手足の動作および音声の出力が可能なぬいぐるみであることを特徴とする。
【００１５】
本発明の請求項８に係るコンテンツ受信装置は、請求項２に記載のコンテンツ受信装置において、前記第１提示装置は、音声出力装置を含むＴＶディスプレイであり、前記第２提示装置は、手足の動作および音声の出力が可能なぬいぐるみであることを特徴とする。
【００１６】
本発明の請求項９に係るコンテンツ提供方法は、請求項３に記載のコンテンツ提供方法において、前記第１提示装置は、音声出力装置を含むＴＶディスプレイであり、前記第２提示装置は、手足の動作および音声の出力が可能なぬいぐるみであることを特徴とする。
【００１７】
本発明の請求項１０に係るコンテンツ受信方法は、請求項４に記載のコンテンツ受信方法において、前記第１提示装置は、音声出力装置を含むＴＶディスプレイであり、前記第２提示装置は、手足の動作および音声の出力が可能なぬいぐるみであることを特徴とする。
【００１９】
なお、第１提示装置は、コンテンツを映像および／または音声で出力する装置であり、例えば、ＴＶディスプレイ（音声出力装置を含む）、コンピュータのディスプレイや音声出力装置、ラジオ等がある。また、第２提示装置は、コンテンツに含まれるオブジェクトの映像および／または音声を代替の手段により提示することができるとともに外部から制御可能な装置であり、例えば、ＰＤＡ[personal digital assistant]等の端末、発声や動作可能なぬいぐるみ、ロボット、自動で演奏を行う自動楽器、電話、目覚まし時計等がある。また、オブジェクトは、映像および／または音声で提示されるコンテンツにおいてその映像および／または音声を代替の手段でも提示可能なものであり、例えば、人間、動物、動物やアニメ等の各種キャラクタ、人形、楽器、電話、目覚まし時計等がある。また、代替オブジェクトは、第１提示装置で提示しているコンテンツからオブジェクトを第２提示装置に移動させた場合にそのオブジェクトが抜けた後に代わって提示する他のオブジェクトであり、例えば、移動させたオブジェクトに隠れていた他のオブジェクト等がある。また、付随オブジェクトは、第２提示装置にオブジェクトを移動させた場合にそのオブジェクトに付随して提示され、その付随オブジェクトだけでは提示されないオブジェクトであり、例えば、移動させたオブジェクトの背景、移動させたオブジェクトに対する効果音等がある。
【００２０】
【発明の実施の形態】
以下、図面を参照して、本発明に係るコンテンツ提供システム、コンテンツ受信装置、コンテンツ提供方法、コンテンツ受信方法、コンテンツ提供プログラムおよびコンテンツ受信プログラムの実施の形態について説明する。
【００２１】
本発明は、コンテンツの映像や音声を楽しむ利用者の満足度を更に高めるために、コンテンツに含まれるオブジェクトをそのコンテンツを提示している提示装置から別の提示装置に移動して提示させる。そのために、本発明では、第１提示装置で提示するコンテンツからオブジェクトを分離した映像および／または音声の情報を符号化するとともに、オブジェクトを第２提示装置で提示するための情報を移動先の第２提示装置毎かつオブジェクト毎に分離して符号化する。さらに、本発明では、受信側においてオブジェクトを提示する第２提示装置を決定するために、オブジェクトが移動対象であることの情報、移動提示可能な第２提示装置の情報および移動提示可能な第２提示装置が複数ある場合には移動の優先度の情報からなる移動情報を符号化する。
【００２２】
本実施の形態では、デジタルＴＶ放送によってコンテンツ（ＴＶ番組）を配信するコンテンツ提供システムとその放送によりコンテンツを受信する受信機に本発明を適用する。本実施の形態では、説明を簡単化するために、オブジェクトとしては動物等のキャラクタおよびピアノ等の楽器とし、第１提示装置としてはＴＶディスプレイ（音声出力装置を含む）とし、第２提示装置としてはＰＤＡ等の端末、キャラクタ（オブジェクト）に対応するぬいぐるみおよび楽器（オブジェクト）に対応する自動楽器とする。キャラクタは、第２提示装置が接続されていない場合にはＴＶディスプレイに提示され、端末が接続されている場合には端末に提示され、あるいは、キャラクタのぬいぐるみが接続されている場合にはぬいぐるみで提示される。楽器は、第２提示装置が接続されていない場合にはＴＶディスプレイに提示され、端末が接続されている場合には端末に提示され、あるいは、自動楽器が接続されている場合には自動楽器で提示される。端末とは、例えば、視聴者が手元におく小型画面付きリモコンであり、映像および音声の出力が可能である。ぬいぐるみとは、制御機能付きであり、手足等の動作および音声の出力が可能である。自動楽器とは、制御機能付きであり、楽器の自動演奏が可能である。
【００２３】
本実施の形態に係るコンテンツ提供システムは、ＴＶ放送局に構成されており、地上波放送あるいは衛星放送によりコンテンツを配信するシステムである。ＴＶ放送局は、数ＭＨｚの伝送帯域の１つのチャンネルが割り当てられており、ドラマ、スポーツ、バラエティ、ニュース等の様々なＴＶ番組のコンテンツを提供する放送局である。コンテンツ提供システムでは、このコンテンツを提供するために、コンテンツからオブジェクトを分離したデータおよびオブジェクトのデータ等を符号化し、さらに多重化した多重信号（デジタル放送信号）を生成する。
【００２４】
また、本実施の形態に係るコンテンツ提供システムは、コンピュータによって多重信号を生成するための主要な処理を行っている。このコンピュータは、コンテンツ提供プログラムがインストールされており、このコンテンツ提供プログラムを実行することによって後記する各手段（各部）を構成する。
【００２５】
本実施の形態に係るコンテンツ提供システムの構成について説明するが、本実施の形態では、オブジェクトが２つの場合、オブジェクトが２つで代替オブジェクトおよび付随オブジェクトがある場合、オブジェクトが１つで従来のデジタルＴＶ放送受信機との互換性を考慮した場合の３つの例について説明する。なお、コンテンツ提供システムの構成は、オブジェクトの個数や種類、オブジェクトを移動提示可能な提示装置の個数や種類、代替オブジェクト、付随オブジェクト等によって適宜代わる。
【００２６】
図１を参照して、オブジェクト（キャラクタと楽器）が２つの場合のコンテンツ提供システム１Ａの構成について説明する。図１は、コンテンツ提供システム１Ａの構成図であり、オブジェクトが２つの場合である。
【００２７】
コンテンツ提供システム１Ａでは、ＴＶディスプレイで提示するコンテンツのオブジェクト（キャラクタ、楽器）および背景の映像および音声の情報、オブジェクトを提示可能な提示装置（ＴＶディスプレイ、端末、ぬいぐるみ、自動楽器）毎かつオブジェクト毎に各提示装置で提示させるための情報およびオブジェクトをどの提示装置に移動させるかの情報をそれぞれ符号化する。さらに、コンテンツ提供システム１Ａでは、符号化した全ての情報を多重化して、多重信号を生成する。そして、コンテンツ提供システム１Ａでは、この多重信号を配信する。なお、オブジェクトには、キャラクタと楽器の他に、背景のオブジェクトも含む。この際、背景を含む各オブジェクトの符号化では、他のオブジェクトの陰になる部分を含む完全な情報として符号化する必要がある。
【００２８】
多重信号を生成するために、コンテンツ提供システム１Ａは、オブジェクト符号化手段１１Ａ、移動情報符号化手段１２Ａおよび多重化手段１３Ａを備えている。
【００２９】
オブジェクト符号化手段１１Ａについて説明する。
オブジェクト符号化手段１１Ａは、ＴＶディスプレイ、端末、ぬいぐるみおよび自動楽器の提示メディア毎に、各装置で提示可能なオブジェクト（背景、キャラクタ、楽器）の情報を分離して符号化する手段である。そのために、オブジェクト符号化手段１１Ａには、背景・主映像符号化部１１ａ、背景・主音声符号化部１１ｂ、オブジェクト１・主映像符号化部１１ｃ、オブジェクト１・主音声符号化部１１ｄ、オブジェクト２・主映像符号化部１１ｅ、オブジェクト２・主音声符号化部１１ｆ、主映像・配置情報符号化部１１ｇ、オブジェクト１・別映像符号化部１１ｈ、オブジェクト１・別音声符号化部１１ｉ、オブジェクト２・別映像符号化部１１ｊ、オブジェクト２・別音声符号化部１１ｋ、別映像・配置情報符号化部１１ｌ、オブジェクト１・ぬいぐるみ動作符号化部１１ｍ、オブジェクト１・ぬいぐるみ音声符号化部１１ｎおよびオブジェクト２・演奏情報符号化部１１ｏが構成される。
なお、本実施の形態では、背景・主映像符号化部１１ａおよび背景・主音声符号化部１１ｂが特許請求の範囲に記載するオブジェクト分離コンテンツ符号化手段に相当する。
【００３０】
背景・主映像符号化部１１ａは、キャラクタおよび楽器が抜けた後の部分も含む背景の映像データを符号化する。ちなみに、背景の映像データは、ＴＶカメラ（図示せず）の撮影において、キャラクタおよび楽器がない状態で撮影した映像データ、ＴＶカメラで撮影した映像から動き部分を除去して静止部分のみを抽出したデータ、バーチャルスタジオ等ではその背景部品のデータ等が使用される。
【００３１】
背景・主音声符号化部１１ｂは、キャラクタおよび楽器が発す音声がない場合に聞こえる音声データを符号化する。ちなみに、背景の音声データは、ＴＶカメラ（図示せず）の撮影において、キャラクタおよび楽器がない状態で収録した音声データが使用される。
【００３２】
オブジェクト１・主映像符号化部１１ｃは、例えば、ＴＶカメラ（図示せず）でコンテンツのオブジェクト毎に別々に撮影して、そのキャラクタの映像データを符号化する。
【００３３】
オブジェクト１・主音声符号化部１１ｄは、例えば、マイクロフォン（図示せず）でコンテンツのオブジェクト毎に別々に収音して、そのキャラクタの音声データを符号化する。
【００３４】
オブジェクト２・主映像符号化部１１ｅは、例えば、ＴＶカメラ（図示せず）でコンテンツのオブジェクト毎に別々に撮影して、その楽器の映像データを符号化する。
【００３５】
オブジェクト２・主音声符号化部１１ｆは、例えば、マイクロフォン（図示せず）でコンテンツのオブジェクト毎に別々に収音して、その楽器の音声データを符号化する。
【００３６】
主映像・配置情報符号化部１１ｇは、背景の映像の中にオブジェクトを配置する場合のオブジェクトがどのオブジェクトの手前にあるか等のオブジェクトの配置に関する主映像オブジェクト配置情報を符号化する。配置情報は、最も単純には、各オブジェクトがどのような順番で重なっているかという情報である。
【００３７】
オブジェクト１・別映像符号化部１１ｈは、例えば、ＴＶカメラ（図示せず）でコンテンツのオブジェクト毎に別々に撮影して、端末に適した符号化方式により、そのキャラクタの映像データを符号化する。なお、この符号化データはオブジェクト１・主映像符号化部１１ｃで符号化されたデータと共有できる場合があり、この場合にはオブジェクト１・別映像符号化部１１ｈでの処理は行われない。
【００３８】
オブジェクト１・別音声符号化部１１ｉは、例えば、マイクロフォン（図示せず）でコンテンツのオブジェクト毎に別々に収音して、端末に適した符号化方式により、そのキャラクタの音声データを符号化する。なお、この符号化データはオブジェクト１・主音声符号化部１１ｄで符号化されたデータと共有できる場合があり、この場合にはオブジェクト１・別音声符号化部１１ｉでの処理は行われない。
【００３９】
オブジェクト２・別映像符号化部１１ｊは、例えば、ＴＶカメラ（図示せず）でコンテンツのオブジェクト毎に別々に撮影して、端末に適した符号化方式により、その楽器の映像データを符号化する。なお、この符号化データはオブジェクト２・主映像符号化部１１ｅで符号化されたデータと共有できる場合があり、この場合にはオブジェクト２・別映像符号化部１１ｉでの処理は行われない。
【００４０】
オブジェクト２・別音声符号化部１１ｋは、例えば、マイクロフォン（図示せず）でコンテンツのオブジェクト毎に別々に収音して、端末に適した符号化方式により、その楽器の音声データを符号化する。なお、この符号化データはオブジェクト２・主音声符号化部１１ｆで符号化されたデータと共有できる場合があり、この場合にはオブジェクト２・別音声符号化部１１ｋでの処理は行われない。
【００４１】
別映像・配置情報符号化部１１ｌは、端末にオブジェクトを配置する場合のオブジェクトがどのオブジェクトの手前にあるか等のオブジェクトの配置に関する別映像オブジェクト配置情報を、端末に適した符号化方式により別映像オブジェクト配置情報を符号化する。ただし、オブジェクト毎に専用の端末を有する場合には、別映像オブジェクト配置情報は必要ないので、別映像・配置情報符号化部１１ｌでの処理は行われない。
【００４２】
オブジェクト１・ぬいぐるみ動作符号化部１１ｍは、キャラクタの動作に対応するぬいぐるみで可能な動作に必要な情報を生成し、その動作の情報をぬいぐるみを制御するための情報に変換する。さらに、オブジェクト１・ぬいぐるみ動作符号化部１１ｍは、ぬいぐるみに適した符号化方式により、その動作の制御情報を符号化する。
【００４３】
オブジェクト１・ぬいぐるみ音声符号化部１１ｎは、例えば、マイクロフォン（図示せず）でコンテンツのオブジェクト毎に別々に収音する。そして、オブジェクト１・ぬいぐるみ音声符号化部１１ｎは、そのキャラクタの音声に対応するぬいぐるみで出力可能な音声に必要な情報を生成し、その音声の情報をぬいぐるみを制御するための情報に変換する。さらに、オブジェクト１・ぬいぐるみ音声符号化部１１ｎは、ぬいぐるみに適した符号化方式により、その音声の制御情報を符号化する。なお、この符号化データはオブジェクト１・主音声符号化部１１ｄで符号化されたデータと共有できる場合があり、この場合にはオブジェクト１・ぬいぐるみ音声符号化部１１ｎでの処理は行われない。
【００４４】
オブジェクト２・演奏符号化部１１ｏは、楽器の音声に対応する自動楽器で出力可能な演奏に必要な情報を生成し、その演奏の情報を自動楽器を制御するための情報に変換する。さらに、オブジェクト２・演奏情報符号化部１１ｏは、自動楽器に適した符号化方式により、その演奏の制御情報を符号化する。
【００４５】
以上、オブジェクト毎に別々に撮影あるいは収音することを基本として説明したが、オブジェクト抽出技術を用いて撮影された映像からオブジェクトを分離して符号化したり、例えば、ＣＧやバーチャルスタジオ等ではオブジェクト部分ごとに符号化したり等の方法を用いてもよい。
【００４６】
図２も参照して、移動情報符号化手段１２Ａについて説明する。図２は、図１に示す場合の移動情報の構成を示す図であり、（ａ）がオブジェクト１（キャラクタ）の移動情報であり、（ｂ）がオブジェクト２（楽器）の移動情報である。
【００４７】
移動情報符号化手段１２Ａは、受信側においてオブジェクトをどの提示装置で提示するかを決定するために必要な移動情報を符号化する手段である。そのために、移動情報符号化手段１２Ａには、オブジェクト１・移動情報符号化部１２ａおよびオブジェクト２・移動情報符号化部１２ｂが構成される。
【００４８】
図２を参照して、移動情報について説明しておく。
移動情報は、どのオブジェクトが移動対象であるかを示すために移動対象となるオブジェクト毎に設定される。さらに、オブジェクト毎の移動情報は、そのオブジェクトをどの提示装置で移動提示することができるかを示すために移動提示可能な提示装置毎に設定され、その提示装置毎に優先度、提示メディア、論理提示信号および物理提示信号の情報を有している。
【００４９】
優先度は、１つのオブジェクトを複数の提示装置（ＴＶディスプレイを含めて）で提示可能な場合に提示する優先順序を示すものであり、図２の例では０がデフォルトで数字が大きくなるほど優先度が高いことを表している。
【００５０】
提示装置は、本実施の形態ではＴＶディスプレイ、端末、ぬいぐるみ、自動楽器等があり、その情報をコード化して表現してもよい。
【００５１】
提示メディアは、各提示装置において提示する手段（ひいては、その手段で提示するために必要なデータの種別）を表し、ＭＰＥＧ−２多重方式（ＩＳＯ／ＩＥＣ１３８１８−１）やＡＲＩＢ（電波産業会）番組配列情報方式（ＡＲＩＢ  ＳＴＤ−Ｂ１０）における「ストリーム形式識別」や「データ符号化方式識別」等と同等の機能を持ち、その情報をコード化して表現してもよい。ちなみに、ＴＶディスプレイおよび端末の提示メディアは、映像および音声である。ぬいぐるみの提示メディアは、動作および音声である。自動楽器の提示メディアは、演奏情報である。
【００５２】
論理提示信号は、オブジェクト符号化手段１１Ａにおいて分離して符号化した各データの論理的な構成を示しており、物理提示信号が設定されている場合には特に必要のない信号である。ちなみに、ＴＶディスプレイの論理提示信号は、キャラクタに対してオブジェクト１主映像とオブジェクト１主音声であり、楽器に対してオブジェクト２主映像とオブジェクト２主音声である。端末の論理提示信号は、キャラクタに対してオブジェクト１別映像とオブジェクト１別音声であり、楽器に対してはオブジェクト２別映像とオブジェクト２別音声である。ぬいぐるみの論理提示信号は、キャラクタに対してオブジェクト１ぬいぐるみ動作とオブジェクト１ぬいぐるみ音声である。自動楽器の論理提示信号は、楽器に対してオブジェクト２演奏情報である。
【００５３】
物理提示信号は、オブジェクト符号化手段１１Ａにおいて分離して符号化した各データの実体を示しており、実質的にはＭＰＥＧ−２多重方式やＡＲＩＢ番組配列情報方式における「ＥＳ＿ｐｉｄ[Elementary Stream Packet Identifier]」や「コンポーネントタグ」のような各符号化データへのポインタの情報である。ちなみに、ＴＶディスプレイの物理提示信号は、キャラクタに対してオブジェクト１主映像とオブジェクト１主音声の各符号化データへのポインタであり、楽器に対してオブジェクト２主映像とオブジェクト２主音声の各符号化データへのポインタである。端末の物理提示信号は、端末ではＴＶディスプレイと符号化データを共有するので、ＴＶディスプレイと同じ物理提示信号である。ぬいぐるみの物理提示信号は、ぬいぐるみでは音声のみＴＶディスプレイと符号化データを共有するので、キャラクタに対してオブジェクト１ぬいぐるみ動作とオブジェクト１主音声の各符号化データへのポインタである。自動楽器の物理提示信号は、楽器に対してオブジェクト２演奏情報の符号化データへのポインタである。
【００５４】
移動情報符号化手段１２Ａの説明に戻って、オブジェクト１・移動情報符号化部１２ａは、図２（ａ）に示すキャラクタの移動情報を生成する。そして、オブジェクト１・移動情報符号化部１２ａは、そのキャラクタの移動情報を符号化する。
【００５５】
オブジェクト２・移動情報符号化部１２ｂは、図２（ｂ）に示す楽器の移動情報を生成する。そして、オブジェクト２・移動情報符号化部１２ｂは、その楽器の移動情報を符号化する。
【００５６】
多重化手段１３Ａについて説明する。
多重化手段１３Ａは、各符号化手段１１Ａ，１２Ａで符号化した全てのデータを、その符号化データに応じた最適な伝送方式により多重化して多重信号に変換する。このとき、多重化手段１３Ａでは、各データや各情報に対する符号化方式の情報等を格納した制御情報も多重化している。さらに、変調器（図示せず）において、多重信号をＯＦＤＭ[Orthogonal Frequency Division Multiplexing]（直交周波数分割多重）変調方式等によりデジタル変調を施す。そして、このデジタル変調された多重信号は、アンテナ（図示せず）から配信される。
【００５７】
ここで、符号化方式と伝送方式についてもう少し詳しく説明する。符号化方式としては、各提示装置やデータ（情報）の種類等を考慮して、各オブジェクトの提示メディア毎、配置情報、移動情報に応じて最適な方式を採用する。このように符号化方式を最適な方式を用いることにより、リアルタイム性や符号化効率等に優れた符号化を行うことができる。また、伝送方式としては、符号化方式に応じてリアルタイム性に優れる方式を採用する。
【００５８】
オブジェクトの符号化伝送方式について説明する。
オブジェクトの符号化方式は、特に限定しないが、映像、音声、動作情報、演奏情報毎にかつ提示装置毎に適した符号化方式を採用し、例えば、ＭＰＥＧ−２符号化方式やＭＰＥＧ−４符号化方式等である。また、オブジェクトの伝送方式は、符号化方式に応じて伝送方式を採用し、例えば、ＰＥＳ形式等によりオブジェクト間の同期が可能な方式が適切である。ちなみに、映像符号化方式としてＭＰＥＧ−４を採用する場合には、各オブジェクト毎に別々に符号化することなく、1つの提示メディアについて複数のオブジェクトをまとめて符号化することも可能である。なお、最終的には受信機においてオブジェクトを重ね合わせて提示する必要があるので、特に映像符号化においては、通常のＲＧＢやＹＰｂＰｒの３つの情報（カラーの場合）に対しての符号化に加えて、オブジェクトの形状を表わすためのもう１つの情報に対する符号化も必要である。
【００５９】
オブジェクトの配置情報の符号化伝送方式について説明する。
配置情報の符号化方式は、特に限定しないが、配置情報にかつ提示装置に適した符号化方式を採用する。また、配置情報の伝送方式は、符号化方式に応じて伝送方式を採用し、例えば、ＭＰＥＧ−２多重方式やＡＲＩＢ番組配列情報方式におけるＰＳＩ／ＳＩに符号化して伝送する方式、バイナリあるいはＸＭＬ[Extensible Markup Language]で符号化して、ＰＥＳ、専用テーブル、ＤＳＭ−ＣＣ[Digital Storage Media Command and Control]（データカルーセル、オブジェクトカルーセル）方式等で伝送する方式がある。この際、オブジェクト間の同期ほど厳密さは要求されないものの、オブジェクトの配置の動的な変化にも対応しようとする場合には、ある程度リアルタイム性のある伝送方式であるＰＳＩ／ＳＩ方式やＰＥＳ方式が望ましい。ちなみに、ＰＳＩ／ＳＩ方式は秒単位程度の準リアルタイム性までの方式であり、さらに時間精度の高いリアルタイム性が要求される場合にはＰＥＳ方式が適している。なお、映像符号化の１つの情報として、オブジェクトの奥行きの符号化を行うことにより、これを配置情報として扱うことも選択肢の1つである。この方法により、配置情報の符号化を行えば、配置情報のリアルタイム性はもちろん、オブジェクトの複雑な重なり合いを表現することも可能である。
【００６０】
移動情報の符号化伝送方式について説明する。
移動情報の符号化方式は、特に限定しないが、移動情報に適した符号化方式を採用する。また、移動情報の伝送方式は、符号化方式に応じて伝送方式を採用し、例えば、ＭＰＥＧ−２多重方式やＡＲＩＢ番組配列情報方式におけるＰＳＩ／ＳＩに符号化して伝送する方式、バイナリあるいはＸＭＬで符号化して、ＰＥＳ、専用テーブル、ＤＳＭ−ＣＣ方式等で伝送する方式がある。この際、オブジェクト間の同期ほど厳密さは要求されないものの、オブジェクト構成の動的な変化にも対応しようとする場合には、ある程度リアルタイム性のある伝送方式であるＰＳＩ／ＳＩ方式やＰＥＳ方式が望ましい。
【００６１】
また、オブジェクトの符号化データの共用についてももう少し詳しく説明する。例えば、端末を使って提示する際の別映像や別音声は、ＴＶディスプレイと提示メディアが同じであるので、ＴＶディスプレイで提示する主映像や主音声のデータをそのまま利用することができる。また、ぬいぐるみの音声についても、ぬいぐるみがしゃべっているように音が出さえすればよいので、特別な音声信号でなくても、ＴＶディスプレイの主音声と同じデータを利用できる場合がある。こうした場合には、同じデータを別の提示装置用のデータとして重複して符号化および伝送する必要はなく、同じ符号化データの実体を利用すればよい。そのために、物理提示信号を同じ信号で設定する。例えば、図２（ａ）に示すキャラクタの移動情報の例では、端末の別映像および別音声の物理提示信号をＴＶディスプレイの主映像および主音声の物理提示信号で設定し、ぬいぐるみの音声の物理提示信号をＴＶディスプレイの主音声の物理提示信号で設定している。また、図２（ｂ）に示す楽器の移動情報の例では、端末の別映像および別音声の物理提示信号をＴＶディスプレイの主映像および主音声の物理提示信号で設定している。
【００６２】
以上の構成を有するコンテンツ提供システム１Ａでは、キャラクタと楽器を含むあるコンテンツを配信する場合、以下のように動作する。コンテンツ提供システム１Ａでは、オブジェクト符号化手段１１Ａによって、ＴＶディスプレイに提示するための背景、キャラクタ、楽器の主映像および主音声ならびに主映像の配置情報を符号化し（ただし、この符号化は、端末に提示するためのキャラクタと楽器の別映像および別音声の符号化ならびにぬいぐるみに提示するためのぬいぐるみ音声の符号化を兼ねている。）、端末に提示するための別映像の配置情報を符号化し、ぬいぐるみに提示するためのぬいぐるみ動作を符号化し、自動楽器に提示するための演奏情報を符号化する。さらに、コンテンツ提供システム１Ａでは、移動情報符号化手段１２Ａによって、キャラクタに対する移動情報および楽器に対する移動情報を生成し、各移動情報を符号化する。そして、コンテンツ提供システム１Ａでは、多重化手段１３Ａによって、符号化した全てのデータを多重化する。
【００６３】
このコンテンツ提供システム１Ａによれば、あるコンテンツに含まれるオブジェクトであるキャラクタおよび楽器を、ＴＶディスプレイ以外の提示装置である端末あるいはぬいぐるみや自動楽器に移動させて提示するために必要な情報を含む多重信号を生成することができる。さらに、このコンテンツ提供システム１Ａによれば、キャラクタと楽器に対して移動情報を設定しているので、受信側においてどのオブジェクトをどの提示装置に提示すればよいのかを決定することができる。また、このコンテンツ提供システム１Ａによれば、映像におけるオブジェクトの配置情報を設定しているので、受信側において複数のオブジェクトを重ねて表示する場合にその重ねる順番を決定することができる。
【００６４】
図３を参照して、オブジェクト（キャラクタと楽器）が２つで代替オブジェクトおよび付随オブジェクトがある場合のコンテンツ提供システム１Ｂの構成について説明する。図３は、コンテンツ提供システム１Ｂの構成図であり、オブジェクトが２つで代替オブジェクトおよび付随オブジェクトがある場合である。なお、コンテンツ提供システム１Ｂの構成において、図１に示すコンテンツ提供システム１Ａと同様の構成については同一の符号を付し、その説明を省略する。
【００６５】
コンテンツ提供システム１Ｂでは、ＴＶディスプレイで提示するコンテンツのオブジェクト（キャラクタ、楽器）および背景の映像および音声の情報、オブジェクトを提示可能な提示装置（ＴＶディスプレイ、端末、ぬいぐるみ、自動楽器）毎かつオブジェクト毎に各提示装置で提示させるための情報およびオブジェクトをどの提示装置に移動させるかの情報をそれぞれ符号化する。さらに、コンテンツ提供システム１Ｂでは、符号化した全ての情報を多重化して、多重信号を生成する。そして、コンテンツ提供システム１Ｂでは、この多重信号を配信する。なお、オブジェクトには、キャラクタと楽器の他に、背景も含む。また、ＴＶディスプレイに提示するオブジェクトには、コンテンツからキャラクタや楽器が抜けた後にこれらのオブジェクトに代わる代替オブジェクトを設けている。また、端末に提示するオブジェクトには、そのオブジェクトの背景として付随背景を設けている。
【００６６】
多重信号を生成するために、コンテンツ提供システム１Ｂは、オブジェクト符号化手段１１Ｂ、移動情報符号化手段１２Ｂおよび多重化手段１３Ｂを備えている。
【００６７】
オブジェクト符号化手段１１Ｂについて説明する。
オブジェクト符号化手段１１Ｂは、ＴＶディスプレイ、端末、ぬいぐるみおよび自動楽器の提示メディア毎に、各装置で提示可能なオブジェクト（背景、キャラクタ、楽器）の情報を分離して符号化する手段である。そのために、オブジェクト符号化手段１１Ｂには、背景・主映像符号化部１１ａ、背景・主音声符号化部１１ｂ、オブジェクト１・主映像符号化部１１ｃ、オブジェクト１・主音声符号化部１１ｄ、オブジェクト２・主映像符号化部１１ｅ、オブジェクト２・主音声符号化部１１ｆ、主映像・配置情報符号化部１１ｇ、オブジェクト１・別映像符号化部１１ｈ、オブジェクト１・別音声符号化部１１ｉ、オブジェクト２・別映像符号化部１１ｊ、オブジェクト２・別音声符号化部１１ｋ、別映像・配置情報符号化部１１ｌ、オブジェクト１・ぬいぐるみ動作符号化部１１ｍ、オブジェクト１・ぬいぐるみ音声符号化部１１ｎ、オブジェクト２・演奏情報符号化部１１ｏ、代替オブジェクト・代替映像符号化部１１ｐおよび付随背景・別映像符号化部１１ｑが構成される。
【００６８】
代替オブジェクト・代替映像符号化部１１ｐは、例えば、ＴＶカメラ（図示せず）でキャラクタの抜けた後に配置するキャラクタ代替オブジェクトを撮影するとともに、ＴＶカメラ（図示せず）で楽器の抜けた後に配置する楽器代替オブジェクトの映像データを撮影する。そして、代替オブジェクト・代替映像符号化部１１ｐは、キャラクタ代替オブジェクトの映像データを符号化するとともに楽器代替オブジェクトの映像データを符号化する。キャラクタ代替オブジェクトとしては、例えば、キャラクタが抜けたことを表現するためにそのキャラクタの外形を塗りつぶしたものや別のキャラクタ等がある。楽器代替オブジェクトとしては、楽器が抜けたことを表現するためにその楽器の外形を塗りつぶしたものや別の楽器等がある。ちなみに、オブジェクトを移動して提示する場合、ＴＶディスプレイの主映像におけるこれらのオブジェクトの抜けた後は、基本としては背景のみの空間になる。しかし、画面のバランスの都合上、画角を変更したり、その空間を別のオブジェクトで埋めたり、あるいは、端末、ぬいぐるみや自動楽器にオブジェクトが移動したことを表現する映像作りをするために代わりのオブジェクトを配置したりすると映像として効果的であるので、代替オブジェクトを設けている。
【００６９】
付随背景・別映像符号化部１１ｑは、例えば、ＴＶカメラ（図示せず）で端末に提示するキャラクタの付随背景を撮影するとともに、ＴＶカメラ（図示せず）で端末に提示する楽器の付随背景を撮影する。そして、付随背景・別映像符号化部１１ｑは、端末に適した符号化方式により、キャラクタの付随背景の映像データを符号化するとともに楽器の付随背景の映像データを符号化する。ちなみに、端末にオブジェクトを移動して提示する場合、端末の映像についても背景があるほうが映像として効果的な場合もあるので、付随背景を設けている。
【００７０】
図４も参照して、移動情報符号化手段１２Ｂについて説明する。図４は、図３に示す場合の移動情報の構成を示す図であり、（ａ）がオブジェクト１（キャラクタ）の移動情報であり、（ｂ）がオブジェクト２（楽器）の移動情報である。
【００７１】
移動情報符号化手段１２Ｂは、受信側においてオブジェクトをどの提示装置で提示するかを決定するために必要な移動情報を符号化する手段である。そのために、移動情報符号化手段１２Ｂには、オブジェクト１・移動情報符号化部１２ｃおよびオブジェクト２・移動情報符号化部１２ｄが構成される。
【００７２】
図４を参照して、移動情報について説明しておく。
前記したように、移動情報は、どのオブジェクトが移動対象であるかを示すために移動対象となるオブジェクト毎に設定される。さらに、オブジェクトの移動情報には、そのオブジェクトをどの提示装置で移動提示することができるかを示すために移動提示可能な提示装置毎に設定され、その提示装置毎に優先度、提示メディア、論理提示信号、物理提示信号、代替信号および付随信号の情報を有している。ここでは、図２に示す移動情報で説明した優先度、提示メディア、論理提示信号、物理提示信号以外の代替信号、付随信号についてのみ説明する。
【００７３】
代替信号は、オブジェクト符号化手段１１Ｂにおいて分離して符号化したキャラクタ代替オブジェクトの映像データや楽器代替オブジェクトの映像データの実体を示しており、各符号化データへのポインタの情報である。ちなみに、代替信号は、ＴＶディスプレイに対してのみ設定され、キャラクタに対してオブジェクト１代替映像の符号化データへのポインタであり、楽器に対してオブジェクト２代替映像の符号化データへのポインタである。
【００７４】
付随信号は、オブジェクト符号化手段１１Ｂにおいて分離して符号化したキャラクタの付随背景の映像データや楽器の付随背景の映像データの実体を示しており、各符号化データへのポインタの情報である。ちなみに、付随信号は、端末に対してのみ設定され、キャラクタに対してオブジェクト１付随背景映像の符号化データへのポインタであり、楽器に対してオブジェクト２付随背景映像の符号化データへのポインタである。
【００７５】
移動情報符号化手段１２Ｂの説明に戻って、オブジェクト１・移動情報符号化部１２ｃは、図４（ａ）に示すキャラクタの移動情報を生成する。そして、オブジェクト１・移動情報符号化部１２ｃは、そのキャラクタの移動情報を符号化する。
【００７６】
オブジェクト２・移動情報符号化部１２ｄは、図４（ｂ）に示す楽器の移動情報を生成する。そして、オブジェクト２・移動情報符号化部１２ｄは、その楽器の移動情報を符号化する。
【００７７】
多重化手段１３Ｂについて説明する。
多重化手段１３Ｂは、各符号化手段１１Ｂ，１２Ｂで符号化した全てのデータを、その符号化データに応じた最適な伝送方式により多重化して多重信号に変換する。このとき、多重化手段１３Ｂでは、各データや各情報に対する符号化方式の情報等を格納した制御情報も多重化している。さらに、変調器（図示せず）において、多重信号にＯＦＤＭ変調方式等によりデジタル変調を施す。そして、このデジタル変調された多重信号は、アンテナ（図示せず）から配信される。
【００７８】
以上の構成を有するコンテンツ提供システム１Ｂでは、キャラクタと楽器および代替オブジェクトと付随背景を含むあるコンテンツを配信する場合、以下のように動作する。コンテンツ提供システム１Ｂでは、オブジェクト符号化手段１１Ｂによって、ＴＶディスプレイに提示するための背景、キャラクタ、楽器の主映像および主音声、キャラクタ代替オブジェクト、楽器代替キャラクタの代替映像ならびに主映像の配置情報を符号化し（ただし、この符号化は、端末に提示するためのキャラクタと楽器の別映像および別音声の符号化ならびにぬいぐるみに提示するためのぬいぐるみ音声の符号化を兼ねている。）、端末に提示するためのキャラクタの付随背景、楽器の付随背景の別映像ならびに別映像の配置情報を符号化し、ぬいぐるみに提示するためのぬいぐるみ動作を符号化し、自動楽器に提示するための演奏情報を符号化する。さらに、コンテンツ提供システム１Ｂでは、移動情報符号化手段１２Ｂによって、キャラクタに対する移動情報および楽器に対する移動情報を生成し、各移動情報を符号化する。そして、コンテンツ提供システム１Ｂでは、多重化手段１３Ｂによって、符号化した全てのデータを多重化する。
【００７９】
このコンテンツ提供システム１Ｂによれば、コンテンツ提供システム１Ａの効果に加えて、代替オブジェクトを設けることによってＴＶディスプレイにおいてオブジェクトが抜けた後に効果的な映像を提供することができるとともに、付随背景を設けることによって端末において移動させたオブジェクトをより効果的な映像として提供できる。
【００８０】
図５を参照して、オブジェクトが１つで従来のデジタルＴＶ放送受信機との互換性を考慮した場合のコンテンツ提供システム１Ｃの構成について説明する。図５は、コンテンツ提供システム１Ｃの他の例であり、オブジェクトが１つで従来のデジタルＴＶ放送受信機との互換性を考慮した場合である。なお、コンテンツ提供システム１Ｃの構成において、図１に示すコンテンツ提供システム１Ａと同様の構成については同一の符号を付し、その説明を省略する。
【００８１】
ちなみに、従来のデジタルＴＶ放送受信機は、映像および音声の提示機能として、オブジェクトを分離した背景にオブジェクトを合成する機能を持っていない。そのために、従来のデジタルＴＶ放送受信機では、前記したコンテンツ提供システム１Ａ，１Ｂのように移動可能なオブジェクトを分離して符号化を行った情報だけでは、デフォルトのコンテンツの映像および音声を提示することができない。そこで、コンテンツ提供システム１Ｃでは、オブジェクトを分離していないデフォルトのコンテンツの映像および音声を符号化した情報を別途伝送することによって、従来のデジタル放送受信機に対してもデフォルトのサービスが行えるようにしている。
【００８２】
この際、背景の映像および音声、オブジェクトを分離して符号化した映像および音声と、デフォルトのコンテンツ（すなわち、オブジェクトが合成されたコンテンツ）の映像および音声を伝送することになり、伝送効率は落ちることになる。しかし、移動可能なオブジェクトが１つのみの場合等では、移動の対象となるオブジェクトの主映像および主音声は、ＴＶディスプレイにおいてはそのオブジェクトのみが提示されることがないので（主映像および主音声として提示されるのは、デフォルトのコンテンツの映像および音声、あるいは、移動可能オブジェクトが移動した後の背景の映像および音声のいずれかの場合しかないので）、伝送する必要がなく、現実的な伝送量の範囲でサービスが可能である。
【００８３】
コンテンツ提供システム１Ｃでは、ＴＶディスプレイで提示するコンテンツのオブジェクト（キャラクタ）および背景の映像および音声の情報、オブジェクトを提示可能な提示装置（ＴＶディスプレイ、端末、ぬいぐるみ）毎に各提示装置で提示させるための情報およびオブジェクトをどの提示装置に移動させるかの情報ならびに従来のデジタルＴＶ放送受信機で提示するデフォルトコンテンツの映像および音声をそれぞれ符号化する。さらに、コンテンツ提供システム１Ｃでは、符号化した全ての情報を多重化して、多重信号を生成する。そして、コンテンツ提供システム１Ｃでは、この多重信号を配信する。なお、オブジェクトには、キャラクタの他に、背景も含む。
【００８４】
多重信号を生成するために、コンテンツ提供システム１Ｃは、オブジェクト符号化手段１１Ｃ、移動情報符号化手段１２Ｃ、多重化手段１３Ｃおよびデフォルトコンテンツ符号化手段１４Ｃを備えている。
【００８５】
デフォルトコンテンツ符号化手段１４Ｃについて説明する。
デフォルトコンテンツ符号化手段１４Ｃは、ＴＶディスプレイに提示するためのデフォルトコンテンツの映像および音声を符号化する手段である。そのために、デフォルトコンテンツ符号化手段１４Ｃには、デフォルト・主映像符号化部１４ａおよびデフォルト・主音声符号化部１４ｂが構成される。
【００８６】
デフォルト・主映像符号化部１４ａは、例えば、ＴＶカメラ（図示せず）で撮影したコンテンツの映像データを取り込む。そして、デフォルト・主映像符号化部１４ａは、そのデフォルトコンテンツの映像データを符号化する。
【００８７】
デフォルト・主音声符号化部１４ｂは、例えば、マイクロフォン（図示せず）で収音したコンテンツの音声データを取り込む。そして、デフォルト・主音声符号化部１４ｂは、そのデフォルトコンテンツの音声データを符号化する。
【００８８】
オブジェクト符号化手段１１Ｃについて説明する。
オブジェクト符号化手段１１Ｃは、ＴＶディスプレイ、端末およびぬいぐるみの提示メディア毎に、各装置で提示可能なオブジェクト（背景、キャラクタ）の情報をそれぞれ符号化する手段である。そのために、オブジェクト符号化手段１１Ｃには、背景・主映像符号化部１１ａ、背景・主音声符号化部１１ｂ、オブジェクト１・別映像符号化部１１ｈ、オブジェクト１・別音声符号化部１１ｉ、オブジェクト１・ぬいぐるみ動作符号化部１１ｍおよびオブジェクト１・ぬいぐるみ音声符号化部１１ｎが構成される。なお、この例のコンテンツ提供システム１Ｃでは移動可能なオブジェクトが１つであり、キャラクタも含むデフォルトコンテンツを符号化して多重信号で配信しているので、ＴＶディスプレイに提示するためのキャラクタの主映像および主音声のデータを配信する必要はない。また、配置情報も必要がない。したがって、コンテンツ提供システム１Ｃのオブジェクト符号化手段１１Ｃには、図５の破線で示しているオブジェクト１・主映像符号化部１１ｃ、オブジェクト１・主音声符号化部１１ｄおよび主映像・配置情報符号化部１１ｇが構成されない。
【００８９】
移動情報符号化手段１２Ｃは、受信側においてオブジェクトをどの提示装置で提示するかを決定するために必要な移動情報を符号化する手段である。そのために、移動情報符号化手段１２Ｃには、オブジェクト１・移動情報符号化部１２ａが構成される。
【００９０】
多重化手段１３Ｃについて説明する。
多重化手段１３Ｃは、各符号化手段１１Ｃ，１２Ｃ，１４Ｃで符号化した全てのデータを、その符号化データに応じた最適な伝送方式により多重化して多重信号に変換する。このとき、多重化手段１３Ｃでは、各データや各情報に対する符号化方式の情報等を格納した制御情報も多重化している。さらに、変調器（図示せず）において、多重信号にＯＦＤＭ変調方式等によりデジタル変調を施す。そして、このデジタル変調された多重信号は、アンテナ（図示せず）から配信される。
【００９１】
以上の構成を有するコンテンツ提供システム１Ｃでは、キャラクタを含むあるコンテンツを配信する場合、以下のように動作する。コンテンツ提供システム１Ｃでは、オブジェクト符号化手段１１Ｃによって、ＴＶディスプレイに提示するための背景の主映像および主音声を符号化し、端末に提示するためのキャラクタの別映像および別音声を符号化し、ぬいぐるみに提示するためのぬいぐるみ動作を符号化する。さらに、コンテンツ提供システム１Ｃでは、移動情報符号化手段１２Ｃによってキャラクタに対する移動情報を生成し、その移動情報を符号化する。また、コンテンツ提供システム１Ｃでは、デフォルトコンテンツ符号化手段１４Ｃによって、従来のデジタルＴＶ放送受信機でも提示可能とするためのデフォルトコンテンツの映像および音声を符号化する。そして、コンテンツ提供システム１Ｃでは、多重化手段１３Ｃによって符号化した全てのデータを多重化する。
【００９２】
このコンテンツ提供システム１Ｃによれば、デフォルトコンテンツも設けることによって、従来のデジタルＴＶ放送受信機でもコンテンツを提示することができる。
【００９３】
図６を参照して、受信機２の構成について説明する。図６は、受信機２の構成図である。受信機２には、提示装置としてＴＶディスプレイＤ、端末Ｔ、ぬいぐるみＳ、自動楽器Ｍ等が無線によって信号を送受信することによって接続されている。なお、受信機２に接続される提示装置は、その受信機２が設置されている状況に応じて適宜代わる。
なお、本実施の形態では、受信機２が特許請求の範囲に記載するコンテンツ受信装置に相当する。
【００９４】
受信機２には、変調された多重信号をアンテナ（図示せず）で受信し、その変調された多重信号を復調器（図示せず）において復調して得られた前記したコンテンツ提供システム１Ａ，１Ｂ，１Ｃ等で生成された多重信号が入力される。そして、受信機２では、移動情報に基づいてどのオブジェクト（キャラクタ、楽器）をどの提示装置（ＴＶディスプレイＤ、端末Ｔ、ぬいぐるみＳ、自動楽器Ｍ）に提示するのかを決定する。さらに、受信機２では、ＴＶディスプレイＤにコンテンツの映像データおよび音声データを合成して出力するとともに、オブジェクトを移動して提示する他の提示装置（端末Ｔ、ぬいぐるみＳ、自動楽器Ｍ）に各オブジェクトの符号化データを各々出力する。
【００９５】
受信機２は、マイクロコンピュータによってＴＶディスプレイＤにコンテンツを提示させるとともに他の提示装置Ｔ，Ｓ，Ｍにオブジェクトを提示させるための主要な処理を行っている。このマイクロコンピュータは、コンテンツ受信プログラムがインストールされており、このコンテンツ受信プログラムを実行することによって後記する各部を構成する。
【００９６】
受信機２は、移動情報多重分離部２０、移動情報デコード部２１、提示装置インタフェース部２２、提示装置接続判定部２３、符号化情報選択部２４、符号化情報多重分離部２５、映像デコード部２６、配置情報デコード部２７、映像合成部２８、音声デコード部２９および音声合成部３０を備えている。
なお、本実施の形態では、移動情報デコード部２１が特許請求の範囲に記載する移動情報復号化手段に相当し、符号化情報選択部２４が特許請求の範囲に記載する第２提示装置決定手段に相当する。
【００９７】
移動情報多重分離部２０について説明する。
移動情報多重分離部２０では、復調された多重信号から符号化された移動情報を分離する。ちなみに、前記したコンテンツ提供システム１Ａ，１Ｂからの多重信号を受信した場合にはキャラクタの移動情報と楽器の移動情報が分離され、前記したコンテンツ提供システム１Ｃからの多重信号を受信した場合にはキャラクタの移動情報が分離される。
【００９８】
移動情報デコード部２１について説明する。
移動情報デコード部２１は、移動情報の符号化方式に応じて、移動情報多重分離部２０で分離した符号化されたオブジェクトの移動情報を復号化する。
【００９９】
提示装置インタフェース部２２について説明する。
提示装置インタフェース部２２は、受信機２に接続されるＴＶディスプレイＤ以外の提示装置Ｔ，Ｓ，Ｍとの信号の入出力を管理する。
【０１００】
提示装置接続判定部２３について説明する。
提示装置接続判定部２３は、提示装置インタフェース部２２を介して入力される信号に基づいて、各提示装置Ｔ，Ｓ，Ｍが接続されているか否かを判定する。
【０１０１】
図２、図４も参照して、符号化情報選択部２４について説明する。
符号化情報選択部２４は、移動情報デコード部２１で復号化した各オブジェクトの移動情報と提示装置接続判定部２３で判定した接続されている提示装置Ｔ，Ｓ，Ｍの情報に基づいて、オブジェクトをどの提示装置Ｄ，Ｔ，Ｓ，Ｍに提示するのかを決定する。符号化情報選択部２４における提示装置決定処理を図７のフローチャートに沿って説明する。図７は、符号化情報選択部２４におけるオブジェクトの提示装置決定処理のフローチャートである。なお、以下に説明する提示装置決定処理では、処理対象のオブジェクトをオブジェクトｉ（ｉ＝１，２・・・）とする。本実施の形態では、オブジェクト１はキャラクタ、オブジェクト２は楽器である。
【０１０２】
まず、符号化情報選択部２４では、はじめのオブジェクトｉとしてオブジェクト１を設定する（Ｓ１）。
【０１０３】
続いて、符号化情報選択部２４では、移動対象のオブジェクトｉがあるか否かを判定する（Ｓ２）。オブジェクトｉがない場合、符号化情報選択部２４では、処理を終了する。ちなみに、本実施の形態では、オブジェクトｉ（＝３）になったときに、処理が終了する。
【０１０４】
オブジェクトｉがある場合、符号化情報選択部２４では、そのオブジェクトｉの復号化された移動情報を取得する（Ｓ３）。
【０１０５】
そして、符号化情報選択部２４では、取得した移動情報の中で優先度として一番高い優先度ｊを設定する（Ｓ４）。ちなみに、本実施の形態では、図２、図４に示すように、優先度２が一番高い優先度である。
【０１０６】
次に、符号化情報選択部２４では、優先度ｊの値が０（デフォルト値）か否かを判定する（Ｓ５）。
【０１０７】
優先度ｊが０の場合、符号化情報選択部２４では、オブジェクトｉを提示する提示装置をデフォルトの提示装置（ＴＶディスプレイＤ）に決定し（Ｓ６）、オブジェクトｉとしてｉに１を加算した次のオブジェクトｉを設定してステップＳ２の処理に戻る（Ｓ７）。
【０１０８】
優先度ｊが０でない場合、符号化情報選択部２４では、その優先度ｊに相当する提示装置が受信機２に接続されているか否かを判定する（Ｓ８）。例えば、図２、図４に示す移動情報では、優先度２の場合にはぬいぐるみが接続されているか否かを判定する。
【０１０９】
優先度ｊに相当する提示装置が接続されている場合、符号化情報選択部２４では、オブジェクトｉを提示する提示装置をその優先度ｊに相当する提示装置に決定し（Ｓ９）、オブジェクトｉとしてｉに１を加算した次のオブジェクトｉを設定してステップＳ２の処理に戻る（Ｓ７）。
【０１１０】
優先度ｊに相当する提示装置が接続されていない場合、符号化情報選択部２４では、優先度ｊとしてｊから１を減算した次の優先度ｊを設定してステップＳ５の処理に戻る（Ｓ１０）。
【０１１１】
以上の処理により提示装置を決定すると、符号化情報選択部２４では、各オブジェクトの移動情報から、オブジェクト毎に決定した提示装置の物理提示信号（および、代替オブジェクトや付随背景が設定されている場合には、代替信号、付随信号）を選択する。
【０１１２】
符号化情報多重分離部２５について説明する。
符号化情報多重分離部２５では、符号化情報選択部２４で選択した物理提示信号（および、付随背景が設定されている場合には付随信号）に基づいて、復調された多重信号から符号化された各オブジェクトのデータを選択的に分離する。なお、端末に提示する場合には、符号化された別映像の配置情報も分離する。そして、符号化情報多重分離部２５では、符号化情報選択部２４で決定されたＴＶディスプレイＤ以外の提示装置Ｔ，Ｓ，Ｍに、分離した各符号化データを提示装置インタフェース部２２を介して各々出力する。
【０１１３】
また、符号化情報多重分離部２５では、復調された多重信号から符号化された背景の主映像データ、代替オブジェクトが設定されている場合には代替オブジェクトの代替映像データ、主映像の配置情報、ＴＶディスプレイＤにオブジェクトを提示する場合には各オブジェクトの主映像データおよび主音声データを選択して分離する。そして、符号化情報多重分離部２５では、分離した各符号化データを映像デコード部２６、配置情報デコード部２７、音声デコード部２９に各々に出力する。
【０１１４】
映像デコード部２６について説明する。
映像デコード部２６では、各データの符号化方式に応じて、符号化情報多重分離部２５からの符号化された背景の主映像データ、代替オブジェクトが設定されている場合には代替オブジェクトの代替映像データ、ＴＶディスプレイＤにオブジェクトを提示する場合には各オブジェクトの主映像データを復号化する。
【０１１５】
配置情報デコード部２７について説明する。
配置情報デコード部２７では、主映像の配置情報の符号化方式に応じて、符号化情報多重分離部２５からの符号化された主映像の配置情報を復号化する。
【０１１６】
映像合成部２８について説明する。
映像合成部２８は、復号された主映像の配置情報に基づいて、背景の主映像にＴＶディスプレイＤにオブジェクトを提示する場合には各オブジェクトの主映像または代替オブジェクトが設定されている場合には代替オブジェクトの代替映像を合成した映像データを生成し、ＴＶディスプレイＤに出力する。
【０１１７】
音声デコード部２９について説明する。
音声デコード部２９では、各データの符号化方式に応じて、符号化情報多重分離部２５からの符号化された背景の主音声データ、ＴＶディスプレイＤにオブジェクトを提示する場合には各オブジェクトの主音声データを復号化する。
【０１１８】
音声合成部３０について説明する。
音声合成部３０は、背景の主音声にＴＶディスプレイＤにオブジェクトを提示する場合には各オブジェクトの主音声を合成した音声データを生成し、ＴＶディスプレイＤに出力する。
【０１１９】
図６を参照して、ＴＶディスプレイＤについて説明する。
ＴＶディスプレイＤは、大型ディスプレイおよびスピーカとアンプ等を備えており、デジタルＴＶ放送で配信されたコンテンツを提示する装置である。ＴＶディスプレイＤでは、受信機２から送信された映像データにより大型ディスプレイでコンテンツを映像表示するとともに、受信機２から送信された音声データによりスピーカからコンテンツを音声出力する。
【０１２０】
図６を参照して、端末Ｔについて説明する。
端末Ｔは、前記したように、小型画面付きリモコンであり、映像および音声の出力が可能である。端末Ｔでは、受信機２から符号化された各オブジェクトの別映像データおよび別音声データ、別映像の配置情報、付随背景が設けられている場合には付随背景の別映像データが送信されてきたときに、各オブジェクトを映像と音声で提示する。そのために、端末Ｔは、提示メディアデコード部Ｔａおよび提示デバイスＴｂを備えている。
【０１２１】
提示メディアデコード部Ｔａでは、各符号化方式に応じて、符号化された各オブジェクトの別映像データ、各オブジェクトの別音声データ、別映像の配置情報を復号化する。そして、提示メディアデコード部Ｔａでは、別映像の配置情報に基づいて、オブジェクトの映像データを生成する。特に、付随背景の別映像データがある場合には、提示メディアデコード部Ｔａは、符号化された付随背景の別映像データを復号化し、オブジェクトの別映像に付随背景を合成して映像データを生成する。
【０１２２】
提示デバイスＴｂは、小型の液晶ディスプレイおよびスピーカとアンプ等からなる。提示デバイスＴｂでは、提示メディアデコード部Ｔａで生成した映像データにより小型の液晶ディスプレイでオブジェクトを映像表示するとともに、提示メディアデコード部Ｔａで復号化した音声データによりスピーカからオブジェクトを音声出力する。
【０１２３】
図６を参照して、ぬいぐるみＳについて説明する。
ぬいぐるみＳは、前記したように、制御機能付きのぬいぐるみであり、手足等の動作および音声の出力が可能である。ぬいぐるみＳでは、受信機２から符号化されたぬいぐるみ動作の制御情報、ぬいぐるみ音声データが送信されてきたときに、キャラクタを動作と音声で提示する。そのために、ぬいぐるみＳは、提示メディアデコード部Ｓａおよび提示デバイスＳｂを備えている。
【０１２４】
提示メディアデコード部Ｓａでは、各符号化方式に応じて、符号化されたぬいぐるみ動作の制御情報、ぬいぐるみ音声データを復号化する。
【０１２５】
提示デバイスＳｂは、電気的に制御可能な手足等の動作機構およびスピーカとアンプ等からなる。提示デバイスＳｂでは、提示メディアデコード部Ｓａで復号化したぬいぐるみ動作の制御情報によりコンテンツのキャラクタの動作に応じてぬいぐるみ手足等の動作し、提示メディアデコード部Ｓａで復号化した音声データによりスピーカからキャラクタの音声を出力する。
【０１２６】
図６を参照して、自動楽器Ｍについて説明する。
自動楽器Ｍは、前記したように、制御機能付きの楽器であり、楽器の自動演奏が可能である。自動楽器Ｍでは、受信機２から符号化された演奏情報が送信されてきたときに、楽器を自動演奏で提示する。そのために、自動楽器Ｍは、提示メディアデコード部Ｍａおよび提示デバイスＭｂを備えている。
【０１２７】
提示メディアデコード部Ｍａでは、符号化方式に応じて、符号化された演奏情報を復号化する。
【０１２８】
提示デバイスＭｂは、電気的に制御によって自動で演奏する楽器からなる。提示デバイスＭｂでは、提示メディアデコード部Ｍａで復号化した演奏情報によりコンテンツの楽器の演奏に応じて自動で楽器を演奏する。
【０１２９】
以上の構成を有する受信機２では、コンテンツ提供システム１Ａ，１Ｂ，１Ｃ等から配信された多重信号を受信した場合、以下のように動作する。受信機２では、受信した多重信号を復調する。続いて、受信機２では、多重信号から符号化されたオブジェクト毎の移動情報を分離し、その移動情報を復号化する（図２、図４参照）。そして、受信機２では、そのオブジェクト毎の移動情報と接続されている提示装置Ｔ，Ｓ，Ｍに基づいて、各オブジェクトを提示する提示装置を決定する。
【０１３０】
続いて、受信機２では、各オブジェクト毎に決定した提示装置に基づいて、多重信号から符号化された各オブジェクトのデータを選択的に分離し、分離した各符号化データをその決定した提示装置に各々送信する。符号化データが送信された各提示装置では、その符号化データを復号化し、その送信されたタイミングでオブジェクトを提示する。
【０１３１】
また、受信機２では、多重信号からＴＶディスプレイＤにコンテンツを提示するために必要な全ての符号化データを選択的に分離し、その分離した符号化データを各々復号化する。そして、受信機２では、背景のみのコンテンツあるいは背景と代替オブジェクトまたはオブジェクトとを合成したコンテンツの映像データおよび音声データを生成し、ＴＶディスプレイＤに送信する。コンテンツの映像データおよび音声データが送信されたＴＶディスプレイＤでは、コンテンツの映像データおよび音声データにより、コンテンツを映像表示および音声出力する。
【０１３２】
したがって、ＴＶディスプレイＤでコンテンツを視聴していると、以下のような視聴環境となる。コンテンツにおいてキャラクタが登場する場面では、ＴＶディスプレイＤの画面からキャラクタが消えて背景か代替オブジェクトが表示されるとともに、キャラクタの音声も無くなる。しかし、端末Ｔの画面にキャラクタが表示されるとともに音声が出力されるか、あるいは、ぬいぐるみＳがＴＶディスプレイＤの状況に合わせて動き始めるとともに音声を発する。また、楽器が演奏する場合では、ＴＶディスプレイＤの画面から楽器が消えて背景か代替オブジェクトが表示されるとともに、楽器の演奏音も無くなる。しかし、端末Ｔの画面に楽器が表示されるとともに演奏音が出力されるか、あるいは、自動楽器ＭがＴＶディスプレイＤの状況に合わせて演奏を始める。このような視聴環境によって、視聴者は、臨場感や娯楽性に溢れるコンテンツを楽しむことができる。
【０１３３】
ここで、受信機２に接続されている提示装置（利用可能な提示装置）Ｔ，Ｓ．Ｍに応じて各オブジェクトをどの提示装置Ｄ，Ｔ，Ｓ，Ｍで提示するのかを、コンテンツ提供システム１Ａで配信する多重信号を受信した場合とコンテンツ配信システム１Ｂで配信する多重信号を受信した場合の例で説明する。
【０１３４】
図８を参照して、受信機２でコンテンツ提供システム１Ａで配信する多重信号を受信した場合の例を説明する。図８は、図１に示す場合における利用可能な提示装置と提示するオブジェクトとの関係を示す図である。
【０１３５】
受信機２にデフォルトの提示装置であるＴＶディスプレイＤしか接続されていない場合、キャラクタおよび楽器はＴＶディスプレイＤに提示される。
【０１３６】
受信機２に端末Ｔのみ接続されている場合、ぬいぐるみおよび楽器についてはＴＶディスプレイＤより端末Ｔのほうが優先度が高い（図２参照）。したがって、キャラクタおよび楽器は、端末Ｔに提示される。そのため、ＴＶディスプレイＤでは、背景のみを提示する。
【０１３７】
受信機２にぬいぐるみＳのみ接続されている場合、キャラクタについてはＴＶディスプレイＤよりぬいぐるみＳのほうが優先度が高い（図２参照）。したがって、キャラクタは、ぬいぐるみＳに提示される。そのため、ＴＶディスプレイＤでは、背景および楽器を提示する。
【０１３８】
受信機２に端末ＴおよびぬいぐるみＳが接続されている場合、キャラクタについてはＴＶディスプレイＤおよび端末ＴよりぬいぐるみＳのほうが優先度が高く、楽器についてはＴＶディスプレイＤより端末Ｔのほうが優先度が高い（図２参照）。したがって、キャラクタは、ぬいぐるみＳに提示される。また、楽器は、端末Ｔに提示される。そのため、ＴＶディスプレイＤでは、背景のみを提示する。
【０１３９】
受信機２に自動楽器Ｍのみ接続されている場合、楽器についてはＴＶディスプレイＤより自動楽器Ｍのほうが優先度が高い（図２参照）。したがって、楽器は、自動楽器Ｍに提示される。そのため、ＴＶディスプレイＤでは、背景およびキャラクタを提示する。
【０１４０】
受信機２に端末Ｔおよび自動楽器Ｍが接続されている場合、キャラクタについてはＴＶディスプレイＤより端末Ｔのほうが優先度が高く、楽器についてはＴＶディスプレイＤおよび端末Ｔより自動楽器Ｍのほうが優先度が高い（図２参照）。したがって、キャラクタは、端末Ｔに提示される。また、楽器は、自動楽器Ｍに提示される。そのため、ＴＶディスプレイＤでは、背景のみを提示する。
【０１４１】
受信機２にぬいぐるみＳおよび自動楽器Ｍが接続されている場合、キャラクタについてはＴＶディスプレイＤよりぬいぐるみＳのほうが優先度が高く、楽器についてはＴＶディスプレイＤより自動楽器Ｍのほうが優先度が高い（図２参照）。したがって、キャラクタは、ぬいぐるみＳに提示される。また、楽器は、自動楽器Ｍに提示される。そのため、ＴＶディスプレイＤでは、背景のみを提示する。
【０１４２】
受信機２に端末Ｔ、ぬいぐるみＳおよび自動楽器Ｍが接続されている場合、キャラクタについてはＴＶディスプレイＤおよび端末ＴよりぬいぐるみＳのほうが優先度が高く、楽器についてはＴＶディスプレイＤおよび端末Ｔより自動楽器Ｍのほうが優先度が高い（図２参照）。したがって、キャラクタは、ぬいぐるみＳに提示される。また、楽器は、自動楽器Ｍに提示される。そのため、ＴＶディスプレイＤでは、背景のみを提示する。ちなみに、端末Ｔには、オブジェクトが提示されない。
【０１４３】
図９を参照して、受信機２でコンテンツ提供システム１Ｂで配信する多重信号を受信した場合の例を説明する。図９は、図３に示す場合における利用可能な提示装置と提示するオブジェクトとの関係を示す図である。
【０１４４】
この例も、利用可能な提示装置と提示するオブジェクトとの関係は、前記した受信機２でコンテンツ提供システム１Ａで配信する多重信号を受信した場合の例と同様の関係となる。その上、この例では、ＴＶディスプレイＤでは、他の提示装置Ｔ，Ｓ，Ｍでキャラクタまたは／および楽器を提示する場合、その抜けた後に、キャラクタの代替オブジェクトまたは／および楽器の代替オブジェクトを表示する。また、この例では、端末Ｔでは、キャラクタまたは／および楽器を提示する場合、キャラクタの背景または／および楽器の背景も表示する。
【０１４５】
以上、本発明の実施の形態について説明したが、本発明は、前記の実施の形態に限定されることなく、様々な形態で実施される。
例えば、本実施の形態ではコンテンツ提供システムおよび受信機における各部をプログラムを実行することによってソフトウエア的に構成したが、電子回路によってハードウエア的に構成してもよい。
また、本実施の形態ではデジタルＴＶ放送による放送によってコンテンツを配信する構成としたが、インターネット等の通信によるコンテンツの配信やパッケージメディア等の蓄積媒体によるコンテンツの配信等の他の配信方法によってコンテンツを配信してもよい。
また、本実施の形態ではデジタルＴＶ放送によって映像および音声からなるコンテンツを対象としたが、ラジオ放送による音声のみからなるコンテンツや映像のみからなるコンテンツを対象としてもよい。
また、本実施の形態ではデジタルＴＶ放送を対象としたが、デフォルトのコンテンツの背景のみをアナログ放送で配信して、オブジェクトに関する情報をデジタル放送で配信することも考えられる。
【０１４６】
また、本実施の形態ではオブジェクトをキャラクタと楽器としたが、人、動物、電話、目覚まし時計等の様々なものが対象としてもよい。
また、本実施の形態では第１提示装置をＴＶディスプレイとしたが、パソコンの出力装置、ラジオ、ＰＤＡ等の他の装置でもよい。
また、本実施の形態では第２提示装置を端末、ぬいぐるみおよび自動楽器としたが、人形、ロボット、電話、目覚まし時計、照明機器、インターホン等の他の装置でもよい。
また、本実施の形態では受信機とＴＶディスプレイを別体で示しているが、一体でＴＶ受信機としてもよい。
また、本実施の形態では端末等においてオブジェクトの情報を復号化したが、オブジェクトの情報も受信機において復号化してもよい。
【０１４７】
また、本実施の形態では異なる提示装置間（例えば、ＴＶディスプレイと端末間）であっても同一の提示メディア間で符号化データを共有する構成としたが、異なる提示メディア間で符号化データを共有することも考えられる。例えば、キャラクタの形状や動作の符号化データがあれば、コンピュータグラフィックスでキャラクタを描画して主映像のオブジェクトとして用いたり、同様に、端末の映像のオブジェクトとして用いたり、ぬいぐるみの動作情報に用いたりと、このオブジェクトの全ての提示装置で共通に使用することが可能である。また、主映像のキャラクタの符号化データを端末の別映像として用いる以外に、さらに、主映像のキャラクタの符号化データからキャラクタの動作情報を抽出し、ぬいぐるみを動作させることも考えられる。
【０１４８】
また、本実施の形態ではデフォルトの提示メディアとして映像および音声でのＴＶ放送によるサービスに適用したが、映像や音声以外の提示メディアによるサービス、例えば、データ放送サービス等に適用してもよい。デフォルトの提示メディアであっても、移動先の提示メディアであってもよいが、データ放送サービスを提示メディアに導入することによって、インタラクティブな（双方向の）要素を有するオブジェクト移動コンテンツをサービスすることが可能になる。すなわち、利用者のインタラクティブな操作によってオブジェクトの動き等の提示が変化するコンテンツや、利用者のインタラクティブな操作によってオブジェクトの提示装置（提示メディア）が変化するコンテンツ等も可能である。
【０１４９】
また、本実施の形態以外にも本発明を利用して様々なサービスが可能であり、そのいくつかの例を挙げる。
その一例としては、キャラクタの指人形やあやつり人形が出演者と掛け合いをしながら番組を進行していくような子供向け番組がある。この例では、ＴＶディスプレイのみしかない環境においては、従来のＴＶ番組のようにキャラクタの人形がＴＶ画面の中でその役を演じる。ＴＶディスプレイの外部機器として動作するキャラクタのぬいぐるみが接続されている環境では、キャラクタの提示はそのぬいぐるみを用いて行う。この際、ＴＶ画面では人形が表示されなくなり、ＴＶ画面中の出演者とＴＶ画面外のぬいぐるみとが掛け合いをしているように番組が進行する。これは、最も簡単で現実的な例だが、コンテンツの制作に凝れば、さらに複雑な絡み合いをする番組も作製可能である。
【０１５０】
また、その他の例としては、アニメーションのアシスタントが学習の補助をしながら進行していく語学番組等がある。この例では、ＴＶディスプレイのみしかない環境においては、従来のＴＶ番組のようにアシスタントがＴＶ画面の中で指導をしていく。ＴＶディスプレイの外部機器として小型画面付き手元リモコン（例えば、ＰＤＡ）が接続されている環境では、アシスタントは小型画面の中で指導をしていく。この際、例えば、スキット等の映像はＴＶ画面に残したまま、学習のポイントとなる練習文や発音を移動可能オブジェクトとして小型画面付き手元リモコンで提示することが考えられる。
【０１５１】
また、アクション番組やアニメーション番組においては、変身（進化）用アイテムがよく登場し、変身（進化）の場面になると、このアイテムが動作する場面が登場する。そして、この変身（進化）シーンでは、ＴＶ画面の中で「ピカピカ」や「チカチカ」といったようにアイテムの動作シーンが展開される。また、人気のアクション番組やアニメ番組の場合、その変身（進化）用アイテムのおもちゃが販売されている。そこで、そのおもちゃをＴＶ受信機の外部機器として動作するように作っておく。そして、このおもちゃがＴＶディスプレイの近く（通信可能な領域）に置かれている場合には、変身（進化）シーンになると、このおもちゃのアイテムそのものが「ピカピカ」や「チカチカ」等と動作することにより、子供たちを喜ばせる。
【０１５２】
また、楽器が飛び出すサービスとして、いわゆるテレミュージックに応用したサービスも考えられるが、ここでは少し変わった新たなサービスの例を示す。その例は、劇場中継やコンサート中継等の生のオーケストラが登場する番組である。この例では、ＴＶディスプレイのみしかない環境においては、従来の中継として視聴することができる。ＴＶディスプレイの外部機器として家庭用の箱庭オーケストラを想定する。この箱庭オーケストラは、一般的なオーケストラの配置に、見た目の効果としての楽器のミニチュアと、各楽器近傍にその音域に適した再生能力を持つスピーカが配置され、各楽器のパートの演奏音を再生する機能を持っている。ＴＶディスプレイの外部機器としてこの箱庭オーケストラが接続されている場合には、オーケストラの音はＴＶディスプレイのスピーカからではなく、この箱庭オーケストラから提示される。そのため、定位のすばらしいステレオ感が得られる。
【０１５３】
また、その他の例として、ドラマ等もある。この例では、ＴＶディスプレイのみしかない環境においては、従来のドラマとして視聴することができる。しかし、ＴＶディスプレイの外部機器として制御機能を有する電話や目覚まし時計等が接続されている環境では、例えば、電話が鳴るシーン、目覚まし時計が鳴るシーン等の特徴的な音を発するシーンになると、映像のオブジェクトを移動させるのは現実的ではないが、音のオブジェクトだけでも、実際に居間にある電話や寝室の目覚まし時計によって提示する。そのため、非常にリアルなドラマの演出効果が期待できる。
【０１５５】
【発明の効果】
本発明の請求項１に係るコンテンツ提供システムは、第２提示装置で提示するために必要なオブジェクトの情報を簡単に取り出すことができるとともに、受信側においてオブジェクトの移動情報に基づいてそのオブジェクトを提示する第２提示装置を決定することができる。
【０１６０】
本発明の請求項２に係るコンテンツ受信装置は、オブジェクトの移動情報により、オブジェクトを提示する第２提示装置を決定することができる。
【０１６１】
本発明の請求項３に係るコンテンツ提供方法は、第２提示装置で提示するために必要なオブジェクトの情報を簡単に取り出すことができるとともに、受信側においてオブジェクトの移動情報に基づいてそのオブジェクトを提示する第２提示装置を決定することができる。
【０１６２】
本発明の請求項４に係るコンテンツ受信方法は、本発明に係るコンテンツ受信方法によって提供されたコンテンツにより、そのコンテンツに含まれるオブジェクトを第２提示装置に提示させることができる。
【０１６３】
本発明の請求項５に係るコンテンツ提供プログラムは、コンピュータで実行させることによって、本発明に係るコンテンツ提供方法を実現できる。
【０１６４】
本発明の請求項６に係るコンテンツ受信プログラムは、コンピュータで実行させることによって、本発明に係るコンテンツ受信方法を実現できる。
【図面の簡単な説明】
【図１】本実施の形態に係るコンテンツ提供システムの構成図の一例であり、オブジェクトが２つ（キャラクタと楽器）の場合である。
【図２】図１に示す場合の移動情報の構成を示す図であり、（ａ）がオブジェクト１（キャラクタ）の移動情報であり、（ｂ）がオブジェクト２（楽器）の移動情報である。
【図３】本実施の形態に係るコンテンツ提供システムの構成図の他の例であり、オブジェクトが２つ（キャラクタと楽器）で代替オブジェクトおよび付随オブジェクトがある場合である。
【図４】図３に示す場合の移動情報の構成を示す図であり、（ａ）がオブジェクト１（キャラクタ）の移動情報であり、（ｂ）がオブジェクト２（楽器）の移動情報である。
【図５】本実施の形態に係るコンテンツ提供システムの構成図の他の例であり、オブジェクトが１つ（キャラクタ）で従来のデジタルＴＶ放送受信機との互換性を考慮した場合である。
【図６】本実施の形態に係る受信機の構成図である。
【図７】図６の符号化情報選択部におけるオブジェクトの提示装置決定処理のフローチャートである。
【図８】図１に示す場合における利用可能な提示装置と提示するオブジェクトとの関係を示す図である。
【図９】図３に示す場合における利用可能な提示装置と提示するオブジェクトとの関係を示す図である。
【符号の説明】
１Ａ，１Ｂ，１Ｃ・・・コンテンツ提供システム
２・・・受信機（コンテンツ受信装置）
１１Ａ，１１Ｂ，１１Ｃ・・・オブジェクト符号化手段
１２Ａ，１２Ｂ，１２Ｃ・・・移動情報符号化手段
１４Ｃ・・・デフォルトコンテンツ符号化手段
２１・・・移動情報デコード部（移動情報復号化手段）
２４・・・符号化情報選択部（第２提示装置決定手段）
Ｄ・・・ＴＶディスプレイ（第１提示装置）
Ｍ・・・自動楽器（第２提示装置）
Ｓ・・・ぬいぐるみ（第２提示装置）
Ｔ・・・端末（第２提示装置）
【図１】
0004295470.tif 000002
【図２】
0004295470.tif 000003
【図３】
0004295470.tif 000004
【図４】
0004295470.tif 000005
【図５】
0004295470.tif 000006
【図６】
0004295470.tif 000007
【図７】
0004295470.tif 000008
【図８】
0004295470.tif 000009
【図９】
0004295470.tif 000010