(57)【要約】【課題】動画、静止画、テキスト、ＣＧ等、複数のオブジェクトから構成される符号化されたマルチメディアデータを配信する際に、受信側端末の種類や能力、通信回線に応じ、シーン記述データ及びオブジェクト記述データを適切に分割する。【解決手段】  機器情報／ネットワーク解析回路１０４は、受信端末の種類や処理能力、通信回線の状況を分析し、分析結果に応じてシーン／オブジェクト変換回路１０１は、シーン記述データ１０２、オブジェクト記述データ１０３を分割して送信すべきか否かを判断する。分割の必要がある場合には、シーン記述データ１０２、オブジェクト記述データ１０３を適宜分割する。【選択図】  図１
2005176094.tif 000002
【特許請求の範囲】
【請求項１】
複数のメディアオブジェクトと、該複数のメディアオブジェクトの時空間の関係を記述するシーン記述データ及び当該シーン記述とメディアオブジェクトとの関連付け及び復号に必要な情報の記述を含むオブジェクト記述データを有する記述データとを含むマルチメディアデータを外部装置に配信するデータ処理装置であって、
前記マルチメディアデータの配信に関る外部の能力と前記シーン記述データ及びオブジェクト記述データに基づいて記述データの分割要否を判定する判定手段と、
前記判定手段により分割が必要と判定された場合に、オブジェクト記述データとシーン記述データのそれぞれをメディアオブジェクトに関る部分を単位として分割する分割手段と、
前記分割手段によって分割された各記述データと複数のメディアオブジェクトを符号化し、多重化してマルチメディアデータを生成し、前記受信端末に配信する配信手段とを備えることを特徴とするデータ処理装置。
【請求項２】
複数のメディアオブジェクトと、各メディアオブジェクトの再生に関する情報を記述した記述データとを含むマルチメディアデータを外部装置に配信するデータ処理装置であって、
前記マルチメディアデータの配信に関る外部の能力と前記記述データに基づいて該記述データの分割要否を判定する判定手段と、
前記判定手段により分割が必要と判定された場合に、前記記述データが関連するメディアオブジェクトに設定されている優先度に基づいて、優先度の低いメディアオブジェクトに関る記述データ部分を分離することにより該記述データを分割する分割手段と、
前記分割手段によって分割された各記述データと複数のメディアオブジェクトを符号化し、多重化してマルチメディアデータを生成し、前記受信端末に配信する配信手段とを備えることを特徴とするデータ処理装置。
【請求項３】
前記記述データは、前記複数のメディアオブジェクトの時空間の関係を記述するシーン記述データと、当該シーン記述とメディアオブジェクトとの関連付け及び復号に必要な情報の記述を含むオブジェクト記述データとを含み、
前記分割手段は、オブジェクト記述データとシーン記述データのそれぞれについて優先度の低いメディアオブジェクトに関る部分を分離することを特徴とする請求項２に記載のデータ処理装置。
【請求項４】
前記判定手段は、前記外部装置より機器情報を受信し、該機器情報を解析して該外部装置の処理能力を取得し、取得された処理能力に基づいて前記記述データの分割要否を判定することを特徴とする請求項１乃至３のいずれかに記載のデータ処理装置。
【請求項５】
前記外部装置はネットワークを介して接続されており、
前記判定手段は、前記ネットワークの通信回線状況を解析して該ネットワークの伝送容量を取得し、取得された伝送容量に基づいて前記記述データの分割要否を判定することを特徴とする請求項１乃至４のいずれかに記載のデータ処理装置。
【請求項６】
前記記述データは、関連するメディアオブジェクトについて優先度を示す記述を含み、
前記分割手段は、前記優先度を示す記述を参照して分離対象のメディアオブジェクトに関る記述を決定することを特徴とする請求項２又は３に記載のデータ処理装置。
【請求項７】
前記オブジェクト記述データに含まれるストリームの優先順位を示すstreamPriorityに従って前記優先度の高低が決定されることを特徴とする請求項３に記載のデータ処理装置。
【請求項８】
前記分割手段は、オブジェクト記述データより優先度の低いメディアオブジェクトに対応する記述部分を分離して該オブジェクト記述データを分割し、更に、分割されたオブジェクト記述データに従って前記シーン記述データを分割することを特徴とする請求項１又は３に記載のデータ処理装置。
【請求項９】
前記分割手段で分割された複数の記述データに対して、メディアオブジェクトの優先度に従った順番で再生されるようにタイムスタンプを付加する付加手段を更に備えることを特徴とする請求項１乃至８のいずれかに記載のデータ処理装置。
【請求項１０】
前記マルチメディアデータは、MPEG-4に従うデータであることを特徴とする請求項１乃至９のいずれかに記載のデータ処理装置。
【請求項１１】
前記シーン記述データはBIFSにより記述されていることを特徴とする請求項１乃至１０のいずれかに記載のデータ処理装置。
【請求項１２】
前記メディアオブジェクトは、静止画、動画、ＣＧを含むことを特徴とする請求項１乃至１１のいずれかに記載のデータ処理装置。
【請求項１３】
前記分割手段は、シーン記述データより、メディアオブジェクトに対応する単一ノードを分離して該シーン記述データを分割するか、メディアオブジェクトに対応するノードをグループ化するノードを分離して該シーン記述データを分割することを特徴とする請求項１又は２に記載のデータ処理装置。
【請求項１４】
複数のメディアオブジェクトと、該複数のメディアオブジェクトの時空間の関係を記述するシーン記述データ及び当該シーン記述とメディアオブジェクトとの関連付け及び復号に必要な情報の記述を含むオブジェクト記述データを有する記述データとを含むマルチメディアデータを外部装置に配信するデータ処理方法であって、
前記マルチメディアデータの配信に関る外部の能力と前記シーン記述データ及びオブジェクト記述データに基づいて記述データの分割要否を判定する判定工程と、
前記判定工程により分割が必要と判定された場合に、オブジェクト記述データとシーン記述データのそれぞれをメディアオブジェクトに関る部分を単位として分割する分割工程と、
前記分割工程によって分割された各記述データと複数のメディアオブジェクトを符号化し、多重化してマルチメディアデータを生成し、前記受信端末に配信する配信工程とを備えることを特徴とするデータ処理方法。
【請求項１５】
複数のメディアオブジェクトと、各メディアオブジェクトの再生に関する情報を記述した記述データとを含むマルチメディアデータを外部装置に配信するデータ処理方法であって、
前記マルチメディアデータの配信に関る外部の能力と前記記述データに基づいて該記述データの分割要否を判定する判定工程と、
前記判定工程により分割が必要と判定された場合に、前記記述データが関連するメディアオブジェクトに設定されている優先度に基づいて、優先度の低いメディアオブジェクトに関る記述データ部分を分離することにより該記述データを分割する分割工程と、
前記分割工程によって分割された各記述データと複数のメディアオブジェクトを符号化し、多重化してマルチメディアデータを生成し、前記受信端末に配信する配信工程とを備えることを特徴とするデータ処理方法。
【請求項１６】
請求項１４または１５に記載のデータ処理方法をコンピュータに実行させるための制御プログラム。
【請求項１７】
請求項１４または１５に記載のデータ処理方法をコンピュータに実行させるための制御プログラムを格納した記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マルチメディアデータをネットワークを介して接続された受信端末に対して配信するデータ処理装置、及びデータ処理方法、並びにプログラム、記憶媒体に関するものである。
【背景技術】
【０００２】
動画像や音声を圧縮符号化し、多重化し、伝送若しくは蓄積し、これを逆多重化して復号する符号化標準の国際規格としてMPEG-1、及びMPEG-2などが知られている。
【０００３】
一方、ISO/IEC 14496 part 1(MPEG-4 Systems)では、静止画、動画像や音声、テキスト、ＣＧなど複数のオブジェクトを含むマルチメディアデータの符号化ビットストリームを多重化・同期する手法が標準化されている。
【０００４】
上述したようなMPEG-4のデータストリームには、これまでの一般的なマルチメディアストリームとは異なり、静止画像、動画像や音声データに加え、テキストやＣＧなどの各オブジェクトを空間・時間的に配置するための情報として、VRML（Virtual Reality Modeling Language）を自然動画像や音声が扱えるように拡張したBIFS（Binary Format for Scenes）が含まれている。ここでBIFSはMPEG-4のシーンを２値で記述する情報（シーン記述情報）である。
【０００５】
このようなマルチメディアストリームを構成する静止画、動画、音声等個々のオブジェクトは、それぞれ個別に最適な符号化が施されて送信されることになるので、復号側でも個別に復号され、上述のシーン記述情報に伴い空間的に配置され、個々のデータの持つ時間軸を再生機内部の時間軸に合わせて同期させ、シーンを合成し再生することになる。
【０００６】
また、シーンの構成を記述する方法としては、上述したVRML、BIFSの他に、HTML（HyperText Markup Language）や、XML（eXtensible Markup Language）を用いて記述されるSMIL（Synchronized Multimedia Integration Language）、XMT（Extensible MPEG-4 Textual Format）などがある。
【０００７】
このようなマルチメディアデータのビットストリームを送信する際には、受信側端末の能力や種類、通信回線の状況に応じて最適な情報量のデータを作成し、送信することが要求される。つまり、受信側端末が携帯電話やPDA（Personal Data Assistant）のような処理能力の低い携帯情報端末であったり、通信回線が混雑している場合には、予め送信側で高い圧縮率の符号化フォーマットで圧縮したり、画像サイズを小さくしたり、伝送レートやフレームレートを小さくして符号化する必要がある。
【０００８】
受信側端末の能力や通信回線の状況に応じて、動画像や音声のレートを制御したり、時間／空間スケーラブルを切り替えたり、画像サイズを変換したり、エラー耐性を制御したりして、情報量を最適化して符号化し、送信する手法についてはいくつか提案されている。例えば特許文献１には、動画像以外のシーン記述データについても最適化して送信する手法が提案されている。
【特許文献１】特開２００２−１１２１４９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、上記特許文献１に提案されている方式では、（１）シーン記述データを分割して送信する際、どのオブジェクトを優先するかについては言及されていない、（２）オブジェクト記述データの分割は行っていない、（３）コンテンツ作成者がオブジェクト表示の優先順位を指定できない、などの問題を有している。
【００１０】
本発明は以上の課題に鑑みて成されたものであり、動画、音声、静止画、テキスト、ＣＧ等、複数のメディアオブジェクトから構成される符号化されたマルチメディアデータを配信する際に、受信側の能力に応じてコンテンツ作成者の意図した表示を可能とすることを目的とする。
【課題を解決するための手段】
【００１１】
本発明の一態様によるデータ処理装置は以下の構成を備える。すなわち、
複数のメディアオブジェクトと、該複数のメディアオブジェクトの時空間の関係を記述するシーン記述データ及び当該シーン記述とメディアオブジェクトとの関連付け及び復号に必要な情報の記述を含むオブジェクト記述データを有する記述データとを含むマルチメディアデータを外部装置に配信するデータ処理装置であって、
前記マルチメディアデータの配信に関る外部の能力と前記シーン記述データ及びオブジェクト記述データに基づいて記述データの分割要否を判定する判定手段と、
前記判定手段により分割が必要と判定された場合に、オブジェクト記述データとシーン記述データのそれぞれをメディアオブジェクトに関る部分を単位として分割する分割手段と、
前記分割手段によって分割された各記述データと複数のメディアオブジェクトを符号化し、多重化してマルチメディアデータを生成し、前記受信端末に配信する配信手段とを備える。
【００１２】
また、本発明の他の態様によるデータ処理装置は、
複数のメディアオブジェクトと、各メディアオブジェクトの再生に関する情報を記述した記述データとを含むマルチメディアデータを外部装置に配信するデータ処理装置であって、
前記マルチメディアデータの配信に関る外部の能力と前記記述データに基づいて該記述データの分割要否を判定する判定手段と、
前記判定手段により分割が必要と判定された場合に、前記記述データが関連するメディアオブジェクトに設定されている優先度に基づいて、優先度の低いメディアオブジェクトに関る記述データ部分を分離することにより該記述データを分割する分割手段と、
前記分割手段によって分割された各記述データと複数のメディアオブジェクトを符号化し、多重化してマルチメディアデータを生成し、前記受信端末に配信する配信手段とを備える。
【発明の効果】
【００１３】
本発明によれば、複数のメディアオブジェクトから構成される符号化されたマルチメディアデータを配信する際に、配信に関る外部の能力（配信先端末の能力及び／又はネットワークの伝送容量等）に応じてその再生に関る情報を記述した記述データをメディアオブジェクトの優先度に応じて分割して送信することが出来る。このため、受信側の装置が複数のメディアオブジェクトを再生する処理にかかる負荷、時間を適切に分散させることができる。また、メディアオブジェクトの優先度に応じて再生されるので、コンテンツ作成者の意図に則した表示が可能である。
また、本発明によれば、シーン記述データとオブジェクト記述データの両方を外部の能力に応じて分割するので、メディアオブジェクトを再生する際の負荷の分散をより適切に実現できる。
【発明を実施するための最良の形態】
【００１４】
以下添付図面を参照して、本発明のデータ処理装置をマルチメディアデータを配信する装置に適用した好適な実施形態に従って詳細に説明する。
【００１５】
図１は本実施形態におけるマルチメディアデータ配信装置１００（以下、単に配信装置と呼ぶ）及びマルチメディアデータ受信装置１１０（以下、単に受信装置）の基本構成を示すと共に、各回路間でのデータの流れを示す図である。図１に示す配信装置１００は、シーン／オブジェクト変換回路１０１、機器情報／ネットワーク解析回路１０４、シーン記述データ符号化回路１０５、オブジェクト記述データ符号化回路１０６、メディアビットストリーム記憶装置１０７、多重化回路１０８により構成されている。
【００１６】
また、受信装置１１０は、逆多重化回路１１１、シーン記述データ復号回路１１２、オブジェクト記述データ復号回路１１３、メディア復号回路１１４、シーン合成回路１１５、出力機器１１６により構成されている。
【００１７】
配信装置１００において、シーン記述データ１０２は、視聴者に提示される画面や時間的な構成であり、MPEG-4のシステムパートではシーン記述言語として、前述したBIFSが採用されている。オブジェクト記述データ１０３は、シーン記述データ１０２とシーンを構成する各メディアオブジェクトの関連付け、符号化方法、パケットの構成等の復号に必要な情報である。これらシーン記述データ１０２及びオブジェクト記述データ１０３は、図示しないシーン／オブジェクト編集回路によって作成されたもの、若しくは所定の記憶装置に保存されているシーン記述データ及びオブジェクト記述データが読み込まれたものとする。
【００１８】
シーン記述データ１０２、オブジェクト記述データ１０３は、それぞれ、シーン記述データ符号化回路１０５、オブジェクト記述データ符号化回路１０６において符号化され、多重化回路１０８へ入力される。多重化回路１０８は、入力されたシーン記述データ、オブジェクト記述データ、符号化ビットストリームを多重化して、伝送路１０９へビットストリームとして受信装置１１０に配信する。メディアビットストリーム記憶装置１０７には、符号化されたビットストリームが予め用意されており、多重化回路１０８は、メディアビットストリーム記憶装置１０７から必要なメディアオブジェクトの符号化ビットストリームを選択して多重化する。
【００１９】
尚、上記符号化されたビットストリームは、例えば周知のJPEG方式にて高能率（圧縮）符号化された静止画、例えば周知のMPEG-2やMPEG-4、H-263方式にて高能率符号化された動画像データ、例えば周知のCELP（Code Excited Linear Prediction）符号化や、変換領域重み付けインターリーブベクトル量子化（TWINVQ）符号化などの高能率符号化が施された音声データ等である。
【００２０】
また図１において、１０９は各種ネットワークに代表される伝送路であり、本実施形態においては加工、符号化したマルチメディアデータを配信するネットワークである。
【００２１】
本実施形態における配信装置１００が、受信装置１１０に対してマルチメディアデータを配信する処理について、図２のフローチャートを用いて説明する。
【００２２】
本実施形態における配信装置１００は、受信装置１１０からネットワークを経由して送られるマルチメディアデータ配信要求を受けると共に、受信装置の種類や処理能力に関する情報（以下、機器情報）を受信する。機器情報／ネットワーク解析回路１０４は、受信した機器情報から受信装置の種類や処理能力を取得すると共に、ネットワーク回線状況を解析する（ステップＳ２０１）。ネットワークの回線状況の解析方法としては、例えば、所定のデータを配信装置１００へ送り、そのレスポンスの速度を計測することにより回線の伝送容量を推定する。
【００２３】
ここで機器情報の送受信手段としては、CC/PP（Composite Capability/Preference Profiles）のようなフレームワークを利用することが考えられる。CC/PPはW3C（World Wide Web Consortium）において標準化が行われており、端末のデバイス名（メーカ名、機種名）、画面サイズ、メモリ量等のハードウェア特性を、XMLをベースとしたメタ情報記述言語を用いて記述することが可能となっている。配信装置側に機種名と能力とを対応付けたテーブルを用意しておき、機器情報として取得された機種名から能力を取得するようにしてもよい。
【００２４】
次に、シーン／オブジェクト変換回路１０１は、受信装置１１０から配信を要求されたマルチメディアデータに合致するシーン記述データ１０２、オブジェクト記述データ１０３を読み込む（ステップＳ２０２）。そして、上記ステップＳ２０１の解析結果と、ステップＳ２０２で読み込んだシーン記述データ１０２、オブジェクト記述データ１０３とから、シーン記述データ及びオブジェクト記述データを分割する、しないの判断をする（ステップＳ２０３）。
【００２５】
ステップＳ２０３における分割の判断には、シーン記述データ及びオブジェクト記述データの符号化後のサイズを用いることが挙げられる。シーン記述データやオブジェクト記述データのサイズは記述の複雑さに対応しており、記述の複雑さはメディアオブジェクトの再生処理の負荷の大きさに対応するからである。シーン記述データ１０２とオブジェクト記述データ１０３を送信する際に、記述データの符号化後のサイズに対して伝送路１０９の伝送容量が低い場合、あるいは、受信装置１１０の処理能力が低い場合には、シーン記述データ及びオブジェクト記述データを分割することになる。より具体的には、例えば、以下の（１）、（２）の条件、
（１）「記述データの符号化後のサイズ（バイト数）」≦「伝送帯域に許されるデータのバイト数」、
（２）「記述データの符号化後のサイズ（バイト数）」≦「受信装置の処理能力に許されるデータのバイト数」、
をチェックし、これら（１）、（２）の条件を共に満たす記述データの場合は、分割せずに出力し、どちらから一方でも満たさない場合は分割するようにする。なお、ここで、受信装置の処理能力としては、ＣＰＵのクロックやメモリ容量等を用いることができる。また、別の判断方法として受信装置の種類（ＰＤＡ、携帯電話、ＰＣ等）に応じて判断するようなことも考えられる。
【００２６】
ステップＳ２０３で、シーン記述データ、オブジェクト記述データの分割の必要がないと判断された場合には、シーン記述データ、オブジェクト記述データを分割せずにそのまま送信する（ステップＳ２０６）。一方、分割の必要があると判断された場合はステップＳ２０４、Ｓ２０５によりシーン記述データ及びオブジェクト記述データを、それ以上分割する必要がないと判断されるまで分割する。以下、具体例によりシーン記述データ、オブジェクト記述データの分割を説明する。
【００２７】
例えば図３に示されるような、画面３００に動画像３０１と動画像３０２、静止画像３０３とが配置されるマルチメディアデータを実現する為のシーン記述データ、オブジェクト記述データはそれぞれ図４、図５である。尚、ここでは説明を分かり易くするため、本来２値で記述されるシーン記述データ、オブジェクト記述データを、符号化処理が施される前のテキストとして表記する。
【００２８】
図４で示されるシーン記述データ４００は、Groupノードで始まる。全てのBIFSシーンはSFTopNodeと呼ばれる種類のノードで始まるが、GroupノードはSFTopNodeの一つである。このGroupノードの子ノードとして、動画像３０１、動画像３０２、静止画像３０３に関する情報が、それぞれノード４０１、ノード４０２、ノード４０３に記述される。ノード４０１内には、対応する動画像オブジェクトデータ３０１の所在を示すＩＤ番号が記述され、同様にノード４０２、ノード４０３内には、対応する動画像オブジェクトデータ３０２、静止画像オブジェクトデータ３０３の所在を示すＩＤ番号が記述される。尚、ここではその他のノード、フィールドに関しての詳細な説明は省略する。
【００２９】
図５で示されるオブジェクト記述データ５００には、前述したシーン記述データとシーンを構成する動画像、静止画像メディアオブジェクトの関連付け、符号化方法、パケットの構成等の、復号に必要な情報が記述される。オブジェクト記述データは、セッションの開始時や、セッションの途中でストリームを追加、消去、変更などする際に必要である。セッションの開始時やシーンに新たにストリームが追加された場合には、オブジェクト記述データを更新するコマンド（UPDATE OD）が使用される。
【００３０】
オブジェクト記述データの構成で主要なものは、
・ ObjectDescriptorID
・ ES（Elementary Stream） Descriptor
である。
【００３１】
ObjectDescriptorIDはオブジェクトを識別するためのＩＤである。上述したように、シーン記述データ中の静止画や音声、動画ストリームを参照するノードには、その所在を示すＩＤ番号が割り当てられるが、このＩＤ番号はObjectDescriptorIDと対応付けられる。例えば、オブジェクト記述データ５０１〜５０３は、ObjectDescriptorID 1〜3で識別されるが、このＩＤはシーン記述データ４００中の“url”によって指定される番号（ＩＤ）に対応する。例えば、オブジェクト記述データ５０３はObjectDescriptorID“3”で識別されるが、これはシーン記述データ４００中、url“3”で指定されるIMAGE1という名前で定義されているImageTextureノードに該当する。
【００３２】
また、ES Descriptorは静止画、動画、音声の各ストリームに対して必要とされ、各ES DescriptorはES_IDによって識別される。ES Descriptorはストリームの種類を判別するためのストリームタイプやプロファイル、デコーダに必要なバッファサイズ、ストリームの最大／平均伝送レートなどを記述するデコーダ設定デスクリプタ（DecoderConfigDescriptor）等を含んでいる。DecoderConfigDescriptorは、受信装置側でこのElementary Streamをデコード可能かどうか決定する際に必要とされる情報である。
【００３３】
オブジェクト記述データは、シーン記述データのノード中に指定されたメディアストリームの情報を持っており、例えば動画像オブジェクト３０１に関するオブジェクト記述データは５０１に記述されており、動画像オブジェクト３０２に関するオブジェクト記述データは５０２に記述されており、静止画像３０３に関するオブジェクト記述データは５０３に記述されている。
【００３４】
さて、ステップＳ２０３でシーン記述データ、オブジェクト記述データを分割する必要がないと判断された場合には、図４で示されるシーン記述データ４００、図５で示されるオブジェクト記述データ５００は、それぞれシーン記述データ符号化回路１０５、オブジェクト記述データ符号化回路１０６に入力され、符号化される。そして、符号化されたシーン記述データ４００とオブジェクト記述データ５００は、メディアビットストリーム記憶装置１０７内の関連する動画像３０１、動画像３０２、静止画像３０３の符号化ビットストリームと共に多重化回路１０８において多重化され、送信される。
【００３５】
一方、ステップＳ２０３でシーン記述データ、オブジェクト記述データを分割する必要があると判断された場合には、シーン／オブジェクト変換回路１０１はオブジェクト記述データから優先度の低いオブジェクトを別のオブジェクト記述データとして分割する（ステップＳ２０４）。そして、ステップＳ２０４において分割したオブジェクト記述データに関連するノードを、シーン記述データから分割する（ステップＳ２０５）。
【００３６】
ここで、ステップＳ２０４、ステップＳ２０５でのシーン記述データ、オブジェクト記述データの分割方法を具体的に説明する。
【００３７】
前述した図４、図５で示されるシーン記述データ４００、オブジェクト記述データ５００を分割する場合、まずオブジェクト記述データ５００に含まれる３つのObjectDescriptor（５０１、５０２、５０３）から、優先度の低いObjectDescriptorを別のオブジェクトデータとして分割する。図５の例では、“ObjectDescriptorID 3”で示されるオブジェクト（５０３）の優先度が最も低いので、このObjectDescriptorを別のオブジェクトデータとして分割する。
【００３８】
ここで、上記優先度の判断にはObjectDescriptorに含まれるES DescriptorのフィールドstreamPriorityを用いることが考えられる。streamPriorityはこのESの優先度を示す相対的な基準であり、高いstreamPriorityの値を持つESは、それよりも低いstreamPriorityの値を持つESよりも重要であることを示している。よって、分割対象のオブジェクト記述データ５００においては、その中で最も優先度の低いオブジェクト５０３が分割されることになる。このstreamPriorityの値を変更することによりユーザが任意に優先度を設定できる。オブジェクト記述データ５００に対するこのような編集操作は、通常のテキスト編集アプリケーション等を用いることで実現できる。
【００３９】
図５のオブジェクト記述データ５００によると、ES_ID 101、102、103で表される各ESのstreamPriorityはそれぞれ3、2、1となっている。よってES_ID 103で示されるESが最も優先順位が低いと判断され、次に優先順位が高いESがES_ID 102で示されるES、最も優先順位が高いESはES_ID 103で示されるESと判断することが出来る。よって、ステップＳ２０４において、図５で示されるオブジェクト記述データ５００は、図６のように２つのオブジェクト記述データ６００と５０３に分割される。
【００４０】
そしてステップＳ２０５では、ステップＳ２０４において分割されたオブジェクト記述データ５０３に関連するノード４０３をシーン記述データ４００から分割する。オブジェクト記述データ５０３はObjectDescriptorID 3で識別されるが、これはシーン記述データ４００中、url 3で指定されるIMAGE1という名前で定義されているImageTextureノードに該当する。
【００４１】
ノードの分割は、当該ノードのみを分割するのではなく、当該ノードを含むグループ化ノードを分割することが可能であり、本例の場合、IMAGE1という名前で定義されているImageTextureノードをグループ化するTransform2Dノード４０３をシーン記述データ４００から分割する。よって、ステップＳ２０５において、図４で示されるシーン記述データ４００は、図７のように２つのシーン記述データ７００と７０１に分割される。例えば、「ノードのみを分割する」と、オブジェクト記述データに対応するノード「だけ」が分割され、そのノードをグループ化するノード単位での分割はされない。図４の例では、IMAGE1（ImageTextureノード）「のみ」が分割されることになり、IMAGE1をグループ化する Transform2D ノード４０３を単位としての分割はなされないことになる。ノードの分割においては、メディアオブジェクトに対応するノードとして、単一ノード単位で考えるのか、そのノードをグループ化するノード単位で考えるのかはどちらでもよく、いずれにしてもメディアオブジェクトに関る部分を単位として分割することになる。ただし、現実的には、分割効率を考えると、単一ノードのみで分割するよりも、グループ化するノード単位で分割した方が好ましい。
【００４２】
図６、図７のように２つに分割されたオブジェクト記述データ６００、５０３、シーン記述データ７００、７０１についてステップＳ２０３でさらに分割の必要があるかどうかを判断する。ステップＳ２０３において、これ以上シーン記述データ、オブジェクト記述データの分割の必要がないと判断された場合には、シーン記述データ６００、５０３、オブジェクト記述データ７００、７０１はそれぞれ別々のアクセスユニットとして、優先順位の高いものから順次シーン記述データ符号化回路１０５、オブジェクト記述データ符号化回路１０６へ入力されることになる。
【００４３】
シーン記述データ符号化回路１０５において符号化されたシーン記述データ７００、７０１、オブジェクト記述データ符号化回路１０６において符号化されたオブジェクト記述データ６００、５０３は、それぞれ多重化回路１０８においてタイムスタンプが付加され、多重化されて伝送路１０９へ送信される。ここで、分割されたシーン記述データ及びオブジェクト記述データは、それぞれシーン記述コマンドの挿入コマンド、オブジェクト記述データの更新コマンドが付加されて送信されるものとする。
【００４４】
尚、タイムスタンプには、復号タイムスタンプ、合成タイムスタンプがある。復号タイムスタンプは符号化されたデータが復号回路前にあるバッファに入力されるべき時刻であり、合成タイムスタンプは復号回路において復号されたデータが復号回路後にあるメモリに出力されるべき時刻である。本実施形態では、簡単のため、復号タイムスタンプと合成タイムスタンプには同一の値が用いられるものとする。
【００４５】
また、各アクセスユニットに付加されるタイムスタンプは、優先順位の高いものから順に時間的に早いものが付加される。例えば、時間T1がシーン記述データ６００、オブジェクト記述データ７００に付加され、時間T2がシーン記述データ５０３、オブジェクト記述データ７０１に付加されるとした場合、時間T1＜時間T2である。尚、アクセスユニット（Access Unit : 以下ＡＵ）は、復号・合成のための時間管理や、同期のための処理単位である。例えば MPEG-4 Video では１つのＶＯＰ（Video Object Plane）の符号化データ（各フレーム）が１つのＡＵに相当する。JPEGでは１枚の静止画データ（JPEG画像そのもの）が１つのＡＵに相当する。
【００４６】
図８は、上述の処理により２つに分割されたシーン記述データ７００、７０１、オブジェクト記述データ６００、５０３に基づいて表示される画面の一例である。タイムスタンプT１が付加されたシーン記述データ７００、及びオブジェクト記述データ６００を受信した受信装置１１０は、時間T１において画面８００のようにシーンを構成し、表示する。このように、時間T1においては動画像２０１、及び動画像２０２が再生されることになる。さらに、タイムスタンプT2が付加されたシーン記述データ７０１、及びオブジェクト記述データ５０３を受信した受信装置１１０は、時間T2において静止画像２０３を追加して合成する。このように時間T2において、図２と同様の画面構成で表示をすることになる。
【００４７】
次に、ステップＳ２０３でシーン記述データ、オブジェクト記述データをさらに分割する必要があると判断された場合の処理を、図９、図１０を用いて具体的に説明する。なお、分割要否の判断は、図６や図７に示された分割後の各記述データの符号化後のサイズに基づいてなされる。本実施形態では、各記述データの符号化後のサイズのうちの最大値を用いて更なる分割の要否を判断する。前述した図６、図７で示されるオブジェクト記述データ６００、５０３、シーン記述データ７００、７０１を分割する場合、オブジェクト記述データ５００から分割されたオブジェクト記述データ５０３についてはこれ以上分割処理を施さずに、オブジェクト記述データ６００から優先度の低いObjectDescriptorID 2で示されるオブジェクト５０２を別のオブジェクトデータとして分割する。
【００４８】
図６のオブジェクト記述データ６００によると、ES_ID 101、102で表される各ESのstreamPriorityはそれぞれ3、2となっている。よってES_ID 102で示されるESの方がES_ID 103で示されるESよりも優先順位が低いと判断することが出来る。よって、オブジェクト記述データ６００から、優先度の低いESを含むObjectDescriptorID 2で示されるオブジェクト５０２を別のオブジェクトデータとして分割する。このように、ステップＳ２０４において、図６で示されるオブジェクト記述データ６００は、図９のように２つのオブジェクト記述データ５０１、５０２に分割される。
【００４９】
そしてステップＳ２０５では、ステップＳ２０４において分割されたオブジェクト記述データ５０２に関連するノード、つまり図７のシーン記述データ７００中、url 2で指定されるMOVIE2という名前で定義されているMovieTextureノードをシーン記述データ７００から分割する。尚、前述の分割方法と同様に、ここではMovieTextureノードをグルーピングしているTransform2Dノードをシーン記述データ７００から分割する。よって、ステップＳ２０５において、図７で示されるシーン記述データ７００は、図１０のように２つのシーン記述データ１０００と１００１に分割される。
【００５０】
図９、図１０のように３つに分割されたシーン記述データ１０００、１００１、７０１、オブジェクト記述データ５０１、５０２、５０３は、それぞれ別々のアクセスユニットとして、優先順位の高いものから順次シーン記述データ符号化回路１０５、オブジェクト記述データ符号化回路１０６へ入力されることになる。
【００５１】
シーン記述データ符号化回路１０５において符号化されたシーン記述データ１０００、１００１、７０１、オブジェクト記述データ５０１、５０２、５０３は、それぞれ多重化回路１０８においてタイムスタンプが付加され、多重化されて伝送路１０９へ送信される。各アクセスユニットに付加されるタイムスタンプは、優先順位の高いものから順に、時間T1がシーン記述データ１０００、オブジェクト記述データ５０１に付加され、時間T2がシーン記述データ１００１、オブジェクト記述データ５０２に付加され、時間T3がシーン記述データ７０１、オブジェクト記述データ５０３に付加される。ここで時間T1＜T2＜T3である。
【００５２】
図１１は、上記したように３つに分割されたシーン記述データ、オブジェクト記述データに基づいて表示される画面の一例である。タイムスタンプT1が付加されたシーン記述データ１０００、及びオブジェクト記述データ５０１を受信した受信装置１１０は、時間T１においては画面１１００のようにシーンを構成し、表示する。このように、時間T1においては動画像２０１が再生されることになる。さらに、タイムスタンプT2が付加されたシーン記述データ１００１、及びオブジェクト記述データ５０２を受信した受信装置１１０は、時間T2において画面８００のように動画像２０２を追加してシーンを合成する。さらに、タイムスタンプT3が付加されたシーン記述データ７０１、及びオブジェクト記述データ５０３を受信した受信装置１１０は、時間T3において画面２００のように静止画像２０３を追加してシーンを合成する。このように時間T3において、図２と同様の画面構成で表示をすることになる。
【００５３】
なお、ここでは説明を分かりやすくするために、シーンの構成は動画像２つと、静止画像１つとしたが、シーンを構成するオブジェクトとしては動画像、静止画像に限られるものではなく、音声やＣＧ、テキスト等を用いる事が可能である。よってシーン／オブジェクトデータを分割する制御対象物も静止画、動画オブジェクトに限られるものではなく、動画像データを構成する各オブジェクトやＣＧ、テキスト等のいずれであっても適用可能であることは言うまでもない。
【００５４】
以上説明したように、上記実施形態によれば、動画、音声、静止画、テキスト、ＣＧ等、複数のメディアオブジェクトから構成される符号化されたマルチメディアデータを配信する際に、受信側端末の種類や能力に応じて、シーン記述データ及びオブジェクト記述データを最適化して分割し、それらを符号化して送信することが出来る。このため、受信装置がシーン記述データ及びオブジェクト記述データを復号し、シーンを合成する処理にかかる負荷、時間を分散させることができるといった効果がある。
【００５５】
また、ネットワークの通信回線状況を解析し、該ネットワークの伝送容量を取得し、これをシーン記述データ及びオブジェクト記述データの分割の要否判断に用いるので、ネットワークの状況に応じた、適切な形態でマルチメディアデータを配信できる。
更に、各メディアオブジェクトの再生に関する情報を記述した記述データ（実施形態ではオブジェクト記述データ）に関連するメディアオブジェクトの優先度を示す記述（実施形態ではstreamPriority）を含むようにしたので、コンテンツ作成者等は容易にメディアオブジェクトの優先度を設定できる。
また、分割された複数の記述データに対して、メディアオブジェクトの優先度に従った順番で再生されるようにタイムスタンプが付加されるので、コンテンツ作成者等の意図通りの再生を実行できる。
【００５６】
［その他の実施形態］
また、本発明の目的は前述したように、実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体をシステムあるいは装置に提供し、そのシステムあるいは装置のコンピュータ（またはCPUやMPU）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００５７】
プログラムコードを供給するための記憶媒体としては、例えば、フロッピー(登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、CD-ROM、CD-R、磁気テープ、不揮発性のメモリカード、ROMなどを用いることができる。
【００５８】
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているOS（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれていることは言うまでもない。
【００５９】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書きこまれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含むことは言うまでもない。
【図面の簡単な説明】
【００６０】
【図１】実施形態における配信装置の基本構成を示すと共に、各回路間でのデータの流れを示す図である。
【図２】配信装置がマルチメディアデータを配信する処理を説明するためのフローチャートである。
【図３】マルチメディアデータの画面構成の例を示す図である。
【図４】図３の画面構成を実現するシーン記述データの例を示す図である。
【図５】図３の画面構成を実現するオブジェクト記述データの例を示す図である。
【図６】図５のオブジェクト記述データを分割したオブジェクト記述データの例を示す図である。
【図７】図４のシーン記述データを分割したシーン記述データの例を示す図である。
【図８】図７のシーン記述データと図６のオブジェクト記述データから構成される画面の例を示す図である。
【図９】図６のオブジェクト記述データを分割したオブジェクト記述データの例を示す図である。
【図１０】図７のシーン記述データを分割したシーン記述データの例を示す図である。
【図１１】図１０のシーン記述データと図９のオブジェクト記述データから構成される画面の例を示す図である。
【図１】
2005176094.tif 000003
【図２】
2005176094.tif 000004
【図３】
2005176094.tif 000005
【図４】
2005176094.tif 000006
【図５】
2005176094.tif 000007
【図６】
2005176094.tif 000008
【図７】
2005176094.tif 000009
【図８】
2005176094.tif 000010
【図９】
2005176094.tif 000011
【図１０】
2005176094.tif 000012
【図１１】
2005176094.tif 000013