(57)【要約】【課題】符号化されたメディアデータとメディアデータの知的財産を管理するための符号化された知的財産管理データとを再生時に確実に同期させ、メディアデータの知的財産を正確に管理する。【解決手段】メディアデータ処理装置であって、メディアデータを符号化する第１の符号化部（７０１）と、メディアデータの知的財産管理のための知的財産管理データを符号化する第２の符号化部（７０３）と、符号化されたメディアデータと、メディアデータに対する復号タイミングを制御する第１のタイミング情報と、符号化された知的財産管理データと、符号化された知的財産管理データの復号タイミングを制御する第２のタイミング情報と、メディアデータとの同期を図るための同期情報とをパケット化（７０７）して送信する送信部（７１０）とを備える。【選択図】　　　図７
2004032695.tif 000002
【特許請求の範囲】
【請求項１】
メディアデータと前記メディアデータの知的財産管理のための知的財産管理データとを入力する入力手段と、
前記メディアデータを符号化する第１の符号化手段と、
前記知的財産管理データを符号化する第２の符号化手段と、
前記符号化されたメディアデータと、前記メディアデータに対する復号タイミングを制御する第１のタイミング情報と、前記符号化された知的財産管理データと、前記符号化された知的財産管理データの復号タイミングを制御する第２のタイミング情報と、前記メディアデータとの同期を図るための同期情報とをパケット化して送信する送信手段とを有することを特徴とするメディアデータ処理装置。
【請求項２】
前記第１のタイミング情報は、ＭＰＥＧ−４　ｓｙｓｔｅｍｓ（ＩＳＯ／ＩＥＣ　１４４９６−１）で規定されているＤＴＳ／ＣＴＳであることを特徴とする請求項１記載のメディアデータ処理装置。
【請求項３】
前記知的財産管理データは、ＭＰＥＧ−４　ｓｙｓｔｅｍｓ（ＩＳＯ／ＩＥＣ　１４４９６−１）で規定されているＩＰＭＰデータであることを特徴とする請求項２記載のメディアデータ処理装置。
【請求項４】
前記メディアデータは画像データであり、前記第１の符号化手段は前記画像データを圧縮符号化してスクランブル化し、前記第２の符号化手段は前記知的財産管理データをスクランブル化することを特徴とする請求項３記載のメディアデータ処理装置。
【請求項５】
前記知的財産管理データは、前記スクランブル化された画像データをデスクランブルするためのキーデータを含むことを特徴とする請求項４記載のメディアデータ処理装置。
【請求項６】
符号化されたメディアデータと、メディアデータに対する復号タイミングを制御する第１のタイミング情報と、符号化された知的財産管理データと、前記符号化された知的財産管理データの復号タイミングを制御する第２のタイミング情報と、前記知的財産管理データと前記メディアデータとの同期を図るための同期情報とがパケット化されて送信されたビットストリームを受信する受信手段と、
前記第２のタイミング情報に応じて前記符号化された知的財産管理データを復号する第１の復号化手段と、
前記第１のタイミング情報に応じて前記符号化されたメディアデータを復号する第２の復号化手段と、
前記同期情報及び前記復号された知的財産管理データに応じて前記メディアデータの出力を制御する制御手段とを有することを特徴とするメディアデータ処理装置。
【請求項７】
前記第１のタイミング情報は、ＭＰＥＧ−４　ｓｙｓｔｅｍｓ（ＩＳＯ／ＩＥＣ　１４４９６−１）で規定されているＤＴＳ／ＣＴＳであることを特徴とする請求項６記載のメディアデータ処理装置。
【請求項８】
前記知的財産管理データは、ＭＰＥＧ−４　ｓｙｓｔｅｍｓ（ＩＳＯ／ＩＥＣ　１４４９６−１）で規定されているＩＰＭＰデータであることを特徴とする請求項７記載のメディアデータ処理装置。
【請求項９】
前記受信手段によって受信された符号化されたメディアデータは、圧縮符号化された画像データを含み、前記符号化された知的財産管理データはスクランブル処理されていることを特徴とする請求項８記載のメディアデータ処理装置。
【請求項１０】
前記符号化されてメディアデータは、スクランブル処理されており、前記知的財産管理データは、前記メディアデータをデスクランブルするためのキーデータを含むことを特徴とする請求項９記載のメディアデータ処理装置。
【請求項１１】
メディアデータと前記メディアデータの知的財産管理のための知的財産管理データとを入力する入力工程と、
前記メディアデータを符号化する第１の符号化工程と、
前記知的財産管理データを符号化する第２の符号化工程と、
前記符号化されたメディアデータと、前記メディアデータに対する復号タイミングを制御する第１のタイミング情報と、前記符号化された知的財産管理データと、前記符号化された知的財産管理データの復号タイミングを制御する第２のタイミング情報と、前記メディアデータとの同期を図るための同期情報とをパケット化して送信する送信工程とを有することを特徴とするメディアデータ処理方法。
【請求項１２】
コンピュータに請求項１１記載のメディアデータ処理方法を実行させるためのプログラム。
【請求項１３】
請求項１２記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１４】
符号化されたメディアデータと、メディアデータに対する復号タイミングを制御する第１のタイミング情報と、符号化された知的財産管理データと、前記符号化された知的財産管理データの復号タイミングを制御する第２のタイミング情報と、前記知的財産管理データと前記メディアデータとの同期を図るための同期情報とがパケット化されて送信されたビットストリームを受信する受信工程と、
前記第２のタイミング情報に応じて前記符号化された知的財産管理データを復号する第１の復号化工程と、
前記第１のタイミング情報に応じて前記符号化されたメディアデータを復号する第２の復号化工程と、
前記同期情報及び前記復号された知的財産管理データに応じて前記メディアデータの出力を制御する制御工程とを有することを特徴とするメディアデータ処理方法。
【請求項１５】
コンピュータに請求項１４記載のメディアデータ処理方法を実行させるためのプログラム。
【請求項１６】
請求項１５記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、複数の情報データを同期制御する技術に関する。
【０００２】
【従来の技術】
昨今、テキスト、動画（ビデオ）、音声（オーディオ）などのマルチメディアデータをネットワークを通じてリアルタイムに配信するための種々の方式が実用化されている。
【０００３】
図１は、従来の受信側におけるマルチメディア処理部の構成を示す図である。図１において、１０１は受信部であり、伝送路からビデオ、オーディオのビットストリームを受信する。このビットストリームについては更に後述する。１０２はデマルチプレクサであり、受信したビットストリームをビデオ、オーディオに分別する。１０３はビデオデコーダであり、分別されたビデオビットストリームをデコード（復号）処理する。１０５はオーディオデコーダであり、分別されたオーディオビットストリームをデコード（復号）処理する。
【０００４】
１０４は同期制御部であり、デマルチプレクサ１０２からビデオ、オーディオの同期制御データ（タイムスタンプ）を受信し、双方の再生のための同期制御を行う。このタイムスタンプについては更に後述する。１０６はビデオ再生制御部であり、１０８のビデオ再生機（ディスプレイ）へのビデオ再生を行い、ユーザに提示する。１０７はオーディオ再生制御部であり、１０９のオーディオ再生機（スピーカ）へのオーディオ再生を行い、ユーザに提示する。
【０００５】
図２は、従来の送信側におけるマルチメディア処理部の構成を示す図である。図２において、２０１はビデオ処理部であり、ビデオソースを入力し、適宜変換（例えば、ＡＤ変換）やエンコードの前処理を行う。２０２はオーディオ処理部であり、オーディオソースを入力し、適宜変換やエンコードの前処理を行う。２０３はビデオエンコーダであり、ビデオ信号を符号化する。２０５はオーディオエンコーダであり、オーディオ信号を符号化する。
【０００６】
２０４は同期制御部であり、ビデオエンコーダ２０３とオーディオエンコーダ２０５との同期を制御する。２０６はマルチプレクサ（多重化器）であり、後述するヘッダ情報やタイムスタンプ類を適宜挿入しながら、メディアを多重化して出力する。２０７は多重化されたビットストリームを保存するストレージであり、マルチメディアデータを蓄積しておくハードディスク（ＨＤ）である。２０８は配信サーバであり、クライアントからの要求に応じて、実際にクライアントの受信部１０１にビットストリームを配信する。
【０００７】
図３は、多重化されたビットストリームの構成を示す図である。通常データは最適な手法によって予め圧縮（符号化）されており、このデータ形式を「ビットストリーム」と呼んでいる。また、ビデオ、オーディオのマルチメディアデータを同時に送信する場合、図３に示すように、双方のデータは特定のサイズ（以下「パケット」と呼ぶ）に分割されて重畳されている。
【０００８】
図３において、３０７はヘッダ情報であり、パケット毎に付加される。３０８、３１０、３１２はそれぞれビデオのビットストリームである。５０９、５１１、５１３はそれぞれオーディオのビットストリームである。
【０００９】
３０１〜３０６はそれぞれタイムスタンプと呼ばれる時間情報であり、３０１、３０３、３０５がそれぞれ後続するビデオビットストリームのタイムスタンプであり、同様に３０２、３０４、３０６がオーディオビットストリームのタイムスタンプである。また、このタイムスタンプにパケット毎のヘッダ情報が加わることもある。
【００１０】
図４は、ＭＰＥＧ−４規格の受信側におけるマルチメディア処理部の構成を示す図である。ＩＳＯ／ＩＥＣ　ＳＣ２９／ＷＧ１１　１４４９６−１　（ＭＰＥＧ−４　Ｓｙｓｔｅｍｓ）規格においては、ビットストリームのフォーマットと、ビデオ、オーディオ間の同期方式について規格化が行われている。また、著作権の管理方法についても規定されている。ＭＰＥＧ−４では、シーン記述方式としてＢＩＦＳ（Ｂｉｎａｒｙ　Ｆｏｒｍａｔ　ｆｏｒ　Ｓｃｅｎｅ　ｄｅｓｃｒｉｐｔｉｏｎ）を用い、このデータを１つのメディアストリームとして伝送する。
【００１１】
図４において、デマルチプレクサ４０２で分別されたビットストリームはＢＩＦＳ、各メディア、ＩＰＭＰ（Ｉｎｔｅｌｌｅｃｔｕａｌ　Ｐｒｏｐｅｒｔｙ　Ｍａｎａｇｅｍｅｎｔ　ａｎｄ　Ｐｒｏｔｅｃｔｉｏｎ）情報デコーダ用バッファ４０３〜４０６にそれぞれ蓄積され、デコード処理単位に次段のデコーダ４０７〜４０９で復号処理が行われる。このときＢＩＦＳストリームはシーンツリー生成部４１１でシーン情報が再構築され、ＩＰＭＰストリームはＩＰＭＰ処理に必要な情報（例えば暗号キーなど）が復号される。
【００１２】
４１０はＩＰＭＰ制御部であり、各部のデコーダや４１２のコンポジタ（合成器）の動作を制御する。具体的には、復号されたＩＰＭＰ情報に基づき各メディアの復号や合成のオン又はオフ制御、あるいは制限つきの再生制御などを行う。４１３はレンダラーであり、ビデオ及びオーディオを再生すべくディスプレイ４１４及びスピーカ４１５へ出力する。
【００１３】
図５は、従来のビデオ処理におけるタイムスタンプの例を示す図である。このＭＰＥＧ−４　Ｓｙｓｔｅｍｓでは、ＤＴＳ（Ｄｅｃｏｄｅ　Ｔｉｍｅ　Ｓｔａｍｐ）及びＣＴＳ（Ｃｏｍｐｏｓｉｔｉｏｎ　Ｔｉｍｅ　Ｓｔａｍｐ）と呼ばれる２種類のタイムスタンプを定義している。
【００１４】
図５に示すＤＴＳはデコーダの処理開始時間を示し、ＣＴＳは合成の処理開始時間を示している。Ｖｉｄｅｏ　ＡＵ１、Ｖｉｄｅｏ　ＡＵ２、Ｖｉｄｅｏ　ＡＵ３…は、それぞれ連続するビデオアクセスユニット（デコード単位）であり、それぞれに対応するＤＴＳ、ＣＴＳが伝送される（但し、片方が省略される場合もある。このときはＤＴＳ＝ＣＴＳとして扱う）。また、図５の下部に、ビデオストリームに対して処理を行うＩＰＭＰデータのタイムスタンプを同時に示している。ここで、ＩＰＭＰ　ＡＵ１，　ＩＰＭＰ　ＡＵ２，　ＩＰＭＰ　ＡＵ３，…はそれぞれＶｉｄｅｏ　ＡＵ１、Ｖｉｄｅｏ　ＡＵ２、Ｖｉｄｅｏ　ＡＵ３…に対応したＩＰＭＰ情報である。
【００１５】
このように、ＩＰＭＰデータも他のビデオ、オーディオなどのメディアストリームと同様に、ビットストリームの一種として扱われ、受信機の各ステージでの再生制御が行われる。例えば、ＩＰＭＰデータに暗号キーに関する情報を埋め込んでおき、タイムスタンプに応じた（アクセスユニット毎に）暗号キーの更新などを行うことができる。
【００１６】
【発明が解決しようとする課題】
しかしながら、従来例では、以下のような問題があった。
（１）ＩＰＭＰストリームに付加されるタイムスタンプも他のメディアストリームと同じ扱いとなっており、ＩＰＭＰ用ＣＴＳの扱いと動作が定義されていない。
【００１７】
ここで、コンポジションとはメディアストリームに対して行われる行為であり、ＩＰＭＰストリームはそれ自身でコンポジションを行う性質のものではないためである。
（２）ＩＰＭＰストリームに付加されるタイムスタンプと、各メディアストリームに付加されるタイムスタンプとの同期関係が定義されておらず、アクセスユニット単位でメディアデータとＩＰＭＰデータとの同期がとれない。
（３）上記暗号キーに関する情報を秘匿するために、暗号化処理した場合或いは電子透かし技術を用いて上記暗号キーに関する情報をＩＰＭＰデータに埋め込んだ場合とでは、ＩＰＭＰデータの処理方法が異なり、ＩＰＭＰデータの処理をフレキシブルに表現できない。
【００１８】
尚、上記したＩＰＭＰデータの処理方法が異なる理由は、暗号化技術を用いた場合では、まず暗号を解除し、その後デコード処理して暗号キーに関する情報を抽出処理するが、一方、電子透かし技術を用いた場合では、まずデコード処理し、そのデコード済みデータから暗号キーに関する情報を抽出処理するからである。
【００１９】
上述したような背景から本発明の一つの目的は、符号化されたメディアデータと前記メディアデータの知的財産を管理するための符号化された知的財産管理データとを再生時に確実に同期させることができ、前記メディアデータの知的財産を正確に管理することができるメディアデータ処理装置及びその方法を提供する。
【００２０】
【課題を解決するための手段】
このため、その一つの好適実施態様におけるメディアデータ処理装置は、メディアデータと前記メディアデータの知的財産管理のための知的財産管理データとを入力する入力手段と、前記メディアデータを符号化する第１の符号化手段と、前記知的財産管理データを符号化する第２の符号化手段と、前記符号化されたメディアデータと、前記メディアデータに対する復号タイミングを制御する第１のタイミング情報と、前記符号化された知的財産管理データと、前記符号化された知的財産管理データの復号タイミングを制御する第２のタイミング情報と、前記メディアデータとの同期を図るための同期情報とをパケット化して送信する送信手段とで構成されることを特徴とする。
【００２１】
また、その一つの好適実施態様におけるメディアデータ処理装置は、符号化されたメディアデータと、前記メディアデータに対する復号タイミングを制御する第１のタイミング情報と、符号化された知的財産管理データと、前記符号化された知的財産管理データの復号タイミングを制御する第２のタイミング情報と、前記知的財産管理データと前記メディアデータとの同期を図るための同期情報とがパケット化されて送信されたビットストリームを受信する受信手段と、前記第２のタイミング情報に応じて前記符号化された知的財産管理データを復号する第１の復号化手段と、前記第１のタイミング情報に応じて前記符号化されたメディアデータを復号する第２の復号化手段と、前記同期情報及び前記復号された知的財産管理データに応じて前記メディアデータの出力を制御する制御手段とで構成されることを特徴とする。
【００２２】
また、その一つの好適実施態様におけるメディアデータ処理方法は、メディアデータと前記メディアデータの知的財産管理のための知的財産管理データとを入力する入力工程と、前記メディアデータを符号化する第１の符号化工程と、前記知的財産管理データを符号化する第２の符号化工程と、前記符号化されたメディアデータと、前記メディアデータに対する復号タイミングを制御する第１のタイミング情報と、前記符号化された知的財産管理データと、前記符号化された知的財産管理データの復号タイミングを制御する第２のタイミング情報と、前記メディアデータとの同期を図るための同期情報とをパケット化して送信する送信工程とを含むことを特徴とする。
【００２３】
また、その一つの好適実施態様におけるメディアデータ処理方法は、知的財産管理データを含むメディアデータを処理するメディアデータ処理方法であって、符号化されたメディアデータと、前記メディアデータに対する復号タイミングを制御する第１のタイミング情報と、符号化された知的財産管理データと、前記符号化された知的財産管理データの復号タイミングを制御する第２のタイミング情報と、前記知的財産管理データと前記メディアデータとの同期を図るための同期情報とがパケット化されて送信されたビットストリームを受信する受信工程と、前記第２のタイミング情報に応じて前記符号化された知的財産管理データを復号する第１の復号化工程と、前記第１のタイミング情報に応じて前記符号化されたメディアデータを復号する第２の復号化工程と、前記同期情報及び前記復号された知的財産管理データに応じて前記メディアデータの出力を制御する制御工程とを含むことを特徴とする。
【００２４】
【発明の実施の形態】
以下、図面を参照しながら本発明に係る実施の形態を詳細に説明する。
【００２５】
まず、本実施形態におけるＩＰＭＰ処理専用のタイムスタンプ（以下「ＩＴＳ」と呼ぶ）が付加されたビットストリームを受信する受信側のマルチメディア処理部の構成及び動作について説明する。
【００２６】
図６は、本実施形態の受信側におけるマルチメディア処理部の構成を示す図である。図６において、６０１はビットストリーム受信部であり、適宜サーバからビットストリームを受信する。６０２はデマルチプレクサであり、多重化されたビットストリームの逆多重化を行い、各ビットストリームを抽出する。ここで、抽出された各ビットストリームは、６０３のＢＩＦＳデコーダ用バッファ、６０４のメディアデコーダ用バッファ（ビデオ、オーディオなどを総合して「メディア」と称す）、６０５のＩＰＭＰデコーダ用バッファに個別に蓄積される。それぞれ蓄積されたビットストリームは、６０８のＢＩＦＳデコーダ、６０９のメディアデコーダ、６１０のＩＰＭＰデコーダによりそれぞれデコードされる。
【００２７】
尚、後述するように、ＢＩＦＳ及び各メディアのデコード処理は、ＩＰＭＰ処理により禁止されることもある。
【００２８】
また、デマルチプレクサ６０２からメディアストリーム及びＩＰＭＰストリームに対してそれぞれタイムスタンプが出力される。６０７はメディア用ＤＴＳ検出器、６１６はメディア用ＣＴＳ検出器であり、６１１はＩＰＭＰ用ＤＴＳ検出器、６１２はＩＰＭＰ用ＣＴＳ検出器である。
【００２９】
尚、本実施形態においては、ＩＴＳ検出器６０６によりＩＴＳと呼ばれるＩＰＭＰ処理専用のタイムスタンプが抽出され、ＩＰＭＰデコーダ６１０のデコードタイミングを制御する。メディア、ＩＰＭＰそれぞれのＤＴＳ及びＣＴＳは、それぞれ６１３のＤＴＳ比較器、６１７のＣＴＳ比較器により、メディア、ＩＰＭＰそれぞれのＤＴＳ及びＣＴＳが一致しているか否かを調べる。６１９はＡＮＤゲートであり、ＤＴＳ及びＣＴＳが一致した条件のＡＮＤをとる。
【００３０】
従って、ＡＮＤデート６１９はメディア用のＤＴＳ／ＣＴＳとＩＰＭＰ用のＤＴＳ／ＣＴＳとが一致した場合にのみ真値“１”を出力する。つまり、この構成により、メディア用のＤＴＳ／ＣＴＳ及びＩＰＭＰ用のＤＴＳ／ＣＴＳが完全に一致したか否かを判定することができる。
【００３１】
６２０はシンクコントローラであり、各デコーダのデコードタイミング制御、メディア間の同期制御、再生タイミング制御を司る。上記メディア用のＤＴＳ／ＣＴＳ　及びＩＰＭＰ用のＤＴＳ／ＣＴＳが完全に一致した場合、ＩＰＭＰデータの更新が該当するメディアのアクセスユニットに対応していると想定する。具体的な例としては、メディアデータがスクランブルされており、デスクランブルキーが定期的に切り替わる場合を考える。この場合、メディアの各アクセスユニットと、デスクランブルキーの更新タイミングが正確に規定されないと正常な再生が不可能になる。シンクコントローラ６２０は、ＤＴＳ／ＣＴＳ比較器の出力をモニタすることにより、このタイミングを制御する。具体的には、各デコーダに供給されるメディアデータをデスクランブルするタイミングとデスクランブルキーの更新タイミングの制御を行う。
【００３２】
また、６１４はＢＩＦＳデコーダによってデコードされたシーン情報を再構成するＢＩＦＳコンポジタバッファであり、６１５はメディアコンポジタバッファであり、具体的にはデコードされた任意の画像フレーム及びオーディオデータが一時的に格納される。
【００３３】
ＩＰＭＰの方式がスクランブルのみである場合は、そのまま、コンポジタ６１８で各メディアがコンポジション（再構築）され、レンダラ６２１にて、表示・再生が行われる。
【００３４】
６２３は画像（或いはビデオ）メディアが最終的にレンダリング（表示）されるモニタ装置であり、６２４はオーディオメディアがレンダリング（再生）されるスピーカ装置である。
【００３５】
また、ＩＰＭＰの方式がスクランブルのみならずメディアの再生可否制御が行われる場合を考える。この場合、各メディアが意図されたタイミングで正確に表示・再生が開始（或いは停止）されなければならない。この場合も、スクランブルの場合と同様で、シンクコントローラにより、各メディアがアクセスユニット毎に正確に表示・再生が開始（或いは停止）されるかを、ＤＴＳ比較器６１３とＣＴＳ比較器６１７との比較結果に基づいてコンポジタ６１８及びレンダラ６２１を制御するとによって実現される。
【００３６】
図１０は、デスクランブル処理を説明するためのフローチャートである。デコードが開始される（Ｓ１０１）と、まずＩＴＳ検出器６０６によりＩＴＳの検出（Ｓ１０２）が行われる。次に、検出されたＩＴＳのタイミングでＩＰＭＰデコーダ６１０によりＩＰＭＰデータがデコードされる（Ｓ１０３）。ＩＰＭＰデータのデコード処理は、スクランブルキー自体が多重スクランブル（暗号化）されている場合など、実際にメディアデータをデコードするキーを抽出する処理などに相当する。
【００３７】
次に、ＩＰＭＰデータのＤＴＳ／ＣＴＳがＩＰＭＰ用ＤＴＳ検出器６１１及びＩＰＭＰ用ＣＴＳ検出器６１２により検出される（Ｓ１０４）。次に各メディアのＤＴＳ／ＣＴＳがメディア用ＤＴＳ検出器６０７及びメディア用ＣＴＳ検出器６１７により検出される（Ｓ１０５）。その後、上記ＩＰＭＰデータ用ＤＴＳ／ＣＴＳ及びメディアデータ用ＤＴＳ／ＣＴＳが各々ＤＴＳ比較器６１３及びＣＴＳ比較器６１７により比較される。不一致だった場合には、スクランブルキーが更新されていないと判断し、既存のスクランブルキーでメディアをデスクランブル及びデコードする（Ｓ１０７）。
【００３８】
一方、一致した場合には、スクランブルキーが更新されたと判断し、スクランブルキーを更新（Ｓ１０８）した後、メディアをデスクランブル及びデコードする（Ｓ１０９）。その後、適宜コンポジタ６１８によりコンポジション及びレンダラ６２１によりレンダリングが行われ（Ｓ１１０）、これをデータ終了まで繰り返す（Ｓ１１１）。
【００３９】
尚、ＩＰＭＰの方式がスクランブル以外に、メディアの表示／再生可否をも含まれる場合には、Ｓ１１０の状態において、別途表示／再生制御が行われることは言うまでもない。
【００４０】
次に、本実施形態におけるＩＴＳを付加してビットストリームを送信する送信側のマルチメディア処理部の構成及び動作について説明する。
【００４１】
図７は、本実施形態の送信側におけるマルチメディア処理部の構成を示す図である。図７において、７０１はメディアエンコーダであり、メディアデータに対して各メディアに適したエンコードを行う。例えば、メディアデータが画像データの場合は、ＭＰＥＧ−４　Ｖｉｓｕａｌ（ＩＳＯ／ＩＥＣ　１４４９６−２）に準拠した符号化を行い、スクランブルキーによりスクランブル処理される。７０２はＤＴＳ／ＣＴＳジェネレータであり、各メディアの再生条件に応じたタイムスタンプ（ＤＴＳ／ＣＴＳ）を発生する。
【００４２】
７０３はＩＰＭＰエンコーダであり、ＩＰＭＰ情報に対してエンコードを行う。ＩＰＭＰデータのエンコード処理は、例えばメディアデータにスクランブル処理を施すためのスクランブルキー自体をスクランブル（暗号化）する処理に相当する。７０４はＤＴＳ／ＣＴＳバッファであり、ＤＴＳ／ＣＴＳジェネレータ７０２で生成されたＤＴＳ／ＣＴＳを一時的に蓄積する。
【００４３】
７０５はシンクコントローラであり、ＤＴＳ／ＣＴＳジェネレータ７０２で生成されたＤＴＳ／ＣＴＳとＩＰＭＰエンコーダ７０３でエンコード（スクランブル／暗号化）されたＩＰＭＰ情報を入力し、各メディアの再生のための同期制御を行うと共に、後述するＩＴＳ情報の生成を制御する。７０６はＩＴＳジェネレータであり、ＤＴＳ／ＣＴＳバッファ７０４に蓄積されたＤＴＳ／ＩＴＳに基づき、シンクコントローラ７０５からの指示に従って各アクセスユニットに対するＩＴＳ情報を生成する。
【００４４】
７０７はパケッタイザであり、上述のようにエンコードされたメディア情報及びＩＰＭＰ情報、ＤＴＳ／ＣＴＳ、ＩＴＳ情報を用いて適宜パケット化を行う。ＩＰＭＰ用のＤＴＳ／ＣＴＳの値はメディア情報と同一とするので、ＤＴＳ／ＣＴＳジュネレータ７０２がＩＰＭＰ用のＤＴＳ／ＣＴＳを発生していることになる。
【００４５】
このパケット化の際に、ヘッダ生成部７０９にて適宜ヘッダが追加され、マルチプレクサ７０８によって最終的に多重化が行われる。そして、７１０のビットストリーム送信部７１０によりマルチプレクサ７０９で多重化されたデータが適宜送信が行われる。
【００４６】
図８は、本実施形態によるタイムスタンプのタイミングチャートを示す図である。図８では、メディアストリームの一例としてビデオストリームをあげているが他のメディアでもかまわない。着目すべきはビデオのＤＴＳ／ＣＴＳとＩＰＭＰのＤＴＳ／ＣＴＳの関係である。
【００４７】
ここで、ビデオアクセスユニット１（Ｖｉｄｅｉｏ　ＡＵ１）のデコード開始タイミングをＤＴＳ１、コンポジション開始タイミングをＣＴＳ１とすると、このアクセスユニットにおけるＩＰＭＰストリームのＤＴＳ／ＣＴＳもそれぞれＤＴＳ１、ＣＴＳ１と同じ値となる。即ち、ビデオアクセスユニットとＩＰＭＰアクセスユニットのＤＴＳ／ＣＴＳを共に同一の値とすることにより、ビデオアクセスユニットとＩＰＭＰアクセスユニットとの対応付けを行うことができる。
【００４８】
従って、ＩＰＭＰストリーム用のＤＴＳ／ＣＴＳはそれ自身のデコード及びコンポジションタイミングを示すものではなく、各メディアストリームのアクセスユニットとの対応付けに利用されるものとなる。
【００４９】
一方、新たに定義したＩＴＳによりＩＰＭＰストリーム自体のアクセスユニット単位でのデコード（例えば、ビデオストリームを解読する暗号マスターキーデータのスクランブルを解除するなど）タイミングを制御することが可能になる。
【００５０】
［他の実施形態］
次に、図面を参照しながら本実施形態における他の実施形態を説明する。
【００５１】
他の実施形態として、電子透かし技術を応用した場合について説明する。他の実施例では、電子透かし技術を用いてメディアデータのスクランブルキーをＩＰＭＰデータに埋め込んだ場合を示し、ＩＴＳは電子透かしにより埋め込まれたスクランブルキーを抽出する（デコードする）処理タイミングを示すことになる。
【００５２】
図９は、他の実施形態によるタイムスタンプのタイミングチャートを示す図である。図９に示すＤＴＳ／ＣＴＳは、図８と同様に、メディアとＩＰＭＰの各ストリームのアクセスユニットの相互関係を示す目的で使用される。本実施形態では、例えば暗号を用いたシステムに対して適応可能であったが、ビットストリームが暗号化されている場合には、メディアビットストリームの暗号解除処理を行ってから、デコード処理、合成処理を行う必要がある。
【００５３】
従って、ＩＴＳ≦ＤＴＳ≦ＣＴＳとなる（図８参照）。ここで、イコールは全ての処理がゼロ時間で実効可能な理想状態を示している。つまり、ＩＰＭＰ処理はデコーダの動作を制御する（デコードする・しない）ことになる。
【００５４】
一方、電子透かしを用いたシステムでは、デコードされたビットストリームから電子透かしデータを抽出するため、デコード処理はかならず行われた後、ＩＰＭＰ処理はコンポジタの動作を制御する（合成する・しない）ことになる。
【００５５】
従って、タイムスタンプの関係は、ＤＴＳ≦ＩＴＳ≦ＣＴＳとなる。図９は、この場合のタイミングチャートを示したものである。
【００５６】
このように、ＩＰＭＰ処理専用のタイムスタンプを設け、メディア用のＤＴＳ／ＣＴＳをベースにＣＴＳ，ＩＴＳのタイミングを制御することにより、フレキシブルなＩＰＭＰ処理を実行することが可能になる。
【００５７】
以上説明した実施形態は、記述の方式を除き、ハードウェアで実現可能であるが、このシステム全体をソフトウェアで実現してもかまわないことは言うまでもない。
【００５８】
また、実施形態では、マルチメディアデータとして、ビデオ及びオーディオを扱ったが、テキストやグラフィックスなどが含まれることも可能である。
【００５９】
以上説明したように、実施形態によれば、各種のＩＰＭＰ処理を確実に同期を取り、しかもフレキシブルに構成することが可能になる。
【００６０】
尚、本発明は複数の機器（例えば、ホストコンピュータ，インターフェース機器，リーダ，プリンタなど）から構成されるシステムに適用しても、１つの機器からなる装置（例えば、複写機，ファクシミリ装置など）に適用しても良い。
【００６１】
また、本発明の目的は前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（ＣＰＵ若しくはＭＰＵ）が記録媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。
【００６２】
この場合、記録媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記録媒体は本発明を構成することになる。
【００６３】
プログラムコードを供給するための記録媒体としては、例えばフレキシブルディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭなどを用いることができる。
【００６４】
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００６５】
更に、記録媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００６６】
【発明の効果】
以上説明したように、本発明によれば、メディアデータに付加される同期制御情報とＩＰＭＰ情報に付加される同期制御情報とを同期させると共に、ＩＰＭＰ情報で規定される処理に応じてその処理を開始する時間を指示する情報を各同期制御情報に関連付けて生成することにより、知的財産管理の処理をフレキシブルに行うことができる。
【図面の簡単な説明】
【図１】従来の受信側におけるマルチメディア処理部の構成を示す図である。
【図２】従来の送信側におけるマルチメディア処理部の構成を示す図である。
【図３】多重化されたビットストリームの構成を示す図である。
【図４】ＭＰＥＧ−４規格の受信側におけるマルチメディア処理部の構成を示す図である。
【図５】従来のビデオ処理におけるタイムスタンプの例を示す図である。
【図６】本実施形態の受信側におけるマルチメディア処理部の構成を示す図である。
【図７】本実施形態の送信側におけるマルチメディア処理部の構成を示す図である。
【図８】本実施形態によるタイムスタンプのタイミングチャートを示す図である。
【図９】他の実施形態によるタイムスタンプのタイミングチャートを示す図である。
【図１０】デスクランブル処理を説明するためのフローチャートである。
【符号の説明】
１０１　ビットストリーム受信部
１０２　デマルチプレクサ（逆多重化器）
１０３　ビデオデコーダ
１０４　同期制御部
１０５　オーディオデコーダ
１０６　ビデオ再生制御部
１０７　オーディオ再生制御部
１０８　ディスプレイ
１０９　スピーカ
２０１　ビデオ処理部
２０２　オーディオ処理部
２０３　ビデオエンコーダ
２０４　同期制御部
２０５　オーディオエンコーダ
２０６　マルチプレクサ（多重化器）
２０７　蓄積装置
２０８　サーバ
４０１　ビットストリーム受信部
４０２　デマルチプレクサ
４０３　ＢＩＦＳデコーディングバッファ
４０４　ビデオデコーディングバッファ
４０５　オーディオデコーディングバッファ
４０６　ＩＰＭＰデコーダ
４０７　ＢＩＦＳデコーダ
４０８　ビデオデコーダ
４０９　オーディオデコーダ
４１０　ＩＰＭＰコントローラ
４１１　シーンツリー生成部
４１２　コンポジタ
４１３　レンダラ
４１４　ディスプレイ
４１５　スピーカ
６０１　ビットストリーム受信部
６０２　デマルチプレクサ
６０３　ＢＩＦＳデコーダ用バッファメモリ
６０４　メディアデコーダ用バッファメモリ
６０５　ＩＰＭＰデコーダ用バッファメモリ
６０６　抽出されたＩＰＭＰタイムスタンプ
６０７　メディアデコーダタイムスタンプ
６０８　ＢＩＦＳデコーダ
６０９　メディアデコーダ
６１０　ＩＰＭＰデコーダ
６１１　ＩＰＭＰデコーダタイムスタンプ
６１２　ＩＰＭＰコンポジションタイムスタンプ
６１３　デコーダタイムスタンプ比較器
６１４　ＢＩＦＳコンポジションバッファ
６１５　メディアコンポジションバッファ
６１６　メディアコンポジションタイムスタンプ
６１７　コンポジションタイムスタンプ比較器
６１８　コンポジタ
６１９　アンドゲート
６２０　シンクコントローラ（同期制御部）
６２１　レンダラ
６２２　ＩＰＭＰコントローラ
６２３　ディスプレイ
６２４　スピーカ
７０１　メディアエンコーダ
７０２　ＤＴＳ／ＣＴＳジェネレータ
７０３　ＩＰＭＰエンコーダ
７０４　ＤＴＳ／ＣＴＳバッファ
７０５　シンクコントローラ（同期制御部）
７０６　ＩＰＭＰタイムスタンプ（ＩＴＳ）ジェネレータ
７０７　パケッタイザ
７０８　マルチプレクサ
７０９　ヘッダ生成器
７１０　ビットストリーム送信部
【図１】
2004032695.tif 000003
【図２】
2004032695.tif 000004
【図３】
2004032695.tif 000005
【図４】
2004032695.tif 000006
【図５】
2004032695.tif 000007
【図６】
2004032695.tif 000008
【図７】
2004032695.tif 000009
【図８】
2004032695.tif 000010
【図９】
2004032695.tif 000011
【図１０】
2004032695.tif 000012