(57)【特許請求の範囲】
【請求項１】
時間連続性を持ち、複数のセグメントからなるコンテンツのデータストリームと、前記コンテンツに関連する情報と各セグメントに関する情報を含むメタデータと、を取得する取得部と、
前記セグメントのうちの処理対象セグメントに対応するメタデータの一部を部分実行が可能なように記述された処理ユニット（ＭＰＵ）に分割するユニット化部と
前記データストリームの処理対象セグメントをパケット化してできたＰＥＳパケットと、前記ユニット化部が前記メタデータの処理ユニットを１つ以上パケット化して作成したプライベートＰＥＳパケットとを、メタデータの部分的な実行が可能なようにカプセル化してカプセル化ストリームを生成するカプセル化部と、
を具備したことを特徴とする情報提供装置。
【請求項２】
さらに、前記データストリームの処理対象セグメントとそれに対応した前記処理ユニットとを同期させる同期部を有し、
前記カプセル化部は、前記同期化後のＰＥＳパケットと、プライベートＰＥＳパケットとを、メタデータの部分的な実行が可能なようにカプセル化してカプセル化ストリームを生成する請求項１記載の情報提供装置。
【請求項３】
前記データストリームの対応する処理対象セグメントの処理開始時間より前に前記処理ユニットの処理が完了するように前記処理ユニットのパケットを配置することを特徴とする請求項１または請求項２記載の情報提供装置。
【請求項４】
前記処理ユニットのパケットは、前記データストリームの対応する処理対象セグメントの先頭パケットの処理開始時間と、そのセグメントの時間長を含むことを特徴とする請求項１または請求項２記載の情報提供装置。
【請求項５】
前記ユニット化されたメタデータは、メタデータの種類、時間同期の有無フラグまたは実データが含まれる請求項１または請求項２記載の情報提供装置。
【請求項６】
前記ユニット化されたメタデータは、メタデータの種類、時間同期の有無フラグ、ＡＶデータの開始時間、継続時間または実データ (element_data) が含まれる請求項１または請求項２記載の情報提供装置。
【請求項７】
前記実データは、コンテンツに関する情報、表示方法に関する情報またはプログラムである請求項５または請求項６記載の情報提供装置。
【請求項８】
前記メタデータの種類は、位置情報、コンテンツ情報、メタデータを処理するための情報またはプログラムである請求項５または請求項６記載の情報提供装置。
【請求項９】
前記メタデータのセグメントに関する情報は、前記データストリームの対応するセグメントの先頭パケットの処理開始時間と、そのセグメントの時間長を含むことを特徴とする請求項１または請求項２記載の情報提供装置。
【請求項１０】
前記メタデータが構造化記述されていることを特徴とする請求項１または請求項２記載の情報提供装置。
【請求項１１】
前記メタデータのユニットが構造化記述されていることを特徴とする請求項１または請求項２記載の情報提供装置。
【請求項１２】
前記構造化記述がXML（eXtensible Markup Language）のDTD(Document Type Definition)によって定義されていることを特徴とする請求項１０に記載の情報提供装置。
【請求項１３】
前記構造化記述がXML（eXtensible Markup Language,）のRDF(Resource Description Framework)によって定義されていることを特徴とする請求項１０記載の情報提供装置。
【請求項１４】
前記構造化記述がXMLの構造と内容、意味を定義するXMLスキーマ（eXtensible Markup Language Schema）によって定義されていることを特徴とする請求項１０記載の情報提供装置。
【請求項１５】
前記構造化記述がXML（eXtensible Markup Language,）のDTD(Document Type Definition)によって定義されていることを特徴とする請求項１１記載の情報提供装置。
【請求項１６】
前記構造化記述がXML（eXtensible Markup Language,）のRDF(Resource Description Framework)によって定義されていることを特徴とする請求項１１記載の情報提供装置。
【請求項１７】
前記構造化記述が、XMLの構造と内容、意味を定義するXML スキーマ（eXtensible Markup Language Schema）によって定義されていることを特徴とする請求項１１に記載の情報提供装置。
【請求項１８】
時間連続性を持ち、複数のセグメントからなるコンテンツのデータストリームと、前記コンテンツに関連する情報と各セグメントに関する情報を含むメタデータと、を取得し、
前記セグメントのうちの処理対象セグメントに対応するメタデータの一部を部分実行が可能なように記述された処理ユニット（ＭＰＵ）に分割し、
前記データストリームの処理対象セグメントをパケット化してできたＰＥＳパケットと、前記ユニット化部が前記メタデータの処理ユニットを１つ以上パケット化して作成したプライベートＰＥＳパケットとを、メタデータの部分的な実行が可能なようにカプセル化してカプセル化ストリームを生成する
ことを特徴とする情報提供方法。
【請求項１９】
さらに、前記データストリームの処理対象セグメントとそれに対応した前記処理ユニットとを同期させ、
前記同期化後のＰＥＳパケットと、プライベートＰＥＳパケットとを、メタデータの部分的な実行が可能なようにカプセル化してカプセル化ストリームを生成する請求項1８記載の情報提供方法。
【請求項２０】
時間連続性を持ち、複数のセグメントからなるコンテンツのデータストリームと、前記コンテンツに関連する情報と各セグメントに関する情報を含むメタデータと、を取得する取得部と、
前記セグメントのうちの処理対象セグメントに対応するメタデータの一部を部分実行が可能なように記述された処理ユニットに分割するユニット化部と
前記データストリームの処理対象セグメントをパケット化してできたＰＥＳパケットと前記ユニット化部が前記メタデータの処理ユニットを１つ以上パケット化して作成したプライベートＰＥＳパケットとを、メタデータの部分的な実行が可能なようにカプセル化してカプセル化ストリームを生成するカプセル化部と、を有する情報提供装置と、
前記情報提供装置が生成した前記カプセル化ストリームからコンテンツのデータストリームとそのコンテンツに関連する情報であるメタデータとを抽出する抽出部と、抽出されたデータストリームとメタデータを蓄積する蓄積部と、前記データストリームのセグメントに対応してユニット化されている前記メタデータをユニット毎に処理する処理部と、を有する情報受信装置と、を具備したことを特徴とする情報通信システム。
【請求項２１】
カプセル化ストリームからコンテンツのデータストリームとそのコンテンツを説明するメタデータとを抽出する抽出部と、抽出されたデータストリームとメタデータを蓄積する蓄積部と、前記蓄積部から読み出し出力するアクセス部と、前記データストリームのセグメントに対応してユニット化されている前記メタデータをユニット毎に処理する処理部と、を具備したことを特徴とする情報受信装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、情報提供装置、情報受信装置および記憶媒体に関するものである。特に、デジタル放送などの放送メディアやインターネットなどの通信メディアを介した、ビデオ・オーディオやデータなどの情報提供装置および情報利用装置、およびディスクメディアなどの記憶媒体に関するものである。
【０００２】
【従来の技術】
近年、放送のデジタル化の動きが活発になっている。また、放送と通信との融合も進んできている。放送分野では既に衛星デジタル放送が開始され、今後地上波放送もデジタル化される予定である。
【０００３】
また、放送内容をデジタル化することにより、従来のビデオ・オーディオに加えデータ放送も行われている。また、通信分野では、インターネットを介したデジタルコンテンツ配信が音楽から始まっている。さらには、ビデオを放送するインターネット放送局も出現している。
【０００４】
さらに、今後、ビデオやオーディオなどの連続コンテンツメディアが様々な経路(伝送メディア)を介して家庭に入ってくることが予想されている。このような通信と放送の融合・デジタル化によって、コンテンツを説明またはコンテンスに関連するメタデータによる従来にないサービスを行うことが可能となっている。
【０００５】
例えば、CSデジタル放送で採用しているEPG(Electric Program Guide;「デジタル放送に使用する番組配列情報標準規格 ARIB STD-B10 1.1版」または「pr ETS 300 468 Digital Broadcasting systems for television, sound and data services; Specification for Service Information(SI) in Digital Video Broadcasting(DVB) systems」)を、MPEG-2(Motion PicturecodingExperts Group phase 2;「ISO/IEC 13818-1〜3」)のプライベートセクションを用いてオーディオ・ビデオのPES(Packetized Elementary Stream)パケットにインターリーブすることによって、オーディオ・ビデオ情報の他にEPG情報を提供している。
【０００６】
また、BSデジタル放送では、MPEG-2のプライベートPESパケットを用いたデータ放送が予定されている。さらに放送局のスタジオ間または放送局間の素材伝送におけるユーザーデータのフォーマット(「ANSI/SMPTE 291M-1996 Ancillary Data Packet and Space Formatting」)にコンテンツを説明するメタデータを挿入し、コンテンツ管理を行うこともできる。
【０００７】
以下、従来の情報処理システムについて図１５を用いて説明する。図１５は従来の情報処理システムのブロック図である。
【０００８】
情報提供ノード１５０１には、ＡＶストリームとＡＶストリームを説明するためのメタデータが蓄積された蓄積部１５０２が設けられている。また、情報提供ノード１５０１には、蓄積部１５０２に格納されたＡＶストリームとメタデータを多重化し多重化ストリーム１５０３を生成し、出力する情報提供部１５０４が設けられている。情報提供部１５０４は、多重化ストリーム１５０３をネットワーク１５０５を介して情報利用ノード１５０６に送信する。
【０００９】
一方、情報利用ノード１５０６には、多重化ストリームからＡＶストリームとメタデータを抽出し、これらに処理を施して利用する情報利用部１５０７が設けられている。また、情報利用ノード１５０６には、情報利用部１５０７で抽出されたＡＶストリームとメタデータを格納する蓄積部１５０８が設けられている。また、情報利用部１５０７は、蓄積部１５０８に蓄積されたＡＶストリームとメタデータを読み出して、利用する。
【００１０】
次に、情報提供部１５０４について図１４を用いて説明する。図１４は、従来の情報提供部のブロック図である。
【００１１】
情報提供部１５０４には、蓄積部１５０２からＡＶストリームとメタデータを読み出すアクセス部１６０１が設けられている。アクセス部１６０１は、ＡＶストリーム１６０２とメタデータ１６０３を多重化部１６０４に出力する。
【００１２】
多重化部１６０４は、アクセス部１６０１より入力されたAVストリーム１６０２とメタデータ１６０３を多重化した多重化ストリーム１５０３を情報利用ノード１５０６へ送信する。
【００１３】
次に、多重化部１６０４の多重化ストリーム生成処理について図１７を用いて説明する。
【００１４】
図中１５０３で示される図は、MPEG-2 TS(Transport Stream)のPESパケットレイヤーを示し、多重化ストリームを示している。１７０１で示される図は、ビデオPESパケットを示す。１７０２で示される図は、オーディオPESパケットを示している。１７０３で示される図は、プライベートPESパケットを示している。１６０３はメタデータのPESパケットレイヤーを示している、１７０４はメタデータを構成する第１PESパケット、１７０５はメタデータを構成する第２PESパケットである。
【００１５】
多重化部１６０４は、メタデータ１６０３を分割してプライベートPESパケットとし、第１PESパケット１７０４から第２PESパケット１７０５と順々にビデオPESパケット１７０１およびオーディオPESパケット１７０２からなるＡＶストリームの間に適当に挿入し、MPEG-2 TSである多重化ストリーム１５０３を得る。
【００１６】
また、従来のメタデータは、ＡＶストリームの補助的なデータ、例えばタイトルなどの少ないデータであるため、メタデータのみで処理が行われていた。つまり、メタデータをＡＶストリームと時間同期をとる必要がなかった。よって、従来のメタデータは、ＡＶストリームとの同期を取るような構成になっていないので、メタデータはほぼ同じ大きさにパケット化され、ＡＶストリームの間にほぼ等間隔で適当に挿入されていた。
【００１７】
そして、多重化部１６０４は、この多重化ストリーム１５０３を情報利用ノード１５０６に送出する。
【００１８】
次に、情報利用部１５０７について図１８を用いて説明する。図１８は、従来の情報利用部のブロック図である。
【００１９】
情報利用部１５０７には、多重化ストリーム１５０３からAVストリーム１８０１とメタデータ１８０２を分離・抽出し、出力する抽出部１８０３が設けられている。抽出部１８０３は、分離・抽出したAVストリーム１８０１とメタデータ１８０２を、アクセス部１８０４へ出力する。
【００２０】
アクセス部１８０４は抽出部１８０３より入力されたAVストリーム１８０１およびメタデータ１８０２を蓄積部１５０８へ蓄積する。また、アクセス部１８０４は、蓄積部１５０８から読み出した、AVストリーム１８０５およびメタデータ１８０６を表示部１８０７に出力する。表示部１８０７はアクセス部１８０４より入力されたAVストリーム１８０５とメタデータ１８０６のどちらか一方、または両方を表示する。
【００２１】
次に、情報利用部１５０７の処理について図１９を用いて説明する。図１９は、従来の情報利用部の処理フローチャートである。
【００２２】
抽出部１８０３は、メタデータのパージング、つまり構文解析を行う（ＳＴ１９０１）。その後、アクセス部１８０４および表示部１８０７の処理の実行を行う（ＳＴ１９０２）。
【００２３】
このようにして、従来の情報処理システムは、情報提供ノード１５０１がＡＶストリームとメタデータを多重化した多重化ストリームを情報利用ノード１５０６に送信することで、情報利用ノード１５０６でＡＶ情報に加えＡＶ情報に関する説明を表示することができる。
【００２４】
また、近年では、データ転送のインフラに伴って、メタデータを単純にＡＶストリームの補助的なデータとしてではなく、メタデータに多種多様な情報を含ませて、メタデータをＡＶストリームと関連つけて処理するような要望が発生している。
【００２５】
【発明が解決しようとする課題】
しかしながら、上記従来の情報処理システムでは、すべてのメタデータ全体を入手してからでないと、メタデータのパージングができない。例えば、メタデータが＜metadata＞で始まるものである場合、＜/metadata＞というメタデータの終了を示すデータがくるまで、メタデータのパージングができない。
【００２６】
このため、メタデータの処理時間をAVストリームの表示または処理時間に精密に合わせたり、メタデータ自身によってAVストリームを処理するためには、メタデータ全体を入手してからでないと処理を始められない。よって、従来の情報処理システムでは、AVストリームを細かい単位で処理することが困難であるという問題点がある。
【００２７】
また、メタデータは多重化ストリームにほぼ均等に配分されている。このため、特にメタデータのデータ量が大きい場合には、メタデータ全体を読み込むまでに、大容量のＡＶストリームを読み込むことになる。このため、ノード間の応答時間の遅延やネットワークトラフィックの増加につながるという問題点がある。
【００２８】
【課題を解決するための手段】
本発明の第１の目的は、メタデータの部分的な実行を可能とすることで、AVストリームの部分であるセグメントを処理するデータ及びプログラム配信、応答時間高速化、必要な蓄積容量の削減、ネットワークトラフィックの削減、を行うことである。
【００２９】
また、第２の目的は、メタデータとＡＶストリームとを時間同期させることで、AVストリームの部分であるセグメントに対する処理を可変とし、メタデータとAVストリームの処理時間の精密な同期を行うことである。
【００３０】
さらに、第３の目的は、AVストリームを処理するメタデータを設計する自由度を広げることである。
【００３１】
本発明は、第１の目的を達成するために、時間連続性を持ち、複数のセグメントからなるコンテンツのデータストリームと、前記コンテンツに関連する情報と各セグメントに関する情報を含むメタデータと、を取得する取得部と、前記セグメントのうちの処理対象セグメントに対応するメタデータの一部を部分実行が可能なように記述された処理ユニット（ＭＰＵ）に分割するユニット化部と、前記データストリームの処理対象セグメントをパケット化してできたＰＥＳパケットと、前記ユニット化部が前記メタデータの処理ユニットを１つ以上パケット化して作成したプライベートＰＥＳパケットとを、メタデータの部分的な実行が可能なようにカプセル化してカプセル化ストリームを生成するカプセル化部と、を備えたものである。
【００３２】
これにより、メタデータをユニット毎に再構成してデータストリームとカプセル化することにより、メタデータの部分的な実行が可能になる。この結果、データストリームの部分であるセグメントを処理するデータ及びプログラム配信、応答時間高速化、必要な蓄積容量の削減、ネットワークトラフィックの削減、を行うことができる。
【００３３】
また、本発明は、第２の目的を達成するために、さらに、前記データストリームの処理対象セグメントとそれに対応した前記処理ユニットとを同期させる同期部を備え、前記カプセル化部は、前記同期化後のＰＥＳパケットと、プライベートＰＥＳパケットとを、メタデータの部分的な実行が可能なようにカプセル化してカプセル化ストリームを生成するようにしたものである。
【００３４】
これにより、データストリームの部分であるセグメントに対し処理を可変とできるので、メタデータとデータストリームの処理時間の精密な同期を行うことができる。
【００３５】
また、本発明は、第３の目的を達成するために、メタデータおよびメタデータのユニットに構造化記述を用い、メタデータからユニットへおよびユニットからメタデータへ構造化記述の再構成を行うようにしたものである。
【００３６】
これにより、データストリームを処理するメタデータを設計する自由度を広げることができる。また、XML等で記述された構造化記述をメタデータとしてそのまま利用することができる。
【００３７】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【００３８】
（実施の形態１）
以下、本発明の実施の形態１にかかる情報処理システムについて説明する。図１は、実施の形態１にかかる情報処理システムのブロック図を示すものである。
【００３９】
情報提供ノード１０１には、ＡＶストリームとＡＶストリームに関連するメタデータと、が蓄積された蓄積部１０２が設けられている。メタデータは、関連するＡＶストリームを説明するデータ、またはメタデータ自身を処理するためのデータなどである。また、情報提供ノード１０１には、蓄積部１０２に格納されたＡＶストリームとメタデータをカプセル化し、カプセル化ストリーム１０３を生成し、出力する情報提供部１０４が設けられている。情報提供部１０４は、カプセル化ストリーム１０３をネットワーク１０５を介して、情報受信側の装置である情報利用ノード１０６に送信する。
【００４０】
一方、情報利用ノード１０６には、カプセル化ストリーム１０３からＡＶストリームとメタデータを抽出し、これらに所定の処理を施して利用する情報利用部１０７が設けられている。また、情報利用ノード１０６には、情報利用部１０７で抽出されたＡＶストリームとメタデータを格納する蓄積部１０８が設けられている。また、情報利用部１０７は、蓄積部１０８に蓄積されたＡＶストリームとメタデータを読み出して、利用する。
【００４１】
次に、情報提供部１０４について、図２を用いて説明する。図２は、実施の形態１のかかる情報提供部のブロック図である。
【００４２】
情報提供部１０４には、蓄積部１０２からＡＶストリームとメタデータを読み出すアクセス部２０１が設けられている。アクセス部２０１は、ＡＶストリーム２０２とメタデータ２０３を同期部２０４に出力する。
【００４３】
同期部２０４は、アクセス部２０１で読み出したAVストリーム２０２とメタデータ２０３について時間同期をとり、同期させたAVストリーム２０５とメタデータ２０６をカプセル化部２０７へ出力する。
【００４４】
カプセル化部２０７は入力された、同期後のAVストリーム２０５とメタデータ２０６をカプセル化しカプセル化ストリーム１０３として、情報利用ノード１０６へ送信する。
【００４５】
また、本発明は、メタデータを部分的に実行ができるように、メタデータをユニット化している。そして、ＡＶストリームのセグメントとそれに対応したメタデータのユニットとを同期させ、同期後のデータストリームのパケットとメタデータのユニットのパケットとをカプセル化してカプセル化ストリームを生成するようにしている。
【００４６】
以下、本発明の情報提供部１０４の動作について詳細に説明する。
【００４７】
まず、蓄積部１０２に格納されたＡＶストリーム２０２とメタデータ２０３について、図３Ａ、図３Ｂを用いて説明する。
【００４８】
ＡＶストリーム２０２は、ビデオＰＥＳパケット３０１と、オーディオＰＥＳパケット３０２とを、インターリーブしストリーム化したものである。なお、本実施の形態では、蓄積部１０２にＡＶストリーム２０２が格納された形態で説明するが、ビデオストリームとオーディオストリームとが格納された形態であっても良い。
【００４９】
また、メタデータ２０３は、メタデータの処理ユニットであるMPU(Metadata Processing Unit)３０３を複数有する構成になっている。
【００５０】
このような構成のメタデータ２０３とAVストリーム２０２は、アクセス部２０１により、蓄積部１０２から読み出される。そして、アクセス部２０１は、読み出したAVストリーム２０２とメタデータ２０３を同期部２０４に出力する。
【００５１】
ＡＶストリーム２０２とメタデータ２０３を受信した同期部２０４は、まず、メタデータ２０３をユニット化する処理に移行する。ここで、メタデータ２０３およびＭＰＵ３０３の定義について、図４Ａ、図４Ｂを用いて説明する。図４Ａ、図４Ｂは、XMLのDTDを示した図である。図４Ａにおいて、４０１はメタデータ２０３を定義するメタデータ定義(metadata.dtd)を示した図である。また、図４Ｂにおいて、４０２で示される図は、MPU３０３を定義するMPU定義(mpu.dtd)を示している。
【００５２】
メタデータ定義４０１は、メタデータ２０３は１つ以上のＭＰＵ３０３を有するという定義をしている。そして、ＭＰＵ３０３の内容は、ＭＰＵ定義４０２を参照せよという定義をしている。
【００５３】
ＭＰＵ定義４０２は、ＭＰＵ３０３は１つ以上のelement_dataを有するという定義をしている。また、element_dataの内容は、user_defined.dtdを参照せよという定義をしている。さらに、ＭＰＵ定義４０２は、ＭＰＵ３０３には、シリアル番号であるnoが付けられていると定義している。
【００５４】
このように、ＭＰＵ３０３に、各種サービス毎に異なる処理内容をuser_defined.dtdによって含ませることができる。よって、AVストリームを処理するメタデータを設計する自由度を広げることができる。
【００５５】
また、ＭＰＵ３０３に、伝送規格によらない処理内容をuser_defined.dtdによって含ませることもできる。これにより、メタデータが異なる伝送規格にも適用できるので、あらゆる伝送規格に対応してメタデータのサービスを提供できる。
【００５６】
次に、メタデータ２０３のユニット化について、図５Ａ、図５Ｂを用いて説明する。図５Ａにおいて、５０１で示される図は、メタデータ２０３をメタデータ定義４０１によって構造化記述したメタデータ（XMLインスタンス）を示している。また、図５Ｂにおいて、５０２で示される図は、ＭＰＵ３０３をＭＰＵ定義４０２によって構造化記述したMPU（XMLインスタンス）を示している。
【００５７】
上述したように、メタデータ定義４０１によると、メタデータ２０３は、MPU定義４０２の集合によって表される。このメタデータ定義４０１により、メタデータ２０３を構造化記述したものが、メタデータ（XMLインスタンス）５０１である。図からもわかるように、メタデータ（XMLインスタンス）５０１インスタンスには、複数のＭＰＵ３０３が含まれている。そして、メタデータ２０３は、メタデータ（XMLインスタンス）５０１として、蓄積部１０２に格納されている。
【００５８】
また、MPU定義４０２によると、ＭＰＵ３０３がuser_difined.dtdで定義されるメタデータの集合によって表される。このMPU定義４０２により、ＭＰＵ３０３を、MPU毎に構造化記述したものが、MPU（XMLインスタンス）５０２である。図からもわかるように、MPU（XMLインスタンス）５０２には、複数のuser_difined.dtdが含まれている。そして、ＭＰＵ３０３は、MPU（XMLインスタンス）５０２として、蓄積部１０２に格納されている。
【００５９】
また、ＭＰＵ３０３は、<mpu>から</mpu>の内容を有する。つまり、同期部２０４は、<mpu>から</mpu>までの情報があれば、ＭＰＵ３０３の内容を把握でき、ＭＰＵ３０３の処理をすることができる。このため、同期部２０４は、メタデータ２０３からMPU３０３を取り出す際には、MPU定義４０２によって定義されたMPUタグ(ここでは<mpu>)というタグの内側の内容を抽出する。
【００６０】
このようにして、メタデータ２０３がＭＰＵ３０３という下位階層の情報で構成されるようにすることで、同期部２０４が、ＭＰＵ３０３毎にメタデータ２０３の処理を行えると共に、ＡＶデータ２０２とメタデータ２０３とを細かく同期させることができる。
【００６１】
次に、同期部２０４は、アクセス部２０１から送られてきたメタデータ２０３を図６に示すシンタックスを使用してカプセル化する。図６は、実施の形態１及び実施の形態２にかかるメタデータのシンタックスである。
【００６２】
図６において、metadata_type６０１は、位置情報、コンテンツ情報、またはプログラムなどのメタデータの種類である。metadata_subtype６０２は、GPSまたは構造記述（MPEG-7）などの具体的なメタデータの型である。MPU_length６０３は、MPU_lengthフィールド直後からMPUの最後までのデータ長バイト数である。MPUは、１つ以上のPESパケットで構成され、Metadata Elementary Streamをエンコードする時に分割するメタデータの再生単位である。media_sync_flag６０４は、AVストリームとメタデータとの時間同期の有無を表すフラグである。overwrite_flag６０５は、以前のメタデータを上書きするかどうかを表すフラグである。element_data_length６０６は、element_data６０９のデータバイト長(M)である。start_time()６０７は、メタデータが示すAVストリームの部分であるセグメントの先頭時間である。dutation()６０８はメタデータが示すAVストリームの部分であるセグメントの継続時間である。element_data６０９は、メタデータの実データである。
【００６３】
また、図６に示すシンタックスは、メタデータのデータ量が小さくてユニット化しない場合についても、else以下のシンタックス６１０で記述している。
【００６４】
そして、同期部２０４は、先頭パケットの処理開始時間６０７と時間長６０８によって指定されるＡＶストリームの処理対象セグメントと、処理対象セグメントに対応するメタデータ２０３の一部とを、カプセル化ストリーム（プライベートPES）としてカプセル化する。
【００６５】
メタデータ２０３をPESパケット化する際には、MPU３０３を図６に示すメタデータのシンタックスにおける要素(element_data)として、AVストリームのセグメントの先頭パケットの処理開始時間（start_time）と、時間長（dutation()）とを、メタデータの実データと一緒にパケット化する。
【００６６】
これにより、ＭＰＵ３０３がＡＶストリーム２０２との同期を取るための情報を有することができる。よって、ＭＰＵ３０３とＡＶストリーム２０２との同期がとれる。これにより、情報提供ノード１０１側でメタデータ２０３の動作を決定できるようになる。
【００６７】
また、実施の形態１では、図７に示すようにＭＰＵ３０３を第１PESパケット７０１と第２PESパケット７０２の２つのパケットから構成するようにしている。この場合において、同期部２０４がＭＰＵ３０３をプライベートPESパケットにパケット化してビデオPESパケット３０１、オーディオPESパケット３０２とインターリーブする動作について図７を使用して説明する。なお、ＭＰＵ３０３のサイズとパケットのサイズにより、ＭＰＵ３０３を何個のパケットにするかは、任意に決定できる。
【００６８】
実施の形態１の場合、第１PESパケット７０１と第２PESパケット７０２が対応するAVストリームのセグメントの先頭パケット７０３の処理開始時間（start_time）７０５よりも前に処理されるように、先頭パケット７０３よりも時間的に前のプライベートＰＥＳパケット７０８として第１PESパケット７０１と第２PESパケット７０２を配置する。
【００６９】
さらに、第２PESパケット７０２の到着時間ｔ７０４と対応する先頭パケット７０３の処理開始時間（start_time）７０５の差分Δｔ７０６には、情報受信側である情報利用部１０７が第１PESパケット７０１と第２PESパケット７０２からMPU３０３を生成し、生成したMPU３０３の内容をパーズし、処理を実行するのに充分な時間を割り当てる。
【００７０】
そして、このように、同期部２０４によって同期されたＡＶストリーム２０５とメタデータ２０６は、カプセル化部２０７に入力される。
【００７１】
カプセル化部２０７は、入力されたAVストリーム２０５とメタデータ２０６をカプセル化しカプセル化ストリーム１０３として送信する。
【００７２】
以上のように、実施の形態１によれば、AVストリームとメタデータの同期をとる同期部２０４と、メタデータをユニット毎にAVストリームとメタデータをカプセル化するカプセル化部２０７を設けることにより、メタデータをユニット毎に再構成してAVストリームとカプセル化するができる。これにより、メタデータの部分的な実行を可能とし、AVストリームの部分であるセグメントを処理するプログラム配信、応答時間高速化、必要な蓄積容量の削減、ネットワークトラフィックの削減、を行うことができる。
【００７３】
さらに、実施の形態１によれば、メタデータおよびメタデータのユニットとしてXMLによって記述される構造化記述を用い、メタデータからユニットへおよびユニットからメタデータへ構造化記述の再構成を行うことで、AVストリームを処理するメタデータに拡張性持たせることができ、メタデータを設計する自由度を広げられる。また、XML等で記述された構造化記述をメタデータとしてそのまま利用することができる。
【００７４】
（実施の形態２）
次に、本発明の実施の形態２にかかる情報処理システムについて説明する。図８は、実施の形態２にかかる情報利用部１０７のブロック図である。
【００７５】
情報利用部１０７には、入力されたカプセル化ストリーム１０３からAVストリーム８０１とメタデータ８０２を抽出し、出力する抽出部８０３が設けられている。抽出部８０３は、抽出したAVストリーム８０１とメタデータ８０２をアクセス部８０４に出力する。
【００７６】
アクセス部８０４は、蓄積部１０８へAVストリーム８０１とメタデータ８０２を記録する。また、アクセス部８０４は、蓄積部１０８に格納されたAVストリーム８０５とメタデータ８０６を読み出し同期部８０７へ出力する。
【００７７】
同期部８０７は、アクセス部８０４で読み出したAVストリーム８０５とメタデータ８０６についてMPU３０３毎に時間同期をとりコア処理部８０８へ出力する。
【００７８】
コア処理部８０８には、表示部８０９が設けられている。表示部８０９は、入力された、同期後のAVストリーム８１０とメタデータ８１１の時間同期をとりながら表示する。
【００７９】
このようにして、情報利用部１０７は、抽出部８０３においてカプセル化ストリーム１０３からＡＶストリーム８０１とメタデータ８０２とを抽出する。そして、同期部８０７においてＡＶストリーム８０１のセグメントに対応してユニット化されているメタデータ８０２をユニット毎にＡＶストリーム８０１とそれに対応したメタデータ８０２のユニットを同期する。そして、表示部８０９において、同期されたメタデータ８１１とＡＶストリーム８１０をユニット毎に表示する。
【００８０】
次に、情報利用ノード１０６のメタデータ処理動作の詳細について図９のフロー図を用いて説明する。まず、抽出部８０３が、受信したカプセル化ストリーム１０３からAVストリームとメタデータのMPU３０３を抽出する。さらに、情報利用部１０７が、MPU３０３についてパージングする（ＳＴ９０１）。次に、情報利用部１０７において、MPU３０３をマージしてメタデータ８０２として再構成するかどうかの確認をする（ＳＴ９０２）。そして、情報利用部１０７において、MPU３０３をユニット単位で実行するかどうかの確認を行う（ＳＴ９０３）。
【００８１】
そして、ＳＴ９０２、ＳＴ９０３において、情報利用部１０７において、確認した各結果が、MPUマージかつMPU実行の場合、コア処理部８０８で処理を実行し（ＳＴ９０４）する。そして、情報利用部１０７において、MPUのマージを行う（ＳＴ９０５）。なお、ここでいう処理とは、実施の形態２については、表示処理であるが、後述する他の実施の形態のように、変換処理や、転送処理であっても良い。
【００８２】
そして、情報利用部１０７において、時間または数によるMPUの制限、つまりＭＰＵの処理単位を示すイベントがきたか判断し（ＳＴ９０６）、イベントがくるまでＳＴ９０４、９０５を繰り返す。また、イベント情報は、汎用性を持たせる場合はソフトウェアに持たせたり、固定的に使用をする場合は端末に予め持たせたりする。
【００８３】
そして、情報利用部１０７において、ＳＴ９０６で集まったMPUからメタデータのレンダリング、つまりメタデータのフォーマット化を行う。このイベントに基づいてフォーマットしたメタデータを、蓄積部１０８に蓄積する。そして、コア処理部８０８が、このフォーマット化したデータを読み込んで、各種処理を行う。
【００８４】
このように、ＳＴ９０４において処理の最小単位であるＭＰＵ毎に処理を行うだけでなく、イベントによりＭＰＵをマージしたデータも基づいた処理も行うことができる。
【００８５】
これにより、イベントによりＭＰＵを処理する単位を任意に設定できるので、メタデータの処理するＡＶデータのセグメントの長さを可変にできる。つまり短いＡＶデータに対してメタデータを処理したり、長いＡＶデータに対してメタデータを処理したりすることができる。例えば、カーナビゲーションシステムのように、短い周期でメタデータ表示を更新したり、ニュース番組のように長い周期でメタデータ表示を更新したりできる。
【００８６】
また、このイベントに基づいてフォーマットしたメタデータを格納部１０８に格納することで、ユーザー操作により、この情報を読み出して処理することもできる。
【００８７】
また、ＳＴ９０２、ＳＴ９０３において、情報利用部１０７において、確認した各結果が、MPUマージかつMPU非実行の場合、MPUのマージを行う（ＳＴ９０８）。そして、情報利用部１０７において、時間または数によるMPUの制限、つまりＭＰＵをマージすることが終了すること関するイベントがあるか判断し（ＳＴ９０９）、イベントがあるまでＳＴ９０８を繰り返す。そして、処理Ｐ１０７で集まったMPUからメタデータのレンダリングを行う。そして、情報利用部１０７において、ＳＴ９０６で集まったMPUからメタデータのレンダリング、つまりメタデータのフォーマット化を行う（ＳＴ９１０）。このイベントに基づいて、フォーマットしたデータを、蓄積部１０８に蓄積する。そして、コア処理部８０８が、このフォーマット化したデータを読み込んで、各種処理を行う。
【００８８】
このように、処理の最小単位であるＭＰＵ毎に処理を行わず、イベントによりＭＰＵをマージしたデータに基づいた処理のみを行うことができる。
【００８９】
また、ＳＴ９０２、ＳＴ９０３において、情報利用部１０７において、確認した各結果が、MPU非マージかつMPU実行の場合、逐次処理を実行する（ＳＴ９１１）。そして、情報利用部１０７において、時間または数によるMPUの制限、つまりＭＰＵを処理する単位を示すイベントがあるか判断し（ＳＴ９１２）、イベントがあるまでＳＴ９１１を繰り返す。
【００９０】
このように、イベントによりＭＰＵをマージしたデータに基づいた処理を行わずに、処理の最小単位であるＭＰＵ毎に処理を行うことができる。
【００９１】
また、ＳＴ９０２、ＳＴ９０３において、情報利用部１０７において、確認した各結果が、MPU非マージかつMPU非実行の場合、MPUに関する処理は特に行わない。
【００９２】
以上のようにして、ＭＰＵ３０３に含まれる内容により、抽出方法を適切に変えることができる。
【００９３】
以下、情報利用部１０７の動作について説明する。情報利用部１０７は、抽出部８０３にて入力されたカプセル化ストリーム１０３からAVストリーム８０１とメタデータ８０２を抽出しアクセス部８０４へ出力する。アクセス部８０４は蓄積部１０８へAVストリーム８０１とメタデータ８０２を記録したあと、AVストリーム８０５とメタデータ８０６を読み出し、同期部８０７へ出力する。同期部８０７は、アクセス部８０４で読み出したAVストリーム８０５とメタデータ８０６についてMPU３０３毎に時間同期をとり、コア処理部８０８へ出力する。コア処理部８０８では、表示部８０９が入力されたAVストリーム８１０とメタデータ８１１の時間同期をとりながら表示する。
【００９４】
以上のように、実施の形態２によれば、AVストリームとメタデータを分離・抽出する抽出部８０３と、蓄積部１０８に対しAVストリームとメタデータを読み書きするアクセス部８０４と、読み出されたAVストリームとメタデータの処理の同期を行う同期部８０７と、コア処理部８０８である表示部８０９と、を設けることにより、メタデータとAVストリームの処理時間の精密な同期を行うことができる。これにより、AVストリームの部分であるセグメントに対し処理を可変とできる。
【００９５】
さらには、コア処理部８０８の表示部８０９が行う表示方法に関する情報をメタデータとすることができる。表示方法に関する情報とは、メタデータに関する情報を表示する位置情報、表示するサイズ情報、表示更新情報などである。
【００９６】
これにより、情報提供ノード１０１において、メタデータを表示するための適切な方法を情報利用ノード１０６に送ることができる。この結果、情報利用ノード１０６で適切にメタデータを表示することができる。よって、メタデータが広告などの場合は、広告を表示したい時間に表示できるように指定できたり、メタデータが番組の説明に関する情報である場合は、説明に関する情報を画像の邪魔にならないように表示したりできる。
【００９７】
また、実施の形態２によれば、メタデータおよびメタデータのユニットとしてXMLによって記述される構造化記述を用い、メタデータからユニットへおよびユニットからメタデータへ構造化記述の再構成を行うことで、AVストリームを処理するメタデータを設計する自由度を広げ、XML等で記述された構造化記述をメタデータとしてそのまま利用することができる。
【００９８】
（実施の形態３）
次に、本発明の実施の形態３にかかる情報処理方法について説明する。図１０は実施の形態３にかかる情報利用部１００１のブロック図である。なお、既に説明した構成と同一のものについては、同一の符番を付与し、説明を省略する。
【００９９】
実施の形態３にかかる情報利用部１００１は、実施の形態２にかかる情報利用部１００１のコア処理部８０８をコア処理部１００２に置き換えたものである。以下、コア処理部１００２を中心に、情報利用部１００１について説明する。
【０１００】
コア処理部１００２には、転送部１００３とカプセル化部１００６が設けられている。
【０１０１】
転送部１００３は、同期部８０７から入力されたAVストリーム８１０とメタデータ８１１に他の情報利用ノードへ転送するための設定、例えば宛先の設定を行う。また、転送部１００３は、MPU３０３毎に時間同期をとりカプセル化部１００６へＡＶストリーム１００４とメタデータ１００５を出力する。
【０１０２】
カプセル化部１００６は、入力されたAVストリーム１００４とメタデータ１００５を再カプセル化しカプセル化ストリーム１００７として、他のノードに送信する。このように、カプセル化部１００６がＡＶストリーム１００４とメタデータとを再カプセル化するので、メタデータとAVストリームの処理時間の精密な同期を保ちながら処理の負荷分散が行える。
【０１０３】
また、カプセル化部１００６の動作については、実施の形態１のカプセル化部２０７と同様であるので、詳細な説明は省略する。
【０１０４】
以下、情報利用部１１０１の動作について説明する。情報利用部１１０１は抽出部８０３にて入力されたカプセル化ストリーム１０３からAVストリーム８０１とメタデータ８０２を抽出しアクセス部８０４へ出力する。アクセス部８０４は蓄積部１０８へAVストリーム８０１とメタデータ８０２を記録したあとAVストリーム８０５とメタデータ８０６を読み出し同期部８０７へ出力する。
【０１０５】
同期部８０７は、アクセス部８０４で読み出したAVストリーム８０５とメタデータ８０６についてMPU３０３毎に時間同期をとりコア処理部１００２へ出力する。コア処理部１００２では、転送部１００３が入力されたAVストリーム８１０とメタデータ８１１を他の情報利用ノードへ転送するための設定を行い、MPU３０３毎に時間同期をとりカプセル化部１００６へ出力し、カプセル化部１００６は入力されたAVストリーム１００４とメタデータ１００５を再カプセル化しカプセル化ストリーム１００７として、他のノードに送信する。
【０１０６】
以上のように、情報利用部１００１を構成することで、転送部１００３が同期部８０７から入力されたAVストリーム８１０とメタデータ８１１を他の情報利用ノードへ転送するための設定を行い、MPU３０３毎に時間同期をとりカプセル化ステップ２３へ出力し、カプセル化部１００６が転送部１００３から入力されたAVストリーム１００４とメタデータ１００５を再カプセル化しカプセル化ストリーム１００７として、他のノードに送信することができる。
【０１０７】
以上のように、実施の形態３によれば、情報利用部１００１にAVストリームとメタデータを分離・抽出する抽出部８０３と、蓄積部１０８に対しAVストリームとメタデータを読み書きするアクセス部８０４と、アクセス部８０４で読み出されたAVストリームとメタデータの処理の同期を行う同期部８０７と、コア処理部１００２に転送部１００３およびカプセル化部１００６と、を設けることにより、メタデータとAVストリームの処理時間の精密な同期を保ちながら処理の負荷分散が行えると共に、AVストリームの部分であるセグメントに対しての処理を可変とできる。
【０１０８】
さらに、実施の形態３によれば、転送部１００３およびカプセル化部１００６の処理方法についての情報または処理プログラム自身をメタデータとすることもできる。ここでいう処理方法とは、メタデータを挿入する場所を転送先にあわせて変える処理などである。これにより、情報提供ノード１０１において、メタデータを転送、カプセル化するための適切な方法を情報利用ノード１０６に送ることができる。この結果、情報利用ノード１０６で適切にメタデータを転送、カプセル化することができる。
【０１０９】
（実施の形態４）
次に、本発明の実施の形態４にかかる情報処理システムについて説明する。図１１は、実施の形態４にかかる情報利用部１１０１のブロック図である。なお、既に説明した構成と同一のものについては、同一の符番を付与し、説明を省略する。
【０１１０】
実施の形態４にかかる情報利用部１１０１は、実施の形態２にかかる情報利用部１０７もしくは実施の形態３にかかる情報利用部１００１に変換部１１０２を設けたものである。以下、変換部１１０２を中心に、情報利用部１１０１について説明する。
【０１１１】
変換部１１０２は、メタデータ８１１に従ってAVストリーム８１０を変換し、T-AVストリーム１１０３とT-メタデータ１１０４としてコア処理部１１０５へ出力する。ここでいう変換とは、送信先の端末や表示装置に合わせて色変換したり、送信先の端末や表示装置に合わせて画情報のフォーマットを変換したり、送信先の端末に合わせて音声フォーマットをＭＰ３や携帯電話のフォーマットに変換したりすることなどである。
【０１１２】
コア処理部１１０５は、実施の形態２に示すコア処理部８０８もしくは実施の形態３に示すコア処理部１００２のいずれかと同じ動作をする。
【０１１３】
コア処理部１１０５がコア処理部８０８の場合は、コア処理部１１０５には表示部８０９が設けられる。この場合、表示部８０９が入力されたT-AVストリーム１１０３とT-メタデータ１１０４の時間同期をとりながら表示する。
【０１１４】
また、コア処理部１１０５がコア処理部１００２の場合は、コア処理部１１０５には転送部１００３とカプセル化部１００６が設けられる。この場合は、転送部１００３が入力されたT-AVストリーム１１０３とT-メタデータ１１０４を他の情報利用ノードへ転送するための設定を行い、MPU３０３毎に時間同期をとりカプセル化部１００６へ出力する。また、実施の形態３におけるカプセル化部の動作については、実施の形態１のカプセル化部２０７と同様である。
【０１１５】
以下、情報利用部１１０１の動作を説明する。情報利用部１１０１は抽出部８０３にて入力されたカプセル化ストリーム１０３からAVストリーム８０１とメタデータ８０２を抽出しアクセス部８０４へ出力する。そして、アクセス部８０４は蓄積部１０８へAVストリーム８０１とメタデータ８０２を記録したあとAVストリーム８０５とメタデータ８０６を読み出し同期部８０７へ出力する。そして、同期部８０７は、アクセス部８０４で読み出したAVストリーム８０５とメタデータ８０６についてMPU３０３毎に時間同期をとり変換部１１０２へ出力する。そして、変換部１１０２は、メタデータ８１１に従ってAVストリーム８１０を変換し、T-AVストリーム１１０３とT-メタデータ１１０４としてコア処理部１１０５へ出力する。
【０１１６】
そして、コア処理部１１０５が実施の形態２にかかるコア処理部８０８の場合は、表示部８０９が入力されたT-AVストリーム１１０３とT-メタデータ１１０４の時間同期をとりながら表示する。また、コア処理部１１０５が実施の形態１のコア処理部１００２の場合は、転送部１００３が入力されたT-AVストリーム１１０３とT-メタデータ１１０４を他の情報利用ノードへ転送するための設定を行い、MPU３０３毎に時間同期をとりカプセル化部１００６へ出力する。カプセル化部１００６は入力されたT-AVストリーム１１０３とT-メタデータ１１０４を再カプセル化しカプセル化ストリーム１００７として送信する。
【０１１７】
以上のように、実施の形態４によれば、情報利用部１１０１がAVストリームとメタデータを分離・抽出する抽出部８０３と、蓄積部１０８に対しAVストリームとメタデータを読み書きするアクセス部８０４と、読み出されたAVストリームとメタデータの処理の同期を行う同期部８０７と、同期したAVストリームとメタデータの変換を行う変換部１１０２と、コア処理部１１０５として、表示部８０９、または転送部１００３およびカプセル化部１００６、から構成される利用プログラムを設けることにより、メタデータによる変換処理を行う場所を可変にできる。変換処理を行う場所は、例えば、サーバ、端末、ネットワークのノード（ゲートウェイ）などである。
【０１１８】
また、実施の形態４によれば、AVストリームの部分であるセグメントに対し処理を可変とできる。また、AVストリームおよびメタデータの変換を可能とできる。
【０１１９】
さらに、実施の形態４によれば、変換されたAVストリームおよびメタデータに対しさらに処理を行うことを可能できる。
【０１２０】
また、さらに実施の形態４によれば、メタデータおよびメタデータのユニットとしてXMLによって記述される構造化記述を用い、メタデータからユニットへおよびユニットからメタデータへ構造化記述の再構成を行うことで、AVストリームを処理するメタデータを設計する自由度を広げ、XML等で記述された構造化記述をメタデータとしてそのまま利用することができる。
【０１２１】
また、実施の形態４によれば、コア処理部１１０５でメタデータを処理する方法である表示方法、転送方法、およびカプセル化方法に関する情報をメタデータとすることができる。
【０１２２】
（実施の形態５）
以下、本発明の実施の形態５にかかる情報処理システムについて説明する。図１２は、実施の形態５にかかる情報処理システムのブロック図を示すものである。また、既に説明した部分には、同一の符番を付与している。
【０１２３】
実施の形態５は、実施の形態１にかかる情報提供部１０４からＡＶストリームとメタデータとを同期させる処理を省いた構成になっている。このように同期処理を省くことにより、ＡＶストリームとメタデータとの同期が必要ない場合に、同期処理を省くことで処理を高速化できると共に、構成を少なくすることができる。例えば、ＡＶストリームとメタデータとの同期をとらなくて良い場合とは、メタデータをヘッダ情報のようにまとめて全て送りユニット毎に処理するだけでよい場合や、メタデータをＡＶストリームと暗黙に同期すれば良い場合、予め決められた制御を情報利用側の端末で行えば良い場合、リアルタイムにメタデータを処理しなくて良い場合などが考えられる。
【０１２４】
以下、実施の形態５にかかる情報処理システムの構成について説明する。
【０１２５】
情報提供ノード１２０１には、ＡＶストリームと、ＡＶストリームに関連するメタデータと、が蓄積された蓄積部１０２が設けられている。メタデータは、関連するＡＶストリームを説明するデータ、またはメタデータ自身を処理するためのデータなどである。また、情報提供ノード１２０１には、蓄積部１０２に格納されたＡＶストリームとメタデータをカプセル化し、カプセル化ストリーム１２０３を生成し、出力する情報提供部１２０４が設けられている。情報提供部１２０４は、カプセル化ストリーム１２０３をネットワーク１０５を介して、情報受信側の装置である情報利用ノード１２０６に送信する。
【０１２６】
一方、情報利用ノード１２０６には、カプセル化ストリーム１２０３からＡＶストリームとメタデータを抽出し、これらに所定の処理を施して利用する情報利用部１２０７が設けられている。また、情報利用ノード１２０６には、情報利用部１２０７で抽出されたＡＶストリームとメタデータを格納する蓄積部１０８が設けられている。また、情報利用部１２０７は、蓄積部１０８に蓄積されたＡＶストリームとメタデータを読み出して、利用する。
【０１２７】
次に、情報提供部１２０４について、図１３を用いて説明する。図１３は、実施の形態５にかかる情報提供部のブロック図である。
【０１２８】
情報提供部１２０４には、蓄積部１０２からＡＶストリームとメタデータを読み出すアクセス部１３０１が設けられている。アクセス部１３０１は、ＡＶストリーム１３０２とメタデータ１３０３をユニット化部１３０４に出力する。
【０１２９】
ユニット化部１３０４は、アクセス部１３０１で読み出したメタデータ１３０６をＭＰＵ３０３に再形成すると共に、アクセス部１３０１で読み出したAVストリーム１３０５とメタデータ１３０６をカプセル化部１３０７へ出力する。
【０１３０】
カプセル化部１３０７は入力された、AVストリーム１３０５とメタデータ１３０６をカプセル化しカプセル化ストリーム１２０３として、情報利用ノード１２０６へ送信する。
【０１３１】
また、実施の形態５も実施の形態１と同様に、メタデータを部分的に実行ができるように、メタデータをユニット化している。そして、ＡＶストリームとメタデータのユニットとをパケット化し、データストリームのパケットとメタデータのユニットのパケットとをカプセル化してカプセル化ストリームを生成するようにしている。
【０１３２】
以下、本発明の情報提供部１２０４の動作について詳細に説明する。なお、蓄積部１０２に格納されたＡＶストリーム１３０２とメタデータ１３０３については、実施の形態１にかかるＡＶストリーム２０２と２０３と同様なので説明を省略する。
【０１３３】
このような構成のメタデータ１３０３とAVストリーム１３０２は、アクセス部１３０１により、蓄積部１０２から読み出される。そして、アクセス部１３０１は、読み出したAVストリーム１３０２とメタデータ１３０３をユニット化部１３０４に出力する。
【０１３４】
ＡＶストリーム１３０２とメタデータ１３０３を受信したユニット化１３０４は、まず、メタデータ１３０３をユニット化する処理に移行する。
【０１３５】
また、メタデータ１３０３およびＭＰＵ３０３の定義については、実施の形態１にかかるメタデータ２０３と実施の形態１で説明したＭＰＵ３０３と同様なので説明を省略する。また、メタデータ１３０３のユニット化についても、実施の形態１にかかるメタデータ２０３のユニット化と同様であるので、説明を省略する。
【０１３６】
図４Ａに示すメタデータ定義４０１によると、メタデータ１３０３は、MPU定義４０２の集合によって表される。このため、メタデータ１３０３はメタデータ定義４０１によって構造化記述され、図５Ａに示すメタデータ（XMLインスタンス）５０１として、蓄積部１０２に格納されている。
【０１３７】
また、図４Ｂに示すMPU定義４０２によると、ＭＰＵ３０３がuser_difined.dtdで定義されるメタデータの集合によって表される。このため、ＭＰＵ３０３は、MPU毎にMPU定義４０２によって構造化記述され、図５Ｂに示すMPU（XMLインスタンス）５０２として、蓄積部１０２に格納されている。
【０１３８】
また、ＭＰＵ３０３は、<mpu>から</mpu>の内容を有する。つまり、ユニット化部１３０４は、<mpu>から</mpu>までの情報があれば、ＭＰＵ３０３の内容を把握でき、ＭＰＵ３０３の処理をすることができる。このため、ユニット化部１３０４は、メタデータ１３０３からMPU３０３を取り出す際には、MPU定義４０２によって定義されたMPUタグ(ここでは<mpu>)というタグの内側の内容を抽出する。
【０１３９】
このようにして、メタデータ１３０３がＭＰＵ３０３という下位階層の情報で構成されるようにすることで、ユニット化部１３０４が、ＭＰＵ３０３毎にメタデータ１３０３の処理を行える。これにより、ユニット化部１３０４が、ＡＶデータ１３０２とメタデータ１３０３とをユニット毎に処理させることができる。
【０１４０】
次に、カプセル化部１３０７は、実施の形態１と同様に、ユニット化部１３０４から送られてきたメタデータ１３０６を図６に示すシンタックスを使用してカプセル化する。
【０１４１】
そして、カプセル化部１３０７は、先頭パケットの処理開始時間６０７と時間長６０８によって指定されるＡＶストリームの処理対象セグメントと、処理対象セグメントに対応するメタデータ１３０３の一部と、を、カプセル化ストリーム（プライベートPES）としてカプセル化する。
【０１４２】
そして、ユニット化部１３０４がＭＰＵ３０３をプライベートPESパケットにパケット化してビデオPESパケット、オーディオPESパケットとインターリーブする。
【０１４３】
そして、カプセル化部２０７は、入力されたAVストリーム１３０５とメタデータ１３０６をカプセル化しカプセル化ストリーム１２０３として送信する。
【０１４４】
以上のように、実施の形態５によれば、AVストリームとメタデータをユニット化するユニット化部１３０４と、メタデータをユニット毎にAVストリームとメタデータをカプセル化するカプセル化部１３０７を設けることにより、メタデータをユニット毎に再構成してAVストリームとカプセル化するができる。これにより、メタデータの部分的な実行を可能とし、AVストリームの部分であるセグメントを処理するプログラム配信、応答時間高速化、必要な蓄積容量の削減、ネットワークトラフィックの削減を行うことができる。
【０１４５】
また、実施の形態５は、実施の形態１と違い、同期処理を省いているので、ＡＶストリームとメタデータとの同期をとらなくて良い場合に、同期処理を省くことで処理を高速化できると共に、構成を削減することもできる。
【０１４６】
（実施の形態６）
次に、本発明の実施の形態６にかかる情報処理システムについて説明する。図１４は、実施の形態６にかかる情報利用部１２０７のブロック図である。
【０１４７】
実施の形態６は、実施の形態２にかかる情報利用部１０７からＡＶストリームとメタデータとを同期させる処理を省いた構成になっている。このように同期処理を省くことにより、ＡＶストリームとメタデータとの同期をとらなくて良い場合に、同期処理という処理を省くことで処理を高速化できると共に、構成を減らすこともできる。例えば、ＡＶストリームとメタデータとの同期をとらなくて良い場合とは、メタデータをヘッダ情報のようにまとめて全て送りユニット毎に処理するだけでよい場合や、メタデータをＡＶストリームと暗黙に同期すれば良い場合、予め決められた制御を情報利用側の端末で行えば良い場合、リアルタイムにメタデータを処理しなくて良い場合などが考えられる。
【０１４８】
以下、実施の形態６にかかる情報処理システムの構成について説明する。
【０１４９】
情報利用部１２０７には、入力されたカプセル化ストリーム１２０３からAVストリーム１４０１とメタデータ１４０２を抽出し、出力する抽出部１４０３が設けられている。抽出部１４０３は、抽出したAVストリーム１４０１とメタデータ１４０２をアクセス部１４０４に出力する。
【０１５０】
アクセス部１４０４は、蓄積部１０８へAVストリーム１４０１とメタデータ１４０２を記録する。また、アクセス部１４０４は、蓄積部１０８に格納されたAVストリーム１４０５とメタデータ１４０６を読み出し、コア処理部１４０７へ出力する。
【０１５１】
コア処理部１４０７は、実施の形態２に示すコア処理部８０８と同じ動作をする。コア処理部１４０７がコア処理部８０８の場合は、コア処理部１４０７には表示部１４０８が設けられる。この場合、表示部１４０８が入力されたAVストリーム１４０５とメタデータ１４０６を表示する。
【０１５２】
このようにして、情報利用部１２０７は、抽出部１４０３においてカプセル化ストリーム１２０３からＡＶストリーム１４０１とメタデータ１４０２とを抽出する。そして、表示部１４０８において、メタデータ１４０６とＡＶストリーム１４０５をユニット毎に表示する。
【０１５３】
以下、情報利用部１２０７の動作について説明する。情報利用部１２０７は、抽出部１４０３にて入力されたカプセル化ストリーム１２０３からAVストリーム１４０１とメタデータ１４０２を抽出しアクセス部１４０４へ出力する。アクセス部１４０４は蓄積部１０８へAVストリーム１４０１とメタデータ１４０２を記録したあと、AVストリーム１４０５とメタデータ１４０６を読み出し、コア処理部１４０７へ出力する。コア処理部１４０７では、表示部１４０８が入力されたAVストリーム１４０５とメタデータ１４０６を表示する。
【０１５４】
以上のように、実施の形態６によれば、AVストリームとメタデータを分離・抽出する抽出部１４０３と、蓄積部１０８に対しAVストリームとメタデータを読み書きするアクセス部１４０４と、コア処理部１４０７である表示部１４０８と、を設けることにより、AVストリームの部分であるセグメントに対し処理を可変とできる。
【０１５５】
また、実施の形態６は、実施の形態２と違い、同期処理を省いているので、ＡＶストリームとメタデータとの同期をとらなくても良い場合に、同期処理を省くことで処理を高速化できると共に、構成を削減することもできる。
【０１５６】
なお、実施の形態６では、実施の形態２から同期部８０７を省いた構成で説明したが、実施の形態３、４から同期部８０７を省いた構成であっても良い。
【０１５７】
実施の形態１から実施の形態６において、各処理部は、それぞれの全てまたは一部の動作をプログラム（ソフトウェア）としてＣＤ−ＲＯＭやＤＶＤなどのコンピュータ読取可能な記憶媒体に格納し、コンピュータがプログラムを読みこむことで、各処理部の動作をコンピュータのＣＰＵなどに行わせることによって構成されるものである。
【０１５８】
また、各処理部の全てまたは一部の動作をプログラム（ソフトウェア）として、インターネットなどの通信手段上の記憶媒体に格納し、インターネット等を介して情報端末にプログラムをダウンロードし、各処理部の動作を情報端末に行わせ形態であってもよい。
【０１５９】
なお、各処理部を専用のハードウェアを用いて構成した形態であってもよい。
【０１６０】
なお、実施の形態１から実施の形態６において、時間連続性を持つコンテンツのデータストリームとしてAVストリームを使用して説明したが、ＡＶストリームでなくてもその他のストリーム、ファイル、および少量の情報であるがストリームとしての利用が有用と思われるものであれば、上記実施の形態と同様の効果を得ることができる。
【０１６１】
また、実施の形態１から実施の形態６において、メタデータ定義およびMPU定義をXMLのDTDによって行ったが、XML RDFやXML Schemaでも良い、また、その他の定義手段を用いても良い。
【０１６２】
また、実施の形態１から実施の形態６において、パケット化をMPEG-2システムのPESパケットで説明したが、MEPG-1システムやMPEG-4、SMPTE Ancillary Data Packetやその他の伝送フォーマット、ストリーミングフォーマット、ファイルフォーマットでも良い。
【０１６３】
また、実施の形態１から実施の形態６において、メタデータを送る伝送レイヤーとしてプライベートPESで説明したが、将来予約されるであろうメタデータ用PESやMPEG-7用PES、MPEG-2 PSI(Program Specific Information) Section（いわゆるカルーセル）を伝送レイヤーとしても良い。
【０１６４】
また、実施の形態１から実施の形態４において、同期のバリエーションとして、途中からの受信時に必要なメタデータが受信できるように、１つのMPUを繰り返し挿入しても良い。
【０１６５】
また、実施の形態１から実施の形態６において、ネットワーク１０５、１５０５は、地上波放送網、衛星放送網、ケーブルテレビ網、回線交換網、パケット交換網、ATM、インターネット、その他のネットワークやパッケージメディア、ハードディスク、メモリなどでも良い。
【０１６６】
【発明の効果】
以上のように、本発明によれば、第１に、メタデータをユニット毎に再構成してAVストリームとカプセル化することで、メタデータの部分的な実行を可能とし、AVストリームの部分であるセグメントを処理するプログラム配信、応答時間高速化、必要な蓄積容量の削減、ネットワークトラフィックの削減を行うことができる。
【０１６７】
第２に、AVストリームの部分であるセグメントに対し処理を可変とし、メタデータとAVストリームの処理時間の精密な同期を行うことができる。
【０１６８】
第３に、メタデータおよびメタデータのユニットとしてXMLによって記述される構造化記述を用い、メタデータからユニットへおよびユニットからメタデータへ構造化記述の再構成を行うことで、AVストリームを処理するメタデータを設計する自由度を広げ、XML等で記述された構造化記述をメタデータとしてそのまま利用することができる。
【図面の簡単な説明】
【図１】    本発明の実施の形態１にかかる情報処理システムのブロック図
【図２】  実施の形態１にかかる情報処理部のブロック図
【図３Ａ】  実施の形態１にかかるＡＶストリームを示す図
【図３Ｂ】  実施の形態１にかかるメタデータを示す図
【図４Ａ】  実施の形態１にかかるメタデータのXMLのDTDを示す図
【図４Ｂ】  実施の形態１にかかるＭＰＵのXMLのDTDを示す図
【図５Ａ】  実施の形態１にかかるメタデータのXMLのインスタンスを示す図
【図５Ｂ】  実施の形態１にかかるＭＰＵのXMLのインスタンスを示す図
【図６】  実施の形態１にかかるメタデータのシンタックスを示す図
【図７】  実施の形態１にかかるカプセル化部の動作を説明するための図
【図８】  本発明の実施の形態２にかかる情報利用部のブロック図
【図９】  本発明の実施の形態２にかかる情報利用ノードのメタデータ処理動作を示す処理フロー図
【図１０】  本発明の実施の形態３にかかる情報利用部のブロック図
【図１１】  本発明の実施の形態４にかかる情報利用部のブロック図
【図１２】  本発明の実施の形態５にかかる情報処理システムのブロック図
【図１３】  実施の形態５にかかる情報処理部のブロック図
【図１４】  実施の形態６にかかる本発明の実施の形態４にかかる情報利用部のブロック図
【図１５】  従来の情報処理システムのブロック図
【図１６】  従来の情報提供部の詳細図
【図１７】  従来の多重化ストリームの構成を示す図
【図１８】  従来の情報利用部の詳細図
【図１９】  従来の抽出部における処理フローチャート
【図１】
0004486291.tif 000002
【図２】
0004486291.tif 000003
【図３Ａ】
0004486291.tif 000004
【図３Ｂ】
0004486291.tif 000005
【図４Ａ】
0004486291.tif 000006
【図４Ｂ】
0004486291.tif 000007
【図５Ａ】
0004486291.tif 000008
【図５Ｂ】
0004486291.tif 000009
【図６】
0004486291.tif 000010
【図７】
0004486291.tif 000011
【図８】
0004486291.tif 000012
【図９】
0004486291.tif 000013
【図１０】
0004486291.tif 000014
【図１１】
0004486291.tif 000015
【図１２】
0004486291.tif 000016
【図１３】
0004486291.tif 000017
【図１４】
0004486291.tif 000018
【図１５】
0004486291.tif 000019
【図１６】
0004486291.tif 000020
【図１７】
0004486291.tif 000021
【図１８】
0004486291.tif 000022
【図１９】
0004486291.tif 000023