(57)【要約】ＭＰＥＧ−２データにＭＰＥＧ−４データを同期化させて伝送する装置及びその方法に関するものである。ＭＰＥＧ−４データをＭＰＥＧ−２データに同期化させて伝送する装置は、ＭＰＥＧ−４データの格納型であるＭｐ４データを入力して各ＭＰＥＧ−４オブジェクトデータを抽出し、オブジェクトデータと関連したメタ情報を解析して分離し、プログラム情報及び同期化情報を生成するオブジェクト分離及び情報生成手段と、オブジェクト分離及び情報生成手段から抽出されたＭＰＥＧ−４オブジェクトデータをＭＰＥＧ−２データと同期化するため、前記オブジェクト分離及び情報生成手段から生成されたプログラム情報及び同期化情報を用いて、ＭＰＥＧ−４オブジェクトデータをＭＰＥＧ−２形式のパケットに変換するパケット化手段と、前記パケット化手段でパケット化されたＭＰＥＧ−４データをＭＰＥＧ−２データと多重化するプログラム多重化手段とを含む。
2004523163.tif 000002
【特許請求の範囲】
【請求項１】
ＭＰＥＧ−４データをＭＰＥＧ−２データに同期化させて伝送する装置において、
ＭＰＥＧ−４データの格納型であるＭｐ４データを入力して各ＭＰＥＧ−４オブジェクトデータを抽出し、前記オブジェクトデータと関連したメタ情報を解析して分離し、プログラム情報及び同期化情報を生成するオブジェクト分離及び情報生成手段と、
前記オブジェクト分離及び情報生成手段から抽出されたＭＰＥＧ−４オブジェクトデータをＭＰＥＧ−２データと同期化するため、前記オブジェクト分離及び情報生成手段から生成されたプログラム情報及び同期化情報を用いて、ＭＰＥＧ−４オブジェクトデータをＭＰＥＧ−２形式のパケットに変換するパケット化手段と、
前記パケット化手段でパケット化されたＭＰＥＧ−４データをＭＰＥＧ−２データと多重化するプログラム多重化手段と
を含むことを特徴とするＭＰＥＧ−４データをＭＰＥＧ−２データに同期化させて伝送する装置。
【請求項２】
前記オブジェクト分離及び情報生成手段は、
ＭＰＥＧ−４データの格納型であるＭｐ４データを入力されて各ＭＰＥＧ−４オブジェクトデータを抽出し、それと関連したメタ情報を解析して分離するオブジェクト分離手段と、
前記オブジェクト分離手段から抽出されたメタ情報であるＣＴＳ（Composition Time Stamp）／ＤＴＳ（Decoding Time Stamp）情報と、前記パケット化手段から抽出されたＦｌｅｘＭｕｘパケットヘッダ情報であるＦｌｅｘＭｕｘパケットの長さ情報を用いて、同期化情報を生成する同期化情報生成手段と、
前記オブジェクト分離手段から抽出されたメタ情報であるＥＳ＿ＩＤ情報と、前記パケット化手段から抽出されたＦｌｅｘＭｕｘパケットヘッダ情報であるＦｌｅｘＭｕｘチャネル情報とを用いて、プログラム情報を生成するプログラム情報生成手段と
を含むことを特徴とする請求項１に記載のＭＰＥＧ−４データをＭＰＥＧ−２データに同期化させて伝送する装置。
【請求項３】
前記パケット化手段は、
前記オブジェクト分離手段から抽出されたメタ情報を用いて、ＭＰＥＧ−４オブジェクトデータをＳＬ（Sync Layer）パケット化するＳＬパケット化手段と、
前記ＳＬパケット化手段からＳＬパケット化されたデータをＦｌｅｘＭｕｘパケット化するＦｌｅｘＭｕｘパケット化手段と、
前記ＦｌｅｘＭｕｘパケット化手段でＦｌｅｘＭｕｘパケット化されたＭＰＥＧ−４データをＰＥＳ（Packetized Elementary Stream）パケット化するか、あるいは１４４９６セクションにパケット化できるように制御するパケット化制御手段と、
前記パケット化制御手段により制御されたＭＰＥＧ−４データを前記同期化情報生成手段から生成された同期化情報を用いてＰＥＳパケット化するＰＥＳパケット化手段と、
前記パケット化制御手段により制御されたＭＰＥＧ−４データを１４４９６セクションパケット化する１４４９６セクションパケット化手段と、
前記オブジェクト分離手段から抽出されたメタ情報であるＩＯＤ（Initial Object Descriptor）情報と前記プログラム情報生成手段から生成されたプログラム情報を用いて、ＰＳＩ（Program Specific Information）を生成するＰＳＩ生成手段と、
前記ＰＥＳパケット化手段から生成されたＰＥＳパケット、前記１４４９６セクションパケット化手段から生成された１４４９６セクションパケット及び前記ＰＳＩ生成手段から生成されたＰＳＩをＭＰＥＧ−４トランスポートストリーム（ＴＳ：Time Stamp）にパケット化するトランスポートストリーム（ＴＳ）パケット化手段と
を含むことを特徴とする請求項１または２に記載のＭＰＥＧ−４データをＭＰＥＧ−２データに同期化させて伝送する装置。
【請求項４】
ＭＰＥＧ−４データをＭＰＥＧ−２データに同期化させて伝送する方法において、
ＭＰＥＧ−４データの格納型であるＭｐ４データを入力されて各ＭＰＥＧ−４オブジェクトデータを抽出し、それと関連したメタ情報を解析して分離する第１ステップと、
前記第１ステップで抽出されたメタ情報を利用してＭＰＥＧ−４オブジェクトデータを第１パケット化する第２ステップと、
前記第１ステップで抽出されたメタ情報と前記第２ステップのパケット化過程で生成された情報とを用いて、同期化情報及びプログラム情報を生成する第３ステップと、
前記第３ステップで生成された情報と前記第１ステップで分離されたメタ情報を用いて、前記第２ステップでパケット化されたＭＰＥＧ−４データを第２パケット化する第４ステップと、
前記第４ステップでパケット化されたＭＰＥＧ−４データをＭＰＥＧ−２データと多重化する第５ステップと
を含むことを特徴とするＭＰＥＧ−４データをＭＰＥＧ−２データに同期化させて伝送する方法。
【請求項５】
前記第２ステップは、
前記第１ステップで分離されたメタ情報を用いて、ＭＰＥＧ−４データをＳＬパケットにパケット化する第６ステップと、
前記第６ステップでＳＬパケット化されたデータをＦｌｅｘＭｕｘパケット化する第７ステップと
を含むことを特徴とする請求項４に記載のＭＰＥＧ−４データをＭＰＥＧ−２データに同期化させて伝送する方法。
【請求項６】
前記第７ステップのＦｌｅｘＭｕｘパケットは、ＦｌｅｘＭｕｘヘッダとＳＬパケットデータユニット（ＰＤＵ）とを含むことを特徴とする請求項５に記載のＭＰＥＧ−４データをＭＰＥＧ−２データに同期化させて伝送する方法。
【請求項７】
前記第３ステップは、
前記第１ステップで抽出されたメタ情報であるＣＴＳ／ＤＴＳ情報と前記第２ステップのパケット化過程で抽出されたＦｌｅｘＭｕｘパケットの長さ情報を用いて、同期化情報を生成する第８ステップと、
前記第１ステップで抽出されたメタ情報であるＥＳ＿ＩＤ情報と、前記第２ステップのパケット化過程で抽出されたＦｌｅｘＭｕｘチャネル情報とを用いて、プログラム情報を生成する第９ステップと
を含むことを特徴とする請求項４に記載のＭＰＥＧ−４データをＭＰＥＧ−２データに同期化させて伝送する方法。
【請求項８】
前記第８ステップは、前記ＣＴＳ／ＤＴＳ情報をＰＴＳ（Program Time Stamp）／ＤＴＳ情報に変換することを特徴とする請求項７に記載のＭＰＥＧ−４データをＭＰＥＧ−２データに同期化させて伝送する方法。
【請求項９】
前記第４ステップは、
前記第２ステップのパケット化過程で生成されたＦｌｅｘＭｕｘパケットを同期化する必要があるか否かに応じて制御する第１０ステップと、
前記第９ステップで生成されたプログラム情報と、前記第１ステップで抽出されたメタ情報であるＩＯＤ（Initial Object Descriptor）とを用いて、ＰＳＩを生成する第１１ステップと、
前記第１０ステップの制御により、前記第８ステップで生成された同期化情報を用いて前記第２ステップのパケット化過程で生成されたＦｌｅｘＭｕｘデータをＰＥＳパケット化する第１２ステップと、
前記第１０ステップの制御により、前記第２ステップのパケット化過程で生成されたＦｌｅｘＭｕｘデータを１４４９６セクションにパケット化する第１３ステップと、
前記生成されたＰＳＩ、ＰＥＳパケット及び１４４９６セクションパケットをトランスポートストリーム（ＴＳ）パケットにパケット化する第１４ステップと
を含むことを特徴とする請求項７に記載のＭＰＥＧ−４データをＭＰＥＧ−２データに同期化させて伝送する方法。
【請求項１０】
前記第１１ステップは、ＰＳＩ生成過程でプログラム構成情報の一つであるＰＭＴ（Program Map Table）を生成するため、ＭＰＥＧ−４データのためのＦｌｅｘＭｕｘチャネルディスクリプタ（FMC_Descriptor）構成に前記第３ステップで生成されたプログラム情報を入力することを特徴とする請求項９に記載のＭＰＥＧ−４データをＭＰＥＧ−２データに同期化させて伝送する方法。
【請求項１１】
前記第５ステップは、
外部インターフェスを介してＭＰＥＧ−２音響／画像データ及び同期化初期値を入力する第１５ステップと、
前記第４ステップのパケット化過程で生成されたトランスポートストリーム（ＴＳ）パケットと前記第１５ステップで入力された情報を一つのトランスポートストリーム（ＴＳ）に多重化する第１６ステップと
を含むことを特徴とする請求項７に記載のＭＰＥＧ−４データをＭＰＥＧ−２データに同期化させて伝送する方法。
【請求項１２】
前記第１６ステップは、絶対的な時間値を有するＭＰＥＧ−２データと相対的な時間値を有するＭＰＥＧ−４データとの同期化のため、多重化初期値をＭＰＥＧ−４データの挿入地点として用いて２種類データを同期化させることを特徴とする請求項１１に記載のＭＰＥＧ−４データをＭＰＥＧ−２データに同期化させて伝送する方法。
【請求項１３】
ＭＰＥＧ−４データをＭＰＥＧ−２データに同期化させるため、大容量プロセッサを備えた同期化装置に、
ＭＰＥＧ−４データの格納形形式であるＭｐ４データを入力されて、各ＭＰＥＧ−４オブジェクトデータを抽出し、それと関連したメタ情報を解析して分離する第１機能と、
前記第１機能により抽出されたメタ情報を用いてＭＰＥＧ−４オブジェクトデータを第１パケット化する第２機能と、
前記第１機能により抽出されたメタ情報と前記第２機能のパケット化過程で生成された情報とを用いて、同期化情報及びプログラム情報を生成する第３機能と、
前記第３機能により生成された情報と前記第１機能により分離されたメタ情報とを用いて、前記第２機能によりパケット化されたＭＰＥＧ−４データを第２パケット化する第４機能と、
前記第４機能によりパケット化されたＭＰＥＧ−４データをＭＰＥＧ−２データと多重化する第５機能と
を実現させるプログラムを記録したコンピュータで読み出すことのできる記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタル放送用マルチメディアデータであるＭＰＥＧ−２音響／画像データに付加データとして用いられることのできるＭＰＥＧ−４データを同期化させて伝送して、アプリケーション（application）で活用するようにする装置及びその方法と、それを実現させるプログラムを記録したコンピュータで読み出すことのできる記録媒体に関する。
【背景技術】
【０００２】
放送／通信／格納媒体用音響／画像データであるＭＰＥＧ−２データに対して、伝送速度６４Ｋｂｐｓ以下のデジタル音響／画像データであるＭＰＥＧ−４データを同期化させるということに対して、従来の技術においては、概念的な技術方法のみが扱われてきていた。しかし、現在までＭＰＥＧ−２データにＭＰＥＧ−４データを同期化させるための具現方法とＭＰＥＧ−２データにＭＰＥＧ−４データを同期化させて伝送するための全体システムは提案されていない。したがって、実質的に前記のようなＭＰＥＧ−２データにＭＰＥＧ−４データを同期化させて伝送するサービスがなされていないという問題点がある。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
本発明は、上述したような問題点に鑑みてなされたものであって、その目的とするところは、放送／通信／格納媒体用音響／画像データであるＭＰＥＧ−２データに対して、デジタル音響／画像データであるＭＰＥＧ−４データを同期化させて伝送する装置及びその方法と、前記方法を実現させるためのプログラムを記録したコンピュータで読み出すことのできる記録媒体を提供することである。
【課題を解決するための手段】
【０００４】
そこで、前記目的を達成するため、本発明は、ＭＰＥＧ−４データをＭＰＥＧ−２データに同期化させて伝送する装置において、ＭＰＥＧ−４データの格納型であるＭｐ４データを入力して各ＭＰＥＧ−４オブジェクトデータを抽出し、前記オブジェクトデータと関連したメタ情報を解析して分離し、プログラム情報及び同期化情報を生成するオブジェクト分離及び情報生成手段と、前記オブジェクト分離及び情報生成手段から抽出されたＭＰＥＧ−４オブジェクトデータをＭＰＥＧ−２データと同期化するため、前記オブジェクト分離及び情報生成手段から生成されたプログラム情報及び同期化情報を用いて、ＭＰＥＧ−４オブジェクトデータをＭＰＥＧ−２形式のパケットに変換するパケット化手段と、前記パケット化手段でパケット化されたＭＰＥＧ−４データをＭＰＥＧ−２データと多重化するプログラム多重化手段とを含むことを特徴とする。
【０００５】
一方、本発明は、ＭＰＥＧ−４データをＭＰＥＧ−２データに同期化させて伝送する方法において、ＭＰＥＧ−４データの格納型であるＭｐ４データを入力されて各ＭＰＥＧ−４オブジェクトデータを抽出し、それと関連したメタ情報を解析して分離する第１ステップと、前記第１ステップで抽出されたメタ情報を利用してＭＰＥＧ−４オブジェクトデータを第１パケット化する第２ステップと、前記第１ステップで抽出されたメタ情報と前記第２ステップのパケット化過程で生成された情報を用いて、同期化情報及びプログラム情報を生成する第３ステップと、前記第３ステップで生成された情報と前記第１ステップで分離されたメタ情報を用いて、前記第２ステップでパケット化されたＭＰＥＧ−４データを第２パケット化する第４ステップと、前記第４ステップでパケット化されたＭＰＥＧ−４データをＭＰＥＧ−２データと多重化する第５ステップとを含むことを特徴とする。
【０００６】
一方、本発明は、ＭＰＥＧ−４データをＭＰＥＧ−２データに同期化させるため、大容量プロセッサを備えた同期化装置に、ＭＰＥＧ−４データの格納形形式であるＭｐ４データを入力されて、各ＭＰＥＧ−４オブジェクトデータを抽出し、それと関連したメタ情報を解析して分離する第１機能と、前記第１機能により抽出されたメタ情報を用いてＭＰＥＧ−４オブジェクトデータを第１パケット化する第２機能と、前記第１機能により抽出されたメタ情報と前記第２機能のパケット化過程で生成された情報とを用いて、同期化情報及びプログラム情報を生成する第３機能と、前記第３機能により生成された情報と前記第１機能により分離されたメタ情報とを用いて、前記第２機能によりパケット化されたＭＰＥＧ−４データを第２パケット化する第４機能と、前記第４機能によりパケット化されたＭＰＥＧ−４データをＭＰＥＧ−２データと多重化する第５機能とを提供する。
【発明を実施するための最良の形態】
【０００７】
以下、添付する図面を参照しながら本発明に係る好ましい一実施例を詳細に説明する。
【０００８】
図１は、本発明に係るＭＰＥＧ−２データにＭＰＥＧ−４データを同期化させて伝送する装置の一実施例の構成図である。
【０００９】
図１に示すように、本発明に係るＭＰＥＧ−２データにＭＰＥＧ−４データを同期化させて伝送する装置は、ＭＰＥＧ−４データの格納型であるｍｐ４データを入力されて各ＭＰＥＧ−４オブジェクトデータを抽出し、前記オブジェクトデータと関連したメタ情報を解析して分離し、プログラム情報及び同期化情報を生成するオブジェクト分離及び情報生成部１２、前記オブジェクト分離及び情報生成部１２から抽出されたＭＰＥＧ−４オブジェクトデータをＭＰＥＧ−２データと同期化するため、前記オブジェクト分離及び情報生成部１２から生成されたプログラム情報及び同期化情報を用いてＭＰＥＧ−４オブジェクトデータをＭＰＥＧ−２形式のパケットに変換するパケット化部１３及び前記パケット化部１３からパケット化されたＭＰＥＧ−４データをＭＰＥＧ−２音響／画像データと多重化するプログラム多重化部１４を含む。
【００１０】
前記オブジェクト分離及び情報生成部１２は、オブジェクト分離部１２１、同期化情報生成部１２２及びプログラム情報生成部１２３を含み、以下その詳細動作について述べる。
【００１１】
オブジェクト分離部１２１は、データベース１１からＭＰＥＧ−４の格納型であるｍｐ４ファイルを受信する。データベース１１は、メディアデータとメタ情報とから構成されたｍｐ４ファイルを格納する。オブジェクト分離部１２１は、受信されたｍｐ４ファイルからＭＰＥＧ−４オブジェクトデータを抽出し、それと関連したメタ情報であるメディアデータの種類、位置、特性、大きさなどを分析し、また抽出されたＭＰＥＧ−４オブジェクトデータのうち、ＭＰＥＧ−４  ＩＯＤ（Initial Object Descriptor、以下、ＩＯＤと記す）データはＰＳＩ（Program Specific Information、以下、ＰＳＩと記す）生成部１３４に出力し、抽出されたメタ情報のうちＣＴＳ（Composition Time Stamp、以下、ＣＴＳと記す）／ＤＴＳ（Decoding Time Stamp、以下、ＤＴＳと記す）情報は同期化情報生成部１２２に出力し、抽出されたメタ情報のうちＥＳ＿ＩＤ（Elementary Stream Identifier、以下、ＥＳ＿ＩＤと記す）情報はプログラム情報生成部１２３に出力し、その他のオブジェクトデータとメタ情報はＳＬ（Sync Layer、以下、ＳＬと記す）パケット化部１３１に出力する。
【００１２】
そして、同期化情報生成部１２２は、オブジェクト分離部１２１から入力されたメタ情報であるＣＴＳ／ＤＴＳを、ＭＰＥＧ−２時間値であるＰＴＳ（Presentation Time Stamp、以下、ＰＴＳと記す）／ＤＴＳ値に変換する。また、同期化情報生成部１２２は、変換されたＰＴＳ／ＤＴＳ時間値とＦｌｅｘＭｕｘ（Flexible Multiplex）パケット化部１３２から入力されたＦｌｅｘＭｕｘパケットの長さ情報を用いて、下記の［表１］のような形式の同期化情報を生成し、これをＰＥＳ（Packetized Elementary Stream、以下、ＰＥＳと記す）パケット化部１３６に出力する。
【００１３】
そして、プログラム情報生成部１２３は、オブジェクト分離部１２１から入力されたメタ情報であるＥＳ＿ＩＤとＦｌｅｘＭｕｘパケット化部１３２から入力されたＦｌｅｘＭｕｘチャネル（FlexMux Channel）とを互いに接続させて、下記の［表２］のような形式のプログラム情報を生成し、これをＰＳＩ生成部１３４に出力する。
【００１４】
次いで、パケット化部１３は、ＳＬパケット化部１３１、ＦｌｅｘＭｕｘパケット化部１３２、パケット化制御部１３３、ＰＳＩ生成部１３４、１４４９６セクション（Section）パケット化部１３５、ＰＥＳパケット化部１３６及びトランスポートストリーム（ＴＳ：Transport Stream）パケット化部１３７を含み、以下にその詳細動作について述べる。
【００１５】
前記ＳＬパケット化部１３１は、オブジェクト分離部１２１から入力されたＭＰＥＧ−４オブジェクトデータ及びメタ情報をＳＬパケットにパケット化してＦｌｅｘＭｕｘパケット化部１３２に出力する。ここで、ＳＬパケットは、ＭＰＥＧ−４の各オブジェクトデータ間の同期化のためにＭＰＥＧ−４システム規格で定義したものであって、ヘッダとペイロード（payload）から構成される。ヘッダは、ＭＰＥＧ−４オブジェクトデータを任意の時間に表現できるようにする時間情報、シーケンス情報を有し、ペイロードは、ＭＰＥＧ−４オブジェクトデータをアクセスユニット単位で有する。ＩＯＤは、ＯＤ（Object Descriptor、以下、ＯＤと記す）とＢＩＦＳ（Binary Format for Scene、以下、ＢＩＦＳと記す）を接続させるポインタの役割をするので、ＳＬパケット化することができない。
【００１６】
そして、ＦｌｅｘＭｕｘパケット化部１３２は、ＳＬパケット化部１３１から入力されたＳＬパケットをＦｌｅｘＭｕｘパケットにパケット化し、これを下記の図３のような形式でパケット化制御部１３３に出力し、ＦｌｅｘＭｕｘパケット化過程で生成されるＦｌｅｘＭｕｘパケットの長さ及びＦｌｅｘＭｕｘチャネル情報をプログラム情報生成部１２３と同期化情報生成部１２２に出力する。ここで、ＦｌｅｘＭｕｘパケットは、ＭＰＥＧ−４システム規格で定義するオプション多重化方式により、ＳＬパケット化された多数のストリームを同時に多重化する時、オーバーヘッドを低減するか、論理チャネルの不足を補充するために用いられる。ＦｌｅｘＭｕｘパケットはヘッダとペイロードから構成され、この時ペイロードは必ず完全なＳＬパケットを含まなければならない。ＦｌｅｘＭｕｘパケット化モードは２種類が存在し、その一つは、一つのＳＬパケットをＦｌｅｘＭｕｘペイロードに含むシンプルモード（Simple Mode）であり、残り一つは複数のＳＬパケットをＦｌｅｘＭｕｘペイロードに含む多重化コードモード（MuxCode Mode）である。
【００１７】
また、パケット化制御部１３３、ＦｌｅｘＭｕｘパケット化部１３２から入力されたＦｌｅｘＭｕｘパケットを分析して、ＭＰＥＧ−２データと、同期化が必要なＢＩＦＳ−アニメーション（ａｎｉｍａｔｉｏｎ）データおよび音響／画像データはＰＥＳパケット化部１３６に、同期化を必要としないＢＩＦＳ−命令（command）データ、ＯＤデータは１４４９６セクションパケット化部１３５に出力する。
【００１８】
また、ＰＳＩ生成部１３４は、プログラム情報生成部１２３から入力されたプログラム情報を用いてＭＰＥＧ−４と関連したディスクリプタ（descriptor）を構成し、構成されたディスクリプタとオブジェクト分離部１２１から入力されたＩＯＤデータを用いて、ＭＰＥＧ−２及びＭＰＥＧ−４データを全て収容できるＰＭＴ（Program Map Table、以下、ＰＭＴと記す）を生成して、トランスポートストリーム（ＴＳ）パケット化部１３７に出力する。また、ＰＭＴの位置情報を表すＰＡＴ（Program Association Table、以下、ＰＡＴと記す）を生成して、トランスポートストリーム（ＴＳ）パケット化部１３７に出力する。
【００１９】
そして、１４４９６セクションパケット化部１３５は、パケット化制御部１３３から入力されたＦｌｅｘＭｕｘデータを１４４９６セクションにパケット化し、これを再度トランスポートストリーム（ＴＳ）パケット化部１３７に出力する。
【００２０】
そして、ＰＥＳパケット化部１３６は、同期化情報生成部１２２から入力された同期化情報を用いて、パケット化制御部１３３から入力された同期化が必要なＦｌｅｘＭｕｘデータをＰＥＳパケットにパケット化して、これを再度トランスポートストリーム（ＴＳ）パケット化部１３７に出力する。
【００２１】
そして、トランスポートストリーム（ＴＳ）パケット化部１３７は、ＰＳＩ生成部１３４から入力されたＰＳＩ情報であるＰＡＴ、ＰＭＴパケットと１４４９６セクションパケット化部１３５から入力された１４４９６セクションパケット化されたＭＰＥＧ−４データ、及びＰＥＳパケット化部１３６から入力されたＰＥＳパケット化されたＭＰＥＧ−４データ、をトランスポートストリーム（ＴＳ）パケット化し、これを再度プログラム多重化部１４に出力する。
【００２２】
一方、プログラム多重化部１４は、トランスポートストリーム（ＴＳ）パケット化部１３７から入力されたＭＰＥＧ−４トランスポートストリーム（ＴＳ）パケットと外部から入力されたＭＰＥＧ−２音響／画像データを一つのトランスポートストリーム（ＴＳ）に多重化する役割をする。この場合、プログラム多重化部１４は、同期化初期値（Offset）を入力して、これを二つのトランスポートストリーム（ＴＳ）を一つのトランスポートストリーム（ＴＳ）に多重化するパラメータ値として用いる。
【００２３】
図２は、本発明に係るＭＰＥＧ−２データにＭＰＥＧ−４データを同期化させて伝送する方法に関する一実施例の処理フローチャートである。
【００２４】
まず、データベースに格納されたＭｐ４ファイルが入力されると（ステップ２０１）、入力されたＭｐ４データはＭＰＥＧ−４オブジェクトデータに分離され（ステップ２１）、この過程で各オブジェクトデータの、ＩＯＤ（ステップ２０２）、ＥＳ＿ＩＤ（ステップ２０４）、ＣＴＳ／ＤＴＳ（ステップ２０３）などのようなメタ情報値も抽出される。抽出されたデータのうち、ＩＯＤデータはＰＳＩ生成に用いられ（ステップ２１３）、その他のオブジェクト分離過程において抽出されたメタ情報を用いて、ＯＤ、ＢＩＦＳ、音響／画像コンテンツデータを、ＳＬパケット化する（ステップ２０５）。
【００２５】
以後、ＳＬパケット化されたデータは、再度ＦｌｅｘＭｕｘパケット化される（ステップ２２）。このＦｌｅｘＭｕｘパケット化過程では、メタ情報であるＦｌｅｘＭｕｘパケット長さ２０８とＦｌｅｘＭｕｘチャネル情報２０９が生成される。
【００２６】
以後、オブジェクト分離過程で抽出されたＣＴＳ／ＤＴＳ値と、ＦｌｅｘＭｕｘパケット化過程で生成されたＦｌｅｘＭｕｘパケットの長さ情報は、同期化情報を生成するためのデータとして入力されて同期化情報が生成され（ステップ２０６）、オブジェクト分離過程で抽出されたＥＳ＿ＩＤ値とＦｌｅｘＭｕｘパケット化過程で生成されたＦｌｅｘＭｕｘチャネル値は、プログラム情報を生成するためのデータとして入力されてプログラム情報が生成される（ステップ２０７）。
【００２７】
また、ＦｌｅｘＭｕｘパケット化されたデータは、ＭＰＥＧ−２データと同期化が必要な場合（ステップ２１０）、同期化情報を用いてＰＥＳパケットにパケット化し（ステップ２１１）、同期化を必要としない場合（ステップ２１０）、１４４９６セクションにパケット化される（ステップ２１２）。
【００２８】
また、オブジェクト抽出過程で抽出されたＩＯＤは、プログラム情報（ステップ２０７）と共にＰＳＩを生成するための入力として用いられ、プログラム情報であるＰＡＴ、ＰＭＴが生成される（ステップ２１３）。
【００２９】
以後、ＰＥＳデータ、１４４９６セクションデータ、およびＰＳＩデータはトランスポートストリーム（ＴＳ）パケットにパケット化され（ステップ２１４）、同期化初期値（ｏｆｆｓｅｔ）の入力によりＭＰＥＧ−２音響／画像データと多重化されて、一つのトランスポートストリーム（ＴＳ）に出力される（ステップ２１５）。
【００３０】
図３は、本発明に係るＦｌｅｘＭｕｘパケット化部とパケット化制御部の接続データ形式でＦｌｅｘＭｕｘパケット化されたＭＰＥＧ−４データを表すための一実施例の構造図である。
【００３１】
ＭＰＥＧ−４データを構成するオブジェクトデータは、ＩＯＤ、ＯＤ、場面記述（Scene Description）及び音響／画像コンテンツからなっており、そのうち、ＩＯＤデータは、前記図１のようなオブジェクト分離部１２１から分離されてＰＳＩ生成部１３４に入力される。また、これを除外した残りのデータは、ＳＬパケット化及びＦｌｅｘＭｕｘパケット化されるが、ＦｌｅｘＭｕｘパケット化部１３２とパケット化制御部１３３との間で、接続規格で図３のようなＦｌｅｘＭｕｘデータ形式を用いる。
【００３２】
前記ＦｌｅｘＭｕｘデータ形式は、同期化情報形式と対応する形式であって、これを通してＭＰＥＧ−２データとＭＰＥＧ−４データの同期化具現が可能であり、ＦｌｅｘＭｕｘデータ形式のファイル名の拡張子は．”．ｍｐｅｇ”として定義される。
【００３３】
後述する［表１］は、本発明の好適な実施形態に従い、ＭＰＥＧ−２データにＭＰＥＧ−４データを同期化させるため、ＭＰＥＧ−４データをＰＥＳパケット化することに用いられる同期化情報であり、その形式はＰＴＳ／ＤＴＳ時間値を表している。
【００３４】
前記情報は、図１の同期化情報生成部１２２を介して生成されるが、オブジェクト分離部１２１から入力されたメタ情報であるＣＴＳ／ＤＴＳを数式１と数式２を用いて変換したＰＴＳ／ＤＴＳ時間値と、ＦｌｅｘＭｕｘパケット化部１３２から入力されたＦｌｅｘＭｕｘパケットの長さ情報とを用いて構成する。
【００３５】
【表１】
2004523163.tif 000003
【００３６】
前記表１の「Ｎ１」は、ＦｌｅｘＭｕｘデータに存在して時間値を有するＦｌｅｘＭｕｘパケットの数を示す。
【００３７】
また、前記［表１］において、″ＦｌｅｘＭｕｘ＿ｐａｃｋｅｔ＿ｌｅｎｇｔｈ″は８ビットに割り当てられ、″Ｎｏ．  ｏｆ  ｂｉｔｓ″は、同期化情報を表すために図３のＦｌｅｘＭｕｘビット列を構成している各ＦｌｅｘＭｕｘパケットに対する長さ値を示す。実際ＦｌｅｘＭｕｘパケットヘッダを含むＦｌｅｘＭｕｘパケット一つの総長さは２５５バイト以上になり得るが、これはアプリケーションで調整することにより具現可能である。
【００３８】
″ＰＴＳ＿ＤＴＳ＿ｆｌａｇｓ″は、ＰＴＳ、ＤＴＳ情報の存在有無を示し、２ビットに割り当てられる。″０ｘ１０″はＰＴＳ情報が同期化情報ファイルに存在することを意味し、″０ｘ１１″は、ＰＴＳとＤＴＳ情報が同期化情報ファイルに存在することを意味する。また、″０ｘ００″は、ＰＴＳとＤＴＳ情報の全てが同期化情報ファイルに存在しないということを意味し、″０ｘ０１″は用いられない。
【００３９】
６ビットに割り当てられた″ｒｅｓｅｒｖｅｄ″は″１１．１１１１″値を有する。そして、１ビットに割り当てられた″ｍａｒｋｅｒ＿ｂｉｔ″は″１″値を有する。そして、″ＰＴＳ［３２．．３０］″、″ＰＴＳ［２９．．１５］″及び″ＰＴＳ［１４．．０」″は、ＭＰＥＧ−４  ＣＴＳ情報を、数式１を用いて変形した値である。
【００４０】
また、″ＤＴＳ［３２．．３０］″、″ＤＴＳ［２９．．１５］″及び″ＤＴＳ［１４．．０」″は、ＭＰＥＧ−４  ＤＴＳ情報を数式２を用いて変形した値である。
【００４１】
そして、８ビットに割り当てられたｒｅｓｅｒｖｅｄは１１１１．１１１１値を有し、ＰＴＳ、ＤＴＳを拡張するための追加分として用いられる。
【００４２】
【数１】
2004523163.tif 000004
【００４３】
【数２】
2004523163.tif 000005
【００４４】
前記数式１と数式２において、ＯＣＲＲｅｓｏｌｕｔｉｏｎ（Object Clock Reference Resolution）は、″９０／ＯＣＲＲｅｓｏｌｕｔｉｏｎ″が、４５ｋＨｚ、３０ｋＨｚ、２２．５ｋＨｚなどとなるような整数値である。すなわち、ＭＰＥＧ−４をＭＰＥＧ−２に同期化させるためには、基本的にＭＰＥＧ−４の時間参照値であるＯＣＲがＭＰＥＧ−２  ＰＣＲ（Program Clock Reference）に連動して動作できるようにすべきであるので、″９０／ＯＣＲＲｅｓｏｌｕｔｉｏｎ″は、ＭＰＥＧ−２とＭＰＥＧ−４の互いに異なる時間参照値を補償するための値である。
【００４５】
前記図１のＰＥＳパケット化部１３６では、構成された同期化情報形式を用いることにより、ＰＥＳパケット化において時間値の入力をより容易にすることができる。すなわち、同期化情報は、ＦｌｅｘＭｕｘデータのメタデータと見なすことができるので、ＰＥＳパケット化の時間値の入力のため、入力ＦｌｅｘＭｕｘデータを別に分析する過程が省略される。ここで、同期化情報形式のファイル拡張子としては、”．ｍｐｅｇ４ｈｉｎｔ”を割り当てた。
【００４６】
後述する［表２」は、本発明に係るＭＰＥＧ−２プログラム構成情報にＭＰＥＧ−４データを表するため、ＭＰＥＧ−４  ＥＳ＿ＩＤとＦｌｅｘＭｕｘチャネルとを互いに接続させるプログラム情報を表す形式を示す。
【００４７】
表２で表現した形式は、図１に示すように、プログラム情報生成部１２３を介して生成されるが、オブジェクト分離部１２１から入力されたメタ情報であるＭＰＥＧ−４オブジェクトデータに対するＥＳ＿ＩＤと、ＦｌｅｘＭｕｘパケット化部１３２から入力されたＦｌｅｘＭｕｘチャネルとを互いに接続させて構成する。ＰＳＩ生成部１３４では、構成されたプログラム情報形式を用いることにより、プログラム構成情報の一つであるＰＭＴを生成する時、ＭＰＥＧ−４データのために必要なＦＭＣ（ＦｌｅｘＭｕｘＣｈａｎｎｅｌ）＿ディスクリプタ（Ｄｅｓｃｒｉｐｔｏｒ）構成をさらに容易にすることができる。すなわち、プログラム情報生成部１２３ではプログラム情報を生成することにより、ＰＳＩ生成部１３４でＰＭＴ生成の際、別のユーザ入力、または別のＦｌｅｘＭｕｘデータの分析なしに自動にＭＰＥＧ−４オブジェクトデータに対するＥＳ＿ＩＤ及びＦｌｅｘＭｕｘチャネルを割り当てることができるようにする。ここで、プログラム情報形式の拡張子字は．”．ｆｍｃ”で割り当てた。
【００４８】
【表２】
2004523163.tif 000006
【００４９】
前記表２においてＮ２は、定義されるべきＦｌｅｘＭｕｘチャネルの数を示す。
【００５０】
１６ビットに割り当てられたＥＳ＿ＩＤ（１６ｂｉｔｓ）は、プログラム情報を表すため、ＭＰＥＧ−４オブジェクトデータを認識するための値（ＩＤ）を示す。
【００５１】
８ビットに割り当てられたＦｌｅｘＭｕｘチャネルは、前記図３のＦｌｅｘＭｕｘビット列を構成している各ＦｌｅｘＭｕｘパケットに用いられるＦｌｅｘＭｕｘチャネル（FlexMux Channel）の数を示す。この場合、ＦｌｅｘＭｕｘパケットヘッダに存在する最初８ビットのインデックス（index）値がＦｌｅｘＭｕｘチャネルの値となる。
【００５２】
本発明で提案する多重化方式は次の通りである。ＭＰＥＧ−４データはＳＬ／ＦｌｅｘＭｕｘパケット化される場合、自ら時間情報を有する同期（Synchronous）データであるので、ＭＰＥＧ−４データであるｍｐ４ファイル形式で格納されている場合、最初の時間参照値であるＯＣＲ（Object Clock Reference）が０と設定される。しかし、ＭＰＥＧ−２データの時間参照値はこれに比べて絶対的な値であるため、ＭＰＥＧ−４データをＭＰＥＧ−２データと多重化する場合には、ＰＥＳパケット化されたＭＰＥＧ−４データのＰＴＳ／ＤＴＳ時間値に同期化のための多重化初期値を入力し、この値をＭＰＥＧ−４時間値であるＰＴＳ／ＤＴＳ値に再度足して補正しなければＭＰＥＧ−２データに対して同期化は具現できない。すなわち、絶対的な時間値を有するＭＰＥＧ−２データと相対的な時間値を有するＭＰＥＧ−４データとの同期化のため、多重化初期値をＭＰＥＧ−４データの挿入地点として用いて２種類のデータを同期化し、これを式で表すと次の数式３及び数式４の通りである。
【００５３】
【数３】
2004523163.tif 000007
【００５４】
【数４】
2004523163.tif 000008
【００５５】
前記数式１と数式２を数式３と数式４に各々代入して表すと、次の数式５及び数式６のように表すことができる。
【００５６】
【数５】
2004523163.tif 000009
【００５７】
【数６】
2004523163.tif 000010
【００５８】
参考に数式６において、等号の左側項はＭＰＥＧ−２システム規格のＤＴＳ（ｔ）を表し、右側項はＭＰＥＧ−４システム規格のＤＴＳ（ｔ）を表す。
【００５９】
図４は、本発明に係るＭＰＥＧ−４データをＰＥＳ（Packetized Elementary Stream）パケットにパケット化して同期化するための時間値の入力に対する一実施例説明図である。
【００６０】
図４では、ＭＰＥＧ−２  ＰＣＲとＭＰＥＧ−４  ＯＣＲが互いに同じ９０ｋＨｚの解像度を有すると仮定して、上記の数式１ないし数式６を適用した。
【００６１】
前記のような過程により、ＭＰＥＧ−２データとこれに関連したＭＰＥＧ−４データの同期化が可能であり、これによりユーザ端末ではユーザが希望する時間に付加情報であるＭＰＥＧ−４データを出力できる。
【００６２】
上述したように本発明の方法は、プログラムで具現され、コンピュータで読み出すことのできる形態に記録媒体（ＣＤ−ＲＯＭ、ＲＡＭ、ＲＯＭ、フロッピー(登録商標)ディスク、ハードディスク、光磁気ディスク等）に格納することができる。
【００６３】
前記のような本発明は、デジタル放送で付加情報として用いられるＭＰＥＧ−４データをＭＰＥＧ−２データに同期化させて伝送する具体的な具現方法を提案することにより、対話型機能を有するＭＰＥＧ−４データのリアルタイム伝送及び任意の時間にユーザのランダムアクセスを可能にし、前記２種類データの活用性を高めることができる効果がある。
【００６４】
なお、本発明は、上記の実施例として開示した範囲に限定されるものではない。本発明に係る技術的思想から逸脱しない範囲内で多くの改良、変更が可能であり、それらも本発明の技術的範囲に属する。
【図面の簡単な説明】
【００６５】
【図１】本発明に係るＭＰＥＧ−２データにＭＰＥＧ−４データを同期化させて伝送する装置の一実施例の構成図である。
【図２】本発明に係るＭＰＥＧ−２データにＭＰＥＧ−４データを同期化させて伝送する方法に関する一実施例の処理フローチャートである。
【図３】本発明に係るＦｌｅｘＭｕｘパケット化部とパケット化制御部の接続データ形式でＦｌｅｘＭｕｘパケット化されたＭＰＥＧ−４データを表す一実施例の構造図である。
【図４】本発明に係るＭＰＥＧ−４データをＰＥＳ（Packetized Elementary Stream）パケットにパケット化して同期化するための時間値の入力に対する一実施例の説明図である。
【図１】
2004523163.tif 000011
【図２】
2004523163.tif 000012
【図３】
2004523163.tif 000013
【図４】
2004523163.tif 000014
【国際公開パンフレット】
2004523163.tif 000015
2004523163.tif 000016
2004523163.tif 000017
2004523163.tif 000018
2004523163.tif 000019
2004523163.tif 000020
2004523163.tif 000021
2004523163.tif 000022
2004523163.tif 000023
2004523163.tif 000024
2004523163.tif 000025
2004523163.tif 000026
2004523163.tif 000027
2004523163.tif 000028
2004523163.tif 000029
2004523163.tif 000030
2004523163.tif 000031
2004523163.tif 000032
2004523163.tif 000033
2004523163.tif 000034
2004523163.tif 000035
2004523163.tif 000036
2004523163.tif 000037
2004523163.tif 000038
2004523163.tif 000039
【国際調査報告】
2004523163.tif 000040
2004523163.tif 000041