(57)【要約】【課題】種々のデータ対象物を柔軟にコード化、記憶およびアクセスすることができる対象物をベースとするオーディオ・ビジュアル情報を処理するためのシステムおよび方法を提供する。【解決手段】ＭＰＥＧ−４フォーマットにより、例示として形成されたオーディオ・ビジュアル対象物は、索引情報を使用してアクセスする、セグメントおよびアクセス層一次データ・ユニット（ＰＤＵ）からなるファイルを使用する、物理的媒体上に記憶される。前記オーディオ・ビジュアル情報をコード化し、記憶し、アクセスするプロセスは、厳格な直線的順序で、モノリシックな記憶装置から切り離され、再度の配列および他の編集上の操作を行うことができる。【選択図】図４
2008136204.tif 000002
【特許請求の範囲】
【請求項１】
表示のためにＦｌｅｘＭｕｘストリームをストリーム形成する装置であって、
ＦｌｅｘＭｕｘストリーム中のシーク・ポイントの要求を受信するように構成されたモジュールと、
前記要求に応答して、前記ＦｌｅｘＭｕｘストリームに関連するすべての基本的ストリームを検査するように構成されたモジュールと、
前記基本的ストリームのうち少なくとも１つにおいてランダム・アクセス点が生じる、前記シーク・ポイントより前の最新時点を特定するように構成されたモジュールと、
前記特定された最新時点から前記ＦｌｅｘＭｕｘストリームをストリーム形成するように構成されたモジュールと
を具備する装置。
【請求項２】
前記ランダム・アクセス点はデータ・ユニット内の最初のビットである請求項１に記載の装置。
【請求項３】
前記装置はＭＰＥＧ−４プレーヤである請求項１に記載の装置。
【請求項４】
端末におけるＦｌｅｘＭｕｘストリームのストリーム形成の方法であって、
ＦｌｅｘＭｕｘストリームに関連する基本的データ・ストリームにおけるシーク・ポイントの要求を受信するステップと、
前記ＦｌｅｘＭｕｘストリームに関連付けられたすべての基本的ストリームを検査するステップと、
前記基本的ストリームのうち少なくとも１つにおいてランダム・アクセス点が生じる、要求されたシーク・ポイントより前の最新時点を特定するステップと、
前記特定された最新時点から前記ＦｌｅｘＭｕｘストリームをストリーム形成するステップと
を含む方法。
【請求項５】
前記ランダム・アクセス点はデータ・ユニット内の最初のビットである請求項４に記載の方法。
【請求項６】
前記端末はＭＰＥＧ−４プレーヤである請求項４に記載の方法。
【請求項７】
端末においてＦｌｅｘＭｕｘストリームを受信する方法であって、
ＦｌｅｘＭｕｘストリームに関連付けられた基本的ストリームにおけるシーク・ポイントの要求を送信するステップと、
前記要求に従って、送信されたＦｌｅｘＭｕｘストリームを受信するステップとを含み、前記送信されたＦｌｅｘＭｕｘストリームは、
前記ＦｌｅｘＭｕｘストリームに関連付けられたすべての基本的ストリームを検査するステップと、
前記基本的ストリームのうち少なくとも１つにおいてランダム・アクセス点が生じる、要求されたシーク・ポイントより前の最新時点を特定するステップと、
前記特定された最新時点を発端として、前記ＦｌｅｘＭｕｘストリームを前記端末に送信するステップとを含む処理により生成される方法。
【請求項８】
前記ランダム・アクセス点はデータ・ユニット内の最初のビットである請求項７に記載の方法。
【請求項９】
前記端末はＭＰＥＧ−４プレーヤである請求項７に記載の方法。
【請求項１０】
ＦｌｅｘＭｕｘストリームを処理する端末であって、
ＦｌｅｘＭｕｘストリームに関連付けられた基本的ストリームにおけるシーク・ポイントの要求を送信するように構成されたモジュールと、
前記要求に従って、送信されたＦｌｅｘＭｕｘストリームを受信するように構成されたモジュールとを具備し、前記送信されたＦｌｅｘＭｕｘストリームは、
前記ＦｌｅｘＭｕｘストリームに関連付けられたすべての基本的ストリームを検査するステップと、
前記基本的ストリームのうち少なくとも１つにおいてランダム・アクセス点が生じる、前記要求されたシーク・ポイントより前の最新時点を特定するステップと、
前記特定された最新時点から前記ＦｌｅｘＭｕｘストリームをストリーム形成するステップとを含む処理により生成される端末。
【請求項１１】
端末においてＦｌｅｘＭｕｘストリームを処理する方法であって、
ＦｌｅｘＭｕｘチャネルＩＤを基本的ストリームＩＤにマッピングするストリーム・マップ表を受信するステップと、
Ｍｕｘコード定義の組を受信するステップと、
前記ストリーム・マップ表及び前記Ｍｕｘコード定義に従って、受信したＦｌｅｘＭｕｘストリームをデコードして表示するステップと
を含む方法。
【請求項１２】
ＦｌｅｘＭｕｘストリーム内の基本的ストリーム中のシーク・ポイントの要求を送信するステップと、
前記要求に従って、送信されたＦｌｅｘＭｕｘストリームを受信するステップとを含み、前記送信されたＦｌｅｘＭｕｘストリームは、
前記ＦｌｅｘＭｕｘストリームに関連付けられたすべての基本的ストリームを検査するステップと、
前記基本的ストリームのうち少なくとも１つにおいてランダム・アクセス点が存在する、前記要求されたシーク・ポイントより前の最新時点を特定するステップと、
前記特定された最新時点から前記ＦｌｅｘＭｕｘストリームを送信するステップとを含む処理により生成される請求項１１に記載の方法。
【請求項１３】
受信したＦｌｅｘＭｕｘストリームを処理する端末であって、
ＦｌｅｘＭｕｘチャネルＩＤを基本的ストリームＩＤにマッピングするストリーム・マップ表を受信するように構成されたモジュールと、
Ｍｕｘコード定義の組を受信するように構成されたモジュールと、
前記ストリーム・マップ表及び前記Ｍｕｘコード定義に従って、受信したＦｌｅｘＭｕｘストリームをデコードして表示するように構成されたモジュールと
を具備する端末。
【請求項１４】
ＦｌｅｘＭｕｘストリーム内の基本的ストリーム中のシーク・ポイントの要求を送信するように構成されたモジュールと、
前記要求に従って、送信されたＦｌｅｘＭｕｘストリームを受信するように構成されたモジュールとをさらに具備し、前記送信されたＦｌｅｘＭｕｘストリームは、
前記ＦｌｅｘＭｕｘストリームに関連付けられたすべての基本的ストリームを検査するステップと、
前記基本的ストリームのうち少なくとも１つにおいてランダム・アクセス点が生じる、前記要求されたシーク・ポイントよりも前の最新時点を特定するステップと、
前記特定された最新時点から前記ＦｌｅｘＭｕｘストリームをストリーム形成するステップとを含む処理により生成される請求項１３に記載の端末。
【請求項１５】
受信したＦｌｅｘＭｕｘストリームを処理する端末であって、
ＦｌｅｘＭｕｘチャネルＩＤを基本的ストリームＩＤにマッピングする索引層に関連付けられたデータを受信するように構成されたモジュールと、
Ｍｕｘコード定義の組を受信するように構成されたモジュールと、
前記索引層及び前記Ｍｕｘコード定義の組に従って、ＦｌｅｘＭｕｘストリームを受信し、デコードし、表示するように構成されたモジュールと
を具備する端末。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理に関し、特にオーディオ・ビジュアル対象物の高性能記憶装置および検索に関する。
【背景技術】
【０００２】
ネットワーク、マルチメディア、データベース、および他のデジタル容量に対する需要が急速に増大する中で、多くのマルチメディア・コード化および記憶スキームが開発されてきた。モーション・ビデオが、Ｃｉｎｅｐａｋ、Ｉｎｄｅｏ、ＭＰＥＧ−１およびＭＰＥＧ−２および他のファイル・フォーマットでコード化および記憶されてきたように、グラフィックス・ファイルも、長い間、ＴＩＦ、ＧＩＦ、ＪＰＧおよび他のフォーマットのような、通常入手できるファイル・フォーマットでコード化され、記憶されてきた。オーディオ・ファイルは、ＲｅａｌＡｕｄｉｏ、ＷＡＶ、ＭＩＤＩおよび他のファイル・フォーマットで、コード化され、記憶されてきた。これら標準技術は、ある種の用途にはいくつかの利点を持つが、インターネットを含む大型のネットワークが開発されると、オーディオ・ビジュアル（ＡＶ）情報の効率的なコード化、記憶および送信に対する要件は、増大の一途をたどった。
【０００３】
従来のコード化技術のもとで動作させると、モーション・ビデオは、特に多くの場合、利用可能なインターネットおよび他のシステムの帯域幅以上の帯域幅を必要とし、その結果、ビデオ出力は、フレームの脱落および他の人工的な産物により変動することになる。このような現象が起こるのは、前記技術が、一枚の全シーンをフレーム毎にコード化するという方法をとっていることにその一因があり、その結果、前記フレームを表現するために、１秒間に多くのメガバイトを含むデータ・ストリームが必要になる。そのため、リアルタイムまたはストリームの形で、ビデオおよびオーディオの内容を送り届けるという目的を達成し、結果として得られたオーディオ・ビジュアル・シーンを編集するのがより困難になる。
【０００４】
ネットワークを通して通信したデータ・ストリームとは対照的に、ランダム・アクセス大量記憶装置（ローカル・ハード・ドライブに記憶されたＡＶファイルのような）から入手した内容は、他の機能を持ち、速度も速くなるが、依然としてますます大容量を必要とする。特に、物理的記憶媒体のランダム・アクセス特性を利用した場合、画像によるシーンの説明または他のオーディオ・ビジュアル対象物情報内で複数の任意の点に直接アクセスしたり、編集したりすることができる。直接再生するためのランダム・アクセスの他に、ファイルから特定の基本的ストリームを抽出し、修正し、再挿入し、または他の方法で処理したい場合の編集動作の場合には、前記機能が役に立つ。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、必要な任意のレベルのシーン粒状度で、ストリーム状および大量に記憶されたＡＶ情報の両方を、柔軟に、効率的に、また一貫して処理することができる、安定していて、広く利用することができるコード化および記憶スキームはまだ開発されていない。
【課題を解決するための手段】
【０００６】
関連技術の上記および他の問題を克服する本発明は、フレーム全体ではなく、ＡＶ対象物を含む個々のセグメントをコード化し、記憶し、検索し、その後で、埋設したファイル情報により、一つのシーンに組み立てる、対象物をベースとするオーディオ・ビジュアル情報を処理するための、システム、方法および関連媒体に関する。従って、本発明は、複雑なシーンの場合でも、個々のＡＶ対象物を非常に効率的にストリームに形成し、ランダムにアクセスすることができる。
【０００７】
ある観点から見た場合、上記および他の目的を達成する本発明は、あるファイルからデータを合成し、抽出する方法、およびストリーム形成情報、物理的対象物情報および論理的対象物情報、および各オーディオ・ビジュアル・セグメントの、オーディオ・ビジュアル対象物にアクセスするためのアクセス情報をポイントしている、オーディオ・ビジュアル対象物およびセグメント対象物データ表を含む、一連のオーディオ・ビジュアル・セグメントを持つヘッダを含むファイルを使って、前記タイプのファイルを記憶する媒体に関する。他の観点から見た場合、本発明は、ストリーム形成情報、物理的対象物情報および論理的対象物情報、アクセス情報をポイントしているオーディオ・ビジュアル対象物、およびセグメント対象物データ表を含む、一連のオーディオ・ビジュアル・セグメントを持つヘッダを含むファイルを使って、あるファイルのデータを処理するためのシステムに関する。
【０００８】
他の特徴および利点に加えて、とりわけ、本発明のシステム、方法および媒体は、ランダムに容易にアクセスすることができ、元の形または編集した形で、一つのシーンに組み立てることができる個々のＡＶ対象物の下の階層的、抽出アクセス層を提供する。本発明を使用すれば、例えば、映画のシーンまたはオーディオ・トラックを再編成するために、オーディオ・ビジュアル表示を自由に変更するための、対象物の挿入、削除および修正を含む、ＡＶ対象物を柔軟に編集することができる。一つのシーンを構成している前記ＡＶ対象物は、ファイル・セグメントで個々にコード化され、記憶され、これら構成対象物からシーンを合成するための合成データは、個々に記憶され、ランダムにアクセスでき、また容易に編集することができる。さらに、本発明は、その拡張能力により、コード化されたＭＰＥＧ−４データと一緒に、ＭＰＥＧ−１、ＭＰＥＧ−２、オーディオ、ビデオおよびシステム・データ・ファイルを処理することができる。
【０００９】
本発明のシステム、方法および媒体は、持ち運ぶことができ、選択したプラットホームまたは、それがＤＶＤであっても、ハードディスクであっても、ＣＤーＲＯＭであっても、または他の記憶装置であっても、使用記憶媒体から独立している。本発明は、ランダム・アクセスを行うために、カプセルに入っているＡＶ対象物を分割し、索引するための特殊な機構を提供する。すべてのＡＶ対象物および２進フォーマット・シーン叙述（ＢＩＦＳ）情報は、非ストリーム状ファイルの場合には、アクセス層（ＡＬ）プロトコル・データ・ユニット（ＰＤＵ）に内蔵され、ストリーム状ファイルの場合には、柔軟な多重化（当業者には周知のＦｌｅｘ Ｍｕｘ）または他の適当な多重フォーマットに内蔵される。本発明を使用すれば、ストリーム形成フォーマットは、ネットワーク上を直接移動させることができる、多重化ＰＤＵを記憶することができる。
【発明を実施するための最良の形態】
【００１０】
ＭＰＥＧ−４ファイル・フォーマットにより、本発明を説明する。ＭＰＥＧ−４ファイルは、フォーマット識別延長部として、「ｍｐ４」を使用する。一般的にいって、オーディオ・ビジュアル・シーンを処理し、または提示するセッションに関連し、ＭＰＥＧ−４に適合する、ＭＰＥＧ−４ファイルに記憶しているすべてのＡＶ対象物は、一つまたはそれ以上の前記ファイルに存在する。一つのセッションを、ＭＰＥＧ−４の下で、一つのファイルだけに収容する必要はない。
【００１１】
それどころか、完全な一つのセッションを形成するために、一組のファイルを使用することができる。前記ファイルの中の一つは、マスタ・ファイルとなる。他の対象物（「論理的対象物」または「リモート対象物」と呼ぶ）は、Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ呼出し（当業者には周知のＵＲＬである）を使用して、マスタ（または他の）ファイル）により参照することができる。前記対象物は、同じファイル記憶システム、またはインターネット・サーバのようなリモート・ファイル・システム上の異なるファイルに物理的に位置させることができる。
【００１２】
図１は、記憶したファイルを使用するシステムに関連する、本発明の第一の例示としての実施形態の全体図である。図２は、ストリーム形成ファイルを使用するシステムの第二の実施形態である。ストリーム形成の際、ユーザは、外部からオーディオ・ビジュアル部分が到着したとき、そのオーディオ・ビジュアル部分を見る。前記オーディオ・ビジュアル部分は、ＲＡＭまたは等価のメモリのような電子メモリに一時的に記憶されるが、前記オーディオ・ビジュアル・データは、必ずしも、一つの固定ファイルで組み立てる必要はない。どちらの場合でも、ＭＰＥＧ−４ファイル１００は、その中に含まれているＡＶ対象物に関する、全体的な情報を含むファイル・ヘッダ２０と、ＡＬ ＰＤＵ６０のＡＶ対象物、および当業者には周知のＭＰＥＧ−４規格に適合するＢＩＦＳデータを含む任意の数のセグメント３０からなる。ＡＶ対象物４０は、テキスト、画像、ビデオ、オーディオまたは他の情報を表示することができる。
【００１３】
ＭＰＥＧ−４規格に適合するＡＬ ＰＤＵ、ＢＩＦＳおよび関連データ構造体の場合、前記規格は、対象物をベースとする方法を使用する。一つのシーンの個々の構成部分は、独立した対象物（例えば、任意の形をしたビジュアル対象物、または別々にコード化されたサウンドのような）としてコード化される。前記オーディオ・ビジュアル対象物は、ユーザに表示されるシーンを組み立てるために、その対象物を空間および時間で、どのように位置すべきかを指定するシーン叙述情報と一緒に、受信ターミナルに送られる。前記シーン叙述情報は、当業者には周知のバーチャル・リアリティ・モデリング言語（ＶＲＭＬ）類似の木構造法に従う。当業者には周知の公式ＩＳＯ ＭＰＥＧ−４仕様の第一部に、叙述シーン叙述情報のコード化がより詳細に記載されている。ＢＩＦＳ情報は、受信ターミナルにおいて、イベントが確実に正しく配置されるように、それ自身の時間およびクロック・スタンプ情報と一緒に、それ自身の基本的ストリームにより送られる。
ＭＰＥＧ−４環境の適合層（ＡＬ）の場合には、ＭＰＥＧ−４が対象物をベースとするアーキテクチャに従うので、いくつかの基本的ストリームを特定のプログラム（ＡＶ表示）と関連づけることができる。各基本的ストリームは、アクセス・ユニット（ＡＵ）からなる。一つのアクセス単位は、例えば、ビデオの一つのフレーム、またはオーディオ・ストリームの小さな一組のサンプルに対応する。一般的に、ＡＵは、異なる表示ユニットと見なされる。各基本的ストリーム（クロック参照、時間スタンプ、特定のＡＵがランダム・アクセス点であるかどうか等）で運ばれるＡＵに関する重要な情報を記載する均一な方法を提供するために、すべてのＡＵをカプセルで包むために適合層が使用される。ＡＬは、実際の下のコード化された媒体データの文法的構造の解析を行わないで、前記情報にアクセスすることができる、簡単な（構成可能な）ヘッダ構造体である。ＡＬは、オプションとしてのＦｌｅｘＭｕｘの周囲のコード化層の直接下に位置している。
【００１４】
図１に示すように、記憶装置の実施形態には、ＡＬ ＰＤＵ６０がファイル・セグメント３０内に散在している。各ファイル・セグメント３０は、前記ファイル・セグメント３０内に位置する、ＡＬ ＰＤＵ６０を記述しているヘッダ７０を含む。それ故、ＭＰＥＧ−４ファイル１００は、対象物が記憶されている物理的記憶媒体より高い抽出レベルにおいて、（ＡＬ ＰＤＵに収容されている）個々の対象物へランダム・アクセスできるように、多重化され、索引された一組のＡＬ ＰＤＵ６０を含む。このように、物理的記憶媒体からオーディオ・ビジュアル対象物が切り離されているので、これらデータ・タイプを非常に柔軟に一般的な方法で操作することができる。
【００１５】
再生するために、あるファイルの内容をウェブ・サーバからインターネット・クライアントに流すために、索引情報（物理的対象物表８０および論理的対象物表９０）が除去され、ＡＬ ＰＤＵ６０が作られ、チャネル上を送られる。図２は、本発明のストリーム作成の実施形態の全体を示す。
【００１６】
ＭＰＥＧ−４の下のストリーム作成環境の場合には、ＭＰＥＧ仕様の前のバージョンは、個々の基本的ストリームを一つのビットストリームとして、送信用に一緒に多重化する方法をハッキリと指定していた。ＭＰＥＧ−４は、（インターネット接続から本来のＡＴＭ、または移動局への）種々の通信環境で使用するためのものであるので、ＭＰＥＧ−４は、多重化のために特定の構造または機構を指定しない。それどころか、ＴｒａｎｓＭｕｘと呼ばれる、移送マルチプレクサ用に一般的なモデルを使用する。前記モデル（例えば、ＧＳＭデジタル・セルラー電話規格を使用するデータ送信）に適合しない移送装置のために、ＭＰＥＧ−４は、ＦｌｅｘＭｕｘと呼ばれる、簡単で柔軟なマルチプレクサを提供する。しかし、前記マルチプレクサを使用するしないは全く自由である。Ｆｌｅｘ Ｍｕｘは、基本的ストリームが、それ自身の複数のチャネルを自由に満たすことができるようにすることによって、簡単な多重化装置を提供する。また、ＦｌｅｘＭｕｘにより、多重媒体は、遅延が少なくおよび／または帯域幅の狭い用途の場合に役に立つ、ＦｌｅｘＭｕｘ ＰＤＵを共有することができる。
【００１７】
図２に示すように、ストリーム形成の実行の際に、本発明は、対象物番号により、ＡＬ ＰＤＵ６０を索引するために、アクセス・ユニットのＦｌｅｘ Ｍｕｘ総３０のサブ層の上に索引層１１０を形成する。索引層１１０に含まれているはずの索引情報が存在しない場合には、ストリーム形成データのランダム・アクセスは、実際には不可能になる。ファイル・セグメント３０は、ＡＬ ＰＤＵ６０の一部、ＡＬ ＰＤＵ６０全体、または一つのＡＬ ＰＤＵ６０以上のものを含むことができる。
【００１８】
図１および図２に示すように、一般的なフォーマット化の場合には、ファイル・ヘッダ２０の最初の５バイトは、文字「Ｍ」、「Ｐ」、「Ｅ」、「Ｇ」および「４」を含む。次のバイトは、ファイル・フォーマットのバージョン番号を示す。前記ファイル・ヘッダ２０の次のバイトは、ファイル・タイプ定義（ＦＴＤ）フィールド１４０を含む。ＦＴＤフィールド１４０は、下記の定義によりそのファイルの内容を示す。
ビット０：ファイルを記憶（１にセット）／ストリーム形成ファイル表示 ビット１：セットされている場合には、物理的ＡＶ対象物が、ストリームに存在することを示す。
ビット２：セットされている場合には、論理的ＡＶ対象物が、ストリームに存在することを示す。（ストリーム形成ファイルには、何時でも０が存在）ＵＲＬ呼出しを使用して、リモートＭＰＥＧ−４ファイルにアクセス。
ビット３：記憶されたファイルに対して、何時でも０。ストリーム形成ファイルにおいては、このビットがセットされている場合には、（ＦｌｅｘＭｕｘの簡単モードの動作に対応する）一つの移送ＰＤＵ１５０に、一つのＡＬ ＰＤＵ３０が含まれていることを示す。そのような場合には、移送ＰＤＵ１５０をアクセスすることにより、ランダム対象物にアクセスすることができる。（ビット３は、ランダム・アクセス・フラッグとも呼ばれる。）
ビット４−７：予備 ＦＴＤフィールド１４０のビット３は、セットされている場合には、移送ＰＤＵ１５０が、一つのＡＬ ＰＤＵ６０に属するデータを含むことを示す。前記ランダム・アクセス・フラッグがセットされている場合には、移送ＰＤＵ表１６０のＡＶ対象物ＩＤフィールド１７０が、移送ＰＤＵ１５０に含まれている、ＡＶ対象物の基本的ストリームＩＤ（ＥＳＩＤ）を示す。そうでない場合には、ＡＶ対象物ＩＤフィールド１７０は、現在のセグメント内のパケット番号を示す。それは、移送ＰＤＵ１５０が多重ＡＶ対象物を含んでいる場合には（ランダム・アクセス・フラッグがセットされていない場合には）、ランダム・アクセスに直接使用することができないこと、また一つのＥＳＩＤに関連付けることができないからである。
【００１９】
ファイル・タイプ・フィールド１０８の後ろには、（可能な拡張データが後に続く）１バイトの拡張インジケータと、全ストリームのプロファイル／レベルを示す１バイトのコードが続く。これにより、デコーダは、そのファイル内のデータを処理することができるかどうかを判断する。ファイル・プロファイル・フィールド１９０の後には、対象物ＩＤを含むＢＩＦＳデータ５０が位置する。ＢＩＦＳデータ５０は、ファイル内のＢＩＦＳ ＰＤＵを識別する２バイトのフィールドである。対象物ＩＤは、ＢＩＦＳデータを含むＡＬ ＰＤＵ６０に内蔵されているＡＶ対象物を一意に識別するために使用される。
【００２０】
次の部分は、ファイル内に物理的に存在するか、または含まれる、ファイル内のすべての対象物の記述のカタログを含む物理的対象物表８０である。次のファイル・ヘッダ２０は、ファイル内に物理的に存在しないすべてのファイル対象物の位置を記載している諭理的対象物表９０であるが、図ではインターネット上に位置するＭＰＥＧ−４追従ファイルに、ＵＲＬを通して参照される。ＵＲＬは、（８ビットを使用する）その長さが後に続く（ヌル「＼０」文字で終わらない）ストリングとしてコード化される。
【００２１】
図１に示すように、物理的対象物表８０はオプションである。物理的対象物表８０は、ローカル媒体アクセスを行わなければならないときだけ必要であり、存在する場合には、ファイル・ヘッダ２０に含まれる。物理的対象物表８０は、ファイル内のＡＶ対象物の数を示す２バイトのＡＶ対象物カウント１６０からなり、その後には、ファイル内に存在する各ＡＶ対象物に対するプロフアイル／レベル記述を含む、一連の２バイトのＡＶ対象物ＩＤ１７０、および１バイトのプロファイル・フィールド４６０が続く。各ＡＶ対象物記述は、またストリームでＡＶ対象物またはＢＩＦＳ情報が、最初に発生したセグメントへの（ファイルの始まりからの）オフセットを示すために、ＡＶ対象物オフセット４７０内に迫加の８のバイトを含む。
【００２２】
同様に、論理的対象物表９０は、記憶ファイルの実行をするときだけ必要であり、ストリーム形成実行の一部ではない。存在する場合には、諭理的対象物表９０も、ファイル・ヘッダ２０に含まれる。論理的対象物表９０は、そのセッションの一部ではあっても、ＭＰＥＧファイル１００に物理的に存在しないＡＶ対象物を示す２バイトのＡＶ対象物カウント４８０からなる。前記カウント・データの後には、２バイトのＡＶ対象物ＩＤ１７０（前記基本的ストリームＩＤとも呼ばれる）、および対象物位置ストリング長を示す、１バイトのＵＲＬ長フィールド４９０、および前記表の各ＡＶ対象物の位置（Ｉｎｔｅｒｎａｅｔ Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ、または当業者には周知のＵＲＬ）を示すストリングである、ＡＶ対象物ＵＲＬ５００が位置する。前記ＵＲＬによりポイントされているファイルは、またＭＰＥＧ−４ファイル・フォーマットで表示される。（使用ＩＤがリモート・ファイルに確実に存在し、ローカル・ファイルにコピーされないように、それはファイル内容の作成者のところまでである。）
【００２３】
本発明に論理的対象物を内蔵させると、組み立てたＭＰＥＧ−４表現を記憶するために、一組の分散型ファイルを容易に使用できるようになる。ＭＰＥＧファイル１００は、３２ビットのスタート・コード（０ｘ００００１Ｂ９）により一意に識別された、一つまたはそれ以上のファイル・セグメント３０を備える。特殊コードは、ファイルの終わりを示す（０ｘ０００００１ＦＦ）。
【００２４】
図１に示すように、セグメント・スタート・コード５１０、およびセグメント・サイズ・フィールド５２０の後には、そのファイル・セグメント３０に存在するＡＬ ＰＤＵ６０の数を示す、２バイトのカウント・フィールド４１０を含む、ＡＬ ＰＤＵ表１９０が位置する。ＡＬ ＰＤＵ表１９０は、また一連のＡＶ対象物ＩＤ４２０、ＡＬ ＰＤＵオフセット４３０、およびＡＬ ＰＤＵ連続フィールド４４０およびＡＬ ＰＤＵサイズ・フィールド４５０を含む。各ＡＬ ＰＤＵに対しては、含まれている対象物を表示するのに、８バイトの構造物が使用される。最初の２バイトは、ＡＶ対象物ＩＤ４２０であり、次の４バイトは、セグメント３０内の、そのＡＬ ＰＤＵのスタート点への、ＡＬ ＰＤＵオフセット４３０を示す。次の２バイトは、「連続フラッグ」を表すＡＬ ＰＤＵ連続フィールド４４０であり、下記の意味を持つ。
００：完全なＰＤＵ ０１：分割ＰＤＵの第一のセグメント；次のセグメントが続く；セグメント表参照。
１０：分割ＰＤＵの最後のセグメント。
１１：分割ＰＤＵの中間セグメント；次のＰＤＵセグメントの位置を知るために、ＰＤＵ表を参照。
【００２５】
残りの１４ビットは、その中に含まれているＡＬ ＰＤＵ６０の一部の（バイト単位の）サイズを示すＡＬ ＰＤＵサイズ・フィールド４５０である。ＡＬ表の次には、次のセグメントのスタート・コードの開始、またはデータ終了コードまでのバイトの数を示す４バイトのセグメント・サイズ・フィールドが位置する。
【００２６】
ＭＰＥＧ−４ファイルに対する、本発明の第一の例示としての実施形態の記憶フォーマットは、ローカル媒体からのＡＶ対象物のランダム・アクセスをサポートする。対象物番号によるＡＶ対象物のランダム・アクセスは、対象物ＩＤに対するファイル・セグメント３０のＡＬ ＰＤＵ表１９０の索引を含む。前記ＩＤが発見された場合、対応するＡＬ ＰＤＵ６０が検索される。一つのアクセス単位は、一つ以上のＡＬ ＰＤＵ６０にまたがることができるので、要求された対象物を一つ以上のＡＬ ＰＤＵ６０に収容することができる。それ故、要求された対象物を形成するすべてのＡＬＰＤＵ６０を検索するには、第一のビットがセットされているＡＬＰＤＵ６０が発見されるまで、要求された対象物ＩＤを持つすべてのＡＬ ＰＤＵ６０が検査され、検索される。ＡＬ ＰＤＵ６０の第一のビットは、アクセス単位の始めを示す。前記ＩＤが発見されない場合には、次のセグメント内のＡＬ ＰＤＵ表１９０が検査される。すべてのＡＬ ＰＤＵ６０セグメントは、ＡＬ ＰＤＵ表１９０にリストの形で収容されている。それにより、同じＩＤを持つ一つ以上の対象物（例）を同じセグメントに収容することができる。同じ対象物ＩＤのＡＬ ＰＤＵ６０は、その自然の時間的（または使用）順序で、ファイル内に配列されているものと見なされる。図２は、第二の例示としての実施形態に存在する、ほぼ類似の構造体である。しかし、この構造体は、対応するＭＵＸ ＰＤＵカウント５４０、ＭＵＸ ＰＤＵオフセット５５０、ＭＵＸ ＰＤＵ表５６０およびＭＵＸ ＰＤＵサイズ・フィールド５７０を含むＭＵＸ ＰＤＵ表５３０を含む記憶アクセスではなく、ストリーム状のアクセスを反映している。
【００２７】
本発明によりカプセルに収容されているデータを送付する場合、ＭＰＥＧ−４ファイル１００に記憶されているＡＶ対象物は、インターネット、セルラー・データまたはストリーム状のデータ用の他のネットワークのような、ネットワークを通して送られるか、または大容量記憶装置から再生するためにローカル記憶装置からアクセスされる。ランダム・アクセスを容易にするために追加された追加ヘッダを除去した後で、ファイルを再生することができる。図３は、本発明による再生のために、ＭＰＥＧ−４ファイル１００を処理するための装置である。図示の装置の場合には、ＭＰＥＧ−４ファイル１００は、図４に示す処理の流れを含むオーディオ・ビジュアル情報をプログラム制御することができる、ファイル・フォーマット・インターフェース２００に接続している、ハードディスクまたはＣＤ−ＲＯＭのような記憶媒体上に記憶される。
【００２８】
前記ファイル・フォーマット・インターフェース２００は、ストリーム形成ファイル・チャネル２１０、および編集ファイル・チャネル２２０に接続している。ストリーム形成ファイル・チャネル２１０は、ＦｌｅｘＭｕｘ ＰＤＵをＴｒａｎｓ ＭＵＸ２５０に送り、Ｔｒａｎｓ ＭＵＸ２５０は、データ通信ネットワーク２６０に接続している。データ通信ネットワーク２６０は、ストリーム状のオーディオ・ビジュアル・データを受信する、オーディオ・ビジュアル・ターミナル２７０に接続している。ファイル・フォーマット・インターフェ−ス２００も、編集可能なファイル・チャネル２２０により、ＦｌｅｘＭｕｘ２３０、およびローカル・オーディオ・ビジュアル・ターミナル２４０に接続している。それ故、図３の装置は、ネットワークに接続しているオーディオ・ビジュアル・ターミナル２７０のところで、ストリーム状のオーディオ・ビジュアル・データ上で動作することができるし、またはローカル・オーディオ・ビジュアル・ターミナル２４０のところで、大量に記憶されたオーディオ・ビジュアル・データ上で動作することができる。
【００２９】
図に示すように、本発明は、６４Ｋローカル対象物および６４Ｋリモート対象物に制限された、指定のファイル・フォーマットを使用する。さらに、ファイル・セグメント３０は、４ＧＢのサイズに制限される。物理的および論理的対象物表の個々の対象物のオフセットは、ファイルの全サイズを６４ビットのアドレス空間に制限する。
【００３０】
これらの技術および構造のすべてを使用して、本発明のシステム、方法および媒体は、種々のランダム・アクセスＡＶ機能を使用する新しい用途を可能にする。本発明者が予想しているクライアントのアプリケーションのタイプとしては、ビデオおよびオーディオ会議、ビデオ・ゲームおよび他の対話型娯楽等がある。
【００３１】
本発明に関連するファイル・フォーマットは、ＤＶＤ、ＣＤ−ＲＯＭ、ハードディスクまたは他のソフトウェアのような記憶装置上に、オーディオ・ビジュアル・データを効率的に配列するために使用することができる。当業者なら理解することができると思うが、必要な制御構造体をハードウェアおよびソフトウェアで実現することができ、前記ファイル・フォーマットを使用するソフトウェアおよび装置の設計は、特定のアプリケーションにより異なる。
【００３２】
図４は、本発明のＭＰＥＧ−４ファイル１００からユニットをアクセスするために、前記ファイル・フォーマット仕様を使用する他の論理的装置の略図である。これは、当業者なら理解できると思うが、例えば、汎用マイクロプロセッサまたは特殊マイクロプロセッサのようなＣＰＵ３８０、電子メモリ３９０、関連バス接続および他の構成部分を備えるＭＰＥＧ−４装置の例示としての実施形態である。この例示としての実施形態の場合には、ＣＰＵ３８０は、対象物ＩＤ（基本的ストリームＩＤ）を指定して、ランダム対象物に要求を送る。図４の他の構成部分のブロックは、論理的に記述され、設計の必要により、ソフトウェア・モジュールまたはハードウェア・モジュールに対応することができる。その内部においては、当業者なら理解できると思うが、ブロックは相互に結合することができる。
【００３３】
図４においては、ＣＰＵ３８０は、モジュール２９０のところで、ＭＰＥＧ−４ファイル上で読み出し動作を行わせるために、記憶装置２８０（ハード・ドライブのような）にアクセスし、モジュール３００のところで次のセグメント・ヘッダが読み出される。前記読み出し動作モジュール２９０は、変換のために対象物表３７０にアクセスし、抽出したオーディオ・ビジュアル・データをＭＰＥＧ−４プレーヤー３６０に送る。前記ＭＰＥＧ−４プレーヤーは、ビデオ・バッファ、スクリーン、オーディオ・チャネルおよび関連出力装置を備えることができる。ＩＤチェック・モジュール３３０は、セグメント・ヘッダのＩＤをチェックし、ＩＤを対象物ＩＤ入手モジュール３２０に送るか、または、ＩＤが存在しない場合には、次のセグメント・モジュール３００に戻る。ＭＰＥＧ−４プレーヤー３６０が、現在のオーディオ・ビジュアル・データの提示を終了した後で、前記プレーヤーは、次のＡＬ ＰＤＵ（ＩＤ）に対して、要求モジュール３４０を通して要求を送信するか、モジュール３５０を通してランダムＡＬ ＰＤＵ（ＩＤ）を要求することができる。前記モジュール３５０は、前記情報をＩＤチェック・モジュール３１０に送る。
【００３４】
すでに説明したように、ファイルからＡＶ対象物をアクセスする方法は、目的とするアプリケーションにより、それ故、クライアント・アプリケーションの設計方法により異なる。本発明の一つの重要な目的は、任意の記憶装置から、個々のＡＶ対象物に容易にアクセスすることができるように、下支えする汎用サポートを提供することである。もちろん、本発明を使用する任意のクライアント・アプリケーションは、ファイルからＡＶ対象物を検索するモジュールを持つ必要がある。このフロント・エンド構成部分の機能は、そのＥＳＩＤによりＡＶ対象物を検索し、合成情報を検索し、基本的ストリーム内の一つの対象物のｎ番目の発生を検索することである。リーダは、そのセグメント内の一つの対象物の存在をチェックするために、セグメント・ヘッダの文法的構造を解析する。前記セグメント内に前記対象物が存在しない場合には、リーダは次のセグメントを走査する。この動作は、必要なセグメントが見つかるか、またはファイルの終わりを示すマーカに達するまで、反復して行われる。
【００３５】
本発明のオーディオ・ビジュアル情報を処理するためのシステム、方法および媒体の上記説明は、例示としてのもので、当業者なら構造および実行の種々の変更を思いつくだろう。
【図面の簡単な説明】
【００３６】
【図１】本発明の第一の例示としての実施形態により記憶した、ファイルに対するファイル・フォーマット構造である。
【図２】本発明の第二の例示としての実施形態のストリーム形成ファイルのファイル・フォーマット構造である。
【図３】本発明のオーディオ・ビジュアル・ターミナルへ、オーディオ・ビジュアル対象物を記憶するための装置である。
【図４】本発明により記憶およびアクセスした、オーディオ・ビジュアル・データを抽出するための論理的装置である。
【図１】
2008136204.tif 000003
【図２】
2008136204.tif 000004
【図３】
2008136204.tif 000005
【図４】
2008136204.tif 000006