(57)【特許請求の範囲】
【請求項１】
ｎ個（ｎ≧２）の動画像の間で予測符号化して作成された符号化データを多重化してファイルを構成する多重化方法であって，
動画像のフレームまたはスライスの時刻ごとに，動画像のフレームまたはスライス先頭のファイル中の位置情報と，動画像を区別する動画像番号と，該フレームまたはスライスを復号する際に他の動画像のフレームまたはスライスの復号画像情報が必要かどうかを示す独立復号識別情報とを含むｎ個の動画像分の管理情報を多重化する過程と，
前記多重化した情報を，各動画像のフレームまたはスライスの復号対象となる符号化データとは別の特定の位置に設定してファイルを構成する過程と，
を有することを特徴とする動画像の多重化方法。
【請求項２】
ｎ個（ｎ≧２）の動画像の間で予測符号化して作成された符号化データを多重化してファイルを構成する多重化方法であって，
動画像のフレームまたはスライス先頭のファイル中の位置情報と，動画像を区別する動画像番号と，該フレームまたはスライスを復号する際に他の動画像のフレームまたはスライスの復号画像情報が必要かどうかを示す独立復号識別情報とを含むｎ個の動画像分の管理情報を第一のトラックとし，
各フレームまたはスライスの符号化データと動画像間の予測符号化における参照関係情報を第二のトラックとして，
前記第一のトラックと前記第二のトラックとをそれぞれ独立に多重化してファイルを構成する
ことを特徴とする動画像の多重化方法。
【請求項３】
ｎ個（ｎ≧２）の動画像の間で予測符号化して作成された符号化データを多重化してファイルを構成する多重化装置であって，
動画像のフレームまたはスライスの時刻ごとに，動画像のフレームまたはスライス先頭のファイル中の位置情報と，動画像を区別する動画像番号と，該フレームまたはスライスを復号する際に他の動画像のフレームまたはスライスの復号画像情報が必要かどうかを示す独立復号識別情報とを含むｎ個の動画像分の管理情報を多重化する管理情報多重化部と，
各動画像のフレームまたはスライスの復号対象となる符号化データとは別の特定の位置に前記管理情報多重化部で作成された管理情報を設定してファイルを構成するファイル多重化部と，
を備えることを特徴とする動画像の多重化装置。
【請求項４】
ｎ個（ｎ≧２）の動画像の間で予測符号化して作成された符号化データを多重化してファイルを構成する多重化装置であって，
動画像のフレームまたはスライスの時刻ごとに，動画像のフレームまたはスライス先頭のファイル中の位置情報と，動画像を区別する動画像番号と，該フレームまたはスライスを復号する際に他の動画像のフレームまたはスライスの復号画像情報が必要かどうかを示す独立復号識別情報とを含むｎ個の動画像分の管理情報を第一のトラックとして多重化する管理情報多重化部と，
各フレームまたはスライスの符号化データと動画像間の予測符号化における参照関係情報を第二のトラックとして多重化する符号化データ多重化部と，
前記第一のトラックと前記第二のトラックとを多重化してファイルを構成するファイル多重化部と，
を備えることを特徴とする動画像の多重化装置。
【請求項５】
ｎ個（ｎ≧２）の動画像の間で予測符号化して作成された符号化データを多重化してファイルを構成する多重化方法であって，
動画像のフレームまたはスライスの時刻ごとに，動画像のフレームまたはスライス先頭のファイル中の位置情報と，動画像を区別する動画像番号と，該フレームまたはスライスを復号する際に必要な動画像の動画像番号である参照動画像番号とを含むｎ個の動画像分の管理情報を多重化する過程と，
前記多重化した情報を，各動画像のフレームまたはスライスの復号対象となる符号化データとは別の特定の位置に設定してファイルを構成する過程と，
を有することを特徴とする動画像の多重化方法。
【請求項６】
ｎ個（ｎ≧２）の動画像の間で予測符号化して作成された符号化データを多重化してファイルを構成する多重化方法であって，
動画像のフレームまたはスライスの時刻ごとに，動画像のフレームまたはスライス先頭のファイル中の位置情報と，動画像を区別する動画像番号と，該フレームまたはスライスを復号する際に必要な動画像の動画像番号である参照動画像番号とを含むｎ個の動画像分の管理情報を第一のトラックとし，
各フレームまたはスライスの符号化データと動画像間の予測符号化における参照関係情報を第二のトラックとして，
前記第一のトラックと前記第二のトラックとをそれぞれ独立に多重化してファイルを構成する
ことを特徴とする動画像の多重化方法。
【請求項７】
ｎ個（ｎ≧２）の動画像の間で予測符号化して作成された符号化データを多重化してファイルを構成する多重化装置であって，
動画像のフレームまたはスライスの時刻ごとに，動画像のフレームまたはスライス先頭のファイル中の位置情報と，動画像を区別する動画像番号と，該フレームまたはスライスを復号する際に必要な動画像の動画像番号である参照動画像番号とを含むｎ個の動画像分の管理情報を多重化する管理情報多重化部と，
各動画像のフレームまたはスライスの復号対象となる符号化データとは別の特定の位置に前記管理情報多重化部で作成された管理情報を設定してファイルを構成するファイル多重化部と，
を備えることを特徴とする動画像の多重化装置。
【請求項８】
ｎ個（ｎ≧２）の動画像の間で予測符号化して作成された符号化データを多重化してファイルを構成する多重化装置であって，
動画像のフレームまたはスライスの時刻ごとに，動画像のフレームまたはスライス先頭のファイル中の位置情報と，動画像を区別する動画像番号と，該フレームまたはスライスを復号する際に必要な動画像の動画像番号である参照動画像番号とを含むｎ個の動画像分の管理情報を第一のトラックとして多重化する管理情報多重化部と，
各フレームまたはスライスの符号化データと動画像間の予測符号化における参照関係情報を第二のトラックとして多重化する符号化データ多重化部と，
前記第一のトラックと前記第二のトラックとを多重化してファイルを構成するファイル多重化部と，
を備えることを特徴とする動画像の多重化装置。
【請求項９】
請求項１，請求項２，請求項５または請求項６に記載の動画像の多重化方法を，コンピュータに実行させるための動画像の多重化プログラム。
【請求項１０】
請求項９に記載の動画像の多重化プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は，フレーム間予測符号化方式を使った画像符号化データの多重化に関する技術である。
【背景技術】
【０００２】
映像符号化には，スケーラブル符号化や多視点映像符号化といった，レイヤ符号化を適用する符号化方式がある。スケーラブル符号化では，ＳＮＲスケーラビリティや空間スケーラビリティ等の機能を実現できる。ＳＮＲスケーラビリティとは，ベースレイヤの符号化データに対して符号化データを追加することで画像の画品質を向上する機能であり，空間スケーラビリティとは，ベースレイヤの符号化データに対して符号化データを追加することで画像の空間解像度を向上する機能である。
【０００３】
スケーラブル符号化の概念図を図１１に示す。スケーラブル符号化では，図１１に示すように，復号画像あるいは符号化情報をレイヤ間で再利用することにより，符号量の削減が図られている。
【０００４】
近年では，映像符号化方式Ｈ．２６４の拡張方式としてＳＶＣと呼ぶ方式がＡｎｎｅｘＧとして標準化されている（非特許文献１参照）。
【０００５】
また，多視点映像符号化においてもレイヤ符号化が適用される。近年では，やはり映像符号化方式Ｈ．２６４の拡張方式としてＭＶＣと呼ぶ方式が標準化されようとしている。ＭＶＣでは，複数の視点映像をまとめて符号化する仕組みが採用されている。動画像の符号化では動き補償符号化が利用されるが，多視点映像の場合には，動き補償に加えて，視点映像間でフレーム間予測符号化を適用する視差補償符号化を利用する。ＭＶＣでは視差補償を利用することで，個別に視点映像を符号化するよりも圧縮効率を向上できる。また，ＭＶＣでは，アプリケーションとして自由視点映像といった，視聴者が自由に視点位置を選択できる映像表現を想定している（非特許文献２，非特許文献３参照）。
【０００６】
このため，映像シーンを非常に多くのカメラで撮影しておき，視聴者が見たい視点位置の映像を選択するような利用方法が想定されている。すなわち，撮影した多くの視点映像データのうち，いくつかを選択して復号して再生することが想定されている。このように非常に多くの視点映像からいくつかの視点映像を選択して復号する機能を視点映像スケーラビリティと呼ぶ。ＭＶＣは多視点映像を想定した符号化方式ではあるが，まとめて符号化する対象はカメラ映像に限定されない。すなわち，一般的に複数の動画像をまとめて圧縮する符号化方式と考えることができる。
【０００７】
このＭＶＣでは，前述のとおり，非常に多くの動画像からいくつかの動画像を選択して復号することを実現するため，スケーラブル符号化のように１つのベースレイヤに対してレイヤ構造を持つのではなく，複数のベースレイヤに対してレイヤ構造を持つような構成となる。
【０００８】
図１２はＭＶＣの参照関係の例，図１３はＭＶＣの符号化データの構成例を示す図である。例えば，図１２に示すような参照関係がある場合には，ＭＶＣの符号化データは同じ時刻のフレームについて図１３に示すような構成になる。この同じ時刻のフレームの固まりをアクセスユニットと呼ぶ。ＭＶＣではベースレイヤに相当するレイヤが複数存在する。ＭＶＣでは動画像間の参照関係をサブセットＳＰＳ（subset＿seq ＿parameter ＿set ）の中のＭＶＣ拡張部分で記述する。サブセットＳＰＳは符号化データ中に含まれ，複数設定できる。各フレームでは，利用するサブセットＳＰＳを指定することができる。
【０００９】
一方，このような映像符号化データをファイル化して保存するために，ファイルフォーマット技術が利用される。ファイルフォーマットとは，符号化データを多重化するための技術でもあり，符号化データストリームを構造化しておくことで，特定の情報に関する符号化データを低遅延で取り出す機能を有する。一般的にファイルフォーマットでは，各種のデータストリームをトラックに格納して，トラックの情報を特定の時刻を単位に分割して多重化する。各トラックには，映像または音声の符号化データの他に，ＣＧデータや著作権情報などのメタデータが格納される。
【００１０】
もっとも簡単なファイルフォーマットとしては，ＡＶＩフォーマットが挙げられる。ＡＶＩフォーマットは，映像データと音声データを１フレーム単位に多重化する。そのほかにも国際標準化されているフォーマットとして，ＩＳＯメディアファイルフォーマットが挙げられる。ＩＳＯフォーマットでは，フレームに相当するものとしてサンプルを定義し，サンプルを単位にトラックを分割して多重化する。
【００１１】
ＩＳＯメディアファイルフォーマットでは，符号化データの他に，フレーム番号等の時刻情報とフレーム先頭のファイル中の位置情報を管理情報として別のトラックとして構成することができる。ファイルを再生する場合には，この管理情報を記録したトラックを調べることで，フレームの先頭位置情報を知ることができ，所望のフレームの先頭に低遅延でアクセスすることが可能となる。
【００１２】
ファイル中におけるトラックや管理情報の関係の例を図１４に示す。符号化データトラックには，各動画像の符号化データが格納され，管理情報トラックには，各時刻におけるフレームの位置情報等が格納される。前述したＳＶＣ用にもファイルフォーマットが提案されている。ＳＶＣもトラックを単位にファイルを構成する（非特許文献４参照）。
【非特許文献１】Heiko Schwarz, Detlev Marpe, and Thomas Wiegand,“Overview of the Scalable Video Coding Extension of the H.264/AVC Standard ”, IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, VOL.17, NO.9, SEPTEMBER 2007, pp.1103-1120.
【非特許文献２】木全英明，“ＭＰＥＧ  ３ＤＡＶ  国際標準化の動向, ”映像情報メディア学会誌 60, 2, pp.143-149, (2006)．
【非特許文献３】木全英明，“多視点映像符号化ＭＶＣの国際標準化動向，" 映像情報メディア学会誌 61, 4, pp.426-430, (April 2007)．
【非特許文献４】Peter Amon, Thomas Rathgen, and David Singer, “File Format for Scalable Video Coding ”, IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, VOL.17, NO.9, SEPTEMBER 2007, pp.1174-1185.
【発明の開示】
【発明が解決しようとする課題】
【００１３】
例えばＳＶＣのように，従来のレイヤ符号化を用いて符号化された符号化データを復号する場合，必ず下位レイヤを復号して上位レイヤの復号を行っていた。一方で，ＭＶＣのように複数のベースレイヤがある場合には，必ずしも下位レイヤを復号する必要はない。したがって，所望の動画像を復号するにあたっては，復号に必要な動画像のみを選択して復号すればよい。ＭＶＣにおける，このような動画像の参照関係はＳＰＳに記述されているため，デコーダはＳＰＳを復号することで参照関係を導いていた。
【００１４】
しかしながら，ＳＰＳを復号するためには，そのＳＰＳを符号化データ中から探し出す必要がある。このため，特にファイルに蓄積されている場合には，ファイルの先頭からＳＰＳを順次探して復号する必要があり，大きな負荷がかかっていた。この負荷を低減することが本発明の課題である。
【００１５】
本発明の技術的背景を踏まえて，さらに詳しく本発明の課題について説明する。複数の動画像をまとめて符号化する場合に，動画像間でフレーム間予測符号化を適用する。必ずしもすべての動画像が他の動画像を参照する必要はなく，自分の画像のみ参照する動画像が存在する。このような動画像は，逆に単独で復号できるメリットがある。多視点動画像符号化では，このような単独で復号できる動画像をベースレイヤとして，その他の動画像を拡張レイヤとして符号化する。多視点動画像符号化の場合には，多くの動画像をまとめて符号化するため，ベースレイヤを符号化データ中に複数持つことができるという特徴がある。
【００１６】
符号化データ中に複数のベースレイヤがある場合に，そのベースレイヤのみを取り出すことができると，部分的な動画像を復号することができため，大変有効である。符号化データ中に，どの動画像がベースレイヤなのかといった情報を含めることができる。
【００１７】
しかしながら，従来の符号化データの構成では，ファイル中の各ベースレイヤの位置を知るためには，符号化データを復号する必要があった。このため，ベースレイヤの符号化データのみを取り出すために，大きな負荷がかかるという問題があった。
【００１８】
本発明は，このようなベースレイヤ（単独で復号できる動画像）の符号化データを取り出すときの負荷を低減する新しい技術手段を提供することを目的とする。
【課題を解決するための手段】
【００１９】
本発明は，以上の課題を次のように解決する。符号化データを多重化するファイルフォーマット技術がある。このファイルフォーマット技術では，符号化データと管理情報に分けて，管理情報に各フレーム先頭位置情報を格納することが行われている。本発明では，このような管理情報に，フレーム先頭位置情報のほかに，他の動画像に関係なく単独で復号できるかどうかの情報を含める。これにより，管理情報を読み取るだけで，単独で復号できるフレームの先頭位置を知ることができ，そのようなフレームの符号化データを低負荷で取り出すことができる。
【００２０】
具体的には，本発明は，ｎ個（ｎ≧２）の動画像の間で予測符号化して作成された符号化データを多重化してファイルを構成する多重化方法であって，動画像のフレームの時刻ごとに，動画像のフレーム先頭のファイル中の位置情報と，動画像を区別する動画像番号と，該フレームを復号する際に他の動画像のフレームの復号画像情報が必要かどうかを示す独立復号識別情報とを含むｎ個の動画像分の管理情報を多重化し，符号化データの特定の位置に設定することを特徴とする。
【００２１】
この多重化方法によれば，符号化データ中の特定の位置にある管理情報を復号することで，すべての符号化データを復号することなく，ファイルからベースレイヤとなる動画像のフレームの先頭位置を求めて，そのフレームの符号化データを取り出すことができる。同時に，符号化データを復号することなく，その動画像の動画像番号も求めることができる。これにより，ベースレイヤとなる動画像の動画像番号が予め分かっている場合に，符号化データ中に含まれる動画像間の参照関係の情報を探索して復号することなく，低演算負荷かつ低遅延で，所望の動画像の符号化データを復号して再生することができる。
【００２２】
この発明において，独立復号識別情報等の管理情報を符号化データに多重化する位置については，すべての符号化データの最後，すべての符号化データの前などの，予め定められたファイル中の位置や，符号化データを含むトラックの前や後などでもよい。
【００２３】
また，本発明は，ｎ個（ｎ≧２）の動画像の間で予測符号化して作成された符号化データを多重化してファイルを構成する多重化方法であって，動画像のフレーム先頭のファイル中の位置情報と，動画像を区別する動画像番号と，該フレームを復号する際に他の動画像のフレームの復号画像情報が必要かどうかを示す独立復号識別情報とを含むｎ個の動画像分の管理情報を第一のトラックとし，符号化データと動画像間の予測符号化における参照関係情報を第二のトラックとして，第一のトラックと第二のトラックとをそれぞれ独立に多重化することを特徴とする。
【００２４】
この多重化方法によれば，第一のトラックに含まれる独立復号識別情報を復号することで，第二のトラックの符号化データを復号することなく，ファイルからベースレイヤとなる動画像のフレームの先頭位置を求めて，そのフレームの符号化データを取り出すことができる。同時に，符号化データを復号することなく，その動画像の動画像番号も求めることができる。これにより，ベースレイヤとなる動画像の動画像番号が予め分かっている場合に，符号化データ中に含まれる動画像間の参照関係の情報を復号することなく，低演算負荷かつ低遅延で，所望の動画像の符号化データを復号して再生することができる。
【００２５】
さらに，動画像間の参照関係を示す情報のファイル中の位置情報を，符号化データの位置情報と一緒に多重化しておいてもよい。この場合には，この位置情報を参照することで，動画像間の参照関係を示す情報を符号化データから読み出すことができる。読み出して得られる参照関係から，その動画像を参照する動画像番号を求めることができる。これにより，ベースレイヤとなる動画像の動画像番号が予め分かっている場合に，ベースレイヤの符号化データと，それを参照する動画像の符号化データを取り出して，低演算負荷かつ低遅延で，所望の動画像の符号化データを復号して再生することができる。
【００２６】
また，本発明の関連発明は，複数の動画像の間で予測符号化して作成された符号化データを多重化してファイルを構成する多重化方法であって，動画像のフレーム先頭のファイル中の位置情報と，動画像を区別する動画像番号と，該フレームを復号する際に必要な動画像の動画像番号である参照動画像番号を多重化し，符号化データの特定の位置に設定することを特徴とする。
【００２７】
この多重化方法によれば，符号化データ中の特定の位置にある管理情報を復号することで，すべての符号化データを復号することなく，復号する対象のフレームを復号するために必要な動画像の動画像番号である参照動画像番号を求めて，その動画像の符号化データ全てを取り出すことができる。これにより，符号化データ中に含まれる動画像間の参照関係の情報を探索して復号することなく，低演算負荷かつ低遅延で，所望の動画像の符号化データを復号して再生することができる。
【００２８】
参照動画像番号の他に，参照動画像番号に対応する動画像番号のフレームのフレーム先頭位置情報を，管理情報として多重化してもよい。
【００２９】
この発明において，参照動画像番号等の管理情報を符号化データに多重化する位置については，すべての符号化データの最後，すべての符号化データの前などの，予め定められたファイル中の位置や，符号化データを含むトラックの前や後などでもよい。
【００３０】
また他の本発明の関連発明は，複数の動画像の間で予測符号化して作成された符号化データを多重化してファイルを構成する多重化方法であって，動画像のフレーム先頭のファイル中の位置情報と，動画像を区別する動画像番号と，該フレームを復号する際に必要な動画像の動画像番号である参照動画像番号を第一のトラックとし，符号化データと動画像間の予測符号化における参照関係情報を第二のトラックとして，第一のトラックと第二のトラックをそれぞれ独立に多重化することを特徴とする。
【００３１】
この多重化方法によれば，第一のトラックに含まれる参照動画像番号を復号することで，第二のトラックの符号化データを復号することなく，ファイルから復号する対象のフレームを復号するために必要な動画像の動画像番号を求めて，その動画像の符号化データ全てを取り出すことができる。これにより，符号化データ中に含まれる動画像間の参照関係の情報を復号することなく，低演算負荷かつ低遅延で，所望の動画像の符号化データを復号して再生することができる。
【００３２】
さらに他の本発明の関連発明は，複数の動画像の間で予測符号化して作成された符号化データを多重化してファイルを構成する多重化方法であって，動画像のフレーム先頭のファイル中の位置情報と，動画像を区別する動画像番号と，該フレームの復号画像または符号化データが他の動画像の復号に利用される場合には，その利用先の動画像の動画像番号である利用先動画像番号を多重化し，符号化データの特定の位置に設定することを特徴とする。
【００３３】
この多重化方法によれば，符号化データ中の特定の位置にある情報を復号することで，すべての符号化データを復号することなく，特定のフレーム（処理対象フレーム）について，以後のフレーム（利用先フレーム）の符号化データを復号する際に，処理対象フレームの復号画像または符号化データを利用するかどうかを判定することができる。これにより，映像データを配信する際の配信サーバの処理負荷を低減できる。例えば，映像配信サーバがファイルを読み込んで，クライアントが所望の動画像の符号化データを要求する配信システムにおいて，クライアントが要求する動画像の利用先フレームの符号化データを配信する際に，利用先フレームの復号で必要な処理対象フレームの符号化データを選択して配信することができる。
【００３４】
この発明において，利用先動画像番号等の管理情報を符号化データに多重化する位置については，すべての符号化データの最後，すべての符号化データの前などの，予め定められたファイル中の位置や，符号化データを含むトラックの前や後などでもよい。
【００３５】
さらに他の本発明の関連発明は，複数の動画像の間で予測符号化して作成された符号化データを多重化してファイルを構成する多重化方法であって，動画像のフレーム先頭のファイル中の位置情報と，動画像を区別する動画像番号と，該フレームの復号画像または符号化データが他の動画像の復号に利用される場合には，その利用先の動画像の動画像番号である利用先動画像番号を第一のトラックとし，符号化データと動画像間の予測符号化における参照関係情報を第二のトラックとして，第一のトラックと第二のトラックをそれぞれ独立に多重化することを特徴とする。
【００３６】
この多重化方法によれば，第一のトラックに含まれる管理情報を復号することで，第二のトラックの符号化データを復号することなく，特定のフレーム（処理対象フレーム）について，以後のフレーム（利用先フレーム）の符号化データを復号する際に，処理対象フレームの復号画像または符号化データを利用するかどうかを判定することができる。これにより，映像データを配信する際の配信サーバの処理負荷を低減できる。例えば，映像配信サーバがファイルを読み込んで，クライアントが所望の動画像の符号化データを要求する配信システムにおいて，クライアントが要求する動画像の利用先フレームの符号化データを配信する際に，利用先フレームの復号で必要な処理対象フレームの符号化データを選択して配信することができる。
【００３７】
なお，以上では，フレーム単位に管理情報を設定する例について説明したが，本発明において，フレームを分割したスライス単位に管理情報を設定してもよい。この場合には，管理情報はフレーム先頭位置の代わりに，スライス先頭位置情報を含む。また，多重化や読み取りもフレーム単位ではなく，スライス単位で行う。
【発明の効果】
【００３８】
本発明によれば，複数の動画像をまとめて符号化した符号化データを多重化したファイルの中から，符号化データを復号することなく低演算負荷で，独立して復号できる動画像の符号化データや，所望の動画像の符号化データを取り出すことができる。
【発明を実施するための最良の形態】
【００３９】
以下，図面を用いて本発明および関連発明による多重化方法と，多重化されたファイルを読み込んで再生する方法の実施例を説明する。主に，以下で説明する第１の実施例が本発明の実施例であり，第２，第３の実施例が本発明の関連発明の実施例である。
【００４０】
第１の実施例では，フレーム先頭の位置情報と動画像番号と独立復号識別情報を管理情報として多重化し，全ての符号化データを多重化した最後に設定する場合の例を示す。動画像はＡ，Ｂ，Ｃ，Ｄの４つあり，予め符号化されていて，各動画像におけるフレーム先頭の位置情報は分かっているものとする。
【００４１】
図１に，多重化装置の構成を示す。この多重化装置１０は，動画像Ａ，Ｂ，Ｃ，Ｄの符号化データをそれぞれ入力する動画像Ａ符号化データ入力部１０１，動画像Ｂ符号化データ入力部１０２，動画像Ｃ符号化データ入力部１０３，動画像Ｄ符号化データ入力部１０４と，各動画像のフレーム先頭の動画像中の位置情報をそれぞれ入力する動画像Ａフレーム位置情報入力部１０６，動画像Ｂフレーム位置情報入力部１０７，動画像Ｃフレーム位置情報入力部１０８，動画像Ｄフレーム位置情報入力部１０９と，動画像間の参照関係を示す情報を入力する参照関係データ入力部１０５と，動画像の符号化データやフレーム位置情報の入力を切り替えるデータ切り替え部１１０と，符号化データを多重化する符号化データ多重化部１１１と，動画像番号を設定する動画像番号設定部１１２と，独立復号識別情報を設定する独立復号識別情報設定部１１３と，フレーム位置の先頭情報を設定するフレーム先頭位置情報設定部１１４と，管理情報を多重化する管理情報多重化部１１６と，符号化データと管理情報を多重化するファイル多重化部１１５とから構成される。
【００４２】
以上のうち，動画像番号設定部１１２では，動画像Ａ，Ｂ，Ｃ，Ｄに対してそれぞれ動画像番号０，１，２，３を設定するものとする。動画像ＡからＤまでのフレーム位置情報入力部１０１〜１０４は，次のフレームの位置情報を入力するものとする。フレーム先頭位置情報設定部１１４は，各動画像のフレーム位置情報をカウントし，符号化データ多重化部１１１で符号化データを多重化した後における各フレームの位置情報を設定するものとする。独立復号識別情報設定部１１３は，独立して復号できる場合には独立復号識別情報として１を設定し，独立して復号できない場合には独立復号識別情報として０を設定するものとする。ファイル多重化部１１５は，符号化データ多重化部１１１で作成された符号化データの後に，管理情報多重化部１１６で作成された管理情報を設定するものとする。符号化データ多重化部１１１は，参照関係データがある場合には各動画像の符号化データの前に多重化するものとする。
【００４３】
データ切り替え部１１０は，参照関係データに従い，次のように符号化データとファイル先頭位置情報を切り替えるものとする。動画像ＡからＤまで順に，まず独立して復号できる動画像かどうかを判定する。独立して復号できる場合には，そのまま選択する。独立して復号できない場合には，参照する動画像の符号化データを既に選択したかどうかを判定する。既に選択した場合には，そのまま選択し，まだ選択していない場合には，参照する動画像が全て選択されるまで，その動画像を選択しない。
【００４４】
動画像間の参照関係は，次のようになっているとする。まず先頭から２フレームでは，動画像ＡとＣは独立して復号でき，動画像Ｂは動画像Ａを参照し，動画像Ｄは動画像Ｃを参照するものとする。その後２フレームでは，動画像ＡとＤは独立して復号でき，動画像Ｂと動画像Ｃは動画像Ａと動画像Ｄを参照するものとする。
【００４５】
以上の前提で動画像Ａ，Ｂ，Ｃ，Ｄを４フレーム多重化する場合には，これらの動画像の各フレームは，次のように多重化される。
【００４６】
まず，先頭フレームについては次のように多重化される。参照関係データ入力部１０５は，動画像間の参照関係データを入力する。データ切り替え部１１０は，参照関係データに従って符号化データを多重化する順序を決定する。ここでは，次の順序に決定する。動画像Ａは独立して復号できるため，まず動画像Ａを選択する。動画像Ｂは動画像Ａのみを参照するため，次に動画像Ｂを選択する。動画像Ｃは独立して復号できるため，次に動画像Ｃを選択する。そして動画像Ｄを選択する。符号化データ多重化部１１１は，参照関係データを多重化する。フレーム先頭位置情報設定部１１４は，参照関係データのデータサイズ分だけファイルサイズを加算する。
【００４７】
多重化する順序に従い，データ切り替え部１１０は，符号化データとフレーム先頭位置情報を切り替える。まず動画像Ａを選択する。動画像Ａ符号化データ入力部１０１は，符号化データを１フレーム分入力し，動画像Ａフレーム位置情報入力部１０６は，次のフレームのフレーム位置情報を入力する。符号化データ多重化部１１１は，符号化データを多重化する。フレーム先頭位置情報設定部１１４は，入力されたフレーム位置情報をファイルサイズに加算し，ファイルのフレーム位置情報として設定する。動画像番号設定部１１２は，動画像番号０を設定する。独立復号識別情報設定部１１３は，独立復号識別情報として１を設定する。管理情報多重化部１１６は，フレーム位置情報と動画像番号と独立復号識別情報を多重化する。
【００４８】
続いてデータ切り替え部１１０は，動画像Ｂを選択する。動画像Ｂ符号化データ入力部１０２は，符号化データを１フレーム分入力し，動画像Ｂフレーム位置情報入力部１０７は，次のフレームのフレーム位置情報を入力する。符号化データ多重化部１１１は，符号化データを多重化する。フレーム先頭位置情報設定部１１４は，入力されたフレーム位置情報をファイルサイズに加算し，ファイルのフレーム位置情報として設定する。動画像番号設定部１１２は，動画像番号１を設定する。独立復号識別情報設定部１１３は，独立復号識別情報として０を設定する。管理情報多重化部１１６は，フレーム位置情報と動画像番号と独立復号識別情報を多重化する。
【００４９】
続いてデータ切り替え部１１０は，動画像Ｃを選択する。動画像Ｃ符号化データ入力部１０３は，符号化データを１フレーム分入力し，動画像Ｃフレーム位置情報入力部１０８は，次のフレームのフレーム位置情報を入力する。符号化データ多重化部１１１は，符号化データを多重化する。フレーム先頭位置情報設定部１１４は，入力されたフレーム位置情報をファイルサイズに加算し，ファイルのフレーム位置情報として設定する。動画像番号設定部１１２は，動画像番号２を設定する。独立復号識別情報設定部１１３は，独立復号識別情報として１を設定する。管理情報多重化部１１６は，フレーム位置情報と動画像番号と独立復号識別情報を多重化する。
【００５０】
続いてデータ切り替え部１１０は，動画像Ｄを選択する。動画像Ｄ符号化データ入力部１０４は，符号化データを１フレーム分入力し，動画像Ｄフレーム位置情報入力部１０９は，次のフレームのフレーム位置情報を入力する。符号化データ多重化部１１１は，符号化データを多重化する。フレーム先頭位置情報設定部１１４は，入力されたフレーム位置情報をファイルサイズに加算し，ファイルのフレーム位置情報として設定する。動画像番号設定部１１２は，動画像番号３を設定する。独立復号識別情報設定部１１３は，独立復号識別情報として０を設定する。管理情報多重化部１１６は，フレーム位置情報と動画像番号と独立復号識別情報を多重化する。
【００５１】
以上の動画像Ａ，Ｂ，Ｃ，Ｄの処理をそれぞれさらに１フレーム分実行する。
【００５２】
次に参照関係データ入力部１０５は，動画像間の参照関係データを入力する。データ切り替え部１１０は，参照関係データに従って符号化データを多重化する順序を決定する。ここでは，次の順序に決定する。動画像Ａは独立して復号できるため，まず動画像Ａを選択する。動画像Ｂは動画像Ａと動画像Ｄを参照するため，動画像Ｂは選択しない。動画像Ｃは動画像Ａと動画像Ｄを参照するため，動画像Ｃは選択しない。動画像Ｄは独立して復号できるため，次に動画像Ｄを選択する。そして動画像Ｂを選択し，動画像Ｃを選択する。符号化データ多重化部１１１は，参照関係データを多重化する。フレーム先頭位置情報設定部１１４は，参照関係データのデータサイズ分だけファイルサイズを加算する。
【００５３】
多重化する順序に従い，データ切り替え部１１０は，符号化データとフレーム先頭位置情報を切り替える。まず動画像Ａを選択する。動画像Ａ符号化データ入力部１０１は，符号化データを１フレーム分入力し，動画像Ａフレーム位置情報入力部１０６は，次のフレームのフレーム位置情報を入力する。符号化データ多重化部１１１は，符号化データを多重化する。フレーム先頭位置情報設定部１１４は，入力されたフレーム位置情報をファイルサイズに加算し，ファイルのフレーム位置情報として設定する。動画像番号設定部１１２は，動画像番号０を設定する。独立復号識別情報設定部１１３は，独立復号識別情報として１を設定する。管理情報多重化部１１６は，フレーム位置情報と動画像番号と独立復号識別情報を多重化する。
【００５４】
続いてデータ切り替え部１１０は，動画像Ｄを選択する。動画像Ｄ符号化データ入力部１０４は，符号化データを１フレーム分入力し，動画像Ｄフレーム位置情報入力部１０９は，次のフレームのフレーム位置情報を入力する。符号化データ多重化部１１１は，符号化データを多重化する。フレーム先頭位置情報設定部１１４は，入力されたフレーム位置情報をファイルサイズに加算し，ファイルのフレーム位置情報として設定する。動画像番号設定部１１２は，動画像番号３を設定する。独立復号識別情報設定部１１３は，独立復号識別情報として１を設定する。管理情報多重化部１１６は，フレーム位置情報と動画像番号と独立復号識別情報を多重化する。
【００５５】
続いてデータ切り替え部１１０は，動画像Ｂを選択する。動画像Ｂ符号化データ入力部１０２は，符号化データを１フレーム分入力し，動画像Ｂフレーム位置情報入力部１０７は，次のフレームのフレーム位置情報を入力する。符号化データ多重化部１１１は，符号化データを多重化する。フレーム先頭位置情報設定部１１４は，入力されたフレーム位置情報をファイルサイズに加算し，ファイルのフレーム位置情報として設定する。動画像番号設定部１１２は，動画像番号１を設定する。独立復号識別情報設定部１１３は，独立復号識別情報として０を設定する。管理情報多重化部１１６は，フレーム位置情報と動画像番号と独立復号識別情報を多重化する。
【００５６】
続いてデータ切り替え部１１０は，動画像Ｃを選択する。動画像Ｃ符号化データ入力部１０３は，符号化データを１フレーム分入力し，動画像Ｃフレーム位置情報入力部１０８は，次のフレームのフレーム位置情報を入力する。符号化データ多重化部１１１は，符号化データを多重化する。フレーム先頭位置情報設定部１１４は，入力されたフレーム位置情報をファイルサイズに加算し，ファイルのフレーム位置情報として設定する。動画像番号設定部１１２は，動画像番号２を設定する。独立復号識別情報設定部１１３は，独立復号識別情報として０を設定する。管理情報多重化部１１６は，フレーム位置情報と動画像番号と独立復号識別情報を多重化する。
【００５７】
以上の動画像Ａ，Ｄ，Ｂ，Ｃの処理をそれぞれさらに１フレーム分実行する。最後にファイル多重化部１１５は，符号化データ多重化部１１１で得られる符号化データと，管理情報多重化部１１６で得られる管理情報を多重化してファイルを作成する。以上の処理でファイルに多重化することができる。
【００５８】
本実施例では，予め符号化して得られた符号化データとファイル先頭位置情報から多重化してファイルを作成する例を示したが，符号化データを作成しつつファイルを構成してもよい。
【００５９】
次に，多重化されたファイルから特定の動画像の符号化データを取り出すファイル読み込み方法について動作を説明する。図２にファイル読み込み装置の構成を示す。この図２に示すファイル読み込み装置２０は，ファイルを読み込むファイル入力部２０１と，管理情報を読み取る管理情報読み取り部２０２と，管理情報から所望の動画像番号を探索する動画像番号探索部２０３と，管理情報から独立復号識別情報を判定する独立復号識別情報判定部２０４と，管理情報からフレーム先頭位置情報を読み取るフレーム先頭位置情報設定部２０５と，フレーム先頭位置情報に従ってファイルから符号化データを読み取る符号化データ読み取り部２０６とで構成される。
【００６０】
図１の多重化装置１０で作成されたファイルから動画像Ｄで独立して復号できるフレームの符号化データを読み取る場合の動作を示す。
【００６１】
ファイル入力部２０１は，ファイルを入力する。管理情報読み取り部２０２は，ファイルの後半にある管理情報を読み取る。動画像番号探索部２０３は，動画像Ｄの第１フレームの管理情報を探索する。独立復号識別情報判定部２０４は，探索して得られた管理情報の独立復号識別情報から独立して復号できるかどうかを判定する。第１フレームでは独立復号識別情報は０であるので独立して復号できない。
【００６２】
次に動画像番号探索部２０３は，動画像Ｄの第２フレームの管理情報を探索する。独立復号識別情報判定部２０４は，探索して得られた管理情報の独立復号識別情報から独立して復号できるかどうかを判定する。第２フレームでは独立復号識別情報は０であるので独立して復号できない。
【００６３】
次に動画像番号探索部２０３は，動画像Ｄの第３フレームの管理情報を探索する。独立復号識別情報判定部２０４は，探索して得られた管理情報の独立復号識別情報から独立して復号できるかどうかを判定する。第３フレームでは独立復号識別情報は１であるので独立して復号できる。そしてフレーム先頭位置情報設定部２０５は，このフレームのフレーム先頭位置情報を設定する。符号化データ読み取り部２０６は，設定されたファイル位置から符号化データを読み取る。このとき，フレーム先頭位置情報設定部２０５で得られる次のフレームの先頭位置までを読み取る。
【００６４】
次に動画像番号探索部２０３は，動画像Ｄの第４フレームの管理情報を探索する。独立復号識別情報判定部２０４は，探索して得られた管理情報の独立復号識別情報から独立して復号できるかどうかを判定する。第３フレームでは独立復号識別情報は１であるので独立して復号できる。そしてフレーム先頭位置情報設定部２０５は，このフレームのフレーム先頭位置情報を設定する。符号化データ読み取り部２０６は，設定されたファイル位置から符号化データを読み取る。このとき，フレーム先頭位置情報設定部２０５で得られる次のフレームの先頭位置までを読み取る。
【００６５】
以上により，動画像Ｄについて，独立して復号できるフレームの符号化データを取り出すことができる。
【００６６】
次に，多重化されたファイルから独立して復号できる動画像の符号化データを取り出すファイル読み込み方法について動作を説明する。図３にファイル読み込み装置の構成を示す。この図３に示すファイル読み込み装置２１は，ファイルを読み込むファイル入力部２０１と，管理情報を読み取る管理情報読み取り部２０２と，管理情報から所望の独立復号識別情報を探索する独立復号識別情報探索部２０７と，管理情報からフレーム先頭位置情報を読み取るフレーム先頭位置情報設定部２０５と，フレーム先頭位置情報に従ってファイルから符号化データを読み取る符号化データ読み取り部２０６とで構成される。
【００６７】
図１の多重化装置１０で作成されたファイルから独立して復号できる動画像の符号化データを読み取る場合の動作を示す。
【００６８】
ファイル入力部２０１は，ファイルを入力する。管理情報読み取り部２０２は，ファイルの後半にある管理情報を読み取る。独立復号識別情報探索部２０７は，第１フレームの管理情報で独立復号識別情報が１のものを探索する。独立復号識別情報が１として，まず動画像Ａが探索される。そしてフレーム先頭位置情報設定部２０５は，このフレームのフレーム先頭位置情報を設定する。符号化データ読み取り部２０６は，設定されたファイル位置から符号化データを読み取る。このとき，フレーム先頭位置情報設定部２０５で得られる次のフレームの先頭位置までを読み取る。続いて，独立復号識別情報探索部２０７では動画像Ｃが探索される。そしてフレーム先頭位置情報設定部２０５は，このフレームのフレーム先頭位置情報を設定する。符号化データ読み取り部２０６は，設定されたファイル位置から符号化データを読み取る。このとき，フレーム先頭位置情報設定部２０５で得られる次のフレームの先頭位置までを読み取る。以上から動画像Ａと動画像Ｃの符号化データを読み取る。
【００６９】
第２フレームについても同様にして動画像Ａと動画像Ｃの符号化データを読み取る。
【００７０】
次に独立復号識別情報探索部２０７は，第３フレームの管理情報で独立復号識別情報が１のものを探索する。独立復号識別情報が１として，まず動画像Ａが探索される。そしてフレーム先頭位置情報設定部２０５は，このフレームのフレーム先頭位置情報を設定する。符号化データ読み取り部２０６は，設定されたファイル位置から符号化データを読み取る。このとき，フレーム先頭位置情報設定部２０５で得られる次のフレームの先頭位置までを読み取る。続いて，独立復号識別情報探索部２０７では動画像Ｄが探索される。そしてフレーム先頭位置情報設定部２０５は，このフレームのフレーム先頭位置情報を設定する。符号化データ読み取り部２０６は，設定されたファイル位置から符号化データを読み取る。このとき，フレーム先頭位置情報設定部２０５で得られる次のフレームの先頭位置までを読み取る。以上から動画像Ａと動画像Ｄの符号化データを読み取る。
【００７１】
第４フレームについても同様にして動画像Ａと動画像Ｃの符号化データを読み取る。
【００７２】
以上により，独立して復号できる動画像の符号化データを取り出すことができる。
【００７３】
このように本実施例によれば，符号化データ中に含まれる参照関係データを復号することなく，独立して復号できるフレームの符号化データを取り出すことができる。
【００７４】
なお，本実施例の多重化装置１０では符号化データの後に管理情報を設定したが，ファイルにトラックの構造が設定されている場合には，管理情報を第一トラックに設定し，符号化データを第二トラックに設定してもよい。
【００７５】
図４に，ファイル中におけるトラックや管理情報の構成例を示す。作成されたファイルには，符号化データトラック３０と管理情報トラック４０とがあり，符号化データトラック３０には，動画像Ａ符号化データ３１，動画像Ｂ符号化データ３２，…が格納される。また，管理情報トラック４０には，各時刻Ｔｎごとの管理情報４１，４２，４３，…が格納され，これらには各々，フレーム先頭位置情報，動画像番号，独立復号識別情報などの情報が格納される。
【００７６】
次に第２の実施例として，フレーム先頭の位置情報と動画像番号と参照動画像番号を管理情報として多重化し，全ての符号化データを多重化した最後に設定する場合の例を示す。第１の実施例と同様に，動画像はＡ，Ｂ，Ｃ，Ｄの４つあり，予め符号化されていて，各動画像におけるフレーム先頭の位置情報は分かっているものとする。
【００７７】
図５に多重化装置の構成を示す。図５に示す多重化装置１１は，動画像Ａ，Ｂ，Ｃ，Ｄの符号化データをそれぞれ入力する動画像Ａ符号化データ入力部１０１，動画像Ｂ符号化データ入力部１０２，動画像Ｃ符号化データ入力部１０３，動画像Ｄ符号化データ入力部１０４と，各動画像のフレーム先頭の動画像中の位置情報をそれぞれ入力する動画像Ａフレーム位置情報入力部１０６，動画像Ｂフレーム位置情報入力部１０７，動画像Ｃフレーム位置情報入力部１０８，動画像Ｄフレーム位置情報入力部１０９と，動画像間の参照関係を示す情報を入力する参照関係データ入力部１０５と，動画像の符号化データやフレーム位置情報の入力を切り替えるデータ切り替え部１１０と，符号化データを多重化する符号化データ多重化部１１１と，動画像番号を設定する動画像番号設定部１１２と，参照動画像番号を設定する参照動画像番号設定部１１７と，フレーム位置の先頭情報を設定するフレーム先頭位置情報設定部１１４と，管理情報を多重化する管理情報多重化部１１６と，符号化データと管理情報を多重化するファイル多重化部１１５とから構成される。
【００７８】
以上のうち，動画像番号設定部１１２では，動画像Ａ，Ｂ，Ｃ，Ｄに対してそれぞれ動画像番号０，１，２，３を設定するものとする。動画像ＡからＤまでのフレーム位置情報入力部１０６〜１０９は，次のフレームの位置情報を入力するものとする。フレーム先頭位置情報設定部１１４は，各動画像のフレーム位置情報をカウントし，符号化データ多重化部１１１で符号化データを多重化した後における各フレームの位置情報を設定するものとする。参照動画像番号設定部１１７は，参照する動画像の動画像番号を設定するものとする。ファイル多重化部１１５は，符号化データ多重化部１１１で作成された符号化データの後に，管理情報多重化部１１６で作成された管理情報を設定するものとする。符号化データ多重化部１１１は，参照関係データがある場合には各動画像の符号化データの前に多重化するものとする。
【００７９】
データ切り替え部１１０は，参照関係データに従い，次のように符号化データとファイル先頭位置情報を切り替えるものとする。動画像ＡからＤまで順に，まず独立して復号できる動画像かどうかを判定する。独立して復号できる場合には，そのまま選択する。独立して復号できない場合には，参照する動画像の符号化データを既に選択したかどうかを判定する。既に選択した場合には，そのまま選択し，まだ選択していない場合には，参照する動画像が全て選択されるまで，その動画像を選択しない。
【００８０】
動画像間の参照関係は，次のようになっているとする。まず先頭から２フレームでは，動画像ＡとＣは独立して復号でき，動画像Ｂは動画像Ａを参照し，動画像Ｄは動画像Ｃを参照するものとする。その後２フレームでは，動画像ＡとＤは独立して復号でき，動画像Ｂと動画像Ｃは動画像Ａと動画像Ｄを参照するものとする。
【００８１】
以上の前提で動画像Ａ，Ｂ，Ｃ，Ｄを４フレーム多重化する場合には，これらの動画像の各フレームは，次のように多重化される。
【００８２】
まず先頭フレームについては，次のように多重化される。参照関係データ入力部１０５は，動画像間の参照関係データを入力する。データ切り替え部１１０は，参照関係データに従って符号化データを多重化する順序を決定する。ここでは，次の順序に決定する。動画像Ａは独立して復号できるため，まず動画像Ａを選択する。動画像Ｂは動画像Ａのみを参照するため，次に動画像Ｂを選択する。動画像Ｃは独立して復号できるため，次に動画像Ｃを選択する。そして動画像Ｄを選択する。符号化データ多重化部１１１は，参照関係データを多重化する。フレーム先頭位置情報設定部１１４は，参照関係データのデータサイズ分だけファイルサイズを加算する。
【００８３】
多重化する順序に従い，データ切り替え部１１０は，符号化データとフレーム先頭位置情報を切り替える。まず動画像Ａを選択する。動画像Ａ符号化データ入力部１０１は，符号化データを１フレーム分入力し，動画像Ａフレーム位置情報入力部１０６は，次のフレームのフレーム位置情報を入力する。符号化データ多重化部１１１は，符号化データを多重化する。フレーム先頭位置情報設定部１１４は，入力されたフレーム位置情報をファイルサイズに加算し，ファイルのフレーム位置情報として設定する。動画像番号設定部１１２は，動画像番号０を設定する。参照動画像番号設定部１１７は，参照動画像番号として０を設定する。管理情報多重化部１１６は，フレーム位置情報と動画像番号と参照動画像番号を多重化する。
【００８４】
続いてデータ切り替え部１１０は，動画像Ｂを選択する。動画像Ｂ符号化データ入力部１０２は，符号化データを１フレーム分入力し，動画像Ｂフレーム位置情報入力部１０７は，次のフレームのフレーム位置情報を入力する。符号化データ多重化部１１１は，符号化データを多重化する。フレーム先頭位置情報設定部１１４は，入力されたフレーム位置情報をファイルサイズに加算し，ファイルのフレーム位置情報として設定する。動画像番号設定部１１２は，動画像番号１を設定する。参照動画像番号設定部１１７は，参照動画像番号として０と１を設定する。管理情報多重化部１１６は，フレーム位置情報と動画像番号と参照動画像番号を多重化する。
【００８５】
続いてデータ切り替え部１１０は，動画像Ｃを選択する。動画像Ｃ符号化データ入力部１０３は，符号化データを１フレーム分入力し，動画像Ｃフレーム位置情報入力部１０８は，次のフレームのフレーム位置情報を入力する。符号化データ多重化部１１１は，符号化データを多重化する。フレーム先頭位置情報設定部１１４は，入力されたフレーム位置情報をファイルサイズに加算し，ファイルのフレーム位置情報として設定する。動画像番号設定部１１２は，動画像番号２を設定する。参照動画像番号設定部１１７は，参照動画像番号として２を設定する。管理情報多重化部１１６は，フレーム位置情報と動画像番号と参照動画像番号を多重化する。
【００８６】
続いてデータ切り替え部１１０は，動画像Ｄを選択する。動画像Ｄ符号化データ入力部１０４は，符号化データを１フレーム分入力し，動画像Ｄフレーム位置情報入力部１０９は，次のフレームのフレーム位置情報を入力する。符号化データ多重化部１１１は，符号化データを多重化する。フレーム先頭位置情報設定部１１４は，入力されたフレーム位置情報をファイルサイズに加算し，ファイルのフレーム位置情報として設定する。動画像番号設定部１１２は，動画像番号３を設定する。参照動画像番号設定部１１７は，参照動画像番号として２と３を設定する。管理情報多重化部１１６は，フレーム位置情報と動画像番号と参照動画像番号を多重化する。
【００８７】
以上の動画像Ａ，Ｂ，Ｃ，Ｄの処理をそれぞれさらに１フレーム分実行する。
【００８８】
次に参照関係データ入力部１０５は，動画像間の参照関係データを入力する。データ切り替え部１１０は，参照関係データに従って符号化データを多重化する順序を決定する。ここでは，次の順序に決定する。動画像Ａは独立して復号できるため，まず動画像Ａを選択する。動画像Ｂは動画像Ａと動画像Ｄを参照するため，動画像Ｂは選択しない。動画像Ｃは動画像Ａと動画像Ｄを参照するため，動画像Ｃは選択しない。動画像Ｄは独立して復号できるため，次に動画像Ｄを選択する。そして動画像Ｂを選択し，動画像Ｃを選択する。符号化データ多重化部１１１は，参照関係データを多重化する。フレーム先頭位置情報設定部１１４は，参照関係データのデータサイズ分だけファイルサイズを加算する。
【００８９】
多重化する順序に従い，データ切り替え部１１０は，符号化データとフレーム先頭位置情報を切り替える。まず動画像Ａを選択する。動画像Ａ符号化データ入力部１０１は，符号化データを１フレーム分入力し，動画像Ａフレーム位置情報入力部１０６は，次のフレームのフレーム位置情報を入力する。符号化データ多重化部１１１は，符号化データを多重化する。フレーム先頭位置情報設定部１１４は，入力されたフレーム位置情報をファイルサイズに加算し，ファイルのフレーム位置情報として設定する。動画像番号設定部１１２は，動画像番号０を設定する。参照動画像番号設定部１１７は，参照動画像番号として０を設定する。管理情報多重化部１１６は，フレーム位置情報と動画像番号と参照動画像番号を多重化する。
【００９０】
続いてデータ切り替え部１１０は，動画像Ｄを選択する。動画像Ｄ符号化データ入力部１０４は，符号化データを１フレーム分入力し，動画像Ｄフレーム位置情報入力部１０９は，次のフレームのフレーム位置情報を入力する。符号化データ多重化部１１１は，符号化データを多重化する。フレーム先頭位置情報設定部１１４は，入力されたフレーム位置情報をファイルサイズに加算し，ファイルのフレーム位置情報として設定する。動画像番号設定部１１２は，動画像番号３を設定する。参照動画像番号設定部１１７は，参照動画像番号として３を設定する。管理情報多重化部１１６は，フレーム位置情報と動画像番号と参照動画像番号を多重化する。
【００９１】
続いてデータ切り替え部１１０は，動画像Ｂを選択する。動画像Ｂ符号化データ入力部１０２は，符号化データを１フレーム分入力し，動画像Ｂフレーム位置情報入力部１０７は，次のフレームのフレーム位置情報を入力する。符号化データ多重化部１１１は，符号化データを多重化する。フレーム先頭位置情報設定部１１４は，入力されたフレーム位置情報をファイルサイズに加算し，ファイルのフレーム位置情報として設定する。動画像番号設定部１１２は，動画像番号１を設定する。参照動画像番号設定部１１７は，参照動画像番号として０と３と１を設定する。管理情報多重化部１１６は，フレーム位置情報と動画像番号と参照動画像番号を多重化する。
【００９２】
続いてデータ切り替え部１１０は，動画像Ｃを選択する。動画像Ｃ符号化データ入力部１０３は，符号化データを１フレーム分入力し，動画像Ｃフレーム位置情報入力部１０８は，次のフレームのフレーム位置情報を入力する。符号化データ多重化部１１１は，符号化データを多重化する。フレーム先頭位置情報設定部１１４は，入力されたフレーム位置情報をファイルサイズに加算し，ファイルのフレーム位置情報として設定する。動画像番号設定部１１２は，動画像番号２を設定する。参照動画像番号設定部１１７は，参照動画像番号として０と３と２を設定する。管理情報多重化部１１６は，フレーム位置情報と動画像番号と参照動画像番号を多重化する。
【００９３】
以上の動画像Ａ，Ｄ，Ｂ，Ｃの処理をそれぞれさらに１フレーム分実行する。最後にファイル多重化部１１５は，符号化データ多重化部１１１で得られる符号化データと，管理情報多重化部１１６で得られる管理情報を多重化してファイルを作成する。以上の処理でファイルに多重化することができる。
【００９４】
本実施例では予め符号化して得られた符号化データとファイル先頭位置情報から多重化してファイルを作成する例を示したが，符号化データを作成しつつファイルを構成してもよい。
【００９５】
次に，多重化されたファイルから特定の動画像の符号化データを取り出すファイル読み込み方法について動作を説明する。図６にファイル読み込み装置の構成を示す。図６に示すファイル読み込み装置２２は，ファイルを読み込むファイル入力部２０１と，管理情報を読み取る管理情報読み取り部２０２と，管理情報から所望の動画像番号を探索する動画像番号探索部２０３と，管理情報から参照動画像番号で指定される動画像の管理情報を探索する参照動画像番号探索部２０８と，管理情報からフレーム先頭位置情報を読み取るフレーム先頭位置情報設定部２０５と，フレーム先頭位置情報に従ってファイルから符号化データを読み取る符号化データ読み取り部２０６とで構成される。
【００９６】
図５の多重化装置１１で作成されたファイルから動画像Ｄを復号するために必要な符号化データを読み取る場合の動作を示す。
【００９７】
ファイル入力部２０１は，ファイルを入力する。管理情報読み取り部２０２は，ファイルの後半にある管理情報を読み取る。動画像番号探索部２０３は，動画像Ｄの第１フレームの管理情報を探索する。参照動画像番号探索部２０８は，参照動画像番号で指定される動画像番号についての管理情報を探索する。この場合には動画像番号２と３に関する管理情報を探索する。フレーム先頭位置情報設定部２０５は，動画像番号２のフレーム先頭位置情報を設定する。符号化データ読み取り部２０６は，設定されたファイル位置から符号化データを読み取る。このとき，フレーム先頭位置情報設定部２０５で得られる次のフレームの先頭位置までを読み取る。次にフレーム先頭位置情報設定部２０５は，動画像番号３のフレーム先頭位置情報を設定する。符号化データ読み取り部２０６は，設定されたファイル位置から符号化データを読み取る。このとき，フレーム先頭位置情報設定部２０５で得られる次のフレームの先頭位置までを読み取る。
【００９８】
第２フレームについても同様にして符号化データを読み取る。
【００９９】
次に第３フレームについて，動画像番号探索部２０３は，動画像Ｄの第３フレームの管理情報を探索する。参照動画像番号探索部２０８は，参照動画像番号で指定される動画像番号についての管理情報を探索する。この場合には，動画像番号３に関する管理情報を探索する。フレーム先頭位置情報設定部２０５は，動画像番号３のフレーム先頭位置情報を設定する。符号化データ読み取り部２０６は，設定されたファイル位置から符号化データを読み取る。このとき，フレーム先頭位置情報設定部２０５で得られる次のフレームの先頭位置までを読み取る。
【０１００】
第４フレームについても同様にして符号化データを読み取る。以上により，動画像Ｄを復号できる符号化データを取り出すことができる。
【０１０１】
このように本実施例によれば，符号化データ中に含まれる参照関係データを復号することなく，所望の動画像の符号化データを取り出すことができる。
【０１０２】
なお，本実施例の多重化装置１１では符号化データの後に管理情報を設定したが，ファイルにトラックの構造が設定されている場合には，管理情報を第一トラックに設定し，符号化データを第二トラックに設定してもよい。
【０１０３】
図７に，ファイル中におけるトラックや管理情報の構成例を示す。作成されたファイルには，符号化データトラック３０と管理情報トラック４０とがあり，符号化データトラック３０には，動画像Ａ符号化データ３１，動画像Ｂ符号化データ３２，…が格納される。また，管理情報トラック４０には，各時刻Ｔｎごとの管理情報４１，４２，４３，…が格納され，これらには各々，フレーム先頭位置情報，動画像番号，参照動画像番号などの情報が格納される。
【０１０４】
なお本実施例では，独立して復号できる動画像の場合にも，参照動画像番号として自分の動画像番号を設定したが，この場合には参照動画像番号を設定しない方法や，参照動画像番号として予め定めた特別な値を設定する方法も好適である。
【０１０５】
また本実施例では，参照動画像番号で指定された動画像のフレームにつき，そのフレームに対する管理情報をさらに探索することで参照動画像のフレーム先頭位置情報を読み出したが，管理情報に予め参照動画像番号で指定される動画像のフレーム先頭位置情報を含めて多重化してもよい。
【０１０６】
次に第３の実施例として，フレーム先頭の位置情報と動画像番号と利用先動画像番号を管理情報として多重化し，全ての符号化データを多重化した最後に設定する場合の例を示す。第１の実施例と同様に，動画像はＡ，Ｂ，Ｃ，Ｄの４つあり，予め符号化されていて，各動画像におけるフレーム先頭の位置情報は分かっているものとする。
【０１０７】
図８に多重化装置の構成を示す。図８に示す多重化装置１２は，動画像Ａ，Ｂ，Ｃ，Ｄの符号化データをそれぞれ入力する動画像Ａ符号化データ入力部１０１，動画像Ｂ符号化データ入力部１０２，動画像Ｃ符号化データ入力部１０３，動画像Ｄ符号化データ入力部１０４と，各動画像のフレーム先頭の動画像中の位置情報をそれぞれ入力する動画像Ａフレーム位置情報入力部１０６，動画像Ｂフレーム位置情報入力部１０７，動画像Ｃフレーム位置情報入力部１０８，動画像Ｄフレーム位置情報入力部１０９と，動画像間の参照関係を示す情報を入力する参照関係データ入力部１０５と，動画像の符号化データやフレーム位置情報の入力を切り替えるデータ切り替え部１１０と，符号化データを多重化する符号化データ多重化部１１１と，動画像番号を設定する動画像番号設定部１１２と，利用先動画像番号を判定する利用先動画像番号判定部１１８と，利用先動画像番号を設定する利用先動画像番号設定部１１９と，フレーム位置の先頭情報を設定するフレーム先頭位置情報設定部１１４と，管理情報を多重化する管理情報多重化部１１６と，符号化データと管理情報を多重化するファイル多重化部１１５とから構成される。
【０１０８】
以上のうち，動画像番号設定部１１２では，動画像Ａ，Ｂ，Ｃ，Ｄに対してそれぞれ動画像番号０，１，２，３を設定するものとする。動画像ＡからＤまでのフレーム位置情報入力部１０６〜１０９は，次のフレームの位置情報を入力するものとする。フレーム先頭位置情報設定部１１４は，各動画像のフレーム位置情報をカウントし，符号化データ多重化部１１１で符号化データを多重化した後における各フレームの位置情報を設定するものとする。ファイル多重化部１１５は，符号化データ多重化部１１１で作成された符号化データの後に，管理情報多重化部１１６で作成された管理情報を設定するものとする。符号化データ多重化部１１１は，参照関係データがある場合には各動画像の符号化データの前に多重化するものとする。
【０１０９】
データ切り替え部１１０は，参照関係データに従い，次のように符号化データとファイル先頭位置情報を切り替えるものとする。動画像ＡからＤまで順に，まず独立して復号できる動画像かどうかを判定する。独立して復号できる場合には，そのまま選択する。独立して復号できない場合には，参照する動画像の符号化データを既に選択したかどうかを判定する。既に選択した場合には，そのまま選択し，まだ選択していない場合には，参照する動画像が全て選択されるまで，その動画像を選択しない。
【０１１０】
動画像間の参照関係は，次のようになっているとする。まず先頭から２フレームでは，動画像ＡとＣは独立して復号でき，動画像Ｂは動画像Ａを参照し，動画像Ｄは動画像Ｃを参照するものとする。その後２フレームでは，動画像ＡとＤは独立して復号でき，動画像Ｂと動画像Ｃは動画像Ａと動画像Ｄを参照するものとする。
【０１１１】
利用先動画像番号判定部１１８は，参照関係データから，各動画像について，その復号画像や符号化データが利用される動画像番号を判定する。動画像間の参照関係から，最初の２フレームについては，動画像Ａの利用先動画像は動画像Ａと動画像Ｂであり，動画像Ｂの利用先動画像は動画像Ｂであり，動画像Ｃの利用先動画像は動画像Ｃと動画像Ｄであり，動画像Ｄの利用先動画像は動画像Ｄであると判定される。その後２フレームについては，動画像Ａの利用先動画像は動画像Ａと動画像Ｂと動画像Ｃであり，動画像Ｂの利用先動画像は動画像Ｂであり，動画像Ｃの利用先動画像は動画像Ｃであり，動画像Ｄの利用先動画像は動画像Ｄと動画像Ｂと動画像Ｃであると判定される。
【０１１２】
以上の前提で動画像Ａ，Ｂ，Ｃ，Ｄを４フレーム多重化する場合には，次のように多重化される。
【０１１３】
まず先頭フレームについては，次のように多重化される。参照関係データ入力部１０５は，動画像間の参照関係データを入力する。データ切り替え部１１０は，参照関係データに従って符号化データを多重化する順序を決定する。ここでは，次の順序に決定する。動画像Ａは独立して復号できるため，まず動画像Ａを選択する。動画像Ｂは動画像Ａのみを参照するため，次に動画像Ｂを選択する。動画像Ｃは独立して復号できるため，次に動画像Ｃを選択する。そして動画像Ｄを選択する。符号化データ多重化部１１１は，参照関係データを多重化する。フレーム先頭位置情報設定部１１４は，参照関係データのデータサイズ分だけファイルサイズを加算する。利用先動画像番号判定部１１８は，各動画像について，参照データに対応した利用先動画像番号を判定する。
【０１１４】
多重化する順序に従い，データ切り替え部１１０は，符号化データとフレーム先頭位置情報を切り替える。まず動画像Ａを選択する。動画像Ａ符号化データ入力部１０１は，符号化データを１フレーム分入力し，動画像Ａフレーム位置情報入力部１０６は，次のフレームのフレーム位置情報を入力する。符号化データ多重化部１１１は，符号化データを多重化する。フレーム先頭位置情報設定部１１４は，入力されたフレーム位置情報をファイルサイズに加算し，ファイルのフレーム位置情報として設定する。動画像番号設定部１１２は，動画像番号０を設定する。利用先動画像番号設定部１１９は，利用先動画像番号として０と１を設定する。管理情報多重化部１１６は，フレーム位置情報と動画像番号と利用先動画像番号を多重化する。
【０１１５】
続いてデータ切り替え部１１０は，動画像Ｂを選択する。動画像Ｂ符号化データ入力部１０２は，符号化データを１フレーム分入力し，動画像Ｂフレーム位置情報入力部１０７は，次のフレームのフレーム位置情報を入力する。符号化データ多重化部１１１は，符号化データを多重化する。フレーム先頭位置情報設定部１１４は，入力されたフレーム位置情報をファイルサイズに加算し，ファイルのフレーム位置情報として設定する。動画像番号設定部１１２は，動画像番号１を設定する。利用先動画像番号設定部１１９は，利用先動画像番号として１を設定する。管理情報多重化部１１６は，フレーム位置情報と動画像番号と利用先動画像番号を多重化する。
【０１１６】
続いてデータ切り替え部１１０は，動画像Ｃを選択する。動画像Ｃ符号化データ入力部１０３は，符号化データを１フレーム分入力し，動画像Ｃフレーム位置情報入力部１０８は，次のフレームのフレーム位置情報を入力する。符号化データ多重化部１１１は，符号化データを多重化する。フレーム先頭位置情報設定部１１４は，入力されたフレーム位置情報をファイルサイズに加算し，ファイルのフレーム位置情報として設定する。動画像番号設定部１１２は，動画像番号２を設定する。利用先動画像番号設定部１１９は，利用先動画像番号として２と３を設定する。管理情報多重化部１１６は，フレーム位置情報と動画像番号と利用先動画像番号を多重化する。
【０１１７】
続いてデータ切り替え部１１０は，動画像Ｄを選択する。動画像Ｄ符号化データ入力部１０４は，符号化データを１フレーム分入力し，動画像Ｄフレーム位置情報入力部１０９は，次のフレームのフレーム位置情報を入力する。符号化データ多重化部１１１は，符号化データを多重化する。フレーム先頭位置情報設定部１１４は，入力されたフレーム位置情報をファイルサイズに加算し，ファイルのフレーム位置情報として設定する。動画像番号設定部１１２は，動画像番号３を設定する。利用先動画像番号設定部１１９は，利用先動画像番号として３を設定する。管理情報多重化部１１６は，フレーム位置情報と動画像番号と利用先動画像番号を多重化する。
【０１１８】
以上の動画像Ａ，Ｂ，Ｃ，Ｄの処理をそれぞれさらに１フレーム分実行する。
【０１１９】
次に参照関係データ入力部１０５は，動画像間の参照関係データを入力する。データ切り替え部１１０は，参照関係データに従って符号化データを多重化する順序を決定する。ここでは，次の順序に決定する。動画像Ａは独立して復号できるため，まず動画像Ａを選択する。動画像Ｂは動画像Ａと動画像Ｄを参照するため，動画像Ｂは選択しない。動画像Ｃは動画像Ａと動画像Ｄを参照するため，動画像Ｃは選択しない。動画像Ｄは独立して復号できるため，次に動画像Ｄを選択する。そして動画像Ｂを選択し，動画像Ｃを選択する。符号化データ多重化部１１１は，参照関係データを多重化する。フレーム先頭位置情報設定部１１４は，参照関係データのデータサイズ分だけファイルサイズを加算する。利用先動画像番号判定部１１８は，各動画像について，参照データに対応した利用先動画像番号を判定する。
【０１２０】
多重化する順序に従い，データ切り替え部１１０は，符号化データとフレーム先頭位置情報を切り替える。まず動画像Ａを選択する。動画像Ａ符号化データ入力部１０１は，符号化データを１フレーム分入力し，動画像Ａフレーム位置情報入力部１０６は，次のフレームのフレーム位置情報を入力する。符号化データ多重化部１１１は，符号化データを多重化する。フレーム先頭位置情報設定部１１４は，入力されたフレーム位置情報をファイルサイズに加算し，ファイルのフレーム位置情報として設定する。動画像番号設定部１１２は，動画像番号０を設定する。利用先動画像番号設定部１１９は，参照動画像番号として０と１と２を設定する。管理情報多重化部１１６は，フレーム位置情報と動画像番号と利用先動画像番号を多重化する。
【０１２１】
続いてデータ切り替え部１１０は，動画像Ｄを選択する。動画像Ｄ符号化データ入力部１０４は，符号化データを１フレーム分入力し，動画像Ｄフレーム位置情報入力部１０９は，次のフレームのフレーム位置情報を入力する。符号化データ多重化部１１１は，符号化データを多重化する。フレーム先頭位置情報設定部１１４は，入力されたフレーム位置情報をファイルサイズに加算し，ファイルのフレーム位置情報として設定する。動画像番号設定部１１２は，動画像番号３を設定する。利用先動画像番号設定部１１９は，利用先動画像番号として３と１と２を設定する。管理情報多重化部１１６は，フレーム位置情報と動画像番号と利用先動画像番号を多重化する。
【０１２２】
続いてデータ切り替え部１１０は，動画像Ｂを選択する。動画像Ｂ符号化データ入力部１０２は，符号化データを１フレーム分入力し，動画像Ｂフレーム位置情報入力部１０７は，次のフレームのフレーム位置情報を入力する。符号化データ多重化部１１１は，符号化データを多重化する。フレーム先頭位置情報設定部１１４は，入力されたフレーム位置情報をファイルサイズに加算し，ファイルのフレーム位置情報として設定する。動画像番号設定部１１２は，動画像番号１を設定する。利用先動画像番号設定部１１９は，利用先動画像番号として１を設定する。管理情報多重化部１１６は，フレーム位置情報と動画像番号と利用先動画像番号を多重化する。
【０１２３】
続いてデータ切り替え部１１０は，動画像Ｃを選択する。動画像Ｃ符号化データ入力部１０３は，符号化データを１フレーム分入力し，動画像Ｃフレーム位置情報入力部１０８は，次のフレームのフレーム位置情報を入力する。符号化データ多重化部１１１は，符号化データを多重化する。フレーム先頭位置情報設定部１１４は，入力されたフレーム位置情報をファイルサイズに加算し，ファイルのフレーム位置情報として設定する。動画像番号設定部１１２は，動画像番号２を設定する。利用先動画像番号設定部１１９は，利用先動画像番号として２を設定する。管理情報多重化部１１６は，フレーム位置情報と動画像番号と利用先動画像番号を多重化する。
【０１２４】
以上の動画像Ａ，Ｄ，Ｂ，Ｃの処理をそれぞれさらに１フレーム分実行する。最後にファイル多重化部１１５は，符号化データ多重化部１１１で得られる符号化データと，管理情報多重化部１１６で得られる管理情報を多重化してファイルを作成する。以上の処理でファイルに多重化することができる。
【０１２５】
本実施例では，予め符号化して得られた符号化データとファイル先頭位置情報から多重化してファイルを作成する例を示したが，符号化データを作成しつつファイルを構成してもよい。
【０１２６】
次に，多重化されたファイルから特定の動画像の符号化データを取り出すファイル読み込み方法について動作を説明する。図９にファイル読み込み装置の構成を示す。図９に示すファイル読み込み装置２３は，ファイルを読み込むファイル入力部２０１と，管理情報を読み取る管理情報読み取り部２０２と，管理情報から所望の動画像に対応する利用先動画像番号を探索する利用先動画像番号探索部２０９と，管理情報からフレーム先頭位置情報を読み取るフレーム先頭位置情報設定部２０５と，フレーム先頭位置情報に従ってファイルから符号化データを読み取る符号化データ読み取り部２０６とで構成される。
【０１２７】
図８の多重化装置１２で作成されたファイルから動画像Ｄを復号するために必要な符号化データを読み取る場合の動作を示す。
【０１２８】
ファイル入力部２０１は，ファイルを入力する。管理情報読み取り部２０２は，ファイルの後半にある管理情報を読み取る。利用先動画像番号探索部２０９は，第１フレームの管理情報から利用先動画像番号として３がある動画像を，動画像Ａの管理情報から順に探索する。動画像Ｃ（動画像番号２）の管理情報に利用先動画像番号が３であることを探索する。フレーム先頭位置情報設定部２０５は，動画像番号２のフレーム先頭位置情報を設定する。符号化データ読み取り部２０６は，設定されたファイル位置から符号化データを読み取る。このとき，フレーム先頭位置情報設定部２０５で得られる次のフレームの先頭位置までを読み取る。続いて，利用先動画像番号探索部２０９は，動画像Ｄ（動画像番号３）の管理情報に利用先動画像番号が３であることを探索する。フレーム先頭位置情報設定部２０５は，動画像番号３のフレーム先頭位置情報を設定する。符号化データ読み取り部２０６は，設定されたファイル位置から符号化データを読み取る。このとき，フレーム先頭位置情報設定部２０５で得られる次のフレームの先頭位置までを読み取る。
【０１２９】
第２フレームについても同様にして符号化データを読み取る。
【０１３０】
次に第３フレームについて，利用先動画像番号探索部２０９は，第３フレームの管理情報から利用先動画像番号として３がある動画像を，動画像Ａの管理情報から順に探索する。動画像Ｄ（動画像番号３）の管理情報に利用先動画像番号が３であることを探索する。フレーム先頭位置情報設定部２０５は，動画像番号３のフレーム先頭位置情報を設定する。符号化データ読み取り部２０６は，設定されたファイル位置から符号化データを読み取る。このとき，フレーム先頭位置情報設定部２０５で得られる次のフレームの先頭位置までを読み取る。
【０１３１】
第４フレームについても同様にして符号化データを読み取る。以上により，動画像Ｄを復号できる符号化データを取り出すことができる。
【０１３２】
このように本実施例によれば，符号化データ中に含まれる参照関係データを復号することなく，所望の動画像の符号化データを取り出すことができる。
【０１３３】
なお，本実施例の多重化装置１２では，符号化データの後に管理情報を設定したが，ファイルにトラックの構造が設定されている場合には，管理情報を第一トラックに設定し，符号化データを第二トラックに設定してもよい。
【０１３４】
図１０に，ファイル中におけるトラックや管理情報の構成例を示す。作成されたファイルには，符号化データトラック３０と管理情報トラック４０とがあり，符号化データトラック３０には，動画像Ａ符号化データ３１，動画像Ｂ符号化データ３２，…が格納される。また，管理情報トラック４０には，各時刻Ｔｎごとの管理情報４１，４２，４３，…が格納され，これらには各々，フレーム先頭位置情報，動画像番号，利用先動画像番号などの情報が格納される。
【０１３５】
なお本実施例では，利用先動画像番号として自分の動画像番号も設定したが，利用先動画像番号として自分の動画像番号を設定しない方法や，利用先動画像番号として予め定めた特別な値を設定する方法も好適である。
【０１３６】
以上の実施例の説明では，フレーム単位に管理情報を設定する例について説明したが，フレームを分割したスライス単位に管理情報を設定してもよい。この場合には，管理情報はフレーム先頭位置の代わりに，スライス先頭位置情報を含む。また，多重化や読み取りもフレーム単位ではなく，スライス単位で行う。すなわち，上記実施例の説明において，フレームをスライスに読み替えて本発明を実施することも可能である。
【０１３７】
以上の多重化装置およびファイル読み込み装置による処理は，コンピュータとソフトウェアプログラムとによって実現することもでき，そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することも，ネットワークを通して提供することも可能である。
【図面の簡単な説明】
【０１３８】
【図１】第１の実施例における多重化装置の構成を示す図である。
【図２】第１の実施例におけるファイル読み込み装置の構成１を示す図である。
【図３】第１の実施例におけるファイル読み込み装置の構成２を示す図である。
【図４】第１の実施例のファイル中におけるトラックと管理情報の構成例を示す図である。
【図５】第２の実施例における多重化装置の構成を示す図である。
【図６】第２の実施例におけるファイル読み込み装置の構成を示す図である。
【図７】第２の実施例のファイル中におけるトラックと管理情報の構成例を示す図である。
【図８】第３の実施例における多重化装置の構成を示す図である。
【図９】第３の実施例におけるファイル読み込み装置の構成を示す図である。
【図１０】第３の実施例のファイル中におけるトラックと管理情報の構成例を示す図である。
【図１１】スケーラブル符号化の概念を示す図である。
【図１２】ＭＶＣの参照関係の例を示す図である。
【図１３】ＭＶＣの符号化データの構成例を示す図である。
【図１４】ファイル中におけるトラックや管理情報の構成例を示す図である。
【符号の説明】
【０１３９】
１０，１１，１２  多重化装置
１０１  動画像Ａ符号化データ入力部
１０２  動画像Ｂ符号化データ入力部
１０３  動画像Ｃ符号化データ入力部
１０４  動画像Ｄ符号化データ入力部
１０５  参照関係データ入力部
１０６  動画像Ａフレーム位置情報入力部
１０７  動画像Ｂフレーム位置情報入力部
１０８  動画像Ｃフレーム位置情報入力部
１０９  動画像Ｄフレーム位置情報入力部
１１０  データ切り替え部
１１１  符号化データ多重化部
１１２  動画像番号設定部
１１３  独立復号識別情報設定部
１１４  フレーム先頭位置情報設定部
１１５  ファイル多重化部
１１６  管理情報多重化部
１１７  参照動画像番号設定部
１１８  利用先動画像番号判定部
１１９  利用先動画像番号設定部
２０，２１，２２，２３  ファイル読み込み装置
２０１  ファイル入力部
２０２  管理情報読み取り部
２０３  動画像番号探索部
２０４  独立復号識別情報判定部
２０５  フレーム先頭位置情報設定部
２０６  符号化データ読み取り部
２０７  独立復号識別情報探索部
２０８  参照動画像番号探索部
２０９  利用先動画像番号探索部
【図１】
0005171270.tif 000002
【図２】
0005171270.tif 000003
【図３】
0005171270.tif 000004
【図４】
0005171270.tif 000005
【図５】
0005171270.tif 000006
【図６】
0005171270.tif 000007
【図７】
0005171270.tif 000008
【図８】
0005171270.tif 000009
【図９】
0005171270.tif 000010
【図１０】
0005171270.tif 000011
【図１１】
0005171270.tif 000012
【図１２】
0005171270.tif 000013
【図１３】
0005171270.tif 000014
【図１４】
0005171270.tif 000015