(57)【要約】【課題】動画像符号化ファイルフォーマットのノンフラグメント方式ファイルにおいて、後の編集処理を効率的に行なうことのできる動画像ファイルを作成するための多重化装置を提供することを目的とする。【解決手段】映像データと音声データを多重化して、ノンフラグメント方式の動画像符号化ファイルを作成する際、図中２０２のように映像データのシーン数分mdat boxを作成する。映像データ及び音声データを映像データのシーン毎に分割し、分割した映像データおよび音声データに多重化を行ない、先頭のmdat boxよりメディアデータの最初から順に格納していく。また、moov boxを作成し、メタデータを格納する。この動画像符号化ファイルは、ノンフラグメント形式のままシーン毎に定義されたmdat box毎に切り取りが可能となる。【選択図】図２
2010086615.tif 000002
【特許請求の範囲】
【請求項１】
映像データと音声データを、メタデータとメディアデータとを有するノンフラグメント方式の動画像符号化ファイルフォーマット形式に多重化するための多重化装置であって、
前記映像データ及び前記音声データを取得する手段と、
前記映像データのランダムアクセス可能なポイントで、前記映像データ及び前記音声データを該映像データに含まれるシーン毎に分割する手段と、
前記分割された映像データの個数分のmdat boxを定義する手段と、
前記分割された映像データ及び音声データを多重化する手段と、
前記多重化されたメディアデータを最初のデータから先頭の前記mdat boxより順に格納する手段と、
を具備することを特徴とする多重化装置。
【請求項２】
それぞれの前記mdat box内に格納されるメディアデータの符号化情報が共通ならば前記メディアデータに対応するSample descriptionを一つ決定し、
メディアデータの符号化情報が共通でないならばそれぞれの前記メディアデータに対応するSample descriptionを複数決定する手段と、
前記Sample descriptionを格納するSample description boxを、該Sample descriptionの個数分定義する手段と
をさらに具備することを特徴とする請求項１記載の多重化装置。
【請求項３】
前記Sample description boxの個数をSample_description_indexの値として定義する手段をさらに具備することを特徴とする請求項２記載の多重化装置。
【請求項４】
映像データと音声データを、メタデータとメディアデータとを有するノンフラグメント方式の動画像符号化ファイルフォーマット形式に多重化する、計算機で実行可能なプログラムであって、
映像データ及び音声データからなるメディアデータを取得する手順と、
前記映像データのランダムアクセス可能なポイントで、前記映像データ及び前記音声データを該映像データに含まれるシーン毎に分割する手順と、
前記分割された映像データの個数分のmdat boxを定義する手順と、
前記分割された映像データ及び音声データを多重化する手順と、
前記多重化された映像データおよび音声データを最初のデータから先頭の前記mdat boxより順に格納する手順と、
を計算機に実行させることを特徴とするプログラム。
【請求項５】
それぞれの前記mdat box内に格納されるメディアデータの符号化情報が共通ならば前記メディアデータに対応するSample descriptionを一つ決定し、
メディアデータの符号化情報が共通でないならばそれぞれの前記メディアデータに対応するSample descriptionを複数決定する手順と、
前記Sample descriptionを格納するSample description boxを、該Sample descriptionの個数分定義する手順と
を計算機にさらに実行させることを特徴とする請求項４記載のプログラム。
【請求項６】
前記Sample description boxの個数をSample_description_indexの値として定義する手順を計算機にさらに実行させることを特徴とする請求項５記載のプログラム。
【請求項７】
映像データと音声データを、メタデータとメディアデータとを有するノンフラグメント方式の動画像符号化ファイルフォーマット形式に多重化するための多重化方法であって、
映像データ及び音声データからなるメディアデータを取得し、
前記映像データのランダムアクセス可能なポイントで、前記映像データ及び前記音声データを該映像データに含まれるシーン毎に分割するとともに、
前記分割された映像データの個数分のmdat boxを定義して、前記分割された映像データ及び音声データを多重化した符号化データを、最初のデータから先頭の前記mdat boxより順に格納する
ことを特徴とする多重化方法。
【請求項８】
それぞれの前記mdat box内に格納されるメディアデータの符号化情報が共通ならば前記メディアデータに対応するSample descriptionを一つ決定し、
メディアデータの符号化情報が共通でないならばそれぞれの前記メディアデータに対応するSample descriptionを複数決定し、
その後、前記Sample descriptionを格納するSample description boxを、該Sample descriptionの個数分定義する
ことを特徴とする請求項７記載の多重化方法。
【請求項９】
前記Sample description boxの個数をSample_description_indexの値として定義することを特徴とする請求項８記載の多重化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、後の編集処理に好適な、映像データや、音声データ等のメディアデータを作成する多重化装置に関し、特にノンフラグメント形式によるメディアデータの多重化技術に関するものである。
【背景技術】
【０００２】
近年、通信ネットワークの大容量化、伝送技術の進歩により、インターネット上で、動画、音声、テキストあるいは、静止画等のマルチメディアコンテンツを含む動画像ファイルをパーソナルコンピュータに配信する動画配信サービスの普及が著しい。また、動画配信サービスは今後、携帯電話機やPDA等の移動体端末への提供の拡大も見込まれている。
【０００３】
それに伴い、動画・音声符号化形式が多様化し、様々な形式を均一な枠組みの中で相互接続可能な形で処理できるようにする必要性が高まっている。そこでISO/IEC（International Standardization Organization/International Engineering Consortium）  JTC１/SC２９/WG１１によって、MPEG等の動画・音声のコンテンツデータをファイルに記録するために、「ISO Base Mediaファイル形式」という汎用のファイル形式が規格化されている。
【０００４】
例えばこの拡張形式であるＭＰ４の場合、異なるファイルの動画像を切り出し、１つのMP４ファイルに纏めるような編集処理を行う場合の編集方法としては、それぞれにMP４ファイルのmdat box内における多重化された実体データに多重分離（demux）を行ない、映像データと音声データとして取り出したのち、それらのデータを切り出して並び替える編集処理を行い、編集したデータをＭＰ４形式のファイルに再度多重化していた。この処理はあらかじめ多重化されているコンテンツデータを分離し、再度多重化するなど迂遠な手順が多く、また編集の際のデータ処理負荷が大きなものとなっていた。
【０００５】
前述の問題を解決するべく、コンテンツデータがあらかじめ分割されているフラグメント方式のMP４ファイルにおける編集処理を効率的に行えるようなデータファイルの編集方法が提案されている（特許文献１を参照）。
【特許文献１】特開２００６−１２９０８１
【発明の開示】
【発明が解決しようとする課題】
【０００６】
あらかじめフラグメントしていないMP４ファイルから所定の動画像の切り出し編集や、異なるMP４ファイル同士の動画像を切り出して１つのMP４ファイルに連結する編集処理を行う場合、多重化されているコンテンツデータを一旦多重分離し、編集後に再度多重化しなければならない。フラグメント方式においては分割された単位での編集方法が提案されているが、ノンフラグメント方式のコンテンツデータには適用できない。
【０００７】
本発明は上記問題に鑑みてなされたもので、MP４ファイルフォーマットのノンフラグメント方式ファイルにおいて、後の編集処理を効率的に行なうことのできるMP４ファイル作成するための多重化装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明にかかる多重化装置は映像データと音声データを、メタデータとメディアデータとを有するノンフラグメント方式の動画像符号化ファイルフォーマット形式に多重化するための多重化装置であって、前記映像データ及び前記音声データを取得する手段と、前記映像データのランダムアクセス可能なポイントで、前記映像データ及び前記音声データを該映像データに含まれるシーン毎に分割する手段と、前記分割された映像データの個数分のmdat boxを定義する手段と、前記分割された映像データ及び音声データを多重化する手段と、前記多重化されたメディアデータを最初のデータから先頭の前記mdat boxより順に格納する手段と、を具備することを特徴している。
【０００９】
本発明にかかるプログラムは映像データと音声データを、メタデータとメディアデータとを有するノンフラグメント方式の動画像符号化ファイルフォーマット形式に多重化する、計算機で実行可能なプログラムであって、映像データ及び音声データからなるメディアデータを取得する手順と、前記映像データのランダムアクセス可能なポイントで、前記映像データ及び前記音声データを該映像データに含まれるシーン毎に分割する手順と、前記分割された映像データの個数分のmdat boxを定義する手順と、前記分割された映像データ及び音声データを多重化する手順と、前記多重化された映像データおよび音声データを最初のデータから先頭の前記mdat boxより順に格納する手順とを計算機に実行させることを特徴としている。
【００１０】
本発明にかかる多重化方法は映像データと音声データを、メタデータとメディアデータとを有するノンフラグメント方式の動画像符号化ファイルフォーマット形式に多重化するための多重化方法であって、映像データ及び音声データからなるメディアデータを取得し、前記映像データのランダムアクセス可能なポイントで、前記映像データ及び前記音声データを該映像データに含まれるシーン毎に分割するとともに、前記分割された映像データの個数分のmdat boxを定義して、前記分割された映像データ及び音声データを多重化した符号化データを、最初のデータから先頭の前記mdat boxより順に格納することを特徴としている。
【発明の効果】
【００１１】
本発明によれば、MP４ファイルの多重化の際にシーン毎にメディアデータの分割を行い、それぞれのメディアデータを異なるmdat boxに多重化して格納する。そうすることでシーン毎の編集を所望のmdat box単位で切り取り、並べ替え等の処理により行うことが可能となる。よってノンフラグメント形式のままで、mdat box内のメディアデータの多重化、再多重化等の迂遠な処理を行うことなくMP４ファイルの編集処理を効率的に行うことができる。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の実施形態を図面を参照しながら説明する。
【００１３】
前述の「ISO Base Mediaファイル形式」という汎用のファイル形式は特定の符号化形式を前提とはしていない基本ファイル形式として定義されている。所定の符号化形式や目的に適合させるにはこの規格を部分的に拡張した規格を別途定義することによって対応するという特徴を有している。この拡張の代表例としてMP４ファイルフォーマットがある。
【００１４】
配信サービスにおいて、メディアファイルを配信する際には、まず、多重化装置において、動画、静止画、音声、およびテキスト等のメディアデータを取り込んで、メディアデータの再生に必要なヘッダ情報とメディアデータの実体データとを多重化して、メディアファイルデータを作成することが必要となるが、現在、動画ファイルフォーマットとして、このMP４ファイルフォーマットが注目されており、今後広く普及するものと予想される。本実施形態ではMP4ファイル形式を例に説明する。
【００１５】
ここでMP４ファイルのデータ構造について説明する。図１はMP４形式のデータ構造の一例を示す図である。図１のようにＭＰ４形式のファイルデータは大きくmdat box、moov boxの２つのデータ構造から構成される。
【００１６】
ここで１つのまとまったデータを格納する領域をboxという単位で表す。このboxには先頭の４バイトにboxのバイト単位のサイズ（Size）を格納し、後続する４バイトにそのboxの種類（Type）を格納して、この合計８バイトをヘッダとして、データブロックの先頭に付加する構造となっている。そのため、MP４ファイルの先頭８バイトで最初のｂｏｘのサイズと種類を知ることができ、ファイルの先頭からその最初のｂｏｘのサイズだけ（ファイルの先頭の位置からサイズを加算した位置だけ）移動することにより後続するｂｏｘにアクセスすることが可能となる。
【００１７】
mdat boxとは符号化された映像、音声データの実体を格納している領域である、またmoov boxは映像、音声データの物理的位置、時間的位置や、特性情報等のメタデータを格納している領域である。また、boxはファイル内に連続して記録できるだけでなく、図１に示すmoov box内のtrack boxのように、box内に幾つかのboxを持つことが可能であり、boxを入れ子にすることができる。ここで、track boxとは、moov box内に存在し、音声や画像などを再生するために必要な管理情報をそれぞれが分担して保持している領域である。
【００１８】
また、MP４ファイルフォーマットでは、moov boxに全てのメタデータを記録する形だけではなく、メタデータを時系列順に複数の領域に分割して記録するような形式も許可している。この形式は「フラグメントムービー」（Fragmented Movie）と呼ばれている。
【００１９】
MP４ファイルフォーマットのメディアデータを作成する際、前述のように多重化装置において映像、音声データを取り込み、多重化を行ない、メディアデータの実体データをmdat boxに格納し、メタデータをmoov box内に作成する。
【００２０】
図２には従来の多重化装置を用いて多重化処理を行った従来のMP４ファイル２０１、及び本発明を用いて多重化処理を行ったMP４ファイル２０２の一例が示されている。
【００２１】
従来の多重化処理装置を用いて多重化処理を行うと、ノンフラグメント形式のMP４ファイルは、MP４ファイル２０１のようにmoov boxとmdat boxそれぞれ一つずつの形式となって出力される。一方、本実施形態における多重化装置より出力されたMP４ファイル２０２は一つのmoov boxと一つ以上のmdat boxによって構成される。このmdat boxに格納されているメディアデータは先頭のmdat boxより時系列順に格納される。そしてこのMP４ファイル２０２の通常の再生を行う際は、先頭のmdat boxに格納されているメディアデータより次のmdat box内のメディアデータへと順次再生していくことになる。このMP４ファイル２０２の形式にすることによりそれぞれのmdat boxについて、多重分離することなくその部分を切り出し編集することが可能な状態となる。
【００２２】
図３は本実施形態における多重化処理を実現するための情報処理装置の構成の一例を示すブロック図である。図３には、CPU３０１，Mメモリ３０２、HDD３０３、多重化装置３０４、ODD３０５、ネットワークI/F３０６、音声I/F３０７、映像I/F３０８、およびバス３０９が示されている。
【００２３】
CPU３０１は中央演算処理装置（Central Processing Unit）であり、情報処理装置全体を制御している。またプログラムを実行し、そのプログラムに応じた所定の処理を実行する機能を有している。
【００２４】
Mメモリ３０２は半導体メモリにより構成され、CPU３０１がプログラムを処理する際のプログラムおよびデータの格納用領域として利用される。
【００２５】
HDD３０３は例えば磁気ディスク装置であり、データを保存する不揮発性の領域として利用される。CPU３０１の指示により、記憶されたプログラムやデータを読み出すことができる。
【００２６】
多重化装置３０４はMP４ファイルフォーマットに準拠して映像データと音声データを多重化し、MP４形式のファイルを生成するモジュールである。多重化装置３０４はバス３０９を介して映像データ及び音声データを取得し、多重化したMP４データをHDD３０３に出力する。本実施形態では多重化後のMP４データをHDD３０３に出力する例を示しているが、ODD３０５に書き込むようにしても良く、またネットワークI/F３０６を介して他の情報処理装置に送信するようにしても良い。
【００２７】
ODD３０５は例えば光ディスク装置であり、挿入されたCD（Compact Disc）やDVD（Digital Versatile Disc）等の光ディスクに対し、データおよびプログラムの書き込み、読み出しを行う。
【００２８】
ネットワークI/F３０６はLAN、WAN等のネットワークを介して他の情報処理装置等とのデータの伝達を行う。
【００２９】
音声I/F３０７はマイク等の外部音声を取得するためのインタフェースであり、外部音声を電気信号に変換して情報処理装置に入力する機能を有している。
【００３０】
映像I/F３０８はデジタルカメラ等の外部映像を取得するためのインタフェースであり、外部映像を電気信号に変換して情報処理装置に入力する機能を有している。
【００３１】
バス３０９には各モジュールが接続されており、モジュール相互での通信が可能となっている。
【００３２】
また多重化装置３０４の各部の構成はソフトウェアで実現してもよい。この場合には、各構成の機能を実現するCPU３０１で実行可能なプログラムをあらかじめHDD３０３に格納しておき、処理時にはメモリ３０２上に読み出して実行するように構成すれば良い。なお、ソフトウェアで構成する場合、プログラムはHDD３０３に格納されているだけではなく、光ディスクに格納されたプログラムをODD３０５から直接読み出しても良い。あるいはネットワークI/F３０６より取得するようにしても良い。
【００３３】
本実施形態において、多重化装置３０４を用いて多重化を行う映像データおよび音声データは、音声I/F３０７および映像I/F３０８から別々に取得したデータでもよい。音声I/F３０７および映像I/F３０８から別々に取得したデータの場合はそれぞれを独立に多重化装置３０４に入力し多重化を行う。また、すでに多重化されているようなデータは多重分離（demux）し、映像データ、音声データを分離してからそれぞれを多重化装置３０４に入力する。多重化装置３０４に入力するこれらのデータはHDD３０３又は、ODD３０５に保存されていたデータでもよいし、ネットワークI/F３０５から取得しても良い。また、データの取得手段としては当然上記の例示に限定されるものではない。
【００３４】
図４は本実施形態における多重化装置３０４の構成の一例を示すブロック図である。図４には多重化装置３０４、映像データ指定部４０１、映像データ解析部４０２、音声データ指定部４０３、音声データ解析部４０４、MP４多重化部４０５、およびMP４データ出力部４０６が示されている。
【００３５】
映像データ指定部４０１は、多重化装置３０４外部からバス３０９を介して映像データを取得し、映像データ解析部４０２に対し出力する機能を有している。
【００３６】
映像データ解析部４０２は、映像データ指定部４０１が生成した映像データの解析を行い、以降の多重化処理に必要な情報を抽出する機能を有している。また、映像データからシーン情報や、シーン毎の符号化情報等の抽出も行い、抽出されたシーン等情報や多重化処理に必要な情報をMP４多重化部４０５へと出力する。ここでのシーンとはランダムアクセス可能なポイントで映像データを分割したものである。
【００３７】
音声データ指定部４０３は、多重化装置３０４外部からバス３０９を介して音声データを取得し、音声データ解析部４０４に対し出力する機能を有している。
【００３８】
音声データ解析部４０４は、音声データ指定部４０３から取得した音声データの解析を行い、多重化処理に必要な情報を抽出する。また、抽出した情報をMP４多重化部４０５へと出力する機能を有している。
【００３９】
MP４多重化部４０５は映像データおよび音声データのMP４ファイルフォーマットへの多重化を行ない、多重化したMP４データをMP４データ送信部に対し出力する機能を有している。MP４多重化部４０５はMP４ファイルを作成するとき、映像データから抽出したシーンの単位に映像データおよび音声データを分割する。その後、映像データに含まれるシーン数分のmdat boxを作成し、先に分割した単位で映像データと音声データを多重化して、多重化したシーン毎の映像データ及び音声データを先頭のmdat boxから順に格納していく。この処理によりMP4ファイル２０２が生成される。
【００４０】
また、MP４多重化部４０５はmoov box内のstsd boxの中にmdat boxの個数分（シーン数分）、多重化を行なうメディアデータの符号化情報であるSample descriptionを格納するSample description boxを定義する。これは入力された映像データがシーン毎に符号化情報が異なることが考えられるためである。
【００４１】
このとき先頭のmdat boxに格納されたシーンを記述するSample descriptionは先頭のSample description boxに格納し、N番目のmdat boxに格納されたシーンを記述するSample descriptionはN番目のSample description boxに格納する。つまり先頭のSample descriptionから順に先頭のSample description boxへと順次格納する。そしてこのSample description boxはmoov box内のstsd boxに格納される。ここで、このSample description boxおよびstsd boxは上述のtrak boxの一つであり他階層のものである。
【００４２】
またSample_description_indexもmdat boxの個数分に対応して作成しmoov box内のstsc boxに格納する。例えばmdat boxがN個あり、それぞれのシーンを記述する全てのSample descriptionで共通していないとするならば「Sample_description_index＝N」と定義する。また全てのシーンにおいてSample descriptionが共通であれば、「Sample_description_index＝１」と定義する。
【００４３】
MP４データ出力部４０６は、MP４多重化部４０５で多重化されたMP４データを外部に出力する機能を有している。
【００４４】
図５は、本実施形態におけるシーン数がN個であった場合の多重化後のmoov boxの構造と格納された情報の一例を示す概略図である。moov boxに格納されるdref boxにそれぞれのmdat boxの存在場所をしめすurl boxをmdat boxの個数分（シーン数分）作成し、格納する。図５にシーン数がN個であった場合のmoov boxの構造と格納された情報の概略図を示す。図５ではmoov box内の階層構造はMP４ファイルフォーマットに準拠するものとし、上位の階層は省略して記載してある。
【００４５】
図６は多重化される前の映像データと音声データのシーンの分割方法の一例を示す図である。一般に符号化された映像データは、フレームの符号化の単位に従いランダムアクセスが可能なポイントが限定されており、ここでいうシーンの分割は必ずランダムアクセスが可能なポイントで行なわれる。シーンの実際の分割方法としては、実施の際の実装に依存し、短い映像データであるならばランダムアクセスの可能な全てのポイントで分割することも考えられ、またある程度の長さを持った映像データであるならば、所定時間経過毎にランダムアクセスの可能なポイントで分割を行なったり、大きく映像データの情報が切り替わるランダムアクセス可能なポイントでシーンの分割を行なうことも考えられるため、本実施形態では特に限定しない。しかし、どのような分割方法であったとしても、Sample descriptionが変化するポイントではシーンは異なるものとし、分割を行なう。
【００４６】
音声データに関しては、ランダムアクセスが不可能なポイントというのは存在せず、どのポイントでも分割可能であるため、図のように映像データのシーン分割の箇所に対応する箇所でシーン分割を行なう。
【００４７】
図７は本実施形態における多重化装置３０４の処理フローの一例を示すフロー図である。
【００４８】
まず、映像データ指定部４０１、音声データ指定部４０３が多重化装置３０４外部より映像データ、音声データをそれぞれ分離したデータ形式で取得する（S７０１）。次に映像データ解析部４０２、音声データ解析部４０４がそれぞれ受信した映像データ、音声データの解析を行い（S７０２）、解析によって得られたシーン情報、多重化処理に必要となる情報をMP４多重化処理部４０５に送信する。MP４多重化処理部は受信した情報を元に、まず映像データの中のシーン数が２つ以上であるかどうかを判別する（S７０３）。シーン数が１であるならば（No）、シーン分割が行なわれないのでmdat boxを一つ作成し、そこに全メディアデータを格納する。またシーン数が１であるならば、Sample descriptionも一つなのでSample_description_indexに関して、Sample_description_index＝１とする（S７０４）。S７０３においてシーン数が2以上であれば（Yes）、次にSample descriptionが全てのシーンにおいて共通か、否かの判別を行う（S７０５）。全てのシーンでSample descriptionが共通であるならば（Yes）、シーン数分mdat boxを作成し、最初のmdat boxよりシーン毎のメディアデータをそれぞれ時系列的に格納する。またそれに対応するurl boxを作成する。さらにSample descriptionは全てのシーンにおいて共通なので、Sample_description_index＝１とする（S７０６）。S７０５においてメディアデータにSample descriptionが異なるシーンが存在するならば（No）、S７０６と同様にシーン数分のmdat box、url boxを作成する。また、それぞれのmdat boxに格納されるメディアデータに対応するSample descriptionをmdat box毎に用意し、Sample_description_index＝Nとする（S７０７）。これらの処理によってmdat box毎に格納されたメディアデータとmoov box内に格納されたSample descriptionとの対応関係の判別が可能な形式となる。次に、S７０４、S７０６、S７０７の次のフローとして多重化装置３０４はMP４ファイルフォーマットに準拠してMP4データを構築する（S７０８）。最後に構築したMP４データをMP４データ出力部４０６より多重化装置３０４外部へ出力し、一連の多重化処理フローは終了となる。
【００４９】
以上の方法により、mdat doxがシーン数個存在し、それぞれに各シーンが格納されたmＭＰ４データが作成できる。ここで本実施形態によって得られたMP４データを元データとして新たなMP４データを作成する場合の編集処理方法を説明する。
【００５０】
図８は本実施形態の多重化処理によって得られたMP４データの編集方法の一例を示した図である。本実施形態においては、得られたMP４データ（a）、（b）、（c）の中のmdat boxを切り出し、１つのMP４データ（d）に纏める編集処理を考える。
【００５１】
図８に示すようにMP４データ（a）より、mdat dox[A]、mdat dox[C]、MP４データ（b）より、mdat dox[B]、MP４データ（c）より、mdat dox[D]を切り出し、一つのMP４データ（d）に纏める編集処理を行う場合、従来の多重化装置で多重化されたMP４データのように多重分離し、再び多重化を行なう等の処理を行う必要が無い。本実施形態で得られたMP４データに関して同様の編集を行なう場合は、mdat dox[A]、 [B]、[C] 、[D]をそれぞれのMP４データより切り出し、並べるのみで実体データを格納するmdat boxに関する編集処理は終了となる。後に実体データに対応するようにmoov box内にメタデータを作成することで、編集されたMP４データが完成する。ここでmdat boxにも他のbox同様に先頭にboxのサイズがヘッダ情報として格納されているため、メタデータ作成の際これを利用してもよい。
【００５２】
本実施形態ではmdat box内の実体データに関しては再多重化等の処理を行う必要が無く、mdat boxを並べるのみの作業で編集が可能であり、moov box内のメタデータの作成を行うのみで編集が可能なため処理が簡単であり、情報処理装置のデータ処理負担も軽いものとなる。
【００５３】
元のMP４データより切り取りってきたmdat boxには対応するSample descriptionが存在するため、編集後のMP４データのメタデータの編集に関して、Sample descriptionは編集前のMP４データ（a）、（b）、（c）におけるSample descriptionをそのまま利用することができる。元のMP４データのmdat boxと、moov box内に格納されたSample descriptionを編集時に抽出するときの対応を示した図が図９となる。
【００５４】
ここで図９を用いて元のMP４データのmdat boxと、Sample description編集時に抽出するときの対応について説明する。図９−A〜図９−Cでは編集元のMP４データの状態に分類して示してある。
【００５５】
図９−Aでは「mdat boxの個数＝１」の場合のmdat boxとSample descriptionの対応を示してる。mdat boxの個数＝１（シーン数＝１）のMP４データでは当然Sample descriptionも一つとなるので、MP４データのmdat boxを利用する場合はmdat 1にSample description 1を対応付けて編集作業に利用する。
【００５６】
図９−Bでは「mdat boxの個数＝N、Sample description共通」の場合を示している。これはmdat boxの個数＝Nよってシーン数＝Nであるが、全シーンにおいてSample descriptionが共通である場合（Sample_description_index＝１）である。このときいずれのmdat boxを切り出す場合にもSample description １を対応付けて編集作業に利用する。
【００５７】
図９−Cでは「mdat boxの個数＝N、共通でないSample descriptionが存在する」場合を示している。これはmdat boxの個数＝Nよりシーン数＝Nであり、シーンによって共通でないSample descriptionが存在する場合（Sample_description_index＝N）である。このときmoov box内にmdat boxと同じ順番で対応するSample descriptionが格納されているため、同順番のmdat boxとSample descriptionを対応付けて編集作業に利用する。
【００５８】
上述のようにmdat box毎に対応するSample descriptionを元のMP４データより運用することでmdat box毎の符号化情報を気にすることなく編集を行なうことが可能である。本実施形態ではMP４データ多重化の際、Sample description等についてのみ、それぞれのmdat boxに対応して作成して例示したが、これに限定されるものではなく、他のメタデータに関してもmdat boxに対応するよう作成しておけば、編集の際にSample description同様に利用できるものと考えられる。
【００５９】
また、本実施形態では編集作業として多重化装置３０４によって多重化されたMP４を切り出し、新たなMP４データを作成する編集作業を例示したが、これに限定されるものではなく、多重化したMP４データからのmdat boxの削除や、他のMP４データへのmdat boxの付加などmdat box単位でデータを自由に動かすことが可能であるということから様々な編集処理について応用可能である。
【００６０】
本発明では、MP４ファイルフォーマットのノンフラグメント方式ファイルにおいて、後の編集処理を効率的に行なうことのできるMP４ファイル作成することができる。
【００６１】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具現化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【図面の簡単な説明】
【００６２】
【図１】MP４形式のデータ構造の一例を示す図。
【図２】従来の多重化装置を用いて多重化処理を行った従来のMP４ファイルと本実施形態において多重化処理を行ったMP４ファイルのデータ構造の一例を示す図。
【図３】本実施形態における多重化処理を実現するための情報処理装置の構成の一例を示すブロック図
【図４】本実施形態における多重化装置の構成の一例を示すブロック図。
【図５】本実施形態におけるシーン数がN個であった場合の多重化後のmoov boxの構造と格納された情報の一例を示す概略図
【図６】本実施形態における多重化処理前の映像データと音声データのシーンの分割方法の一例を示す図
【図７】本実施形態における多重化装置の処理フローの一例を示すフロー図
【図８】本実施形態の多重化処理によって得られるMP４データの編集方法の一例を示した図
【図９】mdat boxとSample descriptionの編集時における対応の一例を示す図。
【符号の説明】
【００６３】
２０１：従来の形式のMP４ファイル
２０２：本実施形態において多重化されたMP４ファイル
３０１：CPU
３０２：Mメモリ
３０３：HDD
３０４：多重化装置
３０５：ODD
３０６：ネットワークI/F
３０７：音声I/F
３０８：映像I/F
３０９：バス
４０１：映像データ指定部
４０２：映像データ解析部
４０３：音声データ指定部
４０４：音声データ解析部
４０５：MP４多重化部
４０６：MP４データ出力部
【図１】
2010086615.tif 000003
【図２】
2010086615.tif 000004
【図３】
2010086615.tif 000005
【図４】
2010086615.tif 000006
【図５】
2010086615.tif 000007
【図６】
2010086615.tif 000008
【図７】
2010086615.tif 000009
【図８】
2010086615.tif 000010
【図９】
2010086615.tif 000011