(57)【要約】【課題】ビデオフレームを複数個で１単位とする際の、ＭＰ４ヘッダ部をリアルタイム作成記録可能とする手段の提供。【解決手段】データ記録手段１１は、ビデオフレームデータを入力し、最大Ｎ個（Ｎは１以上の整数）のフレームを１単位にまとめて出力するとともに、符号化フレームタイプを情報保持手段１２に出力してデータ部５０３の一部をなすように記録し、ヘッダ部作成手段１３は、１つの基本ヘッダとＬ個（Ｌは０以上の整数）以上の分割ヘッダ部とを生成し、フレーム数のパタンを網羅する複数個のエントリを生成して基本ヘッダ部に含める。【選択図】  図１
2004158928.tif 000002
【特許請求の範囲】
【請求項１】
ビデオフレームデータを入力し、最大Ｎ個（Ｎは１以上の整数）のフレームを１単位にまとめて記録するデータ記録手段と、１つの基本ヘッダとＬ個（Ｌは０以上の整数）以上の分割ヘッダ部とを生成記録するヘッダ記録手段からなり、前記ヘッダ記録手段は、データ記録部が単位化したフレーム数のパタンを網羅する複数個のエントリを生成して基本ヘッダ部に含めることを特徴とするデータ記録装置。
【請求項２】
前記ヘッダ記録手段はエントリをＮ個生成し、各エントリに設けた単位あたりのフレーム数を示す領域に、第ｎ番目（ｎは１以上Ｎ以下の整数）のエントリにおける前記領域の値がｎとなるようにすることを特徴とする、請求項１記載のデータ記録装置。
【請求項３】
前記各単位における第１番目のフレームがＩフレームまたはＰフレームであることを特徴とする請求項１記載のデータ記録装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像データや音声データを多重化したファイルを作成するデータファイル作成方法、及びデータファイル作成装置に関するものである。
【０００２】
【従来の技術】
圧縮符号化された画像データ、音声データを多重化し、例えば光ディスクに記録する代表的なフォーマットとして、ＩＳＯ／ＩＥＣ／ＳＣ２９／ＷＧ１１／ＭＰＥＧで規格化されたＭＰ４ファイルフォーマット（ＩＳＯ／ＩＥＣ  １４４９６−１：２００１）がある。ＭＰ４ファイルフォーマットでは、データ部に格納される各ビデオフレームについて、フレームサイズや復号時刻などの情報をヘッダ部に記述するのが通常であるが、必要性があれば、複数のビデオフレームを１単位にまとめることが可能である。ＭＰ４規格ではこの単位を「サンプル」と呼ぶが、ここでは「単位」という用語を使用する。１単位に含まれるフレーム数は、ヘッダ部中に指定する必要がある。図５（ａ）は、ＭＰ４データ構造を示す概略図である。ＭＰ４ファイル５０１はヘッダ部５０２、データ部５０３からなる。データ部５０３は、オーディオデータ５０４１、５０４２、ビデオデータ５０５１、５０５２が任意の単位で配置されている。ビデオの場合、各単位には、ビデオフレームを整数個格納する。この単位に含まれるビデオフレーム数は、ヘッダ部５０２における、ビジュアルサンプルエントリ５０６のフレームカウントフィールド５０７で指定される。なお、図５（ｂ）に示すように、ＭＰ４ではデータ部がヘッダ部より先にくるように配置したり、（ｃ）に示すようにヘッダ部とデータ部をそれぞれ独立したファイルとしたりすることも可能である。さらに、ＭＰ４ファイルフォーマットでは、図Ｙに示すように、基本ヘッダ部５０２の後、分割ヘッダ部５０８１、５０８２と、分割データ部５０９１、５０９２のようにヘッダ部とデータ部を繰り返し記述できるような構成も可能である。この構造では、一定時間毎にヘッダ部とデータ部を記録媒体に追記できるため、記録時間長の増大にも容易に対応できる。なお、図Ｙに示すようなデータ構造のＭＰ４ファイルであっても、複数のビデオフレームを１単位とする際は、１単位に含まれるビデオフレーム数を基本ヘッダ部５０２のエントリにおけるフレームカウントフィールド５０７で指定する必要がある。
【０００３】
【発明が解決しようとする課題】
しかしながら、リアルタイムにデータを符号化しながら記録するような機器では、１単位に含まれるビデオフレーム数が固定であっては不都合が生じる場合がある。例えば、あるビデオフレームの表示継続時間が通常のフレームの２倍となった場合、そのフレームを含む単位については通常のフレームのみで構成される単位より、１フレーム少ない数とすると、単位あたりの表示継続時間を一定化できる。画面内符号化フレーム（Ｉフレーム）と、予測符号化フレーム（ＰフレームあるいはＢフレーム）が混在するＭＰＥＧ１、ＭＰＥＧ２、ＭＰＥＧ４等では、一定時間毎にＩフレームを挿入するのは一般的である。例えば１秒あたり１０フレームを基本とし、１秒毎にＩフレームを挿入する場合、通常は１０フレーム毎にＩフレームとなる。この時、１単位を１０フレームとすれば、各単位の先頭フレームはＩフレームとなる。しかし、何らかの都合で、１秒間に９フレームしか符号化できなかった場合、１単位を１０フレーム固定とすると、その次の単位からは、単位の第１フレームにくるべきＩフレームが、最終フレームに格納されることになってしまう。
【０００４】
【課題を解決するための手段】
本発明は、以上の課題を解決するためになされたものであって、ヘッダ部５０２の作成時、複数のサンプルエントリをヘッダ部５０２に記録し、各サンプルエントリに設けられた異なるフレームカウントフィールドの値によって１単位が含むフレーム数のとり得る可能性のある値を網羅し、データ部５０３、および分割データ部５０９１、５０９２に記録された各単位が含むフレーム数を可変にして、たとえフレームスキップ等が発生した場合であっても、各単位の第１フレームをＩフレームあるいはＰフレームとすることを可能とするものである。
【０００５】
本発明の請求項１におけるデータ記録装置は、ビデオフレームデータを入力し、最大Ｎ個（Ｎは１以上の整数）のフレームを１単位にまとめて記録するデータ記録手段と、１つの基本ヘッダとＬ個（Ｌは０以上の整数）以上の分割ヘッダ部とを生成記録するヘッダ記録手段からなり、前記ヘッダ記録手段は、データ記録手段が単位化したフレーム数のパタンを網羅する複数個のエントリを生成して基本ヘッダ部に含めることを特徴とするものである。
【０００６】
本発明の請求項２におけるデータ記録装置は、請求項１におけるデータ記録装置において、前記ヘッダ記録手段はエントリをＮ個生成し、各エントリに設けた単位あたりのフレーム数を示す領域に、第ｎ番目（ｎは１以上Ｎ以下の整数）のエントリにおける前記領域の値がｎとなるようにすることを特徴とするものである。
【０００７】
本発明の請求項３におけるデータ記録装置は、請求項１におけるデータ記録装置において、前記各単位における第１番目のフレームがＩフレームまたはＰフレームであることを特徴とするものである。
【０００８】
【発明の実施の形態】
本発明にかかるデータ記録装置は、ビデオソースを入力して符号化しながら符号化データを格納するデータ部、符号化データに関するサイド情報を格納するヘッダ部を生成、半導体メモリカード、光ディスクやハードディスク等の記録媒体にファイルとして記録するものである。
【０００９】
（実施の形態１）
実施の形態１におけるデータ記録装置では、ビデオソース信号を入力し、国際標準規格であるＭＰＥＧ４規格で圧縮符号化し、ＭＰ４ファイル形式でファイル出力する。１秒あたりの基本符号化フレーム数は最大３０枚、Ｉフレームの周期は１５、すなわち０．５秒に一度はＩフレームで符号化する。しかし、フレームスキップが発生した場合、秒あたりの符号化フレーム数は３０未満となることがあるものとする。また、第１フレームは画面内符号化フレーム（Ｉフレーム）とし、それ以降は、第１フレームの符号化から、Ｎ秒（Ｎは０．５の倍数）経過した後に入力したビデオソース信号をＩフレームとして符号化することとする。Ｉフレーム以外の符号化フレームは、予測符号化フレーム（Ｐフレーム、あるいはＢフレームなど）であるとする。フレームスキップが発生しない場合、各単位は１５フレームからなる。
【００１０】
一方、フレームスキップあるいは、可変フレームレート処理によって単位時間（ここでは０．５秒）あたりのフレーム数が１５以下で変動する場合、１単位あたりのフレーム数は１５以下になりうる。
【００１１】
実施の形態１におけるデータ記録装置では、上記のような１単位あたりのフレーム数の変動を前提としてデザインしたものであり、ＭＰ４ファイルで規定される複数のビジュアルサンプルエントリを用意するものである。一例として、本実施の形態ではヘッダ部の先頭から第ｎ番目のエントリにおけるフレームカウントフィールドの値をｎとなるように設定し、今、単位あたりのフレーム数の最大値が１５としていることから、最大で１５個のエントリをＭＰ４ファイルのヘッダ部５０２に格納することとした。  以下、図面を用いてデータ記録装置の動作を説明する。
【００１２】
図１は、本発明のデータ記録装置１の構成を示す機能ブロック図である。
データ記録手段１１は、ビデオソースを入力してＭＰＥＧ４規格に基づいて圧縮符号化し、データ部５０３の構成要素として出力する。この際、第１フレームをＩフレームとして符号化し、それ以降は前述したような手順で、Ｉ、ＰあるいはＢフレームで符号化を行う。各フレームについて、フレームタイプを情報保持手段１２に出力する。
【００１３】
情報保持手段１２は、全符号化フレームのフレームタイプを保持する。
ヘッダ部作成手段１３は、図２に示すように、１５個のビジュアルサンプルエントリを格納したヘッダを作成する。第ｎ番目のサンプルエントリは、１単位あたりのフレーム数を示す情報であるフレームカウントフィールドがｎになるように、つまり昇順に設定する。なお、この順に限るものではなく、逆順、あるいはランダムに設定するようにしても良い。あるいは図３に示すように、実際に参照されるフレームカウントだけを記述できる数だけのサンプルエントリに絞っても良い。今、情報保持手段１２が保持しているフレームタイプの情報が、図４のようであるとする。図４の左列の番号はフレーム番号を示し、右列の数値は、０はＩフレーム、１はＰフレーム、２はＢフレームを指示するものとする。第１フレームから順に、Ｉフレームから次のＩフレームが出現するまで、あるいは最終フレームに到達するまでのフレーム数を、全て調べる。今、最終フレームまで調べた結果、実在する単位あたりに取りうるフレーム数が１５と１３しかなかったとすると、図３のようにビジュアルサンプルエントリを２つとし、それぞれフレームカウントフィールドを１５、１３と設定してもよい。しかし、ビジュアルサンプルエントリのデータサイズは、符号化フレームのサイズに比べると非常に小さいので、このような調査をして決定するまでもなく、図２に示したように取りうる可能性のある全てのパタンを網羅しても大きな支障とではない。
【００１４】
また、各単位が各々どのビジュアルサンプルエントリを参照するかを記録したテーブルを作成する。このテーブルは、ビジュアルサンプルエントリと同一のヘッダ部中にある場合、ビジュアルサンプルエントリとは異なる分割ヘッダにある場合のそれぞれが許される。
【００１５】
なお、本実施の形態において、１秒あたりの基本符号化フレーム数を１５として説明したが、これは一例であって、これ以外の任意のフレームレートや可変フレームレートであってもよい。また、第１フレームの符号化時間からＮ秒経過後した際にＩフレームを符号化することとしたが、第１フレームのキャプチャ時間からＮ秒経過後にキャプチャしたフレームを、Ｉフレームとして符号化することとしてもよいし、第１フレームを表示すべき時刻からＮ秒経過後に表示されるべきフレームをＩフレーム符号化するようにしてもよい。また、Ｉフレームの符号化周期を０．５秒としたが、他の周期であっても問題ない。例えば、１秒、２秒などでも良い。また、本実施の形態では、ＭＰ４ファイル５０１は、データ部とヘッダ部の順で１つのファイルに記録されることとしたが、データ部とヘッダ部は別々のファイルとして記録されてもよいし、ヘッダ部とデータ部の順で１つのファイルに記録されてもよい。さらに、１単位の先頭はＩフレームで開始されるようにしたが、１単位の先頭は、ＩフレームあるいはＰフレームであることとしても良い。また、本実施の形態では、データ部記録手段、情報保持手段、ヘッダ部作成手段のようにそれぞれ独立した機能ブロック図として実現したが、これらの処理をパソコンや機器に搭載されたＣＰＵあるいはＭＰＵ、ＤＳＰ等で行うことも可能である。
【００１６】
【発明の効果】
本発明の請求項１におけるデータ記録装置は、ビデオフレームデータを入力し、最大Ｎ個（Ｎは１以上の整数）のフレームを１単位にまとめて記録するデータ記録手段と、１つの基本ヘッダとＬ個（Ｌは０以上の整数）以上の分割ヘッダ部とを生成記録するヘッダ記録手段からなり、前記ヘッダ記録手段は、データ記録手段が単位化したフレーム数のパタンを網羅する複数個のエントリを生成して基本ヘッダ部に含めるため、次のような効果が得られる。
【００１７】
第１に、全符号化フレームのフレームタイプを調べて単位あたりに含まれるフレーム数を、全単位について調査する必要がなく、ヘッダ作成処理にかかるＣＰＵ負荷軽減、および処理時間削減可能という効果が得られる。
【００１８】
第２に、１つの基本ヘッダを予め作成して記録できるため、一定時間毎に符号化したフレームデータのヘッダ情報を分割ヘッダとして記録可能となり、ヘッダ情報さ区政に必要とするメモリ量を削減できるという効果が得られる。
【００１９】
本発明の請求項２におけるデータ記録装置は、請求項１におけるデータ記録装置において、前記ヘッダ記録手段はエントリをＮ個生成し、各エントリに設けた単位あたりのフレーム数を示す領域に、第ｎ番目（ｎは１以上Ｎ以下の整数）のエントリにおける前記領域の値がｎとなるようにするため、請求項１による効果に加え、異なる複数のＭＰ４ファイル間でエントリを共通化できるため、複数のファイルから１つのＭＰ４ファイルに編集する際に、エントリの追加削除が不要となり、各単位が各々どの差エントリを参照するかを記録したテーブルの変更も不要となるなど、編集時のヘッダ修正が高速にかつ容易に行えるという効果が得られる。
【００２０】
本発明の請求項３におけるデータ記録装置は、請求項１におけるデータ記録装置において、前記各単位における第１番目のフレームがＩフレームまたはＰフレームであるため、高速再生の実行時に各単位の先頭フレームだけを取り出すだけでよい。また、データ部にビットエラーが発生した場合でも、ＩフレームあるいはＰフレームで復号化を再開できるため、特にビットエラーの発生しうる記録媒体でのエラー耐性が向上する。とりわけ、各ビデオフレームの開始位置が、スタートコードで明示されないようなビデオ符号化ストリームデータをデータ部に記録する場合は、ＩフレームおよびＰフレームが単位データの先頭に配置されるようにし、単位データの第２フレーム以降をＢフレームとすることが可能となるため、エラー耐性が大きく改善する。
【図面の簡単な説明】
【図１】本発明の実施の形態１によるデータ記録装置の機能ブロック図
【図２】本発明のデータ記録装置によるＭＰ４ファイルのヘッダ部の一例を示す図
【図３】本発明のデータ記録装置によるＭＰ４ファイルのヘッダ部の一例を示す図
【図４】情報保持手段が保持するデータの一例を示す図
【図５】ＭＰ４ファイルフォーマットのデータ構造を説明するためのデータ構造図
【図６】ＭＰ４ファイルフォーマットのデータ構造を説明するためのデータ構造図
【符号の説明】
１    データ記録装置
１１    データ部記録手段
１２    情報保持手段
１３    ヘッダ部作成手段
５０１    ＭＰ４ファイル
５０２    ヘッダ部
５０３    データ部
【図１】
2004158928.tif 000003
【図２】
2004158928.tif 000004
【図３】
2004158928.tif 000005
【図４】
2004158928.tif 000006
【図５】
2004158928.tif 000007
【図６】
2004158928.tif 000008