(57)【要約】【課題】大きな容量を必要とするヘッダを記憶するメモリを使用することなく、記録媒体にＭＰＥＧファイル記録し、再生する。【解決手段】画像データの入力手段と、入力された画像データを符号化単位毎に符号化してストリーム画像データを生成する符号化手段と、記録モード設定手段と、記録モード設定手段からの制御信号に従ってストリーム画像データにおける符号化単位の最大符号量を設定する最大符号量設定手段と、最大符号量設定手段に基づきストリーム画像データの符号化単位の符号量を最大符号量以内となるように符号化手段を制御する符号量制御手段と、符号化手段により生成されたストリーム画像データと最大符号量を示す付加情報とを記録媒体に記録する記録手段と、を有する画像データ記録装置。【選択図】図１
2007109329.tif 000002
【特許請求の範囲】
【請求項１】
画像データの入力手段と、
入力された前記画像データを符号化単位毎に符号化してストリーム画像データを生成する符号化手段と、
記録モード設定手段と、
前記記録モード設定手段からの制御信号に従って前記ストリーム画像データにおける前記符号化単位の最大符号量を設定する最大符号量設定手段と、
前記最大符号量設定手段に基づき前記ストリーム画像データの前記符号化単位の符号量を前記最大符号量以内となるように前記符号化手段を制御する符号量制御手段と、
前記符号化手段により生成された前記ストリーム画像データと前記最大符号量を示す付加情報とを記録媒体に記録する記録手段と、を備えることを特徴とする画像データ記録装置。
【請求項２】
前記ストリーム画像データはＭＰＥＧ２あるいはＭＰＥＧ４の画像データである、ことを特徴とする請求項１に記載の画像データ記録装置。
【請求項３】
前記符号化単位はＧＯＰである、ことを特徴とする請求項１に記載の画像データ記録装置。
【請求項４】
前記符号化手段はフレーム内符号化とフレーム間予測符号化とを用いて符号化を行い、
前記付加情報は更に前記各符号化単位の符号量及び前記各符号化単位内のフレーム内符号化データのデータ量の情報を含む、ことを特徴とする請求項１に記載の画像データ記録装置。
【請求項５】
前記記録媒体に記録されたストリーム画像データと付加情報とを再生する再生手段と、
前記再生手段により再生された付加情報における最大符号量の情報に基づいて前記再生手段による前記ストリーム画像データの再生動作を制御する再生制御手段と、を更に備えた、ことを特徴とする請求項１に記載の画像データ記録装置。
【請求項６】
前記再生制御手段は、早送り再生の指示に応じ、前記最大符号量の情報に基づいて決定した位置より所定フレームの前記ストリーム画像データを再生するように前記再生手段を制御する、ことを特徴とする請求項５に記載の画像データ記録装置。
【請求項７】
ストリーム画像データの符号化単位の符号量を所定の最大符号量以内とされた前記ストリーム画像データと前記最大符号量を示す付加情報とが記録された記録媒体より前記ストリーム画像データと前記付加情報とを再生する再生手段と、
前記再生手段により再生された前記付加情報における前記最大符号量の情報に基づいて前記再生手段による前記ストリーム画像データの再生動作を制御する再生制御手段と、を備えた、ことを特徴とする画像データ再生装置。
【請求項８】
前記ストリーム画像データはフレーム内符号化とフレーム間予測符号化とを用いて符号化されており、
前記再生制御手段は、前記早送り再生時において、前記フレーム内符号化された画像データのみを再生するように前記再生手段を制御する、ことを特徴とする請求項５に記載の画像データ記録装置。
【請求項９】
前記符号化単位はそれぞれ前記フレーム内符号化された画像データを含み、
前記付加情報は更に、前記各符号化単位における前記フレーム内符号化データのデータ量の情報を含み、
前記再生制御手段は、前記早送り再生時において、前記フレーム内符号化データのデータ量の情報に基づいて前記フレーム内符号化された画像データのみを再生するよう前記再生手段を制御する、ことを特徴とする請求項８に記載の画像データ記録装置。
【請求項１０】
画像データの入力工程と、
入力された前記画像データを符号化単位毎に符号化してストリーム画像データを生成する符号化工程と、
記録モード設定工程と、
前記記録モード設定工程からの制御信号に従って前記ストリーム画像データにおける前記符号化単位の最大符号量を設定する最大符号量設定工程と、
前記最大符号量設定工程に基づき前記ストリーム画像データの前記符号化単位の符号量を前記最大符号量以内となるように前記符号化工程を制御する符号量制御工程と、
前記符号化工程により生成された前記ストリーム画像データと前記最大符号量を示す付加情報とを記録媒体に記録する記録工程と、を備えることを特徴とする画像データ記録方法。
【請求項１１】
前記記録媒体に記録されたストリーム画像データと付加情報とを再生する再生工程と、
前記再生工程により再生された付加情報における最大符号量の情報に基づいて前記再生工程による前記ストリーム画像データの再生動作を制御する再生制御工程と、を更に備えた、ことを特徴とする請求項１０に記載の画像データ記録方法。
【請求項１２】
請求項１０または１１に記載された画像データ記録方法の各工程をコンピュータに実行させるためのコードが記述されたプログラム。
【請求項１３】
請求項１２に記載されたプログラムの前記コードが記録されたコンピュータで読取可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像データ記録装置、画像データ再生装置、画像データ記録方法、プログラム及び記録媒体に関し、特にフレーム間符号化を用いたＭＰＥＧフォーマットの動画像データを記録及び、または再生する画像データ記録装置、画像データ再生装置、画像データ記録方法、プログラム及び記録媒体に関するものである。
【背景技術】
【０００２】
近年、デジタルビデオカメラやデジタルスチルカメラ等でＭＰＥＧ（Moving Picture Experts Group）などのフレーム間符号化を用いて符号化された動画像データを記録再生する装置が普及している。デジタルビデオカメラ、デジタルスチルカメラ等で撮影されたＭＰＥＧ（ＭＰＥＧ−２またはＭＰＥＧ−４フォーマット）の画像データを記録する汎用フォーマットとしてＭＰ４（ＭＰＥＧ−４）ファイルフォーマットが用いられ、ＭＰ４ファイルとして記録することで、他のデジタル機器で再生できるなどの互換性が保証される。
【０００３】
ＭＰ４ファイルは 基本的には、図５（ａ）に示すように、符号化されたストリーム画像データが入っている mdat ボックスと、ストリーム画像データに関連する情報が入っている moov ボックスとから構成されている。 mdat ボックスの中はさらに、図５（ｂ）に示すように複数のチャンク（chunk cN）で構成され、各チャンクは図５（ｄ）に示すように複数のサンプル（sample sM）から構成される。各サンプルは例えば図５（ｅ）に示すように、sample s1、sample s2、sample s3、samples4、・・・に対してＩ０、Ｂ-２、Ｂ-１、Ｐ３、・・・の符号化されたＭＰＥＧ画像データが対応する。
【０００４】
ここで、Ｉ０、Ｉ１、Ｉ２、・・・、Ｉｎ はイントラ符号化（フレーム内符号化）されたフレーム画像データであり、Ｂ０、Ｂ１、Ｂ２、・・・、Ｂｎ は双方向から参照して符号化（フレーム間符号化）されるフレーム画像データであり、Ｐ０、Ｐ１、Ｐ２、・・・、Ｐｎ は一方向（順方向）から参照して符号化（フレーム間符号化）されるフレーム画像データであり、いずれも可変長符号データである。
【０００５】
moov ボックスは図５（ｃ）に示すように、作成日時等が記録されるヘッダ情報から成る mvhd ボックスと mdat ボックスに格納されたストリーム画像データに関する情報を入れる trak ボックスから成る。trak ボックスに格納される情報としては、図５（ｈ）に示すように、 mdat ボックスの各チャンクへのオフセット値の情報を格納する stco ボックスや、図５（ｇ）に示すように各チャンク内のサンプル数の情報を格納する stsc ボックス、図５（ｆ）に示すように各サンプルのサイズの情報を格納する stsz ボックスがある。
【０００６】
従って上記の stcoボックス、stscボックス、stsz ボックスに格納されるデータのデータ量は、記録された画像データの量、すなわち記録時間と伴に増大していく。例えば１秒間３０フレームの画像を１５フレーム毎１チャンクに格納するようにしてＭＰ４ファイルとして記録していった場合、２時間で１Ｍbytesほどのデータとなり、１Ｍbytes の 容量を有する moov ボックスが必要となる。
【０００７】
このＭＰ４ファイルを再生する場合、記録媒体からＭＰ４ファイルの moov ボックスを読み込み、その moov ボックスから上記の stco ボックス、stsc ボックス、stsz ボックスを解析して、mdat ボックス内の各チャンクへのアクセスが出来るようになる。
【０００８】
しかし、moov ボックスのデータ量は記録時間とともに増大するものであり、ストリーム画像データへのアクセス情報である moov ボックスデータを全てデジタルビデオカメラやデジタルカメラ等の携帯型機器の機器本体に読み込むためには大きな容量のメモリを必要とする。
【０００９】
このような問題に対処するために特許文献１では、moov ボックスのデータとは別にストリーム画像データにアクセスするための情報を選別して別のデータとし、ＭＰ４ファイルにリンクする情報と共に別ファイルとして記録しておく。再生時はその別ファイルからＭＰ４のストリーム画像データへアクセスするようにすることで、再生時、ストリーム画像データへのアクセス情報を展開するメモリの容量を削減することが提案されている。
【００１０】
しかし上記のような場合、mdat ボックス内のストリーム画像データへのアクセス情報を選別してアクセス情報の縮小を図っているが、記録時間の増大と伴に大きくなることは変わりなく、またアクセスデータを別ファイルとして記録しておくので、記録媒体でＭＰ４ファイルをコピーしても使うことができない。
【特許文献１】特開２００４−１２８９３８号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
上記で説明したように記録媒体に記録されたＭＰ４ファイルを再生する場合、ストリーム画像データへのアクセス情報を格納するためには再生装置本体に大きなメモリ容量を必要とするという問題がある。ストリーム画像データへのアクセス情報を選別してアクセス情報の縮小を図っても、記録時間の増大と共に大きくなることには変わりなく、またアクセスデータを別ファイルとして記録しておくと、記録媒体間でＭＰ４ファイルをコピーしても、再生装置本体では、コピーして作成したＭＰ４ファイルを再生できないという問題がある。従って、本発明は少ないメモリ容量で記録媒体に記録されたＭＰ４ファイルの再生を可能とすることを目的とする。
【課題を解決するための手段】
【００１２】
本発明の１実施形態においては、画像データの入力手段と、入力された画像データを符号化単位毎に符号化してストリーム画像データを生成する符号化手段と、記録モード設定手段と、記録モード設定手段からの制御信号に従ってストリーム画像データにおける符号化単位の最大符号量を設定する最大符号量設定手段と、最大符号量設定手段に基づきストリーム画像データの符号化単位の符号量を最大符号量以内となるように符号化手段を制御する符号量制御手段と、符号化手段により生成されたストリーム画像データと最大符号量を示す付加情報とを記録媒体に記録する記録手段と、を備える画像データ記録装置を提供する。
【００１３】
本発明の他の実施形態においては、前記の本発明の実施形態において、記録媒体に記録されたストリーム画像データと付加情報とを再生する再生手段と、再生手段により再生された付加情報における最大符号量の情報に基づいて再生手段による前記ストリーム画像データの再生動作を制御する再生制御手段と、を更に備えた画像データ記録装置を提供する。
【００１４】
本発明の他の実施形態においては、ストリーム画像データの符号化単位の符号量を所定の最大符号量以内とされた前記ストリーム画像データと前記最大符号量を示す付加情報とが記録された記録媒体より前記ストリーム画像データと前記付加情報とを再生する再生手段と、再生手段により再生された前記付加情報における前記最大符号量の情報に基づいて再生手段によるストリーム画像データの再生動作を制御する再生制御手段と、を備えた画像データ再生装置を提供する。
【００１５】
本発明のさらに他の実施形態においては、画像データの入力工程と、入力された画像データを符号化単位毎に符号化してストリーム画像データを生成する符号化工程と、記録モード設定工程と、記録モード設定工程からの制御信号に従ってストリーム画像データにおける符号化単位の最大符号量を設定する最大符号量設定工程と、最大符号量設定工程に基づきストリーム画像データの符号化単位の符号量を最大符号量以内となるように符号化工程を制御する符号量制御工程と、符号化工程により生成されたストリーム画像データと最大符号量を示す付加情報とを記録媒体に記録する記録工程と、を備える画像データ記録方法を提供する。
【００１６】
本発明のさらに他の実施形態においては、前記の実施形態において、記録媒体に記録されたストリーム画像データと付加情報とを再生する再生工程と、再生手段により再生された付加情報における最大符号量の情報に基づいて再生工程によるストリーム画像データの再生動作を制御する再生制御工程と、を更に備えた画像データ記録方法を提供する。
【００１７】
本発明のさらに他の実施形態においては、前記の実施形態における画像データ記録方法の各工程をコンピュータに実行させるための手順が記述されたプログラムを提供する。
【００１８】
本発明のさらに他の実施形態においては、前記の実施形態におけるプログラムのコードが記録されたコンピュータで読取可能な記録媒体を提供する。
【発明の効果】
【００１９】
本発明の１実施形態における画像データ記録装置によれば、記録媒体上に記録されたストリーム画像データを再生するにあたり、大きな容量を必要とするヘッダを記憶するメモリが不要になった。
【発明を実施するための最良の形態】
【００２０】
本発明の第１の実施形態について図１を用いて説明する。図１は、本願の１実施形態の画像信号記録装置の記録時のブロック回路を示す。図１において、１０１は映像信号の入力端子で、たとえばカメラヘッドユニットからの撮像された映像信号が入力される。  また、１０２はカメラ信号処理回路、１０３は符号化のためのフレーム順の並べ替え換えを行なう並べ替え回路、１０４は加算回路、１０５はスイッチ回路、１０６はＤＣＴ回路、１０７は量子化回路、１０８は逆量子化回路をそれぞれ示す。さらに、１０９は逆ＤＣＴ回路、１１０は加算回路、１１１はメモリ、１１２は動き補償回路、１１３はスイッチ回路、１１４は可変長符号化回路、１１５はフレームバッファ回路、１１６は符号量制御回路、１１７は記録回路をそれぞれ示す。さらに、１１８は記録媒体、１１９はストリームパラメータ付加回路、１２０はバッファ制御回路、１２１はヘッダ情報生成回路、１２２は最大符号量設定回路、１２３は記録制御回路、１２４は記録制御回路１２３への制御データ入力端子である。
【００２１】
記録開始前に制御データ入力端子１２４から記録モードに関するパラメータとして、画像サイズ情報Ｓｚ（画素）、平均記録レート情報Ｒｔ（ビット／秒）等が設定される。記録に関するパラメータは、たとえば、図示はされないが、ＬＣＤ（Liquid Crystal Display）等の画面上に提示されるタッチパネル形式の入力手段を用いて操作者が設定する画像サイズや画質に関する設定と連動している。記録制御回路１２３は設定された平均記録レート情報Ｒｔを最大符号量設定回路１２２に供給する。
【００２２】
最大符号量設定回路１２２は記録制御回路１２３から設定された平均記録レート情報Ｒｔから符号化に関する符号化単位、例えば１ＧＯＰ（Group Of Picture）当たりの最大の符号化量（Ｖｍａｘ）を算出する。例えば１ＧＯＰ が１５フレームで構成されるとし、３０フレーム／秒の信号とすると、
Ｖｍａｘ＝Ｒｔx ０．５ｘａ（ビット）
のように計算してその結果を、符号量制御回路１１６、ストリームパラメータ付加回路１１９、及びバッファ制御回路１２０に設定する。ここで、ａは、１ＧＯＰ当たりのデータレートの変動分を考慮してＶｍａｘを決定するための所定の定数であり、１以上の任意の値である。ここでは、１．２とする。
【００２３】
カメラヘッドユニットに内蔵された撮像素子で撮像された映像信号は入力端子１０１から入力され、カメラ信号処理回路１０２でカメラ信号から一般的な画像信号に変換されると共に、輝度信号と色差信号に分離されて並べ替え回路１０３に出力される。並べ替え回路１０３では図４に示す時間軸ｔに対してカメラ信号処理回路１０２から出力されてくる各フレーム画像Ｆ−２、Ｆ−１、Ｆ０、Ｆ１、Ｆ２、Ｆ３、Ｆ４、Ｆ５、Ｆ６、・・・を、Ｆ０、Ｆ−２、Ｆ−１、Ｆ３、Ｆ１、Ｆ２、Ｆ６、Ｆ４、Ｆ５、・・・の順に並べ替え、またフレーム内の画像データを符号化単位の小ブロックに分割する処理を行ない、加算回路１０４及びスイッチ回路１０５に出力する。
【００２４】
記録開始時、記録制御回路１２３はスイッチ回路１０５に対して、その可動端子ｃがまず固定端子ａを選択するよう制御し、並べ替え回路１０３からのフレーム画像Ｆ０をＤＣＴ回路１０６に供給する。ＤＣＴ回路１０６はフレーム画像Ｆ０に対して離散コサイン変換（Discrete Cosine Transform、以下ＤＣＴ）変換を施し、量子化回路１０７に供給する。
【００２５】
量子化回路１０７では符号量制御回路１１６から設定された量子化ステップで、ＤＣＴ回路１０６から供給されたＤＣＴ画像データを量子化し、可変長符号化回路１１４と逆量子化回路１０８に供給する。
【００２６】
可変長符号化回路１１４は、量子化されて量子化回路１０７から供給された画像データをハフマン符号等を用いて可変長符号化し、図４に示すように、フレーム画像Ｆ０をフレーム内符号化データＩ０としてフレームバッファ回路１１５に供給する。
【００２７】
逆量子化回路１０８は、量子化されて量子化回路１０７から供給された画像データを逆量子化し、逆ＤＣＴ回路１０９に供給する。逆ＤＣＴ回路１０９は逆量子化回路１０８で逆量子化された画像データを逆離散コサイン変換（逆ＤＣＴ）し、加算回路１１０に供給する。
【００２８】
加算回路１１０は逆ＤＣＴ回路１０９から供給された逆ＤＣＴ画像データに、スイッチ回路１１３から供給されるデータを加算してメモリ１１１に供給する。ここで、スイッチ回路１１３は、記録制御回路１2３の制御によりその可動端子ｃが固定端子ａに接続され、入力された”０”データを加算回路１１０に供給する。従って加算回路１１０は逆ＤＣＴ回路１０９から供給された画像データをそのまま同じ値でメモリ１１１に供給し、メモリ１１１は供給された画像データを記憶する。
【００２９】
フレーム画像Ｆ０の処理が終わると、引き続きフレーム画像Ｆ−２の画像データが並べ替え回路１０３から加算回路１０４及び動き補償回路１１２に入力される。この時、スイッチ回路１０５は記録制御回路１２３の制御により、可動端子ｃは固定端子ｂに接続される。
【００３０】
さらに記録制御回路１２３は動き補償回路１１２を制御し、動き補償回路１１２は、この場合、記録の開始直後なので図４に示すようにフレーム画像Ｆ０のみを参照して予測誤差が最も小さくなるフレーム画像Ｆ０のブロックをメモリ１１１から読み出し加算回路１０４に供給する。
【００３１】
加算回路１０４は並べ替え回路１０３から供給されるフレーム画像Ｆ−２の画像データと動き補償回路１１２から供給されるデータを引き算し、予測誤差データとしてスイッチ回路１０５に供給する。スイッチ回路１０５は加算回路１０４から供給された引き算された予測誤差データをＤＣＴ回路１０６に供給する。ＤＣＴ回路１０６は加算回路１０４から供給される予測誤差データをＤＣＴして量子化回路１０７に供給する。
【００３２】
量子化回路１０７では符号量制御回路１１６から設定された量子化ステップで、ＤＣＴ回路１０６から供給されるＤＣＴ予測誤差データを量子化し、可変長符号化回路１１４に供給する。
【００３３】
可変長符号化回路１１４は量子化回路１０７から供給され、量子化されたＤＣＴ予測誤差データを可変長符号化し、図４に示すようにフレーム画像Ｆ−２をフレーム間符号化データＢ−２としてフレームバッファ回路１１５に供給する。
【００３４】
次のフレーム画像Ｆ−１の処理もフレーム画像Ｆ−２と同様に処理され、可変長符号化回路１１４からフレーム間符号化（双方向予測符号化）データＢ−１としてフレームバッファ回路１１５に供給される。
【００３５】
次にフレーム画像Ｆ３が並べ換え回路１０３から加算回路１０４及び動き補償回路１１２に入力される。この時、スイッチ回路１０５は記録制御回路１２３の制御に従い、可動端子ｃは固定端子ｂに接続される。そして動き補償回路１１２はフレーム画像Ｆ０を参照して予測誤差が最も小さくなるフレーム画像Ｆ０のブロックをメモリ１１１から読み出し加算回路１０４に供給する。
【００３６】
加算回路１０４は並べ替え回路１０３から供給されるフレーム画像Ｆ３の画像データと動き補償回路１１２から供給される動き補償されたフレーム画像Ｆ０のデータを引き算し、予測誤差データとしてスイッチ回路１０５に供給する。スイッチ回路１０５は加算回路１０４から供給された引き算された予測誤差データをＤＣＴ回路１０６に供給する。ＤＣＴ回路１０６は加算回路１０４から供給される予測誤差データをＤＣＴして量子化回路１０７に供給する。
【００３７】
量子化回路１０７では符号量制御回路１１６から設定された量子化ステップで、ＤＣＴ回路１０６から供給されたＤＣＴ予測誤差データを量子化し、可変長符号化回路１１４と逆量子化回路１０８に供給する。
【００３８】
可変長符号化回路１１４は量子化回路１０７から供給され、量子化された予測誤差データを可変長符号化し、図４に示すようにフレーム画像Ｆ３をフレーム間符号化（片方向予測符号化）データＰ３としてフレームバッファ回路１１５に供給する。
【００３９】
逆量子化回路１０８は量子化回路１０７から供給された量子化された予測誤差データを逆量子化し、逆ＤＣＴ回路１０９に供給する。逆ＤＣＴ回路１０９は逆量子化回路１０８で逆量子化された予測誤差データを逆ＤＣＴし、加算回路１１０に供給する。
【００４０】
加算回路１１０は逆ＤＣＴ回路１０９から供給される逆ＤＣＴ予測誤差データにスイッチ回路１１３から供給されるデータを加算してメモリ１１１に供給する。ここで、スイッチ回路１１３は記録制御回路１２３の制御に従って、可動端子ｃは固定端子ｂに接続され、動き補償回路１１２から供給される動き補償されたフレーム画像Ｆ０のデータを加算回路１１０に供給する。従って加算回路１１０は逆ＤＣＴ回路１０９から供給されるＤＣＴ予測誤差データに動き補償回路１１２から供給される動き補償データを加算してメモリ１１１に供給し、メモリ１１１は供給された画像データを記憶する。
【００４１】
次にフレーム画像Ｆ１、Ｆ２が処理されるが、動き補償回路で局所復号されたフレーム画像Ｆ０、Ｆ３の双方向から予測される以外は上記で述べたＦ−２、Ｆ−１の処理と同じであり、可変長符号化回路１１４で可変長符号化され、図４に示すようにフレーム画像Ｆ１、Ｆ２をフレーム間符号化データＢ１、Ｂ２としてフレームバッファ回路１１５に供給される。
【００４２】
以下、フレーム画像Ｆ６、Ｆ４、Ｆ５、Ｆ９、Ｆ７、Ｆ８、Ｆ１２、Ｆ１０、Ｆ１１と処理し、図４に示すようにＰ６、Ｂ４、Ｂ５、Ｐ９、Ｂ７、Ｂ８、Ｐ１２、Ｂ１０、Ｂ１１を得、フレームバッファ回路１１５に順次記憶していく。図４に示すように、Ｆ−２、Ｆ−１、Ｆ０、Ｆ１、・・・、Ｆ１２までが一つの符号化単位になり、符号化データとして、Ｉ０、Ｂ−２、Ｂ−１、Ｐ３、Ｂ１、・・・、Ｐ１２、Ｂ１０、Ｂ１１を得、１つのＧＯＰ（ＧＯＰ０）とされる。
【００４３】
符号量制御回路１１６は最大符号量設定回路１２２から設定された最大符号量（Ｖｍａｘ）に従って、１ＧＯＰの符号量がＶｍａｘを越えないように量子化回路１０７を制御する。フレームバッファ回路１１５に記憶された符号化単位の様子を図３に示す。
【００４４】
符号量制御回路１１６の制御を受けてＧＯＰ０の符号量はＬ０となり、フレームバッファ回路１１５で、図３に示すＬ０位置まで記憶される。ＧＯＰ０のフレームバッファ回路１１５への取り込みが終了した時点で、バッファ制御回路１２０は図３に示すＧＯＰ０の先頭からＶｍａｘ分ずれた位置Ｐ０まで、次のＧＯＰデータの取り込みのポインタをずらし、空き領域にはダミーデータを配置する。
【００４５】
次のＧＯＰ１（Ｉ１５、Ｂ１３、Ｂ１４、Ｐ１８、・・・、Ｐ２７の符号化データ）のフレームバッファ回路１１５への記憶開始位置は、図３に示すＰ０の位置からになり、上記で説明したのと同様に、ＧＯＰ１は符号量制御回路１１６の制御により符号量Ｌ１で生成され、フレームバッファ回路１１５に記憶されるようＧＯＰ１がフレームバッファ回路１１５に取り込まれる。するとバッファ制御回路１２０は、図３に示すＧＯＰ１の先頭からＶｍａｘ分ずれた位置Ｐ１まで次のＧＯＰデータの取り込みのポインタをずらし、空き領域にはダミーデータを配置する。
【００４６】
同様にして図３に示すように、ＧＯＰｎで符号量Ｌｎ（＜ Ｖｍａｘ）となるよう符号化され、次の取り込み位置はＧＯＰｎの記憶開始位置からＶｍａｘ分だけオフセットした位置Ｐｎから始めるということを繰り返す。
【００４７】
フレームバッファ回路１１５に記憶されたデータは記録制御回路１２３からの指示に従い、所定のタイミング、例えば所定数のＧＯＰがフレームバッファ回路１１５に格納されたタイミングで記録回路１１７に供給される。そして、記録回路１１７は記録媒体へ記録するための誤り訂正や記録用の変調等を施して記録媒体１１８にデータを記録する。
【００４８】
上記で説明した符号化データはＭＰ４ファイルに格納されて記録されるが、ヘッダ情報生成回路１２１は、 moov ボックスに格納するヘッダ情報を生成する。各チャンクのサンプル数 cn_num はこの場合、cn_num = １５であり、各サンプルのサイズsn_size は各ＧＯＰｎのピクチャデータＩｎ、Ｂｎ−２、Ｂｎ−１、Ｐｎ＋３、・・・、Ｐｎ＋１２のサイズになる。各チャンクのオフセット cn_offset は、cn_offset = Ｖｍａｘ ×ｎ である。以上は通常のＭＰ４ファイルのパラメータとしてファイルに記述される。
【００４９】
さらにヘッダ情報生成回路１２１は moov ボックスとは別に記録モードを示すユーザーデータを記録するためのフリーボックスＦ−box を生成し、その中に各チャンクへのオフセットの基であるＶｍａｘの値を記述する。
【００５０】
あるいは、ヘッダ情報生成回路１２１はチャンクのオフセット値が一定値の整数倍になるように記録されていることを示すユーザー情報を生成し、moov ボックス内かフリーボックスＦ−box に記述し、ストリームパラメータ付加回路１１９で、各ＧＯＰｎの最初、または各ピクチャ毎にユーザーデータを付加してＶｍａｘの値を挿入してもよい。さらに各ＧＯＰｎの最初、またはフレーム内符号化されたピクチャＩｎにＩｎの符号化サイズＩｎ(size)を記録モードを示すユーザーデータとして付加して記録しておく。さらにＧＯＰｎの長さLｎを各ＧＯＰｎの最初またはフレーム内符号化されたピクチャＩｎにユーザーデータとして付加して記録しておく。
【００５１】
記録終了時、記録媒体１１８に記録されるＭＰ４ファイルは図６に示すように、記録モードを示すユーザーデータが格納されたフリーボックスＦと、 moov ボックスと、チャンクがＶｍａｘ× ｎ に配置された mdat ボックスから成る。ただし、フリーボックスＦは moov ボックス内に配置されてもよい。
【００５２】
次に上記で説明したように生成されたＭＰ４ファイルを再生する場合について図２を用いて説明する。
【００５３】
図２は、本願の１実施形態の画像信号記録装置の再生時のブロック回路を示す。図２において、２０１は記録媒体、２０２は記録媒体からデータを再生する再生回路、２０３はバッファ回路、２０４は可変長復号化回路、２０５は逆量子化回路、２０６は逆ＤＣＴ回路、２０７は加算器、２０８はメモリである。さらに、２０９は動き補償回路、２１０はスイッチ回路、２１１は並べ替え回路、２１２は出力端子、２１３はヘッダ情報解析回路、２１４はストリームユーザーデータ解析回路、２１５は再生制御回路、２１６は制御信号の入力端子である。
【００５４】
再生制御回路２１５の指示を受け、再生回路２０２は記録媒体２０１に記録されたＭＰ４ファイルを再生し、バッファ回路２０３に供給し始めると同時に、ヘッダ情報解析回路２１３がフリーボックスＦを探索し、フリーボックスＦがあり、上記で説明したＭＰ４ファイル構成、つまりチャンクがＶｍａｘ×ｎに配置されていることを記述する、記録モードを示すユーザーデデータがあることを確認する。
【００５５】
ここで確認ができたら、再生制御回路２１５は moov ボックスの mdat 内の格納状況を示す stco ボックス、stsc ボックス、stsz ボックスを記録媒体２０１からすぐに再生せず、mdat ボックスのストリーム画像データを再生し始めるように再生回路２０２を制御する。
【００５６】
再生回路２０２は記録媒体２０１に記録されたファイルの mdat ボックスのストリーム画像データをその先頭アドレスから再生し、バッファ回路２０３に供給する。バッファ回路２０３に記憶されたストリーム画像データはバッファ回路２０３の占有状態等をみて読み出しを始め、可変長符号化回路２０４にストリーム画像データを供給する。可変長復号化回路２０４はバッファ回路２０３から供給される再生されたストリーム画像データを可変長復号し、逆量子化回路２０５に供給する。
【００５７】
逆量子化回路２０５は可変長復号化回路２０４から供給される可変長復号されたストリーム画像データを逆量子化し、逆ＤＣＴ回路２０６に供給する。逆ＤＣＴ回路２０６は逆量子化回路２０５から供給される逆量子化されたデータに逆ＤＣＴを施し、加算回路２０７に供給する。加算回路２０７は逆ＤＣＴ回路２０６から供給される逆ＤＣＴデータとスイッチ回路２１０から供給されるデータを加算する。
【００５８】
ここで記録媒体２０１から再生されるストリーム画像データは、図３、図４に示すようにまずＧＯＰ０のフレーム内符号化されたＩ０が再生されるので、再生制御回路２１５はスイッチ回路２１０の端子aを選択するよう制御し、スイッチ回路２１０は加算回路２０７にデータ”０”を供給する。加算回路２０７はスイッチ回路２１０から供給される”０”データと逆ＤＣＴ回路２０６から供給される逆ＤＣＴデータとを加算して、再生されたフレームＦ０としてメモリ２０８と並べ替え回路２１１に供給する。メモリ２０８は加算回路２０７から供給される加算データを記憶する。
【００５９】
ＧＯＰ０のフレーム内符号化データＩ０の次に再生されるのは双方向予測符号化されたピクチャデータＢ−２、Ｂ−１であり、逆ＤＣＴ回路２０６までの再生手続きは上記フレーム内符号化データＩ０で説明した再生手続きと同様であるので省略する。
【００６０】
逆ＤＣＴ回路２０６から逆ＤＣＴ双方向予測符号化画像データが加算回路２０７に供給される。再生制御回路２１５はこの時、スイッチ回路２１０の可動端子ｃが固定端子ｂを選択するようスイッチ回路２１０を制御し、加算回路２０７に動き補償回路２０９からのデータを供給する。
【００６１】
動き補償回路２０９は再生されてくるストリーム画像データから、符号化時に生成され、ストリーム画像データ内に記録された動きベクトルを検出し、参照ブロックのデータ（この場合は記録開始時であるため、再生されたフレーム内符号化データＦ０からのデータのみ）をメモリ２０８から読み出してスイッチ回路２１０の可動端子ｃに供給する。
【００６２】
加算回路２０７は逆ＤＣＴ回路２０６から供給される逆ＤＣＴされたデータとスイッチ回路２１０から供給される動き補償されたデータを加算し、再生されたフレームＦ−２、Ｆ−１として並べ替え回路２１１に供給する。
【００６３】
次に片方向方向予測符号化されたピクチャデータＰ３が再生され、逆ＤＣＴ回路２０６までの再生手続きは上記フレーム内符号化データＩ０で説明した再生手続きと同様であるので省略する。
【００６４】
逆ＤＣＴ回路２０６から逆ＤＣＴされた片方向予測符号化されたピクチャデータが加算回路２０７に供給される。再生制御回路２１５はこの時、スイッチ回路２１０の可動端子ｃが固定端子ｂを選択するようスイッチ回路２１０を制御し、加算回路２０７に動き補償回路２０９からのデータを供給する。
【００６５】
動き補償回路２０９は再生されてくるストリーム画像データから、符号化時に生成されてストリーム画像データ内に記録された動きベクトルを検出し、参照ブロックのデータ（再生されたフレーム内符号化データＦ０からのデータ）をメモリ２０８から読み出してスイッチ回路２１０の可動端子ｃに供給する。
【００６６】
加算回路２０７は逆ＤＣＴ回路２０６から供給される逆ＤＣＴデータとスイッチ回路２１０から供給される動き補償されたデータを加算し、再生されたフレームＦ３としてメモリ２０８と並べ替え回路２１１に供給する。メモリ２０８は加算回路２０７から供給される加算データを記憶する。
【００６７】
次にピクチャＢ１、Ｂ２が再生されるが、Ｂ−２、Ｂ−１と違うのは、記録開始時のフレームではないため、双方向予測としてフレームＦ０とＦ３から再生されるということ以外は上記Ｂ−２、Ｂ−１で説明したのと同様の手続きをとって再生される。かくして上記で説明したように順次Ｐ６、Ｂ４、Ｂ５、・・・、と再生されていく。
【００６８】
並べ替え回路２１１は順次再生されてくるフレームＦ０、Ｆ−２、Ｆ−１、Ｆ３、Ｆ１、Ｆ２、Ｆ６、Ｆ４、Ｆ５、・・・、をＦ−２、Ｆ−１、Ｆ０、Ｆ１、Ｆ２、Ｆ３、Ｆ４、Ｆ５、Ｆ６、・・・、に並べ換えて出力端子２１２に出力する。
【００６９】
上記ファイル再生開始時にヘッダ情報解析回路２１３はＭＰ４ファイルのフリーボックスＦのユーザーデータから最大符号量（Ｖｍａｘ）を取得している。またストリームユーザーデータ解析回路２１４でも再生されるストリームＧＯＰｎからＶｍａｘを取得できる。さらにストリームユーザーデータ解析回路２１４は再生されるストリームＧＯＰｎからＧＯＰｎのデータ量Ｌｎを取得する。
【００７０】
上記で説明したように、ＧＯＰ０を記録媒体から再生した後、次のＧＯＰ１まで図３に示すように記録媒体にはダミーデータが入っているので、ＶｍａｘとＬ０の差だけ、復号側に送る必要はなく、再生制御回路２１５はＧＯＰ１まで読み飛ばしてＧＯＰ１から次の再生を始めるように働く。
【００７１】
以上は通常再生について説明したが、次に高速再生（特殊再生）について説明する。本実施形態では、記録されているＭＰＥＧデータのうち、Ｉピクチャのデータのみを選択して再生する。Ｉピクチャのデータは各ＧＯＰの先頭に記録されているので、各ＧＯＰの先頭位置を検出し、Ｉピクチャを再生することで１５倍速再生を実現できる。
【００７２】
再生制御回路２１５はストリーム画像データの再生開始時から図３に示すように、記録されているストリーム画像データの先頭からの再生位置をオフセットＳｃとして再生に合わせて更新しながら保持している。
【００７３】
ここで、データＧＯＰｎを再生中に図２の入力端子２１６から順方向への早送り再生の指示信号が入力されると再生制御回路２１５はバッファ２０３、可変長符号化回路２０４等の復号回路を初期化し、ＧＯＰｎの次の再生データとして記録位置（ビット）
Ｐｎ=Ｓｃ＋Ｖｍａｘ −（Ｓｃ ｍｏｄ（Ｖｍａｘ））・・・（１）
（ここで、ｍｏｄ は ＳｃをＶｍａｘで割ったときの余りを示す）
の位置のＧＯＰｎ＋１のＩｎ＋１を再生するように再生回路２０２を制御する。
【００７４】
再生回路２０２はＩｎ＋１を記録媒体から再生し、ストリームユーザーデータ解析回路２１４は再生されてくるフレーム内符号化されたピクチャＩｎ＋１にユーザーデータとして付加されたＩｎ＋１の符号化サイズＩｎ＋１(size)を取得する。
【００７５】
再生制御回路２１５はストリームユーザーデータ解析回路２１４で取得された符号化サイズＩｎ＋１(size)分だけＧＯＰｎ＋１のデータを記録媒体２０１から読み出すように再生回路２０２を制御する。
【００７６】
再生されたフレーム内符号化データＩｎ＋１は上記で説明したフレーム内符号化データＩ０の復号手順と同様にして復号され、並べ替え回路２１１に供給されて直ちに出力端子に出力される。ＧＯＰｎ＋１のフレーム内符号化データＩｎ＋１の再生が終わると再生制御回路２１５は再生位置Ｓｃを
Ｓｃ＝Ｐｎ＋Ｉｎ＋１(size)
と更新し、次の順方向の再生データ位置
Ｐｎ＋１＝Ｓｃ＋Ｖｍａｘ−（Ｓｃ ｍｏｄ（Ｖｍａｘ））
を計算し、再生回路２０２に指示し、上記再生を繰り返す。
【００７７】
入力端子２１６から逆方向の特殊再生指示が入力された場合、再生制御回路２１５は次の再生するフレーム内符号化データＩｎ−１として、
Ｐｎ−１=Ｓｃ−Ｖｍａｘ−（Ｓｃ ｍｏｄ（Iｎ＋１））・・・（２）
の位置を再生するように再生回路２０２に指示し、再生回路２０２はＧＯＰｎ−１のフレーム内符号化データＩｎ−１を再生する。以下順方向と同様に再生位置Ｓｃを更新しながらフレーム内符号化されたピクチャデータＩｍのみを再生していく。
【００７８】
以上説明したように、記録時に符号化する符号化単位（例えば（ＧＯＰ）の最大符号量（Ｖｍａｘ）を決め、各符号化単位（ＧＯＰ）はその最大符号量（Ｖｍａｘ）内に符号化し、記録媒体への符号化ストリーム画像データの記録は各符号化単位（ＧＯＰ）ごとに最大符号量（Ｖｍａｘ）分づつ記録し、ストリーム画像データに記録モードを示すユーザーデータとして最大符号量（Ｖｍａｘ）とその時の実際の符号化単位（ＧＯＰ）のデータ量Ｌｎ、フレーム内符号化されたピクチャデータＩｎのサイズを記録する。
【００７９】
そして、格納するＭＰ４ファイルにフリーボックスを設け、フリーボックス内にユーザーデータとしてストリーム画像データに関する情報と最大符号量（Ｖｍａｘ）を記録するようにする。
【００８０】
再生時にはフリーボックスからストリーム画像データであることを認識すると、フリーボックスの記録モードを示すユーザーデータとストリーム画像データに記録されているユーザーデータの情報から通常再生も特殊再生も行なうことにより、stco ボックス、stsc ボックス、stsz ボックス等のヘッダ情報を読み込まなくとも再生可能としたので、大きな容量を必要とするヘッダ情報を記憶するメモリが不要になる。
【００８１】
また、ファイルは通常のＭＰ４ファイルであるので、他の機器での再生も可能である。またさらに、一つのファイルで実現できるので、媒体間のコピーにたいしても、本実施形態の画像データ記録または再生装置で再生したとしても上記再生の実施形態と同様に再生できる。
【００８２】
また、ヘッダ情報に含まれる符号化に関する上記 stco ボックス、stsc ボックス、stsz ボックス等のパラメータを読み込んで解析する必要がないのでストリーム画像データへのアクセスが早く行なえるようになり、再生の待ち時間を減少できる。
【００８３】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。
【００８４】
この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００８５】
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディス、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性の半導体メモリカード、その他の各種のＲＯＭなどを用いることができる。
【００８６】
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００８７】
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【図面の簡単な説明】
【００８８】
【図１】本発明の実施形態の記録回路を説明するためのブロック図である。
【図２】本発明の実施形態の再生回路を説明するためのブロック図である。
【図３】本発明の実施形態におけるストリーム画像データの配置を説明するための図である。
【図４】本発明の実施形態における符号化のフレーム順序を説明するための図である。
【図５】ＭＰ４ファイルの構成を説明するための図である。
【図６】本発明の実施形態におけるＭＰ４ファイルの構成を説明するための図である。
【符号の説明】
【００８９】
１１６  符号量制御回路
１１７  記録回路
１１９  ストリ−ムパラメータ付加回路
１２２  最大符号量設定回路
１２３  記録制御回路
２０２  再生回路
２１３  ヘッダ情報解析回路
２１４  ストリームユーザーデータ解析回路
２１５  再生制御回路
【図１】
2007109329.tif 000003
【図２】
2007109329.tif 000004
【図３】
2007109329.tif 000005
【図４】
2007109329.tif 000006
【図５】
2007109329.tif 000007
【図６】
2007109329.tif 000008