(57)【要約】【課題】  従来は、２つのＭＰＥＧ画像データを指定した繋ぎ位置で繋いで再生する編集記録を行う場合、連続性を考慮した符号化制約を施すことが必要で、これは符号化効率の面では不利な要因であり、また、繋ぎ位置で一時的な静止現象が起こる可能性がある。【解決手段】  ＶＢＶバッファ情報予測器１０６は、第１の符号化画像データに含まれる情報に基づいて、繋ぎ区間の開始位置又はそれよりも所定期間前の位置におけるＶＢＶバッファ値の第１の予測値を得ると共に、第２の符号化画像データに含まれる情報に基づいて、繋ぎ区間の終了位置又はそれよりも所定期間後の位置におけるＶＢＶバッファ値の第２の予測値を得る。画像再符号化器１０８は、繋ぎ区間復号画像データを、ＶＢＶバッファ占有値が第１の予測値から第２の予測値へ推移するように符号量制御して再符号化を行い、繋ぎ区間再符号化データを生成する。【選択図】            図６
2006033547.tif 000002
【特許請求の範囲】
【請求項１】
ＭＰＥＧ符号化方式で符号化された画像データである第１及び第２の２つのＭＰＥＧ画像データを、それぞれのＭＰＥＧ画像データにおける指定された繋ぎ指定位置で、前記第１のＭＰＥＧ画像データから前記第２のＭＰＥＧ画像データへ繋げて再生させるためのデータとして、前記ＭＰＥＧ符号化方式で符号化された第１の繋ぎ区間再符号化データを生成して記録させる記録手段を設けたＭＰＥＧ画像データ記録装置であって、
前記第１のＭＰＥＧ画像データは、前記ＭＰＥＧ符号化方式の規格に従って、少なくとも復号再生の単位であるアクセスユニットの復号開始時刻を示す第１の時刻管理情報、及び復号側の時刻基準を符号化側と同じに定めるための第１の時刻基準情報と時系列的に多重化されると共に、復号側の仮想バッファであるＶＢＶバッファに蓄積されてから前記第１の時刻管理情報が示す時刻で瞬時に復号器へ読み出されて転送されるように符号化されているものであり、
前記第２のＭＰＥＧ画像データは、前記ＭＰＥＧ符号化方式の規格に従って、少なくとも復号再生の単位であるアクセスユニットの復号開始時刻を示す第２の時刻管理情報、及び復号側の時刻基準を符号化側と同じに定めるための第２の時刻基準情報と時系列的に多重化されると共に、復号側の仮想バッファであるＶＢＶバッファに蓄積されてから前記第２の時刻管理情報が示す時刻で瞬時に復号器へ読み出されて転送されるように符号化されているものであり、
前記記録手段は、前記第１のＭＰＥＧ画像データにおける前記繋ぎ指定位置より所定時間前の位置を開始位置とし、前記第１のＭＰＥＧ画像データにおける前記繋ぎ指定位置を終了位置とする区間を第１の繋ぎ区間として、前記第１の繋ぎ区間に対応する第１のＭＰＥＧ画像データを復号して得た画像データである復号画像データを、前記ＭＰＥＧ符号化方式で再符号化して前記第１の繋ぎ区間再符号化データを生成する再符号化手段を備え、前記第１の繋ぎ区間再符号化データを記録媒体に記録させるものであり、
前記再符号化手段は、
前記第１のＭＰＥＧ画像データにおける前記第１の繋ぎ区間の開始位置後の最初のフレームの前記第１の時刻管理情報の記録位置に対応する第１の時刻を、その第１の時刻管理情報の前後に記録されている前記第１の時刻基準情報の記録位置と前記第１の時刻管理情報の記録位置との間の各データ長の比率に基づく内挿により求め、前記第１の時刻と前記第１の時刻管理情報が示す実際の時刻との間の区間である第１の区間における符号量に基づき、ＶＢＶバッファ占有値の第１の予測値を得る第１の予測値算出手段と、
前記第２のＭＰＥＧ画像データにおける前記繋ぎ指定位置後の最初のフレームの前記第２の時刻管理情報の記録位置に対応する第２の時刻を、その第２の時刻管理情報の前後に記録されている前記第２の時刻基準情報の記録位置と前記第２の時刻管理情報の記録位置との間の各データ長の比率に基づく内挿により求め、前記第２の時刻と前記第２の時刻管理情報が示す実際の時刻との間の区間である第２の区間における符号量に基づき、ＶＢＶバッファ占有値の第２の予測値を得る第２の予測値算出手段と、
前記第１の繋ぎ区間に対応する第１のＭＰＥＧ画像データを復号して得た画像データである復号画像データを、前記ＶＢＶバッファ占有値が前記第１の予測値から開始されて、前記第２の予測値へ推移して終了するように、符号量制御を行いながら符号化する符号化手段とを備えた、
ことを特徴とするＭＰＥＧ画像データ記録装置。
【請求項２】
ＭＰＥＧ符号化方式で符号化された画像データである第１及び第２の２つのＭＰＥＧ画像データを、それぞれのＭＰＥＧ画像データにおける指定された繋ぎ指定位置で、前記第１のＭＰＥＧ画像データから前記第２のＭＰＥＧ画像データへ繋げて再生させるためのデータとして、前記ＭＰＥＧ符号化方式で符号化された第２の繋ぎ区間再符号化データを生成して記録させる記録手段を設けたＭＰＥＧ画像データ記録装置であって、
前記第１のＭＰＥＧ画像データは、前記ＭＰＥＧ符号化方式の規格に従って、少なくとも復号再生の単位であるアクセスユニットの復号開始時刻を示す第１の時刻管理情報、及び復号側の時刻基準を符号化側と同じに定めるための第１の時刻基準情報と時系列的に多重化されると共に、復号側の仮想バッファであるＶＢＶバッファに蓄積されてから前記第１の時刻管理情報が示す時刻で瞬時に復号器へ読み出されて転送されるように符号化されているものであり、
前記第２のＭＰＥＧ画像データは、前記ＭＰＥＧ符号化方式の規格に従って、少なくとも復号再生の単位であるアクセスユニットの復号開始時刻を示す第２の時刻管理情報、及び復号側の時刻基準を符号化側と同じに定めるための第２の時刻基準情報と時系列的に多重化されると共に、復号側の仮想バッファであるＶＢＶバッファに蓄積されてから前記第２の時刻管理情報が示す時刻で瞬時に復号器へ読み出されて転送されるように符号化されているものであり、
前記記録手段は、前記第２のＭＰＥＧ画像データにおける前記繋ぎ指定位置を開始位置とし、前記第２のＭＰＥＧ画像データにおける前記繋ぎ指定位置より所定時間後の位置を終了位置とする区間を第２の繋ぎ区間として、前記第２の繋ぎ区間に対応する第２のＭＰＥＧ画像データを復号して得た画像データである復号画像データを、前記ＭＰＥＧ符号化方式で再符号化して前記第２の繋ぎ区間再符号化データを生成する再符号化手段を備え、前記第２の繋ぎ区間再符号化データを記録媒体に記録させるものであり、
前記再符号化手段は、
前記第１のＭＰＥＧ画像データにおける前記繋ぎ指定位置後の最初のフレームの前記第１の時刻管理情報の記録位置に対応する第１の時刻を、その第１の時刻管理情報の前後に記録されている前記第１の時刻基準情報の記録位置と前記第１の時刻管理情報の記録位置との間の各データ長の比率に基づく内挿により求め、前記第１の時刻と前記第１の時刻管理情報が示す実際の時刻との間の区間である第１の区間における符号量に基づき、ＶＢＶバッファ占有値の第１の予測値を得る第１の予測値算出手段と、
前記第２のＭＰＥＧ画像データにおける前記第２の繋ぎ区間の終了位置後の最初のフレームの前記第２の時刻管理情報の記録位置に対応する第２の時刻を、その第２の時刻管理情報の前後に記録されている前記第２の時刻基準情報の記録位置と前記第２の時刻管理情報の記録位置との間の各データ長の比率に基づく内挿により求め、前記第２の時刻と前記第２の時刻管理情報が示す実際の時刻との間の区間である第２の区間における符号量に基づき、ＶＢＶバッファ占有値の第２の予測値を得る第２の予測値算出手段と、
前記第２の繋ぎ区間に対応する第２のＭＰＥＧ画像データを復号して得た画像データである復号画像データを、前記ＶＢＶバッファ占有値が前記第１の予測値から開始されて、前記第２の予測値へ推移して終了するように、符号量制御を行いながら符号化する符号化手段とを備えた、
ことを特徴とするＭＰＥＧ画像データ記録装置。
【請求項３】
ＭＰＥＧ符号化方式で符号化された画像データである第１及び第２の２つのＭＰＥＧ画像データを、それぞれのＭＰＥＧ画像データにおける指定された繋ぎ指定位置で、前記第１のＭＰＥＧ画像データから前記第２のＭＰＥＧ画像データへ繋げて再生させるためのデータとして、前記ＭＰＥＧ符号化方式で符号化された第１及び第２の繋ぎ区間再符号化データを生成して記録させる記録手段を設けたＭＰＥＧ画像データ記録装置であって、
前記第１のＭＰＥＧ画像データは、前記ＭＰＥＧ符号化方式の規格に従って、少なくとも復号再生の単位であるアクセスユニットの復号開始時刻を示す第１の時刻管理情報、及び復号側の時刻基準を符号化側と同じに定めるための第１の時刻基準情報と時系列的に多重化されると共に、復号側の仮想バッファであるＶＢＶバッファに蓄積されてから前記第１の時刻管理情報が示す時刻で瞬時に復号器へ読み出されて転送されるように符号化されているものであり、
前記第２のＭＰＥＧ画像データは、前記ＭＰＥＧ符号化方式の規格に従って、少なくとも復号再生の単位であるアクセスユニットの復号開始時刻を示す第２の時刻管理情報、及び復号側の時刻基準を符号化側と同じに定めるための第２の時刻基準情報と時系列的に多重化されると共に、復号側の仮想バッファであるＶＢＶバッファに蓄積されてから前記第２の時刻管理情報が示す時刻で瞬時に復号器へ読み出されて転送されるように符号化されているものであり、
前記記録手段は、前記第１のＭＰＥＧ画像データにおける前記繋ぎ指定位置より第１の所定時間前の位置を開始位置とし、前記第１のＭＰＥＧ画像データにおける前記繋ぎ指定位置を終了位置とする区間を第１の繋ぎ区間とし、前記第２のＭＰＥＧ画像データにおける前記繋ぎ指定位置を開始位置とし、前記第２のＭＰＥＧ画像データにおける前記繋ぎ指定位置より第２の所定時間後の位置を終了位置とする区間を第２の繋ぎ区間として、前記第１及び第２の繋ぎ区間に対応する第１及び第２のＭＰＥＧ画像データを復号して得た画像データである第１及び第２の復号画像データを、前記ＭＰＥＧ符号化方式で再符号化して前記第１及び第２の繋ぎ区間再符号化データを生成する再符号化手段を備え、前記第１及び第２の繋ぎ区間再符号化データを記録媒体に記録させるものであり、
前記再符号化手段は、
前記第１のＭＰＥＧ画像データにおける前記第１の繋ぎ区間の開始位置後の最初のフレームの前記第１の時刻管理情報の記録位置に対応する第１の時刻を、その第１の時刻管理情報の前後に記録されている前記第１の時刻基準情報の記録位置と前記第１の時刻管理情報の記録位置との間の各データ長の比率に基づく内挿により求め、前記第１の時刻と前記第１の時刻管理情報が示す実際の時刻との間の区間である第１の区間における符号量に基づき、ＶＢＶバッファ占有値の第１の予測値を得る第１の予測値算出手段と、
前記第２のＭＰＥＧ画像データにおける前記第２の繋ぎ区間の終了位置後の最初のフレームの前記第２の時刻管理情報の記録位置に対応する第２の時刻を、その第２の時刻管理情報の前後に記録されている前記第２の時刻基準情報の記録位置と前記第２の時刻管理情報の記録位置との間の各データ長の比率に基づく内挿により求め、前記第２の時刻と前記第２の時刻管理情報が示す実際の時刻との間の区間である第２の区間における符号量に基づき、ＶＢＶバッファ占有値の第２の予測値を得る第２の予測値算出手段と、
前記第１の繋ぎ区間に対応する第１のＭＰＥＧ画像データを復号して得た画像データである第１の復号画像データと前記第２の繋ぎ区間に対応する第２のＭＰＥＧ画像データを復号して得た画像データである第２の復号画像データとを順次に、前記ＶＢＶバッファ占有値が前記第１の予測値から開始し前記第２の予測値へ推移して終了するように、符号量制御を行いながら符号化する符号化手段とを備えた、
ことを特徴とするＭＰＥＧ画像データ記録装置。
【請求項４】
ＭＰＥＧ符号化方式で符号化された画像データである第１及び第２の２つのＭＰＥＧ画像データを、それぞれのＭＰＥＧ画像データにおける指定された繋ぎ指定位置で、前記第１のＭＰＥＧ画像データから前記第２のＭＰＥＧ画像データへ繋げて再生させるためのデータとして、前記ＭＰＥＧ符号化方式で符号化された第１の繋ぎ区間再符号化データを生成して記録させる記録ステップを設けたＭＰＥＧ画像データ記録方法であって、
前記第１のＭＰＥＧ画像データは、前記ＭＰＥＧ符号化方式の規格に従って、少なくとも復号再生の単位であるアクセスユニットの復号開始時刻を示す第１の時刻管理情報、及び復号側の時刻基準を符号化側と同じに定めるための第１の時刻基準情報と時系列的に多重化されると共に、復号側の仮想バッファであるＶＢＶバッファに蓄積されてから前記第１の時刻管理情報が示す時刻で瞬時に復号器へ読み出されて転送されるように符号化されているものであり、
前記第２のＭＰＥＧ画像データは、前記ＭＰＥＧ符号化方式の規格に従って、少なくとも復号再生の単位であるアクセスユニットの復号開始時刻を示す第２の時刻管理情報、及び復号側の時刻基準を符号化側と同じに定めるための第２の時刻基準情報と時系列的に多重化されると共に、復号側の仮想バッファであるＶＢＶバッファに蓄積されてから前記第２の時刻管理情報が示す時刻で瞬時に復号器へ読み出されて転送されるように符号化されているものであり、
前記記録ステップは、前記第１のＭＰＥＧ画像データにおける前記繋ぎ指定位置より所定時間前の位置を開始位置とし、前記第１のＭＰＥＧ画像データにおける前記繋ぎ指定位置を終了位置とする区間を第１の繋ぎ区間として、前記第１の繋ぎ区間に対応する第１のＭＰＥＧ画像データを復号して得た画像データである復号画像データを、前記ＭＰＥＧ符号化方式で再符号化して前記第１の繋ぎ区間再符号化データを生成する再符号化ステップを備え、前記第１の繋ぎ区間再符号化データを記録媒体に記録させるものであり、
前記再符号化ステップは、
前記第１のＭＰＥＧ画像データにおける前記第１の繋ぎ区間の開始位置後の最初のフレームの前記第１の時刻管理情報の記録位置に対応する第１の時刻を、その第１の時刻管理情報の前後に記録されている前記第１の時刻基準情報の記録位置と前記第１の時刻管理情報の記録位置との間の各データ長の比率に基づく内挿により求め、前記第１の時刻と前記第１の時刻管理情報が示す実際の時刻との間の区間である第１の区間における符号量に基づき、ＶＢＶバッファ占有値の第１の予測値を得る第１の予測値算出ステップと、
前記第２のＭＰＥＧ画像データにおける前記繋ぎ指定位置後の最初のフレームの前記第２の時刻管理情報の記録位置に対応する第２の時刻を、その第２の時刻管理情報の前後に記録されている前記第２の時刻基準情報の記録位置と前記第２の時刻管理情報の記録位置との間の各データ長の比率に基づく内挿により求め、前記第２の時刻と前記第２の時刻管理情報が示す実際の時刻との間の区間である第２の区間における符号量に基づき、ＶＢＶバッファ占有値の第２の予測値を得る第２の予測値算出ステップと、
前記第１の繋ぎ区間に対応する第１のＭＰＥＧ画像データを復号して得た画像データである復号画像データを、前記ＶＢＶバッファ占有値が前記第１の予測値から開始されて、前記第２の予測値へ推移して終了するように、符号量制御を行いながら符号化する符号化ステップとを含む、
ことを特徴とするＭＰＥＧ画像データ記録方法。
【請求項５】
ＭＰＥＧ符号化方式で符号化された画像データである第１及び第２の２つのＭＰＥＧ画像データを、それぞれのＭＰＥＧ画像データにおける指定された繋ぎ指定位置で、前記第１のＭＰＥＧ画像データから前記第２のＭＰＥＧ画像データへ繋げて再生させるためのデータとして、前記ＭＰＥＧ符号化方式で符号化された第２の繋ぎ区間再符号化データを生成して記録させる記録ステップを設けたＭＰＥＧ画像データ記録方法であって、
前記第１のＭＰＥＧ画像データは、前記ＭＰＥＧ符号化方式の規格に従って、少なくとも復号再生の単位であるアクセスユニットの復号開始時刻を示す第１の時刻管理情報、及び復号側の時刻基準を符号化側と同じに定めるための第１の時刻基準情報と時系列的に多重化されると共に、復号側の仮想バッファであるＶＢＶバッファに蓄積されてから前記第１の時刻管理情報が示す時刻で瞬時に復号器へ読み出されて転送されるように符号化されているものであり、
前記第２のＭＰＥＧ画像データは、前記ＭＰＥＧ符号化方式の規格に従って、少なくとも復号再生の単位であるアクセスユニットの復号開始時刻を示す第２の時刻管理情報、及び復号側の時刻基準を符号化側と同じに定めるための第２の時刻基準情報と時系列的に多重化されると共に、復号側の仮想バッファであるＶＢＶバッファに蓄積されてから前記第２の時刻管理情報が示す時刻で瞬時に復号器へ読み出されて転送されるように符号化されているものであり、
前記記録ステップは、前記第２のＭＰＥＧ画像データにおける前記繋ぎ指定位置を開始位置とし、前記第２のＭＰＥＧ画像データにおける前記繋ぎ指定位置より所定時間後の位置を終了位置とする区間を第２の繋ぎ区間として、前記第２の繋ぎ区間に対応する第２のＭＰＥＧ画像データを復号して得た画像データである復号画像データを、前記ＭＰＥＧ符号化方式で再符号化して前記第２の繋ぎ区間再符号化データを生成する再符号化ステップを備え、前記第２の繋ぎ区間再符号化データを記録媒体に記録させるものであり、
前記再符号化ステップは、
前記第１のＭＰＥＧ画像データにおける前記繋ぎ指定位置後の最初のフレームの前記第１の時刻管理情報の記録位置に対応する第１の時刻を、その第１の時刻管理情報の前後に記録されている前記第１の時刻基準情報の記録位置と前記第１の時刻管理情報の記録位置との間の各データ長の比率に基づく内挿により求め、前記第１の時刻と前記第１の時刻管理情報が示す実際の時刻との間の区間である第１の区間における符号量に基づき、ＶＢＶバッファ占有値の第１の予測値を得る第１の予測値算出ステップと、
前記第２のＭＰＥＧ画像データにおける前記第２の繋ぎ区間の終了位置後の最初のフレームの前記第２の時刻管理情報の記録位置に対応する第２の時刻を、その第２の時刻管理情報の前後に記録されている前記第２の時刻基準情報の記録位置と前記第２の時刻管理情報の記録位置との間の各データ長の比率に基づく内挿により求め、前記第２の時刻と前記第２の時刻管理情報が示す実際の時刻との間の区間である第２の区間における符号量に基づき、ＶＢＶバッファ占有値の第２の予測値を得る第２の予測値算出ステップと、
前記第２の繋ぎ区間に対応する第２のＭＰＥＧ画像データを復号して得た画像データである復号画像データを、前記ＶＢＶバッファ占有値が前記第１の予測値から開始されて、前記第２の予測値へ推移して終了するように、符号量制御を行いながら符号化する符号化ステップとを含む、
ことを特徴とするＭＰＥＧ画像データ記録方法。
【請求項６】
ＭＰＥＧ符号化方式で符号化された画像データである第１及び第２の２つのＭＰＥＧ画像データを、それぞれのＭＰＥＧ画像データにおける指定された繋ぎ指定位置で、前記第１のＭＰＥＧ画像データから前記第２のＭＰＥＧ画像データへ繋げて再生させるためのデータとして、前記ＭＰＥＧ符号化方式で符号化された第１及び第２の繋ぎ区間再符号化データを生成して記録させる記録ステップを設けたＭＰＥＧ画像データ記録方法であって、
前記第１のＭＰＥＧ画像データは、前記ＭＰＥＧ符号化方式の規格に従って、少なくとも復号再生の単位であるアクセスユニットの復号開始時刻を示す第１の時刻管理情報、及び復号側の時刻基準を符号化側と同じに定めるための第１の時刻基準情報と時系列的に多重化されると共に、復号側の仮想バッファであるＶＢＶバッファに蓄積されてから前記第１の時刻管理情報が示す時刻で瞬時に復号器へ読み出されて転送されるように符号化されているものであり、
前記第２のＭＰＥＧ画像データは、前記ＭＰＥＧ符号化方式の規格に従って、少なくとも復号再生の単位であるアクセスユニットの復号開始時刻を示す第２の時刻管理情報、及び復号側の時刻基準を符号化側と同じに定めるための第２の時刻基準情報と時系列的に多重化されると共に、復号側の仮想バッファであるＶＢＶバッファに蓄積されてから前記第２の時刻管理情報が示す時刻で瞬時に復号器へ読み出されて転送されるように符号化されているものであり、
前記記録ステップは、前記第１のＭＰＥＧ画像データにおける前記繋ぎ指定位置より第１の所定時間前の位置を開始位置とし、前記第１のＭＰＥＧ画像データにおける前記繋ぎ指定位置を終了位置とする区間を第１の繋ぎ区間とし、前記第２のＭＰＥＧ画像データにおける前記繋ぎ指定位置を開始位置とし、前記第２のＭＰＥＧ画像データにおける前記繋ぎ指定位置より第２の所定時間後の位置を終了位置とする区間を第２の繋ぎ区間として、前記第１及び第２の繋ぎ区間に対応する第１及び第２のＭＰＥＧ画像データを復号して得た画像データである第１及び第２の復号画像データを、前記ＭＰＥＧ符号化方式で再符号化して前記第１及び第２の繋ぎ区間再符号化データを生成する再符号化ステップを備え、前記第１及び第２の繋ぎ区間再符号化データを記録媒体に記録させるものであり、
前記再符号化ステップは、
前記第１のＭＰＥＧ画像データにおける前記第１の繋ぎ区間の開始位置後の最初のフレームの前記第１の時刻管理情報の記録位置に対応する第１の時刻を、その第１の時刻管理情報の前後に記録されている前記第１の時刻基準情報の記録位置と前記第１の時刻管理情報の記録位置との間の各データ長の比率に基づく内挿により求め、前記第１の時刻と前記第１の時刻管理情報が示す実際の時刻との間の区間である第１の区間における符号量に基づき、ＶＢＶバッファ占有値の第１の予測値を得る第１の予測値算出ステップと、
前記第２のＭＰＥＧ画像データにおける前記第２の繋ぎ区間の終了位置後の最初のフレームの前記第２の時刻管理情報の記録位置に対応する第２の時刻を、その第２の時刻管理情報の前後に記録されている前記第２の時刻基準情報の記録位置と前記第２の時刻管理情報の記録位置との間の各データ長の比率に基づく内挿により求め、前記第２の時刻と前記第２の時刻管理情報が示す実際の時刻との間の区間である第２の区間における符号量に基づき、ＶＢＶバッファ占有値の第２の予測値を得る第２の予測値算出ステップと、
前記第１の繋ぎ区間に対応する第１のＭＰＥＧ画像データを復号して得た画像データである第１の復号画像データと前記第２の繋ぎ区間に対応する第２のＭＰＥＧ画像データを復号して得た画像データである第２の復号画像データとを順次に、前記ＶＢＶバッファ占有値が前記第１の予測値から開始し前記第２の予測値へ推移して終了するように、符号量制御を行いながら符号化する符号化ステップとを含む、
ことを特徴とするＭＰＥＧ画像データ記録方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はＭＰＥＧ画像データ記録装置及びＭＰＥＧ画像データ記録方法に係り、特にＭＰＥＧ（Moving Picture Experts Group）符号化方式で符号化して得られた２つのＭＰＥＧ画像データを、それぞれのＭＰＥＧ画像データにおける指定された繋ぎ指定位置で繋げて再生させる際に、シームレスな再生を実現させるための記録を行うＭＰＥＧ画像データ記録装置及びＭＰＥＧ画像データ記録方法に関する。
【背景技術】
【０００２】
まず、本発明の前提となるＭＰＥＧ符号化方式について簡単に説明する。ＭＰＥＧ符号化方式についてはＩＳＯ／ＩＥＣ 11172-2、ＩＴＵ−Ｔ勧告Ｈ．２６２、ＩＳＯ／ＩＥＣ 13818-2に詳細な説明がなされているので、ここでは概略のみ説明する。ＭＰＥＧは１９８８年、ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２（国際標準化機構／国際電気標準化会合同技術委員会１／専門部会２、現在のＳＣ２９）に設立された動画像符号化標準を検討する組織の名称（Moving Picture Experts Group）の略称である。
【０００３】
ＭＰＥＧ１（ＭＰＥＧフェーズ１）は１.５Ｍｂｐｓ程度の蓄積メディアを対象とした標準で、静止画符号化を目的としたＪＰＥＧと、ＩＳＤＮ（サービス統合ディジタル網）のテレビ会議やテレビ電話の低転送レート用の動画像圧縮を目的としたＨ.２６１（ＣＣＩＴＴ ＳＧＸＶ、現在のＩＵ−ＴＳＧ１５で標準化）の基本的な技術を受け継ぎ、蓄積メディア用に新しい技術を導入したものである。これらは１９９３年８月、ＩＳＯ／ＴＥＣ １１１７２として成立している。ＭＰＥＧ１は幾つかの技術を組み合わせて作成されている。
【０００４】
図１１はＭＰＥＧ符号化方式による符号化を行う従来のＭＰＥＧ符号化器を示し、以下に簡単に説明する。入力画像信号は、まず動き補償予測器１で復号化した画像信号と差分器２で差分を取られることで時間冗長部分を削減される。予測の方向は、過去、未来、両方からの３モード存在する。また、これらは１６画素×１６画素のＭＢ（Macro block）毎に切り替えて使用できる。予測方向は入力画像に与えられたピクチャタイプによって決定される。
【０００５】
過去からの予測により符号化するモードと、予測をしないでそのＭＢを独立で符号化するモードとの２モード存在するのが片方向画像間予測符号化画像（Ｐピクチャ）である。また、未来からの予測により符号化するモード、過去からの予測により符号化するモード、両方からの予測により符号化するモード、独立で符号化するモードの４モード存在するのが双方向画像間予測符号化画像（Ｂピクチャ）である。そして、全てのＭＢが独立で符号化するのが画像内独立符号化画像（Ｉピクチャ）である。
【０００６】
動き補償予測器１における動き補償は、入力画像信号と画像メモリ１１からの参照画像信号の間で、動き領域をＭＢ毎にパターンマッチングを行って、ハーフペル精度で動きベクトルを検出し、動き分だけシフトしてから予測する。動きベクトルは水平方向と垂直方向が存在し、何処からの予測かを示すＭＣ（Motion Compensation）モードと共にＭＢの付加情報として伝送される。
【０００７】
一般的には、上記の３つのピクチャを組み合わせて伝送するが、Ｉピクチャから次のＩピクチャの前のピクチャまでをＧＯＰ（Group Of Picture）といい、蓄積メディアなどで使用される場合には、一般に約１５ピクチャ程度が一つのＧＯＰ区間として使用される（但し、１ＧＯＰ区間内に２つ以上のＩピクチャを含んでもよい。要するに、１ＧＯＰ区間内に１つ以上のＩピクチャを含めばよい。）。
【０００８】
差分器２から出力された差分画像信号は、ＤＣＴ器３において離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）が行われてＤＣＴ係数とされる。離散コサイン変換（ＤＣＴ）とは、余弦関数を積分核とした積分変換を有限空間への離散変換する直交変換である。ＭＰＥＧではＭＢを４分割し、８×８画素のＤＣＴブロックに対して、２次元ＤＣＴを行う。一般に、画像信号は低域成分が多く高域成分が少ないため、ＤＣＴを行うと係数が低域に集中する。
【０００９】
ＤＣＴされた画像データ（ＤＣＴ係数）は量子化器４で量子化が行われる。量子化は量子化マトリックスという８×８の２次元周波数を視覚特性で重み付けした値と、その全体をスカラー倍する量子化スケールという値で乗算した値を量子化値として、ＤＣＴ係数をその量子化値で除算することで行われる。ＭＰＥＧ復号化器（デコーダ）で逆量子化するときは量子化値で乗算することにより、元のＤＣＴ係数に近似している値を得ることになる。
【００１０】
量子化器４で量子化されたデータはＶＬＣ器５で可変長符号（ＶＬＣ：Variable Length Code）化される。ＶＬＣ器５では量子化された値のうち直流（ＤＣ）成分は、予測符号化の一つである差分パルス符号変調（ＤＰＣＭ:differential pulse code modulation）を使用する。また、交流（ＡＣ）成分は低域から高域にジグザグスキャンを行い、ゼロのラン長及び有効係数値を１つの事象とし、出現確率の高いものから符号長の短い符号を割り当てていくハフマン符号化が行われる。
【００１１】
ＶＬＣ器５で可変長符号化されたデータは、バッファ６に一時蓄えられた後、所定の転送レートで符号化データとして出力される。また、その出力される符号化データのＭＢ毎の発生符号量は、符号量制御器７に供給され、ここで目標符号量に対する発生符号量との誤差符号量とされた後、量子化器４にフィードバックされて量子化スケールを調整することで符号量制御される。
【００１２】
また、量子化器４で量子化された画像データは、逆量子化器８にて逆量子化され、更に逆ＤＣＴ器９にて逆ＤＣＴされた後、加算器１０を介して画像メモリ１１に一時蓄えられる。動き補償予測器１は、画像メモリ１１に記憶された信号を、入力画像信号との動き補償を行うためのリファレンスの復号化画像（参照画像）として使用する。
【００１３】
図１２は図１１の符号化装置によりＭＰＥＧ符号化された符号化データを復号化する復号化器（デコーダ）の一例のブロック図を示す。図１２において、符号化データ（ストリーム）はバッファ１３でバッファリングされてからＶＬＤ器１４に入力される。ＶＬＤ器１４では可変長復号化を行い、直流（ＤＣ）成分及び交流（ＡＣ）成分を得る。交流（ＡＣ）成分データは低域から高域にジグザグスキャンの順で８×８のマトリックスに配置される。
【００１４】
ＶＬＤ器１４から出力されたデータは逆量子化器１５に入力され量子化マトリックスにて逆量子化される。逆量子化されたデータは逆ＤＣＴ器１６に入力されて逆ＤＣＴされ、加算器１７で動き補償予測器１８からの信号と加算されることにより、画像データ（復号化データ）として出力される。また、この復号化データは、画像メモリ１９に一時蓄えられた後、動き補償予測器１８において、ＶＬＤ器１４からのデータとの間の差分画像を計算するためのリファレンスの復号化画像（参照画像）として使用される。
【００１５】
ここで、バッファ１３から出力される符号化データのビットストリームは、ビデオの場合１ピクチャ毎に可変長の符号量をもっている。これはＭＰＥＧがＤＣＴ、量子化、ハフマン符号化という情報変換を用いている理由と同時に、画質向上のためにピクチャ毎に配分する符号量は適応的に変更する必要性があり、動き補償予測を行っているので、あるときは入力画像そのままを符号化し、あるときは予測画像の差分である差分画像を符号化するなど符号化画像自体のエントロピーも大きく変化するためである。
【００１６】
この場合、多くはその画像のエントロピー比率に配分しつつ、バッファ６の記憶容量（バッファ容量）の制限を守りながら符号量制御される。符号量制御器７は発生した符号量と符号化レートの関係を監視し、所定のバッファ容量に収まるように目標符号量を設定する。この値はＶＬＣ器５にフィードバックされ、符号量制御器７に入り、そこで量子化器４にセットする量子化値を大きくして発生符号量を抑えたり、量子化値を小さくして発生符号量を小さくしたりする。
【００１７】
このような可変長データを固定の転送レート（符号化レート）で符号化する場合、復号化器の最大バッファ量を上限値とすると、一定速度でデータが入力されて、所定の値だけ溜まったところから、所定の時刻（ＮＴＳＣのビデオ信号なら１／２９.９７ｓｅｃ単位）で復号化を一瞬で行うモデルを使用し、そのバッファがオーバーフローもアンダーフローも発生しないように符号化することがＭＰＥＧで規定されている。
【００１８】
この規定（ＶＢＶバッファ規定）を守っていれば、ＶＢＶバッファ内でのレートは局部的に変化しているものの、観測時間を長くとれば固定の転送レートとなり、ＭＰＥＧではこのことを固定転送レートであると定義している。
【００１９】
固定転送レートの場合、発生符号量の少ない場合にはバッファ占有量は、上限値に張り付いた状態になる。この場合、無効ビットを追加してオーバーフローしないように符号量を増やさなければならない。可変転送レートの場合にはこの固定転送レートの定義を拡張して、バッファ占有量が上限値になった場合、復号化器の読み出しを中止することにより、原理的にオーバーフローが起きないように定義されている。
【００２０】
こうしたバッファ推移を図１３に示す。図１３は縦軸がバッファ占有量、横軸が表示時間を示す。同図に示すように、ＭＰＥＧ符号化では、仮に非常に発生符号量が少なくても、復号器の読み出しが中止されるので、固定転送レートの時のように無効ビットをいれる必要はない。従って、アンダーフローだけが発生しないように符号化する。
【００２１】
ＭＰＥＧシステムはＭＰＥＧビデオ及びオーディオなどで符号化されたビットストリームを、１個のビットストリームに多重化し、同期を確保しながら再生する方式を規定したものである。システムで規定されている内容は大きく分けて次の５点である。
【００２２】
１）複数の符号化されたビットストリームの同期再生
２）複数の符号化されたビットストリームの単一ビットストリームへの多重化
３）再生開始時のバッファの初期化
４）連続的なバッファの管理
５）復号や再生などの時刻の確定
ＭＰＥＧシステムで多重化を行うには情報をパケット化する必要がある。パケットによる多重化とは、例えばビデオデータ、オーディオデータを多重化する場合、各々をパケットと呼ばれる適当な長さのストリームに分割し、ヘッダなどの付加情報を付けて、適宜、ビデオ、オーディオのパケットを切り替えて時分割伝送する方式である。ヘッダにはビデオ、オーディオなどを識別する情報や、同期のための時間情報が存在する。パケット長は伝送媒体やアプリケーションに依存し、非同期転送モード（ＡＴＭ）のように５３バイトから、光ディスクのように４kバイトと長いものまで存在している。ＭＰＥＧでは、パケット長は可変で任意に指定できるようになっている。
【００２３】
データはパック化及びパケット化され、１パックは数パケットで構成されている。各パックの先頭部分にはパックスタートコード（pack start code）やシステム時刻基準参照値（ＳＣＲ:System Clock Reference）が、また、パケットの先頭部分にはストリームＩＤ（stream ID）やタイムスタンプが記述されている。タイムスタンプにはオーディオ、ビデオなどの同期をとる時間情報が記述されており、ＤＴＳ（Decoding Time Stamp）、ＰＴＳ（Presentation Time Stamp）の２種類が存在する。
【００２４】
ＤＴＳは復号の時刻管理情報で、そのパケットデータ内の最初のアクセスユニット（ビデオなら１ピクチャ、オーディオなら例えば１１５２サンプル）のデコード開始時刻を、ＰＴＳは再生出力の時刻管理情報で、表示（再生）開始時刻を示している。これらのタイムスタンプは、ＳＣＲやＰＣＲ（Program Clock Reference）によって時間基準が与えられる。ＰＣＲは２７ＭＨｚの時間精度で記述されており、デコーダ（decoder）の基準時計をロックする情報（時刻基準参照値）である。
【００２５】
図１４は従来のＭＰＥＧ多重システムの一例のブロック図を示す。同図に示すように、システムデコーダ２１は、入力された多重化したストリーム中の多重化単位のパックのヘッダに記述されているオーディオやビデオの識別子を見て、オーディオパックデータはオーディオデコーダ２２に、ビデオパックデータはビデオデコーダ２３にそれぞれ分離して出力する。
【００２６】
また、同時に、システムデコーダ２１は、入力多重化ストリーム中の前記パックのヘッダに記述されているＳＣＲ（システムクロックリファレンス）と、ＤＴＳ（デコーディングタイムスタンプ）と、ＰＳＴ（プレゼンテーションタイムスタンプ）の各情報を検出して、ＳＣＲをクロックコントローラ２４に、ＤＴＳとＰＴＳを比較器２５に出力する。クロックコントローラ２４では、入力されたＳＣＲに対して同期をかけて２７ＭＨｚのクロックを生成する。
【００２７】
一方、オーディオデコーダ２２では、入力されたオーディオパックデータからパックヘッダを取り除き、オーディオエレメンタリデータにしてから復号を行い、一時オーディオ用メモリ２６に記憶される。また、ビデオデコーダ２３では、入力されたビデオパックデータからパックヘッダを取り除き、ビデオエレメンタリデータにしてから復号を行い、一時ビデオ用メモリ２７に記憶される。
【００２８】
比較器２５では、クロックからのクロック情報と、入力されたＰＴＳなどのタイムスタンプを比較して、一致したときに、デコードやプレゼンテーションする信号をデコーダやメモリ２６、２７に出力して、ＤＴＳに合わせてデコードし、ＰＴＳに合わせてプレゼンテーションすることで、オーディオとビデオのバッファ制御やＡＶ同期を合わせる制御を行う。このように、オーディオデコーダ２２、ビデオデコーダ２３等は、ＰＣＲでロックした共通の基準時計を常に監視し、ＤＴＳやＰＴＳの時間と一致したときに、デコードや表示を行う仕組みになっている。
【００２９】
ここで、多重化されたデータが各デコーダでバッファリングされ、同期した表示を行うための仮想的なデコーダ（図１４ではオーディオデコーダ２２、ビデオデコーダ２３）をＳＴＤ（System Target Decoder）と呼び、このＳＴＤがオーバーフローやアンダーフローを起こさないように多重化されていなければならない。
【００３０】
また、ＭＰＥＧシステムには、大きく分けてＴＳ（Transport Stream）とＰＳ（Program Stream）が存在する。これらはＰＥＳ（Packetized Elementary Stream）、及びその他の必要な情報を含むパケットから構成されている。ＰＥＳは両ストリーム間の変換を可能とするための中間ストリームとして規定されていて、ＭＰＥＧで符号化されたビデオ、オーディオデータの他、プライベートストリームなどをパケット化したものである。
【００３１】
ＰＳは図１５（Ｅ）に示すように、ＰＳパック（又は単にパック）と呼ばれる可変長ブロックを単位とする連続したストリームで、共通の基準時間を有するプログラムのビデオ、オーディオの多重化をすることが可能である。ＰＳパックは、図１５（Ｄ）に示すように、パックヘッダと複数のＰＥＳで構成される。ＰＥＳの構造は図１５（Ｃ）に示すように、ＰＥＳヘッダとＰＥＳペイロードとからなり、それらは後述するＴＳと共用して用いられ、これらの相互互換性を可能とする。ＰＳのＳＴＤモデルでは、ストリームはＰＥＳパケット内のストリームＩＤ（stream id）によってスイッチされる。
【００３２】
ＴＳもＰＳと同じように共通の基準時間を有するプログラムのビデオ、オーディオの多重化をすることが可能であるが、ＴＳはさらに異なる基準時間を有する通信や放送などのマルチプログラムの多重化を可能としている。ＴＳはＡＴＭセル長や誤り訂正符号化する場合を考慮し、図１５（Ａ）に示すように、１８８バイトの固定長のＴＳパケットの連続したストリームで構成されており、エラーが存在する系でも使用できるように考慮されている。
【００３３】
ＴＳパケット自体の構造は図１５（Ｂ）に示すように、一つのＴＳヘッダと一つのＴＳペイロードとから構成され、それほど複雑ではないが、ＴＳはマルチプログラムのストリームであるため、その運用は複雑である。ＰＳと比べて特徴的なのは図１５（Ｂ）に示す構造のＴＳパケットが上位構造であるにも拘らず、同図（Ｃ）に示すＰＥＳパケットより（通常は）短く、ＰＥＳパケットを分割して同図（Ｂ）に示すＴＳパケットのＴＳペイロードに乗せて伝送する点である。ＴＳのＳＴＤモデルでは、ストリームはＴＳパケット内のＰＩＤ（パケットＩＤ）によってスイッチされる。
【００３４】
ＭＰＥＧシステムのＴＳにはその多重化されている番組の情報に関するパケットがどのパケット識別情報（ＰＩＤ:Packet Identification）であるのかを指示する仕組みがある。それを図１６で説明する。まずＴＳパケット群の中からＰＩＤ＝０のものを探す。ＰＩＤ＝０のＴＳパケット３１は、ＰＡＴ（Program Association Table）と呼ばれる情報パケットで、そのパケットの中には３２で示すように、ＰＲＯＧＲＡＭナンバーＰＲに対応する情報ＰＩＤがリンクされた形で記述されている。
【００３５】
次に、目的のＰＲに対応するＰＩＤのパケット（ここでは、ＰＩＤ＝ＸのＴＳパケットとする）３３を読みに行くと、その中には３４で示すように、ＰＭＴ（Program Map Table）と呼ばれる情報パケットがあり、そのＰＭＴの中にはそのＰＲに対応する番組のビデオパケットのＰＩＤと、オーディオパケットのＰＩＤの情報が記述されている。これにより、ＰＩＤ＝ＰＶのＴＳパケット３５を受信し、ＰＩＤ＝ＰＣのＴＳパケット３６を受信し、ＰＩＤ＝ＰＡのＴＳパケット３７を受信することにより、目的の番組のビデオ、クロック、オーディオ信号を得ることができる。上記のＰＡＴとＰＭＴのことをＰＳＩ（Program Specific Information）と呼び、目的の番組のチャンネルにアクセス（エントリー）することが可能な情報体系になっている。
【００３６】
以上説明したＭＰＥＧ符号化方式で符号化を行って得た２つのＭＰＥＧデータを、編集のために単純に繋いで記録媒体に記録する場合は、前述したＶＢＶバッファの接続に矛盾が生じ、オーバーフローやアンダーフローがおきてしまう。
【００３７】
そこで、２つのＭＰＥＧ画像データにおける指定された繋ぎ指定位置で繋げて再生させる際に、シームレスな再生を実現させるための記録を行うべく、ＭＰＥＧデータの連続性を保つため、２つの画像データの繋ぎ指定位置の編集点ではＶＢＶバッファを常に固定になるよう発生符号量を制御したり、ＧＯＰをクローズドＧＯＰとして符号化するなど、連続性を考慮した符号化を行うようにした画像データ記録装置が従来より知られている（例えば、特許文献１参照）。
【００３８】
また、符号化データには何の制約も施さずに、そのデータの部分区間のうち、編集素材として抜粋されたデータを指示する情報とその再生順番に関する情報を記述し、記録されたデータは変更せずに、単一記録媒体に映像編集を実現できる画像データ記録装置も従来より知られている（例えば、特許文献２参照）。
【００３９】
【特許文献１】特開平１１−７４７９９号公報
【特許文献２】特開平１１−１８７３５４号公報
【発明の開示】
【発明が解決しようとする課題】
【００４０】
しかしながら、特許文献１記載の従来の画像データ記録装置においては、どこで編集されても良いように、各ＧＯＰに対してＶＢＶバッファが常に固定になるよう発生符号量を制御し、ＧＯＰをクローズドＧＯＰとして符号化するなど、連続性を考慮した符号化制約を施すことが必要であり、これは符号化効率の面では不利な要因である。
【００４１】
一方、特許文献２記載の従来の画像データ記録装置においては、あたかも編集したように再生表示はされるが、その編集点での連続性は不完全で、ＭＰＥＧデータのデコーダバッファの初期化などの一時的な静止現象が起こる可能性がある。
【００４２】
本発明は、以上の点に鑑みなされたもので、第１及び第２の２つのＭＰＥＧ画像データを（または、第１のＭＰＥＧ画像データを要素符号化データとして含むパケット多重化された第１のＭＰＥＧ多重化データと、第２のＭＰＥＧ画像データを要素符号化データとして含むパケット多重化された第２のＭＰＥＧ多重化データとを）、それぞれの指定された繋ぎ指定位置で、前記第１のＭＰＥＧ画像データから前記第２のＭＰＥＧ画像データへ繋げて再生させる際に（前記第１のＭＰＥＧ多重化データから前記第２のＭＰＥＧ多重化データへ繋げて再生させる際に）、ＶＢＶバッファの接続にオーバーフローやアンダーフローの矛盾が生じることなく、シームレスで高品位な再生を実現させることができるＭＰＥＧ画像データ記録装置及びＭＰＥＧ画像データ記録方法を提供することを目的とする。
【課題を解決するための手段】
【００４３】
本発明のＭＰＥＧ画像データ記録装置は上記の目的を達成するため、ＭＰＥＧ符号化方式で符号化された画像データである第１及び第２の２つのＭＰＥＧ画像データを、それぞれのＭＰＥＧ画像データにおける指定された繋ぎ指定位置で、第１のＭＰＥＧ画像データから第２のＭＰＥＧ画像データへ繋げて再生させるためのデータとして、ＭＰＥＧ符号化方式で符号化された第１の繋ぎ区間再符号化データを生成して記録させる記録手段を設けたＭＰＥＧ画像データ記録装置であって、
第１のＭＰＥＧ画像データは、ＭＰＥＧ符号化方式の規格に従って、少なくとも復号再生の単位であるアクセスユニットの復号開始時刻を示す第１の時刻管理情報、及び復号側の時刻基準を符号化側と同じに定めるための第１の時刻基準情報と時系列的に多重化されると共に、復号側の仮想バッファであるＶＢＶバッファに蓄積されてから第１の時刻管理情報が示す時刻で瞬時に復号器へ読み出されて転送されるように符号化されているものであり、第２のＭＰＥＧ画像データは、ＭＰＥＧ符号化方式の規格に従って、少なくとも復号再生の単位であるアクセスユニットの復号開始時刻を示す第２の時刻管理情報、及び復号側の時刻基準を符号化側と同じに定めるための第２の時刻基準情報と時系列的に多重化されると共に、復号側の仮想バッファであるＶＢＶバッファに蓄積されてから第２の時刻管理情報が示す時刻で瞬時に復号器へ読み出されて転送されるように符号化されているものであり、
記録手段は、第１のＭＰＥＧ画像データにおける繋ぎ指定位置より所定時間前の位置を開始位置とし、第１のＭＰＥＧ画像データにおける繋ぎ指定位置を終了位置とする区間を第１の繋ぎ区間として、第１の繋ぎ区間に対応する第１のＭＰＥＧ画像データを復号して得た画像データである復号画像データを、ＭＰＥＧ符号化方式で再符号化して第１の繋ぎ区間再符号化データを生成する再符号化手段を備え、第１の繋ぎ区間再符号化データを記録媒体に記録させるものであり、
再符号化手段は、
第１のＭＰＥＧ画像データにおける第１の繋ぎ区間の開始位置後の最初のフレームの第１の時刻管理情報の記録位置に対応する第１の時刻を、その第１の時刻管理情報の前後に記録されている第１の時刻基準情報の記録位置と第１の時刻管理情報の記録位置との間の各データ長の比率に基づく内挿により求め、第１の時刻と第１の時刻管理情報が示す実際の時刻との間の区間である第１の区間における符号量に基づき、ＶＢＶバッファ占有値の第１の予測値を得る第１の予測値算出手段と、第２のＭＰＥＧ画像データにおける繋ぎ指定位置後の最初のフレームの第２の時刻管理情報の記録位置に対応する第２の時刻を、その第２の時刻管理情報の前後に記録されている第２の時刻基準情報の記録位置と第２の時刻管理情報との間の各データ長の比率に基づく内挿により求め、第２の時刻と第２の時刻管理情報が示す実際の時刻との間の区間である第２の区間における符号量に基づき、ＶＢＶバッファ占有値の第２の予測値を得る第２の予測値算出手段と、第１の繋ぎ区間に対応する第１のＭＰＥＧ画像データを復号して得た画像データである復号画像データを、ＶＢＶバッファ占有値が第１の予測値から開始されて、第２の予測値へ推移して終了するように、符号量制御を行いながら符号化する符号化手段とを備えたことを特徴とする。
【００４４】
また、上記の目的を達成するため、本発明のＭＰＥＧ画像データ記録装置は、ＭＰＥＧ符号化方式で符号化された画像データである第１及び第２の２つのＭＰＥＧ画像データを、それぞれのＭＰＥＧ画像データにおける指定された繋ぎ指定位置で、第１のＭＰＥＧ画像データから第２のＭＰＥＧ画像データへ繋げて再生させるためのデータとして、ＭＰＥＧ符号化方式で符号化された第２の繋ぎ区間再符号化データを生成して記録させる記録手段を設けたＭＰＥＧ画像データ記録装置であって、
第１のＭＰＥＧ画像データは、ＭＰＥＧ符号化方式の規格に従って、少なくとも復号再生の単位であるアクセスユニットの復号開始時刻を示す第１の時刻管理情報、及び復号側の時刻基準を符号化側と同じに定めるための第１の時刻基準情報と時系列的に多重化されると共に、復号側の仮想バッファであるＶＢＶバッファに蓄積されてから第１の時刻管理情報が示す時刻で瞬時に復号器へ読み出されて転送されるように符号化されているものであり、第２のＭＰＥＧ画像データは、ＭＰＥＧ符号化方式の規格に従って、少なくとも復号再生の単位であるアクセスユニットの復号開始時刻を示す第２の時刻管理情報、及び復号側の時刻基準を符号化側と同じに定めるための第２の時刻基準情報と時系列的に多重化されると共に、復号側の仮想バッファであるＶＢＶバッファに蓄積されてから第２の時刻管理情報が示す時刻で瞬時に復号器へ読み出されて転送されるように符号化されているものであり、
記録手段は、第２のＭＰＥＧ画像データにおける繋ぎ指定位置を開始位置とし、第２のＭＰＥＧ画像データにおける繋ぎ指定位置より所定時間後の位置を終了位置とする区間を第２の繋ぎ区間として、第２の繋ぎ区間に対応する第２のＭＰＥＧ画像データを復号して得た画像データである復号画像データを、ＭＰＥＧ符号化方式で再符号化して第２の繋ぎ区間再符号化データを生成する再符号化手段を備え、第２の繋ぎ区間再符号化データを記録媒体に記録させるものであり、
再符号化手段は、第１のＭＰＥＧ画像データにおける繋ぎ指定位置後の最初のフレームの第１の時刻管理情報の記録位置に対応する第１の時刻を、その第１の時刻管理情報の前後に記録されている第１の時刻基準情報の記録位置と第１の時刻管理情報の記録位置との間の各データ長の比率に基づく内挿により求め、第１の時刻と第１の時刻管理情報が示す実際の時刻との間の区間である第１の区間における符号量に基づき、ＶＢＶバッファ占有値の第１の予測値を得る第１の予測値算出手段と、第２のＭＰＥＧ画像データにおける第２の繋ぎ区間の終了位置後の最初のフレームの第２の時刻管理情報の記録位置に対応する第２の時刻を、その第２の時刻管理情報の前後に記録されている第２の時刻基準情報の記録位置と第２の時刻管理情報との間の各データ長の比率に基づく内挿により求め、第２の時刻と第２の時刻管理情報が示す実際の時刻との間の区間である第２の区間における符号量に基づき、ＶＢＶバッファ占有値の第２の予測値を得る第２の予測値算出手段と、第２の繋ぎ区間に対応する第２のＭＰＥＧ画像データを復号して得た画像データである復号画像データを、ＶＢＶバッファ占有値が第１の予測値から開始されて、第２の予測値へ推移して終了するように、符号量制御を行いながら符号化する符号化手段とを備えたことを特徴とする。
【００４５】
また、上記の目的を達成するため、本発明のＭＰＥＧ画像データ記録装置は、ＭＰＥＧ符号化方式で符号化された画像データである第１及び第２の２つのＭＰＥＧ画像データを、それぞれのＭＰＥＧ画像データにおける指定された繋ぎ指定位置で、第１のＭＰＥＧ画像データから第２のＭＰＥＧ画像データへ繋げて再生させるためのデータとして、ＭＰＥＧ符号化方式で符号化された第１及び第２の繋ぎ区間再符号化データを生成して記録させる記録手段を設けたＭＰＥＧ画像データ記録装置であって、
第１のＭＰＥＧ画像データは、ＭＰＥＧ符号化方式の規格に従って、少なくとも復号再生の単位であるアクセスユニットの復号開始時刻を示す第１の時刻管理情報、及び復号側の時刻基準を符号化側と同じに定めるための第１の時刻基準情報と時系列的に多重化されると共に、復号側の仮想バッファであるＶＢＶバッファに蓄積されてから第１の時刻管理情報が示す時刻で瞬時に復号器へ読み出されて転送されるように符号化されているものであり、第２のＭＰＥＧ画像データは、ＭＰＥＧ符号化方式の規格に従って、少なくとも復号再生の単位であるアクセスユニットの復号開始時刻を示す第２の時刻管理情報、及び復号側の時刻基準を符号化側と同じに定めるための第２の時刻基準情報と時系列的に多重化されると共に、復号側の仮想バッファであるＶＢＶバッファに蓄積されてから第２の時刻管理情報が示す時刻で瞬時に復号器へ読み出されて転送されるように符号化されているものであり、
記録手段は、第１のＭＰＥＧ画像データにおける繋ぎ指定位置より第１の所定時間前の位置を開始位置とし、第１のＭＰＥＧ画像データにおける繋ぎ指定位置を終了位置とする区間を第１の繋ぎ区間とし、第２のＭＰＥＧ画像データにおける繋ぎ指定位置を開始位置とし、第２のＭＰＥＧ画像データにおける繋ぎ指定位置より第２の所定時間後の位置を終了位置とする区間を第２の繋ぎ区間として、第１及び第２の繋ぎ区間に対応する第１及び第２のＭＰＥＧ画像データを復号して得た画像データである第１及び第２の復号画像データを、ＭＰＥＧ符号化方式で再符号化して第１及び第２の繋ぎ区間再符号化データを生成する再符号化手段を備え、第１及び第２の繋ぎ区間再符号化データを記録媒体に記録させるものであり、
再符号化手段は、第１のＭＰＥＧ画像データにおける第１の繋ぎ区間の開始位置後の最初のフレームの第１の時刻管理情報の記録位置に対応する第１の時刻を、その第１の時刻管理情報の前後に記録されている第１の時刻基準情報の記録位置と第１の時刻管理情報の記録位置との間の各データ長の比率に基づく内挿により求め、第１の時刻と第１の時刻管理情報が示す実際の時刻との間の区間である第１の区間における符号量に基づき、ＶＢＶバッファ占有値の第１の予測値を得る第１の予測値算出手段と、第２のＭＰＥＧ画像データにおける第２の繋ぎ区間の終了位置後の最初のフレームの第２の時刻管理情報の記録位置に対応する第２の時刻を、その第２の時刻管理情報の前後に記録されている第２の時刻基準情報の記録位置と第２の時刻管理情報との間の各データ長の比率に基づく内挿により求め、第２の時刻と第２の時刻管理情報が示す実際の時刻との間の区間である第２の区間における符号量に基づき、ＶＢＶバッファ占有値の第２の予測値を得る第２の予測値算出手段と、第１の繋ぎ区間に対応する第１のＭＰＥＧ画像データを復号して得た画像データである第１の復号画像データと第２の繋ぎ区間に対応する第２のＭＰＥＧ画像データを復号して得た画像データである第２の復号画像データとを順次に、ＶＢＶバッファ占有値が第１の予測値から開始し第２の予測値へ推移して終了するように、符号量制御を行いながら符号化する符号化手段とを備えたことを特徴とする。
【００４６】
また、上記の目的を達成するため、本発明のＭＰＥＧ画像データ記録方法は、ＭＰＥＧ符号化方式で符号化された画像データである第１及び第２の２つのＭＰＥＧ画像データを、それぞれのＭＰＥＧ画像データにおける指定された繋ぎ指定位置で、第１のＭＰＥＧ画像データから第２のＭＰＥＧ画像データへ繋げて再生させるためのデータとして、ＭＰＥＧ符号化方式で符号化された第１の繋ぎ区間再符号化データを生成して記録させる記録ステップを設けたＭＰＥＧ画像データ記録方法であって、
第１のＭＰＥＧ画像データは、ＭＰＥＧ符号化方式の規格に従って、少なくとも復号再生の単位であるアクセスユニットの復号開始時刻を示す第１の時刻管理情報、及び復号側の時刻基準を符号化側と同じに定めるための第１の時刻基準情報と時系列的に多重化されると共に、復号側の仮想バッファであるＶＢＶバッファに蓄積されてから第１の時刻管理情報が示す時刻で瞬時に復号器へ読み出されて転送されるように符号化されているものであり、第２のＭＰＥＧ画像データは、ＭＰＥＧ符号化方式の規格に従って、少なくとも復号再生の単位であるアクセスユニットの復号開始時刻を示す第２の時刻管理情報、及び復号側の時刻基準を符号化側と同じに定めるための第２の時刻基準情報と時系列的に多重化されると共に、復号側の仮想バッファであるＶＢＶバッファに蓄積されてから第２の時刻管理情報が示す時刻で瞬時に復号器へ読み出されて転送されるように符号化されているものであり、
記録ステップは、第１のＭＰＥＧ画像データにおける繋ぎ指定位置より所定時間前の位置を開始位置とし、第１のＭＰＥＧ画像データにおける繋ぎ指定位置を終了位置とする区間を第１の繋ぎ区間として、第１の繋ぎ区間に対応する第１のＭＰＥＧ画像データを復号して得た画像データである復号画像データを、ＭＰＥＧ符号化方式で再符号化して第１の繋ぎ区間再符号化データを生成する再符号化ステップを備え、第１の繋ぎ区間再符号化データを記録媒体に記録させるものであり、
再符号化ステップは、第１のＭＰＥＧ画像データにおける第１の繋ぎ区間の開始位置後の最初のフレームの第１の時刻管理情報の記録位置に対応する第１の時刻を、その第１の時刻管理情報の前後に記録されている第１の時刻基準情報の記録位置と第１の時刻管理情報の記録位置との間の各データ長の比率に基づく内挿により求め、第１の時刻と第１の時刻管理情報が示す実際の時刻との間の区間である第１の区間における符号量に基づき、ＶＢＶバッファ占有値の第１の予測値を得る第１の予測値算出ステップと、第２のＭＰＥＧ画像データにおける繋ぎ指定位置後の最初のフレームの第２の時刻管理情報の記録位置に対応する第２の時刻を、その第２の時刻管理情報の前後に記録されている第２の時刻基準情報の記録位置と第２の時刻管理情報との間の各データ長の比率に基づく内挿により求め、第２の時刻と第２の時刻管理情報が示す実際の時刻との間の区間である第２の区間における符号量に基づき、ＶＢＶバッファ占有値の第２の予測値を得る第２の予測値算出ステップと、第１の繋ぎ区間に対応する第１のＭＰＥＧ画像データを復号して得た画像データである復号画像データを、ＶＢＶバッファ占有値が第１の予測値から開始されて、第２の予測値へ推移して終了するように、符号量制御を行いながら符号化する符号化ステップとを含むことを特徴とする。
【００４７】
また、上記の目的を達成するため、本発明のＭＰＥＧ画像データ記録方法は、ＭＰＥＧ符号化方式で符号化された画像データである第１及び第２の２つのＭＰＥＧ画像データを、それぞれのＭＰＥＧ画像データにおける指定された繋ぎ指定位置で、第１のＭＰＥＧ画像データから第２のＭＰＥＧ画像データへ繋げて再生させるためのデータとして、ＭＰＥＧ符号化方式で符号化された第２の繋ぎ区間再符号化データを生成して記録させる記録ステップを設けたＭＰＥＧ画像データ記録方法であって、
第１のＭＰＥＧ画像データは、ＭＰＥＧ符号化方式の規格に従って、少なくとも復号再生の単位であるアクセスユニットの復号開始時刻を示す第１の時刻管理情報、及び復号側の時刻基準を符号化側と同じに定めるための第１の時刻基準情報と時系列的に多重化されると共に、復号側の仮想バッファであるＶＢＶバッファに蓄積されてから第１の時刻管理情報が示す時刻で瞬時に復号器へ読み出されて転送されるように符号化されているものであり、第２のＭＰＥＧ画像データは、ＭＰＥＧ符号化方式の規格に従って、少なくとも復号再生の単位であるアクセスユニットの復号開始時刻を示す第２の時刻管理情報、及び復号側の時刻基準を符号化側と同じに定めるための第２の時刻基準情報と時系列的に多重化されると共に、復号側の仮想バッファであるＶＢＶバッファに蓄積されてから第２の時刻管理情報が示す時刻で瞬時に復号器へ読み出されて転送されるように符号化されているものであり、
記録ステップは、第２のＭＰＥＧ画像データにおける繋ぎ指定位置を開始位置とし、第２のＭＰＥＧ画像データにおける繋ぎ指定位置より所定時間後の位置を終了位置とする区間を第２の繋ぎ区間として、第２の繋ぎ区間に対応する第２のＭＰＥＧ画像データを復号して得た画像データである復号画像データを、ＭＰＥＧ符号化方式で再符号化して第２の繋ぎ区間再符号化データを生成する再符号化ステップを備え、第２の繋ぎ区間再符号化データを記録媒体に記録させるものであり、
再符号化ステップは、第１のＭＰＥＧ画像データにおける繋ぎ指定位置後の最初のフレームの第１の時刻管理情報の記録位置に対応する第１の時刻を、その第１の時刻管理情報の前後に記録されている第１の時刻基準情報の記録位置と第１の時刻管理情報の記録位置との間の各データ長の比率に基づく内挿により求め、第１の時刻と第１の時刻管理情報が示す実際の時刻との間の区間である第１の区間における符号量に基づき、ＶＢＶバッファ占有値の第１の予測値を得る第１の予測値算出ステップと、第２のＭＰＥＧ画像データにおける第２の繋ぎ区間の終了位置後の最初のフレームの第２の時刻管理情報の記録位置に対応する第２の時刻を、その第２の時刻管理情報の前後に記録されている第２の時刻基準情報の記録位置と第２の時刻管理情報との間の各データ長の比率に基づく内挿により求め、第２の時刻と第２の時刻管理情報が示す実際の時刻との間の区間である第２の区間における符号量に基づき、ＶＢＶバッファ占有値の第２の予測値を得る第２の予測値算出ステップと、第２の繋ぎ区間に対応する第２のＭＰＥＧ画像データを復号して得た画像データである復号画像データを、ＶＢＶバッファ占有値が第１の予測値から開始されて、第２の予測値へ推移して終了するように、符号量制御を行いながら符号化する符号化ステップとを含むことを特徴とする。
【００４８】
また、上記の目的を達成するため、本発明のＭＰＥＧ画像データ記録方法は、ＭＰＥＧ符号化方式で符号化された画像データである第１及び第２の２つのＭＰＥＧ画像データを、それぞれのＭＰＥＧ画像データにおける指定された繋ぎ指定位置で、第１のＭＰＥＧ画像データから第２のＭＰＥＧ画像データへ繋げて再生させるためのデータとして、ＭＰＥＧ符号化方式で符号化された第１及び第２の繋ぎ区間再符号化データを生成して記録させる記録ステップを設けたＭＰＥＧ画像データ記録方法であって、
第１のＭＰＥＧ画像データは、ＭＰＥＧ符号化方式の規格に従って、少なくとも復号再生の単位であるアクセスユニットの復号開始時刻を示す第１の時刻管理情報、及び復号側の時刻基準を符号化側と同じに定めるための第１の時刻基準情報と時系列的に多重化されると共に、復号側の仮想バッファであるＶＢＶバッファに蓄積されてから第１の時刻管理情報が示す時刻で瞬時に復号器へ読み出されて転送されるように符号化されているものであり、第２のＭＰＥＧ画像データは、ＭＰＥＧ符号化方式の規格に従って、少なくとも復号再生の単位であるアクセスユニットの復号開始時刻を示す第２の時刻管理情報、及び復号側の時刻基準を符号化側と同じに定めるための第２の時刻基準情報と時系列的に多重化されると共に、復号側の仮想バッファであるＶＢＶバッファに蓄積されてから第２の時刻管理情報が示す時刻で瞬時に復号器へ読み出されて転送されるように符号化されているものであり、
記録ステップは、第１のＭＰＥＧ画像データにおける繋ぎ指定位置より第１の所定時間前の位置を開始位置とし、第１のＭＰＥＧ画像データにおける繋ぎ指定位置を終了位置とする区間を第１の繋ぎ区間とし、第２のＭＰＥＧ画像データにおける繋ぎ指定位置を開始位置とし、第２のＭＰＥＧ画像データにおける繋ぎ指定位置より第２の所定時間後の位置を終了位置とする区間を第２の繋ぎ区間として、第１及び第２の繋ぎ区間に対応する第１及び第２のＭＰＥＧ画像データを復号して得た画像データである第１及び第２の復号画像データを、ＭＰＥＧ符号化方式で再符号化して第１及び第２の繋ぎ区間再符号化データを生成する再符号化ステップを備え、第１及び第２の繋ぎ区間再符号化データを記録媒体に記録させるものであり、
再符号化ステップは、第１のＭＰＥＧ画像データにおける第１の繋ぎ区間の開始位置後の最初のフレームの第１の時刻管理情報の記録位置に対応する第１の時刻を、その第１の時刻管理情報の前後に記録されている第１の時刻基準情報の記録位置と第１の時刻管理情報の記録位置との間の各データ長の比率に基づく内挿により求め、第１の時刻と第１の時刻管理情報が示す実際の時刻との間の区間である第１の区間における符号量に基づき、ＶＢＶバッファ占有値の第１の予測値を得る第１の予測値算出ステップと、第２のＭＰＥＧ画像データにおける第２の繋ぎ区間の終了位置後の最初のフレームの第２の時刻管理情報の記録位置に対応する第２の時刻を、その第２の時刻管理情報の前後に記録されている第２の時刻基準情報の記録位置と第２の時刻管理情報との間の各データ長の比率に基づく内挿により求め、第２の時刻と第２の時刻管理情報が示す実際の時刻との間の区間である第２の区間における符号量に基づき、ＶＢＶバッファ占有値の第２の予測値を得る第２の予測値算出ステップと、第１の繋ぎ区間に対応する第１のＭＰＥＧ画像データを復号して得た画像データである第１の復号画像データと第２の繋ぎ区間に対応する第２のＭＰＥＧ画像データを復号して得た画像データである第２の復号画像データとを順次に、ＶＢＶバッファ占有値が第１の予測値から開始し第２の予測値へ推移して終了するように、符号量制御を行いながら符号化する符号化ステップとを含むことを特徴とする。
【００４９】
本発明のＭＰＥＧ画像データ記録装置及び記録方法では、第１の繋ぎ区間と第２の繋ぎ区間とのうち、予め定めたどちらか一方又は両方からなる繋ぎ区間の符号化画像データを復号し、その復号画像データをＭＰＥＧ符号化方式で再符号化する際に、繋ぎ区間の開始位置におけるＶＢＶバッファ値の第１の予測値から、繋ぎ区間の終了位置におけるＶＢＶバッファ値の第２の予測値へＶＢＶバッファ値が推移するように符号量制御して再符号化を行い、繋ぎ区間再符号化データを生成して記録するようにしたため、第１の符号化画像データを繋ぎ区間の開始位置まで再生してから、記録されている繋ぎ区間再符号化データを再生し、その後で繋ぎ区間の終了位置から第２の符号化画像データを再生することにより、ＶＢＶバッファの接続にオーバーフローやアンダーフローの矛盾が生じることなく、また、元の第１及び第２の符号化画像データそのものを加工することなく、第１の指定位置の第１の符号化画像データから第２の指定位置の第２の符号化画像データへ繋ぎ再生させることができる。
【００５０】
なお、本発明の上記の第１の符号化画像データ及び第２の符号化画像データは、ＭＰＥＧ符号化方式で符号化された音声符号化データなどの他のデータにパケット多重化されて、要素符号化データを構成するＭＰＥＧ多重化データ中の符号化画像データを含むものとする。
【発明の効果】
【００５１】
本発明によれば、第１の符号化画像データを繋ぎ区間の開始位置まで再生してから、記録されている繋ぎ区間再符号化データを再生し、その後で繋ぎ区間の終了位置から第２の符号化画像データを再生することにより、ＶＢＶバッファの接続にオーバーフローやアンダーフローの矛盾が生じることなく、また、元の第１及び第２の符号化画像データそのものを加工することなく、第１の指定位置の第１の符号化画像データから第２の指定位置の第２の符号化画像データへ繋ぎ再生させることができるようにしたため、それぞれ繋ぎ位置として指定された第１及び第２の指定位置で、第１の符号化画像データから第２の符号化画像データへ繋げる再生を、シームレスで高品位に実現させることができる。
【００５２】
また、本発明では、シームレスで高品位な再生を実現させるために、新たに生成・記録する画像データとしては、設定した繋ぎ区間の再符号化データのみでよいので、繋ぎ区間の再符号化データを記録する記録媒体を効率良く利用できる。
【発明を実施するための最良の形態】
【００５３】
次に、本発明を実施するための最良の形態について図面と共に説明する。
【００５４】
まず、本発明で実現可能とする繋ぎ再生の概念を説明する。図１に示すようにＭＰＥＧ符号化方式で符号化された画像データである第１のＭＰＥＧ画像データ及び第２のＭＰＥＧ画像データがそれぞれ存在する場合の、第１のＭＰＥＧ画像データの途中（指定された繋ぎ指定位置）から第２のＭＰＥＧ画像データを繋げて再生することを考える。
【００５５】
第１のＭＰＥＧ画像データにおける繋ぎ指定位置（接続点）が図１のｂの位置と仮定すると、第１のＭＰＥＧ画像データのｂの位置まで再生を行い、その後第２のＭＰＥＧ画像データへ接続してデータを再生することになるが、２つのＭＰＥＧ画像データは単純につなぐとＶＢＶバッファの接続に矛盾が生じ、オーバーフローやアンダーフローがおきてしまうという問題が生じる。
【００５６】
そこで、従来は、２つの方法でＶＢＶバッファの占有値を検出していた。第１の検出方法は、ＭＰＥＧ規格において、基本的にＣＢＲ（constant bit rate）、すなわち、固定転送レートの場合には、ＭＰＥＧビデオのピクチャレイヤにデコーダのＶＢＶバッファのバッファ占有率を示す、ＶＢＶ ｄｅｌａｙ値が規定されており、これを利用する方法である。すなわち、第１の検出方法では、ＶＢＶ ｄｅｌａｙ値がピクチャ単位に記述されているので、ＭＰＥＧ画像ビットストリームをピクチャヘッダのみだけでも観測することで、ＭＰＥＧ画像データの所定位置に対応するピクチャのＭＰＥＧ符号化開始時点（または終了時点）でのＶＢＶバッファ占有値を検出することができる。
【００５７】
この場合、例えば後述する図６におけるＶＢＶバッファ情報予測器１０６の機能は、ビットストリームのピクチャヘッダ（ＭＰＥＧでは０ｘ０００００１００という４バイトのコード）をサーチして、その後の１０ビットのテンポラル・リファレンス（temporal reference）と、ピクチャタイプを示す３ビットのピクチャ・コーディング・タイプ(picture coding type）の後に続く、１６ビットのＶＢＶ  ｄｅｌａｙを検出することで実現できる。ＶＢＶ  ｄｅｌａｙ値とは
ＶＢＶ  ｄｅｌａｙ＝９００００ｘＢ／Ｒ
Ｂ：バッファ占有値  Ｒ：ビットレート
で定義された、ランダムアクセス時のバッファの初期状態を示すものであるから、固定転送レートの場合には、このビットレートを用いてＶＢＶ  ｄｅｌａｙ値からＶＢＶバッファ占有値も計算で求めることができる（例えば図６に示すＶＢＶバッファ情報予測器１０６で計算する。）。ＭＰＥＧではこのＶＢＶ  ｄｅｌａｙ値は、図２（Ｂ）のように、グラフの頂点の位置でのものに注意しなければならない。しかし、この方法はＣＢＲの場合にしか有効ではない。
【００５８】
第２の検出方法は、固定転送レートではなく可変転送レートの場合である。ＭＰＥＧ規格では、基本的にＶＢＲ（variable bit rate：可変転送レート）の場合、ＭＰＥＧビデオのピクチャレイヤにおけるＶＢＶバッファのバッファ占有率を示すＶＢＶ  ｄｅｌａｙ値はすべて１、（１６ビットすべてが１なので０ｘｆｆｆｆ）となる。従って、前記第１の検出方法は使えない。
【００５９】
そこで、第２の検出方法では、ＭＰＥＧ画像ビットストリームを観測することで得られた情報から次のような計算を行う。まず、ビットストリームの一番初めから、ＶＢＶバッファをＭＰＥＧ規定の最大値（たとえばメインプロファイルメインレベルでは１.７５Ｍビット）まで占有したと仮定する。次に、始めのピクチャの符号量を減算する。次に、可変転送レート符号化におけるピークレートの伝送レート情報を用いて、表示ピクチャ間の時間だけ経過した場合の伝送量を加算し、次のピクチャの符号量を減算する。
【００６０】
このような一連の加算、減算という処理を所定の求めたいビットストリームの位置まで繰り返し行うことで、図３に示すようなグラフをシミュレーションして求めるが如く、ＭＰＥＧ画像データの所定位置に対応するピクチャのＭＰＥＧ符号化開始時点（または終了時点）でのＶＢＶバッファ占有値を求めることができる。
【００６１】
可変転送レート時のピークレートは、ＭＰＥＧではシーケンスヘッダのビットレート（bit rate）というシンタックスの部分に記述するように規定されているので、それを参照すれば得られる。例えば、図６に示すＶＢＶバッファ情報予測器１０６に上述のＭＰＥＧ画像ビットストリームを観測機能と計算機能を持たせるようにして実現する（この第２の検出方法の場合、そのＭＰＥＧ画像ビットストリームの先頭から、各ピクチャの発生符号量を観測して計算しなければならない。）。しかし、この第２の検出方法はビットストリームを先頭から解析して行かなければならず、高速に編集動作などを行うことができない。
【００６２】
そこで、本発明では、ＶＢＶバッファ占有値情報を、再符号化するＭＰＥＧ画像データにおける繋ぎ指定位置のＤＴＳとＰＣＲの区間に存在するピクチャの特定情報と発生符号量情報を基にして予測する。また、第２の繋ぎ区間の終了位置に対応する位置におけるＶＢＶバッファ占有値も同様に予測して、そのＶＢＶバッファ占有値に関する情報値推移になるように、符号量制御を行い、再符号化を行うようにする。
【００６３】
この方法を、図１を用いてプロセスと共に説明をする。ＶＢＶバッファ占有値に関する情報値とは、例えばＭＰＥＧで規定されているＶＢＶバッファ占有値またはＶＢＶ ｄｅｌａｙ値である。２つのストリームを接続するときに必要な再符号化をするための区間は後述するように、例えば３フレーム程度のものでも、１ＧＯＰ程度でもよい。仮に、上記の再符号化をするための区間を、図１に示す第１のＭＰＥＧ画像データにおいては、ａ−ｂ間、第２のＭＰＥＧ画像データにおいては図１のｃ−ｄ間とする。
【００６４】
第１のＭＰＥＧ画像データのａ−ｂ間（第１の繋ぎ区間：ここでは区間Ａとする）のデータを、一旦、復号化して復号画像データを得、その復号画像データ（第１の繋ぎ区間復号画像データ）をＭＰＥＧ符号化方式で再符号化を行う。それによって作成された再符号化データを区間Ａの再符号化ＭＰＥＧ画像データ（第１の繋ぎ区間再符号化データ）と呼ぶこととする。
【００６５】
この再符号化は、ＶＢＶバッファ占有値に関する情報値の推移が、ａの位置での検出した第１のＶＢＶバッファ占有値関連情報に基づき得られたＶＢＶバッファ占有値に関する情報値から開始されて、ｄの位置での検出した第２のＶＢＶバッファ占有値関連情報に基づき得られたＶＢＶバッファ占有値に関する情報値までで終了するようにレートコントロールを行ってＭＰＥＧ符号化方式で再符号化を行う。
【００６６】
本実施の形態では、第１のＭＰＥＧ画像データのｂの位置まで再生を行い、その後第２のＭＰＥＧ画像データのｄの位置へ接続してデータを再生する、という従来の繋ぎ再生動作に替えて、区間Ａの再符号化ＭＰＥＧ画像データを用いて次のような動作とする。すなわち、本実施の形態では、第１のＭＰＥＧ画像データのａの位置（区間Ａの開始位置）までは第１のＭＰＥＧ画像データの再生を行い、続いて前記区間Ａの再符号化ＭＰＥＧ画像データをその区間の開始位置から終了位置まで再生し、その後、第２のＭＰＥＧ画像データのｄの位置（繋ぎ指定位置）へ接続してｄ以降の第２のＭＰＥＧ画像データのデータを再生する、という動作にする。
【００６７】
再生装置側にこの動作を行う繋ぎ再生手段を設けて実現させる。この繋ぎ再生動作とすることで、元の第１及び第２のＭＰＥＧ画像データと同じコンテンツ内容で、かつ、ＶＢＶバッファの破綻を起こさないシームレスな接続再生を実現することが可能となる。
【００６８】
次に、本発明の他の実施の形態の接続再生例について図４（Ｂ）、（Ｃ）と共に説明する。図４（Ａ）は図１に示した例と同様のものである。すなわち、図４（Ａ）では、第１のＭＰＥＧ画像データのｅの位置（区間Ａの開始位置）までは第１のＭＰＥＧ画像データの再生を行い、その後第１のＭＰＥＧ画像データのｅ−ｆ区間Ａの、再符号化ＭＰＥＧ画像データをその区間Ａの開始位置から終了位置まで再生し、その後、第２のＭＰＥＧ画像データのｈの位置（繋ぎ指定位置）へ接続してｈ以降の第２のＭＰＥＧ画像データを再生する。
【００６９】
図１及び図４（Ａ）に示した例では、第１のＭＰＥＧ画像データ側のみを基に繋ぎ区間の再符号化ＭＰＥＧ画像データを得て繋ぎ再生を実現したが、第２のＭＰＥＧ画像データ側のみを基に繋ぎ区間の再符号化ＭＰＥＧ画像データを得て繋ぎ再生を実現することも可能である。その例が図４（Ｂ）に示したものであり、第２のＭＰＥＧ画像データにおける繋ぎ区間Ｂの同符号化ＭＰＥＧ画像データを用いるものである。
【００７０】
すなわち、図４（Ｂ）において、第１のＭＰＥＧ画像データにおける接続点（繋ぎ指定位置）をｉの位置とし、第２のＭＰＥＧ画像データにおける接続点（繋ぎ指定位置）をｋの位置とする。前述したＶＢＶバッファの情報を有する単位である第１及び第２の所定区間の１単位を、第１のＭＰＥＧ画像データにおいてはｉ−ｊ間、第２のＭＰＥＧ画像データにおいてはｋ−ｌ間とする。ｌの位置は第２のＭＰＥＧ画像データにおける接続点（繋ぎ指定位置）ｋから第２の所定時間分後の第２の所定区間の境界位置となる。
【００７１】
接続点ｋを開始位置としｌの位置を終了位置とする区間を繋ぎ区間Ｂ（第２の繋ぎ区間）とする。第２のＭＰＥＧ画像データを繋ぎ区間Ｂ（ｋ−ｌ区間）のデータを、一旦、復号化して、復号画像データを得、その復号画像データ（第２の繋ぎ区間復号画像データ）をＭＰＥＧ符号化方式で再符号化を行う。それによって作成された再符号化データを繋ぎ区間Ｂの再符号化ＭＰＥＧ画像データ（第２の繋ぎ区間再符号化データ）と呼ぶこととする。
【００７２】
この再符号化は、ＶＢＶバッファ占有値に関する情報値の推移が、ｉの位置でのＶＢＶバッファ占有値に関する情報値から開始されて、ｌの位置でのＶＢＶバッファ占有値に関する情報値までで終了するようにレートコントロールを行ってＭＰＥＧ符号化方式で再符号化を行う。そして、繋ぎ区間Ｂの再符号化ＭＰＥＧ画像データを用いて、第１のＭＰＥＧ画像データから第２のＭＰＥＧ画像データへの繋ぎ再生を行う。すなわち、第１のＭＰＥＧ画像データの接続点ｉ（繋ぎ指定位置）までは第１のＭＰＥＧ画像データの再生を行い、その後、前記区間Ｂの再符号化ＭＰＥＧ画像データをその区間の開始位置から終了位置まで再生し、その後、第２のＭＰＥＧ画像データのｌの位置（繋ぎ区間Ｂの終了位置）へ接続してｌの位置以降の第２のＭＰＥＧ画像データを再生する、という動作にする。
【００７３】
再生装置側にこの動作を行う繋ぎ再生手段を設けて実現させる。この繋ぎ再生動作とすることで、元の第１及び第２のＭＰＥＧ画像データと同じコンテンツ内容で、かつ、ＶＢＶバッファの破綻を起こさないシームレスな接続再生を実現することが可能となる。
【００７４】
次に、図４（Ｃ）に示す実施の形態について説明する。この例では、接続点前後の第１及び第２のＭＰＥＧ画像データを基に繋ぎ区間の再符号化ＭＰＥＧ画像データを得て繋ぎ再生を実現させるものである。図４（Ｃ）において、第１のＭＰＥＧ画像データにおける接続点（繋ぎ指定位置）をｎの位置とし、第２のＭＰＥＧ画像データにおける接続点（繋ぎ指定位置）をｐの位置とする。
【００７５】
ｍの位置は第１のＭＰＥＧ画像データにおける接続点（繋ぎ指定位置）ｎから第１の所定時間分前の第１の所定区間の境界位置となる。ｍの位置を開始位置とし接続点ｎの位置を終了位置とする区間を繋ぎ区間Ａ（第１の繋ぎ区間）とする。ｑの位置は第２のＭＰＥＧ画像データにおける接続点（繋ぎ指定位置）ｐから第２の所定時間分後の第２の所定区間の境界位置となる。接続点ｐを開始位置としｑの位置を終了位置とする区間を繋ぎ区間Ｂ（第２の繋ぎ区間）とする。
【００７６】
第１のＭＰＥＧ画像データの繋ぎ区間Ａ（ｍ−ｎ区間）のデータを、一旦、復号化して復号画像データ（繋ぎ区間Ａ復号画像データ：第１の繋ぎ区間復号画像データ）を得る。また、第２のＭＰＥＧ画像データの繋ぎ区間Ｂ（ｐ−ｑ区間）のデータを、一旦、復号化して、復号画像データ（繋ぎ区間Ｂ復号画像データ：第２の繋ぎ区間復号画像データ）を得る。繋ぎ区間Ａ復号画像データと繋ぎ区間Ｂ復号画像データとを合わせた繋ぎ区間Ａ＋Ｂ復号画像データ（第３の繋ぎ区間復号画像データ）をＭＰＥＧ符号化方式で再符号化を行う。それによって作成された再符号化データを繋ぎ区間Ａ＋Ｂの再符号化ＭＰＥＧ画像データ（第３の繋ぎ区間再符号化データ）と呼ぶこととする。
【００７７】
この再符号化は、ＶＢＶバッファ占有値に関する情報値の推移が、ｍの位置での第１のＶＢＶバッファ占有値に関する情報値から開始されて、ｑの位置での第２のＶＢＶバッファ占有値に関する情報値までで終了するようにレートコントロールを行ってＭＰＥＧ符号化方式で再符号化を行う。そして、繋ぎ区間Ａ＋Ｂの再符号化ＭＰＥＧ画像データを用いて、第１のＭＰＥＧ画像データから第２のＭＰＥＧ画像データへの繋ぎ再生を行う。
【００７８】
すなわち、第１のＭＰＥＧ画像データの繋ぎ区間Ａの開始位置ｍまでは第１のＭＰＥＧ画像データの再生を行い、そのあと前記繋ぎ区間Ａ＋Ｂの再符号化ＭＰＥＧ画像データをその区間の開始位置から終了位置まで再生し、その後、第２のＭＰＥＧ画像データの繋ぎ区間Ｂの終了位置ｑへ接続してｑの位置以降の第２のＭＰＥＧ画像データを再生する、という動作にする。再生装置側にこの動作を行う繋ぎ再生手段を設けて実現させる。
【００７９】
この繋ぎ再生動作とすることで、元の第１及び第２のＭＰＥＧ画像データと同じコンテンツ内容で、かつ、ＶＢＶバッファの破綻を起こさないシームレスな接続再生を実現することが可能となる。
【００８０】
このように、図４（Ａ）〜（Ｃ）に示した方法は、いずれもシームレスで高品位な繋ぎ再生を実現させることができる。これらの発展例としては、図５に示すように、第１のＭＰＥＧ画像データと第２のＭＰＥＧ画像データとを接続した繋ぎ再生、第１のＭＰＥＧ画像データと第２のＭＰＥＧ画像データと第４のＭＰＥＧ画像データとを順次に接続した繋ぎ再生、第１のＭＰＥＧ画像データと第３のＭＰＥＧ画像データとを接続した繋ぎ再生などの、途中分岐するような繋ぎ再生を実現させることも可能となる。
【００８１】
このように、本発明を用いれば、元のＭＰＥＧ画像データそのものを加工することなく、繋ぎ区間の再符号化ＭＰＥＧ画像データを生成し利用するだけで、他のＭＰＥＧデータに自由に繋げることができるので、様々な分岐ストーリを構成するプログラムを符号化する際にも、分岐ストーリ毎にそのストーリの全体にわたる冗長なＭＰＥＧ画像データを記録することなく、メディアを効率良く使用することが可能となる（本発明を用いれば、第１〜第４のＭＰＥＧ画像データそれぞれ一組と、分岐ストーリ毎の繋ぎ区間の符号化ＭＰＥＧ画像データとを用意しておけばよい。）。
【００８２】
次に、本発明になるＭＰＥＧ画像データ記録装置の一実施の形態の構成について説明する。図６は本発明になるＭＰＥＧ画像データ記録装置の一実施の形態のブロック図を示す。この実施の形態はディジタル信号記録再生装置に適用したものである。
【００８３】
まず、ＭＰＥＧ符号化方式で画像データを符号化しながらＶＢＶバッファ情報を作成する動作について説明する。同図において、記録媒体１０１に符号化データが全く無い状態、すなわち、初めて符号化する場合には、データ読み取り部１０２では、記録媒体１０１に記録されている符号化データが存在しないので、符号化データが無いという情報をＶＢＶバッファ情報予測器１０６に出力する。
【００８４】
ＶＢＶバッファ情報予測器１０６は符号化データが無いという情報を受けると、パラメータ設定器１０７が出力するパラメータ（ＶＢＶ値、ＰＴＭタイムスタンプ情報）を予め設定した初期値、すなわちＶＢＶ値は、例えばＭＰＥＧで規定されるＶＢＶの最大値の８０％の値とし、ＰＴＭタイムスタンプ情報は０とする。これらのパラメータの初期設定値は、パラメータ設定器１０７から画像再符号化器１０８に供給される。
【００８５】
画像再符号化器１０８では、符号化データサーチ部１０３から入力される信号がビットストリームであるときには、そのデータを復号化して再符号化し、画像データであるときには新たな符号化を初期設定値から開始する。すなわち、画像再符号化器１０８は、図１２と同様の構成の復号化器と、図１１に示したと同様の構成のＭＰＥＧ符号化器とからなり、再符号化又は符号化の時には、ＶＢＶの初期値がパラメータ設定器１０７から画像再符号化器１０８内の符号量制御器（図１１の７に相当）に設定され、その符号量制御器の制御によりＭＰＥＧのＶＢＶバッファの規定に従って、ＶＢＶバッファがアンダーフローを起こさないように、１フレームずつの目標符号量を設定し、その目標符号量に従って画像再符号化器１０８内の量子化器（図１１の４に相当）に対して量子化ステップが設定され、ＶＬＣ器（図１１の５に相当）により可変長符号化がなされる。
【００８６】
このようにして、画像再符号化器１０８では再符号化又は符号化を行いながら、得られた符号化データをデータ書き込み部１０９へ供給して、これにより記録媒体１０１に記録させる。
【００８７】
次に、記録媒体１０１に記録されている第１及び第２の２つのＭＰＥＧ画像データに対して、所定の位置からの繋ぎ再生を可能とするため、図１の区間Ａの部分の再符号化を行う場合の図６の画像データ記録装置の動作を、図１を併せ参照して説明する。
【００８８】
まず、図示せぬ、ユーザーインターフェースから、既に記録媒体１０１に記録されている第１及び第２の２つのＭＰＥＧ画像データ（圧縮符号化ストリーム）のどこのポイントから繋ぎ再生するかを、符号化データサーチ部１０３等に指定してもらう。データ読み取り部１０２は既に第１及び第２の２つのＭＰＥＧ画像データが記録されている記録媒体１０１から読み取ったＭＰＥＧ画像データを符号化データサーチ部１０３に供給する。
【００８９】
符号化データサーチ部１０３は、データ読み取り部１０２から供給される再生ＭＰＥＧ画像データに基づき、指定された再符号化区間Ａの開始位置より数フレーム前のフレームにサーチをかける。
【００９０】
ＰＣＲ、ＤＴＳ検出器１０４は符号化データサーチ部１０３から出力される第１のＭＰＥＧ画像データのうちの再符号化区間Ａの最初のフレームにおけるＤＴＳを検出する。また、そのＤＴＳのデータの前後にあるＰＣＲの値を検出する。ＤＴＳとＰＣＲの位置関係を図７に示す。これらはＭＰＥＧの規格に準拠して記録されているので、検出はＭＰＥＧ規格書のシンタックスの通りに記録ビットを読めば検出できる。ＤＴＳのポイント（記録位置）の時間情報は、ＤＴＳの前後のＰＣＲの値から、ＤＴＳの記録されているポイントまでのデータ長比率を用いて内挿して計算することができる。
【００９１】
すなわち、図７（Ａ）は圧縮ストリームのある隣接する２つのＰＣＲの位置ＰＡとＰＢの間に再符号化区間Ａの最初のフレームにおけるＤＴＳの情報が記録媒体に記録されている状態を示しており、ＰＡの位置にあるＰＣＲとＰＢの位置にある次のＰＣＲの位置の間は、ＭＰＥＧの規格では１００ｍｓｅｃ以下と規定されている。ここで、ＤＴＳの記述されているフレームの先頭のＰＣＲの値を、位置ＰＡのＰＣＲの情報の先頭からＤＴＳの先頭までのデータ長と、位置ＰＢのＰＣＲの情報の先頭からＤＴＳの先頭までのデータ長の比率を用いて内挿計算して算出する。図７（Ｂ）の４１は上記のように内挿計算してＰＣＲの内挿値を算出する様子を示す。
【００９２】
続いて、図７（Ｃ）に示すように、ピクチャ特定情報検出器１０５において、算出したＰＣＲの内挿値４２をＤＴＳのデータ位置の時刻とし、記録媒体から再生したＤＴＳの値（ＤＴＳ値）４３の間の（ＤＴＳ値−ＰＣＲ内挿値）の区間内にピクチャが何枚あるかを検出（特定）する。
【００９３】
ここで、ＤＴＳは前述したように、復号再生の単位であるアクセスユニットの復号開始時刻を示す時刻管理情報であり、そのＤＴＳが示す値（ＤＴＳ値）の時刻で瞬時に復号器へＶＢＶバッファの蓄積画像データ等が読み出されて転送されるように、ＭＰＥＧ画像データは符号化されているが、ＤＴＳが記録されている位置の再生時刻とそのＤＴＳが示す時刻とが通常は一致しないため、ＰＣＲ内挿値４２が示すＤＴＳのデータ位置の時刻から実際のＤＴＳ値４３までの間の区間に再生されるフレーム数（ピクチャ数）に対応した符号量がＶＢＶバッファに格納されているとみなせる。従って、上記のＤＴＳ値４３とＰＣＲ内挿値４２との間の区間に、ピクチャが何枚あるかにより、再符号化区間Ａの開始位置におけるＶＢＶバッファ占有値を予測できる。再符号化区間Ａの終了位置におけるＶＢＶバッファ占有値も第２のＭＰＥＧ画像データから上記と同様にして予測できる。
【００９４】
そして、本実施の形態では、このようにして算出した上記のＤＴＳ値４３とＰＣＲ内挿値４２との間の区間にあるピクチャ数を検出し、更に図８に示すような構造のピクチャ特定情報２００及び後述のピクチャ符号量情報３００を図６では図示しない作成部で作成して記録媒体１０１に記録しておき、その後の実際の再符号化時に、記録媒体１０１からピクチャ特定情報２００及びピクチャ符号量情報３００を再生し、迅速に再符号化を行う。
【００９５】
上記のピクチャ特定情報２００は、図８に示すように、エントリーポインタ情報構造体２０１と特定情報構造体２０２で成りたっており、エントリーポインタ情報構造体２０１は特定情報の数だけアドレスの値が記載された構造であり、この構造体の先頭から何バイト目に特定情報が記載されている相対アドレスとして記載されている。アドレスはそれぞれ１６ビットである。
【００９６】
特定情報構造体２０２は３２ビットのＤＴＳと、８ビットの枚数情報とからなり、そのＤＴＳ値を持つピクチャから何枚分が、そのＤＴＳの情報を持つピクチャのＰＣＲの値から、ＤＴＳの値までの時間に含まれているかを示す特定情報を持つ構造体である。これにより、図７の内挿により求まったＰＣＲ内挿値４２の時刻からＤＴＳ値４３までの間の区間のピクチャの枚数は、ピクチャ特定情報２００により特定され、ピクチャ符号量情報３００が示すその符号量を加算することで、ＶＢＶバッファの中に溜まっている符号量を予測できる。
【００９７】
また、ピクチャ符号量情報３００は図９に示すように、複数の符号量情報３０１からなり、各符号量情報３０１はピクチャの符号化順番毎に、３２ビットのＤＴＳ値３０２と３２ビットの発生符号量３０３とからなる構成とされて記録されている。このピクチャ符号量情報は記録コンテンツのプログラム毎に管理され、リンクした状態で記録されている。
【００９８】
なお、復号の時刻管理情報ＤＴＳと時刻基準情報ＰＣＲの区間に存在するピクチャの特定情報と発生符号量情報とを基にしてＶＢＶバッファ占有値の予測値を得るのは、第１のＭＰＥＧ画像データの繋ぎ区間の開始位置と、第２のＭＰＥＧ画像データの繋ぎ指定位置又は繋ぎ区間の終了位置のそれぞれについて行われる。
【００９９】
再符号化時において、図６のＶＢＶバッファ情報予測器１０６は、ピクチャ特定情報検出器１０５で検出された上記のピクチャ特定情報２００及びピクチャ符号量情報３００から、前記ＰＣＲ内挿値とＤＴＳ値との間の区間に存在するピクチャの符号量を加算して計算する。この値は前述したように再符号区間の開始位置と終了位置の各ＶＢＶバッファ占有値に相当する。このような方法でＶＢＶバッファの占有値を予測し、その予測値に応じて再符号化のためのバッファ初期値パラメータを、パラメータ設定器１０７により画像再符号化器１０８に設定する。画像再符号化器１０８では設定されたパラメータに従って符号量制御を行い、再符号化を行う。
【０１００】
画像再符号化器１０８は前記バッファ初期値パラメータの設定値から符号化を開始する。一方、符号化データサーチ部１０３では再符号化する区間Ａの先頭位置を、既に記録してあるビットストリームに対してサーチする。サーチはデータの相対アドレスを用いて、そのビットストリームファイルの頭からの位置にポインタを設定する。
【０１０１】
画像再符号化器１０８は符号化データサーチ部１０３によりサーチされて入力された区間Ａに対応する第１のＭＰＥＧ画像データを復号化し、その復号画像を用いて再度、ＶＢＶバッファ占有値の推移が、図１のａの位置でのＶＢＶ値から開始されて、図１のｄの位置でのＶＢＶ値までで終了するようにレートコントロールを行ってＭＰＥＧ符号化方式で再符号化を行う。再符号化は前記のように完全に復号した画像を用いてもよいが、例えば、特開平１１−２３４６７７号公報に開示されているような、ビットストリーム上での符号量コントロールの技術を用いてもよい。
【０１０２】
画像再符号化器１０８により再符号化された区間Ａの画像データ（繋ぎ区間Ａ再符号化データ）は、データ書き込み部１０９により、記録媒体１０１に第１、第２のＭＰＥＧ画像データと分離された別のファイルとして記録するか、記録されている第２のＭＰＥＧ画像データの先頭に連結して記録する。
【０１０３】
なお、上記の説明では、第１のＭＰＥＧ画像データと、第２のＭＰＥＧ画像データと、前記区間Ａの再符号化画像データ（または前記区間Ｂの再符号化画像データ、または前記区間Ａ＋Ｂの再符号化画像データ）は、同一の記録媒体１０１に記録されるように説明したが、任意の組み合わせで複数の記録媒体に記録されていても、それぞれが異なる記録媒体に記録されていても構わない。複数の記録媒体に分けて記録されている場合には、それぞれの記録媒体同士がリンクされて（それぞれのデータ、情報同士がリンクされて）運用されるように、同一情報群であることを示す情報、例えばＩＤなどを各記録媒体に記録しておくとよい。
【０１０４】
第１のＭＰＥＧ画像データと、第２のＭＰＥＧ画像データと、前記区間Ａの再符号化画像データ（または前記区間Ｂの再符号化画像データ、または前記区間Ａ＋Ｂの再符号化画像データ）とが同一の記録媒体に記録されている場合には、一つの記録媒体で、再生装置側の繋ぎ再生を制御できる。
【０１０５】
また、上記実施の形態で、記録媒体は記録再生装置内の記録媒体として説明したが、記録再生装置に着脱自在の記録媒体、ネットワークを介した記録媒体（データベース）であっても構わない。
【０１０６】
上記実施の形態では、単体のＭＰＥＧ画像データに着目して画像データを繋ぐ例を説明したが、次に、音声データなどと共にＭＰＥＧ符号化方式でパケット多重化されたＭＰＥＧ多重化データであるＭＰＥＧトランスポートストリーム内のＭＰＥＧ画像データを繋ぐ編集記録を行う他の実施の形態について説明する。
【０１０７】
トランスポートストリームには可変長符号化されているＭＰＥＧ画像データ、固定長符号化されているＭＰＥＧ１レイヤ２オーディオもしくはＡＣ３などが多重化されている場合が多い。従って、その多重化されたデータ中の要素符号化データの一つであるＭＰＥＧ画像データを繋ぐ場合、接続する点においてＭＰＥＧで規定されるＳＴＤバッファ（ビデオではＶＢＶバッファ）の整合性を考慮した接続方法として、前記説明した実施の形態の方法を適応する。
【０１０８】
例えば、第１及び第２のＭＰＥＧトランスポートストリーム内からそれぞれ接続対象の第１及び第２のＭＰＥＧ画像データを取り出し、上記した実施の形態と同様にして接続する。繋ぎ再生に使用する繋ぎ区間再符号化データ（前記区間Ａの再符号化画像データ、前記区間Ｂの再符号化画像データ、前記区間Ａ＋Ｂの再符号化画像データ）は、ＭＰＥＧ符号化方式でパケット多重化されたＭＰＥＧ多重化データとして生成、記録されてもよい。
【０１０９】
図１０（Ａ）の状態はＭＰＥＧトランスポートストリームのパケット多重化されたデータの状態を示している。図１０において、「Ｖ」と記載されているパケットはビデオパケット、「Ａ」と記載されているパケットはオーディオのパケット、「Ｓ」と記載されているパケットはシステムで使用されるＰＡＴやＰＭＴなどの情報パケットである。各々ＭＰＥＧ２システムのルールに準拠した形で記録されている。ビデオパケットは薄いグレーの色を施してある。
【０１１０】
これらの全体を示した状態が図１０（Ｂ）である。このビデオパケットだけを集めた状態が図１０（Ｃ）である。このビデオパケットの中身は、図１０（Ｄ）に示すように、始めがＩピクチャであり、次にＢピクチャが２枚、そのあとにＰピクチャが１枚、と続いてくのが典型的な例である。これらのピクチャの１枚もしくは複数のピクチャにおいて再符号化によって符号量を調整する。図１０（Ｄ）に示すトランスポートストリームの符号量を削減した状態を、例えば図１０（Ｅ）に示す。図１０（Ｅ）に示すように、各ピクチャの符号量は同図（Ｄ）に示す同じピクチャに対してそれぞれ小さくなっている。その状態でパケット化したものを図１０（Ｆ）に示す。
【０１１１】
減少した部分には黒色を施してある。このパケット分、ビデオの全体の量が減少する。そして、ＴＳを再構築する。この状態を全体で表現したものが同図（Ｇ）である。同図（Ｇ）を拡大したものが同図（Ｈ）である。結果的にビデオパケットの一部が減少し、それ以外の要素データパケットはそのまま多重化する。
【０１１２】
ＭＰＥＧの規格ではＰＣＲクロック情報は１００ｍｓｅｃに一度は記録されていなければならない。また、データ長が変更されているので、それぞれの要素パケットに記載されているＰＣＲクロック情報は必要に応じて変更する。また、ビデオパケットにはアクセスユニット（フレームやフィールドのピクチャ単位）の先頭のＰＥＳヘッダが存在するパケットにＰＴＳやＤＴＳが記述されている。
【０１１３】
オーディオパケットには１つもしくは複数のオーディオフレームをＰＥＳでパッキングしたその先頭のＰＥＳヘッダが存在するパケットにＰＴＳが記載されている。これらのタイムスタンプ情報は画像においてはピクチャ数を増減していない場合には変更する必要はないし、オーディオも再生時間長を増減しなければ変更の必要はないが、それ以外の場合には、適切なＰＴＳ，ＤＴＳを追加修正する。
【０１１４】
更にまた、単純に再符号化する場合には、予測符号化のリセットタイミングであるＩピクチャからのＧＯＰ単位が扱いやすいが、ＧＯＰが独立していない場合、すなわち、境界のＢピクチャが双方のＧＯＰにまたがって予測されている場合（ＧＯＰのｃｌｏｓｅｄ  ｇｏｐ＝０の場合）には、一つ前のＧＯＰの最後のリファレンスピクチャを復号化して、図示せぬ画像再符号化用メモリなどに保持しておくことが必要になる場合がある。
【０１１５】
第１のＭＰＥＧ多重化データ（第１のＭＰＥＧトランスポートストリーム）と、第２のＭＰＥＧ画像データ（第２のＭＰＥＧトランスポートストリーム）と、ＶＢＶバッファ占有値に関する情報と、図８に示したその特定情報アドレスと、前記区間Ａの再符号化画像データ（または前記区間Ｂの再符号化画像データ、または前記区間Ａ＋Ｂの再符号化画像データ）を要素符号化データとして含んで、ＭＰＥＧ符号化方式によりパケット多重化して生成した繋ぎ区間ＭＰＥＧ多重化データとは、同一記録媒体に記録されていても、任意の組み合わせで複数の記録媒体に記録されていても、それぞれが異なる記録媒体に記録されていても構わない。
【０１１６】
複数の記録媒体に分けて記録されている場合には、それぞれの記録媒体同士がリンクされて（それぞれのデータ、情報同士がリンクされて）運用されるように、同一情報群であることを示す情報、例えばＩＤなどを各記録媒体に記録しておくとよい。第１のＭＰＥＧ多重化画像データと、第２のＭＰＥＧ多重化画像データと、前記区間Ａの再符号化画像データ（または前記区間Ｂの再符号化画像データ、または前記区間Ａ＋Ｂの再符号化画像データ）の繋ぎ区間ＭＰＥＧ多重化データと、特定情報アドレスとが同一の記録媒体に記録されている場合には、一つの記録媒体で、再生装置側の繋ぎ再生を制御できる。
【０１１７】
なお、本発明は以上の実施の形態に限定されるものではなく、例えば基準となる時刻情報としては、ＰＣＲの替わりにＳＣＲ（System Clock Reference）を用いることもできる。また、本発明は図６に示した画像データ記録装置の記録媒体１０１、データ読み取り部１０２及びデータ書き込み部１０９以外の各ブロックの機能を、コンピュータによりソフトウェアで実行するコンピュータプログラムも包含するものである。このコンピュータプログラムは、記録媒体を介してコンピュータに取り込むようにしてもよいし、ネットワークを介して配信されたものをコンピュータにダウンロードするようにしてもよい。
【図面の簡単な説明】
【０１１８】
【図１】本発明により実現する繋ぎ再生の概念を説明するための図である。
【図２】本発明の一実施の形態におけるＶＢＶバッファ占有値に関する情報値を説明するための図である。
【図３】本発明の一実施の形態におけるＶＢＶ値を説明する説明図である。
【図４】本発明により実現する繋ぎ再生の各例の概念を説明するための図である。
【図５】本発明により実現する繋ぎ再生の他の例の概念を説明するための図である。
【図６】本発明装置の一実施の形態のブロック図である。
【図７】本発明装置においてＶＢＶバッファ情報を予測する方法の一例を示す説明図である。
【図８】本発明の一実施の形態におけるピクチャ特定情報体の構造の説明図である。
【図９】本発明の一実施の形態におけるピクチャ情報の構造の説明図である。
【図１０】ＭＰＥＧ  ＴＳパケット配置を示す説明図である。
【図１１】従来のＭＰＥＧ符号化器の一例のブロック図である。
【図１２】従来のＭＰＥＧ復号化器の一例のブロック図である。
【図１３】ＭＰＥＧにおけるＶＢＶバッファ概念を説明するための図である。
【図１４】従来のＭＰＥＧ多重化システムの一例のブロック図である。
【図１５】ＭＰＥＧ  ＴＳとＰＳ及びＰＥＳの関連を示す説明図である。
【図１６】ＭＰＥＧ  ＴＳのＰＳＩの使用例を示す説明図である。
【符号の説明】
【０１１９】
１、１８  動き補償予測器
３  ＤＣＴ器
４  量子化器
５  ＶＬＣ器
７  符号量制御器
８、１５  逆量子化器
９、１６  逆ＤＣＴ器
１１、１９  画像メモリ
１４  ＶＬＤ器
１０１  記録媒体
１０２  データ読み取り部
１０３  符号化データサーチ部
１０４  ＰＣＲ，ＤＴＳ検出器
１０５  ピクチャ特定情報検出器
１０６  ＶＢＶバッファ情報予測器
１０７  パラメータ設定器
１０８  画像再符号化器
１０９  データ書き込み部
２００  ピクチャ特定情報
３００  ピクチャ符号量情報
【図１】
2006033547.tif 000003
【図２】
2006033547.tif 000004
【図３】
2006033547.tif 000005
【図４】
2006033547.tif 000006
【図５】
2006033547.tif 000007
【図６】
2006033547.tif 000008
【図７】
2006033547.tif 000009
【図８】
2006033547.tif 000010
【図９】
2006033547.tif 000011
【図１０】
2006033547.tif 000012
【図１１】
2006033547.tif 000013
【図１２】
2006033547.tif 000014
【図１３】
2006033547.tif 000015
【図１４】
2006033547.tif 000016
【図１５】
2006033547.tif 000017
【図１６】
2006033547.tif 000018