(57)【要約】【課題】  複数の符号化ストリームをシームレスにスプライシングすることを実現するスプライシング装置及びストリーム編集装置を提供する。【解決手段】  再エンコード区間における符号化ストリームＳＴA，ＳＴBを、ＭＰＥＧデコーダ１４Ａ，１４Ｂによってデコードする。スプライスコントローラ１３は、ＭＰＥＧエンコーダ１５において再エンコード処理を行なうときに、目標ビット量を演算する。そしてこの演算した目標符号量と、符号化ストリームＳＴA，ＳＴBＳに含まれている量子化特性を利用して、新たな量子化特性を設定する。ＭＰＥＧエンコーダ１５は、この新たな量子化特性に基いてビデオデータを再エンコードし、再エンコードストリームＳＴREとして出力する。スプライスコントローラ１３はスイッチ１７を制御し、符号化ストリームＳＴA、再エンコードストリームＳＴRE及び符号化ストリームＳＴBを切り換えて出力する。【選択図】  図１９
2005295587.tif 000002
【特許請求の範囲】
【請求項１】
複数の映像素材を符号化して得られる複数の符号化ビットストリームを入力して、この複数の符号化ビットストリームを接続するための編集装置であって、
複数の符号化ビットストリームを入力して、この複数の符号化ビットストリームの接続点を含む接続点前後の各符号化ビットストリームを復号化して、符号化画像データを出力する復号化手段と、
符号化画像データに対する新たな目標符号量を設定する目標符号量設定手段と、
上記復号化手段から出力された符号化画像データを、上記目標符号量設定手段によって設定される新たな目標符号量に従って符号化して、新たな符号化ビットストリームを生成する符号化手段と、
上記供給された元の符号化ビットストリームと上記符号化手段によって出力される新たな符号化ビットストリームとを、上記接続点において切り換えて出力することによって、編集されたビットストリームを出力する出力手段とを備えたことを特徴とする編集装置。
【請求項２】
上記符号化手段は、元の符号化ビットストリームに含まれる符号化パラメータを再利用して符号化を行うことを特徴とする請求項１記載の編集装置。
【請求項３】
元の符号化ビットストリームは、双方向予測符号化方式による符号化のためにピクチャの並べ替えが行われているものであり、
上記符号化手段は、異なる符号化ビットストリームに属するピクチャを利用した予測符号化処理が行われないようにピクチャタイプの再構成を行って、双方向予測符号化方式による符号化を行うことを特徴とする請求項１記載の編集装置。
【請求項４】
上記目標符号量設定手段は、復号化装置側の入力バッファに対応する仮想的バッファのデータ占有量の軌跡の接続点前後におけるずれを減ずるように、新たな目標符号量を設定することを特徴とする請求項１記載の編集装置。
【請求項５】
上記符号化手段は、設定された目標符号量に対する発生符号量の不足分を補うためにダミーデータの付加を行う機能を有することを特徴とする請求項１記載の編集装置。
【請求項６】
上記符号化手段は、設定された目標符号量に対して発生符号量が超過したときに、所定単位の符号化処理の停止を行う機能を有することを特徴とする請求項１記載の編集装置。
【請求項７】
複数の映像素材を符号化して得られる複数の符号化ビットストリームを入力して、この複数の符号化ビットストリームを接続するための編集方法であって、
複数の符号化ビットストリームを入力して、この複数の符号化ビットストリームの接続点を含む接続点前後の各符号化ビットストリームを復号化して、符号化画像データを出力する復号化工程と、
符号化画像データに対する新たな目標符号量を設定する目標符号量設定工程と、
上記復号化工程から出力された符号化画像データを、上記目標符号量設定工程によって設定される新たな目標符号量に従って符号化して、新たな符号化ビットストリームを生成する符号化工程と、
上記供給された元の符号化ビットストリームと上記符号化工程によって出力される新たな符号化ビットストリームとを、上記接続点において切り換えて出力することによって、編集されたビットストリームを出力する出力工程とから構成される編集方法。
【請求項８】
上記符号化工程は、元の符号化ビットストリームに含まれる符号化パラメータを再利用して符号化を行うことを特徴とする請求項１記載の編集方法。
【請求項９】
元の符号化ビットストリームは、双方向予測符号化方式による符号化のためにピクチャの並べ替えが行われているものであり、
上記符号化工程は、異なる符号化ビットストリームに属するピクチャを利用した予測符号化処理が行われないようにピクチャタイプの再構成を行って、双方向予測符号化方式による符号化を行うことを特徴とする請求項７記載の編集方法。
【請求項１０】
上記目標符号量設定工程は、復号化方法側の入力バッファに対応する仮想的バッファのデータ占有量の軌跡の接続点前後におけるずれを減ずるように、新たな目標符号量を設定することを特徴とする請求項７記載の編集方法。
【請求項１１】
上記符号化工程は、設定された目標符号量に対する発生符号量の不足分を補うためにダミーデータの付加を行う機能を有することを特徴とする請求項７記載の編集方法。
【請求項１２】
上記符号化工程は、設定された目標符号量に対して発生符号量が超過したときに、所定単位の符号化処理の停止を行う機能を有することを特徴とする請求項７記載の編集方法。
【請求項１３】
複数のソース符号化ストリームを編集する編集装置において、
上記複数のソース符号化ストリームに対して、それぞれ編集ポイントを設定する編集ポイント設定手段と、
上記複数のソース符号化ストリームの上記編集ポイント付近のピクチャをそれぞれデコードし、デコードされたビデオデータを出力するデコード手段と、
上記デコードされたビデオデータを再エンコードし、再エンコードストリームを出力する再エンコード手段と、
上記ソース符号化ストリームと上記再エンコードストリームとを切り換えて出力することによって、編集された編集ストリームを生成する編集ストリーム生成手段と、
上記上記編集ストリームがデコード時に不連続とならないように上記再エンコード手段及び上記編集ストリーム生成手段を制御する編集制御手段
とを備えたことを特徴とする編集装置。
【請求項１４】
上記編集制御手段は、
ＶＢＶバッファにオーバーフロー及びアンダーフローが発生しないように、上記再エンコード手段における再エンコードの目標ビット量を演算し、
上記再エンコード手段は、
上記編集制御手段から供給された上記目標ビット量に基いて、上記ソース符号化ストリームを符号化することを特徴とする請求項１３項記載の編集装置。
【請求項１５】
上記編集制御手段は、
上記ソース符号化ストリームと上記再エンコードストリームの切換えポイント又は上記再エンコードストリームの上記編集ポイントにおいて、ＶＢＶバッファのデータ占有量の軌跡が不連続にならないように、上記再エンコード手段における再エンコードの目標ビット量を演算し、
上記再エンコード手段は、
上記編集制御手段から供給された上記目標ビット量に基いて、上記ソース符号化ストリームを符号化することを特徴とする請求項１３項記載の編集装置。
【請求項１６】
上記編集制御手段は、
上記再エンコードストリームに対応するＶＢＶバッファのデータ占有量の軌跡が、上記ソース符号化ストリームが本来有していたであろうと想定できるＶＢＶバッファのデータ占有量の軌跡に近くなるように、上記再エンコード手段を制御する請求項１３項記載の編集装置。
【請求項１７】
上記編集制御手段は、
上記ソース符号化ストリームに含まれる符号化パタメータを抽出し、上記抽出された符号パラメータを、上記再エンコード手段における再エンコード処理時に選択的に再利用することによって、上記編集ストリームの画質劣化を防止することを特徴とする請求項１３項記載の編集装置。
【請求項１８】
上記編集制御手段は、
上記ソース符号化ストリームに含まれる量子化特性に関する情報を抽出し、上記抽出された量子化特性に基いて上記再エンコード手段における再エンコード処理を行なうように上記再エンコード手段を制御することを特徴とする請求項１３項記載の編集装置。
【請求項１９】
上記編集制御手段は、
上記ソース符号化ストリームに含まれる量子化特性に関する情報を各ピクチャ毎に抽出し、
ＶＢＶバッファにオーバーフロー及びアンダーフローが発生しないように、上記再エンコード手段における再エンコード処理における各ピクチャ目標ビット量を演算し、
上記ソース符号化ストリームに含まれる量子化特性に関する情報を各ピクチャ毎に抽出し、上記ソース符号化ストリームから抽出された量子化特性と、上記演算された目標ビット量とに基いて、新たな量子化特性を演算し、
上記演算された新たな量子化特性に基いて上記再エンコード処理を行なうように上記再エンコード手段を制御することを特徴とする請求項１３項記載の編集装置。
【請求項２０】
上記編集制御手段は、
ＶＢＶバッファにオーバーフロー及びアンダーフローが発生しないように、上記再エンコード手段における再エンコード処理における目標ビット量を演算し、
上記ソース符号化ストリームに含まれる過去の符号化処理において生成された量子化特性を参照することによって、上記目標ビット量を、再エンコード処理すべき各ピクチャに対して割当て、
上記各ピクチャに割当てられた目標ビット量に従って、上記各ピクチャ毎に上記再エンコード処理を行なうように上記再エンコード手段を制御することを特徴とする請求項１３項記載の編集装置。
【請求項２１】
上記編集制御手段は、
ＶＢＶバッファにオーバーフロー及びアンダーフローが発生しないように、上記再エンコード手段における再エンコード処理における目標ビット量を演算し、
上記ソース符号化ストリームの過去の符号化処理における各ピクチャ毎の発生ビット量に近くなるように、上記目標ビット量を、再エンコード処理すべきピクチャに対してそれぞれ割当て、
上記各ピクチャに割当てられた目標ビット量に従って、上記各ピクチャ毎に上記再エンコード処理を行なうように上記再エンコード手段を制御することを特徴とする請求項１３項記載の編集装置。
【請求項２２】
上記編集制御手段は、
上記ソース符号化ストリームから抽出された動きベクトル情報を、再エンコード手段における再エンコード処理時に選択的に再利用することによって、上記編集ストリームの画質劣化を防止することを特徴とする請求項１３項記載の編集装置。
【請求項２３】
上記再エンコード手段は、
各ピクチャの動きを検出して、動きベクトルを生成する動き検出手段と、
上記動き検出手段によって検出された動きベクトルに基いて動き補償を行なう動き補償手段を備え、
上記編集制御手段は、
上記ソース符号化ストリームから抽出された動きベクトル情報を、再エンコード手段における再エンコード処理時に再利用するか否かを判断し、
再利用すると判断された場合には、上記動き検出手段において検出された動きベクトルではなくて、上記ストリームから抽出された動きベクトルを、上記再エンコード手段の動き補償回路に供給するように上記再エンコード手段を制御することを特徴とする請求項１３項記載の編集装置。
【請求項２４】
上記編集制御手段は、
上記編集ポイントを挟んで異なるソース符号化ストリームのピクチャから予測されることが無いように、上記再エンコード手段の再エンコード処理が行われる上記編集ポイントの近傍のピクチャに対して予測方向を設定することを特徴とする請求項１３項記載の編集装置。
【請求項２５】
上記編集制御手段は、
上記再エンコード手段によって再エンコードされる上記編集ポイント近傍のピクチャのピクチャタイプを選択的に変更することによって、上記編集ストリームの上記編集ポイントの近傍のピクチャの画質劣化を防止することを特徴とする請求項１３項記載の編集装置。
【請求項２６】
上記編集制御手段は、
上記編集ポイントを跨いで異なるソース符号化ストリームのピクチャから予測されることが無いように、上記再エンコード手段によって再エンコードされる上記編集ポイント近傍のピクチャのピクチャタイプを選択的に変更することを特徴とする請求項１３項記載の編集装置。
【請求項２７】
上記複数のソース符号化ストリームは、少なくとも第１の符号化ストリームと第２の符号化ストリームを含み、
上記編集制御手段は、
上記第１の符号化ストリームを構成する複数のピクチャのうち、上記第１の符号化ストリームに設定された第１の編集ポイントに対して、プレゼンテーション時間軸において未来のピクチャを上記編集ストリームとして出力しないように出力ピクチャを選択し、
且つ、上記第２の符号化ストリームを構成する複数のピクチャのうち、第２の符号化ストリームに設定された第２の編集ポイントに対して、プレゼンテーション時間軸において過去のピクチャを出力しないように出力ピクチャを選択することを特徴とする請求項１３項記載の編集装置。
【請求項２８】
上記複数のソース符号化ストリームは、少なくとも第１の符号化ストリームと第２の符号化ストリームを含み、
上記編集制御手段は、
上記第１の符号化ストリームを構成する複数のピクチャのうち、上記第１の符号化ストリームに設定された第１の編集ポイントに対して、プレゼンテーション時間軸において未来のピクチャを上記編集ストリームとして出力しないように出力ピクチャを選択し、
且つ、上記第２の符号化ストリームを構成する複数のピクチャのうち、第２の符号化ストリームに設定された第２の編集ポイントに対して、プレゼンテーション時間軸において過去のピクチャを出力しないように出力ピクチャを選択し、
上記再エンコード手段によって再エンコードされるピクチャの上記編集ポイントの近傍のピクチャタイプ及び予測方向を設定し、
上記ソース符号化ストリームから抽出された動きベクトル情報を、再エンコード手段における再エンコード処理時に再利用するピクチャに対して設定し、
ＶＢＶバッファにオーバーフロー及びアンダーフローが発生しないように、上記再エンコード手段における再エンコード処理における目標ビット量を演算し、
上記ソース符号化ストリームの過去の符号化処理における各ピクチャ毎の発生ビット量に近くなるように、上記目標ビット量を、再エンコード処理すべきピクチャに対してそれぞれ割当て、
上記各ピクチャに割当てられた目標ビット量、予測方向、ピクチャタイプ及び動きベクトルに従って、上記各ピクチャ毎に上記再エンコード処理を行なうように上記再エンコード手段を制御する
ことを特徴とする請求項１３項記載の編集装置。
【請求項２９】
複数のソース符号化ストリームを編集して、編集されたストリームを生成する編集方法において、
上記複数のソース符号化ストリームに対して、それぞれ編集ポイントを設定する編集ポイント設定工程と、
上記複数のソース符号化ストリームの上記編集ポイント付近のピクチャをそれぞれデコードし、デコードされたビデオデータを出力するデコード工程と、
上記デコードされたビデオデータを再エンコードし、再エンコードストリームを出力する再エンコード工程と、
上記ソース符号化ストリームと上記再エンコードストリームとを切り換えて出力することによって、編集された編集ストリームを生成する編集ストリーム生成工程と、
上記上記編集ストリームがデコード時に不連続とならないように上記再エンコード工程及び上記編集ストリーム生成工程を制御する編集制御工程
とを備えたことを特徴とする編集方法。
【請求項３０】
複数のソース符号化ストリームをスプライシングするスプライシング装置において、
上記複数のソース符号化ストリームに対して、それぞれスプライシングポイントを設定するスプライシングポイント設定手段と、
上記複数のソース符号化ストリームの上記スプライシングポイント付近のピクチャをそれぞれデコードし、デコードされたビデオデータを出力するデコード手段と、
上記デコードされたビデオデータを再エンコードし、再エンコードストリームを出力する再エンコード手段と、
上記ソース符号化ストリームと上記再エンコードストリームとを切り換えて出力することによって、スプライシングされたスプライシングストリームを生成するスプライシングストリーム生成手段と、
上記上記スプライシングストリームがデコード時に不連続とならないように上記再エンコード手段及び上記スプライシングストリーム生成手段を制御するスプライス制御手段
とを備えたことを特徴とするスプライシング装置。
【請求項３１】
上記スプライス制御手段は、
ＶＢＶバッファにオーバーフロー及びアンダーフローが発生しないように、上記再エンコード手段における再エンコードの目標ビット量を演算し、
上記再エンコード手段は、
上記スプライス制御手段から供給された上記目標ビット量に基いて、上記ソース符号化ストリームを符号化することを特徴とする請求項３０項記載のスプライシング装置。
【請求項３２】
上記スプライス制御手段は、
上記ソース符号化ストリームと上記再エンコードストリームの切換えポイント又は上記再エンコードストリームの上記スプライスポイントにおいて、ＶＢＶバッファのデータ占有量の軌跡が不連続にならないように、上記再エンコード手段における再エンコードの目標ビット量を演算し、
上記再エンコード手段は、
上記スプライス制御手段から供給された上記目標ビット量に基いて、上記ソース符号化ストリームを符号化することを特徴とする請求項３０項記載のスプライシング装置。
【請求項３３】
上記スプライス制御手段は、
上記再エンコードストリームに対応するＶＢＶバッファのデータ占有量の軌跡が、上記ソース符号化ストリームが本来有していたであろうと想定できるＶＢＶバッファのデータ占有量の軌跡に近くなるように、上記再エンコード手段を制御する請求項３０項記載のスプライシング装置。
【請求項３４】
上記スプライス制御手段は、
上記ソース符号化ストリームに含まれる符号化パタメータを抽出し、上記抽出された符号パラメータを、上記再エンコード手段における再エンコード処理時に選択的に再利用することによって、上記スプライシングストリームの画質劣化を防止することを特徴とする請求項３０項記載のスプライシング装置。
【請求項３５】
上記スプライス制御手段は、
上記ソース符号化ストリームに含まれる量子化特性に関する情報を抽出し、上記抽出された量子化特性に基いて上記再エンコード手段における再エンコード処理を行なうように上記再エンコード手段を制御することを特徴とする請求項３０項記載のスプライシング装置。
【請求項３６】
上記スプライス制御手段は、
上記ソース符号化ストリームに含まれる量子化特性に関する情報を各ピクチャ毎に抽出し、
ＶＢＶバッファにオーバーフロー及びアンダーフローが発生しないように、上記再エンコード手段における再エンコード処理における各ピクチャ目標ビット量を演算し、
上記ソース符号化ストリームに含まれる量子化特性に関する情報を各ピクチャ毎に抽出し、上記ソース符号化ストリームから抽出された量子化特性と、上記演算された目標ビット量とに基いて、新たな量子化特性を演算し、
上記演算された新たな量子化特性に基いて上記再エンコード処理を行なうように上記再エンコード手段を制御することを特徴とする請求項３０項記載のスプライシング装置。
【請求項３７】
上記スプライス制御手段は、
ＶＢＶバッファにオーバーフロー及びアンダーフローが発生しないように、上記再エンコード手段における再エンコード処理における目標ビット量を演算し、
上記ソース符号化ストリームに含まれる過去の符号化処理において生成された量子化特性を参照することによって、上記目標ビット量を、再エンコード処理すべき各ピクチャに対して割当て、
上記各ピクチャに割当てられた目標ビット量に従って、上記各ピクチャ毎に上記再エンコード処理を行なうように上記再エンコード手段を制御することを特徴とする請求項３０項記載のスプライシング装置。
【請求項３８】
上記スプライス制御手段は、
ＶＢＶバッファにオーバーフロー及びアンダーフローが発生しないように、上記再エンコード手段における再エンコード処理における目標ビット量を演算し、
上記ソース符号化ストリームの過去の符号化処理における各ピクチャ毎の発生ビット量に近くなるように、上記目標ビット量を、再エンコード処理すべきピクチャに対してそれぞれ割当て、
上記各ピクチャに割当てられた目標ビット量に従って、上記各ピクチャ毎に上記再エンコード処理を行なうように上記再エンコード手段を制御することを特徴とする請求項３０項記載のスプライシング装置。
【請求項３９】
上記スプライス制御手段は、
上記ソース符号化ストリームから抽出された動きベクトル情報を、再エンコード手段における再エンコード処理時に選択的に再利用することによって、上記スプライシングストリームの画質劣化を防止することを特徴とする請求項３０項記載のスプライシング装置。
【請求項４０】
上記再エンコード手段は、
各ピクチャの動きを検出して、動きベクトルを生成する動き検出手段と、
上記動き検出手段によって検出された動きベクトルに基いて動き補償を行なう動き補償手段を備え、
上記スプライス制御手段は、
上記ソース符号化ストリームから抽出された動きベクトル情報を、再エンコード手段における再エンコード処理時に再利用するか否かを判断し、
再利用すると判断された場合には、上記動き検出手段において検出された動きベクトルではなくて、上記ストリームから抽出された動きベクトルを、上記再エンコード手段の動き補償回路に供給するように上記再エンコード手段を制御することを特徴とする請求項３０項記載のスプライシング装置。
【請求項４１】
上記スプライス制御手段は、
上記スプライスポイントを挟んで異なるソース符号化ストリームのピクチャから予測されることが無いように、上記再エンコード手段の再エンコード処理が行われる上記スプライスポイントの近傍のピクチャに対して予測方向を設定することを特徴とする請求項３０項記載のスプライシング装置。
【請求項４２】
上記スプライス制御手段は、
上記再エンコード手段によって再エンコードされる上記スプライスポイント近傍のピクチャのピクチャタイプを選択的に変更することによって、上記スプライシングストリームの上記スプライスポイントの近傍のピクチャの画質劣化を防止することを特徴とする請求項３０項記載のスプライシング装置。
【請求項４３】
上記スプライス制御手段は、
上記スプライスポイントを跨いで異なるソース符号化ストリームのピクチャから予測されることが無いように、上記再エンコード手段によって再エンコードされる上記スプライスポイント近傍のピクチャのピクチャタイプを選択的に変更することを特徴とする請求項３０項記載のスプライシング装置。
【請求項４４】
上記複数のソース符号化ストリームは、少なくとも第１の符号化ストリームと第２の符号化ストリームを含み、
上記スプライス制御手段は、
上記第１の符号化ストリームを構成する複数のピクチャのうち、上記第１の符号化ストリームに設定された第１のスプライスポイントに対して、プレゼンテーション時間軸において未来のピクチャを上記スプライシングストリームとして出力しないように出力ピクチャを選択し、
且つ、上記第２の符号化ストリームを構成する複数のピクチャのうち、第２の符号化ストリームに設定された第２のスプライシングポイントに対して、プレゼンテーション時間軸において過去のピクチャを出力しないように出力ピクチャを選択することを特徴とする請求項３０項記載のスプライシング装置。
【請求項４５】
上記複数のソース符号化ストリームは、少なくとも第１の符号化ストリームと第２の符号化ストリームを含み、
上記スプライス制御手段は、
上記第１の符号化ストリームを構成する複数のピクチャのうち、上記第１の符号化ストリームに設定された第１のスプライスポイントに対して、プレゼンテーション時間軸において未来のピクチャを上記スプライシングストリームとして出力しないように出力ピクチャを選択し、
且つ、上記第２の符号化ストリームを構成する複数のピクチャのうち、第２の符号化ストリームに設定された第２のスプライシングポイントに対して、プレゼンテーション時間軸において過去のピクチャを出力しないように出力ピクチャを選択し、
上記再エンコード手段によって再エンコードされるピクチャの上記スプライスポイントの近傍のピクチャタイプ及び予測方向を設定し、
上記ソース符号化ストリームから抽出された動きベクトル情報を、再エンコード手段における再エンコード処理時に再利用するピクチャに対して設定し、
ＶＢＶバッファにオーバーフロー及びアンダーフローが発生しないように、上記再エンコード手段における再エンコード処理における目標ビット量を演算し、
上記ソース符号化ストリームの過去の符号化処理における各ピクチャ毎の発生ビット量に近くなるように、上記目標ビット量を、再エンコード処理すべきピクチャに対してそれぞれ割当て、
上記各ピクチャに割当てられた目標ビット量、予測方向、ピクチャタイプ及び動きベクトルに従って、上記各ピクチャ毎に上記再エンコード処理を行なうように上記再エンコード手段を制御する
ことを特徴とする請求項３０項記載のスプライシング装置。
【請求項４６】
複数のソース符号化ストリームをスプライシングするスプライシング方法において、
上記複数のソース符号化ストリームに対して、それぞれスプライシングポイントを設定するスプライシングポイント設定工程と、
上記複数のソース符号化ストリームの上記スプライシングポイント付近のピクチャをそれぞれデコードし、デコードされたビデオデータを出力するデコード工程と、
上記デコードされたビデオデータを再エンコードし、再エンコードストリームを出力する再エンコード工程と、
上記ソース符号化ストリームと上記再エンコードストリームとを切り換えて出力することによって、スプライシングされたスプライシングストリームを生成するスプライシングストリーム生成工程と、
上記上記スプライシングストリームがデコード時に不連続とならないように上記再エンコード工程及び上記スプライシングストリーム生成工程を制御するスプライス制御工程
とを備えたことを特徴とするスプライシング装置。
【請求項４７】
上記スプライス制御工程は、
ＶＢＶバッファにオーバーフロー及びアンダーフローが発生しないように、上記再エンコード工程における再エンコードの目標ビット量を演算し、
上記再エンコード工程は、
上記スプライス制御工程から供給された上記目標ビット量に基いて、上記ソース符号化ストリームを符号化することを特徴とする請求項４６項記載のスプライシング方法。
【請求項４８】
上記スプライス制御工程は、
上記ソース符号化ストリームと上記再エンコードストリームの切換えポイント又は上記再エンコードストリームの上記スプライスポイントにおいて、ＶＢＶバッファのデータ占有量の軌跡が不連続にならないように、上記再エンコード工程における再エンコードの目標ビット量を演算し、
上記再エンコード工程は、
上記スプライス制御工程から供給された上記目標ビット量に基いて、上記ソース符号化ストリームを符号化することを特徴とする請求項４６項記載のスプライシング方法。
【請求項４９】
上記スプライス制御工程は、
上記再エンコードストリームに対応するＶＢＶバッファのデータ占有量の軌跡が、上記ソース符号化ストリームが本来有していたであろうと想定できるＶＢＶバッファのデータ占有量の軌跡に近くなるように、上記再エンコード工程を制御する請求項４６項記載のスプライシング方法。
【請求項５０】
上記スプライス制御工程は、
上記ソース符号化ストリームに含まれる符号化パタメータを抽出し、上記抽出された符号パラメータを、上記再エンコード工程における再エンコード処理時に選択的に再利用することによって、上記スプライシングストリームの画質劣化を防止することを特徴とする請求項４６項記載のスプライシング方法。
【請求項５１】
上記スプライス制御工程は、
上記ソース符号化ストリームに含まれる量子化特性に関する情報を抽出し、上記抽出された量子化特性に基いて上記再エンコード工程における再エンコード処理を行なうように上記再エンコード工程を制御することを特徴とする請求項４６項記載のスプライシング方法。
【請求項５２】
供給されたソースビデオデータを符号化する符号化装置において、
上記ソースビデオデータを符号化し、第1の符号化ストリームを出力する第1のエンコード手段と、
上記第1のエンコード手段によって符号化された符号化ストリームをデコードし、デコードされたビデオデータを出力するデコード手段と、
上記第1の符号化ストリームに含まれる上記第1の符号化時において使用した符号化パラメータを選択的に使用して、上記デコード手段によってデコードされたビデオデータを再エンコードして再エンコードストリームとして出力する第２のエンコード手段と、
上記再エンコードストリームに対応するＶＢＶバッファにオーバーフロー及びアンダーフローが発生しないように、上記第２のエンコード手段を制御するエンコード制御手段と
を備えたことを特徴とする符号化装置。
【請求項５３】
上記エンコード制御手段は、
ＶＢＶバッファのデータ占有量の軌跡が不連続にならないように、上記第２のエンコード手段における再エンコードの目標ビット量を演算し、
上記第２のエンコード手段は、
上記エンコード制御手段から供給された上記目標ビット量に基いて、上記デコードされたビデオデータを符号化することを特徴とする請求項５２項記載の符号化装置。
【請求項５４】
上記エンコード制御手段は、
上記第１の符号化ストリームに含まれる符号化パタメータを抽出し、上記抽出された符号パラメータを、上記第２のエンコード手段における再エンコード処理時に選択的に再利用することによって、上記再エンコードストリームの画質劣化を防止することを特徴とする請求項５２項記載の符号化装置。
【請求項５５】
上記エンコード制御手段は、
上記第１の符号化ストリームに含まれる量子化特性に関する情報を抽出し、上記抽出された量子化特性に基いて上記第２のエンコード手段における再エンコード処理を行なうように上記第２のエンコード手段を制御することを特徴とする請求項５２項記載の符号化装置。
【請求項５６】
上記エンコード制御手段は、
上記第１の符号化ストリームに含まれる量子化特性に関する情報を各ピクチャ毎に抽出し、
ＶＢＶバッファにオーバーフロー及びアンダーフローが発生しないように、上記第２のエンコード手段における再エンコード処理における各ピクチャ目標ビット量を演算し、
上記第１の符号化ストリームに含まれる量子化特性に関する情報を各ピクチャ毎に抽出し、上記第１の符号化ストリームから抽出された量子化特性と、上記演算された目標ビット量とに基いて、新たな量子化特性を演算し、
上記演算された新たな量子化特性に基いて上記再エンコード処理を行なうように上記第２のエンコード手段を制御することを特徴とする請求項５２項記載の符号化装置。
【請求項５７】
上記エンコード制御手段は、
ＶＢＶバッファにオーバーフロー及びアンダーフローが発生しないように、上記第２のエンコード手段における再エンコード処理における目標ビット量を演算し、
上記第１の符号化ストリームに含まれる過去の符号化処理において生成された量子化特性を参照することによって、上記目標ビット量を、再エンコード処理すべき各ピクチャに対して割当て、
上記各ピクチャに割当てられた目標ビット量に従って、上記各ピクチャ毎に上記再エンコード処理を行なうように上記第２のエンコード手段を制御することを特徴とする請求項５２項記載の符号化装置。
【請求項５８】
上記エンコード制御手段は、
ＶＢＶバッファにオーバーフロー及びアンダーフローが発生しないように、上記第２のエンコード手段における再エンコード処理における目標ビット量を演算し、
上記第１の符号化ストリームの過去の符号化処理における各ピクチャ毎の発生ビット量に近くなるように、上記目標ビット量を、再エンコード処理すべきピクチャに対してそれぞれ割当て、
上記各ピクチャに割当てられた目標ビット量に従って、上記各ピクチャ毎に上記再エンコード処理を行なうように上記第２のエンコード手段を制御することを特徴とする請求項５２項記載の符号化装置。
【請求項５９】
上記エンコード制御手段は、
上記第１の符号化ストリームから抽出された動きベクトル情報を、第２のエンコード手段における再エンコード処理時に選択的に再利用することによって、上記再エンコードストリームの画質劣化を防止することを特徴とする請求項５２項記載の符号化装置。
【請求項６０】
上記第２のエンコード手段は、
各ピクチャの動きを検出して、動きベクトルを生成する動き検出手段と、
上記動き検出手段によって検出された動きベクトルに基いて動き補償を行なう動き補償手段を備え、
上記エンコード制御手段は、
上記第１の符号化ストリームから抽出された動きベクトル情報を、第２のエンコード手段における再エンコード処理時に再利用するか否かを判断し、
再利用すると判断された場合には、上記動き検出手段において検出された動きベクトルではなくて、上記ストリームから抽出された動きベクトルを、上記第２のエンコード手段の動き補償回路に供給するように上記第２のエンコード手段を制御することを特徴とする請求項５２項記載の符号化装置。
【請求項６１】
供給されたソースビデオデータを符号化する符号化方法において、
上記ソースビデオデータを符号化し、第1の符号化ストリームを出力する第1のエンコード工程と、
上記第1のエンコード工程によって符号化された符号化ストリームをデコードし、デコードされたビデオデータを出力するデコード工程と、
上記第1の符号化ストリームに含まれる上記第1の符号化時において使用した符号化パラメータを選択的に使用して、上記デコード工程によってデコードされたビデオデータを再エンコードして再エンコードストリームとして出力する第２のエンコード工程と、
上記再エンコードストリームに対応するＶＢＶバッファにオーバーフロー及びアンダーフローが発生しないように、上記第２のエンコード工程を制御するエンコード制御工程と
を備えたことを特徴とする符号化方法。
【請求項６２】
上記エンコード制御工程は、
ＶＢＶバッファのデータ占有量の軌跡が不連続にならないように、上記第２のエンコード工程における再エンコードの目標ビット量を演算し、
上記第２のエンコード工程は、
上記エンコード制御工程から供給された上記目標ビット量に基いて、上記デコードされたビデオデータを符号化することを特徴とする請求項６１項記載の符号化方法。
【請求項６３】
上記エンコード制御工程は、
上記第１の符号化ストリームに含まれる符号化パタメータを抽出し、上記抽出された符号パラメータを、上記第２のエンコード工程における再エンコード処理時に選択的に再利用することによって、上記再エンコードストリームの画質劣化を防止することを特徴とする請求項６１項記載の符号化方法。
【請求項６４】
上記エンコード制御工程は、
上記第１の符号化ストリームに含まれる量子化特性に関する情報を抽出し、上記抽出された量子化特性に基いて上記第２のエンコード工程における再エンコード処理を行なうように上記第２のエンコード工程を制御することを特徴とする請求項６１項記載の符号化方法。
【請求項６５】
上記エンコード制御工程は、
上記第１の符号化ストリームに含まれる量子化特性に関する情報を各ピクチャ毎に抽出し、
ＶＢＶバッファにオーバーフロー及びアンダーフローが発生しないように、上記第２のエンコード工程における再エンコード処理における各ピクチャ目標ビット量を演算し、
上記第１の符号化ストリームに含まれる量子化特性に関する情報を各ピクチャ毎に抽出し、上記第１の符号化ストリームから抽出された量子化特性と、上記演算された目標ビット量とに基いて、新たな量子化特性を演算し、
上記演算された新たな量子化特性に基いて上記再エンコード処理を行なうように上記第２のエンコード工程を制御することを特徴とする請求項６１項記載の符号化方法。
【請求項６６】
上記エンコード制御工程は、
ＶＢＶバッファにオーバーフロー及びアンダーフローが発生しないように、上記第２のエンコード工程における再エンコード処理における目標ビット量を演算し、
上記第１の符号化ストリームに含まれる過去の符号化処理において生成された量子化特性を参照することによって、上記目標ビット量を、再エンコード処理すべき各ピクチャに対して割当て、
上記各ピクチャに割当てられた目標ビット量に従って、上記各ピクチャ毎に上記再エンコード処理を行なうように上記第２のエンコード工程を制御することを特徴とする請求項６１項記載の符号化方法。
【請求項６７】
上記エンコード制御工程は、
ＶＢＶバッファにオーバーフロー及びアンダーフローが発生しないように、上記第２のエンコード工程における再エンコード処理における目標ビット量を演算し、
上記第１の符号化ストリームの過去の符号化処理における各ピクチャ毎の発生ビット量に近くなるように、上記目標ビット量を、再エンコード処理すべきピクチャに対してそれぞれ割当て、
上記各ピクチャに割当てられた目標ビット量に従って、上記各ピクチャ毎に上記再エンコード処理を行なうように上記第２のエンコード工程を制御することを特徴とする請求項６１項記載の符号化方法。
【請求項６８】
上記エンコード制御工程は、
上記第１の符号化ストリームから抽出された動きベクトル情報を、第２のエンコード工程における再エンコード処理時に選択的に再利用することによって、上記再エンコードストリームの画質劣化を防止することを特徴とする請求項６１項記載の符号化方法。
【請求項６９】
上記第２のエンコード工程は、
各ピクチャの動きを検出して、動きベクトルを生成する動き検出工程と、
上記動き検出工程によって検出された動きベクトルに基いて動き補償を行なう動き補償工程を備え、
上記エンコード制御工程は、
上記第１の符号化ストリームから抽出された動きベクトル情報を、第２のエンコード工程における再エンコード処理時に再利用するか否かを判断し、
再利用すると判断された場合には、上記動き検出工程において検出された動きベクトルではなくて、上記ストリームから抽出された動きベクトルを、上記第２のエンコード工程の動き補償回路に供給するように上記第２のエンコード工程を制御することを特徴とする請求項６１項記載の符号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の映像素材を編集することによって編集された映像素材を生成する編集装置および方法、複数のビットストリームをスプライシングすることによってシームレスなスプライシングストリームを生成するビットストリームスプライシング装置及び方法、及び、ビデオデータを符号化する符号化装置及び方法に関する。
【背景技術】
【０００２】
近年、大容量のディジタルデータを記録可能な光ディスクであるＤＶＤ（ディジタル・バーサタイル・ディスクまたはディジタル・ビデオ・ディスク）のような蓄積メディアを用いて、圧縮符号化した画像データの記録や再生を行う記録再生システムや、複数の圧縮符号化された放送素材（プログラム）を多重化して伝送する多重伝送システムが提案されている。これらのシステムでは、ＭＰＥＧ（Moving Picture Experts Group）規格による画像データの圧縮符号化技術が利用されている。
【０００３】
このＭＰＥＧ規格では、符号化方式として双方向予測符号化方式が採用されている。この双方向予測符号化方式では、フレーム内符号化、フレーム間順方向予測符号化および双方向予測符号化の３つのタイプの符号化が行われ、各符号化タイプによる画像は、それぞれＩピクチャ（intra coded picture ）、Ｐピクチャ（predictive coded picture）およびＢピクチャ（bidirectionally predictive coded picture）と呼ばれる。また、Ｉ，Ｐ，Ｂの各ピクチャを適切に組み合わせて、ランダムアクセスの単位となるＧＯＰ（Group of Picture）が構成される。一般的には、各ピクチャの発生符号量は、Ｉピクチャが最も多く、次にＰピクチャが多く、Ｂピクチャが最も少ない。
【０００４】
ＭＰＥＧ規格のようにピクチャ毎にビット発生量が異なる符号化方法では、得られる符号化ビットストリーム（以下、単にストリームとも言う。）を適切に伝送及び復号して画像を得るためには、画像復号化装置における入力バッファ内のデータ占有量を、画像符号化装置側で把握していなければならない。そこで、ＭＰＥＧ規格では、画像復号化装置における入力バッファに対応する仮想的なバッファであるＶＢＶ（Video Buffering Verifier）バッファを想定し、画像符号化装置側では、ＶＢＶバッファを破綻、つまりアンダフローやオーバフローさせないように、ストリームを生成しなければならない。
【０００５】
ここで、図１を参照して、ＭＰＥＧ規格に従った伝送システムおよび記録再生システムの概略について説明する。なお、図１は、ＩＳＯ／ＩＥＣ１３８１８−１（ＭＰＥＧ１），ＩＳＯ／ＩＥＣ１３８１８−２（ＭＰＥＧ２）を実現できるように構成された伝送システムを表している。
【０００６】
この伝送システムは、符号化装置１１０側の構成として、入力されるビデオデータＤV をエンコード（符号化）して、符号化ビットストリームであるビデオエレメンタリストリーム（ビデオＥＳ）を出力するビデオエンコーダ１１１と、このビデオエンコーダ１１１より出力されるビデオエレメンタリストリームにヘッダ等を付加してパケット化し、ビデオパケッタイズドエレメンタリストリーム（ビデオＰＥＳ）を出力するパケッタイザ１１２と、入力されるオーディオデータＤA をエンコードして、符号化ビットストリームであるオーディオエレメンタリストリーム（オーディオＥＳ）を出力するオーディオエンコーダ１１３と、このオーディオエンコーダ１１３より出力されるオーディオエレメンタリストリームにヘッダ等を付加してパケット化し、オーディオパケッタイズドエレメンタリストリーム（オーディオＰＥＳ）を出力するパケッタイザ１１４と、パケッタイザ１１２より出力されるビデオパケッタイズドエレメンタリストリームとパケッタイザ１１４より出力されるオーディオパケッタイズドエレメンタリストリームとを多重化し、１８８バイトのトランスポートストリームパケットを作成し、トランスポートストリーム（ＴＳ）として出力するトランスポートストリームマルチプレクサ（図では、ＴＳＭＵＸと記す。）１１５とを備えている。
【０００７】
また、図１に示した伝送システムは、復号化装置１２０側の構成として、トランスポートストリームマルチプレクサ１１５より出力され伝送メディア１１６を介して伝送されるトランスポートストリームを入力し、ビデオパケッタイズドエレメンタリストリーム（ビデオＰＥＳ）とオーディオパケッタイズドエレメンタリストリーム（オーディオＰＥＳ）とに分離して出力するトランスポートストリームデマルチプレクサ（図では、ＴＳＤＥＭＵＸと記す。）１２１と、このトランスポートストリームデマルチプレクサ１２１より出力されるビデオパケッタイズドエレメンタリストリームをデパケット化し、ビデオエレメンタリストリーム（ビデオＥＳ）を出力するデパケッタイザ１２２と、このデパケッタイザ１２２より出力されるビデオエレメンタリストリームをデコード（復号化）してビデオデータＤV を出力するビデオデコーダ１２４と、トランスポートストリームデマルチプレクサ１２１より出力されるオーディオパケッタイズドエレメンタリストリームをデパケット化し、オーディオエレメンタリストリーム（オーディオＥＳ）を出力するデパケッタイザ１２４と、このデパケッタイザ１２４より出力されるオーディオエレメンタリストリームをデコードしてオーディオデータＤA を出力するオーディオデコーダ１２５とを備えている。
【０００８】
図１における復号化装置１２０は、一般に、インテリジェントレシーバデコーダ（ＩＲＤ）と呼ばれる。
【０００９】
なお、符号化されたデータをストレージメディアに記録する記録再生システムの場合には、図１におけるトランスポートストリームマルチプレクサ１１５の代わりに、ビデオパケッタイズドエレメンタリストリームとオーディオパケッタイズドエレメンタリストリームとを多重化してプログラムストリーム（ＰＳ）を出力するプログラムストリームマルチプレクサが設けられ、伝送メディア１１６の代わりに、プログラムストリームを記録する蓄積メディアが用いられ、トランスポートストリームデマルチプレクサ１２１の代わりに、プログラムストリームをビデオパケッタイズドエレメンタリストリームとオーディオパケッタイズドエレメンタリストリームとに分離するプログラムストリームデマルチプレクサが設けられる。
【００１０】
次に、ビデオデータを符号化処理、伝送処理及び復号化処理する場合を例にあげて、図１に示したシステムの動作について説明する。
【００１１】
まず、符号化装置１１０側では、各ピクチャが同じビット量を持つ入力ビデオデータＤV は、ビデオエンコーダ１１１によってエンコードされ、各ピクチャ毎に、その冗長度に応じて異なるビット量に変換、圧縮され、ビデオエレメンタリストリームとして出力される。パケッタイザ１１２は、ビデオエレメンタリストリームを入力し、そのビットストリーム時間軸上のビット量の変動を吸収（平均）するためにパケット化し、ビデオパケッタイズドエレメンタリストリーム（ＰＥＳ）として出力する。このパケッタイザ１１２によってパケット化されるＰＥＳパケットは、１アクセスユニット又は複数のアクセスユニットから構成される。一般的には、この１アクセスユニットは、１フレームから構成される。トランスポートストリームマルチプレクサ１１５は、ビデオパケッタイズドエレメンタリストリームとパケッタイザ１１４より出力されるオーディオパケッタイズドエレメンタリストリームとを多重化してトランスポートストリームパケットを作成し、トランスポートストリーム（ＴＳ）として、伝送メディア１１６を介して、復号化装置１２０に送る。
【００１２】
復号化装置１２０側では、トランスポートストリームデマルチプレクサ１２１によって、トランスポートストリームが、ビデオパケッタイズドエレメンタリストリームとオーディオパケッタイズドエレメンタリストリームとに分離される。デパケッタイザ１２２は、ビデオパケッタイズドエレメンタリストリームをデパケット化して、ビデオエレメンタリストリームを出力し、ビデオデコーダ１２３は、ビデオエレメンタリストリームをデコードしてビデオデータＤV を出力する。
【００１３】
復号化装置１２０は、一定の伝送レートで伝送されたストリームをＶＢＶバッファにバッファリングすると共に、予めピクチャ毎に設定されたデコーデッドタイムスタンプ（ＤＴＳ）に基いてＶＢＶバッファからピクチャ毎にデータを引き出す。このＶＢＶバッファの容量は、伝送される信号の規格に応じて決められており、メインプロファイル・メインレベル（ＭＰ＠ＭＬ）のスタンダードビデオ信号の場合であれば、１．７５Ｍビットの容量を有している。符号化装置１１０側では、このＶＢＶバッファをオーバフローやアンダフローさせないように、各ピクチャのビット発生量をコントロールしなければならない。
【００１４】
次に、図２を参照して、ＶＢＶバッファについて説明する。図２において、折れ線はＶＢＶバッファに記憶されるデータ占有量の変化を表し、その傾き１３１は伝送ビットレートを表し、垂直に落ちている部分１３２は各ピクチャの再生のためにビデオデコーダ１２３がＶＢＶバッファから引き出すビット量を表している。ビデオデコーダ１２３が引き出すタイミングは、プレゼンテーションタイムスタンプ（ＰＴＳ）と呼ばれる情報又デコーデッドタイムスタンプ（ＤＴＳ）と呼ばれる情報によって指定される。このＰＴＳ及びＤＴＳの間隔は、一般的には１フレーム期間である。なお、図２中、Ｉ，Ｐ，Ｂは、それぞれＩピクチャ，Ｐピクチャ，Ｂピクチャを表している。これは、他の図においても同様である。また、図２中、vbv＿delay は、ＶＢＶバッファの占有量が零の状態から一杯に満たされるまでの時間であり、ＴP はプレゼンテーションタイム周期を表している。デコーダ側において、図２に示したように、伝送されたストリームによって一定のビットレート１３１でＶＢＶバッファが満たされ、プレゼンテーションタイムに従ったタイミングで各ピクチャ毎にデータがこのＶＢＶバッファから引き出される。
【００１５】
次に、図３を参照して、ＭＰＥＧ規格の双方向予測符号化方式におけるピクチャの並べ替えについて説明する。図３において、（ａ）はエンコーダに対して供給される入力ビデオデータのピクチャ順を表し、（ｂ）はエンコーダにおいて並べ替えが行われた後のピクチャの順番を表し、（ｃ）はエンコーダより出力されるビデオストリームのピクチャ順を表している。図３に示したように、エンコーダでは、入力ビデオフレームは、エンコード時にピクチャの種類（Ｉ，Ｐ，Ｂ）に応じて並べ替えが行われて、並べ替え後の順番でエンコードされる。具体的には、Ｂピクチャは、Ｉピクチャ又はＰピクチャから予測符号化されるので、図３（ｂ）に示されるように、予測符号化に使用されるＩピクチャ又はＰピクチャの後に位置するように並び替えられる。エンコーダは、並び替えられたピクチャの順に符号化処理を行い、図３（ｂ）及び（ｃ）に示される順で、符号化された各ピクチャをビデオストリームとして出力する。出力された符号化ストリームは、伝送路を介してデコーダ又は蓄積メディアに供給される。なお、図３では、１５枚のピクチャでＧＯＰが構成されるものとしている。
【００１６】
図４は、図３において説明した予測符号化方式において、各ピクチャが、どのピクチャを使用して予測符号化処理されるかを示すための図であって、エンコーダにおけるピクチャの並べ替えと予測符号化処理との関係を表している。図４において、（ａ）はエンコーダに対する入力ビデオデータにおけるピクチャの順番を表し、（ｂ）はエンコーダにおいて並べ替えが行われた後のピクチャの順番を表し、（ｃ），（ｄ）はそれぞれエンコーダ内の２つのフレームメモリＦＭ１，ＦＭ２に保持されるピクチャを表し、（ｅ）はエンコーダより出力されるエレメンタリストリーム（ＥＳ）を表している。なお、図中、Ｉ，Ｐ，Ｂに付随した数字はピクチャの順番を表している。エンコーダでは、図４（ａ）に示したような入力ビデオデータは、図４（ｂ）に示したようなピクチャの順番に並べ替えられる。また、２つのフレームメモリＦＭ１，ＦＭ２には、それぞれ図４（ｃ），（ｄ）に示したようなピクチャが保持される。そして、エンコーダは、入力ビデオデータがＩピクチャの場合は入力ビデオデータ（Ｉピクチャ）のみに基づいて符号化処理を行い、入力ビデオデータがＰピクチャの場合は入力ビデオデータとフレームメモリＦＭ１に保持されているＩピクチャまたはＰピクチャとに基づいて予測符号化処理を行い、入力ビデオデータがＢピクチャの場合は入力ビデオデータとフレームメモリＦＭ１，ＦＭ２に保持されている２つのピクチャとに基づいて予測符号化処理を行う。図４（ｅ）中の符号は、符号化処理に用いられるピクチャを表している。
【００１７】
次に、図５を参照して、ＭＰＥＧ規格の双方向予測復号化方式におけるピクチャの並べ替えについて説明する。図５において、（ａ）はエンコーダから伝送路を介してデコーダに供給された符号化ビデオストリームのピクチャの順番を表し、（ｂ）はエンコーダから伝送路を介してデコーダに供給された符号化ビデオストリームを表わし、（ｃ）はデコーダより出力されるビデオデータのピクチャ順を表している。図５に示したように、このデコーダでは、Ｂピクチャは、エンコード時にＩピクチャ又はＰピクチャを使用して予測符号化処理されているので、この予測符号化処理に使用されたピクチャと同じピクチャを用いて復号化処理を行なう。その結果、図５（ｃ）に示されるように、このデコーダから出力されるビデオデータのピクチャの順番は、ＩピクチャやＰピクチャよりＢピクチャが早く出力される。
【００１８】
図６は、図５において説明した復号化処理をさらに詳しく説明するための図である。図６において、（ａ）はデコーダに対して供給される符号化されたビデオエレメンタリストリーム（ＥＳ）のピクチャの順番を表し、（ｂ），（ｃ）はそれぞれデコーダ内の２つのフレームメモリＦＭ１，ＦＭ２に保持されるピクチャを表し、（ｄ）はデコーダより出力される出力ビデオデータを表している。図４と同様に、図中、Ｉ，Ｐ，Ｂに付随した数字はピクチャの順番を表している。デコーダでは、図６（ａ）に示したような入力エレメンタリストリーム（ＥＳ）が入力されると、予測符号化処理に使用した２つのピクチャを記憶しめければいけないので、２つのフレームメモリＦＭ１，ＦＭ２には、それぞれ図６（ｂ），（ｃ）に示したようなピクチャが保持される。そして、デコーダは、入力エレメンタリストリームがＩピクチャの場合は入力エレメンタリストリーム（Ｉピクチャ）のみに基づいて復号化処理を行い、入力エレメンタリストリームがＰピクチャの場合は入力エレメンタリストリームとフレームメモリＦＭ１に保持されているＩピクチャまたはＰピクチャとに基づいて復号化処理を行い、入力エレメンタリストリームがＢピクチャの場合は入力エレメンタリストリームとフレームメモリＦＭ１，ＦＭ２に保持されている２つのピクチャとに基づいて復号化処理を行って、図６（ｄ）に示したような出力ビデオデータを生成する。
【００１９】
次に、図７を参照して、ＭＰＥＧ規格の双方向予測符号化方式における動き検出および動き補償について説明する。図７は、入力ビデオフレーム順に並んだピクチャ間の予測方向（差分をとる方向）を矢印で示したものである。ＭＰＥＧ規格では、より高圧縮を可能とする動き補償が採用されている。エンコーダでは、動き補償を行うために、エンコード時に、図７に示した予測方向に従って、動き検出を行って動きベクトルを得る。ＰピクチャおよびＢピクチャは、この動きベクトルと、動きベクトルに従って得たサーチ画または予測画との差分値で構成される。デコード時には、この動きベクトルと差分値に基づいて、ＰピクチャおよびＢピクチャが再構成される。
【００２０】
一般的に、図７に示されるように、Ｉピクチャは、そのＩピクチャないの情報から符号化されたピクチャで、フレーム間予測を使用せずに生成されたピクチャである。Ｐピクチャは、過去のＩピクチャ又はＰピクチャからの予測を行なうことによって生成されたピクチャである。Ｂピクチャは、過去のＩ又はＰピクチャ及び未来のＩ又はＰピクチャの双方向から予測されたピクチャ、過去のＩ又はＰピクチャの順方向から予測されたピクチャ、又はＩ又はＰの逆方向から予測されたピクチャのいずれかである。
【００２１】
ところで、放送局の編集システムにおいては、取材現場においてカムコーダやデジタルＶＴＲを使用して収録したビデオ素材や、地方局や番組供給会社から伝送されてきたビデオ素材等を編集して、１つのオンエア用のビデオプログラムを生成するようにしている。近年、カムコーダやデジタルＶＴＲを使用して収録されたビデオ素材及び地方局や番組供給会社等から供給されたビデオ素材は、前述したＭＰＥＧ技術を使用して、圧縮符号化された符号化ストリームとして供給されることがほとんどである。その理由は、圧縮されていないベースバンドのビデオデータをそのまま記録媒体に記録するよりも、ＭＰＥＧ技術を使用して圧縮符号化した方が記録媒体の記録エリアを有効に活用できるという理由や、圧縮されていないベースバンドのビデオデータをそのまま伝送するよりも、ＭＰＥＧ技術を使用して圧縮符号化した方が伝送路を有効に活用できるという理由からである。
【００２２】
この従来の編集システムにおいては、例えば２つの符号化ビデオストリームを編集して１つのオンエア用のビデオプログラムを生成するためには、編集処理の前に、一端符号化ストリームの全データをデコードして、ベースバンドのビデオデータに戻さなければいけない。なぜなら、ＭＰＥＧ規格に準じた符号化ストリームに含まれる各ピクチャの予測方向は、前後のピクチャの予測方向と相互に関連しているので、ストリーム上の任意の位置において符号化ストリームを接続することができないからである。もし強引に２つの符号化ストリームをつなげたとすると、つなぎめが不連続になってしない、正確にデコードできなくなってしまうことが発生する。
【００２３】
従って、従来の編集システムにおいて供給された２つの符号化ストリームを編集しようとすると、２つのソース符号化ストリームを一端デコードして２つのベースバンドのビデオデータを生成するデコード処理と、２つのベースバンドのビデオデータを編集してオンエア用の編集されたビデオデータを生成する編集処理と、編集されたビデオデータを再び符号化して、符号化ビデオストリームを生成するという符号化処理とを行なわなくてはいけない。
【００２４】
しかしながら、ＭＰＥＧ符号化は１００％可逆の符号化ではないので、このように編集処理だけのために復号化処理及び符号化処理を行なうと画質が劣化してしまうという問題があった。つまり、従来の編集システムにおいて編集処理するためには、必ず復号化処理と符号化処理とが必要であったので、その分だけ画質が劣化するという問題があった。
【００２５】
その結果、近年では、供給された符号化ストリームの全ての復号化処理せずに、符号化ストリームの状態のまま編集することを可能にする技術が要求されるようになってきた。尚、このように符号化されたビットストリームレベルで、異なる２つの符号化ビットストリームを連結し、連結されたビットストリームを生成することを「スプライシング」と呼んでいいる。つまり、スプライシングとは、符号化ストリームの状態のままで複数のストリームを編集することを意味する。
【００２６】
しかしながら、このスプライシングを実現するためには以下のような３つの大きな問題点がある。
【００２７】
第１の問題点は、ピクチャプレゼンテーション順の観点からくる問題点である。このピクチャプレゼンテーション順とは、各ビデオフレームの表示順のことである。この第1の問題点について、図８および図９を参照して説明する。
【００２８】
図８および図９は、いずれも、ストリームの単純なスプライスを行ったときの、スプライス前後のストリームにおけるピクチャの順番とスプライス後のピクチャプレゼンテーションの順番との関係を示したものである。図８はピクチャプレゼンテーションの順番に問題が生じない場合について示し、図９はピクチャプレゼンテーションの順番に問題が生じている場合について示している。また、図８および図９において、（ａ）はスプライスされる一方のビデオストリームＡを示し、（ｂ）はスプライスされる他方のビデオストリームＢを示し、（ｃ）はスプライス後のストリームを示し、（ｄ）はプレゼンテーションの順番を示している。また、ＳＰA はストリームＡにおけるスプライスポイントを示し、ＳＰB はストリームＢにおけるスプライスポイントを示し、ＳＴA はストリームＡを示し、ＳＴB はストリームＢを示し、ＳＴSPは、スプライシングされたストリームを示している。
【００２９】
エンコーダにおいてピクチャの並べ替えを行うことから、エンコード後の符号化ストリームにおけるピクチャの順番とデコード後のプレゼンテーションの順番とは異なる。しかしながら、図８に示したスプライス処理は、ストリームＡのＢピクチャの後にスプライスポイントＳＰAが設定され、ストリームＢのＰピクチャの前にスプライスポイントＳＰBが設定された例を示している図である。この図８（ｄ）に示されるように、ストリームＡとストリームＢの境界ＳＰを境にして、ストリームＡのピクチャがストリームＢのピクチャより後に表示されたり、ストリームＢのピクチャがストリームＡのピクチャの前に表示されるというような現象はおきていない。つまり、図８に示したスプライスポイントＳＰA及びＳＰBにおいてスプライシングする場合であれば、プレゼンテーションの順番に問題は生じない。
【００３０】
一方、図９に示したスプライス処理は、ストリームＡのＰピクチャの後にスプライスポイントＳＰAが設定され、ストリームＢのＢピクチャの前にスプライスポイントＳＰBが設定された例を示している図である。この図８（ｄ）に示されるように、ストリームＡとストリームＢの境界ＳＰを境にして、ストリームＡの最後のピクチャがストリームＢのピクチャより後に表示されたり、ストリームＢの２つのピクチャがストリームＡの最後のピクチャより前に表示されるとい現象が起こったいる。つまり、このような順でピクチャが表示されたとすると、スプライスポイントの近傍におうて、ストリームＡのビデオイメージからストリームＢのビデオイメージに切り替わり、その２フレーム後に再びストリームＡのビデオイメージが１フレームだけ表示されるという奇妙なイメージになってしまう。つまり、図９に示したスプライスポイントＳＰA及びＳＰBにおいてスプライシングする場合であれば、プレゼンテーションの順番に問題が生じる。
【００３１】
よって、任意のピクチャ位置でスプライスを実現するためには、このようなプレゼンテーション順に関する問題が発生することがある。
【００３２】
第２の問題点は、動き補償の観点からくる問題点である。この問題点について、図１０ないし図１２を参照して説明する。これらの図は、いずれも、ストリームの単純なスプライスを行ったときの、スプライス後のストリームにおけるピクチャの順番とピクチャプレゼンテーションの順番との関係を示したものであ。図１０は動き補償に関して問題が生じない場合の例を示し、図１１および図１２は動き補償に関して問題が生じる場合の例を示している。なお、図１１および図１２は、それぞれ、図８および図９に示したスプライスを行った場合について示している。また、各図において、（ａ）はスプライス後のストリームを示し、（ｂ）はプレゼンテーションの順番を示している。
【００３３】
図１０に示した例では、ストリームＢがクローズドＧＯＰ（以前のＧＯＰに予測が依存しない閉じたＧＯＰ）であり、且つ、ちょうどＧＯＰの切れ目でスプライスを行っているため、過不足なく動き補償が行われ、問題なくピクチャのデコードが行われる。
【００３４】
これに対し、図１１および図１２では、デコード時に、異なるストリームにおけるピクチャを参照する動き補償が行われるため、動き補償に問題が生じる。具体的には、ストリームＡのＰピクチャを参照してストリームＢのＢピクチャやＰピクチャは作れないという理由から、図中、破線で示した予測方向での動きベクトルによる動き補償は無効（図ではＮＧと記す。）である。従って、図１１および図１２に示した例では、次のＩピクチャまで、ピクチャが破綻したままになる。
【００３５】
任意のピクチャ単位でスプライスを行う場合、単純なストリーム上のスプライスでは、この問題は解決することができない。
【００３６】
第３の問題点は、ＶＢＶバッファの観点からくる問題点である。この問題点について、図１３ないし図１８を参照して説明する。図１３は、ピクチャプレゼンテーションの順番、動き補償およびＶＢＶバッファの条件を満たす理想的なストリームスプライスを行った場合の例を示している。なお、図中、ＳＴA ，ＳＴB ，ＳＴC は、それぞれストリームＡ，ストリームＢ，ストリームＣを示している。図１３において、（ａ）はデコーダ側のＶＢＶバッファの状態を示し、（ｂ）はスプライス後のストリームを示し、（ｃ）はエンコーダにおける並べ替え後の各ピクチャの発生タイミングを示し、（ｄ）はデコード後のピクチャの順番を示している。なお、図１３において、ＳＰV はＶＢＶバッファにおけるスプライス点を示し、ＶOCはスプライス点ＳＰV におけるＶＢＶバッファの占有量を示し、ＳＰS はストリームにおけるスプライス点を示している。図１３に示した例では、ＶＢＶバッファの観点から見るとき、スプライスによりＶＢＶバッファのオーバフローやアンダフロー等のＶＢＶバッファの破綻が起きていない。
【００３７】
しかし、一般的には、任意のピクチャ単位にスプライスを行うときには、ＶＢＶバッファの破綻を起こさないという条件を満たすとは限らない。このことを図１４ないし図１８を参照して説明する。図１４および図１５は、それぞれ、ＶＢＶバッファの制約を満たす正常なストリームＡおよびストリームＢを表し、（ａ）はデコーダ側のＶＢＶバッファの状態を示し、（ｂ）はストリームＡ，Ｂを示している。このようなストリームＡ，Ｂを任意の位置で単純にスプライスした場合の３通りの例を、図１６ないし図１８に示す。これらの図において、（ａ）はデコーダ側のＶＢＶバッファの状態を示し、（ｂ）はスプライス後のストリームを示している。これらの図に示したように、ストリームＡ，Ｂをどこでスプライスするかによって、ＶＢＶバッファの状態が異なっている。図１６に示した例では、スプライス後のストリームもＶＢＶバッファの制約を満たしているが、図１７に示した例では、符号１４１で示したオーバフローが発生しており、ＶＢＶバッファの制約を満たしていない。また、図１８に示した例では、符号１４２で示したアンダフローが発生しており、ＶＢＶバッファの制約を満たしていない。デコーダ（ＩＲＤ）側では、ＶＢＶバッファのアンダフローまたはオーバフローが発生すると、ＶＢＶバッファの破綻によりピクチャデコードに失敗し、シームレスな画像再生を実現することができない。そのときの画像再生の状態は、エンコーダ（ＩＲＤ）の機能によって画像スキップ、フリーズ、処理ストップ等、様々である。任意のピクチャ単位でスプライスを行う場合、単純なストリーム上のスプライスでは、この問題は解決することができない。
【００３８】
このように、従来は、ストリーム上のシームレスなスプライスを実現する有効な手段がないという問題点があった。
【００３９】
なお、以上の説明に関連するものとして、以下の先行技術文献が挙げられる（特許文献１〜３）。
【００４０】
【特許文献１】特開平０８−２０５０７９号公報
【特許文献２】特開平０８−３７６４０号公報
【特許文献３】特開平０６−２５３３３１号公報
【発明の開示】
【発明が解決しようとする課題】
【００４１】
本発明はかかる問題点に鑑みてなされたもので、その第１の目的は、復号化装置側の入力バッファに対応する仮想的バッファの破綻や仮想的バッファびおけるデータ占有量の不連続が発生することがないように、複数の符号化ストリームをシームレスにスプライシングすることを実現するスプライシング装置及びストリーム編集装置を提供することにある。
【００４２】
本発明の第２の目的は、上記目的に加え、スプライシングポイント近傍における画質劣化を低減すると共に、再エンコード処理における画質劣化を防止するようにしたスプライシング装置、ストリーム編集装置、及び符号化装置を提供することにある。
【課題を解決するための手段】
【００４３】
本発明のストリーム編集装置は、複数の映像素材を符号化して得られる複数の符号化ビットストリームを入力して、この複数の符号化ビットストリームを接続するためのストリーム編集装置であって、複数の符号化ビットストリームを入力して、この複数の符号化ビットストリームの接続点を含む接続点前後の所定区間内における各符号化ビットストリームを復号化して、所定区間内の画像データを出力する復号化手段と、この復号化手段によって出力される所定区間内の画像データに対する新たな目標符号量を設定する目標符号量設定手段と、復号化手段によって出力される所定区間内の画像データを、目標符号量設定手段によって設定される新たな目標符号量に従って符号化して、所定区間内の新たな符号化ビットストリームを出力する符号化手段と、所定区間内の元の符号化ビットストリームを、符号化手段によって出力される所定区間内の新たな符号化ビットストリームに置き換えて、所定区間の前後における元の符号化ビットストリームと新たな符号化ビットストリームとを連結して出力する符号化ビットストリーム出力手段とを備えたものである。
【００４４】
本発明のストリーム編集装置では、復号化手段によって、複数の符号化ビットストリームの接続点を含む接続点前後の所定区間内における各符号化ビットストリームが復号化されて、所定区間内の画像データが出力され、目標符号量設定手段によって、所定区間内の画像データに対する新たな目標符号量が設定され、符号化手段によって、所定区間内の画像データが、新たな目標符号量に従って符号化され、所定区間内の新たな符号化ビットストリームが出力される。そして、符号化ビットストリーム出力手段によって、所定区間内の元の符号化ビットストリームが、所定区間内の新たな符号化ビットストリームに置き換えられ、所定区間の前後における元の符号化ビットストリームと新たな符号化ビットストリームとが連結されて出力される。
【００４５】
本発明のスプライシング装置は、複数のソース符号化ストリームに対して、それぞれスプライシングポイントを設定するスプライシングポイント設定手段と、複数のソース符号化ストリームのスプライシングポイント付近のピクチャをそれぞれデコードし、デコードされたビデオデータを出力するデコード手段と、デコードされたビデオデータを再エンコードし、再エンコードストリームを出力する再エンコード手段と、ソース符号化ストリームと再エンコードストリームとを切り換えて出力することによって、スプライシングされたスプライシングストリームを生成するスプライシングストリーム生成手段と、スプライシングストリームがデコード時に不連続とならないように再エンコード手段及びスプライシングストリーム生成手段を制御するスプライス制御手段とを備えたことを特徴としている装置である。
【００４６】
また、本発明のスプライシング装置のスプライス制御手段は、ＶＢＶバッファにオーバーフロー及びアンダーフローが発生しないように、再エンコード手段における再エンコードの目標ビット量を演算するという機能を備えている。
【００４７】
また、本発明のスプライシング装置のスプライス制御手段は、ソース符号化ストリームと再エンコードストリームの切換えポイント又は再エンコードストリームのスプライスポイントにおいて、ＶＢＶバッファのデータ占有量の軌跡が不連続にならないように、再エンコード手段における再エンコードの目標ビット量を演算するという機能を有している。
【００４８】
また、本発明のスプライシング装置のスプライス制御手段は、再エンコードストリームに対応するＶＢＶバッファのデータ占有量の軌跡が、ソース符号化ストリームが本来有していたであろうと想定できるＶＢＶバッファのデータ占有量の軌跡に近くなるように、再エンコード手段を制御する機能を有している。
【００４９】
また、本発明のスプライシング装置のスプライス制御手段は、ソース符号化ストリームに含まれる符号化パタメータを抽出し、抽出された符号パラメータを、再エンコード手段における再エンコード処理時に選択的に再利用することによって、スプライシングストリームの画質劣化を防止するという機能を有している。
【００５０】
また、本発明のスプライシング装置のスプライス制御手段は、ソース符号化ストリームに含まれる量子化特性に関する情報を抽出し、抽出された量子化特性に基いて再エンコード手段における再エンコード処理を行なうように再エンコード手段を制御するという機能を有している。
【００５１】
また、本発明のスプライシング装置のスプライス制御手段は、ソース符号化ストリームに含まれる量子化特性に関する情報を各ピクチャ毎に抽出し、ＶＢＶバッファにオーバーフロー及びアンダーフローが発生しないように、再エンコード手段における再エンコード処理における各ピクチャ目標ビット量を演算し、ソース符号化ストリームに含まれる量子化特性に関する情報を各ピクチャ毎に抽出し、ソース符号化ストリームから抽出された量子化特性と、演算された目標ビット量とに基いて、新たな量子化特性を演算し、演算された新たな量子化特性に基いて再エンコード処理を行なうように再エンコード手段を制御するという機能を有している。
【００５２】
また、本発明のスプライシング装置のスプライス制御手段は、ＶＢＶバッファにオーバーフロー及びアンダーフローが発生しないように、再エンコード手段における再エンコード処理における目標ビット量を演算し、ソース符号化ストリームに含まれる過去の符号化処理において生成された量子化特性を参照することによって、目標ビット量を、再エンコード処理すべき各ピクチャに対して割当て、各ピクチャに割当てられた目標ビット量に従って、各ピクチャ毎に再エンコード処理を行なうように再エンコード手段を制御するという機能を有している。
【００５３】
また、本発明のスプライシング装置のスプライス制御手段は、ＶＢＶバッファにオーバーフロー及びアンダーフローが発生しないように、再エンコード手段における再エンコード処理における目標ビット量を演算し、ソース符号化ストリームの過去の符号化処理における各ピクチャ毎の発生ビット量に近くなるように、目標ビット量を、再エンコード処理すべきピクチャに対してそれぞれ割当て、各ピクチャに割当てられた目標ビット量に従って、各ピクチャ毎に再エンコード処理を行なうように再エンコード手段を制御するという機能を備えている。
【００５４】
また、本発明のスプライシング装置のスプライス制御手段は、ソース符号化ストリームから抽出された動きベクトル情報を、再エンコード手段における再エンコード処理時に選択的に再利用することによって、スプライシングストリームの画質劣化を防止するという機能を有している。
【００５５】
また、本発明のスプライシング装置のスプライス制御手段は、ソース符号化ストリームから抽出された動きベクトル情報を、再エンコード手段における再エンコード処理時に再利用するか否かを判断し、再利用すると判断された場合には、動き検出手段において検出された動きベクトルではなくて、ストリームから抽出された動きベクトルを、再エンコード手段の動き補償回路に供給するように再エンコード手段を制御するという機能を有している。
【００５６】
また、本発明のスプライシング装置のスプライス制御手段は、スプライスポイントを挟んで異なるソース符号化ストリームのピクチャから予測されることが無いように、再エンコード手段の再エンコード処理が行われるスプライスポイントの近傍のピクチャに対して予測方向を設定するという機能を有している。
【００５７】
また、本発明のスプライシング装置のスプライス制御手段は、再エンコード手段によって再エンコードされるスプライスポイント近傍のピクチャのピクチャタイプを選択的に変更することによって、スプライシングストリームのスプライスポイントの近傍のピクチャの画質劣化を防止するという機能を有している。
【００５８】
また、本発明のスプライシング装置のスプライス制御手段は、スプライスポイントを跨いで異なるソース符号化ストリームのピクチャから予測されることが無いように、再エンコード手段によって再エンコードされるスプライスポイント近傍のピクチャのピクチャタイプを選択的に変更するという機能を有している。
【発明の効果】
【００５９】
本発明のスプライシング装置及び編集方法によれば、複数の符号化ビットストリームの接続点を含む接続点前後の所定区間内における各符号化ビットストリームを復号化して所定区間内の画像データを出力し、所定区間内の画像データを、新たな目標符号量に従って符号化して、所定区間内の新たな符号化ビットストリームを出力し、所定区間内の元の符号化ビットストリームを、所定区間内の新たな符号化ビットストリームに置き換えて、所定区間の前後における元の符号化ビットストリームと新たな符号化ビットストリームとを連結して出力するようにしたので、復号化装置側の入力バッファに対応する仮想的バッファの破綻や画像の破綻をきたすことなく、符号化ビットストリーム上の任意のピクチャ単位で、複数の映像素材を接続することができるという効果を奏する。
【００６０】
また、本発明のスプライシング装置及び編集装置によれば、元の符号化ビットストリームに含まれ、復号化の際に使用される情報を利用して符号化を行うようにしたので、更に、接続点近傍における画質劣化を低減することができるという効果を奏する。
【００６１】
また、本発明のスプライシング装置及び編集装置によれば、元の符号化ビットストリームが双方向予測符号化方式による符号化のためにピクチャの並べ替えが行われている場合に、所定区間内の画像データの符号化の際に、異なる符号化ビットストリームに属するピクチャを利用した予測符号化処理が行われないようにピクチャタイプの再構成を行って符号化を行うようにしたので、更に、双方向予測符号化方式による符号化を行う場合であっても画像の破綻をきたすことがないという効果を奏する。
【００６２】
また、本発明のスプライシング装置及び編集装置によれば、復号化装置側の入力バッファに対応する仮想的バッファのデータ占有量の軌跡の接続点前後におけるずれを減ずるように、新たな目標符号量を設定するようにしたので、更に、仮想的バッファの破綻をより確実に防止することができるという効果を奏する。
【発明を実施するための最良の形態】
【００６３】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
【００６４】
図１９は、本発明の一実施の形態に係るスプライシング装置及び編集装置の構成を示すブロック図である。このスプライシング装置及び編集装置は、例えば複数の映像素材のビデオデータＶＤA ，ＶＤB をエンコーダ１Ａ，１ＢによってＭＰＥＧ規格による双方向予測符号化方式に従ってエンコードして得られた複数の符号化ビットストリーム（以下、単にストリームと言う。）ＳＴA ，ＳＴB を入力するようになっている。なお、本実施の形態におけるストリームは、エレメンタリストリーム、パケッタイズドエレメンタリストリーム、トランスポートストリームのいずれでもよい。
【００６５】
本実施の形態に係るスプライシング装置及び編集装置は、ストリームＳＴA ，ＳＴB を入力し、これらを一時的に記憶するためのバッファメモリ１０と、ストリームＳＴA ，ＳＴB のビット数をカウントするストリームカウンタ１１と、ストリームＳＴA ，ＳＴBのシンタックスを解析するストリーム解析部１２と、スプライシング処理を行なうために後述する各ブロックをコントロールするためのスプライスコントローラ１３とを備えている。
【００６６】
スプライシング装置及び編集装置は、更に、それぞれ、バッファメモリ１０より出力されるストリームＳＴA ，ＳＴB をＭＰＥＧ規格に従ってデコードして、ベースバンドビデオデータを出力するＭＰＥＧデコーダ１４Ａ，１４Ｂと、これらのＭＰＥＧデコーダ１４Ａ，１４Ｂからの出力ビデオデータをスイッチングするスイッチ１５と、このスイッチ１５から出力された出力ビデオデータを再エンコードするＭＰＥＧエンコーダ１６と、バッファメモリ１０より出力されるストリームＳＴA ，ＳＴB およびＭＰＥＧエンコーダ１６より出力される再エンコードストリームＳＴREを切り換えて出力することにより、スプライスされたストリームＳＴSPを出力するスイッチ１７とを備えている。
【００６７】
以下に、上述した各ブロックについて詳細に説明する。
【００６８】
バッファメモリ１０は、後述するスプライスコントローラ１３からの書込みコマンドに応答して、供給された２つのストリームＳＴA ，ＳＴBを一時的に記憶し、スプライスコントローラ１３からの読み出しコマンドに応答して、記憶されたストリームＳＴA ，ＳＴBをそれぞれ読み出す。これによって、ストリームＳＴA ，ＳＴBのそれぞれに対して設定されたスプライシングポイントにおいてスプライスを行なうために、ストリームＳＴA ，ＳＴBのスプライシングポイントの位相及びタイミングの合わせることができる。
【００６９】
ストリームカウンタ１１は、ストリームＳＴA ，ＳＴB を受取り、これらのストリームのビット数をそれぞれカウントし、そのカウント値をスプライスコントローラ１３にそれぞれ供給する。このように供給されたビットストリームＳＴA ，ＳＴBのビット数をカウントする理由は、ストリームＳＴA ，ＳＴBに対応するＶＢＶバッファのデータ占有量の軌跡を仮想的に把握するためである。
【００７０】
ストリーム解析部１２は、ストリームＳＴA ，ＳＴBのシンタックスを解析することによって、シーケンス層、ＧＯＰ層、ピクチャ層、及びマクロブロック層から適切な情報を抽出する。例えば、ピクチャのタイプ（Ｉ、Ｂ又はＰ）を示すピクチャタイプ、動きベクトル、量子化ステップ、及び量子化マトリックス等のエンコード情報を抽出して、それらの情報をスプライスコントローラ１３に出力する。
【００７１】
これらのエンコード情報は、エンコーダ１Ａ及び１Ｂにおける過去のエンコード処理において生成された符号化情報であって、本発明のスプライシング装置においては、これらの過去のエンコード情報を再エンコード処理時において選択的に使用する。
【００７２】
このスプライスコントローラ１３は、ストリームカウンタ１１から出力されたカウント値、ストリーム解析部１２から出力されたエンコード情報、再エンコード区間を設定するためのパラメータｎ0 ，ｍ0 およびスプライスポイントを指示するためのパラメータｐ0 を受取り、それらの情報に基いて、スイッチ１５、ＭＰＥＧエンコーダ１６及びスイッチ１７を制御する。具体的には、スプライスコントローラ１３は、入力されたパラメータｐ0 に応じてスイッチ１５のスイッチングタイミングを制御し、パラメータｎ0 ，ｍ0 ，ｐ0 に応じてスイッチ１７のスイッチングタイミングを制御するようになっている。
【００７３】
また、スプライスコントローラ１３は、ストリームカウンタ１１及びストリーム解析部１２から供給されたカウント値とストリーム解析部１２から供給されたエンコード情報とに基いて、スプライシングされたストリームによってＶＢＶバッファがオーバーフロー／アンダーフローしないようにすると共に、スプライシングされたストリームによってＶＢＶバッファのデータ占有量の軌跡が不連続にならないように、再エンコード区間内の各ピクチャ対して新たな目標符号量を演算する。
【００７４】
さらに、プライスコントローラ１３は、例えば、バッファメモリ１０の書き込みアドレスおよび読み出しアドレスを制御することによって、バッファメモリ１０における各ストリームＳＴA ，ＳＴB の遅延量を調整して、プレゼンテーションタイムを基準にして、各ストリームＳＴA ，ＳＴB のスプライスポイントの位相を調整するようになっている。
【００７５】
図２０は、図１９におけるＭＰＥＧデコーダ１４Ａ，１４ＢとＭＰＥＧエンコーダ１６の構成を示すブロック図である。なお、この図では、ＭＰＥＧデコーダ１４Ａ，１４Ｂを代表してＭＰＥＧデコーダ１４として示し、ストリームＳＴA ，ＳＴB を代表してストリームＳＴとして示している。
【００７６】
ＭＰＥＧデコーダ１４は、ストリームＳＴを入力し、可変長復号化する可変長復号化回路（図ではＶＬＤと記す。）２１と、この可変長復号化回路２１の出力データを逆量子化する逆量子化回路（図ではＩＱと記す。）２２と、この逆量子化回路２２の出力データに対して逆ＤＣＴ（逆離散コサイン変換）を行う逆ＤＣＴ回路（図ではＩＤＣＴと記す。）２３と、この逆ＤＣＴ回路２３の出力データと予測画像データとを加算する加算回路２４と、逆ＤＣＴ回路２３の出力データと加算回路２４の出力データの一方を選択的にＭＰＥＧデコーダ１４の出力データとして出力するスイッチ２５と、加算回路２４の出力データを保持するための２つのフレームメモリ（図では、ＦＭ１，ＦＭ２と記す。）２６，２７と、フレームメモリ２６，２７に保持されたデータとストリームＳＴに含まれる動きベクトルの情報とに基づいて、動き補償を行って予測画像データを生成し、この予測画像データを加算回路２４に出力する動き補償部（図ではＭＣと記す。）２８とを備えている。
【００７７】
ＭＰＥＧエンコーダ１６は、ＭＰＥＧデコーダ１４から供給された出力ビデオデータに対してエンコードのための前処理等を行うエンコーダ前処理部３０を備えている。このエンコーダ前処理部３０は、双方向予測符号化方式による符号化のためのピクチャの並べ替えや、１６×１６画素のマクロブロック化や、各ピクチャの符号化難易度の演算等の処理を行うようになっている。
【００７８】
ＭＰＥＧエンコーダ１６は、更に、エンコーダ前処理部３０の出力データと予測画像データとの差分をとる減算回路３１と、エンコーダ前処理部３０の出力データと減算回路３１の出力データの一方を選択的に出力するスイッチ３２と、このスイッチ３２の出力データに対して、ＤＣＴ（離散コサイン変換）ブロック単位でＤＣＴを行い、ＤＣＴ係数を出力するＤＣＴ回路（図ではＤＣＴと記す。）３３と、このＤＣＴ回路３３の出力データを量子化する量子化回路（図ではＱと記す。）３４と、この量子化回路３４の出力データを可変長符号化して、再エンコードストリームＳＴREとして出力する可変長符号化回路（図ではＶＬＣと記す。）３５とを備えている。
【００７９】
ＭＰＥＧエンコーダ１６は、更に、量子化回路３４の出力データを逆量子化する逆量子化回路（図ではＩＱと記す。）３６と、この逆量子化回路３６の出力データに対して逆ＤＣＴを行う逆ＤＣＴ回路（図ではＩＤＣＴと記す。）３７と、この逆ＤＣＴ回路３７の出力データと予測画像データとを加算して出力する加算回路３８と、この加算回路３８の出力データを保持するための２つのフレームメモリ（図では、ＦＭ１，ＦＭ２と記す。）３９，４０と、フレームメモリ３９，４０に保持されたデータと動きベクトル情報とに基づいて、動き補償を行って予測画像データを生成し、この予測画像データを減算回路３１および加算回路３８に出力する動き補償部（図ではＭＣと記す。）４１とを備えている。
【００８０】
ＭＰＥＧエンコーダ１６は、更に、フレームメモリ３９，４０に保持されたデータとエンコーダ前処理部３０の出力データとに基づいて動きベクトルを検出し、動きベクトル情報を出力する動き検出回路（図ではＭＥと記す。）４２と、スプライスコントローラ１３から供給されたエンコード情報と目標符号量とを受取り、これらの情報に基いて、量子化回路３４，逆量子化回路３６およびフレームメモリ３９，４０を制御するエンコードコントローラ４３と、このエンコードコントローラ４３によって制御され、エンコードコントローラ４３から出力される動きベクトルの情報と動き検出回路４２から出力される動きベクトルの情報の一方を選択的に動き補償部４１に対して出力するスイッチ４４とを備えている。
【００８１】
次に、図２０に示したＭＰＥＧデコーダ１４およびＭＰＥＧエンコーダ１６の動作の概略について説明する。
【００８２】
まず、ＭＰＥＧデコーダ１４では、ストリームＳＴは、可変長復号化回路２１によって可変長復号化され、逆量子化回路２２によって逆量子化され、逆ＤＣＴ回路２３によって逆ＤＣＴが行われ、逆ＤＣＴ回路２３の出力データが加算回路２４およびスイッチ２５に入力される。Ｉピクチャの場合には、逆ＤＣＴ回路２３の出力データが、スイッチ２５を介してＭＰＥＧデコーダ１４の出力データとして出力される。ＰピクチャまたはＢピクチャの場合には、加算回路２４によって逆ＤＣＴ回路２３の出力データと動き補償部２８より出力される予測画像データとが加算されてＰピクチャまたはＢピクチャが再現され、加算回路２４の出力データが、スイッチ２５を介してＭＰＥＧデコーダ１４の出力データとして出力される。また、ＩピクチャまたはＰピクチャは、適宜、フレームメモリ２６，２７に保持され、動き補償部２８による予測画像データの生成に利用される。
【００８３】
一方、ＭＰＥＧエンコーダ１６では、ＭＰＥＧデコーダ１４の出力データはエンコーダ前処理部３０に入力され、このエンコーダ前処理部３０によって、ピクチャの並べ替えやマクロブロック化等が行われる。ここで、エンコーダ前処理部３０は、スプライスコントローラ１３からのピクチャタイプの情報に基づいてピクチャの並べ替えを行う。
【００８４】
エンコーダ前処理部３０の出力データは、減算回路３１およびスイッチ３２に入力される。Ｉピクチャの場合には、スイッチ３２は、エンコーダ前処理部３０の出力データを選択的に出力する。ＰピクチャまたはＢピクチャの場合には、減算回路３１によってエンコーダ前処理部３０の出力データから動き補償部４１より出力される予測画像データが減算され、スイッチ３２は、減算回路３１の出力データを選択的に出力する。
【００８５】
スイッチ３２の出力データは、ＤＣＴ回路３３によってＤＣＴが行われ、ＤＣＴ回路３３の出力データが量子化回路３４によって量子化され、可変長符号化回路３５によって可変長符号化され、ストリームＳＴREとして出力される。
【００８６】
また、Ｉピクチャの場合には、量子化回路３４の出力データは、逆量子化回路３６によって逆量子化され、逆ＤＣＴ回路３７によって逆ＤＣＴが行われ、逆ＤＣＴ回路３７の出力データが、フレームメモリ３９またはフレームメモリ４０に保持される。Ｐピクチャの場合には、量子化回路３４の出力データは、逆量子化回路３６によって逆量子化され、逆ＤＣＴ回路３７によって逆ＤＣＴが行われ、加算回路３８によって逆ＤＣＴ回路３７の出力データと動き補償部４１からの予測画像データとが加算されてフレームメモリ３９またはフレームメモリ４０に保持される。フレームメモリ３９またはフレームメモリ４０に保持されたＩピクチャまたはＰピクチャは、適宜、動き補償部４１による予測画像データの生成に利用される。また、動き検出回路４２は、フレームメモリ３９，４０に保持されたデータとエンコーダ前処理部３０の出力データとに基づいて動きベクトルを検出し、動きベクトルの情報を出力する。
【００８７】
エンコードコントローラ４３は、スプライスコントローラ１３から供給されたエンコード情報及び各ピクチャ毎の目標符号量を受取り、それらの情報に基いて、量子化回路３４，逆量子化回路３６、フレームメモリ３９，４０およびスイッチ４４を制御する。
【００８８】
具体的には、エンコードコントローラ４３は、スプライスコントローラ１３から供給されたエンコード情報に含まれている動きベクトルを再利用するときには、その動きベクトルの情報をスイッチ４４を介して動き補償部４１に入力させ、スプライスコントローラ１３から供給されたエンコード情報に含まれている動きベクトルを再利用しないときには動き検出回路４２において新たに生成された動きベクトルの情報が動き補償部４１に入力されるようにスイッチ４４を制御する。また、エンコードコントローラ４３は、スプライスコントローラ１３から供給されたエンコード情報に含まれるピクチャタイプに基づいて、予測画像データの生成に必要なピクチャがフレームメモリ３９，４０に保持されるようにフレームメモリ３９，４０を制御する。
【００８９】
更に、エンコードコントローラ４３は、可変長符号化回路３５の発生符号量を監視すると共に、可変長符号化回路３５を制御するようになっている。そして、エンコードコントローラ４３は、設定された目標符号量に対して発生符号量が不足してＶＢＶバッファがオーバフローしそうなときには、目標符号量に対する発生符号量の不足分を補うためにダミーデータの付加、すなわちスタッフィングを行うようになっている。また、エンコードコントローラ４３は、設定された目標符号量に対して発生符号量が超過してＶＢＶバッファがアンダフローしそうなときには、マクロブロック単位の符号化処理の停止処理であるスキップドマクロブロック処理（ＩＳＯ／ＩＥＣ１３８１８−２  ７．６．６）を行うようになっている。
【００９０】
次に、図２１ないし図２６を参照して、本発明の実施の形態におけるピクチャの並べ替え制御と動き補償制御に関して詳しく説明する。
【００９１】
図２１はＭＰＥＧデコーダ１４Ａ，１４Ｂによってデコードして得られたビデオデータ（以下、プレゼンテーションビデオデータと言う。）におけるスプライス点および再エンコード区間の一例を示す説明図である。図２１（ａ）はストリームＡ（ＳＴA ）に対応するプレゼンテーションビデオデータ、図２１（ｂ）はストリームＢ（ＳＴB ）に対応するプレゼンテーションビデオデータを示している。まず、スプライス点を決めるときには、プレゼンテーションビデオデータ上でピクチャを指定する。スプライスポイントの指定は、パラメータ ｐ0 によって行う。また、スプライス点を含むスプライス点前後の所定区間として、再エンコード区間を設定する。再エンコード区間の設定は、パラメータｎ0 ，ｍ0 によって行う。
【００９２】
以下の説明では、図２１に示したように、パラメータｐ0 を用いて、ストリームＳＴA に対応するプレゼンテーションビデオデータにおけるスプライス点のピクチャをＡn-P0と表わすと、スプライス点のピクチャＡn-P0よりも未来のピクチャは、Ａ(n-P0)+1、Ａ(n-P0)+2、Ａ(n-P0)+3、Ａ(n-P0)+4、・・・・・・と表わすことができ、スプライス点のピクチャＡn-P0よりも過去のピクチャは、Ａ(n-P0)-1、Ａ(n-P0)-2、Ａ(n-P0)-3、Ａ(n-P0)-4、・・・・・・と表わすことができる。同様に、ストリームＳＴBに対応するプレゼンテーションビデオデータにおけるスプライス点のピクチャをＢm-P0と表わすと、スプライス点のピクチャＢ0よりも未来のピクチャは、Ｂ(m-P0)+1、Ｂ(m-P0)+2、Ｂ(m-P0)+3、Ｂ(m-P0)+4、・・・・・・と表わすことができ、スプライス点のピクチャＢ0よりも過去のピクチャは、Ｂ(m-P0)-1、Ｂ(m-P0)-2、Ｂ(m-P0)-3、Ｂ(m-P0)-4、・・・・・・と表わすことができる。
【００９３】
再エンコード区間は、ストリームＳＴA に対応するプレゼンテーションビデオデータについては、スプライス点より前にｎ0 枚、ストリームＳＴB に対応するプレゼンテーションビデオデータについては、スプライス点より後にｍ0 枚とする。従って、再エンコード区間は、ピクチャＡ(n-P0)+n0 〜ピクチャＡn-P0 ピクチャＢm-P0〜ピクチャＢ(m-P0)-m0 となる。
【００９４】
本実施の形態では、このように設定された再エンコード区間について、再エンコード処理を行なうようにしている。この再エンコード処理とは、供給されたソース符号化ストリームＳＴA   及びＳＴB をデコードすることによってベースバンドビデオデータに戻し、スプライスポイントでこのデコードされた２つのビデオデータをつなげた後、このビデオデータを再エンコードして、新たなストリームＳＴREを作成するという処理である。
【００９５】
この再エンコード処理によって、ピクチャの並べ替えと動き補償に関する問題はなくなる。このことを、以下で説明する。
【００９６】
図２２は、図２１に示した例におけるデコード前後のピクチャの並びを示したものである。図２２において、（ａ）は再エンコード区間近傍のストリームＳＴA を示し、（ｂ）は再エンコード区間近傍のストリームＳＴA に対応するプレゼンテーションビデオデータを示し、（ｃ）は再エンコード区間近傍のストリームＳＴB に対応するプレゼンテーションビデオデータを示し、（ｄ）は再エンコード区間近傍のストリームＳＴBを示している。なお、図中、ＲＥＰA は、ストリームＳＴA に対応するプレゼンテーションビデオデータ中の再エンコード対象ピクチャを示し、ＲＥＰB は、ストリームＳＴB に対応するプレゼンテーションビデオデータ中の再エンコード対象ピクチャを示している。また、図中、曲線の矢印は、予測方向を表している。
【００９７】
図２３は、図２１及び図２２に示したストリームＳＴAとストリームＳＴBとをスプライシング処理した後の状態を示しており、図２３（ａ）は、２つのストリームをスプライシングした後のプレゼンテーションビデオデータを示し、図２３（ｂ）は２つのストリームをスプライシングした後のストリームＳＴSPを示している。図２３（ｂ）に示したストリームＳＴSPは、再エンコード区間について図２３（ａ）に示した画像データを再エンコードして新たなストリームＳＴREを生成し、更に、再エンコード区間の前におけるオリジナルストリームＳＴA （以下、ＯＳＴA と記す。）と再エンコード区間内の新たなストリームＳＴREと再エンコード区間の後におけるオリジナルストリームＳＴB （以下、ＯＳＴB と記す。）とを連結して形成される。なお、図中、ＴREは再エンコード期間を示している。
【００９８】
図２１ないし図２３に示した例では、スプライス点の近傍において、異なるストリームに属するピクチャを利用した予測符号化処理は行われていないので、ピクチャのプレゼンテーション順に関しては、問題は生じていない。
【００９９】
次に、図２１ないし図２３に示した例とは、スプライスポイントが異なる他の例を、図２４ないし図２６に示す。
【０１００】
図２４はプレゼンテーションビデオデータにおけるスプライス点および再エンコード区間の他の例を示す説明図である。図２４において、（ａ）はストリームＳＴA に対応するプレゼンテーションビデオデータ、（ｂ）はストリームＳＴB に対応するプレゼンテーションビデオデータを示している。
【０１０１】
図２５は、図２４に示した例におけるデコード前後のピクチャの並びを示したものである。図２５において、（ａ）は再エンコード区間近傍のストリームＳＴA を示し、（ｂ）は再エンコード区間近傍のストリームＳＴA に対応するプレゼンテーションビデオデータを示し、（ｃ）は再エンコード区間近傍のストリームＳＴB に対応するプレゼンテーションビデオデータを示し、（ｄ）は再エンコード区間近傍のストリームＳＴB を示している。
【０１０２】
図２６は、図２４に示した例におけるスプライス後のピクチャの並びを示したものである。図２６において、（ａ）は、図２５（ｂ）に示したプレゼンテーションビデオデータと図２５（ｃ）に示したプレゼンテーションビデオデータとを連結した後の画像データを示し、（ｂ）はスプライスされたストリームＳＴSPを示している。（ｂ）に示したストリームＳＴSPは、再エンコード区間について（ａ）に示した画像データを再エンコードして新たなストリームＳＴREを生成し、更に、再エンコード区間の前における元のストリームＳＴA （ＯＳＴA ）と再エンコード区間内の新たなストリームＳＴREと再エンコード区間の後における元のストリームＳＴB （ＯＳＴB ）とを連結して形成される。
【０１０３】
図２３ないし図２６に示した例では、スプライス点のピクチャＢm-P0がＰピクチャであるため、ピクチャタイプの再構成を行わずにそのまま図２５（ｂ）に示したプレゼンテーションビデオデータと図２５（ｃ）に示したプレゼンテーションビデオデータとを連結すると、ピクチャＢm-P0の再エンコード時に、異なるストリームＳＴA に属するピクチャを利用した予測符号化処理が行われてしまい、画質劣化が生じてしまう。そこで、本実施の形態では、スプライス点近傍において、異なるストリームに属するピクチャを利用した予測符号化処理が行われないようにピクチャタイプの再構成を行う。図２６（ａ）は、このピクチャタイプの再構成の結果、ピクチャＢm-P0がＰピクチャからＩピクチャに変えられた後の状態を示している。
【０１０４】
また、図２６（ａ）では、ピクチャＡn-P0がＢピクチャとなっており、このピクチャＡn-P0は、本来、双方向からの予測符号化処理が行われるピクチャであるが、そうすると、ピクチャＡn-P0の再エンコード時に、異なるストリームＳＴB に属するピクチャを利用した予測符号化処理が行われてしまい、画質劣化が生じてしまう。そこで、本実施の形態では、Ｂピクチャであっても、再エンコード時に、異なるストリームに属するピクチャ側からの予測は用いずに予測符号化処理を行なう。従って、図２６（ａ）に示した例では、ピクチャＡn-P0については、その前のＰピクチャ（ Ａ(n-P0)+1 ）のみを用いた予測符号化処理を行う。
【０１０５】
以上のようなピクチャタイプの再構成の設定は、スプライスコントローラ１３によって行われ、ピクチャタイプの再構成の設定の情報がＭＰＥＧエンコード１７のエンコードコントローラ４３に与えられる。エンコードコントローラ４３は、ピクチャタイプの再構成の設定に従って、符号化処理を行う。動きベクトル等の過去の符号化処理において生成されたエンコード情報の再利用も、ピクチャタイプの再構成の設定に従って行われる。
【０１０６】
なお、本実施の形態によるスプライス処理では、単純なストリーム上のスプライスとは異なるため、図２５（ｄ）に示したようにストリームＳＴB においてピクチャＢm-P0の後(過去)に存在していたＢピクチャ（Ｂ(m-P0)+2及びＢ(m-P0)+1 ）は、図２５（ｃ）に示したようにデコード後に捨てられるため、再エンコード後のピクチャ列では存在しない。
【０１０７】
次に、図２７から図３０を参照して、本実施の形態における再エンコード区間内の画像データに対する新たな目標符号量の算出方法について説明する。
【０１０８】
２つのストリームを単純にスプライスすると、スプライスポイント後に、スプライスされたストリームのＶＢＶバッファがアンダーフロー又はオーバーフローしてしまったり、又は、スプライスされたストリームのＶＢＶバッファのデータ占有量の軌跡が不連続になることが起こる。これらの問題点を解決するための本発明のスプライシング装置の再エンコード処理について図２７から図３０を参照して説明する。
【０１０９】
まず、図２７を参照して、スプライスストリームのＶＢＶバッファがアンダーフロー及びＶＢＶバッファのデータ占有量が不連続になる問題について説明する。
【０１１０】
図２７は、先に説明した図２３に対応する単純なスプライス処理を行なった場合の例であって、図２７（ａ）は、再エンコード対象ストリームＳＴRE' のＶＢＶバッファのデータ占有量の軌跡を示した図であって、図２７（ｂ）は、再エンコード対象ストリームＳＴRE'を示した図である。図２７において、ＴREは、再エンコードコントロール期間を示し、ＯＳＴAは、オリジナルストリームＡを示し、ＳＴRE' は再エンコードの対象となる再エンコード対象ストリームを示している。尚、この再エンコード対象ストリームＳＴRE'とは実際に再エンコードされた再エンコードストリームＳＴREとは異なり、単純なスプライス処理を行った場合にこのようなストリームＳＴRE'になると想定されるストリームを示している。また、ＯＳＴBは、オリジナルストリームＢを示し、ＳＰVBVは、ＶＢＶバッファにおけるスプライスポイントを示し、ＳＰはストリームにおけるスプライスポイントを示している。
【０１１１】
図２７（ａ）に示されるように、スプライス処理の対象となるストリームＳＴRE'のＶＢＶバッファの軌跡は、スプライスポイントＳＰの前では、ストリームＡ（ＳＴA ）のＶＢＶバッファのデータ占有量の軌跡となり、スプライスポイントＳＰの後では、ストリームＢ（ＳＴB ）のＶＢＶバッファのデータ占有量の軌跡となる。ストリームＡとストリームＢとを単純にスプライシングすると、ストリームＡ（ＳＴA）のＶＢＶバッファのデータ占有量のスプライスポイントにおけるレベルと、ストリームＢ（ＳＴB）のＶＢＶバッファのデータ占有量のスプライスポイントにおけるレベルとは異なるので、ＶＢＶバッファのデータ占有量の軌跡が不連続になる。
【０１１２】
ストリームＡのスプライスポイントにおけるＶＢＶのデータ占有量の軌跡と、スプライスポイントにおけるストリームＢのＶＢＶのデータ占有量の軌跡とが連続しているようなシームレスなスプライシングを実現するためには、図２７（ａ）のように、スプライスポイントにおけるストリームＢのＶＢＶのデータ占有量の開始レベルを、ストリームＡのスプライスポイントにおけるＶＢＶのデータ占有量の終了レベルに一致させなければいけない。つまり、それらのレベルを一致させるためには、図２７（ａ）に示される例では、再エンコード制御期間ＴREにおいて、ストリームＢのＶＢＶバッファのデータ占有量の軌跡が本来有していたであろう軌跡よりもレベルを低くしなければいけない。尚、このデータ占有量の軌跡が本来有していただであろう軌跡とは、供給されたストリームＢがスプライシング処理されなかったと仮定した場合のストリームＢに関するＶＢＶバッファのデータ占有量を軌跡であって、図２７（ａ）のＶＢＶOST＿Bの延長軌跡によって示される。
【０１１３】
その結果、図２７（ａ）に示されるように、ＶＢＶバッファからの引き出しビット量が最も多いＩピクチャの引き出しタイミングで、このＶＢＶバッファがアンダーフローしてしまう。
【０１１４】
本発明の実施の形態では、図２７（ａ）に示したようにＶＢＶバッファのデータ占有量の軌跡がスプライス点において連続し、かつ、スプライス点の後に、アンダーフローが発生しないように再エンコード期間の各ピクチャに対して新たな目標符号量を設定するようにしている。
【０１１５】
また、スプライシングされたストリームのＶＢＶバッファのデータ占有量の軌跡が、スプラスポイントにおいて連続になるように、ストリームＢのＶＢＶバッファのデータ占有量の軌跡を単純に下げると、アンダーフローが発生するばかりでなく、再エンコード対象ストリームＳＴRE'とオリジナルストリームＯＳＴBとの切り替わりポイントで、ＶＢＶバッファのデータ占有量の軌跡が不連続になってしまう。
【０１１６】
本発明の実施の形態では、さらに、図２７（ａ）に示したように再エンコード対象ストリームＳＴRE'とオリジナルストリームＯＳＴBとの切り替わりポイントで、ＶＢＶバッファのデータ占有量の軌跡が連続するように、再エンコード期間の各ピクチャに対して新たな目標符号量を設定するようにしている。尚、オリジナルストリームＯＳＴBに対応するＶＢＶバッファのデータ占有量の軌跡ＶＢＶOST＿Bを制御しない理由は、軌跡ＶＢＶOST＿Bとは、ストリームＢのＶＢＶバッファのデータ占有量の軌跡が本来有していたであろう軌跡であって、この軌跡をコントロールすることはできないからである。なぜなら、この軌跡ＶＢＶOST＿Bは、オリジナルストリームＯＳＴBがオーバーフロー又はアンダーフローしないように決定された最適な軌跡であって、もしこの最適な軌跡のレベルを制御するとオーバーフロー又はアンダーフローが発生する可能性があるからである。
【０１１７】
次に、ＶＢＶのアンダーフローの問題に関する説明と同じように、図２９を参照して、スプライスストリームのＶＢＶバッファがオーバーフローする問題について説明する。
図２９は、先に説明した図２６に対応するスプライス処理を行った場合の例であって、図２９（ａ）は、スプライシングストリームＳＴSP のＶＢＶバッファのデータ占有量の軌跡を示した図であって、図２９（ｂ）は、スプライシングストリームＳＴSP を示した図である。図２９において、ＴREは、スプライシング制御されるスプライス期間を示し、ＯＳＴAは、オリジナルストリームＡを示し、ＳＴREは再エンコード対象ストリームを示し、ＯＳＴBは、オリジナルストリームＢを示し、ＳＰVBVは、ＶＢＶバッファにおけるスプライスポイントを示し、ＳＰはストリームにおけるスプライスポイントを示している。
【０１１８】
図２９（ａ）に示されるように、スプライスされた再エンコード対象ストリームＳＴRE'のＶＢＶバッファの軌跡は、スプライスポイントＳＰの前では、ストリームＡ（ＳＴA ）のＶＢＶバッファのデータ占有量の軌跡となり、スプライスポイントＳＰの後では、ストリームＢ（ＳＴB ）のＶＢＶバッファのデータ占有量の軌跡となる。ストリームＡとストリームＢとを単純にスプライシングすると、ストリームＡ（ＳＴA ）のＶＢＶバッファのデータ占有量のスプライスポイントにおけるレベルと、ストリームＢ（ＳＴB ）のＶＢＶバッファのデータ占有量のスプライスポイントにおけるレベルとは異なるので、ＶＢＶバッファのデータ占有量の軌跡が不連続になる。
【０１１９】
ストリームＡのスプライスポイントにおけるＶＢＶのデータ占有量の軌跡と、スプライスポイントにおけるストリームＢのＶＢＶのデータ占有量の軌跡とが連続しているようなシームレスなスプライシングを実現するためには、図２９（ａ）のように、スプライスポイントにおけるストリームＢのＶＢＶのデータ占有量の開始レベルを、ストリームＡのスプライスポイントにおけるＶＢＶのデータ占有量の終了レベルに一致させなければいけない。つまり、それらのレベルを一致させるためには、図２９（ａ）に示される例では、再エンコード処理制御期間ＴREにおいて、ストリームＢのＶＢＶバッファのデータ占有量の軌跡が本来有していたであろう軌跡よりもレベルを高くしなければいけない。尚、このデータ占有量の軌跡が本来有していただであろう軌跡とは、供給されたストリームＢがスプライシング処理されなかったと仮定した場合のストリームＢに関するＶＢＶバッファのデータ占有量を軌跡であって、図２９（ａ）のＶＢＶOST＿Bの延長軌跡によって示される。
【０１２０】
その結果、図２９（ａ）に示されるように、ＶＢＶバッファからの引き出しビット量が少ないＢピクチャやＰピクチャのいくつかが連続してＶＢＶバッファから引き出された後に、このＶＢＶバッファがオーバーフローしてしまう。
【０１２１】
本発明の実施の形態では、図２９（ａ）に示したようにＶＢＶバッファのデータ占有量の軌跡がスプライス点において連続し、かつ、スプライス点の後に、オーバーフローが発生しないように再エンコード期間の各ピクチャに対して新たな目標符号量を設定するようにしている。
【０１２２】
また、スプライシングされたストリームのＶＢＶバッファのデータ占有量の軌跡が、スプラスポイントにおいて連続になるように、ストリームＢのＶＢＶバッファのデータ占有量の軌跡を単純に上げると、オーバーフローが発生するばかりでなく、再エンコード対象ストリームＳＴRE'とオリジナルストリームＯＳＴBとの切り替わりポイントで、ＶＢＶバッファのデータ占有量の軌跡が不連続になってしまう。
【０１２３】
本発明の実施の形態では、さらに、図２９（ａ）に示したように再エンコード対象ストリームＳＴRE'とオリジナルストリームＯＳＴBとの切り替わりポイントで、ＶＢＶバッファのデータ占有量の軌跡が連続するように、再エンコード期間の各ピクチャに対して新たな目標符号量を設定するようにしている。尚、オリジナルストリームＯＳＴBに対応するＶＢＶバッファのデータ占有量の軌跡ＶＢＶOST＿Bを制御しない理由は、軌跡ＶＢＶOST＿Bとは、ストリームＢのＶＢＶバッファのデータ占有量の軌跡が本来有していたであろう軌跡であって、この軌跡をコントロールすることはできないからである。なぜなら、この軌跡ＶＢＶOST＿Bは、オリジナルストリームＯＳＴBがオーバーフロー又はアンダーフローしないように決定された最適な軌跡であって、もしこの最適な軌跡のレベルを制御するとオーバーフロー又はアンダーフローが発生する可能性があるからである。
【０１２４】
次に、上述したＶＢＶバッファのアンダーフロー又はオーバーフローを回避する本発明のスプライス制御方法、及びＶＢＶバッファのデータ占有量が不連続にならない本発明のスプライス制御方法について説明する。
【０１２５】
図２７から図３０において、vbv＿underは、ＶＢＶバッファのアンダーフロー量を示し、vbv＿overは、ＶＢＶバッファのオーバーフロー量を示し、vbv＿gapは、再エンコード対象ストリームＳＴRE'とオリジナルストリームＯＳＴBとのスイッチングポイントにおけるＶＢＶバッファのギャップ値を示すデータである。
【０１２６】
まず、スプライスコントローラ１３は、ストリームカウンタ１１から供給されたストリームＡのビットカウント値及びストリームＢのビットカウント値に基いて、オリジナルストリームＯＳＴAのＶＢＶバッファのデータ占有量の軌跡、オリジナルストリームＯＳＴBのＶＢＶバッファのデータ占有量の軌跡、及びストリームＡとストリームＢとを単純にスプライシングした場合の再エンコード対象ストリームＳＴRE'のＶＢＶバッファのデータ占有量の軌跡を演算する。各ＶＢＶバッファのデータ占有量の軌跡の演算は、プレゼンテーション時間毎に、ストリームカンウンタ１１から供給されるビットカウント値のから、プレゼンテーション時間に応じてＶＢＶバッファから出力されるビット量を減算することによって容易に演算することができる。従って、スプライスコントローラ１３は、オリジナルストリームＯＳＴAのＶＢＶバッファのデータ占有量の軌跡、オリジナルストリームＯＳＴBのＶＢＶバッファのデータ占有量の軌跡、及びストリームＡとストリームＢとを単純にスプライシングした場合の再エンコード対象ストリームＳＴRE'のＶＢＶバッファのデータ占有量の軌跡を仮想的に把握することができる。
【０１２７】
次に、スプライスコントローラ１３は、仮想的に求められた再エンコード対象ストリームＳＴRE'のＶＢＶバッファのデータ占有量の軌跡を参照することによって、再エンコード対象ストリームＳＴRE'のアンダーフロー量（vbv＿under）又はオーバーフロー量（vbv＿over）を演算する。さらに、スプライスコントローラ１３は、仮想的に求められた再エンコード対象ストリームＳＴRE'のＶＢＶバッファのデータ占有量の軌跡と、オリジナルストリームＯＳＴBのＶＢＶバッファのデータ占有量の軌跡（ＶＢＶOST＿B）とを参照することによって、 再エンコード対象ストリームＳＴRE'とオリジナルストリームＯＳＴBとのスイッチングポイントにおけるＶＢＶバッファのギャップ値（vbv＿gap）を演算する。
【０１２８】
そして、スプライスコントローラ１３は、以下の式（１）及び（２）により目標符号量のオフセット量vbv＿off を求める。
vbv＿off ＝ −（ vbv＿under -  vbv＿gap ）    ・・・（１）
vbv＿off ＝ ＋（ vbv＿over  -  vbv＿gap ）    ・・・（２）
【０１２９】
尚、図２７（ａ）に示した例のようにＶＢＶバッファがアンダーフローする場合には、式（１）を使用してオフセット量vbv＿off を演算し、図２９（ａ）に示した例のようにＶＢＶバッファがオーバーフローする場合には、式（２）を使用してオフセット量vbv＿off を演算する。
【０１３０】
スプライスコントローラ１３は、次に、式（１）または式（２）によって求めたオフセット量vbv＿offを使用して、以下の式（３）によって、目標符号量（目標ビット量）ＴＢP0を求める。
【０１３１】
2005295587.tif 000003
【０１３２】
なお、この目標ビット量ＴＢP0は、再エンコード処理を行なうピクチャに対して割当てられる目標ビット量を示している値である。（３）において、GB＿Aは、ストリームＡにおけるピクチャＡn-P0からピクチャＡ(n-P0)+n0までのいずれかのピクチャのビット発生量を示す値であって、ΣGB＿A(n-P0)+iは、ピクチャＡn-P0からピクチャＡ(n-P0)+n0までの各ピクチャの発生ビット量を合計した値である。同様に、式（３）において、GB＿Bは、ストリームＢにおけるピクチャＢm-P0からピクチャＢ(m-P0)-m0までのいずれかのピクチャの発生ビット量を示す値であって、ΣGB＿B(m-P0)-i は、ピクチャＢm-P0からピクチャＢ(m-P0)-m0までの各ピクチャのビット発生量を合計した値である。
【０１３３】
即ち、式（３）によって示される目標符号量ＴＢP0は、ピクチャＡ(n-P0)+n0 〜ピクチャＢ(m-P0)-m0の合計発生ビット量に、ＶＢＶのオフセット値vbv＿offを加算した値である。このように、オフセット値vbv＿offを加算して目標ビット量ＴＢP0を補正することによって、再エンコード対象ストリームＳＴSPとオリジナルストリームＯＳＴBの切換えポイントにおけるデータ占有量の軌跡のギャップを０にすることができる。よって、つなぎめの無いシームレスなスプライシングを実現することができる。
【０１３４】
次に、スプライスコントローラ１３は、式（３）に基いて得られた目標ビット量ＴＢP0を、ピクチャＡ(n-P0)+n0 〜ピクチャＢ(m-P0)-m0に対して割り当てる。通常は、目標ビット量ＴＢP0を、単純にＩピクチャ：Ｐピクチャ：Ｂピクチャが４：２：１の比率になるように分配するように、各ピクチャの量子化特性を決定している。
【０１３５】
しかしながら、本発明のスプライシング装置では、単純にＩピクチャ：Ｐピクチャ：Ｂピクチャに対して４：２：１の固定比率で目標ビット量ＴＢP0を分配するような量子化特性を用いるのではなく、各ピクチャＡ(n-P0)+n0 〜ピクチャＢ(m-P0)-m0の過去の量子化ステップ及び量子化マトリックス等の量子化特性を参照して、新たな量子化特性を決定する。具体的には、エンコードコントローラ４３は、ストリームＡ及びストリームＢに含まれている量子化ステップや量子化マトリクスの情報を参照して、エンコーダ１Ａ，１Ｂにおける過去のエンコード処理時の量子化特性と大きく異なることがないように、再エンコード時の量子化特性を決定する。ただし、ピクチャの再構成によりピクチャタイプが変更されたピクチャに関しては、量子化ステップや量子化マトリクスの情報を参照せずに、再エンコード時に新たに量子化特性を演算する。
【０１３６】
図２８は、図２７において説明したＶＢＶバッファのアンダーフローの問題を解決するために、スプライスコントローラ１３において演算された目標ビット量ＴＢP0によって再エンコード処理を行った場合のＶＢＶバッファのデータ占有量を示すための図である。また、図３０は、図２９において説明したＶＢＶバッファのオーバーフローの問題を解決するために、スプライスコントローラ１３において演算された目標ビット量ＴＢP0によって再エンコード処理を行った場合のＶＢＶバッファのデータ占有量を示すための図である
【０１３７】
よって、再エンコードされた後の再エンコードストリームＳＴRE は、図２８及び図３０に示されるように、図２７（ａ）における再エンコード対象ストリームＳＴRE'のＶＢＶバッファのデータ占有量の軌跡と、図２８（ａ）における再エンコードストリームＳＴRE のＶＢＶバッファのデータ占有量の軌跡とは似た軌跡になり、図２９（ａ）における再エンコード対象ストリームＳＴRE'のＶＢＶバッファのデータ占有量の軌跡と、図３０（ａ）における再エンコードストリームＳＴRE のＶＢＶバッファのデータ占有量の軌跡とは似た軌跡になる。
【０１３８】
次に、本実施の形態に係るスプライシング装置及び編集装置の動作について、図３１及び図３２を参照して説明する。また、本実施の形態は、ＩＳＯ１３８１８−２，ＩＳＯ１１１７２−２のＡｎｎｅｘＣの規定とＩＳＯ１３８１８−１のＡｎｎｅｘＬの規定を満たしているものである。
【０１３９】
まず、ステップＳ１０において、スプライスコントローラ１３は、ストリームＳＴA ，ＳＴB を任意のピクチャ位置でスプライスするためのスプライスポイントｐ0及びスプライシング処理における再エンコード区間ｎ0 ，ｍ0を受け取る。実際には、オペレータが外部からこれらのパラメータを入力することになるが、再エンコード区間ｎ0 ，ｍ0については、ストリームのＧＯＰの構成等に応じて自動で設定するようにしても良い。なお、以下の説明では、スプライス点において、ストリームＳＴA からストリームＳＴB に切り換える場合を例にとって説明するが、もちろん逆でもかまわない。
【０１４０】
ステップＳ１１において、スプライスコントローラ１３は、ストリームＳＴA及び ストリームＳＴBを、それぞれ、バッファメモリ１０に一時的に記憶されるようにバッファメモリ１０の書込み動作を制御すると共に、プレゼンテーションタイムを基準にしてストリームＳＴA及び ストリームＳＴBのスプライシングポイントの位相が同期するように、バッファメモリ１０の読み出し動作を制御する。
【０１４１】
ステップＳ１２において、スプライスコントローラ１３は、ストリームＳＴAに設定されたスプライスポイントのピクチャＡn-P0よりも未来のピクチャを出力しないように、ストリームＳＴAのピクチャを選択し、ストリームＳＴBに設定されたスプライスポイントのピクチャＢm-P0よりも過去のピクチャを出力しないように、ストリームＳＴBのピクチャを選択する。例えば、図２５（ａ）及び図２５（ｂ）に示された例では、ピクチャＡ(n-P0)-2であるＰピクチャは、ストリームＳＴA上では、スプライスポイントのピクチャＡn-P0よりは過去であるが、プレゼンテーション順では、ピクチャＡn-P0よりは未来のピクチャである。よって、このピクチャＡ(n-P0)-2であるＰピクチャは、出力されない。また、図２５（ｃ）及び（ｄ）に示された例では、ピクチャＢ(m-P0)+2及びピクチャＢ(m-P0)+1であるＢピクチャは、ストリームＳＴB上では、スプライスポイントのピクチャＢm-P0よりは未来であるが、プレゼンテーション順では、ピクチャＢm-P0よりは過去のピクチャである。よって、この、ピクチャＢ(m-P0)+2及びピクチャＢ(m-P0)+1であるＢピクチャは、出力されない。なお、スプライスコントローラ１３がデコーダ１４Ａ、１４Ｂを制御すことによって、このステップにおいて選択されなかったピクチャは、エンコーダ１６には供給されない。
【０１４２】
このように、プレゼンテーション順を基準として出力すべきピクチャを選択しているので、スプライシング処理を行なったとしても図９において説明したようなプレゼンテーション順に関する問題は発生することは無い。
【０１４３】
ステップＳ１３において、スプライスコントローラ１３は、再エンコード処理を行なう際の、ピクチャの再構成処理のために必要な符号化パラメータを設定するための処理をスタートする。このピクチャ再構成処理は、以下のステップＳ１４からステップＳ３０まで処理のことを意味し、この処理において設定されるパラメータは、ピクチャタイプ、予測方向及び動きベクトル等であるる。
【０１４４】
ステップＳ１４において、スプライスコントローラ１３は、ピクチャ再構成処理の対象となっているピクチャがスプライスポイントのピクチャＡn-P0であるか否かを判断する。もし、ピクチャ再構成処理の対象となっているピクチャがスプライスポイントのピクチャＡn-P0である場合には、次のステップＳ１５に進む。一方、そうでない場合、つまり、ピクチャ再構成処理の対象となっているピクチャがピクチャＡ(n-P0)+n0からピクチャＡ(n-P0)+1である場合には、ステップＳ２０に進む。
【０１４５】
ステップＳ１５において、スプライスコントローラ１３は、ピクチャ再構成処理の対象となっているピクチャが、Ｂピクチャであるのか、Ｐピクチャであるのか、又はＩピクチャであるのかを判断する。ピクチャ再構成処理の対象となっているピクチャが、Ｂピクチャである場合には、ステップＳ１７に進み、ピクチャ再構成処理の対象となっているピクチャが、Ｐ又はＩピクチャである場合には、ステップＳ１８に進む。
【０１４６】
ステップＳ１６では、スプライスコントローラ１３は、スプライシングされたスプライスストリームＳＴSPにおいて、ピクチャＡn-P0の前に２つ以上のＢピクチャが存在するか否かを判断する。例えば、図２６（ｂ）に示されるように、ピクチャＡn-P0の前に、２つのＢピクチャ（ピクチャＡ(n-P0)+2とピクチャＡ(n-P0)+3 ）がある場合には、ステップＳ１８に進む。そうで無い場合には、ステップＳ１７に進む。
【０１４７】
ステップＳ１７では、スプライスコントローラ１３は、ピクチャＡn-P0のピクチャタイプの変更の必要は無しと判断し、ピクチャＡn-P0の再エンコード処理時におけるピクチャタイプとして、エンコーダ１Ａにおける過去のエンコード処理において設定されたピクチャタイプ（Ｂピクチャ）と同じピクチャタイプを設定する。よって、後述する再エンコード処理時に、ピクチャＡn-P0を再びＢピクチャとして符号化することになる。
【０１４８】
ステップＳ１８において、スプライスコントローラ１３は、ピクチャＡn-P0のピクチャタイプをＢピクチャからＰピクチャに変更する。このようにピクチャタイプを変更する理由について説明する。このステップＳ１８のステップに到達するということは、Ｂピクチャ（ピクチャＡn-P0）の前に、２つのＢピクチャ（図８におけるピクチャＡ(n-P0)+2とピクチャＡ(n-P0)+3 ）が存在していることを意味している。即ち、再エンコード対象ストリームＳＴRE'において、３つのＢピクチャが並んでいるということである。通常のＭＰＥＧデコーダでは、予測されているピクチャを一時的に記憶するために、２つのフレームメモリしか有していないので、３つのＢピクチャがストリーム上において連続して配列されるている場合には、最後のＢピクチャをデコードできないことになってしまう。よって、図２６において説明したように、ピクチャＡn-P0のピクチャタイプをＢピクチャからＰピクチャに変更することによって、ピクチャＡn-P0を確実にデコードすることができる。
【０１４９】
ステップＳ１９では、スプライスコントローラ１３は、ピクチャＡn-P0のピクチャタイプの変更の必要は無しと判断し、ピクチャＡn-P0の再エンコード処理時におけるピクチャタイプとして、エンコーダ１Ａにおける過去のエンコード処理において設定されたピクチャタイプ（Ｉピクチャ又はＰピクチャ）と同じピクチャタイプを設定する。
【０１５０】
ステップＳ２０では、スプライスコントローラ１３は、ピクチャＡn-P0のピクチャタイプの変更の必要は無しと判断し、ピクチャＡn-P0の再エンコード処理時におけるピクチャタイプとして、エンコーダ１Ａにおける過去のエンコード処理において設定されたピクチャタイプ（Ｉピクチャ、Ｐピクチャ又はＢピクチャ））と同じピクチャタイプを設定する。
【０１５１】
ステップＳ２１では、スプライスコントローラ１３は、各ピクチャに対して予測方向の設定及び動きベクトルに関するパラメータの設定を行なう。例えば、図２５及び図２６の例において示されているように、ピクチャ再構成処理の対象となっているピクチャＡn-P0がオリジナルストリームＯＳＴAにおいてＢピクチャであった場合には、ピクチャ再構成処理の対象となっているピクチャＡn-P0は、Ａ(n-P0)+1のＰピクチャ及びＡ(n-P0)-2のＰピクチャの両方のピクチャから双方向予測されていたピクチャである。つまり、エンコーダ１Ａにおける過去のエンコード処理において、ピクチャＡn-P0は、Ａ(n-P0)+1のＰピクチャ及びＡ(n-P0)-2のＰピクチャの両方のピクチャから双方向予測さされ生成されたピクチャであるということである。ステップＳ１２において説明したように、Ａ(n-P0)-2のＰピクチャはスプライシングストリームとしては出力されないので、ピクチャ再構成処理の対象となっているピクチャＡn-P0の逆方向予測ピクチャとして、Ａ(n-P0)-2のＰピクチャを指定することはできない。
【０１５２】
よって、ステップＳ１７においてピクチャタイプの変更無しと設定されたピクチャＡn-P0（Ｂピクチャ）に対しては、Ａ(n-P0)+1のＰピクチャのみを予測するようような順方向片側予測が行われなくてはいけない。従って、この場合には、スプライスコントローラ１３は、ピクチャＡn-P0に対して、Ａ(n-P0)+1のＰピクチャのみを予測するようような順方向の片側予測を設定する。また、ステップＳ１８においてＢピクチャからＰピクチャに変更されたピクチャＡn-P0についても、同様に、Ａ(n-P0)+1のＰピクチャのみを予測するような片側予測のパラメータを設定する。
【０１５３】
ステップＳ１９においてピクチャタイプの変更無しと設定されたピクチャＡn-P0（Ｐピクチャ）においては、予測方向は変更されない。つまりこの場合には、スプライスコントローラ１３は、ピクチャＡn-P0に対して、エンコーダ１Ａにおける過去のエンコード処理時に予測したピクチャと同じピクチャのみを予測するようような順方向の片側予測を設定する。
【０１５４】
ステップＳ２０においてピクチャタイプの変更無しと設定されたピクチャＡ(n-P0)+n0からピクチャＡ(n-P0)+1のピクチャについては、予測方向の変更は必要ない。つまりこの場合には、スプライスコントローラ１３は、ピクチャＡ(n-P0)+n0からピクチャＡ(n-P0)+1に対して、エンコーダ１Ａにおける過去のエンコード処理時に予測したピクチャと同じピクチャを予測するようような予測方向を設定する。但し、ピクチャＡ(n-P0)+1及びピクチャＡn-P0の両ピクチャが、順方向のＰピクチャ又はＩピクチャと、逆方向のＩピクチャ又はＰピクチャの双方向のピクチャから予測されているＢピクチャである場合には、ピクチャＡn-P0だけでは無く、ピクチャＡ(n-P0)+1も順方向のピクチャのみから予測するような片側予測に変更されなければいけない。
【０１５５】
さらに、このステップＳ２１において、スプライスコントローラ１３は、新しく設定された予測方向に基いて、各ピクチャに対してエンコーダ１Ａにおける過去のエンコード処理によって設定された動きベクトルを、再エンコード処理時に再利用するか否かを決定する。
【０１５６】
上述したように予測方向の変更の無かったＰピクチャやＢピクチャについては、再エンコード処理時において、エンコーダ１Ａにおける過去のエンコード処理に使用した動きベクトルをそのまま使用する。例えば、図２３及び図２６に示した例では、ピクチャＡ(n-P0)+n0からピクチャＡ(n-P0)+1については、それぞれエンコーダ１Ａにおける過去のエンコード処理に使用した動きベクトルを、再エンコード時に再利用する。
【０１５７】
また、ピクチャＡ(n-P0)+1及びピクチャＡn-P0が、順方向のＰピクチャ又はＩピクチャと、逆方向のＩピクチャ又はＰピクチャの双方向から予測されているＢピクチャである場合には、順方向のピクチャのみから予測するような片側予測に変更されているので、それに伴なって、順方向のピクチャに対応する動きベクトルのみを使用する必要がある。つまり、スプライスコントローラ１３は、このステップＳ２１において、ピクチャＡ(n-P0)+1及びピクチャＡn-P0がＢピクチャである場合には、これらのピクチャに対して、順方向のピクチャに関する動きベクトルを使用し、逆方向のピクチャの動きベクトルをしないという設定を行なう。
【０１５８】
もし、エンコーダ１Ａにおける過去のエンコード処理において、ピクチャＡn-P0が未来のピクチャであるＡ(n-P0)-2からのみ逆方向の片側予測されていたピクチャであったならば、再エンコード処理時において、エンコーダ１Ａにおける過去のエンコード処理時に生成した動きベクトルは一切使用せずに、Ａ(n-P0)+1に対応する新たな動きベクトルを生成する。つまり、スプライスコントローラ１３は、このステップＳ２１において、過去の動きベクトルを一切使用しないという設定を行なう。
【０１５９】
次に、ステップＳ２２において、スプライスコントローラ１３は、ピクチャＡ(n-P0)+n0からピクチャＡn-P0の全てのピクチャに対して、ピクチャタイプ、予測方向及び過去の動きベクトルに関するパタメータが設定されたか否かを判断する。
【０１６０】
ステップＳ２３において、スプライスコントローラ１３は、ピクチャ再構成処理の対象となっているピクチャがスプライスポイントのピクチャＢm-P0であるか否かを判断する。もし、ピクチャ再構成処理の対象となっているピクチャがスプライスポイントのピクチャＢm-P0である場合には、次のステップＳ２４に進む。一方、そうでない場合、つまり、ピクチャ再構成処理の対象となっているピクチャがピクチャＢ(m-P0)-1からピクチャＢ(m-P0)+m0である場合には、ステップＳ２８に進む。
【０１６１】
ステップＳ２４において、スプライスコントローラ１３は、ピクチャ再構成処理の対象となっているピクチャが、Ｂピクチャであるのか、Ｐピクチャであるのか、又はＩピクチャであるのかを判断する。ピクチャ再構成処理の対象となっているピクチャが、Ｂピクチャである場合には、ステップＳ２５に進み、ピクチャ再構成処理の対象となっているピクチャが、Ｐピクチャである場合には、ステップＳ２６に進み、ピクチャ再構成処理の対象となっているピクチャがＩピクチャである場合には、ステップＳ２７に進む。
【０１６２】
ステップＳ２５では、スプライスコントローラ１３は、図２２及び図２３に示された例のように、再エンコード処理時におけるピクチャＢm-P0のピクチャタイプの変更は必要無しと判断し、ピクチャＢm-P0の再エンコード処理時におけるピクチャタイプとして、エンコーダ１Ｂにおける過去のエンコード処理において設定されたピクチャタイプ（Ｂピクチャ）と同じピクチャタイプを設定する。
【０１６３】
ステップＳ２６において、スプライスコントローラ１３は、図２５及び図２６に示した例のように、ピクチャＢm-P0のピクチャタイプをＰピクチャからＩピクチャに変更する。このようにピクチャタイプを変更する理由について説明する。Ｐピクチャは、順方向のＩピクチャ又はＰピクチャから予測される片側予測のピクチャであるので、ストリーム上においてそれらの予測されたピクチャよりは必ず後ろの位置に存在するピクチャである。もし、ストリームＳＴBけるスプライスポイントの最初のピクチャＢm-P0がＰピクチャであるとすると、このピクチャＢm-P0より前に存在するストリームＳＴAの順方向のピクチャから予測しなければいけない。ストリームＳＴAとストリームＳＴBとは全くことなるので、最初のピクチャＢm-P0のピクチャタイプをＰピクチャに設定すると、このピクチャをデコードしたとしても画質のかなり劣化した絵になることはあきらかである。
【０１６４】
よって、スプライスコントローラ１３は、ストリームＳＴBけるスプライスポイントの最初のピクチャＢm-P0のピクチャタイプがＰピクチャであった場合には、このピクチャＢm-P0のピクチャタイプをＩピクチャに変更する。
【０１６５】
ステップＳ２７において、スプライスコントローラ１３は、ピクチャＢm-P0のピクチャタイプの変更の必要は無しと判断し、ピクチャＢm-P0の再エンコード処理時におけるピクチャタイプとして、エンコーダ１Ｂにおける過去のエンコード処理において設定されたピクチャタイプ（Ｉピクチャ）と同じピクチャタイプを設定する。
【０１６６】
ステップＳ２８では、スプライスコントローラ１３は、ピクチャＢ(m-P0)-1からピクチャＢ(m-P0)-m0のピクチャタイプの変更の必要は無しと判断し、それらのピクチャの再エンコード処理時におけるピクチャタイプとして、エンコーダ１Ｂにおける過去のエンコード処理において設定されたピクチャタイプ（Ｉピクチャ、Ｐピクチャ又はＢピクチャ）と同じピクチャタイプを設定する。
【０１６７】
ステップＳ２９では、スプライスコントローラ１３は、各ピクチャに対して予測方向の設定及び動きベクトル関する設定を行なう。例えば、図２２及び図２３に示された例のように、ピクチャ再構成処理の対象となっているピクチャＢm-P0がオリジナルストリームＯＳＴBにおいてＢピクチャであった場合には、ピクチャ再構成処理の対象となっているピクチャＢm-P0は、Ｂ(m-P0)+1のＰピクチャ及びＢ(m-P0)-2のＩピクチャの両方のピクチャから双方向予測されていたピクチャである。つまり、エンコーダ１Ｂにおける過去のエンコード処理において、ピクチャＢm-P0は、Ｂ(m-P0)+1のＰピクチャ及びＢ(m-P0)-2のＩピクチャの両方のピクチャから双方向予測されて生成されたピクチャであるということである。ステップＳ１２において説明したように、Ｂ(m-P0)+1のＰピクチャはスプライシングストリームとしては出力されないので、ピクチャ再構成処理の対象となっているピクチャＢm-P0の順方向予測ピクチャとして、Ｂ(m-P0)+1のＰピクチャを指定することはできない。
【０１６８】
よって、ステップＳ２５においてピクチャタイプの変更無しと設定されたピクチャＢm-P0（Ｂピクチャ）に対しては、Ｂ(m-P0)-2のＩピクチャのみを予測するようような逆方向片側予測が行われなくてはいけない。よってこの場合には、スプライスコントローラ１３は、ピクチャＢm-P0に対して、Ｂ(m-P0)-2のＩピクチャのみを予測するようような逆方向の片側予測を行なうように予測方向を設定する。
【０１６９】
ステップＳ２８においてピクチャタイプの変更無しと設定されたピクチャＢ(m-P0)+m0からピクチャＢ(m-P0)+1のピクチャについては、予測方向の変更は必要ない。つまりこの場合には、スプライスコントローラ１３は、ピクチャＢ(m-P0)+m0からピクチャＢ(m-P0)+1に対して、エンコーダ１Ｂにおける過去のエンコード処理時に予測したピクチャと同じピクチャを予測するようような予測方向を設定する。但し、Ｂ(m-P0)-1がＢピクチャである場合には、ピクチャＢm-P0の場合と同様に、ピクチャＢ(m-P0)-1に対して、Ｂ(m-P0)-2のＩピクチャのみを予測するようような逆方向の片側予測を行なうような予測方向が設定される。
【０１７０】
さらに、このステップＳ２９において、スプライスコントローラ１３は、新しく設定された予測方向に基いて、各ピクチャに対してエンコーダ１Ｂにおける過去のエンコード処理によって設定された動きベクトルを、再エンコード処理時に再利用するか否かを決定する。
【０１７１】
上述したように予測方向の変更の無かったＰピクチャやＢピクチャについては、再エンコード処理時において、エンコーダ１Ｂにおける過去のエンコード処理に使用した動きベクトルをそのまま使用する。例えば、図２２及び図２３においては、Ｂ(m-P0)-2のＩピクチャからＢ(m-P0)-m0までのＰピクチャまでの各ピクチャに対しては、過去のエンコード時に使用した動きベクトルをそのまま使用する。
【０１７２】
エンコーダ１Ｂにおける過去のエンコード処理において、Ｂ(m-P0)+1のＰピクチャ及びＢ(m-P0)-2のＩピクチャの両方のピクチャから双方向予測されていたピクチャＢm-P0及びピクチャＢ(m-P0)-1に対しては、Ｂ(m-P0)-2のＩピクチャのみを予測するような片側予測に予測方向が変更されているので、ピクチャＢ(m-P0)+1に対応する動きベクトルを使用せずに、ピクチャＢm-P0に対してはピクチャＢ(m-P0)-2に対応する動きベクトルのみを使用する必要がある。つまり、スプライスコントローラ１３は、このステップＳ２９において、ピクチャＢm-P0及びピクチャＢ(m-P0)-1に対しては、一方向のみの過去の動きベクトルを再使用し、他方の過去の動きベクトルを使用しないという設定を行なう。
【０１７３】
次に、ステップＳ３０において、スプライスコントローラ１３は、ピクチャＢm-P0からピクチャＢ(m-P0)-m0全てのピクチャに対して、ピクチャタイプ、予測方向及び動きベクトルに関するパラメータが設定されたか否かを判断する。
【０１７４】
ステップＳ３１において、スプライスコントローラ１３は、既に説明した式（３）に基いて、再エンコード期間に発生すべき目標ビット量（ＴＢP0）を演算する。以下に具体的に説明する。まず、スプライスコントローラ１３は、ストリームカウンタ１１から供給されたストリームＡのビットカウント値及びストリームＢのビットカウント値に基いて、オリジナルストリームＯＳＴAのＶＢＶバッファのデータ占有量の軌跡、オリジナルストリームＯＳＴBのＶＢＶバッファのデータ占有量の軌跡、及びストリームＡとストリームＢとを単純にスプライシングした場合の再エンコード対象ストリームＳＴRE'のＶＢＶバッファのデータ占有量の軌跡を演算する。
【０１７５】
次に、スプライスコントローラ１３は、仮想的に求められた再エンコード対象ストリームＳＴRE'のＶＢＶバッファのデータ占有量の軌跡を解析することによって、再エンコード対象ストリームＳＴRE'のアンダーフロー量（vbv＿under）又はオーバーフロー量（vbv＿over）を演算する。さらに、スプライスコントローラ１３は、仮想的に求められた再エンコード対象ストリームＳＴRE'のＶＢＶバッファのデータ占有量の軌跡と、オリジナルストリームＯＳＴBのＶＢＶバッファのデータ占有量の軌跡（ＶＢＶOST＿B）とを比較することによって、再エンコード対象ストリームＳＴRE'とオリジナルストリームＯＳＴBとのスイッチングポイントにおけるＶＢＶバッファのギャップ値（vbv＿gap）を演算する。
続いて、スプライスコントローラ１３は、既に説明した式（１）及び（２）により目標符号量のオフセット量vbv＿off を求め、さらに、式（１）または式（２）によって求めたオフセット量vbv＿offを使用して、既に説明した式（３）によって、目標符号量（目標ビット量）ＴＢP0を求める。
【０１７６】
次に、ステップＳ３２において、スプライスコントローラ１３は、式（３）に基いて得られた目標ビット量ＴＢP0を、ピクチャＡ(n-P0)+n0 〜ピクチャＢ(m-P0)-m0に対して割り当てに基いて、各ピクチャに対して設定される量子化特性を決定する。本発明のスプライシング装置では、各ピクチャＡ(n-P0)+n0 〜ピクチャＢ(m-P0)-m0のエンコーダ１Ａ，１Ｂにおける過去の量子化ステップ及び量子化マトリックス等の量子化特性を参照して、新たな量子化特性を決定する。具体的には、スプライシングコントローラ１３は、まず、ストリームＡ及びストリームＢに含まれている量子化ステップや量子化マトリクス等のエンコーダ１Ａ，１Ｂにおける過去の符号化処理において生成された符号化パラメータ情報をストリーム解析部１２から受取る。
【０１７７】
そして、スプライシングコントローラ１３は、式（３）に基いて得られた目標ビット量ＴＢP0を、ピクチャＡ(n-P0)+n0 〜ピクチャＢ(m-P0)-m0に対して割り当てられた符号量のみから量子化特性を決定するのでは無く、この目標ビット量ＴＢP0から割当てられた符号量とこれらの過去の符号化パラメータ情報を参照して、エンコーダ１Ａ，１Ｂにおけるエンコード時の量子化特性と大きく異なることがないように、再エンコード時の量子化特性を決定する。ただし、ステップＳ１８やステップＳ２６において説明したように、ピクチャの再構成処理によりピクチャタイプが変更されたピクチャに関しては、量子化ステップや量子化マトリクスの情報を参照せずに、再エンコード処理時に新たに量子化特性を演算する。
【０１７８】
次に、ステップＳ３３において、スプライスコントローラ１３は、再エンコード期間に含まれるピクチャＡ(n-P0)+n0 〜ピクチャＢ(m-P0)-m0をデコードする。
【０１７９】
次に、ステップＳ３４において、スプライスコントローラ１３、ステップＳ３２において各ピクチャＡ(n-P0)+n0 〜ピクチャＢ(m-P0)-m0に対してそれぞれ設定された量子化特性を使用して、発生ビット量のコントロールを行いながら、ピクチャＡ(n-P0)+n0 〜ピクチャＢ(m-P0)-m0 を再エンコードする。
【０１８０】
この再エンコード処理において、スプライスコントローラ１３は、エンコーダ１Ａ，１Ｂにおける過去のエンコード処理において使用した動きベクトルを再利用する場合には、スイッチ４４を介して動き補償部４１に供給するようにエンコードコントローラに制御信号を与え、エンコーダ１Ａ，１Ｂにおける過去のエンコード処理において使用した動きベクトルを使用しない場合には、新しく動き検出部４２において生成された動きベクトルをスイッチ４１を介して動き補償部４１に供給するようにエンコードコントローラ４３を制御する。その際、エンコードコントローラ４３は、スプライスコントローラ１３からのピクチャタイプの情報に基づいて、予測画像データの生成に必要なピクチャがフレームメモリ３９，４０に保持されるようにフレームメモリ３９，４０を制御する。また、エンコードコントローラ４３は、スプライスコントローラ１３から供給された再エンコード区間内の各ピクチャに対して設定された量子化特性を、量子化回路３４と逆量子化回路３６に対して設定する。
【０１８１】
ステップＳ３５において、スプライスコントローラ１３は、スイッチ１７を制御して、バッファメモリ１０より出力されるストリームＳＴA ，ＳＴB およびＭＰＥＧエンコーダ１６より出力される再エンコード区間内の新たなストリームＳＴREのうちの一つを選択的に出力することによって、再エンコード区間の前におけるストリームＳＴA と再エンコード区間内の新たなストリームＳＴREと再エンコード区間の後におけるストリームＳＴB とを連結して、スプライスされたストリームＳＴSPとして出力する。
【０１８２】
本実施の形態では、このようにＭＰＥＧエンコーダ１７において目標ビット量ＴＢP0に従ってレートコントロールしながら再エンコードを行って得られた再エンコード区間内の新たなストリームＳＴREを、スイッチ１７によって、元のストリームにおけるピクチャＡ(n-P0)+n0 〜ピクチャＢ(m-P0)-m0 の位置にはめ込む。これにより、シームレスなスプライスが実現される。
【０１８３】
ストリームＳＴA にストリームＳＴB をスプライスするとき、スプライス後のストリームＳＴB で、ＶＢＶバッファのオーバフロー、アンダフローを起こさないためには、ストリームＳＴB のスプライス後のＶＢＶバッファの状態を、スプライス以前の状態に合わせることが、連続なピクチャプレゼンテーションを保証するためのバッファ制御上の条件となる。本実施の形態では、この条件を、原則として、上述のような新たな目標符号量（目標ビット量）の設定によって満たすようにする。
【０１８４】
以上説明したように、本実施の形態によれば、複数のストリームのスプライス点を含む再エンコード区間内における各ストリームを復号化して、得られた再エンコード区間内の画像データを新たな目標符号量に従って再エンコードして、再エンコード区間内の新たなストリームを生成し、再エンコード区間の前後における元のストリームと新たなストリームとを連結して出力するようにしたので、復号化装置（ＩＲＤ）側のＶＢＶバッファを破綻させず、且つスプライス点前後でピクチャプレゼンテーションが連続で画像を破綻させることもなく、ストリーム上の任意のピクチャ単位で、複数の映像素材をシームレスにスプライスすることができる。
【０１８５】
また、本実施の形態では、再エンコード時に、動きベクトル等の復号化の際に使用される情報を再利用するようにしている。すなわち、本実施の形態では、スプライス点近傍において、動き検出が無効になるピクチャ以外のピクチャについては、以前のエンコード時に検出された動きベクトル等の動き検出の情報を再利用しているので、再エンコード処理によって画質が劣化することは無い。
【０１８６】
更に、再エンコード時における量子化特性を決定する際には、復号化の際に使用される量子化ステップや量子化マトリクスの情報を参照するようにしている。従って、本実施の形態によれば、デコードと再エンコードの繰り返しによる画質の劣化を極力抑えることができ、画像再構成の精度を保証することができる。
【０１８７】
なお、ＭＰＥＧ規格による圧縮符号化過程では、直交変換の演算精度や、ミスマッチ処理（ＤＣＴ係数の高域に誤差を入れる処理）等の非線形演算から、復号化の際に使用される情報の再利用だけでは抑えることのできない再構成誤差が持ち込まれる。そのため、再エンコード時に、復号化の際に使用される情報を再利用したとしても完全な画像の再構成はできない。従って、画質劣化が存在することを考慮すれば、デコード、再エンコードを行うのは、スプライス点を含むスプライス点近傍の一定区間のピクチャに留めるべきである。そこで、本実施の形態では、ストリームを全てデコード、再エンコードするのではなく、再エンコード区間を設定して、その区間だけ、デコード、再エンコードを行うようにしている。これによっても、画質の劣化を防止することができる。なお、再エンコード区間は、画質の劣化の程度等やＧＯＰ長やＧＯＰ構造に応じて自動出で設定できるようにしても良い。を考慮して、任意に設定することができる。
【０１８８】
なお、本発明は上記実施の形態に限定されず、例えば、再エンコード区間に対する新たな目標符号量の算出方法は、式（１）〜（３）に示した方法に限らず、適宜に設定可能である。
【図面の簡単な説明】
【０１８９】
【図１】ＭＰＥＧ規格に従った伝送システムの概略の構成を示すブロック図である。
【図２】ＶＢＶバッファについて説明するための説明図である。
【図３】ＭＰＥＧ規格の双方向予測符号化方式において必要となるエンコーダにおけるピクチャの並べ替えについて説明するための説明図である。
【図４】エンコーダにおけるピクチャの並べ替えと符号化処理との関係を表す説明図である。
【図５】デコーダにおけるピクチャの並べ替えについて説明するための説明図である。
【図６】デコーダにおけるピクチャの並べ替えと復号化処理との関係を表す説明図である。
【図７】ＭＰＥＧ規格の双方向予測符号化方式における動き検出および動き補償について説明するための説明図である。
【図８】ストリームの単純なスプライスを行ったときのスプライス前後のストリームにおけるピクチャの順番とスプライス後のピクチャプレゼンテーションの順番との関係の一例を示す説明図である。
【図９】ストリームの単純なスプライスを行ったときのスプライス前後のストリームにおけるピクチャの順番とスプライス後のピクチャプレゼンテーションの順番との関係の他の例を示す説明図である。
【図１０】ストリームの単純なスプライスを行ったときのスプライス後のストリームにおけるピクチャの順番とピクチャプレゼンテーションの順番との関係の一例を示す説明図である。
【図１１】ストリームの単純なスプライスを行ったときのスプライス後のストリームにおけるピクチャの順番とピクチャプレゼンテーションの順番との関係の他の例を示す説明図である。
【図１２】ストリームの単純なスプライスを行ったときのスプライス後のストリームにおけるピクチャの順番とピクチャプレゼンテーションの順番との関係の更に他の例を示す説明図である。
【図１３】ピクチャプレゼンテーションの順番、動き補償およびＶＢＶバッファの条件を満たす理想的なストリームスプライスの例を示す説明図である。
【図１４】ＶＢＶバッファの制約を満たす正常なストリームを示す説明図である。
【図１５】ＶＢＶバッファの制約を満たす正常な他のストリームを示す説明図である。
【図１６】２つのストリームを任意の位置で単純にスプライスした場合の一例を説明するための説明図である。
【図１７】２つのストリームを任意の位置で単純にスプライスした場合の他の例を説明するための説明図である。
【図１８】２つのストリームを任意の位置で単純にスプライスした場合の更に他の例を説明するための説明図である。
【図１９】本発明の一実施の形態に係るスプライシング装置及びストリーム編集装置の構成を示すブロック図である。
【図２０】図１９におけるＭＰＥＧデコーダとＭＰＥＧエンコーダの構成を示すブロック図である。
【図２１】図１９におけるＭＰＥＧデコーダによってデコードして得られたプレゼンテーションビデオデータにおけるスプライス点および再エンコード区間の一例を示す説明図である。
【図２２】図２１に示した例における２つのストリームのデコード前後のピクチャの並びを示す説明図である。
【図２３】図２１に示した例におけるスプライス後のスプライスストリームのピクチャの並びを示す説明図である。
【図２４】図１９におけるＭＰＥＧデコーダによってデコードして得られたプレゼンテーションビデオデータにおけるスプライス点および再エンコード区間の他の例を示す説明図である。
【図２５】図２４に示した例におけるデコード前後の２つのストリームのピクチャの並びを示す説明図である。
【図２６】図２４に示した例におけるスプライス後のスプライスストリームのピクチャの並びを示す説明図である。
【図２７】ＶＢＶバッファのデータ占有量にアンダーフローが生じる例を示す説明図である。
【図２８】図２７において説明したアンダーフローを、本発明のスプライシング装置によって改善した例を示す説明図である。
【図２９】ＶＢＶバッファのデータ占有量にオーバフローが生じる例を示す説明図である。
【図３０】図２９において説明したオーバーフローを、本発明のスプライシング装置によって改善した例を示す説明図である。
【図３１】本発明のスプライシング装置及びストリーム編集装置の動作を説明するためのフローチャートである。
【図３２】本発明のスプライシング装置及びストリーム編集装置の動作を説明するためのフローチャートである。
【符号の説明】
【０１９０】
１Ａ，１Ｂ…エンコーダ、１０…バッファメモリ、１１…ストリームカウンタ、１２…ストリーム解析部、１３…スプライスコントローラ、１４Ａ，１４Ｂ…ＭＰＥＧデコーダ、１５…スイッチ、１６…ＭＰＥＧエンコーダ、１７…スイッチ、ＶＤA ，ＶＤB…ビデオデータ、ＳＴA，ＳＴB…符号化ストリーム、ＳＴRE…再エンコードストリーム、ＳＴSP…スプライシングされたストリーム、ｎ0，ｍ0，ｐ0…パラメータ。
【図１】
2005295587.tif 000004
【図２】
2005295587.tif 000005
【図３】
2005295587.tif 000006
【図４】
2005295587.tif 000007
【図５】
2005295587.tif 000008
【図６】
2005295587.tif 000009
【図７】
2005295587.tif 000010
【図８】
2005295587.tif 000011
【図９】
2005295587.tif 000012
【図１０】
2005295587.tif 000013
【図１１】
2005295587.tif 000014
【図１２】
2005295587.tif 000015
【図１３】
2005295587.tif 000016
【図１４】
2005295587.tif 000017
【図１５】
2005295587.tif 000018
【図１６】
2005295587.tif 000019
【図１７】
2005295587.tif 000020
【図１８】
2005295587.tif 000021
【図１９】
2005295587.tif 000022
【図２０】
2005295587.tif 000023
【図２１】
2005295587.tif 000024
【図２２】
2005295587.tif 000025
【図２３】
2005295587.tif 000026
【図２４】
2005295587.tif 000027
【図２５】
2005295587.tif 000028
【図２６】
2005295587.tif 000029
【図２７】
2005295587.tif 000030
【図２８】
2005295587.tif 000031
【図２９】
2005295587.tif 000032
【図３０】
2005295587.tif 000033
【図３１】
2005295587.tif 000034
【図３２】
2005295587.tif 000035
【手続補正書】
【提出日】平成17年6月15日(2005.6.15)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
第１の符号化ストリームと第２の符号化ストリームとを接続点で接続する編集装置において、
上記第１の符号化ストリームに設定された第１の編集点を含む所定区間を復号処理して第１の画像データを生成すると共に、上記第２の符号化ストリームに設定された第２の編集点を含む所定区間を復号処理して、第２の画像データを生成する復号手段と、
上記第１の画像データ及び上記第２の画像データを、上記第１の編集点と上記第２の編集点とで接続して再符号化処理し、再符号化ストリームを生成する再符号化手段と、
復号手段の入力バッファに対応する仮想バッファのデータ占有量に応じて、再符号化処理に伴う発生符号量を制御する発生符号量制御手段と、
上記第１の符号化ストリーム及び上記第２の符号化ストリームと上記再符号化手段により生成された上記再符号化ストリームとを切り換えて出力することによって、編集された編集符号化ストリームを生成する編集手段と
を備えたことを特徴とする編集装置。
【請求項２】
上記編集手段は、上記第１の符号化ストリームに設定された第１の上記編集点に対して、プレゼンテーション時間軸において過去のピクチャを出力するとともに、上記第２の符号化ストリームに設定された第２の上記編集点に対して、プレゼンテーション時間軸において未来のピクチャを出力することにより、上記編集符号化ストリームを生成する
ことを特徴とする請求項１記載の編集装置。
【請求項３】
上記第１の符号化ストリームにおける第１の編集点及び上記第２の符号化ストリームにおける第２の編集点を設定する編集点設定手段を更に備えた
ことを特徴とする請求項１記載の編集装置。
【請求項４】
上記第１の編集点を含む所定区間及び上記第２の編集点を含む所定区間を設定する設定手段を更に備えた
ことを特徴とする請求項１記載の編集装置。
【請求項５】
上記発生符号量制御手段は、上記復号手段の入力バッファに対応する仮想バッファがオーバーフロー又はアンダーフローしないように、再符号化処理に伴う発生符号量を制御する
ことを特徴とする請求項１記載の編集装置。
【請求項６】
上記発生符号量制御手段は、上記符号化ストリームと上記再符号化ストリームとの切換え点又は上記再符号化ストリームの上記編集点において、上記復号手段の入力バッファに対応する仮想的バッファのデータ占有量の軌跡のずれを減ずるように、再符号化処理に伴う発生符号量を制御する
ことを特徴とする請求項１記載の編集装置。
【請求項７】
上記発生符号量制御手段は、上記符号化ストリームと上記再符号化ストリームとの切換え点又は上記再符号化ストリームの上記編集点において、上記復号化手段の入力バッファに対応する仮想バッファのデータ占有量の軌跡が連続になるように、再符号化処理に伴う発生符号量を制御する
ことを特徴とする請求項１記載の編集装置。
【請求項８】
上記発生符号量制御手段は、上記復号化手段の入力バッファに対する仮想バッファのデータ占有量の軌跡が、上記符号化ストリームが本来有すると想定されるデータ占有量の軌跡に近くなるように、再符号化処理に伴う発生符号量を制御する
ことを特徴とする請求項１記載の編集装置。
【請求項９】
上記発生符号量制御手段は、再符号化処理に伴う発生符号量をピクチャ単位で制御する
ことを特徴とする請求項１記載の編集装置。
【請求項１０】
上記発生符号量制御手段は、再符号化に伴う発生符号量が上記符号化ストリームを生成した際の発生符号量に近くなるように、再符号化処理に伴う発生符号量を制御する
ことを特徴とする請求項１記載の編集装置。
【請求項１１】
第１の符号化ストリームと第２の符号化ストリームとを接続点で接続する編集方法において、
上記第１の符号化ストリームに設定された第１の編集点を含む所定区間を復号処理して第１の画像データを生成すると共に、上記第２の符号化ストリームに設定された第２の編集点を含む所定区間を復号処理して、第２の画像データを生成する復号工程と、
上記第１の画像データ及び上記第２の画像データを、上記第１の編集点と上記第２の編集点とで接続して再符号化処理し、再符号化ストリームを生成する再符号化工程と、
復号手段の入力バッファに対応する仮想バッファのデータ占有量に応じて、再符号化処理に伴う発生符号量を制御する発生符号量制御工程と、
上記第１の符号化ストリーム及び上記第２の符号化ストリームと上記再符号化工程により生成された上記再符号化ストリームとを切り換えて出力することによって、編集された編集符号化ストリームを生成する編集工程と
を含むことを特徴とする編集方法。
【請求項１２】
第１の符号化ストリームと第２の符号化ストリームとを接続点で接続する再符号化装置において、
上記第１の符号化ストリームに設定された第１の編集点を含む所定区間を復号処理して第１の画像データを生成すると共に、上記第２の符号化ストリームに設定された第２の編集点を含む所定区間を復号処理して、第２の画像データを生成する復号手段と、
上記第１の画像データ及び上記第２の画像データを、上記第１の編集点と上記第２の編集点とで接続して再符号化処理し、再符号化ストリームを生成する再符号化手段と、
復号手段の入力バッファに対応する仮想バッファのデータ占有量に応じて、再符号化処理に伴う発生符号量を制御する発生符号量制御手段と
を備えたことを特徴とする再符号化装置。
【請求項１３】
第１の符号化ストリームと第２の符号化ストリームとを接続点で接続する再符号化方法において、
上記第１の符号化ストリームに設定された第１の編集点を含む所定区間を復号処理して第１の画像データを生成すると共に、上記第２の符号化ストリームに設定された第２の編集点を含む所定区間を復号処理して、第２の画像データを生成する復号工程と、
上記第１の画像データ及び上記第２の画像データを、上記第１の編集点と上記第２の編集点とで接続して再符号化処理し、再符号化ストリームを生成する再符号化工程と、
復号手段の入力バッファに対応する仮想バッファのデータ占有量に応じて、再符号化処理に伴う発生符号量を制御する発生符号量制御工程と
を含むことを特徴とする再符号化方法。
【請求項１４】
第１の符号化ストリームと第２の符号化ストリームとを接続点で接続する再符号化装置において、
上記第１の符号化ストリームに設定された第１の編集点を含む所定区間を復号処理して得られる第１の画像データ及び上記第２の符号化ストリームに設定された第２の編集点を含む所定区間を復号処理して得られる第２の画像データを、上記第１の編集点と上記第２の編集点とで接続して再符号化処理し、再符号化ストリームを生成する再符号化手段と、
復号手段の入力バッファに対応する仮想バッファのデータ占有量に応じて、再符号化処理に伴う発生符号量を制御する発生符号量制御手段と
を備えたことを特徴とする再符号化装置。
【請求項１５】
第１の符号化ストリームと第２の符号化ストリームとを接続点で接続する再符号化方法において、
上記第１の符号化ストリームに設定された第１の編集点を含む所定区間を復号処理して得られる第１の画像データ及び上記第２の符号化ストリームに設定された第２の編集点を含む所定区間を復号処理して得られる第２の画像データを、上記第１の編集点と上記第２の編集点とで接続して再符号化処理し、再符号化ストリームを生成する再符号化工程と、
復号手段の入力バッファに対応する仮想バッファのデータ占有量に応じて、再符号化処理に伴う発生符号量を制御する発生符号量制御工程と
を含むことを特徴とする再符号化方法。
【請求項１６】
第１の符号化ストリームと第２の符号化ストリームとをスプライシングポイントにおいてスプライシングするスプライシング装置において、
上記第１の符号化ストリームと上記第２の符号化ストリームとをスプライシングするスプライシング手段と、
復号手段の入力バッファに対応する仮想バッファのデータ占有量に応じて、上記スプライシング手段のスプライシングに伴う発生符号量をコントロールするコントロール手段と
を備えたことを特徴とするスプライシング装置。
【請求項１７】
第１の符号化ストリームと第２の符号化ストリームとをスプライシングポイントにおいてスプライシングするスプライシング方法において、
上記第１の符号化ストリームと上記第２の符号化ストリームとをスプライシングするスプライシング工程と、
復号手段の入力バッファに対応する仮想バッファのデータ占有量に応じて、上記スプライシング工程のスプライシングに伴う発生符号量をコントロールするコントロール工程と
を含むことを特徴とするスプライシング方法。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【０００１】
本発明は、複数の映像素材を編集することによって編集された映像素材を生成する編集装置および方法、複数のビットストリームをスプライシングすることによってシームレスなスプライシングストリームを生成するビットストリームスプライシング装置及び方法、ならびにビデオデータを再符号化する再符号化装置及び方法に関する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
また、図１に示した伝送システムは、復号化装置１２０側の構成として、トランスポートストリームマルチプレクサ１１５より出力され伝送メディア１１６を介して伝送されるトランスポートストリームを入力し、ビデオパケッタイズドエレメンタリストリーム（ビデオＰＥＳ）とオーディオパケッタイズドエレメンタリストリーム（オーディオＰＥＳ）とに分離して出力するトランスポートストリームデマルチプレクサ（図では、ＴＳＤＥＭＵＸと記す。）１２１と、このトランスポートストリームデマルチプレクサ１２１より出力されるビデオパケッタイズドエレメンタリストリームをデパケット化し、ビデオエレメンタリストリーム（ビデオＥＳ）を出力するデパケッタイザ１２２と、このデパケッタイザ１２２より出力されるビデオエレメンタリストリームをデコード（復号化）してビデオデータＤV を出力するビデオデコーダ１２３と、トランスポートストリームデマルチプレクサ１２１より出力されるオーディオパケッタイズドエレメンタリストリームをデパケット化し、オーディオエレメンタリストリーム（オーディオＥＳ）を出力するデパケッタイザ１２４と、このデパケッタイザ１２４より出力されるオーディオエレメンタリストリームをデコードしてオーディオデータＤA を出力するオーディオデコーダ１２５とを備えている。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１８
【補正方法】変更
【補正の内容】
【００１８】
図６は、図５において説明した復号化処理をさらに詳しく説明するための図である。図６において、（ａ）はデコーダに対して供給される符号化されたビデオエレメンタリストリーム（ＥＳ）のピクチャの順番を表し、（ｂ），（ｃ）はそれぞれデコーダ内の２つのフレームメモリＦＭ１，ＦＭ２に保持されるピクチャを表し、（ｄ）はデコーダより出力される出力ビデオデータを表している。図４と同様に、図中、Ｉ，Ｐ，Ｂに付随した数字はピクチャの順番を表している。デコーダでは、図６（ａ）に示したような入力エレメンタリストリーム（ＥＳ）が入力されると、予測符号化処理に使用した２つのピクチャを記憶しなければいけないので、２つのフレームメモリＦＭ１，ＦＭ２には、それぞれ図６（ｂ），（ｃ）に示したようなピクチャが保持される。そして、デコーダは、入力エレメンタリストリームがＩピクチャの場合は入力エレメンタリストリーム（Ｉピクチャ）のみに基づいて復号化処理を行い、入力エレメンタリストリームがＰピクチャの場合は入力エレメンタリストリームとフレームメモリＦＭ１に保持されているＩピクチャまたはＰピクチャとに基づいて復号化処理を行い、入力エレメンタリストリームがＢピクチャの場合は入力エレメンタリストリームとフレームメモリＦＭ１，ＦＭ２に保持されている２つのピクチャとに基づいて復号化処理を行って、図６（ｄ）に示したような出力ビデオデータを生成する。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００２０
【補正方法】変更
【補正の内容】
【００２０】
一般的に、図７に示されるように、Ｉピクチャは、そのＩピクチャ内の情報から符号化されたピクチャで、フレーム間予測を使用せずに生成されたピクチャである。Ｐピクチャは、過去のＩピクチャ又はＰピクチャからの予測を行なうことによって生成されたピクチャである。Ｂピクチャは、過去のＩ又はＰピクチャ及び未来のＩ又はＰピクチャの双方向から予測されたピクチャ、過去のＩ又はＰピクチャの順方向から予測されたピクチャ、又はＩ又はＰの逆方向から予測されたピクチャのいずれかである。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００２５
【補正方法】変更
【補正の内容】
【００２５】
その結果、近年では、供給された符号化ストリームの全ての復号化処理せずに、符号化ストリームの状態のまま編集することを可能にする技術が要求されるようになってきた。尚、このように符号化されたビットストリームレベルで、異なる２つの符号化ビットストリームを連結し、連結されたビットストリームを生成することを「スプライシング」と呼んでいる。つまり、スプライシングとは、符号化ストリームの状態のままで複数のストリームを編集することを意味する。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００３０
【補正方法】変更
【補正の内容】
【００３０】
一方、図９に示したスプライス処理は、ストリームＡのＰピクチャの後にスプライスポイントＳＰAが設定され、ストリームＢのＢピクチャの前にスプライスポイントＳＰBが設定された例を示している図である。この図８（ｄ）に示されるように、ストリームＡとストリームＢの境界ＳＰを境にして、ストリームＡの最後のピクチャがストリームＢのピクチャより後に表示されたり、ストリームＢの２つのピクチャがストリームＡの最後のピクチャより前に表示されるとい現象が起こっている。つまり、このような順でピクチャが表示されたとすると、スプライスポイントの近傍において、ストリームＡのビデオイメージからストリームＢのビデオイメージに切り替わり、その２フレーム後に再びストリームＡのビデオイメージが１フレームだけ表示されるという奇妙なイメージになってしまう。つまり、図９に示したスプライスポイントＳＰA及びＳＰBにおいてスプライシングする場合であれば、プレゼンテーションの順番に問題が生じる。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００３２
【補正方法】変更
【補正の内容】
【００３２】
第２の問題点は、動き補償の観点からくる問題点である。この問題点について、図１０ないし図１２を参照して説明する。これらの図は、いずれも、ストリームの単純なスプライスを行ったときの、スプライス後のストリームにおけるピクチャの順番とピクチャプレゼンテーションの順番との関係を示したものである。図１０は動き補償に関して問題が生じない場合の例を示し、図１１および図１２は動き補償に関して問題が生じる場合の例を示している。なお、図１１および図１２は、それぞれ、図８および図９に示したスプライスを行った場合について示している。また、各図において、（ａ）はスプライス後のストリームを示し、（ｂ）はプレゼンテーションの順番を示している。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００４１
【補正方法】変更
【補正の内容】
【００４１】
本発明はかかる問題点に鑑みてなされたもので、その第１の目的は、復号化装置側の入力バッファに対応する仮想的バッファの破綻や仮想的バッファにおけるデータ占有量の不連続が発生することがないように、複数の符号化ストリームをシームレスにスプライシングすることを実現するスプライシング装置及び編集装置を提供することにある。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００４２
【補正方法】変更
【補正の内容】
【００４２】
本発明の第２の目的は、上記目的に加え、スプライシングポイント近傍における画質劣化を低減すると共に、再エンコード処理における画質劣化を防止するようにしたスプライシング装置、編集装置、及び再符号化装置を提供することにある。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００４３
【補正方法】変更
【補正の内容】
【００４３】
本発明の編集装置は、第１の符号化ストリームに設定された第１の編集点を含む所定区間を復号処理して第１の画像データを生成すると共に、第２の符号化ストリームに設定された第２の編集点を含む所定区間を復号処理して、第２の画像データを生成する復号手段と、第１の画像データ及び第２の画像データを、第１の編集点と第２の編集点とで接続して再符号化処理し、再符号化ストリームを生成する再符号化手段と、復号手段の入力バッファに対応する仮想バッファのデータ占有量に応じて、再符号化処理に伴う発生符号量を制御する発生符号量制御手段と、第１の符号化ストリーム及び第２の符号化ストリームと再符号化手段により生成された再符号化ストリームとを切り換えて出力することによって、編集された編集符号化ストリームを生成する編集手段とを備えたものである。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００４４
【補正方法】変更
【補正の内容】
【００４４】
本発明の編集装置では、第１の編集点を含む所定区間が復号処理されることで第１の画像データが生成されると共に、第２の編集点を含む所定区間が復号処理されることで第２の画像データが生成される。また、第１の画像データ及び第２の画像データが第１の編集点と第２の編集点とで接続されて再符号化処理され、再符号化ストリームが生成される。また、入力バッファに対応する仮想バッファのデータ占有量に応じて、再符号化処理に伴う発生符号量が制御される。そして、第１の符号化ストリーム及び第２の符号化ストリームと再符号化ストリームとが切り換えて出力されることにより、編集された編集符号化ストリームが生成される。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００４５
【補正方法】変更
【補正の内容】
【００４５】
本発明の編集方法は、第１の符号化ストリームに設定された第１の編集点を含む所定区間を復号処理して第１の画像データを生成すると共に、第２の符号化ストリームに設定された第２の編集点を含む所定区間を復号処理して、第２の画像データを生成する復号工程と、第１の画像データ及び第２の画像データを、第１の編集点と第２の編集点とで接続して再符号化処理し、再符号化ストリームを生成する再符号化工程と、復号手段の入力バッファに対応する仮想バッファのデータ占有量に応じて、再符号化処理に伴う発生符号量を制御する発生符号量制御工程と、第１の符号化ストリーム及び第２の符号化ストリームと再符号化工程により生成された再符号化ストリームとを切り換えて出力することによって、編集された編集符号化ストリームを生成する編集工程とを含むようにしたものである。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】００４６
【補正方法】変更
【補正の内容】
【００４６】
本発明の第１の再符号化装置は、第１の符号化ストリームに設定された第１の編集点を含む所定区間を復号処理して第１の画像データを生成すると共に、第２の符号化ストリームに設定された第２の編集点を含む所定区間を復号処理して、第２の画像データを生成する復号手段と、第１の画像データ及び第２の画像データを、第１の編集点と第２の編集点とで接続して再符号化処理し、再符号化ストリームを生成する再符号化手段と、復号手段の入力バッファに対応する仮想バッファのデータ占有量に応じて、再符号化処理に伴う発生符号量を制御する発生符号量制御手段とを備えたものである。
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】００４７
【補正方法】変更
【補正の内容】
【００４７】
本発明の第１の再符号化方法は、第１の符号化ストリームに設定された第１の編集点を含む所定区間を復号処理して第１の画像データを生成すると共に、第２の符号化ストリームに設定された第２の編集点を含む所定区間を復号処理して、第２の画像データを生成する復号工程と、第１の画像データ及び第２の画像データを、第１の編集点と第２の編集点とで接続して再符号化処理し、再符号化ストリームを生成する再符号化工程と、復号手段の入力バッファに対応する仮想バッファのデータ占有量に応じて、再符号化処理に伴う発生符号量を制御する発生符号量制御工程とを含むようにしたものである。
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】００４８
【補正方法】変更
【補正の内容】
【００４８】
本発明の第２の再符号化装置は、第１の符号化ストリームに設定された第１の編集点を含む所定区間を復号処理して得られる第１の画像データ及び第２の符号化ストリームに設定された第２の編集点を含む所定区間を復号処理して得られる第２の画像データを、第１の編集点と第２の編集点とで接続して再符号化処理し、再符号化ストリームを生成する再符号化手段と、復号手段の入力バッファに対応する仮想バッファのデータ占有量に応じて、再符号化処理に伴う発生符号量を制御する発生符号量制御手段とを備えたものである。
【手続補正１８】
【補正対象書類名】明細書
【補正対象項目名】００４９
【補正方法】変更
【補正の内容】
【００４９】
本発明の第２の再符号化方法は、第１の符号化ストリームに設定された第１の編集点を含む所定区間を復号処理して得られる第１の画像データ及び第２の符号化ストリームに設定された第２の編集点を含む所定区間を復号処理して得られる第２の画像データを、第１の編集点と第２の編集点とで接続して再符号化処理し、再符号化ストリームを生成する再符号化工程と、復号手段の入力バッファに対応する仮想バッファのデータ占有量に応じて、再符号化処理に伴う発生符号量を制御する発生符号量制御工程とを含むようにしたものである。
【手続補正１９】
【補正対象書類名】明細書
【補正対象項目名】００５０
【補正方法】変更
【補正の内容】
【００５０】
本発明のスプライシング装置は、第１の符号化ストリームと第２の符号化ストリームとをスプライシングするスプライシング手段と、復号手段の入力バッファに対応する仮想バッファのデータ占有量に応じて、スプライシング手段のスプライシングに伴う発生符号量をコントロールするコントロール手段とを備えたものである。
【手続補正２０】
【補正対象書類名】明細書
【補正対象項目名】００５１
【補正方法】変更
【補正の内容】
【００５１】
本発明のスプライシング方法は、第１の符号化ストリームと第２の符号化ストリームとをスプライシングするスプライシング工程と、復号手段の入力バッファに対応する仮想バッファのデータ占有量に応じて、スプライシング工程のスプライシングに伴う発生符号量をコントロールするコントロール工程とを含むようにしたものである。
【手続補正２１】
【補正対象書類名】明細書
【補正対象項目名】００５２
【補正方法】削除
【補正の内容】
【手続補正２２】
【補正対象書類名】明細書
【補正対象項目名】００５３
【補正方法】削除
【補正の内容】
【手続補正２３】
【補正対象書類名】明細書
【補正対象項目名】００５４
【補正方法】削除
【補正の内容】
【手続補正２４】
【補正対象書類名】明細書
【補正対象項目名】００５５
【補正方法】削除
【補正の内容】
【手続補正２５】
【補正対象書類名】明細書
【補正対象項目名】００５６
【補正方法】削除
【補正の内容】
【手続補正２６】
【補正対象書類名】明細書
【補正対象項目名】００５７
【補正方法】削除
【補正の内容】
【手続補正２７】
【補正対象書類名】明細書
【補正対象項目名】００５８
【補正方法】削除
【補正の内容】
【手続補正２８】
【補正対象書類名】明細書
【補正対象項目名】００５９
【補正方法】変更
【補正の内容】
【００５９】
本発明の編集装置または編集方法によれば、第１の編集点を含む所定区間を復号処理することで第１の画像データを生成すると共に第２の編集点を含む所定区間を復号処理することで第２の画像データを生成し、第１の画像データ及び第２の画像データを第１の編集点と第２の編集点とで接続して再符号化処理することで再符号化ストリームを生成し、入力バッファに対応する仮想バッファのデータ占有量に応じて、再符号化処理に伴う発生符号量を制御し、第１の符号化ストリーム及び第２の符号化ストリームと再符号化ストリームとを切り換えて出力することにより、編集された編集符号化ストリームを生成するようにしたので、符号化ストリームをシームレスに編集することが可能となるという効果を奏する。
【手続補正２９】
【補正対象書類名】明細書
【補正対象項目名】００６０
【補正方法】変更
【補正の内容】
【００６０】
また、本発明の第１の再符号化装置または第１の再符号化方法によれば、第１の編集点を含む所定区間を復号処理して第１の画像データを生成すると共に第２の編集点を含む所定区間を復号処理して第２の画像データを生成し、第１の画像データ及び第２の画像データを第１の編集点と第２の編集点とで接続して再符号化処理することで再符号化ストリームを生成し、入力バッファに対応する仮想バッファのデータ占有量に応じて再符号化処理に伴う発生符号量を制御するようにしたので、符号化ストリームをシームレスに編集することが可能となるという効果を奏する。
【手続補正３０】
【補正対象書類名】明細書
【補正対象項目名】００６１
【補正方法】変更
【補正の内容】
【００６１】
また、本発明の第２の再符号化装置または第２の再符号化方法によれば、第１の編集点を含む所定区間を復号処理して得られる第１の画像データ及び第２の編集点を含む所定区間を復号処理して得られる第２の画像データを第１の編集点と第２の編集点とで接続して再符号化処理することで再符号化ストリームを生成し、入力バッファに対応する仮想バッファのデータ占有量に応じて再符号化処理に伴う発生符号量を制御するようにしたので、符号化ストリームをシームレスに編集することが可能となるという効果を奏する。
【手続補正３１】
【補正対象書類名】明細書
【補正対象項目名】００６２
【補正方法】変更
【補正の内容】
【００６２】
また、本発明のスプライシング装置またはスプライシング方法によれば、第１の符号化ストリームと第２の符号化ストリームとをスプライシングし、入力バッファに対応する仮想バッファのデータ占有量に応じてスプライシングに伴う発生符号量をコントロールするようにしたので、符号化ストリームをシームレスに編集することが可能となるという効果を奏する。
【手続補正３２】
【補正対象書類名】明細書
【補正対象項目名】０１０５
【補正方法】変更
【補正の内容】
【０１０５】
以上のようなピクチャタイプの再構成の設定は、スプライスコントローラ１３によって行われ、ピクチャタイプの再構成の設定の情報がＭＰＥＧエンコーダ１６のエンコードコントローラ４３に与えられる。エンコードコントローラ４３は、ピクチャタイプの再構成の設定に従って、符号化処理を行う。動きベクトル等の過去の符号化処理において生成されたエンコード情報の再利用も、ピクチャタイプの再構成の設定に従って行われる。
【手続補正３３】
【補正対象書類名】明細書
【補正対象項目名】０１１４
【補正方法】変更
【補正の内容】
【０１１４】
本発明の実施の形態では、図２８（ａ）に示したようにＶＢＶバッファのデータ占有量の軌跡がスプライス点において連続し、かつ、スプライス点の後に、アンダーフローが発生しないように再エンコード期間の各ピクチャに対して新たな目標符号量を設定するようにしている。
【手続補正３４】
【補正対象書類名】明細書
【補正対象項目名】０１１６
【補正方法】変更
【補正の内容】
【０１１６】
本発明の実施の形態では、さらに、図２８（ａ）に示したように再エンコード対象ストリームＳＴRE'とオリジナルストリームＯＳＴBとの切り替わりポイントで、ＶＢＶバッファのデータ占有量の軌跡が連続するように、再エンコード期間の各ピクチャに対して新たな目標符号量を設定するようにしている。尚、オリジナルストリームＯＳＴBに対応する
ＶＢＶバッファのデータ占有量の軌跡ＶＢＶOST＿Bを制御しない理由は、軌跡ＶＢＶOST
＿Bとは、ストリームＢのＶＢＶバッファのデータ占有量の軌跡が本来有していたであろ
う軌跡であって、この軌跡をコントロールすることはできないからである。なぜなら、この軌跡ＶＢＶOST＿Bは、オリジナルストリームＯＳＴBがオーバーフロー又はアンダーフ
ローしないように決定された最適な軌跡であって、もしこの最適な軌跡のレベルを制御するとオーバーフロー又はアンダーフローが発生する可能性があるからである。
【手続補正３５】
【補正対象書類名】明細書
【補正対象項目名】０１２１
【補正方法】変更
【補正の内容】
【０１２１】
本発明の実施の形態では、図３０（ａ）に示したようにＶＢＶバッファのデータ占有量の軌跡がスプライス点において連続し、かつ、スプライス点の後に、オーバーフローが発生しないように再エンコード期間の各ピクチャに対して新たな目標符号量を設定するようにしている。
【手続補正３６】
【補正対象書類名】明細書
【補正対象項目名】０１２３
【補正方法】変更
【補正の内容】
【０１２３】
本発明の実施の形態では、さらに、図３０（ａ）に示したように再エンコード対象ストリームＳＴRE'とオリジナルストリームＯＳＴBとの切り替わりポイントで、ＶＢＶバッファのデータ占有量の軌跡が連続するように、再エンコード期間の各ピクチャに対して新たな目標符号量を設定するようにしている。尚、オリジナルストリームＯＳＴBに対応する
ＶＢＶバッファのデータ占有量の軌跡ＶＢＶOST＿Bを制御しない理由は、軌跡ＶＢＶOST
＿Bとは、ストリームＢのＶＢＶバッファのデータ占有量の軌跡が本来有していたであろ
う軌跡であって、この軌跡をコントロールすることはできないからである。なぜなら、この軌跡ＶＢＶOST＿Bは、オリジナルストリームＯＳＴBがオーバーフロー又はアンダーフ
ローしないように決定された最適な軌跡であって、もしこの最適な軌跡のレベルを制御するとオーバーフロー又はアンダーフローが発生する可能性があるからである。
【手続補正３７】
【補正対象書類名】明細書
【補正対象項目名】０１４１
【補正方法】変更
【補正の内容】
【０１４１】
ステップＳ１２において、スプライスコントローラ１３は、ストリームＳＴAに設定されたスプライスポイントのピクチャＡn-P0よりも未来のピクチャを出力しないように、ストリームＳＴAのピクチャを選択し、ストリームＳＴBに設定されたスプライスポイントのピクチャＢm-P0よりも過去のピクチャを出力しないように、ストリームＳＴBのピクチャを選択する。例えば、図２５（ａ）及び図２５（ｂ）に示された例では、ピクチャＡ(n-P0)-2であるＰピクチャは、ストリームＳＴA上では、スプライスポイントのピクチャＡn-P0よりは過去であるが、プレゼンテーション順では、ピクチャＡn-P0よりは未来のピクチャである。よって、このピクチャＡ(n-P0)-2であるＰピクチャは、出力されない。また、図２５（ｃ）及び（ｄ）に示された例では、ピクチャＢ(m-P0)+2及びピクチャＢ(m-P0)+1であるＢピクチャは、ストリームＳＴB上では、スプライスポイントのピクチャＢm-P0よりは未来であるが、プレゼンテーション順では、ピクチャＢm-P0よりは過去のピクチャである。よって、この、ピクチャＢ(m-P0)+2及びピクチャＢ(m-P0)+1であるＢピクチャは、出力されない。なお、スプライスコントローラ１３がデコーダ１４Ａ、１４Ｂを制御することによって、このステップにおいて選択されなかったピクチャは、エンコーダ１６には供給されない。
【手続補正３８】
【補正対象書類名】明細書
【補正対象項目名】０１４３
【補正方法】変更
【補正の内容】
【０１４３】
ステップＳ１３において、スプライスコントローラ１３は、再エンコード処理を行なう際の、ピクチャの再構成処理のために必要な符号化パラメータを設定するための処理をスタートする。このピクチャ再構成処理は、以下のステップＳ１４からステップＳ３０まで処理のことを意味し、この処理において設定されるパラメータは、ピクチャタイプ、予測方向及び動きベクトル等である。
【手続補正３９】
【補正対象書類名】明細書
【補正対象項目名】０１４８
【補正方法】変更
【補正の内容】
【０１４８】
ステップＳ１８において、スプライスコントローラ１３は、ピクチャＡn-P0のピクチャタイプをＢピクチャからＰピクチャに変更する。このようにピクチャタイプを変更する理由について説明する。このステップＳ１８のステップに到達するということは、Ｂピクチャ（ピクチャＡn-P0）の前に、２つのＢピクチャ（図８におけるピクチャＡ(n-P0)+2とピクチャＡ(n-P0)+3 ）が存在していることを意味している。即ち、再エンコード対象スト
リームＳＴRE'において、３つのＢピクチャが並んでいるということである。通常のＭＰ
ＥＧデコーダでは、予測されているピクチャを一時的に記憶するために、２つのフレームメモリしか有していないので、３つのＢピクチャがストリーム上において連続して配列されている場合には、最後のＢピクチャをデコードできないことになってしまう。よって、図２６において説明したように、ピクチャＡn-P0のピクチャタイプをＢピクチャからＰピクチャに変更することによって、ピクチャＡn-P0を確実にデコードすることができる。
【手続補正４０】
【補正対象書類名】明細書
【補正対象項目名】０１５７
【補正方法】変更
【補正の内容】
【０１５７】
また、ピクチャＡ(n-P0)+1及びピクチャＡn-P0が、順方向のＰピクチャ又はＩピクチャと、逆方向のＩピクチャ又はＰピクチャの双方向から予測されているＢピクチャである場合には、順方向のピクチャのみから予測するような片側予測に変更されているので、それに伴なって、順方向のピクチャに対応する動きベクトルのみを使用する必要がある。つまり、スプライスコントローラ１３は、このステップＳ２１において、ピクチャＡ(n-P0)+1及びピクチャＡn-P0がＢピクチャである場合には、これらのピクチャに対して、順方向のピクチャに関する動きベクトルを使用し、逆方向のピクチャの動きベクトルを使用しないという設定を行なう。
【手続補正４１】
【補正対象書類名】明細書
【補正対象項目名】０１６３
【補正方法】変更
【補正の内容】
【０１６３】
ステップＳ２６において、スプライスコントローラ１３は、図２５及び図２６に示した例のように、ピクチャＢm-P0のピクチャタイプをＰピクチャからＩピクチャに変更する。このようにピクチャタイプを変更する理由について説明する。Ｐピクチャは、順方向のＩピクチャ又はＰピクチャから予測される片側予測のピクチャであるので、ストリーム上においてそれらの予測されたピクチャよりは必ず後ろの位置に存在するピクチャである。もし、ストリームＳＴBけるスプライスポイントの最初のピクチャＢm-P0がＰピクチャであ
るとすると、このピクチャＢm-P0より前に存在するストリームＳＴAの順方向のピクチャ
から予測しなければいけない。ストリームＳＴAとストリームＳＴBとは全く異なるので、最初のピクチャＢm-P0のピクチャタイプをＰピクチャに設定すると、このピクチャをデコードしたとしても画質のかなり劣化した絵になることはあきらかである。
【手続補正４２】
【補正対象書類名】明細書
【補正対象項目名】０１８０
【補正方法】変更
【補正の内容】
【０１８０】
この再エンコード処理において、スプライスコントローラ１３は、エンコーダ１Ａ，１Ｂにおける過去のエンコード処理において使用した動きベクトルを再利用する場合には、スイッチ４４を介して動き補償部４１に供給するようにエンコードコントローラに制御信号を与え、エンコーダ１Ａ，１Ｂにおける過去のエンコード処理において使用した動きベクトルを使用しない場合には、新しく動き検出部４２において生成された動きベクトルをスイッチ４４を介して動き補償部４１に供給するようにエンコードコントローラ４３を制御する。その際、エンコードコントローラ４３は、スプライスコントローラ１３からのピクチャタイプの情報に基づいて、予測画像データの生成に必要なピクチャがフレームメモリ３９，４０に保持されるようにフレームメモリ３９，４０を制御する。また、エンコードコントローラ４３は、スプライスコントローラ１３から供給された再エンコード区間内の各ピクチャに対して設定された量子化特性を、量子化回路３４と逆量子化回路３６に対して設定する。
【手続補正４３】
【補正対象書類名】明細書
【補正対象項目名】０１８２
【補正方法】変更
【補正の内容】
【０１８２】
本実施の形態では、このようにＭＰＥＧエンコーダ１６において目標ビット量ＴＢP0に従ってレートコントロールしながら再エンコードを行って得られた再エンコード区間内の新たなストリームＳＴREを、スイッチ１７によって、元のストリームにおけるピクチャＡ(n-P0)+n0 〜ピクチャＢ(m-P0)-m0 の位置にはめ込む。これにより、シームレスなスプライスが実現される。
【手続補正４４】
【補正対象書類名】明細書
【補正対象項目名】０１８６
【補正方法】変更
【補正の内容】
【０１８６】
更に、再エンコード時における量子化特性を決定する際には、復号化の際に使用される量子化ステップや量子化マトリクスの情報を参照するようにしている。従って、本実施の形態によれば、デコードと再エンコードの繰り返しによる画質の劣化を極力抑えることができ、画像再構成の精度を保証することができる。
また、本実施の形態によれば、複数の符号化ビットストリームの接続点を含む接続点前後の所定区間内における各符号化ビットストリームを復号化して所定区間内の画像データを出力し、所定区間内の画像データを、新たな目標符号量に従って符号化して、所定区間内の新たな符号化ビットストリームを出力し、所定区間内の元の符号化ビットストリームを、所定区間内の新たな符号化ビットストリームに置き換えて、所定区間の前後における元の符号化ビットストリームと新たな符号化ビットストリームとを連結して出力するようにしたので、復号化装置側の入力バッファに対応する仮想的バッファの破綻や画像の破綻をきたすことなく、符号化ビットストリーム上の任意のピクチャ単位で、複数の映像素材を接続することができるという効果を奏する。
また、元の符号化ビットストリームに含まれ、復号化の際に使用される情報を利用して符号化を行うようにしたので、更に、接続点近傍における画質劣化を低減することができるという効果を奏する。
また、元の符号化ビットストリームが双方向予測符号化方式による符号化のためにピクチャの並べ替えが行われている場合に、所定区間内の画像データの符号化の際に、異なる符号化ビットストリームに属するピクチャを利用した予測符号化処理が行われないようにピクチャタイプの再構成を行って符号化を行うようにしたので、更に、双方向予測符号化方式による符号化を行う場合であっても画像の破綻をきたすことがないという効果を奏する。
また、復号化装置側の入力バッファに対応する仮想的バッファのデータ占有量の軌跡の接続点前後におけるずれを減ずるように、新たな目標符号量を設定するようにしたので、更に、仮想的バッファの破綻をより確実に防止することができるという効果を奏する。
【手続補正４５】
【補正対象書類名】明細書
【補正対象項目名】０１８７
【補正方法】変更
【補正の内容】
【０１８７】
なお、ＭＰＥＧ規格による圧縮符号化過程では、直交変換の演算精度や、ミスマッチ処理（ＤＣＴ係数の高域に誤差を入れる処理）等の非線形演算から、復号化の際に使用される情報の再利用だけでは抑えることのできない再構成誤差が持ち込まれる。そのため、再エンコード時に、復号化の際に使用される情報を再利用したとしても完全な画像の再構成はできない。従って、画質劣化が存在することを考慮すれば、デコード、再エンコードを行うのは、スプライス点を含むスプライス点近傍の一定区間のピクチャに留めるべきである。そこで、本実施の形態では、ストリームを全てデコード、再エンコードするのではなく、再エンコード区間を設定して、その区間だけ、デコード、再エンコードを行うようにしている。これによっても、画質の劣化を防止することができる。なお、再エンコード区間は、画質の劣化の程度等やＧＯＰ長やＧＯＰ構造に応じて自動出で設定できるようにしても良い。