(57)【要約】      （修正有）【課題】レンダリング部分の画質劣化が少ない状態で、符号化ストリームの端部の編集処理を高速に行う。【解決手段】制御部４０により、符号化ストリームの編集点を含むＧＯＰの開始点から終了点までのフレームを編集区間ＤＲとして設定し、上記編集点直後のフレームから当該編集点の後の最初のＰピクチャまでを再エンコード区間ＲＥとし、上記Ｐピクチャの次から編集区間の終了点までのフレームをパラメータエンコード区間ＰＥとして、復号処理部１０、切換処理部２０及び再エンコード処理部３０の動作を制御する。区間ＤＲに復号された画像データの端部を編集点で切り取り、区間ＲＥでは復号した画像データを再エンコードし、区間ＰＥでは復号して得られた画像データの符号化パラメータを用いて再エンコードして、上記符号化ストリームの端部を上記編集点で切り取った新たな符号化ストリームの端部に１つのオープンＧＯＰの圧縮符号化データを生成する。【選択図】図１
2010154502.tif 000002
【特許請求の範囲】
【請求項１】
圧縮符号化された圧縮符号化ストリームを復号して、フレーム単位の非圧縮画像データとその符号化パラメータを得る復号処理を行う復号処理部と、
上記符号化ストリームを復号して得られる非圧縮画像データを編集点で先端部を切り取る処理を行う切換処理部と、
上記切換処理部により先端部が切り取られた上記符号化ストリームの非圧縮画像データを再エンコードする再エンコード処理部と、
これら各部の動作を制御する制御部とを備え、
上記制御部は、上記符号化ストリームの編集点を含むＧＯＰの開始点のフレームから当該ＧＯＰの終了点のフレームまでを編集区間として設定し、上記編集点の直後のフレームから当該編集点の後の最初のＰピクチャのフレームまでを再エンコード区間とするとともに、上記Ｐピクチャの次のフレームから上記編集区間の終了点のフレームまでをパラメータエンコード区間として、上記復号処理部、切換処理部及び再エンコード処理部の動作を制御し、
上記制御部により設定された上記編集区間に上記復号処理部により上記符号化ストリームを復号し、復号された上記符号化ストリームの非圧縮画像データの先端部を上記切換処理部により上記編集点で切り取り、上記先端部が切り取られた上記符号化ストリームの非圧縮画像データについて、上記編集点の直後のフレームから当該編集点の後の最初のＰピクチャのフレームまでを再エンコードし、上記Ｐピクチャの次のフレームから上記編集区間の終了点のフレームまでを上記復号処理部による復号処理により得られた上記符号化ストリームの非圧縮画像データの符号化パラメータ用いて再エンコードして、上記符号化ストリームの先端部を上記編集点で切り取った新たな符号化ストリームの先端部に１つＧＯＰの圧縮符号化データを生成する画像編集装置。
【請求項２】
上記切換処理部は、上記符号化ストリームの先端部を上記編集点で切り取る切換スイッチ部と、上記復号処理部により上記符号化ストリームを復号して得られたフレーム単位の非圧縮画像データとその符号化パラメータが入力され、上記フレーム単位の非圧縮画像データに、その符号化パラメータを付加して、符号化パラメータ付き非圧縮画像データを生成するパラメータ付加部とからなり、上記切換スイッチ部は上記復号処理部により上記符号化ストリームを復号して得られた上記再エンコード区間の非圧縮画像データと上記パラメータ付加部により得られたパラメータエンコード区間の符号化パラメータ付き非圧縮画像データを順次切り換えて繋ぎ、
上記再エンコード処理部は、上記再エンコード区間の非圧縮画像データと上記パラメータ付加部により得られたパラメータエンコード区間の符号化パラメータ付き非圧縮画像データを再エンコードして、上記符号化ストリームの先端部を上記編集点で切り取った新たな符号化ストリームの先端部の１つＧＯＰの圧縮符号化データを生成する再エンコード処理を行う請求項１記載の画像編集装置。
【請求項３】
圧縮符号化された圧縮符号化ストリームを復号して、フレーム単位の非圧縮画像データとその符号化パラメータを得る復号処理を行う復号処理部と、
編集点を含むエフェクト区間にエフェクトデータと上記復号処理部により上記符号化ストリームを復号して得られるフレーム単位の非圧縮画像データからエフェクト処理済非圧縮画像データを生成し、生成したエフェクト処理済非圧縮画像データと上記復号処理部により上記符号化ストリームを復号して得られるフレーム単位の非圧縮画像データを繋ぎ、上記圧縮符号化ストリームの先端部にエフェクト処理を施した非圧縮画像データを生成する切換処理部と、
上記切換処理部により生成された上記符号化ストリームの非圧縮画像データを再エンコードする再エンコード処理部と、
これら各部の動作を制御する制御部とを備え、
上記制御部は、編集点を含むエフェクト区間の開始点のフレームから上記符号化ストリームの上記編集点を含むＧＯＰの終了点のフレームまでを編集区間として設定し、上記エフェクト区間の開始点のフレームから該エフェクト区間の終了点の後の最初のＰピクチャのフレームまでを再エンコード区間とするとともに、上記Ｐピクチャの次のフレームから上記編集区間の終了点のフレームまでをパラメータエンコード区間として、上記復号処理部、切換処理部及び再エンコード処理部の動作を制御し、
上記再エンコード処理部により、上記再エンコード区間に、上記エフェクト処理済み非圧縮画像データと上記エフェクト区間の終了点のフレームから該エフェクト区間の終了点の後の最初のＰピクチャのフレームまでの非圧縮画像データを再エンコードし、上記パラメータエンコード区間に、上記Ｐピクチャの次のフレームから上記編集区間の終了点のフレームまでを上記復号処理部による復号処理により得られた上記符号化ストリームの非圧縮画像データの符号化パラメータ用いて再エンコードして、先端部にエフェクト処理を施した新たな符号化ストリームの上記先端部の２つのＧＯＰの圧縮符号化データを生成する再エンコード処理を行う画像編集装置。
【請求項４】
上記切換処理部は、編集点を含むエフェクト区間にエフェクトデータと上記復号処理部により上記符号化ストリームを復号して得られるフレーム単位の非圧縮画像データからエフェクト処理済非圧縮画像データを生成するエフェクト処理部と、上記復号処理部により上記符号化ストリームを復号して得られたフレーム単位の非圧縮画像データとその符号化パラメータが入力され、上記フレーム単位の非圧縮画像データに、その符号化パラメータを付加して、符号化パラメータ付き非圧縮画像データを生成するパラメータ付加部と、上記エフェクト処理部により生成したエフェクト処理済非圧縮画像データと上記復号処理部により上記符号化ストリームを復号して得られるフレーム単位の非圧縮画像データを繋ぐ切換スイッチ部と、上記圧縮符号化ストリームの先端部にエフェクト処理を施した非圧縮画像データを生成する切換処理部からなり、
上記再エンコード処理部は、上記再エンコード区間に、上記エフェクト処理部により生成されたエフェクト処理済み非圧縮画像データと上記復号処理部により上記符号化ストリームを復号して得られた上記エフェクト区間の終了点のフレームから該エフェクト区間の終了点の後の最初のＰピクチャのフレームまでの非圧縮画像データを再エンコードし、上記パラメータエンコード区間に、上記パラメータ付加部により生成された符号化パラメータ付き非圧縮画像データの符号化パラメータ用いて、上記Ｐピクチャの次のフレームから上記編集区間の終了点のフレームまでの非圧縮画像データを再エンコードして、先端部にエフェクト処理を施した新たな符号化ストリームの上記先端部のＧＯＰの圧縮符号化データを生成する再エンコード処理を行う請求項３記載の画像編集装置。
【請求項５】
圧縮符号化された圧縮符号化ストリームを復号して、フレーム単位の非圧縮画像データとその符号化パラメータを得る復号処理を行う復号処理部と、
上記符号化ストリームを復号して得られる非圧縮画像データを編集点で後端部を切り取る処理を行う切換処理部と、
上記切換処理部により後端部が切り取られた上記符号化ストリームの非圧縮画像データを再エンコードする再エンコード処理部と、
これら各部の動作を制御する制御部とを備え、
上記制御部は、上記符号化ストリームの編集点を含むＧＯＰの開始点のフレームから当該ＧＯＰの終了点のフレームまでを編集区間として設定し、
上記編集区間の開始点のフレームから上記編集点の前の最後のＰピクチャのフレームまでをパラメータエンコード区間とするとともに、
上記Ｐピクチャのフレームの次のフレームから上記編集点の直前のフレームまでを再エンコード区間として、上記復号処理部、切換処理部及び再エンコード処理部の動作を制御し、
上記制御部により設定された上記編集区間に上記復号処理部により上記符号化ストリームを復号し、復号された上記符号化ストリームの非圧縮画像データの後端部を上記切換処理部により上記編集点で切り取り、上記後端部が切り取られた上記符号化ストリームの非圧縮画像データについて、上記編集区間の開始点のフレームから上記編集点の前の最後のＰピクチャのフレームまでを上記復号処理部による復号処理により得られた上記符号化ストリームの非圧縮画像データの符号化パラメータ用いて再エンコードし、上記Ｐピクチャのフレームの次のフレームから上記編集点の直前のフレームまでを再エンコードして、上記符号化ストリームの後端部を上記編集点で切り取った新たな符号化ストリームの後端部に１つのＧＯＰの圧縮符号化データを生成する画像編集装置。
【請求項６】
上記切換処理部は、上記復号処理部により上記符号化ストリームを復号して得られたフレーム単位の非圧縮画像データとその符号化パラメータが入力され、上記フレーム単位の非圧縮画像データに、その符号化パラメータを付加して、符号化パラメータ付き非圧縮画像データを生成するパラメータ付加部と、上記符号化ストリームの後端部を上記編集点で切り取る切換スイッチ部からなり、
上記切換スイッチ部は、上記パラメータ付加部により得られたパラメータエンコード区間の符号化パラメータ付き非圧縮画像データと上記復号処理部により上記符号化ストリームを復号して得られた上記再エンコード区間の非圧縮画像データと順次切り換えて繋ぎ、
上記再エンコード処理部は、上記パラメータ付加部により得られたパラメータエンコード区間の符号化パラメータ付き非圧縮画像データと上記再エンコード区間の非圧縮画像データと再エンコードして、上記符号化ストリームの後端部を上記編集点で切り取った新たな符号化ストリームの後端部の１つのＧＯＰの圧縮符号化データを生成する再エンコード処理を行う請求項５記載の画像編集装置。
【請求項７】
圧縮符号化された圧縮符号化ストリームを復号して、フレーム単位の非圧縮画像データとその符号化パラメータを得る復号処理を行う復号処理部と、
編集点を含むエフェクト区間にエフェクトデータと上記復号処理部により上記符号化ストリームを復号して得られるフレーム単位の非圧縮画像データからエフェクト処理済非圧縮画像データを生成し、上記復号処理部により上記符号化ストリームを復号して得られるフレーム単位の非圧縮画像データと、生成した上記エフェクト処理済非圧縮画像データとを繋ぎ、上記圧縮符号化ストリームの後端部にエフェクト処理を施した非圧縮画像データを生成する切換処理部と、
上記切換処理部により生成された上記符号化ストリームの非圧縮画像データを再エンコードする再エンコード処理部と、
これら各部の動作を制御する制御部とを備え、
上記制御部は、上記符号化ストリームの編集点を含むＧＯＰの開始点のフレームから上記編集点を含むエフェクト区間の終了点のフレームまでを編集区間として設定し、上記エフェクト区間の開始点の前の最後のＰピクチャのフレームの次のフレームから該エフェクト区間の終了点のフレームまでを再エンコード区間とするとともに、上記編集区間の開始点のフレームから上記エフェクト区間の開始点の前の最後のＰピクチャのフレームまでをパラメータエンコード区間として、上記復号処理部、切換処理部及び再エンコード処理部の動作を制御し、
上記再エンコード処理部により、上記パラメータエンコード区間に、上記編集区間の開始点のフレームから上記エフェクト区間の開始点の前の最後のＰピクチャのフレームまでを上記復号処理部による復号処理により得られた上記符号化ストリームの非圧縮画像データの符号化パラメータ用いて再エンコードし、上記再エンコード区間に、上記エフェクト区間の開始点の前の最後のＰピクチャのフレームの次のフレームから該エフェクト区間の終了点のフレームまでの非圧縮画像データを再エンコードして、後端部にエフェクト処理を施した新たな符号化ストリームの上記後端部のＧＯＰの圧縮符号化データを生成する再エンコード処理を行う画像編集装置。
【請求項８】
上記切換処理部は、編集点を含むエフェクト区間にエフェクトデータと上記復号処理部により上記符号化ストリームを復号して得られるフレーム単位の非圧縮画像データからエフェクト処理済非圧縮画像データを生成するエフェクト処理部と、上記復号処理部により上記符号化ストリームを復号して得られたフレーム単位の非圧縮画像データとその符号化パラメータが入力され、上記フレーム単位の非圧縮画像データに、その符号化パラメータを付加して、符号化パラメータ付き非圧縮画像データを生成するパラメータ付加部と、上記復号処理部により上記符号化ストリームを復号して得られるフレーム単位の非圧縮画像データと上記エフェクト処理部により生成したエフェクト処理済非圧縮画像データを繋ぐ切換スイッチ部と、上記圧縮符号化ストリームの後端部にエフェクト処理を施した非圧縮画像データを生成する切換処理部からなり、
上記再エンコード処理部は、上記パラメータエンコード区間に、上記パラメータ付加部により生成された符号化パラメータ付き非圧縮画像データの符号化パラメータ用いて、上記編集区間の開始点のフレームから上記エフェクト区間の開始点の前の最後のＰピクチャのフレームまでを再エンコードし、上記再エンコード区間に、上記エフェクト区間の開始点の前の最後のＰピクチャのフレームの次のフレームから該エフェクト区間の終了点のフレームまでの非圧縮画像データを再エンコードして、後端部にエフェクト処理を施した新たな符号化ストリームの上記後端部のＧＯＰの圧縮符号化データを生成する再エンコード処理を行う請求項７記載の画像編集装置。
【請求項９】
圧縮符号化された符号化ストリームの編集点を含むＧＯＰの開始点のフレームから当該ＧＯＰの終了点のフレームまでを編集区間として設定し、
上記編集点の直後のフレームから当該編集点の後の最初のＰピクチャのフレームまでを再エンコード区間とするとともに、上記Ｐピクチャの次のフレームから上記編集区間の終了点のフレームまでをパラメータエンコード区間として、
上記編集区間に上記符号化ストリームを復号し、
復号された上記符号化ストリームの非圧縮画像データの先端部を上記編集点で切り取り、上記先端部が切り取られた上記符号化ストリームの非圧縮画像データについて、
上記編集点の直後のフレームから当該編集点の後の最初のＰピクチャのフレームまでを再エンコードし、
上記Ｐピクチャの次のフレームから上記編集区間の終了点のフレームまでを復号処理により得られた上記符号化ストリームの非圧縮画像データの符号化パラメータ用いて再エンコードして、
上記符号化ストリームの先端部を上記編集点で切り取った新たな符号化ストリームの先端部に１つＧＯＰの圧縮符号化データを生成する画像編集方法。
【請求項１０】
編集点を含むエフェクト区間の開始点のフレームから圧縮符号化された符号化ストリームの上記編集点を含むＧＯＰの終了点のフレームまでを編集区間として設定し、
上記エフェクト区間の開始点のフレームから該エフェクト区間の終了点の後の最初のＰピクチャのフレームまでを再エンコード区間とするとともに、上記Ｐピクチャの次のフレームから上記編集区間の終了点のフレームまでをパラメータエンコード区間として、
上記エフェクト区間にエフェクトデータと上記符号化ストリームを復号して得られるフレーム単位の非圧縮画像データからエフェクト処理済非圧縮画像データを生成し、
上記再エンコード区間に、上記エフェクト処理済み非圧縮画像データと上記エフェクト区間の終了点のフレームから該エフェクト区間の終了点の後の最初のＰピクチャのフレームまでの非圧縮画像データを再エンコードし、
上記パラメータエンコード区間に、上記Ｐピクチャの次のフレームから上記編集区間の終了点のフレームまでを上記復号処理部による復号処理により得られた上記符号化ストリームの非圧縮画像データの符号化パラメータ用いて再エンコードして、
先端部にエフェクト処理を施した新たな符号化ストリームの上記先端部の２つＧＯＰの圧縮符号化データを生成する再エンコード処理を行う画像編集方法。
【請求項１１】
圧縮符号化された圧縮符号化ストリームの編集点を含むＧＯＰの開始点のフレームから当該ＧＯＰの終了点のフレームまでを編集区間として設定し、
上記編集区間の開始点のフレームから上記編集点の前の最後のＰピクチャのフレームまでをパラメータエンコード区間とするとともに、上記Ｐピクチャのフレームの次のフレームから上記編集点の直前のフレームまでを再エンコード区間として、
上記編集区間に上記符号化ストリームを復号し、
復号された上記符号化ストリームの非圧縮画像データの後端部を上記編集点で切り取り、上記後端部が切り取られた上記符号化ストリームの非圧縮画像データについて、
上記パラメータエンコード区間に、上記編集区間の開始点のフレームから上記編集点の前の最後のＰピクチャのフレームまでを上記復号処理部による復号処理により得られた上記符号化ストリームの非圧縮画像データの符号化パラメータ用いて再エンコードし、
上記再エンコード区間に、上記Ｐピクチャのフレームの次のフレームから上記編集点の直前のフレームまでを再エンコードして、
上記符号化ストリームの後端部を上記編集点で切り取った新たな符号化ストリームの後端部に１つのＧＯＰの圧縮符号化データを生成する画像編集方法。
【請求項１２】
圧縮符号化された符号化ストリームの編集点を含むＧＯＰの開始点のフレームから上記編集点を含むエフェクト区間の終了点のフレームまでを編集区間として設定し、
上記エフェクト区間の開始点の前の最後のＰピクチャのフレームの次のフレームから該エフェクト区間の終了点のフレームまでを再エンコード区間とするとともに、上記編集区間の開始点のフレームから上記エフェクト区間の開始点の前の最後のＰピクチャのフレームまでをパラメータエンコード区間として、上記編集区間に上記符号化ストリームを復号し、
上記パラメータエンコード区間に、上記編集区間の開始点のフレームから上記エフェクト区間の開始点の前の最後のＰピクチャのフレームまでを復号処理により得られた上記符号化ストリームの非圧縮画像データの符号化パラメータ用いて再エンコードし、
上記再エンコード区間に、上記エフェクト区間の開始点の前の最後のＰピクチャのフレームの次のフレームから該エフェクト区間の終了点のフレームまでの非圧縮画像データを再エンコードして、
先端部にエフェクト処理を施した新たな符号化ストリームの上記先端部の２つのＧＯＰの圧縮符号化データを生成する再エンコード処理を行う画像編集方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、圧縮符号化された符号化ストリーム、例えば、ＭＰＥＧで符号化された画像信号を編集するのに適用される画像編集装置および画像編集方法に関する。
【背景技術】
【０００２】
近年、画像間圧縮符号化方式の一つであるＭＰＥＧ(Moving Picture Experts Group)が広く実用化されつつある。ＭＰＥＧのような圧縮符号化を利用することによって、記録媒体を有効活用することができる。ＭＰＥＧにより符号化された画像信号を編集する場合、復号された画像信号と、外部からの画像信号をつなげて、再びＭＰＥＧで符号化し、ストリームを記録媒体に記録するような編集システムが構成できる。さらに、他の記録媒体に記録されているビデオ信号をレコーダにより記録するダビングの場合でも、他の記録媒体の再生信号が復号され、再符号化される。
【０００３】
ＭＰＥＧなどに代表される画像圧縮方式では、フレーム間予測を用いて映像信号を圧縮符号化することで、高い圧縮効率を実現している。しかし、映像を編集することを考えた場合、フレーム間予測を用いた圧縮画像は、フレーム間に予測による圧縮信号の関連があるため、圧縮されたままの映像信号で、映像素材をつなぎ合わせることとはできない。そのため、映像素材を編集することが予め考慮されたシステムにおいては、一般的に、フレーム間予測を用いず、フレーム内での圧縮のみを用いて符号化が行われている。
【０００４】
ＭＰＥＧの場合では、ピクチャタイプとして、Ｉ、Ｐ、Ｂの３種類が存在する。Ｉピクチャ(Intra-coded picture：イントラ符号化画像)は、符号化されるときその画像１枚の中だけで閉じた情報を使用するものである。従って、復号時には、Ｉピクチャ自身の情報のみで復号できる。Ｐピクチャ(Predictive-coded picture：順方向予測符号化画像)は、予測画像、すなわち、差分をとる基準となる画像として、時間的に前の既に復号されたＩピクチャまたはＰピクチャを使用するものである。
【０００５】
動き補償された予測画像との差を符号化するか、差分を取らずに符号化するか、効率の良い方をマクロブロック単位で選択する。Ｂピクチャ(Bidirectionally predictive-coded picture：両方向予測符号化画像)は、予測画像、すなわち、差分をとる基準となる画像として、時間的に前の既に復号されたＩピクチャまたはＰピクチャ、時間的に後ろの既に復号されたＩピクチャまたはＰピクチャ、並びにこの両方から作られた補間画像の３種類を使用する。この３種類のそれぞれの動き補償後の差分の符号化と、イントラ符号化の中で、最も効率の良いものをマクロブロック単位で選択する。
【０００６】
従って、マクロブロックタイプとしては、フレーム内符号化(Intra)マクロブロックと、過去から未来を予測する順方向(Forward)フレーム間予測マクロブロックと、未来から過去を予測する逆方向(Backward)フレーム間予測マクロブロックと、前後両方向から予測する両方向マクロブロックとがある。Ｉピクチャ内の全てのマクロブロックは、フレーム内符号化マクロブロックである。また、Ｐピクチャ内には、フレーム内符号化マクロブロックと順方向フレーム間予測マクロブロックとが含まれる。Ｂピクチャ内には、上述した４種類の全てのタイプのマクロブロックが含まれる。
【０００７】
そして、ＭＰＥＧでは、ランダムアクセスを可能とするために、複数枚のピクチャのまとまりであるピクチャ群としてＧＯＰ(Group Of Picture)構造が規定されている。ＧＯＰに関するＭＰＥＧの規則では、第１にビットストリーム上で、ＧＯＰの最初がＩピクチャであること、第２に、原画像の順で、ＧＯＰの最後がＩまたはＰピクチャであることが規定されている。また、ＧＯＰとしては、以前のＧＯＰの最後のＩまたはＰピクチャからの予測を必要とする構造も許容されている。以前のＧＯＰの画像を使用しないで復号できるＧＯＰは、クローズドＧＯＰと称される。ＧＯＰ内のみで画像を参照し、ＧＯＰ内で完全にデコードが可能な、ＧＯＰで閉じた構造を持つクローズドＧＯＰに対し、クローズドＧＯＰ構造ではないＧＯＰ構造、すなわち、ＧＯＰをまたいで画像を参照する構造のＧＯＰは、オープンＧＯＰと称される。
【０００８】
また、ＭＰＥＧにおいて、双方向のフレーム間予測を用いた圧縮符号化方式は、ロングＧＯＰ方式の圧縮と呼ばれる。ＰピクチャやＢピクチャは、データ量がＩピクチャに比べて小さいため、ＧＯＰを長くすれば、すなわち、ロングＧＯＰを構成するピクチャ数を増加させれば、映像の圧縮率を高くすることができる。したがって、デジタル放送やＤＶＤ(Digital Versatile Disk)ビデオでの利用に適している。
【０００９】
しかしながら、二つのＭＰＥＧのビデオストリームが編集点で切り換えられたストリームを考えると、フレーム単位の場合では、どのような位相で二つのストリームが接続されるかが分からない。編集点が含まれず、ＧＯＰ構造が完全に保存されているＧＯＰの場合では、編集点処理を行わないで、そのまま出力しても復号することができる。
【００１０】
編集点が含まれるために、ＧＯＰ構造が保存されない場合には、編集点より時間的に前のストリームでは、ＧＯＰの編集点から後のデータが破棄される。また、時間的に後のストリームでは、編集点から前のデータが破棄される。編集点をはさんで残った二つのストリームを復号する場合には、これらの二つのストリームを新たなＧＯＰとして扱う。従って、新たなＧＯＰに予測参照画像としてのＩピクチャが含まれていないと、そのＧＯＰが復号不可能となってしまう。この場合には、編集後のビットストリームの復号を可能とするために、ビットストリームをＭＰＥＧ復号で一度ベースバンドに戻し、再度符号化を行なってビットストリームを得る必要がある。
【００１１】
そこで、従来から、編集点付近の必要最小区間のみをデコードし再エンコードする手法が知られている。すなわち、削除や結合を行う部分のＧＯＰおよび当該ＧＯＰが変化することにより影響を受けるＧＯＰのみをデコードおよび再エンコードし、それ以外のＧＯＰについては、ＧＯＰ単位でコピーを行う。この編集点付近の必要最小区間のみをデコードし再エンコードする手法の代表的な例としては、スマートレンダリングと呼ばれる手法が一般的に知られている（例えば、特許文献１、２参照）。
【００１２】
従来の一般的なスマートレンダリングを図１０に示す。すなわち、２つの符号化ストリーム(Stream 1),(Stream2)にエフェクト(Effect)をかけて繋ぐ場合、エフェクト部分を再エンコードし、エフェクトのない部分は単純にコピーを行っていた。
【００１３】
具体的な例として、２つの符号化ストリーム(Stream 1),(Stream 2)にディゾルブやワイプなどのトランジションエフェクト(Transition Effect)をかけて繋ぐ場合を図１１に示す。この場合、第１の符号化ストリーム(Stream 1)のＢピクチャ(B6)は、参照画となるＰピクチャ(P8)がエフェクトにより失われデコードできなくなる。そこで、スマートレンダリングでは、このＢピクチャ(B6)から再エンコードを行い、同様に第２の符号化ストリーム(Stream 2)のＢピクチャ(B10)からＰピクチャ(P14)も参照画が失われるため再エンコードの対象になる。この第１の符号化ストリーム(Stream 1)のＢピクチャ(B6)から第２の符号化ストリーム(Stream 2)のＰピクチャ(P14)までを単純に再エンコードし、エフェクトのない部分は単純にコピーを行っていた。
【００１４】
このような従来のスマートレンダリングでは、先頭部分はクローズドＧＯＰとしてエンコードされるので、画質の劣化が大きくなる。
【００１５】
また  新しくＢピクチャ(B0)となるピクチャは、エフェクトがかかってなく画の変化がないにもかかわらず、エフェクトのかかっているＩピクチャ(I2)を参照画としてしまうため、画質劣化が大きくなる。
【００１６】
同様に後部についても新たにＢピクチャ(B7)からＰピクチャ(P11)となる部分も  画に変化がないにもかかわらずエフェクトのかかった部分を参照するため画質劣化が大きくなる。
【先行技術文献】
【特許文献】
【００１７】
【特許文献１】特開平１１−３４１３６号公報
【特許文献２】特開２００４−１０４３６１号公報
【発明の概要】
【発明が解決しようとする課題】
【００１８】
上述の如き従来のスマートレンダリングでは、必要最低限な部分、すなわち、編集により参照画とすべきピクチャがなくなりデコード不可能となるエフェクト部分のみ再エンコードしていたので、レンダリング部分の画質劣化が大きいという問題があった。すなわち、参照画がなくなったため再エンコードする部分は、画像に変化が無いにも拘わらず単純に再エンコード処理が行われるため、画質劣化が大きく、再生時に、レンダリング部分との切り替わり点で画質の差が目立つ場合がある。
【００１９】
そこで、本発明の目的は、上述の如き従来の問題点に鑑み、レンダリング部分の画質劣化が少ない状態で、符号化ストリームの端部の編集処理を高速に行うことができる画像編集装置および画像編集方法を提供することにある。
【００２０】
本発明の更に他の目的、本発明によって得られる具体的な利点は、以下に説明される実施の形態の説明から一層明らかにされる。
【課題を解決するための手段】
【００２１】
本発明では、符号化ストリームの端部の編集処理を行うにあたり、編集点を含む編集区間内の符号化ストリームの上記編集点の前各Ｐピクチャのフレームから上記編集点の後のフレームまでの間を再エンコード区間とし、他の区間をパラメータエンコード区間とし、パラメータエンコード機能を用いたスマートレンダリングの処理を行う。
【００２２】
すなわち、本発明は、画像編集装置であって、圧縮符号化された圧縮符号化ストリームを復号して、フレーム単位の非圧縮画像データとその符号化パラメータを得る復号処理を行う復号処理部と、上記符号化ストリームを復号して得られる非圧縮画像データを編集点で先端部を切り取る処理を行う切換処理部と、上記切換処理部により先端部が切り取られた上記符号化ストリームの非圧縮画像データを再エンコードする再エンコード処理部と、これら各部の動作を制御する制御部とを備え、上記制御部は、上記符号化ストリームの編集点を含むＧＯＰの開始点のフレームから当該ＧＯＰの終了点のフレームまでを編集区間として設定し、上記編集点の直後のフレームから当該編集点の後の最初のＰピクチャのフレームまでを再エンコード区間とするとともに、上記Ｐピクチャの次のフレームから上記編集区間の終了点のフレームまでをパラメータエンコード区間として、上記復号処理部、切換処理部及び再エンコード処理部の動作を制御し、上記制御部により設定された上記編集区間に上記復号処理部により上記符号化ストリームを復号し、復号された上記符号化ストリームの非圧縮画像データの先端部を上記切換処理部により上記編集点で切り取り、上記先端部が切り取られた上記符号化ストリームの非圧縮画像データについて、上記編集点の直後のフレームから当該編集点の後の最初のＰピクチャのフレームまでを再エンコードし、上記Ｐピクチャの次のフレームから上記編集区間の終了点のフレームまでを上記復号処理部による復号処理により得られた上記符号化ストリームの非圧縮画像データの符号化パラメータ用いて再エンコードして、上記符号化ストリームの先端部を上記編集点で切り取った新たな符号化ストリームの先端部に１つのＧＯＰの圧縮符号化データを生成することを特徴とする。
【００２３】
また、本発明は、画像編集装置であって、圧縮符号化された圧縮符号化ストリームを復号して、フレーム単位の非圧縮画像データとその符号化パラメータを得る復号処理を行う復号処理部と、編集点を含むエフェクト区間にエフェクトデータと上記復号処理部により上記符号化ストリームを復号して得られるフレーム単位の非圧縮画像データからエフェクト処理済非圧縮画像データを生成し、生成したエフェクト処理済非圧縮画像データと上記復号処理部により上記符号化ストリームを復号して得られるフレーム単位の非圧縮画像データを繋ぎ、上記圧縮符号化ストリームの先端部にエフェクト処理を施した非圧縮画像データを生成する切換処理部と、上記切換処理部により生成された上記符号化ストリームの非圧縮画像データを再エンコードする再エンコード処理部と、これら各部の動作を制御する制御部とを備え、上記制御部は、編集点を含むエフェクト区間の開始点のフレームから上記符号化ストリームの上記編集点を含むＧＯＰの終了点のフレームまでを編集区間として設定し、上記エフェクト区間の開始点のフレームから該エフェクト区間の終了点の後の最初のＰピクチャのフレームまでを再エンコード区間とするとともに、上記Ｐピクチャの次のフレームから上記編集区間の終了点のフレームまでをパラメータエンコード区間として、上記復号処理部、切換処理部及び再エンコード処理部の動作を制御し、上記再エンコード処理部により、上記再エンコード区間に、上記エフェクト処理済み非圧縮画像データと上記エフェクト区間の終了点のフレームから該エフェクト区間の終了点の後の最初のＰピクチャのフレームまでの非圧縮画像データを再エンコードし、上記パラメータエンコード区間に、上記Ｐピクチャの次のフレームから上記編集区間の終了点のフレームまでを上記復号処理部による復号処理により得られた上記符号化ストリームの非圧縮画像データの符号化パラメータ用いて再エンコードして、先端部にエフェクト処理を施した新たな符号化ストリームの上記先端部の２つのＧＯＰの圧縮符号化データを生成する再エンコード処理を行うことを特徴とする。
【００２４】
また、本発明は、画像編集装置であって、圧縮符号化された圧縮符号化ストリームを復号して、フレーム単位の非圧縮画像データとその符号化パラメータを得る復号処理を行う復号処理部と、上記符号化ストリームを復号して得られる非圧縮画像データを編集点で後端部を切り取る処理を行う切換処理部と、上記切換処理部により後端部が切り取られた上記符号化ストリームの非圧縮画像データを再エンコードする再エンコード処理部と、これら各部の動作を制御する制御部とを備え、上記制御部は、上記符号化ストリームの編集点を含むＧＯＰの開始点のフレームから当該ＧＯＰの終了点のフレームまでを編集区間として設定し、上記編集区間の開始点のフレームから上記編集点の前の最後のＰピクチャのフレームまでをパラメータエンコード区間とするとともに、記Ｐピクチャのフレームの次のフレームから上記編集点の直前のフレームまでを再エンコード区間として、上記復号処理部、切換処理部及び再エンコード処理部の動作を制御し、上記制御部により設定された上記編集区間に上記復号処理部により上記符号化ストリームを復号し、復号された上記符号化ストリームの非圧縮画像データの後端部を上記切換処理部により上記編集点で切り取り、上記後端部が切り取られた上記符号化ストリームの非圧縮画像データについて、上記編集区間の開始点のフレームから上記編集点の前の最後のＰピクチャのフレームまでを上記復号処理部による復号処理により得られた上記符号化ストリームの非圧縮画像データの符号化パラメータ用いて再エンコードし、上記Ｐピクチャのフレームの次のフレームから上記編集点の直前のフレームまでを再エンコードして、上記符号化ストリームの後端部を上記編集点で切り取った新たな符号化ストリームの後端部に１つのＧＯＰの圧縮符号化データを生成することを特徴とする。
【００２５】
さらに、本発明は、画像編集装置であって,圧縮符号化された圧縮符号化ストリームを復号して、フレーム単位の非圧縮画像データとその符号化パラメータを得る復号処理を行う復号処理部と、編集点を含むエフェクト区間にエフェクトデータと上記復号処理部により上記符号化ストリームを復号して得られるフレーム単位の非圧縮画像データからエフェクト処理済非圧縮画像データを生成し、上記復号処理部により上記符号化ストリームを復号して得られるフレーム単位の非圧縮画像データと、生成した上記エフェクト処理済非圧縮画像データとを繋ぎ、上記圧縮符号化ストリームの後端部にエフェクト処理を施した非圧縮画像データを生成する切換処理部と、上記切換処理部により生成された上記符号化ストリームの非圧縮画像データを再エンコードする再エンコード処理部と、これら各部の動作を制御する制御部とを備え、上記制御部は、上記符号化ストリームの編集点を含むＧＯＰの開始点のフレームから上記編集点を含むエフェクト区間の終了点のフレームまでを編集区間として設定し、上記エフェクト区間の開始点の前の最後のＰピクチャのフレームの次のフレームから該エフェクト区間の終了点のフレームまでを再エンコード区間とするとともに、上記編集区間の開始点のフレームから上記エフェクト区間の開始点の前の最後のＰピクチャのフレームまでをパラメータエンコード区間として、上記復号処理部、切換処理部及び再エンコード処理部の動作を制御し、上記再エンコード処理部により、上記パラメータエンコード区間に、上記編集区間の開始点のフレームから上記エフェクト区間の開始点の前の最後のＰピクチャのフレームまでを上記復号処理部による復号処理により得られた上記符号化ストリームの非圧縮画像データの符号化パラメータ用いて再エンコードし、上記再エンコード区間に、上記エフェクト区間の開始点の前の最後のＰピクチャのフレームの次のフレームから該エフェクト区間の終了点のフレームまでの非圧縮画像データを再エンコードして、後端部にエフェクト処理を施した新たな符号化ストリームの上記後端部のＧＯＰの圧縮符号化データを生成する再エンコード処理を行うことを特徴とする。
【００２６】
本発明は画像編集方法であって、圧縮符号化された符号化ストリームの編集点を含むＧＯＰの開始点のフレームから当該ＧＯＰの終了点のフレームまでを編集区間として設定し、上記編集点の直後のフレームから当該編集点の後の最初のＰピクチャのフレームまでを再エンコード区間とするとともに、上記Ｐピクチャの次のフレームから上記編集区間の終了点のフレームまでをパラメータエンコード区間として、上記編集区間に上記符号化ストリームを復号し、復号された上記符号化ストリームの非圧縮画像データの先端部を上記編集点で切り取り、上記先端部が切り取られた上記符号化ストリームの非圧縮画像データについて、上記編集点の直後のフレームから当該編集点の後の最初のＰピクチャのフレームまでを再エンコードし、上記Ｐピクチャの次のフレームから上記編集区間の終了点のフレームまでを復号処理により得られた上記符号化ストリームの非圧縮画像データの符号化パラメータ用いて再エンコードして、上記符号化ストリームの先端部を上記編集点で切り取った新たな符号化ストリームの先端部に１つのＧＯＰの圧縮符号化データを生成することを特徴とする。
【００２７】
また、本発明は、画像編集方法であって、編集点を含むエフェクト区間の開始点のフレームから圧縮符号化された符号化ストリームの上記編集点を含むＧＯＰの終了点のフレームまでを編集区間として設定し、上記エフェクト区間の開始点のフレームから該エフェクト区間の終了点の後の最初のＰピクチャのフレームまでを再エンコード区間とするとともに、上記Ｐピクチャの次のフレームから上記編集区間の終了点のフレームまでをパラメータエンコード区間として、上記エフェクト区間にエフェクトデータと上記符号化ストリームを復号して得られるフレーム単位の非圧縮画像データからエフェクト処理済非圧縮画像データを生成し、上記再エンコード区間に、上記エフェクト処理済み非圧縮画像データと上記エフェクト区間の終了点のフレームから該エフェクト区間の終了点の後の最初のＰピクチャのフレームまでの非圧縮画像データを再エンコードし、上記パラメータエンコード区間に、上記Ｐピクチャの次のフレームから上記編集区間の終了点のフレームまでを上記復号処理部による復号処理により得られた上記符号化ストリームの非圧縮画像データの符号化パラメータ用いて再エンコードして、後端部にエフェクト処理を施した新たな符号化ストリームの上記後端部のＧＯＰの圧縮符号化データを生成する再エンコード処理を行うことを特徴とする。
【００２８】
また、本発明は、画像編集方法であって、圧縮符号化された圧縮符号化ストリームの編集点を含むＧＯＰの開始点のフレームから当該ＧＯＰの終了点のフレームまでを編集区間として設定し、上記編集区間の開始点のフレームから上記編集点の前の最後のＰピクチャのフレームまでをパラメータエンコード区間とするとともに、上記Ｐピクチャのフレームの次のフレームから上記編集点の直前のフレームまでを再エンコード区間として、上記編集区間に上記符号化ストリームを復号し、復号された上記符号化ストリームの非圧縮画像データの後端部を上記編集点で切り取り、上記後端部が切り取られた上記符号化ストリームの非圧縮画像データについて、上記パラメータエンコード区間に、上記編集区間の開始点のフレームから上記編集点の前の最後のＰピクチャのフレームまでを上記復号処理部による復号処理により得られた上記符号化ストリームの非圧縮画像データの符号化パラメータ用いて再エンコードし、上記再エンコード区間に、上記Ｐピクチャのフレームの次のフレームから上記編集点の直前のフレームまでを再エンコードして、上記符号化ストリームの後端部を上記編集点で切り取った新たな符号化ストリームの後端部に１つのＧＯＰの圧縮符号化データを生成することを特徴とする。
【００２９】
さらに、本発明は、画像編集方法であって、圧縮符号化された符号化ストリームの編集点を含むＧＯＰの開始点のフレームから上記編集点を含むエフェクト区間の終了点のフレームまでを編集区間として設定し、上記エフェクト区間の開始点の前の最後のＰピクチャのフレームの次のフレームから該エフェクト区間の終了点のフレームまでを再エンコード区間とするとともに、上記編集区間の開始点のフレームから上記エフェクト区間の開始点の前の最後のＰピクチャのフレームまでをパラメータエンコード区間として、上記編集区間に上記符号化ストリームを復号し、上記パラメータエンコード区間に、上記編集区間の開始点のフレームから上記エフェクト区間の開始点の前の最後のＰピクチャのフレームまでを復号処理により得られた上記符号化ストリームの非圧縮画像データの符号化パラメータ用いて再エンコードし、上記再エンコード区間に、上記エフェクト区間の開始点の前の最後のＰピクチャのフレームの次のフレームから該エフェクト区間の終了点のフレームまでの非圧縮画像データを再エンコードして、後端部にエフェクト処理を施した新たな符号化ストリームの上記後端部のＧＯＰの圧縮符号化データを生成する再エンコード処理を行うことを特徴とする。
【発明の効果】
【００３０】
本発明では、編集点を含む編集区間内の符号化ストリームの上記編集点の直前の各Ｐピクチャのフレームから上記編集点の後のフレームまでの間を再エンコード区間とし、他の区間をパラメータエンコード区間とし、パラメータエンコード機能を用いたスマートレンダリングの処理を行うことにより、レンダリング部分の画質劣化が少ない状態で、符号化ストリームの端部の編集処理を高速に行うことができる。
【図面の簡単な説明】
【００３１】
【図１】本発明を適用した画像編集装置の構成例を示すブロック図である。
【図２】上記画像編集装置により実行されるパラメータエンコード機能を使用したスマートレンダリング処理の手順を示すフローチャートである。
【図３】上記画像編集装置により実行される２つの符号化ストリームにトランジションエフェクトをかけて繋ぐ編集処理例を示す模式図である。
【図４】上記編集処理例におけるパラメータエンコード機能を使用したスマートレンダリング処理を示す模式図である。
【図５】上記画像編集装置により実行される２つの符号化ストリームを編集点で単に繋ぐカット編集の処理例を示す模式図である。
【図６】上記画像編集装置により実行される１つの符号化ストリームの先頭の不要部分を切り取って新たな符号化ストリームの開始点とする開始点編集を処理例を示す模式図である。
【図７】上記画像編集装置により実行される１つの符号化ストリームの先頭部分にエフェクトを書けて新たな符号化ストリームの開始点とする開始点編集を処理例を示す模式図である。
【図８】上記画像編集装置により実行される１つの符号化ストリームの後半の不要部分を切り取って新たな符号化ストリームの終了点とする終了点編集を処理例を示す模式図である。
【図９】上記画像編集装置により実行される１つの符号化ストリームの後半部分にエフェクトを書けて新たな符号化ストリームの終了点とする終了点編集を処理例を示す模式図である。
【図１０】従来の一般的なスマートレンダリングを示す模式図である。
【図１１】２つの符号化ストリームにトランジションエフェクトをかけて繋ぐ従来のスマートレンダリング処理を示す模式図である。
【発明を実施するための形態】
【００３２】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。なお、本発明は以下の例に限定されるものではなく、本発明の要旨を逸脱しない範囲で、任意に変更可能であることは言うまでもない。
【００３３】
［画像編集装置の構成］
本発明は、例えば図１に示すような構成の画像編集装置１００に適用される。
【００３４】
この画像編集装置１００は、圧縮符号化された二つの符号化ストリーム、例えば、二つのＭＰＥＧのビデオストリーム(Stream A)，(Stream B)を編集する機能を有するスマートレンダリング編集装置である。この画像編集装置１００は、復号処理部１０、切換処理部２０、再エンコード処理部３０と、これら動作を制御する制御部４０などからなる。
【００３５】
上記復号処理部１０は、編集区間の符号化ストリームを復号するものであって、第１の符号化ストリーム(Stream A)が入力される第１のデコーダ１１と、第２の符号化ストリーム（Stream B）が入力される第２のデコーダ１２からなる。
【００３６】
上記第１のデコーダ１１は、入力された第１の符号化ストリーム(Stream A)について編集区間の復号処理を行うもので、その動作が上記制御部４０により制御される。この第１のデコーダ１１は、上記第１の符号化ストリーム(Stream A)を復号する。そして、編集区間の第１の復号出力Ｓ１としてフレーム単位の非圧縮画像データとその符号化パラメータ(動きベクトルやピクチャタイプなど)を上記切換処理部２０に供給する。
【００３７】
また、上記第２のデコーダ１２は、入力された第２の符号化ストリーム(Stream B)について編集区間の復号処理を行うもので、その動作が上記制御部４０により制御される。この第２のデコーダ１２は、上記第２の符号化ストリーム(Stream B)を復号する。そして、編集区間ＤＲの第２の復号出力Ｓ２としてフレーム単位の非圧縮画像データとその符号化パラメータ（動きベクトルやピクチャタイプなど）を上記切換処理部２０に供給する。
【００３８】
上記切換処理部２０は、上記復号出力Ｓ１と上記復号出力Ｓ２を切り換えて再エンコード処理部３０に供給するものであって、第１のパラメータ付加部２１、第２のパラメータ付加部２２、エフェクト処理部２３、切換スイッチ部２４からなる。
【００３９】
上記第１のパラメータ付加部２１には、上記第１のデコーダ１１による上記第１の復号出力Ｓ１として復号して得られたフレーム単位の非圧縮画像データとその符号化パラメータ(動きベクトルやピクチャタイプなど)が入力される。この第１のパラメータ付加部２１は、上記第１のストリーム(Stream A)を復号して得られたフレーム単位の非圧縮画像データに、その符号化パラメータ(動きベクトルやピクチャタイプなど)を付加する。これにより、第１の符号化パラメータ付き非圧縮画像データを生成する。
【００４０】
また、上記第２のパラメータ付加部２２には、上記第２のデコーダ１２による上記第２の復号出力Ｓ２として得られたフレーム単位の非圧縮画像データとその符号化パラメータ（動きベクトルやピクチャタイプなど）が入力される。この第２のパラメータ付加部２２は、上記第２のストリーム（Stream B）の繋ぎ部分を復号して得られたフレーム単位の非圧縮画像データに、その符号化パラメータ（動きベクトルやピクチャタイプなど）を付加する。これにより、第２の符号化パラメータ付き非圧縮画像データを生成する。
【００４１】
さらに、上記エフェクト処理部２３には、上記第１のデコーダ１１による上記第１の復号出力Ｓ２として得られたフレーム単位の非圧縮画像データと上記第２のデコーダ１２による上記第２の復号出力Ｓ２として得られたフレーム単位の非圧縮画像データが入力される。このエフェクト処理部２３は、上記第１の符号化ストリーム(Stream A)を復号して得られた非圧縮画像データと、上記第２の符号化ストリーム(Stream B)を復号して得られた非圧縮画像データにフェードインやフェードアウト等のエフェクト処理を施す。これにより、エフェクト処理済非圧縮画像データを生成する。
【００４２】
そして、上記切換スイッチ部２４は、その動作が上記制御部４０により制御され、上記第１の符号化パラメータ付き非圧縮画像データとエフェクト処理済非圧縮画像データと第２の符号化パラメータ付き非圧縮画像データを切り換えて、上記再エンコード処理部３０に供給する。
【００４３】
上記再エンコード処理部３０は、上記切換処理部２０を介して供給される編集区間ＤＲの非圧縮画像データについて再エンコード処理を行い、第３の符号化ストリーム(Stream C)を出力するものであって、エンコード部３１と切換スイッチ部３２からなる。
【００４４】
上記エンコード部３１は、その動作が上記制御部４０により制御され、上記切換処理部２０から上記切換スイッチ部２４を介して供給される編集区間ＤＲの非圧縮画像データに再エンコード処理を施す。そして、圧縮符号化した２つのオープンＧＯＰの圧縮符号化データを生成する。
【００４５】
そして、上記切換スイッチ部３２は、その動作が上記制御部４０により制御され、上記第１の符号化ストリーム(Stream A)と、上記エンコード部３１により再エンコード処理が施されて生成された編集区間ＤＲの圧縮符号化データと、上記第２の符号化ストリーム(Stream B)を切り換えて繋いだ第３の符号化ストリーム(Stream C)を出力する。
［スマートレンダリングの処理手順］
この画像編集装置１００では、例えば、図２のフローチャートに示す手順に従って、制御部４０が上記復号処理部１０，切換処理部２０及び再エンコード処理部３０の動作を制御して、上記パラメータエンコード機能を使用したスマートレンダリングを行う。
【００４６】
すなわち、この画像編集装置１００において、上記制御部４０は、先ず、ユーザにより操作される図示しない操作部の操作入力を受け付けて、レンダリング範囲を決定する（ステップＳ１）。
【００４７】
このステップＳ１では、上記制御部４０は、編集しようとする符号化ストリームの上記編集点を含むＧＯＰの開始点からＧＯＰと終了点までを編集区間ＤＲとして設定する。また、上記編集区間ＤＲ内に上記エフェクト処理部２３によるエフェクト処理の開始点すなわちイン点から終了点すなわちアウト点までをエフェクト区間として設定する。
【００４８】
次に、上記制御部４０は、上記ステップＳ１で決定したレンダリング範囲でレンダリング処理を行った場合のエフェクトによる画像の変化が大きいか否かを判定する（ステップＳ２）。
【００４９】
そして、上記制御部４０は、上記ステップＳ２の判定処理における判定結果がＮＯ、すなわち、エフェクトによる画像の変化が小さい場合には、ステップＳ３に進む。このステップＳ３では、パラメータエンコード機能を使用したスマートレンダリングを行うように、上記復号処理部１０，切換処理部２０及び再エンコード処理部３０の動作を制御する。
【００５０】
ここで、パラメータエンコード機能は、例えばビットレート変換やスマートレンダリングなどで、元素材のビットストリームが持つパラメータの状態を基本的に維持したままエンコードを行う機能である。
【００５１】
ステップＳ３では、上記制御部４０は、処理しているフレームが上記ステップＳ１で決定されたレンダリング範囲におけるエフェクト処理のイン点に到達したか否かを判定する。このステップＳ３における判定結果がＮＯ、すなわち、イン点に到達していない場合には、ステップＳ４の処理に進み、また、判定結果がＹＥＳ、すなわち、イン点に到達した場合には、ステップＳ８の処理に進む。
【００５２】
ステップＳ４では、上記復号処理部１０の第１のデコーダ１１により第１の符号化ストリーム(Stream A)について１フレームを復号して、第１の復号出力Ｓ１として上記１フレームの非圧縮画像データとその(動きベクトルやピクチャタイプなど)を得る。
【００５３】
次のステップＳ５では、上記第１のデコーダ１１により復号した第１の符号化ストリーム(Stream A)の１フレームは、参照画が有効であるか否かを判定する。このステップＳ５における判定結果がＹＥＳ、すなわち、参照画が有効である場合には、ステップＳ６の処理に進み、また、判定結果がＮＯ、すなわち、参照画が有効でない場合には、ステップＳ７の処理に進む。
【００５４】
ステップＳ６では、上記第１のパラメータ付加部２１により、上記第１のデコーダ１１による第１の復号出力Ｓ１として得られた上記第１の符号化ストリーム(Stream A)の１フレームの非圧縮画像データにその(動きベクトルやピクチャタイプなど)を付加する。
【００５５】
次のステップＳ７では、上記第１のデコーダ１１により復号した第１の符号化ストリーム(Stream A)の１フレームの非圧縮画像データを上記再エンコード処理部３０によりエンコードして圧縮符号化データを生成する。
【００５６】
上記制御部４０は、処理しているフレームが上記ステップＳ１で決定されたレンダリング範囲におけるエフェクト処理のイン点に達するまで、上記ステップＳ３からステップＳ７の処理を繰り返し行う。
【００５７】
そして、上記ステップＳ３における判定結果がＹＥＳ、すなわち、イン点に到達した場合にステップＳ８の処理に進んで、処理しているフレームが上記ステップＳ１で決定されたレンダリング範囲におけるアウト点に到達したか否かを判定する。このステップＳ８における判定結果がＮＯ、すなわち、アウト点に到達していない場合には、ステップＳ９の処理に進み、また、判定結果がＹＥＳ、すなわち、アウト点に到達した場合には、ステップＳ１２の処理に進む。
【００５８】
ステップＳ９では、上記復号処理部１０の第１のデコーダ１１及び／又は第２のデコーダ１２により第１の符号化ストリーム(Stream A)及び／又は第２の符号化ストリーム(Stream B)ついて１フレームを復号する。
【００５９】
次のステップＳ１０では、上記第１のデコーダ１１及び／又は第２のデコーダ１２により復号した第１の符号化ストリーム(Stream A)及び／又は第２の符号化ストリーム(Stream B)の１フレームの非圧縮画像データを用いて上記エフェクト処理部２３によりエフェクト処理を行う。これにより、１フレームのエフェクト処理済非圧縮画像データを生成する。
【００６０】
次のステップＳ１１では、上記エフェクト処理部２３により生成した１フレームのエフェクト処理済非圧縮画像データを上記再エンコード処理部３０によりエンコードして圧縮符号化データを生成する。
【００６１】
上記制御部４０は、処理しているフレームが上記ステップＳ１で決定されたレンダリング範囲におけるアウト点に達するまで、上記ステップＳ８からステップＳ１１の処理を繰り返し行う。
【００６２】
そして、上記ステップＳ８における判定結果がＹＥＳ、すなわち、イン点に到達した場合にステップＳ１２の処理に進む。ステップＳ１２では、第２の符号化ストリーム(Stream B)があるか否かを判定する。このステップＳ１２における判定結果がＹＥＳ、すなわち、第２の符号化ストリーム(Stream B)がある場合にはステップＳ１３の処理に進む。また、このステップＳ１２における判定結果がＮＯ、すなわち、第２の符号化ストリーム(Stream B)がない場合には編集処理を終了する。
【００６３】
ステップＳ１３では、処理している第２の符号化ストリーム(Stream B)のフレームがＰピクチャであるか否かを判定する。このステップＳ１３における判定結果がＮＯ、すなわち、Ｐピクチャでない場合には、ステップＳ１４の処理に進む。また、このステップＳ１３における判定結果がＹＥＳ、すなわち、Ｐピクチャである場合には、ステップＳ１６の処理に進む。
【００６４】
ステップＳ１４では、上記復号処理部１０の第２のデコーダ１２により第２の符号化ストリーム(Stream B)について１フレームを復号する。
【００６５】
次のステップＳ１５では、上記第２のデコーダ１２により復号した第２の符号化ストリーム(Stream B)の非圧縮画像データを上記再エンコード処理部３０によりエンコードして圧縮符号化データを生成する。
【００６６】
上記制御部４０は、処理しているフレームがＰピクチャになるまで、上記ステップＳ１３からステップＳ１５の処理を繰り返し行う。
【００６７】
そして、上記ステップＳ１３における判定結果がＹＥＳ、すなわち、処理しているフレームが上記ステップＳ１で決定されたレンダリング範囲におけるエフェクト処理のアウト点後の最初のＰピクチャになると、ステップＳ１６に進む。
【００６８】
ステップＳ１６では、上記復号処理部１０の第２のデコーダ１２により第２の符号化ストリーム(Stream B)について次の１フレームを復号する。
【００６９】
次のステップＳ１７では、上記ステップＳ１６において上記第２のデコーダ１２により復号した第２の符号化ストリーム２つの符号化ストリーム(Stream B)の１フレームの非圧縮符号化データをＩピクチャとしてエンコードするようにパラメータを設定する。
【００７０】
次のステップＳ１８では、上記ステップＳ１６において上記第２のデコーダ１２に復号した第２の符号化ストリーム(Stream B)の１フレームの非圧縮符号化データを上記再エンコード処理部３０によりＩピクチャとしてエンコードして圧縮符号化データを生成する。
【００７１】
次のステップＳ１９では、処理しているフレームが上記ステップＳ１で決定されたレンダリング範囲にあるか否かを判定する。このステップＳ１９における判定結果がＹＥＳ、すなわち、レンダリング範囲にある場合にはステップＳ２０の処理に進み、判定結果がＮＯ、すなわち、レンダリング範囲でなくなるとレンダリング処理を終了する。
【００７２】
ステップＳ２０では、上記復号処理部１０の第２のデコーダ１２により第２の符号化ストリーム(Stream B)について次の１フレームを復号する。
【００７３】
次のステップＳ２１では、上記第２のパラメータ付加部２２により、上記第２のデコーダ１２による第２の復号出力Ｓ２として得られた上記第２の符号化ストリーム(Stream B)の１フレームの非圧縮画像データにその(動きベクトルやピクチャタイプなど)を付加する。
【００７４】
次のステップＳ２２では、上記第２のデコーダ１２により復号した第２の符号化ストリーム(Stream B)の１フレームの非圧縮画像データを上記再エンコード処理部３０によりエンコードして圧縮符号化データを生成する。
【００７５】
上記制御部４０は、処理しているフレームが上記ステップＳ１で決定されたレンダリング範囲でなくなるまで、上記ステップＳ１９からステップＳ２２の処理を繰り返し行い、レンダリング範囲でなくなるとレンダリング処理を終了する。
【００７６】
［レンダリング処理の具体例１］
この画像編集装置１００では、例えば、図３の（Ａ），（Ｂ）に示すように、２つの符号化ストリーム(Stream A)，(Stream B)にトランジションエフェクトをかけて繋ぐ編集を行う場合に、図４の（Ａ），（Ｂ）に示すように、パラメータエンコード機能を使用したスマートレンダリング処理を行う。
【００７７】
上記制御部４０は、上記ステップＳ１において、２つの符号化ストリーム(Stream A)，(Stream B)を繋ぐ編集点を指定する操作入力を受け付けて、編集区間ＤＲとエフェクト区間ＤＥを次のように設定する。
【００７８】
上記第１の符号化ストリーム(Stream A)の上記編集点を含むＧＯＰの開始点のフレーム(Ｂピクチャ(B0))から上記第２の符号化ストリーム(Stream B)の上記編集点を含むＧＯＰと終了点のフレーム(Ｐピクチャ(P14))までを編集区間ＤＲとして設定する。また、上記編集区間ＤＲ内に上記エフェクト処理部２３によるエフェクト処理の開始点すなわちイン点から終了点すなわちアウト点までをエフェクト区間ＤＥとして設定する。
【００７９】
そして、上記ステップＳ２の判定処理における判定結果がＮＯ、すなわち、エフェクトによる画像の変化が小さい場合には、ステップＳ３に進む。そして、上記ステップＳ３からステップＳ７の処理を繰り返し行うことにより、第１の符号化ストリーム(Stream A)についてパラメータエンコード処理を行う。上記エフェクト区間ＤＥよりも前のＢピクチャ(B0)からＰピクチャ(P5)までを上記第１のデコーダ１１により復号する。そして、上記エンコード部３１により、符号化パラメータ(動きベクトルやピクチャタイプなど)を再利用して、上記Ｂピクチャ（B0）からＰピクチャ(P5)までを圧縮符号化する。
【００８０】
すなわち、上記制御部４０は、上記編集区間ＤＲの開始点のフレーム(Ｂピクチャ(B0))から上記エフェクト区間ＤＥの直前のＰピクチャ(Ｐピクチャ(P5))のフレームまでを第１のパラメータエンコード区間ＰＥ１とする。そして、第１の符号化ストリーム(Stream A)について、Ｂピクチャ(B0)のフレームからＰピクチャ(P5)のフレームまでパラメータエンコード処理を行う。
【００８１】
ここで、上記切換処理部２０に得られる非圧縮画像データのピクチャ(B6)については 、エフェクトがかかっていないが、参照画となるＰピクチャ(P8)が エフェクトにより変化しており、パラメータは再利用できない。そこで、上記エフェクト処理部２３は、元はＢピクチャであったということを示すパラメータだけを上記再エンコード処理部３０に渡して再エンコードする。
【００８２】
次に、上記ステップＳ３における判定結果がＹＥＳ、すなわち、イン点に到達した場合にステップＳ８の処理に進む。そして、上記ステップＳ８からステップＳ１１の処理を繰り返し行う。これにより、上記エフェクト区間ＤＥのＢピクチャ(B7)からＢピクチャ(B12)までの各フレームのエフェクト処理済非圧縮画像データを上記エフェクト処理部２３により生成して上記再エンコード処理部３０によりエンコードして圧縮符号化データを生成する。
【００８３】
また、上記ステップＳ８における判定結果がＹＥＳ、すなわち、アウト点に到達した場合にステップＳ１２の処理に進む。ステップＳ１２では第２の符号化ストリーム(Stream B)の有無を判断し、第２の符号化ストリーム(Stream B)について、上記ステップＳ１３からステップＳ１５の処理を繰り返し行う。そして、処理しているフレームがＰピクチャなるとステップＳ１６〜Ｓ１８でそのフレームを上記第２のデコーダ１２により復号する。復号した第２の符号化ストリーム(Stream B)の１フレームの非圧縮符号化データを上記再エンコード処理部３０によりＩピクチャとしてエンコードして圧縮符号化データを生成する。
【００８４】
すなわち、上記制御部４０は、上記Ｐピクチャ(Ｐピクチャ(P5))のフレーム次のフレーム(Ｂピクチャ(B6))から上記エフェクト区間ＤＥの後の最初のＰピクチャ(P11)のフレームまでを再エンコード区間ＲＥとする。そして、上記エフェクト処理部２３によりエフェクト処理済非圧縮画像データを生成して、上記再エンコード処理部３０により編集点前のフレームを参照画として使用してＢピクチャ(B6)のフレームからＰピクチャ(P11)のフレームまで再エンコード処理を行う。
【００８５】
さらに、上記制御部４０は、処理しているフレームが上記ステップＳ１で決定されたレンダリング範囲でなくなるまで、上記ステップＳ１９からステップＳ２２の処理を繰り返し行う。これにより、第２の符号化ストリーム(Stream B)についてＢピクチャ(B6)のフレームからＰピクチャ(P11)のフレームまでパラメータエンコード処理を行う。
【００８６】
このように符号化パラメータを再利用することにより、Ｂピクチャ(B0)からＰピクチャ(P5)までを劣化が少なくしかも高速で圧縮符号化することができる。
【００８７】
また、上記エフェクト処理部２３によりエフェクト処理が施されるＢピクチャ(B7)からＢピクチャ(B12)までのエフェクト区間ＤＥについては、編集前のフレームを参照画として使え、上記再エンコード処理部３０のエンコード部３１では、連続したＧＯＰ構造として圧縮符号化される。これにより高画質が期待できる。
【００８８】
この際、エフェクトによる変化が後ろの画に影響を及ぼさないように、上記ステップＳ１３の判定処理により最初のＰピクチャ(P11)を検出して、上記ステップＳ１６からステップＳ１８の処理により強制的にＩピクチャ(I11)としてエンコードしている。
【００８９】
さらに、エフェクト区間ＤＥ後のＢピクチャ(B10)からＰピクチャ(P14)までについては、エフェクトがかかっていない。したがって、上記再エンコード処理部３０のエンコード部３１では、上記第２のパラメータ付加部２２により非圧縮画像データに付加された符号化パラメータ(動きベクトルやピクチャタイプなど)を再利用して、Ｂピクチャ(B10)からＰピクチャ(P14)までを劣化が少なくしかも高速で圧縮符号化することができる。
【００９０】
なお、エフェクトによっては  そのイン点前、または  アウト点後の画像と大きく変わってしまい参照画としての利用が適さない場合がある。その場合の対処方法は、次の（１），（２）の２通りある。
（１）エンコーダが通常持っているシーンチェンジ検出機能を働かせ、ＧＯＰ構成の最適化をエンコーダに行わせる。 
（２）予めエフェクト内容により、元ストリームとの差が十分大きいと判断できる場合、エフェクトのイン点、アウト点 をＧＯＰの境として指定し、クローズドとしてエンコードを行う。
【００９１】
そこで、上記制御部４０は、上記ステップＳ２の判定処理における判定結果がＹＥＳ、すなわち、エフェクトによる画像の変化が大きい場合には、ステップＳ２２に進む。このステップＳ２２では、通常のスマートレンダリングの処理手順に従った制御を行い、エフェクトのイン点とアウト点がＧＯＰの再開になるようにエフェクト区間ＤＥを設定して、上記再エンコード処理部３０により通常のエンコード処理を行う。
【００９２】
［レンダリング処理の具体例２］
また、この画像編集装置１００では、上記具体例１の処理におけるエフェクト処理を行わないように設定して、パラメータエンコード機能を使用した上記ステップＳ１からステップＳ２２のスマートレンダリング処理を行う。これにより、例えば、図５の（Ａ），（Ｂ），（Ｃ）に示すように、上記２つの符号化ストリーム(Stream A),(Stream B)を編集点で単に繋ぐカット編集を行うことができる。
【００９３】
２つの符号化ストリーム(Stream A),(Stream B)を編集点で単に繋ぐカット編集では、上記制御部４０は、上記第１の符号化ストリーム(Stream A)の上記編集点を含むＧＯＰの開始点のフレーム(Ｂピクチャ(B0))から上記第２の符号化ストリーム(Stream B)の上記編集点を含むＧＯＰと終了点のフレーム(Ｐピクチャ(P14))までを編集区間ＤＲとして設定する。そして、上記編集点とエフェクト区間ＤＥの開始点及び終了点を一致させてエフェクト区間ＤＥを０に設定して、上記ステップＳ１からステップＳ２２の処理を行う。
【００９４】
すなわち、上記制御部４０は、上記ステップＳ３からステップＳ７の処理を繰り返し行うことにより、上記編集区間ＤＲの開始点のフレーム(Ｂピクチャ(B0))から編集点の直前のＰピクチャ(Ｐピクチャ(P8))のフレームまでを第１のパラメータエンコード区間ＰＥ１として、第１の符号化ストリーム(Stream A)について、Ｂピクチャ(B0)のフレームからＰピクチャ(P8)のフレームまでパラメータエンコード処理を行う。
【００９５】
また、上記切換処理部２０に得られる非圧縮画像データのピクチャ(B9)については 、上述の如く、パラメータは再利用できない。そこで、上記エフェクト処理部２３は、元はＢピクチャであったということを示すパラメータだけを上記再エンコード処理部３０に渡して再エンコードする。
【００９６】
そして、上記制御部４０は、上記Ｐピクチャ(Ｐピクチャ(P8))の次のフレーム(Ｂピクチャ(B9))から上記編集点の後の最初のＰピクチャ(P11)のフレームまでを再エンコード区間ＲＥとして、上記ステップＳ１０のエフェクト処理を行うことなく、上記ステップＳ８からステップＳ１８の処理を行う。これにより、上記再エンコード処理部３０により編集点前のフレームを参照画として使用してＢピクチャ(B9)のフレームからＰピクチャ(P11)のフレームまで再エンコード処理を行う。
【００９７】
さらに、上記制御部４０は、上記ステップＳ１９からステップＳ２０の処理を繰り返し行う。これにより、上記再エンコード区間ＲＥ後のＢピクチャ(B9)からＰピクチャ(P14)までを第２のパラメータエンコード区間ＰＥ２として、第２の符号化ストリーム(Stream B)についてパラメータエンコード処理を行う。すなわち、上記第２のパラメータエンコード区間ＰＥ２には、上記再エンコード処理部３０により、上記第２のパラメータ付加部２２により非圧縮画像データに付加された符号化パラメータを再利用して、再エンコード区間ＲＥ後のＢピクチャ(B9)からＰピクチャ(P14)までを圧縮符号化する。
【００９８】
このように、上記第１のパラメータエンコード区間ＰＥ１に、第１の符号化ストリーム(Stream A)についてパラメータエンコードを行うことにより、再エンコード区間ＲＥ前のＢピクチャ(B0)からＰピクチャ(P7)までを劣化が少なくしかも高速で圧縮符号化することができる。
【００９９】
また、Ｂピクチャ(B9)からＰピクチャ(P11)までの再エンコード区間ＲＥについては、編集前のフレームを参照画として使え、上記再エンコード処理部３０のエンコード部３１では、連続したＧＯＰ構造として圧縮符号化される。これにより高画質が期待できる。
【０１００】
この際、編集点の前後の参照の影響が後ろの画に及ばないように、上記ステップＳ１３の判定処理により編集点の後の最初のＰピクチャ(P11)を検出して、上記ステップＳ１６からステップＳ１８の処理により強制的にＩピクチャ(I11)としてエンコードしている。
【０１０１】
さらに、上記第２のパラメータエンコード区間ＰＥ２に、第２の符号化ストリーム(Stream B)についてパラメータエンコードを行うことにより、再エンコード区間ＲＥ後のＢピクチャ(B9)からＰピクチャ(P14)までを劣化が少なくしかも高速で圧縮符号化することができる。
【０１０２】
［レンダリング処理の具体例３］
また、この画像編集装置１００では、１つの符号化ストリームについて開始点編集を次のようにして行い、符号化ストリームの先端部を編集点で切り取った新たな符号化ストリームの先に１つのクローズドＧＯＰの圧縮符号化データを生成する。
【０１０３】
すなわち、上記制御部４０により、圧縮符号化された符号化ストリームの編集点を含むＧＯＰの開始点のフレームから当該ＧＯＰの終了点のフレームまでを編集区間ＤＲとして設定する。そして、上記編集点の直後のフレームから当該編集点の後の最初のＰピクチャのフレームまでを再エンコード区間ＲＥとするとともに、上記Ｐピクチャの次のフレームから上記編集区間ＤＲの終了点のフレームまでをパラメータエンコード区間ＰＥとする。上記復号処理部１０により、上記編集区間ＤＲに上記符号化ストリームを復号し、上記切換処理部２０により、復号された上記符号化ストリームの非圧縮画像データの先端部を上記編集点で切り取る。そして、上記先端部が切り取られた上記符号化ストリームの非圧縮画像データについて、上記再エンコード処理部３０により、上記編集点の直後のフレームから当該編集点の後の最初のＰピクチャのフレームまでを再エンコードする。また、上記再エンコード処理部３０により、上記パラメータエンコード区間ＰＥに、上記Ｐピクチャの次のフレームから上記編集区間ＤＲの終了点のフレームまでを復号処理により得られた上記符号化ストリームの非圧縮画像データの符号化パラメータ用いて再エンコードする。
【０１０４】
この画像編集装置１００では、例えば、図６の（Ａ），（Ｂ）に示すように、第２の符号化ストリーム(Stream B)の先頭の不要部分を切り取って新たな符号化ストリーム(Stream B')の開始点とする開始点編集１を行う。
【０１０５】
この開始点編集１では、上記レンダリング処理の具体例２のカット編集における第１のストリーム(Stream A)を入力とせず、第２の符号化ストリーム(Stream B)のみを入力とする。そして、パラメータエンコード機能を使用した上記ステップＳ１からステップＳ２２のスマートレンダリング処理を行うことにより、第２の符号化ストリーム(Stream B)の先頭の不要部分を切り取って新たな符号化ストリーム(Stream B')の開始点とする。
【０１０６】
上記制御部４０は、第２の符号化ストリーム(Stream B)のみを入力とし、上記第２の符号化ストリーム(Stream B)の上記編集点を含むＧＯＰの開始点のフレーム(Ｂピクチャ(B0))からと終了点のフレーム(Ｐピクチャ(P14))までを編集区間ＤＲとして設定する。そして、上記編集点とエフェクト区間ＤＥの開始点及び終了点を一致させてエフェクト区間ＤＥを０に設定して、上記ステップＳ１からステップＳ２２の処理を行う。
【０１０７】
すなわち、この開始点編集１では、第２の符号化ストリーム(Stream B)のみを入力として、編集点とエフェクト区間ＤＥの開始点及び終了点を一致させてエフェクト区間ＤＥを０に設定してある。したがって、上記ステップＳ４からステップＳ７の処理及び上記ステップＳ９からステップＳ１１の処理を行うことなく、直ちに、上記ステップＳ１３からステップＳ１８の処理を行う。編集点の直後のフレーム(ここではＢピクチャ(B10))から上記編集点の後の最初のＰピクチャ(P14)のフレームまでを再エンコード区間ＲＥとして、上記再エンコード処理部３０によりＢピクチャ(B10)のフレームからＰピクチャ(P11)のフレームまで再エンコード処理を行う。
【０１０８】
さらに、上記制御部４０は、上記ステップＳ１９からステップＳ２２の処理を繰り返し行うことにより、上記再エンコード区間ＲＥ後のＢピクチャ(B12)からＰピクチャ(P14)までをパラメータエンコード区間ＰＥとして、第２の符号化ストリーム(Stream B)についてパラメータエンコード処理を行う。すなわち、上記パラメータエンコード区間ＰＥには、上記再エンコード処理部３０により、上記第２のパラメータ付加部２２により非圧縮画像データに付加された符号化パラメータを再利用して、再エンコード区間ＲＥ後のＢピクチャ(B12)からＰピクチャ(P14)までを圧縮符号化する。
【０１０９】
このように、第２の符号化ストリーム(Stream B)について、上記再エンコード処理部３０により再エンコード区間ＲＥにＢピクチャ(B10)のフレームからＰピクチャ(P11)のフレームまで再エンコード処理を行い、さらに、上記パラメータエンコード区間ＰＥに、第２の符号化ストリーム(Stream B)についてパラメータエンコードを行うことにより、再エンコード区間ＲＥ後のＢピクチャ(B12)からＰピクチャ(P14)までを劣化が少なくしかも高速で圧縮符号化することができる。
【０１１０】
［レンダリング処理の具体例４］
また、この画像編集装置１００では、１つの符号化ストリームについて開始点編集を次のようにして行い、符号化ストリームの先端端部にエフェクト処理を施し、上記先端端部の２つのＧＯＰの圧縮符号化データを生成する。
【０１１１】
すなわち、上記制御部４０により、編集点を含むエフェクト区間ＤＥの開始点のフレームから圧縮符号化された符号化ストリームの上記編集点を含むＧＯＰの終了点のフレームまでを編集区間ＤＲとして設定する。また、上記エフェクト区間ＤＥの開始点のフレームから該エフェクト区間ＤＥの終了点の後の最初のＰピクチャのフレームまでを再エンコード区間ＲＥとする。さらに、上記Ｐピクチャの次のフレームから上記編集区間ＤＲの終了点のフレームまでをパラメータエンコード区間ＰＥとする。上記切換処理部２０により、上記エフェクト区間ＤＥにエフェクトデータと上記符号化ストリームを復号して得られるフレーム単位の非圧縮画像データからエフェクト処理済非圧縮画像データを生成する。上記再エンコード処理部３０により、上記再エンコード区間ＲＥに、上記エフェクト処理済み非圧縮画像データと上記エフェクト区間ＤＥの終了点のフレームから該エフェクト区間ＤＥの終了点の後の最初のＰピクチャのフレームまでの非圧縮画像データを再エンコードする。また、上記再エンコード処理部３０により、上記パラメータエンコード区間ＰＥに、上記Ｐピクチャの次のフレームから上記編集区間ＤＲの終了点のフレームまでを上記復号処理部１０による復号処理により得られた上記符号化ストリームの非圧縮画像データの符号化パラメータ用いて再エンコードする。
【０１１２】
この画像編集装置１００では、例えば、図７の（Ａ），（Ｂ），（Ｃ）に示すように、第２の符号化ストリーム(Stream B)の前半の不要部分を切り取り、その残りの部分の先頭にエフェクトをかけて新たな符号化ストリーム(Stream B')の開始点とする開始点編集２を行う。
【０１１３】
この開始点編集２では、上記カット編集の処理における第１のストリーム(Stream A)を入力とせず、第２の符号化ストリーム(Stream B)のみを入力とする。そして、パラメータエンコード機能を使用した上記ステップＳ１からステップＳ２２のスマートレンダリング処理を行うことにより、第２の符号化ストリーム(Stream B)の先頭部分にエフェクトをかける新たな符号化ストリーム(Stream B')の開始点とする。
【０１１４】
上記制御部４０は、第２の符号化ストリーム(Stream B)のみを入力とし、エフェクトデータの開始点から上記エフェクトデータの終了点に対応する編集点を含む上記第２の符号化ストリーム(Stream B)のＧＯＰの終了点のフレームまでを編集区間ＤＲとして設定する。そして、上記エフェクトデータの開始点から上記編集点ＤＲの後の最初のＰピクチャのフレームまでを再エンコード区間ＲＥとして、上記ステップＳ１からステップＳ２２の処理を行う。
【０１１５】
すなわち、この開始点編集２において、上記制御部４０は、上記ステップＳ３からステップＳ１８の処理により、上記エフェクトデータの開始点から上記編集点の後の最初のＰピクチャのフレームまでを再エンコード区間ＲＥとして、上記第２の符号化ストリーム(Stream B)の先頭部分にエフェクトをかけて、上記再エンコード処理部３０により再エンコード処理を行う。
【０１１６】
さらに、上記制御部４０は、上記ステップＳ１９からステップＳ２２の処理を繰り返し行う。これにより、上記再エンコード区間ＲＥ後の最初のＩピクチャのフレームの次のフレームから上記編集点ＤＲの終了点のフレームまでをパラメータエンコード区間ＰＥとして、上記第２のパラメータ付加部２２により非圧縮画像データに付加された符号化パラメータを再利用して、第２の符号化ストリーム(Stream B)についてパラメータエンコード処理を行う。
【０１１７】
このように、第２の符号化ストリーム(Stream B)の先頭部分にエフェクトをかけて新たな符号化ストリーム(Stream B')の開始点とするにあたり、上記再エンコード区間ＲＥ後の最初のＩピクチャのフレームの次のフレームから上記編集点ＤＲの終了点のフレームまでをパラメータエンコード区間ＰＥとして、第２の符号化ストリーム(Stream B)についてパラメータエンコードを行うことにより、劣化が少なくしかも高速で圧縮符号化することができる。
【０１１８】
［レンダリング処理の具体例５］
また、この画像編集装置１００では、１つの符号化ストリームについて終了点編集を次のようにして行い、符号化ストリームの後端部を編集点で切り取った新たな符号化ストリームの後端部に１つのオープンＧＯＰの圧縮符号化データを生成する。
【０１１９】
すなわち、この画像編集装置１００では、上記制御部４０により、圧縮符号化された圧縮符号化ストリームの編集点を含むＧＯＰの開始点のフレームから当該ＧＯＰの終了点のフレームまでを編集区間ＤＲとして設定する。また、上記編集区間ＤＲの開始点のフレームから上記編集点の前の最後のＰピクチャのフレームまでをパラメータエンコード区間ＰＥとする。さらに、上記Ｐピクチャのフレームの次のフレームから上記編集点の直前のフレームまでを再エンコード区間ＲＥとする。上記編集区間ＤＲに上記復号処理部１０により上記符号化ストリームを復号し、復号された上記符号化ストリームの非圧縮画像データの後端部を上記切換処理部２０により上記編集点で切り取る。そして、上記後端部が切り取られた上記符号化ストリームの非圧縮画像データについて、上記再エンコード処理部３０により、上記パラメータエンコード区間ＰＥに、上記編集区間ＤＲの開始点のフレームから上記編集点の前の最後のＰピクチャのフレームまでを上記復号処理部１０による復号処理により得られた上記符号化ストリームの非圧縮画像データの符号化パラメータ用いて再エンコードする。また、上記再エンコード処理部３０により、上記再エンコード区間ＲＥに、上記Ｐピクチャのフレームの次のフレームから上記編集点の直前のフレームまでを再エンコードする。このような再エンコード処理により、符号化ストリームの後端部を編集点で切り取った新たな符号化ストリームの後端部に１つのオープンＧＯＰの圧縮符号化データを生成する。
【０１２０】
この画像編集装置１００では、例えば、図８の（Ａ），（Ｂ）に示すように、第１の符号化ストリーム(Stream A)の後半の不要部分を切り取って新たな符号化ストリーム(Stream B')の終了点とする終了点編集１を行う。
【０１２１】
この終了点編集１では、上述した具体例１の編集処理における第２のストリーム(Stream B)を入力とせず、第１の符号化ストリーム(Stream A)のみを入力とする。そして、パラメータエンコード機能を使用した上記ステップＳ１からステップＳ２２のスマートレンダリング処理を行うことにより、第１の符号化ストリーム(Stream A)の後半の不要部分を切り取って新たな符号化ストリーム(Stream B')の終了点とする。
【０１２２】
すなわち、上記制御部４０は、第２の符号化ストリーム(Stream A)のみを入力とし、上記第１の符号化ストリーム(Stream A)の上記編集点を含むＧＯＰの開始点のフレーム(Ｂピクチャ(B0))からと終了点のフレーム(Ｐピクチャ(P14))までを編集区間ＤＲとして設定する。そして、上記編集点とエフェクト区間ＤＥの開始点及び終了点を一致させてエフェクト区間ＤＥを０に設定して、上記ステップＳ１からステップＳ２２の処理を行う。
【０１２３】
この終了点編集１では、第１の符号化ストリーム(Stream A)のみを入力とし、編集点とエフェクト区間ＤＥの開始点及び終了点を一致させてエフェクト区間ＤＥを０に設定することにより、上記ステップＳ３から上記ステップＳ７の処理を繰り返し行い、第１の符号化ストリーム(Stream A)について、上記編集点を含むＧＯＰの開始点のフレーム(Ｂピクチャ(B0))から上記編集点の前の最後のＰピクチャ(P8)までをパラメータエンコード区間ＰＥとしてパラメータエンコード処理を行う。また、第１の符号化ストリーム(Stream A)について、上記編集点の前の最後のＰピクチャ(P8)の直後のフレームから上記編集点のフレームまでを再エンコード区間ＲＥとして再エンコード処理を行う。
【０１２４】
このように、第１の符号化ストリーム(Stream A)の後半の不要部分を切り取って新たな符号化ストリーム(Stream B')の終了点とする際に、上記パラメータエンコード区間ＰＥに、第１の符号化ストリーム(Stream A)についてパラメータエンコードを行うことにより、再エンコード区間ＲＥ前のＢピクチャ(B0)からＰピクチャ(P8)までを劣化が少なくしかも高速で圧縮符号化することができる。また、上記編集点の前の最後のＰピクチャ(P8)の直後のフレームから上記編集点のフレームまでを再エンコード区間ＲＥとして再エンコード処理を行うことにより、上記再エンコード区間ＲＥについては編集前のフレームを参照画として使え、上記エンコード部３１では、上記パラメータエンコード区間ＰＥと上記再エンコード区間ＲＥの各フレームが連続したＧＯＰ構造の１つのオープンＧＯＰとして圧縮符号化することができる。これにより高画質が期待できる。
【０１２５】
［レンダリング処理の具体例６］
さらに、この画像編集装置１００では、１つの符号化ストリームについて終了点編集を次のようにして行い、符号化ストリームの後端部にエフェクト処理を施し、上記後端部の１つのオープンＧＯＰの圧縮符号化データを生成する。
【０１２６】
すなわち、この画像編集装置１００では、上記制御部４０により、圧縮符号化された符号化ストリームの編集点を含むＧＯＰの開始点のフレームから上記編集点を含むエフェクト区間ＤＥの終了点のフレームまでを編集区間ＤＲとして設定する。そして、上記エフェクト区間ＤＥの開始点の前の最後のＰピクチャのフレームの次のフレームから該エフェクト区間ＤＥの終了点のフレームまでを再エンコード区間ＲＥとする。さらに、上記編集区間ＤＲの開始点のフレームから上記エフェクト区間ＤＥの開始点の前の最後のＰピクチャのフレームまでをパラメータエンコード区間ＰＥとする。
【０１２７】
そして、上記編集区間ＤＲに、上記復号処理部１０により上記符号化ストリームを復号し、上記エフェクト区間ＤＥに、上記切換処理部２０により、エフェクトデータと上記符号化ストリームを復号して得られるフレーム単位の非圧縮画像データからエフェクト処理済非圧縮画像データを生成する。
【０１２８】
また、上記パラメータエンコード区間ＰＥに、上記再エンコード処理部３０により、上記編集区間ＤＲの開始点のフレームから上記エフェクト区間ＤＥの開始点の前の最後のＰピクチャのフレームまでを復号処理により得られた上記符号化ストリームの非圧縮画像データの符号化パラメータ用いて再エンコードする。
【０１２９】
さらに、上記再エンコード区間ＲＥに、上記再エンコード処理部３０により、上記エフェクト区間ＤＥの開始点の前の最後のＰピクチャのフレームの次のフレームから該エフェクト区間ＤＥの終了点のフレームまでの非圧縮画像データを再エンコードする。
【０１３０】
このような再エンコード処理により、後端部にエフェクト処理を施した新たな符号化ストリームの上記後端部の１つのオープンＧＯＰの圧縮符号化データを生成する。
【０１３１】
例えば、図９の（Ａ），（Ｂ），（Ｃ）に示すように、第１の符号化ストリーム(Stream A)の後半部分にエフェクトをかけて新たな符号化ストリーム(Stream B')の終了点とする終了点編集２を行う。
【０１３２】
この終了点編集２では、上記レンダリング処理の具体例２のカット編集における第２のストリーム(Stream B)を入力とせず、第１の符号化ストリーム(Stream A)のみを入力とする。そして、パラメータエンコード機能を使用した上記ステップＳ１からステップＳ２２のスマートレンダリング処理を行う。
【０１３３】
上記制御部４０は、第１の符号化ストリーム(Stream A)のみを入力とし、エフェクトデータの開始点に対応する編集点を含む上記第１の符号化ストリーム(Stream A)のＧＯＰの開始点のフレーム（Ｂピクチャ(B0)）から上記エフェクトデータの開始点のフレームまでを編集区間ＤＲとして設定する。そして、上記第１の符号化ストリーム(Stream A)について、上記編集区間ＤＲの開始点のフレームから上記編集点の前の最後のＰピクチャのフレーム（Ｐピクチャ(P5)）までをパラメータエンコード区間ＰＥとし、また、上記パラメータエンコード区間ＰＥの終了点の直後のフレームから上記編集区間ＤＲの終了点のフレームまでを再エンコード区間ＲＥとして、上記ステップＳ１からステップＳ２２の処理を行う。
【０１３４】
すなわち、この終了点編集２において、上記制御部４０は、上記ステップＳ３からステップＳ１１の処理により、上記第１の符号化ストリーム(Stream A)について、上記編集区間ＤＲの開始点のフレームから上記編集点の前の最後のＰピクチャのフレームまでをパラメータエンコード区間ＰＥとし、上記第１のパラメータ付加部２１により非圧縮画像データに付加された符号化パラメータを再利用して、上記再エンコード処理部３０により第１の符号化ストリーム(Stream A)についてパラメータエンコード処理を行う。
【０１３５】
また、この終了点編集２において、上記制御部４０は、上記パラメータエンコード区間ＰＥの終了点の直後のフレームから上記編集区間ＤＲの終了点のフレームまでを再エンコード区間ＲＥとして、上記第１の符号化ストリーム(Stream A)の後半部分にエフェクトをかけて、上記再エンコード処理部３０により再エンコード処理を行う。
【０１３６】
このように、第１の符号化ストリーム(Stream A)の後半部分にエフェクトをかけて新たな符号化ストリーム(Stream A')の終了点とするにあたり、上記パラメータエンコード区間ＰＥに、上記第１のパラメータ付加部２１により非圧縮画像データに付加された符号化パラメータを再利用して、上記再エンコード処理部３０によりパラメータエンコード処理を行う。これにより、劣化が少なくしかも高速で圧縮符号化することができる。
【０１３７】
また、上記パラメータエンコード区間ＰＥの終了点の直後のフレームから上記編集区間ＤＲの終了点のフレームまでを再エンコード区間ＲＥとして、上記第１の符号化ストリーム(Stream A)の後半部分にエフェクトをかけて、上記再エンコード処理部３０により再エンコード処理を行う。上記再エンコード区間ＲＥについては編集前のフレームを参照画として使え、上記エンコード部３１では、上記パラメータエンコード区間ＰＥと上記再エンコード区間ＲＥの各フレームが連続したＧＯＰ構造の１つのオープンＧＯＰとして圧縮符号化することができる。これにより高画質が期待できる。
【０１３８】
この画像編集装置１００のように、編集点を含む編集区間ＤＲ内の符号化ストリームの上記編集点の前各Ｐピクチャのフレームから上記編集点の後のフレームまでの間を再エンコード区間ＲＥとし、他の区間をパラメータエンコード区間ＰＥとし、パラメータエンコード機能を用いたスマートレンダリングの処理を行うことにより、レンダリング部分の画質劣化が少ない状態で、符号化ストリームの端部の編集処理を高速に行うことができる。
【符号の説明】
【０１３９】
１０  復号処理部、１１  第１のデコーダ、１２  第２のデコーダ、２０  切換処理部、２１  第１のパラメータ付加部、２２  第２のパラメータ付加部、２３  エフェクト処理部、２４  切換スイッチ部、３０  再エンコード処理部、３１  エンコード部、３２  切換スイッチ部、４０  制御部、１００  画像編集装置
【図１】
2010154502.tif 000003
【図２】
2010154502.tif 000004
【図３】
2010154502.tif 000005
【図４】
2010154502.tif 000006
【図５】
2010154502.tif 000007
【図６】
2010154502.tif 000008
【図７】
2010154502.tif 000009
【図８】
2010154502.tif 000010
【図９】
2010154502.tif 000011
【図１０】
2010154502.tif 000012
【図１１】
2010154502.tif 000013