(57)【要約】【課題】  VBVバッファの制限を守って、OpenGOPのデータを編集する。【解決手段】  エンコードされた映像データのコーディングオーダでＰピクチャ７１に続くＢピクチャ８１と、再エンコードされていない圧縮素材映像２のＩピクチャ４７、圧縮素材映像２のＩピクチャ４７と、エンコードされた映像データのＢピクチャ７２、および、エンコードされた映像データのコーディングオーダでＢピクチャ７２に続くＢピクチャ７３と、圧縮素材映像２のＰピクチャ８２とが、コーディングオーダで連続するように接続される。換言すれば、コーディングオーダにおいて、再エンコードされた区間の最後のＩピクチャまたはＰピクチャに続く、ｎ枚の再エンコードされたＢピクチャの前に、再エンコードされていないＩピクチャが入るように、ストリームが接続される。本発明は、編集装置に適用できる。【選択図】図１０
2006067095.tif 000002
【特許請求の範囲】
【請求項１】
第１の圧縮映像データと第２の圧縮映像データとを接続して編集する処理を実行する情報処理装置において、
前記第１の圧縮映像データおよび前記第２の圧縮映像データのうちの編集点付近の所定の範囲の映像データをデコードするデコード手段と、
前記第１の圧縮映像データが前記デコード手段によりデコードされて生成された第１の非圧縮映像信号と、前記第２の圧縮映像データが前記デコード手段によりデコードされて生成された第２の非圧縮映像信号とを、前記編集点で接続し、第３の非圧縮映像信号を生成する接続手段と、
前記接続手段により接続されて生成された前記第３の非圧縮映像信号をエンコードして、第３の圧縮映像データを生成するエンコード手段と、
前記編集点付近以外の所定の範囲の前記第１の圧縮映像データおよび前記編集点付近以外の所定の範囲の前記第２の圧縮映像データと、前記エンコード手段によりエンコードされて生成された、前記第３の圧縮映像データとを接続して、圧縮符号化された編集映像データを生成する編集映像データ生成手段と、
前記デコード手段、前記接続手段、前記エンコード手段、および、前記編集映像データ生成手段が実行する処理を制御する制御手段と
を備え、
前記制御手段は、前記第３の圧縮映像データのうちのいずれかのフレーム内符号化画像、または、フレーム間順方向予測符号化画像より、画像表示順で時間的に後ろとなる部分のピクチャタイプが、前記第１の圧縮映像データおよび前記第２の圧縮映像データの対応するピクチャタイプから変更されないように、前記エンコード手段によるエンコード処理を制御する
ことを特徴とする情報処理装置。
【請求項２】
前記制御手段は、前記第３の非圧縮映像データのうち、画像表示順で最も時間的に後ろに位置するフレーム内符号化画像、または、フレーム間順方向予測符号化画像より後ろのピクチャタイプが、前記第１の圧縮映像データおよび前記第２の圧縮映像データの対応するピクチャタイプから変更されないように、前記エンコード手段によるエンコード処理を制御する
ことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記制御手段は、
前記編集点付近以外の所定の範囲の第２の圧縮映像データの先頭のピクチャであって、前記第３の圧縮映像データと接続される第１のピクチャがフレーム内符号化画像となるように、前記デコード手段によりデコードされる前記所定の範囲を決定し、
前記第１のピクチャの発生符号量の情報を取得するとともに、前記編集点付近以外の所定の範囲の第２の圧縮映像データのうち、時間的に２番目に位置するフレーム内符号化画像、または、フレーム間順方向予測符号化画像である第２のピクチャのオキュパンシに関する情報を取得し、
前記編集映像データ生成手段により生成される前記編集映像データのうち、前記第１のピクチャの次に位置するフレーム内符号化画像、または、フレーム間順方向予測符号化画像である第３のピクチャのオキュパンシが、前記第２のピクチャのオキュパンシと同一になるように、前記エンコード手段によるエンコード処理を制御する
ことを特徴とする請求項１に記載の情報処理装置。
【請求項４】
前記制御手段は、
前記編集点付近以外の所定の範囲の第２の圧縮映像データの先頭のピクチャであって、前記第３の圧縮映像データと接続される第１のピクチャがフレーム内符号化画像となるように、前記デコード手段によりデコードされる前記所定の範囲を決定し、
符号化順で、前記第３の圧縮映像データのうち、最後に連続するフレーム間双方向予測符号化画像の前に、前記第１のピクチャが配置されるように、前記編集映像データ生成手段による前記編集映像データの生成を制御する
ことを特徴とする請求項１に記載の情報処理装置。
【請求項５】
第１の圧縮映像データと第２の圧縮映像データとを接続して編集する処理を実行する情報処理装置の情報処理方法において、
前記第１の圧縮映像データおよび前記第２の圧縮映像データのうちの編集点付近の所定の範囲の映像データのデコードを制御するデコード制御ステップと、
前記デコード制御ステップの処理によりデコードが制御されて前記第１の圧縮映像データから生成された第１の非圧縮映像信号と、前記デコード制御ステップの処理によりデコードが制御されて前記第２の圧縮映像データから生成された第２の非圧縮映像信号との、前記編集点における接続を制御し、第３の非圧縮映像信号の生成を制御する接続制御ステップと、
前記接続制御ステップの処理により生成が制御された前記第３の非圧縮映像信号のうちのいずれかのフレーム内符号化画像、または、フレーム間順方向予測符号化画像より、画像表示順で時間的に後ろとなる部分のピクチャタイプが、前記第１の圧縮映像データおよび前記第２の圧縮映像データの対応するピクチャタイプから変更されないように、前記第３の非圧縮映像信号のエンコードを制御して、第３の圧縮映像データの生成を制御するエンコード制御ステップと、
前記編集点付近以外の所定の範囲の前記第１の圧縮映像データおよび前記編集点付近以外の所定の範囲の前記第２の圧縮映像データと、前記エンコード制御ステップの処理によりエンコードが制御されて生成された、前記第３の圧縮映像データとの接続を制御して、圧縮符号化された編集映像データの生成を制御する編集映像データ生成制御ステップと
を含むことを特徴とする情報処理方法。
【請求項６】
第１の圧縮映像データと第２の圧縮映像データとを接続して編集する処理をコンピュータに実行させるためのプログラムであって、
前記第１の圧縮映像データおよび前記第２の圧縮映像データのうちの編集点付近の所定の範囲の映像データのデコードを制御するデコード制御ステップと、
前記デコード制御ステップの処理によりデコードが制御されて前記第１の圧縮映像データから生成された第１の非圧縮映像信号と、前記デコード制御ステップの処理によりデコードが制御されて前記第２の圧縮映像データから生成された第２の非圧縮映像信号との、前記編集点における接続を制御し、第３の非圧縮映像信号の生成を制御する接続制御ステップと、
前記接続制御ステップの処理により生成が制御された前記第３の非圧縮映像信号のうちのいずれかのフレーム内符号化画像、または、フレーム間順方向予測符号化画像より、画像表示順で時間的に後ろとなる部分のピクチャタイプが、前記第１の圧縮映像データおよび前記第２の圧縮映像データの対応するピクチャタイプから変更されないように、前記第３の非圧縮映像信号のエンコードを制御して、第３の圧縮映像データの生成を制御するエンコード制御ステップと、
前記編集点付近以外の所定の範囲の前記第１の圧縮映像データおよび前記編集点付近以外の所定の範囲の前記第２の圧縮映像データと、前記エンコード制御ステップの処理によりエンコードが制御されて生成された、前記第３の圧縮映像データとの接続を制御して、圧縮符号化された編集映像データの生成を制御する編集映像データ生成制御ステップと
を含むことを特徴とする処理をコンピュータに実行させるための、コンピュータが読み取り可能なプログラムが記録されている記録媒体。
【請求項７】
第１の圧縮映像データと第２の圧縮映像データとを接続して編集する処理をコンピュータに実行させるためのプログラムであって、
前記第１の圧縮映像データおよび前記第２の圧縮映像データのうちの編集点付近の所定の範囲の映像データのデコードを制御するデコード制御ステップと、
前記デコード制御ステップの処理によりデコードが制御されて前記第１の圧縮映像データから生成された第１の非圧縮映像信号と、前記デコード制御ステップの処理によりデコードが制御されて前記第２の圧縮映像データから生成された第２の非圧縮映像信号との、前記編集点における接続を制御し、第３の非圧縮映像信号の生成を制御する接続制御ステップと、
前記接続制御ステップの処理により生成が制御された前記第３の非圧縮映像信号のうちのいずれかのフレーム内符号化画像、または、フレーム間順方向予測符号化画像より、画像表示順で時間的に後ろとなる部分のピクチャタイプが、前記第１の圧縮映像データおよび前記第２の圧縮映像データの対応するピクチャタイプから変更されないように、前記第３の非圧縮映像信号のエンコードを制御して、第３の圧縮映像データの生成を制御するエンコード制御ステップと、
前記編集点付近以外の所定の範囲の前記第１の圧縮映像データおよび前記編集点付近以外の所定の範囲の前記第２の圧縮映像データと、前記エンコード制御ステップの処理によりエンコードが制御されて生成された、前記第３の圧縮映像データとの接続を制御して、圧縮符号化された編集映像データの生成を制御する編集映像データ生成制御ステップと
を含むことを特徴とする処理をコンピュータに実行させるためのプログラム。
【請求項８】
第１の圧縮映像データと第２の圧縮映像データとを接続して編集する処理を実行する情報処理装置において、
前記第１の圧縮映像データが編集点付近の所定の範囲でデコードされて生成された第１の非圧縮映像信号と、前記第２の圧縮映像データが前記編集点付近の所定の範囲でデコードされて生成された第２の非圧縮映像信号とが、前記編集点で接続されて生成された第３の非圧縮映像信号を、エンコードして第３の圧縮映像データを生成するエンコード手段と、
前記第３の圧縮映像データのうちのいずれかのフレーム内符号化画像、または、フレーム間順方向予測符号化画像より、画像表示順で時間的に後ろとなる部分のピクチャタイプが、前記第１の圧縮映像データおよび前記第２の圧縮映像データの対応するピクチャタイプから変更されないように、前記エンコード手段によるエンコード処理を制御する制御手段と
を備えることを特徴とする情報処理装置。
【請求項９】
前記編集点付近以外の所定の範囲の第１の圧縮映像データおよび前記編集点付近以外の所定の範囲の第２の圧縮映像データと、前記エンコード手段によりエンコードされて生成された、前記第３の圧縮映像データとを接続して、圧縮符号化された編集映像データを生成する編集映像データ生成手段を更に備え、
前記制御手段は、前記編集映像データ生成手段を更に制御する
ことを特徴とする請求項８に記載の情報処理装置。
【請求項１０】
第１の圧縮映像データと第２の圧縮映像データとを接続して編集する処理を実行する情報処理装置の情報処理方法において、
前記第１の圧縮映像データが編集点付近の所定の範囲でデコードされて生成された第１の非圧縮映像信号と、前記第２の圧縮映像データが前記編集点付近の所定の範囲でデコードされて生成された第２の非圧縮映像信号とが、前記編集点で接続されて生成された第３の非圧縮映像信号を、エンコードして第３の圧縮映像データを生成するエンコードステップと、
前記第３の圧縮映像データのうちのいずれかのフレーム内符号化画像、または、フレーム間順方向予測符号化画像より、画像表示順で時間的に後ろとなる部分のピクチャタイプが、前記第１の圧縮映像データおよび前記第２の圧縮映像データの対応するピクチャタイプから変更されないように、前記エンコードステップにおけるエンコード処理を制御する制御ステップと
を含むことを特徴とする情報処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置および情報処理方法、記録媒体、並びに、プログラムに関し、特に、双方向のフレーム間予測を用いて圧縮した映像データを編集する場合に用いて好適な、情報処理装置および情報処理方法、記録媒体、並びに、プログラムに関する。
【背景技術】
【０００２】
MPEG（Moving Picture Coding Experts Group／Moving Picture Experts Group）などに代表される画像圧縮方式では、フレーム間予測を用いて映像信号を圧縮符号化することで、高い圧縮効率を実現している。しかし、映像を編集することを考えた場合、フレーム間予測を用いた圧縮画像は、フレーム間に予測による圧縮信号の関連があるため、圧縮されたままの映像信号で、映像素材をつなぎ合わせる事はできない。そのため、映像素材を編集することが予め考慮されたシステムにおいては、一般的に、フレーム間予測を用いず、フレーム内での圧縮のみを用いて符号化が行われている。
【０００３】
しかしながら、例えば、ＨＤ（High Definition）信号のように、高精細で情報量の多い映像信号が取り扱われる場合、フレーム内圧縮のみで符号化を行うと、低い圧縮効率しか得られないため、多量のデータを伝送したり、蓄積するためには、転送速度が速かったり、記憶容量が大きかったり、または、処理速度が速いなどの、高価なシステムが必要となってしまう。すなわち、高精細で情報量の多い映像信号を安価なシステムで取り扱うためには、フレーム間予測を用いて圧縮効率を上げることが必要となる。
【０００４】
MPEGにおいて、Ｉピクチャ（Ｉ-Picture）、Ｐピクチャ（Ｐ-Picture）、および、Ｂピクチャ（B-Picture）から構成される、双方向のフレーム間予測を用いた圧縮符号化方式は、Long GOP（Group of Picture)方式の圧縮と呼ばれる。
【０００５】
Ｉピクチャとは、フレーム内（Intra）符号化画像のことであり、他の画面とは独立に符号化されるピクチャであり、この情報のみで画像を復号することができるものである。Ｐピクチャとは、フレーム間(inter)順方向予測符号化画像のことであり、時間的に前（順方向）のフレームからの差分によって表現される前方向予測符号化ピクチャである。Ｂピクチャとは、双方向予測符号化画像のことであり、時間的に前（順方向）、または後（逆方向）、または前後（双方向）のピクチャを利用して動き補償フレーム間予測により符号化されるピクチャである。
【０００６】
ＰピクチャやＢピクチャは、データ量がＩピクチャに比べて小さいため、GOPを長くすれば（すなわち、Long GOPを構成するピクチャ数を増加させれば）、映像の圧縮率を高くすることができるので、デジタル放送やDVD（Digital Versatile Disk）ビデオでの利用に適している。しかしながら、GOPが長すぎると、フレーム精度での編集コントロールが困難となり、特に、業務用用途での編集では、運用上の問題が発生する。
【０００７】
Long GOP方式で圧縮された２つの映像データを所定の編集点で接続することにより編集する処理について、図１を用いて説明する。
【０００８】
まず、編集対象圧縮映像データ１および編集対象圧縮映像データ２のそれぞれにおいて、編集点近傍の部分的なデコードが行われ、部分的な非圧縮の映像信号１および映像信号２が得られる。そして、非圧縮の映像信号１および映像信号２が編集点で接続されて、必要に応じて編集点付近にエフェクト（Effect）が施されて、再エンコードが行われる。そして、再エンコードされた圧縮映像データが、デコードおよび再エンコードされていない（部分的なデコードが行われた編集点近傍以外の）圧縮映像データと結合される。
【０００９】
図１を用いて説明した方法は、圧縮された編集素材の映像データを全てデコードしてから、映像信号を編集点でつなぎ、再び全ての映像信号を再エンコードして編集済みの圧縮映像データを得る方法と比較して、再エンコードによる画質劣化を局所的に抑えることができるとともに、編集処理時間を大幅に短縮することができるなどの利点がある。
【００１０】
しかしながら、図１を用いて説明したような方法で編集と再エンコードを行うと、再エンコードを行った部分と行っていない部分のつなぎ目において、画像を参照することができないという問題が発生する。
【００１１】
この問題に対して、フレーム間で予測符号化が行われている（Long GOP）方式で圧縮する場合、編集を比較的簡単に実現する方法として、フレーム間予測に制限を加え、GOP内のみで画像を参照し、GOPをまたいで画像を参照しないClosed GOP構造をとるように、フレーム間予測に制限を加える方法が知られている。
【００１２】
フレーム間予測に制限を加える場合について、図２を用いて説明する。図２においては、フレーム間予測と編集との関係を示すために、編集対象である圧縮素材映像１のデータおよび圧縮素材映像２のデータ、部分再エンコードされた編集後の編集点付近の圧縮映像のデータ、並びに、再エンコードしない部分の圧縮映像のデータについて、それぞれ、display order（ディスプレイオーダ）でのピクチャの並びを示している。図中の矢印は、画像の参照方向を示している（以下、同様）。図２においては、ディスプレイオーダのBBIBBPBBPBBPBBPの１５のピクチャが１GOPとされ、画像の参照は、GOP内のみとされている。この方法は、GOPをまたぐ予測を禁止することで、GOP間に予測による圧縮データの関連をなくし、GOP単位での圧縮データのつなぎ替え（再エンコードを行う範囲の決定）を可能にする。
【００１３】
すなわち、編集対象である圧縮素材映像１のデータおよび圧縮素材映像２のデータは、それぞれ、編集点を含む１GOP単位で、再エンコード範囲が決定され、１GOP単位で決定された再エンコード範囲の編集対象である圧縮素材映像１のデータおよび圧縮素材映像２のデータがデコードされて、非圧縮の素材映像１の信号および素材映像２の信号が生成される。そして、非圧縮の素材映像１の信号と素材映像２の信号とがカット（Cut）編集点において接続されて、接続された素材映像１および素材映像２が部分再エンコードされて、圧縮映像データが生成され、再エンコードしない部分の圧縮映像データと接続されて、圧縮符号化された編集映像データが生成される。
【００１４】
実際に符号化されたデータは、図３に示されるように、Coding order（コーディングオーダ）で並んでおり、圧縮映像データの結合はコーディングオーダで行われる。接続された素材映像１および素材映像２が部分再エンコードされて生成された圧縮映像データと、再エンコードしない部分の圧縮映像データとは、再エンコードしない部分の圧縮素材映像１のデータにおいて、コーディングオーダで最後のピクチャであり、ディスプレイオーダ１４番目のピクチャであるＢ13ピクチャと、再エンコードされて生成された圧縮映像データにおいて、コーディングオーダで最初のピクチャであり、ディスプレイオーダ３番目のピクチャであるＩ2ピクチャとが接続される。そして、再エンコードされて生成された圧縮映像データにおいて、コーディングオーダで最後のピクチャであり、ディスプレイオーダ１３番目のピクチャであるＢ12ピクチャと、再エンコードしない部分の圧縮素材映像２のデータにおいて、コーディングオーダで最初のピクチャであり、ディスプレイオーダ３番目のピクチャであるＩ2ピクチャとが接続される。すなわち、接続された素材映像１および素材映像２が部分再エンコードされて生成された圧縮映像データと、再エンコードしない部分の圧縮映像データとは、GOPの切り替え部分で接続されて、圧縮された編集映像データが生成される。
【００１５】
これに対して、Closed GOP構造ではないGOP構造、すなわち、GOPをまたいで画像を参照する場合のLong GOP構造を、以下、Open GOPと称する。
【００１６】
また、Open GOPの２つのビットストリームを編集する場合、具体的には、ビットストリームＸに、ビットストリームＹを挿入する場合において、ビットストリームＹの最初のGOPを構成するＩピクチャ前Ｂピクチャ（Ｉピクチャが表示されるまでに出現するＢピクチャ）が削除され、更に、そのGOPを構成する残りの画像のテンポラルリファレンス（Temporal Reference）が変更されることにより、ビットストリームＸの最後のGOPを構成する画像を用いて予測されるＩピクチャ前Ｂピクチャを表示させないようにし、Open GOPでMPEG符号化された画像のビットストリームどうしを接続したときのつなぎ目部分における画質の劣化を防止することができるようにした技術がある（例えば、特許文献１）。
【００１７】
【特許文献１】特開平１０−６６０８５号公報
【発明の開示】
【発明が解決しようとする課題】
【００１８】
しかしながら、図２および図３を用いて説明したように、GOPをまたぐ予測を禁止するClosed GOP構造を利用する編集方法では、GOPの開始部で予測方向に制限を加えることになり、通常用いられる圧縮方式であるOpen GOPと比較して、映像信号の圧縮効率が低下する。
【００１９】
また、特許文献１に記載の技術においては、つなぎ目付近のＢピクチャが表示されないため、その分の画像が欠落してしまうという問題がある。
【００２０】
本発明はこのような状況に鑑みてなされたものであり、高い圧縮効率が得られるLong GOP方式で圧縮された、双方向のフレーム間予測を用いた圧縮映像信号の編集を、VBV Bufferの制約を守って実現することができるようにするものである。
【課題を解決するための手段】
【００２１】
本発明の第１の情報処理装置は、第１の圧縮映像データおよび第２の圧縮映像データのうちの編集点付近の所定の範囲の映像データをデコードするデコード手段と、第１の圧縮映像データがデコード手段によりデコードされて生成された第１の非圧縮映像信号と、第２の圧縮映像データがデコード手段によりデコードされて生成された第２の非圧縮映像信号とを、編集点で接続し、第３の非圧縮映像信号を生成する接続手段と、接続手段により接続されて生成された第３の非圧縮映像信号をエンコードして、第３の圧縮映像データを生成するエンコード手段と、編集点付近以外の所定の範囲の第１の圧縮映像データおよび編集点付近以外の所定の範囲の第２の圧縮映像データと、エンコード手段によりエンコードされて生成された、第３の圧縮映像データとを接続して、圧縮符号化された編集映像データを生成する編集映像データ生成手段と、デコード手段、接続手段、エンコード手段、および、編集映像データ生成手段が実行する処理を制御する制御手段とを備え、制御手段は、第３の圧縮映像データのうちのいずれかのフレーム内符号化画像、または、フレーム間順方向予測符号化画像より、画像表示順で時間的に後ろとなる部分のピクチャタイプが、第１の圧縮映像データおよび第２の圧縮映像データの対応するピクチャタイプから変更されないように、エンコード手段によるエンコード処理を制御することを特徴とする。
【００２２】
制御手段には、第３の非圧縮映像データのうち、画像表示順で最も時間的に後ろに位置するフレーム内符号化画像、または、フレーム間順方向予測符号化画像より後ろのピクチャタイプが、第１の圧縮映像データおよび第２の圧縮映像データの対応するピクチャタイプから変更されないように、エンコード手段によるエンコード処理を制御させるようにすることができる。
【００２３】
制御手段には、編集点付近以外の所定の範囲の第２の圧縮映像データの先頭のピクチャであって、第３の圧縮映像データと接続される第１のピクチャがフレーム内符号化画像となるように、デコード手段によりデコードされる所定の範囲を決定させるようにすることができ、第１のピクチャの発生符号量の情報を取得させるとともに、編集点付近以外の所定の範囲の第２の圧縮映像データのうち、時間的に２番目に位置するフレーム内符号化画像、または、フレーム間順方向予測符号化画像である第２のピクチャのオキュパンシに関する情報を取得させるようにすることができ、編集映像データ生成手段により生成される編集映像データのうち、第１のピクチャの次に位置するフレーム内符号化画像、または、フレーム間順方向予測符号化画像である第３のピクチャのオキュパンシが、第２のピクチャのオキュパンシと同一になるように、エンコード手段によるエンコード処理を制御させるようにすることができる。
【００２４】
制御手段には、編集点付近以外の所定の範囲の第２の圧縮映像データの先頭のピクチャであって、第３の圧縮映像データと接続される第１のピクチャがフレーム内符号化画像となるように、デコード手段によりデコードされる所定の範囲を決定させるようにすることができ、符号化順で、第３の圧縮映像データのうち、最後に連続するフレーム間双方向予測符号化画像の前に、第１のピクチャが配置されるように、編集映像データ生成手段による編集映像データの生成を制御させるようにすることができる。
【００２５】
本発明の第１の情報処理方法は、第１の圧縮映像データおよび第２の圧縮映像データのうちの編集点付近の所定の範囲の映像データのデコードを制御するデコード制御ステップと、デコード制御ステップの処理によりデコードが制御されて第１の圧縮映像データから生成された第１の非圧縮映像信号と、デコード制御ステップの処理によりデコードが制御されて第２の圧縮映像データから生成された第２の非圧縮映像信号との、編集点における接続を制御し、第３の非圧縮映像信号の生成を制御する接続制御ステップと、接続制御ステップの処理により生成が制御された第３の非圧縮映像信号のうちのいずれかのフレーム内符号化画像、または、フレーム間順方向予測符号化画像より、画像表示順で時間的に後ろとなる部分のピクチャタイプが、第１の圧縮映像データおよび第２の圧縮映像データの対応するピクチャタイプから変更されないように、第３の非圧縮映像信号のエンコードを制御して、第３の圧縮映像データの生成を制御するエンコード制御ステップと、編集点付近以外の所定の範囲の第１の圧縮映像データおよび編集点付近以外の所定の範囲の第２の圧縮映像データと、エンコード制御ステップの処理によりエンコードが制御されて生成された、第３の圧縮映像データとの接続を制御して、圧縮符号化された編集映像データの生成を制御する編集映像データ生成制御ステップとを含むことを特徴とする。
【００２６】
本発明の第１の記録媒体に記録されているプログラムは、第１の圧縮映像データおよび第２の圧縮映像データのうちの編集点付近の所定の範囲の映像データのデコードを制御するデコード制御ステップと、デコード制御ステップの処理によりデコードが制御されて第１の圧縮映像データから生成された第１の非圧縮映像信号と、デコード制御ステップの処理によりデコードが制御されて第２の圧縮映像データから生成された第２の非圧縮映像信号との、編集点における接続を制御し、第３の非圧縮映像信号の生成を制御する接続制御ステップと、接続制御ステップの処理により生成が制御された第３の非圧縮映像信号のうちのいずれかのフレーム内符号化画像、または、フレーム間順方向予測符号化画像より、画像表示順で時間的に後ろとなる部分のピクチャタイプが、第１の圧縮映像データおよび第２の圧縮映像データの対応するピクチャタイプから変更されないように、第３の非圧縮映像信号のエンコードを制御して、第３の圧縮映像データの生成を制御するエンコード制御ステップと、編集点付近以外の所定の範囲の第１の圧縮映像データおよび編集点付近以外の所定の範囲の第２の圧縮映像データと、エンコード制御ステップの処理によりエンコードが制御されて生成された、第３の圧縮映像データとの接続を制御して、圧縮符号化された編集映像データの生成を制御する編集映像データ生成制御ステップとを含むことを特徴とする処理をコンピュータに実行させる。
【００２７】
本発明の第１のプログラムは、第１の圧縮映像データおよび第２の圧縮映像データのうちの編集点付近の所定の範囲の映像データのデコードを制御するデコード制御ステップと、デコード制御ステップの処理によりデコードが制御されて第１の圧縮映像データから生成された第１の非圧縮映像信号と、デコード制御ステップの処理によりデコードが制御されて第２の圧縮映像データから生成された第２の非圧縮映像信号との、編集点における接続を制御し、第３の非圧縮映像信号の生成を制御する接続制御ステップと、接続制御ステップの処理により生成が制御された第３の非圧縮映像信号のうちのいずれかのフレーム内符号化画像、または、フレーム間順方向予測符号化画像より、画像表示順で時間的に後ろとなる部分のピクチャタイプが、第１の圧縮映像データおよび第２の圧縮映像データの対応するピクチャタイプから変更されないように、第３の非圧縮映像信号のエンコードを制御して、第３の圧縮映像データの生成を制御するエンコード制御ステップと、編集点付近以外の所定の範囲の第１の圧縮映像データおよび編集点付近以外の所定の範囲の第２の圧縮映像データと、エンコード制御ステップの処理によりエンコードが制御されて生成された、第３の圧縮映像データとの接続を制御して、圧縮符号化された編集映像データの生成を制御する編集映像データ生成制御ステップとを含むことを特徴とする処理をコンピュータに実行させる。
【００２８】
本発明の第１の情報処理装置および情報処理方法、並びに、プログラムにおいては、第１の圧縮映像データおよび第２の圧縮映像データのうちの編集点付近の所定の範囲の映像データがデコードされ、デコードされて第１の圧縮映像データから生成された第１の非圧縮映像信号と、デコードされて第２の圧縮映像データから生成された第２の非圧縮映像信号とが、編集点で接続されて、第３の非圧縮映像信号が生成され、第３の非圧縮映像信号のうちのいずれかのフレーム内符号化画像、または、フレーム間順方向予測符号化画像より、画像表示順で時間的に後ろとなる部分のピクチャタイプが、第１の圧縮映像データおよび第２の圧縮映像データの対応するピクチャタイプから変更されないように、第３の非圧縮映像信号がエンコードされ、編集点付近以外の所定の範囲の第１の圧縮映像データおよび編集点付近以外の所定の範囲の第２の圧縮映像データと、第３の圧縮映像データとが接続されて編集映像データが生成される。
【００２９】
本発明の第２の情報処理装置は、第１の圧縮映像データが編集点付近の所定の範囲でデコードされて生成された第１の非圧縮映像信号と、第２の圧縮映像データが編集点付近の所定の範囲でデコードされて生成された第２の非圧縮映像信号とが、編集点で接続されて生成された第３の非圧縮映像信号を、エンコードして第３の圧縮映像データを生成するエンコード手段と、第３の圧縮映像データのうちのいずれかのフレーム内符号化画像、または、フレーム間順方向予測符号化画像より、画像表示順で時間的に後ろとなる部分のピクチャタイプが、第１の圧縮映像データおよび第２の圧縮映像データの対応するピクチャタイプから変更されないように、エンコード手段によるエンコード処理を制御する制御手段とを備えることを特徴とする。
【００３０】
編集点付近以外の所定の範囲の第１の圧縮映像データおよび編集点付近以外の所定の範囲の第２の圧縮映像データと、エンコード手段によりエンコードされて生成された、第３の圧縮映像データとを接続して、圧縮符号化された編集映像データを生成する編集映像データ生成手段を更に備えさせるようにすることができ、制御手段には、編集映像データ生成手段を更に制御させるようにすることができる。
【００３１】
本発明の第２の情報処理方法は、第１の圧縮映像データが編集点付近の所定の範囲でデコードされて生成された第１の非圧縮映像信号と、第２の圧縮映像データが編集点付近の所定の範囲でデコードされて生成された第２の非圧縮映像信号とが、編集点で接続されて生成された第３の非圧縮映像信号を、エンコードして第３の圧縮映像データを生成するエンコードステップと、第３の圧縮映像データのうちのいずれかのフレーム内符号化画像、または、フレーム間順方向予測符号化画像より、画像表示順で時間的に後ろとなる部分のピクチャタイプが、第１の圧縮映像データおよび第２の圧縮映像データの対応するピクチャタイプから変更されないように、エンコードステップにおけるエンコード処理を制御する制御ステップとを含むことを特徴とする。
【００３２】
本発明の第２の情報処理装置および情報処理方法においては、第１の圧縮映像データが編集点付近の所定の範囲でデコードされて生成された第１の非圧縮映像信号と、第２の圧縮映像データが編集点付近の所定の範囲でデコードされて生成された第２の非圧縮映像信号とが、編集点で接続されて生成された第３の非圧縮映像信号が、エンコードされて、第３の圧縮映像データが生成され、第３の圧縮映像データのうちのいずれかのフレーム内符号化画像、または、フレーム間順方向予測符号化画像より、画像表示順で時間的に後ろとなる部分のピクチャタイプが、第１の圧縮映像データおよび第２の圧縮映像データの対応するピクチャタイプから変更されないように、エンコード手段によるエンコード処理が制御される。
【発明の効果】
【００３３】
本発明によれば、第１の圧縮映像データおよび第２の圧縮映像データを編集点で接続することができ、特に、編集点付近のデータのみをデコードして編集点で接続し、いずれかのフレーム内符号化画像、または、フレーム間順方向予測符号化画像より、画像表示順で時間的に後ろとなる部分のピクチャタイプが、第１の圧縮映像データおよび第２の圧縮映像データの対応するピクチャタイプから変更されないようにエンコードされるので、OpenGOPで圧縮符号化されたデータを、画質を劣化させたりVBVバッファを破綻させることなく編集することができる。
【００３４】
また、他の本発明によれば、第１の圧縮映像データおよび第２の圧縮映像データを編集点で接続してエンコードすることができ、特に、編集点で接続されたデータのうちのいずれかのフレーム内符号化画像、または、フレーム間順方向予測符号化画像より、画像表示順で時間的に後ろとなる部分のピクチャタイプが、第１の圧縮映像データおよび第２の圧縮映像データの対応するピクチャタイプから変更されないようにエンコードされるので、OpenGOPで圧縮符号化されたデータを、画質を劣化させたりVBVバッファを破綻させることなく編集することができる。
【発明を実施するための最良の形態】
【００３５】
以下に本発明の実施の形態を説明するが、請求項に記載の構成要件と、発明の実施の形態における具体例との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする具体例が、発明の実施の形態に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、構成要件に対応するものとして、ここには記載されていない具体例があったとしても、そのことは、その具体例が、その構成要件に対応するものではないことを意味するものではない。逆に、具体例が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その具体例が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００３６】
さらに、この記載は、発明の実施の形態に記載されている具体例に対応する発明が、請求項に全て記載されていることを意味するものではない。換言すれば、この記載は、発明の実施の形態に記載されている具体例に対応する発明であって、この出願の請求項には記載されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加される発明の存在を否定するものではない。
【００３７】
請求項１に記載の情報処理装置（例えば、図４の編集装置１）は、第１の圧縮映像データと第２の圧縮映像データとを接続して編集する処理を実行する情報処理装置であって、第１の圧縮映像データおよび第２の圧縮映像データのうちの編集点付近の所定の範囲の映像データをデコードするデコード手段（例えば、図４のデコーダ２２およびデコーダ２３）と、第１の圧縮映像データがデコード手段によりデコードされて生成された第１の非圧縮映像信号と、第２の圧縮映像データがデコード手段によりデコードされて生成された第２の非圧縮映像信号とを、編集点で接続し、第３の非圧縮映像信号を生成する接続手段（例えば、図４のエフェクト／スイッチ２６）と、接続手段により接続されて生成された第３の非圧縮映像信号をエンコードして、第３の圧縮映像データを生成するエンコード手段（例えば、図４のエンコーダ２７）と、編集点付近以外の所定の範囲の第１の圧縮映像データおよび編集点付近以外の所定の範囲の第２の圧縮映像データと、エンコード手段によりエンコードされて生成された、第３の圧縮映像データとを接続して、圧縮符号化された編集映像データを生成する編集映像データ生成手段（例えば、図４のストリームスプライサ２５）と、デコード手段、接続手段、エンコード手段、および、編集映像データ生成手段が実行する処理を制御する制御手段（例えば、図４のＣＰＵ２０）とを備え、制御手段は、第３の圧縮映像データのうちのいずれかのフレーム内符号化画像（例えば、Ｉピクチャ）、または、フレーム間順方向予測符号化画像（例えば、Ｐピクチャ）より、画像表示順（ディスプレイオーダ）で時間的に後ろとなる部分のピクチャタイプが、第１の圧縮映像データおよび第２の圧縮映像データの対応するピクチャタイプから変更されないように、エンコード手段によるエンコード処理を制御することを特徴とする。
【００３８】
制御手段は、第３の非圧縮映像データのうち、画像表示順で最も時間的に後ろに位置するフレーム内符号化画像、または、フレーム間順方向予測符号化画像より後ろのピクチャタイプが、第１の圧縮映像データおよび第２の圧縮映像データの対応するピクチャタイプから変更されないように、エンコード手段によるエンコード処理を制御することができる。
【００３９】
制御手段は、編集点付近以外の所定の範囲の第２の圧縮映像データの先頭のピクチャであって、第３の圧縮映像データと接続される第１のピクチャ（例えば、図９のＩピクチャ４０、すなわち、Ｉピクチャ４７）がフレーム内符号化画像となるように、デコード手段によりデコードされる所定の範囲を決定することができ、第１のピクチャの発生符号量（例えば、図１１のＢで示される発生符号量）の情報を取得するとともに、編集点付近以外の所定の範囲の第２の圧縮映像データのうち、時間的に２番目に位置するフレーム内符号化画像、または、フレーム間順方向予測符号化画像である第２のピクチャ（例えば、図１０のＢピクチャ３９の次のＰピクチャ）のオキュパンシ（例えば、図１１のＩに示されるOccupancy）に関する情報を取得することができ、編集映像データ生成手段により生成される編集映像データのうち、第１のピクチャの次に位置するフレーム内符号化画像、または、フレーム間順方向予測符号化画像である第３のピクチャ（例えば、図１０のＰピクチャ８２）のオキュパンシ（例えば、図１１のＪに示されるOccupancy）が、第２のピクチャのオキュパンシと同一になるように、エンコード手段によるエンコード処理を制御することができる。
【００４０】
制御手段は、編集点付近以外の所定の範囲の第２の圧縮映像データの先頭のピクチャであって、第３の圧縮映像データと接続される第１のピクチャ（例えば、図９のＩピクチャ４０、すなわち、Ｉピクチャ４７）がフレーム内符号化画像となるように、デコード手段によりデコードされる所定の範囲を決定することができ、符号化順（コーディングオーダ）で、第３の圧縮映像データのうち、最後に連続するフレーム間双方向予測符号化画像（例えば、図１０のＢピクチャ７２，７３）の前に、第１のピクチャが配置されるように、編集映像データ生成手段による編集映像データの生成を制御することができる。
【００４１】
請求項５に記載の情報処理方法は、第１の圧縮映像データと第２の圧縮映像データとを接続して編集する処理を実行する情報処理装置の情報処理方法であって、第１の圧縮映像データおよび第２の圧縮映像データのうちの編集点付近の所定の範囲の映像データのデコードを制御するデコード制御ステップ（例えば、図１２のステップＳ５の処理）と、デコード制御ステップの処理によりデコードが制御されて第１の圧縮映像データから生成された第１の非圧縮映像信号と、デコード制御ステップの処理によりデコードが制御されて第２の圧縮映像データから生成された第２の非圧縮映像信号との、編集点における接続を制御し、第３の非圧縮映像信号の生成を制御する接続制御ステップ（例えば、図１２のステップＳ６の処理）と、接続制御ステップの処理により生成が制御された第３の非圧縮映像信号のうちのいずれかのフレーム内符号化画像（例えば、Ｉピクチャ）、または、フレーム間順方向予測符号化画像（例えば、Ｐピクチャ）より、画像表示順（ディスプレイオーダ）で時間的に後ろとなる部分のピクチャタイプが、第１の圧縮映像データおよび第２の圧縮映像データの対応するピクチャタイプから変更されないように、第３の非圧縮映像信号のエンコードを制御して、第３の圧縮映像データの生成を制御するエンコード制御ステップ（例えば、図１２のステップＳ７および図１３を用いて説明した処理）と、編集点付近以外の所定の範囲の第１の圧縮映像データおよび編集点付近以外の所定の範囲の第２の圧縮映像データと、エンコード制御ステップの処理によりエンコードが制御されて生成された、第３の圧縮映像データとの接続を制御して、圧縮符号化された編集映像データの生成を制御する編集映像データ生成制御ステップ（例えば、図１２のステップＳ８および図１５を用いて説明した処理）とを含むことを特徴とする。
【００４２】
また、請求項６に記載の記録媒体に記録されているプログラム、および、請求項７に記載のプログラムにおいても、各ステップが対応する実施の形態（但し一例）は、請求項５に記載の情報処理方法と同様である。
【００４３】
請求項８に記載の情報処理装置（例えば、図４の編集装置１）は、第１の圧縮映像データが編集点付近の所定の範囲でデコードされて生成された第１の非圧縮映像信号と、第２の圧縮映像データが編集点付近の所定の範囲でデコードされて生成された第２の非圧縮映像信号とが、編集点で接続されて生成された第３の非圧縮映像信号を、エンコードして第３の圧縮映像データを生成するエンコード手段（例えば、図４のエンコーダ２７）と、
第３の圧縮映像データのうちのいずれかのフレーム内符号化画像、または、フレーム間順方向予測符号化画像より、画像表示順で時間的に後ろとなる部分のピクチャタイプが、第１の圧縮映像データおよび第２の圧縮映像データの対応するピクチャタイプから変更されないように、エンコード手段によるエンコード処理を制御する制御手段（例えば、図４のＣＰＵ２０）とを備えることを特徴とする。
【００４４】
編集点付近以外の所定の範囲の第１の圧縮映像データおよび編集点付近以外の所定の範囲の第２の圧縮映像データと、エンコード手段によりエンコードされて生成された、第３の圧縮映像データとを接続して、圧縮符号化された編集映像データを生成する編集映像データ生成手段（例えば、図４のストリームスプライサ２５）を更に備え、制御手段は、編集映像データ生成手段を更に制御することを特徴とする。
【００４５】
請求項１０に記載の情報処理方法は、第１の圧縮映像データが編集点付近の所定の範囲でデコードされて生成された第１の非圧縮映像信号と、第２の圧縮映像データが編集点付近の所定の範囲でデコードされて生成された第２の非圧縮映像信号とが、編集点で接続されて生成された第３の非圧縮映像信号を、エンコードして第３の圧縮映像データを生成するエンコードステップ（例えば、図１２のステップＳ７の処理）と、第３の圧縮映像データのうちのいずれかのフレーム内符号化画像（例えば、Ｉピクチャ）、または、フレーム間順方向予測符号化画像（例えば、Ｐピクチャ）より、画像表示順（ディスプレイオーダ）で時間的に後ろとなる部分のピクチャタイプが、第１の圧縮映像データおよび第２の圧縮映像データの対応するピクチャタイプから変更されないように、エンコードステップにおけるエンコード処理を制御する制御ステップ（例えば、図１３を用いて説明した処理）とを含むことを特徴とする情報処理方法。
【００４６】
以下、図を参照して、本発明の実施の形態について説明する。
【００４７】
図４は本発明を適用した編集装置１のハードウェア構成を示すブロック図である。
【００４８】
ＣＰＵ（Central Processing Unit）１１は、ノースブリッジ１２に接続され、例えば、ＨＤＤ（Hard disk Drive）１６に記憶されているデータの読み出しなどの処理を制御したり、ＣＰＵ２０が実行する編集処理を制御するためのコマンドを生成し、出力する。ノースブリッジ１２は、ＰＣＩバス（Peripheral Component Interconnect/Interface）１４に接続され、例えば、ＣＰＵ１１の制御に基づいて、サウスブリッジ１５を介して、ＨＤＤ１６に記憶されているデータの供給を受けて、ＰＣＩバス１４、ＰＣＩブリッジ１７を介して、メモリ１８に供給する。また、ノースブリッジ１２は、メモリ１３とも接続されており、ＣＰＵ１１の処理に必要なデータを授受する。
【００４９】
メモリ１３は、ＣＰＵ１１が実行する処理に必要なデータを保存する。サウスブリッジ１５は、ＨＤＤ１６のデータの書き込みおよび読み出しを制御する。ＨＤＤ１６には、圧縮符号化された編集用の素材が記憶されている。
【００５０】
ＰＣＩブリッジ１７は、メモリ１８のデータの書き込みおよび読み出しを制御したり、デコーダ２２乃至２４、または、ストリームスプライサ２５への圧縮符号化データの供給を制御するとともに、ＰＣＩバス１４およびコントロールバス１９のデータの授受を制御する。メモリ１８は、ＰＣＩブリッジ１７の制御に基づいて、ＨＤＤ１６により読み出された、編集用素材である圧縮符号化データや、ストリームスプライサ２５から供給される編集後の圧縮符号化データを記憶する。
【００５１】
ＣＰＵ２０は、ノースブリッジ１２、ＰＣＩバス１４、ＰＣＩブリッジ１７、および、コントロールバス１９を介して、ＣＰＵ１１から供給されたコマンドにしたがって、ＰＣＩブリッジ１７、デコーダ２２乃至２４、ストリームスプライサ２５、エフェクト／スイッチ２６、および、エンコーダ２７が実行する処理を制御する。メモリ２１は、ＣＰＵ２０の処理に必要なデータを記憶する。
【００５２】
デコーダ２２乃至デコーダ２４は、ＣＰＵ２０の制御に基づいて、供給された圧縮符号化データをデコードし、非圧縮の映像信号を出力する。ストリームスプライサ２５は、ＣＰＵ２０の制御に基づいて、供給された圧縮映像データを、所定のフレームで結合する。また、デコーダ２２乃至デコーダ２４は、編集装置１に含まれない独立した装置として設けられていても良い。例えば、デコーダ２４が、独立した装置として設けられている場合、デコーダ２４は、後述する処理により編集されて生成された圧縮編集映像データの供給を受け、復号し、出力することができるようになされる。
【００５３】
エフェクト／スイッチ２６は、ＣＰＵ２０の制御に基づいて、デコーダ２２またはデコーダ２３から供給される、非圧縮の映像信号出力を切り替える、すなわち、供給された非圧縮の映像信号を所定のフレームで結合するとともに、必要に応じて、所定の範囲にエフェクトを施して、エンコーダ２７に供給する。エンコーダ２７は、ＣＰＵ２０の制御に基づいて、供給された非圧縮の映像信号をエンコードして、圧縮符号化された圧縮映像データを、ストリームスプライサ２５に出力する。
【００５４】
次に、編集装置１の動作について説明する。
【００５５】
ＨＤＤ１６には、図５に示されるLong GOPのOpen GOP方式で圧縮された圧縮素材映像１および圧縮素材映像２のデータが記憶されている。図５において、圧縮された圧縮素材映像１および圧縮素材映像２は、表示されるピクチャ順（display order）で記載されている。
【００５６】
ＣＰＵ１１は、サウスブリッジ１５を制御して、図示しない操作入力部から供給されたユーザの操作入力を基に、ＨＤＤ１６から、圧縮符号化された圧縮素材映像１のデータおよび圧縮素材映像２のデータを読み出させ、ノースブリッジ１２、ＰＣＩバス１４、および、ＰＣＩブリッジ１７を介して、メモリ１８に供給させて記憶させるとともに、編集点を示す情報と、編集開始を示すコマンドを、ノースブリッジ１２、ＰＣＩバス１４、ＰＣＩブリッジ１７、および、コントロールバス１９を介して、ＣＰＵ２０に供給する。
【００５７】
ＣＰＵ２０は、ＣＰＵ１１から供給された編集点を示す情報を基に、圧縮符号化された圧縮素材映像１のデータおよび圧縮素材映像２のデータのうち、再エンコードを行う範囲を決定する。そして、ＣＰＵ２０は、ＰＣＩブリッジ１７を制御して、メモリ１８に記憶されている圧縮符号化された圧縮素材映像１のデータのうち、再エンコードを行う範囲のピクチャと、参照する必要があるピクチャに対応する圧縮素材映像１のデータをデコーダ２２に供給させるとともに、圧縮素材映像２のデータのうち、再エンコードを行う範囲のピクチャと、参照する必要があるピクチャに対応する圧縮素材映像２のデータをデコーダ２３に供給させる。
【００５８】
すなわち、この時、圧縮素材映像１のうち、Ｂピクチャ３６およびＢピクチャ３７が再エンコードを行う範囲に含まれている場合、Ｂピクチャ３６およびＢピクチャ３７をデコードするために、Ｉピクチャ３１、および、Ｐピクチャ３２乃至Ｐピクチャ３５もデコードされる。また、同様に、圧縮素材映像２のうち、Ｂピクチャ３８およびＢピクチャ３９が再エンコードを行う範囲に含まれている場合、Ｂピクチャ３８およびＢピクチャ３９をデコードするために、Ｉピクチャ４０もデコードされる。
【００５９】
また、このとき、ＣＰＵ２０は、ＰＣＩブリッジ１７を制御して、メモリ１８に記憶されている圧縮符号化された圧縮素材映像１および圧縮素材映像２のデータのうちの再エンコードを行わない範囲のピクチャを、ストリームスプライサ２５に供給させる。
【００６０】
ＣＰＵ２０は、デコーダ２２およびデコーダ２３を制御して、供給された圧縮符号化されたデータをデコードさせる。
【００６１】
デコーダ２２およびデコーダ２３は、ＣＰＵ２０の制御に基づいて、供給されたデータをデコードし、復号されて得られた素材映像１および素材映像２の信号をエフェクト／スイッチ２６に供給する。エフェクト／スイッチ２６は、ＣＰＵ２０の制御に基づいて、所定のカット（Cut）編集点（スプライス点）で、非圧縮の復号素材映像１と復号素材映像２の信号を接続して、必要に応じて、エフェクトを施し、再エンコード用の非圧縮の編集映像信号を生成し、再エンコードに必要な再エンコード用参照画像（図５においては、Ｂピクチャ４２およびＢピクチャ４３のエンコードに必要なＰピクチャ４１に対応する画像データ）とともに、エンコーダ２７に供給する。
【００６２】
エンコーダ２７は、ＣＰＵ２０の制御に基づいて、エフェクト／スイッチ２６から供給された、再エンコード用の非圧縮の編集映像信号をエンコードする。
【００６３】
そのとき、エンコーダ２７は、図５に示されるように、双方向予測符号化を行うＢピクチャ４２およびＢピクチャ４３をエンコードするために、参照画として、一つ前のＰピクチャ４１を用いなければならない。また、ディスプレイオーダにおいて、再エンコードの最後のピクチャがＰピクチャとなるように、ピクチャタイプを決定することにより、再エンコードの最後のピクチャ以降のピクチャをエンコードのための参照画として用いなくてもよいようにすることができる。
【００６４】
換言すれば、再エンコード終了点がGOPの切れ目（すなわち、Ｂピクチャ以外）となるようなピクチャタイプで再エンコードを行うようにすることにより、編集用の圧縮素材映像データがOpenGOPであっても、再エンコードの最後のピクチャ以降のピクチャをエンコードのための参照画として用いる必要がなくなる。
【００６５】
そして、エンコーダ２７において再エンコードされた映像データは、ストリームスプライサ２５に供給される。ストリームスプライサ２５は、ＣＰＵ２０の制御に基づいて、ＰＣＩブリッジ１７から供給された、圧縮素材映像１および圧縮素材映像２のデータのうちの再エンコードを行わない範囲の圧縮素材映像１および圧縮素材映像２と、エンコーダ２７から供給されたエンコードされた映像データとを接続し、圧縮編集映像データを生成する。
【００６６】
具体的には、ストリームスプライサ２５は、ＣＰＵ２０の制御に基づいて、ＰＣＩブリッジ１７から供給された、圧縮素材映像１のＰピクチャ４６とエンコーダ２７から供給されたエンコードされた映像データのＢピクチャ４２とがディスプレイオーダで連続するように接続され、エンコーダ２７から供給されたエンコードされた映像データのＰピクチャ４５と、ＰＣＩブリッジ１７から供給された、圧縮素材映像２のＩピクチャ４７とがディスプレイオーダで連続するように接続されるように、ストリームをつなぎ合わせる。
【００６７】
そして、ストリームスプライサ２５は、ＣＰＵ２０の制御に基づいて、作成した圧縮編集映像データをＰＣＩブリッジ１７に供給して、メモリ１８に保存させるとともに、デコーダ２４に供給してデコードさせ、編集結果確認用のモニタなどに出力させて表示させたり、デコードされて生成されたベースバンド信号を、他の装置に出力させる。
【００６８】
図示しない操作入力部から、編集されて生成された圧縮編集映像データの保存が指令された場合、ＣＰＵ１１は、ＰＣＩブリッジ１７を制御して、メモリ１８に保存されている圧縮編集映像データを読み出させ、ＰＣＩバス１４およびノースブリッジ１２を介して、サウスブリッジ１５に供給させるとともに、サウスブリッジ１５を制御して、供給された圧縮編集映像データをＨＤＤ１６に供給させて保存させる。
【００６９】
実際のエンコードはコーディングオーダ（coding order）で行われ、エンコーダ２７においてエンコードされた圧縮映像も、コーディングオーダで出力される。図５を用いて説明した場合に対応させて、圧縮された信号におけるピクチャの並びをコーディングオーダで示したものを図６に示す。
【００７０】
編集対象である圧縮素材映像１および編集対象である圧縮素材映像２のそれぞれのデータにおいて、編集点を含む再エンコード範囲が決定され、再エンコード範囲の圧縮素材映像１および圧縮素材映像２がデコードされて、非圧縮の素材映像１の信号および素材映像２の信号が生成される。そして、カット（Cut）編集点において、非圧縮の素材映像１の信号と素材映像２とが接続されて、接続された素材映像１および素材映像２が、最後のピクチャがＰピクチャ（またはＩピクチャ）となるように部分再エンコードされて、圧縮映像データが生成され、再エンコードしない部分の圧縮映像データと接続されて、圧縮された編集映像データが生成される。
【００７１】
接続された素材映像１および素材映像２が部分再エンコードされて生成された圧縮映像データと、再エンコードしない部分の圧縮映像データとは、再エンコードしない部分の圧縮素材映像１のデータにおいて、コーディングオーダで最後のピクチャであって、ディスプレイオーダ１４番目のピクチャであるＢ13ピクチャと、再エンコードされて生成された圧縮映像データにおいて、コーディングオーダで先頭のピクチャであって、ディスプレイオーダ３番目のピクチャであるＩ2ピクチャとが接続される。そして、再エンコードされて生成された圧縮映像データにおいて、コーディングオーダで最後のピクチャであって、ディスプレイオーダ１６番目のピクチャであるＰ15ピクチャ（Ｐピクチャ４５）と、再エンコードしない部分の圧縮素材映像２において、コーディングオーダで先頭のピクチャであって、データのディスプレイオーダ３番目のピクチャであるＩ0ピクチャ（Ｉピクチャ４７）とが接続される。すなわち、接続された素材映像１および素材映像２が部分再エンコードされて生成された圧縮映像データと、再エンコードしない部分の圧縮映像データとは、GOPの切り替え部分に関係なく接続されて、圧縮された編集映像データが生成される。
【００７２】
このように、ディスプレイオーダにおいて、再エンコードの最後のピクチャであるＰ15ピクチャ（Ｐピクチャ４５）は、コーディングオーダでも再エンコードの最後のピクチャとなる。このようにして、ピクチャタイプを決定することにより、再エンコードの最後のピクチャ以降のピクチャをエンコードのための参照画として用いなくてもよいようにすることができる。
【００７３】
このとき、ＶＢＶ(Video Buffering Verifier)バッファも考慮して再エンコードを行う必要がある。図７を用いて、編集を行う場合のVBVバッファについて説明する。
【００７４】
エンコードを行うにあたっては、VBVバッファがオーバーフロー（over flow）、または、アンダーフロー（under flow）しないようにそれぞれのピクチャに発生符号量を割り当てることで、後段のデコーダが正常にデコードを行えるように制御されなくてはならない。特に、編集のための部分的な再エンコードを行う場合、部分再エンコードしない部分に関して（特に、再エンコードを行う部分と再エンコードを行わない部分の接続点付近において）も、VBVバッファがオーバーフローまたはアンダーフローしないように再エンコードを行う必要がある。
【００７５】
再エンコードされた圧縮映像データのバッファの状態により影響を受けるのは、再エンコードされた圧縮映像信号の後に結合される再エンコードしない部分の圧縮映像データである。この再エンコードしない部分の圧縮映像データが、オーバーフローまたはアンダーフローしないための十分条件は、再エンコードされた圧縮映像信号の後に結合される再エンコードしない部分の圧縮編集映像データの最初のＩピクチャまたはＰピクチャ、すなわち、図７において、Ａで示されるＩピクチャに続く、図７においてＤで示されるＰピクチャのOccupancy（オキュパンシ）が、圧縮素材映像２データの図７においてＢで示されるＩピクチャ次のＩピクチャまたはＰピクチャ、すなわち、図７において、Ｃで示されるＰピクチャのOccupancyに等しくなることである。よって再エンコードを行う場合は、上記条件を満たす値になるように、再エンコード終了時点（図７のＡで示される部分）のバッファのOccupancyを制御する必要がある。
【００７６】
このようにすることにより、VBVバッファの破綻をできるだけ防止するようにすることができる。
【００７７】
しかしながら、Ａで示されるＩピクチャおよびその次のＩまたはＰピクチャの発生符号量によっては、Ａで示されるＩピクチャのOccupancyを制御して、図７を用いて説明したように、Ｄで示されるＰピクチャのOccupancyが、圧縮素材映像２データの図７においてＣで示されるＰピクチャのOccupancyに等しくなるようにすることができず、VBVバッファが破綻してしまう恐れがある。
【００７８】
図８を用いて、ＶＢＶバッファが破綻してしまう場合について説明する。
【００７９】
一般的に、Ｉピクチャの発生符号量およびＰピクチャの発生符号量は、Ｂピクチャの発生符号量よりも大きい。例えば、再エンコードして生成された圧縮映像データの後に結合される、再エンコードしない圧縮素材映像２のデータの先頭のＩピクチャであるＩ2ピクチャの発生符号量Ｂ、および、次のＰピクチャであるＰ5ピクチャの発生符号量Ｃが大きい場合について考える。
【００８０】
このとき、編集されて生成される圧縮編集映像のうちの、部分エンコードされた部分に続く部分エンコードされない部分の先頭のＩピクチャに続くＰピクチャにおけるＤで示される部分のOccupancyが、編集前の圧縮素材映像２データのＣで示される部分のOccupancyに等しくなるように、Ａで示されるＩピクチャのOccupancyを制御しようとしても、連続するＩピクチャとＰピクチャの符号発生量がいずれも多いために、図中Ｄに示されるように、バッファをアンダーフローしてしまう。この例では、編集後のＩ0ピクチャにおけるＡで示されるＩピクチャのOccupancyは、ほぼ、バッファの最大値であるため、再エンコード部分において、発生符号量をどのように制御しても、図中Ｄに示される部分でバッファのアンダーフローを避けることができない。すなわち、図５および図６を用いて説明した方法では、デコーダでの復号処理を１００％保障することができない。
【００８１】
そこで、ＣＰＵ２０は、VBVバッファが破綻しない条件を守って再エンコードが行われるように、デコーダ２２およびデコーダ２３、ストリームスプライサ２５、エフェクト／スイッチ２６、並びに、エンコーダ２７が実行する処理を制御するようにすることができる。
【００８２】
次に、Long GOPのOpen GOP方式で圧縮された映像信号において、VBVバッファが破綻しない条件を守って編集する方法について説明する。
【００８３】
ＣＰＵ１１は、サウスブリッジ１５を制御して、図示しない操作入力部から供給されたユーザの操作入力を基に、ＨＤＤ１６から、圧縮符号化された圧縮素材映像１のデータおよび圧縮素材映像２のデータを読み出させ、ノースブリッジ１２、ＰＣＩバス１４、および、ＰＣＩブリッジ１７を介して、メモリ１８に供給させて記憶させるとともに、編集点を示す情報と、編集開始を示すコマンドを、ノースブリッジ１２、ＰＣＩバス１４、ＰＣＩブリッジ１７、および、コントロールバス１９を介して、ＣＰＵ２０に供給する。
【００８４】
ＣＰＵ２０は、ＣＰＵ１１から供給された編集点を示す情報を基に、圧縮符号化された圧縮素材映像１のデータおよび圧縮素材映像２のデータのうち、再エンコードを行う範囲を決定する。
【００８５】
具体的には、ＣＰＵ２０は、圧縮素材映像１において、再エンコードする区間の開始点を、部分再エンコードされた圧縮映像の前に結合する、再エンコードしない部分の圧縮映像のディスプレイオーダで最後のピクチャのピクチャタイプが、ＩピクチャまたはＰピクチャになるように決定する。
【００８６】
すなわち、ＣＰＵ２０は、例えば、図９に示されるように、再エンコードしない部分の圧縮素材映像１のディスプレイオーダで最後のピクチャのピクチャタイプがＰピクチャ４６になるように、再エンコードする区間の開始点を、圧縮素材映像１において、Ｐピクチャ３５の次のＢピクチャ３６に決定する。換言すれば、ＣＰＵ２０は、再エンコードしない部分の圧縮映像がGOPの終了位置となるようにすることにより、エンコード処理が行いやすいようにすることができる。
【００８７】
また、ＣＰＵ２０は、圧縮素材映像２において、再エンコードする区間の終了点を、部分再エンコードされた圧縮映像の後に結合する、再エンコードしない部分の圧縮映像のディスプレイオーダで最初のピクチャのピクチャタイプがＩピクチャになるように決定する。
【００８８】
すなわち、ＣＰＵ２０は、例えば、図９に示されるように、再エンコードしない部分の圧縮素材映像２のディスプレイオーダで最初のピクチャのピクチャタイプがＩピクチャ４７になるように、再エンコードする区間の終了点を、圧縮素材映像２において、Ｉピクチャ４０の前のＢピクチャ３９に決定する。
【００８９】
そして、ＣＰＵ２０は、ＰＣＩブリッジ１７を制御して、メモリ１８に記憶されている圧縮符号化された圧縮素材映像１のデータのうち、再エンコードを行う範囲のピクチャと、Ｂピクチャ３６およびＢピクチャ３７をデコードするために参照する必要があるピクチャである、Ｉピクチャ３１、Ｐピクチャ３２、Ｐピクチャ３３、Ｐピクチャ３４、および、Ｐピクチャ３５のデータをデコーダ２２に供給させるとともに、圧縮素材映像２のデータのうち、再エンコードを行う範囲のピクチャと、Ｂピクチャ３８およびＢピクチャ３９をデコードするために参照する必要があるピクチャである、Ｉピクチャ４０のデータをデコーダ２３に供給させる。
【００９０】
また、このとき、ＣＰＵ２０は、ＰＣＩブリッジ１７を制御して、メモリ１８に記憶されている圧縮符号化された圧縮素材映像１および圧縮素材映像２のデータのうちの再エンコードを行わない範囲のピクチャを、ストリームスプライサ２５に供給させる。
【００９１】
ＣＰＵ２０は、デコーダ２２およびデコーダ２３を制御して、供給された圧縮符号化されたデータをデコードさせる。
【００９２】
デコーダ２２およびデコーダ２３は、ＣＰＵ２０の制御に基づいて、供給されたデータをデコードし、復号されて得られた素材映像１および素材映像２の信号をエフェクト／スイッチ２６に供給する。エフェクト／スイッチ２６は、ＣＰＵ２０の制御に基づいて、所定のカット（Cut）編集点（スプライス点）で、非圧縮の復号素材映像１と復号素材映像２の信号を接続して、必要に応じて、エフェクトを施し、再エンコード用の非圧縮の編集映像信号を生成し、再エンコードに必要な再エンコード用参照画像（図９においては、Ｂピクチャ４２およびＢピクチャ４３のエンコードに必要なＰピクチャ４１、並びに、Ｂピクチャ７２およびＢピクチャ７３のエンコードに必要なＩピクチャ７４に対応する画像データ）とともに、エンコーダ２７に供給する。
【００９３】
ＣＰＵ２０は、圧縮素材映像２のうち、再エンコードを行う部分において、ディスプレイオーダで最後に位置する連続するＢピクチャの枚数ｎの情報を取得する。再エンコードしない部分の圧縮素材映像２のディスプレイオーダで最初のピクチャのピクチャタイプは、上述したように、Ｉピクチャになるように決定されているので、Ｂピクチャの枚数ｎは、すなわち、再エンコードしない部分の圧縮素材映像２のディスプレイオーダで最初のＩピクチャと、編集後にそのＩピクチャの直前に存在するＩピクチャまたはＰピクチャとの間にあるＢピクチャの枚数である。図９における場合では、Ｂピクチャの枚数ｎは、Ｂピクチャ３８およびＢピクチャ３９の２枚である。
【００９４】
更に、ＣＰＵ２０は、再エンコードしない部分の圧縮素材映像２のディスプレイオーダで最初のＩピクチャの直前に存在するＩピクチャまたはＰピクチャ、換言すれば、再エンコードする範囲の最後に存在するＩピクチャまたはＰピクチャのピクチャタイプの情報を取得する。図９における場合では、再エンコードしない部分の圧縮素材映像２のディスプレイオーダで最初のＩピクチャの直前に存在するＩピクチャまたはＰピクチャは、Ｐピクチャ６１である。
【００９５】
そして、ＣＰＵ２０は、エンコーダ２７が実行する処理において、再エンコード終了点付近のＢピクチャの枚数が編集前の圧縮素材映像２と同一となり、そのＢピクチャの直前のピクチャのピクチャタイプがＩピクチャまたはＰピクチャとなるように、エンコーダ２７を制御する。また、ＣＰＵ２０は、Ｂピクチャの直前のピクチャのピクチャタイプも、編集前の圧縮素材映像２と同一となるように制御すると好適である。
【００９６】
すなわち、ＣＰＵ２０は、図９における場合では、編集前の圧縮素材映像２のＢピクチャ３８およびＢピクチャ３９と、再エンコードにおけるＢピクチャ７２およびＢピクチャ７３のピクチャタイプがそろい、再エンコードにおけるＢピクチャ７２およびＢピクチャ７３の直前をＰピクチャ７１となるように、エンコーダ２７を制御する。
【００９７】
エンコーダ２７は、ＣＰＵ２０の制御に基づいて、エフェクト／スイッチ２６から供給された、再エンコード用の非圧縮の編集映像信号をエンコードする。
【００９８】
そして、エンコーダ２７において再エンコードされた映像データは、ストリームスプライサ２５に供給される。ストリームスプライサ２５は、ＣＰＵ２０の制御に基づいて、ＰＣＩブリッジ１７から供給された、圧縮素材映像１および圧縮素材映像２のデータのうちの再エンコードを行わない範囲の圧縮素材映像１および圧縮素材映像２と、エンコーダ２７から供給されたエンコードされた映像データとを接続し、圧縮編集映像データを生成する。
【００９９】
具体的には、ストリームスプライサ２５は、ＣＰＵ２０の制御に基づいて、ＰＣＩブリッジ１７から供給された、圧縮素材映像１のＰピクチャ４６とエンコーダ２７から供給されたエンコードされた映像データのＢピクチャ４２とがディスプレイオーダで連続するように接続され、エンコーダ２７から供給されたエンコードされた映像データのＢピクチャ７３と、ＰＣＩブリッジ１７から供給された、圧縮素材映像２のＩピクチャ４７とがディスプレイオーダで連続するように接続されるように、ストリームをつなぎ合わせる。
【０１００】
実際のエンコードはコーディングオーダで行われ、エンコーダ２７においてエンコードされた圧縮映像も、コーディングオーダで出力される。図９を用いて説明した場合に対応させて、圧縮された信号におけるピクチャの並びをコーディングオーダで示したものを図１０に示す。
【０１０１】
すなわち、ストリームスプライサ２５は、ＣＰＵ２０の制御に基づいて、再エンコードされた部分と再エンコードされていない部分の接続点において、エンコードされた映像データにおいて、コーディングオーダでＰピクチャ７１に続くＢピクチャ８１と、圧縮素材映像２のＩピクチャ４７（再エンコードされていないＩピクチャ）とがコーディングオーダで連続するように接続され、圧縮素材映像２のＩピクチャ４７と、エンコードされた映像データのＢピクチャ７２とがコーディングオーダで連続するように接続され、エンコードされた映像データにおいて、コーディングオーダでＢピクチャ７２に続くＢピクチャ７３と、圧縮素材映像２のＰピクチャ８２とがコーディングオーダで連続するように接続されるように、ストリームをつなぎ合わせる。
【０１０２】
換言すれば、ストリームスプライサ２５は、コーディングオーダにおいて、再エンコードされた区間の最後のＩピクチャまたはＰピクチャに続く、ｎ枚の再エンコードされたＢピクチャの前に、再エンコードされていないＩピクチャが入るように、ストリームをつなぎ合わせる。
【０１０３】
そして、ストリームスプライサ２５は、ＣＰＵ２０の制御に基づいて、作成した圧縮編集映像データをＰＣＩブリッジ１７に供給して、メモリ１８に保存させるとともに、デコーダ２４に供給してデコードさせ、編集結果確認用のモニタなどに出力させて表示させたり、デコードされて生成されたベースバンド信号を、他の装置に出力させる。デコーダ２４が、独立した装置として構成されている場合、デコーダ２４に対応する装置は、図９および図１０を用いて説明したようにして生成された、換言すれば、再エンコードされた区間の最後のＩピクチャまたはＰピクチャに続く、ｎ枚の再エンコードされたＢピクチャの前に、再エンコードされていないＩピクチャが入る編集後の圧縮映像データの供給を受けてこれをデコードし、デコードされて生成されたベースバンド信号を出力することができるようになされる。
【０１０４】
次に、図１１を用いて、図９および図１０を用いて説明した、再エンコードを利用した編集処理を行う場合のVBVバッファについて説明する。
【０１０５】
図９および図１０を用いて説明した、再エンコードを利用した編集処理が行われた場合、コーディングオーダにおいて、再エンコードの最後のｎ枚のＢピクチャの前に、再エンコードしないＩピクチャが挿入される。したがって、図１１に示されるように、再エンコード範囲から最後のｎ枚のＢピクチャを除いた部分（図１１のＥで示される部分）は、再エンコードされないＩピクチャのOccupancyが編集前と一致するように、再エンコードが行われ、その後、再エンコードされないＩピクチャの発生符号量の情報（図１１においては、Ｆで示される部分）が圧縮素材映像２の対応するＩピクチャの発生符号量の情報（図１１においては、Ｂで示される部分）から求められて、VBVバッファのOccupancyが計算される。
【０１０６】
その後、再エンコードしない部分の圧縮映像のVBVバッファが、オーバーフローまたはアンダーフローしないようにするため、再エンコードしない部分の圧縮映像の先頭のＩピクチャの次に位置するＩピクチャまたはＰピクチャのOccupancyが編集前後で一致するように、再エンコード部分の最後のｎ枚のＢピクチャ（図１１においては、Ｇで示される部分）において、発生符号量が制御されて、エンコードが行なわれる。すなわち、図１１において、編集前のＣで示される発生符号量と、編集後のＨで示される発生符号量は同一であるため、編集前のＩで示されるOccupancyに、編集後のＪで示されるOccupancyが一致するように、ｎ枚のＢピクチャの再エンコードが行なわれる。これにより、図１１において、ＫおよびＬで示される部分でバッファのアンダーフローは発生しない。
【０１０７】
この方法では、再エンコードが行われている部分と再エンコードが行われない部分の圧縮映像の結合部におけるピクチャタイプが、編集前後で保存されているので、図１１に示されるように、再エンコードが行われている部分に接続される、再エンコードが行われない部分の先頭のＩピクチャの発生符号量Ｆと、次のＩピクチャまたはＰピクチャの発生符号量Ｈが大きくても、編集前の圧縮素材映像２のデータでVBVバッファの制約が満たされていれば、編集後の圧縮映像でも制約を満たすようにエンコードが行われるようにすることが可能である。
【０１０８】
次に、図１２のフローチャートを参照して、編集処理について説明する。
【０１０９】
ステップＳ１において、ＣＰＵ１１は、図示しない操作入力部から、編集開始を指令するユーザからの操作入力を受け、サウスブリッジ１５を制御して、図示しない操作入力部から供給されたユーザの操作入力を基に、ＨＤＤ１６から、圧縮符号化された圧縮素材映像１のデータおよび圧縮素材映像２のデータを読み出させ、ノースブリッジ１２、ＰＣＩバス１４、および、ＰＣＩブリッジ１７を介して、メモリ１８に供給させて記憶させるとともに、編集点を示す情報と、編集開始を示すコマンドを、ノースブリッジ１２、ＰＣＩバス１４、ＰＣＩブリッジ１７、および、コントロールバス１９を介して、ＣＰＵ２０に供給する。
【０１１０】
ステップＳ２において、メモリ１８は、圧縮符号化された２つの編集素材データを取得する。
【０１１１】
ステップＳ３において、ＣＰＵ２０は、ＣＰＵ１１から供給された、編集点を示す情報と、編集開始を示すコマンドを基に、再エンコードしない部分の圧縮素材映像１のディスプレイオーダで最後のピクチャのピクチャタイプがＰピクチャになり、再エンコードしない部分の圧縮素材映像２のディスプレイオーダで最初のピクチャのピクチャタイプがＩピクチャになるように、圧縮符号化された編集素材データのデコード範囲を決定する。
【０１１２】
ステップＳ４において、ＣＰＵ２０は、ＰＣＩブリッジ１７を制御して、メモリ１８に記憶されている圧縮符号化された２つの編集素材データから、決定されたデコード範囲のデータをデコードおよび再エンコードするために必要なデータを抽出させ、デコーダ２２およびデコーダ２３にそれぞれ供給させる。また、このとき、ＣＰＵ２０は、ＰＣＩブリッジ１７を制御して、再エンコードされない部分の圧縮符号化された編集素材データを、ストリームスプライサ２５に供給させる。ＰＣＩブリッジ１７は、ＣＰＵ２０の制御に基づいて、メモリ１８に記憶されている圧縮符号化された２つの編集素材データから、決定されたデコード範囲のデータをデコードおよび再エンコードするために必要なデータを抽出し、デコーダ２２およびデコーダ２３にそれぞれ供給するとともに、再エンコードされない部分の圧縮符号化された編集素材データを、ストリームスプライサ２５に供給する。
【０１１３】
ステップＳ５において、ＣＰＵ２０は、デコーダ２２およびデコーダ２３を制御して、決定されたデコード範囲のデータをデコードさせる。デコーダ２２およびデコーダ２３は、ＣＰＵ２０の制御に基づいて、供給された圧縮符号化された編集素材データをデコードして、エフェクト／スイッチ２６に供給する。
【０１１４】
ステップＳ６において、ＣＰＵ２０は、エフェクト／スイッチ２６を制御して、デコードされたデータを編集点で接続させて、必要に応じて、エフェクトをかけさせる。エフェクト／スイッチ２６は、ＣＰＵ２０の制御に基づいて、供給された非圧縮の復号映像素材を編集点で接続して、必要に応じて、エフェクトをかけ、エンコーダ２７に供給する。
【０１１５】
ステップＳ７において、ＣＰＵ２０は、エンコーダ２７を制御して、編集点で接続された非圧縮の復号映像素材を再エンコードさせる。エンコーダ２７は、ＣＰＵ２０の制御に基づいて、編集点で接続された非圧縮の復号映像素材の再エンコードを行い、再エンコードされた圧縮符号化された映像データを、ストリームスプライサ２５に供給する。
【０１１６】
ステップＳ８において、図１５を用いて後述する接続処理が実行され、ステップＳ８の処理の終了後、処理は終了される。
【０１１７】
このような処理により、Long GOPのOpen GOP構造の圧縮映像データの編集点付近を部分的にデコードし、デコードされた非圧縮の映像信号を所定の編集点で接続した後、再エンコードを行い、デコードおよび再エンコードされていない部分の圧縮映像データと接続することにより、Long GOPのOpen GOP構造の圧縮映像データの編集を実現することができる。
【０１１８】
次に、図１３のフローチャートを参照して、再エンコード実行（図１２のステップＳ７の処理）時におけるピクチャタイプ決定処理について説明する。
【０１１９】
ステップＳ３１において、ＣＰＵ２０は、圧縮符号化された映像素材２のデータにおいて、ディスプレイオーダで、再エンコードされる部分の最後に連続するＢピクチャの数ｎを取得し、再エンコードされる部分の最後に連続するＢピクチャの数ｎを基に、エンコーダ２７によるエンコード処理を制御する。エンコーダ２７は、ＣＰＵ２０の制御に基づいて、エフェクト／スイッチ２６から供給された、編集点で接続された映像素材データのエンコードを開始する。
【０１２０】
ステップＳ３２において、エンコーダ２７は、エンコードするピクチャは、ディスプレイオーダで、最後からｎ＋１番目のピクチャ、すなわち、図９におけるＰピクチャ７１に対応するピクチャであるか否かを判断する。ステップＳ３２において、最後からｎ＋１番目のピクチャであると判断された場合、処理は、後述するステップＳ３５に進む。
【０１２１】
ステップＳ３２において、最後からｎ＋１番目のピクチャではないと判断された場合、ステップＳ３３において、エンコーダ２７は、エンコードするピクチャは、ディスプレイオーダで、最後からｎ番目以降のピクチャ、すなわち、図９におけるＢピクチャ７２またはＢピクチャ７３に対応するピクチャであるか否かを判断する。ステップＳ３３において、エンコードするピクチャは、最後からｎ番目以降のピクチャであると判断された場合、処理は、後述するステップＳ３８に進む。
【０１２２】
ステップＳ３３において、エンコードするピクチャは、最後からｎ番目以降のピクチャではないと判断された場合、すなわち、エンコードするピクチャが、最後からｎ＋２番目以前のピクチャ（図９におけるＰピクチャ７１より時間的に前のピクチャ）であると判断された場合、ステップＳ３４において、エンコーダ２７は、エンコードするピクチャのピクチャタイプを通常のアルゴリズムにしたがって設定し、処理は、後述するステップＳ３９に進む。
【０１２３】
ステップＳ３２において、エンコードするピクチャは、最後からｎ＋１番目のピクチャ、すなわち、図９におけるＰピクチャ７１に対応するピクチャであると判断された場合、ステップＳ３５において、エンコーダ２７は、エンコードするピクチャは、圧縮符号化された映像素材２のデータにおいて、Ｉピクチャであったか否かを判断する。
【０１２４】
ステップＳ３５において、エンコードするピクチャは、圧縮符号化された映像素材２のデータにおいて、Ｉピクチャであったと判断された場合、ステップＳ３６において、エンコーダ２７は、エンコードするピクチャのピクチャタイプをＩピクチャに設定し、処理は、後述するステップＳ３９に進む。
【０１２５】
ステップＳ３５において、エンコードするピクチャは、圧縮符号化された映像素材２のデータにおいて、Ｉピクチャではなかった、すなわち、Ｐピクチャであったと判断された場合、ステップＳ３７において、エンコーダ２７は、エンコードするピクチャのピクチャタイプをＰピクチャに設定し、処理は、後述するステップＳ３９に進む。
【０１２６】
ステップＳ３３において、エンコードするピクチャは、最後からｎ番目以降のピクチャすなわち、図９におけるＢピクチャ７２またはＢピクチャ７３に対応するピクチャであると判断された場合、ステップＳ３８において、エンコーダ２７は、エンコードするピクチャのピクチャタイプをＢピクチャに設定する。
【０１２７】
ステップＳ３４、ステップＳ３６、ステップＳ３７、または、ステップＳ３８の処理の終了後、ステップＳ３９において、エンコーダ２７は、最後のピクチャの処理が終了したか否かを判断する。
【０１２８】
ステップＳ３９において、最後のピクチャの処理が終了していないと判断された場合、処理は、ステップＳ３２に戻り、それ以降の処理が繰り返される。ステップＳ３９において、最後のピクチャの処理が終了したと判断された場合、処理は終了される。
【０１２９】
このような処理により、LongGOPのOpenGOPの圧縮素材映像のうちの編集点付近のデータをデコードし、編集点で接続して再エンコードした後、再エンコードされていない圧縮素材映像データと接続して編集したときに、VBVバッファが破綻することがないようにするために、再エンコード時のピクチャタイプを決定することが可能となる。
【０１３０】
次に、図１４のフローチャートを参照して、再エンコード実行（図１２のステップＳ７の処理）時におけるVBVバッファ制御処理について説明する。
【０１３１】
ステップＳ６１において、ＣＰＵ２０は、再エンコードしない部分の圧縮素材映像２の最初のＩピクチャ、すなわち、図１１においてＢで示される部分の発生符号量の情報を取得する。
【０１３２】
ステップＳ６２において、ＣＰＵ２０は、再エンコードしない部分の圧縮素材映像２の最初のＩピクチャ、および、次のＩピクチャまたはＰピクチャのOccupancyの情報、すなわち、図１１においてＢおよびＣで示されるピクチャのOccupancyの情報を取得する。ＣＰＵ２０は、ステップＳ６１およびステップＳ６２において取得した情報を基に、エンコーダ２７によるエンコード処理を制御する。エンコーダ２７は、ＣＰＵ２０の制御に基づいて、エフェクト／スイッチ２６から供給された、編集点で接続された映像素材データのエンコードを開始する。
【０１３３】
ステップＳ６３において、エンコーダ２７は、エンコードするピクチャは、コーディングオーダで、最後から（ｎ＋１）番目以降のピクチャ、すなわち、図１０におけるＩピクチャ４７、Ｂピクチャ７２またはＢピクチャ７３のうちのいずれかに対応するピクチャであるか否かを判断する。
【０１３４】
ステップＳ６３において、エンコードするピクチャは、コーディングオーダで、最後から（ｎ＋１）番目以降のピクチャではないと判断された場合、ステップＳ６４において、エンコーダ２７は、再エンコードしない部分の圧縮素材映像２の最初のＩピクチャのOccupancyが編集前後で変化しないように、すなわち、図１１のＢで示されるピクチャのOccupancyと、Ｆで示されるピクチャのOccupancyとが、編集前後で変化しないように、エンコードを実行し、処理は、後述するステップＳ６６に進む。
【０１３５】
ステップＳ６３において、エンコードするピクチャは、コーディングオーダで、最後から（ｎ＋１）番目以降のピクチャであると判断された場合、ステップＳ６５において、エンコーダ２７は、再エンコードしない部分の圧縮素材映像２の最初のＩピクチャの発生符号量を用いて、再エンコードしない部分の圧縮素材映像２の最初のＩピクチャの次のＩピクチャまたはＰピクチャのOccupancyが編集前後で変化しないように、すなわち、図１１のＩに示されるOccupancyと、Ｊで示されるOccupancyとが、編集前後で変化しないように、エンコードにおけるOccupancyを計算し、発生符号量の割り当てを行う。
【０１３６】
ステップＳ６４またはステップＳ６５の処理の終了後、ステップＳ６６において、エンコーダ２７は、ステップＳ６４またはステップＳ６５の処理による発生符号量の割り当てに基づいて、VBVバッファを更新する。
【０１３７】
ステップＳ６７において、エンコーダ２７は、最後のピクチャの処理が終了したか否かを判断する。
【０１３８】
ステップＳ６７において、最後のピクチャの処理が終了していないと判断された場合、処理は、ステップＳ６３に戻り、それ以降の処理が繰り返される。ステップＳ６７において、最後のピクチャの処理が終了したと判断された場合、処理は終了される。
【０１３９】
このような処理により、LongGOPのOpenGOPの圧縮素材映像のうちの編集点付近のデータをデコードし、編集点で接続して再エンコードした後、再エンコードされていない圧縮素材映像データと接続して編集するときに、VBVバッファを破綻させないように、発生符号量を制御することが可能となる。
【０１４０】
次に、図１５のフローチャートを参照して、図１２のステップＳ８において実行される接続処理について説明する。
【０１４１】
ステップＳ９１において、ストリームスプライサ２５は、ＰＣＩブリッジ１７から供給された、再エンコードしない部分の圧縮素材映像１のデータ、すなわち、図９における場合では、ディスプレイオーダにおいて時間的にＰピクチャ４６以前となるピクチャのデータを取得する。
【０１４２】
ステップＳ９２において、ストリームスプライサ２５は、エンコーダ２７から供給された、再エンコードされた編集点付近の圧縮映像データ、すなわち、図９における場合では、ディスプレイオーダにおいてＰピクチャ４１乃至Ｉピクチャ７４に対応するピクチャを取得する。
【０１４３】
ステップＳ９３において、ストリームスプライサ２５は、再エンコードされた編集点付近の圧縮映像データのうち、エンコードの参照のためにエンコードされた部分すなわち、図９における場合では、Ｐピクチャ４１およびＩピクチャ７４に対応するピクチャを破棄し、再エンコードしない部分の圧縮素材映像１のデータと、再エンコードされた圧縮映像データを接続する。すなわち、図９における場合では、ストリームスプライサ２５は、Ｐピクチャ４６とＢピクチャ４２とがディスプレイオーダで連続するように接続する。
【０１４４】
ステップＳ９４において、ストリームスプライサ２５は、ＰＣＩブリッジ１７から供給された、再エンコードしない部分の圧縮素材映像２のデータ、すなわち、図９における場合では、ディスプレイオーダにおいて時間的にＩピクチャ４７以降となるピクチャのデータを取得する。
【０１４５】
ステップＳ９５において、ストリームスプライサ２５は、再エンコードされた編集点付近の圧縮映像データのうち、コーディングオーダで最後からｎ＋１番目のピクチャ、すなわち、図１０における場合では、Ｂ12ピクチャ８１に対応するピクチャの次に、再エンコードしない部分の圧縮素材映像２のコーディングオーダで最初のＩピクチャ、すなわち、図１０における場合では、Ｉ2ピクチャ４７に対応するピクチャを接続する
【０１４６】
ステップＳ９６において、ストリームスプライサ２５は、再エンコードしない部分の圧縮素材映像２のコーディングオーダで最初のＩピクチャ、すなわち、図１０における場合では、Ｉ2ピクチャ４７に対応するピクチャに、再エンコードされた編集点付近の圧縮映像データの最後からｎ枚のＢピクチャ、すなわち、図１０における場合では、Ｂ0ピクチャ７２およびＢ1ピクチャ７３を接続する。
【０１４７】
そして、ステップＳ９７において、ストリームスプライサ２５は、再エンコードされた編集点付近の圧縮映像データの最後のＢピクチャ、すなわち、図１０における場合では、Ｂ1ピクチャ７３の次に、再エンコードしない部分の圧縮素材映像２の２番目のＩまたはＰピクチャ、すなわち、図１０における場合では、Ｐ5ピクチャ８２を接続し、処理は、図１２のステップＳ８にもどり、処理が終了される。
【０１４８】
このような処理により、LongGOPのOpenGOPの圧縮素材映像を編集するときに、VBVバッファを破綻させないように、発生符号量が制御され、再エンコード時のピクチャタイプが決定された再エンコード部分の圧縮符号化データと、再エンコードされていない部分の圧縮符号化データとを接続することが可能となる。
【０１４９】
このように、本発明を適用することにより、Long GOPのOpen GOP方式で圧縮された映像素材を、部分的にデコード、再エンコードする方法の編集において、圧縮方法に制約をつける必要なく、VBV Bufferの制約を満たすことができる。
【０１５０】
なお、ここでは、ディスプレイオーダで、最後からｎ＋１番目のピクチャより後ろのピクチャのピクチャタイプが、編集前後で変更されないように制御されるものとして説明したが、再エンコードされる範囲の所定のＩピクチャまたはＰピクチャを含めてそれより後ろのピクチャのピクチャタイプが、編集前後で変更されないように制御された場合にも、本発明は適用可能である。
【０１５１】
上述した一連の処理は、ソフトウェアにより実行することもできる。そのソフトウェアは、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。この場合、例えば、図４を用いて説明した編集装置１は、図１６に示されるようなパーソナルコンピュータ３０１により構成される。
【０１５２】
図１６において、ＣＰＵ（Central Processing Unit）３１１は、ＲＯＭ（Read Only Memory）３１２に記憶されているプログラム、または記憶部３１８からＲＡＭ（Random Access Memory）３１３にロードされたプログラムにしたがって、各種の処理を実行する。ＲＡＭ３１３にはまた、ＣＰＵ３１１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１５３】
ＣＰＵ３１１、ＲＯＭ３１２、およびＲＡＭ３１３は、バス３１４を介して相互に接続されている。このバス３１４にはまた、入出力インタフェース３１５も接続されている。
【０１５４】
入出力インタフェース３１５には、キーボード、マウスなどよりなる入力部３１６、ディスプレイやスピーカなどよりなる出力部３１７、ハードディスクなどより構成される記憶部３１８、モデム、ターミナルアダプタなどより構成される通信部３１９が接続されている。通信部３１９は、インターネットを含むネットワークを介しての通信処理を行う。
【０１５５】
入出力インタフェース３１５にはまた、必要に応じてドライブ３２０が接続され、磁気ディスク３３１、光ディスク３３２、光磁気ディスク３３３、もしくは、半導体メモリ３３４などが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部３１８にインストールされる。
【０１５６】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
【０１５７】
この記録媒体は、図１６に示されるように、装置本体とは別に、ユーザにプログラムを供給するために配布される、プログラムが記憶されている磁気ディスク３３１（フロッピディスクを含む）、光ディスク３３２（ＣＤ-ＲＯＭ（Compact Disk-Read Only Memory），ＤＶＤ（Digital Versatile Disk）を含む）、光磁気ディスク３３３（ＭＤ（Mini-Disk）（商標）を含む）、もしくは半導体メモリ３３４などよりなるパッケージメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに供給される、プログラムが記憶されているＲＯＭ３１２や、記憶部３１８に含まれるハードディスクなどで構成される。
【０１５８】
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１５９】
なお、上述の実施の形態においては、編集装置１が、それぞれ、デコーダとエンコーダを有しているものとして説明したが、デコーダおよびエンコーダが、それぞれ、独立した装置として構成されている場合においても、本発明は適用可能である。例えば、図１７に示されるように、ストリームデータを復号してベースバンド信号に変換する復号装置３７１、ベースバンド信号を符号化してストリームデータに変換する符号化装置３７２が、それぞれ独立した装置として構成されていても良い。
【０１６０】
このとき、復号装置３７１は、映像素材である圧縮符号化データを復号し、符号化装置３７２に供給するのみならず、本発明を適用することにより符号化装置３７２により部分的に符号化された後、編集されて生成された圧縮符号化データの供給を受け、復号処理を行い、ベースバンド信号に変換することができる。ベースバンド信号に変換された編集後のストリームは、例えば、所定の表示装置に供給されて表示されたり、他の装置に出力されて、必要な処理が施される。
【０１６１】
さらに、上述の実施の形態においては、デコーダ２２乃至２４が、供給された圧縮符号化データを完全にデコードせず、対応するエンコーダ２７が、非完全に復号されたデータの対応する部分を部分的にエンコードする場合においても、本発明は適用可能である。
【０１６２】
例えば、デコーダ２２乃至２４が、ＶＬＣ符号に対する復号および逆量子化のみを行い、逆DCT変換を実行していなかった場合、エンコーダ２７は、量子化および可変長符号化処理を行うが、DCT変換処理は行わない。このような部分的な符号化（中途段階からの符号化）を行うエンコーダにおいても、本発明を適用することができるのは言うまでもない。
【０１６３】
さらに、上述の実施の形態においては、デコーダ２２乃至２４が完全に復号したベースバンド信号を、エンコーダ２７が中途段階まで符号化する場合（例えば、DCT変換および量子化を行うが可変長符号化処理を行わないなど）や、デコーダ２２乃至２４が完全に復号していない（例えば、ＶＬＣ符号に対する復号および逆量子化のみを行い、逆DCT変換を実行していない）ため、中途段階まで符号化されているデータに対して、エンコーダ２７が更に中途段階まで符号化する場合など（例えば、量子化を行うが可変長符号化処理を行わないなど）においても、本発明は適用可能である。
【０１６４】
更に、図１７に示される復号装置３７１が、供給されたストリームデータを完全に復号せず、対応する符号化装置３７２が、非完全に復号されたデータの対応する部分を部分的に符号化する場合においても、本発明は適用可能である。
【０１６５】
例えば、復号装置３７１が、ＶＬＣ符号に対する復号および逆量子化のみを行い、逆DCT変換を実行していなかった場合、符号化装置３７２は、量子化および可変長符号化処理を行うが、DCT変換処理は行わない。このような部分的な復号処理（中途段階までの復号）を行う復号装置３７１のデコード処理、および、符号化（中途段階からの符号化）を行う符号化装置３７２のエンコード処理において、本発明を適用することができるのは言うまでもない。
【０１６６】
更に、復号装置３７１が完全に復号したベースバンド信号を、符号化装置３７２が中途段階まで符号化する場合（例えば、DCT変換および量子化を行うが可変長符号化処理を行わないなど）や、復号装置３７１が完全に復号していない（例えば、ＶＬＣ符号に対する復号および逆量子化のみを行い、逆DCT変換を実行していない）ため、中途段階まで符号化されているデータに対して、符号化装置３７２が更に中途段階まで符号化する場合など（例えば、量子化を行うが可変長符号化処理を行わないなど）においても、本発明は適用可能である。
【０１６７】
更に、このような部分的な復号を行う（復号処理の工程のうちの一部を実行する）符号化装置３５１と部分的な符号化を行う（符号化処理の工程のうちの一部を実行する）符号化装置３７２で構成されたトランスコーダ３８１においても、本発明は適用可能である。このようなトランスコーダ３８１は、例えば、スプライシングなどの編集を行う編集装置３８２、すなわち、上述した編集装置１のストリームスプライサ２５やエフェクト／スイッチ２６が実行可能な機能を有する編集装置が利用される場合などに用いられる。
【０１６８】
さらに、上述の実施の形態においては、ＣＰＵ１１およびＣＰＵ２０がそれぞれ別の形態で構成されているが、これに限らず、編集装置１全体を制御する１つのＣＰＵとして構成する形態も考えられる。同様に、上述の実施の形態においては、メモリ１３およびメモリ２１がそれぞれ別の形態で構成されているが、これに限らず、編集装置１において１つのメモリとして構成する形態も考えられる。
【０１６９】
さらに、上述の実施の形態においては、ＨＤＤ１６、デコーダ２２乃至２４、ストリームスプライサ２５、エフェクト／スイッチ２６、および、エンコーダ２７を、それぞれ、ブリッジおよびバスを介して接続し、編集装置として一体化されている場合について述べたが、本発明はこれに限らず、例えば、これらの構成要素のうちの一部が、外部から有線または無線で接続されるようにしても良いし、これらの構成要素は、この他、種々の接続形態で相互に接続されるようにしてもよい。
【０１７０】
さらに、上述の実施の形態においては、圧縮された編集用の素材がＨＤＤに記憶されている場合について述べたが、本発明はこれに限らず、例えば、光ディスク、光磁気ディスク、半導体メモリ、磁気ディスク等の種々の記録媒体に記録された編集用の素材を用いて編集処理を行う場合にも適用することができる。
【０１７１】
さらに、上述の実施の形態においては、デコーダ２２乃至２４、ストリームスプライサ２５、エフェクト／スイッチ２６、および、エンコーダ２７は、同一の拡張カード（例えば、PCIカード、PCI−Expressカード）に搭載する形態に限らず、例えばPCI−Expressなどの技術によりカード間の転送速度が高い場合には、それぞれ別の拡張カードに搭載してもよい。
【産業上の利用可能性】
【０１７２】
本発明は、ＭＰＥＧ方式による情報処理装置の他、これに類似する符号化又は復号化のアルゴリズムを有する方式の情報処理装置に適用することができる。
【図面の簡単な説明】
【０１７３】
【図１】編集と部分再エンコードについて説明するための図である。
【図２】ClosedGOPでの編集と部分再エンコードについて説明するための図である。
【図３】ClosedGOPでの編集と部分再エンコードについて、ディスプレイオーダにおけるピクチャの並びを説明するための図である。
【図４】本発明を適用した編集装置１の構成を示すブロック図である。
【図５】図４の編集装置１において実行可能な部分再エンコードおよび編集処理について説明するための図である。
【図６】図５の部分再エンコードおよび編集処理について、ディスプレイオーダにおけるピクチャの並びを説明するための図である。
【図７】図５の部分再エンコードおよび編集処理を実行した場合のVBVバッファについて説明するための図である。
【図８】図５の部分再エンコードおよび編集処理を実行した場合に、VBVバッファが破綻してしまう場合について説明するための図である。
【図９】VBVバッファを考慮した部分再エンコードおよび編集処理について説明するための図である。
【図１０】図９の部分再エンコードおよび編集処理について、ディスプレイオーダにおけるピクチャの並びを説明するための図である。
【図１１】図９の部分再エンコードおよび編集処理を実行した場合のVBVバッファについて説明するための図である。
【図１２】編集処理について説明するためのフローチャートである。
【図１３】ピクチャタイプ決定処理について説明するためのフローチャートである。
【図１４】VBVバッファ制御処理について説明するためのフローチャートである。
【図１５】接続処理について説明するためのフローチャートである。
【図１６】パーソナルコンピュータの構成を示すブロック図である。
【図１７】本発明を適用可能な異なる装置の構成について説明するための図である。
【符号の説明】
【０１７４】
１  編集装置，  １１  ＣＰＵ，  １６  ＨＤＤ，  ２０  ＣＰＵ，  ２２乃至２４  デコーダ，  ２５  ストリームスプライサ，  ２６  エフェクト／スイッチ，  ２７  エンコーダ
【図１】
2006067095.tif 000003
【図２】
2006067095.tif 000004
【図３】
2006067095.tif 000005
【図４】
2006067095.tif 000006
【図５】
2006067095.tif 000007
【図６】
2006067095.tif 000008
【図７】
2006067095.tif 000009
【図８】
2006067095.tif 000010
【図９】
2006067095.tif 000011
【図１０】
2006067095.tif 000012
【図１１】
2006067095.tif 000013
【図１２】
2006067095.tif 000014
【図１３】
2006067095.tif 000015
【図１４】
2006067095.tif 000016
【図１５】
2006067095.tif 000017
【図１６】
2006067095.tif 000018
【図１７】
2006067095.tif 000019