(57)【要約】【課題】画質を劣化させることなく再エンコードすることができるようにする。【解決手段】符号化制御部は、ストリームＣ１の位置α１から位置β１までを再エンコード区間として再エンコードさせる場合、位置γ１から再エンコードを開始させる。そして、ピクチャＩ０２、ピクチャＢ００、ピクチャＢ０１、およびピクチャＰ０５については、それらのピクチャのオリジナルのストリームの符号量を発生符号目標量として再エンコードさせ、ピクチャＢ０３以降のピクチャは、ストリームＣ１の再エンコードにより実際に発生した符号量を用いて、発生符号目標量を算出させる。符号化制御部は、再エンコードされたストリームＣ１の位置α１から位置β１までの部分を再エンコードされたストリームとして出力させる。本発明は、画像を編集する編集装置に適用することができる。【選択図】図５
2008066845.tif 000002
【特許請求の範囲】
【請求項１】
符号化ストリームのうちの第１の範囲の符号化ストリームがデコードされて得られた第１の映像信号を再エンコードする情報処理装置において、
前記第１の範囲の直前の第２の範囲の符号化ストリームの先頭のピクチャの符号量を取得する符号量取得手段と、
前記第１の映像信号が再エンコードされる場合、前記第２の範囲の符号化ストリームがデコードされて得られた第２の映像信号の先頭のピクチャから再エンコードを開始する再エンコード手段と、
前記第２の映像信号の先頭のピクチャを再エンコードする際の目標符号量が、前記符号量取得手段により取得された前記符号量となるように、前記再エンコード手段による再エンコードを制御する再エンコード制御手段と
を備える情報処理装置。
【請求項２】
前記符号量取得手段は、前記第２の範囲に含まれる第３の範囲であって、前記第２の範囲の先頭からＩピクチャ、Ｐピクチャ、およびＢピクチャのそれぞれが少なくとも１枚ずつ含まれる第３の範囲の符号化ストリームの各ピクチャのそれぞれについて、それらのピクチャの符号量を取得し、
前記再エンコード制御手段は、前記第３の範囲の符号化ストリームがデコードされて得られた第３の映像信号の各ピクチャの目標符号量が、前記第３の範囲の符号化ストリームの各ピクチャの符号量となるように、前記第３の映像信号の再エンコードを制御する
請求項１に記載の情報処理装置。
【請求項３】
前記再エンコード制御手段は、直前に再エンコードされた映像信号のＩピクチャ、Ｐピクチャ、およびＢピクチャのそれぞれの再エンコードにより得られた符号量が用いられて、前記第３の映像信号以降の前記第２の映像信号および前記第１の映像信号の各ピクチャの目標符号量が算出されるように、前記第２の映像信号および前記第１の映像信号の再エンコードを制御する
請求項２に記載の情報処理装置。
【請求項４】
前記第２の範囲は、１GOP（Group of Picture)から３GOPの範囲とされる
請求項１に記載の情報処理装置。
【請求項５】
前記第１の映像信号には、編集点において第４の映像信号がさらに接続され、接続された前記第１の映像信号および前記第４の映像信号が再エンコードされる
請求項１に記載の情報処理装置。
【請求項６】
符号化ストリームのうちの第１の範囲の符号化ストリームがデコードされて得られた第１の映像信号を再エンコードする情報処理装置の情報処理方法において、
前記第１の範囲の直前の第２の範囲の符号化ストリームの先頭のピクチャの符号量を取得し、
前記第１の映像信号が再エンコードされる場合、前記第２の範囲の符号化ストリームがデコードされて得られた第２の映像信号の先頭のピクチャから再エンコードが開始されるように、前記第１の映像信号の再エンコードを制御し、
前記第２の映像信号の先頭のピクチャを再エンコードする際の目標符号量が、取得された前記符号量となるように、前記第２の映像信号の先頭のピクチャの再エンコードを制御する
ステップを含む情報処理方法。
【請求項７】
符号化ストリームのうちの第１の範囲の符号化ストリームがデコードされて得られた第１の映像信号を再エンコードする処理をコンピュータに実行させるためのプログラムであって、
前記第１の範囲の直前の第２の範囲の符号化ストリームの先頭のピクチャの符号量を取得し、
前記第１の映像信号が再エンコードされる場合、前記第２の範囲の符号化ストリームがデコードされて得られた第２の映像信号の先頭のピクチャから再エンコードが開始されるように、前記第１の映像信号の再エンコードを制御し、
前記第２の映像信号の先頭のピクチャを再エンコードする際の目標符号量が、取得された前記符号量となるように、前記第２の映像信号の先頭のピクチャの再エンコードを制御する
ステップを含むプログラム。
【請求項８】
符号化ストリームのうちの第１の範囲の符号化ストリームがデコードされて得られた第１の映像信号を再エンコードする処理をコンピュータに実行させるためのプログラムであって、
前記第１の範囲の直前の第２の範囲の符号化ストリームの先頭のピクチャの符号量を取得し、
前記第１の映像信号が再エンコードされる場合、前記第２の範囲の符号化ストリームがデコードされて得られた第２の映像信号の先頭のピクチャから再エンコードが開始されるように、前記第１の映像信号の再エンコードを制御し、
前記第２の映像信号の先頭のピクチャを再エンコードする際の目標符号量が、取得された前記符号量となるように、前記第２の映像信号の先頭のピクチャの再エンコードを制御する
ステップを含むプログラムが記録されている記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は情報処理装置および方法、記録媒体、並びにプログラムに関し、特に、映像データを再エンコードする場合に用いて好適な情報処理装置および方法、記録媒体、並びにプログラムに関する。
【背景技術】
【０００２】
MPEG（Moving Picture Coding Experts Group／Moving Picture Experts Group）などに代表される画像圧縮方式では、フレーム間予測を用いて映像信号を圧縮符号化（エンコード）することで、高い圧縮効率を実現している。
【０００３】
例えばMPEGにおいて、Ｉピクチャ、Ｐピクチャ、およびＢピクチャから構成される双方向のフレーム間予測を用いた圧縮符号化方式は、Long GOP（Group of Picture)方式の圧縮と呼ばれている。
【０００４】
ここで、Ｉピクチャとは、フレーム内（Intra）符号化画像のことであり、他の画面とは独立に符号化されるピクチャであり、この情報のみで画像を復号することができるものである。Ｐピクチャとは、フレーム間(inter)順方向予測符号化画像のことであり、時間的に前（順方向）のフレームからの差分によって表現される前方向予測符号化ピクチャである。また、Ｂピクチャとは、双方向予測符号化画像のことであり、時間的に前（順方向）、または後（逆方向）、または前後（双方向）のピクチャを利用して動き補償フレーム間予測により符号化されるピクチャである。
【０００５】
従来、このような画像圧縮方式では図１に示すように、符号化ブロック１が発生符号目標量算出ブロック２から供給される発生符号目標量に基づいて、入力されたベースバンド信号、すなわち非圧縮の映像信号をエンコードし、これにより得られた圧縮映像データを出力している。
【０００６】
発生符号目標量算出ブロック２から符号化ブロック１に供給される発生符号目標量は、エンコードにより得られる圧縮映像データの目標とされる符号量であり、その時点における過去のピクチャタイプ別の統計量と、その時点で使用可能な符号量とが勘案されて算出される。すなわち、発生符号目標量算出ブロック２は、符号化ブロック１から供給されるエンコード結果に基づいて算出した、過去のピクチャタイプ別の統計量を用いて、所定の発生符号目標量の設定方式により発生符号目標量を算出する。
【０００７】
例えば、発生符号目標量算出ブロック２がＴＭ（Test Model）５方式により発生符号目標量を算出する場合、符号化ブロック１から発生符号目標量算出ブロック２には、エンコードにより実際に発生した符号量Ｓと、マクロブロックに関する量子化スケールコードの平均値である平均量子化スケールコードＱとが供給される（例えば、非特許文献１参照）。
【０００８】
この場合、発生符号目標量算出ブロック２は、符号量Ｓおよび平均量子化スケールコードＱを用いて、次式（１）乃至式（３）により示される、Ｉピクチャ、Ｐピクチャ、およびＢピクチャのそれぞれの複雑さＸｉ、Ｘｐ、およびＸｂのそれぞれを求める。
【０００９】
Ｘｉ＝Ｓｉ×Ｑｉ                                                  ・・・（１）
【００１０】
Ｘｐ＝Ｓｐ×Ｑｐ                                                  ・・・（２）
【００１１】
Ｘｂ＝Ｓｂ×Ｑｂ                                                  ・・・（３）
【００１２】
ここで、式（１）乃至式（３）におけるＳｉ、Ｓｐ、およびＳｂのそれぞれは、エンコードにより実際に発生した直前のＩピクチャ、Ｐピクチャ、およびＢピクチャのそれぞれの符号量を示しており、Ｑｉ、Ｑｐ、およびＱｂのそれぞれは、それらのＩピクチャ、Ｐピクチャ、およびＢピクチャをエンコードしたときの平均量子化スケールコードを示している。
【００１３】
そして、複雑さＸｉ、Ｘｐ、およびＸｂのそれぞれが求められると、発生符号目標量算出ブロック２は、求めた複雑さを用いて、次式（４）乃至式（６）のそれぞれにより、次にエンコードするＩピクチャ、Ｐピクチャ、およびＢピクチャのそれぞれの発生符号目標量を求める。
【００１４】
【数１】
2008066845.tif 000003
【００１５】
【数２】
2008066845.tif 000004
【００１６】
【数３】
2008066845.tif 000005
【００１７】
ここで、式（４）乃至式（６）のそれぞれにおいて、max（Ａ，Ｂ）は、ＡおよびＢのうちの大きい方を発生符号目標量Ｔｉ、Ｔｐ、またはＴｂとすることを表している。また、Ｒはエンコードの対象となっているGOPに対して、現時点において利用可能な残り符号量を示しており、Ｎｉ、Ｎｐ、およびＮｂのそれぞれは、エンコードの対象となっているGOP内におけるＩピクチャ、Ｐピクチャ、およびＢピクチャのそれぞれの残り枚数、すなわちまだエンコードされていない枚数を示している。
【００１８】
さらに、Ｋｉ、Ｋｐ、およびＫｂのそれぞれは、量子化マトリクスに依存する定数を示しており、bit_rateは、１秒あたりの圧縮映像データのビット数であるビットレートを示しており、picture_rateは、１秒あたりのピクチャ数であるピクチャレートを示している。
【００１９】
ここで、GOPに対する利用可能な残り符号量Ｒは式（７）により表される。
【００２０】
Ｒ＝Ｇ＋Ｒ’                                                      ・・・（７）
【００２１】
なお、式（７）において、Ｒ’は現在エンコードの対象となっているGOPの直前のGOPのエンコード終了時に残った利用可能な符号量を示している。また、Ｇは、GOPの先頭、すなわちGOPのエンコードの開始時に利用可能な総符号量を示しており、総符号量Ｇは、式（８）により表される。
【００２２】
Ｇ=Ｎ×bit_rate／picture_rate                                    ・・・（８）
【００２３】
式（８）において、ＮはGOP内に含まれるピクチャ数を示している。
【００２４】
また、GOPに対する利用可能な残り符号量Ｒは、GOPに含まれるピクチャがエンコードされるたびに、発生した符号量Ｓｉ、Ｓｐ、またはＳｂだけ減算されて更新される。
【００２５】
さらに、非圧縮の映像信号のエンコードを開始する時点においては、複雑さＸｉ、Ｘｐ、およびＸｂは求めることができないので、式（９）乃至式（１１）により表される初期値Ｘｉ０、Ｘｐ０、およびＸｂ０のそれぞれが複雑さＸｉ、Ｘｐ、およびＸｂのそれぞれとして与えられ、直前のGOPの残り符号量はＲ’＝０とされる。
【００２６】
Ｘｉ０=１６０×bit_rate／１１５                                  ・・・（９）
【００２７】
Ｘｐ０＝６０×bit_rate／１１５                                  ・・・（１０）
【００２８】
Ｘｂ０＝４２×bit_rate／１１５                                  ・・・（１１）
【００２９】
したがって、例えば、先頭のＧＯＰに含まれる最初の５つのフレームが、先頭から順番にＩピクチャ（以下、Ｉ２と称する）、Ｂピクチャ（以下、Ｂ０と称する）、Ｂピクチャ（以下、Ｂ１と称する）、Ｐピクチャ（以下、Ｐ５と称する）、およびＢピクチャ（以下、Ｂ３と称する）である映像信号がエンコードされる場合、式（９）乃至式（１１）により示される複雑さの初期値Ｘｉ０、Ｘｐ０、およびＸｂ０が用いられて、式（４）からピクチャＩ２の発生符号目標量Ｔｉが算出され、ピクチャＩ２がエンコードされる。
【００３０】
その結果、符号化ブロック１から、実際に発生したピクチャＩ２の符号量Ｓｉおよび平均量子化スケールコードＱｉが発生符号目標量算出ブロック２に供給される。そこで、これらの符号量Ｓｉおよび平均量子化スケールコードＱｉから式（１）より複雑さＸｉが算出され、算出されたＸｉと、初期値Ｘｐ０およびＸｂ０とが用いられて、式（６）からピクチャＢ０の発生符号目標量Ｔｂが算出され、ピクチャＢ０がエンコードされる。
【００３１】
そして、ピクチャＢ０のエンコードの結果として発生した符号量Ｓｂおよび平均量子化スケールコードＱｂが、符号化ブロック１から発生符号目標量算出ブロック２に供給され、符号量Ｓｂおよび平均量子化スケールコードＱｂから式（３）より複雑さＸｂが算出される。さらに、これまでに算出された複雑さＸｉおよびＸｂと、初期値Ｘｐ０とが用いられて、式（６）からピクチャＢ１の発生符号目標量Ｔｂが算出され、ピクチャＢ１がエンコードされる。
【００３２】
これにより、発生したピクチャＢ１の符号量Ｓｂおよび平均量子化スケールコードＱｂが、符号化ブロック１から発生符号目標量算出ブロック２に供給され、符号量Ｓｂおよび平均量子化スケールコードＱｂから式（３）より新たな複雑さＸｂが算出される。その後、複雑さＸｉおよび新たに算出されたＸｂと、初期値Ｘｐ０とが用いられて、式（５）からピクチャＰ５の発生符号目標量Ｔｐが算出され、ピクチャＰ５がエンコードされる。
【００３３】
同様に、ピクチャＰ５のエンコードにより得られた符号量Ｓｐおよび平均量子化スケールコードＱｐから式（２）より複雑さＸｐが算出される。この時点において、実際のエンコードの結果により算出された、つまり初期値ではない複雑さＸｉ、Ｘｐ、およびＸｂを得ることができたので、ピクチャＢ３以降のピクチャについては、複雑さＸｉ、Ｘｐ、およびＸｂのそれぞれの値を外部から取得することなく、発生符号目標量算出ブロック２は、これからエンコードするピクチャの発生符号目標量を算出することができる。
【００３４】
このようにＴＭ５方式においては、エンコードの開始時には、映像信号の各ピクチャに対する複雑さとして、映像信号に基づく画像の特徴とは無関係な初期値が与えられて発生符号目標量が算出されるが、いくつかのピクチャがエンコードされた後は、実際のエンコードにより発生した符号量Ｓと、平均量子化スケールコードＱとが用いられて各ピクチャの発生符号目標量が算出されるので、エンコードを進めるうちに徐々にその画像（シーン）特有の発生符号量に収束していき、各ピクチャに対して適切な発生符号目標量を与えることができるようになる。
【００３５】
【非特許文献１】Telecommunication Standardization Sector Study Group 15 Experts Group for ATM Video coding「Test Model5」、１９９３年４月発行
【発明の開示】
【発明が解決しようとする課題】
【００３６】
ところで、従来、Long GOP方式のMPEGストリームの編集においては、編集点（スプライス点）近傍のピクチャを一旦デコードし、非圧縮の映像信号を編集点でつなぎあわせた後、つなぎあわせた映像信号を再エンコードしていた。
【００３７】
しかしながら、そのような場合、上述した技術では映像信号の再エンコードを開始する位置、すなわち再エンコードする映像信号の先頭からいくつかのピクチャに対しては、映像信号に基づく画像とは無関係な複雑さの初期値が用いられて発生符号目標量が算出される。そのため、再エンコードされる映像信号の先頭の近傍の区間のピクチャに対しては、適切な発生符号目標量が配分されなくなってしまい、画質が劣化してしまうおそれがあった。
【００３８】
例えば、エンコードされた圧縮映像データをさらにデコードすることにより得られた映像信号Ａと映像信号Ｂとが、所定の編集点において接続される場合、編集された映像信号Ａは、編集点の近傍の位置から再エンコードされることになる。このとき、映像信号Ａに対応する編集前の圧縮映像データＡに対する複雑さＸは、その圧縮映像データＡに対して符号化効率のよい圧縮映像データＡに特有の値であったにもかかわらず、編集後の映像信号Ａの再エンコードされる先頭のピクチャに対しては初期値が与えられてしまうため、再エンコードが開始されてから適切な発生符号目標量の配分がなされるようになるまでの区間では符号化効率が悪くなり、その結果、画質が劣化してしまうおそれがあった。
【００３９】
このように、所定の映像信号の再エンコードが行われる場合、その映像信号の再エンコードが開始される先頭の位置近傍の区間においては符号化効率が悪くなるので、画質が劣化してしまうおそれがあった。
【００４０】
本発明は、このような状況に鑑みてなされたものであり、画質を劣化させることなく再エンコードすることができるようにするものである。
【課題を解決するための手段】
【００４１】
本発明の一側面の情報処理装置は、符号化ストリームのうちの第１の範囲の符号化ストリームがデコードされて得られた第１の映像信号を再エンコードする情報処理装置であって、前記第１の範囲の直前の第２の範囲の符号化ストリームの先頭のピクチャの符号量を取得する符号量取得手段と、前記第１の映像信号が再エンコードされる場合、前記第２の範囲の符号化ストリームがデコードされて得られた第２の映像信号の先頭のピクチャから再エンコードを開始する再エンコード手段と、前記第２の映像信号の先頭のピクチャを再エンコードする際の目標符号量が、前記取得手段により取得された前記符号量となるように、前記再エンコード手段による再エンコードを制御する再エンコード制御手段とを備える。
【００４２】
前記符号量取得手段には、前記第２の範囲に含まれる第３の範囲であって、前記第２の範囲の先頭からＩピクチャ、Ｐピクチャ、およびＢピクチャのそれぞれが少なくとも１枚ずつ含まれる第３の範囲の符号化ストリームの各ピクチャのそれぞれについて、それらのピクチャの符号量を取得させ、前記再エンコード制御手段には、前記第３の範囲の符号化ストリームがデコードされて得られた第３の映像信号の各ピクチャの目標符号量が、前記第３の範囲の符号化ストリームの各ピクチャの符号量となるように、前記第３の映像信号の再エンコードを制御させることができる。
【００４３】
前記再エンコード制御手段には、直前に再エンコードされた映像信号のＩピクチャ、Ｐピクチャ、およびＢピクチャのそれぞれの再エンコードにより得られた符号量が用いられて、前記第３の映像信号以降の前記第２の映像信号および前記第１の映像信号の各ピクチャの目標符号量が算出されるように、前記第２の映像信号および前記第１の映像信号の再エンコードを制御させることができる。
【００４４】
前記第２の範囲は、１GOPから３GOPの範囲とすることができる。
【００４５】
前記第１の映像信号には、編集点において第４の映像信号がさらに接続され、接続された前記第１の映像信号および前記第４の映像信号が再エンコードされるようにすることができる。
【００４６】
本発明の一側面の情報処理方法、またはプログラムは、符号化ストリームのうちの第１の範囲の符号化ストリームがデコードされて得られた第１の映像信号を再エンコードする処理を実行するためのものであって、前記第１の範囲の直前の第２の範囲の符号化ストリームの先頭のピクチャの符号量を取得し、前記第１の映像信号が再エンコードされる場合、前記第２の範囲の符号化ストリームがデコードされて得られた第２の映像信号の先頭のピクチャから再エンコードが開始されるように、前記第１の映像信号の再エンコードを制御し、前記第２の映像信号の先頭のピクチャを再エンコードする際の目標符号量が、取得された前記符号量となるように、前記第２の映像信号の先頭のピクチャの再エンコードを制御するステップを含む。
【００４７】
本発明の一側面においては、符号化ストリームのうちの第１の範囲の符号化ストリームがデコードされて得られた第１の映像信号を再エンコードする情報処理において、前記第１の範囲の直前の第２の範囲の符号化ストリームの先頭のピクチャの符号量が取得され、前記第１の映像信号が再エンコードされる場合、前記第２の範囲の符号化ストリームがデコードされて得られた第２の映像信号の先頭のピクチャから再エンコードが開始されるように、前記第１の映像信号の再エンコードが制御され、前記第２の映像信号の先頭のピクチャを再エンコードする際の目標符号量が、取得された前記符号量となるように、前記第２の映像信号の先頭のピクチャの再エンコードが制御される。
【発明の効果】
【００４８】
本発明の一側面によれば、映像信号をエンコードすることができる。特に、本発明の一側面によれば、画質を劣化させることなく映像信号を再エンコードすることができる。
【発明を実施するための最良の形態】
【００４９】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００５０】
本発明の一側面の情報処理装置は、符号化ストリームのうちの第１の範囲の符号化ストリームがデコードされて得られた第１の映像信号を再エンコードする情報処理装置であって、前記第１の範囲の直前の第２の範囲の符号化ストリームの先頭のピクチャの符号量を取得する符号量取得手段（例えば、図４のパラメータ取得部１２７）と、前記第１の映像信号が再エンコードされる場合、前記第２の範囲の符号化ストリームがデコードされて得られた第２の映像信号の先頭のピクチャから再エンコードを開始する再エンコード手段（例えば、図２のエンコーダ５７）と、前記第２の映像信号の先頭のピクチャを再エンコードする際の目標符号量が、前記取得手段により取得された前記符号量となるように、前記再エンコード手段による再エンコードを制御する再エンコード制御手段（例えば、図４の符号化制御部１２８）とを備える。
【００５１】
前記符号量取得手段には、前記第２の範囲に含まれる第３の範囲であって、前記第２の範囲の先頭からＩピクチャ、Ｐピクチャ、およびＢピクチャのそれぞれが少なくとも１枚ずつ含まれる第３の範囲の符号化ストリームの各ピクチャのそれぞれについて、それらのピクチャの符号量を取得させ（例えば、図９のステップＳ４１の処理）、前記再エンコード制御手段には、前記第３の範囲の符号化ストリームがデコードされて得られた第３の映像信号の各ピクチャの目標符号量が、前記第３の範囲の符号化ストリームの各ピクチャの符号量となるように、前記第３の映像信号の再エンコードを制御させる（例えば、図１０のステップＳ７１の処理乃至ステップＳ７９の処理）ことができる。
【００５２】
前記再エンコード制御手段には、直前に再エンコードされた映像信号のＩピクチャ、Ｐピクチャ、およびＢピクチャのそれぞれの再エンコードにより得られた符号量が用いられて、前記第３の映像信号以降の前記第２の映像信号および前記第１の映像信号の各ピクチャの目標符号量が算出されるように、前記第２の映像信号および前記第１の映像信号の再エンコードを制御させる（例えば、図１０のステップＳ８０の処理）ことができる。
【００５３】
本発明の一側面の情報処理方法またはプログラムは、符号化ストリームのうちの第１の範囲の符号化ストリームがデコードされて得られた第１の映像信号を再エンコードする処理を実行させるためのものであって、前記第１の範囲の直前の第２の範囲の符号化ストリームの先頭のピクチャの符号量を取得し（例えば、図９のステップＳ４１）、前記第１の映像信号が再エンコードされる場合、前記第２の範囲の符号化ストリームがデコードされて得られた第２の映像信号の先頭のピクチャから再エンコードが開始されるように、前記第１の映像信号の再エンコードを制御し（例えば、図１０のステップＳ７１）、前記第２の映像信号の先頭のピクチャを再エンコードする際の目標符号量が、取得された前記符号量となるように、前記第２の映像信号の先頭のピクチャの再エンコードを制御する（例えば、図１０のステップＳ７２）ステップを含む。
【００５４】
以下、図面を参照して、本発明の実施の形態について説明する。
【００５５】
図２は本発明を適用した編集装置３１のハードウェア構成を示すブロック図である。
【００５６】
CPU（Central Processing Unit）４１は、ノースブリッジ４２に接続され、例えば、HDD（Hard disk Drive）４６に記憶されているデータの読み出しなどの処理を制御したり、CPU５０が実行する編集処理を制御するための制御信号やコマンドを生成して出力したりする。ノースブリッジ４２は、PCIバス（Peripheral Component Interconnect/Interface）４４に接続され、例えば、CPU４１の制御に基づいて、サウスブリッジ４５を介して、HDD４６に記憶されているデータの供給を受けて、PCIバス４４、PCIブリッジ４７を介して、メモリ４８に供給する。また、ノースブリッジ４２は、メモリ４３とも接続されており、CPU４１の処理に必要なデータを授受する。
【００５７】
メモリ４３は、CPU４１が実行する処理に必要なデータを保存する。サウスブリッジ４５は、HDD４６のデータの書き込みおよび読み出しを制御する。HDD４６には、圧縮符号化された編集用の素材である圧縮映像データ（以下、適宜、圧縮素材映像データとも称する）が記憶される。
【００５８】
PCIブリッジ４７は、メモリ４８のデータの書き込みおよび読み出しを制御したり、デコーダ５２乃至デコーダ５４、またはストリームスプライサ５５への圧縮映像データの供給を制御するとともに、PCIバス４４およびコントロールバス４９のデータの授受を制御する。メモリ４８は、PCIブリッジ４７の制御に基づいて、HDD４６により読み出された、編集用素材である圧縮映像データや、ストリームスプライサ５５から供給される編集後の圧縮映像データを記憶する。
【００５９】
CPU５０は、ノースブリッジ４２、PCIバス４４、PCIブリッジ４７、およびコントロールバス４９を介して、CPU４１から供給された制御信号やコマンドにしたがって、PCIブリッジ４７、デコーダ５２乃至デコーダ５４、ストリームスプライサ５５、エフェクト／スイッチ５６、エンコーダ５７、およびスイッチ５９が実行する処理を制御する。メモリ５１は、CPU５０の処理に必要なデータを記憶する。
【００６０】
デコーダ５２乃至デコーダ５４は、CPU５０の制御に基づいて、供給された圧縮映像データをデコードし、非圧縮の映像信号（ベースバンドの画像データ）を出力する。また、デコーダ５２乃至デコーダ５４は、編集装置３１に含まれない独立した装置として設けられていても良い。例えば、デコーダ５４が、独立した装置として設けられている場合、デコーダ５４は、後述する処理により編集されて生成された圧縮映像データの供給を受け、復号し、出力することができるようになされる。
【００６１】
ストリームスプライサ５５は、CPU５０の制御に基づいて、供給された圧縮映像データをデコーダ５４に供給したり、PCIブリッジ４７を介してメモリ４８に供給して保存させたりする。また、ストリームスプライサ５５は、エンコーダ５７から、エンコード処理において取得されたデータの供給を受け、PCIブリッジ４７を介して、メモリ４８に供給して保存させることも可能である。
【００６２】
エフェクト／スイッチ５６は、CPU５０の制御に基づいて、デコーダ５２またはデコーダ５３、もしくは、入力端子５８から供給される非圧縮の映像信号の出力を切り替える。すなわち、エフェクト／スイッチ５６は、供給された非圧縮の映像信号を所定のフレームで結合するとともに、必要に応じて所定の範囲にエフェクトを施して、エンコーダ５７に供給したり、入力端子５８から供給される非圧縮の映像信号をエンコーダ５７に供給する。エンコーダ５７は、CPU５０の制御に基づいて、供給された非圧縮の映像信号をエンコードする。
【００６３】
また、エンコーダ５７は、符号化部６１、発生符号目標量算出部６２、および切り替え部６３を備えている。エンコーダ５７の符号化部６１は、エフェクト／スイッチ５６から供給された非圧縮の映像信号を、切り替え部６３からの発生符号目標量Ｔ（目標符号量Ｔ）に基づいてエンコードする。また、符号化部６１は、エンコードにより得られたピクチャの発生符号量である符号量Ｓおよび平均量子化スケールコードＱを発生符号目標量算出部６２に供給する。
【００６４】
発生符号目標量算出部６２は、符号化部６１からの符号量Ｓおよび平均量子化スケールコードＱを用いて次にエンコードしようとするピクチャの目標符号量である発生符号目標量Ｔを算出し、切り替え部６３に供給する。切り替え部６３は、CPU５０からの発生符号目標量Ｔ、または発生符号目標量算出部６２からの発生符号目標量Ｔのいずれかを符号化部６１に供給する。
【００６５】
スイッチ５９は、CPU５０の制御に基づいて、エフェクト／スイッチ５６から出力されるベースバンド画像信号、または、ストリームスプライサ５５から供給され、デコーダ５４によってデコードされたベースバンド画像信号のいずれかを、外部の、例えば、表示装置などに出力する。
【００６６】
次に、編集装置３１の動作について説明する。
【００６７】
HDD４６には、Long GOPのOpen GOP方式で圧縮された複数の圧縮素材映像データ（符号化ストリーム）が記憶されている。CPU４１は、図示しない操作入力部からユーザの操作入力を受け、編集される２つのストリームと、その編集点の情報を受ける。
【００６８】
CPU４１は、圧縮符号化（エンコード）された圧縮素材映像データ（符号化ストリーム）であるストリームＡおよびストリームＢのGOP構造、並びに、編集点を示す情報を基に、ストリームＡおよびストリームＢのうち、再エンコードを行う範囲（以下、再エンコード区間と称する）を決定する。そして、CPU４１は、ストリームＡおよびストリームＢを、VBV（Video Buffering Verifier）Buffer ModelのVBV占有量の連続正を守ったまま、編集点で接続して１つのストリームとする、すなわちスプライシングするための処理を実行する。
【００６９】
すなわち、CPU４１は、再エンコード区間の再エンコード処理を実行させるために必要なストリーム、すなわちストリームＡの編集点ａまでの部分がデコーダ５２に供給され、ストリームＢの編集点ｂ以降の部分（編集点ｂ以降の部分のデコードに必要なフレームが編集点ｂ以前に存在する場合は、そのフレームも含む）がデコーダ５３に供給され、エフェクト／スイッチ５６によって、編集点で接続され、必要に応じてエフェクトが施されるように、制御信号を生成し、ノースブリッジ４２、PCIバス４４、PCIブリッジ４７、およびコントロールバス４９を介してCPU５０に送出する。
【００７０】
再エンコード区間および再エンコード区間前後の部分の表示が指令されている場合、CPU４１は、ストリームＡにおいて表示開始が指令された位置から編集点までの圧縮映像データ、およびストリームＢにおいて編集点（編集点以降の部分をデコードするために必要なフレームを含む）から表示終了が指令された位置までの圧縮映像データの、メモリ４８への供給を制御するので、CPU５０は、ストリームＡの再エンコード区間以前の部分のデータは、ストリームスプライサ５５を介して、デコーダ５４に供給され、スイッチ５９を介して、外部の表示装置などに出力され、続いて、エフェクト／スイッチ５６から出力された、編集された部分のベースバンド信号が、スイッチ５９を介して、外部の表示装置などに出力されるように制御する。
【００７１】
スプライシング動作が終了された場合、CPU５０は、CPU４１に対して、デコーダ５２またはデコーダ５３へのストリームの供給を停止させるように、制御信号を供給する。再エンコード区間のみの表示が指令されている場合、CPU４１は、ストリームＢのメモリ４８への転送をストップさせる。また、再エンコード区間前後の部分の表示が指令されている場合、CPU４１は、ストリームＢのメモリ４８への転送を続ける。CPU５０は、エフェクト／スイッチ５６から出力された、編集された部分のベースバンド信号が、スイッチ５９を介して、外部の表示装置などに出力されるのに続いて、ストリームＢの再エンコード区間以後の部分のデータは、ストリームスプライサ５５を介して、デコーダ５４に供給され、スイッチ５９を介して、外部の表示装置などに出力されるように制御する。
【００７２】
次に、図３は、図２の編集装置３１の機能の構成例を示すブロック図である。なお、図３において、図２における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【００７３】
編集装置３１は、制御部９１、取得部９２、デコーダ５２、デコーダ５３、およびエンコーダ５７から構成される。
【００７４】
制御部９１は、CPU４１およびCPU５０から構成され、編集装置３１の各部を制御する。取得部９２は制御部９１の制御に基づいて、HDD４６またはメモリ４８から圧縮素材映像データを取得してデコーダ５２またはデコーダ５３に供給する。なお、圧縮素材映像データが記憶されるHDD４６またはメモリ４８が取得部９２に含まれるようにしてもよいし、取得部９２が編集装置３１に接続されている他の装置から圧縮素材映像データを取得するようにしてもよい。
【００７５】
デコーダ５２およびデコーダ５３は、取得部９２から供給された圧縮素材映像データをデコードし、その結果として得られた非圧縮の映像信号をエンコーダ５７に供給する。なお、図３に示す編集装置３１には、圧縮素材映像データをデコードするデコーダとして、２つのデコーダ５２およびデコーダ５３が設けられているが、編集装置３１に設けられるデコーダは１つであってもよいし、３以上であってもよい。
【００７６】
また、制御部９１は、より詳細には図４に示すように構成される。
【００７７】
すなわち、制御部９１は、CPU４１およびCPU５０から構成される。また、CPU４１は、操作入力取得部１２１、再エンコード区間決定部１２２、パラメータ送出部１２３、およびストリーム送出制御部１２４から構成され、CPU５０は、ストリーム取得制御部１２５、復号制御部１２６、パラメータ取得部１２７、および符号化制御部１２８から構成される。
【００７８】
操作入力取得部１２１は、ユーザによる操作入力を受けて、編集されるストリームおよび編集点に関する情報などのユーザの操作に応じた情報を取得し、取得した情報を再エンコード区間決定部１２２またはストリーム送出制御部１２４に供給する。
【００７９】
再エンコード区間決定部１２２は、操作入力取得部１２１からの編集されるストリームおよび編集点に関する情報に基づいて、再エンコード区間を決定する。再エンコード区間決定部１２２は、決定された再エンコード区間を示す情報をパラメータ送出部１２３およびストリーム送出制御部１２４に供給する。
【００８０】
パラメータ送出部１２３は、再エンコード区間決定部１２２からの再エンコード区間を示す情報に基づいて、ストリームの再エンコードに必要な各種のパラメータをパラメータ取得部１２７に供給する。
【００８１】
ストリーム送出制御部１２４は、操作入力取得部１２１からの情報、および再エンコード区間決定部１２２からの再エンコード区間を示す情報に基づいて、編集されるストリームがデコーダ５２またはデコーダ５３に送出されるように、取得部９２を制御する。また、ストリーム送出制御部１２４は、操作入力取得部１２１からの情報、および再エンコード区間決定部１２２からの再エンコード区間を示す情報に基づいて、ストリームの編集、記憶、または表示などのユーザの操作に応じた処理を行うための制御信号をストリーム取得制御部１２５に供給する。
【００８２】
ストリーム取得制御部１２５は、ストリーム送出制御部１２４からの制御信号に基づいて、編集されるストリームの取得を制御する。また、ストリーム取得制御部１２５は、ストリーム送出制御部１２４からの制御信号に基づいて、復号制御部１２６にデコードの制御を指示したり、符号化制御部１２８にエンコードの制御を指示したりする。
【００８３】
復号制御部１２６は、ストリーム取得制御部１２５の指示に従って、ストリームのデコードを制御する。パラメータ取得部１２７は、パラメータ送出部１２３からストリームの再エンコードに必要な各種のパラメータを取得し、符号化制御部１２８に供給する。符号化制御部１２８は、ストリーム取得制御部１２５の指示に従い、パラメータ取得部１２７からのパラメータに基づいて、編集されたストリームの再エンコードを制御する。
【００８４】
ところで、編集されたストリームが再エンコードされる場合、制御部９１の符号化制御部１２８は、例えば図５に示すように、そのストリームにおける再エンコード区間の開始位置よりも所定の区間だけ前の位置から再エンコードが開始されるようにエンコーダ５７を制御する。
【００８５】
なお、図中、１つの四角形は、１つのピクチャを表しており、Ｉ、Ｐ、Ｂのそれぞれはピクチャタイプ、すなわちＩピクチャ、Ｐピクチャ、およびＢピクチャのそれぞれを表している。また、ピクチャタイプの図中、右側の数字はGOP内において、そのピクチャが表示される順番を表している。
【００８６】
例えば、編集される非圧縮の映像信号であるストリームＡ１における編集点ａ１を含むGOPの開始位置をα１とし、編集される非圧縮の映像信号であるストリームＢ１における編集点ｂ１を含むGOPの終了位置をβ１としたとき、ストリームＡ１およびストリームＢ１が編集点において接続されて生成されるストリームＣ１における再エンコード区間は、編集点ａ１および編集点ｂ１を含む開始位置α１から終了位置β１までの区間とされる。
【００８７】
このとき符号化制御部１２８は、再エンコード区間の開始位置α１よりも所定の区間だけ前の位置γ１から再エンコードが開始されるようにエンコーダ５７を制御する。図５では、位置γ１は、再エンコード区間の開始位置α１の直前のGOPの先頭の位置とされている。なお、以下では、再エンコード区間の直前の事前に再エンコードされる区間（範囲）、すなわち位置γ１から位置α１までの区間を事前再エンコード区間と称する。このように、１GOPを事前再エンコード区間とすることによって、できるだけ短い区間で再エンコード区間のピクチャに適切な発生符号目標量を与えることができるようにすることができる。
【００８８】
図５の例では、ストリームＡ１の位置γ１から編集点ａ１までの区間の部分と、ストリームＢ１の編集点ｂ１から終了位置β１までの区間の部分とがエフェクト／スイッチ５６からエンコーダ５７の符号化部６１に供給される。そして、エフェクト／スイッチ５６からエンコーダ５７の符号化部６１に供給されたストリームは、エンコードされる順番に並び替えられたり、必要に応じてピクチャタイプが変更されたりしてストリームＣ１とされる。
【００８９】
ストリームＣ１の事前再エンコード区間および再エンコード区間の映像信号が符号化部６１に供給されると、符号化制御部１２８は、例えばＴＭ５方式によりストリームＣ１の各ピクチャの発生符号目標量が算出されてエンコードされるようにエンコーダ５７を制御する。
【００９０】
ここで、符号化制御部１２８は、事前再エンコード区間の先頭のピクチャから、各ピクチャタイプのピクチャ、すなわちＩピクチャ、Ｐピクチャ、およびＢピクチャがそれぞれ少なくとも１度はエンコードされるまで、各ピクチャのオリジナルのストリームにおける符号量を発生符号目標量として与えて再エンコードさせる。
【００９１】
したがって、図５の例においては、事前再エンコード区間の先頭のピクチャＩ０２から、ピクチャＰ０５までの４つのピクチャの発生符号目標量として、ストリームＡ１の圧縮映像データとしてのピクチャＩ０２、ピクチャＢ００、ピクチャＢ０１、およびピクチャＰ０５のそれぞれの実際の符号量が、符号化制御部１２８から切り替え部６３を介して符号化部６１に供給される。
【００９２】
すなわち、符号化制御部１２８は、事前再エンコード区間の先頭のピクチャＩ０２の圧縮されたストリームＡ１における実際の符号量を切り替え部６３を介して符号化部６１に供給し、符号化部６１は、供給されたピクチャＩ０２の符号量を発生符号目標量として、ストリームＣ１のピクチャＩ０２のエンコードを行う。そして、符号化部６１は、ピクチャＩ０２のエンコードにより得られた符号量Ｓｉ２および平均量子化スケールコードＱｉ２を発生符号目標量算出部６２に供給する。
【００９３】
次に、発生符号目標量算出部６２は、符号化部６１からの符号量Ｓｉ２および平均量子化スケールコードＱｉ２を用いて、式（１）より複雑さＸｉ（＝Ｓｉ２×Ｑｉ２）を算出し、GOPに対する利用可能な残り符号量Ｒから符号量Ｓｉ２を減算して残り符号量Ｒを更新する。そして、符号化制御部１２８は、次のピクチャＢ００の圧縮されたストリームＡ１における実際の符号量を切り替え部６３を介して符号化部６１に供給し、符号化部６１は、供給されたピクチャＢ００の符号量を発生符号目標量として、ストリームＣ１のピクチャＢ００のエンコードを行う。
【００９４】
符号化部６１は、ピクチャＢ００のエンコードにより得られた符号量Ｓｂ０および平均量子化スケールコードＱｂ０を発生符号目標量算出部６２に供給し、発生符号目標量算出部６２は、符号化部６１からの符号量Ｓｂ０を残り符号量Ｒから減算して残り符号量Ｒを更新する。なお、このとき、複雑さＸｐが分からない状態で次のピクチャＢ０１をエンコードしなければならず、まだ複雑さＸｂを求める必要はないので、発生符号目標量算出部６２はＸｂを算出しない。
【００９５】
次に、符号化制御部１２８は、次のピクチャＢ０１の圧縮されたストリームＡ１における実際の符号量を切り替え部６３を介して符号化部６１に供給し、符号化部６１は、供給されたピクチャＢ０１の符号量を発生符号目標量として、ストリームＣ１のピクチャＢ０１のエンコードを行う。
【００９６】
符号化部６１は、ピクチャＢ０１のエンコードにより得られた符号量Ｓｂ１および平均量子化スケールコードＱｂ１を発生符号目標量算出部６２に供給し、発生符号目標量算出部６２は、符号化部６１からの符号量Ｓｂ１および平均量子化スケールコードＱｂ１を用いて、式（３）より複雑さＸｂ（＝Ｓｂ１×Ｑｂ１）を算出し、GOPに対する利用可能な残り符号量Ｒから符号量Ｓｂ１を減算して残り符号量Ｒを更新する。
【００９７】
さらに、符号化制御部１２８は、次のピクチャＰ０５の圧縮されたストリームＡ１における実際の符号量を切り替え部６３を介して符号化部６１に供給し、符号化部６１は、供給されたピクチャＰ０５の符号量を発生符号目標量として、ストリームＣ１のピクチャＰ０５のエンコードを行う。
【００９８】
符号化部６１は、ピクチャＰ０５のエンコードにより得られた符号量Ｓｐ５および平均量子化スケールコードＱｐ５を発生符号目標量算出部６２に供給し、発生符号目標量算出部６２は、符号化部６１からの符号量Ｓｐ５および平均量子化スケールコードＱｐ５を用いて、式（２）より複雑さＸｐ（＝Ｓｐ５×Ｑｐ５）を算出し、残り符号量Ｒから符号量Ｓｐ５を減算して残り符号量Ｒを更新する。
【００９９】
この時点において、各ピクチャタイプの複雑さＸｉ、Ｘｐ、およびＸｂのそれぞれが算出されたので、ピクチャＢ０３以降は、エンコーダ５７において、エンコードにより実際に発生した符号量Ｓと、平均量子化スケールコードＱとから求められる複雑さＸｉ、Ｘｐ、およびＸｂのそれぞれが用いられて、式（４）乃至式（６）のそれぞれにより各ピクチャの発生符号目標量が算出され、その発生符号目標量に基づいて、再エンコード区間の終了位置β１までストリームＣ１の再エンコードが行われる。
【０１００】
ここで、符号化制御部１２８は、事前再エンコード区間のエンコードの結果は出力されずに、再エンコード区間のエンコードの結果だけが出力されるように、エンコーダ５７を制御する。したがって、エンコーダ５７からストリームスプライサ５５には、開始位置α１から終了位置β１までのストリームが再エンコードされて得られた圧縮映像データが供給される。
【０１０１】
このように、再エンコード区間よりも前の所定の位置から予め編集されたストリームを再エンコードしておくことで、再エンコード区間のエンコードを開始するときに、各ピクチャの発生符号目標量が再エンコードされるストリームの画像に適した符号量となるようにすることができる。その結果、より効率よく符号化することができ、再エンコードによる画質の劣化を抑制することができる。
【０１０２】
換言すれば、わずかな区間だけ余分に再エンコードするだけで、再エンコード時に各ピクチャに与えられる発生符号目標量をオリジナルのストリームの各ピクチャの符号量と同等となるようにすることができる。
【０１０３】
また、事前再エンコード区間の先頭のピクチャから、各ピクチャタイプのピクチャのエンコードが終了するまで、すなわち各ピクチャタイプに対する複雑さが算出されるまで、各ピクチャのオリジナルのストリームにおけるピクチャの符号量を発生符号目標量とすることで、ストリームの画像とは無関係な初期値を用いて再エンコードを開始する場合よりも、発生符号目標量がより速く適切な符号量となるようにすることができる。
【０１０４】
例えば、ストリームＡ１の位置α１から編集点ａ１までの区間（以下、区間Ａ１と称する）をエンコードする場合に、位置γ１からエンコードを開始して得られた区間Ａ１のストリームＡＥ１と、位置α１からエンコードを開始して得られた区間Ａ１のストリームＡＥ２とは、各ピクチャの発生符号目標量が異なるため、異なるストリームとなる。
【０１０５】
この場合、所定の区間だけ遡ってエンコードを開始して得られたストリームＡＥ１の方が、位置α１からエンコードを開始して得られたストリームＡＥ２よりも、よりストリームＡ１の特徴を捉えた効率のよい符号量配分がなされているので、同じビットレートとなるようにエンコードされたストリームであってもSNR（Signal to Noise Ratio）はストリームＡＥ１の方がよくなり、より画質のよい画像を表示させることができる。
【０１０６】
また、例えば図６に示すように、編集されるストリームにおける編集点がGOPの先頭の位置とされた場合においても、図５における場合と同様に、符号化制御部１２８は再エンコード区間の開始位置よりも所定の区間だけ前の位置から再エンコードが開始されるようにエンコーダ５７を制御する。
【０１０７】
なお、図中、１つの四角形は、１つのピクチャを表しており、Ｉ、Ｐ、Ｂのそれぞれはピクチャタイプを表している。また、ピクチャタイプの図中、右側の数字はGOP内において、そのピクチャが表示される順番を表している。
【０１０８】
例えば、編集される非圧縮の映像信号であるストリームＡ２における編集点ａ２を、その編集点ａ２が含まれるGOPの開始位置α２とし、編集される非圧縮の映像信号であるストリームＢ２における編集点ｂ２を含むGOPの終了位置をβ２としたとき、ストリームＡ２およびストリームＢ２が編集点において接続されて生成されるストリームＣ２における再エンコード区間は、編集点ａ２、すなわち開始位置α２から終了位置β２までの区間とされる。
【０１０９】
このとき符号化制御部１２８は、再エンコード区間の開始位置α２よりも所定の区間だけ前の位置γ２から再エンコードが開始されるようにエンコーダ５７を制御する。図６では、位置γ２は、再エンコード区間の開始位置α２の直前のGOPの先頭の位置とされている。
【０１１０】
図６の例では、ストリームＡ２の位置γ２から開始位置α２までの区間の部分と、ストリームＢ２の編集点ｂ２から終了位置β２までの区間の部分とがエフェクト／スイッチ５６からエンコーダ５７の符号化部６１に供給されてストリームＣ２とされる。
【０１１１】
ストリームＣ２の事前再エンコード区間および再エンコード区間の部分が符号化部６１に供給されると、符号化制御部１２８は、事前再エンコード区間の先頭のピクチャＩ０２から、各ピクチャタイプのエンコードが少なくとも１度終了するまで、すなわちピクチャＰ０５のエンコードが終了するまで、各ピクチャのオリジナルのストリームにおけるピクチャの符号量を発生符号目標量として与えて再エンコードさせる。
【０１１２】
なお、図５または図６においては、図７Ａに示すように、事前再エンコード区間の先頭から４つ目のピクチャのエンコードが終了した時点で、各ピクチャタイプのピクチャが少なくとも１度エンコードされて、各ピクチャタイプの複雑さを得ることができる例について説明したが、図７Ｂに示す例では、事前再エンコード区間の先頭のピクチャＩ０１から、３つ目のピクチャＰ０４のエンコードが終了した時点において、各ピクチャタイプのピクチャが少なくとも１度エンコードされている。
【０１１３】
このような場合においても、図７Ａにおける場合と同様に、先頭のピクチャＩ０１からピクチャＰ０４までの３つのピクチャのそれぞれに対して、オリジナルのストリームにおける各ピクチャの符号量のそれぞれが発生符号目標量として与えられて再エンコードされる。
【０１１４】
同様に、図７Ｃに示すように、事前再エンコード区間の先頭から、ピクチャＩ００、ピクチャＰ０３、およびピクチャＢ０１が順番に配置されている場合、先頭のピクチャＩ００から、３つ目のピクチャＢ０１のエンコードが終了した時点において、各ピクチャタイプのピクチャが少なくとも１度エンコードされるので、ピクチャＩ００からピクチャＢ０１までの３つのピクチャのそれぞれに対して、オリジナルのストリームにおける各ピクチャの符号量のそれぞれが発生符号目標量として与えられて再エンコードされる。
【０１１５】
次に、図８のフローチャートを参照して、CPU４１の処理について説明する。なお、この処理は、ユーザが図示せぬ操作入力部を操作して、所定の圧縮素材映像データの編集を指示すると開始される。
【０１１６】
ステップＳ１１において、操作入力取得部１２１は、図示せぬ操作入力部からユーザの操作に応じて、圧縮符号化された圧縮素材映像データであるストリームＡおよびストリームＢのGOP構造、並びに編集点を示す情報の入力を受け、入力されたそれらの情報を再エンコード区間決定部１２２に供給する。
【０１１７】
また、操作入力取得部１２１は、ユーザが再エンコード区間前後の部分の表示を指令した場合、操作入力部からユーザの操作に応じた指令を取得して、ストリーム送出制御部１２４に供給する。ストリーム送出制御部１２４は、編集の対象となるストリームＡの再エンコード区間以前の部分のデータが、ストリームスプライサ５５を介して、デコーダ５４に供給され、スイッチ５９を介して、外部の表示装置などに出力されるように各部を制御させるための制御信号を生成し、ノースブリッジ４２、PCIバス４４、PCIブリッジ４７、およびコントロールバス４９を介して、CPU５０に送出する。
【０１１８】
ステップＳ１２において、再エンコード区間決定部１２２は、操作入力取得部１２１から供給されたストリームＡおよびストリームＢのGOP構造、並びに編集点を示す情報に基づいて、再エンコード区間を決定する。
【０１１９】
例えば、再エンコード区間決定部１２２は、ストリームＡにおける編集点ａを含むGOPの開始位置をαとし、ストリームＢにおける編集点ｂを含むGOPの終了位置をβとしたとき、編集点ａおよび編集点ｂを含む開始位置αから終了位置βまでの区間を再エンコード区間とする。再エンコード区間決定部１２２は、再エンコード区間を決定すると、再エンコード区間を示す情報をパラメータ送出部１２３およびストリーム送出制御部１２４に供給する。
【０１２０】
ステップＳ１３において、パラメータ送出部１２３は、再エンコード区間決定部１２２からの再エンコード区間を示す情報に基づいて、必要に応じてHDD４６に記憶されている、編集の対象となる圧縮素材映像データを参照したり、図示せぬ操作入力部からの信号を取得したりすることにより、再エンコード区間の再エンコード処理を実行させるために必要なパラメータを取得する。
【０１２１】
ここで、再エンコード区間の再エンコード処理を実行させるために必要なパラメータには、例えば、ストリームＡにおける編集点を含むGOPまでのGOP数など、その位置を示す情報、ストリームＡにおける編集点を含むGOPにおける編集点の位置を示す情報、ストリームＢにおける編集点を含むGOPからストリーム終了までのGOP数など、その位置を示す情報、ストリームＢにおける編集点を含むGOPにおける編集点の位置を示す情報、再エンコード区間のはじめのVBV値および次のGOPの最初のフレームのVBV値（すなわち、再エンコード区間におけるVBV目標値）、エフェクトの有無またはエフェクトの種類を示す情報などがある。
【０１２２】
また、その他、再エンコード処理を実行させるために必要なパラメータには、再エンコードするストリームの１つのGOPに対して利用可能な符号量、事前再エンコード区間の開始位置を示す情報、事前再エンコード区間における各ピクチャタイプのエンコードが少なくとも１度終了するまで、すなわち各ピクチャタイプが出揃うまでの区間（範囲）の各ピクチャのオリジナルの符号量なども含まれている。さらに、パラメータ送出部１２３は、ストリーム送出制御部１２４に、取得したエフェクトの有無またはエフェクトの種類を示す情報を供給する。
【０１２３】
ステップＳ１４において、ストリーム送出制御部１２４は、再エンコード区間の再エンコード処理を実行させるために必要なストリームのデコーダ５２およびデコーダ５３への送出を制御する。具体的には、ストリーム送出制御部１２４は、再エンコード区間の再エンコード処理を実行させるために必要なストリーム、すなわちストリームＡの事前再エンコード区間を含む編集点ａまでの部分がデコーダ５２に供給され、ストリームＢの編集点ｂ以降の部分（編集点ｂ以降の部分のデコードに必要なフレームが編集点ｂ以前に存在する場合は、そのフレームも含む）がデコーダ５３に供給され、エフェクト／スイッチ５６によって、編集点で接続され、必要に応じてエフェクトが施されるように、各部を制御させるための制御信号を生成し、ノースブリッジ４２、PCIバス４４、PCIブリッジ４７、および、コントロールバス４９を介して、CPU５０に送出する。
【０１２４】
また、ストリーム送出制御部１２４は、サウスブリッジ４５を制御して、サウスブリッジ４５に編集されるストリームＡおよびストリームＢをHDD４６から読み出させ、読み出させたストリームＡおよびストリームＢをノースブリッジ４２、PCIバス４４、およびPCIブリッジ４７を介してメモリ４８に供給させて記憶させる。
【０１２５】
ステップＳ１５において、パラメータ送出部１２３は、再エンコード区間の再エンコード処理を実行させるために必要なパラメータを、ノースブリッジ４２、PCIバス４４、PCIブリッジ４７、およびコントロールバス４９を介して、CPU５０に送出する。
【０１２６】
ステップＳ１６において、ストリーム送出制御部１２４は、再エンコードを終了させるための処理を実行し、処理は終了する。
【０１２７】
例えば、ストリーム送出制御部１２４は、エンコーダ５７において再エンコードされて得られたストリームが、エンコーダ５７からストリームスプライサ５５およびPCIブリッジ４７を介してメモリ４８に供給されるように各部を制御させるための制御信号を生成し、ノースブリッジ４２、PCIバス４４、PCIブリッジ４７、およびコントロールバス４９を介して、CPU５０に送出する。
【０１２８】
また、ユーザにより再エンコード区間前後の部分の表示が指令されている場合、ストリーム送出制御部１２４は、編集の対象となるストリームＡおよびストリームＢの再エンコード区間の部分のデータが、エフェクト／スイッチ５６からスイッチ５９を介して、外部の表示装置などに出力されるように各部を制御させるための制御信号と、ストリームＢの再エンコード区間以降のデータが、ストリームスプライサ５５を介して、デコーダ５４に供給され、スイッチ５９を介して、外部の表示装置などに出力されるように各部を制御させるための制御信号とを生成し、ノースブリッジ４２、PCIバス４４、PCIブリッジ４７、およびコントロールバス４９を介して、CPU５０に送出する。
【０１２９】
このような処理により、CPU４１は、再エンコード区間を決定して、再エンコード区間の再エンコード処理に必要なパラメータを、ノースブリッジ４２、PCIバス４４、PCIブリッジ４７、およびコントロールバス４９を介して、CPU５０に送出するとともに、再エンコード区間のストリームがノースブリッジ４２、PCIバス４４、およびPCIブリッジ４７を介して、メモリ４８に供給され、さらにメモリ４８からデコーダ５２（または、必要に応じて、デコーダ５３）に供給されるように制御することができる。
【０１３０】
また、CPU４１は、事前再エンコード区間において各ピクチャタイプが出揃うまでの区間の各ピクチャのオリジナルの符号量が含まれるパラメータをCPU５０に送出するようにしたので、再エンコードされるストリームに対してより適切な発生符号目標量を与えることができるようになり、その結果より効率よく符号化することができる。これにより、再エンコードによる画質の劣化を抑制することができる。
【０１３１】
このようにして、CPU４１からCPU５０にストリームの再エンコードを制御するための制御信号が送出されると、CPU５０はその制御信号に応じて、編集されたストリームの再エンコードを制御する処理を開始する。
【０１３２】
以下、図９のフローチャートを参照して、CPU５０の処理について説明する。
【０１３３】
ステップＳ４１において、パラメータ取得部１２７は、図８のステップＳ１５においてCPU４１のパラメータ送出部１２３により送出された、再エンコード区間の再エンコード処理を実行させるために必要なパラメータを取得し、取得したパラメータを符号化制御部１２８に供給する。
【０１３４】
また、ストリーム取得制御部１２５は、ストリーム送出制御部１２４から編集の対象となるストリームＡの再エンコード区間以前の部分のデータを外部の表示装置などに出力させるように各部を制御させるための制御信号が供給された場合、その制御信号に基づいて、PCIブリッジ４７、ストリームスプライサ５５、およびスイッチ５９の動作を制御するとともに、復号制御部１２６に対して、デコーダ５４におけるストリームのデコードを制御するように指示する。
【０１３５】
PCIブリッジ４７は、メモリ４８に記憶されている、ストリームＡの再エンコード区間以前の部分のデータを読み出し、ストリームスプライサ５５を介してデコーダ５４に供給し、デコーダ５４は、ストリームスプライサ５５から供給されたストリームＡの再エンコード区間以前の部分の圧縮映像データをデコードする。そして、デコーダ５４は、デコードにより得られた非圧縮の映像信号をスイッチ５９を介して表示装置に供給して表示させる。
【０１３６】
ステップＳ４２において、CPU５０は、事前再エンコード制御処理を行う。なお、事前再エンコード制御処理の詳細は後述するが、事前再エンコード制御処理において、CPU５０は、編集されるストリームの事前再エンコード区間の部分のデータがデコーダ５２またはデコーダ５３においてデコードされ、エンコーダ５７において再エンコードされるように、編集装置３１の各部を制御する。
【０１３７】
ステップＳ４３において、CPU５０は、CPU４１からの制御信号に基づいて、再エンコード区間のデコードおよびエンコード、並びに編集点の接続の制御を実行する。すなわち、ストリーム取得制御部１２５は、ノースブリッジ４２、PCIバス４４、PCIブリッジ４７、およびコントロールバス４９を介して、CPU４１から送出される制御信号を基に、ストリームＡの再エンコード区間のデータがデコーダ５２に供給されてデコードされ、ストリームＢの編集点ｂ以降の部分（編集点ｂ以降の部分のデコードに必要なフレームが編集点ｂ以前に存在する場合は、そのフレームも含む）がデコーダ５３に供給され、エフェクト／スイッチ５６によって、デコードされたそれぞれのストリームが編集点で接続され、必要に応じてエフェクトが施された後、スイッチ５９を介して、外部の表示装置などに出力されるとともに、エンコーダ５７によってエンコードされるように、PCIブリッジ４７、エフェクト／スイッチ５６、およびスイッチ５９の動作を制御するとともに、復号制御部１２６に対して、デコーダ５２およびデコーダ５３におけるデコードの制御を指示し、符号化制御部１２８に対して、エンコーダ５７における映像信号のエンコードの制御を指示する。
【０１３８】
また、復号制御部１２６は、ストリーム取得制御部１２５からの指示に応じて、デコーダ５２およびデコーダ５３における圧縮映像データのデコードを制御し、符号化制御部１２８は、ストリーム取得制御部１２５からの指示に応じて、エンコーダ５７における映像信号のエンコードを制御する。
【０１３９】
これにより、メモリ４８に記憶されているストリームＡおよびストリームＢの圧縮映像データは、PCIブリッジ４７により読み出され、デコーダ５２またはデコーダ５３においてデコードされてエフェクト／スイッチ５６に供給される。そして、編集されるストリームＡおよびストリームＢは、エフェクト／スイッチ５６により編集点で接続されてスイッチ５９およびエンコーダ５７に供給される。スイッチ５９に供給された編集後のストリームは表示装置に供給されて表示され、エンコーダ５７に供給された編集後のストリームは、エンコーダ５７において再エンコードされ、ストリームスプライサ５５を介してメモリ４８に供給されて記憶される。
【０１４０】
また、エンコーダ５７においては、符号化部６１は、エフェクト／スイッチ５６から供給されたストリームである映像信号を、切り替え部６３からの発生符号目標量に基づいてエンコードし、エンコードにより得られた圧縮映像データを出力する。さらに、符号化部６１は、エンコードにより得られた符号量Ｓおよび平均量子化スケールコードＱを発生符号目標量算出部６２に供給する。発生符号目標量算出部６２は、符号化部６１からの符号量Ｓおよび平均量子化スケールコードＱを用いて発生符号目標量を算出し、切り替え部６３を介して符号化部６１に供給する。
【０１４１】
ステップＳ４４において、ストリーム取得制御部１２５は、再エンコードを終了させるための処理を実行し、処理は終了する。
【０１４２】
例えば、ストリーム取得制御部１２５は、ストリーム送出制御部１２４からの制御信号に基づいて、エンコーダ５７において再エンコードされて得られたストリームが、エンコーダ５７からストリームスプライサ５５およびPCIブリッジ４７を介してメモリ４８に供給されるように各部を制御する。
【０１４３】
また、ユーザにより再エンコード区間前後の部分の表示が指令されている場合、ストリーム取得制御部１２５は、ストリーム送出制御部１２４からの制御信号に基づいて、ストリームＢの再エンコード区間以降のデータが、ストリームスプライサ５５を介して、デコーダ５４に供給され、スイッチ５９を介して、外部の表示装置などに出力されるように各部を制御する。
【０１４４】
さらに、編集後、再エンコードされてメモリ４８に供給された圧縮映像データは、CPU４１の制御の基に、PCIブリッジ４７によりメモリ４８から読み出され、PCIバス４４、ノースブリッジ４２、およびサウスブリッジ４５を介してHDD４６に供給されて記憶される。
【０１４５】
このような処理により、メモリ４８から編集の対象となるストリームＡおよびストリームＢが読み出されて、編集点において接続され、外部の表示装置などに出力される。
【０１４６】
次に、図１０のフローチャートを参照して、図９のステップＳ４２の処理に対応する事前再エンコード制御処理について説明する。
【０１４７】
ステップＳ７１において、CPU５０は、CPU４１からの制御信号に基づいて、事前再エンコード区間のデコードおよび再エンコードの制御を開始する。すなわち、ストリーム取得制御部１２５は、ノースブリッジ４２、PCIバス４４、PCIブリッジ４７、およびコントロールバス４９を介して、CPU４１から供給された制御信号に基づいて、ストリームＡの事前再エンコード区間のデータがデコーダ５２に供給されてデコードされ、エフェクト／スイッチ５６を介してエンコーダ５７の符号化部６１に供給されて、エンコーダ５７においてエンコードされるように、PCIブリッジ４７およびエフェクト／スイッチ５６の動作を制御するとともに、復号制御部１２６に対して、デコーダ５２におけるデコードの制御を指示し、符号化制御部１２８に対して、エンコーダ５７における映像信号のエンコードの制御を指示する。
【０１４８】
これにより、PCIブリッジ４７は、メモリ４８からストリームＡの事前再エンコード区間の圧縮映像データを読み出してデコーダ５２に供給し、デコーダ５２は復号制御部１２６の制御の基に、PCIブリッジ４７から供給された圧縮映像信号をデコードし、その結果得られた非圧縮の映像信号をエフェクト／スイッチ５６を介してエンコーダ５７に供給する。
【０１４９】
ステップＳ７２において、符号化制御部１２８は、パラメータ取得部１２７から供給されたパラメータに基づいて、事前再エンコード区間の先頭のＩピクチャの発生符号目標量として、そのＩピクチャのオリジナルの符号量、すなわち再エンコードのためにデコードされる前の、圧縮されたオリジナルのストリームにおけるＩピクチャの符号量Ｔｉを切り替え部６３を介して符号化部６１に与える。
【０１５０】
符号化部６１は、符号化制御部１２８から供給された事前再エンコード区間の先頭のＩピクチャの符号量を発生符号目標量として、事前再エンコード区間の先頭のＩピクチャのエンコードを行う。そして、符号化部６１は、そのＩピクチャのエンコードにより得られた符号量Ｓｉおよび平均量子化スケールコードＱｉを発生符号目標量算出部６２に供給する。
【０１５１】
ステップＳ７３において、符号化制御部１２８は、パラメータ取得部１２７から供給されたパラメータのうち、GOPに対して利用可能な符号量Ｒなどを必要に応じてエンコーダ５７に供給し、発生符号目標量算出部６２による複雑さＸｉの算出および残り符号量Ｒの更新を制御する。
【０１５２】
発生符号目標量算出部６２は、符号化制御部１２８の制御に基づいて、符号化部６１からの符号量Ｓｉおよび平均量子化スケールコードＱｉを基に、式（１）によりＩピクチャの複雑さＸｉを算出する。また、発生符号目標量算出部６２は、符号化制御部１２８から供給された残り符号量Ｒから、Ｉピクチャのエンコードにより発生した符号量Ｓｉを減算して、すなわちＲ−Ｓｉを計算して、残り符号量Ｒを更新する。
【０１５３】
ステップＳ７４において、符号化制御部１２８は、次にエンコードするピクチャはＢピクチャであるか否かを判定する。
【０１５４】
ステップＳ７４において、Ｂピクチャであると判定された場合、ステップＳ７５に進み、符号化制御部１２８は、パラメータ取得部１２７から供給されたパラメータに基づいて、事前再エンコード区間における、次にエンコードしようとするＢピクチャの発生符号目標量として、そのＢピクチャのオリジナルの符号量Ｔｂを切り替え部６３を介して符号化部６１に与える。
【０１５５】
符号化部６１は、符号化制御部１２８から供給されたＢピクチャの符号量を発生符号目標量として、次のＢピクチャのエンコードを行う。そして、符号化部６１は、そのＢピクチャのエンコードにより得られた符号量Ｓｂおよび平均量子化スケールコードＱｂを発生符号目標量算出部６２に供給する。
【０１５６】
ステップＳ７６において、符号化制御部１２８は、発生符号目標量算出部６２による複雑さＸｂの算出および残り符号量Ｒの更新を制御する。
【０１５７】
発生符号目標量算出部６２は、符号化制御部１２８の制御に基づいて、符号化部６１からの符号量Ｓｂおよび平均量子化スケールコードＱｂを基に、式（３）によりＢピクチャの複雑さＸｂを算出する。また、発生符号目標量算出部６２は、残り符号量Ｒから、Ｂピクチャのエンコードにより発生した符号量Ｓｂを減算して、残り符号量Ｒを更新し、処理はステップＳ７９に進む。
【０１５８】
なお、事前再エンコード区間の先頭から、各ピクチャタイプが出揃って、各ピクチャタイプのエンコードが少なくとも１度終了するまでに、他のＢピクチャをエンコードする必要がある場合、例えば、今回エンコードされたピクチャが図５に示した、事前再エンコード区間のピクチャＢ００であった場合には、発生符号目標量算出部６２は、今回エンコードしたＢピクチャの符号量Ｓｂを用いた複雑さＸｂの算出を行わない。
【０１５９】
また、ステップＳ７４において、Ｂピクチャではないと判定された場合、すなわちこれからエンコードするピクチャがＰピクチャである場合、ステップＳ７７に進み、符号化制御部１２８は、パラメータ取得部１２７から供給されたパラメータに基づいて、事前再エンコード区間における次にエンコードしようとするＰピクチャの発生符号目標量として、そのＰピクチャのオリジナルの符号量Ｔｐを切り替え部６３を介して符号化部６１に与える。
【０１６０】
符号化部６１は、符号化制御部１２８から供給されたＰピクチャの符号量を発生符号目標量として、次のＰピクチャのエンコードを行う。そして、符号化部６１は、そのＰピクチャのエンコードにより得られた符号量Ｓｐおよび平均量子化スケールコードＱｐを発生符号目標量算出部６２に供給する。
【０１６１】
ステップＳ７８において、符号化制御部１２８は、発生符号目標量算出部６２による複雑さＸｐの算出および残り符号量Ｒの更新を制御する。
【０１６２】
発生符号目標量算出部６２は、符号化制御部１２８の制御に基づいて、符号化部６１からの符号量Ｓｐおよび平均量子化スケールコードＱｐを基に、式（２）によりＰピクチャの複雑さＸｐを算出する。また、発生符号目標量算出部６２は、残り符号量ＲからＰピクチャのエンコードにより発生した符号量Ｓｐを減算して、残り符号量Ｒを更新し、処理はステップＳ７９に進む。
【０１６３】
ステップＳ７６においてＢピクチャに対する複雑さＸｂが算出されたか、またはステップＳ７８において、Ｐピクチャに対する複雑さＸｐが算出されると、ステップＳ７９において、符号化制御部１２８は、事前再エンコード区間の再エンコードを開始してから、Ｉピクチャ、Ｂピクチャ、およびＰピクチャについてそれぞれの複雑さＸｉ、Ｘｂ、およびＸｐを算出したか否かを判定する。
【０１６４】
ステップＳ７９において、各ピクチャタイプのピクチャの複雑さを算出していない、すなわち、まだエンコードしていないピクチャタイプがあると判定された場合、処理はステップＳ７４に戻り、上述した処理が繰り返される。
【０１６５】
これに対して、ステップＳ７９において、各ピクチャタイプのピクチャについて複雑さＸを算出したと判定された場合、処理はステップＳ８０に進む。
【０１６６】
ステップＳ８０において、符号化制御部１２８は、事前再エンコード区間の再エンコードが終了するまで、継続してストリームＡのデコードおよび再エンコードを制御し、処理は図９のステップＳ４３に進む。
【０１６７】
この時点において、各ピクチャタイプの複雑さＸｉ、Ｘｐ、およびＸｂのそれぞれが算出されたので、符号化制御部１２８は、以降のエンコードにおいては、エンコーダ５７において実際に発生した符号量Ｓと、平均量子化スケールコードＱとから求められる複雑さＸｉ、Ｘｐ、およびＸｂのそれぞれが用いられて、式（４）乃至式（６）のそれぞれにより各ピクチャの発生符号目標量が算出され、その発生符号目標量に基づいて、事前再エンコード区間の終了位置、すなわち再エンコード区間の開始位置まで事前再エンコード区間のストリームの再エンコードが行われるように、エンコーダ５７によるエンコードを制御する。
【０１６８】
この場合、切り替え部６３は、発生符号目標量算出部６２から供給された発生符号目標量を符号化部６１に供給し、符号化部６１は、切り替え部６３からの発生符号目標量に基づいて、各ピクチャをエンコードする。また、このとき、符号化制御部１２８は、事前再エンコード区間のエンコードの結果は出力されずに、再エンコード区間のエンコードの結果だけが出力されるように、エンコーダ５７を制御する。
【０１６９】
このようにして、CPU５０は、再エンコード区間よりも前の区間である事前再エンコード区間から編集されたストリームを再エンコードさせる。また、事前再エンコード区間の先頭のピクチャから、各ピクチャタイプに対する複雑さが算出されるまで、各ピクチャのオリジナルのストリームにおけるピクチャの符号量を発生符号目標量とさせる。
【０１７０】
このように、再エンコード区間よりも前の所定の位置から編集されたストリームを予め再エンコードしておくことで、再エンコード区間のエンコードを開始するときに、各ピクチャの発生符号目標量が再エンコードされるストリームの画像に適した符号量となるようにすることができる。その結果、再エンコード区間の画像をより効率よく符号化することができ、再エンコードによる画質の劣化を抑制することができる。しかも、再エンコード区間の各ピクチャのピクチャタイプが、対応するオリジナルのピクチャのピクチャタイプとは異なるピクチャタイプに変更された場合においても、そのピクチャタイプに関係なく再エンコード区間の各ピクチャに対して適切な発生符号目標量を与えることができる。
【０１７１】
また、事前再エンコード区間の先頭のピクチャから、各ピクチャタイプに対する複雑さが算出されるまでの区間（範囲）において、各ピクチャのオリジナルのストリームにおける符号量を発生符号目標量とすることで、発生符号目標量がより速く適切な符号量となるようにすることができる。
【０１７２】
なお、事前再エンコード区間にＩピクチャ、Ｐピクチャ、およびＢピクチャのそれぞれが少なくとも１枚ずつ含まれないような場合には、各ピクチャタイプのピクチャが事前再エンコード区間に含まれるように、その事前再エンコード区間にさらに前の区間が含まれるように事前再エンコード区間が、時間的に前方向に遡って設定される。
【０１７３】
また、発生符号目標量の算出に１種類または２種類のピクチャタイプの複雑さＸしか用いられない場合には、発生符号目標量の算出に必要な複雑さＸが得られた時点から、過去のエンコードにより実際に発生した符号量Ｓが用いられて、すなわちオリジナルのピクチャの符号量を発生符号目標量とせずに発生符号目標量の算出が行われる。
【０１７４】
さらに、以上においては、発生符号目標量をＴＭ５方式により算出する例について説明したが、ＴＭ５方式に限らず、他の方式により発生符号目標量を算出する場合においても同様である。
【０１７５】
例えば、ＴＭ５方式における複雑さＸｉ、Ｘｐ、およびＸｂに対応するＩピクチャ、Ｐピクチャ、およびＢピクチャのそれぞれの統計量が、式（１２）乃至式（１４）で表され、発生符号目標量Ｔｉ、Ｔｐ、およびＴｂのそれぞれが式（１５）乃至式（１７）で表される発生符号目標量の設定方式があるとする。
【０１７６】
Ｘｉ＝Ｆｉ（Ｓｉ）                                              ・・・（１２）
【０１７７】
Ｘｐ＝Ｆｐ（Ｓｐ）                                              ・・・（１３）
【０１７８】
Ｘｂ＝Ｆｂ（Ｓｂ）                                              ・・・（１４）
【０１７９】
Ｔｉ＝Ｗｉ（Ｘｉ，Ｘｐ，Ｘｂ，Ｒ，Ｎｉ，Ｎｐ，Ｎｂ）            ・・・（１５）
【０１８０】
Ｔｐ＝Ｗｐ（Ｘｉ，Ｘｐ，Ｘｂ，Ｒ，Ｎｉ，Ｎｐ，Ｎｂ）            ・・・（１６）
【０１８１】
Ｔｂ＝Ｗｂ（Ｘｉ，Ｘｐ，Ｘｂ，Ｒ，Ｎｉ，Ｎｐ，Ｎｂ）            ・・・（１７）
【０１８２】
なお、式（１２）乃至式（１４）におけるＦｉ、Ｆｐ、およびＦｂは、それぞれ過去のエンコードにより実際に発生した符号量Ｓｉ、Ｓｐ、およびＳｂを変数とする所定の関数を表している。
【０１８３】
また、式（１５）乃至式（１７）におけるＷｉ、Ｗｐ、およびＷｂのそれぞれも、Ｘｉ、Ｘｐ、Ｘｂ、Ｒ、Ｎｉ、Ｎｐ、およびＮｂを変数とする所定の関数を表している。さらに、Ｒは、例えば１つのGOPなどの符号量が配分される単位区間に対する利用可能な残り符号量を示しており、Ｎｉ、Ｎｐ、およびＮｂのそれぞれは、その単位区間におけるＩピクチャ、Ｐピクチャ、およびＢピクチャのそれぞれの残りのピクチャ数、すなわちまだエンコードが終了していないピクチャの数を示している。
【０１８４】
ここで、符号量が配分される単位区間に対する利用可能な残り符号量Ｒは式（１８）により表される。
【０１８５】
Ｒ＝Ｇ＋Ｒ’                                                    ・・・（１８）
【０１８６】
なお、式（１８）において、Ｒ’は現在エンコードの対象となっている単位区間の直前の単位区間のエンコード終了時に残った利用可能な符号量を示している。また、Ｇは、単位区間の先頭、すなわち単位区間のエンコードの開始時に利用可能な総符号量を示しており、総符号量Ｇは、式（１９）により表される。
【０１８７】
Ｇ=Ｎ×bit_rate／picture_rate                                  ・・・（１９）
【０１８８】
なお、式（１９）において、Ｎは単位区間内に含まれるピクチャ数を示している。
【０１８９】
また、単位区間に対する利用可能な残り符号量Ｒは、単位区間に含まれるピクチャがエンコードされるたびに、発生した符号量Ｓｉ、Ｓｐ、またはＳｂだけ減算されて更新される。
【０１９０】
さらに、非圧縮の映像信号のエンコードを開始する時点においては、統計量Ｘｉ、Ｘｐ、およびＸｂは求めることができないので、エンコードされる先頭のピクチャに対しては、統計量の初期値Ｘｉ０、Ｘｐ０、およびＸｂ０が与えられて、発生符号目標量Ｔが算出され、直前の単位区間の残った利用可能な符号量はＲ’＝０とされる。
【０１９１】
このようにして定義される発生符号目標量の設定方式においても、再エンコードが行われる場合に、発生符号目標量の設定方式に従って、再エンコードの開始時に初期値を用いて発生符号目標量Ｔを求めるのではなく、再エンコード区間よりも前の区間である事前再エンコード区間から編集されたストリームの再エンコードを開始し、各ピクチャタイプのエンコードが少なくとも１度は終了するまでの間、各ピクチャのオリジナルの符号量を発生符号目標量とすることで、再エンコード区間の各ピクチャに対して、より適切な発生符号目標量を与えることができる。
【０１９２】
なお、発生符号目標量の設定方式において、ピクチャタイプごとに複数のピクチャの統計量Ｘｉ、Ｘｐ、およびＸｂのそれぞれが必要な場合には、事前再エンコード区間は、再エンコード区間のエンコードが開始される時点において、適切な発生符号目標量Ｔを与えられる程度に長い区間とされ、事前再エンコード区間においては、その先頭の位置から統計量の初期値を用いずに発生符号目標量Ｔを算出するのに必要な各ピクチャタイプの統計量を得ることができるまでの間、発生符号目標量Ｔとしてオリジナルのピクチャの符号量が与えられる。
【０１９３】
また、以上においては、事前再エンコード区間が、再エンコード区間の直前の１つのGOPである例について説明したが、１GOPに限らず、任意のGOP数としてもよいし、所定の数の連続するピクチャからなる区間としてもよい。例えば、事前再エンコード区間を３GOPとすることで、事前再エンコード区間を、そのストリームの画像の特徴が捉えられた、より適切な発生符号目標量を与えるのに充分な長さの区間とすることができる。したがって、事前再エンコード区間を１GOPから３GOPの範囲とすることで、再エンコード区間の先頭のピクチャに対して、より確実に適切な発生符号目標量を与えることができる。
【０１９４】
さらに、以上においては、画像圧縮方式としてMPEGを用いた場合を例として説明しているが、フレーム相関を伴う他の画像圧縮方式により処理を行う場合においても、本発明は適用可能であることはいうまでもない。例えば、AVC（Advanced Video Coding）／H．264などにおいて、本発明は適用可能である。
【０１９５】
さらに、また、以上の説明においては、CPU４１とCPU５０とが制御信号を授受し、分担して、制御を行うものとして説明したが、例えば、同様の処理を、１つのCPUを用いて実行するようにしてもよい。そのような場合、例えば、図９を参照して説明した処理が、CPU４１によって実行される。さらに、エンコーダ５７が発生符号目標量を算出すると説明したが、CPU５０が発生符号目標量を算出するようにしてもよい。
【０１９６】
以上のように、再エンコード区間よりも前の所定の位置から編集されたストリームの再エンコードを開始するようにしたので、再エンコード区間の各ピクチャの発生符号目標量を適切な符号量とすることができ、より効率よく符号化することができる。その結果、再エンコードによる画質の劣化を抑制することができる。
【０１９７】
なお、編集点をシーンの切り替わりの点として、シーンチェンジ後のピクチャに対して発生符号目標量の初期値を与えるブロックを設けることによって、シーンチェンジ後のピクチャに対してより適切な発生符号目標量を与えられるようにする場合においても、事前再エンコード区間から再エンコードを開始することにより、再エンコード区間のシーンチェンジまでの区間において、より適切な発生符号目標量を与えることができ、またシーンチェンジ後の区間においては、再エンコード区間の先頭のピクチャがエンコードされた後に初期値を与えるブロックを動作させることで、その動作を妨げることなく、シーンチェンジ後のピクチャに適切な発生符号目標量を与えることができる。
【０１９８】
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０１９９】
図１１は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータの構成の例を示すブロック図である。パーソナルコンピュータ３０１のCPU３１１は、ROM（Read Only Memory）３１２、または記録部３１８に記録されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）３１３には、CPU３１１が実行するプログラムやデータなどが適宜記憶される。これらのCPU３１１、ROM３１２、およびRAM３１３は、バス３１４により相互に接続されている。
【０２００】
CPU３１１にはまた、バス３１４を介して入出力インターフェース３１５が接続されている。入出力インターフェース３１５には、キーボード、マウス、マイクロホンなどよりなる入力部３１６、ディスプレイ、スピーカなどよりなる出力部３１７が接続されている。CPU３１１は、入力部３１６から入力される指令に対応して各種の処理を実行する。そして、CPU３１１は、処理の結果を出力部３１７に出力する。
【０２０１】
入出力インターフェース３１５に接続されている記録部３１８は、例えばハードディスクからなり、CPU３１１が実行するプログラムや各種のデータを記録する。通信部３１９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。
【０２０２】
また、通信部３１９を介してプログラムを取得し、記録部３１８に記録してもよい。
【０２０３】
入出力インターフェース３１５に接続されているドライブ３２０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア３３１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記録部３１８に転送され、記録される。
【０２０４】
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図１１に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスクを含む）、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア３３１、または、プログラムが一時的もしくは永続的に格納されるROM３１２や、記録部３１８を構成するハードディスクなどにより構成される。プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインターフェースである通信部３１９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。
【０２０５】
なお、本明細書において、プログラム記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０２０６】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０２０７】
【図１】従来の発生符号目標量の算出について説明する図である。
【図２】本発明を適用した編集装置のハードウェア構成を示すブロック図である。
【図３】編集装置の機能の構成例を示すブロック図である。
【図４】制御部のより詳細な構成例を示すブロック図である。
【図５】事前再エンコード区間について説明する図である。
【図６】事前再エンコード区間について説明する図である。
【図７】事前再エンコード区間の各ピクチャの発生符号目標量について説明する図である。
【図８】CPU４１の処理を説明するフローチャートである。
【図９】CPU５０の処理を説明するフローチャートである。
【図１０】事前再エンコード制御処理について説明するフローチャートである。
【図１１】パーソナルコンピュータの構成を示すブロック図である。
【符号の説明】
【０２０８】
３１  編集装置，  ４１  CPU，  ４６  HDD，  ５０  CPU，  ５２乃至５４  デコーダ，  ５５  ストリームスプライサ，  ５６  エフェクト／スイッチ，  ５７  エンコーダ，  ５９  スイッチ，  ６１  符号化部，  ６２  発生符号目標量算出部，  ６３  切り替え部，  ９１  制御部，  ９２  取得部，  １２１  操作入力取得部，  １２２  再エンコード区間決定部，  １２３  パラメータ送出部，  １２４  ストリーム送出制御部，  １２５  ストリーム取得制御部，  １２６  復号制御部，  １２７  パラメータ取得部，  １２８  符号化制御部
【図１】
2008066845.tif 000006
【図２】
2008066845.tif 000007
【図３】
2008066845.tif 000008
【図４】
2008066845.tif 000009
【図５】
2008066845.tif 000010
【図６】
2008066845.tif 000011
【図７】
2008066845.tif 000012
【図８】
2008066845.tif 000013
【図９】
2008066845.tif 000014
【図１０】
2008066845.tif 000015
【図１１】
2008066845.tif 000016