(57)【特許請求の範囲】
【請求項１】
ユーザからの編集情報に基づいて動画像を編集してその編集後の動画像を圧縮符号化する動画像編集システムに適用される可変レート動画像符号化方法であって、
編集対象の第１の動画像シーケンスを符号化する第一の符号化ステップと、
前記第一の符号化ステップによる符号化結果から、前記第１の動画像シーケンスの所定単位毎の発生符号量および平均量子化ステップサイズを含む統計データを前記第１の動画像シーケンス全体にわたって計測するステップと、
前記計測された統計データに基づいて、前記第１の動画像シーケンスにおける連続する複数フレームから構成される第１の所定期間毎に当該第１の所定期間に属する画像の複雑さを示す第１の符号化困難度を算出するステップと、
前記第１の動画像シーケンスとその編集後の第２の動画像シーケンスとの間の時間軸上の対応関係に基づいて、前記第１の符号化困難度を、前記第２の動画像シーケンスにおける連続する複数フレームから構成される第２の所定期間毎に当該第２の所定期間に属する画像の複雑さを示す第２の符号化困難度に変換する変換ステップであって、前記第２の所定期間が複数の前記第１の所定期間の間の境界にまたがる場合、前記第２の所定期間が属する前記複数の第１の所定期間それぞれに対する比率に応じて前記複数の第１の所定期間それぞれの第１の符号化困難度を加重平均することによって、前記第２の所定期間の第２の符号化困難度を求める変換ステップと、
前記第２の符号化困難度に基づいて、前記第２の動画像シーケンスの前記第２の所定期間毎に割り当て符号量を決定するステップと、
この割り当て符号量に基づいて、前記第２の動画像シーケンスを可変レート符号化する第二の符号化ステップとを具備することを特徴とする可変レート動画像符号化方法。
【請求項２】
前記第一の符号化ステップによる符号化結果から、前記第１の動画像シーケンス中のシーンチェンジ位置を少なくとも含む動画像シーケンス分析情報を生成し、その動画像シーケンス分析情報を、ユーザによる編集操作を支援するための編集支援情報としてユーザに呈示するステップをさらに具備することを特徴とする請求項１記載の可変レート動画像符号化方法。
【請求項３】
前記第一の符号化ステップは、所定のフレーム周期でフレーム内符号化フレームが挿入されるように、前記第１の動画像シーケンスを予め決められたフレーム間予測構造を持つ符号化フレーム群単位に区切りながら符号化し、
前記第１の動画像シーケンスに対応する前記第１の符号化困難度は、前記符号化フレーム群のＮ倍（Ｎは自然数）に相当する期間毎に算出されることを特徴とする請求項１記載の可変レート動画像符号化方法。
【請求項４】
前記第二の符号化ステップは、所定のフレーム周期でフレーム内符号化フレームが挿入されるように、前記第２の動画像シーケンスを予め決められたフレーム間予測構造を持つ符号化フレーム群単位に区切りながら符号化し、
前記第２の動画像シーケンスに対応する前記第２の符号化困難度は、前記第１の動画像シーケンスに対応する前記第１の符号化困難度に基づいて、前記第２の動画像シーケンスを構成する符号化フレーム群のＮ倍（Ｎは自然数）に相当する期間毎に算出されることを特徴とする請求項３記載の可変レート動画像符号化方法。
【請求項５】
第２の符号化困難度に変換する変換ステップは、前記第１の動画像シーケンスと前記第２の動画像シーケンスとの間の符号化フレーム群の時間軸上の対応関係に基づいて、前記第２の動画像シーケンスを構成する符号化フレーム群のＮ倍（Ｎは自然数）に相当する期間毎に、前記第２の符号化困難度を算出することを特徴とする請求項４記載の可変レート動画像符号化方法。
【請求項６】
前記第一の符号化ステップによる符号化結果から、前記第１の動画像シーケンス中のシーンチェンジ位置を検出するステップをさらに具備し、
前記第２の符号化ステップは、前記第２の動画像シーケンスの画像内に前記検出されたシーンチェンジ位置が属するとき、その検出されたシーンチェンジ位置がランダムアクセスポイントとなるように、前記検出されたシーンチェンジ位置に応じて、前記第２の動画像シーケンスを符号化するための予測構造を決定することを特徴とする請求項１記載の可変レート動画像符号化方法。
【請求項７】
前記第一の符号化ステップは、前記第１の動画像シーケンスの各フレームを解像度変換して縮小画像を生成するステップと、前記解像度変換された前記第１の動画像シーケンスを符号化するステップとを含むことを特徴とする請求項１記載の可変レート動画像符号化方法。
【請求項８】
ユーザからの編集情報に基づいて動画像を編集し、その編集後の動画像を圧縮符号化する動画像編集システムにおいて、
編集対象の第１の動画像シーケンスを符号化する第一の符号化手段と、
前記第一の符号化手段による符号化結果から前記第１の動画像シーケンス中のシーンチェンジ位置を少なくとも含む動画像シーケンス分析情報を生成し、その動画像シーケンス分析情報を、ユーザによる編集操作を支援するための編集支援情報としてユーザに呈示する手段と、
前記第一の符号化手段による符号化結果から、前記第１の動画像シーケンスの所定単位毎の発生符号量および平均量子化ステップサイズを含む統計データを前記第１の動画像シーケンス全体にわたって計測する手段と、
前記計測された統計データに基づいて、前記第１の動画像シーケンスにおける連続する複数フレームから構成される第１の所定期間毎に当該第１の所定期間に属する画像の複雑さを示す第１の符号化困難度を算出する手段と、
前記第１の動画像シーケンスとその編集後の第２の動画像シーケンスとの間の時間軸上の対応関係に基づいて、前記第１の符号化困難度を、前記第２の動画像シーケンスにおける連続する複数フレームから構成される第２の所定期間毎に当該第２の所定期間に属する画像の複雑さを示す第２の符号化困難度に変換する変換手段であって、前記第２の所定期間が複数の前記第１の所定期間の間の境界にまたがる場合、前記第２の所定期間が属する前記複数の第１の所定期間それぞれに対する比率に応じて前記複数の第１の所定期間それぞれの第１の符号化困難度を加重平均することによって、前記第２の所定期間の第２の符号化困難度を求める変換手段と、
前記第２の符号化困難度に基づいて、前記第２の動画像シーケンスの前記第２の所定期間毎に割り当て符号量を決定する手段と、
この割り当て符号量に基づいて、前記第２の動画像シーケンスを可変レート符号化する第二の符号化手段とを具備することを特徴とする動画像編集システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、動画像シーケンスに対して複数回の符号化を行うことにより、可変レート符号化のための最適なビット配分を行う可変レート符号化方法および同方法を用いた動画像編集システムに関する。
【０００２】
【従来の技術】
蓄積媒体に対する動画像圧縮符号化方法としては、動画像符号化の国際標準であるＭＰＥＧ２ビデオ符号化方式が採用されたＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ）に代表されるように、画像の性質に応じて圧縮データのビットレート（すなわち圧縮率）を時間的に変動させて、総符号量一定の制約中で高画質化を実現するという可変レート符号化技術が用いられている。これは、時間的或いは空間的相関が高く、比較的少ない符号量で必要な画質を満足できる部分には、不必要な符号量割り当ては行わず、また解像度が高くあるいは動きが激しいような、画質を維持するためには多くの符号量を必要とする部分には、多くの符号量を割り当て、全体としてディスク容量に収まるように符号化することで、一定の符号化レートで符号化するよりも高画質化を実現するという技術である。
【０００３】
通常、動画像シーケンス全体に渡っての最適な符号量割り当てを行うためには、まずはじめに動画像シーケンス全体を符号化してその符号化特性の解析を行い、それに基づいて符号量割り当てを行うことが必要になる。例えば、量子化幅を一定にして第一回目の符号化を行うことにより、そのときの発生符号量をフレームあるいはＧＯＰ（Ｇｒｏｕｐ  Ｏｆ  Ｐｉｃｔｕｒｅｓ）等の単位で計測し、計測された発生符号量に応じてフレーム或いはＧＯＰ単位で第二回目の符号化のためのビット割り当てを行う方法等が一般的に取られている。
【０００４】
また、符号化すべき入力動画像シーケンスを一旦ハードディスク等の蓄積媒体に取り込んで計算機上で編集作業を行うという、いわゆるノンリニア編集を行う場合には、
１）動画像シーケンスの取り込み、
２）編集、
３）符号量配分のための第一回目の符号化、
４）最終的な符号化、
という手順を踏む必要がある。
【０００５】
さらに、ノンリニア編集作業の効率化のため、符号化データを用いた動画像のシーンチェンジの検出やシーンの統合といった動画像解析技術を併用してユーザによる編集作業を支援する機能を持つノンリニア編集システムの場合は、上記動画像シーケンスの取り込みに際して符号化を行う場合もある。この場合、取り込みに際して行う符号化時の動画像シーケンスと、編集操作後の動画像シーケンスとは一致しなくなるので、編集後に２回の符号化が必要となり、合計で少なくとも３回の符号化が必要となることになる。
【０００６】
【発明が解決しようとする課題】
上述したように、最適な符号量割り当てに基づく可変レート符号化を行う場合、通常、同一の素材に対して少なくとも２回の符号化が必要である。しかし、１回目の符号化の後に素材に対して編集操作が加えられ、特に時間方向の編集操作により、１回目の符号化時の素材との間でフレーム単位の対応関係が崩れた場合は、再度編集後の素材に対して、符号量配分のための１回目の符号化からやり直す必要があった。
【０００７】
本発明はこのような事情に鑑みてなされたものであり、１回目の符号化後に時間方向の操作を含む編集操作が素材に対して加えられても、再度２回の符号化を行うことなく、最適な符号量割り当てに基づく可変レート符号化を実現することが可能な可変レート動画像符号化方法および同方法を用いた動画像編集システムを提供することを目的とする。
【０００８】
【課題を解決するための手段】
上述の課題を解決するため、本発明は、ユーザからの編集情報に基づいて動画像を編集してその編集後の動画像を圧縮符号化する動画像編集システムに適用される可変レート動画像符号化方法であって、編集対象の第１の動画像シーケンスを符号化する第一の符号化ステップと、前記第一の符号化ステップによる符号化結果から、前記第１の動画像シーケンスの所定単位毎の発生符号量および平均量子化ステップサイズを含む統計データを前記第１の動画像シーケンス全体にわたって計測するステップと、前記計測された統計データに基づいて、前記第１の動画像シーケンスにおける連続する複数フレームから構成される第１の所定期間毎に当該第１の所定期間に属する画像の複雑さを示す第１の符号化困難度を算出するステップと、前記第１の動画像シーケンスとその編集後の第２の動画像シーケンスとの間の時間軸上の対応関係に基づいて、前記第１の符号化困難度を、前記第２の動画像シーケンスにおける連続する複数フレームから構成される第２の所定期間毎に当該第２の所定期間に属する画像の複雑さを示す第２の符号化困難度に変換する変換ステップであって、前記第２の所定期間が複数の前記第１の所定期間の間の境界にまたがる場合、前記第２の所定期間が属する前記複数の第１の所定期間それぞれに対する比率に応じて前記複数の第１の所定期間それぞれの第１の符号化困難度を加重平均することによって、前記第２の所定期間の第２の符号化困難度を求める変換ステップと、前記第２の符号化困難度に基づいて、前記第２の動画像シーケンスの前記第２の所定期間毎に割り当て符号量を決定するステップと、この割り当て符号量に基づいて、前記第２の動画像シーケンスを可変レート符号化する第二の符号化ステップとを具備することを特徴とする。
【０００９】
この可変レート動画像符号化方法においては、第１の動画像シーケンスの符号化結果から所定期間毎の符号化困難度を算出し、得られた符号化困難度を、第１の動画像シーケンスとその編集後の第２の動画像シーケンスとの間の時間軸上の対応関係に基づいて、第２の動画像シーケンス上の所定期間毎の符号化困難度に変換する。この場合、第２の所定期間が複数の前記第１の所定期間の間の境界にまたがる場合には、第２の所定期間が属する複数の第１の所定期間それぞれに対する比率に応じて、複数の第１の所定期間それぞれの第１の符号化困難度を加重平均することによって、第２の所定期間の第２の符号化困難度が求められる。そして、その第２の動画像シーケンス上の所定期間毎の符号化困難度を用いて、第２の動画像シーケンスの所定期間毎のビット割り当てが行われる。このように符号化困難度を編集後の第２の動画像シーケンスに再マッピングする操作を行うことにより、１回目と２回目の符号化とで、映像素材がフレーム単位あるいはＧＯＰ単位で一致してない場合でも、第２の動画像シーケンスが第１の動画像シーケンスの少なくとも一部から構成されていれさえすれば、最適なビット割り当てが可能になり、総符号化回数を削減することができる。
【００１０】
この場合、編集後の動画像を構成する第２の動画像シーケンスは、時間方向には、編集前の第１の動画像シーケンスと同一、あるいは第１の動画像シーケンスに含まれる一部分、あるいは第１の動画像シーケンスの複数部分を接続したもの、のいずれの場合でもよく、また第１の動画像シーケンスの各フレームと第２の動画像シーケンスの各フレームの解像度は、それぞれどちらか一方から解像度変換された縮小画像でもよい。また、第１の動画像シーケンスの各フレームと第２の動画像シーケンスの各フレームの映像は、それぞれどちらか一方の映像の一部を切り出したものや、フィルタ処理等を加えられたものでもよい。つまり、第１の動画像シーケンスと第２の動画像シーケンスとの間に、時間方向および空間方向の何らかの編集或いは変換が加えられたものであればよい。
【００１１】
また、前記第１の符号化ステップは、所定のフレーム周期でフレーム内符号化フレームが挿入されるように、前記第１の動画像シーケンスを予め決められたフレーム間予測構造を持つ符号化フレーム群単位に区切りながら符号化し、前記第１の動画像シーケンスに対応する前記第１の符号化困難度は、前記符号化フレーム群のＮ倍（Ｎは自然数）に相当する期間毎に算出することが好ましい。
【００１２】
このように第１の動画像シーケンスにおける所定期間を、第一の符号化におけるＧＯＰの倍数とすることで、ピクチャタイプに依存した符号量の変動の影響を取り除くことが可能となる。
【００１３】
また、第２の動画像シーケンスにおける所定期間も、第二の符号化におけるＧＯＰの倍数とすれば、ピクチャタイプ毎の符号量変動を特に意識せずにビット割り当てを行うことが可能となる。
【００１４】
また、第１の動画像シーケンスにおける所定期間と第２の動画像シーケンスにおける所定期間とが時間軸上で一致している場合には、第一の符号化で得られた第１の符号化困難度はそのまま第２の符号化困難度として利用可能であり、またそれぞれの所定期間が一致しない場合は、それらの位置関係に基づいて、第１の動画像シーケンスにおける所定期間毎の符号化困難度を加重平均することで、第２の符号化困難度を求めることができる。よって、第２の動画像シーケンスにおけるＧＯＰ構成は自由に設定することが可能となり、第一の符号化結果からシーンチェンジ点を検出し、シーンチェンジとＧＯＰの先頭を一致させたＧＯＰ構成として、第２の動画像シーケンスを符号化することも可能となる。
【００１５】
また、本発明では、第一の符号化における所定単位毎の発生符号量および平均量子化ステップサイズに基づいて符号化困難度を検出しているため、第一の符号化では、従来一般的に行われている固定の量子化ステップサイズの符号化のみならず、量子化ステップサイズを変動させるレート制御を加えた符号化を行ってもよい。したがって、従来は発生符号量を制御できなかった第一の符号化を、所望のレートでエンコードした有効な符号化データとして用いることが可能となる。例えば、第一の符号化は１．５Ｍｂｐｓの固定レート符号化とし、第二の符号化は平均４Ｍｂｐｓの可変レート符号化とすることで、４Ｍｂｐｓの可変レート符号化データと、副次的な１．５Ｍｂｐｓの固定レート符号化データを得ることが可能となる。
【００１６】
また、入力動画像シーケンスをフレーム単位で水平垂直それぞれサブサンプリングした画像を用いて第一の符号化を行い、第二の符号化は通常の画像サイズでの符号化を行うことで、第一の符号化で固定レートのＭＰＥＧ１の符号化データ、第二の符号化で可変レートのＭＰＥＧ２の符号化データを得ることや、或いは、第一の符号化で固定レートのＳＤＴＶ（標準ＴＶ画像）の符号化データ、第二の符号化で可変レートのＨＤＴＶ（高精細ＴＶ画像）の符号化データを得るような構成も可能である。
【００１７】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態を説明する。
【００１８】
図１には、本発明の一実施形態に係る動画像編集システムで用いられる可変レート動画像符号化処理の流れが示されている。本可変レート動画像符号化処理は、ハードディスク装置等に記録されたＶＴＲ等の映像素材に対する２回の符号化により、高画質な可変レート符号化を行うものである。以下、図１を参照して、本実施形態の処理全体の流れについて説明する。
【００１９】
（１）  符号化タイムコード指定
まず、ユーザ操作に基づいて、原画像であるＶＴＲ素材に対して、符号化開始タイムコード（ＩＮ点）と符号化終了タイムコード（ＯＵＴ点）の指定が行われる（ステップ１０）。
【００２０】
（２）  第一の符号化（１パス目符号化）
第一の符号化では、ＩＮ点およびＯＵＴ点を示す符号化タイムコード指定情報２０に基づき、ＩＮ点からＯＵＴ点までの連続した動画像シーケンスの符号化が実行される（ステップ１１）。この第一の符号化では、例えば水平７２０画素×垂直４８０ラインのフレームサイズの入力画像を、水平３５２画素×垂直２４０ラインのフレームサイズにダウンサンプリングし、例えば１．５Ｍｂｐｓの固定ビットレートのＭＰＥＧ１方式により符号化が行われる。この場合、所定のフレーム周期でフレーム内符号化フレーム（Ｉピクチャ）が挿入されるように、ＩＮ点からＯＵＴ点までの連続した動画像シーケンスは予め決められたフレーム間予測構造を持つＧＯＰ単位に区切りながら符号化する。
【００２１】
この第一の符号化に関しては、特別な制約条件はなく、任意のビットレート、任意のパラメータ、任意の符号化方式、任意の解像度での符号化も可能である。つまり、ダウンサンプリングの有無や、符号化方式がＭＰＥＧ１かＭＰＥＧ２かの選択、また、レート制御についても、固定ビットレート、リアルタイムの可変ビットレート、あるいはレート制御をかけずに量子化ステップを固定にするなど、自由に設定できる。本実施形態では、標準で上記のサブサンプル画像のＭＰＥＧ１符号化を第一の符号化に用いている。その理由は、ビットレートの低いＭＰＥＧ１符号化を第一の符号化とすることで、後述するビットストリーム解析を高速に行うことが可能となり、また第二の符号化をＭＰＥＧ２符号化とすることで、ＭＰＥＧ１とＭＰＥＧ２の２種類の有効なストリームを得るためである。
【００２２】
この第一の符号化では、ＩＮ点からＯＵＴ点までの連続した動画像シーケンスの符号化データから構成される符号化ビットストリームファイル２２が生成されると共に、符号化ログデータおよび符号化パラメータそれぞれについてのファイル２１が生成される。ここで、符号化ログデータとは、符号化により得られるフレーム単位の発生符号量、各フレームの平均量子化ステップサイズ、動き補償予測の誤差量、等の統計データを含むものである。また、符号化パラメータは、第一の符号化におけるビットレート等の符号化パラメータを記録したものである。符号化ログデータは、符号化ログデータを出力する機能を有する符号化器を使用することによって符号化処理と並行してリアルタイムに生成することもできるが、符号化ログデータを出力する機能がない符号化器であっても、符号化器から出力されるビットストリーム２２を解析することで、符号化後にオフラインで符号化ログデータとほぼ同等の情報を生成することも可能である。
【００２３】
（３）  ビットストリーム解析
ビットストリーム解析は、ユーザによる編集作業を効率化するために必要なシーンチェンジポイント等の情報を検出するためのものであり、このステージでは、第一の符号化により得られたビットストリーム２２の解析処理が行われる（ステップ１２）。このビットストリーム解析処理では、まず、シーンチェンジ点の検出が行われる。そして、検出されたシーンチェンジ点を用いることにより、シーン構造の解析が行われる、シーン構造解析では、検出されたシーンチェンジ点間に挟まれる部分をショットとして位置づけ、関連するショット同士を同一シーンとして統合する処理などが行われる。これにより、異なるショット間でも意味的に同一種に属するショット同士は１シーンとして扱われる。
【００２４】
また、シーン構造を示す幾つかの代表フレームを、縮小フレームサイズで簡易デコードした画像データの生成も併せて行われる。
【００２５】
なお、ビットストリーム解析処理としては、第一の符号化が終了した後に、生成された符号化ビットストリームファイル２２の解析を開始する構成でもよいし、あるいは第一の符号化が開始された一定遅延後に、第一の符号化と並行して、生成中のビットストリーム２２を順次解析する構成でもよい。
【００２６】
（４）  符号化タイムコードエディット
ステップ１３の符号化タイムコードエディット処理は、第一の符号化（１パス目符号化）と同一の現画像に対する編集処理をユーザ操作に基づいて行うためのものであり、その処理の実行のために、ステップ１２のビットストリーム解析により得られたシーンチェンジ点の情報、シーン構造の解析結果、及びシーン構造を示す代表フレームの画像データ等を含む情報２３が使用される。この符号化タイムコードエディット処理では、シーンチェンジ点、シーン構造、および代表フレームをグラフィカルにユーザに呈示するとともに、ユーザによる第二の符号化領域指定機能を提供する。
【００２７】
ここで、第二の符号化領域指定とは、第一の符号化により符号化されたＩＮ点からＯＵＴ点までに属する時間領域の中で、最終的に符号化データとしたい部分を第二の符号化領域としてユーザに指定させるものである。また、ユーザにより指定された第二の符号化領域に属する時間領域全体をユーザ操作に応じて明示的に分割してチャプターを構成し、最終的な符号化データでチャプター単位のランダムアクセスを可能とするランダムアクセスポイントの設定処理も併せて行う。
【００２８】
（５）  可変レートビットアロケーション
可変レートビットアロケーションでは、第２の符号化における符号量割り当てを決定する処理が行われる（ステップ１４）。この最適符号量割り当て処理では、符号化タイムコードエディット処理で設定された符号化対象範囲を示すタイムコード及びチャプター境界を示すタイムコードの情報２４と、第一の符号化で得られた符号化ログファイル及び符号化パラメータファイル２１が用いられる。ここでの符号量割り当てでは、すべての符号化領域での総符号量が所定値以下となり、且つ最大瞬間ビットレート、最小瞬間ビットレート、ＭＰＥＧ２の規格で規定されるＶＢＶ（Ｖｉｄｅｏ  Ｂｕｆｆｅｒｉｎｇ  Ｖｅｒｉｆｉｅｒ）の制約条件等をすべて満たした上で、均一で安定した画質を得るための可変レートビット配分を行う。この可変レートビットアロケーションの具体的に処理手順については、図６で詳述するが、基本的には、第一の符号化（ステップ１１）で得られた発生符号量および平均量子化ステップサイズを用いて画像の複雑さ（符号化困難度）を示すパラメータをＧＯＰ単位で算出し、そのパラメータを可変レート符号化の対象となる編集後の動画像シーケンスに再マッピングすることによって行われる。
【００２９】
（６）  第二の符号化（２パス目符号化）
第二の符号化処理では、可変レートビットアロケーション処理によるビット配分結果２６と、符号化対象及びチャプター境界を示すタイムコード情報２５とに従って、再度同一のＶＴＲ素材から構成される第二の動画像シーケンスに対して第二の符号化が実行される（ステップ１５）。この第二の符号化処理では、ビット配分結果２６に応じた可変レート制御によって、第二の符号化領域が属する符号化対象タイムコード期間の符号化が行われる。また、チャプタ境界をランダムアクセス可能とするためのフレーム間予測構造の制御も行われる。これにより、最適化された符号化ビットストリーム２７が得られる。
【００３０】
第一の符号化と同様に、第二の符号化においても各符号化パラメータは自由に設定することが可能である。本実施形態では、標準の第二の符号化として、水平７２０画素×垂直４８０ラインのフルサイズのＭＰＥＧ２符号化を例えば平均４Ｍｂｐｓの可変レートで行う。この場合、所定のフレーム周期でフレーム内符号化フレーム（Ｉピクチャ）が挿入されるように、符号化対象の動画像シーケンスは予め決められたフレーム間予測構造を持つＧＯＰ単位に区切りながら符号化される。
【００３１】
このように、図１では、第一の符号化（ステップ１１）の符号化結果を、画像解析および編集処理（ステップ１２，１３）と、符号量割り当て決定処理および第二の符号化処理（ステップＳ１４，Ｓ１５）とで共用する構成となっている。
【００３２】
次に、本実施形態の動画像編集システムで用いられる各モジュールの構成例を説明する。図２は、本実施形態に係る動画像編集システム全体の構成を示したものである。本システムは、符号化されたデジタルコンテンツを作成するための一種のオーサリングシステムとして利用されるものである。図２においては、汎用の計算機（例えば、パーソナルコンピュータ（以下ＰＣ））をベースにして、ソフトウェアモジュールとハードウェアモジュールから構成される場合が例示されている。
【００３３】
動画像符号化部であるエンコーダ３３はフレーム内符号化および動き補償予測フレーム間符号化をフレーム単位またはマクロブロック単位に切り替えながら符号化を行うものであり、これは専用ハードウェアで構成されている。エンコーダ３３を制御するためのエンコードコントローラ３２はＰＣ上のソフトウェアで構成される。ただし、エンコーダ３３は必ずしも専用ハードウェアでなくともよく、エンコーダ３３がソフトウェアで構成されていてもよい。また、図２において、システム全体を制御するシステムコントローラ３１、ユーザーがエンコーダ３３の制御を行うためのメインＧＵＩ（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）モジュール３０、符号化データからのシーン構造の解析と縮小フレームサイズの簡易デコードを行うデータアナライザ３４、データアナライザ３４の出力をグラフィカルに表示するとともにタイムコードの編集操作を行う編集操作ＧＵＩモジュール３５、第二の符号化のための符号量割り当てを行うビットアロケータ３６の各モジュールは、すべてＰＣ上のソフトウェアで構成される。
【００３４】
また、第一の符号化により得られるビットストリームと、符号化ログデータ及び符号化パラメータは、それぞれハードディスク装置３８と３７にファイルとして記録される。また、第二の符号化により得られるビットストリームは、ハードディスク装置３９にファイルとして記録される。これらのハードディスク装置３７，３８，３９は同一のものであってもよい。
【００３５】
図３は、図２におけるエンコーダ３３の内部構成を示したものである。エンコーダ３３は、ハードウェアによる符号化装置であっても、また符号化ソフトウェアであっても、その基本的な構成は同じである。
【００３６】
すなわち、入力動画像信号５４は、動き検出部（ＭＥ）４１にてマクロブロック単位で動き検出が行われる。また、動き補償部（ＭＣ）４９では、動き検出結果を基に、参照画像メモリ４８に記録されたローカルデコード画像（参照画像）からマクロブロック単位で予測画像が作成される。入力画像と予測画像との差分は予測誤差信号として離散コサイン変換部（ＤＣＴ）４２に入力され、離散コサイン変換部（ＤＣＴ）４２による離散コサイン変換処理によって直交変換される。離散コサイン変換処理によって得られたＤＣＴ係数は、量子化部（Ｑ）４３、可変長符号化部（ＶＬＣ）４４によりそれぞれ、量子化、可変長符号化の処理が行われることにより、符号化ビットストリームが生成される。この符号化ビットストリームはハードディスク装置５２に記録される。また、Ｉピクチャ、つまりフレーム内符号化画像として符号化する場合には、動き検出および動き補償は行われず、入力画像信号に対して離散コサイン変換４２以降の処理のみが行われる。また、ＩまたはＰピクチャについてはそれを参照画像として使用するために、量子化部（Ｑ）４３の出力は、さらに逆量子化部（ＩＱ）４６、逆離散コサイン変換部（ＩＤＣＴ）４７により逆量子化、逆離散コサイン変換の処理が加えられ、そして予測画像との加算により、ローカルデコード画像として参照画像メモリ（ＦＭ）４８に書き込まれる。
【００３７】
レート制御部（ＲＣ）４５では、符号化により発生した符号量の計数結果に応じて、フィードバック制御により量子化部（Ｑ）４３でのマクロブロック単位の量子化ステップサイズの決定を順次行う。エンコーダコントローラ（ＣＯＮＴ）５０は、レート制御部（ＲＣ）４５、動き検出部（ＭＥ）４１及び動き補償部（ＭＣ）４９との間の双方向通信をデータバス５３を介して行い、動き補償誤差量、各フレーム毎の発生符号量、各フレーム単位の平均量子化ステップサイズ等の統計データを収集してハードディスク装置５１へ符号化ログデータファイルとして書き込むと共に、符号化ビットレート等の符号化パラメタを符号化パラメタファイルとしてハードディスク装置５１へ書き込む。また、エンコーダコントローラ（ＣＯＮＴ）５０は、チャプター境界にランダムアクセスポイントを挿入するためのフレーム間の予測構造の制御、レート制御部（ＲＣ）４５への指示等も行う。レート制御部（ＲＣ）４５への指示は、可変レート符号化に対応したレート変動の制御や、ランダムアクセスポイント設定のためのフレーム予測構造変化に対応したレート制御等のために行われる。
【００３８】
図４は、図２におけるデータアナライザ３４に含まれる動画像シーケンス分析モジュールの構造を示したものである。動画像シーケンス分析モジュールは前述のビットストリーム解析処理（ステップ１２）を行うものである。ここで示した動画像シーケンス分析モジュールは、公開特許公報（特開平９−９３５８８号）で開示された手法を用いて、シーン構造の解析を行う。すなわち、ビットストリーム解析部６１に対して第一の符号化データ６０（図１のビットストリーム２２に相当）を入力し、符号化データ中の動きベクトルの抽出を行い、抽出された動きベクトル情報６２をシーンチェンジ検出モジュール６３に入力し、動きベクトルの変化に基づいてシーンチェンジ点の検出を行う。さらに、シーン構成検出モジュール６５において、検出されたシーンチェンジ点に挟まれたそれぞれのショット間の類似度計算により類似するショット同士の統合が行われる。
【００３９】
図５は、図２における編集操作ＧＵＩモジュール３５によって提供される編集操作画面の一例を示したものである。図中、７１は図２のデータアナライザ３４で簡易デコードされた縮小画像であり、横軸を時間軸として表示される。縮小画像は、フレーム内符号化画像（Ｉピクチャ）を構成する各ブロックのＤＣ成分のデコードに基づくものであり、シーン構造解析の結果、特徴的な画像（Ｉピクチャ）が選択されて表示される。図中の７２は、図４のシーンチェンジ検出モジュール６３で検出されたシーンチェンジ点である。縮小画像７１とシーンチェンジ点７２は図示のように対応して表示され、どの縮小画像７１がシーンチェンジ点であるかがユーザにグラフィカルに呈示される。７３〜７５は、図４のシーン構成検出モジュール６５で検出されたシーン構造を表示したものである。関連するショットは一つのシーンとして扱われる。図５の例では、７３〜７５の３シーンがシーン構造として表示されている。
【００４０】
図中７６〜７９は、ユーザにより設定されたチャプタ構造を示している。ユーザは、表示された縮小画像７１、シーンチェンジポイント７２、シーン構造７３〜７５等を参照して、第一の符号化が行われた範囲内で、第二の符号化を行う範囲及びチャプタの設定をマウス操作により行う。図５の例では、第二の符号化領域は、７６，７７，７９で示される３つのチャプタで構成され、７８で示される区間は第二の符号化では削除される。また、７６，７７，７９は、途切れのない連続再生が可能なように符号化され、且つそれぞれのチャプタの先頭からのランダムアクセス再生が可能なように、チャプタの先頭がＧＯＰの先頭となるような予測構造の制御も行われる。
【００４１】
プレビュー再生用コマンド８２を操作すると、ユーザにより設定されたチャプタ構造に沿って、第一の符号化データを再生することにより、表示部８３に編集後の動画像シーンチェンジの簡易表示をすることも可能である。ユーザによりチャプタ構成が決定されると、次にビット配分ボタン８６を操作することにより、符号化期間全体（７６，７７，７９）で所定の符号量以下となり、ビットレートの上限、下限、及びＶＢＶの条件を満たす最適符号量配分の計算が開始される。符号量配分の計算には、第一の符号化における符号化ログファイルと符号化パラメータファイル、そしてユーザが設定したチャプタ構成情報が用いられる。
【００４２】
ビット配分処理が終了すると、図中の８１に示すように、ビット配分結果に基づく可変レートのレート変動がビットアロケーション情報としてグラフィカルに表示される。ユーザは、さらにマウス操作により、レート変動に補正を加えることが可能である。その場合、補正した部分の情報を含めて、符号量配分処理の再計算が行われる。チャプタ構造、符号量配分のいずれもが確定した時点で、エンコードボタン８７をユーザが操作すると、第二の符号化が開始される。符号化中は、表示部８３に原画像が、表示部８４には第二の符号化で得られる第二の符号化データをリアルタイムで復号した画像がそれぞれ表示される。
【００４３】
次に、本実施形態で用いられる符号量配分アルゴリズムについて説明する。
【００４４】
図６は、本実施形態に係るビットアロケータモジュールの符号量配分処理のフローチャートを示した図である。ビットアロケータモジュールへの入力は、編集操作ＧＵＩモジュール３５で設定された符号化領域及びチャプタ境界を示すタイムコード情報９０、第一の符号化による符号化ログデータ９１、設定ビットレート情報９２である。タイムコード情報９０は、各チャプタ毎に開始タイムコード（ＩＮ点）と終了タイムコード（ＯＵＴ点）の組を示すテーブルである。また、符号化ログデータ９１は、第一の符号化におけるフレーム単位の発生符号量と、マクロブロック毎の量子化ステップサイズを各フレーム毎に平均したフレーム平均量子化ステップサイズとを少なくとも含んだ符号化情報である。また、設定ビットレート９２は、予め設定された平均ビットレートＲａｖｅ、最大瞬間ビットレートＲｍａｘ、最小瞬間ビットレートＲｍｉｎを含むビットレートパラメータである。
【００４５】
（１）  短時間コンプレキシティ計算
短時間コンプレキシティ計算では、第一の符号化ログデータ９１を用いることにより短時間タイムスロット毎の符号化困難度（以下、短時間コンプレキシティと呼ぶ）が計算される（ステップ９３）。短時間コンプレキシティとは、その単位時間に属する画像の時間的・空間的な複雑さの度合い（符号化困難度）を示すパラメータであり、時間的に動きの激しい画像や高解像度の画像程、その値が大きくなる。図７の１００は、量子化ステップサイズを固定にした場合のフレーム単位の発生符号量の変化を示したものである。ＭＰＥＧの符号化では、一般にフレーム内符号化を行うＩピクチャ、前方予測符号化を行うＰピクチャ、両方向予測符号化を行うＢピクチャの順で予測による符号化効率が上がり、符号量が少なくなる。つまり、同一画像であっても、フレーム単位の発生符号量はＩ，Ｐ，Ｂのピクチャタイプに依存して大きく変化する。そこで、上記短時間タイムスロットをＧＯＰの構成にアラインドさせて、Ｎ  ＧＯＰ（Ｎは自然数）毎に、そこに含まれるフレームそれぞれの画像の複雑さの平均値を短時間コンプレキシティとして求めることで、ピクチャタイプに依存した変動をなくすことができる。図７の１０１は、１ＧＯＰ毎に求めた短時間コンプレキシティの変化を示したものである。短時間コンプレキシティは、例えば以下の式（１）で求めることができる。
【００４６】
【数１】
0003660514.tif 000002
【００４７】
式（１）では、各ＧＯＰを構成するタイムスロット内のフレームそれぞれについて、発生符号量Ｂと平均量子化ステップサイズＱとピクチャタイプに依存した重み係数Ｗとの積を累積加算し、ＧＯＰを構成するタイムスロットの時間幅で除算することで、短時間コンプレキシティを求めている。これは、同一の映像については量子化ステップサイズが増加すると発生符号量はそれに対して単調に減少するということを考慮し、同一画像であれば発生符号量と量子化ステップ幅の積は一定であるというモデル化を行い、さらに、Ｉピクチャ及びＰピクチャは参照画像として用いられるが、Ｂピクチャは参照画像としては用いられないので、ピクチャタイプに応じた重み付けを行うようにしたものである。ピクチャタイプに応じた重み付けは、次のように行われる。
【００４８】
すなわち、参照画像として用いられないＢピクチャは、通常、参照画像として用いられるＩピクチャ及びＰピクチャよりも、割り当て符号量が小さく設定される。具体的には、Ｉピクチャ及びＰピクチャの量子化ステップサイズを１０と仮定すると、Ｂピクチャの量子化ステップサイズはその１．４倍の１４が用いられる。したがって、このような量子化ステップサイズの違いを吸収するために、Ｂピクチャの重み付けＷの値は、Ｉピクチャ及びＰピクチャのそれよりも小さく設定される。これにより、短時間コンプレキシティの値はＩピクチャ及びＰピクチャが支配的となり、ピクチャタイプに依存した量子化ステップサイズの違いを平均化した状態で、短時間コンプレキシティを求めることができる。
【００４９】
（２）  短時間コンプレキシティの再マッピング
次に、タイムコード情報９０に従って、上記の短時間コンプレキシティを第二の符号化領域に再マッピングする（ステップ９４）。これは、ユーザの指定したチャプタ構造によってＧＯＰの構成が第一の符号化と第二の符号化とで変化することを考慮して、第二の符号化におけるＧＯＰ構造に対応する第二のタイムスロットを設定し、上記の短時間コンプレキシティを第二のタイムスロットにマッピングする操作を行うものである。第二のタイムスロットは、第二の符号化で用いられる各ＧＯＰの始点から終点までの時間領域である。
【００５０】
短時間コンプレキシティの再マッピングは、第一の符号化におけるＧＯＰと第二の符号化におけるＧＯＰとの間の時間軸上の対応関係に基づいて行われる。式２に、式１で求めた第一の符号化結果による短時間コンプレキシティＣ１（ｉ）の、第二の短時間コンプレキシティＣ２（ｉ）への加重平均によるマッピング方法の例を示す。
【００５１】
【数２】
0003660514.tif 000003
【００５２】
図８〜１０は、短時間コンプレキシティの再マッピングの例を示したものである。図８〜１０の上段は、第一の符号化におけるＧＯＰ毎の短時間コンプレキシティを、横軸を時間軸として示したものであり、また下段は第二のタイムスロットに再マッピングした短時間コンプレキシティを示したものである。
【００５３】
図８では、ユーザの指定により、１１２及び１１３の期間の２つのチャプタが構成され、第二の符号化においては各チャプタの先頭と終端に端数のフレーム数から構成されるＧＯＰを設定して、残りのＧＯＰについては、第一の符号化と同一の構成とした例である。この場合、第二のタイムスロットＴＳ間の境界（ＧＯＰ境界）は第一のタイムスロットｔｓ間の境界と一致しており、短時間コンプレキシティの再マッピングは、第一のタイムスロットｔｓからそれに対応する第二のタイムスロットＴＳに対してダイレクトに行うことができる。
【００５４】
図９は、ユーザの指定により、１２２及び１２３の期間の２つのチャプタが構成され、第二の符号化においては各チャプタの終端にのみ端数のフレーム数から構成されるＧＯＰを設定して、残りのＧＯＰについては、第一の符号化とは異なる固定のフレーム数で構成した例である。この場合、第二のタイムスロットＴＳ間のＧＯＰ境界と、第一の符号化におけるタイムスロットｔｓ間のＧＯＰ境界は、通常一致しないものとなる。そこで、第一の符号化で各ＧＯＰ毎に求めた第一のタイムスロットｔｓそれぞれの短時間コンプレキシティを、第二のタイムスロットＴＳとの時間軸上の位置関係に応じて加重平均することにより、第二のタイムスロットＴＳにおける短時間コンプレキシティを求める。例えば、ある第２のタイムスロットＴＳが、時間的に、ある２つの第１のタイムスロットｔｓの境界に跨る場合には、その第２のタイムスロットＴＳのＧＯＰが属する比率に応じた重み付けを行って、それら２つの第１のタイムスロットｔｓそれぞれの短時間コンプレキシティの加重平均を求めることになる。
【００５５】
図８の構成では、通常のＧＯＰよりも少ないフレーム数で構成されるＧＯＰが、各チャプタの始点と終点のそれぞれに設けられるため、符号化効率が若干低下することになる。これは、各ＧＯＰには少なくとも１つのＩピクチャが含まれ、Ｉピクチャはフレーム間予測を行わないため、Ｉピクチャの周期が短くなるほど、符号化効率は一般に低下するためである。一方、図９の構成では、第二の符号化対象となる動画像シーケンスの始点から通常のＧＯＰ構成で符号化されるため、符号化効率の低下を図８の構成よりも抑えることが可能となる。
【００５６】
図１０では、ユーザの指定により、１３２及び１３３の期間の２つの連続する領域と、さらに１３４，１３５，１３６のチャプタ境界が構成された例である。この場合、第二の符号化においては、各チャプタの先頭をＧＯＰの先頭と一致させることにより、ランダムアクセス可能とすることが必要となる。従って、チャプタ境界直前のＧＯＰ長が短くなるので、図示のように、各チャプタ境界直前の第二のタイムスロットＴＳは他のＴＳに比べ短くなる。この場合も図９と同様に、加重平均による短時間コンプレキシティの再マッピングを行う。
【００５７】
（３）  ビットアロケーション
以上の処理によって第二のタイムスロットに対する短時間コンプレキシティの再マッピングを行った後に、再マッピングした短時間コンプレキシティに基づき、設定ビットレート（平均ビットレートＲａｖｅ、最大瞬間ビットレートＲｍａｘ、最小瞬間ビットレートＲｍｉｎ）の条件に基づき、符号量配分を行う（図６のステップ９５）。
【００５８】
符号量配分は、第二のタイムスロット単位、つまり第二の符号化におけるＧＯＰ単位に行い、それぞれのタイムスロットにおけるビットレートを決定する。各第二のタイムスロット毎のビットレートは、それぞれのタイムスロットの短時間コンプレキシティＣに応じて単調増加する変換式ｆ（Ｃ）を用いて計算される。図１１は、変換関数ｆ（Ｃ）の例を示したものである。ビットレートを決定する条件は、各タイムスロットにおけるビットレートＲ（ｉ）は、
Ｒｍｉｎ  ≦  Ｒ（ｉ）  ≦  Ｒｍａｘ
を満たし、且つ総符号量が、Ｒａｖｅに基づいて算出される総符号量以下となることである。
【００５９】
式（３）に、第二のタイムスロット単位のビットアロケーション算出式の例を示す。
【００６０】
【数３】
0003660514.tif 000004
【００６１】
符号量配分処理により決定された第二の各タイムスロットにおけるビットレート情報と、チャプタ構成を規定するタイムコード情報とにより、第二の符号化を行い、指定されたレート変動に基づく可変レートの符号化が、符号化対象領域に対して、それぞれ行われる。第二の符号化のレート制御では、ＧＯＰ単位の符号量割り当て及びフィードバック制御、ピクチャ単位の割り当て及びフィードバック制御、マクロブロック単位の量子化ステップサイズの設定及びフィードバック制御の階層的な制御が行われる。式４は、ＧＯＰ単位のレート制御の例を示したものである。上記のビットアロケーションにより決定されたＧＯＰ単位のビットレートとそれまでに発生した符号量との累積誤差を考慮して、次に符号化するＧＯＰの割り当て符号量が決定される。式４により決定されたＧＯＰの割り当て符号量は、さらにＧＯＰ内の各ピクチャに配分されて、ピクチャ単位のフィードバック制御が加えられて符号化が行われる。最終的なレート制御は、各ピクチャ毎に設定したピクチャの符号量に近づくように、マクロブロック単位の量子化ステップサイズの動的な制御を行うことにより実現される。
【００６２】
【数４】
0003660514.tif 000005
【００６３】
なお、本実施形態では、第一の符号化における各ＧＯＰの短時間コンプレキシティを、編集後の動画像シーケンスに対する第二の符号化で用いられる各ＧＯＰの短時間コンプレキシティに変換するようにしたが、第一の符号化における短時間コンプレキシティを複数ＧＯＰ単位で算出し、その短時間コンプレキシティを第二の符号化で用いられる複数ＧＯＰ単位の短時間コンプレキシティに変換するようにしてもよい。
【００６４】
また、本実施形態による符号化制御の手順はすべてソフトウェアによって実現することができ、この場合には、その手順を実行するコンピュータプログラムを記録媒体を介して通常の計算機に導入するだけで、本実施形態と同様の効果を得ることが可能となる。
【００６５】
また、編集後の動画像を構成する第２の動画像シーケンスは、時間方向には、編集前の第１の動画像シーケンスと同一、あるいは第１の動画像シーケンスに含まれる一部分、あるいは第１の動画像シーケンスの複数部分を接続したもの、のいずれの場合でもよく、また第１の動画像シーケンスの各フレームと第２の動画像シーケンスの各フレームの解像度は、それぞれどちらか一方から解像度変換された縮小画像でもよい。また、第１の動画像シーケンスの各フレームと第２の動画像シーケンスの各フレームの映像は、それぞれどちらか一方の映像の一部を切り出したものや、フィルタ処理等を加えられたものでもよい。つまり、第１の動画像シーケンスと第２の動画像シーケンスとの間に、時間方向および空間方向の何らかの編集或いは変換が加えられたものであればよい。
【００６６】
【発明の効果】
以上説明したように、本発明によれば、少なくとも２回の符号化による動画像シーケンスの高能率符号化において、第一の符号化後に動画像シーケンスに対する時間方向の編集操作が加えられた場合においても、第一の符号化を再度行うことなく、高能率な第二の符号化を行うことが可能となる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る動画像編集システムに適用される可変レート符号化処理の手順を示すフローチャート。
【図２】同実施形態の動画像編集システムのシステム構成の一例を示すブロック図。
【図３】同実施形態のシステムで用いられる符号化部の構成を示すブロック図。
【図４】同実施形態のシステムで用いられる動画像シーケンス分析モジュールの機能構成を示すブロック図。
【図５】同実施形態のシステムで用いられる動画像シーケンス分析結果の表示および編集操作ＧＵＩの例を示す図。
【図６】同実施形態のシステムにおける符号量配分アルゴリズムを示すフローチャート。
【図７】同実施形態のシステムで用いられるＭＰＥＧ２符号化における符号量変動の例を示す図。
【図８】同実施形態のシステムで用いられる短時間コンプレキシティの再マッピングの例を示す図。
【図９】同実施形態のシステムで用いられる短時間コンプレキシティの再マッピングの例を示す図。
【図１０】同実施形態のシステムで用いられる短時間コンプレキシティの再マッピングの例を示す図。
【図１１】同実施形態のシステムで用いられる符号量配分のための変換関数の例を示す図。
【符号の説明】
１０…第一の符号化タイムコードを設定するステップ
１１…第一の符号化を行うステップ
１２…ビットストリームを解析するステップ
１３…符号化タイムコードを編集するステップ
１４…符号量配分を行うステップ
１５…第二の符号化を行うステップ
２０…符号化タイムコード指定情報
２１…符号化パラメータデータ及び符号化ログデータ、
２２…第一のビットストリーム
２３…動画像シーケンス構造化情報（シーンチェンジ点及びシーン構造）
２４，２５…符号化タイムコードテーブル
２６…ビットアロケーションデータ
２７…第二のビットストリーム
３０…エンコーダ制御メインＧＵＩ
３１…システムコントローラ
３２…エンコーダコントローラ
３３…エンコーダ
３４…データアナライザ
３５…編集操作ＧＵＩ
３６…ビットアロケータ
３７，３８，３９…ハードディスク装置
【図１】
0003660514.tif 000006
【図２】
0003660514.tif 000007
【図３】
0003660514.tif 000008
【図４】
0003660514.tif 000009
【図５】
0003660514.tif 000010
【図６】
0003660514.tif 000011
【図７】
0003660514.tif 000012
【図８】
0003660514.tif 000013
【図９】
0003660514.tif 000014
【図１０】
0003660514.tif 000015
【図１１】
0003660514.tif 000016