(57)【要約】【課題】  適正なデータの符号化処理を可能とするとともに、記録媒体の記録時間を保証する。【解決手段】  残記録容量比算出器２００は、符号化されたデータが記録される記録媒体内の残記録容量に係る情報を算出し、切換制御器２０１は、残記録容量に係る情報に基づいて、固定レートのデータ符号化処理と可変レートのデータ符号化処理との切り換え制御を行う。【選択図】  図１
2006165681.tif 000002
【特許請求の範囲】
【請求項１】
固定レートのデータ符号化処理及び可変レートのデータ符号化処理が可能な符号化手段と、
前記符号化手段により符号化されたデータを記録媒体に対して出力するデータ出力手段と、
前記記録媒体内の残記録容量に係る情報を算出する残記録容量算出手段と、
前記残記録容量に係る情報に基づいて、前記符号化手段によるデータ符号化処理方法の切り換え制御を行う切換制御手段とを有することを特徴とするデータ符号化装置。
【請求項２】
前記切換制御手段は、前記残記録容量に係る情報に基づいて、前記可変レートのデータ符号化処理から、前記固定レートのデータ符号化処理の一種である、前記記録媒体の残記録時間に応じた固定レートのデータ符号化処理へ切り換えることを特徴とする請求項１に記載のデータ符号化装置。
【請求項３】
前記切換制御手段は、前記可変レートのデータ符号化処理の前段に、前記固定レートのデータ符号化処理の一種である、前記可変レートのデータ符号化処理で使用される余剰ビットを蓄積可能な固定レートのデータ符号化処理を行わせることを特徴とする請求項１又は２に記載のデータ符号化装置。
【請求項４】
以前の前記可変レートのデータ符号化処理時における難易度を算出する難易度算出手段と、
前記難易度算出手段により算出される前記難易度に基づいて、今回のデータ符号化処理における符号化レートを算出する符号化レート算出手段とを有し、
前記符号化手段は、前記符号化レート算出手段により算出された符号化レートで前記可変レートのデータ符号化処理を行うことを特徴とする請求項１乃至３の何れか１項に記載のデータ符号化装置。
【請求項５】
入力されるデータの特徴量を検出する特徴量検出手段を更に有し、
前記切換制御手段は、前記特徴量検出手段により検出される前記特徴量に基づいて、前記符号化手段によるデータ符号化処理方法の切り換え制御を行うことを特徴とする請求項１乃至４に記載のデータ符号化装置。
【請求項６】
前記切換制御手段は、前記特徴量に基づいて、前記可変レートのデータ符号化処理から、前記固定レートのデータ符号化処理の一種である、前記可変レートのデータ符号化処理で使用される余剰ビットを蓄積可能な固定レートのデータ符号化処理へ切り換えることを特徴とする請求項５に記載のデータ符号化装置。
【請求項７】
入力されるデータの特徴量を検出する特徴量検出手段を更に有し、
前記切換制御手段は、前記特徴量検出手段による前記特徴量の検出結果に応じて、前記残記録容量に係る情報に拘わらず前記可変レートのデータ符号化処理を行わせることを特徴とする請求項１乃至４の何れか１項に記載のデータ符号化装置。
【請求項８】
前記特徴量は、前記データである画像データの動きを示す量であることを特徴とする請求項５乃至７の何れか１項に記載のデータ符号化装置。
【請求項９】
データ符号化装置によるデータ符号化方法であって、
符号化されたデータが記録される記録媒体内の残記録容量に係る情報を算出する残記録容量算出ステップと、
前記残記録容量に係る情報に基づいて、固定レートのデータ符号化処理と可変レートのデータ符号化処理との切り換え制御を行う切換制御ステップとを含むことを特徴とするデータ符号化方法。
【請求項１０】
請求項９に記載のデータ符号化方法をコンピュータに実行させるためのプログラム。
【請求項１１】
請求項１０に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば動画像データの符号化処理が可能なデータ符号化装置及びデータ符号化方法に関するものである。
【背景技術】
【０００２】
従来、画像の符号化方式として、フレーム内符号化方式であるＭｏｔｉｏｎ ＪＰＥＧやＤｉｇｉｔａｌ Ｖｉｄｅｏ等の符号化方式や、フレーム間予測符号化を用いたＨ．２６１，Ｈ．２６３，ＭＰＥＧ−１，ＭＰＥＧ−２等の符号化方式が知られている。これらの符号化方式は、ＩＳＯ（International Organization for Standardization：国際標準化機構）やＩＴＵ（International Telecommunication Union：国際電気通信連合）によって国際標準化されている。フレーム内符号化方式はフレーム単位で独立に符号化を行うもので、フレームの管理がしやすいため、動画像の編集や特殊再生が必要な装置に最適である。また、フレーム間予測符号化方式は、フレーム間での画像データの差分に基づくフレーム間予測を用いるため、符号化効率が高いという特徴を持っている。
【０００３】
従来のＭＰＥＧ−２は可変長符号化を行うため、単位時間当りの発生符号量は一定ではない。そこで、量子化器での量子化の際の量子化スケールをマクロブロック単位に適宜変更することにより、所望のビットレートに制御することが可能になっている。
【０００４】
ＭＰＥＧ−２ Ｔｅｓｔ Ｍｏｄｅｌ ５（以下、ＴＭ５と称す）では、ＧＯＰ単位で発生符号量を一定にする固定ビットレート制御方法（以下、ＣＢＲと称す）が提案されている。
【０００５】
このＴＭ５におけるＣＢＲは、一定の転送レートが要求される用途に対しては有効な方法であるが、動画像シーケンスのどの部分に対してもほぼ同じ符号量が割り当てられるため、符号化の困難なシーンに対しては十分な符号量が与えられずに画質劣化が生じてしまう。これに対して、符号化が容易なシーンの場合には符号量が余剰になって無駄が生じ、適切なレート制御方法とは言えなかった。
【０００６】
以上のような問題を解決するレート制御方法が可変ビットレート制御方法（以下、ＶＢＲと称す）である。この方法には大きく２種類ある。１つは２パスにより実行する方法で、これは最初に入力動画像に対して固定量子化スケールによって仮符号化を行い、次に、入力動画像全体の発生符号量が所望の値になるように、仮符号化時の発生符号量に基づいて各部分の目標転送レートを設定する。そしてこの目標転送レートになるように制御を行いながら、入力動画像に対して再度符号化が行われる。しかし、この例では、出力ビットストリームを得るためには少なくとも２回の符号化を行わなければならず、リアルタイム性を要求されるような用途では使用出来ない。もうひとつが、リアルタイムに処理できる１パス方式のＶＢＲである。特許文献１には、１パス方式のＶＢＲによる符号化装置が開示されており、割り当てる符号の変動分をマージンとして設定し、記録媒体の残容量に応じてこのマージンを減少させるような制御を行っている。尚、その他のＭＰＥＧ等の詳細内容については、ＩＳＯ／ＩＥＣによる国際標準の文書に委ねることとする。
【０００７】
【特許文献１】特開２００１−２５０１５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、１パス方式のＶＢＲでは２パス方式とは異なり、入力される動画像シーケンスの性質がわからない状態でビットレート制御を行わなければならない。ＶＢＲでは蓄積された余剰ビットを符号化の困難な部分で消費することでその部分に割り当てる符号量を増やし、適切なレート制御を実現する。よって余剰ビットの蓄積がないと、ＶＢＲとしての性能が出せない。そのため、動画シーケンスに応じては、強制的に余剰ビットの蓄積を行い符号の割当量を減らし、それ以外のシーケンスへ割り当てる符号量を増やすことで、ＶＢＲの性能をより向上させることが期待できる。
【０００９】
また、あるメディアに記録する場合は、符号割当の方法によっては、その記録時間にも影響する。メディアに対する記録時間の保証は重要であるが、一方でＶＢＲでは符号割当が変動するため、記録時間を保証しづらくなる。
【００１０】
そこで、本発明の目的は、適正なデータの符号化処理を可能とするとともに、記録媒体の記録時間を保証することにある。
【課題を解決するための手段】
【００１１】
本発明のデータ符号化装置は、固定レートのデータ符号化処理及び可変レートのデータ符号化処理が可能な符号化手段と、前記符号化手段により符号化されたデータを記録媒体に対して出力するデータ出力手段と、前記記録媒体内の残記録容量に係る情報を算出する残記録容量算出手段と、前記残記録容量に係る情報に基づいて、前記符号化手段によるデータ符号化処理方法の切り換え制御を行う切換制御手段とを有することを特徴とする。
【００１２】
本発明のデータ符号化方法は、データ符号化装置によるデータ符号化方法であって、符号化されたデータが記録される記録媒体内の残記録容量に係る情報を算出する残記録容量算出ステップと、前記残記録容量に係る情報に基づいて、固定レートのデータ符号化処理と可変レートのデータ符号化処理との切り換え制御を行う切換制御ステップとを含むことを特徴とする。
【００１３】
本発明のプログラムは、前記データ符号化方法をコンピュータに実行させることを特徴とする。
【００１４】
本発明のコンピュータ読み取り可能な記録媒体は、前記プログラムを記録したことを特徴とする。
【発明の効果】
【００１５】
本発明によれば、符号化されたデータを記録する記録媒体に残記録容量に基づいて、固定レートのデータ符号化処理と可変レートのデータ符号化処理間でデータ符号化処理方法を切り換えるように構成したので、適正なデータの符号化処理が行えるとともに、記録媒体の記録時間を保証することが可能となる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。
尚、本実施例では、説明の都合上、前記ＴＭ５のステップ１に含まれるＧＯＰ単位の目標レートを算出するまでのレート制御器の一部の処理を記述する。そのほかの量子化パラメータを求める処理までについてはＴＭ５に準ずるものとする。
【００１７】
＜第１の実施形態＞
先ず、本発明の第１の実施形態について説明する。本発明の第１の実施形態に係る動画像符号化装置の構成例を図９に、またその符号化ピクチャ構造の例を図１０に示す。ＭＰＥＧの符号化ピクチャ構造は図１０のように予測方法の異なる３種類のピクチャの組合せによって構成される。それぞれはIピクチャ(フレーム内符号化)、Ｐピクチャ(順方向予測符号化)、Ｂピクチャ(双方向予測符号化)と呼ばれる。またこれらのピクチャを複数組み合わせたものをＧｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅ（以下、ＧＯＰと称す）と呼び、これはＩピクチャを１枚だけ含むため編集の単位とする場合が多い。これらの予測モードは、図９に示されるように、モード判定器１０５からの制御信号によりスイッチ１０１、１０８にて切り替えられる。Ｉピクチャでは符号化画像そのものに対し、Ｐ、Ｂピクチャではさらに動き補償器１０９による動き補償予測の誤差信号に対して、ＤＣＴ器１０２でＤＣＴが実行される。
【００１８】
ＤＣＴ器１０２で得られたＤＣＴ係数に対する量子化が、レート制御器１００の出力により制御して量子化器１０３によってなされた後に、動きベクトル等のその他の付加情報と共に可変長符号化が可変長符号化器１０４でなされ、符号列が「ビットストリーム」として後段の記録メディアに対して出力される。この際、可変長符号化器１０４からの符号量に応じてレート制御器１００で量子化スケールが制御される。一方、量子化器１０３の出力係数は、逆量子化器１０６、逆ＤＣＴ器１０７に供給され、局部復号されてブロック毎にフレームメモリ１１０に貯えられる。
【００１９】
図１は、図９のレート制御器１００の内部構成を示すブロック図である。
本レート制御器１００に対しては、可変長符号化器１０４からの発生符号量に加え、記録メディアの総容量が入力信号として与えられ、出力信号は、量子化パラメータとなる。
【００２０】
２００は、記録メディアの総容量と発生符号量から残る記録容量の割合を算出する残記憶容量比算出器である。
【００２１】
２０１は、残記憶容量比算出器２００から出力される残記録容量比に基づいて、スイッチ２０６を切り替える切換制御器である。
【００２２】
２０２は、残記憶容量比算出器２００から出力される残記録容量比に基づいて、ＣＢＲのレートを算出するＣＢＲレート算出器である。
【００２３】
２０３は、ＣＢＲレート算出器２０２による算出結果に応じて、レートを制御するＣＢＲレート制御器である。
【００２４】
２０４は、残記憶容量比算出器２００から出力される残記録容量比に基づいて、ＶＢＲにおける余剰バッファサイズを算出する余剰バッファサイズ算出器である。
【００２５】
２０５は、余剰バッファサイズ算出器２０４によって算出される余剰バッファサイズに応じて、レートを制御するＶＢＲレート制御器である。
【００２６】
２０６は、切換制御器２０１からの制御信号により、ＣＢＲレート制御器２０３とＶＢＲレート制御器２０５間で量子化パラメータの出力元を切り替えるスイッチである。
【００２７】
次に図１に示すレート制御器１００の動作について説明する。
本実施形態では、基本としてＭＰＥＧ−２ ＴＭ５のレート制御を実行するものとし、以降の動作はＧＯＰ毎に処理されるものとする。
【００２８】
図２に、本実施形態の残記憶容量比算出器２００のフローチャートを示す。
残記憶容量比算出器２００は、次の式１のように、記録メディア総容量ＭＣ、それまでの発生符号量の合計Ｓtotalから残記憶容量比ＭＣｒを算出する。
ＭＣｒ＝（ＭＣ−Ｓtotal）／ＭＣ・・・（式１）
【００２９】
図３に、本実施形態のＣＢＲレート算出器２０２のフローチャートを示す。
先ず、ＣＢＲレート算出器２０２は、残記憶容量比算出器２００から出力されるＭＣｒとＭＣＡとを比較し（ステップＳ３００）、ＭＣｒの方が大きいならば、ＣＢＲのレートを次の式２で算出する（ステップＳ３０１）。ＭＣＡ、ＣＢＲＡは予め定められた０以上１未満の定数である。ＧＯＰＲＡＴＥは、ＣＢＲ制御対象時の１ＧＯＰ当たりの平均符号量である。
ＣＢＲrate＝ＧＯＰＲＡＴＥ*ＣＢＲＡ・・・（式２）
【００３０】
一方、ＭＣｒとＭＣＡとの比較の結果、ＭＣｒがＭＣＡ以下である場合には、ＣＢＲレート算出器２０２はＭＣｒとＭＣＢとを比較し（ステップＳ３０２）、ＭＣｒの方が小さいならば、ＣＢＲのレートを次の式３で算出する（ステップＳ３０３）。ＭＣＢは予め定められた０以上１未満の定数であり、且つＭＣＡよりも小さな値である。またＴｒは残記録時間を示す。
ＣＢＲrate＝（ＭＣ−Ｓtotal）／Ｔｒ・・・（式３）
【００３１】
一方、ＭＣｒがＭＣＡ以下であって且つＭＣＢ以上である場合には（ステップＳ３００／ＮＯ、ステップＳ３０２／ＮＯ）、ＣＢＲレート算出器２０２は処理を終了する。
【００３２】
図４に、余剰バッファサイズ算出器２０４のフローチャートを示す。
余剰バッファサイズ算出器２０４は、次の式４のように、残記録容量比算出器２００から出力されたＭＣｒと実装上の制限となるバッファサイズの最大値ＲＢＵＦＭＡＸから可変ビットレートの変動分を示す余剰バッファサイズの最大値ＲｂｕｆＭＡＸを算出する（ステップＳ４００）。
ＲｂｕｆＭＡＸ＝ＲＢＵＦＭＡＸ＊ＭＣｒ・・・（式４）
【００３３】
図５に、切換制御器２０１のフローチャートを示す。
切換制御器２０１は、残記録容量比算出器２００から出力されるＭＣｒがＭＣＡより大きいか、又は、ＭＣｒがＭＣＢより小さいかを判断する（ステップＳ５００）。ＭＣｒがＭＣＡより大きい又はＭＣＢより小さい場合には、ＣＢＲレート制御器２０３側の出力をＯＮとし（ステップＳ５０１）、ＭＣｒがＭＣＡ以下であって且つＭＣＢ以上である場合、ＶＢＲレート制御器２０５側の出力をＯＮとする（ステップＳ５０２）。
【００３４】
図６に、ＶＢＲレート制御器２０５のフローチャートを示す。尚、ＶＢＲレート制御器２０５では、ＭＰＥＧ−２ ＴＭ５のレート制御と同様のＧＯＰ毎の制御を実行する。また、ＴＭ５に準じ符号化難易度を発生符号量と量子化パラメータの乗算値として定義する。
【００３５】
まず、ＶＢＲレート制御器２０５は、現在の処理対象が先頭ＧＯＰである時（ステップＳ６００／ＹＥＳ）、各パラメータのリセット処理を行う。即ち、ＧＯＰの目標符号量と発生符号量との残差を保持する変数ＶＢＲrate、余剰バッファサイズＲｂｕｆを０とする。また直前のＧＯＰの発生符号量Ｓgop、直前のＧＯＰ内における平均の量子化パラメータＱＰgop、及び符号化難易度の累積平均値Ｘavgを０とする（ステップＳ６０１）。
【００３６】
続いて、ＶＢＲレート制御器２０５は、直前のＧＯＰの符号化難易度Ｌａｓｔ＿Ｘgopを上述したＳgopとＱＰgopとの乗算によって求める（ステップＳ６０２）。次にそれまでの符号化難易度の累積平均値Ｘavgとの比ｘｒを次の式５によって算出する（ステップＳ６０３）。
ｘｒ＝（Ｌａｓｔ＿Ｘgop−Ｘavg）／Ｘavg・・・（式５）
本実施形態では、ｘｒの極度の推移差を避けるため−１より大きく+１未満の数値に制限する（ステップＳ６０４）。
【００３７】
こうして得られたｘｒに対し、ｘｒが負であれば（ステップＳ６０５／ＹＥＳ）、ＶＢＲレート制御器２０５は、次の式６によりＧＯＰ単位の目標変動符号量ｒｄを算出する（ステップＳ６０６）。尚、式６中のＧＯＰＲＡＴＥはＶＢＲ制御時の１ＧＯＰ当たりの平均符号量である。
ｒｄ＝ＧＯＰＲＡＴＥ＊（−ｘｒ）・・・（式６）
【００３８】
次に、ＶＢＲレート制御器２０５は余剰バッファサイズＲｂｕｆとＧＯＰ単位の目標変動符号量ｒｄとの加算値がＲｂｕｆＭＡＸ以下となるよう、ｒｄを調整する（ステップＳ６０７、Ｓ６０８）。即ち、ＶＢＲレート制御器２０５は、余剰バッファサイズＲｂｕｆとＧＯＰ単位の目標変動符号量ｒｄとの加算値がＲｂｕｆＭＡＸより大きい場合、次の式７によってｒｄを調整する。
ｒｄ＝ＲｂｕｆＭＡＸ−Ｒｂｕｆ・・・（式７）
【００３９】
最後に、ＶＢＲレート制御器２０５はＲｂｕｆにｒｄを加算し、ＶＢＲrateからｒｄを減算しそれぞれの値を更新する（ステップＳ６０９）。
【００４０】
一方で、ｘｒが正であれば（ステップＳ６０５／ＮＯ）、ＶＢＲレート制御器２０５はｘｒが０であるか否かを判断し（ステップＳ６１０）、ｘｒが０でなければ（ステップＳ６１０／ＹＥＳ）、次の式８によりＧＯＰ単位の目標変動符号量ｒｄを算出する（ステップＳ６１１）。一方、ｘｒが０であればＶＢＲレート制御器２０５が処理を終了する。
ｒｄ＝ＧＯＰＲＡＴＥ＊（ｘｒ）・・・（式８）
【００４１】
次に、ＶＢＲレート制御器２０５は余剰バッファサイズＲｂｕｆからＧＯＰ単位の目標変動符号量ｒｄを減算した値が０以上となるよう、ｒｄを調整する（ステップＳ６１２、Ｓ６１３）。即ち、ＶＢＲレート制御器２０５は、余剰バッファサイズＲｂｕｆからＧＯＰ単位の目標変動符号量ｒｄを減算した値が０より小さい場合には、次の式９によってｒｄを調整する。
ｒｄ＝Ｒｂｕｆ・・・（式９）
【００４２】
最後に、ＶＢＲレート制御器２０５はＲｂｕｆからｒｄを減算し、ＶＢＲrateにｒｄを加算しそれぞれの値を更新する（ステップＳ６１４）。
【００４３】
以上の動作により、ビットレート（発生符号量）と余剰バッファの推移を示したものが図７である。まず初めに平均レートよりも低いレートでＣＢＲを実行し余剰バッファを蓄積し、残記憶容量の比率であるＭＣＡによりＶＢＲへ切り換え、次に別の残記憶容量の比率であるＭＣＢによりＣＢＲへ切り替え、残った記録時間に応じた制御を行う。
【００４４】
本発明の第１の実施形態では、残記憶容量の比率であるＭＣＡとＭＣＢと設け、記録の初期段階でＣＢＲを実行し、次にＶＢＲ、最後にＣＢＲと実行しているが、ＭＣＡを設けなくてもかまわない。初期段階に通常のＶＢＲを行い、最後にＭＣＢによって記録時間を保証してもかまわない。また本実施形態では処理の単位をＧＯＰ単位としたが、それ以外でもかまわない。
【００４５】
以上のように、本実施形態によれば、記録メディアの容量に応じてＣＢＲとＶＢＲを適応的に切り替えることで、シーケンス全体に適正に符号量を割り当て、対象とする画像全体の画像の品質を向上させ、且つ記録メディアの記録時間を保証することが可能となる。
【００４６】
＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。本実施形態に係る動画像符号化装置の構成は図９に示す構成と同様であるため、説明は省略する。
【００４７】
図１１は、本実施形態におけるレート制御器１００の内部構成を示す図である。図１１に示すレート制御器１００は、図１のレート制御器１００の構成に画像特徴解析器１１００が追加された構成となっている。この構成の追加に伴いＣＢＲレート算出器１１０１及び切換制御部１１０２の動作も第１の実施形態の対応する構成（ＣＢＲレート算出器２０２、切換制御器２０１）とは異なるものとなっている。
【００４８】
画像特徴解析器１１００は、入力ビデオ信号から画像の特徴を解析し、ＣＢＲレート制御器１１０１及び切換制御器１１０２へ制御信号を出力する。本実施形態では、画像の特徴としてＧＭＶを算出する。ＧＭＶは画像全体の動きベクトルの平均ベクトルの距離を示す値であり、画像全体の動き量を表す値である。
【００４９】
次に、本実施形態の動作について説明する。以下では、説明の便宜上、第１の実施形態とは異なる構成の動作についてのみ説明するが、第１の実施形態と同一符号の構成は同様の上述した動作を行うものである。またここでも基本としてＭＰＥＧ−２ ＴＭ５のレート制御を実行するものとし、以降の動作はＧＯＰ毎に処理されるものとする。
【００５０】
図１２に、本実施形態のＣＢＲレート算出器２０２のフローチャートを示す。本実施形態のＣＢＲレート算出器２０２の動作は、図１２中のステップＳ１２００〜ステップＳ１２０３は、図３のステップＳ３００〜ステップＳ３０３と同様であるため、説明を省略する。
【００５１】
ＣＢＲレート算出器２０２は、ＭＣｒがＭＣＡ以下であって且つＭＣＢ以上である場合（ステップＳ１２００／ＮＯ、ステップＳ１２０２／ＮＯ）、次に画像特徴解析器２０７から出力されたＧＭＶとＧＭＶＡとを比較し、ＧＭＶの方が大きい場合はＣＢＲのレートを次の式１０で算出する（ステップＳ１２０５）。尚、ＧＭＶＡは画像特徴解析器２０７からのＧＭＶの最大値以下の任意の値であり、ＧＯＰＲＡＴＥは、１ＧＯＰ当たりの平均符号量である。また、ＣＢＲＢは予め定められた０以上１未満の定数であり、且つＣＢＲＡよりも小さな値である。
ＣＢＲrate＝ＧＯＰＲＡＴＥ＊ＣＢＲＢ・・・（式１０）
【００５２】
次に、本実施形態における切換制御器１１０２の動作について説明する。図１３は、本実施形態の切換制御器２０１の動作を示すフローチャートである。切換制御器２０１は、残記録容量比算出器２００から出力されるＭＣｒがＭＣＡより大きい、残記録容量比算出器２００から出力されるＭＣｒがＭＣＢより小さい、又は、画像特徴解析器２０７から出力されるＧＭＶがＧＭＶＡより大きいと判断した場合（ステップＳ１３００／ＹＥＳ）、ＣＢＲレート制御器２０３側の出力をＯＮとし（ステップＳ１３０１）、それらの何れでもない場合（ステップＳ１３００／ＮＯ）、ＶＢＲレート制御器２０５側の出力をＯＮとする（ステップＳ１３０２）。
【００５３】
上記のように、本実施形態では、図１４に示すように、初めに平均レートよりも低いレートでＣＢＲを実行し余剰バッファを蓄積し、残記憶容量の比率であるＭＣＡによりＶＢＲへ切り換え、次に別の残記憶容量の比率であるＭＣＢによりＣＢＲへ切り替え、残った記録時間に応じた制御を行うことを基本とする。そして、ＶＢＲ実行時に画像特徴量として大きな手ぶれを検出した場合、低いレートのＣＢＲを開始することで発生余剰バッファを蓄積し、以降の画像で蓄積された余剰バッファを用いて、より多めに符号量の割り当てられたＶＢＲを実行する。
【００５４】
本実施形態では、残記憶容量の比率であるＭＣＡとＭＣＢと設け、記録の初期段階でＣＢＲを実行し、次にＶＢＲ、最後にＣＢＲと実行しているが、ＭＣＡを設けなくてもかまわない。初期段階に通常のＶＢＲを行い、最後にＭＣＢによって記録時間を保証してもかまわない。また、本実施形態では処理の単位をＧＯＰ単位としたが、それ以外でもかまわない。また、本実施形態では画像特徴量として画像全体の動きを示すＧＭＶを用いたが、同時に画像の分散を用いてもかまわない。さらに、本実施形態では前記ＧＭＶは画像から動きベクトル検出を用いて得たが、カメラ撮影時ではカメラにジャイロ等の検出器を設け、その検出器からの信号を用いてもかまわない。
【００５５】
以上のように、本実施形態によれば、動画シーケンスに応じてＣＢＲとＶＢＲを適応的に切り替えることで、シーケンス全体に適正に符号量を割り当て、対象とする画像全体の画像の品質を向上させ、且つ記録メディアの記録時間を保証することが可能となる。
【００５６】
＜第３の実施形態＞
次に、本発明の第３の実施形態について説明する。
図１５は、本発明の第３の実施形態に係る動画像符号化装置の構成を示す図である。本実施形態では、説明の都合上、記録メディアへの記録単位をクラスタとする。また図１０に示すように１ＧＯＰを１５フレーム構成とし、１つのクラスタには３０のＧＯＰを含むものとし、ここでは、後述の切換制御器１５０１によって１０のＧＯＰ単位でＣＢＲとＶＢＲの切り換え判定がなされるものとする。以降では、この場合における先頭１０のＧＯＰを第１シーン、次の１０のＧＯＰを第２シーン、最後の１０のＧＯＰを第３シーンと称す。基本的には第１シーンをＣＢＲ、第２シーンをＶＢＲ、第３シーンをＣＢＲに切り換えることが切換制御手段１５０１によって判断されるが、所定の場合に第３シーンをＣＢＲからＶＢＲに変更することを示すフラグを次クラスタ統合フラグと称す。また１クラスタ分の記録量は固定とする。
【００５７】
尚、図１５中の１０１〜１１０の各構成は、図９に示した１０１〜１１０の夫々の構成と同様であるため、説明は省略する。また、図１５においては、ビデオ信号を一時記憶するフレームメモリが示してあるが、この構成は図１１において不図示であるが画像特徴解析器１１００の入力側に配置されるものである。
【００５８】
１５００は、記録メディアの１クラスタ内の記録容量と発生符号量から残る記録容量の割合を算出するクラスタ内残記憶容量比算出器である。
【００５９】
１５０１は、クラスタ内残記憶容量比算出器１５００から出力される残記憶容量比によりスイッチ１５０６を切り替える切換制御器である。
【００６０】
１５０３は、クラスタ内残記憶容量比算出器１５００から出力される残記憶容量比により目標符号量を算出するＣＢＲレート制御器である。
【００６１】
１５０４は、クラスタ内残記憶容量比算出器１５００から出力される残記憶容量比により、ＶＢＲにおける余剰バッファサイズを算出する余剰バッファサイズ算出器である。
【００６２】
１５０５は、余剰バッファサイズ算出器１５０４から出力される余剰バッファサイズに応じて、目標符号量を算出するＶＢＲレート制御器である。
【００６３】
１５０６は、切換制御器２０１からの制御信号により、ＣＢＲレート制御器１５０３及びＶＢＲレート制御器１５０５間で量子化パラメータの出力元を切り替えるスイッチである。
【００６４】
１５０２は、ＣＢＲレート制御器１５０３又はＮＢＲレート制御器１５０５からの入力信号に基づいて量子化を制御するレート制御器である。
【００６５】
１５０７は、入力ビデオ信号から画像の特徴を解析し、切換制御器１５０１等へ制御信号を出力する画像特徴解析器である。
【００６６】
１５０８は、クラスタ同期信号と可変長符号化器１０４からの発生符号量から、クラスタ単位の発生符号量を算出するクラスタ内符号量出力器である。
【００６７】
次に、本実施形態に係る動画像符号化装置の動作について説明する。本実施形態では、基本としてＭＰＥＧ−２ ＴＭ５のレート制御を実行するものとし、以降の動作はＧＯＰ毎に処理されるものとする。また処理の単位はクラスタとし、これを繰り返すものとする。
【００６８】
図１６に画像特徴解析器１５０７のフローチャートを示す。画像特徴解析器１５０７の処理対象は、フレームメモリ１５０９内に蓄積されたクラスタ内の第３シーンであり、シーン内画像の分散の平均値Ｖを算出し（ステップＳ１６００）、予め定められた分散閾値ＶＬと比較し（ステップＳ１６０１）、ＶがＶＬより大きいならば、第３シーンをＶＢＲとするため、次クラスタ統合フラグをＯＮとする信号を出力する（ステップＳ１６０２）。そうでなければ同フラグをＯＦＦとする（ステップＳ１６０３）。同時に前記制御信号を切換制御器１５０１とクラスタ内符号量出力器１５０８へ出力する。またこのフラグは、クラスタの統合、非統合を示す管理情報として利用されるべく、記録メディアの管理領域へクラスタ管理信号として出力される。
【００６９】
クラスタ内符号量出力器１５０８では、可変長符号化器１０４から出力された発生符号量累積値Ｓtotalを残記録容量比算出器１５００へ出力する。この累積値は、基本的にクラスタ切換時毎にリセットされるものだが、前記統合フラグＯＮの場合にはリセットせず、連続したクラスタを合わせて累積する。
【００７０】
本実施形態の残記憶容量比算出器１５００は、図２等に示す残記憶容量比算出器２００と同様に式１を用いて残記憶容量比ＭＣｒを算出するが、本実施形態で用いる総記録容量ＭＣは、符号化対象の単位となる全記録容量を示し、次クラスタ統合フラグがＯＦＦの場合現処理対象のクラスタの容量となり、ＯＮの場合さらに次クラスタを加えた容量となる。
【００７１】
次に、本実施形態におけるＣＢＲレート制御器１５０３の動作を、第１の実施形態の説明でも用いた図３のフローチャートを参照して説明する。
【００７２】
まず、ＣＢＲレート算出器１５０３は、残記憶容量比算出器１５００から出力されたＭＣｒとＭＣＡとを比較し（ステップＳ３００）、ＭＣｒの方が大きいならば、ＣＢＲのレートを上記の式２で算出する（ステップＳ３０１）。尚、ＭＣＡ、ＣＢＲＡは予め定められた０以上１未満の定数であり、ここではＧＯＰ毎の符号量の比率となる。ＧＯＰＲＡＴＥは、現符号化対象となる１ＧＯＰ当たりの平均符号量である。また、本実施形態ではＭＣＡはクラスタ内で第１シーンに割り当てられた符号量の割合となる。よって、次クラスタ統合フラグがＯＮの場合は、次クラスタを合わせた記録容量からの割合となる。
【００７３】
一方、ＭＣｒとＭＣＡとの比較の結果、ＭＣｒがＭＣＡ以下である場合には、ＣＢＲレート算出器２０２はＭＣｒとＭＣＢとを比較し（ステップＳ３０２）、ＭＣｒの方が小さいならば、ＣＢＲのレートを上記の式３で算出する（ステップＳ３０３）。ＭＣＢは予め定められた０以上１未満の定数であり、且つＭＣＡよりも小さな値である。またＴｒは残記録時間を示す。尚、本実施形態ではＭＣＢはクラスタ内で第３シーンに割り当てられた符号量の割合となる。よって、次クラスタ統合フラグがＯＮの場合は、次クラスタを合わせた記録容量からの割合となる。
【００７４】
図１７に、ＶＢＲレート制御器１５０５のフローチャートを示す。尚、ＶＢＲレート制御器１５０５では、ＭＰＥＧ−２ ＴＭ５のレート制御と同様のＧＯＰ毎の制御を実行する。また、ＴＭ５に準じ符号化難易度を発生符号量と量子化パラメータの乗算値として定義する。
【００７５】
まず、ＶＢＲレート制御器１５０５は、現在の処理対象が先頭ＧＯＰである時（ステップＳ１７００／ＹＥＳ）、余剰バッファサイズＲｂｕｆを０とする（ステップＳ１７０１）。
【００７６】
続いて、ＶＢＲレート制御器１５０５は、直前のＧＯＰの符号化難易度Ｌａｓｔ＿ＸgopをＳgopとＱＰgopとの乗算によって求める（ステップＳ１７０２）。尚、直前ＧＯＰの発生符号量Ｓgop、直前ＧＯＰ内平均の量子化パラメータＱＰgop、及び符号化難易度の累積平均値Ｘavgは常時ＧＯＰ毎に算出されているものとする。
【００７７】
次にそれまでの符号化難易度の累積平均値Ｘavgとの比ｘｒを上記の式５によって算出する（ステップＳ１７０３）。本実施形態では、ｘｒの極度の推移差を避けるため−１より大きく+１未満の数値に制限する（ステップＳ１７０４）。
【００７８】
こうして得られたｘｒに対し、ｘｒが負であれば（ステップＳ１７０５／ＹＥＳ）、上記式６によりＧＯＰ単位の目標変動符号量ｒｄを算出する（ステップＳ１７０６）。
【００７９】
次に、ＶＢＲレート制御器１５０５は余剰バッファサイズとＧＯＰ単位の目標変動符号量ｒｄとの加算値がＲｂｕｆＭＡＸ以下となるよう、ｒｄを調整する（ステップＳ１７０７、Ｓ１７０８）。即ち、ＶＢＲレート制御器１５０５は、ＶＢＲレート制御器１５０５は、余剰バッファサイズＲｂｕｆとＧＯＰ単位の目標変動符号量ｒｄとの加算値がＲｂｕｆＭＡＸより大きい場合、上記の式７によってｒｄを調整する。
【００８０】
最後に、ＶＢＲレート制御器１５０５はＲｂｕｆにｒｄを加算し、ＶＢＲrateからｒｄを減算しそれぞれの値を更新する（ステップＳ１７０９）。
【００８１】
一方で、ｘｒが正であれば（ステップＳ１７０５／ＮＯ）、ＶＢＲレート制御器１５０５はｘｒが０であるか否かを判断し（ステップＳ１７１０）、ｘｒが０でなければ（ステップＳ１７１０／ＹＥＳ）、上記式８によりＧＯＰ単位の目標変動符号量ｒｄを算出する（ステップＳ１７１１）。一方、ｘｒが０であればＶＢＲレート制御器１５０５が処理を終了する。
【００８２】
次に、ＶＢＲレート制御器１５０５は余剰バッファサイズＲｂｕｆからＧＯＰ単位の目標変動符号量ｒｄを減算した値が０以上となるよう、ｒｄを調整する（ステップＳ１７１２、Ｓ１７１３）。即ち、ＶＢＲレート制御器１５０５は、余剰バッファサイズＲｂｕｆからＧＯＰ単位の目標変動符号量ｒｄを減算した値が０より小さい場合には、上記式９によってｒｄを調整する。
【００８３】
最後に、ＶＢＲレート制御器１５０５はＲｂｕｆからｒｄを減算し、同時に、ＶＢＲrateを算出する（ステップＳ１７１４）。レート制御器１５０２は、スイッチ１５０６により切り替えられたＧＯＰ単位の目標符号量（ＣＢＲrateとＶＢＲrateの何れか）を入力し、量子化器１０３を制御する。
【００８４】
尚、本実施形態における切換制御器１５０１の動作は、図５に示す第１の実施形態の切換制御器２０１の動作と基本的に同様であるが、次クラスタ統合フラグがＯＮである場合、ステップＳ５００の判断結果に拘わらず、ＶＢＲレート制御器１５０５側の出力をＯＮとする。
【００８５】
以上の動作により、クラスタとその内部のＣＢＲ、ＶＢＲ切り替えの様子を示したものが図７である。本実施形態では、１クラスタ内で初めに平均レートよりも比較的低いレートでＣＢＲを実行し余剰バッファを蓄積し、残記憶容量の比率であるＭＣＡによりＶＢＲへ切り換え、次に別の残記憶容量の比率であるＭＣＢによりＣＢＲへ切り替え、残った記録時間に応じた制御を行うことを基本とする。但し、最後のＣＢＲ部となるクラスタ内第３シーンでの分散が大きい場合、これをＶＢＲへ変更し、さらに続くクラスタ内第１シーンをＣＢＲからＶＢＲへ変更する。このようにＣＢＲでは画質低下が著しいと判断した場合、ＶＢＲの領域を増やし、且つ発生符号量を一定にする領域を増加させることで無理の無い符号割当が可能となる。以上のように、第３シーンがＶＢＲで有り続けるとクラスタはそれだけ統合されることになる。
【００８６】
本実施形態では、残記憶容量の比率であるＭＣＡとＭＣＢと設け、記録の初期でＣＢＲを実行し、次にＶＢＲ、最後にＣＢＲと実行しているが、ＭＣＡを設けなくてもかまわない。初期に通常のＶＢＲを行い、最後にＭＣＢによって記録時間を保証してもかまわない。また一定の符号量をもつ最小単位をクラスタ及びＧＯＰ単位としたが、それ以外でもかまわない。また画像特徴量として画像全体の動きを示す分散を用いたが、そのほかの発生符号量を推し量るものを用いてもかまわない。
【００８７】
以上のように、本実施形態によれば、動画シーケンスに応じてＣＢＲとＶＢＲを適応的に切り替えることで、シーケンス全体に適正に符号量を割り当て、対象とする画像全体の画像の品質を向上させ、且つ或記録単位で符号量を一定化することで編集性能を高める簡便な手段を提供することができる。
【００８８】
図８は、上記第１〜第３の実施形態に適用可能なコンピュータの構成を示すブロック図である。１０００はコンピュータ全体の制御、及び種々の処理を行う中央演算装置（ＣＰＵ）、１００１は本コンピュータの制御に必要なオペレーティングシステム（ＯＳ）、ソフトウェア、データ、演算に必要な記憶領域を提供するメモリである。また、ＣＰＵ１０００が各種の処理を行う際のワークエリアとしても用いられる。
【００８９】
１００２は種々の装置をつなぎ、データ、制御信号をやりとりするバス、１００３は各種のソフトウェアを蓄積する記憶装置、１００４は動画像データを蓄積する記憶装置、１００５は画像やコンピュータからのシステムメッセージなどを表示するモニタである。
【００９０】
１００７は通信回路１００８に符号化データを送信する通信インタフェースであり、装置外部のＬＡＮ、公衆回線、無線回線、放送電波等と接続されている。１００６はコンピュータを起動したり、ビットレート等の各種条件を設定したりするための端末である。
【００９１】
メモリ１００１にはコンピュータ全体を制御し、各種ソフトウェアを動作させるためのＯＳや動作させるソフトウェアを格納し、画像データを符号化のために読み込むエリア、一時的に符号データを格納する符号エリア、各種演算のパラメータ等を格納しておくワーキングエリアが存在する。
【００９２】
このような構成において、処理に先立ち、端末から記憶装置１００４に蓄積されている動画像データから符号化する動画像データを選択し、コンピュータの起動が指示される。すると、記憶装置１００３に格納されているソフトウェアがバス１００２を介してメモリ１００１に展開され、ソフトウェアが起動される。
【００９３】
そして、ＣＰＵ１０００による記憶装置１００４に格納されている動画像データの符号化動作は図２〜図６、図１２、図１３、図１６、図１７に示したフローチャートに従ったプログラムコード（前述のソフトウェア）が実行されることになる。以上のように、本実施形態におけるコンピュータは、第１〜第３の実施形態における画像符号化を実現する装置として機能する。
【００９４】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。
【００９５】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００９６】
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【００９７】
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ(基本システム或いはオペレーティングシステム)などが実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００９８】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【図面の簡単な説明】
【００９９】
【図１】本発明の第１の実施形態におけるレート制御器の内部構成を示す図である。
【図２】本発明の第１の実施形態における残記憶容量比算出器の動作を示すフローチャートである。
【図３】本発明の第１の実施形態におけるＣＢＲレート算出器の動作を示すフローチャートである。
【図４】本発明の第１の実施形態における余剰バッファサイズ算出器の動作を示すフローチャートである。
【図５】本発明の第１の実施形態における切換制御器の動作を示すフローチャートである。
【図６】本発明の第１の実施形態におけるＶＢＲレート制御器の動作を示すフローチャートである。
【図７】本発明の第１の実施形態に係る動画像符号化装置におけるビットレートと余剰バッファ占有量の推移との関係を示す図である。
【図８】本発明の第１〜第３の実施形態に適用可能なコンピュータの構成を示す図である。
【図９】本発明の第１の実施形態に係る動画像符号化装置の構成を示す図である。
【図１０】符号化ピクチャ構造の例を示す図である。
【図１１】本発明の第２の実施形態におけるレート制御器の内部構成を示す図である。
【図１２】本発明の第２の実施形態におけるＣＢＲレート算出器の動作を示すフローチャートである。
【図１３】本発明の第２の実施形態における切換制御装置の動作を示すフローチャートである。
【図１４】本発明の第２の実施形態に係る動画像符号化装置におけるビットレートと余剰バッファ占有量の推移との関係を示す図である。
【図１５】本発明の第３の実施形態に係る動画像符号化装置の構成を示す図である。
【図１６】本発明の第３の実施形態における画像特徴解析器の動作を示すフローチャートである。
【図１７】本発明の第３の実施形態におけるＶＢＲレート制御器の動作を示すフローチャートである。
【図１８】本発明の第３の実施形態に係る動画像符号化装置の動作を説明するための図である。
【符号の説明】
【０１００】
１００  レート制御器
２００、１５００  残記録容量比算出器
２０１、１１０２、１５０１  切換制御器
２０２、１１０１  ＣＢＲレート算出器
２０３、１５０３  ＣＢＲレート制御器
２０４、１５０４  余剰バッファサイズ算出器
２０５、１５０５  ＶＢＲレート制御器
２０６、１５０６  スイッチ
１１００、１５０７  画像特徴解析器
１５０２  レート制御器
１５０８  クラスタ内符号量出力器
１５０９  フレームメモリ
【図１】
2006165681.tif 000003
【図２】
2006165681.tif 000004
【図３】
2006165681.tif 000005
【図４】
2006165681.tif 000006
【図５】
2006165681.tif 000007
【図６】
2006165681.tif 000008
【図７】
2006165681.tif 000009
【図８】
2006165681.tif 000010
【図９】
2006165681.tif 000011
【図１０】
2006165681.tif 000012
【図１１】
2006165681.tif 000013
【図１２】
2006165681.tif 000014
【図１３】
2006165681.tif 000015
【図１４】
2006165681.tif 000016
【図１５】
2006165681.tif 000017
【図１６】
2006165681.tif 000018
【図１７】
2006165681.tif 000019
【図１８】
2006165681.tif 000020