(57)【特許請求の範囲】
【請求項１】
動画像の符号化装置のレート制御における符号量配分装置であって、
時間軸で前方の原画情報を利用して、後方の原画情報の小領域からなるブロックｊの動き補償予測誤差Ｅｊを求める手段と、
該動き補償予測誤差Ｅｊの平均ave  Ｅを、前記前方の原画情報の全体に亘って求める手段と、
前記動き補償予測誤差Ｅｊと平均ave  Ｅから、下記の(1)式により動き予測の正確さに対する正規化アクティビティNact  Ｍjを求める手段と、
ブロックｊに対する視覚特性による正規化アクティビティをNact  Ｖj  、仮想バッファを用いたレート制御で得られる量子化スケールコードをＱｊとするとき、下記の(2)式により、前記後方の原画情報を符号化する際の量子化スケールコードmquantを求める手段とを具備したことを特徴とする符号量配分装置。
Nact  Mｊ＝（２×Ｅｊ＋ave  Ｅ）／（Ｅｊ＋２×ave  Ｅ）・・・(1)
mquant  ｊ＝ｆ（Nact  Ｖj ，Nact  Ｍj）× Ｑｊ・・・(2)
ここに、ｆは相乗平均を表す関数。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は符号量配分装置に関し、特に動画像の符号化装置において、符号化効率を向上させることのできる符号量配分装置に関する。
【０００２】
【従来の技術】
従来の動画像の符号化装置の一例を、図７を参照して説明する。図において、第１画面の入力画像信号１が入力された場合、符号化モード制御部１２により各々のスイッチはそれぞれ▲１▼側に接続されており、入力信号は高い符号化効率を得るために直交変換器３に直接入力され、該直交変換器３でＤＣＴ（離散コサイン変換）などを用いて直交変換され、量子化器４で直交変換係数が量子化される。
この量子化係数は第１可変長符号化器５でハフマン符号などの可変長符号に変換されてビデオ多重化器１５に入力される。
【０００３】
一方、逆量子化器６に入力した量子化係数は逆量子化され、さらに逆直交変換器７で画像データが復元される。復元された画像データはフレームメモリ９に蓄積される。また、ビデオ多重化器１５では、第１可変長符号化器５からの符号化データや量子化器４からの量子化情報１８を多重化する。該多重化された情報は、一旦バッファ１９に蓄積された後、符号化ビデオデータ出力１６として回線に出力される。
【０００４】
次の画面の入力画像信号１が入力されるようになると、符号化モード制御部１２により、各々のスイッチは▲２▼側の接点に接続され、入力画像信号１が予測信号減算器２および動き補償器１０に入力される。動き補償器１０では該入力画像信号１とフレームメモリ９から入力された参照画像とで動きベクトルが検出され、該動きベクトルは位置シフタ１１と第２可変長符号化器１４に入力される。第２可変長符号化器１４では、動きベクトル情報がハフマン符号などの可変長符号に変換されてビデオ多重化器１５に入力される。
【０００５】
位置シフタ１１では、動きベクトルによって指定される画像信号をフレームメモリ９から抽出し、動き補償予測信号として予測信号減算器２および局所復号加算器８に出力される。予測信号減算器２で入力画像信号１から動き補償予測信号が減算され、その予測誤差が符号化される。予測誤差信号は高い符号化効率を得るために直交変換器３においてＤＣＴ（離散コサイン変換）などを用いて直交変換され、量子化器４で量子化された信号は第１可変長符号化器５でハフマン符号などの可変長符号に変換される。また、復号側と同一の予測信号を用いるために、量子化器４で得られる量子化係数を逆量子化器６で逆量子化し、逆直交変換器７で予測誤差信号が局所的に復号される。さらに、動き補償予測信号が局所復号加算器８で復元された予測誤差信号と加算され、フレームメモリ９に蓄積される。  符号化レート制御部１７は、(1) 各ピクチャへのビット配分、(2) 仮想バッファを用いたレート制御、(3) 視覚特性を考慮した適応量子化の３段階で量子化器４のレート制御を行う。ここで、Ｉピクチャのブロックｉの量子化スケールコードmquant(i) は、前記(2) で得られる量子化スケールコードをＱi 、前記(3) の視覚特性による正規化アクティビティをＮact Ｖi とおくと、次の(1) 式で与えられる。
mquant(i) ＝Ｎact Ｖi ×Ｑi   …(1)
【０００６】
一般的に、動画像の符号化において、時間的に前のフレームと相関の高い領域が効率良く符号化されるためには、参照画像の符号化が精細にされている必要がある。このため、上記の符号化レート制御では、画面内のみで符号化を行うＩピクチャへの符号量の配分は、画面間の相関も利用して符号化を行うＰ，Ｂピクチャと比べて多くなっている。また、輝度画素値の分散を用いて、視覚的に劣化の目立ちやすい平坦部に符号量が多く配分されている。
【０００７】
【発明が解決しようとする課題】
しかしながら、前記した従来のレート制御は、画面内の領域を考慮に入れた符号量の配分について、何らの配慮もされていない。
【０００８】
本発明の目的は、前記従来技術に鑑み、各ピクチャの各領域の符号量配分を、時間軸で前方のピクチャを用いて決定することにより、画面内の領域を考慮に入れた符号量の配分を行い、動画像全体としての符号化効率を向上させることのできる符号量配分装置を提供することにある。
【０００９】
【課題を解決するための手段】
前記した目的を達成するために、本発明は、動画像の符号化装置のレート制御における符号量配分装置であって、時間軸で前方の原画情報を利用して、後方の原画情報の小領域からなるブロックｊの動き補償予測誤差Ｅｊを求める手段と、該動き補償予測誤差Ｅｊの平均ave  Ｅを、前記前方の原画情報の全体に亘って求める手段と、前記動き補償予測誤差Ｅｊと平均ave  Ｅから、下記の(1)式により動き予測の正確さに対する正規化アクティビティNact  Ｍjを求める手段と、ブロックｊに対する視覚特性による正規化アクティビティをNact  Ｖj  、仮想バッファを用いたレート制御で得られる量子化スケールコードをＱｊとするとき、下記の(2)式により、前記後方の原画情報を符号化する際の量子化スケールコードmquantを求める手段とを具備した点に特徴がある。
Nact Mｊ＝（２×Ｅｊ＋ave  Ｅ）／（Ｅｊ＋２×ave  Ｅ）・・・(1)
mquant  ｊ＝ｆ（Nact  Ｖj ，Nact  Ｍj）× Ｑｊ・・・(2)
ここに、ｆは相乗平均を表す関数
【００１１】
前記特徴によれば、原画像の各領域の符号量配分を、時間軸で前方の原画像を用いて決定するようにしたので、予測に使用される領域の符号量配分を大きくすることができるようになり、動画像全体としての符号化効率を向上させることができるようになる。
【００１２】
【発明の実施の形態】
以下に、本発明を詳細に説明する。本発明は、ピクチャ内の予測に使用されない領域、例えば次のピクチャからははみ出したり、次のピクチャでは消えてしまう画像の領域は符号化の参照画像として利用されることはないから、多少粗く符号化しても、全体的な予測効率には大した影響を与えない。そこで、本発明では、ピクチャ内の予測に使用されない領域は粗く符号化し、該粗く符号化したことにより余った符号量を、予測に利用される領域の符号化に適用して該予測に利用される領域をより精細に符号化するようにすることにより、動画像全体の符号化効率を向上させるようにした。なお、本発明では、例えば図３に例示したように、時間的過去を「時間軸で後方」と定義し、時間的未来を「時間軸で前方」と定義する。
【００１３】
以下に、本発明の一実施形態を、図面を参照して説明する。図１は、本発明の一実施形態の構成を示すブロック図である。なお、図７と同符号は同一または同等物を示し、図７と共通部分の動作の説明は省略する。
【００１４】
入力画像信号１は第１のフレームメモリ２１に蓄積され、次の画面の入力画像信号１が入力してくると、第１のフレームメモリ２１に蓄積されていた画像信号は第２のフレームメモリ２２に移され、該次の入力画像信号１は第１のフレームメモリ２１に蓄積される。いま、第１、第２のフレームメモリ２１、２２に蓄積されている画像信号を、それぞれＯP 、ＯI とすると、これらの画像信号ＯP 、ＯIは符号化レート制御部１７に入力する。なお、ＯI はＯP より１フレーム過去の画像信号であることは明らかである。
【００１５】
次に、図２を参照して、該符号化レート制御部１７の機能を説明する。図２は、該符号化レート制御部１７の機能を示すブロック図である。符号化レート制御部１７は、逆方向動き補償予測部３１、平均値演算部３２、正規化アクティビティ演算部３３および量子化スケールコード演算部３４から構成されている。
【００１６】
前記画像信号ＯP 、ＯI が逆方向動き補償予測部３１に入力してくると、逆方向動き補償予測部３１は、図３に示されているように、時間軸で後方にある画像信号ＯI の各ブロックｊについて、時間軸で前方にある例えば画像信号ＯP を逆方向動き補償予測した場合の２乗誤差総和の最小値Ｅj を求める。このＥj は、ブロックｊが、予測に使用されない領域、換言すれば次の画像ＯP からはみ出したり、次の画像ＯP では消えてしまう画像の領域であると、大きな値になることは明らかである。
【００１７】
逆方向動き補償予測部３１で求められた画像信号ＯI の各ブロックｊについての最小値Ｅj は平均値演算部３２に送られ、全てのブロックｊに対するＥj の平均ave Ｅが求められる。次に、前記Ｅj 、ave Ｅを基に、正規化アクティビティ演算部３３は、動き予測の正確さに対する正規化アクティビティＮact Ｍj を下記の(2) 式から求める。
Ｎact Ｍj ＝（２×Ｅj ＋ave Ｅ）／（Ｅj ＋２×ave Ｅ）  …(2)
【００１８】
この(2) 式から、画像信号ＯI のブロックｊが、前記予測に使用されない領域であると、該ブロックｊに対する正規化アクティビティＮact Ｍj は大きな値を取ることは明らかである。なお、正規化アクティビティＮact Ｍj は、０．５〜２の値を取ることができる。正規化アクティビティ演算部３３は、また画像信号ＯI から従来と同様の視覚特性による正規化アクティビティＮact Ｖj を求めて出力する。
【００１９】
次に、量子化スケールコード演算部３４は、前記正規化アクティビティＮactＭj 、Ｎact Ｖj 、および前記仮想バッファ用いたレート制御で得られる量子化スケールコードＱj から、量子化スケールコードmquantｊを、下記の(3) 式から求める。
mquantｊ＝ｆ（Ｎact Ｖj ，Ｎact Ｍj ）×Ｑj   …(3)
【００２０】
ここで、関数ｆの一例として、ｆ（ａ，ｂ）＝√ａｂを用いることができる。
すなわち、各正規化アクティビティＮact Ｖj 、Ｎact Ｍj の相乗平均を用いることができる。この量子化スケールコードmquantｊは、図１から明らかなように、量子化器４に送られ、イントラ符号化される（Ｉピクチャの）画像信号ＯI のブロックｊの量子化に反映される。該ブロックｊが次のＰピクチャの画像信号ＯPの予測に使用されない領域の場合には、該ブロックｊに対する量子化スケールコードmquantｊが大きくなり、ブロックｊに対する符号量配分は小さくなることは明らかである。換言すれば、ブロックｊに対する符号量配分が小さくなった分、画像信号ＯP の予測に使用される領域に対する符号量配分は大きくなり、参照画像の符号化が精細にされることになる。
【００２１】
次に、本実施形態の適用例を、図４、図５、図６を参照して説明する。図４はＭＰＥＧにおけるＧＯＰ構造が、Ｉ，Ｐ，Ｐ，Ｐ，Ｐ，…の場合を（Ｍ＝１）示し、図の上段は、前記入力画像信号１に相当する原画を示し、下段はＭＰＥＧ符号化により作成される参照画像、すなわち復号画を示す。▲１▼は原画Ｏ1 →Ｏ0 の逆予測により得られたブロックｊに対する量子化スケールコードmquantｊを、原画Ｏ0 の量子化のレート制御に用いることを示している。また、▲２▼は原画Ｏ2 →Ｏ1 の逆予測により得られたブロックｊに対する量子化スケールコードmquantｊを、原画Ｏ1 の量子化のレート制御に用いることを示している。▲３▼，▲４▼，…も、前記と同様である。
【００２２】
図５は、ＭＰＥＧにおけるＧＯＰ構造が、Ｉ，Ｂ，Ｂ，Ｐ，Ｂ，Ｂ，Ｐ，…（Ｍ＝３）に対する適用例を示す。この例では、Ｍ画面離れた場所の原画を用いて逆方向動き補償予測誤差を求め、レート制御に用いる。すなわち、Ｉ0 、Ｐ3の原画を用いて、Ｉ0 のレート制御を行い、またＰ3 、Ｐ6 の原画を用いて、Ｐ3 のレート制御を行うことになる。
【００２３】
図６は、ＭＰＥＧにおけるＧＯＰ構造は図５と同様であるが、異なるのは、１画面離れた場所の原画を用いて逆方向動き補償予測誤差を求め、レート制御に用いるようにした点である。すなわち、Ｉ0 、Ｂ1 の原画を用いて、Ｉ0 のレート制御を行い、またＰ3 、Ｂ4 の原画を用いて、Ｐ3 のレート制御を行うことになる。
【００２４】
【発明の効果】
以上の説明から明らかなように、本発明によれば、原画像の各領域の符号量配分を、時間軸で前方の原画像を用いて決定するようにしたので、予測に使用されない領域の符号量配分は小さく、逆に予測に使用される領域の符号量配分は大きくすることができるようになり、動画像全体としての符号化効率を向上させることができるようになる。
【００２５】
また、本発明をＭＰＥＧ２  ＴＭ５に組込み、種々のテスト画像を用いて計算機シミュレーションを行ったところ、平均して０．５ｄＢ程度のゲインが確認された。
【図面の簡単な説明】
【図１】  本発明の一実施形態の構成を示すブロック図である。
【図２】  図１の符号化レート制御部の一具体例の機能を示す機能ブロック図である。
【図３】  図２の逆方向動き補償予測部の動作説明図である。
【図４】  本発明の第１の適用例の説明図である。
【図５】  本発明の第２の適用例の説明図である。
【図６】  本発明の第３の適用例の説明図である。
【図７】  従来の符号化装置の一構成例を示すブロック図である。
【符号の説明】
４…量子化器、１７…符号化レート制御部、２１、２２…フレームメモリ、３１…逆方向動き補償予測部、３２…平均値演算部、３３…正規化アクティビティ演算部、３４…量子化スケールコード演算部。
【図１】
0003945674.tif 000002
【図２】
0003945674.tif 000003
【図３】
0003945674.tif 000004
【図４】
0003945674.tif 000005
【図５】
0003945674.tif 000006
【図６】
0003945674.tif 000007
【図７】
0003945674.tif 000008