(57)【特許請求の範囲】
【請求項１】
予め定められた値αを要素とする、画像Ｘと同じ大きさの行列Ｍを生成する手段と、
該画像Ｘと未来の画像Ｙとから、該画像Ｘに対する画像Ｙの動きベクトルＭＶを所定の領域毎に求める手段と、
該領域毎の動きベクトルＭＶを、動きベクトルのｘ、ｙ成分を変数とする増加関数に適用して、該領域の見え難さ値を求める手段とを具備し、
該動きベクトルＭＶの根元に当る画像Ｘの領域と同じ領域の前記行列Ｍを、該領域の見え難さ値で塗り潰し、かつ該領域の見え難さ値の小さい値を優先させ、このようにして得られた行列Ｍ’から予め定められた大きさに分割された小行列毎の正規化アクティビティを求め、該正規化アクティビティから量子化係数を求めることにより、該行列Ｍ’をレート制御に反映させることを特徴とする動画像の量子化制御装置。
【請求項２】
請求項１に記載の動画像の量子化制御装置において、
前記領域の見え難さ値を求める手段は、前記動きベクトルＭＶのｘ，ｙ成分に対する増加関数ｆ（ｘ，ｙ）を用いて見え難さ値を求めるものであることを特徴とする動画像の量子化制御装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は動画像の量子化制御装置に関し、特に、未来の画像の予測に使用されない現在の画像の領域、あるいは人の目に目立ちにくい動きの速い現在の画像の領域を粗く符号化するようにして、全体の符号化効率を向上させるようにする動ベクトルを用いた動画像の量子化制御装置に関する。
【０００２】
【従来の技術】
従来のＭＰＥＧ−２  ＴＭ５では、レート制御は次の３段階のステップで行われている。
ステップ１：各ピクチャへのビット配分、
ステップ２：仮想バッファを用いたレート制御、
ステップ３：視覚特性を考慮した適応量子化、
【０００３】
ここで、Ｉピクチャのブロックｉの量子化スケールコードmquant[i] は、前記ステップ２で得られる量子化スケールコードをＱ[i] 、前記ステップ３の視覚特性による正規化アクティビティをＮact[i]とおくと、周知のように、次の(1) 式で与えられる。
mquant[i] ＝Ｎact[i]×Ｑ[i]   …(1)
【０００４】
このレート制御によれば、例えば、画面内のみで符号化を行うＩピクチャへの符号量配分は、画面間の相関も利用して符号化を行うＰ，Ｂピクチャと比較して多くなる。また、視覚的に劣化の目立ちやすい平坦部に符号が多く配分されるようになる。
【０００５】
【発明が解決しようとする課題】
以上のように、従来のレート制御によれば、符号化効率の向上に関して一定の成果が得られるが、さらに符号化効率を向上させることに配慮がなされていなかった。
【０００６】
本発明は、前記した従来技術に鑑みてなされたものであり、その目的は、従来のレート制御よりさらに符号化効率を向上させることができる動画像の量子化制御装置を提供することにある。
【０００８】
【課題を解決するための手段】
前記した目的を達成するために、本発明は、予め定められた値αを要素とする、画像Ｘと同じ大きさの行列Ｍを生成する手段と、該画像Ｘと未来の画像Ｙとから、該画像Ｘに対する画像Ｙの動きベクトルＭＶを所定の領域毎に求める手段と、該領域毎の動きベクトルＭＶを、動きベクトルのｘ、ｙ成分を変数とする増加関数に適用して、該領域の見え難さ値を求める手段とを具備し、該動きベクトルＭＶの根元に当る画像Ｘの領域と同じ領域の前記行列Ｍを、該領域の見え難さ値で塗り潰し、かつ該領域の見え難さ値の小さい値を優先させ、このようにして得られた行列Ｍ’から該領域毎の正規化アクティビティを求め、該正規化アクティビティから量子化係数を求めることにより、該行列Ｍ’をレート制御に反映させるようにした点に特徴がある。
【０００９】
この特徴によれば、動きの存在する領域の劣化は殆ど生じずに、静止領域の画質を向上させることができるようになる。
【００１０】
【発明の実施の形態】
以下に、図面を参照して、本発明を詳細に説明する。図１は、本発明の動画像の量子化制御装置を備えた符号化器の概略の構成を示すブロック図である。
【００１１】
符号化器は、遅延部で遅延された原画Ｘが入力する減算器１、該減算器１の出力を直交変換するＤＣＴ部２、レート制御部６からの量子化スケールコードmquant[i] を基に量子化する量子化部３、量子化データを可変長符号化する可変長符号化部４、符号化データを所定の伝送レートで回線に送出すると共に、その充満度をレート制御に伝えるバッファ５、後述する本発明を取り入れてレート制御情報（mquant[i] ）を作成しこれを量子化部３に提供するレート制御部６、前記量子化データを逆量子化する逆量子化部７、逆ＤＣＴ部８、加算器９、フレームメモリ１０、および第１、第２のスイッチ部１１、１２を備え、Ｉピクチャの符号化時には第１のスイッチ部１１はオフ、第２のスイッチ部１２は接地に接続され、Ｐ，Ｂピクチャの符号化時には第１のスイッチ部１１はオン、第２のスイッチ部１２は減算器１に接続される。
【００１２】
また、該符号化器には、本発明の要部である、前記原画Ｘと未来の原画Ｙとから動きベクトル（ｘ，ｙ）（ここに、ｘはｘ成分、ｙはｙ成分）を求める動きベクトル演算部２１、該動きベクトル演算部２１で得られたベクトル（ｘ，ｙ）を基に、動視覚特性に基づく物体の見え難さを示す関数ｆ（ｘ，ｙ）値を演算する見え難さ関数値演算部２２、および量子化制御マトリックス生成部２３からなる動画像の量子化制御装置が付設されている。
【００１３】
次に、本実施形態の動作を説明する。なお、前記符号化器はＭＰＥＧ２の符号化器と同構成であるので、その動作説明を省略し、本発明の要部である動画像の量子化制御装置の動作について、以下に説明する。
【００１４】
図２において、原画Ｙ（以下、ピクチャＹと呼ぶ）は、原画Ｘ（以下、ピクチャＸと呼ぶ）の未来のピクチャ、例えば１フレーム未来のピクチャであるとする。いま、ピクチャＹがピクチャＸに動き補償される場合、ピクチャＸを符号化することを考える。また、ピクチャＹのあるブロック１のピクチャＸに対する動きベクトルＭＶのｘ，ｙ成分が（ｘ，ｙ）であった場合、該動きベクトル（ｘ，ｙ）をもつ物体の見え難さを示す関数ｆ（ｘ，ｙ）を、下記の(2) 式のように設定する。
0003945676.tif 000002
【００１５】
この式は、物体の見え難さは、動きベクトル成分（ｘ，ｙ）に対して単調増加であること、および許容限速度に関して、垂直成分は水平成分のおよそ７割であることが確認されていることから、本発明者が考案したものである。なお、関数ｆ（ｘ，ｙ）が大きいということは、動きベクトル成分（ｘ，ｙ）が大きいということであるから、物体の動きが速く、物体が見え難いということができる。
【００１６】
再度、図２を参照して、本実施形態の処理手順を説明する。
【００１７】
(1) ピクチャＸと同じサイズの行列Ｍを考え、該行列の全部の要素として、ある大きな値αを入れる。この時の行列Ｍは、図３のようになる。このαとして、例えば前記(2) 式の最大値を用いることができる。
【００１８】
(2) 次に、ピクチャＹに対して、１６×１６画素ブロック（ＭＢ）毎に、ピクチャＸとの差分絶対値和（ＳＡＤ）が最小になるという規範の基に、動きベクトルＭＶを求める。この時、該ピクチャＹのあるマクロブロック（以下、注目ＭＢと呼ぶ）１の動き推定に使用されるピクチャＸのマクロブロックがブロック２であるとすると、該ブロックを根元（始点）のブロック２と呼ぶことにする。なお、同じＳＡＤ値をもつ動きベクトルＭＶが複数個存在した場合には、前記ｆ（ｘ，ｙ）が最小になるＭＶを選択する。
【００１９】
(3) 次に、該ＭＶの成分（ｘ，ｙ）を前記(2) 式に代入して、物体の見え難さを示す値を求め、この値を、行列Ｍの前記根元のブロック２に対応する領域２ａに埋め尽くす。ただし、次の規則を適用する。すなわち、該物体の見え難さを示す値が以前に入れられている値（本例の場合、α）より小さい場合には、該以前の値と置換し、逆の場合は置換しないものとする。図４は、この処理結果の一例であり、前記物体の見え難さを示す値＝３の場合を示している。３＜αであるので、前記領域２ａは値３で埋め尽くされる。
【００２０】
また、ピクチャＹの次のＭＢに対するピクチャＸの根元のブロックが符号３であり、その動きベクトルＭＶを基に求めたｆ（ｘ，ｙ）の値が８であったとすると、行列Ｍの前記根元のブロック３に対応する領域３ａは、図５に示されているように、αの領域は８で置換されるが、すでに３が入っている領域は３のままとなる。
【００２１】
以上の処理が、ピクチャＹの全部のマクロブロックに対して行われると、行列Ｍは、ピクチャＹの全部のマクロブロックに対する動き推定に使用されたピクチャＸの根元のブロックに相当する領域に、各ＭＶの成分（ｘ，ｙ）を基に求めた前記ｆ（ｘ，ｙ）の値を、前記の規則に基づいて埋め尽くした行列となる。
【００２２】
そうすると、明らかなように、ピクチャＹのマクロブロックに対する動き推定に使用されなかったピクチャＸの根元のブロックに相当する行列Ｍの領域はαのまま残り、また動きの速い領域の値は大きな値を示すことになる。
【００２３】
(4)今、上記の(3)の処理により得られた最終の行列Ｍ’の要素（すなわち、予め定められた大きさに分割された小行列の領域ｉ）をp［i］とすると、下記の(3)式によりＭＶの大きさによる正規化アクティビティNact  ＭＶ［i］を求める。
Nact  ＭＶ［i］＝｛２p［i］＋ave（p）｝／｛p［ｉ］＋２ave（p）｝・・・(3)
ここに、ave(p)は、p［i］の平均値である。なお、前記（３）式は、前記（１）式のNact［i］を求める式と同じである。
【００２４】
(5) 上記のようにして、正規化アクティビティＮact ＭＶ[i] が求まると、下記の(4) 式から、量子化スケールコードmquant[i] を求めることができる。
mquant[i] ＝Ｗ[i] ×Ｑ[i]   …(4)
0003945676.tif 000003
【００２５】
以上の説明から明らかなように、本実施形態によれば、未来の画像の予測に使用されない現在の画像の領域、あるいは人の目に目立ちにくい動きの速い現在の画像の領域は粗く符号化されることになる。
【００２６】
なお、本実施形態により符号化されたデータを復号する復号器は、従来のＭＰＥＧ２のデコーダがそのまま使用できることは明らかである。
【００２７】
本発明の変形例として、前記(4) 式のＷ[i] として、Ｗ[i] ＝Ｎact ＭＶ[i]を用いるようにしてもよい。
【００２８】
本発明は、他の用途として、スケーラブル符号化に応用することができる。すなわち、行列Ｍ' に記入された重み情報を利用して、これが低い部分をベースレーヤ(base layer)、高い部分をエンハンスドレーヤ(enhanced layer)として、階層的に画像を伝送することが可能となる。また、符号化レートに応じて、この値の大小により、伝送する部分と伝送しない部分とに明確に分けることができる。すなわち、ビットコントロールも簡単にできる。
【００２９】
【発明の効果】
本発明者が、あるテスト画像に対して、本発明を用いて計算機シミュレーションを施した結果、ＭＰＥＧ−２  ＴＭ５による結果と比較して、全体的に０．６ｄＢ程度の性能向上が確認された。また、本発明により符号化した画像の復号画像を主観評価した結果、動きの存在する領域の劣化は殆ど生じずに、静止領域の画質を向上させることができることが分かった。
【図面の簡単な説明】
【図１】  本発明の一実施形態の概略の構成を示すブロック図である。
【図２】  本発明の要部である動画像の量子化制御装置の概略の動作の説明図である。
【図３】  当初の行列Ｍの説明図である。
【図４】  動画像の量子化制御装置の動作途中の行列Ｍの説明図である。
【図５】  動画像の量子化制御装置の動作途中の行列Ｍの説明図である。
【符号の説明】
３…量子化部、５…バッファ、６…レート制御部、２１…動きベクトル演算部、２２…見え難さ関数値演算部、２３…量子化制御マトリックス生成部。
【図１】
0003945676.tif 000004
【図２】
0003945676.tif 000005
【図３】
0003945676.tif 000006
【図４】
0003945676.tif 000007
【図５】
0003945676.tif 000008