(57)【特許請求の範囲】
【請求項１】
物体領域と背景領域とが併存する画像信号のブロックの該背景領域に特定の画素値を埋め込むための映像信号符号化用パディング装置において、
ＤＣＴ適用後のエントロピＥ１  （ｚ）と量子化誤差Ｅ２  （ｚ）を要素とする評価関数Ｅ（ｚ）を、Ｅ（ｚ）＝Ｅ１  （ｚ）＋βＥ２  （ｚ）（ここに、ｚは前記背景領域に埋め込まれる画素値、βはビットレートを表す）と設定する手段と、
該評価関数Ｅ（ｚ）を最小にするまたはほぼ最小にするｚを求める最適化手段とを具備し、
該最適化手段で決定された画素値ｚを前記ブロックの背景領域に埋め込むようにしたことを特徴とする映像信号符号化用パディング装置。
【請求項２】
請求項１に記載の映像信号符号化用パディング装置において、
前記量子化誤差Ｅ２  （ｚ）は、Ｅ２  （ｚ）＝Σsin ２  ［ｙｉ  ／Δ・π］（ここに、ｙｉ  はＤＣＴ係数、Δは量子化ステップサイズ）であることを特徴とする映像信号符号化用パディング装置。
【請求項３】
請求項１に記載の映像信号符号化用パディング装置において、
前記最適化手段は、任意の値をもつｚの候補を所定個数準備し、その中で前記評価関数Ｅ（ｚ）を最小にするｚを初期値として設定する初期値設定手段を具備していることを特徴とする映像信号符号化用パディング装置。
【請求項４】
請求項１または３に記載の映像信号符号化用パディング装置において、
前記最適化手段は、ＢＦＧＳ法を用いて、前記評価関数Ｅ（ｚ）を最小化するｚを求めることを特徴とする映像信号符号化用パディング装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は映像信号符号化用パディング装置に関し、特に、符号化効率を向上させるようにした映像信号符号化用パディング装置に関する。
【０００２】
【従来の技術】
従来のＭＰＥＧ２では、２次元直交変換（ＤＣＴ）を矩形のブロック（例えば、８×８画素）にしか適用できず、該ブロック内に物体部分と背景部分が併存してこれらの境界にエッジが生じている場合に、２次元直交変換の効率が低下するという問題があった。これに対して、最近標準化されたＭＰＥＧ４では、２次元直交変換をブロック内の任意の形状に適用することが提案されており、該提案を実現するのに必要な技術として、パディング技術がある。
【０００３】
図６は、符号化・復号化処理の概略の全体を示す図であり、パディングはエンコードにおける「初期化」に相当する技術である。具体的に説明すると、いま、図７に示されているような、物体領域（白で表された画素）と背景領域（斜線で表された画素；ｚ0 〜ｚ9 ）が併存する８×８画素のブロックが存在した場合、該背景領域に相当する初期ベクトルｚ0 〜ｚ9 を決定する方法として、従来は次の(1a)〜(4a)の方法が提案されている。
【０００４】
(1a)画像がイントラの輝度信号の場合には、１画素が８ビットの場合の平均値である「１２８」を、初期ベクトルｚ0 〜ｚ9 の全てに埋め込む方法。
(2a)物体領域の画素値の算術平均値を、初期ベクトルｚ0 〜ｚ9 の全てに埋め込む方法。
(3a)前記(2a)を実行した後、ブロックの左上から低域フィルタをかける方法（ＬＰＥ法）。
(4a)背景領域の各画素に対して、順番に、水平、垂直方向の１／８，１／４，１／２対称の画素を埋め込む方法（Symmetric Padding 法）。
【０００５】
【発明が解決しようとする課題】
前記した(1a)〜(4a)のパディング技術は、いずれもＤＣＴ演算の高速化には寄与するが、レート−ディストーション理論(rate-distortion理論) を考慮したものになっていないという問題があった。換言すれば、各ブロックに対して、ビットレートと歪みとの関係を良好にするパディング技術を提供するものではないという問題があった。
【０００６】
この発明の目的は、前記した従来技術の問題点を除去し、各ブロックに対して、ビットレートと歪みとの関係を向上させる映像信号符号化用パディング装置を提供することにある。
【０００７】
【課題を解決するための手段】
前記した目的を達成するために、本発明は、物体領域と背景領域とが併存する画像信号のブロックの該背景領域に特定の画素値を埋め込むための映像信号符号化用パディング装置において、ＤＣＴ適用後のエントロピＥ１  （ｚ）と量子化誤差Ｅ２  （ｚ）を要素とする評価関数Ｅ（ｚ）を、Ｅ（ｚ）＝Ｅ１  （ｚ）＋βＥ２  （ｚ）（ここに、ｚは前記背景領域に埋め込まれる画素値、βはビットレートを表す）と設定する手段と、該評価関数Ｅ（ｚ）を最小にするまたはほぼ最小にするｚを求める最適化手段とを具備し、該最適化手段で決定された画素値ｚを前記ブロックの背景領域に埋め込むようにした点に特徴がある。
【０００８】
この発明によれば、レート−ディストーション理論(rate-distortion理論) を考慮したパディング装置、換言すれば、各ブロックに対して、ビットレートと歪みとの関係を良好にするパディング装置を提供することができるようになる。
【０００９】
【発明の実施の形態】
以下に、図面を参照して、本発明を詳細に説明する。まず、本発明の概略の構成を、図１のブロック図を参照して説明する。
入力画像１が入力してくると、８×８画素抽出部２は、該入力画像１から８×８画素のブロックを抽出し、これを背景画素ベクトル埋込み部３に送る。該背景画素ベクトル埋込み部３では、該ブロックが物体領域と背景領域とで構成されていた場合に、該背景領域に後述する未知画素ベクトルｚを埋め込む。次に、初期ベクトル決定部４は後述する評価関数Ｅ（ｚ）を小さくするような該未知画素ベクトルｚの初期ベクトルを決定する。次に、該初期ベクトルを基に、最適埋込みベクトル決定部５は、例えば公知の準ニュートン（Newton）法であるＢＦＧＳ（Broydon-Fletcher-Goldfarb-Shanno) 法を用いて、該評価関数Ｅ（ｚ）を最小にする未知画素ベクトルｚを決定する。
【００１０】
このようにして求められたベクトルｚを前記８×８画素のブロックの背景領域に埋め込み、ＤＣＴ演算部６にてＤＣＴ演算を行う。この結果、本発明によれば、レート−ディストーション理論(rate-distortion理論) を最適またはほぼ最適にするパディングを行うことができるようになる。
【００１１】
以下に、本発明を具体的に、かつ詳細に説明する。８×８画素抽出部２は、入力画像１から、図２に示されているような、８×８画素のブロックを順次抽出する。次いで、背景画素ベクトル埋込み部３は該ブロックの背景領域に、未知画素ｚを埋め込む。そして、この時の入力画素値ｘを、
ｘ＝｛ｘ８ｍ＋ｎ｝，０≦ｍ，ｎ≦７
とする。
【００１２】
次に、該ブロックの入力画素値ｘに二次元ＤＣＴを施した結果ｙを、
ｙ＝｛ｙ８ｕ＋ｖ｝，０≦ｕ，ｖ≦７
とする。ここに、ｙ８ｕ＋ｖは、図３の(1) 式となる。
【００１３】
前記二次元ＤＣＴを施した結果ｙと、前記入力画素値ｘは、共に前記ブロックの背景領域に埋め込まれた未知画素ベクトルｚの関数であるから、ｙはある定数ａｉ，ｊ  を用いて次のように表すことができる。
【００１４】
ｙｉ  ＝ａｉ  ｚ＋ａｉ，Ｎ  
ここに、
ａｉ  ＝｛ａｉ，０  ，ａｉ，１  ，…，ａｉ，Ｎ−１  ｝，ｉ＝０，１，…，６３
本発明では、ＤＣＴ適用後のエントロピＥ１  （ｚ）と、量子化誤差Ｅ２  （ｚ）を、以下のように定義する。
まず、ＤＣＴ適用後のエントロピＥ１  （ｚ）を、図３の(2) 式のように表す。ここで、０ｌｏｇ２  ０＝０と定義する。
また、量子化誤差Ｅ２  （ｚ）を、図３の(3) 式のように定義する。ここに、Δは量子化ステップサイズである。この(3) 式は、本発明者により初めて定義された式であり、本発明に必要な近似式である。
【００１５】
次に、前記ＤＣＴ適用後のエントロピＥ１  （ｚ）と量子化誤差Ｅ２  （ｚ）の両方が、両者の関係から最適になるように、ビットレートに関わる変数βを用いて、評価関数Ｅ（ｚ）を以下のように設定する。
Ｅ（ｚ）＝Ｅ１  （ｚ）＋βＥ２  （ｚ）  …(4)
この評価関数Ｅ（ｚ）を最小にするｚが、前記ブロックの背景領域に埋め込まれるべき未知画素の最適値となるから、以下に該評価関数Ｅ（ｚ）を最小にするｚを、前記初期ベクトル決定部４および最適埋込みベクトル決定部５（図１参照）により求める。
【００１６】
いま、１画素が８ビットで表されている場合を想定する。前記未知画素ベクトルｚを、ｚ＝（ｚ１  ，ｚ２  ，…，ｚＭ  ）とすると、前記初期ベクトル決定部４は、まず該未知画素ベクトルｚの初期値を、次の値の中から求める。
【００１７】
ｚ＝｛（０，０，…、０），（１，１，…，１），…，（２５５，２５５，…，２５５）｝
すなわち、前記評価関数Ｅ（ｚ）に、上記のｚの値（０，０，…、０），（１，１，…，１），…，（２５５，２５５，…，２５５）を適用して、該評価関数Ｅ（ｚ）を最小にするｚを、未知画素ベクトルｚの初期値とする。これを式で表すと、図３の(5) 式のようになる。
【００１８】
次に、前記未知画素ベクトルｚの初期値を基に、前記評価関数Ｅ（ｚ）を最小にするｚを、公知のＢＦＧＳ（Broydon-Fletcher-Goldfarb-Shanno) 法を用いて逐次的に求める。該未知画素ベクトルｚの初期値を基に、前記評価関数Ｅ（ｚ）を最小にするｚを求める方法を、図４のフローチャートを参照して説明する。
【００１９】
ステップＳ１では、初期点ｚ１  、および単位行列Ｈ１  を与える。また、ｍ←１とおかれる。ここで、前記初期点ｚ１  としては、前記初期ベクトル決定部４で決定した未知画素ベクトルｚを用いる。
【００２０】
ステップＳ２では、ｄｍ  ←−Ｈｍ  ▽Ｅ（ｚｍ  ）が演算され、評価関数Ｅ（ｚ）を最小にするための方向ベクトルｄｍ  が設定される。該方向ベクトルｄｍ  は、それまでの最小化が意味のないものにならないように、探索した方向と共役（必ず垂直）な方向に設定される。なお、最初は、現在いる点ｚ１  における与えられた関数Ｅ（ｚ）の勾配方向に設定される。
【００２１】
ステップＳ３では、停止条件を満たしておれば、ステップＳ４に進んで終了となる。該停止条件としては、例えば、下記の停止条件(a) 〜(c) を上げることができる。
(a) ‖▽Ｅ（ｚｍ  ）‖＜閾値、この条件は、勾配が微小であれば終了することを意味する。
(b) ｜Ｅ（ｚｍ＋１  ）−Ｅ（ｚｍ  ）｜＜閾値、この条件は、変位が微小であれば終了することを意味する。
(c) ループの回数を適当に設定し、その回数を超えたら終了する。
【００２２】
ステップＳ５では、点ｚｍ  からベクトルｄの方向で、関数Ｅが最小になる点を探し出す。ステップＳ６では、ｍがＮ（＝背景領域の画素の数）の倍数であるか否かの判断がなされる。この判断が否定の時にはステップＳ７に進み、肯定の時にはステップＳ８に進む。ステップＳ７では、ｐ←αｄ，ｑ←▽Ｅ（ｚｍ＋１  ）−▽Ｅ（ｚｍ  ）とされる。そして、ステップＳ９では、図示の処理が行われ、Ｈｍ  がＨｍ＋１  に更新される。一方、ステップＳ８では、Ｈｍ＋１  ←Ｈ１  と置かれる。ステップＳ１０では、ｍ←ｍ＋１と置かれて、ステップＳ２の処理に戻る。
【００２３】
以上の処理が、繰り返し行われ、前記ステップＳ３の停止条件が満足されるようになれば、最適埋込みベクトルを求める処理を終了する。以上の処理により、前記評価関数Ｅ（ｚ）を最小にするｚを求めることができる。このベクトルｚを入力画像のブロックの背景領域に用いてＤＣＴ演算を行うと、ＤＣＴ適用後のエントロピＥ１  （ｚ）と量子化誤差Ｅ２  （ｚ）の両方が、両者の関係から最適になるようにすることができる。
【００２４】
本発明の実験結果を、図５を参照して説明する。本実験では、入力画像から、ある適当な大きさのブロックである８×８画素を抜き取り、該ブロックの背景領域に、下記の(1b)〜(5b)に示す手法で求めた値を埋め込み、図６に示したエンコードとデコードを行った。量子化は線形量子化を用い、エントロピ符号化にはＪＰＥＧのハフマン符号を用いた。図５は背景領域の画素数Ｎ＝１６の時の結果を示し、図中の曲線1b〜5bは下記の(1b)〜(5b)の手法を適用した時の特性曲線を示す。また、横軸は速度（ビットレート［bit/pel ］）を示し、縦軸はＰＳＮ比（Peak Signal-to-Noise Ratio）を示す。該ＰＳＮ比は、図３の(6) 式のように表すことができる。
【００２５】
(1b)前記(4) 式で、β＝１とした時の本発明による第１の手法、
(2b)前記(4) 式で、β＝０．０１とした時の本発明による第２の手法  、
(3b)従来の前記(2a)の物体領域の画素値の平均値を背景領域に埋め込む手法、
(4b)従来の前記(3a)のＬＰＥ手法、
(5b)背景領域に０値を埋め込む従来手法。
【００２６】
図５から明らかなように、本発明の(1b)、(2b)の手法により求めた画素ベクトルｚを用いると、従来手法(2a)、(3a)の手法により求めた画素ベクトルｚを用いたものに比べて、ビットレートが０．５〜３の範囲において、ＰＳＮ比が大幅に改善されていることが分かる。
【００２７】
【発明の効果】
前記した説明から明らかなように、本発明によれば、ＤＣＴ適用後のエントロピＥ１  （ｚ）と量子化誤差Ｅ２  （ｚ）を要素とする評価関数Ｅ（ｚ）を最小またはほぼ最小にするｚを求める最適化手段を具備しているので、各ブロックに対して、ビットレートとＰＳＮ比との関係を良好にするパディング装置を提供することができるようになる。
【図面の簡単な説明】
【図１】  本発明の概略の構成を示すブロック図である。
【図２】  ８×８画素からなるブロックの説明図である。
【図３】  数式の説明図である。
【図４】  本発明に適用されるＢＦＧＳ法の説明図である。
【図５】  本発明と従来方式のＰＳＮＲを示す図である。
【図６】  エンコード・デコード処理を示すブロック図である。
【図７】  物体領域と背景領域が併存しているブロックの説明図である。
【符号の説明】
３…背景画素ベクトル埋込み部、４…初期ベクトル決定部、５…最適埋込みベクトル決定部。
【図１】
0003894353.tif 000002
【図２】
0003894353.tif 000003
【図３】
0003894353.tif 000004
【図４】
0003894353.tif 000005
【図５】
0003894353.tif 000006
【図６】
0003894353.tif 000007
【図７】
0003894353.tif 000008