(57)【要約】【課題】本発明は、動画像符号化で用いられる量子化ステップ幅として、ブロック歪みを含む主観画質を反映したものを設定できるようにする技術の提供を目的とする。【解決手段】変換行列の対象となる複数のブロックで構成される分析対象ブロックに対応付けて定義されて、１つのブロックに変換行列の基底画像が配置され、他のブロックにゼロ値が埋め込まれることで構成されるブロックの数分の修正基底画像を生成して空間周波数成分を算出する。そして、分析対象ブロックの変移量を推定し、その空間周波数成分の空間周波数とその変移量とに基づいて視覚感度値を算出して、その空間周波数成分を重み付けし、その重み付けをした空間周波数成分とその重み付けをしない空間周波数成分と分析対象ブロックの変換係数とに基づいて、変換行列の各基底成分毎に設定される量子化ステップ幅に対しての重み係数を算出して、それを用いて量子化ステップ幅を修正する。【選択図】図２
2010045721.tif 000002
【特許請求の範囲】
【請求項１】
画像信号、あるいは、フレーム内予測およびフレーム間予測により得られた予測誤差信号に対して、変換符号化および量子化による情報圧縮を行うことで動画像を符号化する動画像符号化で用いられる動画像量子化方法であって、
変換行列の対象となる複数のブロックで構成される分析対象ブロックに対応付けて定義されて、１つのブロックに変換行列の基底画像が配置され、他のブロックにゼロ値が埋め込まれることで構成されるブロックの数分の修正基底画像について算出された空間周波数成分を記憶する記憶手段から、その修正基底画像の空間周波数成分を読み出す過程と、
前記分析対象ブロックの画像信号の時間的な動きを示す変移量を推定する過程と、
前記読み出した空間周波数成分の空間周波数インデックスと前記変移量とに基づいて、その空間周波数成分に割り当てられる視覚感度値を算出して、その空間周波数成分を重み付けする過程と、
前記重み付けをした空間周波数成分と、その重み付けをしない空間周波数成分と、前記分析対象ブロックを構成するブロックの変換係数とに基づいて、変換行列の各基底成分毎に設定される量子化ステップ幅に対しての重み係数を算出する過程と、
前記重み係数を用いて、予め設定される量子化ステップ幅を修正することで、量子化処理に用いる量子化ステップ幅を決定する過程とを備えることを、
特徴とする動画像量子化方法。
【請求項２】
請求項１に記載の動画像量子化方法において、
前記重み付けする過程では、水平方向の空間周波数インデックスと前記変移量の水平成分とに基づいて水平方向の視覚感度値を算出するとともに、垂直方向の空間周波数インデックスと前記変移量の垂直成分とに基づいて垂直方向の視覚感度値を算出することで、前記読み出した空間周波数成分に割り当てられる視覚感度値を算出することを、
特徴とする動画像量子化方法。
【請求項３】
請求項１又は２に記載の動画像量子化方法において、
前記算出する過程では、前記変換係数の二乗和と前記重み付けをした空間周波数成分の二乗ノルム和との乗算値と、前記変換係数の二乗和と前記重み付けをしない空間周波数成分の二乗ノルム和との乗算値とを求めて、その２つの乗算値の割り算値に従って前記重み係数を算出することを、
特徴とする動画像量子化方法。
【請求項４】
請求項１ないし３のいずれか１項に記載の動画像量子化方法において、
前記決定する過程では、前記重み係数と予め設定される変換行列の基底成分に依存しない規定の量子化ステップ幅とを乗算することで、量子化処理に用いる量子化ステップ幅を決定することを、
特徴とする動画像量子化方法。
【請求項５】
画像信号、あるいは、フレーム内予測およびフレーム間予測により得られた予測誤差信号に対して、変換符号化および量子化による情報圧縮を行うことで動画像を符号化する動画像符号化で用いられる動画像量子化装置であって、
変換行列の対象となる複数のブロックで構成される分析対象ブロックに対応付けて定義されて、１つのブロックに変換行列の基底画像が配置され、他のブロックにゼロ値が埋め込まれることで構成されるブロックの数分の修正基底画像について算出された空間周波数成分を記憶する記憶手段と、
前記分析対象ブロックの画像信号の時間的な動きを示す変移量を推定する推定手段と、
前記記憶手段から修正基底画像の空間周波数成分を読み出して、その空間周波数成分の空間周波数インデックスと前記変移量とに基づいて、その空間周波数成分に割り当てられる視覚感度値を算出して、その空間周波数成分を重み付けする重み付け手段と、
前記重み付けをした空間周波数成分と、その重み付けをしない空間周波数成分と、前記分析対象ブロックを構成するブロックの変換係数とに基づいて、変換行列の各基底成分毎に設定される量子化ステップ幅に対しての重み係数を算出する算出手段と、
前記重み係数を用いて、予め設定される量子化ステップ幅を修正することで、量子化処理に用いる量子化ステップ幅を決定する決定手段とを備えることを、
特徴とする動画像量子化装置。
【請求項６】
請求項５に記載の動画像量子化装置において、
前記重み付け手段は、水平方向の空間周波数インデックスと前記変移量の水平成分とに基づいて水平方向の視覚感度値を算出するとともに、垂直方向の空間周波数インデックスと前記変移量の垂直成分とに基づいて垂直方向の視覚感度値を算出することで、前記読み出した空間周波数成分に割り当てられる視覚感度値を算出することを、
特徴とする動画像量子化装置。
【請求項７】
請求項５又は６に記載の動画像量子化装置において、
前記算出手段は、前記変換係数の二乗和と前記重み付けをした空間周波数成分の二乗ノルム和との乗算値と、前記変換係数の二乗和と前記重み付けをしない空間周波数成分の二乗ノルム和との乗算値とを求めて、その２つの乗算値の割り算値に従って前記重み係数を算出することを、
特徴とする動画像量子化装置。
【請求項８】
請求項５ないし７のいずれか１項に記載の動画像量子化装置において、
前記決定手段は、前記重み係数と予め設定される変換行列の基底成分に依存しない規定の量子化ステップ幅とを乗算することで、量子化処理に用いる量子化ステップ幅を決定することを、
特徴とする動画像量子化装置。
【請求項９】
請求項１ないし４のいずれか１項に記載の動画像量子化方法をコンピュータに実行させるための動画像量子化プログラム。
【請求項１０】
請求項１ないし４のいずれか１項に記載の動画像量子化方法をコンピュータに実行させるための動画像量子化プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、予測誤差信号に対して変換符号化および量子化による情報圧縮を行うことで動画像を符号化する動画像符号化で用いられる動画像量子化方法およびその装置と、その動画像量子化方法の実現に用いられる動画像量子化プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体とに関する。
【背景技術】
【０００２】
［直交変換係数に対する量子化］
Ｈ．２６４に代表されるフレーム内／フレーム間予測に基づく符号化方式の場合、矩形状に分割された領域（ブロックと呼ぶ）毎に、予測誤差に対して直交変換・量子化が行われる。
【０００３】
Ｈ．２６４における量子化までの符号化処理の流れを以下に示す。以下では、Ｓは原信号、ｑは量子化パラメータ、ｍは予測モードを表す番号であり、＾Ｓm,q は原信号Ｓに対して予測モードｍを用いて予測し、量子化パラメータｑを用いて量子化した場合の復号信号である。なお、説明に用いる記号を下記の表にまとめる。
【０００４】
【表１】
2010045721.tif 000003
【０００５】
原信号Ｓに対して、モード番号ｍの予測方法を用いた場合の予測信号をＰm とする。Ｈ．２６４の符号化処理では、モード番号ｍの予測方法を用いた場合の予測誤差信号Ｒm （＝Ｓ−Ｐm ）に対して、変換行列〜Φを用いた直交変換が次式のように施される。なお、以下の表記において、「〜Ｘ」（Ｘは文字）における記号〜は、「Ｘ」の上に付く記号を示している。
【０００６】
【数１】
2010045721.tif 000004
【０００７】
ここで、〜Φt は変換行列〜Φに対する転置行列を表す。なお、変換行列〜Φは次式で表される整数要素の直交行列である。
【０００８】
【数２】
2010045721.tif 000005
【０００９】
次に、行列〜Φが非正規行列であるため、次に示すような行列の正規化に相当する処理を行う。
【００１０】
【数３】
2010045721.tif 000006
【００１１】
これは、式（１）において、〜Φの代わりに次式のΦを用いることにあたる。
【００１２】
【数４】
2010045721.tif 000007
【００１３】
さらに、Ｃm に対して、量子化ステップ幅Δを用いた量子化が次式のとおり施される。
【００１４】
【数５】
2010045721.tif 000008
【００１５】
ここで、ｒｏｕｎｄ（・）は実数値をもっとも近い整数値に丸める関数である。
【００１６】
一方、Ｈ．２６４の復号処理では、Ｖに対して、次式のように逆量子化を施し、変換係数の復号値＾Ｃm,q を得る。
【００１７】
【数６】
2010045721.tif 000009
【００１８】
ここで、＾Ｃm,q はＣm を量子化パラメータｑで量子化・逆量子化して得られる係数の復号値である。
【００１９】
次に、この＾Ｃm,q に対して、次式のように逆変換を施し、予測誤差の復号信号を得る。
【００２０】
【数７】
2010045721.tif 000010
【００２１】
最後に、次式により、符号化対象画像の復号信号を得る。
【００２２】
【数８】
2010045721.tif 000011
【００２３】
［量子化重み係数を用いた量子化］
ＭＰＥＧ−２やＨ．２６４では、次式のように、変換係数の要素毎（ｋ，ｌ成分毎）に量子化ステップ幅を設定する機構が準備されている。
【００２４】
【数９】
2010045721.tif 000012
【００２５】
ここで、Ｗ［ｋ，ｌ］が周波数成分（ｋ，ｌ）に対応して定まる係数である。以下、Ｗ［ｋ，ｌ］を量子化重み係数と呼ぶ。
【００２６】
例えば、高周波成分の変化は低周波成分の変化に比べて、視覚的には検知されにくい。そこで、高周波成分のＷ［ｋ，ｌ］を低周波成分のそれよりも大きく設定し、高周波成分を相対的に大きな量子化ステップ幅で処理する量子化が行われている。
【００２７】
さらに、時間方向の視覚感度も考慮して、変移量に応じて適応的に量子化ステップ幅を設定する検討もなされている（特許文献１参照）。
【特許文献１】特開平５−２３６４４４号公報
【発明の開示】
【発明が解決しようとする課題】
【００２８】
従来の量子化重み係数の設定は、ブロック単位に独立に感度関数による重み付けを行うため、重み付け後の歪み量にブロック境界における不連続性（ブロック歪み）が反映されない。
【００２９】
動き補償によるフレーム間予測と直交変換を組み合わせたブロックベースの符号化方式（例えば、Ｈ．２６４）では、ブロック歪みは特徴的な符号化歪みである。このため、隣接ブロックとの依存関係を考慮せずに量子化ステップ幅を設定したのでは、ブロック歪みが顕在化し、主観画質を大きく損なう危険性がある。
【００３０】
例えば、図６に示す１次元信号を例に取ると、各ブロック（ブロックｋ−１，ブロックｋ，ブロックｋ＋１）のＤＣＴ係数に対して重み付けを行うブロックに閉じた処理では、ブロック間の不連続性（ブロックｋ−１とブロックｋの間の不連続性、あるいは、ブロックｋとブロックｋ＋１の間の不連続性）は知り得ない。
【００３１】
本発明はかかる事情に鑑みてなされたものであって、動き補償によるフレーム間予測と直交変換を組み合わせたブロックベースの符号化方式（例えば、Ｈ．２６４）に対して、量子化ステップ幅として、ブロック歪みを含む主観画質を反映したものを設定できるようにする新たな動画像量子化技術の提供を目的とする。
【課題を解決するための手段】
【００３２】
本発明では、ブロック内の波形とあわせて、隣接ブロック間の不連続性も考慮した周波数分析を行い、コントラスト感度関数に基づき量子化ステップ幅の設定を行うようにする。
【００３３】
［量子化重み係数の算出］
本発明では、各ブロック内の歪み量に対して、時空間視覚感度関数に基づく重み付けを行う。この重み付けの係数の算出において、入力となるのは変換係数と変移量（動きベクトルのような画像信号の時間的な動きを示すもの）である。ここで、イントラ予測を行うフレームについても、フレーム間における画像信号の時間的な動きを求めることで変移量を求めることができる。
【００３４】
なお、以下では、縦幅Ｈの画像を視距離ｒＨにおいて観測する場合を考える。ｒを視距離パラメータと呼ぶ。また、以下では、表現を簡略化するために、Ｙ，Ｕ，Ｖの区別を表す添え字を省略し、Ｙ成分について議論する。なお、Ｕ，Ｖ成分についても以下と同様に議論できる。
【００３５】
直交変換による２次元信号の変換とは、その直交変換の基底画像を用いて信号を表現することである。変換行列Φ（Ｎ×Ｎ行列）の第ｋ列ベクトル（Ｎ次元ベクトル）をφk とすると、同行列に対する基底画像は、
ｆk,l （ｘ，ｙ）＝φk ［ｙ］φl ［ｘ］t   （０≦ｘ，ｙ≦Ｎ−１）
という式より得られる。なお、Ｈ．２６４の場合、Ｎとして取りうる値は４または８のいずれかである。ここで、φl t はφl の転置ベクトルである。
【００３６】
Ｎ×Ｎ［画素］の領域における予測誤差信号Ｒm ［ｘ，ｙ］（Ｎｉx ≦ｘ≦Ｎｉx ＋Ｎ−１，Ｎｉy ≦ｙ≦Ｎｉy ＋Ｎ−１）をＲm (ix,iy) と略記し、以降、基準ブロックと呼ぶ。ここで、ｉx,ｉy は、基準ブロックの位置を指し示す整数値である。さらに、対応する直交変換係数をＣm (ix,iy) ［ｋ，ｌ］（０≦ｋ，ｌ≦Ｎ−１）とすると、同予測誤差信号Ｒm (ix,iy) は次式のように表せる。
【００３７】
【数１０】
2010045721.tif 000013
【００３８】
Ｍx ×Ｍy 個の基準ブロック（Ｒm (ix,iy) ）から構成されるＭx Ｎ×Ｍy Ｎ画素を含む予測誤差信号Ｒm ［ｘ，ｙ］（Ｎｉx0≦ｘ≦Ｎ（ｉx0＋Ｍx ）−１，Ｎｉy0≦ｙ≦Ｎ（ｉy0＋Ｍy ）−１）（分析対象ブロックと呼ぶ）に対して、ブロック歪みを考慮した主観画質を考察する。
【００３９】
ここで、この分析対象ブロックはＭx ×Ｍy 個の基準ブロックから構成されるものであることから、この分析対象ブロックをフーリエ変換すると、基準ブロック内のみならず隣接する基準ブロック間の不連続性（ブロック歪み）についても評価できるようになる。
【００４０】
分析対象ブロックと各基準ブロックとの関係を表すためには、次式に示すように、Ｒm (ix,iy) に対して、ゼロ埋め込みにより、Ｍx Ｎ×Ｍy Ｎ画素の信号を得る。
【００４１】
【数１１】
2010045721.tif 000014
【００４２】
同様に、次式に示すように、各基底画像ｆk,l （ｘ，ｙ）（０≦ｘ，ｙ≦Ｎ−１）に対して、ゼロ埋め込みにより、Ｍx Ｎ×Ｍy Ｎ画素の信号を得る。
【００４３】
【数１２】
2010045721.tif 000015
【００４４】
ゼロ埋め込みの結果得られる〜ｆk,l (p) （ｘ，ｙ）（ｘ＝０,....,Ｍx Ｎ−１；ｙ＝０,....,Ｍy Ｎ−１；ｐ＝０,....,Ｍx Ｍy −１）を修正基底画像と呼ぶ。例えば、Ｎ＝４，Ｍx ＝２，Ｍy ＝２の場合には、図１に示すように、網掛け部の４×４画素に基底画像が配置され、それ以外の位置にゼロ値がパディングされる。
【００４５】
ここで、図１（ａ）はｉx ＝ｉx0＋１，ｉy ＝ｉy0に対応し、図１（ｂ）はｉx ＝ｉx0，ｉy ＝ｉy0に対応し、図１（ｃ）はｉx ＝ｉx0＋１，ｉy ＝ｉy0＋１に対応し、図１（ｄ）はｉx ＝ｉx0，ｉy ＝ｉy0＋１に対応する。
【００４６】
このとき、分析対象ブロックは修正基底画像を用いて次式のように表せる。
【００４７】
【数１３】
2010045721.tif 000016
【００４８】
この式（１３）の両辺のフーリエ変換（Ｆ［・］で表記）は、フーリエ変換の線形性により、次式のように表せる。
【００４９】
【数１４】
2010045721.tif 000017
【００５０】
ここで、この式（１４）は、分析対象ブロックをフーリエ変換することで得られるフーリエ変換係数（基準ブロック内の周波数成分のみならず隣接する基準ブロック間の不連続性に起因する周波数成分）は、修正基底画像をフーリエ変換することで得られるフーリエ変換係数の線形和で表されるということを意味している。
【００５１】
Ｆ［〜ｆk,l (ix,iy) ］は、Ｍx Ｎ×Ｍy Ｎ次元の複素数ベクトルであり、その第（ｕx,ｕy ）要素は次式のように表されるフーリエ変換係数である。なお、以下では、Ｎ＝２m とおく。
【００５２】
【数１５】
2010045721.tif 000018
【００５３】
ここで、ｊは虚数単位である。また、ｕx,ｕy を空間周波数インデックスと呼ぶ。
【００５４】
このようにして、フーリエ変換の対象をｆk,l （ｘ，ｙ）ではなく、〜ｆk,l （ｘ，ｙ）とすることで、ブロックの不連続性に起因する周波数成分も考慮した周波数分析を行うことが可能となる。
【００５５】
上記のフーリエ変換係数Ｆk,l （ｕx,ｕy ）（０≦ｕx ≦Ｍx Ｎ−１，０≦ｕy ≦Ｍy Ｎ−１）に対して、以下の重み付けを行う。なお、（ｄx,ｄy ）は、分析対象ブロックに対して推定された変移量とする。
【００５６】
【数１６】
2010045721.tif 000019
【００５７】
以下、〜Ｆk,l （ｕx,ｕy ）について説明する。ここで、＾ｇ（η，ｄ）はコントラスト感度などの視覚系の特性に基づき設定される関数であり、視覚感度関数と呼ぶ。視覚感度関数の設定については、例えば、後述の［視覚感度関数の設定１］あるいは［視覚感度関数の設定２］に示す方法がある。
【００５８】
予測誤差信号Ｒm の（ｋ，ｌ）基底の成分に対する量子化重み係数Ｗ（ｄx,ｄy ）［ｋ，ｌ］を、次式の電力比として定義する。
【００５９】
【数１７】
2010045721.tif 000020
【００６０】
このとき、輝度成分と色差成分でモデルパラメータを変更することも可能である。
【００６１】
式（１７）の意味するところについて説明するならば、分析対象ブロックはＭx ×Ｍy 個の基準ブロックから構成されるものであることから、分析対象ブロックをフーリエ変換すると、ブロック内のみならず隣接ブロック間の不連続性についても評価できるようになる。一方、式（１４）に示すように、分析対象ブロックをフーリエ変換するということは、修正基底画像をフーリエ変換することで得られるフーリエ変換係数の線形和（直交変換係数を係数とする線形和）を算出することと等価である。
【００６２】
そこで、本発明では、ブロック内のみならず隣接ブロック間の不連続性についても評価できるようにするために、式（１４）の右辺の｛・｝の中に記載される部分の二乗和（式（１７）の分子に相当するもの）を算出するようにするとともに、式（１６）で重み付けされたそれに対応する二乗和（式（１７）の分母に相当するもの）を算出するようにして、その比値である式（１７）に従って、予測誤差信号Ｒm の（ｋ，ｌ）基底の成分に対する量子化重み係数Ｗ（ｄx,ｄy ）［ｋ，ｌ］を算出するようにするのである。
【００６３】
ちなみに、式（１７）の分子の算出値をｋ，ｌについて総和をとったものは、式（１３）の二乗和に相当し、これから、式（１７）の分子は予測誤差信号の電力に相当するものとなる。
【００６４】
このようにして決定される量子化重み係数Ｗ（ｄx,ｄy ）［ｋ，ｌ］は、空間周波数および時間周波数に応じた値を示すものであることから、主観画質を反映した量子化処理を実現するものとなっている。しかも、ブロック内の波形とあわせて、隣接ブロック間の不連続性も考慮した周波数分析を行うことで決定されることから、ブロック歪みを含む主観画質を反映した量子化処理を実現するものとなっている。
【００６５】
すなわち、視覚的に検知されにくい時空間周波数成分の量子化ステップ幅については、量子化重み係数Ｗ（ｄx,ｄy ）［ｋ，ｌ］の値が相対的に大きなものとなることで相対的に大きくなり、一方、視覚的に検知されやすい時空間周波数成分の量子化ステップ幅については、量子化重み係数Ｗ（ｄx,ｄy ）［ｋ，ｌ］の値が相対的に小さなものとなることで相対的に小さくなることから、主観画質を反映した量子化処理を実現するものとなっているのである。しかも、この量子化重み係数Ｗ（ｄx,ｄy ）［ｋ，ｌ］の値がブロック内の波形とあわせて、隣接ブロック間の不連続性も考慮した周波数分析を行うことで決定されることから、ブロック歪みを含む主観画質を反映した量子化処理を実現するものとなっているのである。
【００６６】
［量子化重み係数の量子化］
式（１７）で求まる量子化重み係数は、変移量（ｄx,ｄy ）毎に、Ｎ2 個の要素Ｗ（ｄx,ｄy ）［ｋ，ｌ］（０≦ｋ，ｌ≦Ｎ−１）から構成されるＮ2 次元ベクトルである。以下では、このＮ2 次元ベクトルを
＜Ｗ（ｄx,ｄy ）＞＝｛Ｗ（ｄx,ｄy ）［ｋ，ｌ］（０≦ｋ，ｌ≦Ｎ−１）｝
として表す。
【００６７】
各分析対象ブロック毎に全ての量子化重み係数の情報を符号化したのでは、同係数の付加情報が過剰となり、符号化効率を低下させてしまう。そこで、量子化重み係数を表現する情報量を少なく抑えるために、以下のような多次元情報のクラスタリングに基づく手法を適用する。
【００６８】
まず、変移量に基づくクラスタリングを行う。各分析対象ブロックの変移量を入力として、Ｌx ×Ｌy 個のクラス（ｂ（ｉx −１）≦｜ｄx ｜＜ｂ（ｉx ），ｂ（ｉy −１）≦｜ｄy ｜＜ｂ（ｉy ))に分割する。各クラスの境界を定めるパラメータ（ｂ（ｉx ），ｂ（ｉy ）（ｉx ＝０,....,Ｌx,ｉy ＝０,....,Ｌy ))は外部から与えられるものとする。例えば、各クラス内の度数がほぼ均等になるように同パラメータを設定する方法があげられる。
【００６９】
次に、各クラスに属する量子化重み係数＜Ｗ（ｄx,ｄy ）＞（ｂ（ｉx ）≦｜ｄx ｜＜ｂ（ｉx ＋１），ｂ（ｉy ）≦｜ｄy ｜＜ｂ（ｉy ＋１))をＮ2 次元ベクトルの集合とみなして、Ｌw 本の代表ベクトルを算出する。つまり、このベクトル集合をＬw 本の代表ベクトルに集約し、量子化重み係数に必要な情報量を削減することが目的である。
【００７０】
上記代表ベクトルの算出方法は、外部から別途与えられるものとする。例えば、Ｋ-means法、ＬＢＧアルゴリズムによりＬw クラスに分割し、各クラスの重心ベクトルを各クラスの代表ベクトルとする方法がある。あるいは、Ｎ2 次元ベクトルの集合に対して、主成分分析を適用し、寄与率の大きい上位Ｌw 本の主成分に対応する固有ベクトルを代表ベクトルとする方法もある。なお、パラメータＬw は外部から与えられるものとする。同パラメータは、クラス毎に個別に設定することも可能である。
【００７１】
次に、視覚感度関数の設定方法の一例である［視覚感度関数の設定１］および［視覚感度関数の設定２］について説明する。
【００７２】
［視覚感度関数の設定１］
次式のようなコントラスト感度関数を考える。
【００７３】
【数１８】
2010045721.tif 000021
【００７４】
ここで、ａ1,ａ2,ａ3,ａ4 は視覚感度関数の関数形を定めるパラメータ（以後、モデルパラメータと呼ぶ）であり、例えば、
（ａ1,ａ2,ａ3,ａ4 ）＝（ 6.1 , 7.31 , 2 , 45.9 )
というような値が用いられる。
【００７５】
また、ηは単位視野角内の明暗対の個数を表す空間周波数[cycle/degree]である。ここで、ηは一次元の空間周波数であることに注意する。
【００７６】
このとき、ηと空間周波数インデックス（ｕx またはｕy のいずれか）との間には、
η（ｕ，ｒ）＝θ（ｒ，Ｈ）ｕ／２ＭＮ              ・・・  式（１９）
の関係がある。
【００７７】
ここで、ｕ＝ｕx の場合、Ｍ＝Ｍx であり、ｕ＝ｕy の場合、Ｍ＝Ｍy である。また、θ（ｒ，Ｈ）は縦幅Ｈの画像を視距離ｒＨにおいて観測する場合の一画素あたりの角度[degrees/pixel] であり、
θ（ｒ，Ｈ）＝（１／Ｈ）×ａｒｃｔａｎ（１／ｒ）×（１８０／π）
・・・  式（２０）
という式により与えられる。
【００７８】
ωは単位時間当たりの角度の変化量[degrees/sec] である。このとき、ωと変移量ｄ（ｄx またはｄy のいずれか）との間には、
ω（ｄ）＝ｔａｎ-1（ｆr ｄ／ｒＨ）                ・・・  式（２１）
の関係がある。ここで、ｆr はフレームレートである。
【００７９】
式（１９）および式（２１）を式（１８）に代入し、コントラスト感度関数ｇ（η，ω）をｕ，ｄの関数として表した次式の＾ｇ（ｕ，ｄ）
＾ｇ（ｕ，ｄ）＝ｇ（η（ｕ），ω（ｄ))            ・・・  式（２２）
を視覚感度関数とする。
【００８０】
［視覚感度関数の設定２］
次のようなコントラスト感度関数を考える。
【００８１】
【数１９】
2010045721.tif 000022
【００８２】
ここで、ｂ1,ｂ2,ｂ3,ｂ4 は視覚感度関数の関数形を定めるパラメータ（以後、モデルパラメータと呼ぶ）であり、例えば、
（ｂ1,ｂ2,ｂ3,ｂ4 ）＝ ( 0.4992 , 0.2964 , -0.114 , 1.1 ) 
（ｂ1,ｂ2,ｂ3,ｂ4 ）＝ ( 0.2 , 0.45 , -0.18 , 1 ) 
（ｂ1,ｂ2,ｂ3,ｂ4 ）＝ ( 0.31 , 0.69 , -0.29 , 1 )
（ｂ1,ｂ2,ｂ3,ｂ4 ）＝ ( 0.246 , 0.615 , -0.25 , 1 )
というような値をとる。
【００８３】
また、ηは単位視野角内の明暗対の個数を表す空間周波数[cycle/degree]である。ここで、ηは一次元の空間周波数であることに注意する。
【００８４】
このとき、ηと空間周波数インデックス（ｕx またはｕy のいずれか）との間には、
η（ｕ，ｒ）＝θ（ｒ，Ｈ）ｕ／２ＭＮ              ・・・  式（２４）
の関係がある。
【００８５】
ここで、ｕ＝ｕx の場合、Ｍ＝Ｍx であり、ｕ＝ｕy の場合、Ｍ＝Ｍy である。また、θ（ｒ，Ｈ）は縦幅Ｈの画像を視距離ｒＨにおいて観測する場合の一画素あたりの角度[degrees/pixel] であり、
θ（ｒ，Ｈ）＝（１／Ｈ）×ａｒｃｔａｎ（１／ｒ）×（１８０／π）
・・・  式（２５）
という式により与えられる。
【００８６】
また、ｒは変移量ｄの大きさに応じて適応的に変化させるものとする。例えば、次式のような設定法である。ここで、Ａは閾値であり、ｒ1 ＞ｒ2 とする。
【００８７】
【数２０】
2010045721.tif 000023
【００８８】
式（２４）および式（２５）を式（２３）に代入し、コントラスト感度関数ｇ（η）をｕ，ｄの関数として表した次式の＾ｇ（ｕ，ｄ）
＾ｇ（ｕ，ｄ）＝ｇ（η（ｕ，ｒ（ｄ))              ・・・  式（２７）
を視覚感度関数とする。
【００８９】
以上に説明した構成に従って、本発明によれば、ブロック歪みを含む主観画質を適切に評価した量子化重み係数を導入することができるようになり、これにより、量子化ステップ幅として、ブロック歪みを含む主観画質を反映した量子化処理を実現できるものを設定することができるようになることで、高能率の符号化を実現できるようになるとともに、符号量の削減を実現できるようになる。
【００９０】
次に、本発明を具備する動画像符号化装置の構成について説明する。
【００９１】
本発明を具備する動画像符号化装置は、画像信号、あるいは、フレーム内予測およびフレーム間予測により得られた予測誤差信号に対して、変換符号化および量子化による情報圧縮を行うことで動画像を符号化する構成を採るときに、（イ）変換行列の対象となる複数のブロックで構成される分析対象ブロックに対応付けて定義されて、１つのブロックに変換行列の基底画像が配置され、他のブロックにゼロ値が埋め込まれることで構成されるブロックの数分の修正基底画像について算出された空間周波数成分を記憶する記憶手段と、（ロ）分析対象ブロックの画像信号の時間的な動きを示す変移量を推定する推定手段と、（ハ）記憶手段から修正基底画像の空間周波数成分を読み出して、その空間周波数成分の空間周波数インデックスと推定手段の推定した変移量とに基づいて、その空間周波数成分に割り当てられる視覚感度値を算出して、その空間周波数成分を重み付けする重み付け手段と、（ニ）重み付け手段の重み付けをした空間周波数成分と、その重み付けをしない空間周波数成分と、分析対象ブロックを構成するブロックの変換係数とに基づいて、変換行列の各基底成分毎に設定される量子化ステップ幅に対しての重み係数を算出する算出手段と、（ホ）算出手段の算出した重み係数を用いて、その重み係数と予め設定される変換行列の基底成分に依存しない規定の量子化ステップ幅（この量子化ステップ幅については基底成分に依存する形で予め設定されることもある）とを乗算することなどにより、予め設定される量子化ステップ幅を修正することで、量子化処理に用いる量子化ステップ幅を決定する決定手段とを備えるように構成する。
【００９２】
ここで、修正基底画像について算出された空間周波数成分を記憶する記憶手段を備えるようにするのは、修正基底画像の空間周波数成分が符号化対象の動画像とは関係なく求めることができることで、その都度算出することが不要であるからである。
【００９３】
この構成を採るときに、重み付け手段は、水平方向の空間周波数インデックスと推定手段の推定した変移量の水平成分とに基づいて水平方向の視覚感度値を算出するとともに、垂直方向の空間周波数インデックスと推定手段の推定した変移量の垂直成分とに基づいて垂直方向の視覚感度値を算出することで、記憶手段から読み出した修正基底画像の空間周波数成分に割り当てられる視覚感度値を算出することがある。
【００９４】
このように、空間周波数成分および動きの方向依存性を考慮するのは、時空間領域における視覚系の検知機構が空間的エッジ方向および動きの方向に依存するためである。例えば、縦縞が移動する場合、動きとして認識できるのは、動きの水平方向成分のみとなる。つまり、時空間周波数に対する視覚感度を評価する際は、空間周波数成分のエッジ方向および変移方向を考慮する必要がある。このことを考慮して、重み付け手段は、空間周波数成分および動きの方向依存性を考慮する形で視覚感度値を算出することがある。
【００９５】
また、この構成を採るときに、算出手段は、変換係数の二乗和と重み付けをした空間周波数成分の二乗ノルム和との乗算値と、変換係数の二乗和とその重み付けをしない空間周波数成分の二乗ノルム和との乗算値とを求めて、前者の乗算値を分母とし、後者の乗算値を分子とする割り算値に従って重み係数を算出することがある。
【００９６】
以上の各処理手段が動作することで実現される本発明の動画像符号化方法はコンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当なコンピュータ読み取り可能な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することになる。
【００９７】
このようにして、本発明では、画像信号、あるいは、フレーム内予測およびフレーム間予測により得られた予測誤差信号に対して、変換符号化および量子化による情報圧縮を行うことで動画像を符号化する動画像符号化において、直交変換係数の成分毎に量子化ステップ幅を決定する際に、ブロック内の空間周波数成分および隣接ブロック間の不連続性に関する空間周波数成分を測定し、さらに、得られた空間周波数成分と動き推定により得られた動きベクトルとに基づいて時間周波数成分を推定して、時空間周波数の成分毎に、視覚感度関数に基づき重み係数を算出し、その重み係数に基づき、設定される量子化ステップ幅を修正することで量子化処理に用いる量子化ステップ幅を決定するようにする。
【発明の効果】
【００９８】
本発明では、動き補償によるフレーム間予測と直交変換を組み合わせたブロックベースの符号化方式に対して、空間周波数成分の方向および変移量の方向を考慮することにより時空間周波数を推定して、ブロック歪みを含む主観画質を適切に評価した量子化重み係数を導入する。
【００９９】
これにより、本発明によれば、量子化ステップ幅として、ブロック歪みを含む主観画質を反映した量子化処理を実現できるものを設定できるようになることで、高能率の符号化を実現できるようになるとともに、符号量の削減を実現できるようになる。
【発明を実施するための最良の形態】
【０１００】
以下、実施の形態に従って本発明を詳細に説明する。
【０１０１】
図２に、本発明を具備する動画像符号化装置１の一実施形態例を図示する。
【０１０２】
この図に示すように、本発明を具備する動画像符号化装置１は、（１）動画像データを符号化する符号化部１０と、（２）符号化部１０が量子化処理を実行するときに用いる量子化ステップ幅を決定する量子化ステップ幅決定部１１と、（３）量子化ステップ幅決定部１１が必要とする基底画像を記憶する基底画像記憶部１２と、（４）量子化ステップ幅決定部１１が必要とする分析対象ブロックの変移量の推定値を記憶する変移量記憶部１３とを備える。
【０１０３】
符号化部１０は、動画像データの符号化で必要となる量子化処理（ＤＣＴ係数の量子化）を実行するために、（１）量子化処理に用いる量子化ステップ幅を記憶する量子化ステップ幅記憶部１０１と、（２）量子化ステップ幅の初期値を設定して量子化ステップ幅記憶部１０１に格納する量子化ステップ幅初期値設定部１０２と、（３）量子化ステップ幅記憶部１０１の記憶する量子化ステップ幅を用いてＤＣＴ係数を量子化する量子化部１０３とを備える。
【０１０４】
ここで、以下の説明では、量子化ステップ幅初期値設定部１０２は、量子化ステップ幅の初期値として、変換行列の基底成分に依存しない値であるΔを初期値として設定することを想定している。
【０１０５】
量子化ステップ幅決定部１１は、分析対象ブロックのＤＣＴ係数と、基底画像記憶部１２の記憶する基底画像と、変移量記憶部１３の記憶する分析対象ブロックの変移量と、コントラスト関数とを入力として、式（１７）の算出式に従って、予測誤差信号Ｒm の（ｋ，ｌ）基底の成分に対する量子化重み係数Ｗ（ｄx,ｄy ）［ｋ，ｌ］を算出し、その算出した量子化重み係数Ｗ（ｄx,ｄy ）［ｋ，ｌ］と量子化ステップ幅記憶部１０１の記憶する量子化ステップ幅の初期値Δとを乗算することで、量子化部１０３が量子化処理で用いる量子化ステップ幅である“Δ×Ｗ（ｄx,ｄy ）［ｋ，ｌ］”を決定して、量子化ステップ幅記憶部１０１に格納する処理を行う。
【０１０６】
量子化ステップ幅決定部１１は、この処理を実行するために、（１）式（１７）の算出式に従って量子化重み係数Ｗ（ｄx,ｄy ）［ｋ，ｌ］を算出する量子化重み係数算出部１１１と、（２）量子化重み係数算出部１１１の算出した量子化重み係数Ｗ（ｄx,ｄy ）［ｋ，ｌ］を記憶する量子化重み係数記憶部１１２と、（３）量子化重み係数記憶部１１２の記憶する量子化重み係数Ｗ（ｄx,ｄy ）［ｋ，ｌ］と量子化ステップ幅記憶部１０１の記憶する量子化ステップ幅の初期値Δとの乗算値を算出して量子化ステップ幅記憶部１０１に格納する量子化重み係数乗算部１１３とを備える。
【０１０７】
そして、量子化重み係数算出部１１１は、（１）基底画像を入力として、修正基底画像のＤＦＴ係数を算出するという処理を行う“量子化重み係数算出処理４”を実行する処理４実行部１１１１と、（２）処理４実行部１１１１により算出された修正基底画像のＤＦＴ係数を記憶する修正基底画像ＤＦＴ係数記憶部１１１２と、（３）修正基底画像ＤＦＴ係数記憶部１１１２の記憶する修正基底画像のＤＦＴ係数と、符号化部１０で算出されたＤＣＴ係数とを入力として、分析対象ブロックに対する予測誤差電力（式（１７）の分子）を算出するという処理を行う“量子化重み係数算出処理２”を実行する処理２実行部１１１３と、（４）修正基底画像ＤＦＴ係数記憶部１１１２の記憶する修正基底画像のＤＦＴ係数と、符号化部１０で算出されたＤＣＴ係数と、分析対象ブロックの動きベクトルと、コントラスト関数とを入力として、分析対象ブロックに対する予測誤差電力（式（１７）の分母）を算出するという処理を行う“量子化重み係数算出処理３”を実行する処理３実行部１１１４と、（５）処理２実行部１１１３で得た予測誤差電力（式（１７）の分子）と、処理３実行部１１１４で得た予測誤差電力（式（１７）の分母）とを入力として、式（１７）に従って量子化重み係数Ｗ（ｄx,ｄy ）［ｋ，ｌ］を算出するという処理を行う“量子化重み係数算出処理１”を実行する処理１実行部１１１５とを備える。
【０１０８】
次に、図３に示すフローチャートに従って、このように構成される量子化重み係数算出部１１１の実行する処理について説明する。
【０１０９】
量子化重み係数算出部１１１は、量子化重み係数の算出指示があると、図３のフローチャートに示すように、まず最初に、ステップＳ１０１で、基底画像記憶部１２の記憶する基底画像を入力として、修正基底画像のＤＦＴ係数を算出して出力するという処理を行う“量子化重み係数算出処理４”を実行する。
【０１１０】
このとき算出した修正基底画像のＤＦＴ係数については再利用されることを考慮して、修正基底画像ＤＦＴ係数記憶部１１１２に格納することになるので、既に修正基底画像ＤＦＴ係数記憶部１１１２に修正基底画像のＤＦＴ係数が格納されている場合には、このステップＳ１０１の処理を実行する必要はない。
【０１１１】
続いて、ステップＳ１０２で、“量子化重み係数算出処理４”で得た修正基底画像のＤＦＴ係数と、符号化部１０で算出されたＤＣＴ係数とを入力として、分析対象ブロックに対する予測誤差電力（式（１７）の分子）を算出して出力するという処理を行う“量子化重み係数算出処理２”を実行する。
【０１１２】
続いて、ステップＳ１０３で、“量子化重み係数算出処理４”で得た修正基底画像のＤＦＴ係数と、符号化部１０で算出されたＤＣＴ係数と、変移量記憶部１３の記憶する分析対象ブロックの動きベクトルと、コントラスト関数とを入力として、分析対象ブロックに対する予測誤差電力（式（１７）の分母）を算出して出力するという処理を行う“量子化重み係数算出処理３”を実行する。
【０１１３】
続いて、ステップＳ１０４で、“量子化重み係数算出処理２”で得た予測誤差電力（式（１７）の分子）と、“量子化重み係数算出処理３”で得た予測誤差電力（式（１７）の分母）とを入力として、式（１７）に従って量子化重み係数Ｗ（ｄx,ｄy ）［ｋ，ｌ］を算出して出力するという処理を行う“量子化重み係数算出処理１”を実行する。
【０１１４】
次に、“量子化重み係数算出処理１”、“量子化重み係数算出処理２”、“量子化重み係数算出処理３”、“量子化重み係数算出処理４”の詳細なフローチャートについて説明する。
【０１１５】
［１］“量子化重み係数算出処理４”
入力：第ｋ，ｌ基底画像（ｋ，ｌ＝０,....,Ｎ−１）
出力：修正基底画像に対するＤＦＴ係数
処理：
（１）位置情報を示すインデックスｉx,ｉy を読み込む
（２）ｌ＝０
（３）ｋ＝０
（４）基底画像記憶部１２から、第ｋ，ｌ基底画像ｆk,l (ix,iy) を読み込む
（５）（４）の基底画像に対して、（１）の位置情報に応じたゼロパディングにより、        Ｍx Ｎ×Ｍx Ｎの画像〜ｆk,l (ix,iy) を生成する。ここで得られた画像を修正        基底画像と呼ぶ。具体的な生成方法は式（１２）
（６）（５）の修正基底画像に対してＤＦＴを実施し、修正基底画像内の周波数成分の        分布を算出する。具体的な算出方法は式（１５）
（７）ｋ＝ｋ＋１
（８）ｋ＝Ｎならば（９）へ、そうでなければ（４）へ
（９）ｌ＝ｌ＋１
（10）ｋ＝Ｎならば終了、そうでなければ（３）へ
このフローチャートに従って、量子化重み係数算出部１１１は、“量子化重み係数算出処理４”において、基底画像ｆk,l (ix,iy) を入力として、修正基底画像のＤＦＴ係数Ｆk,l (ix,iy) （ｕx,ｕy ）を算出するという処理を行うのである。
【０１１６】
［２］“量子化重み係数算出処理２”
入力：修正基底画像のＤＦＴ係数（ｋ，ｌ＝０,....,Ｎ−１，
ｉx ＝０,....,Ｍx −１，ｉy ＝０,....,Ｍy −１）
：ＤＣＴ係数
出力：分析対象ブロックに対する予測誤差電力Ｅ［ｋ，ｌ］（式（１７）の分子）
ここで、Ｅ［ｋ，ｌ］は配列
処理：
（１）ｌ＝０
（２）ｋ＝０
（３）Ｅ［ｋ，ｌ］＝０
（４）ｉy ＝０
（５）ｉx ＝０
（６）Ｓ＝０
（７）ｕy ＝０
（８）ｕx ＝０
（９）修正基底画像ＤＦＴ係数記憶部１１１２から、位置インデックスｉx,ｉy の第ｋ        ，ｌ修正基底画像のＤＦＴ係数のｕx,ｕy 成分を読み込む
（10）直前に読み込んだ複素数の二乗ノルムＦk,l (ix,iy) （ｕx,ｕy ）2 を計算する
（11）Ｓ＝Ｓ＋Ｆk,l (ix,iy) （ｕx,ｕy ）2 
（12）ｕx ＝ｕx ＋１
（13）ｕx ＝ＮＭx ならば次へ、そうでなければ（９）へ
（14）ｕy ＝ｕy ＋１
（15）ｕy ＝ＮＭy ならば次へ、そうでなければ（８）へ
（16）符号化部１０から、第ｋ，ｌ基底のＤＣＴ係数Ｃ(ix,iy) ［ｋ，ｌ］を読み込む
（17）Ｅ［ｋ，ｌ］＝Ｅ［ｋ，ｌ］＋Ｃ(ix,iy) ［ｋ，ｌ］2 Ｓ
（18）ｉx ＝ｉx ＋１
（19）ｉx ＝Ｍx ならば次へ、そうでなければ（６）へ
（20）ｉy ＝ｉy ＋１
（21）ｉy ＝Ｍy ならば次へ、そうでなければ（５）へ
（22）ｋ＝ｋ＋１
（23）ｋ＝Ｎならば次へ、そうでなければ（３）へ
（24）ｌ＝ｌ＋１
（25）ｌ＝Ｎならば終了、そうでなければ（２）へ
このフローチャートに従って、量子化重み係数算出部１１１は、“量子化重み係数算出処理２”において、“量子化重み係数算出処理４”で得た修正基底画像のＤＦＴ係数Ｆk,l (ix,iy) （ｕx,ｕy ）と、ＤＣＴ係数Ｃ(ix,iy) ［ｋ，ｌ］とを入力として、分析対象ブロックに対する予測誤差電力Ｅ［ｋ，ｌ］（式（１７）の分子）を算出するという処理を行うのである。
【０１１７】
［３］“量子化重み係数算出処理３”
入力：修正基底画像のＤＦＴ係数（ｋ，ｌ＝０,....,Ｎ−１，
ｉx ＝０,....,Ｍx −１，ｉy ＝０,....,Ｍy −１）
：ＤＣＴ係数
：分析対象ブロックの動きベクトル（ｄx,ｄy ）
：コントラスト感度関数＾ｇ（η，ω）
出力：分析対象ブロックに対する予測誤差電力＾Ｅ（ｄx,ｄy ）［ｋ，ｌ］（式（１７        ）の分母）
ここで、＾Ｅ（ｄx,ｄy ）［ｋ，ｌ］は配列
処理：
（０）変移量記憶部１３から、動きベクトル（ｄx,ｄy ）を読み込む
（１）ｌ＝０
（２）ｋ＝０
（３）＾Ｅ（ｄx,ｄy ）［ｋ，ｌ］＝０
（４）ｉy ＝０
（５）ｉx ＝０
（６）＾Ｓ＝０
（７）ｕy ＝０
（８）ｕx ＝０
（９）修正基底画像ＤＦＴ係数記憶部１１１２から、位置インデックスｉx,ｉy の第ｋ        ，ｌ修正基底画像のＤＦＴ係数のｕx,ｕy 成分を読み込む
（10）直前に読み込んだ複素数の二乗ノルムＦk,l (ix,iy) （ｕx,ｕy ）2 を計算する
（11）＾ｇ（ηx,ｄx ）および＾ｇ（ηy,ｄy ）を計算する。具体的な計算は、例えば        式（１８）により求める
（12）＾Ｓ＝＾Ｓ＋Ｆk,l (ix,iy) （ｕx,ｕy ）2 ＾ｇ（ηx,ｄx ）2 ＾ｇ（ηy,ｄy         ）2 
（13）ｕx ＝ｕx ＋１
（14）ｕx ＝ＮＭx ならば次へ、そうでなければ（９）へ
（15）ｕy ＝ｕy ＋１
（16）ｕy ＝ＮＭy ならば次へ、そうでなければ（８）へ
（17）符号化部１０から、第ｋ，ｌ基底のＤＣＴ係数Ｃ(ix,iy) ［ｋ，ｌ］を読み込む
（18）＾Ｅ（ｄx,ｄy ）［ｋ，ｌ］＝＾Ｅ（ｄx,ｄy ）［ｋ，ｌ］＋Ｃ(ix,iy) ［ｋ，        ｌ］2 ＾Ｓ
（19）ｉx ＝ｉx ＋１
（20）ｉx ＝Ｍx ならば次へ、そうでなければ（６）へ
（21）ｉy ＝ｉy ＋１
（22）ｉy ＝Ｍy ならば次へ、そうでなければ（５）へ
（23）ｋ＝ｋ＋１
（24）ｋ＝Ｎならば次へ、そうでなければ（３）へ
（25）ｌ＝ｌ＋１
（26）ｌ＝Ｎならば終了、そうでなければ（２）へ
このフローチャートに従って、量子化重み係数算出部１１１は、“量子化重み係数算出処理３”において、“量子化重み係数算出処理４”で得た修正基底画像のＤＦＴ係数Ｆk,l (ix,iy) （ｕx,ｕy ）と、ＤＣＴ係数Ｃ(ix,iy) ［ｋ，ｌ］と、分析対象ブロックの動きベクトル（ｄx,ｄy ）と、コントラスト感度関数＾ｇ（η，ω）とを入力として、分析対象ブロックに対する予測誤差電力＾Ｅ（ｄx,ｄy ）［ｋ，ｌ］（式（１７）の分母）を算出するという処理を行うのである。
【０１１８】
［４］“量子化重み係数算出処理１”
入力：“量子化重み係数算出処理２”で求めたＥ［ｋ，ｌ］（ｋ，ｌ＝０,....,Ｎ−１        ）
：“量子化重み係数算出処理３”で求めた＾Ｅ（ｄx,ｄy ）［ｋ，ｌ］（ｋ，ｌ＝        ０,....,Ｎ−１）
出力：分析対象ブロックに対する量子化重み係数
処理：
（１）ｌ＝０
（２）ｋ＝０
（３）Ｅ［ｋ，ｌ］を読み込む
（４）＾Ｅ（ｄx,ｄy ）［ｋ，ｌ］を読み込む
（５）量子化重み係数を計算する
Ｗ（ｄx,ｄy ）［ｋ，ｌ］＝Ｅ［ｋ，ｌ］／＾Ｅ（ｄx,ｄy ）［ｋ，ｌ］
（６）ｋ＝ｋ＋１
（７）ｋ＝Ｎならば次へ、そうでなければ（３）へ
（８）ｌ＝ｌ＋１
（９）ｌ＝Ｎならば終了、そうでなければ（２）へ
このフローチャートに従って、量子化重み係数算出部１１１は、“量子化重み係数算出処理１”において、“量子化重み係数算出処理２”で得た分析対象ブロックに対する予測誤差電力Ｅ［ｋ，ｌ］（式（１７）の分子）と、“量子化重み係数算出処理３”で時空間の視覚感度を考慮して得た分析対象ブロックに対する予測誤差電力＾Ｅ（ｄx,ｄy ）［ｋ，ｌ］（式（１７）の分母）とを入力として、
Ｗ（ｄx,ｄy ）［ｋ，ｌ］＝Ｅ［ｋ，ｌ］／＾Ｅ（ｄx,ｄy ）［ｋ，ｌ］
という算出式（式（１７))に従って、分析対象ブロックに対する量子化重み係数Ｗ（ｄx,ｄy ）［ｋ，ｌ］を算出するという処理を行うのである。
【０１１９】
量子化重み係数算出部１１１は、図２に示す構成では、前述した“量子化重み係数の量子化”を実行しないようにするという構成を採ったが、この“量子化重み係数の量子化”を実行する場合には、図４に示すように、処理５実行部１１１６を備えるようにして、図５のフローチャートに示すように、ステップＳ１０４に続くステップＳ１０５で、出力すべき代表ベクトルの本数Ｌw を入力として、分析対象ブロックに対する量子化重み係数を量子化して出力するという処理を行う“量子化重み係数算出処理５”を実行する。
【０１２０】
次に、“量子化重み係数算出処理５”の詳細なフローチャートについて説明する。
【０１２１】
［５］“量子化重み係数算出処理５”
入力：分析対象ブロックの動きベクトル（ｄx,ｄy ）
：分析対象ブロックの量子化重み係数＜Ｗ（ｄx,ｄy ）＞
：分析対象ブロックのブロック数
：各クラスの境界を定めるパラメータ（ｂ（ｉx ），ｂ（ｉy ）（ｉx ＝０,....,        Ｌx,ｉy ＝０,....,Ｌy ))
：出力すべき代表ベクトルの本数Ｌw 
出力：分析対象ブロックに対する量子化重み係数
処理：
（１）ｉy ＝０
（２）ｉx ＝０
（３）動きベクトルｄx,ｄy が（ｂ（ｉx −１）≦｜ｄx ｜＜ｂ（ｉx ），ｂ（ｉy −        １）≦｜ｄy ｜＜ｂ（ｉy ))を満たす量子化重み係数＜Ｗ（ｄx,ｄy ）＞を読み        込む                                                                      （４）（３）で読み込んだベクトルの集合に対して、ＬＢＧアルゴリズムにより、Ｌw         本の代表ベクトルを算出する。このＬw 本の代表ベクトルを第（ｉx,ｉy ）クラ        スの量子化重み係数とする
（５）ｉx ＝ｉx ＋１
（６）ｉx ＝Ｌx ならば次へ、そうでなければ（３）へ
（７）ｉy ＝ｉy ＋１
（８）ｉy ＝Ｌy ならば次へ、そうでなければ（２）へ
このフローチャートに従って、量子化重み係数算出部１１１は、“量子化重み係数算出処理５”において、“量子化重み係数算出処理１”で得た分析対象ブロックに対する量子化重み係数Ｗ（ｄx,ｄy ）［ｋ，ｌ］を量子化するという処理を行うのである。
【０１２２】
最後に、本発明の有効性を検証するために行った実験について説明する。
【０１２３】
この実験では、式（１７）の逆数である下記の式（２８）を、予測誤差信号Ｒm の（ｋ，ｌ）基底の成分に対する感度係数Ｗk,l s （ｄx,ｄy ）として定義する。すなわち、視覚的に検知されにくい時空間周波数成分の歪み量については相対的に小さな値として評価し、視覚的に検知されやすい時空間周波数成分の歪み量については相対的に大きな値として評価する必要があることから、式（１７）の逆数である下記の式（２８）を、予測誤差信号Ｒm の（ｋ，ｌ）基底の成分に対する感度係数Ｗk,l s （ｄx,ｄy ）として定義する。
【０１２４】
【数２１】
2010045721.tif 000024
【０１２５】
そして、この感度係数Ｗk,l s （ｄx,ｄy ）に従って、次式に示すように歪み量を重み付けをする。
【０１２６】
【数２２】
2010045721.tif 000025
【０１２７】
そして、この重み付け歪み量を持つＲ−Ｄコスト関数で改造した参照ソフトウェアＪＳＶＭ（version 8.0.[3])を用いて最適な予測モードを選択するようにするとともに、このような重み付けを行わない無改造のＪＳＶＭを用いて最適な予測モードを選択するようにして、その比較に基づいて、この感度係数Ｗk,l s （ｄx,ｄy ）を考慮することにより、ブロック歪みを低減できるようになるとともに、符号量を低減できるようになることを確認することで行った。
【０１２８】
下記の表に、実験条件を示す。符号化対象のシーケンスは、サイズ３５２×２８８[pixels]、フレームレート３０[fps] である。符号化処理は、先頭の１２０フレームに対して実施した。式（２６）におけるパラメータはｒ1 ＝８，ｒ2 ＝６，Ａ＝５とした。また、基準ブロックのサイズを与えるパラメータはＮ＝４とし、分析対象ブロックのサイズを与えるパラメータはＭx ＝Ｍy ＝４とした。
【０１２９】
【表２】
2010045721.tif 000026
【０１３０】
下記の表に、符号量の比較結果を示す。いずれのシーケンス、ＱＰ値においても、本発明によって符号量の削減が図られていることが確認できる。なお、両手法の復号画像には、主観的な画質の差が認められないことを確認している。さらに、ＪＳＶＭに対する本発明の相対的な符号量削減率を評価するために、ＪＳＶＭの符号量および本発明の符号量を各々ＲJSVM，ＲOursとして、
｛（ＲOurs−ＲJSVM）／ＲJSVM｝×１００％
という式で示される符号量削減率を下記の表の３列目の括弧内に示す。この結果、本発明は、ＪＳＶＭに対して平均５．３％の符号量低減を実現していることが確認できた。
【０１３１】
【表３】
2010045721.tif 000027
【０１３２】
下記の表に、符号化モードの割合を示す。ここで、ここで、ＳＫＩＰの列はスキップモードの割合を示しており、ＩＮＴＥＲの列はスキップモードを除くインター予測の割合を示しており、ＩＮＴＲＡの列は全てのイントラ予測モードの選択された割合を示している。この表に示すように、本発明のビットレートの削減は、発生符号量の少ないスキップモードを多く選択することで実現していることが分かる。
【０１３３】
【表４】
2010045721.tif 000028
【０１３４】
さらに、ブロック歪みについての評価結果を示す。各フレーム（Ｘ×Ｙ［画素］）の位置（ｘ，ｙ）における復号画素値をＳ（ｘ，ｙ）とし、水平・垂直方向の画素間差分値を各々
δh （ｘ，ｙ）＝Ｓ（ｘ＋１，ｙ）−Ｓ（ｘ，ｙ）
δv （ｘ，ｙ）＝Ｓ（ｘ，ｙ＋１）−Ｓ（ｘ，ｙ）
とする。このとき、
Δ＝｛Σ1 Σ2 ｜δh （Ｎｉx,ｉy ）｜｝／｛２Ｙ（Ｘ／Ｎ−１）｝
＋｛Σ3 Σ4 ｜δv （ｉx,Ｎｉy ）｜｝／｛２Ｘ（Ｙ／Ｎ−１）｝
ただし、Σ1 は、ｉx ＝１〜（Ｘ／Ｎ−１）の総和
Σ2 は、ｉy ＝０〜（Ｙ−１）の総和
Σ3 は、ｉy ＝１〜（Ｙ／Ｎ−１）の総和
Σ4 は、ｉx ＝０〜（Ｘ−１）の総和
という式で表されるブロック境界における画素間差分値の平均値Δを用いて、隣接ブロック間の不連続性を評価する。
【０１３５】
下記の表に、ＪＳＶＭおよび本発明に対するΔの全フレーム平均値を示す。なお、各行の２列目の値と３列目の値を各々ΔJSVM，ΔOursとして、
｛（ΔOurs−ΔJSVM）／ΔJSVM｝×１００％
という式で示されるブロック歪み削減率を下記の表の３列目の括弧内に示す。この結果、本発明は、ＪＳＶＭに対して平均１．２％のブロック歪み低減を実現していることが確認できた。
【０１３６】
【表５】
2010045721.tif 000029
【０１３７】
本実験によって、本発明によれば、ＪＳＶＭに対して符号量を低減し、さらに、ブロック歪みも低減できることが確認できた。本発明では、隣接ブロック間の依存関係を考慮した周波数分析を行っている。このため、隣接ブロック間の不連続性は、水平・垂直方向のエッジとして、コントラスト感度関数が大きな重みを与える周波数成分として分析される。つまり、大きな感度係数の値が設定される。この感度係数により重み付けされた歪み尺度がコスト関数に用いられるため、ブロック間の不連続性をもたらす成分の歪みは回避され、結果としてブロック歪みが低減したものと考察される。
【０１３８】
この実験結果により、式（１７）に従って量子化重み係数を算出するという処理を行う本発明の有効性を間接的に検証することができた。
【産業上の利用可能性】
【０１３９】
本発明は、フレーム内予測やフレーム間予測により得られた予測誤差信号に対して、変換符号化および量子化による情報圧縮を行うことで動画像を符号化する場合に適用できるものであり、本発明を適用することて、量子化ステップ幅として、ブロック歪みを含む主観画質を反映した量子化処理を実現できるものを設定することができるようになることで、高能率の符号化を実現できるようになるとともに、符号量の削減を実現できるようになる。
【図面の簡単な説明】
【０１４０】
【図１】修正基底画像の説明図である。
【図２】本発明を具備する動画像符号化装置の装置構成図である。
【図３】量子化重み係数算出部の実行するフローチャートである。
【図４】本発明を具備する動画像符号化装置の装置構成図である。
【図５】量子化重み係数算出部の実行するフローチャートである。
【図６】ブロック間の不連続性の説明図である。
【符号の説明】
【０１４１】
１        動画像符号化装置
１０      符号化部
１１      量子化ステップ幅決定部
１２      基底画像記憶部
１３      変移量記憶部
１０１    量子化ステップ幅記憶部
１０２    量子化ステップ幅初期値設定部
１０３    量子化部
１１１    量子化重み係数算出部
１１２    量子化重み係数記憶部
１１３    量子化重み係数乗算部
１１１１  処理４実行部
１１１２  修正基底画像ＤＦＴ係数記憶部
１１１３  処理２実行部
１１１４  処理３実行部
１１１５  処理１実行部
１１１６  処理５実行部
【図１】
2010045721.tif 000030
【図２】
2010045721.tif 000031
【図３】
2010045721.tif 000032
【図４】
2010045721.tif 000033
【図５】
2010045721.tif 000034
【図６】
2010045721.tif 000035