(57)【要約】【課題】本発明は、符号化パラメータの選択に用いるコスト関数として、ブロック歪みを含む主観画質を反映したものを実現できるようにする技術の提供を目的とする。【解決手段】変換行列の対象となる複数のブロックで構成される分析対象ブロックに対応付けて定義されて、１つのブロックに変換行列の基底画像が配置され、他のブロックにゼロ値が埋め込まれることで構成されるブロックの数分の修正基底画像を生成して空間周波数成分を算出する。そして、分析対象ブロックの変移量を推定し、その空間周波数成分の空間周波数とその変移量とに基づいて視覚感度値を算出して、その空間周波数成分を重み付けし、その重み付けをした空間周波数成分とその重み付けをしない空間周波数成分と分析対象ブロックの変換係数とに基づいて、予測誤差信号の各基底成分についての重要度を算出して、符号化の歪み量を重み付けする。【選択図】図７
2010045722.tif 000002
【特許請求の範囲】
【請求項１】
画像信号、あるいは、フレーム内予測およびフレーム間予測により得られた予測誤差信号に対して、変換符号化および量子化による情報圧縮を行うことで動画像を符号化する動画像符号化方法であって、
変換行列の対象となる複数のブロックで構成される分析対象ブロックに対応付けて定義されて、１つのブロックに変換行列の基底画像が配置され、他のブロックにゼロ値が埋め込まれることで構成されるブロックの数分の修正基底画像について算出された空間周波数成分を記憶する記憶手段から、その修正基底画像の空間周波数成分を読み出す過程と、
前記分析対象ブロックの画像信号の時間的な動きを示す変移量を推定する過程と、
前記読み出した空間周波数成分の空間周波数インデックスと前記変移量とに基づいて、その空間周波数成分に割り当てられる視覚感度値を算出して、その空間周波数成分を重み付けする過程と、
前記重み付けをした空間周波数成分と、その重み付けをしない空間周波数成分と、前記分析対象ブロックを構成するブロックの変換係数とに基づいて、予測誤差信号の各基底成分についての重要度を算出する過程と、
前記重要度を用いて重み付けされた符号化の歪み量を用いて符号化コストを評価することで、符号化パラメータを決定する過程とを備えることを、
特徴とする動画像符号化方法。
【請求項２】
請求項１に記載の動画像符号化方法において、
前記重み付けする過程では、水平方向の空間周波数インデックスと前記変移量の水平成分とに基づいて水平方向の視覚感度値を算出するとともに、垂直方向の空間周波数インデックスと前記変移量の垂直成分とに基づいて垂直方向の視覚感度値を算出することで、前記読み出した空間周波数成分に割り当てられる視覚感度値を算出することを、
特徴とする動画像符号化方法。
【請求項３】
請求項１又は２に記載の動画像符号化方法において、
前記算出する過程では、前記変換係数の二乗和と前記重み付けをした空間周波数成分の二乗ノルム和との乗算値と、前記変換係数の二乗和と前記重み付けをしない空間周波数成分の二乗ノルム和との乗算値とを求めて、その２つの乗算値の割り算値に従って前記重要度を算出することを、
特徴とする動画像符号化方法。
【請求項４】
画像信号、あるいは、フレーム内予測およびフレーム間予測により得られた予測誤差信号に対して、変換符号化および量子化による情報圧縮を行うことで動画像を符号化する動画像符号化装置であって、
変換行列の対象となる複数のブロックで構成される分析対象ブロックに対応付けて定義されて、１つのブロックに変換行列の基底画像が配置され、他のブロックにゼロ値が埋め込まれることで構成されるブロックの数分の修正基底画像について算出された空間周波数成分を記憶する記憶手段と、
前記分析対象ブロックの画像信号の時間的な動きを示す変移量を推定する推定手段と、
前記記憶手段から修正基底画像の空間周波数成分を読み出して、その空間周波数成分の空間周波数インデックスと前記変移量とに基づいて、その空間周波数成分に割り当てられる視覚感度値を算出して、その空間周波数成分を重み付けする重み付け手段と、
前記重み付けをした空間周波数成分と、その重み付けをしない空間周波数成分と、前記分析対象ブロックを構成するブロックの変換係数とに基づいて、予測誤差信号の各基底成分についての重要度を算出する算出手段と、
前記重要度を用いて重み付けされた符号化の歪み量を用いて符号化コストを評価することで、符号化パラメータを決定する決定手段とを備えることを、
特徴とする動画像符号化装置。
【請求項５】
請求項４に記載の動画像符号化装置において、
前記重み付け手段は、水平方向の空間周波数インデックスと前記変移量の水平成分とに基づいて水平方向の視覚感度値を算出するとともに、垂直方向の空間周波数インデックスと前記変移量の垂直成分とに基づいて垂直方向の視覚感度値を算出することで、前記読み出した空間周波数成分に割り当てられる視覚感度値を算出することを、
特徴とする動画像符号化装置。
【請求項６】
請求項４又は５に記載の動画像符号化装置において、
前記算出手段は、前記変換係数の二乗和と前記重み付けをした空間周波数成分の二乗ノルム和との乗算値と、前記変換係数の二乗和と前記重み付けをしない空間周波数成分の二乗ノルム和との乗算値とを求めて、その２つの乗算値の割り算値に従って前記重要度を算出することを、
特徴とする動画像符号化装置。
【請求項７】
請求項１ないし３のいずれか１項に記載の動画像符号化方法をコンピュータに実行させるための動画像符号化プログラム。
【請求項８】
請求項１ないし３のいずれか１項に記載の動画像符号化方法をコンピュータに実行させるための動画像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、予測誤差信号に対して変換符号化および量子化による情報圧縮を行うことで動画像を符号化する動画像符号化方法およびその装置と、その動画像符号化方法の実現に用いられる動画像符号化プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体とに関する。
【背景技術】
【０００２】
［二乗誤差規範のコスト関数を用いる符号化方式］
Ｈ．２６４では、イントラ予測および可変形状動き補償の導入に伴い、従来の標準化方式と比べて、予測モードの種類が増加している。このため、一定の主観画質を保持しつつ符号量を削減するには、適切な予測モードを選択する必要がある。Ｈ．２６４の参照ソフトウェアＪＭ（非特許文献１参照）では、以下のＲ−Ｄコストを最小化する予測モードを選択している。なお、以下の表記において、「＾Ｘ」（Ｘは文字）における記号＾は、「Ｘ」の上に付く記号を示している。
【０００３】
【数１】
2010045722.tif 000003
【０００４】
ここで、Ｓは原信号、ｑは量子化パラメータ、ｍは予測モードを表す番号であり、＾Ｓm,q は原信号Ｓに対して予測モードｍを用いて予測し、量子化パラメータｑを用いて量子化した場合の復号信号である。また、λはモード選択に用いるラグランジェの未定乗数である。さらに、Ｄ（Ｓ，＾Ｓm,q ）は次式に示す二乗誤差和である。
【０００５】
【数２】
2010045722.tif 000004
【０００６】
ここで、ＳY ，ＳU ，ＳV はそれぞれ原信号のＹ，Ｕ，Ｖ成分であり、＾ＳY m,q ，＾ＳU m,q ，＾ＳV m,q はそれぞれ復号信号のＹ，Ｕ，Ｖ成分である。また、ｘ0 ，ｙ0 はブロックの中で原点に最も近い位置の座標値である。
【０００７】
Ｈ．２６４における復号信号の算出方法を以下に示す。なお、説明に用いる記号を下記の表にまとめる。
【０００８】
【表１】
2010045722.tif 000005
【０００９】
原信号Ｓに対して、モード番号ｍの予測方法を用いた場合の予測信号をＰm とする。Ｈ．２６４の符号化処理では、モード番号ｍの予測方法を用いた場合の予測誤差信号Ｒm （＝Ｓ−Ｐm ）に対して、変換行列〜Φを用いた直交変換が次式のように施される。なお、以下の表記において、「〜Ｘ」（Ｘは文字）における記号〜は、「Ｘ」の上に付く記号を示している。
【００１０】
【数３】
2010045722.tif 000006
【００１１】
ここで、〜Φt は変換行列〜Φに対する転置行列を表す。なお、変換行列〜Φは次式で表される整数要素の直交行列である。
【００１２】
【数４】
2010045722.tif 000007
【００１３】
次に、行列〜Φが非正規行列であるため、次に示すような行列の正規化に相当する処理を行う。
【００１４】
【数５】
2010045722.tif 000008
【００１５】
これは、式（３）において、〜Φの代わりに次式のΦを用いることにあたる。
【００１６】
【数６】
2010045722.tif 000009
【００１７】
さらに、Ｃm に対して、量子化パラメータｑを用いた量子化が次式のとおり施される。なお、Ｈ．２６４の参照ソフトウェアＪＭでは、正規化は量子化の中に組み込まれている。
【００１８】
【数７】
2010045722.tif 000010
【００１９】
一方、Ｈ．２６４の復号処理では、Ｖに対して、次式のように逆量子化を施し、変換係数の復号値＾Ｃm,q を得る。
【００２０】
【数８】
2010045722.tif 000011
【００２１】
次に、この＾Ｃm,q に対して、次式のように逆変換を施し、予測誤差の復号信号を得る。
【００２２】
【数９】
2010045722.tif 000012
【００２３】
最後に、次式により、符号化対象画像の復号信号を得る。
【００２４】
【数１０】
2010045722.tif 000013
【００２５】
［主観画質を考慮した歪み量への重み付け］
前述の通り、Ｈ．２６４の参照ソフトウェアＪＭで用いられている主観画質の尺度は二乗誤差である。しかし、この二乗誤差は必ずしも、主観的な画質劣化を反映した歪み量ではない。例えば、高周波数成分の変化は低周波成分の変化に比べて、視覚的には検知されにくい。
【００２６】
しかし、こうした視覚特性を利用していない符号化器（例えば、ＪＭ）には、符号量の効率的な削減に関して、改良の余地が残る。
【００２７】
そこで、時空間周波数成分に対して視覚感度に差があることを利用する検討がなされている。例えば、変移量に応じて適応的に量子化ステップ幅を設定する検討があげられる（特許文献１参照）。
【００２８】
また、時空間の視覚感度に基づき重み付けされた歪み量を符号化パラメータ選択のコスト関数において用いる検討があげられる（非特許文献２参照）。
【００２９】
この非特許文献２に記載された方法では、直交変換係数に対して、視覚感度に応じて空間周波数成分毎に歪み量の重み付けを行うことで、主観画質に対応した歪み量を定義する。さらに、時間方向の視覚感度も考慮して、前述の重み付けされた歪み量に対して、変移量に応じてさらに重み付けを行う。こうして時空間の視覚感度に基づき重み付けされた歪み量を符号化パラメータ選択のコスト関数において用いる。
【００３０】
量子化誤差信号に対する視覚感度に基づく重み付けについて、以下、説明する。以下に示す方法（本発明も同様）では、次式のＲ−Ｄコストを用いることを想定している。
【００３１】
【数１１】
2010045722.tif 000014
【００３２】
ここで、Ｃm はモード番号ｍを用いた場合の予測誤差信号Ｒm に対する変換係数であり、＾Ｃm,q はＣm を量子化パラメータｑで量子化・逆量子化して得られる変換係数の復号値である。このＲ−Ｄコストの計算に用いる歪み量として、以下の重み付け歪み量を用いる。
【００３３】
【数１２】
2010045722.tif 000015
【００３４】
ここで、Ｃm s(i)［ｋ，ｌ］（ｓ＝Ｙ，Ｕ，Ｖ）はＣm の要素であり、マクロブロック（Ｙ成分の場合には１６×１６［画素］，Ｕ，Ｖ成分の場合には８×８［画素］）内のサブブロック（Ｎ×Ｎ［画素］）のうち、ラスター走査においてｉ番目に走査されるサブブロックに含まれる変換係数である。また、＾Ｃm,q s(i)［ｋ，ｌ］（ｓ＝Ｙ，Ｕ，Ｖ）は＾Ｃm,q の要素であり、マクロブロック（Ｙ成分の場合には１６×１６［画素］，Ｕ，Ｖ成分の場合には８×８［画素］）内のサブブロック（Ｎ×Ｎ［画素］）のうち、ラスター走査においてｉ番目に走査されるサブブロックに含まれる復号変換係数である。
【００３５】
さらに、Ｗk,l s （ｓ＝Ｙ，Ｕ，Ｖ）は１以下に設定される重み係数であり、以下では、感度係数と呼ぶ。式（１２）において、Ｗk,l s を小さな値に設定することは、量子化歪み〜Ｄ（Ｃm ，＾Ｃm,q ）を小さく見積もることに相当する。
【００３６】
なお、直交変換の正規性より、Ｗk,l s ＝１（∀ｋ，ｌ；ｓ＝Ｙ，Ｕ，Ｖ）とすれば、前述の重み付け歪み量は二乗誤差和と等価となる。
【００３７】
Ｗk,l s （ｓ＝Ｙ，Ｕ，Ｖ）は空間周波数および時間周波数が高いほど、小さな値をとる。具体的な算出法は非特許文献２で検討されている。
【非特許文献１】K.P.Lim and G.Sullivan and T.Wiegand, Text Description of Joint Model Reference Encoding Methods and Decoding Concealment Methods. Joint Video Team(JVT) of ISO/IEC MPEG and ITU-T VCEG, JVT-R95, Jan., 2006. http://ftp3.itu.ch/av-arch/jvt-site/2006＿01＿Bangkok/JVT-R095.zip
【特許文献１】特開平５−２３６４４４号公報
【非特許文献２】坂東幸浩, 早瀬和也, 高村誠之, 上倉一人, 八島由幸, 時空間視覚感度特性に基づくH.264/AVC モード選択方法の検討．映像情報メディア学会  年次大会，7-4, 2007
【発明の開示】
【発明が解決しようとする課題】
【００３８】
前述のコントラスト感度関数に基づく歪み量への重み付けを行う方法（非特許文献２に記載された方法）では、マクロブロック単位に感度関数による重み付けを行うため、重み付け後の歪み量にブロック境界における不連続性（ブロック歪み）が反映されない。
【００３９】
動き補償によるフレーム間予測と直交変換を組み合わせたブロックベースの符号化方式（例えば、Ｈ．２６４）では、ブロック歪みは特徴的な符号化歪みである。このため、ブロック歪みが考慮されていない場合、得られた重み付き歪み量が主観画質を正しく反映できないケースが発生する。
【００４０】
本発明はかかる事情に鑑みてなされたものであって、動き補償によるフレーム間予測と直交変換を組み合わせたブロックベースの符号化方式（例えば、Ｈ．２６４）に対して、ブロック歪みを含む主観画質を適切に評価した符号化歪みの尺度を導入することを実現することで、符号化パラメータの選択に用いるコスト関数として、ブロック歪みを含む主観画質を反映したものを実現できるようにする新たな動画像符号化技術の提供を目的とする。
【課題を解決するための手段】
【００４１】
非特許文献２に記載された従来法の符号化歪み尺度においてブロック歪みが反映されなかった原因を、以下に考察する。
【００４２】
従来法では、各マクロブロックのＤＣＴ係数に対して、コントラスト感度関数に基づき重み付けを行っていた。このため、各マクロブロック内の波形に対するコントラスト感度は反映していたが、隣接ブロック間の不連続性については考慮されていなかった。
【００４３】
図１０に示す１次元信号を例に取ると、各ブロック（ブロックｋ−１，ブロックｋ，ブロックｋ＋１）のＤＣＴ係数に対して重み付けを行うブロックに閉じた処理では、ブロック間の不連続性（ブロックｋ−１とブロックｋの間の不連続性、あるいは、ブロックｋとブロックｋ＋１の間の不連続性）は知り得ない。
【００４４】
そこで、本発明では、ブロック内の波形とあわせて、隣接ブロック間の不連続性も考慮した周波数分析を行い、コントラスト感度関数に基づき歪み量に対する重み付けを行うようにする。
【００４５】
［感度係数の算出］
本発明では、各ブロック内の歪み量に対して、時空間視覚感度関数に基づく重み付けを行う。この重み付けの係数の算出において、入力となるのは変換係数と変移量（動きベクトルのような画像信号の時間的な動きを示すもの）である。ここで、イントラ予測を行うフレームについても、フレーム間における画像信号の時間的な動きを求めることで変移量を求めることができる。
【００４６】
なお、以下では、縦幅Ｈの画像を視距離ｒＨにおいて観測する場合を考える。ｒを視距離パラメータと呼ぶ。また、以下では、表現を簡略化するために、Ｙ，Ｕ，Ｖの区別を表す添え字を省略し、Ｙ成分について議論する。なお、Ｕ，Ｖ成分についても以下と同様に議論できる。
【００４７】
直交変換による２次元信号の変換とは、その直交変換の基底画像を用いて信号を表現することである。変換行列Φ（Ｎ×Ｎ行列）の第ｋ列ベクトル（Ｎ次元ベクトル）をφk とすると、同行列に対する基底画像は、
ｆk,l （ｘ，ｙ）＝φk ［ｙ］φl ［ｘ］t   （０≦ｘ，ｙ≦Ｎ−１）
という式より得られる。なお、Ｈ．２６４の場合、Ｎとして取りうる値は４または８のいずれかである。ここで、φl t はφl の転置ベクトルである。
【００４８】
Ｎ×Ｎ［画素］の領域における予測誤差信号Ｒm ［ｘ，ｙ］（Ｎｉx ≦ｘ≦Ｎｉx ＋Ｎ−１，Ｎｉy ≦ｙ≦Ｎｉy ＋Ｎ−１）をＲm (ix,iy) と略記し、以降、基準ブロックと呼ぶ。ここで、ｉx,ｉy は、基準ブロックの位置を指し示す整数値である。さらに、対応する直交変換係数をＣm (ix,iy) ［ｋ，ｌ］（０≦ｋ，ｌ≦Ｎ−１）とすると、同予測誤差信号Ｒm (ix,iy) は次式のように表せる。
【００４９】
【数１３】
2010045722.tif 000016
【００５０】
Ｍx ×Ｍy 個の基準ブロック（Ｒm (ix,iy) ）から構成されるＭx Ｎ×Ｍy Ｎ画素を含む予測誤差信号Ｒm ［ｘ，ｙ］（Ｎｉx0≦ｘ≦Ｎ（ｉx0＋Ｍx ）−１，Ｎｉy0≦ｙ≦Ｎ（ｉy0＋Ｍy ）−１）（分析対象ブロックと呼ぶ）に対して、ブロック歪みを考慮した主観画質を考察する。
【００５１】
ここで、この分析対象ブロックはＭx ×Ｍy 個の基準ブロックから構成されるものであることから、この分析対象ブロックをフーリエ変換すると、基準ブロック内のみならず隣接する基準ブロック間の不連続性（ブロック歪み）についても評価できるようになる。
【００５２】
分析対象ブロックと各基準ブロックとの関係を表すためには、次式に示すように、Ｒm (ix,iy) に対して、ゼロ埋め込みにより、Ｍx Ｎ×Ｍy Ｎ画素の信号を得る。
【００５３】
【数１４】
2010045722.tif 000017
【００５４】
同様に、次式に示すように、各基底画像ｆk,l （ｘ，ｙ）（０≦ｘ，ｙ≦Ｎ−１）に対して、ゼロ埋め込みにより、Ｍx Ｎ×Ｍy Ｎ画素の信号を得る。
【００５５】
【数１５】
2010045722.tif 000018
【００５６】
ゼロ埋め込みの結果得られる〜ｆk,l (p) （ｘ，ｙ）（ｘ＝０,....,Ｍx Ｎ−１；ｙ＝０,....,Ｍy Ｎ−１；ｐ＝０,....,Ｍx Ｍy −１）を修正基底画像と呼ぶ。例えば、Ｎ＝４，Ｍx ＝２，Ｍy ＝２の場合には、図１に示すように、網掛け部の４×４画素に基底画像が配置され、それ以外の位置にゼロ値がパディングされる。
【００５７】
ここで、図１（ａ）はｉx ＝ｉx0＋１，ｉy ＝ｉy0に対応し、図１（ｂ）はｉx ＝ｉx0，ｉy ＝ｉy0に対応し、図１（ｃ）はｉx ＝ｉx0＋１，ｉy ＝ｉy0＋１に対応し、図１（ｄ）はｉx ＝ｉx0，ｉy ＝ｉy0＋１に対応する。
【００５８】
このとき、分析対象ブロックは修正基底画像を用いて次式のように表せる。
【００５９】
【数１６】
2010045722.tif 000019
【００６０】
この式（１６）の両辺のフーリエ変換（Ｆ［・］で表記）は、フーリエ変換の線形性により、次式のように表せる。
【００６１】
【数１７】
2010045722.tif 000020
【００６２】
ここで、この式（１７）は、分析対象ブロックをフーリエ変換することで得られるフーリエ変換係数（基準ブロック内の周波数成分のみならず隣接する基準ブロック間の不連続性に起因する周波数成分）は、修正基底画像をフーリエ変換することで得られるフーリエ変換係数の線形和で表されるということを意味している。
【００６３】
Ｆ［〜ｆk,l (ix,iy) ］は、Ｍx Ｎ×Ｍy Ｎ次元の複素数ベクトルであり、その第（ｕx,ｕy ）要素は次式のように表されるフーリエ変換係数である。なお、以下では、Ｎ＝２m とおく。
【００６４】
【数１８】
2010045722.tif 000021
【００６５】
ここで、ｊは虚数単位である。また、ｕx,ｕy を空間周波数インデックスと呼ぶ。
【００６６】
このようにして、フーリエ変換の対象をｆk,l （ｘ，ｙ）ではなく、〜ｆk,l （ｘ，ｙ）とすることで、ブロックの不連続性に起因する周波数成分も考慮した周波数分析を行うことが可能となる。
【００６７】
上記のフーリエ変換係数Ｆk,l （ｕx,ｕy ）（０≦ｕx ≦Ｍx Ｎ−１，０≦ｕy ≦Ｍy Ｎ−１）に対して、以下の重み付けを行う。なお、（ｄx,ｄy ）は、分析対象ブロックに対して推定された変移量とする。
【００６８】
【数１９】
2010045722.tif 000022
【００６９】
以下、〜Ｆk,l （ｕx,ｕy ）について説明する。ここで、＾ｇ（η，ｄ）はコントラスト感度などの視覚系の特性に基づき設定される関数であり、視覚感度関数と呼ぶ。視覚感度関数の設定については、例えば、後述の［視覚感度関数の設定１］あるいは［視覚感度関数の設定２］に示す方法がある。
【００７０】
予測誤差信号Ｒm の（ｋ，ｌ）基底の成分に対する感度係数Ｗk,l s （ｄx,ｄy ）を、次式の電力比として定義する。
【００７１】
【数２０】
2010045722.tif 000023
【００７２】
このとき、輝度成分と色差成分でモデルパラメータを変更することも可能である。
【００７３】
式（２０）の意味するところについて説明するならば、分析対象ブロックはＭx ×Ｍy 個の基準ブロックから構成されるものであることから、分析対象ブロックをフーリエ変換すると、ブロック内のみならず隣接ブロック間の不連続性についても評価できるようになる。一方、式（１７）に示すように、分析対象ブロックをフーリエ変換するということは、修正基底画像をフーリエ変換することで得られるフーリエ変換係数の線形和（直交変換係数を係数とする線形和）を算出することと等価である。
【００７４】
そこで、本発明では、ブロック内のみならず隣接ブロック間の不連続性についても評価できるようにするために、式（１７）の右辺の｛・｝の中に記載される部分の二乗和（式（２０）の分母に相当するもの）を算出するようにするとともに、式（１９）で重み付けされたそれに対応する二乗和（式（２０）の分子に相当するもの）を算出するようにして、その比値である式（２０）に従って、予測誤差信号Ｒm の（ｋ，ｌ）基底の成分に対する感度係数Ｗk,l s （ｄx,ｄy ）を算出するようにするのである。
【００７５】
ちなみに、式（２０）の分母の算出値をｋ，ｌについて総和をとったものは、式（１６）の二乗和に相当し、これから、式（２０）の分母は予測誤差信号の電力に相当するものとなる。
【００７６】
このようにして決定される感度係数Ｗk,l s （ｄx,ｄy ）は、空間周波数および時間周波数に応じた値を示すものであることから、主観画質に対応した歪み量を定義することができるようになる。しかも、ブロック内の波形とあわせて、隣接ブロック間の不連続性も考慮した周波数分析を行うことで決定されることから、ブロック歪みを含む主観画質に対応した歪み量を定義することができるようになる。
【００７７】
すなわち、視覚的に検知されにくい時空間周波数成分の歪み量については、感度係数Ｗk,l s （ｄx,ｄy ）の値が相対的に小さなものとなることで相対的に小さな値として評価し、一方、視覚的に検知されやすい時空間周波数成分の歪み量については、感度係数Ｗk,l s （ｄx,ｄy ）の値が相対的に大きなものとなることで相対的に大きな値として評価することから、主観画質に対応した歪み量を定義することができるようになるのである。しかも、この感度係数Ｗk,l s （ｄx,ｄy ）の値がブロック内の波形とあわせて、隣接ブロック間の不連続性も考慮した周波数分析を行うことで決定されることから、ブロック歪みを含む主観画質に対応した歪み量を定義することができるようになるのである。
【００７８】
次に、視覚感度関数の設定方法の一例である［視覚感度関数の設定１］および［視覚感度関数の設定２］について説明する。
【００７９】
［視覚感度関数の設定１］
次式のようなコントラスト感度関数を考える。
【００８０】
【数２１】
2010045722.tif 000024
【００８１】
ここで、ａ1,ａ2,ａ3,ａ4 は視覚感度関数の関数形を定めるパラメータ（以後、モデルパラメータと呼ぶ）であり、例えば、
（ａ1,ａ2,ａ3,ａ4 ）＝（ 6.1 , 7.31 , 2 , 45.9 )
というような値が用いられる。
【００８２】
また、ηは単位視野角内の明暗対の個数を表す空間周波数[cycle/degree]である。ここで、ηは一次元の空間周波数であることに注意する。
【００８３】
このとき、ηと空間周波数インデックス（ｕx またはｕy のいずれか）との間には、
η（ｕ，ｒ）＝θ（ｒ，Ｈ）ｕ／２ＭＮ              ・・・  式（２２）
の関係がある。
【００８４】
ここで、ｕ＝ｕx の場合、Ｍ＝Ｍx であり、ｕ＝ｕy の場合、Ｍ＝Ｍy である。また、θ（ｒ，Ｈ）は縦幅Ｈの画像を視距離ｒＨにおいて観測する場合の一画素あたりの角度[degrees/pixel] であり、
θ（ｒ，Ｈ）＝（１／Ｈ）×ａｒｃｔａｎ（１／ｒ）×（１８０／π）
・・・  式（２３）
という式により与えられる。
【００８５】
ωは単位時間当たりの角度の変化量[degrees/sec] である。このとき、ωと変移量ｄ（ｄx またはｄy のいずれか）との間には、
ω（ｄ）＝ｔａｎ-1（ｆr ｄ／ｒＨ）                ・・・  式（２４）
の関係がある。ここで、ｆr はフレームレートである。
【００８６】
式（２２）および式（２４）を式（２１）に代入し、コントラスト感度関数ｇ（η，ω）をｕ，ｄの関数として表した次式の＾ｇ（ｕ，ｄ）
＾ｇ（ｕ，ｄ）＝ｇ（η（ｕ），ω（ｄ))            ・・・  式（２５）
を視覚感度関数とする。
【００８７】
［視覚感度関数の設定２］
次のようなコントラスト感度関数を考える。
【００８８】
【数２２】
2010045722.tif 000025
【００８９】
ここで、ｂ1,ｂ2,ｂ3,ｂ4 は視覚感度関数の関数形を定めるパラメータ（以後、モデルパラメータと呼ぶ）であり、例えば、
（ｂ1,ｂ2,ｂ3,ｂ4 ）＝ ( 0.4992 , 0.2964 , -0.114 , 1.1 ) 
（ｂ1,ｂ2,ｂ3,ｂ4 ）＝ ( 0.2 , 0.45 , -0.18 , 1 ) 
（ｂ1,ｂ2,ｂ3,ｂ4 ）＝ ( 0.31 , 0.69 , -0.29 , 1 )
（ｂ1,ｂ2,ｂ3,ｂ4 ）＝ ( 0.246 , 0.615 , -0.25 , 1 )
というような値をとる。
【００９０】
また、ηは単位視野角内の明暗対の個数を表す空間周波数[cycle/degree]である。ここで、ηは一次元の空間周波数であることに注意する。
【００９１】
このとき、ηと空間周波数インデックス（ｕx またはｕy のいずれか）との間には、
η（ｕ，ｒ）＝θ（ｒ，Ｈ）ｕ／２ＭＮ              ・・・  式（２７）
の関係がある。
【００９２】
ここで、ｕ＝ｕx の場合、Ｍ＝Ｍx であり、ｕ＝ｕy の場合、Ｍ＝Ｍy である。また、θ（ｒ，Ｈ）は縦幅Ｈの画像を視距離ｒＨにおいて観測する場合の一画素あたりの角度[degrees/pixel] であり、
θ（ｒ，Ｈ）＝（１／Ｈ）×ａｒｃｔａｎ（１／ｒ）×（１８０／π）
・・・  式（２８）
という式により与えられる。
【００９３】
また、ｒは変移量ｄの大きさに応じて適応的に変化させるものとする。例えば、次式のような設定法である。ここで、Ａは閾値であり、ｒ1 ＞ｒ2 とする。
【００９４】
【数２３】
2010045722.tif 000026
【００９５】
式（２７）および式（２８）を式（２６）に代入し、コントラスト感度関数ｇ（η）をｕ，ｄの関数として表した次式の＾ｇ（ｕ，ｄ）
＾ｇ（ｕ，ｄ）＝ｇ（η（ｕ，ｒ（ｄ))              ・・・  式（３０）
を視覚感度関数とする。
【００９６】
以上に説明した構成に従って、本発明によれば、ブロック歪みを含む主観画質を適切に評価した符号化歪みの尺度を導入することができるようになり、これにより、符号化パラメータの選択に用いるコスト関数として、ブロック歪みを含む主観画質を反映したものを実現できるようになることで、高能率の符号化を実現できるようになるとともに、符号量の削減を実現できるようになる。
【００９７】
次に、本発明により構成される動画像符号化装置の構成について説明する。
【００９８】
本発明の動画像符号化装置は、画像信号、あるいは、フレーム内予測およびフレーム間予測により得られた予測誤差信号に対して、変換符号化および量子化による情報圧縮を行うことで動画像を符号化する構成を採るときに、（イ）変換行列の対象となる複数のブロックで構成される分析対象ブロックに対応付けて定義されて、１つのブロックに変換行列の基底画像が配置され、他のブロックにゼロ値が埋め込まれることで構成されるブロックの数分の修正基底画像について算出された空間周波数成分を記憶する記憶手段と、（ロ）分析対象ブロックの画像信号の時間的な動きを示す変移量を推定する推定手段と、（ハ）記憶手段から修正基底画像の空間周波数成分を読み出して、その空間周波数成分の空間周波数インデックスと推定手段の推定した変移量とに基づいて、その空間周波数成分に割り当てられる視覚感度値を算出して、その空間周波数成分を重み付けする重み付け手段と、（ニ）重み付け手段の重み付けをした空間周波数成分と、その重み付けをしない空間周波数成分と、分析対象ブロックを構成するブロックの変換係数とに基づいて、予測誤差信号の各基底成分についての重要度を算出する算出手段と、（ホ）算出手段の算出した重要度を用いて重み付けされた符号化の歪み量を用いて符号化コストを評価することで、符号化パラメータを決定する決定手段とを備えるように構成する。
【００９９】
ここで、修正基底画像について算出された空間周波数成分を記憶する記憶手段を備えるようにするのは、修正基底画像の空間周波数成分が符号化対象の画像とは関係なく求めることができることで、その都度算出することが不要であるからである。
【０１００】
この構成を採るときに、重み付け手段は、水平方向の空間周波数インデックスと推定手段の推定した変移量の水平成分とに基づいて水平方向の視覚感度値を算出するとともに、垂直方向の空間周波数インデックスと推定手段の推定した変移量の垂直成分とに基づいて垂直方向の視覚感度値を算出することで、記憶手段から読み出した修正基底画像の空間周波数成分に割り当てられる視覚感度値を算出することがある。
【０１０１】
このように、空間周波数成分および動きの方向依存性を考慮するのは、時空間領域における視覚系の検知機構が空間的エッジ方向および動きの方向に依存するためである。例えば、縦縞が移動する場合、動きとして認識できるのは、動きの水平方向成分のみとなる。つまり、時空間周波数に対する視覚感度を評価する際は、空間周波数成分のエッジ方向および変移方向を考慮する必要がある。このことを考慮して、重み付け手段は、空間周波数成分および動きの方向依存性を考慮する形で視覚感度値を算出することがある。
【０１０２】
また、この構成を採るときに、算出手段は、変換係数の二乗和と重み付けをした空間周波数成分の二乗ノルム和との乗算値と、変換係数の二乗和とその重み付けをしない空間周波数成分の二乗ノルム和との乗算値とを求めて、前者の乗算値を分子とし、後者の乗算値を分母とする割り算値に従って重要度を算出することがある。
【０１０３】
以上の各処理手段が動作することで実現される本発明の動画像符号化方法はコンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当なコンピュータ読み取り可能な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することになる。
【０１０４】
このようにして、本発明では、画像信号、あるいは、フレーム内予測およびフレーム間予測により得られた予測誤差信号に対して、変換符号化および量子化による情報圧縮を行うことで動画像を符号化する動画像符号化において、歪み量、符号量、未定乗数からなるラグランジェのコスト関数に基づいて、動画像符号化における動き補償ブロックサイズ・インター予測モード・量子化パラメータや、静止画像符号化におけるイントラ予測モード・量子化パラメータなどの符号化パラメータを決定する際に、ブロック内の空間周波数成分および隣接ブロック間の不連続性に関する空間周波数成分を測定し、さらに、得られた空間周波数成分と動き推定により得られた動きベクトルとに基づいて時間周波数成分を推定して、時空間周波数の成分毎に、視覚感度関数に基づき重要度を算出し、その重要度に基づき、周波数毎に重み付けされた二乗誤差として得られる歪み量を用いて符号量との加重和としてコスト関数を設定し、そのコスト関数を最小化するモードを選択することにより符号化パラメータを選択するようにする。
【発明の効果】
【０１０５】
本発明では、動き補償によるフレーム間予測と直交変換を組み合わせたブロックベースの符号化方式に対して、空間周波数成分の方向および変移量の方向を考慮することにより時空間周波数を推定して、ブロック歪みを含む主観画質を適切に評価した符号化歪みの尺度を導入する。
【０１０６】
これにより、本発明によれば、符号化パラメータの選択に用いるコスト関数として、ブロック歪みを含む主観画質を反映したものを実現できるようになることで、高能率の符号化を実現できるようになるとともに、符号量の削減を実現できるようになる。
【発明を実施するための最良の形態】
【０１０７】
以下、実施の形態に従って本発明を詳細に説明する。
【０１０８】
図２に、本発明の適用される動画像符号化装置１の装置構成を図示する。
【０１０９】
本発明の適用される動画像符号化装置１は、Ｈ．２６４に従って動画像を符号化する処理を行うものであり、この図に示すように、符号化に用いる符号化パラメータを選択する符号化パラメータ選択部１０と、符号化パラメータ選択部１０の選択した符号化パラメータを使って動画像の符号化を実行する符号化部１１とを備える。
【０１１０】
図３〜図５に、符号化パラメータ選択部１０が本発明を実現すべく実行するフローチャートの一例を図示する。ここで、このフローチャートでは、符号化パラメータ選択部１０が符号化パラメータとして最適な予測モードを選択することを想定している。
【０１１１】
符号化パラメータ選択部１０は、本発明に従って符号化に用いる最適な予測モードを選択する場合には、図３のフローチャートに示すように、まず最初に、ステップＳ１０１で、予測モードの初期値（初期値となる予測モード）を設定する。
【０１１２】
続いて、ステップＳ１０２で、最小コストを格納するレジスタ（以下、最小コストレジスタと称することがある）に対して大きな値を示す初期コストを格納するとともに、最適な予測モードを格納するレジスタ（以下、最適モードレジスタと称することがある）に対して意味のない値を格納することで、これらのレジスタを初期化する。
【０１１３】
続いて、ステップＳ１０３で、変移量（前述した（ｄx,ｄy ))を推定し、各候補ベクトルの予測誤差をテーブルに格納する。この変移量の推定方法については、外部より与えられるものとする。例えば、Ｈ．２６４の参照ソフトウェアＪＭが算出する動きベクトルを、以下で使用する変移量の推定値として用いることも可能である。
【０１１４】
続いて、ステップＳ１０４で、設定されている処理対象の予測モード、その予測モードによる予測ベクトル、量子化パラメータ、符号化対象フレーム信号、参照フレーム信号を入力として、その予測モードを用いて符号化する場合の符号量を算出する。具体的な算出方法は、Ｈ．２６４の参照ソフトウェアＪＭの方法に従う。
【０１１５】
続いて、ステップＳ１０５で、最初に、ステップＳ１０３で推定した変移量に基づいて時空間視覚感度を考慮した重みを決定し、次に、設定されている処理対象の予測モード、その予測モードによる予測ベクトル、量子化パラメータ、符号化対象フレーム信号、参照フレーム信号を入力として、それらの入力信号とその決定した重みとに基づいて、その予測モードを用いて符号化する場合の重み付き歪み量を算出する。具体的な算出方法については、図４および図５のフローチャートで説明する。
【０１１６】
続いて、ステップＳ１０６で、設定されている処理対象の予測モード、量子化パラメータを入力として、その予測モードを用いて符号化する場合の未定乗数を算出する。
【０１１７】
続いて、ステップＳ１０７で、ステップＳ１０４で算出した符号量と、ステップＳ１０５で算出した重み付き歪み量と、ステップＳ１０６で算出した未定乗数とに基づいて、式（１１）で示されるＲ−Ｄコストを算出する。
【０１１８】
続いて、ステップＳ１０８で、算出したＲ−Ｄコストと最小コストレジスタに格納されているコストとを比較して、算出したＲ−Ｄコストの方が最小コストレジスタに格納されているコストよりも小さいことを判断するときには、ステップＳ１０９に進んで、算出したＲ−Ｄコストを最小コストレジスタに格納し、続くステップＳ１１０で、設定されている処理対象の予測モードの識別情報を最適モードレジスタに格納する。
【０１１９】
一方、ステップＳ１０８で、算出したＲ−Ｄコストの方が最小コストレジスタに格納されているコストよりも大きいことを判断するときには、このステップＳ１０９，１１０の処理を省略する。
【０１２０】
続いて、ステップＳ１１１で、全ての予測モードについて処理したのか否かを判断して、全ての予測モードについて処理していないことを判断するときには、ステップＳ１１２に進んで、予め定められる順番に従って未処理の予測モードの中から予測モードを１つ選択することで処理対象の予測モードを更新してから、ステップＳ１０４の処理に戻る。
【０１２１】
一方、ステップＳ１１１で、全ての予測モードについて処理したことを判断するときには、ステップＳ１１３に進んで、最適モードレジスタに格納されている予測モードを最適な予測モードとして符号化部１１に出力して、処理を終了する。
【０１２２】
次に、図４のフローチャートに従って、図３のフローチャートのステップＳ１０５で実行する重み付き歪み量の算出処理について説明する。
【０１２３】
この重み付き歪み量の算出処理は、式（１２）の算出式を計算することで実行するものである。なお、以下のフローチャートでは、説明の便宜上、一次元的なインデックスｉ（ｋ，ｌを指すインデックス）での処理で説明している。
【０１２４】
符号化パラメータ選択部１０は、図３のフローチャートのステップＳ１０５の処理に入ると、図４のフローチャートに示すように、まず最初に、ステップＳ２０１で、変換係数を正規化する。
【０１２５】
続いて、ステップＳ２０２で、式（１２）中の＾Ｃm,q s(i)［ｋ，ｌ］（ｓ＝Ｙ，Ｕ，Ｖ）で示される各変換係数の復号値を求める。
【０１２６】
続いて、ステップＳ２０３で、図３のフローチャートのステップＳ１０３で推定した変移量（前述した（ｄx,ｄy ))を読み込む。なお、この変移量は図５のフローチャートの実行にあたって必要となるものであり、この段階で読み込んでおく。
【０１２７】
続いて、ステップＳ２０４で、式（１２）中に記載される感度係数Ｗk,l s （ｓ＝Ｙ，Ｕ，Ｖ）を設定する。具体的な設定方法については図５のフローチャートで説明する。なお、このとき設定する感度係数が図３のフローチャートのステップＳ１０５で説明した重みに相当する。
【０１２８】
続いて、ステップＳ２０５で、ｉを指定するカウンタｉを０に初期化し、さらに、レジスタＳを０に初期化する。
【０１２９】
続いて、ステップＳ２０６で、式（１２）中に記載される
｜Ｃm s(i)［ｋ，ｌ］−＾Ｃm,q s(i)［ｋ，ｌ］｜2 
ただし、ｓ＝Ｙ，Ｕ，Ｖ
の算出式に従って、変換係数の第ｉ成分についての符号化歪みの歪み量を算出する。
【０１３０】
続いて、ステップＳ２０７で、ステップＳ２０６で算出した符号化歪みの歪み量に対して、ステップＳ２０４で設定した感度係数Ｗk,l s （ｓ＝Ｙ，Ｕ，Ｖ）を乗ずることで、変換係数の第ｉ成分についての重み付き歪み量を算出する。
【０１３１】
続いて、ステップＳ２０８で、ステップＳ２０７で算出した乗算値をレジスタＳに加算する。
【０１３２】
続いて、ステップＳ２０９で、変換係数の全成分について処理したのか否かを判断して、変換係数の全成分について処理していないことを判断するときには、ステップＳ２１０に進んで、変換係数の全成分を処理すべく、カウンタｉに１を加算してから、ステップＳ２０６の処理に戻る。
【０１３３】
一方、ステップＳ２０９で、変換係数の全成分について処理したことを判断するときには、重み付き歪み量の算出処理を終了したことを判断して、ステップＳ２１１に進んで、図３のフローチャートのステップＳ１０５の算出結果として、レジスタＳに格納されている重み付き歪み量を出力して、処理を終了する。
【０１３４】
次に、図５のフローチャートに従って、図４のフローチャートのステップＳ２０４で実行する感度係数Ｗk,l s の設定処理について説明する。
【０１３５】
この感度係数Ｗk,l s の設定処理は、式（２０）の算出式を計算することで実行するものである。
【０１３６】
符号化パラメータ選択部１０は、図４のフローチャートのステップＳ２０４の処理に入ると、図５のフローチャートに示すように、まず最初に、ステップＳ３０１で、基底画像を入力として、修正基底画像のＤＦＴ係数を算出して出力するという処理を行う“処理４”を実行する。
【０１３７】
このとき算出した修正基底画像のＤＦＴ係数については再利用されることになるので、テーブル（後述する図７に示す修正基底画像ＤＦＴ係数記憶部２１０２）に格納することになる。
【０１３８】
続いて、ステップＳ３０２で、“処理４”で得た修正基底画像のＤＦＴ係数と、ＤＣＴ係数とを入力として、分析対象ブロックに対する予測誤差電力（式（２０）の分母）を算出して出力するという処理を行う“処理２”を実行する。
【０１３９】
続いて、ステップＳ３０３で、“処理４”で得た修正基底画像のＤＦＴ係数と、ＤＣＴ係数と、分析対象ブロックの動きベクトルと、コントラスト関数とを入力として、分析対象ブロックに対する予測誤差電力（式（２０）の分子）を算出して出力するという処理を行う“処理３”を実行する。
【０１４０】
続いて、ステップＳ３０４で、“処理２”で得た予測誤差電力（式（２０）の分母）と、“処理３”で得た予測誤差電力（式（２０）の分子）とを入力として、モード選択のコスト関数における歪み量に対しての感度係数（重み）を算出して出力するという処理を行う“処理１”を実行する。
【０１４１】
次に、“処理１”、“処理２”、“処理３”、“処理４”の詳細なフローチャートについて説明する。なお、以下に説明する“処理１”のフローチャートでは、説明の便宜上、設定した感度係数に基づいて図３のフローチャートのステップＳ１０７の処理（コスト関数の算出処理）まで実行することで説明している。
【０１４２】
［１］“処理４”
入力：第ｋ，ｌ基底画像（ｋ，ｌ＝０,....,Ｎ−１）
出力：修正基底画像に対するＤＦＴ係数
処理：
（１）位置情報を示すインデックスｉx,ｉy を読み込む
（２）ｌ＝０
（３）ｋ＝０
（４）第ｋ，ｌ基底画像ｆk,l (ix,iy) を読み込む
（５）（４）の基底画像に対して、（１）の位置情報に応じたゼロパディングにより、        Ｍx Ｎ×Ｍx Ｎの画像〜ｆk,l (ix,iy) を生成する。ここで得られた画像を修正        基底画像と呼ぶ。具体的な生成方法は式（１５）
（６）（５）の修正基底画像に対してＤＦＴを実施し、修正基底画像内の周波数成分の        分布を算出する。具体的な算出方法は式（１８）
（７）ｋ＝ｋ＋１
（８）ｋ＝Ｎならば（９）へ、そうでなければ（４）へ
（９）ｌ＝ｌ＋１
（10）ｌ＝Ｎならば終了、そうでなければ（３）へ
このフローチャートに従って、符号化パラメータ選択部１０は、“処理４”において、基底画像ｆk,l (ix,iy) を入力として、修正基底画像のＤＦＴ係数Ｆk,l (ix,iy) （ｕx,ｕy ）を算出するという処理を行うのである。
【０１４３】
このようにして算出された修正基底画像のＤＦＴ係数Ｆk,l (ix,iy) （ｕx,ｕy ）は、テーブル（後述する図７の修正基底画像ＤＦＴ係数記憶部２１０２）に記憶されることになる。
【０１４４】
［２］“処理２”
入力：修正基底画像のＤＦＴ係数（ｋ，ｌ＝０,....,Ｎ−１，
ｉx ＝０,....,Ｍx −１，ｉy ＝０,....,Ｍy −１）
：ＤＣＴ係数
出力：分析対象ブロックに対する予測誤差電力Ｅ［ｋ，ｌ］（式（２０）の分母）
ここで、Ｅ［ｋ，ｌ］は配列
処理：
（１）ｌ＝０
（２）ｋ＝０
（３）Ｅ［ｋ，ｌ］＝０
（４）ｉy ＝０
（５）ｉx ＝０
（６）Ｓ＝０
（７）ｕy ＝０
（８）ｕx ＝０
（９）位置インデックスｉx,ｉy の第ｋ，ｌ修正基底画像のＤＦＴ係数のｕx,ｕy 成分        を、前述のテーブルから読み込む
（10）直前に読み込んだ複素数の二乗ノルムＦk,l (ix,iy) （ｕx,ｕy ）2 を計算する
（11）Ｓ＝Ｓ＋Ｆk,l (ix,iy) （ｕx,ｕy ）2 
（12）ｕx ＝ｕx ＋１
（13）ｕx ＝ＮＭx ならば次へ、そうでなければ（９）へ
（14）ｕy ＝ｕy ＋１
（15）ｕy ＝ＮＭy ならば次へ、そうでなければ（８）へ
（16）第ｋ，ｌ基底のＤＣＴ係数Ｃ(ix,iy) ［ｋ，ｌ］を、読み込む
（17）Ｅ［ｋ，ｌ］＝Ｅ［ｋ，ｌ］＋Ｃ(ix,iy) ［ｋ，ｌ］2 Ｓ
（18）ｉx ＝ｉx ＋１
（19）ｉx ＝Ｍx ならば次へ、そうでなければ（６）へ
（20）ｉy ＝ｉy ＋１
（21）ｉy ＝Ｍy ならば次へ、そうでなければ（５）へ
（22）ｋ＝ｋ＋１
（23）ｋ＝Ｎならば次へ、そうでなければ（３）へ
（24）ｌ＝ｌ＋１
（25）ｌ＝Ｎならば終了、そうでなければ（２）へ
このフローチャートに従って、符号化パラメータ選択部１０は、“処理２”において、“処理４”で得た修正基底画像のＤＦＴ係数Ｆk,l (ix,iy) （ｕx,ｕy ）と、ＤＣＴ係数Ｃ(ix,iy) ［ｋ，ｌ］とを入力として、分析対象ブロックに対する予測誤差電力Ｅ［ｋ，ｌ］（式（２０）の分母）を算出するという処理を行うのである。
【０１４５】
［３］“処理３”
入力：修正基底画像のＤＦＴ係数（ｋ，ｌ＝０,....,Ｎ−１，
ｉx ＝０,....,Ｍx −１，ｉy ＝０,....,Ｍy −１）
：ＤＣＴ係数
：分析対象ブロックの動きベクトル（ｄx,ｄy ）
：コントラスト感度関数＾ｇ（η，ω）
出力：分析対象ブロックに対する予測誤差電力＾Ｅ（ｄx,ｄy ）［ｋ，ｌ］（式（２０        ）の分子）
ここで、＾Ｅ（ｄx,ｄy ）［ｋ，ｌ］は配列
処理：
（０）変移量記憶部２０８から、動きベクトル（ｄx,ｄy ）を読み込む
（１）ｌ＝０
（２）ｋ＝０
（３）＾Ｅ（ｄx,ｄy ）［ｋ，ｌ］＝０
（４）ｉy ＝０
（５）ｉx ＝０
（６）＾Ｓ＝０
（７）ｕy ＝０
（８）ｕx ＝０
（９）位置インデックスｉx,ｉy の第ｋ，ｌ修正基底画像のＤＦＴ係数のｕx,ｕy 成分        を、前述のテーブルから読み込む
（10）直前に読み込んだ複素数の二乗ノルムＦk,l (ix,iy) （ｕx,ｕy ）2 を計算する
（11）＾ｇ（ηx,ｄx ）および＾ｇ（ηy,ｄy ）を計算する。具体的な計算は、例えば        式（２１）により求める
（12）＾Ｓ＝＾Ｓ＋Ｆk,l (ix,iy) （ｕx,ｕy ）2 ＾ｇ（ηx,ｄx ）2 ＾ｇ（ηy,ｄy         ）2 
（13）ｕx ＝ｕx ＋１
（14）ｕx ＝ＮＭx ならば次へ、そうでなければ（９）へ
（15）ｕy ＝ｕy ＋１
（16）ｕy ＝ＮＭy ならば次へ、そうでなければ（８）へ
（17）第ｋ，ｌ基底のＤＣＴ係数Ｃ(ix,iy) ［ｋ，ｌ］を読み込む
（18）＾Ｅ（ｄx,ｄy ）［ｋ，ｌ］＝＾Ｅ（ｄx,ｄy ）［ｋ，ｌ］＋Ｃ(ix,iy) ［ｋ，        ｌ］2 ＾Ｓ
（19）ｉx ＝ｉx ＋１
（20）ｉx ＝Ｍx ならば次へ、そうでなければ（６）へ
（21）ｉy ＝ｉy ＋１
（22）ｉy ＝Ｍy ならば次へ、そうでなければ（５）へ
（23）ｋ＝ｋ＋１
（24）ｋ＝Ｎならば次へ、そうでなければ（３）へ
（25）ｌ＝ｌ＋１
（26）ｌ＝Ｎならば終了、そうでなければ（２）へ
このフローチャートに従って、符号化パラメータ選択部１０は、“処理３”において、“処理４”で得た修正基底画像のＤＦＴ係数Ｆk,l (ix,iy) （ｕx,ｕy ）と、ＤＣＴ係数Ｃ(ix,iy) ［ｋ，ｌ］と、分析対象ブロックの動きベクトル（ｄx,ｄy ）と、コントラスト感度関数＾ｇ（η，ω）とを入力として、分析対象ブロックに対する予測誤差電力＾Ｅ（ｄx,ｄy ）［ｋ，ｌ］（式（２０）の分子）を算出するという処理を行うのである。
【０１４６】
［４］“処理１”
入力：“処理２”で求めたＥ［ｋ，ｌ］（ｋ，ｌ＝０,....,Ｎ−１）
：“処理３”で求めた＾Ｅ（ｄx,ｄy ）［ｋ，ｌ］（ｋ，ｌ＝０,....,Ｎ−１）
出力：モード選択のコスト関数における歪み量に対しての重み（感度係数）
処理：
（１）ｌ＝０，Ｄ’＝０
（２）ｋ＝０
（３）Ｄ＝０
（４）ｉy ＝０
（５）ｉx ＝０
（６）位置インデックスｉx,ｉy の基準ブロックにおけるＤＣＴの第ｋ，ｌ成分の係数        の二乗値ｅ［ｋ，ｌ］(ix,iy) を読み込む
（７）Ｅ［ｋ，ｌ］を読み込む
（８）＾Ｅ（ｄx,ｄy ）［ｋ，ｌ］を読み込む
（９）重み係数を計算する
Ｗ（ｄx,ｄy ）［ｋ，ｌ］＝＾Ｅ（ｄx,ｄy ）［ｋ，ｌ］／Ｅ［ｋ，ｌ］
（10）Ｄ＝Ｄ＋ｅ［ｋ，ｌ］(ix,iy) 
（11）ｉx ＝ｉx ＋１
（12）ｉx ＝Ｍx ならば次へ、そうでなければ（６）へ
（13）ｉy ＝ｉy ＋１
（14）ｉy ＝Ｍy ならば次へ、そうでなければ（５）へ
（15）Ｄ’＝Ｄ’＋Ｄ＊Ｗ［ｋ，ｌ］
（16）ｋ＝ｋ＋１
（17）ｋ＝Ｎならば次へ、そうでなければ（３）へ
（18）ｌ＝ｌ＋１
（19）ｌ＝Ｎならば終了、そうでなければ（２）へ
（20）位置インデックスｉx,ｉy の基準ブロックにおける符号量の推定値α(ix,iy) を        算出し、分析対象ブロック内の符号量の総和の推定値Ａ＝Σix,iy α(ix,iy) を        算出する
（21）コスト関数Ｊを算出する。Ｊ＝Ｄ’＋λＡ
このフローチャートに従って、符号化パラメータ選択部１０は、“処理１”において、“処理２”で得た分析対象ブロックに対する予測誤差電力Ｅ［ｋ，ｌ］（式（２０）の分母）と、“処理３”で時空間の視覚感度を考慮して得た分析対象ブロックに対する予測誤差電力＾Ｅ（ｄx,ｄy ）［ｋ，ｌ］（式（２０）の分子）とを入力として、
Ｗ（ｄx,ｄy ）［ｋ，ｌ］＝＾Ｅ（ｄx,ｄy ）［ｋ，ｌ］／Ｅ［ｋ，ｌ］
という算出式（式（２０))に従って、モード選択のコスト関数における歪み量に対しての重みＷ（ｄx,ｄy ）［ｋ，ｌ］（前述の感度係数Ｗk,l s （ｄx,ｄy ))を算出するという処理を行うのである。
【０１４７】
このようにして、符号化パラメータ選択部１０は、図３〜図５のフローチャートを実行することで、動画像の符号化に用いる予測モードを選択するにあたって、予測モードの選択に用いるコスト関数として、ブロック歪みを含む主観画質を反映したものを実現できるようになり、これにより、符号化部１１は高能率の符号化を実現できるようになるとともに、符号量を削減できるようになる。
【０１４８】
図６および図７に、図３〜図５のフローチャートを実行すべく構成される符号化パラメータ選択部１０の装置構成を図示する。
【０１４９】
次に、この図６および図７に従って、符号化パラメータ選択部１０の装置構成について説明する。
【０１５０】
符号化パラメータ選択部１０は、図３のフローチャートを実行するために、図６に示すように、（１）符号化対象のブロックの変移量の推定値を記憶する変移量記憶部１０１と、（２）符号化対象のブロックの予測ベクトルを算出する予測ベクトル算出部１０２と、（３）予測ベクトル算出部１０２の算出した予測ベクトルを記憶する予測ベクトル記憶部１０３と、（４）予測モードの初期値を設定する初期モード設定部１０４と、（５）処理対象となる予測モードを設定するモード設定部１０５と、（６）初期モード設定部１０４やモード設定部１０５の設定した予測モードを記憶するモード記憶部１０６と、（７）モード記憶部１０６の記憶する予測モードで符号化した場合の符号量を算出する符号量算出部１０７と、（８）符号量算出部１０７の算出した符号量を記憶する符号量記憶部１０８と、（９）モード記憶部１０６の記憶する予測モードで符号化した場合の重み付き歪み量を算出する重み付き歪み量算出部１０９と、（１０）重み付き歪み量算出部１０９の算出した重み付き歪み量を記憶する重み付き歪み量記憶部１１０と、（１１）モード記憶部１０６の記憶する予測モードで符号化した場合の未定乗数を算出する未定乗数算出部１１１と、（１２）未定乗数算出部１１１の算出した未定乗数を記憶する未定乗数記憶部１１２と、（１３）符号量と重み付き歪み量と未定乗数とに基づいて、モード記憶部１０６の記憶する予測モードで符号化した場合の符号化コストを算出するコスト算出部１１３と、（１４）コスト算出部１１３の算出した符号化コストを記憶するコスト記憶部１１４と、（１５）これまでに得た最小コストを記憶する最小コスト記憶部１１５と、（１６）最小コスト記憶部１１５の記憶する最小コストを参照しつつ、コスト算出部１１３の算出した符号化コストがこれまでに得た最小コストであるのか否かを判定する最小コスト判定部１１６と、（１７）最適な予測モードを記憶する最適モード記憶部１１７と、（１８）最小コスト判定部１１６が最小コストであることを判断したときに、モード記憶部１０６の記憶する予測モードに従って最適モード記憶部１１７の記憶する予測モードを更新する最適モード更新部１１８と、（１９）最小コスト判定部１１６が最小コストでないと判定したときには、直ちに予測モードの全てを処理したのか否かを判定し、一方、最小コスト判定部１１６が最小コストであることを判定したときには、最適モード更新部１１８からの指示を受けて予測モードの全てを処理したのか否かを判定して、最終の予測モードでないことを判断するときには、モード設定部１０５に対して次の予測モードの設定を指示する最終モード判定部１１９と、（２０）最終モード判定部１１９が最終の予測モードであることを判断するときに、最適モード記憶部１１７の記憶する予測モードを最適な予測モードとして出力する最適モード出力部１２０とを備える。
【０１５１】
符号化パラメータ選択部１０は、この装置構成に従って、図３のフローチャートを実行するのである。
【０１５２】
図７に、図４および図５のフローチャートを実行する重み付き歪み量算出部１０９の装置構成を図示する。
【０１５３】
重み付き歪み量算出部１０９は、図４および図５のフローチャートを実行するために、図７に示すように、（１）変換係数を正規化する変換係数正規化部２０１と、（２）変換係数正規化部２０１の変換した正規化変換係数を記憶する正規化変換係数記憶部２０２と、（３）変換係数を復号する変換係数復号部２０３と、（４）変換係数復号部２０３の復号した復号変換係数を記憶する復号変換係数記憶部２０４と、（５）正規化変換係数記憶部２０２の記憶する変換係数と、復号変換係数記憶部２０４の記憶する変換係数とに基づいて、変換係数の第ｉ成分（ｉは更新されていく）の符号化歪みの歪み量を算出する歪み量算出部２０５と、（６）歪み量算出部２０５の算出した歪み量を記憶する歪み量記憶部２０６と、（７）現在処理している変換係数の第ｉ成分の値ｉを記憶する変換係数インデックス記憶部２０７と、（８）分析対象ブロックの変移量の推定値を記憶する変移量記憶部２０８と、（９）基底画像を記憶する基底画像記憶部２０９と、（１０）変移量記憶部２０８の記憶する変移量と、基底画像記憶部２０９の記憶する基底画像と、正規化変換係数記憶部２０２の記憶する変換係数と、コントラスト感度関数とに基づいて、感度係数Ｗk,l を算出する感度係数算出部２１０と、（１１）感度係数算出部２１０の算出した感度係数Ｗk,l を記憶する感度係数記憶部２１１と、（１２）歪み量記憶部２０６の記憶する歪み量と、感度係数記憶部２１１の記憶する感度係数Ｗk,l とを乗算することで、重み付けの歪み量を算出する感度係数乗算部２１２と、（１３）感度係数乗算部２１２の算出した歪み量を記憶する歪み量記憶部２１３と、（１４）歪み量記憶部２１３に順次格納されていく歪み量の総和を算出することで重み付き歪み量を算出する歪み量和算出部２１４とを備える。
【０１５４】
そして、感度係数算出部２１０は、（１）前述した“処理４”の処理を実行する処理４実行部２１０１と、（２）処理４実行部２１０１により算出された修正基底画像のＤＦＴ係数を記憶する修正基底画像ＤＦＴ係数記憶部２１０２と、（３）修正基底画像ＤＦＴ係数記憶部２１０２の記憶する修正基底画像ＤＦＴ係数と、正規化変換係数記憶部２０２の記憶する変換係数とを入力として、前述した“処理２”の処理を実行する処理２実行部２１０３と、（４）修正基底画像ＤＦＴ係数記憶部２１０２の記憶する修正基底画像ＤＦＴ係数と、正規化変換係数記憶部２０２の記憶する変換係数と、変移量記憶部２０８の記憶する変移量と、コントラスト関数とを入力として、前述した“処理３”の処理を実行する処理３実行部２１０４と、（５）処理２実行部２１０３により算出された予測誤差電力と、処理３実行部２１０４により算出された予測誤差電力とを入力として、前述した“処理１”の処理の内の感度係数の算出に係わる処理を実行する処理１実行部２１０５とを備える。
【０１５５】
重み付き歪み量算出部１０９は、この装置構成に従って、図４および図５のフローチャートを実行するのである。
【０１５６】
以上に説明した実施の形態では、符号化パラメータ選択部１０が符号化パラメータとして最適な予測モードを選択することで説明したが、本発明は、予測モード以外の符号化パラメータを選択する場合にもそのまま適用できるものである。
【０１５７】
例えば、符号化パラメータ選択部１０が符号化パラメータとして最適な量子化パラメータを選択する場合には、符号化パラメータ選択部１０は、図３のフローチャートに代えて、図８のフローチャートを実行することになる。
【０１５８】
すなわち、符号化パラメータ選択部１０は、符号化対象マクロブロックの符号化に用いる最適な量子化パラメータを決定する場合には、図８のフローチャートに示すように、まず最初に、ステップＳ４０１で、量子化パラメータの初期値（初期値となる量子化パラメータ）を設定する。
【０１５９】
続いて、ステップＳ４０２で、最小コストを格納するレジスタ（最小コストレジスタ）に対して大きな値を示す初期コストを格納するとともに、最適な量子化パラメータを格納するレジスタ（以下、最適量子化パラメータレジスタと称することがある）に対して意味のない値を格納することで、これらのレジスタを初期化する。
【０１６０】
続いて、ステップＳ４０３で、変移量（前述した（ｄx,ｄy ))を推定し、各候補ベクトルの予測誤差をテーブルに格納する。この変移量の推定方法については、外部より与えられるものとする。例えば、Ｈ．２６４の参照ソフトウェアＪＭが算出する動きベクトルを、以下で使用する変移量の推定値として用いることも可能である。
【０１６１】
続いて、ステップＳ４０４で、設定されている量子化パラメータ、符号化に用いる予測モード、その予測モードによる予測ベクトル、符号化対象フレーム信号、参照フレーム信号を入力として、その量子化パラメータを用いて符号化する場合の符号量を算出する。
【０１６２】
続いて、ステップＳ４０５で、最初に、ステップＳ４０３で推定した変移量に基づいて時空間視覚感度を考慮した重みを決定し、次に、設定されている量子化パラメータ、符号化に用いる予測モード、その予測モードによる予測ベクトル、符号化対象フレーム信号、参照フレーム信号を入力として、それらの入力信号とその決定した重みとに基づいて、その量子化パラメータを用いて符号化する場合の重み付き歪み量を算出する。具体的な算出方法については、図４および図５のフローチャートで説明した通りである。
【０１６３】
続いて、ステップＳ４０６で、設定されている量子化パラメータ、符号化に用いる予測モードを入力として、その量子化パラメータを用いて符号化する場合の未定乗数を算出する。
【０１６４】
続いて、ステップＳ４０７で、ステップＳ４０４で算出した符号量と、ステップＳ４０５で算出した重み付き歪み量と、ステップＳ４０６で算出した未定乗数とに基づいて、式（１１）で示されるＲ−Ｄコストを算出する。
【０１６５】
続いて、ステップＳ４０８で、算出したＲ−Ｄコストと最小コストレジスタに格納されているコストとを比較して、算出したＲ−Ｄコストの方が最小コストレジスタに格納されているコストよりも小さいことを判断するときには、ステップＳ４０９に進んで、算出したＲ−Ｄコストを最小コストレジスタに格納し、続くステップＳ４１０で、設定されている量子化パラメータを最適量子化パラメータレジスタに格納する。一方、ステップＳ４０８で、算出したＲ−Ｄコストの方が最小コストレジスタに格納されているコストよりも大きいことを判断するときには、このステップＳ４０９，４１０の処理を省略する。
【０１６６】
続いて、ステップＳ４１１で、全ての量子化パラメータについて処理したのか否かを判断して、全ての量子化パラメータについて処理していないことを判断するときには、ステップＳ４１２に進んで、予め定められる順番に従って未処理の量子化パラメータの中から量子化パラメータを１つ選択することで処理対象の量子化パラメータを更新してから、ステップＳ４０４の処理に戻る。
【０１６７】
一方、ステップＳ４１１で、全ての量子化パラメータについて処理したことを判断するときには、ステップＳ４１３に進んで、最適量子化パラメータレジスタに格納されている量子化パラメータを最適な量子化パラメータとして出力して、処理を終了する。
【０１６８】
図９に、図８のフローチャートを実行すべく構成される符号化パラメータ選択部１０の装置構成を図示する。ここで、図７に示したものと同じものについては同一の記号で示してある。
【０１６９】
この図９に示すように、符号化パラメータ選択部１０は、図８のフローチャートを実行するために、前述の初期モード設定部１０４に代えて初期量子化パラメータ設定部３０４を備え、前述のモード設定部１０５に代えて量子化パラメータ設定部３０５を備え、前述のモード記憶部１０６に代えて量子化パラメータ記憶部３０６を備え、前述の最適モード記憶部１１７に代えて最適量子化パラメータ記憶部３１７を備え、前述の最適モード更新部１１８に代えて最適量子化パラメータ更新部３１８を備え、前述の最終モード判定部１１９に代えて最終量子化パラメータ判定部３１９を備え、前述の最適モード出力部１２０に代えて最適量子化パラメータ出力部３２０を備えることになる。
【０１７０】
最後に、本発明の有効性を検証するために行った実験について説明する。
【０１７１】
この実験は、本発明を参照ソフトウェアＪＳＶＭ（version 8.0.[3])に実装して、無改造のＪＳＶＭと比較することで行った。
【０１７２】
下記の表に、実験条件を示す。符号化対象のシーケンスは、サイズ３５２×２８８[pixels]、フレームレート３０[fps] である。符号化処理は、先頭の１２０フレームに対して実施した。式（３０）におけるパラメータはｒ1 ＝８，ｒ2 ＝６，Ａ＝５とした。また、基準ブロックのサイズを与えるパラメータはＮ＝４とし、分析対象ブロックのサイズを与えるパラメータはＭx ＝Ｍy ＝４とした。
【０１７３】
【表２】
2010045722.tif 000027
【０１７４】
下記の表に、符号量の比較結果を示す。いずれのシーケンス、ＱＰ値においても、本発明によって符号量の削減が図られていることが確認できる。なお、両手法の復号画像には、主観的な画質の差が認められないことを確認している。さらに、ＪＳＶＭに対する本発明の相対的な符号量削減率を評価するために、ＪＳＶＭの符号量および本発明の符号量を各々ＲJSVM，ＲOursとして、
｛（ＲOurs−ＲJSVM）／ＲJSVM｝×１００％
という式で示される符号量削減率を下記の表の３列目の括弧内に示す。この結果、本発明は、ＪＳＶＭに対して平均５．３％の符号量低減を実現していることが確認できた。
【０１７５】
【表３】
2010045722.tif 000028
【０１７６】
下記の表に、符号化モードの割合を示す。ここで、ここで、ＳＫＩＰの列はスキップモードの割合を示しており、ＩＮＴＥＲの列はスキップモードを除くインター予測の割合を示しており、ＩＮＴＲＡの列は全てのイントラ予測モードの選択された割合を示している。この表に示すように、本発明のビットレートの削減は、発生符号量の少ないスキップモードを多く選択することで実現していることが分かる。
【０１７７】
【表４】
2010045722.tif 000029
【０１７８】
さらに、ブロック歪みについての評価結果を示す。各フレーム（Ｘ×Ｙ［画素］）の位置（ｘ，ｙ）における復号画素値をＳ（ｘ，ｙ）とし、水平・垂直方向の画素間差分値を各々
δh （ｘ，ｙ）＝Ｓ（ｘ＋１，ｙ）−Ｓ（ｘ，ｙ）
δv （ｘ，ｙ）＝Ｓ（ｘ，ｙ＋１）−Ｓ（ｘ，ｙ）
とする。このとき、
Δ＝｛Σ1 Σ2 ｜δh （Ｎｉx,ｉy ）｜｝／｛２Ｙ（Ｘ／Ｎ−１）｝
＋｛Σ3 Σ4 ｜δv （ｉx,Ｎｉy ）｜｝／｛２Ｘ（Ｙ／Ｎ−１）｝
ただし、Σ1 は、ｉx ＝１〜（Ｘ／Ｎ−１）の総和
Σ2 は、ｉy ＝０〜（Ｙ−１）の総和
Σ3 は、ｉy ＝１〜（Ｙ／Ｎ−１）の総和
Σ4 は、ｉx ＝０〜（Ｘ−１）の総和
という式で表されるブロック境界における画素間差分値の平均値Δを用いて、隣接ブロック間の不連続性を評価する。
【０１７９】
下記の表に、ＪＳＶＭおよび本発明に対するΔの全フレーム平均値を示す。なお、各行の２列目の値と３列目の値を各々ΔJSVM，ΔOursとして、
｛（ΔOurs−ΔJSVM）／ΔJSVM｝×１００％
という式で示されるブロック歪み削減率を下記の表の３列目の括弧内に示す。この結果、本発明は、ＪＳＶＭに対して平均１．２％のブロック歪み低減を実現していることが確認できた。
【０１８０】
【表５】
2010045722.tif 000030
【０１８１】
本実験によって、本発明によれば、ＪＳＶＭに対して符号量を低減し、さらに、ブロック歪みも低減できることが確認できた。本発明では、隣接ブロック間の依存関係を考慮した周波数分析を行っている。このため、隣接ブロック間の不連続性は、水平・垂直方向のエッジとして、コントラスト感度関数が大きな重みを与える周波数成分として分析される。つまり、大きな感度係数の値が設定される。この感度係数により重み付けされた歪み尺度がコスト関数に用いられるため、ブロック間の不連続性をもたらす成分の歪みは回避され、結果としてブロック歪みが低減したものと考察される。
【産業上の利用可能性】
【０１８２】
本発明は、フレーム内予測やフレーム間予測により得られた予測誤差信号に対して、変換符号化および量子化による情報圧縮を行うことで動画像を符号化する場合に適用できるものであり、本発明を適用することで、符号化パラメータの選択に用いるコスト関数として、ブロック歪みを含む主観画質を反映したものを実現できるようになることで、高能率の符号化を実現できるようになるとともに、符号量の削減を実現できるようになる。
【図面の簡単な説明】
【０１８３】
【図１】修正基底画像の説明図である。
【図２】本発明の適用される動画像符号化装置の装置構成図である。
【図３】符号化パラメータ選択部の実行するフローチャートである。
【図４】符号化パラメータ選択部の実行するフローチャートである。
【図５】符号化パラメータ選択部の実行するフローチャートである。
【図６】符号化パラメータ選択部の装置構成図である。
【図７】符号化パラメータ選択部の装置構成図である。
【図８】符号化パラメータ選択部の実行するフローチャートである。
【図９】符号化パラメータ選択部の装置構成図である。
【図１０】ブロック間の不連続性の説明図である。
【符号の説明】
【０１８４】
２０１    変換係数正規化部
２０２    正規化変換係数記憶部
２０３    変換係数復号部
２０４    復号変換係数記憶部
２０５    歪み量算出部
２０６    歪み量記憶部
２０７    変換係数インデックス記憶部
２０８    変移量記憶部
２０９    基底画像記憶部
２１０    感度係数算出部
２１１    感度係数記憶部
２１２    感度係数乗算部
２１３    歪み量記憶部
２１４    歪み量和算出部
２１０１  処理４実行部
２１０２  修正基底画像ＤＦＴ係数記憶部
２１０３  処理２実行部
２１０４  処理３実行部
２１０５  処理１実行部
【図１】
2010045722.tif 000031
【図２】
2010045722.tif 000032
【図３】
2010045722.tif 000033
【図４】
2010045722.tif 000034
【図５】
2010045722.tif 000035
【図６】
2010045722.tif 000036
【図７】
2010045722.tif 000037
【図８】
2010045722.tif 000038
【図９】
2010045722.tif 000039
【図１０】
2010045722.tif 000040