(57)【特許請求の範囲】
【請求項１】
フレーム間予測により得られた予測誤差信号に対して、変換符号化および量子化による情報圧縮を行うことで動画像を符号化する動画像符号化方法であって、
変換行列の基底画像の空間周波数成分を算出する過程と、
符号化対象ブロックについて、画像信号の時間的な動きを示す変移量を推定する過程と、
前記算出した空間周波数成分の持つ空間周波数の水平成分と前記推定した変移量の水平成分とに基づいて、水平方向の視覚感度関数を算出するとともに、前記算出した空間周波数成分の持つ空間周波数の垂直成分と前記推定した変移量の垂直成分とに基づいて、垂直方向の視覚感度関数を算出する過程と、
前記算出した水平方向および垂直方向の視覚感度関数に基づいて、前記算出した空間周波数成分を重み付けして、その重み付けした空間周波数成分に基づいて、前記算出した各空間周波数成分の重要度を算出する過程と、
前記算出した重要度を用いて重み付けされた符号化の歪み量を用いて符号化コストを評価することで、符号化対象ブロックの符号化に用いるパラメータを決定する過程とを備えることを、
特徴とする動画像符号化方法。
【請求項２】
フレーム間予測により得られた予測誤差信号に対して、変換符号化および量子化による情報圧縮を行うことで動画像を符号化する動画像符号化方法であって、
変換行列の基底画像の空間周波数成分を算出する過程と、
符号化対象ブロックについて、画像信号の時間的な動きを示す変移量を推定する過程と、
前記推定した変移量の水平成分に基づいて、水平方向の視覚感度関数を算出するのに必要な視距離パラメータを決定して、前記算出した空間周波数成分の持つ空間周波数の水平成分とその決定した視距離パラメータとに基づいて、水平方向の視覚感度関数を算出するとともに、前記推定した変移量の垂直成分に基づいて、垂直方向の視覚感度関数を算出するのに必要な視距離パラメータを決定して、前記算出した空間周波数成分の持つ空間周波数の垂直成分とその決定した視距離パラメータとに基づいて、垂直方向の視覚感度関数を算出する過程と、
前記算出した水平方向および垂直方向の視覚感度関数に基づいて、前記算出した空間周波数成分を重み付けして、その重み付けした空間周波数成分に基づいて、前記算出した各空間周波数成分の重要度を算出する過程と、
前記算出した重要度を用いて重み付けされた符号化の歪み量を用いて符号化コストを評価することで、符号化対象ブロックの符号化に用いるパラメータを決定する過程とを備えることを、
特徴とする動画像符号化方法。
【請求項３】
請求項１又は２に記載の動画像符号化方法において、
前記重要度を算出する過程では、前記重み付けした空間周波数成分の各空間周波数についての二乗和と、その重み付けをしない空間周波数成分の各空間周波数についての二乗和との比値を算出することで、前記重要度を算出することを、
特徴とする動画像符号化方法。
【請求項４】
請求項１ないし３のいずれか１項に記載の動画像符号化方法において、
前記基底画像の空間周波数成分を算出する過程では、基底画像の周辺にゼロ値を埋め込んだ修正基底画像を用いて空間周波数成分を算出することを、
特徴とする動画像符号化方法。
【請求項５】
フレーム間予測により得られた予測誤差信号に対して、変換符号化および量子化による情報圧縮を行うことで動画像を符号化する動画像符号化装置であって、
変換行列の基底画像の空間周波数成分を算出する手段と、
符号化対象ブロックについて、画像信号の時間的な動きを示す変移量を推定する手段と、
前記算出した空間周波数成分の持つ空間周波数の水平成分と前記推定した変移量の水平成分とに基づいて、水平方向の視覚感度関数を算出するとともに、前記算出した空間周波数成分の持つ空間周波数の垂直成分と前記推定した変移量の垂直成分とに基づいて、垂直方向の視覚感度関数を算出する手段と、
前記算出した水平方向および垂直方向の視覚感度関数に基づいて、前記算出した空間周波数成分を重み付けして、その重み付けした空間周波数成分に基づいて、前記算出した各空間周波数成分の重要度を算出する手段と、
前記算出した重要度を用いて重み付けされた符号化の歪み量を用いて符号化コストを評価することで、符号化対象ブロックの符号化に用いるパラメータを決定する手段とを備えることを、
特徴とする動画像符号化装置。
【請求項６】
フレーム間予測により得られた予測誤差信号に対して、変換符号化および量子化による情報圧縮を行うことで動画像を符号化する動画像符号化装置であって、
変換行列の基底画像の空間周波数成分を算出する手段と、
符号化対象ブロックについて、画像信号の時間的な動きを示す変移量を推定する手段と、
前記推定した変移量の水平成分に基づいて、水平方向の視覚感度関数を算出するのに必要な視距離パラメータを決定して、前記算出した空間周波数成分の持つ空間周波数の水平成分とその決定した視距離パラメータとに基づいて、水平方向の視覚感度関数を算出するとともに、前記推定した変移量の垂直成分に基づいて、垂直方向の視覚感度関数を算出するのに必要な視距離パラメータを決定して、前記算出した空間周波数成分の持つ空間周波数の垂直成分とその決定した視距離パラメータとに基づいて、垂直方向の視覚感度関数を算出する手段と、
前記算出した水平方向および垂直方向の視覚感度関数に基づいて、前記算出した空間周波数成分を重み付けして、その重み付けした空間周波数成分に基づいて、前記算出した各空間周波数成分の重要度を算出する手段と、
前記算出した重要度を用いて重み付けされた符号化の歪み量を用いて符号化コストを評価することで、符号化対象ブロックの符号化に用いるパラメータを決定する手段とを備えることを、
特徴とする動画像符号化装置。
【請求項７】
請求項５又は６に記載の動画像符号化装置において、
前記重要度を算出する手段は、前記重み付けした空間周波数成分の各空間周波数についての二乗和と、その重み付けをしない空間周波数成分の各空間周波数についての二乗和との比値を算出することで、前記重要度を算出することを、
特徴とする動画像符号化装置。
【請求項８】
請求項５ないし７のいずれか１項に記載の動画像符号化装置において、
前記基底画像の空間周波数成分を算出する手段は、基底画像の周辺にゼロ値を埋め込んだ修正基底画像を用いて空間周波数成分を算出することを、
特徴とする動画像符号化装置。
【請求項９】
請求項１ないし４のいずれか１項に記載の動画像符号化方法をコンピュータに実行させるための動画像符号化プログラム。
【請求項１０】
請求項１ないし４のいずれか１項に記載の動画像符号化方法をコンピュータに実行させるための動画像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、フレーム間予測により得られた予測誤差信号に対して、変換符号化および量子化による情報圧縮を行うことで動画像を符号化する動画像符号化方法およびその装置と、その動画像符号化方法の実現に用いられる動画像符号化プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体とに関する。
【背景技術】
【０００２】
［二乗誤差規範のコスト関数を用いる符号化方式］
Ｈ．２６４では、イントラ予測および可変形状動き補償の導入に伴い、従来の標準化方式と比べて、予測モードの種類が増加している。このため、一定の主観画質を保持しつつ符号量を削減するには、適切な予測モードを選択する必要がある。Ｈ．２６４の参照ソフトウェアＪＭ（非特許文献１参照）では、以下のＲ−Ｄコストを最小化する予測モードを選択している。なお、以下の表記において、「＾Ｘ」（Ｘは文字）における記号＾は、「Ｘ」の上に付く記号を示している。
【０００３】
【数１】
0004681011.tif 000002
【０００４】
ここで、Ｓは原信号、ｑは量子化パラメータ、ｍは予測モードを表す番号であり、＾Ｓm,q は原信号Ｓに対して予測モードｍを用いて予測し、量子化パラメータｑを用いて量子化した場合の復号信号である。また、λはモード選択に用いるラグランジェの未定乗数である。さらに、Ｄ（Ｓ，＾Ｓm,q ）は次式に示す二乗誤差和である。
【０００５】
【数２】
0004681011.tif 000003
【０００６】
また、ＳY ，ＳU ，ＳV はそれぞれ原信号のＹ，Ｕ，Ｖ成分であり、＾ＳY m,q ，＾ＳU m,q ，＾ＳV m,q はそれぞれ復号信号のＹ，Ｕ，Ｖ成分である。また、ｘ0 ，ｙ0 はブロックの中で原点に最も近い位置の座標値である。
【０００７】
Ｈ．２６４における復号信号の算出方法を以下に示す。なお、説明に用いる記号を下記の表にまとめる。
【０００８】
【表１】
0004681011.tif 000004
【０００９】
原信号Ｓに対して、モード番号ｍの予測方法を用いた場合の予測信号をＰm とする。Ｈ．２６４の符号化処理では、モード番号ｍの予測方法を用いた場合の予測誤差信号Ｒm （＝Ｓ−Ｐm ）に対して、変換行列〜Φを用いた直交変換が次式のように施される。なお、以下の表記において、「〜Ｘ」（Ｘは文字）における記号〜は、「Ｘ」の上に付く記号を示している。
【００１０】
【数３】
0004681011.tif 000005
【００１１】
ここで、〜Φt は変換行列〜Φに対する転置行列を表す。なお、変換行列〜Φは次式で表される整数要素の直交行列である。
【００１２】
【数４】
0004681011.tif 000006
【００１３】
次に、行列〜Φが非正規行列であるため、次に示すような行列の正規化に相当する処理を行う。
【００１４】
【数５】
0004681011.tif 000007
【００１５】
これは、式（３）において、〜Φの代わりに次式のΦを用いることにあたる。
【００１６】
【数６】
0004681011.tif 000008
【００１７】
さらに、Ｃm に対して、量子化パラメータｑを用いた量子化が次式のとおり施される。なお、Ｈ．２６４の参照ソフトウェアＪＭでは、正規化は量子化の中に組み込まれている。
【００１８】
【数７】
0004681011.tif 000009
【００１９】
一方、Ｈ．２６４の復号処理では、Ｖに対して、次式のように逆量子化を施し、変換係数の復号値を得る。
【００２０】
【数８】
0004681011.tif 000010
【００２１】
次に、＾Ｃm,q に対して、次式のように逆変換を施し、予測誤差の復号信号を得る。
【００２２】
【数９】
0004681011.tif 000011
【００２３】
最後に、次式により、符号化対象画像の復号信号を得る。
【００２４】
【数１０】
0004681011.tif 000012
【非特許文献１】K.P.Lim and G.Sullivan and T.Wiegand, Text Description of Joint Model Reference Encoding Methods and Decoding Concealment Methods. Joint Video Team(JVT) of ISO/IEC MPEG and ITU-T VCEG, JVT-R95, Jan., 2006. http://ftp3.itu.ch/av-arch/jvt-site/2006＿01＿Bangkok/JVT-R095.zip
【発明の開示】
【発明が解決しようとする課題】
【００２５】
［主観画質を考慮した歪み量への重み付け］
前述の通り、Ｈ．２６４の参照ソフトウェアＪＭで用いられている主観画質の尺度は二乗誤差である。しかし、この二乗誤差は必ずしも、主観的な画質劣化を反映した歪み量ではない。例えば、高周波数成分の変化は低周波成分の変化に比べて、視覚的には検知されにくい。
【００２６】
しかし、こうした視覚特性を利用していない符号化器（例えば、ＪＭ）には、符号量の効率的な削減に関して、改良の余地が残る。
【００２７】
そこで、時空間周波数成分に対して視覚感度に差があることを利用する検討が要求されている。直交変換係数に対して、視覚感度に応じて空間周波数成分毎に歪み量の重み付けを行うことで、主観画質に対応した歪み量を定義する。さらに、時間方向の視覚感度も考慮して、前述の重み付けされた歪み量に対して、変移量に応じてさらに重み付けを行う。こうして時空間の視覚感度に基づき重み付けされた歪み量を符号化パラメータ選択のコスト関数において用いる必要がある。
【００２８】
量子化誤差信号に対する視覚感度に基づく重み付けについて、以下、説明する。本発明では、次式のＲ−Ｄコストを用いることを想定している。
【００２９】
【数１１】
0004681011.tif 000013
【００３０】
ここで、Ｃm はモード番号ｍを用いた場合の予測残差信号Ｒm に対する変換係数であり、＾Ｃm,q はＣm を量子化パラメータｑで量子化・逆量子化して得られる変換係数の復号値である。このＲ−Ｄコストの計算に用いる歪み量として、以下の重み付け歪み量を用いる。
【００３１】
【数１２】
0004681011.tif 000014
【００３２】
ここで、Ｃm s(i)［ｋ，ｌ］（ｓ＝Ｙ，Ｕ，Ｖ）はＣm の要素であり、マクロブロック（Ｙ成分の場合には１６×１６［画素］，Ｕ，Ｖ成分の場合には８×８［画素］）内のサブブロック（Ｎ×Ｎ［画素］）のうち、ラスター走査においてｉ番目に走査されるサブブロックに含まれる変換係数である。また、＾Ｃm,q s(i)［ｋ，ｌ］（ｓ＝Ｙ，Ｕ，Ｖ）は＾Ｃm,q の要素であり、マクロブロック（Ｙ成分の場合には１６×１６［画素］，Ｕ，Ｖ成分の場合には８×８［画素］）内のサブブロック（Ｎ×Ｎ［画素］）のうち、ラスター走査においてｉ番目に走査されるサブブロックに含まれる復号変換係数である。
【００３３】
さらに、Ｗk,l s （ｓ＝Ｙ，Ｕ，Ｖ）は１以下に設定される重み係数であり、以下では、感度係数と呼ぶ。式（１２）において、Ｗk,l s を小さな値に設定することは、量子化歪み〜Ｄ（Ｃm ，＾Ｃm,q ）を小さく見積もることに相当する。
【００３４】
なお、直交変換の正規性より、Ｗk,l s ＝１（∀ｋ，ｌ；ｓ＝Ｙ，Ｕ，Ｖ）とすれば、前述の重み付け歪み量は二乗誤差和と等価となる。
【００３５】
主観画質に対応した歪み量を定義するには、空間周波数および時間周波数を考慮して、この感度係数Ｗk,l s （ｓ＝Ｙ，Ｕ，Ｖ）を決定する必要がある。
【００３６】
しかしながら、従来技術では、この点について検討がなされていない。空間周波数および時間周波数が高いほど、感度係数Ｗk,l s の値を小さくする必要があるが、この点について検討がなされていないというのが実情である。
【００３７】
さらに、この感度係数Ｗk,l s の決定にあたっては、空間周波数成分の方向および動きベクトルの方向を考慮する必要がある。
【００３８】
すなわち、ブロック内の空間周波数成分および動きベクトルに基づき求められる時空間周波数は、空間周波数成分の方向および動きベクトルの方向に依存したものとなる。これは、動きを認識できるのはエッジの変化方向と垂直な方向の動きであることによる。例えば、図１３に示すように、垂直方向に変化するエッジが移動する場合、動きとして認識できるのは、動きベクトルの垂直方向成分に起因する方向のみとなる。
【００３９】
しかしながら、従来技術では、こうした方向を考慮したモデル化についても当然のことながら行われていない。このため、得られた重み付き歪み量が主観画質を正しく反映できないケースが発生する。
【００４０】
本発明はかかる事情に鑑みてなされたものであって、動き補償によるフレーム間予測と直交変換を組み合わせたブロックベースの符号化方式（例えば、Ｈ．２６４）に対して、空間周波数成分の方向および動きベクトルの方向を考慮することにより時空間周波数を推定して、主観画質を適切に評価した符号化歪みの尺度を導入することを実現することで、符号化パラメータの選択に用いるコスト関数として、主観画質を反映したものを実現できるようにする新たな動画像符号化技術の提供を目的とする。
【課題を解決するための手段】
【００４１】
本発明では、各ブロック内の歪み量に対して、時空間視覚感度関数に基づく重み付けを行う。この重み付けの係数の算出において、入力となるのは変換行列と変移量（動きベクトルのような画像信号の時間的な動きを示すもの）である。
【００４２】
なお、以下では、縦幅Ｈの画像を視距離ｒＨにおいて観測する場合を考える。ｒを視距離パラメータと呼ぶ。また、以下では、表現を簡略化するために、Ｙ，Ｕ，Ｖの区別を表す添え字を省略し、Ｙ成分について議論する。なお、Ｕ，Ｖ成分についても以下と同様に議論できる。
【００４３】
［ｉ］感度係数の算出手法（その１）
変換行列Φ（Ｎ×Ｎ行列）の第ｋ列ベクトル（Ｎ次元ベクトル）をφk とすると、同行列に対する基底画像は、
ｆk,l （ｘ，ｙ）＝φk ［ｙ］φl ［ｘ］t   （０≦ｘ，ｙ≦Ｎ−１）
という式より得られる。なお、Ｈ．２６４の場合、Ｎとして取りうる値は４または８のいずれかである。ここで、φl t はφl の転置ベクトルである。
【００４４】
各基底画像ｆk,l （ｘ，ｙ）（０≦ｘ，ｙ≦Ｎ−１）に対して、次式に示すように、ゼロ埋めによりサイズを２倍に拡大する。このブロック拡大は、ブロックの不連続性に起因する空間周波数成分も考慮した空間周波数分析を行うためである。
【００４５】
【数１３】
0004681011.tif 000015
【００４６】
ゼロ埋めの結果得られる〜ｆk,l （ｘ，ｙ）（ｘ＝０,..,２Ｎ−１；ｙ＝０,..,２Ｎ−１）を修正基底画像と呼ぶ。
【００４７】
修正基底画像に対して、次式に示す離散フーリエ変換を施し、フーリエ係数Ｆk,l （ｕx ，ｕy ）（０≦ｕx ≦２Ｎ−１，０≦ｕy ≦２Ｎ−１）を得る。なお、以下ではＮ＝２m とおく。ここで、ｊは虚数単位である。また、ｕx ，ｕy を空間周波数インデックスと呼ぶ。
【００４８】
【数１４】
0004681011.tif 000016
【００４９】
得られたフーリエ係数Ｆk,l （ｕx ，ｕy ）（０≦ｕx ≦２Ｎ−１，０≦ｕy ≦２Ｎ−１）に対して、視覚感度に基づく以下の重み付けを行う。
【００５０】
【数１５】
0004681011.tif 000017
【００５１】
以下、〜Ｆk,l （ｕx ，ｕy ，ωx ，ωy ）について、説明する。ここで、＾ｇ（η，ω）は視覚感度関数ｇ（η，ω）に基づき設定される関数である。まず、視覚感度関数ｇ（η，ω）について説明し、次に、ｇ（η，ω）と＾ｇ（η，ω）の関係を示す。
【００５２】
視覚感度関数ｇ（η，ω）は、次式の通りである。この関数形に従い、η，ωが大きくなると、視覚感度関数ｇ（η，ω）は小さな値を示すことになる。
【００５３】
【数１６】
0004681011.tif 000018
【００５４】
ここで、ａ，ｂ，ｃ，ｄは視覚感度関数ｇ（η，ω）の関数形を定めるパラメータ（以後、モデルパラメータと呼ぶ）であり、例えば、
（ａ，ｂ，ｃ，ｄ）＝（６．１, ７．３１, ２, ４５．９）
のような値が用いられる。
【００５５】
（イ）ηについて
ηは単位視野角内の明暗対の個数を表す空間周波数（cycle per degree）である。式（１５）におけるηx ，ηy は各々、水平方向および垂直方向の空間周波数であり、
ηx ＝θ（ｒ，Ｈ）ｕx ／４Ｎ
ηy ＝θ（ｒ，Ｈ）ｕy ／４Ｎ
のように表される。
【００５６】
ここで、θ（ｒ，Ｈ）は、縦幅Ｈの画像を視距離ｒＨにおいて観測する場合の一画素あたりの角度（degree per pixel）であり、
θ（ｒ，Ｈ）＝（１／Ｈ）×arctan（１／ｒ）×（１８０／π）［degrees/pixel]
という式により与えられる。
【００５７】
（ロ）ωについて
ωは単位時間当たりの角度の変化量［degrees/sec]である。式（１５）におけるωx ，ωy は各々、水平方向および垂直方向の単位時間当たりの角度の変化量である。
【００５８】
マクロブロックの変移量が（ｄx ，ｄy ）と推定され、縦幅Ｈの画像を視距離ｒＨにおいて観測する場合、水平方向および垂直方向の単位時間当たりの角度の変化量は、各々、
ωx ＝ｔａｎ-1（ｆr ｄx ／ｒＨ）
ωy ＝ｔａｎ-1（ｆr ｄy ／ｒＨ）
という式により与えられる。ここで、ｆr はフレームレートである。
【００５９】
ここで、単位時間当たりのサイクル数（サイクルレート）の上限はフレームレート以下になることに注意すると、サイクルレートを表すωx ×ηx ，ωy ×ηy （［degrees/sec]×［cycles/degree]≡［cycles/sec］）は、フレームレート以下の値に設定する必要がある。
【００６０】
そこで、以下のようにサイクルレートとフレームレートの大小関係に応じて、ｇ（η，ω）を修正した関数を＾ｇ（η，ω）として定義する。
【００６１】
【数１７】
0004681011.tif 000019
【００６２】
感度係数の算出手法（その１）では、フーリエ係数Ｆk,l （ｕx ，ｕy ）と、フーリエ係数Ｆk,l （ｕx ，ｕy ）に対して式（１５）の重み付けを行った〜Ｆk,l （ｕx ，ｕy ，ωx ，ωy ）とを使い、（ｋ，ｌ）基底に対する感度係数Ｗk,l Y （ωx ，ωy ）を、次式の電力比として定義する。
【００６３】
【数１８】
0004681011.tif 000020
【００６４】
なお、Ｗk,l U （ωx ，ωy ），Ｗk,l V （ωx ，ωy ）についても同様に求めることができる。このとき、輝度成分と色差成分でモデルパラメータを変更することも可能である。
【００６５】
このようにして決定される感度係数Ｗk,l s （ωx ，ωy ）（ｓ＝Ｙ，Ｕ，Ｖ）は、空間周波数および時間周波数が高いほど、その値が小さくなるので、主観画質に対応した歪み量を定義することができるようになる。
【００６６】
感度係数は、符号化対象画像とは独立に求めることが可能である。このため、符号化に先立ち、感度係数を求めることができる。この感度係数をルックアップテーブルに格納すれば、符号化時の感度係数算出のための演算は省略することができる。
【００６７】
［ii］感度係数の算出手法（その２）
次に、別の感度係数の算出方法について説明する。
【００６８】
感度係数の算出手法（その２）もまた、式（１４）により得られるフーリエ係数に対して視覚感度に基づく重み付けを行うことになるが、感度係数の算出手法（その２）では、この重み付けについて、下記の参考文献に記載される
ｇ（η）＝（０．３１＋０．６９η）ｅｘｐ（−０．２９η）  ・・・  式（ａ）
という視覚感度関数を用いる。
【００６９】
参考文献：K.N.Ngan, K.S.Leong, and H.Singh. Cosine transform coding incorp                orating human visual system moodel. SPIE Fiber, pp.165-171, Sept                . 1986. 
ここで、ηは単位視野角内の明暗対の個数を表す空間周波数（cycle per degree）である。また、ηは一次元の空間周波数であることに注意する。
【００７０】
このとき、ηと空間周波数インデックスｕ（ｕx またはｕy のいずれか）とは、
η（ｕ，ｒ）＝θ（ｒ，Ｈ）ｕ／４Ｎ  ・・・  式（ｂ）
という関係にある。
【００７１】
なお、θ（ｒ，Ｈ）は、縦幅Ｈの画像を視距離ｒＨにおいて観測する場合の一画素あたりの角度（degree per pixel）であり、
θ（ｒ，Ｈ）＝（１／Ｈ）×arctan（１／ｒ）×（１８０／π）  ・・  式（ｃ）
という式により与えられる。ここで、ｒを視距離パラメータと呼ぶ。
【００７２】
式（ｂ）および式（ｃ）を式（ａ）に代入し、ｇ（η）をｕ，ｒの関数として表したものを＾ｇ（ｕ，ｒ）とする。
【００７３】
感度係数の算出手法（その２）では、この＾ｇ（ｕ，ｒ）を用いて、フーリエ係数Ｆk,l （ｕx ，ｕy ）（０≦ｕx ≦２Ｎ−１，０≦ｕy ≦２Ｎ−１）に対して、以下の重み付けを行う。
【００７４】
【数１９】
0004681011.tif 000021
【００７５】
ここで、＾ｇ（ｕx ，ｒx ）および＾ｇ（ｕy ，ｒy ）は、各々、水平方向、垂直方向の重み関数となっている。なお、ｒx ，ｒy の導出方法については後述する。
【００７６】
感度係数の算出手法（その２）では、フーリエ係数Ｆk,l （ｕx ，ｕy ）と、フーリエ係数Ｆk,l （ｕx ，ｕy ）に対して式（１９）の重み付けを行った〜Ｆk,l （ｕx ，ｕy ，ｒx ，ｒy ）とを使い、第（ｋ，ｌ）基底の成分に対する感度係数Ｗk,l Y （ｒx ，ｒy ）を、次式の電力比として定義する。
【００７７】
【数２０】
0004681011.tif 000022
【００７８】
感度係数は、符号化対象画像とは独立に求めることが可能である。このため、符号化に先立ち、感度係数を求めることができる。この感度係数をルックアップテーブルに格納すれば、符号化時の感度係数算出のための演算は省略することができる。
【００７９】
次に、式（１９）に記載する視距離パラメータｒx ，ｒy の導出方法について説明する。
【００８０】
空間周波数に対する視覚感度は、時間軸方向の変化量に依存する。例えば、時間軸方向の大きな変化（高速なカメラパン・チルト、シーンチェンジなど）が発生したフレームでは、そのフレームの画質劣化に対する感度は低下する。このため、時間軸方向の大きな変化が発生したフレームに対しては、感度係数が小さな値になるように制御することで、さらなる符号量削減が期待できる。
【００８１】
ここでは、感度係数と視距離パラメータの関係に着目する。Ｗk,l （ｒx ，ｒy ）がｒx ，ｒy に対する減少関数であることが分かる。これは、〜Ｆk,l （ｕx ，ｕy ，ｒx ，ｒy ）を構成する＾ｇ（ｕ，ｒ）がｒに対する減少関数であることによる。
【００８２】
この感度係数の性質は、視距離とともに視覚感度が低下するという視覚特性に合致する。また、Ｗk,l （ｒx ，ｒy ）は、
Ｗk,l （ｒx ，ｒy ）≦１
という関係を満足する。これは、＾ｇ（ｕ，ｒ）が１以下の値をとることによる。
【００８３】
そこで、感度係数の算出手法（その２）では、感度係数の制御に視距離パラメータを用いる。この制御は、変移量（動きベクトルのような画像信号の時間的な動きを示すもの）の大きさに応じてマクロブロック毎に行うものとする。このとき用いる変移量ｄ＝（ｄx ，ｄy ）は、変移量推定のブロックサイズを１６×１６として求めるものとする。
【００８４】
そして、この求めた変移量ｄに応じて、視距離パラメータを次式のように適応的に変化させる。ここで、Ａは閾値であり、ｒ1 ＞ｒ2 とする。
【００８５】
【数２１】
0004681011.tif 000023
【００８６】
この式（２１）におけるｒx およびｒy は、水平方向・垂直方向に対するパラメータとして独立に設定される。これは、視覚系の検知機能が空間的なエッジの方向に対して垂直な方向の動きにのみ反応することに基づいたものである。つまり、動きの水平方向成分は水平方向のエッジからなるテクスチャ領域では検知されず、同様に、動きの垂直方向成分は垂直方向のエッジからなるテクスチャ領域では検知されない。このため、感度係数の制御パラメータとしての視距離パラメータを水平方向・垂直方向の方向毎に設定するのである。
【００８７】
一方、本発明者は、下記に示す文献で、同様な手法に従って感度係数Ｗk,l s （ω）（ｓ＝Ｙ，Ｕ，Ｖ）を決定する発明について開示した。
【００８８】
文献：坂東幸浩，早瀬和也，高村誠之，上倉一人，八島由幸，時空間視覚感度特性に          基づくＨ．２６４／ＡＶＣモード選択方法の検討  映像情報メディア学会2007          年次大会，7-4, 2007 
しかしながら、この文献で開示した発明では、式（１５）に記載した〜Ｆk,l （ｕx ，ｕy ，ωx ，ωy ）に相当する〜Ｆk,l （ｕ，ｖ，ω）として、
〜Ｆk,l （ｕ，ｖ，ω）＝Ｆk,l （ｕ，ｖ）＾ｇ（η，ω）
を用いるようにして、ηについて、ηx ，ηy という方向を区別することなく、
η＝θ（ｒ，Ｈ）（ｕ2 ＋ｖ2 ）1/2 ／２Ｎ
という式に従って決定するとともに、ωについて、ωx ，ωy という方向を区別することなく、
ω＝ｔａｎ-1（ｆr （ｄx 2 ＋ｄy 2 ）1/2 ／ｒＨ）
という式に従って決定するようにしている。
【００８９】
このように、この文献で開示した発明では、空間周波数および時間周波数（変移量）を考慮する形で感度係数Ｗk,l s （ω）を決定するようにはしているものの、空間周波数成分の方向および変移量の方向を考慮して感度係数Ｗk,l s （ω）を決定するようにしている訳ではなく、改善の余地が残されていた。
【００９０】
すなわち、この文献で開示した発明では、空間周波数成分の方向および変移量の方向を考慮して感度係数Ｗk,l s （ω）を決定しておらず、そのため、画素単位の主観画質のみを担保するにすぎず、歪み量に対する過剰な重みの設定により復号画素の画質を劣化させるという問題がある。
【００９１】
そこで、本発明では、感度係数の算出手法（その１）で構成する場合には、＾ｇ（η，ω）をｘ方向とｙ方向とに分解する形で、〜Ｆk,l （ｕx ，ｕy ，ωx ，ωy ）を式（１５）のように定義するとともに、ηの方向を考慮すべくηx ，ηy というように分解して、これらのηx ，ηy をそれぞれ独立に、
ηx ＝θ（ｒ，Ｈ）ｕx ／４Ｎ
ηy ＝θ（ｒ，Ｈ）ｕy ／４Ｎ
というように定義し、さらに、ωの方向を考慮すべくωx ，ωy というように分解して、これらのωx ，ωy をそれぞれ独立に、
ωx ＝ｔａｎ-1（ｆr ｄx ／ｒＨ）
ωy ＝ｔａｎ-1（ｆr ｄy ／ｒＨ）
というように定義することで、空間周波数成分の方向および変移量の方向を考慮して感度係数Ｗk,l （ωx ，ωy ）を決定するという構成を採ったのである。
【００９２】
そして、本発明では、感度係数の算出手法（その２）で構成する場合には、ｇ（η）を、
η（ｕ，ｒ）＝θ（ｒ，Ｈ）ｕ／４Ｎ
θ（ｒ，Ｈ）＝（１／Ｈ）×arctan（１／ｒ）×（１８０／π）
に従って、ｕ，ｒの関数＾ｇ（ｕ，ｒ）に拡張して、この＾ｇ（ｕ，ｒ）をｘ方向とｙ方向とに分解する形で、〜Ｆk,l （ｕx ，ｕy ，ｒx ，ｒy ）を式（１９）のように定義することで、空間周波数成分の方向および変移量の方向を考慮して感度係数Ｗk,l （ｒx ，ｒy ）を決定するという構成を採ったのである。
【００９３】
この構成に従って、本発明によれば、主観画質を適切に評価した符号化歪みの尺度を導入することができるようになり、これにより、符号化パラメータの選択に用いるコスト関数として、主観画質を反映したものを実現できるようになる。
【００９４】
次に、本発明により構成される動画像符号化装置の構成について説明する。
【００９５】
本発明の動画像符号化装置は、前述した感度係数の算出手法（その１）で構成される場合には、フレーム間予測により得られた予測誤差信号に対して、変換符号化および量子化による情報圧縮を行うことで動画像を符号化する構成を採るときに、（１）変換行列の基底画像の空間周波数成分を算出する第１の算出手段と、（２）符号化対象ブロックについて、画像信号の時間的な動きを示す変移量を推定する推定手段と、（３）第１の算出手段の算出した空間周波数成分の持つ空間周波数の水平成分と推定手段の推定した変移量の水平成分とに基づいて、水平方向の視覚感度関数を算出するとともに、第１の算出手段の算出した空間周波数成分の持つ空間周波数の垂直成分と推定手段の推定した変移量の垂直成分とに基づいて、垂直方向の視覚感度関数を算出する第２の算出手段と、（４）第２の算出手段の算出した水平方向および垂直方向の視覚感度関数に基づいて、第１の算出手段の算出した空間周波数成分を重み付けして、その重み付けした空間周波数成分に基づいて、第１の算出手段の算出した各空間周波数成分の重要度を算出する第３の算出手段と、（５）第３の算出手段の算出した重要度を用いて重み付けされた符号化の歪み量を用いて符号化コストを評価することで、符号化対象ブロックの符号化に用いるパラメータを決定する決定手段とを備えるように構成する。
【００９６】
また、本発明の動画像符号化装置は、前述した感度係数の算出手法（その２）で構成される場合には、フレーム間予測により得られた予測誤差信号に対して、変換符号化および量子化による情報圧縮を行うことで動画像を符号化する構成を採るときに、（１）変換行列の基底画像の空間周波数成分を算出する第１の算出手段と、（２）符号化対象ブロックについて、画像信号の時間的な動きを示す変移量を推定する推定手段と、（３）推定手段の推定した変移量の水平成分に基づいて、水平方向の視覚感度関数を算出するのに必要な視距離パラメータを決定して、第１の算出手段の算出した空間周波数成分の持つ空間周波数の水平成分とその決定した視距離パラメータとに基づいて、水平方向の視覚感度関数を算出するとともに、推定手段の推定した変移量の垂直成分に基づいて、垂直方向の視覚感度関数を算出するのに必要な視距離パラメータを決定して、第１の算出手段の算出した空間周波数成分の持つ空間周波数の垂直成分とその決定した視距離パラメータとに基づいて、垂直方向の視覚感度関数を算出する第２の算出手段と、（４）第２の算出手段の算出した水平方向および垂直方向の視覚感度関数に基づいて、第１の算出手段の算出した空間周波数成分を重み付けして、その重み付けした空間周波数成分に基づいて、第１の算出手段の算出した各空間周波数成分の重要度を算出する第３の算出手段と、（５）第３の算出手段の算出した重要度を用いて重み付けされた符号化の歪み量を用いて符号化コストを評価することで、符号化対象ブロックの符号化に用いるパラメータを決定する決定手段とを備えるように構成する。
【００９７】
ここで、第３の算出手段は、重み付けした空間周波数成分の各空間周波数についての二乗和と、その重み付けをしない空間周波数成分の各空間周波数についての二乗和との比値を算出することで、第１の算出手段の算出した各空間周波数成分の重要度を算出することがある。
【００９８】
また、第１の算出手段は、基底画像の周辺にゼロ値を埋め込んだ修正基底画像を用いて空間周波数成分を算出することがある。
【００９９】
以上の各処理手段が動作することで実現される本発明の動画像符号化方法はコンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当なコンピュータ読み取り可能な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することになる。
【発明の効果】
【０１００】
本発明では、動き補償によるフレーム間予測と直交変換を組み合わせたブロックベースの符号化方式に対して、空間周波数成分の方向および変移量の方向を考慮することにより時空間周波数を推定して、主観画質を適切に評価した符号化歪みの尺度を導入する。
【０１０１】
これにより、本発明によれば、符号化パラメータの選択に用いるコスト関数として、主観画質を反映したものを実現できるようになることで、高能率の符号化を実現できるようになる。
【発明を実施するための最良の形態】
【０１０２】
以下、実施の形態に従って本発明を詳細に説明する。
【０１０３】
最初に、感度係数の算出手法（その１）で構成される実施の形態に従って本発明を詳細に説明する。
【０１０４】
図１に、本発明の適用される動画像符号化装置１の装置構成を図示する。
【０１０５】
本発明の適用される動画像符号化装置１は、時空間視覚感度を考慮してＨ．２６４に従って動画像を符号化する処理を行うものであり、この図に示すように、符号化対象マクロブロックの符号化に用いる符号化パラメータを選択する符号化パラメータ選択部１０と、符号化パラメータ選択部１０の選択した符号化パラメータを使って符号化対象マクロブロックを符号化する符号化部２０とを備える。
【０１０６】
図２〜図４に、符号化パラメータ選択部１０の実行するフローチャートの一例を図示する。ここで、このフローチャートでは、符号化パラメータ選択部１０が符号化パラメータとして最適な予測モードを選択することを想定している。
【０１０７】
符号化パラメータ選択部１０は、符号化対象マクロブロックの符号化に用いる最適な予測モードを選択する場合には、図２のフローチャートに示すように、まず最初に、ステップＳ１０１で、予測モードの初期値（初期値となる予測モード）を設定する。
【０１０８】
続いて、ステップＳ１０２で、最小コストを格納するレジスタ（以下、最小コストレジスタと称することがある）に対して大きな値を示す初期コストを格納するとともに、最適な予測モードを格納するレジスタ（以下、最適モードレジスタと称することがある）に対して意味のない値を格納することで、これらのレジスタを初期化する。
【０１０９】
続いて、ステップＳ１０３で、符号化対象マクロブロックの変移量（前述した（ｄx ，ｄy ））を推定する。この推定方法については、外部より与えられるものとする。例えば、Ｈ．２６４の参照ソフトウェアＪＭが算出する動きベクトルを、以下で使用する変移量の推定値として用いることも可能である。あるいは、符号化対象マクロブロックと参照マクロブロックとの絶対値誤差和を最小化する規範に従って、推定変移量を算出することも可能である。
【０１１０】
続いて、ステップＳ１０４で、設定されている処理対象の予測モード、その予測モードによる予測ベクトル、量子化パラメータ、符号化対象フレーム信号、参照フレーム信号を入力として、その予測モードを用いて符号化する場合の符号量を算出する。具体的な算出方法は、Ｈ．２６４の参照ソフトウェアＪＭの方法に従う。
【０１１１】
続いて、ステップＳ１０５で、最初に、ステップＳ１０３で推定した変移量に基づいて時空間視覚感度を考慮した重みを決定し、次に、設定されている処理対象の予測モード、その予測モードによる予測ベクトル、量子化パラメータ、符号化対象フレーム信号、参照フレーム信号を入力として、それらの入力信号とその決定した重みとに基づいて、その予測モードを用いて符号化する場合の重み付き歪み量を算出する。具体的な算出方法については、図３および図４のフローチャートで説明する。
【０１１２】
続いて、ステップＳ１０６で、設定されている処理対象の予測モード、量子化パラメータを入力として、その予測モードを用いて符号化する場合の未定乗数を算出する。
【０１１３】
続いて、ステップＳ１０７で、ステップＳ１０４で算出した符号量と、ステップＳ１０５で算出した重み付き歪み量と、ステップＳ１０６で算出した未定乗数とに基づいて、式（１１）で示されるＲ−Ｄコストを算出する。
【０１１４】
続いて、ステップＳ１０８で、その算出したＲ−Ｄコストと最小コストレジスタに格納されているコストとを比較して、その算出したＲ−Ｄコストの方が最小コストレジスタに格納されているコストよりも小さいことを判断するときには、ステップＳ１０９に進んで、その算出したＲ−Ｄコストを最小コストレジスタに格納し、続くステップＳ１１０で、設定されている処理対象の予測モードの識別情報を最適モードレジスタに格納する。一方、ステップＳ１０８で、算出したＲ−Ｄコストの方が最小コストレジスタに格納されているコストよりも大きいことを判断するときには、このステップＳ１０９，１１０の処理を省略する。
【０１１５】
続いて、ステップＳ１１１で、全ての予測モードについて処理したのか否かを判断して、全ての予測モードについて処理していないことを判断するときには、ステップＳ１１２に進んで、予め定められる順番に従って未処理の予測モードの中から予測モードを１つ選択することで処理対象の予測モードを更新してから、ステップＳ１０４の処理に戻る。
【０１１６】
一方、ステップＳ１１２で、全ての予測モードについて処理したことを判断するときには、ステップＳ１１３に進んで、最適モードレジスタに格納されている予測モードを最適な予測モードとして出力して、処理を終了する。
【０１１７】
次に、図３のフローチャートに従って、図２のフローチャートのステップＳ１０５で実行する重み付き歪み量の算出処理について説明する。
【０１１８】
この重み付き歪み量の算出処理は、式（１２）の算出式を計算することで実行するものである。なお、以下のフローチャートでは、説明の便宜上、式（１２）中に記載されるサブブロックｉについての変換係数の総和処理については、マクロブロックの変換係数の総和処理に含まれるものとして省略している。
【０１１９】
符号化パラメータ選択部１０は、図２のフローチャートのステップＳ１０５の処理に入ると、図３のフローチャートに示すように、まず最初に、ステップＳ２０１で、式（１２）中の＾Ｃm,q s(i)［ｋ，ｌ］（ｓ＝Ｙ，Ｕ，Ｖ）で示される各変換係数を復号により求める。
【０１２０】
続いて、ステップＳ２０２で、図２のフローチャートのステップＳ１０３で推定した符号化対象マクロブロックの変移量（前述した（ｄx ，ｄy ））を読み込む。なお、この変移量は図４のフローチャートの実行にあたって必要となるものであり、この段階で読み込んでおく。
【０１２１】
続いて、ステップＳ２０３で、変換係数の第ｋ，ｌ成分の値ｋについて指定するカウンタｋを０に初期化し、変換係数の第ｋ，ｌ成分の値ｌについて指定するカウンタｌを０に初期化し、さらに、レジスタＳを０に初期化する。
【０１２２】
続いて、ステップＳ２０４で、式（１２）中に記載される
｜Ｃm s(i)［ｋ，ｌ］−＾Ｃm,q s(i)［ｋ，ｌ］｜2 
ただし、ｓ＝Ｙ，Ｕ，Ｖ
の算出式に従って、変換係数の第ｋ，ｌ成分の符号化歪みの歪み量を算出する。
【０１２３】
続いて、ステップＳ２０５で、式（１２）中に記載される変換係数の第ｋ，ｌ成分の感度係数Ｗk,l s （ｓ＝Ｙ，Ｕ，Ｖ）を設定する。具体的な設定方法については、図４のフローチャートで説明する。
【０１２４】
続いて、ステップＳ２０６で、ステップＳ２０４で算出した符号化歪みの歪み量に対して、ステップＳ２０５で設定した感度係数Ｗk,l s （ｓ＝Ｙ，Ｕ，Ｖ）を乗ずることで、変換係数の第ｋ，ｌ成分についての重み付き歪み量を算出する。
【０１２５】
続いて、ステップＳ２０７で、ステップＳ２０６で算出した乗算値をレジスタＳに加算する。
【０１２６】
続いて、ステップＳ２０８で、変換係数の全成分について処理したのか否かを判断して、変換係数の全成分について処理していないことを判断するときには、ステップＳ２０９に進んで、変換係数の全成分を処理すべく、カウンタｋあるいはカウンタｌに１を加算してから、ステップＳ２０４の処理に戻る。
【０１２７】
一方、ステップＳ２０８で、変換係数の全成分について処理したことを判断するときには、重み付き歪み量の算出処理を終了したことを判断して、ステップＳ２１０に進んで、レジスタＳに格納されている重み付き歪み量を出力して、処理を終了する。
【０１２８】
次に、図４のフローチャートに従って、図３のフローチャートのステップＳ２０５で実行する感度係数Ｗk,l s の設定処理について説明する。
【０１２９】
符号化パラメータ選択部１０は、図３のフローチャートのステップＳ２０５の処理に入ることで、変換係数の第ｋ，ｌ成分の感度係数Ｗk,l s （ｓ＝Ｙ，Ｕ，Ｖ）を設定する必要があると、図４のフローチャートに示すように、まず最初に、ステップＳ３０１で、図３のフローチャートのステップＳ２０２で読み込んだ符号化対象マクロブロックの変移量（前述した（ｄx ，ｄy ））を読み込む。続いて、ステップＳ３０２で、変換行列のサイズを読み込む。
【０１３０】
続いて、ステップＳ３０３で、第ｋ，ｌ番目の基底画像（前述したｆk,l （ｘ，ｙ））を算出し、続くステップＳ３０４で、その算出した基底画像に対してゼロを埋め込むことにより、基底画像の２倍のサイズを持つ修正基底画像を生成する。すなわち、式（１３）で示される修正基底画像を生成するのである。
【０１３１】
続いて、ステップＳ３０５で、生成した修正基底画像に対して離散フーリエ変換を施すことで、空間周波数分析を行う。すなわち、生成した修正基底画像に対して式（１４）で示される離散フーリエ変換を施すことで、フーリエ係数Ｆk,l （ｕx,ｕy ）を算出するのである。
【０１３２】
続いて、ステップＳ３０６で、式（１６）で示される視覚感度関数ｇ（η，ω）を読み込む。
【０１３３】
続いて、ステップＳ３０７で、修正基底画像の空間周波数成分の第ｕx 成分の値ｕx について指定するカウンタｕｘを０に初期化し、修正基底画像の空間周波数成分の第ｕy 成分の値ｕy について指定するカウンタｕｙを０に初期化し、さらに、レジスタＷ１［ｋ，ｌ］を０に初期化し、レジスタＷ２［ｋ，ｌ］を０に初期化する。
【０１３４】
続いて、ステップＳ３０８−１で、修正基底画像の空間周波数成分の第ｕx 成分および変移量のｄx に対して、視覚感度関数の対応する値を算出するとともに、ステップＳ３０８−２で、修正基底画像の空間周波数成分の第ｕy 成分および変移量のｄy に対して、視覚感度関数の対応する値を算出する。
【０１３５】
すなわち、前述したように、
ηx ＝θ（ｒ，Ｈ）ｕx ／４Ｎ，ωx ＝ｔａｎ-1（ｆr ｄx ／ｒＨ）
を求めて、視覚感度関数ｇ（η，ω）に代入することで、視覚感度関数の対応する値であるｇ（ηx,ωx ）を算出するとともに、
ηy ＝θ（ｒ，Ｈ）ｕy ／４Ｎ，ωy ＝ｔａｎ-1（ｆr ｄy ／ｒＨ）
を求めて、視覚感度関数ｇ（η，ω）に代入することで、視覚感度関数の対応する値であるｇ（ηy,ωy ）を算出するのである。なお、ｇ（ηx,ωx ）、ｇ（ηy,ωy ）の算出にあたっては、式（１７）を考慮することになる。
【０１３６】
続いて、ステップＳ３０９で、ステップＳ３０８−１，２で算出した視覚感度関数の算出値を修正基底画像の空間周波数成分の第ｕx,ｕy 成分に乗ずる。すなわち、式（１５）で示されるように、フーリエ係数Ｆk,l （ｕx,ｕy ）に対して、ｇ（ηx,ωx ）×ｇ（ηy,ωy ）を乗ずるのである。
【０１３７】
続いて、ステップＳ３１０で、ステップＳ３０９で得た乗算値の２乗値を算出して、その算出値をレジスタＷ１［ｋ，ｌ］に加算する。すなわち、式（１８）の分子の値を求めるべく、Ｆk,l （ｕx,ｕy ）×ｇ（ηx,ωx ）×ｇ（ηy,ωy ）の２乗値をレジスタＷ１［ｋ，ｌ］に加算するのである。
【０１３８】
続いて、ステップＳ３１１で、修正基底画像の空間周波数成分の第ｕx,ｕy 成分の２乗値を算出して、その算出値をレジスタＷ２［ｋ，ｌ］に加算する。すなわち、式（１８）の分母の値を求めるべく、Ｆk,l （ｕx,ｕy ）の２乗値をレジスタＷ２［ｋ，ｌ］に加算するのである。
【０１３９】
続いて、ステップＳ３１２で、修正基底画像の全空間周波数成分について処理したのか否かを判断して、変換係数の全空間周波数成分について処理していないことを判断するときには、ステップＳ３１３に進んで、修正基底画像の全空間周波数成分を処理すべく、カウンタｕｘあるいはカウンタｕｙに１を加算してから、ステップＳ３０８−１，２の処理に戻る。
【０１４０】
一方、ステップＳ３１２で、修正基底画像の全空間周波数成分について処理したことを判断するときには、ステップＳ３１４に進んで、レジスタＷ１［ｋ，ｌ］の値をレジスタＷ２［ｋ，ｌ］の値で割算することで感度係数Ｗk,l s を算出してそれを出力して、処理を終了する。
【０１４１】
このようにして、符号化パラメータ選択部１０は、図２〜図４のフローチャートを実行することで、符号化対象マクロブロックの符号化に用いる最適な予測モードを時空間視覚感度を考慮して選択するように処理するのである。
【０１４２】
以上に説明した処理を要約すると、以下の通りである。
【０１４３】
（１）ＤＣＴのサイズを読み込む（Ｎ×Ｎとする）
（２）ＤＣＴの基底画像を算出する
（３）（２）の基底画像に対して、ゼロパディングにより、２Ｎ×２Ｎの画像を生成す        る。ここで得られた画像を修正基底画像と呼ぶ。具体的な生成方法は、式（１３        ）に従う
（４）（３）の修正基底画像に対して、ＤＦＴを実施し、修正基底画像内の空間周波数        成分の分布を算出する。具体的な算出方法は、式（１４）に従う
（５）視覚感度関数（ＣＳＦ）を読み込む
（６）（４）の空間周波数分布を（５）のＣＳＦで重み付けを行う。具体的な算出方法        は、式（１５）に従う
（７）（６）で得られた重み付け後の空間周波数成分を、全空間周波数について和をと        る
（８）（７）の処理で得られた各空間周波数成分に対する加重和を各空間周波数成分に        対する歪み量の重み付けに用いる
上記の（６）が本発明での新規の処理となる。具体的には、以下の通りである。
【０１４４】
入力：各基底画像に対する空間周波数Ｆk,l ［ｕx ，ｕy ］（ｕx ，ｕy ＝０，１            ，... ，２Ｎ−１）、動きベクトルｄx ，ｄy 、ＣＳＦｇ（η，ω）
出力：ブロックに対する重み
処理手順：
（１）動きベクトル（ｄx ，ｄy ）を読み込む
（２）ｕx ＝０
（３）ｕy ＝０
（４）（ｕx ，ｄx ）を引数とするＣＳＦ値ｇ（ｕx ，ｄx ）を算出
（５）（ｕy ，ｄy ）を引数とするＣＳＦ値ｇ（ｕy ，ｄy ）を算出
（６）〜Ｆ［ｕx ，ｕy ］＝Ｆ［ｕx ，ｕy ］ｇ（ｕx ，ｄx ）ｇ（ｕy ，ｄy ）
（７）ｕx ＋＋
（８）ｕx ＝２Ｎならば次へ。そうでなければ、（４）へ
（９）ｕy ＋＋
（１０）ｕy ＝２Ｎならば次へ。そうでなければ、（３）へ
（１１）重み係数の算出Ｗ＝｜〜Ｅ｜／｜Ｅ｜
ここで、｜Ｅ｜＝ΣuxΣuyＥ［ｕx ］［ｕy ］2 
｜〜Ｅ｜＝ΣuxΣuy〜Ｅ［ｕx ］［ｕy ］2 
図５〜図７に、図２〜図４のフローチャートを実行すべく構成される符号化パラメータ選択部１０の装置構成を図示する。
【０１４５】
次に、これらの図５〜図７に従って、符号化パラメータ選択部１０の装置構成について説明する。
【０１４６】
符号化パラメータ選択部１０は、図２のフローチャートを実行するために、図５に示すように、符号化対象ブロックの変移量の推定値を格納する変移量記憶部１０１と、符号化対象ブロックの予測ベクトルを算出する予測ベクトル算出部１０２と、予測ベクトル算出部１０２の算出した予測ベクトルを格納する予測ベクトル記憶部１０３と、予測モードの初期値を設定する初期モード設定部１０４と、処理対象となる予測モードを設定するモード設定部１０５と、初期モード設定部１０４やモード設定部１０５の設定した予測モードを格納するモード記憶部１０６と、モード記憶部１０６の格納する予測モードで符号化した場合の符号量を算出する符号量算出部１０７と、符号量算出部１０７の算出した符号量を格納する符号量記憶部１０８と、モード記憶部１０６の格納する予測モードで符号化した場合の重み付き歪み量を算出する重み付き歪み量算出部１０９と、重み付き歪み量算出部１０９の算出した重み付き歪み量を格納する重み付き歪み量記憶部１１０と、モード記憶部１０６の格納する予測モードで符号化した場合の未定乗数を算出する未定乗数算出部１１１と、未定乗数算出部１１１の算出した未定乗数を格納する未定乗数記憶部１１２と、符号量と重み付き歪み量と未定乗数とに基づいて、モード記憶部１０６の格納する予測モードで符号化した場合のコストを算出するコスト算出部１１３と、コスト算出部１１３の算出したコストを格納するコスト記憶部１１４と、これまでに得た最小コストを格納する最小コスト記憶部１１５と、最小コスト記憶部１１５の格納する最小コストを参照しつつ、コスト算出部１１３の算出したコストがこれまでに得た最小コストであるのか否かを判定する最小コスト判定部１１６と、最適な予測モードを格納する最適モード記憶部１１７と、最小コスト判定部１１６が最小コストであることを判断したときに、モード記憶部１０６の格納する予測モードに従って最適モード記憶部１１７の格納する予測モードを更新する最適モード更新部１１８と、最小コスト判定部１１６が最小コストでないと判定したときには、直ちに予測モードの全てを処理したのか否かを判定し、最小コスト判定部１１６が最小コストであることを判定したときには、最適モード更新部１１８からの指示を受けて予測モードの全てを処理したのか否かを判定して、最終の予測モードでないことを判断するときには、モード設定部１０５に対して次の予測モードの設定を指示する最終モード判定部１１９と、最終モード判定部１１９が最終の予測モードであることを判断するときに、最適モード記憶部１１７の格納する予測モードを最適な予測モードとして出力する最適モード出力部１２０とを備える。
【０１４７】
符号化パラメータ選択部１０は、この装置構成に従って、図２のフローチャートを実行するのである。
【０１４８】
図６に、図３のフローチャートを実行する重み付き歪み量算出部１０９の装置構成を図示する。
【０１４９】
重み付き歪み量算出部１０９は、図３のフローチャートを実行するために、図６に示すように、変換係数を復号する変換係数復号部２０１と、変換係数復号部２０１の復号した変換係数を格納する復号変換係数記憶部２０２と、変換係数と復号変換係数記憶部２０２の格納する変換係数とに基づいて、変換係数の第ｋ，ｌ成分（ｋ，ｌは更新されていく）の符号化歪みの歪み量を算出する歪み量算出部２０３と、歪み量算出部２０３の算出した歪み量を格納する歪み量記憶部２０４と、現在処理している変換係数の第ｋ，ｌ成分の値ｋ，ｌを格納する変換係数インデックス記憶部２０５と、符号化対象マクロブロックの変移量の推定値を格納する変移量記憶部２０６と、修正基底画像に対して施される離散フーリエ変換により求められた修正基底画像の空間周波数成分を格納する基底画像ＤＦＴ記憶部２０７と、変移量記憶部２０６の格納する変移量と基底画像ＤＦＴ記憶部２０７の格納する修正基底画像の空間周波数成分とに基づいて、変換係数の第ｋ，ｌ成分の感度係数Ｗk,l を算出する感度係数算出部２０８と、感度係数算出部２０８の算出した感度係数を格納する感度係数記憶部２０９と、歪み量記憶部２０４の格納する歪み量と感度係数記憶部２０９の格納する感度係数とを乗算することで、重み付けの歪み量を算出する感度係数乗算部２１０と、感度係数乗算部２１０の算出した歪み量を格納する歪み量記憶部２１１と、歪み量記憶部２１１に順次格納されていく歪み量の総和を算出することで重み付き歪み量を算出する歪み量和算出部２１２とを備える。
【０１５０】
重み付き歪み量算出部１０９は、この装置構成に従って、図３のフローチャートを実行するのである。
【０１５１】
図７に、図４のフローチャートを実行する感度係数算出部２０８の装置構成を図示する。
【０１５２】
感度係数算出部２０８は、図４のフローチャートを実行するために、図７に示すように、符号化対象ブロックの変移量の推定値を格納する変移量記憶部３０１と、視覚感度関数を格納する視覚感度関数記憶部３０２と、変換行列を格納する変換行列記憶部３０３と、変換行列のサイズを格納する変換行列サイズ記憶部３０４と、変換行列記憶部３０３の格納する変換行列と変換行列サイズ記憶部３０４の格納する変換行列のサイズとに基づいて、第ｋ，ｌ番目の基底画像を算出する基底画像算出部３０５と、基底画像算出部３０５の算出した基底画像を格納する基底画像記憶部３０６と、基底画像記憶部３０６の格納する基底画像に基づいて修正基底画像を算出する修正基底画像算出部３０７と、修正基底画像算出部３０７の算出した修正基底画像を格納する修正基底画像記憶部３０８と、修正基底画像記憶部３０８の格納する修正基底画像に対して離散フーリエ変換を施すＤＦＴ処理部３０９と、ＤＦＴ処理部３０９の得た修正基底画像の空間周波数成分を格納する空間周波数成分記憶部３１０と、現在処理している空間周波数のインデックス（ｕｘ，ｕｙ：更新されていく）を格納する空間周波数インデックス記憶部３１１と、視覚感度関数と変移量と空間周波数のインデックスとに基づいて、水平方向の視覚感度関数を算出する水平方向視覚感度関数算出部３１２と、水平方向視覚感度関数算出部３１２の算出した水平方向の視覚感度関数を格納する水平方向視覚感度関数記憶部３１３と、視覚感度関数と変移量と空間周波数のインデックスとに基づいて、垂直方向の視覚感度関数を算出する垂直方向視覚感度関数算出部３１４と、垂直方向視覚感度関数算出部３１４の算出した垂直方向の視覚感度関数を格納する垂直方向視覚感度関数記憶部３１５と、修正基底画像の空間周波数成分と水平方向の感度関数と垂直方向の感度関数とを乗算する乗算部３１６と、乗算部３１６の乗算値の２乗値を累積加算する２乗値累積加算部３１７と、修正基底画像の空間周波数成分の２乗値を累積加算する２乗値累積加算部３１８と、２乗値累積加算部３１７の累積加算値と２乗値累積加算部３１８の累積加算値とを除算する除算部３１９とを備える。
【０１５３】
感度係数算出部２０８は、この装置構成に従って、図４のフローチャートを実行するのである。
【０１５４】
以上に説明した実施の形態では、符号化パラメータ選択部１０が符号化パラメータとして最適な予測モードを選択することで説明したが、本発明は、予測モード以外の符号化パラメータを選択する場合にもそのまま適用できるものである。
【０１５５】
例えば、符号化パラメータ選択部１０が符号化パラメータとして最適な量子化パラメータを選択する場合には、符号化パラメータ選択部１０は、図２のフローチャートに代えて、図８のフローチャートを実行することになる。
【０１５６】
すなわち、符号化パラメータ選択部１０は、符号化対象マクロブロックの符号化に用いる最適な量子化パラメータを選択する場合には、図８のフローチャートに示すように、まず最初に、ステップＳ４０１で、量子化パラメータの初期値（初期値となる量子化パラメータ）を設定する。
【０１５７】
続いて、ステップＳ４０２で、最小コストを格納するレジスタ（最小コストレジスタ）に対して大きな値を示す初期コストを格納するとともに、最適な量子化パラメータを格納するレジスタ（以下、最適量子化パラメータレジスタと称することがある）に対して意味のない値を格納することで、これらのレジスタを初期化する。
【０１５８】
続いて、ステップＳ４０３で、符号化対象マクロブロックの変移量（前述した（ｄx ，ｄy ））を推定する。
【０１５９】
続いて、ステップＳ４０４で、設定されている量子化パラメータ、符号化に用いる予測モード、その予測モードによる予測ベクトル、符号化対象フレーム信号、参照フレーム信号を入力として、その量子化パラメータを用いて符号化する場合の符号量を算出する。
【０１６０】
続いて、ステップＳ４０５で、最初に、ステップＳ４０３で推定した変移量に基づいて時空間視覚感度を考慮した重みを決定し、次に、設定されている量子化パラメータ、符号化に用いる予測モード、その予測モードによる予測ベクトル、符号化対象フレーム信号、参照フレーム信号を入力として、それらの入力信号とその決定した重みとに基づいて、その量子化パラメータを用いて符号化する場合の重み付き歪み量を算出する。具体的な算出方法については、図３および図４のフローチャートで説明した通りである。
【０１６１】
続いて、ステップＳ４０６で、設定されている量子化パラメータ、符号化に用いる予測モードを入力として、その量子化パラメータを用いて符号化する場合の未定乗数を算出する。
【０１６２】
続いて、ステップＳ４０７で、ステップＳ４０４で算出した符号量と、ステップＳ４０５で算出した重み付き歪み量と、ステップＳ４０６で算出した未定乗数とに基づいて、式（１１）で示されるＲ−Ｄコストを算出する。
【０１６３】
続いて、ステップＳ４０８で、その算出したＲ−Ｄコストと最小コストレジスタに格納されているコストとを比較して、その算出したＲ−Ｄコストの方が最小コストレジスタに格納されているコストよりも小さいことを判断するときには、ステップＳ４０９に進んで、その算出したＲ−Ｄコストを最小コストレジスタに格納し、続くステップＳ４１０で、設定されている量子化パラメータを最適量子化パラメータレジスタに格納する。一方、ステップＳ４０８で、算出したＲ−Ｄコストの方が最小コストレジスタに格納されているコストよりも大きいことを判断するときには、このステップＳ４０９，４１０の処理を省略する。
【０１６４】
続いて、ステップＳ４１１で、全ての量子化パラメータについて処理したのか否かを判断して、全ての量子化パラメータについて処理していないことを判断するときには、ステップＳ４１２に進んで、予め定められる順番に従って未処理の量子化パラメータの中から量子化パラメータを１つ選択することで処理対象の量子化パラメータを更新してから、ステップＳ４０４の処理に戻る。
【０１６５】
一方、ステップＳ４１１で、全ての量子化パラメータについて処理したことを判断するときには、ステップＳ４１３に進んで、最適量子化パラメータレジスタに格納されている量子化パラメータを最適な量子化パラメータとして出力して、処理を終了する。
【０１６６】
図９に、図８のフローチャートを実行すべく構成される符号化パラメータ選択部１０の装置構成を図示する。ここで、図５に示したものと同じものについては同一の記号で示してある。
【０１６７】
この図９に示すように、符号化パラメータ選択部１０は、図８のフローチャートを実行するために、前述の初期モード設定部１０４に代えて初期量子化パラメータ設定部４０４を備え、前述のモード設定部１０５に代えて量子化パラメータ設定部４０５を備え、前述のモード記憶部１０６に代えて量子化パラメータ記憶部４０６を備え、前述の最適モード記憶部１１７に代えて最適量子化パラメータ記憶部４１７を備え、前述の最適モード更新部１１８に代えて最適量子化パラメータ更新部４１８を備え、前述の最終モード判定部１１９に代えて最終量子化パラメータ判定部４１９を備え、前述の最適モード出力部１２０に代えて最適量子化パラメータ出力部４２０を備えることになる。
【０１６８】
次に、感度係数の算出手法（その２）で構成される場合について説明する。
【０１６９】
感度係数の算出手法（その２）で構成される場合には、符号化パラメータ選択部１０は、図４のフローチャートに代えて、図１０および図１１のフローチャートを実行することになる。
【０１７０】
図１０および図１１のフローチャートと図４のフローチャートとの違いは、図１０および図１１のフローチャートでは、ステップＳ３０１で、符号化対象マクロブロックの変移量（前述した（ｄx ，ｄy ））を読み込むと、続くステップＳ３０１αで、変移量ｄx ，ｄy に対応する視距離パラメータｒx ，ｒy を求めてから、ステップＳ３０２の処理に進むようにしている点である。
【０１７１】
ここで、視距離パラメータｒx ，ｒy を求め方は、前述した式（２１）で説明した通りである。
【０１７２】
そして、図１０および図１１のフローチャートでは、図４のフローチャートのステップＳ３０８−１に相当する処理を実行するステップＳ３０８α−１で、修正基底画像の空間周波数成分の第ｕx 成分および視距離パラメータのｒx に対して、視覚感度関数の対応する値を算出し、図４のフローチャートのステップＳ３０８−２に相当する処理を実行するステップＳ３０８α−２で、修正基底画像の空間周波数成分の第ｕy 成分および視距離パラメータのｒy に対して、視覚感度関数の対応する値を算出するようにしている点である。
【０１７３】
すなわち、ステップＳ３０８α−１では、前述したように、
η（ｕx ，ｒx ）＝θ（ｒx ，Ｈ）ｕx ／４Ｎ
θ（ｒx ，Ｈ）＝（１／Ｈ）×arctan（１／ｒx ）×（１８０／π）
に従って、η（ｕx ，ｒx ）を求めて、それを視覚感度関数ｇ（η）に代入することで視覚感度関数の対応する値を算出し、ステップＳ３０８α−２では、前述したように、
η（ｕy ，ｒy ）＝θ（ｒy ，Ｈ）ｕy ／４Ｎ
θ（ｒy ，Ｈ）＝（１／Ｈ）×arctan（１／ｒy ）×（１８０／π）
に従って、η（ｕy ，ｒy ）を求めて、それを視覚感度関数ｇ（η）に代入することで視覚感度関数の対応する値を算出するようにしている点である。
【０１７４】
図１２に、図１０および図１１のフローチャートを実行する感度係数算出部２０８の装置構成を図示する。
【０１７５】
図１２に示す感度係数算出部２０８と、図４のフローチャートを実行する図７に示す感度係数算出部２０８との違いは、図１２に示す感度係数算出部２０８では、変移量記憶部３０１の記憶する変移量ｄx ，ｄy に対応する視距離パラメータｒx ，ｒy を算出する視距離パラメータ算出部５００を備えるようにして、水平方向視覚感度関数算出部３１２が、視覚感度関数と視距離パラメータ算出部５００の算出した視距離パラメータｒx と空間周波数のインデックスとに基づいて、水平方向の視覚感度関数を算出し、垂直方向視覚感度関数算出部３１４が、視覚感度関数と視距離パラメータ算出部５００の算出した視距離パラメータｒy と空間周波数のインデックスとに基づいて、垂直方向の視覚感度関数を算出するようにしている点である。
【産業上の利用可能性】
【０１７６】
本発明は、フレーム間予測により得られた予測誤差信号に対して、変換符号化および量子化による情報圧縮を行うことで動画像を符号化する場合に適用できるものであり、本発明を適用することで、符号化パラメータの選択に用いるコスト関数として、主観画質を反映したものを実現できるようになることで、高能率の符号化を実現できるようになる。
【図面の簡単な説明】
【０１７７】
【図１】本発明の適用される動画像符号化装置の装置構成図である。
【図２】符号化パラメータ選択部の実行するフローチャートである。
【図３】符号化パラメータ選択部の実行するフローチャートである。
【図４】符号化パラメータ選択部の実行するフローチャートである。
【図５】符号化パラメータ選択部の装置構成図である。
【図６】符号化パラメータ選択部の装置構成図である。
【図７】符号化パラメータ選択部の装置構成図である。
【図８】符号化パラメータ選択部の実行するフローチャートである。
【図９】符号化パラメータ選択部の装置構成図である。
【図１０】符号化パラメータ選択部の実行するフローチャートである。
【図１１】符号化パラメータ選択部の実行するフローチャートである。
【図１２】符号化パラメータ選択部の装置構成図である。
【図１３】従来技術の持つ問題の説明図である。
【符号の説明】
【０１７８】
３０１  変移量記憶部
３０２  視覚感度関数記憶部
３０３  変換行列記憶部
３０４  変換行列サイズ記憶部
３０５  基底画像算出部
３０６  基底画像記憶部
３０７  修正基底画像算出部
３０８  修正基底画像記憶部
３０９  ＤＦＴ処理部
３１０  空間周波数成分記憶部
３１１  空間周波数インデックス記憶部
３１２  水平方向視覚感度関数算出部
３１３  水平方向視覚感度関数記憶部
３１４  垂直方向視覚感度関数算出部
３１５  垂直方向視覚感度関数記憶部
３１６  乗算部
３１７  ２乗値累積加算部
３１８  ２乗値累積加算部
３１９  除算部
【図１】
0004681011.tif 000024
【図２】
0004681011.tif 000025
【図３】
0004681011.tif 000026
【図４】
0004681011.tif 000027
【図５】
0004681011.tif 000028
【図６】
0004681011.tif 000029
【図７】
0004681011.tif 000030
【図８】
0004681011.tif 000031
【図９】
0004681011.tif 000032
【図１０】
0004681011.tif 000033
【図１１】
0004681011.tif 000034
【図１２】
0004681011.tif 000035
【図１３】
0004681011.tif 000036