(57)【要約】【課題】動画像符号化において，時空間コントラスト感度に基づく視覚特性により定まる主観画質を反映した歪み量を用いることにより，効率的に符号量を削減することができる符号化パラメータを選択する。【解決手段】重み付き歪み量算出部１２は，時空間周波数成分に対して視覚感度に差があることを利用し，直交変換係数に対して，空間方向のコントラスト感度と時間方向のコントラスト感度に基づく視覚感度に応じた感度係数を算出し，その感度係数を用いて重み付けされた歪み量を算出する。コスト算出部１５は，算出された重み付き歪み量，符号量および未定乗数からなるラグランジェのレート歪みコスト関数に基づき，選択対象となる符号化パラメータ毎にレート歪みコストを算出し，最小コスト判定部１６は，レート歪みコストが最小となる符号化パラメータを選択する。【選択図】図１
2008283599.tif 000002
【特許請求の範囲】
【請求項１】
フレーム内予測およびフレーム間予測により得られた予測誤差信号に対して，変換符号化および量子化による情報圧縮を行う画像符号化において符号化に用いる符号化パラメータを選択する符号化パラメータ選択方法であって，
符号化対象フレームを分割したブロック毎に，画像信号の時間的な動きを示す変移量を算出する過程と，
前記ブロックの変移量とブロック内の空間周波数分布を引数とする所定の時空間視覚感度関数に基づき，時空間視覚感度を示す感度係数を算出する過程と，
前記感度係数を用いて重み付けされた歪み量を算出する過程と，
選択対象の各符号化パラメータ毎にその符号化パラメータを選択した場合に発生する符号量を算出する過程と，
前記符号化パラメータを選択した場合のレート歪みコスト関数に用いられる未定乗数を算出する過程と，
前記算出された重み付けされた歪み量，符号量および未定乗数からなるラグランジェのレート歪みコスト関数に基づき，選択対象となる符号化パラメータ毎にレート歪みコストを算出する過程と，
前記選択対象となる符号化パラメータの中で，レート歪みコストが最小となる符号化パラメータを，符号化に用いる符号化パラメータとして選択する過程とを有する
ことを特徴とする符号化パラメータ選択方法。
【請求項２】
請求項１記載の符号化パラメータ選択方法において，
前記変移量を算出する過程では，動き推定によって推定される変移量の信頼度を決定し，決定した信頼度をもとに該変移量の下限値を算出し，算出した変移量の下限値を前記時空間視覚感度関数の引数として用いる
ことを特徴とする符号化パラメータ選択方法。
【請求項３】
請求項２記載の符号化パラメータ選択方法において，
前記変移量の信頼度を，フレーム間予測誤差およびブロック内の画像信号の平坦度に基づき決定する
ことを特徴とする符号化パラメータ選択方法。
【請求項４】
請求項１，請求項２または請求項３記載の符号化パラメータ選択方法において，
前記符号化パラメータは，動画像符号化における予測モード，動き補償ブロックサイズ，スキップモード，または量子化パラメータである
ことを特徴とする符号化パラメータ選択方法。
【請求項５】
フレーム内予測およびフレーム間予測により得られた予測誤差信号に対して，変換符号化および量子化による情報圧縮を行う画像符号化において符号化に用いる符号化パラメータを選択する符号化パラメータ選択装置であって，
符号化対象フレームを分割したブロック毎に，画像信号の時間的な動きを示す変移量を算出する手段と，
前記ブロックの変移量とブロック内の空間周波数分布を引数とする所定の時空間視覚感度関数に基づき，時空間視覚感度を示す感度係数を算出する手段と，
前記感度係数を用いて重み付けされた歪み量を算出する手段と，
選択対象の各符号化パラメータ毎にその符号化パラメータを選択した場合に発生する符号量を算出する手段と，
前記符号化パラメータを選択した場合のレート歪みコスト関数に用いられる未定乗数を算出する手段と，
前記算出された重み付けされた歪み量，符号量および未定乗数からなるラグランジェのレート歪みコスト関数に基づき，選択対象となる符号化パラメータ毎にレート歪みコストを算出する手段と，
前記選択対象となる符号化パラメータの中で，レート歪みコストが最小となる符号化パラメータを，符号化に用いる符号化パラメータとして選択する手段とを備える
ことを特徴とする符号化パラメータ選択装置。
【請求項６】
請求項５記載の符号化パラメータ選択装置において，
前記変移量を算出する手段は，動き推定によって推定される変移量の信頼度を決定し，決定した信頼度をもとに該変移量の下限値を算出し，算出した変移量の下限値を前記時空間視覚感度関数の引数として用いる
ことを特徴とする符号化パラメータ選択装置。
【請求項７】
請求項６記載の符号化パラメータ選択装置において，
前記変移量を算出する手段は，前記変移量の信頼度を，フレーム間予測誤差およびブロック内の画像信号の平坦度に基づき決定する
ことを特徴とする符号化パラメータ選択装置。
【請求項８】
請求項５，請求項６または請求項７記載の符号化パラメータ選択装置において，
前記符号化パラメータは，動画像符号化における予測モード，動き補償ブロックサイズ，スキップモード，または量子化パラメータである
ことを特徴とする符号化パラメータ選択装置。
【請求項９】
請求項１から請求項４までのいずれか１項に記載の符号化パラメータ選択方法を，コンピュータに実行させるための符号化パラメータ選択プログラム。
【請求項１０】
請求項１から請求項４までのいずれか１項に記載の符号化パラメータ選択方法を，コンピュータに実行させるための符号化パラメータ選択プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は，高能率画像信号符号化における符号化パラメータ選択方法に関し，特に時空間視覚感度を考慮して，予測モード，量子化パラメータ等の符号化パラメータを選択する符号化パラメータ選択方法，符号化パラメータ選択装置，符号化パラメータ選択プログラムおよびその記録媒体に関する。
【背景技術】
【０００２】
［二乗誤差規範のコスト関数を用いる符号化方式］
Ｈ．２６４では，イントラ予測および可変形状動き補償の導入に伴い，従来の標準化方式と比べて，予測モードの種類が増加している。このため，一定の主観画質を保持しつつ符号量を削減するには，適切な予測モードを選択する必要がある。Ｈ．２６４の参照ソフトウェアＪＭ［非特許文献１参照］では，以下のＲ−Ｄコストを最小化する予測モードを選択している。なお，以下の表記において，「＾Ｘ」（ＸはＳ，Ｒ，Ｃ等の文字）における記号＾は，「Ｘ」の上に付く記号である。
【０００３】
【数１】
2008283599.tif 000003
【０００４】
ここで，Ｓは原信号，ｑは量子化パラメータ，ｍは予測モードを表す番号であり，＾Ｓm,q はＳに対してｍを用いて予測し，ｑを用いて量子化した場合の復号信号である。また，λはモード選択に用いるラグランジェの未定乗数である。さらに，Ｄ（Ｓ，＾Ｓm,q ）は次式に示す二乗誤差和である。
【０００５】
【数２】
2008283599.tif 000004
【０００６】
ここで，ＳY ，ＳU ，ＳV は原信号のＹ，Ｕ，Ｖ成分であり，＾ＳY m,q ，＾ＳU m,q ，＾ＳV m,q は復号信号のＹ，Ｕ，Ｖ成分である。
【０００７】
Ｈ．２６４における復号信号の算出を以下に示す。なお，説明に用いる記号を「表１」にまとめる。
【０００８】
【表１】
2008283599.tif 000005
【０００９】
Ｈ．２６４の符号化処理では，モード番号ｍの予測を用いた場合の予測誤差信号Ｒm （＝Ｓ−Ｐm ）に対して，変換行列Φを用いた直交変換が次式のように施される。
【００１０】
【数３】
2008283599.tif 000006
【００１１】
Φt は変換行列Φに対する転置行列を表す。なお，変換行列Φは次式で表される整数要素の直交行列である。
【００１２】
【数４】
2008283599.tif 000007
【００１３】
次に，行列Φが非正規行列であるため，行列の正規化に相当する処理を行う。
【００１４】
Ｃn ＝Ｎ（Ｃ）                                                      （３）
さらに，Ｃに対して，量子化パラメータｑを用いた量子化が次式の通り施される。なお，ＪＭでは，正規化は量子化の中に組み込まれている。
【００１５】
Ｖ＝Ｑ（Ｃn ）                                                      （４）
一方，Ｈ．２６４の復号処理では，Ｖに対して，次式のように逆量子化を施し，変換係数の復号値を得る。
【００１６】
【数５】
2008283599.tif 000008
【００１７】
次に，＾Ｃq に対して，次式のように逆変換を施し，予測誤差の復号信号を得る。
【００１８】
【数６】
2008283599.tif 000009
【００１９】
最後に，次式により，符号化対象画像の復号信号を得る。
【００２０】
【数７】
2008283599.tif 000010
【００２１】
［主観画質を考慮した歪み量への重み付け］
前述の通り，Ｈ．２６４の参照ソフトウェアＪＭで用いられている主観画質の尺度は二乗誤差である。しかし，この二乗誤差は必ずしも，主観的な画質劣化を反映した歪み量ではない。例えば，高周波数成分の変化は低周波成分の変化に比べて，視覚的には検知されにくい。しかし，こうした視覚特性を利用していない符号化器（例えば，ＪＭ）には，符号量の効率的な削減に関して，改良の余地が残る。
【００２２】
そこで，時空間周波数成分に対して視覚感度に差があることを利用する検討がなされている。直交変換係数に対して，視覚感度に応じて空間周波数成分毎に歪み量の重み付けを行うことで，主観画質に対応した歪み量を定義する。さらに，時間方向の視覚感度も考慮して，上述の重み付けされた歪み量に対して，変移量に応じてさらに重み付けを行う。こうして時空間の視覚感度に基づき重み付けされた歪み量を，符号化パラメータ選択のコスト関数において用いる。このような主観画質を考慮したモード選択に関する具体的な手法は，非特許文献２で検討されている。
【００２３】
なお，本発明に関係する視覚感度関数の関数形を定めるパラメータについて記載している文献としては，以下の非特許文献３がある。
【非特許文献１】K.P.Lim and G.Sullivan and T.Wiegand，Text Description of Joint Model Reference Encoding Methods and Decoding Concealment Methods. Joint Video Team (JVT) of ISO/IEC MPEG and ITU-T VCEG，JVT-R95 ，Jan.，2006.
【非特許文献２】坂東幸浩，高村誠之，上倉一人，八島由幸，“主観画質を考慮したＨ．２６４／ＡＶモード選択方法”，情報処理学会  第５４回ＡＶＭ研究会，Vol. 2006, pp.35-39. 2006.
【非特許文献３】D. H. Kelly. Motion and vision. II. Stabilized spatiotemporal threshold surface. J. Opt. Soc. Am. ，vol.69，no.10 ，pp.1340-1349，Oct. 1979.
【発明の開示】
【発明が解決しようとする課題】
【００２４】
前述の非特許文献２に示されている従来法では，歪み量の重み付けには空間方向のコントラスト感度関数を用いている。時間方向の重み付けについては，変移量の大きさに応じて，空間方向のコントラスト感度関数の強度を制御する方法をとっている。これは，大きな時間変化が生じたフレームでは画質劣化が検知されにくいという時間方向のマスキング効果を利用したものであった。しかし，この従来法では，時間方向のコントラスト感度に関しては考慮されておらず，符号量の効率的な削減に関して，なお改良の余地が残る。
【００２５】
さらに，上述のような時間マスキング効果を適切に利用するためには，フレーム内の真の変移量を正確に求める必要がある。Ｈ．２６４では，フレーム内のブロック毎にブロックマッチングベースの変移量推定を行い，動き補償フレーム間予測を用いる変移量を算出する。こうした符号化器で求めた変移量は，二乗誤差と符号量の加重和であるコストを最小化する意味では，適した値ではある。しかし，画像内の真の変移量とは乖離する可能性がある。推定された変移量が真の変移量と大きく乖離している場合には，画質劣化を招く可能性がある。真の変移量は小さな値であるにもかかわらず，大きな値として変移量を推定した場合，歪み量に対する重み付けが大きく設定され，大きな歪みを許容する符号化パラメータが選択される。しかし，本来，変移量は小さく，画質劣化に対する感度の低下は期待できないため，主観画質を損なうことになる。
【００２６】
本発明はかかる事情に鑑みてなされたものであって，推定された変移量に対する信頼度に基づき，推定された変移量と真の変移量の乖離度を考慮し，時空間コントラスト感度に基づく視覚特性により定まる主観画質を反映した歪み量を用いることにより，効率的に符号量を削減する符号化パラメータ選択方法を確立することを目的とする。
【課題を解決するための手段】
【００２７】
上記課題を解決するため，本発明は，時空間周波数成分に対して視覚感度に差があることを利用し，直交変換係数に対して，空間方向のコントラスト感度と時間方向のコントラスト感度に基づく視覚感度に応じた感度係数を算出し，その感度係数を用いて重み付けされた歪み量を算出する。その算出された重み付き歪み量，符号量および未定乗数からなるラグランジェのレート歪みコスト関数に基づき，選択対象となる符号化パラメータ毎にレート歪みコストを算出し，選択対象の符号化パラメータの中で，レート歪みコストが最小となる符号化パラメータを選択する。
【００２８】
本発明は，非特許文献１に記載された従来法とは，モード選択で用いるコスト関数に違いがある。従来法のコスト関数が，二乗誤差（あるいは絶対値誤差）と符号量との加重和であるのに対して，本発明のコスト関数は，重み付けされた二乗誤差（あるいは絶対値誤差）と符号量との加重和となる。このとき，重み付けされた二乗誤差（あるいは絶対値誤差）は，通常の二乗誤差（あるいは絶対値誤差）よりも，小さな値をとる。つまり，予測モード等の符号化パラメータ選択のコストにおける歪み量を二乗誤差和よりも小さく見積もる。このため，本発明では，従来法よりも符号量の小さいモードを選択される確率が高くなり，発生符号量が小さくなる。例えば，ｓｋｉｐが選ばれ易くなる。
【００２９】
また，本発明は，非特許文献２において検討されている従来法とは，ブロックの変移量とブロック内の空間周波数分布を引数とする所定の時空間視覚感度関数に基づき，時空間視覚感度を示す感度係数を算出し，その感度係数を用いて歪み量を重み付けする点が異なる。本発明では，時空間コントラスト感度に基づく視覚特性により定まる主観画質を反映した歪み量を用いてレート歪みコストを算出することができるので，従来法よりも符号量の効率的な削減が可能になる。
【００３０】
さらに，本発明では，変移量の確からしさを考慮した信頼度を導入し，同程度の信頼度を有する変移量であれば，その大きさが最小となる変移量を重み付けに用いる。例えば，符号化器の求めた変移量がｄである場合，［ｄ−δl ，ｄ＋δu ］といった区間として表現する。歪み量の重み付けには，同区間の下限値ｄ−δl を用いる。
【００３１】
本発明では，ブロックの変移量が大きいほど，符号量は削減される。そこで，このように変移量の下限値を用いることで過剰な重み付けによる画質劣化を回避する。
【００３２】
すなわち，本発明は，フレーム内予測およびフレーム間予測により得られた予測誤差信号に対して，変換符号化および量子化による情報圧縮を行う画像符号化において符号化に用いる適切な符号化パラメータを選択するために，符号化対象フレームを分割したブロック毎に，画像信号の時間的な動きを示す変移量を算出し，そのブロックの変移量とブロック内の空間周波数分布を引数とする所定の時空間視覚感度関数に基づき，時空間視覚感度を示す感度係数を算出し，その感度係数を用いて重み付けされた歪み量を算出する。また，選択対象の各符号化パラメータ毎にその符号化パラメータを選択した場合に発生する符号量を算出するとともに，前記符号化パラメータを選択した場合のレート歪みコスト関数に用いられる未定乗数を算出する。それらの算出された重み付けされた歪み量，符号量および未定乗数からなるラグランジェのレート歪みコスト関数に基づき，選択対象となる符号化パラメータ毎にレート歪みコストを算出し，選択対象となる符号化パラメータの中で，レート歪みコストが最小となる符号化パラメータを，符号化に用いる符号化パラメータとして選択することを特徴とする。
【００３３】
また，上記発明において，前記変移量を算出する際には，動き推定によって推定される変移量の信頼度を決定し，決定した信頼度をもとに該変移量の下限値を算出し，算出した変移量の下限値を前記時空間視覚感度関数の引数として用いることを特徴とする。
【００３４】
さらに，本発明は，前記変移量の信頼度を，フレーム間予測誤差およびブロック内の画像信号の平坦度に基づき決定することを特徴とする。
【００３５】
前記符号化パラメータの例としては，動画像符号化における予測モード，動き補償ブロックサイズ，スキップモード，または量子化パラメータがある。
【発明の効果】
【００３６】
本発明では，符号化歪みの主観画質への寄与の度合いを考慮して，モード選択のＲ−Ｄコストを適応的に切り替える。これにより，符号化歪みの主観画質への寄与が小さい領域に対しては，符号量削減を重視するような重み付けがＲ−Ｄコストに加えられる。この場合，視覚的には検知され難い領域に対して符号量の削減を行うため，復号画像の主観画質を保ちながら，効率的に符号量を削減できる。
【発明を実施するための最良の形態】
【００３７】
以下，本発明の具体的な実施形態を詳しく説明する。
【００３８】
［符号化パラメータ選択装置の概要］
図１は，本発明に係る符号化パラメータ選択装置の構成例を示す。図１において，１は符号化パラメータ選択装置，１０は選択対象符号化パラメータ設定部，１１は変移量下限値算出部，１２は重み付き歪み量算出部，１３は符号量算出部，１４は未定乗数算出部，１５はコスト算出部，１６は最小コスト判定部を表す。
【００３９】
符号化パラメータ選択装置１は，動画像の符号化にあたって，動き補償ブロックサイズ，スキップモード，量子化パラメータ，静止画像符号化における量子化パラメータ，またはイントラ予測モード等の符号化パラメータを，時空間視覚感度を考慮して選択する装置である。符号化パラメータ選択装置１において，特に従来技術と異なる部分は，重み付き歪み量算出部１２と変移量下限値算出部１１の部分である。
【００４０】
予測モード等の符号化パラメータの選択では，一般に歪み量，符号量，未定乗数からなるラグランジェのコスト関数に基づき，最小コストとなる符号化パラメータを選択するが，本発明では，時空間視覚感度を考慮して重み付けされた歪み量を用いてコスト関数を設定する。そのため，重み付き歪み量算出部１２は，視覚感度関数，空間周波数，変移量に基づき周波数毎に重み付けされた二乗誤差（または絶対値和）として得られる歪み量を算出する。
【００４１】
変移量下限値算出部１１では，重み付き歪み量算出部１２が重み付き歪み量を算出するにあたって，変移量の確からしさを考慮した信頼度を導入し，同程度の信頼度を有する変移量であれば，その大きさが最小となる変移量を選択して重み付き歪み量算出部１２へ送る。
【００４２】
全体の動作は以下の通りである。選択対象符号化パラメータ設定部１０は，例えば符号化パラメータが予測モードの場合，選択対象の予測モードの一つを順次設定し，重み付き歪み量算出部１２，符号量算出部１３，未定乗数算出部１４へ送る。重み付き歪み量算出部１２は，フレーム信号と，設定された予測モードと，変移量下限値算出部１１が算出した変移量の下限値を用いて，重み付けされた歪み量を算出する。符号量算出部１３は，設定された予測モードを含む符号化パラメータのもとで発生する符号量を算出する。未定乗数算出部１４は，予測モード，量子化パラメータなど符号化パラメータを入力し，ラグランジェの未定乗数を算出する。
【００４３】
コスト算出部１５は，重み付き歪み量算出部１２，符号量算出部１３，未定乗数算出部１４がそれぞれ算出した重み付き歪み量，符号量，未定乗数によって規定されるコスト関数から，選択対象符号化パラメータ設定部１０が設定した符号化パラメータを用いた場合のコストを算出する。最小コスト判定部１６は，選択対象符号化パラメータ設定部１０が順次設定した符号化パラメータの中で，コストが最も小さい符号化パラメータを選択し，その符号化パラメータを符号化パラメータ選択装置１の出力とする。
【００４４】
符号化パラメータとして予測モードを選択するのではなく，量子化ステップ幅などの量子化パラメータ，動き補償ブロックサイズ，その他の符号化パラメータの選択を，以上の予測モードの選択の例と同様に，符号化パラメータ選択装置１が行うように構成することもできる。
【００４５】
時空間視覚感度を考慮して重み付けされた歪み量を用いてコスト関数を設定することによって，従来法に比べて，同等の主観画質を実現するために必要な符号量を低減することができる。特に，本発明では，ブロックの変移量が大きいほど，符号量の削減の効果が大きい。また，変移量下限値算出部１１によって変移量の下限値を算出し，同程度の信頼度を有する変移量であれば最小の変移量を重み付き歪み量の算出に用いることにより，過度の符号量の削減を抑止し，主観画質が極端に劣化することを回避することができる。
【００４６】
次に，重み付き歪み量算出部１２における重み付き歪み量の算出方法の具体例，および変移量下限値算出部１１における変移量の下限値の算出方法の具体例を説明する。
【００４７】
［量子化誤差信号の重み付け］
量子化誤差信号に対する視覚感度に基づく重み付けについて，以下，説明する。本発明では，次式のＲ−Ｄコストを用いる。
【００４８】
【数８】
2008283599.tif 000011
【００４９】
ここで，Ｃm はモード番号ｍを用いた場合の予測残差信号Ｒm に対する変換係数であり，＾Ｃm,q はＣm を量子化パラメータｑで量子化・逆量子化して得られる係数の復号値である。このＲ−Ｄコストの計算に用いる歪み量として，以下の重み付き歪み量を用いる。
【００５０】
【数９】
2008283599.tif 000012
【００５１】
ここで，１６／Ｎおよび８／Ｎを囲む記号は，小数部分の切り捨てを意味する。ＣY(i) m［ｋ，ｌ］，ＣU(i) m［ｋ，ｌ］，ＣV(i) m［ｋ，ｌ］は，Ｃm の要素であり，マクロブロック（Ｙ成分の場合，１６×１６［画素］，Ｕ，Ｖ成分の場合，８×８［画素］）内のサブブロック（Ｎ×Ｎ［画素］）のうち，ラスター走査においてｉ番目に走査されるサブブロックに含まれる変換係数である。また，＾ＣY(i) m,q［ｋ，ｌ］，＾ＣU(i) m,q［ｋ，ｌ］，＾ＣV(i) m,q［ｋ，ｌ］は＾Ｃm,q の要素であり，マクロブロック（Ｙ成分の場合，１６×１６［画素］，Ｕ，Ｖ成分の場合，８×８［画素］）内のサブブロック（Ｎ×Ｎ［画素］）のうち，ラスター走査においてｉ番目に走査されるサブブロックに含まれる復号変換係数である。
【００５２】
さらに，ＷY k,l ，ＷU k,l ，ＷV k,l は１以下に設定される重み係数であり，以下では，感度係数と呼ぶ。感度係数の算出については，以下で説明する［感度係数の算出］にて詳述する。上式において，ＷY k,l ，ＷU k,l ，ＷV k,l を小さな値に設定することは，量子化歪みＤ（Ｃm ，＾Ｃm,q ）を小さく見積もることに相当する。なお，直交変換の正規性より，すべてのｋ，ｌに対して，ＷY k,l ＝１，ＷU k,l ＝１，ＷV k,l ＝１とすれば，上述の重み付き歪み量は二乗誤差和と等価となる。
【００５３】
［感度係数の算出］
本発明では，各ブロック内の歪み量に対して，時空間視覚感度関数に基づく重み付けを行う。この重み付けの係数の算出において，入力となるのは，変換行列と変移量である。なお，以下では，縦幅Ｈの画像を視距離ｒＨにおいて観測する場合を考える。ｒを視距離パラメータと呼ぶ。
【００５４】
このマクロブロックの変移が（ｄx ，ｄy ）と推定される場合，時間周波数は，縦幅Ｈの画像を視距離ｒＨにおいて観測する場合，単位時間当たりの角度の変化量として，次式により与えられる。
【００５５】
【数１０】
2008283599.tif 000013
【００５６】
ここで，ｆr はフレームレートである。なお，（ｄx ，ｄy ）の推定方法については，後の［変移量の変動区間に基づく下限値の算出］の項にて詳述する。
【００５７】
変換行列Φ（Ｎ×Ｎ行列）の第ｋ列ベクトル（Ｎ次元ベクトル）をφk とすると，同行列に対する基底画像は，次式より得られる。なお，Ｈ．２６４の場合，Ｎとして取り得る値は４または８のいずれかである。
【００５８】
ｆk,l （ｘ，ｙ）＝φk ［ｙ］φl ［ｘ］t       （０≦ｘ，ｙ≦Ｎ−１）
ここで，φl t はφl の転置ベクトルである。各基底画像ｆk,l （ｘ，ｙ）（０≦ｘ，ｙ≦Ｎ−１）に対して，次式に示す離散フーリエ変換を施し，フーリエ係数を得る。なお，以下ではＮ＝２m とおく。
【００５９】
【数１１】
2008283599.tif 000014
【００６０】
ここで，ｊは虚数単位である。
【００６１】
上記のフーリエ係数Ｆk,l （ｕ，ｖ）（０≦ｕ≦Ｎ−１，０≦ｖ≦Ｎ−１）に対して，以下の重み付けを行う。
【００６２】
【数１２】
2008283599.tif 000015
【００６３】
以下，〜Ｆk,l （ｕ，ｖ，ω）〔〜はＦの上に付く記号（以下，他も同様）〕について，説明する。ここで，ｇ（η，ω）は視覚感度関数として知られる関数であり，次式のような関数形で表される。
【００６４】
【数１３】
2008283599.tif 000016
【００６５】
ここで，ａ，ｂ，ｃ，ｄは，視覚感度関数の関数形を定めるパラメータ（以後，モデルパラメータと呼ぶ）であり，例えば，次のような値をとる［非特許文献３参照］。
【００６６】
（ａ，ｂ，ｃ，ｄ）＝（６．１，７．３１，２，４５．９）
また，式（１２）において，ηは以下の値とする。
【００６７】
【数１４】
2008283599.tif 000017
【００６８】
η0 は，以下のようにｇ（η）が最大値をとる引数である。
【００６９】
【数１５】
2008283599.tif 000018
【００７０】
θ（ｒ，Ｈ）は，縦幅Ｈの画像を視距離ｒＨにおいて観測する場合の一画素あたりの角度であり，次式により与えられる。
【００７１】
【数１６】
2008283599.tif 000019
【００７２】
基底画像ｆk,l （ｘ，ｙ）（０≦ｘ，ｙ≦Ｎ−１）に対する感度係数を，次式の電力比として定義する。
【００７３】
【数１７】
2008283599.tif 000020
【００７４】
感度係数は，変移量が与えられれば，符号化対象画像とは独立に求めることが可能である。このため，動き推定の探索範囲内の候補ベクトルに対して，符号化前に予め感度係数を求めることができる。この感度係数をルックアップテーブルに格納すれば，符号化時の感度係数算出のための演算は省略することができる。なお，ＷU k,l （ω），ＷV k,l （ω）についても同様に求めることができる。このとき，輝度成分と色差成分でモデルパラメータを変更することも可能である。
【００７５】
［変移量の変動区間に基づく下限値の算出］
本発明では，変移量を区間で表現し，歪み量の重み付けには，同区間の下限値を用いる。推定された変移量が（ｄx ，ｄy ）である場合，［ｄx −δxl，ｄx ＋δxu］×［ｄy −δyl，ｄy ＋δyu］なる区間として表現する。以下，その区間の設定法について述べる。
【００７６】
本処理の入力は，符号化対象のマクロブロック内の画素値，参照フレームにおける同マクロブロックに対する動き推定の探索範囲の画素値，変移量の推定値，である。例えば，変移量の推定値としては，符号化器の出力する値を用いることができる。変移量の信頼度を２つの尺度（フレーム間予測誤差および平坦度）を用いて評価する。
【００７７】
＜変動区間の下限値算出の尺度＞
この方法では，まず，符号化対象フレームｆt （ｘ，ｙ）（０≦ｘ≦Ｘ−１，０≦ｙ≦Ｙ−１）を複数の領域に分割し，参照フレームを直前フレームとした場合，領域毎に動き補償を用いた次のようなフレーム間予測を行う。
【００７８】
【数１８】
2008283599.tif 000021
【００７９】
ここで，Ｂi は第ｉ番目の領域である。また，（ｄx ，ｄy ）は符号化器により選ばれた動きベクトルである。この動きベクトルの推定方法としては，例えば，探索範囲Ｒi において，領域Ｂi 内での予測誤差を最小化する動きベクトルを求めるのであれば，動きベクトル（〜ｄx ，〜ｄy ）は次式となる。
【００８０】
【数１９】
2008283599.tif 000022
【００８１】
探索領域内の各点における予測誤差Ｅ［ｄx ，ｄy ］，および平坦度Ｖ［ｄx ，ｄy ］を各々，以下のように表す。
【００８２】
【数２０】
2008283599.tif 000023
【００８３】
ここで，μt-1 （ｄx ，ｄy ）は次式とする。
【００８４】
【数２１】
2008283599.tif 000024
【００８５】
ここで，｜Ｂi ｜はＢi 内の画素数である。
【００８６】
＜下限値の設定＞
上記により求めた予測誤差を用いて，以下のように予測誤差マップＭe ［ｄx ，ｄy ］を作成する。
【００８７】
【数２２】
2008283599.tif 000025
【００８８】
さらに，以下のように，予測誤差マップを更新する。
【００８９】
Ｍe ［ｄx ，ｄy ］＝２
（Ｍe ［ｄx ＋ｉx ，ｄy ］，Ｍe ［ｄx ，ｄy ＋ｉy ］，Ｍe ［ｄx ＋ｉx ，ｄy ＋ｉy ］のいずれかが１あるいは，２となる場合）                            （２２）
ここで，ｉx ，ｉy は，ベクトル（ｄx ，ｄy ）−（〜ｄx ，〜ｄy ）の水平方向，および垂直方向の単位ベクトルであり，次式のように定まる。
【００９０】
【数２３】
2008283599.tif 000026
【００９１】
（ｄx ＋ｉx ，ｄy ），（ｄx ，ｄy ＋ｉy ），（ｄx ＋ｉx ，ｄy ＋ｉy ）は，当該位置から静止位置（変移量が零ベクトルの位置）方向に位置する画素位置であり，以下では，静止方向隣接位置と呼ぶ。また，前記の通り求めた平坦度を用いて，以下のように平坦度マップＶe ［ｖ］を作成する。
【００９２】
【数２４】
2008283599.tif 000027
【００９３】
さらに，以下のように，平坦度マップを更新する。
【００９４】
Ｍv ［ｄx ，ｄy ］＝２
（Ｍv ［ｄx ＋ｉx ，ｄy ］，Ｍv ［ｄx ，ｄy ＋ｉy ］，Ｍv ［ｄx ＋ｉx ，ｄy ＋ｉy ］のいずれかが１あるいは，２となる場合）                            （２６）
Ｍe ［ｄx ，ｄy ］＝２および，Ｍv ［ｄx ，ｄy ］＝２を満たす（ｄx ，ｄy ）の中でノルムが最小となるベクトルを，感度関数の算出に用いる変移量（＾ｄx ，＾ｄy ）として用いる。ここで，ベクトルのノルムは，次式で定義する。
【００９５】
｜ｄx ｜2 ＋｜ｄy ｜2 
［実施形態（モード選択）：フローチャート］
本発明の符号化パラメータ選択処理の実施形態について，モード選択の場合を例にとり，図面（図２）を参照して説明する。
【００９６】
ステップＳ１０：予測モードの初期値をレジスタＸに書き込む。最小コストを格納するレジスタＣ，最適モードを格納するレジスタＭを各々，初期値に設定する。
【００９７】
ステップＳ１１：当該マクロブロックの変移量を推定する。推定手法は，外部より与えられるものとする。例えば，Ｈ．２６４の参照ソフトウェアＪＭが算出する動きベクトルを，以下で使用する変移量の推定値として用いることも可能である。あるいは，式（１７）に従って，算出することも可能である。さらに，このとき，探索領域中の各参照位置におけるフレーム間予測誤差値（式（１８）により求まる）は，別途，ルックアップテーブルに格納するものとする。
【００９８】
ステップＳ１２：ステップＳ１１で出力された変移量の推定値，当該マクロブロックの画素値，参照フレームにおける探索範囲内の画素値を入力として，変移量の変動区間の下限値を算出する。本処理の詳細については，図３を用いて詳述する。
【００９９】
ステップＳ１３：予測モード，量子化パラメータ，符号化対象信号，参照信号を入力とし，与えられた予測モードを用いた場合の符号量を算出し，算出した値をレジスタに書き出す。具体的な算出方法は，参照ソフトウェアＪＭの方法に従う。
【０１００】
ステップＳ１４：予測モード，量子化パラメータ，符号化対象信号，参照信号を入力とし，与えられた予測モードを用いた場合の重み付き歪み量を算出し，算出した値をレジスタに書き出す。本処理の詳細については図４を用いて後述する。
【０１０１】
ステップＳ１５：予測モード，量子化パラメータを入力とし，未定乗数を算出し，算出した値をレジスタに書き出す。具体的な算出方法は，参照ソフトウェアＪＭの方法に従う。
【０１０２】
ステップＳ１６：符号量，重み付き歪み量，未定乗数を入力とし，Ｒ−Ｄコストを算出し，算出した値をレジスタに書き出す。具体的な算出方法は，式（８）に従う。
【０１０３】
ステップＳ１７：ステップＳ１６で算出したＲ−Ｄコスト，およびレジスタＣの値を入力とし，ステップＳ１６で算出したＲ−ＤコストがレジスタＣの値よりも小さいか否かの判定を行い，判定結果である真偽値を出力する。出力が真値の場合，ステップＳ１８に進む。出力が偽値の場合，ステップＳ２１の処理に移る。
【０１０４】
ステップＳ１８：ステップＳ１６で算出したＲ−ＤコストをレジスタＣに書き出す。
【０１０５】
ステップＳ１９：レジスタＸに格納されているモードをレジスタＭに書き出す。
【０１０６】
ステップＳ２０：全ての予測モードについて以上の処理を終えたかどうかを判定し，まだ処理が終えていなければ，ステップＳ２１へ進む。処理を終えたならば，ステップＳ１９においてレジスタＭに格納したモードを，最適な予測モードとして出力する。
【０１０７】
ステップＳ２１：レジスタＸに次の予測モードを表す値を書き出す。レジスタＸに書き出す予測モードの順番は予め与えられるものとする。その後，ステップＳ１３以降の処理を同様に繰り返す。
【０１０８】
図２におけるステップＳ１２の処理，すなわち変移量の下限値を推定する処理の流れを図３に示す。
【０１０９】
ステップＳ３０：ステップＳ１１で求めた推定変移量を読み込む。
【０１１０】
ステップＳ３１：探索領域中の各位置におけるフレーム間予測誤差を格納したルックアップテーブル，および推定変移量を入力として，推定変移量の位置の信号を参照した場合のフレーム間予測誤差を基準予測誤差としてルックアップテーブルから読み込む。
【０１１１】
ステップＳ３２：探索領域中の各位置におけるフレーム間予測誤差を格納したルックアップテーブル，探索領域中の位置情報を入力として，同位置の信号を参照した場合のフレーム間予測誤差をルックアップテーブルから読み込む。
【０１１２】
ステップＳ３３：バイアス項の値，ステップＳ３１で出力した基準予測誤差，およびステップＳ３２で出力した当該位置の予測誤差を入力として，基準予測誤差とバイアス項の和と当該位置の予測誤差の大小比較を行い，前者の方が小さい場合，ステップＳ３４の処理に移り，当該位置の予測誤差マップに１を格納する。そうでなければ，ステップＳ３５の処理に移り，当該位置の予測誤差マップに０を格納する。
【０１１３】
ステップＳ３６：ステップＳ３２からステップＳ３５までの処理を探索領域内の全位置について繰り返す。
【０１１４】
ステップＳ３７，Ｓ３８：予測誤差マップ，および，探索領域中の位置情報を入力として，当該位置に対する静止方向隣接位置における予測誤差マップの値が１または２であるかの判定を行い，この判定条件を満たす場合，ステップＳ３８に移り，当該位置に対する予測誤差マップの値を２に更新する。
【０１１５】
ステップＳ３９：ステップＳ３７，Ｓ３８の処理を探索領域内の全位置について繰り返す。
【０１１６】
ステップＳ４０：参照フレームの探索領域の画素値を入力として読み込み，各参照位置に対する平坦度を算出し，ルックアップテーブルに格納するものとする。なお，平坦度の算出方法は式（１９）に従うものとする。
【０１１７】
ステップＳ４１：ステップＳ４０で出力した探索領域中の各位置における平坦度を格納したルックアップテーブル，および推定変移量を入力として，推定変移量の位置の信号の平坦度を基準平坦度としてルックアップテーブルから読み込む。
【０１１８】
ステップＳ４２：ステップＳ４０で出力した探索領域中の各位置における平坦度を格納したルックアップテーブル，探索領域中の位置情報を入力として，同位置の信号を参照した場合の平坦度をルックアップテーブルから読み込む。
【０１１９】
ステップＳ４３：バイアス項の値，ステップＳ４１で出力した基準平坦度，およびステップＳ４２で出力した当該位置の平坦度を入力として，基準平坦度とバイアス項の和と当該位置の平坦度の大小比較を行い，前者の方が小さい場合，ステップＳ４４の処理に移り，当該位置の平坦度マップに１を格納する。そうでなければ，ステップＳ４５の処理に移り，当該位置の平坦度マップに０を格納する。
【０１２０】
ステップＳ４６：ステップＳ４２からステップＳ４５までの処理を探索領域内の全位置について繰り返す。
【０１２１】
ステップＳ４７：平坦度マップ，および，探索領域中の位置情報を入力として，当該位置に対する静止方向隣接位置における平坦度マップの値が１または２であるかの判定を行い，この判定条件を満たす場合，ステップＳ４８に移り，当該位置に対する平坦度マップの値を２に更新する。
【０１２２】
ステップＳ４９：ステップＳ４７，Ｓ４８の処理を探索領域内の全位置について繰り返す。
【０１２３】
ステップＳ５０：予測誤差マップ，および平坦度マップを入力として，両マップにおいて２の値をとる位置の中で，ベクトルの二乗ノルムが最小となる位置を検出し，同位置の情報を出力する。
【０１２４】
図２におけるステップＳ１４の処理，すなわち重み付き歪み量を算出する処理の流れを図４に示す。
【０１２５】
ステップＳ６０：変換行列Φにより得られた変換係数を入力とし，正規化処理を行い，正規化後の変換係数を一次元配列としてレジスタに書き出す。なお，２次元データである変換係数を１次元データとする走査方法については外部から与えられるものとする。例えば，ＭＰＥＧ−２等で用いられているｚｉｇ−ｚａｇ走査はその一例である。これは，以下のステップＳ６１，Ｓ６３においても同様である。
【０１２６】
ステップＳ６１：変換係数に対する量子化結果を入力とし，逆量子化処理を行い，変換係数の復号値を一次元配列としてレジスタに書き出す。
【０１２７】
ステップＳ６２：変移量の変動区間の下限値として，ステップＳ１２で出力した値を読み込む。
【０１２８】
ステップＳ６３：ステップＳ６２で読み込んだ値を変移量として入力し，感度係数を算出する処理を行い，算出された感度係数を一次元配列としてレジスタに書き出す。具体的な算出方法は，式（１６）に従う。
【０１２９】
ステップＳ６４：繰り返し回数をカウントするために用いるカウンタｉの値を０に初期化する。レジスタＳの値を０に初期化する。
【０１３０】
ステップＳ６５：ステップＳ６０で出力された正規化後の変換係数の第ｉ成分，およびステップＳ６１で出力された変換係数の復号値の第ｉ成分を入力とし，両者の差分を求め，同差分値を二乗する処理を行い，算出した二乗誤差をレジスタに書き出す。
【０１３１】
ステップＳ６６：ステップＳ６５で出力した二乗誤差，感度係数の第ｉ成分を入力とし，二乗誤差に感度係数を乗じる処理を行い，乗算結果をレジスタに書き出す。
【０１３２】
ステップＳ６７：ステップＳ６６で算出した値，レジスタＳの値を入力として，両者を加算し，加算結果をレジスタＳに書き出す。
【０１３３】
ステップＳ６８，Ｓ６９：以上のステップＳ６５〜Ｓ６７の処理を，カウンタｉに１を加算しながら変換係数の全成分について行う。
【０１３４】
［実施形態（モード選択）：装置構成図］
本発明の装置構成図を図５に示す。なお，ここでは，符号化パラメータの選択例として，モード選択の例を示す。
【０１３５】
変移量記憶部１０１：外部から読み込んだ当該マクロブロックの推定変移量を格納する。具体的な推定方法は，外部より与えられるものとする。例えば，参照ソフトウェアＪＭに実装される動きベクトルの推定方法は，その一例である。あるいは，式（１７）に従って，算出することも可能である。
【０１３６】
変移量下限値推定部１０２：変移量記憶部１０１から読み込んだ変移量の推定値，当該マクロブロックの画素値，参照フレームにおける探索範囲内の画素値を入力として，変移量の変動区間の下限値を算出し，変移量下限値記憶部１０３に格納する。本処理の詳細については，図６を用いて詳述する。
【０１３７】
初期モード設定部１０４：予測モードの初期値をモード記憶部１０５に書き出す。
【０１３８】
符号量算出部１０６：予測モード，量子化パラメータ，符号化対象信号，参照信号を入力とし，符号化した場合の符号量を算出し，算出した値を符号量記憶部１０７に書き出す。具体的な算出方法は，参照ソフトウェアＪＭの方法に従う。
【０１３９】
重み付き歪み量算出部１０８：予測モード，量子化パラメータ，符号化対象信号，参照信号を入力とし，符号化した場合の重み付き歪み量を算出し，算出した値を重み付き歪み量記憶部１０９に書き出す。本処理の詳細については図７を用いて後述する。
【０１４０】
未定乗数算出部１１０：予測モード，量子化パラメータを入力とし，未定乗数を算出し，算出した値を未定乗数記憶部１１１に書き出す。具体的な算出方法は，参照ソフトウェアＪＭの方法に従う。
【０１４１】
コスト算出部１１２：符号量記憶部１０７，重み付き歪み量記憶部１０９，未定乗数記憶部１１１から読み出した符号量，重み付き歪み量，未定乗数を入力とし，Ｒ−Ｄコストを算出し，算出した値をコスト記憶部１１３に書き出す。具体的な算出方法は，式（８）に従う。
【０１４２】
最小コスト判定部１１４：コスト記憶部１１３，最小コスト記憶部１１５から読み出したＲ−Ｄコスト，最小コストを入力とし，Ｒ−Ｄコストが最小コストよりも小さいか否かの判定を行い，判定結果である真偽値を出力する。出力が真値の場合，コスト記憶部１１３から読み出したＲ−Ｄコストを最小コスト記憶部１１５に書き出し，最適モード更新部１１６に進む。出力が偽値の場合，最終モード判定部１１８の処理に移る。
【０１４３】
最適モード更新部１１６：最小コスト記憶部１１５に書き出したＲ−Ｄコスト算出に用いたモードを最適モード記憶部１１７に書き出す。
【０１４４】
最終モード判定部１１８，モード設定部１１９，最適モード出力部１２０：以上の処理を全ての予測モードについて行う。
【０１４５】
図５における変移量下限値推定部１０２の処理ブロックの詳細を図６に示す。
【０１４６】
推定変移量記憶部２００：当該ブロックの推定変移量を格納する。ここで，格納されるのは，図５の変移量記憶部１０１に格納された値と同じ値である。
【０１４７】
探索範囲内予測誤差記憶部２０１：当該ブロックに対する参照フレームの探索領域中の各参照位置におけるフレーム間予測誤差値（式（１８）により求まる）を格納する。
【０１４８】
基準予測誤差記憶部２０２：推定変移量記憶部２００の推定変移量，および探索範囲内予測誤差記憶部２０１の探索領域中の各位置におけるフレーム間予測誤差値を入力として，推定変移量の位置の信号を参照した場合のフレーム間予測誤差を基準予測誤差として読み込み，格納する。
【０１４９】
加算処理部２０４：バイアス記憶部２０３のバイアス項の値，基準予測誤差記憶部２０２の基準予測誤差を入力として，基準予測誤差とバイアス項の値を加算する処理を行い，加算結果を加算値記憶部２０５に書き出す。
【０１５０】
予測誤差記憶部２０６：探索範囲内予測誤差記憶部２０１から探索領域中の当該位置の信号を参照した場合のフレーム間予測誤差を読み込み，格納する。
【０１５１】
大小比較部２０７：加算値記憶部２０５のバイアス項と基準予測誤差の和，および予測誤差記憶部２０６の当該位置の予測誤差を入力として，両者の大小比較を行い，前者の方が小さい場合，当該位置の予測誤差マップを１として，そうでなければ，当該位置の予測誤差マップを０として，予測誤差マップ記憶部２０８に書き出す。
【０１５２】
最終画素判定部２０９：予測誤差記憶部２０６から予測誤差マップ記憶部２０８までの処理を探索領域内の全位置について繰り返す。
【０１５３】
静止方向隣接位置算出部２１０：当該位置，推定変移量記憶部２００の推定変移量を入力として，静止方向隣接位置を算出し，静止方向隣接位置記憶部２１１に書き出す。
【０１５４】
予測誤差マップ更新部２１２：予測誤差マップ記憶部２０８の予測誤差マップ，および，探索領域中の位置情報を入力として，当該位置に対する静止方向隣接位置における予測誤差マップの値が１または２であるかの判定を行い，この判定条件を満たす場合，当該位置に対する予測誤差マップの値を２に更新し，予測誤差マップの値を予測誤差マップ記憶部２１３に書き出す。
【０１５５】
最終画素判定部２１４：静止方向隣接位置算出部２１０から予測誤差マップ記憶部２１３の処理を探索領域内の全位置について繰り返す。
【０１５６】
探索範囲内平坦度記憶部２１６：当該ブロックに対する参照フレームの探索領域中の各参照位置における平坦度（式（１９）により求まる）を格納する。
【０１５７】
基準平坦度記憶部２１７：推定変移量記憶部２００の推定変移量，および探索範囲内平坦度記憶部２１６の探索領域中の各位置における平坦度を入力として，推定変移量の位置の信号を参照した場合の平坦度を基準平坦度として読み込み，格納する。
【０１５８】
加算処理部２１９：バイアス記憶部２１８のバイアス項の値，基準平坦度記憶部２１７の基準平坦度を入力として，基準平坦度とバイアス項の値を加算する処理を行い，加算結果を加算値記憶部２２０に書き出す。
【０１５９】
平坦度記憶部２２１：探索範囲内平坦度記憶部２１６から，探索領域中の当該位置の信号を参照した場合の平坦度を読み込み，格納する。
【０１６０】
大小比較部２２２：加算値記憶部２２０のバイアス項と基準平坦度の和，および平坦度記憶部２２１の当該位置の平坦度を入力として，両者の大小比較を行い，前者の方が小さい場合，当該位置の平坦度マップを１として，そうでなければ，当該位置の平坦度マップを０として，平坦度マップ記憶部２２３に書き出す。
【０１６１】
最終画素判定部２２４：平坦度記憶部２２１から平坦度マップ記憶部２２３までの処理を探索領域内の全位置について繰り返す。
【０１６２】
静止方向隣接位置算出部２２５：当該位置，推定変移量記憶部２００の推定変移量を入力として，静止方向隣接位置を算出し，静止方向隣接位置記憶部２２６に書き出す。
【０１６３】
平坦度マップ更新部２２７：平坦度マップ記憶部２２３の平坦度マップ，および，探索領域中の位置情報を入力として，当該位置に対する静止方向隣接位置における平坦度マップの値が１または２であるかの判定を行い，この判定条件を満たす場合，当該位置に対する平坦度マップの値を２に更新し，平坦度マップの値を平坦度マップ記憶部２２８に書き出す。
【０１６４】
最終画素判定部２２９：静止方向隣接位置算出部２２５から平坦度マップ記憶部２２８の処理を探索領域内の全位置について繰り返す。
【０１６５】
予測誤差マップ分類処理部２３０：予測誤差マップ記憶部２１３の予測誤差マップを入力として，同マップにおいて２の値をとる位置に対応するベクトルの二乗ノルムを算出し，位置情報と共にベクトルノルム記憶部２３１に書き出す。
【０１６６】
平坦度マップ分類処理部２３２：平坦度マップ記憶部２２８の平坦度マップを入力として，同マップにおいて２の値をとる位置に対応するベクトルの二乗ノルムを算出し，位置情報と共にベクトルノルム記憶部２３３に書き出す。
【０１６７】
最小ノルム検出部２３４：ベクトルノルム記憶部２３１およびベクトルノルム記憶部２３３のベクトルのノルムを入力として，二乗ノルムが最小となる位置を検出し，同位置の情報を出力する。
【０１６８】
図５における重み付き歪み量算出部１０８の処理ブロックの詳細を図７に示す。
【０１６９】
変換係数正規化部３０１：変換行列Φにより得られた変換係数を入力とし，正規化処理を行い，正規化後の変換係数を正規化変換係数記憶部３０２に書き出す。
【０１７０】
変換係数復号部３０３：変換係数に対する量子化結果を入力とし，逆量子化処理を行い，変換係数の復号値を復号変換係数記憶部３０４に書き出す。
【０１７１】
歪み量算出部３０５：正規化変換係数記憶部３０２，復号変換係数記憶部３０４から読み出した正規化後の変換係数および変換係数の復号値を入力とし，各成分毎に両者の差分を求め，同差分値を二乗する処理を行い，算出した二乗誤差を歪み量記憶部３０６に書き出す。
【０１７２】
感度係数乗算部３０７：感度係数記憶部３１０から読み出した感度係数，歪み量記憶部３０６から読み出した二乗誤差を入力とし，成分毎に二乗誤差に感度係数を乗じる処理を行い，得られた重み付き歪み量を歪み量記憶部３１１に書き出す。
【０１７３】
変移量下限値記憶部３０８：図５の変移量下限値記憶部１０３から読み出した変移量の変動区間での下限値を格納する。
【０１７４】
感度係数算出部３０９：変移量下限値記憶部３０８から読み出した変移量を入力として，感度係数を算出する処理を行い，算出された感度係数を感度係数記憶部３１０に書き出す。具体的な算出方法は，式（１６）に従う。
【０１７５】
歪み量和算出部３１２：歪み量記憶部３１１から読み出した各成分の重み付き歪み量を入力とし，全ての成分についての合計和を算出する。
【０１７６】
なお，上述の実施例では，モード選択の例を示しているが，本発明は，予測モードに限らず，歪み量を含むコスト関数に基づき選択される符号化パラメータ（例えば，量子化パラメータ）に対しても，同様に適用することができる。つまり，以上の実施例は，式（８）におけるｍを選択する例を示したものである。同様にして，ｑの選択にも使用できる。その場合，図２を図８に変更し，図５を図９へ変更する。以下，図８および図９に示す実施形態について説明する。
【０１７７】
［実施形態（量子化パラメータ選択）：フローチャート］
本発明の符号化パラメータ選択処理の実施形態について，量子化パラメータ選択の場合を例にとり，図８に従って説明する。なお，他の符号化パラメータの場合にも同様な方法により選択することができる。
【０１７８】
ステップＳ１１０：量子化パラメータの初期値をレジスタＸに書き込む。最小コストを格納するレジスタＣ，最適量子化パラメータを格納するレジスタＭを各々，初期値に設定する。
【０１７９】
ステップＳ１１１〜Ｓ１１８：図２におけるステップＳ１１〜Ｓ１８と同様の処理を行う。
【０１８０】
ステップＳ１１９：レジスタＸに格納されている量子化パラメータをレジスタＭに書き出す。
【０１８１】
ステップＳ１２０：全ての量子化パラメータについて以上の処理を終えたかどうかを判定し，まだ処理を終えていなければ，ステップＳ１２１へ進む。処理を終えたならば，ステップＳ１１９においてレジスタＭに格納した量子化パラメータを，最適な量子化パラメータとして出力する。
【０１８２】
ステップＳ１２１：レジスタＸに格納されている量子化パラメータを更新する。順次更新してレジスタＸに書き出す量子化パラメータの値の順番は，予め与えられるものとする。その後，ステップＳ１１３以降の処理を同様に繰り返す。
【０１８３】
［実施形態（量子化パラメータ選択）：装置構成図］
符号化パラメータとして，量子化パラメータを選択する場合の符号化パラメータ選択装置の例を図９に示す。なお，他の符号化パラメータの場合にも同様な装置構成により選択することができる。
【０１８４】
図５に示した符号化パラメータ選択装置との違いの部分について説明し，他の部分については，図５と同様であるので説明を省略する。
【０１８５】
初期量子化パラメータ設定部５０４：量子化パラメータの初期値を量子化パラメータ記憶部５０５に書き出す。
【０１８６】
最適量子化パラメータ更新部５１６：最小コスト判定部５１４が最小コスト記憶部５１５に書き出したＲ−Ｄコスト算出に用いた量子化パラメータを最適量子化パラメータ記憶部５１７に書き出す。
【０１８７】
最終量子化パラメータ判定部５１８：すべての量子化パラメータについて処理を終えたかどうかを判定し，処理を終えていない場合には，量子化パラメータ設定部５１９を呼び出す。処理を終えた場合には，最適量子化パラメータ出力部５２０を呼び出す。
【０１８８】
量子化パラメータ設定部５１９：次の処理候補となる量子化パラメータを量子化パラメータ記憶部５０５に書き出す。
【０１８９】
最適量子化パラメータ出力部５２０：最適量子化パラメータ記憶部５１７に記憶されている量子化パラメータを最適量子化パラメータとして出力する。
【０１９０】
以上の符号化パラメータ選択の処理は，コンピュータとソフトウェアプログラムとによって実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することも，ネットワークを通して提供することも可能である。
【図面の簡単な説明】
【０１９１】
【図１】本発明に係る符号化パラメータ選択装置の構成例を示す図である。
【図２】符号化パラメータ（モード）選択処理のフローチャートである。
【図３】変移量の下限値推定処理（図２のＳ１２）のフローチャートである。
【図４】重み付き歪み量の算出処理（図２のＳ１４）のフローチャートである。
【図５】符号化パラメータ（モード）選択装置のブロック図である。
【図６】変移量下限値推定部のブロック図である。
【図７】重み付き歪み量算出部のブロック図である。
【図８】符号化パラメータ（量子化パラメータ）選択処理のフローチャートである。
【図９】符号化パラメータ（量子化パラメータ）選択装置のブロック図である。
【符号の説明】
【０１９２】
１  符号化パラメータ選択装置
１０  選択対象符号化パラメータ設定部
１１  変移量下限値算出部
１２  重み付き歪み量算出部
１３  符号量算出部
１４  未定乗数算出部
１５  コスト算出部
１６  最小コスト判定部
【図１】
2008283599.tif 000028
【図２】
2008283599.tif 000029
【図３】
2008283599.tif 000030
【図４】
2008283599.tif 000031
【図５】
2008283599.tif 000032
【図６】
2008283599.tif 000033
【図７】
2008283599.tif 000034
【図８】
2008283599.tif 000035
【図９】
2008283599.tif 000036