(57)【特許請求の範囲】
【請求項１】
画像の帯域を制限し、その画像をフレーム間予測符号化方式を使って符号化する動画像の符号化装置において、
画像を取得する画像入力部と、
該画像の帯域を制限するプレフィルタ部と、
該プレフィルタ部とは帯域を制限する周波数特性の異なる、１種類以上の帯域制限フィルタを備え、該画像の帯域を制限する予備プレフィルタ部と、
該プレフィルタ部にて帯域制限された画像を蓄積するフィルタ画像蓄積部と、
該予備プレフィルタ部にて帯域を制限された、１つ以上の画像を蓄積する予備フィルタ画像蓄積部と、
復号した画像から参照画像を生成し、符号化対象画像と該参照画像との間で予測誤差を求めるフレーム間予測部と、
該フレーム間予測部にて使う符号化対象画像の各画素を、該フィルタ画像蓄積部に蓄積した画像と該予備フィルタ画像蓄積部に蓄積した画像とから選択するフィルタ制御部と、
該各画素において、該フィルタ制御部にて選択した全ての画像に対する、該フレーム間予測部にて求めた予測誤差を比較し、その絶対値が最も小さい予測誤差を求める予測誤差評価部と、
該絶対値が最も小さい予測誤差を直交変換する直交変換部と、
該直交変換した係数を量子化する量子化部と、
該量子化した係数を可変長符号化する可変長符号化部と、
該可変長符号化したデータを該復号する局所復号部と、
を備えることを特徴とした画像符号化装置。
【請求項２】
画像の帯域を制限し、その画像を動き補償予測符号化方式を使って符号化する動画像の符号化装置において、
画像を取得する画像入力部と、
該画像の帯域を制限するプレフィルタ部と、
該プレフィルタ部とは帯域を制限する周波数特性の異なる、１種類以上の帯域制限フィルタを備え、該画像の帯域を制限する予備プレフィルタ部と、
該プレフィルタ部にて帯域制限された画像を蓄積するフィルタ画像蓄積部と、
該予備プレフィルタ部にて帯域制限された、１つ以上の画像を蓄積する予備フィルタ画像蓄積部と、
該フィルタ画像蓄積部に蓄積した画像と、復号した画像との間で動き探索をする動き探索部と、
該動き探索の結果と該復号した画像から参照画像を生成し、符号化対象画像と該参照画像との間で動き補償をして予測誤差を求める動き補償部と、
該動き補償部にて使う符号化対象画像の各画素を、該フィルタ画像蓄積部に蓄積した画像と該予備フィルタ画像蓄積部に蓄積した画像とから選択するフィルタ制御部と、
該各画素において、該フィルタ制御部にて選択した全ての画像に対する、該動き補償部にて求めた予測誤差を比較し、その絶対値が最も小さい予測誤差を求める予測誤差評価部と、
該絶対値が最も小さい予測誤差を直交変換する直交変換部と、
該直交変換した係数を量子化する量子化部と、
該量子化した係数を可変長符号化する可変長符号化部と、
該可変長符号化したデータを該復号する局所復号部と、
を備えることを特徴とした画像符号化装置。
【請求項３】
画像の帯域を制限し、その画像をフレーム間予測符号化方式を使って符号化する動画像の符号化装置において、
該画像を取得する画像入力部と、
該画像の帯域を制限するプレフィルタ部と、
該プレフィルタ部とは帯域を制限する周波数特性が異なるように変更した帯域制限フィルタを備え、該画像の帯域を制限する予備プレフィルタ部と、
該プレフィルタ部にて帯域制限された画像を蓄積するフィルタ画像蓄積部と、
該予備プレフィルタ部にて帯域制限された画像を蓄積する予備フィルタ画像蓄積部と、
復号した画像から参照画像を生成し、符号化対象画像と該参照画像との間で予測誤差を求めるフレーム間予測部と、
該フレーム間予測部にて使う符号化対象画像の各画素を、該フィルタ画像蓄積部に蓄積した画像と該予備フィルタ画像蓄積部に蓄積した画像とから選択するフィルタ制御部と、
該各画素において、該フィルタ制御部にて選択した全ての画像に対する、フレーム間予測部にて求めた予測誤差を比較し、その絶対値が最も小さい予測誤差を求める予測誤差評価部と、
該絶対値が最も小さい予測誤差を直交変換する直交変換部と、
該直交変換した係数を量子化する量子化部と、
該量子化部で使用した量子化スケールの値に従って、該予備プレフィルタ部の帯域制限フィルタの周波数特性を該変更するプレフィルタ係数制御部と、
該量子化した係数を可変長符号化する可変長符号化部と、
該可変長符号化したデータを該復号する局所復号部と、
を備えることを特徴とした画像符号化装置。
【請求項４】
画像の帯域を制限し、その画像を動き補償予測符号化方式を使って符号化する動画像の符号化装置において、
画像を取得する画像入力部と、
該画像の帯域を制限するプレフィルタ部と、
該プレフィルタ部とは帯域を制限する周波数特性が異なるように変更した帯域制限フィルタを備え、該画像の帯域を制限する予備プレフィルタ部と、
該プレフィルタ部にて帯域制限された画像を蓄積するフィルタ画像蓄積部と、
該予備プレフィルタ部にて帯域制限された画像を蓄積する予備フィルタ画像蓄積部と、
該フィルタ画像蓄積部に蓄積した画像と、復号した画像との間で動き探索をする動き探索部と、
該動き探索の結果と該復号した画像から参照画像を生成し、符号化対象画像と該参照画像との間で動き補償をして予測誤差を求める動き補償部と、
該動き補償部にて使う符号化対象画像の各画素を、該フィルタ画像蓄積部に蓄積した画像と該予備フィルタ画像蓄積部に蓄積した画像とから選択するフィルタ制御部と、
該各画素において、該フィルタ制御部にて選択した全ての画像に対する、該動き補償部にて求めた予測誤差を比較し、その絶対値が最も小さい予測誤差を求める予測誤差評価部と、
該絶対値が最も小さい予測誤差を直交変換する直交変換部と、
該直交変換した係数を量子化する量子化部と、
該量子化部で使用した量子化スケールの値に従って、予備プレフィルタ部の帯域制限フィルタの周波数特性を該変更するプレフィルタ係数制御部と、
該量子化した係数を可変長符号化する可変長符号化部と、
該可変長符号化したデータを該復号する局所復号部と、
を備えることを特徴とした画像符号化装置。
【請求項５】
画像の帯域を制限し、その画像をフレーム間予測符号化方式を使って符号化する動画像の符号化装置において、
画像を取得する画像入力部と、
該画像の帯域を制限するプレフィルタ部と、
該プレフィルタ部とは帯域を制限する周波数特性の異なる、１種類以上の帯域制限フィルタを備え、該画像の帯域を制限する予備プレフィルタ部と、
該プレフィルタ部にて帯域制限された画像を蓄積するフィルタ画像蓄積部と、
該予備プレフィルタ部にて帯域を制限された、１つ以上の画像を蓄積する予備フィルタ画像蓄積部と、
復号した画像から参照画像を生成し、符号化対象画像と該参照画像との間で予測誤差を求めるフレーム間予測部と、
該フレーム間予測部にて使う符号化対象画像の各画素を、該フィルタ画像蓄積部に蓄積した画像と該予備フィルタ画像蓄積部に蓄積した画像とから選択するフィルタ制御部と、
該各画素において、該フィルタ制御部にて選択した全ての画像に対する、該フレーム間予測部にて求めた予測誤差を比較し、その絶対値が最も小さい予測誤差を求める予測誤差評価部と、
該絶対値が最も小さい予測誤差を量子化する誤差量子化部と、
該量子化した値を可変長符号化する可変長符号化部と、
該可変長符号化したデータを該復号する局所復号部と、
を備えることを特徴とした画像符号化装置。
【請求項６】
画像の帯域を制限し、その画像を動き補償予測符号化方式を使って符号化する動画像の符号化装置において、
画像を取得する画像入力部と、
該画像の帯域を制限するプレフィルタ部と、
該プレフィルタ部とは帯域を制限する周波数特性の異なる、１種類以上の帯域制限フィルタを備え、該画像の帯域を制限する予備プレフィルタ部と、
該プレフィルタ部にて帯域制限された画像を蓄積するフィルタ画像蓄積部と、
該予備プレフィルタ部にて帯域制限された、１つ以上の画像を蓄積する予備フィルタ画像蓄積部と、
該フィルタ画像蓄積部に蓄積した画像と、復号した画像との間で動き探索をする動き探索部と、
該動き探索の結果と該復号した画像から参照画像を生成し、符号化対象画像と該参照画像との間で動き補償をして予測誤差を求める動き補償部と、
該動き補償部にて使う符号化対象画像の各画素を、該フィルタ画像蓄積部に蓄積した画像と該予備フィルタ画像蓄積部に蓄積した画像とから選択するフィルタ制御部と、
該各画素において、該フィルタ制御部にて選択した全ての画像に対する、該動き補償部にて求めた予測誤差を比較し、その絶対値が最も小さい予測誤差を求める予測誤差評価部と、
該絶対値が最も小さい予測誤差を量子化する誤差量子化部と、
該量子化した値を可変長符号化する可変長符号化部と、
該可変長符号化したデータを該復号する局所復号部と、
を備えることを特徴とした画像符号化装置。
【請求項７】
画像の帯域を制限し、その画像をフレーム間予測符号化方式を使って符号化する動画像の符号化装置において、
該画像を取得する画像入力部と、
該画像の帯域を制限するプレフィルタ部と、
該プレフィルタ部とは帯域を制限する周波数特性が異なるように変更した帯域制限フィルタを備え、該画像の帯域を制限する予備プレフィルタ部と、
該プレフィルタ部にて帯域制限された画像を蓄積するフィルタ画像蓄積部と、
該予備プレフィルタ部にて帯域制限された画像を蓄積する予備フィルタ画像蓄積部と、
復号した画像から参照画像を生成し、符号化対象画像と該参照画像との間で予測誤差を求めるフレーム間予測部と、
該フレーム間予測部にて使う符号化対象画像の各画素を、該フィルタ画像蓄積部に蓄積した画像と該予備フィルタ画像蓄積部に蓄積した画像とから選択するフィルタ制御部と、
該各画素において、該フィルタ制御部にて選択した全ての画像に対する、フレーム間予測部にて求めた予測誤差を比較し、その絶対値が最も小さい予測誤差を求める予測誤差評価部と、
該絶対値が最も小さい予測誤差を量子化する誤差量子化部と、
該量子化部で使用した量子化スケールの値に従って、該予備プレフィルタ部の帯域制限フィルタの周波数特性を該変更するプレフィルタ係数制御部と、
該量子化した値を可変長符号化する可変長符号化部と、
該可変長符号化したデータを該復号する局所復号部と、
を備えることを特徴とした画像符号化装置。
【請求項８】
画像の帯域を制限し、その画像を動き補償予測符号化方式を使って符号化する動画像の符号化装置において、
画像を取得する画像入力部と、
該画像の帯域を制限するプレフィルタ部と、
該プレフィルタ部とは帯域を制限する周波数特性が異なるように変更した帯域制限フィルタを備え、該画像の帯域を制限する予備プレフィルタ部と、
該プレフィルタ部にて帯域制限された画像を蓄積するフィルタ画像蓄積部と、
該予備プレフィルタ部にて帯域制限された画像を蓄積する予備フィルタ画像蓄積部と、
該フィルタ画像蓄積部に蓄積した画像と、復号した画像との間で動き探索をする動き探索部と、
該動き探索の結果と該復号した画像から参照画像を生成し、符号化対象画像と該参照画像との間で動き補償をして予測誤差を求める動き補償部と、
該動き補償部にて使う符号化対象画像の各画素を、該フィルタ画像蓄積部に蓄積した画像と該予備フィルタ画像蓄積部に蓄積した画像とから選択するフィルタ制御部と、
該各画素において、該フィルタ制御部にて選択した全ての画像に対する、該動き補償部にて求めた予測誤差を比較し、その絶対値が最も小さい予測誤差を求める予測誤差評価部と、
該絶対値が最も小さい予測誤差を量子化する誤差量子化部と、
該量子化部で使用した量子化スケールの値に従って、予備プレフィルタ部の帯域制限フィルタの周波数特性を該変更するプレフィルタ係数制御部と、
該量子化した値を可変長符号化する可変長符号化部と、
該可変長符号化したデータを該復号する局所復号部と、
を備えることを特徴とした画像符号化装置。
【請求項９】
画像の帯域を制限し、その画像をフレーム間予測符号化方式を使って符号化する動画像の符号化方法において、
画像を取得する画像入力ステップと、
該画像の帯域を制限するプレフィルタステップと、
該プレフィルタステップとは帯域を制限する周波数特性の異なる、１種類以上の帯域制限フィルタを備え、該画像の帯域を制限する予備プレフィルタステップと、
該プレフィルタステップにて帯域制限された画像を蓄積するフィルタ画像蓄積ステップと、
該予備プレフィルタステップにて帯域を制限された、１つ以上の画像を蓄積する予備フィルタ画像蓄積ステップと、
復号した画像から参照画像を生成し、符号化対象画像と該参照画像との間で予測誤差を求めるフレーム間予測ステップと、
該フレーム間予測ステップにて使う符号化対象画像の各画素を、該フィルタ画像蓄積ステップに蓄積した画像と該予備フィルタ画像蓄積ステップに蓄積した画像とから選択するフィルタ制御ステップと、
該各画素において、該フィルタ制御ステップにて選択した全ての画像に対する、該フレーム間予測ステップにて求めた予測誤差を比較し、その絶対値が最も小さい予測誤差を求める予測誤差評価ステップと、
該絶対値が最も小さい予測誤差を直交変換する直交変換ステップと、
該直交変換した係数を量子化する量子化ステップと、
該量子化した係数を可変長符号化する可変長符号化ステップと、
該可変長符号化したデータを該復号する局所復号ステップと、
を備えることを特徴とした画像符号化方法。
【請求項１０】
画像の帯域を制限し、その画像を動き補償予測符号化方式を使って符号化する動画像の符号化方法において、
画像を取得する画像入力ステップと、
該画像の帯域を制限するプレフィルタステップと、
該プレフィルタステップとは帯域を制限する周波数特性の異なる、１種類以上の帯域制限フィルタを備え、該画像の帯域を制限する予備プレフィルタステップと、
該プレフィルタステップにて帯域制限された画像を蓄積するフィルタ画像蓄積ステップと、
該予備プレフィルタステップにて帯域制限された、１つ以上の画像を蓄積する予備フィルタ画像蓄積ステップと、
該フィルタ画像蓄積ステップに蓄積した画像と、復号した画像との間で動き探索をする動き探索ステップと、
該動き探索の結果と該復号した画像から参照画像を生成し、符号化対象画像と該参照画像との間で動き補償をして予測誤差を求める動き補償ステップと、
該動き補償ステップにて使う符号化対象画像の各画素を、該フィルタ画像蓄積ステップに蓄積した画像と該予備フィルタ画像蓄積ステップに蓄積した画像とから選択するフィルタ制御ステップと、
該各画素において、該フィルタ制御ステップにて選択した全ての画像に対する、該動き補償ステップにて求めた予測誤差を比較し、その絶対値が最も小さい予測誤差を求める予測誤差評価ステップと、
該絶対値が最も小さい予測誤差を直交変換する直交変換ステップと、
該直交変換した係数を量子化する量子化ステップと、
該量子化した係数を可変長符号化する可変長符号化ステップと、
該可変長符号化したデータを該復号する局所復号ステップと、
を備えることを特徴とした画像符号化方法。
【請求項１１】
画像の帯域を制限し、その画像をフレーム間予測符号化方式を使って符号化する動画像の符号化方法において、
該画像を取得する画像入力ステップと、
該画像の帯域を制限するプレフィルタステップと、
該プレフィルタステップとは帯域を制限する周波数特性が異なるように変更した帯域制限フィルタを備え、該画像の帯域を制限する予備プレフィルタステップと、
該プレフィルタステップにて帯域制限された画像を蓄積するフィルタ画像蓄積ステップと、
該予備プレフィルタステップにて帯域制限された画像を蓄積する予備フィルタ画像蓄積ステップと、
復号した画像から参照画像を生成し、符号化対象画像と該参照画像との間で予測誤差を求めるフレーム間予測ステップと、
該フレーム間予測ステップにて使う符号化対象画像の各画素を、該フィルタ画像蓄積ステップに蓄積した画像と該予備フィルタ画像蓄積ステップに蓄積した画像とから選択するフィルタ制御ステップと、
該各画素において、該フィルタ制御ステップにて選択した全ての画像に対する、フレーム間予測ステップにて求めた予測誤差を比較し、その絶対値が最も小さい予測誤差を求める予測誤差評価ステップと、
該絶対値が最も小さい予測誤差を直交変換する直交変換ステップと、
該直交変換した係数を量子化する量子化ステップと、
該量子化ステップで使用した量子化スケールの値に従って、該予備プレフィルタステップの帯域制限フィルタの周波数特性を該変更するプレフィルタ係数制御ステップと、
該量子化した係数を可変長符号化する可変長符号化ステップと、
該可変長符号化したデータを該復号する局所復号ステップと、
を備えることを特徴とした画像符号化方法。
【請求項１２】
画像の帯域を制限し、その画像を動き補償予測符号化方式を使って符号化する動画像の符号化方法において、
画像を取得する画像入力ステップと、
該画像の帯域を制限するプレフィルタステップと、
該プレフィルタステップとは帯域を制限する周波数特性が異なるように変更した帯域制限フィルタを備え、該画像の帯域を制限する予備プレフィルタステップと、
該プレフィルタステップにて帯域制限された画像を蓄積するフィルタ画像蓄積ステップと、
該予備プレフィルタステップにて帯域制限された画像を蓄積する予備フィルタ画像蓄積ステップと、
該フィルタ画像蓄積ステップに蓄積した画像と、復号した画像との間で動き探索をする動き探索ステップと、
該動き探索の結果と該復号した画像から参照画像を生成し、符号化対象画像と該参照画像との間で動き補償をして予測誤差を求める動き補償ステップと、
該動き補償ステップにて使う符号化対象画像の各画素を、該フィルタ画像蓄積ステップに蓄積した画像と該予備フィルタ画像蓄積ステップに蓄積した画像とから選択するフィルタ制御ステップと、
該各画素において、該フィルタ制御ステップにて選択した全ての画像に対する、該動き補償ステップにて求めた予測誤差を比較し、その絶対値が最も小さい予測誤差を求める予測誤差評価ステップと、
該絶対値が最も小さい予測誤差を直交変換する直交変換ステップと、
該直交変換した係数を量子化する量子化ステップと、
該量子化ステップで使用した量子化スケールの値に従って、予備プレフィルタステップの帯域制限フィルタの周波数特性を該変更するプレフィルタ係数制御ステップと、
該量子化した係数を可変長符号化する可変長符号化ステップと、
該可変長符号化したデータを該復号する局所復号ステップと、
を備えることを特徴とした画像符号化方法。
【請求項１３】
画像の帯域を制限し、その画像をフレーム間予測符号化方式を使って符号化する動画像の符号化方法において、
画像を取得する画像入力ステップと、
該画像の帯域を制限するプレフィルタステップと、
該プレフィルタステップとは帯域を制限する周波数特性の異なる、１種類以上の帯域制限フィルタを備え、該画像の帯域を制限する予備プレフィルタステップと、
該プレフィルタステップにて帯域制限された画像を蓄積するフィルタ画像蓄積ステップと、
該予備プレフィルタステップにて帯域を制限された、１つ以上の画像を蓄積する予備フィルタ画像蓄積ステップと、
復号した画像から参照画像を生成し、符号化対象画像と該参照画像との間で予測誤差を求めるフレーム間予測ステップと、
該フレーム間予測ステップにて使う符号化対象画像の各画素を、該フィルタ画像蓄積ステップに蓄積した画像と該予備フィルタ画像蓄積ステップに蓄積した画像とから選択するフィルタ制御ステップと、
該各画素において、該フィルタ制御ステップにて選択した全ての画像に対する、該フレーム間予測ステップにて求めた予測誤差を比較し、その絶対値が最も小さい予測誤差を求める予測誤差評価ステップと、
該絶対値が最も小さい予測誤差を量子化する誤差量子化ステップと、
該量子化した値を可変長符号化する可変長符号化ステップと、
該可変長符号化したデータを該復号する局所復号ステップと、
を備えることを特徴とした画像符号化方法。
【請求項１４】
画像の帯域を制限し、その画像を動き補償予測符号化方式を使って符号化する動画像の符号化方法において、
画像を取得する画像入力ステップと、
該画像の帯域を制限するプレフィルタステップと、
該プレフィルタステップとは帯域を制限する周波数特性の異なる、１種類以上の帯域制限フィルタを備え、該画像の帯域を制限する予備プレフィルタステップと、
該プレフィルタステップにて帯域制限された画像を蓄積するフィルタ画像蓄積ステップと、
該予備プレフィルタステップにて帯域制限された、１つ以上の画像を蓄積する予備フィルタ画像蓄積ステップと、
該フィルタ画像蓄積ステップに蓄積した画像と、復号した画像との間で動き探索をする動き探索ステップと、
該動き探索の結果と該復号した画像から参照画像を生成し、符号化対象画像と該参照画像との間で動き補償をして予測誤差を求める動き補償ステップと、
該動き補償ステップにて使う符号化対象画像の各画素を、該フィルタ画像蓄積ステップに蓄積した画像と該予備フィルタ画像蓄積ステップに蓄積した画像とから選択するフィルタ制御ステップと、
該各画素において、該フィルタ制御ステップにて選択した全ての画像に対する、該動き補償ステップにて求めた予測誤差を比較し、その絶対値が最も小さい予測誤差を求める予測誤差評価ステップと、
該絶対値が最も小さい予測誤差を量子化する誤差量子化ステップと、
該量子化した値を可変長符号化する可変長符号化ステップと、
該可変長符号化したデータを該復号する局所復号ステップと、
を備えることを特徴とした画像符号化方法。
【請求項１５】
画像の帯域を制限し、その画像をフレーム間予測符号化方式を使って符号化する動画像の符号化方法において、
該画像を取得する画像入力ステップと、
該画像の帯域を制限するプレフィルタステップと、
該プレフィルタステップとは帯域を制限する周波数特性が異なるように変更した帯域制限フィルタを備え、該画像の帯域を制限する予備プレフィルタステップと、
該プレフィルタステップにて帯域制限された画像を蓄積するフィルタ画像蓄積ステップと、
該予備プレフィルタステップにて帯域制限された画像を蓄積する予備フィルタ画像蓄積ステップと、
復号した画像から参照画像を生成し、符号化対象画像と該参照画像との間で予測誤差を求めるフレーム間予測ステップと、
該フレーム間予測ステップにて使う符号化対象画像の各画素を、該フィルタ画像蓄積ステップに蓄積した画像と該予備フィルタ画像蓄積ステップに蓄積した画像とから選択するフィルタ制御ステップと、
該各画素において、該フィルタ制御ステップにて選択した全ての画像に対する、フレーム間予測ステップにて求めた予測誤差を比較し、その絶対値が最も小さい予測誤差を求める予測誤差評価ステップと、
該絶対値が最も小さい予測誤差を量子化する誤差量子化ステップと、
該量子化ステップで使用した量子化スケールの値に従って、該予備プレフィルタステップの帯域制限フィルタの周波数特性を該変更するプレフィルタ係数制御ステップと、
該量子化した値を可変長符号化する可変長符号化ステップと、
該可変長符号化したデータを該復号する局所復号ステップと、
を備えることを特徴とした画像符号化方法。
【請求項１６】
画像の帯域を制限し、その画像を動き補償予測符号化方式を使って符号化する動画像の符号化方法において、
画像を取得する画像入力ステップと、
該画像の帯域を制限するプレフィルタステップと、
該プレフィルタステップとは帯域を制限する周波数特性が異なるように変更した帯域制限フィルタを備え、該画像の帯域を制限する予備プレフィルタステップと、
該プレフィルタステップにて帯域制限された画像を蓄積するフィルタ画像蓄積ステップと、
該予備プレフィルタステップにて帯域制限された画像を蓄積する予備フィルタ画像蓄積ステップと、
該フィルタ画像蓄積ステップに蓄積した画像と、復号した画像との間で動き探索をする動き探索ステップと、
該動き探索の結果と該復号した画像から参照画像を生成し、符号化対象画像と該参照画像との間で動き補償をして予測誤差を求める動き補償ステップと、
該動き補償ステップにて使う符号化対象画像の各画素を、該フィルタ画像蓄積ステップに蓄積した画像と該予備フィルタ画像蓄積ステップに蓄積した画像とから選択するフィルタ制御ステップと、
該各画素において、該フィルタ制御ステップにて選択した全ての画像に対する、該動き補償ステップにて求めた予測誤差を比較し、その絶対値が最も小さい予測誤差を求める予測誤差評価ステップと、
該絶対値が最も小さい予測誤差を量子化する誤差量子化ステップと、
該量子化ステップで使用した量子化スケールの値に従って、予備プレフィルタステップの帯域制限フィルタの周波数特性を該変更するプレフィルタ係数制御ステップと、
該量子化した値を可変長符号化する可変長符号化ステップと、
該可変長符号化したデータを該復号する局所復号ステップと、
を備えることを特徴とした画像符号化方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、動画像符号化における動画像信号に対し、予測符号化と前処理帯域制限を用いた画像符号化装置と画像符号化方法に関するものである。
【０００２】
【従来の技術】
ＭＰＥＧ−２等、一般的に動画像符号化では、画像情報に対して直交変換を行い、その係数を量子化する。直交変換としてはＤＣＴ（離散コサイン変換）が用いられることが多い。あるいは、直交変換を行わずに画像情報自体にスカラー量子化やベクトル量子化を行う方法もある。これらの量子化により、符号化効率を向上することが可能であるが、他方で復号画像に特有な歪み（量子化歪み）を発生する。この量子化歪みによって画質が劣化する。
【０００３】
このような量子化歪みを低減するために、符号化前に予め画像にフィルタを施して帯域を制限することが行われている。これをプレフィルタ方法と呼ぶ。一般的に、画像の高周波成分は視覚に与える影響が少ないため、フィルタによって特に高周波を制限することによって、視覚的な劣化を引き起こさずに符号化効率を向上している。一般的に、高周波を制限する量が多いほど、量子化歪みを低減することができる。
【０００４】
帯域を制限するフィルタには、画面内画素間の相関を利用する空間フィルタとフレーム間画素間の相関を利用する時間フィルタがある。
【０００５】
このうち、空間フィルタの１つには移動平均フィルタがある。このフィルタでは、図１０に示すように、求める画素を中心にした、縦Ｎ画素、横Ｎ画素（Ｎタップ）の正方形の領域を設定し、その正方形に含まれる画素の画像情報を重み付け加算をすることによって、その画素の画像情報を求める。この処理を画面内の各画素に施すことによって、画面全体に移動平均フィルタを施す。タップ数３の場合の移動平均フィルタの計算式の例を式（１）に示す。このフィルタの周波数特性は垂み付け係数Ｗによって特徴付けられ、帯域制限後の視覚特性はこの値に依存する。重み付け係数Ｗの例を図１１に示す。係数ｋが小さい程、より高周波成分が削除される。
【０００６】
【数１】
0003648446.tif 000002
【０００７】
Ｉ（ｘ，ｙ）：横ｘ、縦ｙの画素における入力画像
Ｏ（ｘ，ｙ）：横ｘ、縦ｙの画素における出力画像
量子化歪みは符号化条件に依存するため、量子化スケール等の符号化条件に依存して帯域制限フィルタの周波数特性を制御すると、量子化歪みの度合いに適応的に変更する帯域制限が可能である。そこで、符号化後の発生符号量や平均量子化スケールに依存して、次のフレームに適用するフィルタの周波数特性を変更する方法が提案されている。平均量子化スケールＱに従って図１１に記載のフィルタの係数ｋを決定する例を式（２）に示す。
【０００８】
【数２】
0003648446.tif 000003
【０００９】
ｋ：フィルタの係数
ｃ：定数（正の整数）
Ｑ：平均量子化スケール（１〜３１の整数）
このようにしてフィルタの周波数特性を制御して適用し、帯域が制限された画像を入力画像として符号化を行う。
【００１０】
【発明が解決しようとする課題】
一般的に動画像符号化では符号化効率を向上させるために、フレーム間予測符号化方法を用いる。この方法では、入力画像と以前に符号化したフレームの復号画像（参照画像）との差分（予測誤差）を符号化する。この方法で符号化する場合も、入力画像に対して上記の帯域制限フィルタを適用して量子化歪みを低減することができる。しかし、フィルタの周波数特性をフレーム毎に変更すると、フィルタ適用後の入力画像と参照画像との予測誤差が、フィルタを適用することによって逆に大きくなり、量子化歪みを増大する場合がある。特に画像のエッジ付近では、高周波成分が低滅され平滑化されるために、参照画像のエッジ付近の高周波成分が多く存在する場合に、復号画像の量子化歪みが大きくなるだけではなく、エッジ部分がぼけた映像になる。
【００１１】
また、フレーム間予測符号化方法の１種である動き補償予測符号化方法では、入力画像に対して平行移動した位置の参照画像との予測誤差を符号化することにより、より符号化効率を向上させる。平行移動した位置は動きベクトルとして符号化されるが、動きベクトルを求める処理を動き探索処理と呼び、動き探索処理によって求められた動きベクトル情報を使って予測誤差を求める処理を動き補償処理と呼ぶ。汎用的な画像符号化方式Ｈ．２６３では、画面内を縦横１６画素の領域（マクロブロック）に分割し、マクロブロック毎に動き探索処理と動き補償処理を行う。動き探索処理では、マクロブロック内画素の予測誤差の分散等が最も小さい位置を求める。また、予測誤差を求めた後に実行する、ＤＣＴと量子化と可変長符号化もマクロブロック毎に行う。
【００１２】
このような動き補償予測符号化においても、入力画像に帯域制限フィルタを適用して量子化歪みを低滅することができる。しかし、帯域制限フィルタの周波数特性をフレーム毎に変更すると、上記のフレーム間予測符号化の場合と同様に、予測誤差が大きくなり量子化歪みを増大することがある。さらに、高周波成分が低滅されることによって、動き探索処理では、平行移動した位置に対する予測誤差の違いが小さくなり、符号化効率の悪い動きベクトルを求めてしまうことが発生する。
【００１３】
本発明の課題は、上記の問題を解決するために、量子化歪みを増大させることなく、予測誤差を小さくして符号化効率を向上させることができ、復号画像のぼけや符号化効率の悪い動きベクトルを求めることを防止できる、画像符号化装置および画像符号化方法を提供することである。
【００１４】
【課題を解決するための手段】
上記の課題を解決するため、本発明１では、画像の帯域を制限し、その画像をフレーム間予測符号化方式を使って符号化する動画像の符号化装置において、画像を取得する画像入力部と、該画像の帯域を制限するプレフィルタ部と、該プレフィルタ部とは帯域を制限する周波数特性の異なる、１種類以上の帯域制限フィルタを備え、該画像の帯域を制限する予備プレフィルタ部と、該プレフィルタ部にて帯域制限された画像を蓄積するフィルタ画像蓄積部と、該予備プレフィルタ部にて帯域を制限された、１つ以上の画像を蓄積する予備フィルタ画像蓄積部と、復号した画像から参照画像を生成し、符号化対象画像と該参照画像との間で予測誤差を求めるフレーム間予測部と、該フレーム間予測部にて使う符号化対象画像の各画素を、該フィルタ画像蓄積部に蓄積した画像と該予備フィルタ画像蓄積部に蓄積した画像とから選択するフィルタ制御部と、該各画素において、該フィルタ制御部にて選択した全ての画像に対する、該フレーム間予測部にて求めた予測誤差を比較し、その絶対値が最も小さい予測誤差を求める予測誤差評価部と、該絶対値が最も小さい予測誤差を直交変換する直交変換部と、該直交変換した係数を量子化する量子化部と、該量子化した係数を可変長符号化する可変長符号化部と、該可変長符号化したデータを該復号する局所復号部と、を備えることを特徴とする。
【００１５】
本発明２では、画像の帯域を制限し、その画像を動き補償予測符号化方式を使って符号化する動画像の符号化装置において、画像を取得する画像入力部と、該画像の帯域を制限するプレフィルタ部と、該プレフィルタ部とは帯域を制限する周波数特性の異なる、１種類以上の帯域制限フィルタを備え、該画像の帯域を制限する予備プレフィルタ部と、該プレフィルタ部にて帯域制限された画像を蓄積するフィルタ画像蓄積部と、該予備プレフィルタ部にて帯域制限された、１つ以上の画像を蓄積する予備フィルタ画像蓄積部と、該フィルタ画像蓄積部に蓄積した画像と、復号した画像との間で動き探索をする動き探索部と、該動き探索の結果と該復号した画像から参照画像を生成し、符号化対象画像と該参照画像との間で動き補償をして予測誤差を求める動き補償部と、該動き補償部にて使う符号化対象画像の各画素を、該フィルタ画像蓄積部に蓄積した画像と該予備フィルタ画像蓄積部に蓄積した画像とから選択するフィルタ制御部と、該各画素において、該フィルタ制御部にて選択した全ての画像に対する、該動き補償部にて求めた予測誤差を比較し、その絶対値が最も小さい予測誤差を求める予測誤差評価部と、該絶対値が最も小さい予測誤差を直交変換する直交変換部と、該直交変換した係数を量子化する量子化部と、該量子化した係数を可変長符号化する可変長符号化部と、該可変長符号化したデータを該復号する局所復号部と、を備えることを特徴とする。
【００１６】
本発明３では、画像の帯域を制限し、その画像をフレーム間予測符号化方式を使って符号化する動画像の符号化装置において、該画像を取得する画像入力部と、該画像の帯域を制限するプレフィルタ部と、該プレフィルタ部とは帯域を制限する周波数特性が異なるように変更した帯域制限フィルタを備え、該画像の帯域を制限する予備プレフィルタ部と、該プレフィルタ部にて帯域制限された画像を蓄積するフィルタ画像蓄積部と、該予備プレフィルタ部にて帯域制限された画像を蓄積する予備フィルタ画像蓄積部と、復号した画像から参照画像を生成し、符号化対象画像と該参照画像との間で予測誤差を求めるフレーム間予測部と、該フレーム間予測部にて使う符号化対象画像の各画素を、該フィルタ画像蓄積部に蓄積した画像と該予備フィルタ画像蓄積部に蓄積した画像とから選択するフィルタ制御部と、該各画素において、該フィルタ制御部にて選択した全ての画像に対する、フレーム間予測部にて求めた予測誤差を比較し、その絶対値が最も小さい予測誤差を求める予測誤差評価部と、該絶対値が最も小さい予測誤差を直交変換する直交変換部と、該直交変換した係数を量子化する量子化部と、該量子化部で使用した量子化スケールの値に従って、該予備プレフィルタ部の帯域制限フィルタの周波数特性を該変更するプレフィルタ係数制御部と、該量子化した係数を可変長符号化する可変長符号化部と、該可変長符号化したデータを該復号する局所復号部と、を備えることを特徴とする。
【００１７】
本発明４では、画像の帯域を制限し、その画像を動き補償予測符号化方式を使って符号化する動画像の符号化装置において、画像を取得する画像入力部と、該画像の帯域を制限するプレフィルタ部と、該プレフィルタ部とは帯域を制限する周波数特性が異なるように変更した帯域制限フィルタを備え、該画像の帯域を制限する予備プレフィルタ部と、該プレフィルタ部にて帯域制限された画像を蓄積するフィルタ画像蓄積部と、該予備プレフィルタ部にて帯域制限された画像を蓄積する予備フィルタ画像蓄積部と、該フィルタ画像蓄積部に蓄積した画像と、復号した画像との間で動き探索をする動き探索部と、該動き探索の結果と該復号した画像から参照画像を生成し、符号化対象画像と該参照画像との間で動き補償をして予測誤差を求める動き補償部と、該動き補償部にて使う符号化対象画像の各画素を、該フィルタ画像蓄積部に蓄積した画像と該予備フィルタ画像蓄積部に蓄積した画像とから選択するフィルタ制御部と、該各画素において、該フィルタ制御部にて選択した全ての画像に対する、該動き補償部にて求めた予測誤差を比較し、その絶対値が最も小さい予測誤差を求める予測誤差評価部と、該絶対値が最も小さい予測誤差を直交変換する直交変換部と、該直交変換した係数を量子化する量子化部と、該量子化部で使用した量子化スケールの値に従って、予備プレフィルタ部の帯域制限フィルタの周波数特性を該変更するプレフィルタ係数制御部と、該量子化した係数を可変長符号化する可変長符号化部と、該可変長符号化したデータを該復号する局所復号部と、を備えることを特徴とする。
【００１８】
本発明５では、画像の帯域を制限し、その画像をフレーム間予測符号化方式を使って符号化する動画像の符号化装置において、画像を取得する画像入力部と、該画像の帯域を制限するプレフィルタ部と、該プレフィルタ部とは帯域を制限する周波数特性の異なる、１種類以上の帯域制限フィルタを備え、該画像の帯域を制限する予備プレフィルタ部と、該プレフィルタ部にて帯域制限された画像を蓄積するフィルタ画像蓄積部と、該予備プレフィルタ部にて帯域を制限された、１つ以上の画像を蓄積する予備フィルタ画像蓄積部と、復号した画像から参照画像を生成し、符号化対象画像と該参照画像との間で予測誤差を求めるフレーム間予測部と、該フレーム間予測部にて使う符号化対象画像の各画素を、該フィルタ画像蓄積部に蓄積した画像と該予備フィルタ画像蓄積部に蓄積した画像とから選択するフィルタ制御部と、該各画素において、該フィルタ制御部にて選択した全ての画像に対する、該フレーム間予測部にて求めた予測誤差を比較し、その絶対値が最も小さい予測誤差を求める予測誤差評価部と、該絶対値が最も小さい予測誤差を量子化する誤差量子化部と、該量子化した値を可変長符号化する可変長符号化部と、該可変長符号化したデータを該復号する局所復号部と、を備えることを特徴とする。
【００１９】
本発明６では、画像の帯域を制限し、その画像を動き補償予測符号化方式を使って符号化する動画像の符号化装置において、画像を取得する画像入力部と、該画像の帯域を制限するプレフィルタ部と、該プレフィルタ部とは帯域を制限する周波数特性の異なる、１種類以上の帯域制限フィルタを備え、該画像の帯域を制限する予備プレフィルタ部と、該プレフィルタ部にて帯域制限された画像を蓄積するフィルタ画像蓄積部と、該予備プレフィルタ部にて帯域制限された、１つ以上の画像を蓄積する予備フィルタ画像蓄積部と、該フィルタ画像蓄積部に蓄積した画像と、復号した画像との間で動き探索をする動き探索部と、該動き探索の結果と該復号した画像から参照画像を生成し、符号化対象画像と該参照画像との間で動き補償をして予測誤差を求める動き補償部と、該動き補償部にて使う符号化対象画像の各画素を、該フィルタ画像蓄積部に蓄積した画像と該予備フィルタ画像蓄積部に蓄積した画像とから選択するフィルタ制御部と、該各画素において、該フィルタ制御部にて選択した全ての画像に対する、該動き補償部にて求めた予測誤差を比較し、その絶対値が最も小さい予測誤差を求める予測誤差評価部と、該絶対値が最も小さい予測誤差を量子化する誤差量子化部と、該量子化した値を可変長符号化する可変長符号化部と、該可変長符号化したデータを該復号する局所復号部と、を備えることを特徴とする。
【００２０】
本発明７では、画像の帯域を制限し、その画像をフレーム間予測符号化方式を使って符号化する動画像の符号化装置において、該画像を取得する画像入力部と、該画像の帯域を制限するプレフィルタ部と、該プレフィルタ部とは帯域を制限する周波数特性が異なるように変更した帯域制限フィルタを備え、該画像の帯域を制限する予備プレフィルタ部と、該プレフィルタ部にて帯域制限された画像を蓄積するフィルタ画像蓄積部と、該予備プレフィルタ部にて帯域制限された画像を蓄積する予備フィルタ画像蓄積部と、復号した画像から参照画像を生成し、符号化対象画像と該参照画像との間で予測誤差を求めるフレーム間予測部と、該フレーム間予測部にて使う符号化対象画像の各画素を、該フィルタ画像蓄積部に蓄積した画像と該予備フィルタ画像蓄積部に蓄積した画像とから選択するフィルタ制御部と、該各画素において、該フィルタ制御部にて選択した全ての画像に対する、フレーム間予測部にて求めた予測誤差を比較し、その絶対値が最も小さい予測誤差を求める予測誤差評価部と、該絶対値が最も小さい予測誤差を量子化する誤差量子化部と、該量子化部で使用した量子化スケールの値に従って、該予備プレフィルタ部の帯域制限フィルタの周波数特性を該変更するプレフィルタ係数制御部と、該量子化した値を可変長符号化する可変長符号化部と、該可変長符号化したデータを該復号する局所復号部と、を備えることを特徴とする。
【００２１】
本発明８では、画像の帯域を制限し、その画像を動き補償予測符号化方式を使って符号化する動画像の符号化装置において、画像を取得する画像入力部と、該画像の帯域を制限するプレフィルタ部と、該プレフィルタ部とは帯域を制限する周波数特性が異なるように変更した帯域制限フィルタを備え、該画像の帯域を制限する予備プレフィルタ部と、該プレフィルタ部にて帯域制限された画像を蓄積するフィルタ画像蓄積部と、該予備プレフィルタ部にて帯域制限された画像を蓄積する予備フィルタ画像蓄積部と、該フィルタ画像蓄積部に蓄積した画像と、復号した画像との間で動き探索をする動き探索部と、該動き探索の結果と該復号した画像から参照画像を生成し、符号化対象画像と該参照画像との間で動き補償をして予測誤差を求める動き補償部と、該動き補償部にて使う符号化対象画像の各画素を、該フィルタ画像蓄積部に蓄積した画像と該予備フィルタ画像蓄積部に蓄積した画像とから選択するフィルタ制御部と、該各画素において、該フィルタ制御部にて選択した全ての画像に対する、該動き補償部にて求めた予測誤差を比較し、その絶対値が最も小さい予測誤差を求める予測誤差評価部と、該絶対値が最も小さい予測誤差を量子化する誤差量子化部と、該量子化部で使用した量子化スケールの値に従って、予備プレフィルタ部の帯域制限フィルタの周波数特性を該変更するプレフィルタ係数制御部と、該量子化した値を可変長符号化する可変長符号化部と、該可変長符号化したデータを該復号する局所復号部と、を備えることを特徴とする。
【００２２】
本発明９では、画像の帯域を制限し、その画像をフレーム間予測符号化方式を使って符号化する動画像の符号化方法において、画像を取得する画像入力ステップと、該画像の帯域を制限するプレフィルタステップと、該プレフィルタステップとは帯域を制限する周波数特性の異なる、１種類以上の帯域制限フィルタを備え、該画像の帯域を制限する予備プレフィルタステップと、該プレフィルタステップにて帯域制限された画像を蓄積するフィルタ画像蓄積ステップと、該予備プレフィルタステップにて帯域を制限された、１つ以上の画像を蓄積する予備フィルタ画像蓄積ステップと、復号した画像から参照画像を生成し、符号化対象画像と該参照画像との間で予測誤差を求めるフレーム間予測ステップと、該フレーム間予測ステップにて使う符号化対象画像の各画素を、該フィルタ画像蓄積ステップに蓄積した画像と該予備フィルタ画像蓄積ステップに蓄積した画像とから選択するフィルタ制御ステップと、該各画素において、該フィルタ制御ステップにて選択した全ての画像に対する、該フレーム間予測ステップにて求めた予測誤差を比較し、その絶対値が最も小さい予測誤差を求める予測誤差評価ステップと、該絶対値が最も小さい予測誤差を直交変換する直交変換ステップと、該直交変換した係数を量子化する量子化ステップと、該量子化した係数を可変長符号化する可変長符号化ステップと、該可変長符号化したデータを該復号する局所復号ステップと、を備えることを特徴とする。
【００２３】
本発明１０では、画像の帯域を制限し、その画像を動き補償予測符号化方式を使って符号化する動画像の符号化方法において、画像を取得する画像入力ステップと、該画像の帯域を制限するプレフィルタステップと、該プレフィルタステップとは帯域を制限する周波数特性の異なる、１種類以上の帯域制限フィルタを備え、該画像の帯域を制限する予備プレフィルタステップと、該プレフィルタステップにて帯域制限された画像を蓄積するフィルタ画像蓄積ステップと、該予備プレフィルタステップにて帯域制限された、１つ以上の画像を蓄積する予備フィルタ画像蓄積ステップと、該フィルタ画像蓄積ステップに蓄積した画像と、復号した画像との間で動き探索をする動き探索ステップと、該動き探索の結果と該復号した画像から参照画像を生成し、符号化対象画像と該参照画像との間で動き補償をして予測誤差を求める動き補償ステップと、該動き補償ステップにて使う符号化対象画像の各画素を、該フィルタ画像蓄積ステップに蓄積した画像と該予備フィルタ画像蓄積ステップに蓄積した画像とから選択するフィルタ制御ステップと、該各画素において、該フィルタ制御ステップにて選択した全ての画像に対する、該動き補償ステップにて求めた予測誤差を比較し、その絶対値が最も小さい予測誤差を求める予測誤差評価ステップと、該絶対値が最も小さい予測誤差を直交変換する直交変換ステップと、該直交変換した係数を量子化する量子化ステップと、該量子化した係数を可変長符号化する可変長符号化ステップと、該可変長符号化したデータを該復号する局所復号ステップと、を備えることを特徴とする。
【００２４】
本発明１１では、画像の帯域を制限し、その画像をフレーム間予測符号化方式を使って符号化する動画像の符号化方法において、該画像を取得する画像入力ステップと、該画像の帯域を制限するプレフィルタステップと、該プレフィルタステップとは帯域を制限する周波数特性が異なるように変更した帯域制限フィルタを備え、該画像の帯域を制限する予備プレフィルタステップと、該プレフィルタステップにて帯域制限された画像を蓄積するフィルタ画像蓄積ステップと、該予備プレフィルタステップにて帯域制限された画像を蓄積する予備フィルタ画像蓄積ステップと、復号した画像から参照画像を生成し、符号化対象画像と該参照画像との間で予測誤差を求めるフレーム間予測ステップと、該フレーム間予測ステップにて使う符号化対象画像の各画素を、該フィルタ画像蓄積ステップに蓄積した画像と該予備フィルタ画像蓄積ステップに蓄積した画像とから選択するフィルタ制御ステップと、該各画素において、該フィルタ制御ステップにて選択した全ての画像に対する、フレーム間予測ステップにて求めた予測誤差を比較し、その絶対値が最も小さい予測誤差を求める予測誤差評価ステップと、該絶対値が最も小さい予測誤差を直交変換する直交変換ステップと、該直交変換した係数を量子化する量子化ステップと、該量子化ステップで使用した量子化スケールの値に従って、該予備プレフィルタステップの帯域制限フィルタの周波数特性を該変更するプレフィルタ係数制御ステップと、該量子化した係数を可変長符号化する可変長符号化ステップと、該可変長符号化したデータを該復号する局所復号ステップと、を備えることを特徴とする。
【００２５】
本発明１２では、画像の帯域を制限し、その画像を動き補償予測符号化方式を使って符号化する動画像の符号化方法において、画像を取得する画像入力ステップと、該画像の帯域を制限するプレフィルタステップと、該プレフィルタステップとは帯域を制限する周波数特性が異なるように変更した帯域制限フィルタを備え、該画像の帯域を制限する予備プレフィルタステップと、該プレフィルタステップにて帯域制限された画像を蓄積するフィルタ画像蓄積ステップと、該予備プレフィルタステップにて帯域制限された画像を蓄積する予備フィルタ画像蓄積ステップと、該フィルタ画像蓄積ステップに蓄積した画像と、復号した画像との間で動き探索をする動き探索ステップと、該動き探索の結果と該復号した画像から参照画像を生成し、符号化対象画像と該参照画像との間で動き補償をして予測誤差を求める動き補償ステップと、該動き補償ステップにて使う符号化対象画像の各画素を、該フィルタ画像蓄積ステップに蓄積した画像と該予備フィルタ画像蓄積ステップに蓄積した画像とから選択するフィルタ制御ステップと、該各画素において、該フィルタ制御ステップにて選択した全ての画像に対する、該動き補償ステップにて求めた予測誤差を比較し、その絶対値が最も小さい予測誤差を求める予測誤差評価ステップと、該絶対値が最も小さい予測誤差を直交変換する直交変換ステップと、該直交変換した係数を量子化する量子化ステップと、該量子化ステップで使用した量子化スケールの値に従って、予備プレフィルタステップの帯域制限フィルタの周波数特性を該変更するプレフィルタ係数制御ステップと、該量子化した係数を可変長符号化する可変長符号化ステップと、該可変長符号化したデータを該復号する局所復号ステップと、を備えることを特徴とする。
【００２６】
本発明１３では、画像の帯域を制限し、その画像をフレーム間予測符号化方式を使って符号化する動画像の符号化方法において、画像を取得する画像入力ステップと、該画像の帯域を制限するプレフィルタステップと、該プレフィルタステップとは帯域を制限する周波数特性の異なる、１種類以上の帯域制限フィルタを備え、該画像の帯域を制限する予備プレフィルタステップと、該プレフィルタステップにて帯域制限された画像を蓄積するフィルタ画像蓄積ステップと、該予備プレフィルタステップにて帯域を制限された、１つ以上の画像を蓄積する予備フィルタ画像蓄積ステップと、復号した画像から参照画像を生成し、符号化対象画像と該参照画像との間で予測誤差を求めるフレーム間予測ステップと、該フレーム間予測ステップにて使う符号化対象画像の各画素を、該フィルタ画像蓄積ステップに蓄積した画像と該予備フィルタ画像蓄積ステップに蓄積した画像とから選択するフィルタ制御ステップと、該各画素において、該フィルタ制御ステップにて選択した全ての画像に対する、該フレーム間予測ステップにて求めた予測誤差を比較し、その絶対値が最も小さい予測誤差を求める予測誤差評価ステップと、該絶対値が最も小さい予測誤差を量子化する誤差量子化ステップと、該量子化した値を可変長符号化する可変長符号化ステップと、該可変長符号化したデータを該復号する局所復号ステップと、を備えることを特徴とする。
【００２７】
本発明１４では、画像の帯域を制限し、その画像を動き補償予測符号化方式を使って符号化する動画像の符号化方法において、画像を取得する画像入力ステップと、該画像の帯域を制限するプレフィルタステップと、該プレフィルタステップとは帯域を制限する周波数特性の異なる、１種類以上の帯域制限フィルタを備え、該画像の帯域を制限する予備プレフィルタステップと、該プレフィルタステップにて帯域制限された画像を蓄積するフィルタ画像蓄積ステップと、該予備プレフィルタステップにて帯域制限された、１つ以上の画像を蓄積する予備フィルタ画像蓄積ステップと、該フィルタ画像蓄積ステップに蓄積した画像と、復号した画像との間で動き探索をする動き探索ステップと、該動き探索の結果と該復号した画像から参照画像を生成し、符号化対象画像と該参照画像との間で動き補償をして予測誤差を求める動き補償ステップと、該動き補償ステップにて使う符号化対象画像の各画素を、該フィルタ画像蓄積ステップに蓄積した画像と該予備フィルタ画像蓄積ステップに蓄積した画像とから選択するフィルタ制御ステップと、該各画素において、該フィルタ制御ステップにて選択した全ての画像に対する、該動き補償ステップにて求めた予測誤差を比較し、その絶対値が最も小さい予測誤差を求める予測誤差評価ステップと、該絶対値が最も小さい予測誤差を量子化する誤差量子化ステップと、該量子化した値を可変長符号化する可変長符号化ステップと、該可変長符号化したデータを該復号する局所復号ステップと、を備えることを特徴とする。
【００２８】
本発明１５では、画像の帯域を制限し、その画像をフレーム間予測符号化方式を使って符号化する動画像の符号化方法において、該画像を取得する画像入力ステップと、該画像の帯域を制限するプレフィルタステップと、該プレフィルタステップとは帯域を制限する周波数特性が異なるように変更した帯域制限フィルタを備え、該画像の帯域を制限する予備プレフィルタステップと、該プレフィルタステップにて帯域制限された画像を蓄積するフィルタ画像蓄積ステップと、該予備プレフィルタステップにて帯域制限された画像を蓄積する予備フィルタ画像蓄積ステップと、復号した画像から参照画像を生成し、符号化対象画像と該参照画像との間で予測誤差を求めるフレーム間予測ステップと、該フレーム間予測ステップにて使う符号化対象画像の各画素を、該フィルタ画像蓄積ステップに蓄積した画像と該予備フィルタ画像蓄積ステップに蓄積した画像とから選択するフィルタ制御ステップと、該各画素において、該フィルタ制御ステップにて選択した全ての画像に対する、フレーム間予測ステップにて求めた予測誤差を比較し、その絶対値が最も小さい予測誤差を求める予測誤差評価ステップと、該絶対値が最も小さい予測誤差を量子化する誤差量子化ステップと、該量子化ステップで使用した量子化スケールの値に従って、該予備プレフィルタステップの帯域制限フィルタの周波数特性を該変更するプレフィルタ係数制御ステップと、該量子化した値を可変長符号化する可変長符号化ステップと、該可変長符号化したデータを該復号する局所復号ステップと、を備えることを特徴とする。
【００２９】
本発明１６では、画像の帯域を制限し、その画像を動き補償予測符号化方式を使って符号化する動画像の符号化方法において、画像を取得する画像入力ステップと、該画像の帯域を制限するプレフィルタステップと、該プレフィルタステップとは帯域を制限する周波数特性が異なるように変更した帯域制限フィルタを備え、該画像の帯域を制限する予備プレフィルタステップと、該プレフィルタステップにて帯域制限された画像を蓄積するフィルタ画像蓄積ステップと、該予備プレフィルタステップにて帯域制限された画像を蓄積する予備フィルタ画像蓄積ステップと、該フィルタ画像蓄積ステップに蓄積した画像と、復号した画像との間で動き探索をする動き探索ステップと、該動き探索の結果と該復号した画像から参照画像を生成し、符号化対象画像と該参照画像との間で動き補償をして予測誤差を求める動き補償ステップと、該動き補償ステップにて使う符号化対象画像の各画素を、該フィルタ画像蓄積ステップに蓄積した画像と該予備フィルタ画像蓄積ステップに蓄積した画像とから選択するフィルタ制御ステップと、該各画素において、該フィルタ制御ステップにて選択した全ての画像に対する、該動き補償ステップにて求めた予測誤差を比較し、その絶対値が最も小さい予測誤差を求める予測誤差評価ステップと、該絶対値が最も小さい予測誤差を量子化する誤差量子化ステップと、該量子化ステップで使用した量子化スケールの値に従って、予備プレフィルタステップの帯域制限フィルタの周波数特性を該変更するプレフィルタ係数制御ステップと、該量子化した値を可変長符号化する可変長符号化ステップと、該可変長符号化したデータを該復号する局所復号ステップと、を備えることを特徴とする。
【００３０】
本発明１，９によれば、１つの帯域制限フィルタの周波数特性を制御する代わりに、フレーム間予測部／ステップで、或る周波数特性のフィルタを適用した入力画像と参照画像との間の予測誤差と、異なる周波数特性のフィルタを適用した入力画像と参照画像との間の予測誤差を求め、予測誤差評価部／ステップでそれらを比較して、誤差の小さい方を入力画像とすることができる。これにより、量子化歪みを増大させること無く、予測誤差を小さくし符号化効率を向上させることができる。また、参照画像のエッジ付近の高周波成分が多い場合に、復号画像のエッジのぼけを防ぐことができる。また、予備プレフィルタ部／ステップに備えるフィルタの数を多くし、それぞれ異なる周波数特性を持たせることにより、より量子化歪みの増加を防止することができる。
【００３１】
本発明２，１０によれば、１つのフィルタの周波数特性を制御する代わりに、動き補償部／ステップで、或る周波数特性のフィルタを適用した入力画像と参照画像との間の予測誤差と、異なる周波数特性のフィルタを適用した入力画像と参照画像との間の予測誤差を求め、予測誤差評価部／ステップでそれらを比較して、誤差の小さい方を入力画像とすることができる。これにより、本発明１，９の発明と同様に、量子化歪みを増大すること無く、予測誤差の小さくし符号化効率を向上させることができる。また、高周波成分の低減の少ない周波数特性のフィルタを適用した画像を動き探索部／ステップの入力とすることにより、符号化効率の悪い動きベクトルを求めることを防ぐことができる。また、本発明１，９と同様に、予備プレフィルタ部／ステップに備えるフィルタの数を多くし、それぞれ異なる周波数特性を持たせることにより、より量子化歪みの増加を防止することができる。
【００３２】
本発明３，１１によれば、本発明１，９の予備プレフィルタ部／ステップのフィルタの周波数特性を、前フレームの平均量子化スケールを使って制御することができる。これにより、予備プレフィルタ部／ステップにて備えるフィルタの数を多くすること無く、量子化歪みの増加を防止することができる。
【００３３】
本発明４，１２によれば、本発明２，１０の予備プレフィルタ部／ステップのフィルタの周波数特性を、前フレームの平均量子化スケールを使って制御することができる。これにより、予備プレフィルタ部／ステップにて備えるフィルタの数を多くすること無く、量子化歪みの増加を防止することができる。
【００３４】
本発明５，１３、本発明６，１４、本発明７，１５、および本発明８，１６によれば、それぞれ本発明１，９、本発明２，１０、本発明３，１１、本発明４，１２の、予測誤差を直交変換する直交変換部／ステップと直交変換した係数を量子化する量子化部／ステップを用いる代わりに、予測誤差自体を量子化する誤差量子化部／ステップを備えて符号化することができる。予測誤差自体の量子化ではスカラー量子化やベクトル量子化を適用することができる。これにより、直交変換を使わない量子化によって引き起こされる量子化歪みの増加を防止することができる。
【００３５】
【発明の実施の形態】
本発明の実施形態例を図面を参照して説明する。
【００３６】
〈実施形態例１〉
図１に本発明の第１の実施形態例による構成例１を示す。図１において、１０１は画像入力部、１０２はプレフィルタ部、１０３はフィルタ画像蓄積部、１０４は動き探索部、１０５は動き補償部、１０６は予測誤差評価部、１０７はＤＣＴ部、１０８は量子化部、１０９は可変長符号化部、１１０は局所復号部、１１１はフィルタ制御部、１１２は予備プレフィルタ部、１１３は予備フィルタ画像蓄積部である。
【００３７】
本実施形態例では、予備プレフィルタ部１１２が予め２種類の周波数特性を持つフィルタＣ２とＣ３を保持しており、プレフィルタ部１０２のフィルタＣ１を含めて３種類の周波数特性のフィルタを、フィルタ制御部１１１を介して動き補償部１０５にて使用する。フィルタＣ１，Ｃ２，Ｃ３の周波数特性は式（１）と図１１で表され、Ｃ１はｋ＝１０、Ｃ２はｋ＝８、Ｃ３はｋ＝４とする。
【００３８】
以下に、本実施形態例による構成例１の動作例を示す。局所復号部１１０には前フレームの復号画像が蓄積されているものとする。予測誤差はＤＣＴ部１０７にてＤＣＴで変換され、量子化部１０８で量子化されるものとする。
【００３９】
まず、画像入力部１０１は１フレーム分の画像を取得する。プレフィルタ部１０２は画像入力部１０１にて取得された画像にＣ１の周波数特性のフィルタを適用して帯域制限を行い、フィルタ画像蓄積部１０３に帯域制限した画像を蓄積する。予備プレフィルタ部１１２は画像入力部１０１にて取得された画像に、Ｃ２あるいはＣ３の周波数特性のフィルタを適用して帯域制限を行い、予備フィルタ画像蓄積部１１３に帯域制限した画像を蓄積する。動き探索部１０４はフィルタ画像蓄積部１０３に蓄積された画像と、局所復号部１１０に蓄積された前フレームの復号画像を使って、すべてのマクロブロックの動きベクトルを求める。
【００４０】
続いて、マクロブロック単位に動き探索部１０４による動き探索、動き補償部１０５による動き補償、ＤＣＴ部１０７によるＤＣＴ、量子化部１０８による量子化、可変長符号化部１０９による可変長符号化を行う。動き補償部１０５では、局所復号部１１０にて復号された復号画像から、動き探索部１０４にて求められた動きベクトルを使って、マクロブロック毎の参照画像を作成する。次に、マクロブロック内の各画素に対して、入力画像と参照画像との予測誤差を求める。
【００４１】
図２に、予測誤差を求める際の、動き補償部１０５とフィルタ制御部１１１と予測誤差評価部１０６の動作フローを示す。各画素の予測誤差は、具体的には次のように行う。入力画像として、フィルタ画像蓄積部１０３に蓄積された画像Ｉ１と、予備フィルタ画像蓄積部１１３に蓄積された画像Ｉ２とＩ３を、フィルタ制御部１１１でＩ１，Ｉ２，Ｉ３の順に入れ替えて予測誤差を求める。求めた予測誤差の絶対値をそれぞれ、Ｓ１，Ｓ２，Ｓ３とし、参照画像をＲとすると、Ｓ１，Ｓ２，Ｓ３は次の式で計算される。なお、関数ＡＢＳは絶対値を求める関数とする。
【００４２】
Ｓ１＝ＡＢＳ（Ｉ１−Ｒ）……式（３）
Ｓ２＝ＡＢＳ（Ｉ２−Ｒ）……式（４）
Ｓ３＝ＡＢＳ（Ｉ３−Ｒ）……式（５）
続いて、予測誤差評価部１０６では、Ｓ１，Ｓ２，Ｓ３の値のうち最も小さい値を求め、求めた値に対応する入力画像と参照画像との予測誤差を、その画素の予測誤差に決定し設定する。この作業をマクロブロック内のすべての画素に対して実行し、マクロブロックの予測誤差を求める。ＤＣＴ部１０７は予測誤差をＤＣＴし、量子化部１０８はＤＣＴ係数を量子化する。可変長符号化部１０９は、動きベクトルと、量子化スケールと、量子化されたＤＣＴ係数を可変長符号化する。可変長符号化では、予め符号化値とビットパターンの対応表を用意しておき、その対応表に従って符号化を行う。
【００４３】
上記の処理を画面内のすべてのマクロブロックに対して実行し、そのフレームの符号化データを作成する。局所復号部１１０は、フレームの符号化データを復号して復号画像を作成し復号画像を蓄積しておく。
【００４４】
第１の実施形態例によれば、フィルタ適用後の画像を複数用意して適宜変更することにより、予測誤差を少なくし、量子化歪みを低滅し符号化効率を向上させることができる。また、高周波成分の低減の少ない周波数特性のフィルタを適用した画像を動き探索処理の入力とすることにより、符号化効率の悪い動きベクトルを求めることを防ぐことができる。
【００４５】
動きベクトル位置と画像との予測誤差を求めるのではなく、同じ位置の画像との予測誤差を求める場合には、動き探索や動き補償を行う必要はない。この場合には、動き探索部と動き補償部の代わりに、フレーム間予測部を備えることにより実現できる。その構成を、本実施形態例による構成例２として図３に示す。１１６が、そのフレーム間予測部である。この場合にも同様に、フィルタ適用後の画像を複数用意して適宜変更することにより、予測誤差を少なくし、量子化歪みを低減して符号化効率を向上させることができる。
【００４６】
また、ＤＣＴ部と量子化部の代わりに、予測誤差をスカラー量子化する誤差量子化部を備えた場合には、予測誤差をＤＣＴせずに量子化する。その構成を、本実施形態例による構成例３、４として、それぞれを図４、図５に示す。１１５がその誤差量子化部である。図４は動き探索部１０４で動きベクトルを求めて動き補償部１０５で予測誤差を求める場合であり、図５はフレーム間予測部１１６で予測誤差を求める場合である。この場合であっても、フィルタ適用後の画像を複数用意して適宜変更することにより、予測誤差を少なくし、量子化歪みを低滅し符号化効率を向上させることができる。また、図４の構成例の場合では、高周波成分の低減の少ない周波数特性のフィルタを適用した画像を動き探索処理の入力とすることにより、符号化効率の悪い動きベクトルを求めることを防ぐことができる。
【００４７】
〈実施形態例２〉
図６に、本発明の第２の実施形態例による構成例１を示す。図２において、１０１は画像入力部、１０２はプレフィルタ部、１０３はフィルタ画像蓄積部、１０４は動き探索部、１０５は動き補償部、１０６は予測誤差評価部、１０７はＤＣＴ部、１０８は量子化部、１０９は可変長符号化部、１１０は局所復号部、１１１はフィルタ制御部、１１２は予備プレフィルタ部、１１３は予備フィルタ画像蓄積部、１１４はプレフィルタ係数制御部である。
【００４８】
本実施形態例では、第１の実施形態例とは異なり、予備プレフィルタ部１１２に設定された周波数特性をフレーム毎に変更する場合を示す。予備プレフィルタ部１１２には周波数特性Ｃ２のフィルタが備えられており、プレフィルタ係数制御部１１４によって変更されるものとする。フィルタＣ１，Ｃ２の周波数特性は式（１）と図１１で表され、Ｃ１はｋ＝１０とする。プレフィルタ係数制御部１１４は、前フレームの平均量子化スケールから式（２）を用いて周波数特性を計算し、予備プレフィルタ部１１２のＣ２を変更するものとする。式（２）の値ｃは量子化スケールの最大値とする。本実施形態例では３１とする。
【００４９】
以下に、本実施形態例による構成例１の動作例を示す。局所復号部１１０には前フレームの復号画像が蓄積されているものとする。予測誤差はＤＣＴ部１０７にてＤＣＴで変換され、量子化部１０８で量子化されるものとする。
【００５０】
まず、画像入力部１０１は画像を１フレーム分の画像を取得する。プレフィルタ部１０２は画像入力部１０１にて取得された画像にＣ１の周波数特性のフィルタを適用して帯域制限を行い、フィルタ画像蓄積部１０３に帯域制限した画像を蓄積する。予備プレフィルタ部１１２は画像入力部１０１にて取得された画像に、Ｃ２の周波数特性のフィルタを適用して帯域制限を行い、予備フィルタ画像蓄積部１１３に帯域制限した画像を蓄積する。動き探索部１０４はフィルタ画像蓄積部１０３に蓄積された画像と、局所復号部１１０に蓄積された前フレームの復号画像を使ってすべてのマクロブロックの動きベクトルを求める。
【００５１】
続いて、マクロブロック単位に動き探索部１０４による動き探索、動き補償部１０５による動き補償、ＤＣＴ部１０７によるＤＣＴ、量子化部１０８による量子化、可変長符号化部１０９による可変長符号化を行う。動き補償部１０５では、局所復号部１１０にて復号された復号画像から、動き探索部１０４にて求められた動きベクトルを使って、マクロブロック毎の参照画像を作成する。次に、マクロブロック内の各画素に対して、入力画像と参照画像との予測誤差を求める。
【００５２】
予測誤差を求める際の、動き補償部１０５とフィルタ制御部１１１と予測誤差評価部１０６の動作フローは図２と同じである。各画素の予測誤差は、具体的には次のように行う。入力画像として、フィルタ画像蓄積部１０３に蓄積された画像Ｉ１と、予備フィルタ画像蓄積部１１３に蓄積された画像Ｉ２を、フィルタ制御部１１１でＩ１，Ｉ２の順に入れ替えて予測誤差を求める。求めた予測誤差の絶対値をそれぞれ、Ｓ１，Ｓ２とし、参照画像をＲとすると、Ｓ１，Ｓ２は式（３）と式（４）で計算される。
【００５３】
続いて、予測誤差評価部１０６では、Ｓ１，Ｓ２の値のうち最も小さい値を求め、求めた値に対応する入力画像と参照画像との予測誤差を、その画素の予測誤差に決定し設定する。この作業をマクロブロック内のすべての画素に対して実行し、マクロブロックの予測誤差を求める。ＤＣＴ部１０７は予測誤差をＤＣＴし、量子化部１０８はＤＣＴ係数を量子化する。可変長符号化部１０９は、動きベクトルと、量子化スケールと、量子化されたＤＣＴ係数を可変長符号化する。可変長符号化では、予め符号化値とビットパターンの対応表を用意しておき、その対応表に従って符号化を行う。
【００５４】
上記の処理を画面内のすべてのマクロブロックに対して実行し、そのフレームの符号化データを作成する。局所復号部１１０は、フレームの符号化データを復号して復号画像を作成し復号画像を蓄積しておく。また、プレフィルタ係数制御部１１４は、量子化部１０８で使われた量子化スケールのフレーム内の平均を求め、式（２）を使って予備プレフィルタ部１１２のフィルタの周波数特性Ｃ２を変更する。
【００５５】
第２の実施形態例によれば、量子化スケールに従ってフィルタの周波数特性を制御するフィルタと、周波数特性を制御しないフィルタを備えて適宜変更することにより、予測誤差を少なくし、量子化歪みを低滅し、符号化効率を向上させることができる。
【００５６】
第１の実施形態例と同様に、動きベクトル位置と画像との予測誤差を求めるのではなく、同じ位置の画像との予測誤差を求める場合には、動き探索や動き補償を行う必要はない。この場合には、動き探索部と動き補償部の代わりに、フレーム間予測部を備えることにより実現できる。その構成を、本実施形態例による構成例２として図７に示す。１１６が、そのフレーム間予測部である。この場合にも同様に、量子化スケールに従ってフィルタの周波数特性を制御するフィルタと、周波数特性を制御しないフィルタを備えて適宜変更することにより、予測誤差を少なくし、量子化歪みを低減して符号化効率を向上させることができる。
【００５７】
また、第１の実施形態例と同様に、ＤＣＴ部と量子化部の代わりに、予測誤差をスカラー量子化する誤差量子化部を備えた場合には、予測誤差をＤＣＴせずに量子化する。その構成を、本実施形態例による構成例３、４として、それぞれを図８、図９に示す。１１５がその誤差量子化部である。図８は動き探索部１０４で動きベクトルを求めて動き補償部１０５で予測誤差を求める場合であり、図９はフレーム間予測部１１６で予測誤差を求める場合である。この場合であっても、量子化スケールに従ってフィルタの周波数特性を制御するフィルタと、周波数特性を制御しないフィルタを備えて適宜変更することにより、予測誤差を少なくし、量子化歪みを低減して符号化効率を向上させることができる。また、図８の構成例の場合では、高周波成分の低減の少ない周波数特性のフィルタを適用した画像を動き探索処理の入力とすることにより、符号化効率の悪い動きベクトルを求めることを防ぐことができる。
【００５８】
【発明の効果】
以上述べたように、本発明によれば、ある周波数特性のフィルタを適用した入力画像と参照画像との間の予測誤差と、異なる周波数特性のフィルタを適用した入力画像と参照画像との間の予測誤差を求め、誤差の小さい方を入力画像とすることができる。これにより、量子化歪みを増大すること無く、予測誤差を小さくし符号化効率を向上させることができる。
【００５９】
また、本発明は、参照画像のエッジ付近の高周波成分が多い場合に、復号画像のエッジのぼけを防ぐことができる。
【００６０】
また、本発明は、高周波成分の低減の少ない周波数特性のフィルタを適用した画像を動き探索処理の入力とすることにより、符号化効率の悪い動きベクトルを求めることを防ぐことができる。
【００６１】
さらに、本発明は、フィルタの周波数特性を、前フレームの平均量子化スケールを使って制御することができる。これにより、量子化歪みの増加を防止することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態例の構成例１を示す図である。
【図２】本発明の実施形態例における、フィルタ制御部と動き補償部と予測誤差評価部の動作フロー図である。
【図３】上記第１の実施形態例の構成例２を示す図である。
【図４】上記第１の実施形態例の構成例３を示す図である。
【図５】上記第１の実施形態例の構成例４を示す図である。
【図６】本発明の第２の実施形態例の構成例１を示す図である。
【図７】上記第２の実施形態例の構成例２を示す図である。
【図８】上記第２の実施形態例の構成例３を示す図である。
【図９】上記第２の実施形態例の構成例４を示す図である。
【図１０】従来の空間フィルタの例を示す図である。
【図１１】従来のフィルタの重み付け係数の例を示す図である。
【符号の説明】
１０１…画像入力部
１０２…プレフィルタ部
１０３…フィルタ画像蓄積部
１０４…動き探索部
１０５…動き補償部
１０６…予測誤差評価部
１０７…ＤＣＴ部
１０８…量子化部
１０９…可変長符号化部
１１０…局所復号部
１１１…フィルタ制御部
１１２…予備プレフィルタ部
１１３…予備フィルタ画像蓄積部
１１４…プレフィルタ係数制御部
１１５…誤差量子化部
１１６…フレーム間予測部
【図１】
0003648446.tif 000004
【図２】
0003648446.tif 000005
【図３】
0003648446.tif 000006
【図４】
0003648446.tif 000007
【図５】
0003648446.tif 000008
【図６】
0003648446.tif 000009
【図７】
0003648446.tif 000010
【図８】
0003648446.tif 000011
【図９】
0003648446.tif 000012
【図１０】
0003648446.tif 000013
【図１１】
0003648446.tif 000014