(57)【特許請求の範囲】
【請求項１】
インターレース映像信号をフィールドベースでサブバンド符号化する符号化装置であっ
て、
前記インターレース映像信号中の輝度信号を水平方向と垂直方向に同じ回数サブバンド
分割するサブバンド分割手段と、
前記サブバンド分割手段によるサブバンド分割によって得られた前記輝度信号の各サブ
バンドの符号化処理を行う符号化処理手段と、
前記輝度信号の各サブバンドの符号化処理に、輝度の視覚周波数特性を基に算出された
サブバンド対応の輝度の視覚周波数特性値を反映させる手段とを有し、
前記輝度の視覚周波数特性値を算出するために参照される輝度の視覚周波数特性の周波
数区間は、垂直方向について参照される周波数区間が水平方向について参照される周波数
区間に対し前記サブバンド分割の１デコンポジションレベル分だけ低域側にシフトした区
間として設定されることを特徴とする符号化装置。
【請求項２】
４：４：４フォーマット又は４：１：１フォーマットのインターレース映像信号をフィ
ールドベースでサブバンド符号化する符号化装置であって、
前記インターレース映像信号中の色差信号を水平方向と垂直方向に同じ回数サブバンド
分割するサブバンド分割手段と、
前記サブバンド分割手段によるサブバンド分割によって得られた前記色差信号の各サブ
バンドの符号化処理を行う符号化処理手段と、
前記色差信号の各サブバンドの符号化処理に、色差の視覚周波数特性を基に算出された
サブバンド対応の色差の視覚周波数特性値を反映させる手段とを有し、
前記色差の視覚周波数特性値を算出するために参照される色差の視覚周波数特性の周波
数区間は、垂直方向について参照される周波数区間が水平方向について参照される周波数
区間に対して前記サブバンド分割の１デコンポジションレベル分だけ低域側にシフトした
区間として設定されることを特徴とする符号化装置。
【請求項３】
４：２：２フォーマットのインターレース映像信号をフィールドベースでサブバンド符
号化する符号化装置であって、
前記インターレース映像信号中の輝度信号及び色差信号を水平方向及び垂直方向に同じ
回数サブバンド分割するサブバンド分割手段と、
前記サブバンド分割手段によるサブバンド分割によって得られた前記輝度信号及び前記
色差信号の各サブバンドの符号化処理を行う符号化処理手段と、
前記輝度信号の各サブバンドの符号化処理に輝度の視覚周波数特性を基に算出されたサ
ブバンド対応の輝度の視覚周波数特性値を反映させ、前記色差信号の各サブバンドの符号
化処理に色差の視覚周波数特性を基に算出されたサブバンド対応の色差の視覚周波数特性
値を反映させる手段とを有し、
前記色差の視覚周波数特性値を算出するために水平方向について参照される色差の視覚
周波数特性の周波数区間が、前記輝度の視覚周波数特性値を算出するために水平方向につ
いて参照される輝度の視覚周波数特性の周波数区間に対して、前記サブバンド分割の１デ
コンポジションレベル分だけ低域側にシフトした区間として設定されることを特徴とする
符号化装置。
【請求項４】
４：２：２フォーマットのインターレース映像信号をフレームベースでサブバンド符号
化する符号化装置であって、
前記インターレース映像信号中の色差信号を水平方向及び垂直方向に同じ回数サブバン
ド分割するサブバンド分割手段と、
前記サブバンド分割手段によるサブバンド分割によって得られた前記色差信号の各サブ
バンドの符号化処理を行う符号化処理手段と、
前記色差信号の各サブバンドの符号化処理に、色差の視覚周波数特性を基に算出された
サブバンド対応の色差の視覚周波数特性値を反映させる手段とを有し、
前記色差の視覚周波数特性値を算出するために参照される色差の視覚周波数特性の周波
数区間は、垂直方向について参照される周波数区間が水平方向について参照される周波数
区間に対して前記サブバンド分割の１デコンポジションレベル分だけ高域側にシフトした
区間として設定されることを特徴とする符号化装置。
【請求項５】
４：１：１フォーマットのインターレース映像信号をフレームベースでサブバンド符号
化する符号化装置であって、
前記インターレース映像信号中の輝度信号及び色差信号を水平方向及び垂直方向に同じ
回数サブバンド分割するサブバンド分割手段と、
前記サブバンド分割手段によるサブバンド分割によって得られた前記輝度信号及び前記
色差信号の各サブバンドの符号化処理を行う符号化処理手段と、
前記輝度信号の各サブバンドの符号化処理に輝度の視覚周波数特性を基に算出されたサ
ブバンド対応の輝度の視覚周波数特性値を反映させ、前記色差信号の各サブバンドの符号
化処理に色差の視覚周波数特性を基に算出されたサブバンド対応の色差の視覚周波数特性
値を反映させる手段とを有し、
前記色差の視覚周波数特性値を算出するために水平方向について参照される色差の視覚
周波数特性の周波数区間が、前記輝度の視覚周波数特性値を算出するために水平方向につ
いて参照される輝度の視覚周波数特性の周波数区間に対して、前記サブバンド分割の１デ
コンポジションレベル分だけ低域側にシフトした区間として設定されることを特徴とする
符号化装置。
【請求項６】
４：２：２フォーマットのインターレース映像信号をフィールドベースでサブバンド符
号化する符号化装置であって、
前記インターレース映像信号中の色差信号をデコンポジションレベル１に限り垂直方向
にのみサブバンド分割し、デコンポジションレベル２以上では水平方向及び垂直方向にサ
ブバンド分割するサブバンド分割手段と、
前記サブバンド分割手段によるサブバンド分割によって得られた前記色差信号の各サブ
バンドの符号化処理を行う符号化処理手段と、
前記色差信号の各サブバンドの符号化処理に、色差の視覚周波数特性を基に算出された
サブバンド対応の色差の視覚周波数特性値を反映させる手段とを有し、
前記色差の視覚周波数特性値を算出するために参照される色差の視覚周波数特性の周波
数区間は、垂直方向について参照される周波数区間が、水平方向について参照される周波
数区間に対して前記サブバンド分割の１デコンポジションレベル分だけ低域側にシフトし
た区間として設定されることを特徴とする符号化装置。
【請求項７】
４：１：１フォーマットのインターレース映像信号をフィールドベースでサブバンド符
号化する符号化装置であって、
前記インターレース映像信号中の輝度信号及び色差信号を水平方向及び垂直方向にサブ
バンド分割し、ただし前記色差信号に対してはデコンポジションレベル１に限りサブバン
ド分割を行なわないサブバンド分割手段と、
前記サブバンド分割手段によるサブバンド分割によって得られた前記輝度信号及び前記
色差信号の各サブバンドの符号化処理を行う符号化処理手段と、
前記輝度信号の各サブバンドの符号化処理に輝度の視覚周波数特性を基に算出されたサ
ブバンド対応の輝度の視覚周波数特性値を反映させ、前記色差信号の各サブバンドの符号
化処理に色差の視覚周波数特性を基に算出されたサブバンド対応の色差の視覚周波数特性
値を反映させる手段とを有し、
前記色差の視覚周波数特性値を算出するために参照される色差の視覚周波数特性の周波
数区間は、垂直方向について参照される周波数区間が、水平方向について参照される周波
数区間に対して前記サブバンド分割の１デコンポジションレベル分だけ低域側にシフトし
た区間として設定されることを特徴とする符号化装置。
【請求項８】
インターレース映像信号をフィールドベースでサブバンド符号化するため、コンピュー
タに、
前記インターレース映像信号中の輝度信号を水平方向と垂直方向に同じ回数サブバンド
分割するサブバンド分割工程、
前記サブバンド分割工程によるサブバンド分割によって得られた前記輝度信号の各サブ
バンドの符号化処理を行う符号化処理工程と、
前記輝度信号の各サブバンドの符号化処理に、輝度の視覚周波数特性を基に算出された
サブバンド対応の輝度の視覚周波数特性値を反映させる工程を実行させるプログラムであ
って、
前記輝度の視覚周波数特性値を算出するために参照される輝度の視覚周波数特性の周波
数区間は、垂直方向について参照される周波数区間が水平方向について参照される周波数
区間に対し前記サブバンド分割の１デコンポジションレベル分だけ低域側にシフトした区
間として設定されることを特徴とするプログラム。
【請求項９】
４：４：４フォーマット又は４：１：１フォーマットのインターレース映像信号をフィ
ールドベースでサブバンド符号化するため、コンピュータに、
前記インターレース映像信号中の色差信号を水平方向と垂直方向に同じ回数サブバンド
分割するサブバンド分割工程、
前記サブバンド分割工程によるサブバンド分割によって得られた前記色差信号の各サブ
バンドの符号化処理を行う符号化処理工程、
前色差信号の各サブバンドの符号化処理に、色差の視覚周波数特性を基に算出されたサ
ブバンド対応の色差の視覚周波数特性値を反映させる工程を実行させるプログラムであっ
て、
前記色差の視覚周波数特性値を算出するために参照される色差の視覚周波数特性の周波
数区間は、垂直方向について参照される周波数区間が水平方向について参照される周波数
区間に対して前記サブバンド分割の１デコンポジションレベル分だけ低域側にシフトした
区間として設定されることを特徴とするプログラム。
【請求項１０】
４：２：２フォーマットのインターレース映像信号をフィールドベースでサブバンド符
号化するため、コンピュータに、
前記インターレース映像信号中の輝度信号及び色差信号を水平方向及び垂直方向に同じ
回数サブバンド分割するサブバンド分割工程、
前記サブバンド分割工程によるサブバンド分割によって得られた前記輝度信号及び前記
色差信号の各サブバンドの符号化処理を行う符号化処理工程、
前記輝度信号の各サブバンドの符号化処理に輝度の視覚周波数特性を基に算出されたサ
ブバンド対応の輝度の視覚周波数特性値を反映させ、前記色差信号の各サブバンドの符号
化処理に色差の視覚周波数特性を基に算出されたサブバンド対応の色差の視覚周波数特性
値を反映させる工程を実行させるプログラムであって、
前記色差の視覚周波数特性値を算出するために水平方向について参照される色差の視覚
周波数特性の周波数区間が、前記輝度の視覚周波数特性値を算出するために水平方向につ
いて参照される輝度の視覚周波数特性の周波数区間に対して、前記サブバンド分割の１デ
コンポジションレベル分だけ低域側にシフトした区間として設定されることを特徴とする
プログラム。
【請求項１１】
４：２：２フォーマットのインターレース映像信号をフレームベースでサブバンド符号
化するため、コンピュータに、
前記インターレース映像信号中の色差信号を水平方向及び垂直方向に同じ回数サブバン
ド分割するサブバンド分割工程、
前記サブバンド分割工程によるサブバンド分割によって得られた前記色差信号の各サブ
バンドの符号化処理を行う符号化処理工程、
前記色差信号の各サブバンドの符号化処理に、色差の視覚周波数特性を基に算出された
サブバンド対応の色差の視覚周波数特性値を反映させる工程を実行させるプログラムであ
って、
前記色差の視覚周波数特性値を算出するために参照される色差の視覚周波数特性の周波
数区間は、垂直方向について参照される周波数区間が水平方向について参照される周波数
区間に対して前記サブバンド分割の１デコンポジションレベル分だけ高域側にシフトした
区間として設定されることを特徴とするプログラム。
【請求項１２】
４：１：１フォーマットのインターレース映像信号をフレームベースでサブバンド符号
化するため、コンピュータに、
前記インターレース映像信号中の輝度信号及び色差信号を水平方向及び垂直方向に同じ
回数サブバンド分割するサブバンド分割工程、
前記サブバンド分割工程によるサブバンド分割によって得られた前記輝度信号及び前記
色差信号の各サブバンドの符号化処理を行う符号化処理工程、
前記輝度信号の各サブバンドの符号化処理に輝度の視覚周波数特性を基に算出されたサ
ブバンド対応の輝度の視覚周波数特性値を反映させ、前記色差信号の各サブバンドの符号
化処理に色差の視覚周波数特性を基に算出されたサブバンド対応の色差の視覚周波数特性
値を反映させる工程を実行させるプログラムであって、
前記色差の視覚周波数特性値を算出するために水平方向について参照される色差の視覚
周波数特性の周波数区間が、前記輝度の視覚周波数特性値を算出するために水平方向につ
いて参照される輝度の視覚周波数特性の周波数区間に対して、前記サブバンド分割の１デ
コンポジションレベル分だけ低域側にシフトした区間として設定されることを特徴とする
プログラム。
【請求項１３】
４：２：２フォーマットのインターレース映像信号をフィールドベースでサブバンド符
号化するため、コンピュータに、
前記インターレース映像信号中の色差信号をデコンポジションレベル１に限り垂直方向
にのみサブバンド分割し、デコンポジションレベル２以上では水平方向及び垂直方向にサ
ブバンド分割するサブバンド分割工程、
前記サブバンド分割工程によるサブバンド分割によって得られた前記色差信号の各サブ
バンドの符号化処理を行う符号化処理工程、
前記色差信号の各サブバンドの符号化処理に、色差の視覚周波数特性を基に算出された
サブバンド対応の色差の視覚周波数特性値を反映させる工程を実行させるプログラムであ
って、
前記色差の視覚周波数特性値を算出するために参照される色差の視覚周波数特性の周波
数区間は、垂直方向について参照される周波数区間が、水平方向について参照される周波
数区間に対して前記サブバンド分割の１デコンポジションレベル分だけ低域側にシフトし
た区間として設定されることを特徴とするプログラム。
【請求項１４】
４：１：１フォーマットのインターレース映像信号をフィールドベースでサブバンド符
号化するため、コンピュータに、
前記インターレース映像信号中の輝度信号及び色差信号を水平方向及び垂直方向にサブ
バンド分割し、ただし前記色差信号に対してはデコンポジションレベル１に限りサブバン
ド分割を行なわないサブバンド分割工程、
前記サブバンド分割工程によるサブバンド分割によって得られた前記輝度信号及び前記
色差信号の各サブバンドの符号化処理を行う符号化処理工程、
前記輝度信号の各サブバンドの符号化処理に輝度の視覚周波数特性を基に算出されたサ
ブバンド対応の輝度の視覚周波数特性値を反映させ、前記色差信号の各サブバンドの符号
化処理に色差の視覚周波数特性を基に算出されたサブバンド対応の色差の視覚周波数特性
値を反映させる工程を実行させるプログラムであって、
前記色差の視覚周波数特性値を算出するために参照される色差の視覚周波数特性の周波
数区間は、垂直方向について参照される周波数区間が、水平方向について参照される周波
数区間に対して前記サブバンド分割の１デコンポジションレベル分だけ低域側にシフトし
た区間として設定されることを特徴とするプログラム。
【請求項１５】
請求項８乃至１４のいずれか１項に記載のプログラムが記録されたコンピュータが読み
取り可能な情報記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、水平方向と垂直方向とで周波数帯域の異なる信号の符号化技術に係り、より具体的にはインターレース映像信号の符号化技術に関する。
【背景技術】
【０００２】
ビデオカメラ等の動画撮影機器においては、一般に、１／６０秒間隔でインターレース走査により動画を撮影している。このようなビデオカメラ等で撮影されたインターレース構造の映像信号の符号化方式として、フィールデータを符号化するフィールドベースの符号化と、相前後する２枚のフィールドデータから合成したフレームデータを符号化するフレームベースの符号化とがある（図１参照）。
【０００３】
フィールドデータは、走査線が飛び飛びであるため、走査線が連続したフレームデータに比べ垂直方向の画素相関が弱い。したがって、圧縮効率の面ではフレームベースの符号化の方がフィールドベースの符号化より有利と言えそうであるが、例えば被写体の動き量が大きい場合には必ずしもそうとは言えない。フレームを構成する２つのフィールド間で被写体が移動すると、フレームデータにおいて被写体のエッジがライン単位のくし歯状（櫛形）になり、その部分の垂直方向の画素相関が極端に劣化して圧縮しにくくなるためである（以上について例えば特許文献１参照）。
【０００４】
このような点を考慮し、インターレース映像信号の符号化方法として、動きが大きい部分ではフィールドベースの符号化を行い、動きが小さい部分ではフレームベースの符号化を行う画像符号化方法が提案されている（例えば特許文献２参照）。
【０００５】
また、インターレース映像信号に対するフィールドベースのサブバンド符号化において、映像信号中の輝度信号に関し、ＬＨ、ＨＬ、ＨＨの各サブバンド信号に対する量子化ステップ幅の大小関係をLH＜HL＜HHとし、また、４：２：１又は４：１：１フォーマットのインターレース映像信号中の色差信号に関し、最も高い周波数成分を含む階層のＬＨ、ＨＬ、ＨＨの各サブバンド信号に対する量子化ステップ幅の大小関係をHL＜LH＜HHとする符号化方法が提案されている（特許文献３参照）。
【０００６】
【特許文献１】特開2002-64830号公報
【特許文献２】特許第2507199号公報
【特許文献３】特許第3534465号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
さて、フィールドベースの符号化とフレームベースの符号化とでは、上に述べたような符号化特性の違いもさることながら、画質上の特性が大きく異なることに発明者は注目した。以下、これについて説明する。
【０００８】
一般に、サブバンド符号化と呼ばれる信号の符号化は、
原信号のサブバンドへの周波数変換（サブバンド分割）→サブバンドを構成する「周波数領域の係数」の量子化→量子化後の係数のエントロピー符号化
という手順をとる。ここで、サブバンドとは周波数帯域ごとに分類された「周波数領域の係数」の集合であり、「周波数領域の係数（以下、周波数係数とよぶ）」とは、前記周波数変換がＤＣＴであればＤＣＴ係数、前記周波数変換がウェーブレット変換であればウェーブレット係数である。そして、前記周波数変換の基底長（ＤＣＴであればＤＣＴをかけるブロックの水平方向、垂直方向の画素数、ウェーブレット変換であればハイパス係数、ローパス係数のタップ長）と復号画像の画質は密接な関係を有する。
【０００９】
基底長がｘであるということは、符号化時には範囲ｘ内の画素を基に低周波数係数や高周波係数が算出されることを意味し、復号時には、１つの周波数係数がｘ個の画素に対して影響を及ぼすことを意味する。一般に変換符号化においては、視覚的に影響の少ない高周波の係数を量子化して圧縮率を上げるのが通常であり、復号時には、主に量子化されなかった低周波の係数を基に画像が復号されると考えて良い。すると通常、基底長ｘの低周波係数を基に復号された画像と、その倍の基底長2ｘの低周波係数を基に復号された画像とでは、前者よりも後者の方が、より平滑度の高い復号画像となる。復号時、後者の１つの低周波係数は、前者の係数の２倍の範囲の画素値に影響を及ぼすが、これは、逆周波数変換時に１つの係数値の影響が局所化せず普遍化することを意味し、結果的に平滑化の効果を生じさせるからである。
【００１０】
さて、インターレース画像とは、インターレース表示の対象となる画像を意味するため、フレームベース符号化された画像も、その半分の高さのサイズでフィールドベース符号化された画像も、ともに表示される場合には同じ大きさ（高さ）でインターレース表示されることに注意が必要である。つまり、フィールドベースの個々の（＝奇・偶フィールドの）符号は、垂直方向に各々２倍に引き延ばされた形で（実際には飛び飛びの走査線で）表示されるのであり、これは視覚的には、個々の符号の周波数変換の基底長が走査線と垂直な方向に倍になったような効果を生じる。垂直方向について、１つの係数が影響を及ぼす画素値の範囲がＣＲＴの表示面上で２倍になるからである。その結果、フィールドベースの符号化では、より平滑度の高い復号画像になってしまい、これが主観上、好ましくないことがあるのである。
【００１１】
したがって、フィールドベースの符号化においては、走査線と直交する方向（垂直方向）の平滑度を制御する必要があり、その代表的な手法は基底長の制御である。また、垂直方向の平滑化を抑えるためには走査線方向（水平方向）に伸びるエッジ自体の鮮鋭度を保つことが有効であり、その代表的な方法は、水平方向に伸びるエッジ量を反映するサブバンドの係数(LH係数)の量子化を、垂直方向のエッジ量を反映するサブバンドの係数(HL係数)の量子化より控える方法である。
【００１２】
前記特許文献３の符号化方法は、このようなサブバンド間の量子化の関係を規定したものである。しかし、この符号化方法における輝度信号に関する「LH＜HL＜HH」という量子化ステップ幅の大小関係、及び、色差信号に関する「HL＜LH＜HH」という量子化ステップ幅の大小関係は、いずれも実験的知見に基づいており（特許文献３の段落（００１８）〜（００２８）参照）、理論的見地から導かれたものではないため、発明者の研究するところによれば必ずしも好ましい結果をもたらさないことが判明した。
【００１３】
このことに鑑み、本発明は、インターレース映像信号（より広義には水平方向と垂直方向の周波数帯域が異なる信号）のサブバンド符号化に、理論的知見に基づいて視覚周波数特性をより的確に反映させることによって、より具体的には、サブバンド係数の量子化ステップ数、サブバンド係数又はその符号のトランケーションのためのトランケート数、あるいは、ラグランジェレート制御のためのディストーションスロープに、理論的知見に基づいて視覚周波数特性をより適切に反映させることによって、復号画質の向上を達成しようとするものである。
【課題を解決するための手段】
【００１４】
本発明においては、上記目的を達成するため、サブバンドに対する最適な視覚周波数特性値（ＪＰＥＧ２０００に規定されているVisual  Weight（視覚的重み付け）に相当する値）を理論的に決定し、これをサブバンドの符号化に利用する。以下の説明においては、視覚周波数特性値の例としてVisual  Weightを用いる。
【００１５】
まず、Contrast  Sensitivity  Function（ＣＳＦ）について説明する。後述するように、Visual  Weightは、Contrast  Sensitivity  Function（ＣＳＦ）の所定周波数帯域における積分値又はその積として求められるからである。
【００１６】
Contrast  Sensitivity  Function（ＣＳＦ）とは、所定観察距離において所定空間周波数の縞模様を観察した場合に、観察者が判別できる濃淡の差／和（＝コントラスト）の限界値を、逆数として表示したものであり、実験で求められるものである。図２中の点線（縞がグレーとしか認識できない点を結んだ点線）がそれに相当し、具体的には図３のグラフで表されるものである（なお、逆数をとるのは、判別できるコントラストが小さいほどSensitivityとしては高くなるからである）。
【００１７】
このコントラストを“原画とその圧縮伸張後の画像との差”と考えた場合、このＣＳＦは「各周波数で、原画とその圧縮伸長後の画像との濃淡差がこれ以下なら判別できない」という限界を示したものである。そして、サブバンドの係数が原画像のコントラストを概ね反映することから、ＣＳＦは「各周波数(＝各サブバンド)で、原画とその圧縮伸長後の画像のサブバンド係数の差がこれ以下なら、その係数が反映する原画と伸張後の画像の差も判別できない」という限界を示す指標と解釈されている。したがって、サブバンドの係数を「ＣＳＦの逆数の２倍以下」で量子化すれば、各係数に生じる量子化誤差はＣＳＦの逆数以下になるので、画質劣化は認識されないはず、というのが通説である。
【００１８】
なお、ＣＳＦはVisual  Transfer  Function（ＶＴＦ）とも呼ばれるが、本願においては、ＣＳＦ、ＶＴＦに代表される、周波数方向の視覚の感度特性を「視覚周波数特性」と総称する。
【００１９】
以上に述べたように、ＣＳＦは「各周波数におけるサブバンド係数の許容量子化量」であるため、例えば垂直方向に１回デコンポジションして得られる１Ｈサブバンドの許容量子化量を考えるとする。１Ｈサブバンドは、ハイパスのフィルタを通過した、ある周波数以上の周波数を広く含むと考えられるが、その周波数をどう考え、ＣＳＦのグラフのどの点を読むべきかが問題となる。これに対する典型解は、以下の通りである。
【００２０】
まず、原画像の解像度がｄ[dpi]で、これを距離ｖ[inch]から観察した場合、空間周波数ｆは、ｆ＝ｖｄ＊tan(π/360)  で近似され、これが原画像が含みうる最大の周波数になる。通常の(＝最大間引きの)サブバンド分割では１回のデコンポジション毎に1/2にサブサンプリングされるため、デコンポジションレベルが１レベル上がる毎に空間周波数の最大値は半分になる。そこで、サブバンド分割に使用されるフィルタを理想的なハイパスフィルタおよびローパスフィルタであると見なし、0≦f≦fmaxの帯域が、１回のデコンポジションで0≦f＜fmax/2とfmax/2≦f≦fmaxに二分されると仮定するならば、１Ｈサブバンド係数の帯域はfmax/2≦f≦fmax、１Ｌサブバンド係数の帯域は0≦f＜fmax/2と見なすことができる。
【００２１】
よって、１Ｈサブバンド係数に対するVisual  WeightとしてＣＳＦの周波数区間fmax/2≦f≦fmaxにおける積分値又はその同区間の代表値を用いることができる。同様に１Ｌサブバンド係数に対するVisual  Weightとしては、ＣＳＦの周波数区間0≦f＜fmax/2における積分値又は同区間における代表値を用いることができる。ここで、ＣＳＦの参照周波数区間の代表値としては、同区間の積分値の平均値、同区間の中央の値、同区間の一方の端の値などを用いることができる。また、積分値の平均値とは、ＣＳＦの参照周波数区間内における積分値を同区間の幅で割った値である。なお、参照周波数区間の積分値を用いるか、その代表値を用いるか、どのような代表値を用いるかということよりも、後述のように参照周波数区間をどのように選ぶかが最も重要である。以下においては、ＣＳＦの参照周波数区間における積分値を用いるものとして説明する。
【００２２】
そして、シーケンシャルに連結したフィルタの出力が個々のフィルタの出力の積で表わされることを根拠に、１ＬＨ係数に対するVisual  Weightとしては、ＣＳＦの周波数区間fmax/2≦f≦fmaxにおける積分値と、ＣＳＦの周波数区間0≦f＜fmax/2における積分値との積を用いることができる。
【００２３】
図４において、１００は水平方向の２ＬサブバンドについてのＣＳＦの積分値、１０１は垂直方向の２ＨサブバンドについてのＣＳＦの積分値を示し、これらの積分値の積が２ＬＨサブバンドのVisual  Weightである。
【００２４】
以上の様に、Visual  Weight（視覚周波数特性値）を求めるために、ＣＳＦ（視覚周波数特性）の参照周波数区間をどう設定するかが重要である。しかし、従来は、フレームベースの符号化であろうとフィールドベースの符号化であろうと、垂直方向と水平方向とでＣＳＦの参照周波数区間を異ならせた例はなかった。
【００２５】
ここにおいて、本願の第１の趣旨は、フィールドベースの符号化の場合、垂直方向と水平方向とで、視覚周波数特性の参照周波数区間を異ならせることが必要である（垂直方向と水平方向とで視覚周波数特性の異なった周波数区間を参照して算出された視覚周波数特性値を符号化に反映されることが必要である）ということである。また、本願の第２の趣旨は、フレームベースの符号化においても、垂直方向と水平方向で異なる割合でサブサンプリングされている信号成分（後述する４２２フォーマットの色差成分等）に対しては、垂直方向と水平方向とで視覚周波数特性の参照周波数区間を異ならせることが必要である（垂直方向と水平方向とで視覚周波数特性の異なった周波数区間を参照して算出された視覚周波数特性値を符号化に反映させることが必要である）ということである。また、本願の第３の趣旨は、後述の”簡易”ウェーブレット変換のような場合においても、視覚周波数特性の参照周波数区間を適切に設定することが必要であること（参照周波数区間を適切に設定して算出された視覚周波数特性値を符号化に反映させることが必要である）ということである。
【００２６】
さて、フィールドは、フレームを２つに分解したものであり、ある観察距離でのフレームの垂直方向の空間周波数の最大値をfmaxとすれば、フィールドのそれはfmax/2である。したがって、垂直方向に関して、フレームベースの符号化の場合とフィールドベースの符号化の場合とで、ＣＳＦの参照周波数区間は表１のように異なったものとなる。
【００２７】
【表１】
0004636547.tif 000002
よって、垂直方向の各参照周波数区間のＣＳＦの積分値を例えば図５のように定義すれば、表１に示した各参照周波数区間についてのＣＳＦの積分値は表２のように表すことができる。
【００２８】
【表２】
0004636547.tif 000003
よってフレームの水平方向の空間周波数の最大値が垂直方向と同じfmaxであるとすれば、垂直方向と水平方向のＣＳＦの積分値の積であるVisual  Weightは表３のように表すことができる。
【００２９】
【表３】
0004636547.tif 000004
なお、図５は輝度信号のＣＳＦについて示した。輝度信号の場合、図３に示すようにＣＳＦはピークを持ち、その低域部分では該ピークよりも小さな値をとる。しかし、Visual  Weightの計算にあたっては、上記低域部分でも上記ピーク値を持ち続けるものと補正した上で（すなわち、輝度のＣＳＦも図３に示す色差Ｃｂ，ＣｒのＣＳＦと同様に単調減少の形状をとるものに補正した上で）積分値を算出する。これは低域成分が主観画質に及ぼす大きさ等を考慮した上での例外処理である。また最低解像度のＬＬサブバンドに関しても、同様な観点から、Visual  Weightを最大値に補正する（通常、ＣＳＦは最大値を１に正規化して用いるのでVisual  Weightの最大値は１になる）。
【００３０】
一方、色差信号に関しては輝度信号とは異なる事情がある。４：２：２フォーマットとよばれる映像信号では、色差信号は水平方向に１／２に間引かれる（なお、色差信号を間引かないフォーマットは４：４：４と呼ばれる。以下簡単のため、４：２：２を４２２、４：４：４を４４４と記載することがある）。すなわち、フレームの輝度信号の水平方向の空間周波数の最大値をfmaxとすれば、４２２フォーマットの映像信号では、色差信号の水平方向の空間周波数の最大値はfmax/2である。したがって水平方向に関して、輝度、色差についてのＣＳＦの参照周波数区間は表４のように表される。
【００３１】
【表４】
0004636547.tif 000005
よって、４２２フォーマットの場合、水平方向の各参照周波数区間のＣＳＦの積分値は表５のように表すことができる。
【００３２】
【表５】
0004636547.tif 000006
したがって、４２２フォーマットの場合、フレームの垂直方向の空間周波数の最大値が水平方向と同じfmaxであるとすれば、垂直方向と水平方向のＣＳＦの積分値の積であるVisual  Weightは表６のように表すことができる。
【００３３】
【表６】
0004636547.tif 000007
この表から、理論的には、フィールドベース符号化の色差の１ＨＬサブバンドのVisual
Weightと１ＬＨサブバンドのVisual  Weightとは同一であるべきことが分かる。前記特許文献３における４２２フォーマットの色差信号に対する量子化ステップ幅の「HL＜LH＜HH」という関係は、上の理論的知見と一致せず、同文献には示されてないが何らかの追加条件を前提にした場合にのみ成立するものと考えざるを得ない。
【００３４】
また、一般に４：１：１あるいは４：２：０フォーマットと呼ばれる色差信号のサブサンプリングフォーマットでは、色差信号は水平方向に１／２かつ垂直方向に１／２に間引かれる（以下簡単に４１１あるいは４２０と記載する）。すなわち、フレームの輝度信号の水平および垂直方向の空間周波数の最大値をfmaxとすれば、色差信号の水平及び垂直方向の空間周波数の最大値はともにfmax/2である。よって４１１フォーマットの場合、以上と同様な議論から、Visual  Weightは表７のように表すことができる。
【００３５】
【表７】
0004636547.tif 000008
ここで、発明者の計算では、ＤＥ＞ＣＦである。したがって、表７におけるフィールドベース符号化における色差信号の１ＬＨサブバンド係数に対する量子化ステップ幅よりも１ＨＬサブバンド係数に対する量子化ステップ幅の方を大きくすべきという結果になり、これは前記特許文献３に示された４１１フォーマットの場合の色差信号の量子化ステップ幅の関係「HL＜LH＜HH」と一致しない。この点でも、前記特許文献３における量子化ステップ幅の関係は限定された条件でのみ成立するものと考えざるを得ない。
【００３６】
また、色差信号がサブサンプリングされている場合、色差信号に対するサブバンド分割のための周波数変換には次の２種類がある（ここでは周波数変換としてウェーブレット変換を用いるものとして説明する）。その１つは、図６及び図７に示すように、色差信号に対し、輝度信号と同様に、水平・垂直方向に同じ回数だけウェーブレット変換（サブバンド分割）を行う方法である。これを、ここでは”通常”ウェーブレット変換と言う（一般的には”通常”周波数変換）。
【００３７】
もう１つは、図８及び図９に示すように、色差信号の間引かれた方向に対するウェーブレット変換を省略する方法である。これを”簡易”ウェーブレット変換と言う（一般的には”簡易”周波数変換）。”簡易”ウェーブレット変換においては、４２２フォーマットの場合、デコンポジションレベル１に限り、色差信号の水平方向に関してウェーブレット変換が省略される。したがって、デコンポジションレベル１では垂直方向の１Ｈと１Ｌのサブバンドしか存在しない。１Ｌをさらにデコンポジションすると、結局１Ｈしか残らない。図８及び図９には示さないが、４１１フォーマットの場合、デコンポジションレベル１に限り、色差信号の水平、垂直両方向についてウェーブレット変換（サブバンド分割）が省略される。
【００３８】
Visual  Weightを参照するための前記視覚周波数特性の参照周波数区間は、上記の”通常”ウェーブレット変換の場合と”簡易”ウェーブレット変換の場合とで適切に選択する必要がある。しかし従来、”簡易”ウェーブレット変換に対して、かかる参照周波数区間の選択を行う例は知られていない。
【００３９】
以上の理論的知見に基づき、発明者は代表的な観察距離１０００，１７００，３０００に関して、輝度Ｙ、色差Cb、Crに関するVisual  Weightを算出した（なお、観察距離（visual  distance）であるが、解像度ｘ（dpi）の画像をｙインチ離れて観測した場合の観察距離はｘｙと定義される）。そのうちの観察距離1700について計算したVisual  Weightの例を図１０〜図１４に示す。図１０〜図１２は”通常”ウェーブレット変換の場合のVisual  Weightであり、図１３及び図１４は”簡易”ウェーブレット変換の場合のVisual  Weightである。なお、図１３及び図１４において、”０”はそのサブバンドが存在しないことを示し、また、１ＬＨは実際には垂直方向の１Ｈのことであることは前述の通りである。
【００４０】
前述したように、Visual  Weightの逆数は量子化ステップ数に比例する。また、Visual  Weightは、後述するビットプレーン符号化におけるビットプレーンの破棄量（トランケート数）に反比例する。また後述するが、サブバンド符号化の代表例であるＪＰＥＧ２０００で一般に用いられる量子化ステップ数は、同一デコンポジションレベルでは、HL=LH＜HHである（図３０参照）。よって、量子化ステップ数や、ビットプレーンの破棄量（そして線形量子化とビットプレーンの破棄が併用される場合はこれらを合わせた効果）をまとめて「量子化の程度」と表現するならば、本発明の理論的知見に従うと、サブバンド間における量子化の程度の関係は図１５のようになるべきである。
【００４１】
一方、前記特許文献３の特許請求の範囲に記載された量子化ステップ数の関係は図１６のように示される。前記特許文献３には、そもそもビットプレーンの破棄量や簡易ウェーブレットに関する記載自体がないが、図１５と図１６とで一致するのは、フィールドベース符号化における輝度信号の量子化に関する点のみである。
【００４２】
以上に述べた理論的知見は、インターレース構造の映像信号の符号化みならず、水平方向と垂直方向で周波数帯域の異なる信号の符号化に広く適用可能である。
【００４３】
よって、請求項１に係る発明は、インターレース映像信号をフィールドベースでサブバンド符号化する符号化装置であって、
前記インターレース映像信号の輝度信号を水平方向と垂直方向に同じ回数サブバンド分割するサブバンド分割手段と、
前記サブバンド分割手段によるサブバンド分割によって得られた前記輝度信号の各サブバンドの符号化処理を行う符号化処理手段と、
前記輝度信号の各サブバンドの符号化処理に、輝度の視覚周波数特性を基に算出されたサブバンド対応の輝度の視覚周波数特性値を反映させる手段とを有し、
前記輝度の視覚周波数特性値を算出するために参照される輝度の視覚周波数特性の周波数区間は、垂直方向について参照される周波数区間が水平方向について参照される周波数区間に対し前記サブバンド分割の１デコンポジションレベル分だけ低域側にシフトした区間として設定されることを特徴とする符号化装置である。
【００４４】
請求項２に係る発明は、４：４：４フォーマット又は４：１：１フォーマットのインターレース映像信号をフィールドベースでサブバンド符号化する符号化装置であって、
前記インターレース映像信号中の色差信号を水平方向と垂直方向に同じ回数サブバンド分割するサブバンド分割手段と、
前記サブバンド分割手段によるサブバンド分割によって得られた前記色差信号の各サブバンドの符号化処理を行う符号化処理手段と、
前記色差信号の各サブバンドの符号化処理に、色差の視覚周波数特性を基に算出されたサブバンド対応の色差の視覚周波数特性値を反映させる手段とを有し、
前記色差の視覚周波数特性値を算出するために参照される色差の視覚周波数特性の周波数区間は、垂直方向について参照される周波数区間が水平方向について参照される周波数区間に対して前記サブバンド分割の１デコンポジションレベル分だけ低域側にシフトした区間として設定されることを特徴とする符号化装置である。
【００４５】
請求項３に係る発明は、４：２：２フォーマットのインターレース映像信号をフィールドベースでサブバンド符号化する符号化装置であって、
前記インターレース映像信号中の輝度信号及び色差信号を水平方向及び垂直方向に同じ回数サブバンド分割するサブバンド分割手段と、
前記サブバンド分割手段によるサブバンド分割によって得られた前記輝度信号及び前記色差信号の各サブバンドの符号化処理を行う符号化処理手段と、
前記輝度信号の各サブバンドの符号化処理に輝度の視覚周波数特性を基に算出されたサブバンド対応の輝度の視覚周波数特性値を反映させ、前記色差信号の各サブバンドの符号化処理に色差の視覚周波数特性を基に算出されたサブバンド対応の色差の視覚周波数特性値を反映させる手段とを有し、
前記色差の視覚周波数特性値を算出するために水平方向について参照される色差の視覚周波数特性の周波数区間が、前記輝度の視覚周波数特性値を算出するために水平方向について参照される輝度の視覚周波数特性の周波数区間に対して、前記サブバンド分割の１デコンポジションレベル分だけ低域側にシフトした区間として設定されることを特徴とする符号化装置である。
【００４６】
請求項４に係る発明は、４：２：２フォーマットのインターレース映像信号をフレームベースでサブバンド符号化する符号化装置であって、
前記インターレース映像信号中の色差信号を水平方向及び垂直方向に同じ回数サブバンド分割するサブバンド分割手段と、
前記サブバンド分割手段によるサブバンド分割によって得られた前記色差信号の各サブバンドの符号化処理を行う符号化処理手段と、
前記色差信号の各サブバンドの符号化処理に、色差の視覚周波数特性を基に算出されたサブバンド対応の色差の視覚周波数特性値を反映させる手段とを有し、
前記色差の視覚周波数特性値を算出するために参照される色差の視覚周波数特性の周波数区間は、垂直方向について参照される周波数区間が水平方向について参照される周波数区間に対して前記サブバンド分割の１デコンポジションレベル分だけ高域側にシフトした区間として設定されることを特徴とする符号化装置である。
【００４７】
請求項５に係る発明は、４：１：１フォーマットのインターレース映像信号をフレームベースでサブバンド符号化する符号化装置であって、
前記インターレース映像信号中の輝度信号及び色差信号を水平方向及び垂直方向に同じ回数サブバンド分割するサブバンド分割手段と、
前記サブバンド分割手段によるサブバンド分割によって得られた前記輝度信号及び前記色差信号の各サブバンドの符号化処理を行う符号化処理手段と、
前記輝度信号の各サブバンドの符号化処理に輝度の視覚周波数特性を基に算出されたサブバンド対応の輝度の視覚周波数特性値を反映させ、前記色差信号の各サブバンドの符号化処理に色差の視覚周波数特性を基に算出されたサブバンド対応の色差の視覚周波数特性値を反映させる手段とを有し、
前記色差の視覚周波数特性値を算出するために水平方向について参照される色差の視覚周波数特性の周波数区間が、前記輝度の視覚周波数特性値を算出するために水平方向について参照される輝度の視覚周波数特性の周波数区間に対して、前記サブバンド分割の１デコンポジションレベル分だけ低域側にシフトした区間として設定されることを特徴とする符号化装置である。
【００５０】
請求項６に係る発明は、４：２：２フォーマットのインターレース映像信号をフィール
ドベースでサブバンド符号化する符号化装置であって、
前記インターレース映像信号中の色差信号をデコンポジションレベル１に限り垂直方向
にのみサブバンド分割し、デコンポジションレベル２以上では水平方向及び垂直方向にサ
ブバンド分割するサブバンド分割手段と、
前記サブバンド分割手段によるサブバンド分割によって得られた前記色差信号の各サブ
バンドの符号化処理を行う符号化処理手段と、
前記色差信号の各サブバンドの符号化処理に、色差の視覚周波数特性を基に算出された
サブバンド対応の色差の視覚周波数特性値を反映させる手段とを有し、
前記色差の視覚周波数特性値を算出するために参照される色差の視覚周波数特性の周波
数区間は、垂直方向について参照される周波数区間が、水平方向について参照される周波
数区間に対して前記サブバンド分割の１デコンポジションレベル分だけ低域側にシフトし
た区間として設定されることを特徴とする符号化装置である。
【００５１】
請求項７に係る発明は、４：１：１フォーマットのインターレース映像信号をフィール
ドベースでサブバンド符号化する符号化装置であって、
前記インターレース映像信号中の輝度信号及び色差信号を水平方向及び垂直方向にサブ
バンド分割し、ただし前記色差信号に対してはデコンポジションレベル１に限りサブバン
ド分割を行なわないサブバンド分割手段と、
前記サブバンド分割手段によるサブバンド分割によって得られた前記輝度信号及び前記
色差信号の各サブバンドの符号化処理を行う符号化処理手段と、
前記輝度信号の各サブバンドの符号化処理に輝度の視覚周波数特性を基に算出されたサ
ブバンド対応の輝度の視覚周波数特性値を反映させ、前記色差信号の各サブバンドの符号
化処理に色差の視覚周波数特性を基に算出されたサブバンド対応の色差の視覚周波数特性
値を反映させる手段とを有し、
前記色差の視覚周波数特性値を算出するために参照される色差の視覚周波数特性の周波
数区間は、垂直方向について参照される周波数区間が、水平方向について参照される周波
数区間に対して前記サブバンド分割の１デコンポジションレベル分だけ低域側にシフトし
た区間として設定されることを特徴とする符号化装置である。
【００５８】
以下の請求項８〜１４に係る発明は、請求項１〜７に係る発明をコンピュータを利用し
実施可能にするものである。
【００５９】
すなわち、請求項８に係る発明は、インターレース映像信号をフィールドベースでサ
ブバンド符号化するため、コンピュータに、
前記インターレース映像信号中の輝度信号を水平方向と垂直方向に同じ回数サブバンド
分割するサブバンド分割工程、
前記サブバンド分割工程によるサブバンド分割によって得られた前記輝度信号の各サブ
バンドの符号化処理を行う符号化処理工程と、
前記輝度信号の各サブバンドの符号化処理に、輝度の視覚周波数特性を基に算出された
サブバンド対応の輝度の視覚周波数特性値を反映させる工程を実行させるプログラムであ
って、
前記輝度の視覚周波数特性値を算出するために参照される輝度の視覚周波数特性の周波
数区間は、垂直方向について参照される周波数区間が水平方向について参照される周波数
区間に対し前記サブバンド分割の１デコンポジションレベル分だけ低域側にシフトした区
間として設定されることを特徴とするプログラムである。
【００６０】
請求項９に係る発明は、４：４：４フォーマット又は４：１：１フォーマットのイン
ターレース映像信号をフィールドベースでサブバンド符号化するため、コンピュータに、
前記インターレース映像信号中の色差信号を水平方向と垂直方向に同じ回数サブバンド
分割するサブバンド分割工程、
前記サブバンド分割工程によるサブバンド分割によって得られた前記色差信号の各サブ
バンドの符号化処理を行う符号化処理工程、
前色差信号の各サブバンドの符号化処理に、色差の視覚周波数特性を基に算出されたサ
ブバンド対応の色差の視覚周波数特性値を反映させる工程を実行させるプログラムであっ
て、
前記色差の視覚周波数特性値を算出するために参照される色差の視覚周波数特性の周波
数区間は、垂直方向について参照される周波数区間が水平方向について参照される周波数
区間に対して前記サブバンド分割の１デコンポジションレベル分だけ低域側にシフトした
区間として設定されることを特徴とするプログラムである。
【００６１】
請求項１０に係る発明は、４：２：２フォーマットのインターレース映像信号をフィー
ルドベースでサブバンド符号化するため、コンピュータに、
前記インターレース映像信号中の輝度信号及び色差信号を水平方向及び垂直方向に同じ
回数サブバンド分割するサブバンド分割工程、
前記サブバンド分割工程によるサブバンド分割によって得られた前記輝度信号及び前記
色差信号の各サブバンドの符号化処理を行う符号化処理工程、
前記輝度信号の各サブバンドの符号化処理に輝度の視覚周波数特性を基に算出されたサ
ブバンド対応の輝度の視覚周波数特性値を反映させ、前記色差信号の各サブバンドの符号
化処理に色差の視覚周波数特性を基に算出されたサブバンド対応の色差の視覚周波数特性
値を反映させる工程を実行させるプログラムであって、
前記色差の視覚周波数特性値を算出するために水平方向について参照される色差の視覚
周波数特性の周波数区間が、前記輝度の視覚周波数特性値を算出するために水平方向につ
いて参照される輝度の視覚周波数特性の周波数区間に対して、前記サブバンド分割の１デ
コンポジションレベル分だけ低域側にシフトした区間として設定されることを特徴とする
プログラムである。
【００６２】
請求項１１に係る発明は、４：２：２フォーマットのインターレース映像信号をフレー
ムベースでサブバンド符号化するため、コンピュータに、
前記インターレース映像信号中の色差信号を水平方向及び垂直方向に同じ回数サブバン
ド分割するサブバンド分割工程、
前記サブバンド分割工程によるサブバンド分割によって得られた前記色差信号の各サブ
バンドの符号化処理を行う符号化処理工程、
前記色差信号の各サブバンドの符号化処理に、色差の視覚周波数特性を基に算出された
サブバンド対応の色差の視覚周波数特性値を反映させる工程を実行させるプログラムであ
って、
前記色差の視覚周波数特性値を算出するために参照される色差の視覚周波数特性の周波
数区間は、垂直方向について参照される周波数区間が水平方向について参照される周波数
区間に対して前記サブバンド分割の１デコンポジションレベル分だけ高域側にシフトした
区間として設定されることを特徴とするプログラムである。
【００６３】
請求項１２に係る発明は、４：１：１フォーマットのインターレース映像信号をフレー
ムベースでサブバンド符号化するため、コンピュータに、
前記インターレース映像信号中の輝度信号及び色差信号を水平方向及び垂直方向に同じ
回数サブバンド分割するサブバンド分割工程、
前記サブバンド分割工程によるサブバンド分割によって得られた前記輝度信号及び前記
色差信号の各サブバンドの符号化処理を行う符号化処理工程、
前記輝度信号の各サブバンドの符号化処理に輝度の視覚周波数特性を基に算出されたサ
ブバンド対応の輝度の視覚周波数特性値を反映させ、前記色差信号の各サブバンドの符号
化処理に色差の視覚周波数特性を基に算出されたサブバンド対応の色差の視覚周波数特性
値を反映させる工程を実行させるプログラムであって、
前記色差の視覚周波数特性値を算出するために水平方向について参照される色差の視覚
周波数特性の周波数区間が、前記輝度の視覚周波数特性値を算出するために水平方向につ
いて参照される輝度の視覚周波数特性の周波数区間に対して、前記サブバンド分割の１デ
コンポジションレベル分だけ低域側にシフトした区間として設定されることを特徴とする
プログラムである。
【００６６】
請求項１３に係る発明は、４：２：２フォーマットのインターレース映像信号をフィー
ルドベースでサブバンド符号化するため、コンピュータに、
前記インターレース映像信号中の色差信号をデコンポジションレベル１に限り垂直方向
にのみサブバンド分割し、デコンポジションレベル２以上では水平方向及び垂直方向にサ
ブバンド分割するサブバンド分割工程、
前記サブバンド分割工程によるサブバンド分割によって得られた前記色差信号の各サブ
バンドの符号化処理を行う符号化処理工程、
前記色差信号の各サブバンドの符号化処理に、色差の視覚周波数特性を基に算出された
サブバンド対応の色差の視覚周波数特性値を反映させる工程を実行させるプログラムであ
って、
前記色差の視覚周波数特性値を算出するために参照される色差の視覚周波数特性の周波
数区間は、垂直方向について参照される周波数区間が、水平方向について参照される周波
数区間に対して前記サブバンド分割の１デコンポジションレベル分だけ低域側にシフトし
た区間として設定されることを特徴とするプログラムである。
【００６７】
請求項１４に係る発明は、４：１：１フォーマットのインターレース映像信号をフィー
ルドベースでサブバンド符号化するため、コンピュータに、
前記インターレース映像信号中の輝度信号及び色差信号を水平方向及び垂直方向にサブ
バンド分割し、ただし前記色差信号に対してはデコンポジションレベル１に限りサブバン
ド分割を行なわないサブバンド分割工程、
前記サブバンド分割工程によるサブバンド分割によって得られた前記輝度信号及び前記
色差信号の各サブバンドの符号化処理を行う符号化処理工程、
前記輝度信号の各サブバンドの符号化処理に輝度の視覚周波数特性を基に算出されたサ
ブバンド対応の輝度の視覚周波数特性値を反映させ、前記色差信号の各サブバンドの符号
化処理に色差の視覚周波数特性を基に算出されたサブバンド対応の色差の視覚周波数特性
値を反映させる工程を実行させるプログラムであって、
前記色差の視覚周波数特性値を算出するために参照される色差の視覚周波数特性の周波
数区間は、垂直方向について参照される周波数区間が、水平方向について参照される周波
数区間に対して前記サブバンド分割の１デコンポジションレベル分だけ低域側にシフトし
た区間として設定されることを特徴とするプログラムである。
【００７４】
請求項１５に係る発明は、請求項８乃至１４のいずれか１項に係る発明のプログラム
が記録されたコンピュータが読み取り可能な情報記録媒体である。
【発明の効果】
【００７５】
請求項１に係る発明によれば、インターレース映像信号に対し、視覚周波数特性を適切に反映したフィールドベースのサブバンド符号化が可能である。
【００７６】
請求項２に係る発明によれば、４：４：４フォーマット又は４：１：１フォーマットのインターレース映像信号に対し、視覚周波数特性を適切に反映したフィールドベースのサブバンド符号化が可能である。
【００７７】
請求項３に係る発明によれば、４：２：２フォーマットのインターレース映像信号に対し、視覚周波数特性を適切に反映したフィールドベースのサブバンド符号化が可能である。
【００７８】
請求項４に係る発明によれば、４：２：２フォーマットのインターレース映像信号に対し視覚周波数特性を適切に反映したフレームベースのサブバンド符号化が可能である。
【００７９】
請求項５に係る発明によれば、４：１：１フォーマットのインターレース映像信号に対し視覚周波数特性を適切に反映したフレームベースのサブバンド符号化が可能である。
【００８２】
請求項６に係る発明によれば、４：２：２フォーマットのインターレース映像信号に対
し、サブバンド分割に”簡易”ウェーブレット変換などを用い、視覚周波数特性を適切に
反映したフィールドベースのサブバンド符号化が可能である。
【００８３】
請求項７に係る発明によれば、４：１：１フォーマットのインターレース映像信号に対
し、サブバンド分割に”簡易”ウェーブレット変換などを用い、視覚周波数特性を適切に
反映したフィールドベースのサブバンド符号化が可能である。
【００９０】
請求項８に係る発明によれば、コンピュータを利用し、インターレース映像信号に対
し視覚周波数特性を適切に反映したフィールドベースのサブバンド符号化を実行可能であ
る。
【００９１】
請求項９に係る発明によれば、コンピュータを利用し、４：４：４フォーマット又は
４：１：１フォーマットのインターレース映像信号に対し、視覚周波数特性を適切に反映
したフィールドベースのサブバンド符号化を実行可能である。
【００９２】
請求項１０に係る発明によれば、コンピュータを利用し、４：２：２フォーマットのイ
ンターレース映像信号に対し、視覚周波数特性を適切に反映したフィールドベースのサブ
バンド符号化を実行可能である。
【００９３】
請求項１１に係る発明によれば、コンピュータを利用し、４：２：２フォーマットのイ
ンターレース映像信号中の色差信号に対し、視覚周波数特性を適切に反映したフレームベ
ースのサブバンド符号化を実行可能である。
【００９４】
請求項１２に係る発明によれば、コンピュータを利用し、４：１：１フォーマットのイ
ンターレース映像信号に対し、視覚周波数特性を適切に反映したフレームベースのサブバ
ンド符号化を実行可能である。
【００９７】
請求項１３に係る発明によれば、コンピュータを利用し、４：２：２フォーマットのイ
ンターレース映像信号に対し、サブバンド分割に”簡易”ウェーブレット変換などを用い
、視覚周波数特性を適切に反映したフィールドベースのサブバンド符号化を実行可能であ
る。
【００９８】
請求項１４に係る発明によれば、コンピュータを利用し、４：１：１フォーマットのイ
ンターレース映像信号に対し、サブバンド分割に”簡易”ウェーブレット変換などを用い
、視覚周波数特性を適切に反映したフィールドベースのサブバンド符号化を実行可能であ
る。
【発明を実施するための最良の形態】
【０１０５】
図１７は、本発明の一実施形態に係る符号化装置のブロック図である。本実施形態に係る符号化装置は、ＪＰＥＧ２０００の符号化アルゴリズムにより符号化処理を実行するものであり、ＤＣレベルシフト・色変換ブロック２００、ウェーブレット変換ブロック２０１、量子化ブロック２０２、エントロピー符号化フロック２０３、パケット生成ブロック２０４、符号形成ブロック２０５、以上の各ブロックの動作を制御する制御ブロック２０６を備える。
【０１０６】
ＤＣレベルシフト・色変換ブロック２００は入力映像信号の表色系によっては不要な要
素である。ウェーブレット変換ブロック２０１は請求項１〜１６に係る発明のサブバンド
分割手段を構成する要素である。量子化ブロック２０２，エントロピー符号化ブロック２
０３、パケット生成ブロック２０４及び符号形成ブロック２０５は、請求項１〜８に係る
発明の符号化処理手段を構成する要素である。
【０１０７】
また、制御ブロック２０６は、前述した本発明に特有の制御を行うための手段も備える。この本発明に特有の制御とは、下記実施例に関連して詳細に説明するように、量子化ブロック２０２における線形量子化に用いられる量子化ステップ数の制御、エントロピー符号化ブロック２０３又はパケット生成ブロック２０４において係数又は符号のトランケーションが行われる場合のトランケート数（破棄されるビットプレーン数又はサブビットプレーン数）の制御、あるいは、パケット生成ブロック２０４においてラグランジェレート制御が行われる場合のディストーションスロープの制御である。
【０１０８】
このような本発明に特有の制御を実行するため、本実施形態に係る制御ブロック２０６には、図１０〜図１４に示したようなVisual  Weightを格納したVisualWeightテーブル２０７と、ＪＰＥＧ２０００の符号化装置における線形量子化に通常使用される図３０に示すような量子化ステップ数（基準量子化ステップ数と呼ぶ）を格納した基準量子化ステップ数テーブル２０８と、量子化ステップ数制御手段２０９と、トランケート数制御手段２１０、スロープ制御手段２１１が含まれている。
【０１０９】
量子化ステップ数制御手段２０９は、基準量子化ステップ数テーブル２０８より読み込んだ基準量子化ステップ数をそのまま量子化ブロック２０２に設定し、あるいは、VisualWeightテーブル２０７より読み込んだVisual  Weightを用いて基準量子化ステップ数を修正し、修正後の量子化ステップ数を量子化ブロック２０２に設定する手段である。トランケート数制御手段２１０は、VisualWeightテーブル２０７より読み込んだVisual  Weightをビットプレーン単位又はサブビットプレーン単位のトランケート数に換算し、そのトランケート数をエントロピー符号化ブロック２０３又はパケット生成ブロック２０４に設定する手段である。スロープ制御手段２１１は、エントロピー符号化ブロック２０３において算出されたディストーションスロープを、VisualWeightテーブル２０７より読み込んだVisual  Weightを用いて修正し、修正後のディストーションスロープをパケット生成ブロック２０４に設定する手段である。
【０１１０】
このような手段２０７，２０８，２０９，２１０，２１１は、請求項１〜７に係る発明
における「輝度信号又は色差信号のサブバンドの符号化処理にサブバンド対応の輝度又は
色差の視覚周波数特性値を反映させる手段」を構成するものである。
【０１１１】
なお、符号化の対象となる映像信号はＲＧＢ値で与えられている場合と、輝度・色差であるＹＣｂＣｒ値であたえられる場合とがある。例えば「４４４または４１１フォーマットの映像信号」と明示している場合には、その映像信号はＹＣｂＣｒ値として与えられることを想定し、そうでない場合はＲＧＢ値、ＹＣｂＣｒ値の両方を対象とする。ＪＰＥＧ２０００では、入力画像がＲＧＢデータの場合は、通常、ＤＣレベルシフトと輝度Ｙ・色差Ｃｂ，Ｃｒへの色変換を行ってからコンポーネント毎に処理を行い、入力画像がＹＣｂＣｒデータの場合はＤＣレベルシフトも色変換をしないで処理を行う。
【０１１２】
［ＪＰＥＧ２０００の概要］
ここで、ＪＰＥＧ２０００の概要を説明する。例えばＲＧＢの３コンポ−ネントで構成されるカラー画像の圧縮時には、ＤＣレベル・色変換ブロック２００においてＤＣレベルシフトが行われた後に輝度Ｙと色差Ｃｂ，Ｃｒのコンポ−ネントへの色変換（コンポーネント変換）が行われる。これら各コンポーネントに対しウェーブレット変換ブロック２０１でウェーブレット変換によるサブバンド分割が行われ、各サブバンド係数は、必要に応じて量子化ブロック２０２で線形量子化（スカラー量子化）を施された後、エントロピー符号化ブロック２０３でビットプレーンを単位としたエントロピー符号化がなされる（より正確にはビットプレーンは３つのサブビットプレーンに細分化されて符号化される）。ＪＰＥＧ２０００では、このエントロピー符号化には、ＭＱ符号化と呼ばれる算術符号化が用いられる。パケット生成ブロック２０４により、必要なエントロピー符号（ＭＱ符号）をまとめたパケットが生成され、符号形成ブロック２０５によりパケットが所定の順番に配列されるとともに必要なタグ又はタグ情報が付加されることにより所定フォーマットのコードストリームが形成される。
【０１１３】
コードストリームの伸張処理は圧縮処理と丁度逆の処理となる。コードストリーム中の各コンポーネントの符号は、エントロピー復号されてウェーブレット係数に戻される。このウェーブレット係数は、必要に応じて逆量子化された後に、ウェーブレット逆変換を施されることにより各コンポーネントの画像データに戻される。この各コンポーネントの画像データは、圧縮時にＤＣレベルシフトと色変換が行われているときには逆色変換及び逆ＤＣレベルシフトにより元の表色系の画像データに戻される。
【０１１４】
なお、ＪＰＥＧ２０００におけるＤＣレベルシフト（順変換）と逆ＤＣレベルシフト（逆変換）は次式の通りである。
順変換  I(x,y)  ←  I(x,y)−２＾Ｓsiz(i)
逆変換  I(x,y)  ←  I(x,y)＋２＾Ｓsiz(i)
ただし、Ｓsiz(i)は原画像の各コンポーネントｉ（ＲＧＢ画像ならｉ＝０、１、２）のビット深さから１を減じたものである。また、２＾Ｓsiz(i)は２のＳsiz(i)乗を意味しており、I(x,y)は座標(x,y)における原信号値（画素値）である。
【０１１５】
ＤＣレベルシフトは、ＲＧＢ値のような正の数をとる信号に対して適用されるもので、各信号値から信号のダイナミックレンジの半分を減算する操作である、逆ＤＣレベルシフトは各信号値に信号のダイナミックレンジの半分を加算する操作である。ＹＣｂＣｒ信号のＣｂ、Ｃｒ信号のような符号付き整数にはＤＣレベルシフトは適用されない。
【０１１６】
また、ＪＰＥＧ２０００ではコンポ−ネント変換（色変換）として可逆変換（ＲＣＴ）と非可逆変換（ＩＣＴ）が定義されている。
【０１１７】
ＲＣＴの順変換と逆変換は次式で表される。
順変換
Ｙ0(x,y)＝floor((Ｉ0(x,y)+2*(Ｉ1(x,y)+Ｉ2(x,y))/4)
Ｙ1(x,y)＝Ｉ2(x,y)-Ｉ1(x,y)
Ｙ2(x,y)＝Ｉ0(x,y)-Ｉ1(x,y)    
逆変換
Ｉ1(x,y)＝Ｙ0(x,y)-floor((Ｙ2(x,y)+Ｙ1(x,y))/4)
Ｉ0(x,y)＝Ｙ2(x,y)+Ｉ1(x,y)
Ｉ2(x,y)＝Ｙ1(x,y)+Ｉ1(x,y)
式中のＩは原信号、Ｙは変換後の信号を示し、ＩやＹに続く０〜２はサフィックスである。ＲＧＢ信号ならばＩ信号においてI０＝Ｒ、I１＝Ｇ、I２＝Ｂ、Ｙ信号においてY０＝Ｙ、Y１＝Ｃｂ、Y２＝Ｃｒと表される。またfloor（Ｘ）は実数Ｘを、Ｘを越えず、かつ、Ｘに最も近い整数に置換する関数である。
【０１１８】
ＩＣＴの順変換と逆変換は次式で表される。
順変換
Ｙ0(x,y)＝0.299*Ｉ0(x,y)+0.587*Ｉ1(x,y)+0.144*Ｉ2(x,y)
Ｙ1(x,y)＝-0.16875*Ｉ0(x,y)-0.33126*Ｉ1(x,y)+0.5*Ｉ2(x,y)
Ｙ2(x,y)＝0.5*Ｉ0(x,y)-0.41869*Ｉ1(x,y)-0.08131*Ｉ2(x,y)
逆変換
Ｉ0(x,y)＝Ｙ0(x,y)+1.402*Ｙ2(x,y)
Ｉ1(x,y)＝Ｙ0(x,y)-0.34413*Ｙ1(x,y)-0.71414*Ｙ2(x,y)
Ｉ2(x,y)＝Ｙ0(x,y)+1.772*Ｙ1(x,y)
式中のＩは原信号、Ｙは変換後の信号を示す。ＲＧＢ信号ならばＩ信号においてI０＝Ｒ、I１＝Ｇ、I２＝Ｂ、Ｙ信号においてI０＝Ｙ、I１＝Ｃｂ、I２＝Ｃｒと表される。
【０１１９】
さて、ＪＰＥＧ２０００においては、量子化とエントロピー符号化は緊密な関係にあり、量子化後に符号化する構成も、符号化後に不要なビットプレーン又はサブビットプレーンの符号を破棄する構成（あるいは必要なビットプレーン又はサブビットプレーンのみ符号化する構成）も存在する。
【０１２０】
線形量子化による量子化の場合は、ウェーブレット係数に公知の線形量子化を施し、量子化後の係数で構成されるビットプレーンをエントロピー符号化する。
【０１２１】
線形量子化をしない場合には、不要なビットプレーン又はサブビットプレーンの符号を破棄（トランケート）する、あるいは、必要なビットプレーン又はサブビットプレーンのみ符号化する（残りの下位のビットプレーン又はサブビットプレーンを破棄する）構成となる。本願においては、不要な（サブ）ビットプレーンを除いた必要な（サブ）ビットプレーンのみを符号化する場合と、符号化後に不要な（サブ）ビットプレーンの符号を破棄する場合をまとめてトランケーションと呼び、破棄された、あるいは不要とされたビットプレーン数（又はサブビットプレーン数）をトランケート数と呼ぶ。
【０１２２】
なお、ＪＰＥＧ２０００では、５×３ウェーブレット変換を使用する場合は線形量子化を適用できず、トランケーションのみを行う仕様となっている。本願では、線形量子化およびトランケーションを共に量子化と呼ぶことがある。また、係数自体の非線形量子化が許容されている符号化方式の場合には、この非線形量子化も本願で言う量子化に包含されるものである。
【０１２３】
ここで、５×３ウェーブレット変換とは、５画素を用いて１つのローパスフィルタの出力（ローパス係数）が得られ、３画素を用いて１つのハイパスフィルタの出力（ハイパス係数）が得られる変換である。ＪＰＥＧ２０００では９×７ウェーブレット変換も規定されている。この９×７ウェーブレット変換は、９画素を用いて１つのローパスフィルタの出力（ローパス係数）が得られ、７画素を用いて１つのハイパスフィルタの出力（ハイパス係数）が得られる変換である。５×３ウェーブレット変換と９×７ウェーブレット変換の主な違いはフィルタの範囲の違いであり、偶数位置中心にローパスフィルタが、奇数位置中心にハイパスフィルタが施されることは同様である。
【０１２４】
５×３ウェーブレット変換の変換式は次の通りである。
（順変換）
[step1]  C(2i+1)=P(2i+1)−floor（(P(2i)+P(2i+2))/2）
[step2]  C(2i)=P(2i)+floor（((C(2i-1)+C(2i+1)+2)/4）
（逆変換）
[step1]  P(2i)=C(2i)−floor（(C(2i-1)+C(2i+1)+2)/4）
[step2]  P(2i+1)=C(2i+1)＋floor（(P(2i)+P(2i+2))/2）。
【０１２５】
９×７ウェーブレット変換の変換式は次のとおりである。
（順変換）
[step1]  C(2n+1)=P(2n+1)+α*(P(2n)+P(2n+2))
[step2]  C(2n)=P(2n)+β*(C(2n-1)+C(2n+1))
[step3]  C(2n+1)=C(2n+1)+γ*(C(2n)+C(2n+2))
[step4]  C(2n)=C(2n)+δ*(C(2n-1)+C(2n+1))
[step5]  C(2n+1)=K*C(2n+1)
[step6]  C(2n)=(1/K)*C(2n)
（逆変換）
[step1]  P(2n)=K*C(2n)
[step2]  P(2n+1)=(1/K)*C(2n+1)
[step3]  P(2n)=X(2n)-δ*(P(2n-1)+P(2n+1))
[step4]  P(2n+1)=P(2n+1)-γ*(P(2n)+P(2n+2))
[step5]  P(2n)=P(2n)-β*(P(2n-1)+P(2n+2))
[step6]  P(2n)=P(2n+1)-α*(P(2n)+P(2n+2))
ただし、  α＝-1.586134342059924
β＝-0.052980118572961
γ＝0.882911075530934
δ＝0.443506852043971
Ｋ＝1.230174104914001
次に、ウェーブレット変換の手順およびデコンポジションレベル、解像度レベル、サブバンドの定義について説明する。
【０１２６】
図１８〜図２１は、16×16のモノクロの画像に対して５×３ウェーブレット変換を２次元(垂直方向および水平方向)に施す過程を説明するための図である。
【０１２７】
図１８の様にＸＹ座標をとり、あるＸ座標ｘについて、Ｙ座標がｙである画素の画素値をP（y）（0≦ｙ≦15）と表す。ＪＰＥＧ２０００では、まず垂直方向（Ｙ座標方向）に、Ｙ座標が奇数（y=2i+1）の画素を中心にハイパスフィルタを施して係数C(2i+1)を得る。次にＹ座標が偶数（y=2i）の画素を中心にローパスフィルタを施して係数C(2i)を得る(これを全てのＸ座標について行う)。ここで、ハイパスフィルタは前記順変換の［ｓｔｅｐ１］式で表され、ローパスフィルタは前記順変換の［ｓｔｅｐ２］式で表される。なお、画像の端部においては中心となる画素に対して隣接画素が存在しないことがあり、この場合は所定のルールによって適宜画素値を補うことになる。
【０１２８】
簡単のため、ハイパスフィルタで得られる係数をＨ、ローパスフィルタで得られる係数をＬと表記すれば、前記垂直方向の変換によって図１８の画像は図１９のようなＬ係数、Ｈ係数の配列へと変換される。
【０１２９】
続いて、図１９の係数配列に対して、水平方向に、Ｘ座標が奇数（y=2i+1）の係数を中心にハイパスフィルタを施し、次にＸ座標が偶数（ｘ=2i）の係数を中心にローパスフィルタを施す(これを全てのＹ座標について行う。この場合、前記順変換の［ｓｔｅｐ１］式、［ｓｔｅｐ２］式のP(2i)等は係数値を表すものと読み替える)。
【０１３０】
簡単のため、
前記Ｌ係数を中心にローパスフィルタを施して得られる係数をLL、
前記Ｌ係数を中心にハイパスフィルタを施して得られる係数をHL、
前記Ｈ係数を中心にローパスフィルタを施して得られる係数をLH、
前記Ｈ係数を中心にハイパスフィルタを施して得られる係数をHH、
と表記すれば、図１９の係数配列は図２０の様な係数配列へと変換される。ここで同一の記号を付した係数群はサブバンドと呼ばれる。図２０の例は４つのサブバンドで構成される。
【０１３１】
以上で、垂直・水平の各方向に対して各１回のウェーブレット変換（１回のデコンポジション（分解））が終了し、上記LL係数だけを集めると（図２１の様にサブバンド毎に集め、LLサブバンドだけ取り出すと）、ちょうど原画像の１/２の解像度の“画像”が得られる（このように、サブバンド毎に分類することをデインターリーブと呼び、図２０のような状態に配置することをインターリーブという）。
【０１３２】
２回目のウェーブレット変換は、上記LLサブバンドを原画像と見なして、上記と同様の変換を行えばよい。この場合、デインターリーブをすると模式的な図２２が得られる。なお、図２１及び図２２に示した係数の接頭の数字は、水平・垂直に関し各何回のウェーブレット変換で該係数が得られたかを示しており、デコンポジションレベルと呼ばれる。また、デコンポジションレベルとほぼ逆の関係にある解像度レベルを図２３に示す。
【０１３３】
なお、以上の議論において、１次元のみのウェーブレット変換をしたい場合には、いずれかの方向だけの処理を行えばよく、いずれかの方向に関してウェーブレット変換を行った回数がデコンポジションレベルとなる。
【０１３４】
一方、ウェーブレット逆変換は、図２０の様なインターリーブされた係数の配列に対して、まず水平方向に、Ｘ座標が偶数（ｘ=2i）の係数を中心に逆ローパスフィルタを施し、次にＸ座標が奇数（ｘ=2i+1）の係数を中心に逆ハイパスフィルタを施す(これを全てのｙについて行う)。ここで、逆ローパスフィルタは前記逆変換の［ｓｔｅｐ１］式で表され、逆ハイパスフィルタは前記逆変換の［ｓｔｅｐ２］式で表される。画像の端部においては中心となる係数に対して隣接係数が存在しないことがあるが、この場合は所定のルールによって適宜係数値を補うことになる。
【０１３５】
以上の水平方向の処理により、図２０の係数配列は図１９のような係数配列に変換（逆変換）される。続いて、垂直方向に、Ｙ座標が偶数（y=2i）の係数を中心に逆ローパスフィルタを施し、次にＹ座標が奇数（y=2i+1）の係数を中心に逆ハイパスフィルタを施す。この処理を全てのＸ座標について行うことにより、１回の２次元ウェーブレット逆変換が終了し、図１９の画像に戻る(再構成される)。なお、ウェーブレット変換が複数回施されている場合は、図１８をLLサブバンドとみなし、同じデコンポジションレベルのHL等の他のサブバンドの係数を利用して同様の逆変換を繰り返すことになる。
【０１３６】
前述の様に、５×３ウェーブレット変換を利用した場合には、サブバンドを構成する係数の線形量子化は行われない。一方、９×７ウェーブレット変換の場合は、各サブバンドごとに、ウェーブレット係数を線形(スカラー)量子化することができ、この場合、同一サブバンド内では同一の量子化ステップ数を用いる。
【０１３７】
次に、ウェーブレット係数のエントロピー符号化に関して説明する。各サブバンドはコードブロックと呼ばれる矩形に分割され、コードブロックの単位で係数のビットプレーン符号化が行われる。ＪＰＥＧ２０００では、サブバンドごとに、係数を上位ビット(MSB)から下位ビット(LSB)まで、サブビットプレーン単位で符号化することが可能である。
【０１３８】
今、図２２の２LLサブバンドの係数が図２４に示す値をとったとする。これらの値を２進数で表現し、ビットごとに分けたものがビットプレーンである。図２４の係数は、図２５に示す４枚のビットプレーンに分けることができる。１５の二進表現は”1111”であるから、全てのビットプレーンの値”１５”の係数に対応する位置に”１”が立つことになる。
【０１３９】
そしてＪＰＥＧ２０００においては、１つのビットプレーンを３つのサブビットプレーン（コーディングパスとも言う）に分類し、各サブビットプレーン毎に符号化する。サブビットプレーン（コーディングパス）としては、significance  propagation  pass（有意な係数が周囲にある、有意でない係数を符号化するパス）、magnitude  refinement  pass（有意な係数を符号化するパス）、cleanup  pass（上記２つのパスに該当しない残りのビットを符号化するパス）がある。ただし、分類の結果、１のビットプレーン内で特定のサブビットプレーン（コーディングパス）に属するビットがない場合もあり、この場合には空のサブビットプレーンが生じることになる。最上位のビットプレーンは常に、cleanup  passのみとなる。よって、図２５の４枚のビットプレーンは、図２６の様にサブビットプレーン分解される。
【０１４０】
サブビットプレーンは上位から下位に向けて符号化されるため、図２７に示すような構成の符号の生成が可能である。図２７は、符号が２ＬＬサブバンドから始まって、１ＨＨサブバンドで終わることを示している。また、図２７の例は全てのサブビットプレーンを符号化した場合であるが、例えば図中の着色されたサブビットプレーンの符号が不要であると判断された場合には、当該サブビットプレーンのエントロピー符号化自体を省略し、あるいは、エントロピー符号化後に当該サブビットプレーンの符号を破棄することができることは前述の通りである。このような省略や破棄の最小単位はサブビットプレーンであるが、これを簡易に行いたいときには、ビットプレーン単位での省略や破棄を選択することもできる。
【０１４１】
以上でＪＰＥＧ２０００の概要についての説明を終わり、本実施形態についての説明に戻る。
【０１４２】
［実施形態の説明のつづき］
各サブバンドに対応する適切な視覚周波数特性値を算出するためには、その算出のために参照される視覚周波数特性の周波数区間を適切に設定することが重要であることは前述の通りである。本実施形態において用いられる適切な参照周波数区間（参照区間と略記することがある）の例を図２８と図２９に示す。なお、視覚周波数特性は前記ＣＳＦであり、視覚周波数特性値は前記Visual  Weightである。図２８に示した参照区間は”通常”ウェーブレット変換が用いられる場合に適切なものであり、図２９に示した参照区間は”簡易”ウェーブレット変換が用いられる場合に適切なものである。
【０１４３】
図２８及び図２９においては、一次元方向（垂直方向または水平方向）の最大周波数がfmaxであった場合に、当該方向に対して施した一次元のウェーブレット変換で生じた２Ｌ〜１Ｈサブバンドについての参照区間がfmaxとの関係で示されている。この参照区間の表現は前記表１や前記表４におけると同様である。図中の「左端」とは参照区間の左端、図中の「右端」とは参照区間の右端である。例えば、図２８の（１）は、４４４フォーマットのインターレース映像信号に対しフレームベースの符号化を行う場合、２Ｌサブバンドの参照区間は「左端が０、右端が0.25」すなわち0≦f＜0.25fmaxの区間であることを示している。なお、参照区間の両端の不等号に関しては、ウェーブレット変換のフィルタの帯域分割特性に対して設けた仮定や解釈の違いにより、0≦f≦0.25fmaxの様に扱うことも可能である。
【０１４４】
前記VisualWeightテーブル２０７に格納されているVisual  Weight、すなわち図１０〜図１４に示したVisual  Weightは、図２８と図２９に示したような参照区間についてのＣＳＦの積分値又はその積として算出されたものである。
【０１４５】
図３０に示した基準量子化ステップ数は、ＪＰＥＧ２０００の９×７ウェーブレット変換の場合にサブバンドゲインおよびコンポ−ネント変換のゲインから算出される、一般的に使用される量子化ステップ数であり、通常ウェーブレット変換を用いるフィールドベース符号化とフレームベース符号化の両方に適用可能である（ただし、図３０にはデコンポジションレベル２の場合が示されている）。そして、このような基準量子化ステップ数が基準量子化ステップ数テーブル２０８に格納されている。
【０１４６】
前記量子化ステップ数制御手段２０９は、VisualWeightテーブル２０７より必要なVisual  Weightを読み出し、これで基準量子化ステップ数を除算することにより修正した量子化ステップ数を算出する。すなわち、
修正後の量子化ステップ数＝基準量子化ステップ数/Visual  Weight‥‥式（Ｓ）
このような修正した量子化ステップ数を用いて線形量子化を行うことにより、線形量子化に視覚周波数特性が好適に反映される。
【０１４７】
また、線形量子化は基準量子化ステップ数を用いて行い、係数又は符号のトランケーションを、VisualWeightテーブル２０７より読み出したVisual  Weightに対応したトランケート数分だけ行うことにより、量子化の程度にVisual  Weightを反映されることもできる。トランケート数の計算方法であるが、「ビットプレーンｎ枚のトランケーション」は「
係数を（２のｎ乗）で線形量子化すること」と等価であるから、
ビットプレーン単位のトランケート数＝log2（Visual  Weightの逆数）‥式（ＢＰ）
により、ビットプレーン単位のトランケート数を求めることができる(式中、2はlogの底を意味する)。また、「サブビットプレーンｎ枚のトランケーション」は「係数を（２の1/3乗の）ｎ乗で線形量子化すること」と等価であるから、
サブビットプレーン単位のトランケート数＝３×log2（Visual  Weightの逆数）
‥‥式（ＳＢＰ）
によりサブビットプレーン単位のトランケート数を求めることができる(式中、2はlogの
底を意味する)。
【０１４８】
トランケート数制御手段２１０は、VisualWeightテーブル２０７より必要なVisual  We
ightを読み出し、それを用いて前記式（ＢＰ）又は前記式（ＸＢＰ）によりトランケート
数を算出し、そのトランケート数をエントロピー符号化ブロック２０３に設定し（係数
段階でのトランケーションを行う場合）、あるいは、そのトランケート数をパケット生成
ブロック２０４に設定する（符号段階でのトランケーションを行う場合）。これによって
も、符号化処理における量子化の程度に視覚周波数特性を適切に反映させることが可能で
ある。
【０１４９】
パケット生成ブロック２０４でラグランジェレート制御を行う場合には、スロープ制御手段２１１で、ディストーションスロープにVisual  Weightを反映させるためのスロープ修正を行うが、これについては後述する。
【０１５０】
以下、本実施形態のいくつかの実施例について説明する。
【実施例１】
【０１５１】
本実施例では、４４４フォーマットのインターレース映像信号（ＲＧＢ値）をフィールドベースで符号化する。
【０１５２】
図３１に本実施例における処理の概略フローを示す。まず、制御ブロック２０６において、フィールドベースの符号化が選択される（ｓｔｅｐ１）。したがって、圧縮処理のための各ブロック２００〜２０５はフィールドベースの符号化のための動作をするように制御される。なお、フィールドベース／フレームベース符号化の別をユーザにより制御ブロック２０６に明示的に指定するようにしてもよいし、制御ブロック２０６において例えば前記特許文献２に見られるような方法により映像の動き量の大小に応じて自動的にフィールドベース／フレームベース符号化を選択するようにしてもよい。このことは後記の他の実施例においても同様である。
【０１５３】
制御ブロック２０６において、線形量子化のための量子化ステップ数を設定する。本実施例では、サブバンド分割に”通常”ウェーブレット変換（９×７ウェーブレット変換）を用いるものとして量子化ステップ数が設定される。すなわち、量子化ステップ数制御手段２０９において、図２８の（２）に示した参照区間についてのＣＳＦの積分により算出されたVisual  WeightをVisualWeightテーブル２０７より読み出す。図２８の（２）に示した参照区間を図３２に再掲する。図３２から分かるように、輝度の垂直方向のサブバンドについての参照区間は、輝度の水平方向のサブバンドについての参照区間に対して１デコンポジションレベル分だけ低域側にシフトされていることに注意すべきである。したがって、観察距離として1700が選ばれるものとすると、図１０中の「444  field」のVisual  Weightが、VisualWeightテーブル２０７から読み出されることになる。そして、量子化ステップ数制御手段２０９は、VisualWeightテーブル２０７から読み出したVisual  Weightと、基準量子化ステップ数テーブル２０８から読み出した基準量子化ステップ数から、前記式（Ｓ）により各コンポーネント、各サブバンドに対する修正された量子化ステップ数を求め、これを量子化ブロック２０２に対し設定する。修正後の量子化ステップ数は図３３に示すような値となる。以上がｓｔｅｐ２の処理である。
【０１５４】
以下のｓｔｅｐ３〜７は、入力映像信号の各フレームに対し繰り返し実行される処理ステップである。
【０１５５】
ＤＣレベル・色変換ブロック２００により、映像信号（ＲＧＢ値）に対しＤＣレベルシフトと色変換（ＩＣＴ）が行われる（ｓｔｅｐ３）。そして、フィールド毎に、変換後のＹ，Ｃｂ，Ｃｒの各コンポーネントに対し、ウェーブレット変換ブロック２０１において
”通常”ウェーブレット変換が行われる（ｓｔｅｐ４）。ここではウェーブレット変換として９×７変換が用いられるものとする。また、ウェーブレット変換はデコンポジションレベル２まで実行されるものとする。
【０１５６】
各コンポーネントの各サブバンドの係数に対し、設定された量子化ステップ数を用いた線形量子化が量子化ブロック２０２で実行される（ｓｔｅｐ５）。ＪＰＥＧ２０００における線形量子化は、係数を量子化ステップ数で除算してフロア関数で整数化することにより行われる。
【０１５７】
次にエントロピー符号化ブロック２０３で、線形量子化後の各コンポーネントの係数の全ビットプレーンに対しＭＱ符号化が行われる（ｓｔｅｐ６）。そして、生成されたＭＱ符号はパケット生成ブロック２０４によりパケットにまとめられ、符号形成ブロック２０５によりパケットを用いてコードストリームが形成される（ｓｔｅｐ７）。
【０１５８】
以上のように、本実施例によれば、線形量子化の量子化ステップ数に（換言すれば量子化の程度に）視覚周波数特性を理論的知見に基づき適切に反映させた符号化を実施することができる。
【０１５９】
図３３から明らかなとおり、全コンポーネント、全デコンポジションレベルについて、量子化ステップ数の大小関係は「LH＜HL＜HH」であることに注意すべきである。そして、係数のトランケーションも符号のトランケーションも行われないため、この大小関係はそのまま量子化の程度の大小関係である。
【０１６０】
なお、予め図３３に示した修正後の量子化ステップ数を格納したテーブルを制御ブロック２０６に用意しておき、このテーブルより量子化ステップ数を読み出して線形量子化に用いる構成とすることも可能である。
【０１６１】
ここまでの説明から明らかなように、本実施例は請求項１に係る発明の一実施例である。ｓｔｅｐ４がサブバンド分割手段によるサブバンド分割の処理に相当し、ｓｔｅｐ５〜７が符号化処理手段による符号化処理に相当する。そして、ｓｔｅｐ２で設定される量子化ステップ数にはサブバンド対応の輝度の視覚周波数特性値であるVisual  Weightが反映されており、この量子化ステップ数がｓｔｅｐ５の線形量子化に用いられることにより、輝度信号の各サブバンドの符号化処理にサブバンド対応の輝度の視覚周波数特性値が反映されるわけである。
【実施例２】
【０１６２】
本実施例では、４１１フォーマットのインターレース映像信号（ＹＣｂＣｒ値）をフィールドベースで符号化する。
【０１６３】
図３４に本実施例における処理の概略フローを示す。まず、制御ブロック２０６において、フィールドベースの符号化が選択される（ｓｔｅｐ１１）。したがって、圧縮処理のための各ブロック２００〜２０５はフィールドベースの符号化のための動作をするように制御される。ただし、入力映像信号はＹＣｂＣｒ値であるため、ＤＣレベルシフト・色変換ブロック２００ではＤＣレベルシフトも色変換も行われない。
【０１６４】
制御ブロック２０６において、線形量子化のための量子化ステップ数の設定を行う。本実施例では、サブバンド分割に”通常”ウェーブレット変換（９×７ウェーブレット変換）を用いるものとして量子化ステップ数が設定される。すなわち、量子化ステップ数制御手段２０９は、図２８の（６）に示した参照区間についてのＣＳＦの積分により算出されたVisual  WeightをVisualWeightテーブル２０７より読み出す。図２８の（６）に示した参照区間を図３５に再掲する。図３５から分かるように、色差の垂直方向のサブバンドについての参照区間は、色差の水平方向のサブバンドについての参照区間に対して１デコンポジションレベル分だけ低域側にシフトされていることに注意すべきである。したがって、観察距離として１７００が選ばれるものとすると、図１２中の「411  field」のVisual  Weightが、VisualWeightテーブル２０７から読み出されることになる。そして、量子化ステップ数制御手段２０９は、VisualWeightテーブル２０７から読み出したVisual  Weightと、基準量子化ステップ数テーブル２０８から読み出した基準量子化ステップ数から、前記式（Ｓ）により各コンポーネント、各サブバンドに対する修正された量子化ステップ数を求め、これを量子化ブロック２０２に対し設定する。修正後の量子化ステップ数は図３６に示すような値となる。以上はｓｔｅｐ１２の処理である。
【０１６５】
以下のｓｔｅｐ１３〜１６は、入力映像信号の各フレームに対し繰り返し実行される処理ステップである。
【０１６６】
ウェーブレット変換ブロック２０１において、フィールド毎に、Ｙ，Ｃｂ，Ｃｒの各コンポーネントに対し”通常”ウェーブレット変換が行われる（ｓｔｅｐ１３）。ウェーブレット変換としては９×７ウェーブレット変換が用いられる。また、ウェーブレット変換はデコンポジションレベル２まで行われるものとする。
【０１６７】
各コンポーネント、各サブバンドの係数に対し、設定された量子化ステップ数を用いた線形量子化が量子化ブロック２０２で実行される（ｓｔｅｐ１４）。次にビットプレーン符号化ブロック２０３で、量子化後の係数の全ビットプレーンのＭＱ符号化が行われる（ｓｔｅｐ１５）。そして、生成されたＭＱ符号はパケット生成ブロック２０４でパケットにまとめられ、符号形成ブロック２０４によりパケットを用いてコードストリームが形成される（ｓｔｅｐ１６）。
【０１６８】
図３６から明らかなとおり、全コンポーネント、全デコンポジションレベルについて、量子化ステップ数の大小関係は「LH＜HL＜HH」であることに注意すべきである。そして、係数のトランケーションも符号のトランケーションも行われないため、この大小関係はそのまま符号化処理における量子化の程度の大小関係である。
【０１６９】
なお、予め図３６に示した修正後の量子化ステップ数を格納したテーブルを制御ブロック２０６に用意しておき、このテーブルより量子化ステップ数を読み出して線形量子化に用いる構成とすることも可能である。
【０１７０】
ここまでの説明から明らかなように、本実施例は請求項２に係る発明の一実施例である。
ｓｔｅｐ１３がサブバンド分割手段によるサブバンド分割の処理に相当し、ｓｔｅｐ１４
〜１６が符号化処理手段による符号化処理に相当する。そして、ｓｔｅｐ１２で設定され
る量子化ステップ数にはサブバンド対応の色差の視覚周波数特性値であるVisual  Weight
が反映されており、この量子化ステップ数がｓｔｅｐ１４の線形量子化に用いられること
により、色差信号の各サブバンドの符号化処理にサブバンド対応の色差の視覚周波数特性
値が反映される。また、視覚周波数特性値が反映された、輝度信号のデコンポジションレ
ベル１のＬＨ，ＨＬ，ＨＨサブバンドのための量子化ステップ数の大小関係は「LH＜HL＜
HH」であり、トランケーションは行われないため、それらサブバンドに対する符号化処理
による量子化の程度の大小関係は「LH＜HL＜HH」となるのである。
【実施例３】
【０１７１】
本実施例では、４２２フォーマットのインターレース映像信号（ＹＣｂＣｒ値）をフィールドベースで符号化する。
【０１７２】
図３７に本実施例における処理の概略フローを示す。まず、制御ブロック２０６において、フィールドベースの符号化が選択される（ｓｔｅｐ２１）。したがって、圧縮処理のための各ブロック２００〜２０５はフィールドベースの符号化のための動作をするように制御される。ただし、入力映像信号はＹＣｂＣｒ値であるため、ＤＣレベルシフト・色変換ブロック２００はＤＣレベルシフトも色変換も行わない。
【０１７３】
次に制御ブロック２０６は、線形量子化のための量子化ステップ数を設定する（ｓｔｅｐ２２）。本実施例では、量子化ステップ数制御手段２０９によって基準量子化ステップ数テーブル２０８より読み出した基準量子化ステップ数を量子化ブロック２０２に対し設定する。
【０１７４】
次に、制御ブロック２０６は、エントロピー符号化ブロック２０３に対しトランケート数を設定する。本実施例では、サブバンド分割に”通常”ウェーブレット変換（９×７ウェーブレット変換）を用いるものとしてトランケート数が設定される。すなわち、トランケート数制御手段２１０は、図２８の（４）に示した参照区間についてのＣＳＦの積分により算出されたVisual  WeightをVisualWeightテーブル２０７より読み出す。図２８の（４）に示した参照区間を図３８に再掲する。図３８から分かるように、色差の水平方向のサブバンドについての参照区間は、輝度の水平方向のサブバンドについての参照区間に対して１デコンポジションレベル分だけ低域側にシフトしていることに注意すべきである。したがって、観察距離として１７００が選ばれるものとすると、図１１中の「422  field」のVisual  WeightがVisualWeightテーブル２０７から読み出されることになる。そして、トランケート数制御手段２１０は、VisualWeightテーブル２０７より読み出したVisual  Weightを、前記式（ＳＢＰ）によりサブビットプレーン単位のトランケート数に換算する。ただし、式（ＳＢＰ）による算出値は実数であるため、これを四捨五入して整数化する。整数化後のトランケート数は図３９に示すような値となる。このトランケート数はエントロピー符号化ブロック２０３に設定される。以上はｓｔｅｐ２３の処理である。
【０１７５】
以下のｓｔｅｐ２４〜２７は、入力映像信号の各フレームに対し繰り返し実行される処理ステップである。
【０１７６】
ウェーブレット変換ブロック２０１において、フィールド毎に、Ｙ，Ｃｂ，Ｃｒの各コンポーネントに対し”通常”ウェーブレット変換が行われる（ｓｔｅｐ２４）。ウェーブレット変換としては９×７ウェーブレット変換が用いられる。また、ウェーブレット変換はデコンポジションレベル２まで行われるものとする。
【０１７７】
各コンポーネントの各サブバンドの係数に対し、基準量子化ステップ数を用いた線形量子化が量子化ブロック２０２で実行される（ｓｔｅｐ２５）。エントロピー符号化ブロック２０３において、各コンポーネントの各サブバンドの量子化後の係数に対し、設定されたトランケート数分だけ下位サブビットプレーンを除外したＭＱ符号化を行う（ｓｔｅｐ２６）。そして、生成されたＭＱ符号はパケット生成ブロック２０４でパケットにまとめられ、符号形成ブロック２０５によりパケットを用いてコードストリームが形成される（ｓｔｅｐ２７）。
【０１７８】
ここで、エントロピー符号化ブロック２０３におけるトランケーションに用いられたトランケート数（図３９）に「ＨＬ＝ＬＨ＜ＨＨ」の大小関係があることに注意すべきである。本実施例では基準量子化ステップ数（図３０）を用いた線形量子化も行われるが、基準量子化ステップ数にも「ＨＬ＝ＬＨ＜ＨＨ」の大小関係がある。したがって、線形量子化とトランケーションの効果を総合した、符号化処理における”量子化の程度”は「ＨＬ＝ＬＨ＜ＨＨ」の大小関係となることに注目すべきである。
【０１７９】
なお、予め図３９に示したトランケート数を格納したテーブルを制御ブロック２０６に用意しておき、このテーブルより読み出したトランケート数をエントロピー符号化ブロック２０３に設定する構成とすることも可能である。
【０１８０】
また、本実施例ではサブビットプレーン単位でのトランケーションを行ったが、ビットプレーン単位のトランケーションを行ってもよく、この場合はVisual  Weightからトランケート数への換算に前記式（ＢＰ）が用いられることなる。さらに、エントロピー符号化ブロック２０３ではトランケーションを行わず、パケット生成ブロック２０４で指定されたトランケート数分の下位サブビットプレーンの符号を破棄するようにしてもよい。
【０１８１】
以上の説明から明らかなように、本実施例は請求項３に係る発明の一実施例である。
【実施例４】
【０１８２】
本実施例では、４２２フォーマットのインターレース映像信号（ＹＣｂＣｒ値）をフレームベースで符号化する。
【０１８３】
図４０に本実施例における処理の概略フローを示す。まず、制御ブロック２０６において、フレームベースの符号化が選択される（ｓｔｅｐ３１）。したがって、圧縮処理のための各ブロック２００〜２０５はフレームベースの符号化のための動作をするように制御される。ただし、入力映像信号はＹＣｂＣｒ値であるため、ＤＣレベルシフト・色変換ブロック２００はＤＣレベルシフトも色変換も行わない。
【０１８４】
次に、制御ブロック２０６において、線形量子化のための量子化ステップ数を設定する。本実施例では、サブバンド分割に”通常”ウェーブレット変換（９×７ウェーブレット変換）を用いるものとして量子化ステップ数が設定される。すなわち、量子化ステップ数制御手段２０９は、図２８の（３）に示されている参照区間についてのＣＳＦの積分により算出されたVisual  WeightをVisualWeightテーブル２０７より読み出す。図２８の（３）に示した参照区間を図４１に再掲する。図４１から分かるように、色差の垂直方向のサブバンドについての参照区間は、色差の水平方向のサブバンドについての参照区間に対して１デコンポジションレベル分だけ高域側にシフトされていることに注意すべきである。したがって、観察距離として１７００が選ばれるものとすると、図１１中の「422  frame」のVisual  Weightが、VisualWeightテーブル２０７から読み出されることになる。そして、量子化ステップ数制御手段２０９は、VisualWeightテーブル２０７より読み出したVisual  Weightと、基準量子化ステップ数テーブル２０８から読み出した基準量子化ステップ数（図３０）から、前記式（Ｓ）により各コンポーネントの各サブバンドに対する修正された量子化ステップ数を求め、これを量子化ブロック２０２に設定する。この修正後の量子化ステップ数は図４２に示すような値となる。
【０１８５】
以下のｓｔｅｐ３３〜３６は、入力映像信号の各フレームに対し繰り返し実行される処理ステップである。
【０１８６】
ウェーブレット変換ブロック２０１において、フレーム毎に、Ｙ，Ｃｂ，Ｃｒの各コンポーネントに対し”通常”ウェーブレット変換が行われる（ｓｔｅｐ３３）。ウェーブレット変換として９×７ウェーブレット変換が用いられる。また、ウェーブレット変換はデコンポジションレベル２まで行われるものとする。
【０１８７】
各コンポーネント、各サブバンドの係数に対する線形量子化が量子化ブロック２０２で実行される（ｓｔｅｐ３４）。次に、エントロピー符号化ブロック２０３により、量子化後の係数の全ビットプレーンのＭＱ符号化が行われる（ｓｔｅｐ３５）。そして、生成されたＭＱ符号はパケット生成ブロック２０４でパケット化され、符号形成ブロック２０５によりパケットを用いてコードストリームが形成される（ｓｔｅｐ３６）。
【０１８８】
図４２から明らかなように、Ｃｂ，Ｃｒコンポーネントについての量子化ステップ数の大小関係は「HL＜LH＜HH」であることに注意すべきである。そして、トランケーションは行われないため、この大小関係はそのままＣｂ，Ｃｒコンポーネントに対する量子化の程度の大小関係である。
【０１８９】
なお、予め図４２に示した修正後の量子化ステップ数を格納したテーブルを制御ブロック２０６に用意しておき、このテーブルより量子化ステップ数を読み出して線形量子化に用いる構成とすることも可能である。
【０１９０】
以上の説明から明らかなように、本実施例は請求項４に係る発明の一実施例である。
【実施例５】
【０１９１】
本実施例では、４１１フォーマットのインターレース映像信号（ＹＣｂＣｒ値）をフレームベースで符号化する。
【０１９２】
図４３に本実施例における処理の概略フローを示す。まず、制御ブロック２０６において、フレームベースの符号化が選択される（ｓｔｅｐ４１）。したがって、圧縮処理のための各ブロック２００〜２０５はフレームベースの符号化のための動作をするように制御される。ただし、入力映像信号はＹＣｂＣｒ値であるため、ＤＣレベルシフト・色変換ブロック２００はＤＣレベルシフトも色変換も行わない。
【０１９３】
次に制御ブロック２０６は、線形量子化のための量子化ステップ数を設定する。本実施例では、サブバンド分割に”通常”ウェーブレット変換（９×７ウェーブレット変換）を用いるものとして量子化ステップ数を設定する。すなわち、量子化ステップ数制御手段２０９は、図２８の（５）に示されている参照区間についてのＣＳＦの積分により算出されたVisual  WeightをVisualWeightテーブル２０７より読み出す。図２８の（５）に示した参照区間を図４４に再掲する。図４４から分かるように、色差のサブバンドについての参照区間は、輝度のサブバンドについての参照区間に対して１デコンポジションレベル分だけ低域側にシフトされていることに注意すべきである。したがって、観察距離として１７００が選ばれるものとすると、図１２中の「411  frame」のVisual  WeightがVisualWeightテーブル２０７から読み出されることになる。そして、量子化ステップ数制御手段２０９は、VisualWeightテーブル２０７より読み出したVisual  Weightと、基準量子化ステップ数テーブル２０８から読み出した基準量子化ステップ数（図３０）から、前記式（Ｓ）により各コンポーネントの各サブバンドに対する修正された量子化ステップ数を求める。この修正後の量子化ステップ数は図４５に示すような値となる。
【０１９４】
以下のｓｔｅｐ４３〜４６は、入力映像信号の各フレームに対し繰り返し実行される処理ステップである。ウェーブレット変換ブロック２０１において、フレーム毎に、Ｙ，Ｃｂ，Ｃｒの各コンポーネントに対し”通常”ウェーブレット変換が行われる（ｓｔｅｐ４３）。ウェーブレット変換として９×７ウェーブレット変換が用いられる。また、ウェーブレット変換はデコンポジションレベル２まで行われるものとする。各コンポーネント、各サブバンドの係数に対する線形量子化が量子化ブロック２０２で実行される（ｓｔｅｐ４４）。次に、エントロピー符号化ブロック２０３により、量子化後の係数の全ビットプレーンのＭＱ符号化が行われる（ｓｔｅｐ４５）。そして、生成されたＭＱ符号はパケット生成ブロック２０４でパケット化され、符号形成ブロック２０５によりパケットを用いてコードストリームが形成される（ｓｔｅｐ４６）。
【０１９５】
なお、予め図４５に示した修正後の量子化ステップ数を格納したテーブルを制御ブロック２０６に用意しておき、このテーブルより量子化ステップ数を読み出して線形量子化に用いる構成とすることも可能である。
【０１９６】
以上の説明から明らかなように、本実施例は請求項５に係る発明の一実施例である。
【実施例６】
【０１９７】
本実施例では、４２２フォーマットのインターレース映像信号（ＹＣｂＣｒ値）をフレームベースで符号化する。
【０１９８】
図４６に本実施例における処理の概略フローを示す。まず、制御ブロック２０６において、フレームベースの符号化が選択される（ｓｔｅｐ５１）。したがって、圧縮処理のための各ブロック２００〜２０５はフレームベースの符号化のための動作をするように制御される。ただし、入力映像信号はＹＣｂＣｒ値であるため、ＤＣレベルシフト・色変換ブロック２００はＤＣレベルシフトも色変換も行わない。
【０１９９】
次に制御ブロック２０６において、量子化ステップ数制御手段２０９は基準量子化ステップ数テーブル２０８より基準量子化ステップ数（図３０）を読み出し、それをそのまま量子化ブロック２０２に対し設定する（ｓｔｅｐ５２）。
【０２００】
次に、制御ブロック２０６はエントロピー符号ブロック２０３に対しトランケート数を設定する（ｓｔｅｐ５３）。本実施例では、サブバンド分割に”簡易”ウェーブレット変換（９×７ウェーブレット変換）を用い、サブビットプレーン単位のトランケーションを行うものとして、トランケート数を設定する。すなわち、制御ブロック２０６のトランケート数制御手段２１０は、図２９の（７）に示した参照区間についてのＣＳＦの積分により算出されたVisual  WeightをVisualWeightテーブル２０７より読み出す。図２９の（７）に示した参照区間を図４７に再掲する。図４７から分かるように、デコンポジション２（以上）において、色差の垂直方向のサブバンドについての参照区間を、色差の水平方向のサブバンドについての参照区間と同一にしていることに注意すべきである。したがって、観察距離として１７００が選ばれるものとすると、図１３中の「422  frame」のVisual  WeightがVisualWeightテーブル２０７から読み出されることになる。そして、トランケート数制御手段２１０は、VisualWeightテーブル２０７より読み出したVisual  Weightを、前記式（ＢＰ）によりビットプレーン単位のトランケート数に換算する。ただし、式（ＢＰ）による算出値は実数であるため、これを四捨五入して整数化する。整数化後のトランケート数は図４８に示すような値となる。このトランケート数はエントロピー符号化ブロック２０３に設定される。
【０２０１】
以下のｓｔｅｐ５４〜５７は、入力映像信号の各フレームに対し繰り返し実行される処理ステップである。
【０２０２】
ウェーブレット変換ブロック２０１において、フレーム毎に、Ｙ，Ｃｂ，Ｃｒの各コンポーネントに対し”簡易”ウェーブレット変換が行われる（ｓｔｅｐ５４）。ウェーブレット変換としては９×７ウェーブレット変換が用いられる。ウェーブレット変換はデコンポジションレベル２まで行われるものとする。
【０２０３】
各コンポーネントの各サブバンドの係数に対する線形量子化が量子化ブロック２０２で実行される（ｓｔｅｐ５５）。エントロピー符号化ブロック２０３において、各コンポーネントの各サブバンドの係数に対し、設定されたトランケート数分の下位ビットプレーンを除外してＭＱ符号化を行う（ｓｔｅｐ５６）。生成された符号はパケット生成ブロック２０４でパケットにまとめられ、符号形成ブロック２０５によりパケットを用いコードストリームが形成される（ｓｔｅｐ５７）。
【０２０４】
ここで、図４８より分かるように、輝度についてのデコンポジションレベル１のサブバンドに対するトランケート数に「ＨＬ＝ＬＨ＜ＨＨ」の大小関係があることに注意すべきである。本実施例では基準量子化ステップ数（図３０）を用いた線形量子化も行われるが、基準量子化ステップ数にも「ＨＬ＝ＬＨ＜ＨＨ」の大小関係がある。したがって、線形量子化とトランケーションの効果を総合した、符号化処理による”量子化の程度”も「ＨＬ＝ＬＨ＜ＨＨ」の大小関係となることに注意すべきである。
【０２０５】
なお、予め図４８に示したトランケート数を格納したテーブルを制御ブロック２０６に用意しておき、このテーブルより読み出したトランケート数をビットプレーン符号化ブロック２０３に供給する構成とすることも可能である。また、本実施例ではビットプレーン単位でのトランケーションを行ったが、サブビットプレーン単位のトランケーションを行ってもよく、この場合はVisual  Weightからトランケート数への換算に前記式（ＳＢＰ）が用いられることなる。さらに、エントロピー符号化ブロック２０３ではトランケーションを行わず、パケット生成ブロック２０４において設定されたトランケート数分の下位ビットプレーンの符号を破棄するようにしてもよい。
【０２０６】
ここで、線形量子化に用いる量子化ステップ数に関し説明を補足する。本実施例のように簡易ウェーブレット変換を行う場合には、復号後にどのようにして色差のＲＧＢ値を算出するかによって、線形量子化に基準量子化ステップ数を使用するか否かが決まる。本実施例においては、符号化時には”簡易”ウェーブレットを用いるが、復号時には”通常”ウェーブレット逆変換を用いることを想定している（これは符号中のフラグ操作で可能である）。つまり、復号時には、サブサンプリングされた色差の補間をウェーブレット逆変換で行うことを想定している。この様に、復号時に”通常”ウェーブレット逆変換を行う場合には、サブバンドゲインやコンポーネント変換のゲインは図３０に示した基準量子化ステップ数が用いられ一般的な場合と同様であるので、符号化時の線形量子化に図３０の基準量子化ステップ数を用いることができる。
【実施例７】
【０２０８】
本実施例では、４２２フォーマットのインターレース映像信号（ＹＣｂＣｒ値）をフィールドベースで符号化する。
【０２０９】
図４９に本実施例における処理の概略フローを示す。まず、制御ブロック２０６において、フィールドベースの符号化が選択される（ｓｔｅｐ６１）。したがって、圧縮処理のための各ブロック２００〜２０５はフィールドベースの符号化のための動作をするように制御される。ただし、入力映像信号はＹＣｂＣｒ値であるため、ＤＣレベルシフト・色変換ブロック２００はＤＣレベルシフトも色変換も行わない。
【０２１０】
次に制御ブロック２０６において、量子化ステップ数制御手段２０９は基準量子化ステップ数テーブル２０８より基準量子化ステップ数（図３０）を読み出し、それを量子化ブロック２０２に対し設定する（ｓｔｅｐ６２）。前記実施例６に関連して説明したように、本実施例においても、復号時に”通常”ウェーブレット逆変換を用いることを想定しているわけである。
【０２１１】
次に、制御ブロック２０６はエントロピー符号ブロック２０３に対しトランケート数を設定する（ｓｔｅｐ６３）。本実施例では、サブバンド分割に”簡易”ウェーブレット変換（９×７ウェーブレット変換）を用い、サブビットプレーン単位のトランケーションを行うものとして、トランケート数を設定する。すなわち、制御ブロック２０６のトランケート数制御手段２１０は、図２９の（８）に示した参照区間についてのＣＳＦの積分により算出されたVisual  WeightをVisualWeightテーブル２０７より読み出す。図２９の（８）に示した参照区間を図５０に再掲する。図５０から分かるように、色差の垂直方向のサブバンドについての参照区間を、色差の水平方向のサブバンドについての参照区間に対して、１デコンポジションレベル分だけ低域側にシフトさせていることに注意すべきである。したがって、観察距離として１７００が選ばれるものとすると、図１３中の「422  field」のVisual  WeightがVisualWeightテーブル２０７から読み出されることになる。そして、トランケート数制御手段２１０は、VisualWeightテーブル２０７より読み出したVisual  Weightを、前記式（ＳＢＰ）によりサブビットプレーン単位のトランケート数に換算する。ただし、式（ＳＢＰ）による算出値は実数であるため、これを四捨五入して整数化する。整数化後のトランケート数は図５１に示すような値となる。このトランケート数はエントロピー符号化ブロック２０３に対し設定される。
【０２１２】
以下のｓｔｅｐ６４〜６７は、入力映像信号の各フレームに対し繰り返し実行される処理ステップである。
【０２１３】
ウェーブレット変換ブロック２０１において、フィールド毎に、Ｙ，Ｃｂ，Ｃｒの各コンポーネントに対し”簡易”ウェーブレット変換が行われる（ｓｔｅｐ６４）。ウェーブレット変換としては９×７ウェーブレット変換が用いられる。また、ウェーブレット変換はデコンポジションレベル２まで行われるものとする。
【０２１４】
基準量子化ステップ数を用いた各コンポーネントの各サブバンドの係数に対する線形量子化が量子化ブロック２０２で実行される（ｓｔｅｐ６５）。エントロピー符号化ブロック２０３において、各コンポーネントの各サブバンドの量子化後の係数に対し、設定されたトランケート数分の下位サブビットプレーンを除外してＭＱ符号化を行う（ｓｔｅｐ６６）。生成されたＭＱ符号はパケット生成ブロック２０４でパケットにまとめられ、符号形成ブロック２０５によりパケットを用いてコードストリームが形成される（ｓｔｅｐ６７）。
【０２１５】
なお、予め図５１に示したトランケート数を格納したテーブルを制御ブロック２０６に用意しておき、このテーブルより読み出したトランケート数をエントロピー符号化ブロック２０３に設定する構成とすることも可能である。また、本実施例ではサブビットプレーン単位でのトランケーションを行ったが、ビットプレーン単位のトランケーションを行ってもよく、この場合はVisual  Weightからトランケート数への換算に前記式（ＢＰ）が用いられることなる。さらに、エントロピー符号化ブロック２０３ではトランケーションを行わず、パケット生成ブロック２０４において設定トランケート数分の下位サブビットプレーンの符号を破棄するようにしてもよい。
【０２１６】
以上の説明から明らかなように、本実施例は請求項６に係る発明の一実施例である。
【実施例８】
【０２１７】
本実施例では、４１１フォーマットのインターレース映像信号（ＹＣｂＣｒ値）をフィールドベースで符号化する。
【０２１８】
図５２に本実施例における処理の概略フローを示す。まず、制御ブロック２０６において、フィールドベースの符号化が選択される（ｓｔｅｐ７１）。したがって、圧縮処理のための各ブロック２００〜２０５はフィールドベースの符号化のための動作をするように制御される。ただし、入力映像信号はＹＣｂＣｒ値であるため、ＤＣレベルシフト・色変換ブロック２００はＤＣレベルシフトも色変換も行わない。
【０２１９】
次に、制御ブロック２０６において、量子化ステップ数制御手段２０９は基準量子化ステップ数テーブル２０８より基準量子化ステップ数（図３０５）を読み出し、それを量子化ブロック２０２に対し設定する（ｓｔｅｐ７２）。前記実施例６に関連して説明したように、本実施例においても復号時に”通常”ウェーブレット逆変換を用いることを想定している。
【０２２０】
次に制御ブロック２０６は、トランケート数を設定する（ｓｔｅｐ７３）。本実施例では、サブバンド分割に”簡易”ウェーブレット変換（９×７ウェーブレット変換）を用い、サブビットプレーン単位のトランケーションを行うものとして、トランケート数を設定する。すなわち、トランケート数制御手段２１０は、図２９の（１０）に示した参照区間についてのＣＳＦの積分により算出されたVisual  WeightをVisualWeightテーブル２０７より読み出す。図２９の（１０）に示した参照区間を図５３に再掲する。図５３から分かるように、色差の垂直方向のサブバンドについての参照区間を、色差の水平方向のサブバンドについての参照区間に対して、１デコンポジションレベル分だけ低域側にシフトさせていることに注意すべきである。したがって、観察距離として１７００が選ばれるものとすると、図１４中の「411  field」のVisual  WeightがVisualWeightテーブル２０７から読み出されることになる。そして、トランケート数制御手段２１０は、VisualWeightテーブル２０７より読み出したVisual  Weightを、前記式（ＳＢＰ）によりサブビットプレーン単位のトランケート数に換算する。ただし、式（ＳＢＰ）による算出値は実数であるため、これを四捨五入して整数化する。整数化後のトランケート数は図５４に示すような値となる。このトランケート数はエントロピー符号化ブロック２０３に設定される。
【０２２１】
以下のｓｔｅｐ７４〜７７は、入力映像信号の各フレームに対し繰り返し実行される処理ステップである。
【０２２２】
ウェーブレット変換ブロック２０１において、フィールド毎に、Ｙ，Ｃｂ，Ｃｒの各コンポーネントに対し”簡易”ウェーブレット変換が行われる（ｓｔｅｐ７４）。ウェーブレット変換としては９×７ウェーブレット変換が用いられる。また、ウェーブレット変換はデコンポジションレベル２まで行われるものとする。なお、本実施例では、Ｃｂ，Ｃｒコンポーネントについては、デコンポジションレベル１に限りウェーブレット変換つまりサブバンド分割は行われないことに注意されたい。
【０２２３】
基準量子化ステップ数を用いた各コンポーネントの各サブバンドの係数に対する線形量子化が量子化ブロック２０２で実行される（ｓｔｅｐ７５）。エントロピー符号化ブロック２０３において、各コンポーネントの各サブバンドの量子化後の係数に対し、設定されたトランケート数分の下位サブビットプレーンを除外してＭＱ符号化を行う（ｓｔｅｐ７６）。生成されたＭＱ符号はパケット生成ブロック２０４でパケットにまとめられ、符号形成ブロック２０５によりパケットを用いてコードストリームが形成される（ｓｔｅｐ７７）。
【０２２４】
図３０より分かるように、線形量子化に用いられる輝度についての基準量子化ステップ数には「HL＝LH＜HH」という大小関係がある。一方、図５４に示すようにデコンポジションレベル１の輝度についてのトランケート数には「LH＜HL＝HH」の大小関係がある。よって、線形量子化とトランケーションの効果を総合したデコンポジションレベル１の輝度についての”量子化の程度”の大小関係は「LH＜HL＜HH」となる。
【０２２５】
なお、予め図５４に示したトランケート数を格納したテーブルを制御ブロック２０６に用意しておき、このテーブルより読み出したトランケート数をエントロピー符号化ブロック２０３に対し設定する構成とすることも可能である。また、本実施例ではサブビットプレーン単位でのトランケーションを行ったが、ビットプレーン単位のトランケーションを行ってもよく、この場合はVisual  Weightからトランケート数への換算に前記式（ＢＰ）が用いられることなる。さらに、エントロピー符号化ブロック２０３ではトランケーションを行わず、パケット生成ブロック２０４においてトランケート数分の下位サブビットプレーンの符号を破棄するようにしてもよい。
【０２２６】
以上の説明から明らかなように、本実施例は請求項７に係る発明の一実施例に相当する
ものである。
【実施例９】
【０２２７】
本実施例では、４１１フォーマットのインターレース映像信号（ＹＣｂＣｒ値）をフレームベースで符号化する。
【０２２８】
図５５に本実施例における処理の概略フローを示す。まず、制御ブロック２０６において、フレームベースの符号化が選択される（ｓｔｅｐ８１）。したがって、圧縮処理のための各ブロック２００〜２０５はフレームベースの符号化のための動作をするように制御される。ただし、入力映像信号はＹＣｂＣｒ値であるため、ＤＣレベルシフト・色変換ブロック２００はＤＣレベルシフトも色変換も行わない。
【０２２９】
次に制御ブロック２０６の量子化ステップ数制御手段２０９は、基準量子化ステップ数テーブル２０８より基準量子化ステップ数（図３０）を読み出し、これを量子化ブロック２０２に対し設定する（ｓｔｅｐ８２）。本実施例では”簡易”ウェーブレット変換を用いるが、前記実施例６に関連して説明したように復号時に”通常”ウェーブレット逆変換を用いることを想定しているわけである。
【０２３０】
次に制御ブロック２０６は、サブバンド分割に”簡易”ウェーブレット変換（９×７ウェーブレット変換）を用い、また、サブビットプレーン単位のトランケーションを行うことを想定してトランケート数を設定する（ｓｔｅｐ８３）。すなわち、トランケート数制御手段２１０は、図２９の（９）に示した参照区間についてのＣＳＦの積分により算出されたVisual  WeightをVisualWeightテーブル２０７より読み出す。図２９の（９）に示した参照区間を図５６に再掲する。図５６から分かるように、デコンポジションレベル２（以上）に関し、色差のサブバンドについての参照区間を、輝度のサブバンドについての参照区間を同一としていることに注意すべきである。したがって、観察距離として１７００が選ばれるものとすると、図１４中の「411  frame」のVisual  WeightがVisualWeightテーブル２０７から読み出されることになる。そして、トランケート数制御手段２１０は、VisualWeightテーブル２０７より読み出したVisual  Weightを、前記式（ＳＢＰ）によりサブビットプレーン単位のトランケート数に換算する。ただし、式（ＳＢＰ）による算出値は実数であるため、これを四捨五入して整数化する。整数化後のトランケート数は図５７に示すような値となる。このトランケート数はエントロピー符号化ブロック２０３に設定される。
【０２３１】
以下のｓｔｅｐ８４〜８７は、入力映像信号の各フレームに対し繰り返し実行される処理ステップである。
【０２３２】
ウェーブレット変換ブロック２０１において、フレーム毎に、Ｙ，Ｃｂ，Ｃｒの各コンポーネントに対し”簡易”ウェーブレット変換が行われる（ｓｔｅｐ８４）。ウェーブレット変換としては９×７ウェーブレット変換が用いられる。また、ウェーブレット変換はデコンポジションレベル２まで行われるものとする。なお、本実施例では、Ｃｂ，Ｃｒコンポーネントについては、デコンポジションレベル１に限りウェーブレット変換つまりサブバンド分割は行われないことに注意されたい。
【０２３３】
基準量子化ステップ数を用いた各コンポーネントの各サブバンドの係数に対する線形量子化が量子化ブロック２０２で実行される（ｓｔｅｐ８５）。エントロピー符号化ブロック２０３において、各コンポーネントの各サブバンドの量子化後の係数に対し、設定されたトランケート数分の下位サブビットプレーンを除外してＭＱ符号化を行う（ｓｔｅｐ８６）。生成されたＭＱ符号はパケット生成ブロック２０４でパケットにまとめられ、符号形成ブロック２０５によりパケットを用いてコードストリームが形成される（ｓｔｅｐ８７）。
【０２３４】
図３０５より分かるように、線形量子化に用いられる輝度についての基準量子化ステップ数には「HL＝LH＜HH」という大小関係がある。また、図５７に示すようにデコンポジションレベル１の輝度についてのトランケート数にも「HL＝LH＜HH」の大小関係がある。よって、線形量子化とトランケーションの効果を総合したデコンポジションレベル１の輝度のサブバンドについての”量子化の程度”の大小関係は「HL＝LH＜HH」となることに注意すべきである。
【０２３５】
なお、予め図５７に示したトランケート数を格納したテーブルを制御ブロック２０６に用意しておき、このテーブルより読み出したトランケート数をエントロピー符号化ブロック２０３に供給する構成とすることも可能である。また、本実施例ではサブビットプレーン単位でのトランケーションを行ったが、ビットプレーン単位のトランケーションを行ってもよく、この場合はVisual  Weightからトランケート数への換算に前記式（ＢＰ）が用いられることなる。さらに、エントロピー符号化ブロック２０３ではトランケーションを行わず、パケット生成ブロック２０４においてランケート数分の下位サブビットプレーンの符号を破棄するようにしてもよい。
【０２３７】
（他の実施例）
以上の各実施例は、線形量子化の量子化ステップ数及び／又は係数もしくは符号のトランケーションのトランケート数に、理論的知見に基づいて、視覚周波数特性を的確に反映させる構成であった。
【０２３８】
本発明はさらに、ラグランジェレート制御を行う符号化装置にも適用することができる。これについて、図１７を参照し説明する。
【０２３９】
ラグランジェレート制御は符号化処理手段に含まれるパケット生成ブロック２０４で実行される。ラグランジェレート制御のためのディストーションスロープはエントロピー符号化ブロック２０３で算出される。制御ブロック２０６のスロープ制御手段２１１において、この算出されたディストーションスロープに、VisualWeightテーブル２０７より読み出したVisual  Weightの二乗を乗じた新たなディストーションスロープを算出し、これをパケット生成ブロック２０４におけるラグランジェレート制御に利用させることにより、本発明の理論的知見に基づいて視覚周波数特性を的確に反映させたラグランジェレート制御を行わせることが可能となる。VisualWeightテーブル２０７より読み出すべきVisual  Weightは、前記各実施例に述べたようにして選ばれる。
【０２４０】
さらに説明すれば、レート制御とは、単に総符号量を目的値に合わせるだけでなく、その符号量において最大のＰＳＮＲ（Peak  Signal−to−Noise  Ratio）又は最高の画質を得るために行われる符号の取捨選択作業であり、そのために例えばＪＰＥＧ２０００では、コードブロック毎かつビットプレーン(正確にはサブビットプレーン)毎に符号の価値の順序づけを行う。なお、コードブロックとはサブバンドを矩形に分割したものである。
【０２４１】
今、最大のＰＳＮＲを得ることを目的とした場合、各コードブロックの符号のＰＳＮＲ的な価値は
「その符号を破棄した場合の量子化誤差の増分/その符号量≡ディストーションスロー
プ」
で表すことができる。その符号を捨てても誤差が増えないのであれば、それは不要な符号である。その符号を維持した場合に、誤差が減り、かつ総符号量が増えないのであれば、それは維持すべき有用な符号である。上記ディストーションスロープの分母である符号長は、エントロピー符号化の際に実データとして得られる量である。また、分子である量子化誤差の増分とは、コードブロック単位での誤差の増分であり、通常これはコードブロック単位での二乗誤差(誤差の二乗和)の増分として算出される。
【０２４２】
前記ディストーションスロープに視覚周波数特性を反映させるためには、
「その符号が属するサブバンドのVisual  Weightの二乗×（その符号を破棄した場合の
量子化誤差の増分/その符号量）≡新たなディストーションスロープ」
を算出する。この際に用いるVisual  Weightとして、本発明の理論的見地に従って設定された参照周波数区間についてのＣＳＦを積分により求められたものを用いるわけである。この新たなディストーションスロープにより符号の価値付けを行い、その後に公知のラグランジェレート制御を行えば、視覚周波数特性を的確に反映させたラグランジェレート制御を実施できる。ラグランジェレート制御では、符号に価値の順序づけが付されるため、「価値の低い符号を破棄し、価値の高い符号を残す」作業を繰り返すことで、所望の符号量の符号を得ることができる。
【０２４３】
なお、ラグランジェレート制御自体は公知の技術であり、それに関する公知資料は「D.S.Taubman  and  M.W.Marcellin，”JPEG2000：Image  Compression  Fundamentals，Standards  and  Practice”（Kluwer出版，2002）」など数多い。よって、ラグランジェレート制御自体のこれ以上の詳細な説明は割愛する。
【０２４４】
なお、前記各実施例に係る符号化装置は、例えば図５８に示すようなＣＰＵ３０１、メモリ３０２、ハードディスク装置３０３などをバス３０４で接続した如き一般的な構成のコンピュータを利用し実現することができる。この実現のためには、図１７に示す各ブロックとしてコンピュータを機能させるプログラム、あるいは、各ブロックによる処理をコンピュータに実行させるプログラムを例えばハードディスク装置３０３にインストールしておき、このプログラムをメモリ３０２にロードし、ＣＰＵ３０１に実行させることになる。
【０２４５】
この場合、例えば次のような処理の流れとなる。ハードディスク装置３０３に記録されているインターレース映像信号の１フレームが、ＣＰＵ３０１からの命令によってメモリ３０２に読み込まれる。このフレームに対し、ＣＰＵ３０１により、前記実施例に関して説明したようなフィールドベース又はフレームベースの符号化処理が実行され、その結果であるコードストリームはメモリ３０２に書き込まれる。１フレーム分の符号化処理が終了すると、ＣＰＵ３０１からの命令により、そのコードストリームはハードディスク装置３０３に記録される。以上の処理が繰り返されることにより、ハードディスク装置３０３上の元のインターレース映像信号の全フレームが符号される。なお、フィールドベース／フレームベースの選択をユーザから指定する場合には、例えば、図５８に不図示のディスプレイ装置とマウス等のユーザ入力装置からなるグラフィカル・ユーザ・インターフェースを利用し、符号化しようとするインターレース映像信号のファイルの指定の際にフィールドベース／フレームベースの指定を行うようにすることができる。
【０２４６】
前記各実施例に対応した、このようなコンピュータのプログラムは請求項８〜１４に
係る発明の実施例に相当する。
【０２４７】
すなわち、前記実施例１に係る図３１に示した処理の工程をコンピュータに実行させる
プログラムは、請求項８に係る一実施例に相当する。前記実施例２に係る図３４に示した
処理の工程をコンピュータに実行させるプログラムは、請求項９に係る発明の一実施例に
相当する。前記実施例３に係る図３７に示した処理の工程をコンピュータに実行させるプ
ログラムは、請求項１０に係る発明の一実施例に相当する。前記実施例４に係る図４０に
示した処理の工程のコンピュータに実行させるプログラムは、請求項１１に係る発明の一
実施例に相当する。前記実施例５に係る図４３に示した処理の工程をコンピュータに実行
させるプログラムは、請求項１２に係る発明の一実施例に相当する。前記実施例７に係る
図４９に示した処理の工程をコンピュータに実行させるプログラムは、請求項１３に係る
発明の一実施例に相当する。前記実施例８に係る図５２に示した処理の工程をコンピュー
タに実行させるプログラムは、請求項１４に係る発明の一実施例に相当する。これら実施
例において、線形量子化又はトランケーションに代えてラグランジェレート制御に視覚周
波数特性値を反映させることも可能であることは前述の通りであり、かかる態様も請求項
８〜１４に係る発明に包含されるものである。
【０２４８】
また、このようなプログラムが記録された磁気ディスク、光ディスク、光磁気ディスク
、半導体記憶素子のようなコンピュータが読み取り可能な各種の情報記録（記憶）媒体は
請求項１５に係る発明の実施例に相当する。
【０２４９】
なお、コンピュータを利用して本発明を実施する場合において、一般的なＪＰＥＧ２０００符号化装置の機能（処理工程）をハードウェア又はプログラムとして実装し、それ以外の本発明に固有の機能（処理工程）を別のプログラムとして実装する形態とすることも当然に可能である。後者のプログラムとは、例えば制御ブロック２０６において、フィールドベース／フレームベースの選択、量子化ステップ数、トランケート数又はディストーションスロープの決定に関連する機能（処理工程）である。そして、このようなプログラム、及び同プログラムが記録されたコンピュータが読み取り可能な情報記録（記憶）媒体も本発明に包含されることは当然である。
【０２５０】
なお、符号化方式としてＪＰＥＧ２０００を用いる実施の形態について説明したが、符号化方式はＪＰＥＧ２０００のみに限定されるものではないことは、以上の説明から明らかである。
【図面の簡単な説明】
【０２５１】
【図１】フレームベースの符号化とフィールドベースの符号化を説明するための図である。
【図２】ＣＳＦテストチャートの例を示す図である。
【図３】ＣＳＦの例を示すグラフである。
【図４】２ＬＨサブバンドに関するＣＳＦの積分区間の例を示す図である。
【図５】ＣＳＦの区間毎の積分値を説明するための図である。
【図６】４２２フォーマットのインターレース映像信号をフレームベース符号化する場合における”通常”ウェーブレット変換の説明図である。
【図７】４２２フォーマットのインターレース映像信号をフィールドベース符号化する場合における”通常”ウェーブレット変換の説明図である。
【図８】４２２フォーマットのインターレース映像信号をフレームベース符号化する場合における”簡易”ウェーブレット変換の説明図である。
【図９】４２２フォーマットのインターレース映像信号をフィールドベース符号化する場合における”簡易”ウェーブレット変換の説明図である。
【図１０】４４４フォーマットのインターレース映像信号の符号化に”通常”ウェーブレット変換が用いられる場合のVisual  Weightを示す。
【図１１】４２２フォーマットのインターレース映像信号の符号化に”通常”ウェーブレット変換が用いられる場合のVisual  Weightを示す。
【図１２】４１１フォーマットのインターレース映像信号の符号化に”通常”ウェーブレット変換が用いられる場合のVisual  Weightを示す。
【図１３】４２２フォーマットのインターレース映像信号の符号化に”簡易”ウェーブレット変換が用いられる場合のVisual  Weightを示す。
【図１４】４１１フォーマットのインターレース映像信号の符号化に”簡易”ウェーブレット変換が用いられる場合のVisual  Weightを示す。
【図１５】本発明の理論的知見に基づいた量子化の程度の大小関係をまとめて示す。
【図１６】特許文献３に記載されたフィールドベース符号化のための量子化ステップ数の大小関係を示す。
【図１７】本発明の実施形態を説明するためのブロック図である。
【図１８】５×３ウェーブレット変換の説明のために用いられる原画像とその座標系を示す。
【図１９】垂直方向へのフィルタリング後の係数配列を示す。
【図２０】水平方向へのフィルタリング後の係数配列を示す。
【図２１】デインターリーブした係数配列を示す。
【図２２】２回のウェーブレット変換後のデインターリーブした係数配列を示す。
【図２３】デコンポジションレベルと解像度レベルの関係を示す図である。
【図２４】２ＬＬサブバンド係数の具体的な値を例示する図である。
【図２５】図２４に示した２ＬＬサブバンド係数の４枚のビットプレーンを示す図である。
【図２６】図２５に示した各ビットプレーンのサブビットプレーンを示す図である。
【図２７】ＪＰＥＧ２０００により生成される符号構造の例を示す。
【図２８】”通常”ウェーブレット変換が用いられる場合のVisual  Weightを算出するためのＣＳＦの参照区間を示す。
【図２９】”簡易”ウェーブレット変換が用いられる場合のVisual  Weightを算出するためのＣＳＦの参照区間を示す。
【図３０】基準量子化ステップ数を示す。
【図３１】本発明の実施例１における処理を説明するためのフローチャートである。
【図３２】実施例１において用いられるVisual  Weightを算出するためのＣＳＦの参照区間の関係を説明するための図である。
【図３３】実施例１において設定される量子化ステップ数を示す。
【図３４】本発明の実施例２における処理を説明するためのフローチャートである。
【図３５】実施例２において用いられるVisual  Weightを算出するためのＣＳＦの参照区間の関係を説明するための図である。
【図３６】実施例２において設定される量子化ステップ数を示す。
【図３７】本発明の実施例３における処理を説明するためのフローチャートである。
【図３８】実施例３において用いられるVisual  Weightを算出するためのＣＳＦの参照区間の関係を説明するための図である。
【図３９】実施例３において設定されるトランケート数を示す。
【図４０】本発明の実施例４における処理を説明するためのフローチャートである。
【図４１】実施例４において用いられるVisual  Weightを算出するためのＣＳＦの参照区間の関係を説明するための図である。
【図４２】実施例４において設定される量子化ステップ数を示す。
【図４３】本発明の実施例５における処理を説明するためのフローチャートである。
【図４４】実施例５において用いられるVisual  Weightを算出するためのＣＳＦの参照区間の関係を説明する図である。
【図４５】実施例５において設定される量子化ステップ数を示す。
【図４６】本発明の実施例６における処理を説明するためのフローチャートである。
【図４７】実施例６において用いられるVisual  Weightを算出するためのＣＳＦの参照区間の関係を説明するための図である。
【図４８】実施例６において設定されるトランケート数を示す。
【図４９】本発明の実施例７における処理を説明するためのフローチャートである。
【図５０】実施例７において用いられるVisual  Weightを算出するためのＣＳＦの参照区間の関係を説明する図である。
【図５１】実施例７において設定されるトランケート数を示す。
【図５２】本発明の実施例８における処理を説明するためのフローチャートである。
【図５３】実施例８において用いられるVisual  Weightを算出するためのＣＳＦの参照区間の関係を説明するための図である。
【図５４】実施例８において設定されるトランケート数を示す。
【図５５】本発明の実施例９における処理を説明するためのフローチャートである。
【図５６】実施例９において用いられるVisual  Weightを算出するためのＣＳＦの参照区間の関係を説明するための図である。
【図５７】実施例９において設定されるトランケート数を示す。
【図５８】コンピュータの構成例を示すブロック図である。
【符号の説明】
【０２５２】
２００    ＤＣレベルシフト・色変換ブロック
２０１    ウェーブレット変換ブロック
２０２    量子化ブロック
２０３    エントロピー符号化ブロック
２０４    パケット生成ブロック
２０５    符号形成ブロック
２０６    制御ブロック
２０７    VisualWeightテーブル
２０８    基準量子化ステップ数テーブル
２０９    量子化ステップ数制御手段
２１０    トランケート数制御手段
２１１    スロープ制御手段
【図１】
0004636547.tif 000009
【図２】
0004636547.tif 000010
【図３】
0004636547.tif 000011
【図４】
0004636547.tif 000012
【図５】
0004636547.tif 000013
【図６】
0004636547.tif 000014
【図７】
0004636547.tif 000015
【図８】
0004636547.tif 000016
【図９】
0004636547.tif 000017
【図１０】
0004636547.tif 000018
【図１１】
0004636547.tif 000019
【図１２】
0004636547.tif 000020
【図１３】
0004636547.tif 000021
【図１４】
0004636547.tif 000022
【図１５】
0004636547.tif 000023
【図１６】
0004636547.tif 000024
【図１７】
0004636547.tif 000025
【図１８】
0004636547.tif 000026
【図１９】
0004636547.tif 000027
【図２０】
0004636547.tif 000028
【図２１】
0004636547.tif 000029
【図２２】
0004636547.tif 000030
【図２３】
0004636547.tif 000031
【図２４】
0004636547.tif 000032
【図２５】
0004636547.tif 000033
【図２６】
0004636547.tif 000034
【図２７】
0004636547.tif 000035
【図２８】
0004636547.tif 000036
【図２９】
0004636547.tif 000037
【図３０】
0004636547.tif 000038
【図３１】
0004636547.tif 000039
【図３２】
0004636547.tif 000040
【図３３】
0004636547.tif 000041
【図３４】
0004636547.tif 000042
【図３５】
0004636547.tif 000043
【図３６】
0004636547.tif 000044
【図３７】
0004636547.tif 000045
【図３８】
0004636547.tif 000046
【図３９】
0004636547.tif 000047
【図４０】
0004636547.tif 000048
【図４１】
0004636547.tif 000049
【図４２】
0004636547.tif 000050
【図４３】
0004636547.tif 000051
【図４４】
0004636547.tif 000052
【図４５】
0004636547.tif 000053
【図４６】
0004636547.tif 000054
【図４７】
0004636547.tif 000055
【図４８】
0004636547.tif 000056
【図４９】
0004636547.tif 000057
【図５０】
0004636547.tif 000058
【図５１】
0004636547.tif 000059
【図５２】
0004636547.tif 000060
【図５３】
0004636547.tif 000061
【図５４】
0004636547.tif 000062
【図５５】
0004636547.tif 000063
【図５６】
0004636547.tif 000064
【図５７】
0004636547.tif 000065
【図５８】
0004636547.tif 000066