(57)【特許請求の範囲】
【請求項１】
ウェーブレット領域Distributed  Video  Coding  (DVC)を用いて動画像フレームを符号化する画像符号化器であって、
入力されたKeyフレームを符号化する符号化手段と、
入力されたWyner-Zivフレームをウェーブレット領域に変換するDWT(Discrete  Wavelet  Transform)と、
前記ウェーブレット領域の信号を量子化し、最低周波数帯域のサブバンドをビットプレーンに分割する量子化手段と、
復号器からのモード切替判定結果に基づいて、前記量子化手段からの出力のエントロピー符号化を行うエントロピー符号化手段と、
前記復号器からの前記モード切替判定結果に基づいて、前記量子化手段により取得した前記ビットプレーンについてWyner-Ziv符号化を行うSlepian-Wolf符号化手段と、
前記復号器から取得した前記モード判定結果に基づいて前記量子化手段からの出力を前記エントロピー符号化手段または、Slepian-Wolf符号化手段のいずれかに振り分けるデマルチプレクサと、を有し、
前記Slepian-Wolf符号化手段は、
前記復号器に、前記Wyner-Zivフレームの前向き予測、後ろ向き予測、両方向予測を離散ウェーブレット変換して得られた４つのサブバンドである補助情報がある場合に、矩形の小ブロックに分割された低周波数帯域の復号済みサブバンドLLｓとそれぞれの補助情報の相関を表す指標であるSAD(Sum  of  Absolute  Differences)を計算した結果、それらのSADの中で最も小さな値のSADが得られる補助情報を該復号器から取得して符号化を行う手段を含み、
前記デマルチプレクサは、
前記復号器から取得した、前記復号済みサブバンドLLsのMAD（Mean  Absolute  Difference）と前記SADが、MAD＜μSAD（但し、μは定数）の場合は、前記エントロピー符号化手段に符号化を指示し、MAD≧μSADの場合には、Wyner-Ziv符号化を行う前記Slepian-Wolf符号化手段に符号化を指示する手段を含む
ことを特徴とする画像符号化器。
【請求項２】
ウェーブレット領域DVCを用いて動画像フレームを復号化する画像復号化器であって、
入力されたKeyフレームを復号する復号手段と、
Wyner-Zivフレームについて、前向き予測、後ろ向き予測の両方向の予測による推定値をs回DWT変換することにより第sステージの最低周波数のサブバンドLLLである補助情報を生成する補助情報生成手段と、
前記Wyner-Zivフレームの最低周波数帯域のサブバンドを、前記補助情報を用いて再構成する再構成手段と、
前記Wyner-Zivフレームのウェーブレット第ｓステージにおける中高周波数帯域のサブバンドLHs，HLs，HHsを、それぞれ矩形の小ブロックに分割し、小ブロック毎にエントロピー符号化または、Wyner-Ziv符号化を行うかの判定を行い、モード判定結果を符号化器に送るモード判定手段と、
前記Wyner-Zivフレームのウェーブレット第ｓステージにおける中高周波数帯域のサブバンドLHs，HLs、高周波数帯域のサブバンドHHsのフレーム内符号化されたブロックをエントロピー復号化するエントロピー復号化手段と、
Wyner-Ziv符号化されたブロックをSlepian-Wolf復号化するSlepian-Wolf復号化手段と、を有し、
前記Slepian-Wolf復号化手段は、
前記Wyner-Zivフレームの前向き予測、後ろ向き予測、両方向予測を離散ウェーブレット変換して得られた４つのサブバンドである補助情報がある場合に、矩形の小ブロックに分割された低周波数帯域の復号済みサブバンドLLｓとそれぞれの補助情報の相関を表す指標であるSADを計算した結果、それらのSADの中で最も小さな値のSADが得られる補助情報を用いて復号化を行う手段を含み、
前記モード判定手段は、
前記復号済みサブバンドLLsのMADと前記SADが、MAD＜μSAD（但し、μは定数）の場合は、エントロピー符号化を行い、MAD≧μSADの場合には、Wyner-Ziv符号化を行うものと判定する手段を含む
ことを特徴とする画像復号化器。
【請求項３】
ウェーブレット領域DVCを用いて動画像フレームを符号化する画像符号化器であって、
入力されたKeyフレームを符号化する符号化手段と、
入力されたWyner-Zivフレームをウェーブレット領域に変換するDWT(Discrete  Wavelet  Transform)と、
前記ウェーブレット領域の信号を量子化し、最低周波数帯域のサブバンドをビットプレーンに分割する量子化手段と、
復号器からのモード切替判定結果に基づいて、前記量子化手段からの出力のエントロピー符号化を行うエントロピー符号化手段と、
前記復号器からの前記モード切替判定結果に基づいて、前記量子化手段により取得した前記ビットプレーンについてWyner-Ziv符号化を行うSlepian-Wolf符号化手段と、
前記復号器から取得した前記モード判定結果に基づいて前記量子化手段からの出力を前記エントロピー符号化手段または、Slepian-Wolf符号化手段のいずれかに振り分けるデマルチプレクサと、を有し、
前記Slepian-Wolf符号化手段は、
前記復号器に、前記Wyner-Zivフレームの前向き予測、後ろ向き予測、両方向予測を離散ウェーブレット変換して得られた４つのサブバンドである補助情報がある場合に、矩形の小ブロックに分割された低周波数帯域の復号済みサブバンドLLｓとそれぞれの補助情報のMSEを計算した結果、それらのMSEの中で最も小さなMSE（Mean  Square  Error）が得られる補助情報を該復号器から取得して符号化を行う手段を含み、
前記デマルチプレクサは、
前記復号器から取得した、低周波数帯域の復号済みサブバンドLLsの分散σと前記MSEが、σ＜μMSE（但し、μは定数）の場合は、前記エントロピー符号化手段に符号化を指示し、σ≧μMSEの場合には、Wyner-Ziv符号化を行う前記Slepian-Wolf符号化手段に符号化を指示する手段を含む
ことを特徴とする画像符号化器。
【請求項４】
ウェーブレット領域DVCを用いて動画像フレームを復号化する画像復号化器であって、
入力されたKeyフレームを復号する復号手段と、
Wyner-Zivフレームについて、前向き予測、後ろ向き予測の両方向の予測による推定値をs回DWT変換することにより第sステージの最低周波数のサブバンドLLLである補助情報を生成する補助情報生成手段と、
前記Wyner-Zivフレームの最低周波数帯域のサブバンドを、前記補助情報を用いて再構成する再構成手段と、
前記Wyner-Zivフレームのウェーブレット第ｓステージにおける中高周波数帯域のサブバンドLHs，HLs，高周波数帯域のサブバンドHHsを、それぞれ矩形の小ブロックに分割し、小ブロック毎にエントロピー符号化または、Wyner-Ziv符号化を行うかの判定を行い、モード判定結果を符号化器に送るモード判定手段と、
前記Wyner-Zivフレームのウェーブレット第ｓステージにおける中高周波数帯域のサブバンドLHs，HLs，高周波数帯域のサブバンドHHsのフレーム内符号化されたブロックをエントロピー復号化するエントロピー復号化手段と、
Wyner-Ziv符号化されたブロックをSlepian-Wolf復号化するSlepian-Wolf復号化手段と、を有し、
前記Slepian-Wolf復号化手段は、
前記Wyner-Zivフレームの前向き予測、後ろ向き予測、両方向予測を離散ウェーブレット変換して得られた４つのサブバンドである補助情報がある場合に、矩形の小ブロックに分割された低周波数帯域の復号済みサブバンドLLｓとそれぞれの補助情報のMSEを計算した結果、それらのMSEの中で最も小さなMSEが得られる補助情報を用いて復号化を行う手段を含み、
前記モード判定手段は、
前記低周波数帯域の復号済みサブバンドLLsの分散σと前記MSEが、σ＜μMSE（但し、μは定数）の場合は、エントロピー符号化を行い、σ≧μMSEの場合には、Wyner-Ziv符号化を行うものと判定する手段を含む
ことを特徴とする画像復号化器。
【請求項５】
ウェーブレット領域DVCを用いて動画像フレームを符号化する画像符号化方法であって、
符号化手段が、入力されたKeyフレームを符号化する符号化ステップと、
DWTが、入力されたWyner-Zivフレームをウェーブレット領域に変換するウェーブレット変換ステップと、
量子化手段が、前記ウェーブレット領域の信号を量子化し、最低周波数帯域のサブバンドをビットプレーンに分割する量子化ステップと、
デマルチプレクサが、前記復号器からの前記モード判定結果に基づいて前記量子化手段からの出力を前記エントロピー符号化手段または、Slepian-Wolf符号化手段のいずれかに振り分ける振り分けステップと、
エントロピー符号化手段が、前記量子化手段からの出力のエントロピー符号化を行うエントロピー符号化ステップと、
Slepian-Wolf符号化手段が、前記復号器からの前記モード切替判定結果に基づいて、前記量子化手段により取得した前記ビットプレーンについてWyner-Ziv符号化を行うSlepian-Wolf符号化ステップと、を行い、
前記振り分けステップにおいて、
前記復号器に、前記Wyner-Zivフレームの前向き予測、後ろ向き予測、両方向予測を離散ウェーブレット変換して得られた４つのサブバンドである補助情報がある場合に、矩形の小ブロックに分割された低周波数帯域の復号済みサブバンドLLｓとそれぞれの補助情報の相関を表す指標であるSADを取得し、該復号済みサブバンドLLのMADと該SADが、MAD＜μSAD（但し、μは定数）の場合は、前記エントロピー符号化手段に符号化を指示し、MAD≧μSADの場合には、Wyner-Ziv符号化を行う前記Slepian-Wolf符号化手段に符号化を指示し、
前記Slepian-Wolf符号化ステップにおいて、
前記SADの中で最も小さな値のSADが得られる補助情報を該復号器から取得して符号化を行う
ことを特徴とする画像符号化方法。
【請求項６】
ウェーブレット領域DVCを用いて動画像フレームを復号化する画像復号化方法であって、
復号手段が、入力されたKeyフレームを復号する復号ステップと、
補助情報生成手段が、Wyner-Zivフレームについて、前向き予測、後ろ向き予測の両方向の予測による推定値をs回DWT変換することにより第sステージの最低周波数のサブバンドLLLである補助情報を生成する補助情報生成ステップと、
再構成手段が、前記Wyner-Zivフレームの最低周波数帯域のサブバンドを、前記補助情報を用いて再構成する再構成ステップと、
モード判定手段が、前記Wyner-Zivフレームのウェーブレット第ｓステージにおける中高周波数帯域のサブバンドLHs，HLs、高周波数帯域のサブバンドHHsを、それぞれ矩形の小ブロックに分割し、小ブロック毎にエントロピー符号化または、Wyner-Ziv符号化を行うかの判定を行い、モード判定結果を符号化器に送るモード判定ステップと、
エントロピー復号化手段が、前記Wyner-Zivフレームのウェーブレット第ｓステージにおける中高周波数帯域のサブバンドLHs，HLs、高周波数帯域のサブバンドHHsのフレーム内符号化されたブロックをエントロピー復号化するエントロピー復号化ステップと、
Slepian-Wolf復号化手段が、Wyner-Ziv符号化されたブロックをSlepian-Wolf復号化するSlepian-Wolf復号化ステップと、を行い、
前記モード判定ステップにおいて、
前記Wyner-Zivフレームの前向き予測、後ろ向き予測、両方向予測を離散ウェーブレット変換して得られた４つのサブバンドである補助情報がある場合に、矩形の小ブロックに分割された低周波数帯域の復号済みサブバンドLLｓとそれぞれの補助情報の相関を表す指標であるSADを取得し、該復号済みサブバンドLLsのMADと該SADが、MAD＜μSAD（但し、μは定数）の場合は、エントロピー符号化を行い、MAD≧μSADの場合には、Wyner-Ziv符号化を行うものと判定し、
前記Slepian-Wolf復号化ステップにおいて、
前記SADの中で最も小さな値のSADが得られる補助情報を用いて復号化を行う、
ことを特徴とする画像復号化方法。
【請求項７】
ウェーブレット領域DVCを用いて動画像フレームを符号化する画像符号化方法であって、
符号化手段が、入力されたKeyフレームを符号化する符号化ステップと、
DWTが、入力されたWyner-Zivフレームをウェーブレット領域に変換するウェーブレット変換ステップと、
量子化手段が、前記ウェーブレット領域の信号を量子化し、最低周波数帯域のサブバンドをビットプレーンに分割する量子化ステップと、
エントロピー符号化手段が、復号器からのモード切替判定結果に基づいて、前記量子化手段からの出力のエントロピー符号化を行うエントロピー符号化ステップと、
Slepian-Wolf復号化手段が、前記復号器からの前記モード切替判定結果に基づいて、前記量子化手段により取得した前記ビットプレーンについてWyner-Ziv符号化を行うSlepian-Wolf符号化ステップと、
デマルチプレクサが、前記復号器から取得した前記モード判定結果に基づいて前記量子化手段からの出力を前記エントロピー符号化手段または、Slepian-Wolf符号化手段のいずれかに振り分ける振り分けステップと、を行い、
前記振り分けステップにおいて、
前記復号器に、前記Wyner-Zivフレームの前向き予測、後ろ向き予測、両方向予測を離散ウェーブレット変換して得られた４つのサブバンドである補助情報がある場合に、該復号器から矩形の小ブロックに分割された低周波数帯域の復号済みサブバンドLLｓとそれぞれの補助情報のMSEを計算した結果を取得し、該復号済みサブバンドLLsの分散σと該MSEが、σ＜μMSE（但し、μは定数）の場合は、前記エントロピー符号化手段に符号化を指示し、σ≧μMSEの場合には、Wyner-Ziv符号化を行う前記Slepian-Wolf符号化手段に符号化を指示し、
前記Slepian-Wolf符号化ステップにおいて、
前記MSEの中で最も小さなMSE（Mean  Square  Error）が得られる補助情報を該復号器から取得して符号化を行う、
ことを特徴とする画像符号化方法。
【請求項８】
ウェーブレット領域DVCを用いて動画像フレームを復号化する画像復号化方法であって、
復号手段が、入力されたKeyフレームを復号する復号ステップと、
補助情報生成手段が、Wyner-Zivフレームについて、前向き予測、後ろ向き予測の両方向の予測による推定値をs回DWT変換することにより第sステージの最低周波数のサブバンドLLLである補助情報を生成する補助情報生成ステップと、
再構成手段が、前記Wyner-Zivフレームの最低周波数帯域のサブバンドを、前記補助情報を用いて再構成する再構成ステップと、
モード判定手段が、前記Wyner-Zivフレームのウェーブレット第ｓステージにおける中高周波数帯域のサブバンドLHs，HLs、高周波数帯域のサブバンドHHsを、それぞれ矩形の小ブロックに分割し、小ブロック毎にエントロピー符号化または、Wyner-Ziv符号化を行うかの判定を行い、モード判定結果を符号化器に送るモード判定ステップと、
エントロピー復号化手段が、前記Wyner-Zivフレームのウェーブレット第ｓステージにおける中高周波数帯域のサブバンドLHs，HLs、高周波数帯域のサブバンドHHsのフレーム内符号化されたブロックをエントロピー復号化するエントロピー復号化ステップと、
Slepian-Wolf復号化手段が、Wyner-Ziv符号化されたブロックをSlepian-Wolf復号化するSlepian-Wolf復号化ステップと、を行い、
前記モード判定ステップにおいて、
前記Wyner-Zivフレームの前向き予測、後ろ向き予測、両方向予測を離散ウェーブレット変換して得られた４つのサブバンドである補助情報がある場合に、矩形の小ブロックに分割された低周波数帯域の復号済みサブバンドLLｓとそれぞれの補助情報のMSEを計算した結果を取得し、該復号済みサブバンドLLsの分散σと該MSEが、σ＜μMSE（但し、μは定数）の場合は、エントロピー符号化を行い、σ≧μMSEの場合には、Wyner-Ziv符号化を行うものと判定し、
前記Slepian-Wolf復号化ステップにおいて、
前記MSEの中で最も小さなMSEが得られる補助情報を用いて復号化を行う、
ことを特徴とする画像復号化方法。
【請求項９】
請求項１または３記載の符号化器を構成する各手段としてコンピュータを機能させるための画像符号化プログラム。
【請求項１０】
請求項２または４記載の復号器を構成する手段としてコンピュータを機能させるための画像復号化プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像符号化器及び画像復号化器及び画像符号化方法及び画像復号化方法及びプログラムに係り、特に、軽量符号化や多視点画像の符号化、すなわち、互いを独立に符号化する必要のあるシステム、及び、無線やインターネット等の損失が発生するネットワーク通信システムの画像符号化器及び画像復号化器及び画像符号化方法及び画像復号化方法及びプログラムに関する。
【背景技術】
【０００２】
近年、アナログ信号システムからディジタル信号システムへと移行しており、ディジタル画像の需要が増加している。しかし、ディジタル画像はそのままではデータ量が膨大になることから、画像を効率的に圧縮する符号化技術が重要なものになっており、国際標準アルゴリズムが広く用いられている。例としてティジタルＴＶにはMPEG-2が用いられており、Blu-ray Discの規格にはH.264/AVCが用いられている。これらの画像圧縮アルゴリズムの具体的な圧縮アルゴリズムは、まず、エンコーダ側では動き補償（ＭＣ）が行われ、時間的な信号の冗長性が除去され、その後、離散コサイン変換（ＤＣＴ）等の周波数変換により空間的な信号の冗長性が除去された後に、エントロピー符号化が行われる。デコーダ側は真逆の処理を行うことにより復号される。
【０００３】
一方、近年、Distributed Video Coding (DVC)と呼ばれる新しいパラダイムの映像符号化方式が注目されている。DVCは、Distributed Source Coding (DSC)の原理をビデオ符号化に応用したものである。DSCは、図８に示すように、複数の相関のある情報源に対して互いを観測することなく分散して符号化し、受信側ではそれらの各データを一括して復号するシステムである。DSCはもともと、１９７０年代にSlepianとWolfにより確立されたSlepian-Wolf定理（例えば、非特許文献１参照）及び、WynerとZivにより確立されたWyner-Ziv定理（例えば、非特許文献２参照）に基づいている。Slepian-Wolf定理は、２つの情報源を分散符号化した場合における無歪状態で復号できる許容圧縮レート領域を与えたものであり、Wyner-Ziv定理は２つの情報源において１つの情報源に歪が発生した場合についてレート歪領域を与えたものである。これらの定理により、分散して符号化する場合の圧縮限界は、Slepian-Wolf定理及びWyner-Ziv定理の条件の範囲内にてではあるが、分散しなかった場合と等しいことが証明されている。近年では、Turbo符号を用いてSlepian-Wolf定理やWyner-Ziv定理で与えられた限界にどの程度迫れるかが研究されている（例えば、非特許文献３、非特許文献４参照）。
【０００４】
DSCの理論を映像符号化に応用したDVCは、その分散性から、軽量エンコーダ、ロバスト符号化及び多視点映像符号化などへの応用が期待されている。例えば、近年標準化された動画像の圧縮アルゴリズムは、圧縮効率こそ高くはなっているが、それに伴い演算量も膨大になっている。H.264では大量の演算処理が必要であり、MPEG-2に比べて演算処理量は５〜１０倍程度増加することが知られている。この大量の演算処理は複雑なフレーム間予測や可変マクロブックサイズの最適化等に必要な演算であり、エンコーダ側において必要となる。これに対して、たとえデコーダ側の演算処理は増えたとしてもエンコーダ側の処理が少ない方が好ましいという要求がセンサカメラや携帯電話の動画処理などのアプリケーションでは考えられる。DVCでは、エンコーダ側の高負荷演算処理をデコーダ側に移行した符号化方式であり、軽量エンコーダが実現できる。
【０００５】
従来、MPEGに代表される符号化方式では予測誤差信号を情報源符号器を用いて圧縮／伸張していたが、DVCではKeyフレームからの補足情報を作成することによりWyner-Zivフレームの予測信号を生成し、その予測誤差信号をある種のエラーと捉え、通信路符号器でエラーを訂正することで圧縮／伸張を行う。しかし、Keyフレームからの補助情報の作成において、補足情報が外れた場合にパリティビットの再送等を行う必要があり、符号化効率も低下する。したがって、DVCにおいて、符号化効率を向上させるためには、予測精度の高い補助情報を作成することが重要となる。
【０００６】
DVCの実際の構成方法は種々あげられるが、図９に示すように、Wyner-Zivフレームの符号化及び復号にターボ符号を用いた方法が提案されている（例えば、非特許文献５参照）。さらに、符号化効率を改善するために、上記の非特許文献５の技術における画素領域DVCを拡張した変換領域DVCが提案されている（例えば、非特許文献６参照）。この変換領域DVCでは、DCTを用いることより信号の空間的冗長性を除去し、画素領域DVCと比較して符号化効率を改善している。
【０００７】
また、DCTに代わりウェーブレット変換を用いたウェーブレット領域DVCも提案されている（例えば、非特許文献７参照）。ウェーブレット領域DVCは、画素領域DVCと比較して符号化効率に優れることが報告されており、DCT領域DVCにはない解像度スケーラビリティやＳＮＲスケーラビリティといった優れた特徴も有している。
【非特許文献１】D. Slepian and J. K. Wolf, "Noiseless coding of correlated information sources," IEEE Trans. Inform. Theory, vol. 19, no.4, pp. 471-480, 1973）
【非特許文献２】A. Wyner and J. Ziv, "The rate-distortion function for source coding with side information at the decoder," IEEE Trans. Inform. Theory, vol. 22, no. 1, pp1-19, 1976)
【非特許文献３】J. Bajcsy and P. Mitran, "Coding for the Slepian - Wolf problem with turbo codes," in Proc. IEEE Global Communications Conf., vol.2, 2001, pp.1400-1404.
【非特許文献４】A. Aaron and B. Girod, "Compression with side information using turbo codes," in Proc. IEEE Data Compression Conf., 2002, pp. 252-2561
【非特許文献５】B. Girod, A. Aaron, S. Rane and D. Rebollo-Menedero, "Distributed video coding," Proceedings of the IEEE, Special Issue on Video Coding and Delivery, vol. 93, no.1, pp.71-83, January 2005.
【非特許文献６】A. Aaron, S. Rane, E. Setton and B. Girod, "Transform-domain Wyner-Ziv codec for video," VCIP-2004, San Jose, CA, Jan. 2004.
【非特許文献７】Y. Tonomura, T. Nakachi and T. Fujii, "Distributed video coding using JPEG 2000 coding scheme," IEICE Trans. on Fundamentals, E90-A, pp. 581-589, March 2007.
【発明の開示】
【発明が解決しようとする課題】
【０００８】
上記で述べたようにDVCは多視点映像符号化やＩＰネットワーク等のベストエフォート型の通信システムに対する符号化として効果が期待されている。しかし、DVCはMPEGなどエンコーダ側で冗長性を除去する方式に比べるとまだまだ符号化効率が悪いという問題がある。
【０００９】
本発明は、上記の点に鑑みなされたもので、高い符号化効率を実現可能な画像符号化器及び画像復号化器及び画像符号化方法及び画像復号化方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
図１は、本発明の原理構成図である。
【００１１】
本発明（請求項１）は、ウェーブレット領域Distributed  Video  Coding  (DVC)を用いて動画像フレームを符号化する画像符号化器であって、
入力されたKeyフレームを符号化する符号化手段３５と、
入力されたWyner-Zivフレームをウェーブレット領域に変換するDWT１１０と、
ウェーブレット領域の信号を量子化し、最低周波数帯域のサブバンドをビットプレーンに分割する量子化手段１２０と、
復号器２００からのモード切替判定結果に基づいて、量子化手段１２０からの出力のエントロピー符号化を行うエントロピー符号化手段１５０と、
復号器か２００らのモード切替判定結果に基づいて、量子化手段１２０により取得したビットプレーンについてWyner-Ziv符号化を行うSlepian-Wolf符号化手段１４０と、
復号器２００から取得したモード判定結果に基づいて量子化手段１２０からの出力をエントロピー符号化手段１５０または、Slepian-Wolf符号化手段１４０のいずれかに振り分けるデマルチプレクサ１３０と、を有し、
Slepian-Wolf符号化手段１４０は、
復号器に、Wyner-Zivフレームの前向き予測、後ろ向き予測、両方向予測を離散ウェーブレット変換して得られた４つのサブバンドである補助情報がある場合に、矩形の小ブロックに分割された低周波数帯域の復号済みサブバンドLLｓとそれぞれの補助情報の相関を表す指標であるSAD(Sum  of  Absolute  Differences)を計算した結果、それらのSADの中で最も小さな値のSADが得られる補助情報を該復号器から取得して符号化を行う手段を含み、
デマルチプレクサ１３０は、
復号器２００から取得した、復号済みサブバンドLLsのMAD（Mean  Absolute  Difference）とSADが、MAD＜μSAD（但し、μは定数）の場合は、エントロピー符号化手段１５０に符号化を指示し、MAD≧μSADの場合には、Wyner-Ziv符号化を行うSlepian-Wolf符号化手段１４０に符号化を指示する手段を含む。
【００１３】
本発明（請求項２）は、ウェーブレット領域DVCを用いて動画像フレームを復号化する画像復号化器であって、
入力されたKeyフレームを復号する復号手段４４と、
Wyner-Zivフレームについて、前向き予測、後ろ向き予測の両方向の予測による推定値をs回DWT変換することにより第sステージの最低周波数のサブバンドLLLである補助情報を生成する補助情報生成手段２１０と、
Wyner-Zivフレームの最低周波数帯域のサブバンドを、補助情報を用いて再構成する再構成手段２６０と、
Wyner-Zivフレームのウェーブレット第ｓステージにおける中高周波数帯域のサブバンドLHs，HLs，HHsを、それぞれ矩形の小ブロックに分割し、小ブロック毎にエントロピー符号化または、Wyner-Ziv符号化を行うかの判定を行い、モード判定結果を符号化器に送るモード判定手段２７０と、
Wyner-Zivフレームのウェーブレット第ｓステージにおける中高周波数帯域のサブバンドLHs，HLs、高周波数帯域のサブバンドHHsのフレーム内符号化されたブロックをエントロピー復号化するエントロピー復号化手段２９０と、
Wyner-Ziv符号化されたブロックをSlepian-Wolf復号化するSlepian-Wolf復号化手段２４０と、を有し、
Slepian-Wolf復号化手段２４０は、
Wyner-Zivフレームの前向き予測、後ろ向き予測、両方向予測を離散ウェーブレット変換して得られた４つのサブバンドである補助情報がある場合に、矩形の小ブロックに分割された低周波数帯域の復号済みサブバンドLLｓとそれぞれの補助情報の相関を表す指標であるSADを計算した結果、それらのSADの中で最も小さな値のSADが得られる補助情報を用いて復号化を行う手段を含み、
モード判定手段２７０は、
復号済みサブバンドLLsのMADとSADが、MAD＜μSAD（但し、μは定数）の場合は、エントロピー符号化を行い、MAD≧μSADの場合には、Wyner-Ziv符号化を行うものと判定する手段を含む。
【００１５】
本発明（請求項３）は、ウェーブレット領域DVCを用いて動画像フレームを符号化する画像符号化器であって、
入力されたKeyフレームを符号化する符号化手段と、
入力されたWyner-Zivフレームをウェーブレット領域に変換するDWT(Discrete  Wavelet  Transform)と、
ウェーブレット領域の信号を量子化し、最低周波数帯域のサブバンドをビットプレーンに分割する量子化手段と、
復号器からのモード切替判定結果に基づいて、量子化手段からの出力のエントロピー符号化を行うエントロピー符号化手段と、
復号器からのモード切替判定結果に基づいて、量子化手段により取得したビットプレーンについてWyner-Ziv符号化を行うSlepian-Wolf符号化手段と、
復号器から取得したモード判定結果に基づいて量子化手段からの出力をエントロピー符号化手段または、Slepian-Wolf符号化手段のいずれかに振り分けるデマルチプレクサと、を有し、
Slepian-Wolf符号化手段は、
復号器に、Wyner-Zivフレームの前向き予測、後ろ向き予測、両方向予測を離散ウェーブレット変換して得られた４つのサブバンドである補助情報がある場合に、矩形の小ブロックに分割された低周波数帯域の復号済みサブバンドLLｓとそれぞれの補助情報のMSEを計算した結果、それらのMSEの中で最も小さなMSE（Mean  Square  Error）が得られる補助情報を該復号器から取得して符号化を行う手段を含み、
デマルチプレクサは、
復号器から取得した、低周波数帯域の復号済みサブバンドLLsの分散σとMSEが、σ＜μMSE（但し、μは定数）の場合は、エントロピー符号化手段に符号化を指示し、σ≧μMSEの場合には、Wyner-Ziv符号化を行うSlepian-Wolf符号化手段に符号化を指示する手段を含む。
【００１７】
本発明（請求項４）は、ウェーブレット領域DVCを用いて動画像フレームを復号化する画像復号化器であって、
入力されたKeyフレームを復号する復号手段と、
Wyner-Zivフレームについて、前向き予測、後ろ向き予測の両方向の予測による推定値をs回DWT変換することにより第sステージの最低周波数のサブバンドLLLである補助情報を生成する補助情報生成手段と、
Wyner-Zivフレームの最低周波数帯域のサブバンドを、補助情報を用いて再構成する再構成手段と、
Wyner-Zivフレームのウェーブレット第ｓステージにおける中高周波数帯域のサブバンドLHs，HLs，高周波数帯域のサブバンドHHsを、それぞれ矩形の小ブロックに分割し、小ブロック毎にエントロピー符号化または、Wyner-Ziv符号化を行うかの判定を行い、モード判定結果を符号化器に送るモード判定手段と、
Wyner-Zivフレームのウェーブレット第ｓステージにおける中高周波数帯域のサブバンドLHs，HLs，高周波数帯域のサブバンドHHsのフレーム内符号化されたブロックをエントロピー復号化するエントロピー復号化手段と、
Wyner-Ziv符号化されたブロックをSlepian-Wolf復号化するSlepian-Wolf復号化手段と、を有し、
Slepian-Wolf復号化手段は、
Wyner-Zivフレームの前向き予測、後ろ向き予測、両方向予測を離散ウェーブレット変換して得られた４つのサブバンドである補助情報がある場合に、矩形の小ブロックに分割された低周波数帯域の復号済みサブバンドLLｓとそれぞれの補助情報のMSEを計算した結果、それらのMSEの中で最も小さなMSEが得られる補助情報を用いて復号化を行う手段を含み、
モード判定手段は、
低周波数帯域の復号済みサブバンドLLsの分散σとMSEが、σ＜μMSE（但し、μは定数）の場合は、エントロピー符号化を行い、σ≧μMSEの場合には、Wyner-Ziv符号化を行うものと判定する手段を含む。
【００１９】
図２は、本発明の原理を説明するための図である。
【００２０】
本発明（請求項５）は、ウェーブレット領域DVCを用いて動画像フレームを符号化する画像符号化方法であって、
符号化手段が、入力されたKeyフレームを符号化する符号化ステップ（ステップ１）と、
DWTが、入力されたWyner-Zivフレームをウェーブレット領域に変換するウェーブレット変換ステップ（ステップ２）と、
量子化手段が、ウェーブレット領域の信号を量子化し、最低周波数帯域のサブバンドをビットプレーンに分割する量子化ステップ（ステップ３）と、
デマルチプレクサが、復号器からのモード判定結果に基づいて量子化手段からの出力をエントロピー符号化手段または、Slepian-Wolf符号化手段のいずれかに振り分ける振り分けステップ（ステップ4、ステップ５）と、
エントロピー符号化手段が、量子化手段からの出力のエントロピー符号化を行うエントロピー符号化ステップ（ステップ６）と、
Slepian-Wolf符号化手段が、復号器からのモード切替判定結果に基づいて、量子化手段により取得したビットプレーンについてWyner-Ziv符号化を行うSlepian-Wolf符号化ステップ（ステップ７）と、を行い、
振り分けステップ（ステップ５）において、
復号器に、Wyner-Zivフレームの前向き予測、後ろ向き予測、両方向予測を離散ウェーブレット変換して得られた４つのサブバンドである補助情報がある場合に、矩形の小ブロックに分割された低周波数帯域の復号済みサブバンドLLｓとそれぞれの補助情報の相関を表す指標であるSADを取得し、該復号済みサブバンドLLのMADと該SADが、MAD＜μSAD（但し、μは定数）の場合は、エントロピー符号化手段に符号化を指示し、MAD≧μSADの場合には、Wyner-Ziv符号化を行うSlepian-Wolf符号化手段に符号化を指示し、
Slepian-Wolf符号化ステップ（ステップ７）において、
SADの中で最も小さな値のSADが得られる補助情報を該復号器から取得して符号化を行う。
【００２２】
本発明（請求項６）は、ウェーブレット領域DVCを用いて動画像フレームを復号化する画像復号化方法であって、
復号手段が、入力されたKeyフレームを復号する復号ステップと、
補助情報生成手段が、Wyner-Zivフレームについて、前向き予測、後ろ向き予測の両方向の予測による推定値をs回DWT変換することにより第sステージの最低周波数のサブバンドLLLである補助情報を生成する補助情報生成ステップと、
再構成手段が、Wyner-Zivフレームの最低周波数帯域のサブバンドを、補助情報を用いて再構成する再構成ステップと、
モード判定手段が、Wyner-Zivフレームのウェーブレット第ｓステージにおける中高周波数帯域のサブバンドLHs，HLs、高周波数帯域のサブバンドHHsを、それぞれ矩形の小ブロックに分割し、小ブロック毎にエントロピー符号化または、Wyner-Ziv符号化を行うかの判定を行い、モード判定結果を符号化器に送るモード判定ステップと、
エントロピー復号化手段が、Wyner-Zivフレームのウェーブレット第ｓステージにおける中高周波数帯域のサブバンドLHs，HLs、高周波数帯域のサブバンドHHsのフレーム内符号化されたブロックをエントロピー復号化するエントロピー復号化ステップと、
Slepian-Wolf復号化手段が、Wyner-Ziv符号化されたブロックをSlepian-Wolf復号化するSlepian-Wolf復号化ステップと、を行い、
モード判定ステップにおいて、
Wyner-Zivフレームの前向き予測、後ろ向き予測、両方向予測を離散ウェーブレット変換して得られた４つのサブバンドである補助情報がある場合に、矩形の小ブロックに分割された低周波数帯域の復号済みサブバンドLLｓとそれぞれの補助情報の相関を表す指標であるSADを取得し、該復号済みサブバンドLLsのMADと該SADが、MAD＜μSAD（但し、μは定数）の場合は、エントロピー符号化を行い、MAD≧μSADの場合には、Wyner-Ziv符号化を行うものと判定し、
Slepian-Wolf復号化ステップにおいて、
SADの中で最も小さな値のSADが得られる補助情報を用いて復号化を行う。
【００２４】
本発明（請求項７）は、ウェーブレット領域DVCを用いて動画像フレームを符号化する画像符号化方法であって、
符号化手段が、入力されたKeyフレームを符号化する符号化ステップと、
DWTが、入力されたWyner-Zivフレームをウェーブレット領域に変換するウェーブレット変換ステップと、
量子化手段が、ウェーブレット領域の信号を量子化し、最低周波数帯域のサブバンドをビットプレーンに分割する量子化ステップと、
エントロピー符号化手段が、復号器からのモード切替判定結果に基づいて、量子化手段からの出力のエントロピー符号化を行うエントロピー符号化ステップと、
Slepian-Wolf復号化手段が、復号器からのモード切替判定結果に基づいて、量子化手段により取得したビットプレーンについてWyner-Ziv符号化を行うSlepian-Wolf符号化ステップと、
デマルチプレクサが、復号器から取得したモード判定結果に基づいて量子化手段からの出力をエントロピー符号化手段または、Slepian-Wolf符号化手段のいずれかに振り分ける振り分けステップと、を行い、
振り分けステップにおいて、
復号器に、Wyner-Zivフレームの前向き予測、後ろ向き予測、両方向予測を離散ウェーブレット変換して得られた４つのサブバンドである補助情報がある場合に、該復号器から矩形の小ブロックに分割された低周波数帯域の復号済みサブバンドLLｓとそれぞれの補助情報のMSEを計算した結果を取得し、該復号済みサブバンドLLsの分散σと該MSEが、σ＜μMSE（但し、μは定数）の場合は、エントロピー符号化手段に符号化を指示し、σ≧μMSEの場合には、Wyner-Ziv符号化を行うSlepian-Wolf符号化手段に符号化を指示し、
Slepian-Wolf符号化ステップにおいて、
MSEの中で最も小さなMSE（Mean  Square  Error）が得られる補助情報を該復号器から取得して符号化を行う。
【００２６】
本発明（請求項８）は、ウェーブレット領域DVCを用いて動画像フレームを復号化する画像復号化方法であって、
復号手段が、入力されたKeyフレームを復号する復号ステップと、
補助情報生成手段が、Wyner-Zivフレームについて、前向き予測、後ろ向き予測の両方向の予測による推定値をs回DWT変換することにより第sステージの最低周波数のサブバンドLLLである補助情報を生成する補助情報生成ステップと、
再構成手段が、Wyner-Zivフレームの最低周波数帯域のサブバンドを、補助情報を用いて再構成する再構成ステップと、
モード判定手段が、Wyner-Zivフレームのウェーブレット第ｓステージにおける中高周波数帯域のサブバンドLHs，HLs、高周波数帯域のサブバンドHHsを、それぞれ矩形の小ブロックに分割し、小ブロック毎にエントロピー符号化または、Wyner-Ziv符号化を行うかの判定を行い、モード判定結果を符号化器に送るモード判定ステップと、
エントロピー復号化手段が、Wyner-Zivフレームのウェーブレット第ｓステージにおける中高周波数帯域のサブバンドLHs，HLs、高周波数帯域のサブバンドHHsのフレーム内符号化されたブロックをエントロピー復号化するエントロピー復号化ステップと、
Slepian-Wolf復号化手段が、Wyner-Ziv符号化されたブロックをSlepian-Wolf復号化するSlepian-Wolf復号化ステップと、を行い、
モード判定ステップにおいて、
Wyner-Zivフレームの前向き予測、後ろ向き予測、両方向予測を離散ウェーブレット変換して得られた４つのサブバンドである補助情報がある場合に、矩形の小ブロックに分割された低周波数帯域の復号済みサブバンドLLｓとそれぞれの補助情報のMSEを計算した結果を取得し、該復号済みサブバンドLLsの分散σと該MSEが、σ＜μMSE（但し、μは定数）の場合は、エントロピー符号化を行い、σ≧μMSEの場合には、Wyner-Ziv符号化を行うものと判定し、
Slepian-Wolf復号化ステップにおいて、
MSEの中で最も小さなMSEが得られる補助情報を用いて復号化を行う、
【００２８】
本発明（請求項９）は、請求項１または３記載の符号化器を構成する各手段としてコンピュータを機能させるための画像符号化プログラムである。
【００２９】
本発明（請求項１０）は、請求項２または４記載の復号器を構成する手段としてコンピュータを機能させるための画像復号化プログラムである。
【発明の効果】
【００３０】
上述のように、本発明によれば、複数の相関がある情報源（多視点画像等）に対して互いの情報源を分散符号化し、受信側で一括復号するDistributed Video Coding(DVC)において、映像フレームを構成するKeyフレームとWyner-Zivフレームのうち、Wyner-Zivフレームを符号化する際に、その中高周波数帯のサブバンドを矩形ブロックに分割し、その各々について２つの指標Mean Absolute Difference (MAD)、Sun of Absolute Difference(SAD)によってエントロピー符号化を行うか、Slepian-Wolf符号化を行うかを判定し、送信側に送出することにより、Wyner-Zivフレームの予測値の精度を向上させると共に、Distributed Video Coding(DVC)の高符号化効率を実現することが可能となる。
【発明を実施するための最良の形態】
【００３１】
以下、図面と共に本発明の実施の形態を説明する。
【００３２】
最初に、画素領域DVCと従来のウェーブレット領域DVCの動作原理について説明する。
【００３３】
［画素領域DVC］
一般的に、DVCにおいて、映像フレームはKeyフレーム及びWyner-Zivフレームに分割される。ここでは、簡単化のために、Keyフレームには奇数フレームX2n±1を割り当て、Wyner-Zivフレームには偶数フレームＸ2nを割り当てる。
【００３４】
以下、前述の図９の画素領域DVCの構成を用いて説明する。同図は、前述の非特許文献５において提案された画素領域DVCの例である。Keyフレームは、JPEGなど従来のフレーム内符号器１１により符号化される。Wyner-ZivフレームX2ｎは、量子化器１２で一様量子化され、量子化された信号はビットプレーンに分割された後、Splepian-Wolf符号器１３に送られる。各ビットプレーンは最上位ビット(MSB: Most Significant Bit)からSlepian-Wolf符号器１３に送られ、それぞれのビットプレーンに対して十分なシンドロームビットが生成される。そして、それぞれのビットプレーンが順々にバッファ１３２に蓄えられ、デコーダ側からのリクエストにより上位ビットプレーンから順々にシンドロームビットを送信する。
【００３５】
一方、デコーダ側では、KeyフレームＸ2n±1から動き補償を用いてブロック単位の補助情報（Side Information）Ｙ2nが次式（１）で作成される。
【００３６】
【数１】
0005004877.tif 000002
但し、式中MVはKeyフレームから作成された動きベクトルである。
【００３７】
次に、ビット尤度を推定し、Slepian-Wolf復号器１３３にそのビット尤度を与える。ビット尤度は、一般にWyner-ZivフレームＸ2nと補助情報Ｙ2nのウェーブレット領域間の差分信号、すなわち、予測誤差信号はラプラス分布で近似されることから次式を用いて推定される。
【００３８】
【数２】
0005004877.tif 000003
但し、αはラプラス分布のパラメータである。Slepian-Wolf復号器１３３では、ビット尤度とエンコーダ１３１から受信するシンドロームビットを用いて量子化されたビットプレーンq'2nを復号する。
【００３９】
最後に、復号されたビットプレーンは再構成器２４に送られ、補助情報Ｙ2nを用いて次式で再構成される。
【００４０】
【数３】
0005004877.tif 000004
この画素領域DVCは、以後、数多く発明されるDVCの原型となった。
【００４１】
［ウェーブレット領域DVC］
次にウェーブレット領域DVCについて説明する。
【００４２】
符号化効率を改善するために、Girodらは前述の非特許文献５に示される技術の画素領域DVCを拡張した変換領域DVCを提案している（例えば、非特許文献６）。この変換領域DVCでは、DCTを用いることにより信号の空間的冗長性を除去し、画素領域DVCと比較して符号化効率を改善している。また、DCTの代わりにウェーブレット変換を用いたウェーブレット領域DVCも提案されている（例えば、非特許文献７）。ここでは、ウェーブレット領域DVCについて説明する。図３にウェーブレット領域DVCの原理構成を示す。画素領域DVCとの違いは、画素領域で行っていた通信路符号器によるエラー訂正を、ウェーブレット領域で行っている点である。
【００４３】
ウェーブレット領域DVCでは、Wyner-ZivフレームX2nは、離散ウェーブレット変換DWT３１によりウェーブレット領域に変換された後、量子化器３２で各サブバンドの信号は２M≦｛0,4,8,16,32,64,128,256,…｝のレベルに一様量子化される。量子化された信号は、サブビットプレーン分割部３３でビットプレーンに分割された後、各サブバンド毎にSlepian-Wolf符号器３４に送られる。
【００４４】
一方、デコーダ側では、KeyフレームＸ2n±1から動き補償を用いてブロック単位に予測値Ｙ2nが作成される。ここで動き補償処理は、画素領域DVCと同じ手法を用いる。
【００４５】
予測値Ｙ2nは、離散ウェーブレット変換DWT４６によりウェーブレット領域に変換された後、補助情報として用いられる。次に、ビット尤度を推定しSlepian-Wolf復号器４１にビット尤度を与える。ビット尤度は、一般にWyner-ZivフレームX2nと予測値Ｙ2nのウェーブレット領域間の差分信号、すなわち、ラプラス分布で近似され、画素領域DVCと同様な方法で推定される。復号されたビットプレーンは再構成器４２に送られ、補助情報を用いて再構成される。再構成された信号は、IDWT４３において、最後に逆離散ウェーブレット変換IDWTが施され、出力される。
【００４６】
以下に、本発明のウェーブレット領域DVCについて説明する。
【００４７】
画素領域DVCからウェーブレット領域DVCかに関わらず、DVCの符号化効率は、復号器で生成される補足情報の予測制度に大きく依存する。DVCでは、Keyフレームより作成される補足情報をWyner-Zivフレームの予測信号とし、補助情報とWyner-Zivフレームの予測誤差信号をある種のエラーと捉え、通信路符号器でエラーを訂正することで圧縮／復号を行う。補足情報が外れた場合には、パリティビットの再送等を行う必要があり、符号化効率も低下する。従って、予測精度の高い補助情報を与えることが必要となる。この補助情報の生成において、上記の画素領域DVCやウェーブレット領域DVC並びにDCT領域のDVC（例えば、非特許文献６）など従来の変換領域DVCでは、補助情報をKeyフレームのみの情報によって生成している。それは、復号器では、Wyner-Zivフレームの情報がないことに起因している。
【００４８】
本発明では、より推定精度の高い補助情報を与えるために、ウェーブレット領域の信号を低周波帯域のサブバンドから高周波帯域に向けて復号する過程で、低周波数帯域の復号されたサブバンドを利用し、より推定精度の高い補助情報を与える手法を示す。また、補助情報の推定制度が悪いと判断された場合には、ハフマン符号や算術符号化などのエントロピー符号化を用いる。
【００４９】
図４は、本発明の一実施の形態におけるウェーブレット領域DVCの構成を示す。
【００５０】
同図に示す符号器１００は、ＤＷＴ１１０、量子化器１２０、デマルチプレクサ１３０、Slepian-Wolf符号器１４０、エントロピー符号器１５０から構成される。また、復号器２００は、補助情報生成器２１０、ＤＷＴ２２０、Slepian-Wolf復号器２４０、マルチプレクサ２５０、再構成器２６０、モード判定器２７０、ＩＤＷＴ２８０、エントロピー復号器２９０から構成される。
【００５１】
同図に示すDVCと従来のDVCのウェーブレット領域DVCとの違いは、Wyner-Zivフレームの信号を符号化する際に、エントロピー符号化か、または、Slepian-Wolf符号化かを判断する機能が付加されている点と、Slepian-Wolfと判定された場合でも、複数の補助情報の中で、予測精度が高いと判定される補助情報を選択する機能を有するモード判定器２７０が設けられている点である。以下に具体的な動作手順を示す。
【００５２】
図６は、本発明の一実施の形態における符号化・復号化のシーケンスチャートである。
【００５３】
ステップ１０１）符号器２００側において、入力されたKeyフレームX2ｎ±1をＪＰＥＧ2000など従来のフレーム内符号器を用いて符号化する。
【００５４】
ステップ１０２）符号器２００側において、入力されたWyner-ZivフレームＸ2nを離散ウェーブレット変換DWT１１０によりウェーブレット領域に変換する。図５は、２レベルのウェーブレット変換の例を示している。その後、それぞれウェーブレット領域の信号は、量子化器１２０で２M≦（０，４，８，１６，３２，６４，１２８，２５６，…）のレベルに一様に量子化される。
【００５５】
ステップ１０３）復号器２００側において、符号器１００から入力された符号化されたKeyフレームＸ2ｎ±1を、フレーム内復号器を用いて復号する。
【００５６】
ステップ１０４）復号器２００側において、補助情報生成器２１０は、Wyner-Zivフレームの補助情報を作成する。そのために、前述の非特許文献６に記載されている技術などに示す動き補償補間、平均補間、あるいは外挿補間を用いて、ブロック単位にWyner-Zivフレーム信号Ｘ2nの推定値
【００５７】
【数４】
0005004877.tif 000005
を作成する。次式は式（１）に示す動きベクトルMVを用いて作成した推定値の例である。
【００５８】
【数５】
0005004877.tif 000006
それぞれＸ2n-1，Ｘ2n+1並びに両信号を用いて作成しており、前向き予測、後ろ向き予測、両方向予測と呼ぶ。
【００５９】
次に、DWT２２０において、
【００６０】
【数６】
0005004877.tif 000007
に、それぞれＬレベルの離散時間ウェーブレット変換
【００６１】
【数７】
0005004877.tif 000008
を施す。それぞれの変換後の第ｓステージにおけるサブバンド
【００６２】
【数８】
0005004877.tif 000009
の値を、
【００６３】
【数９】
0005004877.tif 000010
と定義する。これらは、補助情報として用いられる。
【００６４】
ステップ１０５）符号器１００において、Wyner-Zivフレームに関して、上記のステップ１０２において一様に量子化器１２０で量子化された最低周波数帯域のサブバンドLLLは、デマルチプレクサ１３０でビットプレーンに分割された後、Slepian-Wolf符号器１４０に送られる。
【００６５】
ステップ１０６）復号器２００において、Wyner-zivフレームの最低周波数帯域のサブバンドLLLに関して、
【００６６】
【数１０】
0005004877.tif 000011
を補助情報として、再構成器２６０でLLLを再構成する。このLLLが再構成されるまでのSlepian-Wolf符号器１４０／Slepian-Wolf復号器２４０の処理は、従来のウェーブレット領域DVCと同じである。ここで、再構成された信号をLL'Lと定義する。s＝Lとする。
【００６７】
ステップ１０７）復号器２００において、Wyner-Zivフレームの中高周波数帯域のサブバンドLHｓ，HLｓ，HHsは、それぞれ矩形の小ブロックに分割され、小ブロック毎にエントロピー符号化、または、Wyner-Ziv符号化を行う。モード判定器２７０における、エントロピー符号化を行うか、Wyner-Ziv符号化を行うかのモード切替の判定は、低周波数帯域の復号済みサブバンドLLs'と、補助情報生成器２１０及びDWT２２０で生成された補助情報
【００６８】
【数１１】
0005004877.tif 000012
を用いて、以下に示す２つの指標により行う。
【００６９】
モード判定器２７０における、モード切替の判定は、各ブロック毎に行われるが、これはウェーブレット変換の帯域相関を利用しており、サブバンドLLｓのある小ブロックが、隣接するKeyフレームのサブバンドLLsの小ブロックと相関が高ければ（低ければ）、Wyner-ZivフレームのサブバンドLHs、HLs、HHsの空間的に対応する小ブロックも、隣接するKeyフレームのサブバンドLHs、HLs、HHsの空間的に対応する小ブロックとで相関が高い（低い）性質を利用している。図７に小ブロックの空間的対応関係を示す。
【００７０】
（ａ）MAD (Mean Absolute Difference)
復号済みサブバンドLL'sのブロックＢ内の信号の空間的滑らかさを表す指標であり、次式により計算する。
【００７１】
【数１２】
0005004877.tif 000013
ここで、LL's（ｘ，ｙ）は、復号済みサブバンドで、（ｘ，ｙ）は小ブロック内の座標を表している。但し、
【００７２】
【数１３】
0005004877.tif 000014
であり、Ｎは小ブロック内の信号の数を表す。
【００７３】
（ｂ）SAD (Sum of Absolute differences)
２つ目の指標は、復号済みサブバンドLL'sと補助情報との相関を表す指標であり、次式により計算する。
【００７４】
【数１４】
0005004877.tif 000015
式（１１）は、前向き、後向き、両方向予測を基に生成された補助情報の中で、最も良い推定値を与える補助情報を判定する指標となる。
【００７５】
モード判定器２７０において、以上の式（１０）と式（１１）の２つの指標を用いて、エントロピー符号器１５０でエントロピー符号化を行う、または、Slepian-Wolf符号器１４０でSlepian-Wolf符号化を行うかの判定は、以下のように行われる。
【００７６】
（ａ）MAD<μSAD（但し、μは定数）の場合は、エントロピー符号化を行う。
【００７７】
（ｂ）mad≧Μsadの場合には、Slepian-Wolf符号化を行う。Slepian-Wolf符号化を行う際には、補助情報として、式（１１）を最小化する補助情報を用いる。例えば、SAD=SADfの場合には、LHs,，HLs，HHsの補助情報として、それぞれ
【００７８】
【数１５】
0005004877.tif 000016
を用いる。
【００７９】
得られたモード切替の判定結果を、フィードバックチャネルを通して、符号器１００に送る。
【００８０】
ステップ１０８）符号器１００では、Wyner-Zivフレームの第ｓステージにおける高周波数帯域のサブバンドLHs，HLs，HHsに関して、復号器２００より送られてきたモード切替の判定結果を元に、各ブロッ毎にエントロピー符号器１５０によるエントロピー符号化またはSlepian-Wolf符号器１４０によるSlepian-Wolf符号化を行う。エントロピー符号化として、ハフマン符号化や算術符号化を用いる。Slepian-Wolf符号化として、LDPCやターボ符号化を用いる。
【００８１】
ステップ１０９）復号器２００において、Wyner-Zivフレームの第ｓステージにおける高周波帯域のサブバンドLHs，HLs，HHsに関して、フレーム内符号化されたブロックは、エントロピー復号器２９０でエントロピー復号を行う。Wyner-Ziv符号化されたブロックは、Slepian-Wolf復号器２４０でSlepian-Wolf復号処理が実行される。このSlepian-Wolf復号処理は、従来のウェーブレット領域DVCと同じ方法を用いる。第ｓステージの全ての小ブロックに対して、以上の復号処理を行う。
【００８２】
ステップ１１０）  IDWT２８０で１レベルの逆離散ウェーブレット変換を施す。ｓ＝ｓ−１とする。
【００８３】
ステップ１１１）上記のステップ１１０の処理を原画像が復号されるレベルまでステップ１０７以降の処理を繰り返す。
【００８４】
なお、上記の図４に示す符号器及び復号器の各構成要素の動作をプログラムとして構築し、符号化器及び復号器として利用されるコンピュータにインストールして実行させることが可能である。
【００８５】
また、構築されたプログラムをハードディスクや、フレキシブルディスク・ＣＤ−ＲＯＭ等の可搬記憶媒体に格納し、コンピュータにインストールする、または、配布することが可能である。
【００８６】
なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。
【産業上の利用可能性】
【００８７】
本発明は、ウェーブレット領域を用いて動画像フレームを符号化／復号化するシステムに適用可能である。
【図面の簡単な説明】
【００８８】
【図１】本発明の原理構成図である。
【図２】本発明の原理を説明するための図である。
【図３】ウェーブレット領域ＤＶＣの構成図である。
【図４】本発明の一実施の形態におけるウェーブレット領域ＤＶＣの構成図である。
【図５】本発明の一実施の形態における符号化・復号化のシーケンスチャートである。
【図６】本発明の一実施の形態における２レベルのウェーブレット変換を示す図である。
【図７】本発明の一実施の形態における第ｓステージでのLLsサブバンドに基づくモード判定である。
【図８】Distributed Source Coding の構成図である。
【図９】画素領域ＤＶＣの構成図である。
【符号の説明】
【００８９】
１１  コンベンショナルイントラフレーム符号器
１２  量子化器
１３  Slepian-Wolf符号器
２１  コンベンショナルイントラフレーム復号器
２２  記述または補間部
２４  再構成器
３１  ＤＷＴ
３２  量子化部
３３  サブバンドビットプレーン分割部
３４  Slepian-Wolf符号器
３５  符号化手段
４１  Slepian-Wolf復号器
４２  再構成器
４３  ＩＤＷＴ
４４  復号手段
４５  補助情報生成器
４６  ＤＷＴ
１００  符号器
１１０  ＤＷＴ
１２０  量子化器
１３０  デマルチプレクサ
１３１  ターボ符号器
１３２  バッファ
１３３  ターボ復号器（Slepian-Wolf復号器）
１４０  Slepian-Wolf符号化手段、Slepian-Wolf符号器
１５０  エントロピー符号化手段、エントロピー符号器
２００  復号器
２１０  補助情報生成手段、補助情報生成器
２２０  ＤＷＴ
２４０  Slepian-Wolf復号手段、Slepian-Wolf復号器
２５０  マルチプレクサ
２６０  再構成手段、再構成器
２７０  モード判定手段、モード判定器
２８０  IＤＷＴ
２９０  エントロピー復号器
【図１】
0005004877.tif 000017
【図２】
0005004877.tif 000018
【図３】
0005004877.tif 000019
【図４】
0005004877.tif 000020
【図５】
0005004877.tif 000021
【図６】
0005004877.tif 000022
【図７】
0005004877.tif 000023
【図８】
0005004877.tif 000024
【図９】
0005004877.tif 000025