(57)【特許請求の範囲】
【請求項１】
フレーム画像を所定サイズのブロックに分割し、前記ブロック毎に画像データを符号化する符号化方法であって、
前記フレーム画像内にある前記ブロックのそれぞれの画像に対して所定のデータ変換操作を行って、符号化対象となる画像データを作成する変換ステップと、
所定の確率テーブルを用いた算術符号化によって前記画像データを可変長符号化して、複数の前記ブロックからなるスライスレイヤと、１または複数の前記スライスレイヤからなり前記フレーム画像に対応するフレームレイヤとによる階層構造を有する符号化データを生成する符号化ステップとを備え、
前記符号化ステップにおいて、前記スライスレイヤに対して前記確率テーブルの初期化の有無を設定し、そのスライスレイヤを含む前記符号化データでの前記フレームレイヤのヘッダに、設定された前記初期化の有無を示すフラグを付加するとともに、初期化有りと設定された場合に前記確率テーブルを初期化することを特徴とする画像符号化方法。
【請求項２】
前記符号化データは、前記スライスレイヤと、前記フレームレイヤと、複数の前記フレームレイヤからなるシーケンスレイヤとによる前記階層構造を有することを特徴とする請求項１記載の画像符号化方法。
【請求項３】
フレーム画像を所定サイズのブロックに分割し、前記ブロック毎に画像データを符号化する符号化方法であって、
前記フレーム画像内にある前記ブロックのそれぞれの画像に対して所定のデータ変換操作を行って、符号化対象となる画像データを作成する変換ステップと、
所定の確率テーブルを用いた算術符号化によって前記画像データを可変長符号化して、複数の前記ブロックからなるスライスレイヤと、１または複数の前記スライスレイヤからなり前記フレーム画像に対応するフレームレイヤと、複数の前記フレームレイヤからなるシーケンスレイヤとによる階層構造を有する符号化データを生成する符号化ステップとを備え、
前記符号化ステップにおいて、前記スライスレイヤに対して前記確率テーブルの初期化の有無を設定し、そのスライスレイヤを含む前記符号化データでの前記シーケンスレイヤのヘッダに、設定された前記初期化の有無を示すフラグを付加するとともに、初期化有りと設定された場合に前記確率テーブルを初期化することを特徴とする画像符号化方法。
【請求項４】
フレーム画像を所定サイズのブロックに分割し、前記ブロック毎に画像データを符号化した符号化データを復号する復号方法であって、
複数の前記ブロックからなるスライスレイヤと、１または複数の前記スライスレイヤからなり前記フレーム画像に対応するフレームレイヤとによる階層構造を有する前記符号化データを所定の確率テーブルを用いた逆算術符号化によって可変長復号して、画像データを生成する復号ステップと、
前記フレーム画像内にある前記ブロックのそれぞれについての前記画像データに対して所定のデータ復元操作を行って、前記フレーム画像を復元する復元ステップとを備え、
前記復号ステップにおいて、前記スライスレイヤを含む前記符号化データでの前記フレームレイヤのヘッダから、そのスライスレイヤに対する前記確率テーブルの初期化の有無を示すフラグを読み取り、前記確率テーブルの前記初期化の有無を設定するとともに、初期化有りと設定された場合に前記確率テーブルを初期化することを特徴とする画像復号方法。
【請求項５】
前記符号化データは、前記スライスレイヤと、前記フレームレイヤと、複数の前記フレームレイヤからなるシーケンスレイヤとによる前記階層構造を有することを特徴とする請求項４記載の画像復号方法。
【請求項６】
フレーム画像を所定サイズのブロックに分割し、前記ブロック毎に画像データを符号化した符号化データを復号する復号方法であって、
複数の前記ブロックからなるスライスレイヤと、１または複数の前記スライスレイヤからなり前記フレーム画像に対応するフレームレイヤと、複数の前記フレームレイヤからなるシーケンスレイヤとによる階層構造を有する前記符号化データを所定の確率テーブルを用いた逆算術符号化によって可変長復号して、画像データを生成する復号ステップと、
前記フレーム画像内にある前記ブロックのそれぞれについての前記画像データに対して所定のデータ復元操作を行って、前記フレーム画像を復元する復元ステップとを備え、
前記復号ステップにおいて、前記スライスレイヤを含む前記符号化データでの前記シーケンスレイヤのヘッダから、そのスライスレイヤに対する前記確率テーブルの初期化の有無を示すフラグを読み取り、前記確率テーブルの前記初期化の有無を設定するとともに、初期化有りと設定された場合に前記確率テーブルを初期化することを特徴とする画像復号方法。
【請求項７】
フレーム画像を所定サイズのブロックに分割し、前記ブロック毎に画像データを符号化する符号化装置であって、
前記フレーム画像内にある前記ブロックのそれぞれの画像に対して所定のデータ変換操作を行って、符号化対象となる画像データを作成する変換手段と、
所定の確率テーブルを用いた算術符号化によって前記画像データを可変長符号化して、複数の前記ブロックからなるスライスレイヤと、１または複数の前記スライスレイヤからなり前記フレーム画像に対応するフレームレイヤとによる階層構造を有する符号化データを生成する符号化手段とを備え、
前記符号化手段は、前記スライスレイヤに対して前記確率テーブルの初期化の有無を設定し、そのスライスレイヤを含む前記符号化データでの前記フレームレイヤのヘッダに、設定された前記初期化の有無を示すフラグを付加するとともに、初期化有りと設定された場合に前記確率テーブルを初期化することを特徴とする画像符号化装置。
【請求項８】
前記符号化データは、前記スライスレイヤと、前記フレームレイヤと、複数の前記フレームレイヤからなるシーケンスレイヤとによる前記階層構造を有することを特徴とする請求項７記載の画像符号化装置。
【請求項９】
フレーム画像を所定サイズのブロックに分割し、前記ブロック毎に画像データを符号化する符号化装置であって、
前記フレーム画像内にある前記ブロックのそれぞれの画像に対して所定のデータ変換操作を行って、符号化対象となる画像データを作成する変換手段と、
所定の確率テーブルを用いた算術符号化によって前記画像データを可変長符号化して、複数の前記ブロックからなるスライスレイヤと、１または複数の前記スライスレイヤからなり前記フレーム画像に対応するフレームレイヤと、複数の前記フレームレイヤからなるシーケンスレイヤとによる階層構造を有する符号化データを生成する符号化手段とを備え、
前記符号化手段は、前記スライスレイヤに対して前記確率テーブルの初期化の有無を設定し、そのスライスレイヤを含む前記符号化データでの前記シーケンスレイヤのヘッダに、設定された前記初期化の有無を示すフラグを付加するとともに、初期化有りと設定された場合に前記確率テーブルを初期化することを特徴とする画像符号化装置。
【請求項１０】
フレーム画像を所定サイズのブロックに分割し、前記ブロック毎に画像データを符号化した符号化データを復号する復号装置であって、
複数の前記ブロックからなるスライスレイヤと、１または複数の前記スライスレイヤからなり前記フレーム画像に対応するフレームレイヤとによる階層構造を有する前記符号化データを所定の確率テーブルを用いた逆算術符号化によって可変長復号して、画像データを生成する復号手段と、
前記フレーム画像内にある前記ブロックのそれぞれについての前記画像データに対して所定のデータ復元操作を行って、前記フレーム画像を復元する復元手段とを備え、
前記復号手段は、前記スライスレイヤを含む前記符号化データでの前記フレームレイヤのヘッダから、そのスライスレイヤに対する前記確率テーブルの初期化の有無を示すフラグを読み取り、前記確率テーブルの前記初期化の有無を設定するとともに、初期化有りと設定された場合に前記確率テーブルを初期化することを特徴とする画像復号装置。
【請求項１１】
前記符号化データは、前記スライスレイヤと、前記フレームレイヤと、複数の前記フレームレイヤからなるシーケンスレイヤとによる前記階層構造を有することを特徴とする請求項１０記載の画像復号装置。
【請求項１２】
フレーム画像を所定サイズのブロックに分割し、前記ブロック毎に画像データを符号化した符号化データを復号する復号装置であって、
複数の前記ブロックからなるスライスレイヤと、１または複数の前記スライスレイヤからなり前記フレーム画像に対応するフレームレイヤと、複数の前記フレームレイヤからなるシーケンスレイヤとによる階層構造を有する前記符号化データを所定の確率テーブルを用いた逆算術符号化によって可変長復号して、画像データを生成する復号手段と、
前記フレーム画像内にある前記ブロックのそれぞれについての前記画像データに対して所定のデータ復元操作を行って、前記フレーム画像を復元する復元手段とを備え、
前記復号手段は、前記スライスレイヤを含む前記符号化データでの前記シーケンスレイヤのヘッダから、そのスライスレイヤに対する前記確率テーブルの初期化の有無を示すフラグを読み取り、前記確率テーブルの前記初期化の有無を設定するとともに、初期化有りと設定された場合に前記確率テーブルを初期化することを特徴とする画像復号装置。
【請求項１３】
請求項１〜３のいずれか一項記載の画像符号化方法をコンピュータに実行させるための画像符号化プログラム。
【請求項１４】
請求項４〜６のいずれか一項記載の画像復号方法をコンピュータに実行させるための画像復号プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、モバイル映像伝送システムなどの画像伝送システムに好適に適用することが可能な画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、及びプログラムに関するものである。
【背景技術】
【０００２】
従来、動画像の符号化方式として、ＩＴＵ−Ｔ  Ｈ．２６ｘやＭＰＥＧシリーズなどの標準動画像符号化方式が知られている。これらの画像符号化方式においては、フレーム画像を分割したブロックのそれぞれの画像に対して、動き補償（ＭＣ：Motion Compensation）や離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）などの所定のデータ変換操作を行うことによって、符号化対象となる画像データが作成される。
【０００３】
また、データ変換操作によって作成された画像データは、さらに可変長符号化されて、画像伝送に用いられる圧縮データである符号化データとなる。このような可変長符号化方法の１つとして、算術符号化（ＡＣ：Arithmetic Coding）が用いられている。
【０００４】
一般に、複数種類のシンボルを組み合わせた情報源系列（シンボル系列）に対して算術符号化を行う場合、まず、［０．０，１．０）の数直線（確率数直線）上において、それぞれのシンボルに対して、シンボルの出現確率に応じて一定の区間を割り当てる。このとき、シンボルと数直線上の区間との対応関係を表したものは、確率テーブルと呼ばれる。算術符号化によって情報源系列を可変長符号化する際には、この確率テーブルを参照することによって、情報源系列を数直線上で表現した符号語が生成される。
【０００５】
ここで、図１〜図３を参照して、算術符号化について説明する。具体的には、文字列「ＡＲＩＴＨＭＥＴＩＣ」を符号化対象の情報源系列とし、その算術符号化を例として説明する。
【０００６】
上記した情報源系列内には、Ａ、Ｃ、Ｅ、Ｈ、Ｉ、Ｍ、Ｒ、Ｔの８種類の文字（シンボル）が現れる。これらの文字に対し、図１の表に示すように、［０．０，１．０）の数直線（確率数直線）上で、文字列における各文字の出現確率に比例した区間長となるようにそれぞれ区間を割り当てる。この文字と数直線上の区間との対応関係を表す図１に示した表が、算術符号化に用いられる確率テーブルとなる。
【０００７】
図２は、図１に示した確率テーブルを用いた文字列「ＡＲＩＴＨＭＥＴＩＣ」の符号化について示す図である。算術符号化においては、確率テーブルに基づいた区間縮小操作を、情報源系列に含まれる各シンボルに対して順次行うことによって、情報源系列を符号化した符号語を生成する。
【０００８】
図２に示した例では、まず、符号化対象である文字列「ＡＲＩＴＨＭＥＴＩＣ」の第１の文字「Ａ」に対して、図１に示した確率テーブルを参照して、数直線上の区間［０，１）を各文字に対応する８個の区間に区分する。そして、それらの区間のうちで、文字「Ａ」に対応する区間［０．０，０．１）へと区間を縮小する。次に、第２の文字「Ｒ」に対して、確率テーブルを参照して、区間［０．０，０．１）を８個の区間に区分する。そして、それらの区間のうちで、文字「Ｒ」に対応する区間［０．０７，０．０８）へと区間を縮小する。
【０００９】
以下、この区間縮小による符号化操作を各文字に対して順次行っていく。そして、最終的に得られた数直線上の区間［０．０７５７４５１５３６，０．０７５７４５１５５２）において、その区間内にある数値「０．０７５７４５１５３６」が、文字列「ＡＲＩＴＨＭＥＴＩＣ」を算術符号化した符号語として生成される。
【００１０】
図３は、図１に示した確率テーブルを用いた符号語「０．０７５７４５１５３６」の文字列「ＡＲＩＴＨＭＥＴＩＣ」への復号について示す図である。
【００１１】
図３に示した例では、まず、復号対象である符号語「０．０７５７４５１５３６」に対して、図１に示した確率テーブルを参照して、符号語が含まれている区間長０．１の区間［０．０，０．１）を特定する。そして、特定された区間に対応する文字「Ａ」を第１の文字として出力するとともに、（符号語−下限）／（区間長）によって、新たな符号語「０．７５７４５１５３６」を生成する。次に、符号語「０．７５７４５１５３６」に対して、確率テーブルを参照して、符号語が含まれている区間長０．１の区間［０．７，０．８）を特定する。そして、特定された区間に対応する文字「Ｒ」を第２の文字として出力するとともに、新たな符号語「０．５７４５１５３６」を生成する。
【００１２】
以下、この復号操作を符号語に対して順次行っていく。そして、算術符号化された符号語「０．０７５７４５１５３６」から、文字列「ＡＲＩＴＨＭＥＴＩＣ」が復元される。
【００１３】
このように、算術符号化を用いた情報源系列の可変長符号化では、情報源系列に含まれるシンボルと数直線上の区間とを対応付けることにより、任意の情報源系列を［０．０，１．０）の数直線上の符号語によって表現することができる。また、シンボルと区間とを対応付ける確率テーブルを各シンボルの出現確率に応じて設定することにより、情報源系列の可変長符号化を効率良く行って、符号化によるデータ圧縮の効率を向上することができる。
【非特許文献１】VCEG-M10 H.26L Test Model Long Term Number 8 (TML-8) draft0
【発明の開示】
【発明が解決しようとする課題】
【００１４】
図４は、上述した算術符号化による可変長符号化を用いた画像符号化方法の一例を示すフローチャートである。図４に示した画像符号化方法では、ＩＴＵ−Ｔ  Ｈ．２６Ｌ映像符号化方式（VCEG-M10 H.26L Test Model Long Term Number 8 (TML-8) draft0 を参照）で用いられているコンテキストモデリングを用いたＣＡＢＡＣ（Context-based Adaptive Binary Arithmetic Coding）と呼ばれる方法によって、画像データの算術符号化を行っている。
【００１５】
画像データの符号化においては、まず、符号化対象の画像を所定サイズのブロックに分割し、ブロック毎にイントラフレーム符号化（Intra-Frame Coding、フレーム内符号化）やインターフレーム符号化（Inter-Frame Coding、フレーム間符号化）、ＤＣＴ等の直交変換などの必要なデータ変換操作を行って、ブロック内にある画像を表す画像データを生成する。そして、その画像データに対して、算術符号化などを用いて可変長符号化を行って、データ圧縮された符号化データが生成される。
【００１６】
図４に示した画像符号化方法においては、特に、あらかじめ固定に設定された条件によって符号化を行うのではなく、ブロック毎の画像データを符号化する際に、コンテキストモデリングを行っている（ステップＳ９０１、Context Modeling）。コンテキストモデリングを用いた算術符号化では、画像データの符号化に用いる確率テーブルについて、符号化対象のブロックでの画像データに対して適用する確率テーブルが、隣接ブロックでの画像符号化の処理結果などの符号化条件を参照して切り換えて設定される。
【００１７】
コンテキストモデリングによる確率テーブルの設定を終了したら、符号化対象の画像データ（例えば複数のＤＣＴ係数）を２値化して、伝送すべきデータ系列を生成する（Ｓ９０２、Binarization）。そして、２値化されたデータ系列に対して算術符号化を行って（Ｓ９０３、Adaptive Binary Arithmetic Coding）、符号化データを得る。
【００１８】
具体的には、２値化されたデータ系列の各ビットに対し、コンテキストモデリングによって設定された確率テーブルを割り当てて確率評価を行う（Ｓ９０４、Probability Estimation）。そして、割り当てられた確率テーブルを用いてデータ系列を算術符号化し、符号化データである数直線上の符号語を生成する（Ｓ９０５、Arithmetic Coding）。また、算術符号化の処理結果に基づいて、符号化したビットの発生頻度などの情報を確率テーブルへとフィードバックすることによって確率評価を更新し、符号化の傾向を確率テーブルに反映させる（Ｓ９０６、Probability Estimation Update）。
【００１９】
コンテキストモデリングを用いた算術符号化による上記の画像符号化方法によれば、符号化条件や処理結果に応じて使用する確率テーブルを切り換えることによって、符号化データでの冗長度を低減することが可能である。
【００２０】
ここで、フレーム画像を符号化して得られる符号化データでは、フレーム画像に対応するフレームレイヤに対して、フレームレイヤを１または複数のスライスレイヤに分割して符号化データを作成する場合がある。スライスレイヤは、データの多重化や転送の効率化のため、あるいは、伝送エラーが生じた場合の影響を最小限に止めるために用いられる。
【００２１】
一方、各スライスレイヤにおいては、算術符号化に適用される確率テーブルが初期化される。この確率テーブルの初期化には、エラー発生時でも復号を再開できるようにするという効果がある。しかしながら、図４に示したように符号化の傾向が確率テーブルに反映されるような方法で算術符号化を行っている場合には、スライスレイヤでの確率テーブルの初期化によって、確率テーブルに反映されていた情報が失われてしまうという問題がある。
【００２２】
すなわち、初期化に用いられる確率テーブルとしては、通常は符号化対象の画像によらず一定の確率テーブルが用いられる。このため、その画像に合わない確率テーブルに初期化されれば、初期化毎に符号化の効率が低下してしまう。また、発生頻度が少ないような符号化ビットにおいては、符号化の傾向が確率テーブルに反映される前に初期化されてしまうため、効率が低下してしまう。
【００２３】
また、初期化は、上記したように伝送エラーからの回復のために行われるものであるが、伝送路では必ずしも伝送エラーが生じるものではない。そのように伝送エラーが生じなかった場合、あるいは伝送エラーが少ない場合には、確率テーブルの初期化は不効率である。このように、スライスレイヤにおいて確率テーブルが不必要に初期化された場合には、それによって符号化データでのデータ圧縮の効率が低下する。
【００２４】
本発明は、以上の問題点を解決するためになされたものであり、スライスレイヤとフレームレイヤとによる階層構造を有する符号化データに対し、符号化データの全体で確率テーブルが好適に設定されて、符号化データでのデータ圧縮の効率を向上することが可能な画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００２５】
このような目的を達成するために、本発明による画像符号化方法は、フレーム画像を所定サイズのブロックに分割し、ブロック毎に画像データを符号化する符号化方法であって、（１）フレーム画像内にあるブロックのそれぞれの画像に対して所定のデータ変換操作を行って、符号化対象となる画像データを作成する変換ステップと、（２）所定の確率テーブルを用いた算術符号化によって画像データを可変長符号化して、複数のブロックからなるスライスレイヤと、１または複数のスライスレイヤからなりフレーム画像に対応するフレームレイヤとによる階層構造を有する符号化データを生成する符号化ステップとを備え、（３）符号化ステップにおいて、スライスレイヤに対して確率テーブルの初期化の有無を設定し、そのスライスレイヤを含む符号化データでのフレームレイヤのヘッダに、設定された初期化の有無を示すフラグを付加するとともに、初期化有りと設定された場合に確率テーブルを初期化することを特徴とする。
【００２６】
あるいは、本発明による画像符号化方法は、フレーム画像を所定サイズのブロックに分割し、ブロック毎に画像データを符号化する符号化方法であって、（１）フレーム画像内にあるブロックのそれぞれの画像に対して所定のデータ変換操作を行って、符号化対象となる画像データを作成する変換ステップと、（２）所定の確率テーブルを用いた算術符号化によって画像データを可変長符号化して、複数のブロックからなるスライスレイヤと、１または複数のスライスレイヤからなりフレーム画像に対応するフレームレイヤと、複数のフレームレイヤからなるシーケンスレイヤとによる階層構造を有する符号化データを生成する符号化ステップとを備え、（３）符号化ステップにおいて、スライスレイヤに対して確率テーブルの初期化の有無を設定し、そのスライスレイヤを含む符号化データでのシーケンスレイヤのヘッダに、設定された初期化の有無を示すフラグを付加するとともに、初期化有りと設定された場合に確率テーブルを初期化することを特徴とする。
【００２７】
同様に、本発明による画像符号化装置は、フレーム画像を所定サイズのブロックに分割し、ブロック毎に画像データを符号化する符号化装置であって、（１）フレーム画像内にあるブロックのそれぞれの画像に対して所定のデータ変換操作を行って、符号化対象となる画像データを作成する変換手段と、（２）所定の確率テーブルを用いた算術符号化によって画像データを可変長符号化して、複数のブロックからなるスライスレイヤと、１または複数のスライスレイヤからなりフレーム画像に対応するフレームレイヤとによる階層構造を有する符号化データを生成する符号化手段とを備え、（３）符号化手段は、スライスレイヤに対して確率テーブルの初期化の有無を設定し、そのスライスレイヤを含む符号化データでのフレームレイヤのヘッダに、設定された初期化の有無を示すフラグを付加するとともに、初期化有りと設定された場合に確率テーブルを初期化することを特徴とする。
【００２８】
あるいは、本発明による画像符号化装置は、フレーム画像を所定サイズのブロックに分割し、ブロック毎に画像データを符号化する符号化装置であって、（１）フレーム画像内にあるブロックのそれぞれの画像に対して所定のデータ変換操作を行って、符号化対象となる画像データを作成する変換手段と、（２）所定の確率テーブルを用いた算術符号化によって画像データを可変長符号化して、複数のブロックからなるスライスレイヤと、１または複数のスライスレイヤからなりフレーム画像に対応するフレームレイヤと、複数のフレームレイヤからなるシーケンスレイヤとによる階層構造を有する符号化データを生成する符号化手段とを備え、（３）符号化手段は、スライスレイヤに対して確率テーブルの初期化の有無を設定し、そのスライスレイヤを含む符号化データでのシーケンスレイヤのヘッダに、設定された初期化の有無を示すフラグを付加するとともに、初期化有りと設定された場合に確率テーブルを初期化することを特徴とする。
【００２９】
また、本発明による画像符号化プログラムは、上記した画像符号化方法をコンピュータに実行させることを特徴とする。
【００３０】
上記した画像符号化方法、装置、及びプログラムにおいては、フレーム画像に対して動き補償や直交変換などのデータ変換操作を行って符号化対象の画像データとした後、その画像データを所定の確率テーブルを用いて算術符号化することによって、データ圧縮された符号化データを生成する。そして、符号化データを生成する可変長符号化において、スライスレイヤについて、各スライスレイヤにおいて確率テーブルを初期化するかどうかを設定するとともに、所定のレイヤのヘッダに初期化の有無を示すフラグを付加している。
【００３１】
これにより、スライスレイヤにおいて確率テーブルが不必要に初期化されることを防止することができる。したがって、スライスレイヤとフレームレイヤとによる階層構造を有する符号化データに対し、符号化データの全体で確率テーブルが好適に設定されて、符号化データでのデータ圧縮の効率を向上することが可能となる。
【００３２】
また、本発明による画像復号方法は、フレーム画像を所定サイズのブロックに分割し、ブロック毎に画像データを符号化した符号化データを復号する復号方法であって、（１）複数のブロックからなるスライスレイヤと、１または複数のスライスレイヤからなりフレーム画像に対応するフレームレイヤとによる階層構造を有する符号化データを所定の確率テーブルを用いた逆算術符号化によって可変長復号して、画像データを生成する復号ステップと、（２）フレーム画像内にあるブロックのそれぞれについての画像データに対して所定のデータ復元操作を行って、フレーム画像を復元する復元ステップとを備え、（３）復号ステップにおいて、スライスレイヤを含む符号化データでのフレームレイヤのヘッダから、そのスライスレイヤに対する確率テーブルの初期化の有無を示すフラグを読み取り、確率テーブルの初期化の有無を設定するとともに、初期化有りと設定された場合に確率テーブルを初期化することを特徴とする。
【００３３】
あるいは、本発明による画像復号方法は、フレーム画像を所定サイズのブロックに分割し、ブロック毎に画像データを符号化した符号化データを復号する復号方法であって、（１）複数のブロックからなるスライスレイヤと、１または複数のスライスレイヤからなりフレーム画像に対応するフレームレイヤと、複数のフレームレイヤからなるシーケンスレイヤとによる階層構造を有する符号化データを所定の確率テーブルを用いた逆算術符号化によって可変長復号して、画像データを生成する復号ステップと、（２）フレーム画像内にあるブロックのそれぞれについての画像データに対して所定のデータ復元操作を行って、フレーム画像を復元する復元ステップとを備え、（３）復号ステップにおいて、スライスレイヤを含む符号化データでのシーケンスレイヤのヘッダから、そのスライスレイヤに対する確率テーブルの初期化の有無を示すフラグを読み取り、確率テーブルの初期化の有無を設定するとともに、初期化有りと設定された場合に確率テーブルを初期化することを特徴とする。
【００３４】
同様に、本発明による画像復号装置は、フレーム画像を所定サイズのブロックに分割し、ブロック毎に画像データを符号化した符号化データを復号する復号装置であって、（１）複数のブロックからなるスライスレイヤと、１または複数のスライスレイヤからなりフレーム画像に対応するフレームレイヤとによる階層構造を有する符号化データを所定の確率テーブルを用いた逆算術符号化によって可変長復号して、画像データを生成する復号手段と、（２）フレーム画像内にあるブロックのそれぞれについての画像データに対して所定のデータ復元操作を行って、フレーム画像を復元する復元手段とを備え、（３）復号手段は、スライスレイヤを含む符号化データでのフレームレイヤのヘッダから、そのスライスレイヤに対する確率テーブルの初期化の有無を示すフラグを読み取り、確率テーブルの初期化の有無を設定するとともに、初期化有りと設定された場合に確率テーブルを初期化することを特徴とする。
【００３５】
あるいは、本発明による画像復号装置は、フレーム画像を所定サイズのブロックに分割し、ブロック毎に画像データを符号化した符号化データを復号する復号装置であって、（１）複数のブロックからなるスライスレイヤと、１または複数のスライスレイヤからなりフレーム画像に対応するフレームレイヤと、複数のフレームレイヤからなるシーケンスレイヤとによる階層構造を有する符号化データを所定の確率テーブルを用いた逆算術符号化によって可変長復号して、画像データを生成する復号手段と、（２）フレーム画像内にあるブロックのそれぞれについての画像データに対して所定のデータ復元操作を行って、フレーム画像を復元する復元手段とを備え、（３）復号手段は、スライスレイヤを含む符号化データでのシーケンスレイヤのヘッダから、そのスライスレイヤに対する確率テーブルの初期化の有無を示すフラグを読み取り、確率テーブルの初期化の有無を設定するとともに、初期化有りと設定された場合に確率テーブルを初期化することを特徴とする。
【００３６】
また、本発明による画像復号プログラムは、上記した画像復号方法をコンピュータに実行させることを特徴とする。
【００３７】
上記した画像復号方法、装置、及びプログラムにおいては、符号化データに対して所定の確率テーブルを用いて逆算術符号化を行って画像データとした後、その画像データに対してデータ復元操作を行って、フレーム画像を復元する。そして、符号化データを復号する可変長復号において、スライスレイヤについて、所定のレイヤのヘッダから読み取った初期化の有無を示すフラグによって、各スライスレイヤにおいて確率テーブルを初期化するかどうかを設定している。
【００３８】
これにより、上述した算術符号化の場合と同様に、スライスレイヤにおいて確率テーブルが不必要に初期化されることを防止することができる。したがって、スライスレイヤとフレームレイヤとによる階層構造を有する符号化データに対し、符号化データの全体で確率テーブルが好適に設定されてデータ圧縮の効率が向上された符号化データから、フレーム画像を好適に復元することが可能となる。
【００３９】
また、画像伝送システムとしては、フレーム画像を所定サイズのブロックに分割し、ブロック毎に画像データを符号化した符号化データによってフレーム画像を伝送する画像伝送システムであって、（１）フレーム画像から符号化データを生成して出力する上記した画像符号化装置と、（２）画像符号化装置からの符号化データを入力してフレーム画像を復元する上記した画像復号装置とを備えることが好ましい。
【００４０】
このような画像伝送システムによれば、符号化データの全体で確率テーブルが好適に設定されてデータ圧縮の効率が向上された符号化データを用いて、効率的に画像を伝送することができる。
【発明の効果】
【００４１】
本発明による画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、及びプログラムは、スライスレイヤとフレームレイヤとによる階層構造を有する符号化データに対し、符号化データの全体で確率テーブルが好適に設定されて、符号化データでのデータ圧縮の効率を向上することが可能な方法及び装置等として利用可能である。
【発明を実施するための最良の形態】
【００４２】
以下、図面とともに本発明による画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、及びプログラムの好適な実施形態について詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。また、図面の寸法比率は、説明のものと必ずしも一致していない。
【００４３】
まず、画像符号化方法及び画像符号化装置について説明する。
【００４４】
図５は、本発明による画像符号化方法の一実施形態を概略的に示すフローチャートである。本符号化方法は、静画像または動画像でのフレーム画像である入力フレーム画像Ｄ１に対して所定のデータ変換操作及び符号化操作を行って、モバイル映像伝送システムなどの画像伝送システムにおいて伝送可能なデータ圧縮された符号化データＤ７を生成する画像符号化方法である。
【００４５】
図５に示した画像符号化方法においては、まず、入力フレーム画像Ｄ１を所定サイズ（所定の画素数）のブロックに分割し、フレーム画像Ｄ１内にあるブロックのそれぞれの画像に対して所定のデータ変換操作を行って、符号化対象となる画像データＤ６を作成する（ステップＳ１００、変換ステップ）。本実施形態においては、この変換ステップは２つのステップＳ１０１、Ｓ１０２からなる。
【００４６】
具体的には、フレーム画像Ｄ１に対して所定のデータ処理操作を行って画像データを変換し、空間座標によって表された画像データ（空間画像データ）Ｄ５とする（ステップＳ１０１）。ここで行われるデータ処理操作としては、例えば、動画像でのフレーム画像に対してインターフレーム符号化（フレーム間符号化）を行う場合の動き補償（ＭＣ：Motion Compensation）フレーム間予測がある。また、フレーム画像に対してイントラフレーム符号化（フレーム内符号化）を行う場合には、例えば、入力フレーム画像Ｄ１の画像データがそのまま空間画像データＤ５となる。
【００４７】
次に、空間画像データＤ５に対して直交変換操作を行って、空間周波数によって表された画像データ（周波数画像データ）である複数の直交変換係数Ｄ６を生成する（Ｓ１０２、直交変換ステップ）。この直交変換は、フレーム画像を分割したブロック毎に行われ、入力フレーム画像Ｄ１に含まれる各ブロックに対して、それぞれ直交変換係数Ｄ６が得られる。また、この直交変換係数に対して、必要に応じて量子化操作がさらに行われ、符号化対象の画像データとなる直交変換係数（量子化係数）が生成される。
【００４８】
続いて、複数の直交変換係数Ｄ６に対して算術符号化を用いて可変長符号化を行い、圧縮データである符号化データＤ７を生成する（Ｓ１０３、符号化ステップ）。すなわち、直交変換係数Ｄ６に対して適用する確率テーブルを所定の確率テーブルに設定する（Ｓ１０４）。そして、設定された確率テーブルを用いて直交変換係数Ｄ６を算術符号化して（Ｓ１０５）、符号化データＤ７とする。
【００４９】
ここで、本実施形態の画像符号化方法においては、符号化対象の画像データである直交変換係数Ｄ６を算術符号化して得られる符号化データＤ７について、スライスレイヤとフレームレイヤとによる階層構造を有するように符号化データを生成する。スライスレイヤは、複数のブロックからなるレイヤである。また、フレームレイヤは、１または複数のスライスレイヤからなり、フレーム画像に対応するレイヤである。
【００５０】
スライスレイヤは、データの多重化や転送の効率化のため、あるいは、伝送エラーが生じた場合の影響を最小限に止めるために用いられる。また、スライスレイヤにおいては、通常、算術符号化に適用される確率テーブルが初期化される。これに対して、本画像符号化方法では、各スライスレイヤに対して確率テーブルの初期化の有無を設定し、そのスライスレイヤを含む符号化データＤ７での所定のレイヤのヘッダに、設定された初期化の有無を示すフラグを付加するとともに、初期化有りと設定された場合に確率テーブルを初期化する。
【００５１】
本実施形態による画像符号化方法の効果について説明する。
【００５２】
図５に示した画像符号化方法においては、フレーム画像Ｄ１に対して動き補償や直交変換などのデータ変換操作を行って符号化対象の画像データＤ６とした後、その画像データＤ６を所定の確率テーブルを用いて算術符号化することによって、データ圧縮された符号化データＤ７を生成する。そして、符号化データＤ７を生成する可変長符号化において、各スライスレイヤで確率テーブルを初期化するかどうかを設定するとともに、所定のレイヤのヘッダに初期化の有無を示すフラグを付加している。
【００５３】
これにより、スライスレイヤにおいて確率テーブルが不必要に初期化されることを防止することができる。したがって、スライスレイヤとフレームレイヤとによる階層構造を有する符号化データＤ７に対し、符号化データＤ７の全体で確率テーブルが好適に設定されて、符号化データＤ７でのデータ圧縮の効率を向上することが可能となる。なお、具体的なフラグの付加方法等については、詳しく後述する。
【００５４】
図６は、本発明による画像符号化装置の一実施形態の構成を示すブロック図である。以下、図６に示した画像符号化装置を参照しつつ、図５に示した画像符号化方法についてさらに説明する。なお、以下においては、符号化対象として画像符号化装置に入力される入力フレーム画像Ｄ１について、主に時系列のフレーム画像からなる動画像を想定している。ただし、本発明による画像符号化方法及び画像符号化装置は、１フレームからなる静画像に対しても同様に適用することが可能である。
【００５５】
符号化対象として入力された入力フレーム画像Ｄ１は、まず、１６画素×１６ラインのサイズで正方形の画像ブロックへと分割される。この画像ブロックは、動き補償などのデータ処理の単位となる画像ブロックであり、マクロブロックと呼ばれる。なお、後述するＤＣＴ（直交変換）では、例えばＨ．２６Ｌ符号化方式では、４画素×４ラインのサイズのＤＣＴブロックが用いられる。この場合、１個のマクロブロックは、ＤＣＴにおいて、１６個の輝度（Luma）ブロックと、８個の色差（Chroma）ブロックとを有する。画像符号化はこれらのブロック毎に行われる。
【００５６】
フレーム画像Ｄ１は、動き検出部１１、動き補償部１２、減算器１３、直交変換部１４、及び量子化部１５を含んで構成された変換手段に入力される。変換手段は、フレーム画像Ｄ１内にあるブロックのそれぞれの画像に対して所定のデータ変換操作を行って、符号化対象となる画像データＤ６を作成する。
【００５７】
まず、フレーム画像Ｄ１は動き検出部１１に入力され、マクロブロック毎に画像の動きが検出される。動き検出部１１は、動きを検出しようとするマクロブロックでの画像データと、入力フレーム画像または他のフレーム画像にある他のマクロブロックでの画像データとを比較して、画像の動きを示す動きベクトルＤ２を検出する。
【００５８】
具体的には、動き検出部１１では、符号化済のフレーム画像としてフレームメモリ２０に格納されている局所復号画像Ｄ８内の所定の画像領域を参照して、現在の符号化対象となっている入力フレーム画像Ｄ１のマクロブロックと類似するパターンを見つけ出す。そして、その類似パターンとマクロブロックとの間の空間的な移動量によって、動きベクトルＤ２を決定する。また、このとき、動き補償について用意された複数の符号化モードから、マクロブロックでの動き補償に用いられる符号化モードが選択される。
【００５９】
図７Ａ〜図７Ｊは、動き補償について用意される符号化モードの一例を示す模式図である。この図７Ａ〜図７Ｊに例示した符号化モードでは、動き補償を行わないスキップ（Ｓｋｉｐ）モード０と、それぞれ異なる動き補償用ブロックへのブロック区分を用いてインターフレーム符号化を行うインターモード１〜７と、それぞれ異なるブロック区分を用いてイントラフレーム符号化を行うイントラモード８、９との１０個の符号化モードが用意されている。なお、上記した動きベクトルＤ２は、各マクロブロックに対して、区分された動き補償用ブロック毎に付与される。
【００６０】
動きベクトルＤ２が求められたら、動き補償部１２において、動き検出部１１からの動きベクトルＤ２と、フレームメモリ２０からの局所復号画像Ｄ８とを用いて、動き予測画像を生成する。フレーム画像Ｄ１に含まれる全てのマクロブロックについて動きベクトルＤ２を決定して動き予測画像を生成することにより、入力フレーム画像Ｄ１に対する予測フレーム画像Ｄ４が得られる。続いて、減算器１３において、入力フレーム画像Ｄ１と予測フレーム画像Ｄ４との間の差分（予測残差）フレーム画像Ｄ５が生成される。また、予測フレーム画像Ｄ４が作成されていない場合には、入力フレーム画像Ｄ１がそのままフレーム画像Ｄ５とされる。
【００６１】
差分フレーム画像Ｄ５の画像データは、直交変換部（直交変換手段）１４へと入力される。直交変換部１４では、空間座標による差分フレーム画像Ｄ５に対して、マクロブロックに含まれる直交変換ブロック（例えば１６個の輝度ブロックと８個の色差ブロック）毎に直交変換が行われて、周波数画像データである直交変換係数が生成される。また、この直交変換係数は、量子化部１５において所定の量子化パラメータによって量子化されて、算術符号化での符号化対象の画像データとなる最終的な直交変換係数（量子化係数）Ｄ６が得られる。
【００６２】
図８Ａ及び図８Ｂは、画像データの直交変換について示す図である。フレーム画像Ｄ５内にある直交変換用に分割された各ブロックの画像データは空間画像データであり、図８Ａに４×４の画像成分によって例示するように、水平座標と垂直座標とで規定される４×４の空間画像成分ａ１１〜ａ４４によって表される。直交変換部１４は、この空間画像データを所定の変換方法で直交変換することによって、図８Ｂに示す画像データへと変換する。この画像データは周波数画像データであり、水平周波数と垂直周波数とで規定される４×４の周波数画像成分である直交変換係数ｆ１１〜ｆ４４によって表される。
【００６３】
具体的な直交変換としては、例えば、離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）を適用することができる。ＤＣＴは、フーリエ変換のコサインの項を用いる直交変換であり、画像符号化において多く用いられている。空間画像データに対してＤＣＴを行うことにより、周波数画像データであるＤＣＴ係数ｆ１１〜ｆ４４が生成される。なお、ＤＣＴにおいては、例えばＨ．２６Ｌ符号化方式では、直交変換用のブロックとして、図８Ａ及び図８Ｂに示したように４×４のＤＣＴブロックが用いられる。
【００６４】
直交変換部１４及び量子化部１５によって生成された直交変換係数Ｄ６は、可変長符号化部（符号化手段）１６において、所定の確率テーブルを用いた算術符号化によって可変長符号化される。これにより、入力フレーム画像Ｄ１の圧縮データである符号化データＤ７が生成される。
【００６５】
具体的には、例えば、図８Ｂに示した直交変換係数Ｄ６の２次元データはジグザグ・スキャンによって１次元データへと変換され、さらにＬｅｖｅｌ及びＲｕｎのデータへと変換された後、２値化される。そして、得られた２値化パターンを算術符号化することによって、符号化データＤ７が作成される。
【００６６】
また、可変長符号化部１６には、直交変換係数Ｄ６に加えて、動き検出部１１によって検出された動きベクトルＤ２と、動き検出部１１において選択された符号化モードを示す符号化モード情報Ｄ３とが入力されている。これらの動きベクトルＤ２及び符号化モード情報Ｄ３は、可変長符号化部１６において、直交変換係数Ｄ６と同様に、所定の確率テーブルを用いた算術符号化によって可変長符号化されて、符号化データＤ７に多重化される。
【００６７】
ここで、可変長符号化部１６において算術符号化に用いられる確率テーブルの設定及び初期化、スライスレイヤに対する初期化の有無の設定、及び符号化データへのフラグの付加については、図５に示した画像符号化方法に関して上述した通りである。また、動きベクトルＤ２及び符号化モード情報Ｄ３の算術符号化においては、通常は、直交変換係数Ｄ６の算術符号化とは異なる確率テーブルが用いられる。また、直交変換係数Ｄ６の算術符号化においても、輝度ブロックの算術符号化と色差ブロックの算術符号化とで、異なる確率テーブルを用いても良い。
【００６８】
また、直交変換部１４及び量子化部１５によって生成された直交変換係数Ｄ６は、本画像符号化装置内において、逆量子化部１７及び逆直交変換部１８によって復号される。そして、復号された画像データと予測フレーム画像Ｄ４とが加算器１９において加算されて、局所復号画像Ｄ８が生成される。この局所復号画像Ｄ８はフレームメモリ２０に格納されて、他のフレーム画像の動き補償に利用される。
【００６９】
次に、画像復号方法及び画像復号装置について説明する。
【００７０】
図９は、本発明による画像復号方法の一実施形態を概略的に示すフローチャートである。本復号方法は、図５に示した画像符号化方法によって生成された符号化データＤ７に対して所定の復号操作及びデータ復元操作を行って、入力フレーム画像Ｄ１に対応する画像として出力フレーム画像Ｄ１０を復元する画像復号方法である。
【００７１】
図９に示した画像復号方法においては、まず、符号化データＤ７に対して逆算術符号化を用いて可変長復号を行い、空間周波数によって表された画像データである複数の直交変換係数（量子化係数）Ｄ６を生成する（Ｓ２０１、復号ステップ）。すなわち、符号化データＤ７に対して適用する確率テーブルを所定の確率テーブルに設定する（Ｓ２０２）。そして、設定された確率テーブルを用いて符号化データＤ７を逆算術符号化して（Ｓ２０３）、周波数画像データである直交変換係数Ｄ６とする。
【００７２】
ここで、本実施形態の画像復号方法においては、スライスレイヤとフレームレイヤとによる階層構造を有する符号化データＤ７での各スライスレイヤに対し、スライスレイヤを含む符号化データＤ７での所定のレイヤのヘッダから、そのスライスレイヤに対する確率テーブルの初期化の有無を示すフラグを読み取り、それによってスライスレイヤでの確率テーブルの初期化の有無を設定するとともに、初期化有りと設定された場合に確率テーブルを初期化する。
【００７３】
次に、フレーム画像内にあるブロックのそれぞれについての画像データである直交変換係数Ｄ６に対して所定のデータ復元操作を行って、フレーム画像を復元する（Ｓ２００、復元ステップ）。本実施形態においては、この復元ステップは、２つのステップＳ２０４、Ｓ２０５からなる。
【００７４】
具体的には、直交変換係数Ｄ６に対して逆量子化操作及び逆直交変換操作を順次行って、空間座標によって表された画像データ（空間画像データ）Ｄ９を生成する（Ｓ２０４、逆直交変換ステップ）。そして、空間画像データＤ９に対して所定のデータ処理操作を行って画像データを変換し、出力フレーム画像Ｄ１０を復元する（Ｓ２０５）。
【００７５】
本実施形態による画像復号方法の効果について説明する。
【００７６】
図９に示した画像復号方法においては、符号化データＤ７に対して所定の確率テーブルを用いて逆算術符号化を行って画像データＤ６とした後、その画像データＤ６に対してデータ復元操作を行って、フレーム画像Ｄ１０を復元する。そして、符号化データＤ７を復号する可変長復号において、所定のレイヤのヘッダから読み取った初期化の有無を示すフラグによって、各スライスレイヤで確率テーブルを初期化するかどうかを設定している。
【００７７】
これにより、上述した算術符号化の場合と同様に、スライスレイヤにおいて確率テーブルが不必要に初期化されることを防止することができる。したがって、スライスレイヤとフレームレイヤとによる階層構造を有する符号化データＤ７に対し、符号化データＤ７の全体で確率テーブルが好適に設定されてデータ圧縮の効率が向上された符号化データＤ７から、フレーム画像を好適に復元することが可能となる。
【００７８】
図１０は、本発明による画像復号装置の一実施形態の構成を示すブロック図である。
【００７９】
復号対象として入力された符号化データＤ７は可変長復号部（復号手段）２１に入力されて所定の確率テーブルを用いた逆算術符号化によって可変長復号され、画像データである直交変換係数Ｄ６が生成される。可変長復号部２１は、データ圧縮された符号化データＤ７について、フレームレイヤの先頭を検出し、以後、マクロブロック毎に符号化データＤ７に含まれている各データを復号して、周波数画像データである直交変換係数Ｄ６、及び動きベクトルＤ２等を生成する。また、フレームレイヤに含まれている各スライスレイヤについて、所定のレイヤのヘッダから確率テーブルの初期化の有無を示すフラグを読み取り、初期化が指示されていれば、確率テーブルの初期化を行う。
【００８０】
可変長復号部２１において復号された直交変換係数Ｄ６は、逆量子化部２２、逆直交変換部２３、動き補償部２４、及び加算器２６を含んで構成された復元手段に入力される。復元手段は、フレーム画像内にあるブロックのそれぞれについての画像データである直交変換係数Ｄ６に対して所定のデータ復元操作を行って、フレーム画像Ｄ１０を復元する。
【００８１】
まず、直交変換係数Ｄ６は、逆量子化部２２及び逆直交変換部（逆直交変換手段）２３によって逆量子化、逆直交変換される。これにより、空間画像データである復元差分フレーム画像Ｄ９が生成される。この復元差分フレーム画像Ｄ９は、符号化前の差分フレーム画像Ｄ５に対応したフレーム画像である。
【００８２】
一方、動きベクトルＤ２は、動き補償部２４へと入力される。動き補償部２４では、可変長復号部２１からの動きベクトルＤ２と、フレームメモリ２５に格納されている他のフレーム画像とを用いて、予測フレーム画像Ｄ４が生成される。そして、加算器２６において、復元差分フレーム画像Ｄ９と予測フレーム画像Ｄ４とが加算されて、復元されたフレーム画像が出力フレーム画像Ｄ１０として出力される。
【００８３】
ここで、上記した画像符号化装置において実行される画像符号化方法に対応する処理は、画像符号化をコンピュータに実行させるための画像符号化プログラムによって実現可能である。また、画像復号装置において実行させる画像復号方法に対応する処理は、画像復号をコンピュータに実行させるための画像復号プログラムによって実現可能である。
【００８４】
例えば、画像符号化装置は、画像符号化の処理動作に必要な各ソフトウェアプログラムなどが記憶させるＲＯＭと、プログラム実行中に一時的にデータが記憶されるＲＡＭとが接続されたＣＰＵによって構成することができる。このような構成において、ＣＰＵによって所定の画像符号化プログラムを実行することにより、画像符号化装置を実現することができる。
【００８５】
同様に、画像復号装置は、画像復号の処理動作に必要な各ソフトウェアプログラムなどが記憶されるＲＯＭと、プログラム実行中に一時的にデータが記憶されるＲＡＭとが接続されたＣＰＵによって構成することができる。このような構成において、ＣＰＵによって所定の画像復号プログラムを実行することにより、画像復号装置を実現することができる。
【００８６】
また、画像符号化または画像復号のための各処理をＣＰＵに実行させるための上記したプログラムは、コンピュータ読取可能な記録媒体に記録して頒布することが可能である。このような記録媒体には、例えば、ハードディスク及びフレキシブルディスクなどの磁気媒体、ＣＤ−ＲＯＭ及びＤＶＤ−ＲＯＭなどの光学媒体、フロプティカルディスクなどの磁気光学媒体、あるいは、プログラム命令を実行または格納するように特別に配置された、例えばＲＡＭ、ＲＯＭ、及び半導体不揮発性メモリなどのハードウェアデバイスなどが含まれる。
【００８７】
また、画像符号化または画像復号をコンピュータに実行させるための上記したプログラムは、搬送波に包含されるコンピュータデータ信号とすることが可能である。これにより、画像符号化プログラムまたは画像復号プログラムを、有線または無線の搬送路等を介して搬送することができる。
【００８８】
以下、図５、図６に示した画像符号化方法及び画像符号化装置におけるスライスレイヤに対する確率テーブルの初期化の有無の設定、及び符号化データへのフラグの付加について、ＩＴＵ−Ｔ  Ｈ．２６Ｌ符号化方式を例として、具体的に説明する。なお、以下に説明する設定方法等については、図９、図１０に示した画像復号方法及び画像復号装置に対しても同様に適用することが可能である。また、具体的な符号化方式については、上記したＨ．２６Ｌ符号化方式には限定されない。
【００８９】
図１１Ａ及び図１１Ｂは、符号化データのデータ構造の一例を示す図である。また、図１２は、符号化データのデータ系列の一例を示す図である。
【００９０】
図１１Ａは、符号化データの階層構造の一例を示す図である。本データ構造においては、符号化データは、下位のデータから順に、ブロックレイヤ（以下、Ｂで表す）、マクロブロックレイヤ（Ｍ）、スライスレイヤ（Ｓ）、フレームレイヤ（Ｆ）、及びシーケンスレイヤ（Ｑ）の６つのレイヤを有している。
【００９１】
ブロックレイヤＢは、空間画像データから周波数画像データへと直交変換を行うときの変換単位となるブロックに対応するレイヤである。例えば直交変換としてＤＣＴが用いられている場合には、このブロックレイヤはＤＣＴブロックに対応する。
【００９２】
また、マクロブロックレイヤＭは、画像データに対して動き補償フレーム間予測を行うときの予測単位となるマクロブロックに対応するレイヤである。このマクロブロックレイヤＭは、図１２に示すように、複数のブロックレイヤＢ（例えば１６個の輝度ＤＣＴブロックと８個の色差ＤＣＴブロックとの２４個のＤＣＴブロックレイヤ）からなる。また、マクロブロックレイヤＭのヘッダ（図１２中に示すＭヘッダ）には、そのマクロブロックの属性情報などが含まれている。
【００９３】
スライスレイヤＳは、１個のフレーム画像を１または複数に分割した各画像領域に対応し、これらの分割されたスライスレイヤＳを合わせたものが、フレーム画像に対応するフレームレイヤ（ピクチャレイヤ）Ｆとなる。フレームレイヤＦは、フレーム画像に対応するレイヤであり、画像符号化での基本的な符号化単位となる。
【００９４】
また、時系列で複数のフレーム画像からなる動画像の符号化データでは、それらのフレームレイヤＦ全体を含むレイヤが、シーケンスレイヤＱとされる。また、フレームレイヤＦとシーケンスレイヤＱとの中間のレイヤとして、複数のフレームレイヤＦからなるＧＯＰレイヤを設けても良い。
【００９５】
図１１Ｂは、フレーム画像の複数のスライスへの分割例を示す図である。符号化データの作成においては、フレーム画像は１または複数のスライス（例えば図１１Ｂにおいては８個のスライス）に分割される。これらのスライスＳは、図１２に示すように、１または複数のマクロブロックＭからなり、画像の左上から始まってラスタ・スキャン順序に右下に続くマクロブロックの集合として構成される。なお、図１１Ｂにおいては、８個のスライスのそれぞれが異なる長さとなっているが、同じ長さであっても良い。
【００９６】
フレームレイヤＦが分割されたスライスレイヤＳは、画像データの符号化及び復号において、同期回復の単位となるレイヤである。この同期回復のため、スライスレイヤＳのヘッダであるスライスヘッダ（Ｓヘッダ）には、同期コードが付加される。
【００９７】
上述した画像符号化方法及び装置においては、各スライスレイヤＳに対して、スライスヘッダの同期コードによる同期回復時に算術符号化に用いられる確率テーブルを初期化するかどうかを設定する。そして、そのスライスレイヤＳを含む所定のレイヤのヘッダに、設定された初期化の有無を示すフラグを付加する。これにより、スライスレイヤにおいて確率テーブルが不必要に初期化されることが防止される。
【００９８】
各スライスレイヤＳに対して確率テーブルの初期化の有無を指示するためのフラグを付加するヘッダとしては、例えば、初期化の有無の設定対象となっているスライスレイヤ自体のスライスヘッダ（Ｓヘッダ）にフラグを付加するデータ構成が可能である。この場合、静画像または動画像に含まれるスライス毎に、スライスレイヤでの確率テーブルの初期化の有無を設定することができる。
【００９９】
また、初期化の有無の設定対象となっているスライスレイヤを含むフレームレイヤのフレームヘッダ（Ｆヘッダ）にフラグを付加するデータ構成が可能である。この場合、静画像または動画像に含まれるフレーム毎に、そのフレームレイヤに含まれているスライスレイヤのそれぞれに対して、スライスレイヤでの確率テーブルの初期化の有無を設定することができる。
【０１００】
あるいは、複数のフレーム画像からなる動画像では、全体のレイヤであるシーケンスレイヤのシーケンスヘッダ（Ｑヘッダ）にフラグを付加するデータ構成としても良い。これにより、複数のフレーム画像からなる動画像（映像）の全体について、スライスレイヤでの確率テーブルの初期化の有無を設定することができる。
【０１０１】
また、符号化データのデータ系列が、図１２に示したような形式のデータではなく、パケットによるデータとして送られる場合には、スライスレイヤには同期コードは付加されない。このような場合には、パケットの先頭のヘッダ部分に初期化の有無を示すフラグを付加する構成を用いることができる。
【０１０２】
なお、フラグによって指示される確率テーブルの初期化の有無に関しては、画像データの算術符号化において輝度ブロックと色差ブロックとで異なる確率テーブルを適用するなど、複数の確率テーブルが用いられている場合には、複数の確率テーブルそれぞれに対して別個に初期化の有無を指示することが可能である。あるいは、複数の確率テーブルの全体に対して初期化の有無を指示しても良い。また、動きベクトルや符号化モード情報に対して適用する確率テーブルについても、同様に確率テーブルの初期化の有無を指示しても良い。
【０１０３】
また、各スライスレイヤに対する確率テーブルの初期化の有無の設定方法については、シンタックスまたは確率テーブルのそれぞれに対して、初期化の有無をあらかじめ設定しておいても良い。あるいは、必要に応じて初期化の有無を切り換えて設定することも可能である。
【０１０４】
図１３は、本発明による画像伝送システム（例えばモバイル映像伝送システム）の一実施形態の構成を示す模式図である。本画像伝送システムは、図５に示した画像符号化方法が実現される画像符号化装置（例えば図６に示す画像符号化装置）１と、図９に示した画像復号方法が実現される画像復号装置（例えば図１０に示す画像復号装置）２とを備えて構成される。
【０１０５】
本システムにおいて、入力フレーム画像Ｄ１は、画像符号化装置１において符号化されて符号化データＤ７が生成され、有線または無線の所定の伝送路へと出力される。そして、画像符号化装置１から伝送路を伝送された符号化データＤ７は、画像復号装置２に入力され、出力フレーム画像Ｄ１０として復元される。
【０１０６】
このような画像伝送システムによれば、符号化データの全体で確率テーブルが好適に設定されてデータ圧縮の効率が向上された符号化データを用いて、効率的に画像を伝送することができる。
【産業上の利用可能性】
【０１０７】
本発明による画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、及びプログラムは、スライスレイヤとフレームレイヤとによる階層構造を有する符号化データに対し、符号化データの全体で確率テーブルが好適に設定されて、符号化データでのデータ圧縮の効率を向上することが可能な方法及び装置等として利用可能である。
【０１０８】
すなわち、画像データを算術符号化して符号化データを生成する可変長符号化において、スライスレイヤについて、各スライスレイヤにおいて確率テーブルを初期化するかどうかを設定するとともに、所定のレイヤのヘッダに初期化の有無を示すフラグを付加する構成によれば、スライスレイヤにおいて確率テーブルが不必要に初期化されることを防止することができる。したがって、スライスレイヤとフレームレイヤとによる階層構造を有する符号化データに対し、符号化データの全体で確率テーブルが好適に設定されて、符号化データでのデータ圧縮の効率を向上することが可能となる。
【図面の簡単な説明】
【０１０９】
【図１】算術符号化に用いられる確率テーブルの一例を示す表である。
【図２】図１に示した確率テーブルを用いた文字列の符号化について示す図である。
【図３】図１に示した確率テーブルを用いた文字列の復号について示す図である。
【図４】算術符号化を用いた画像符号化方法の一例を示すフローチャートである。
【図５】画像符号化方法の一実施形態を概略的に示すフローチャートである。
【図６】画像符号化装置の一実施形態の構成を示すブロック図である。
【図７Ａ】動き補償に用いられる符号化モードの一例を示す模式図である。
【図７Ｂ】動き補償に用いられる符号化モードの一例を示す模式図である。
【図７Ｃ】動き補償に用いられる符号化モードの一例を示す模式図である。
【図７Ｄ】動き補償に用いられる符号化モードの一例を示す模式図である。
【図７Ｅ】動き補償に用いられる符号化モードの一例を示す模式図である。
【図７Ｆ】動き補償に用いられる符号化モードの一例を示す模式図である。
【図７Ｇ】動き補償に用いられる符号化モードの一例を示す模式図である。
【図７Ｈ】動き補償に用いられる符号化モードの一例を示す模式図である。
【図７Ｉ】動き補償に用いられる符号化モードの一例を示す模式図である。
【図７Ｊ】動き補償に用いられる符号化モードの一例を示す模式図である。
【図８Ａ】画像データの直交変換について示す図である。
【図８Ｂ】画像データの直交変換について示す図である。
【図９】画像復号方法の一実施形態を概略的に示すフローチャートである。
【図１０】画像復号装置の一実施形態の構成を示すブロック図である。
【図１１Ａ】符号化データのデータ構造の一例を示す図である。
【図１１Ｂ】符号化データのデータ構造の一例を示す図である。
【図１２】符号化データのデータ系列の一例を示す図である。
【図１３】画像伝送システムの一実施形態の構成を示す模式図である。
【符号の説明】
【０１１０】
１１…動き検出部、１２…動き補償部、１３…減算器、１４…直交変換部、１５…量子化部、１６…可変長符号化部、１７…逆量子化部、１８…逆直交変換部、１９…加算器、２０…フレームメモリ、
２１…可変長復号部、２２…逆量子化部、２３…逆直交変換部、２４…動き補償部、２５…フレームメモリ、２６…加算器、
Ｄ１…入力フレーム画像、Ｄ２…動きベクトル、Ｄ３…符号化モード情報、Ｄ４…予測フレーム画像、Ｄ５…差分フレーム画像、Ｄ６…直交変換係数、Ｄ７…符号化データ、Ｄ８…局所復号画像、Ｄ９…復元差分フレーム画像、Ｄ１０…出力フレーム画像。
【図１】
0003778913.tif 000002
【図２】
0003778913.tif 000003
【図３】
0003778913.tif 000004
【図４】
0003778913.tif 000005
【図５】
0003778913.tif 000006
【図６】
0003778913.tif 000007
【図７Ａ】
0003778913.tif 000008
【図７Ｂ】
0003778913.tif 000009
【図７Ｃ】
0003778913.tif 000010
【図７Ｄ】
0003778913.tif 000011
【図７Ｅ】
0003778913.tif 000012
【図７Ｆ】
0003778913.tif 000013
【図７Ｇ】
0003778913.tif 000014
【図７Ｈ】
0003778913.tif 000015
【図７Ｉ】
0003778913.tif 000016
【図７Ｊ】
0003778913.tif 000017
【図８Ａ】
0003778913.tif 000018
【図８Ｂ】
0003778913.tif 000019
【図９】
0003778913.tif 000020
【図１０】
0003778913.tif 000021
【図１１Ａ】
0003778913.tif 000022
【図１１Ｂ】
0003778913.tif 000023
【図１２】
0003778913.tif 000024
【図１３】
0003778913.tif 000025