(57)【要約】【課題】いろいろな形状に分割された領域の符号化データを正しく復号する技術を提供する。【解決手段】動画像復号装置は、入力された符号化ビットストリーム１１をビット列から符号化データへの変換するビットストリーム解析部４３と、符号化データに含まれる各領域の領域形状情報を復号し、各領域の頂点座標を特定する領域形状復号部４４と、特定された頂点座標に基づいて決定された各領域に対応する動きパラメータを復号する動き情報復号部４７と、復号された動きパラメータに基づいて動き補償予測を行い、参照画像から予測画像を生成する動き補償部４９と、各領域の画像データを復号する画像データ復号部４６と、を備える。【選択図】図２５
2008263660.tif 000002
【特許請求の範囲】
【請求項１】
符号化データに含まれる各領域の領域形状情報を復号し、前記各領域の頂点座標を特定する領域形状情報復号部と、
前記領域形状情報復号部により特定される頂点座標に基づいて決定された前記各領域に対応する動きパラメータを復号する動き情報復号部と、
前記動き情報復号部により復号された動きパラメータに基づいて動き補償予測を行い、参照画像から予測画像を生成する動き補償部と、
を備えることを特徴とする動画像復号装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、符号化された動画像を復号する装置に関する。
【背景技術】
【０００２】
図２７は、第一の従来技術である、ＩＴＵ−Ｔの勧告Ｈ．２６３にもとづく動画像符号化装置の構成を示すブロック図である。同図において、１は入力デジタル画像信号（以下、単に入力画像ともいう）、１０１は差分器、１０２は予測信号、１０３は予測誤差信号、１０４は符号化部、１０５は符号化データ、１０６は復号部、１０７は復号された予測誤差信号、１０８は加算器、１０９は局所（ローカル）復号画像信号、１１０はメモリ、１１１は予測部、１１２は動きベクトルである。
【０００３】
符号化すべき入力画像１は、まず差分器１０１に入力される。差分器１０１は、入力画像１と予測信号１０２との差分をとり、それを予測誤差信号１０３として出力する。符号化部１０４は、原信号である入力画像１または予測誤差信号１０３を符号化して符号化データ１０５を出力する。符号化部１０４における符号化の方法として、前記勧告では、予測誤差信号１０３を直交変換の一種であるＤＣＴ（Discrete Cosine Transformation：離散コサイン変換）を用いて空間領域から周波数領域に変換し、得られた変換係数を線形量子化する手法が採用されている。
【０００４】
符号化データ１０５は二方向に分岐する。一方は受信側の画像復号装置（図示せず）に向けて送出され、他方は本装置内の復号部１０６に入力される。復号部１０６は、符号化部１０４と逆の動作を行い、符号化データ１０５から復号予測誤差信号１０７を生成して出力する。加算器１０８は、復号予測誤差信号１０７と予測信号１０２を加算し、これを復号画像信号１０９として出力する。予測部１１１は、入力画像１とメモリ１１０に蓄えられた１フレーム前の復号画像信号１０９とを用いて動き補償予測を行い、予測信号１０２と動きベクトル１１２を出力する。このとき動き補償はマクロブロックと呼ばれる１６×１６画素からなる固定サイズのブロック単位で行われる。動きの激しい領域内のブロックについては、オプショナルな機能として、マクロブロックを４分割した８×８画素のサブブロック単位で動き補償予測を行うこともできる。求められた動きベクトル１１２は画像復号装置に向かって送出され、予測信号１０２は差分器１０１および加算器１０８に送られる。この装置によれば、動き補償予測を用いることにより、画質を維持しながら動画像のデータ量を圧縮することができる。
【０００５】
図２８は第二の従来技術に係る画像符号化装置の構成図である。この装置は、L.C.Realらによる"A Very Low Bit Rate Video Coder Based on Vector Quantization"（IEEE Trans. on Image Processing, VOL.5, NO.2, Feb.1996）で提案された符号化方法にもとづく。同図において、１１３は領域分割部、１１４は予測部、１１５は領域決定部、１１６はフレーム間符号化／フレーム内符号化（インター／イントラ）情報を含む符号化モード情報、１１７は動きベクトル、１１８は符号化部、１１９は符号化データである。
【０００６】
この装置では、まず領域分割部１１３で入力画像１を複数の領域に分割する。領域分割部１１３は、動き補償予測誤差に基づき領域の大きさを決定する。領域分割部１１３は、あらかじめ用意した１０種類のブロックサイズ４×４，４×８，８×４，８×８，８×１６，１６×８，１６×１６，１６×３２，３２×１６，３２×３２の中から、フレーム間信号の分散に関して閾値を用いた判定を行い、動きの大きい領域には小さなブロックを、また、背景などの動きの小さい領域には大きなブロックを割り当てる。具体的には、予測部１１４で得られた予測誤差信号について領域決定部１１５でその分散値を計算し、これに基づきブロックサイズを決定していく。領域形状情報や符号化モード等の属性情報１１６、動きベクトル１１７もこの時点で決定され、符号化モード情報にしたがって予測誤差信号または原信号が符号化部１１８で符号化され、符号化データ１１９が得られる。以降の処理は第一の従来技術と同じである。
【０００７】
【非特許文献１】L.C.Realらによる"A Very Low Bit Rate Video Coder Based on Vector Quantization"（IEEE Trans. on Image Processing, VOL.5, NO.2, Feb.1996）
【発明の開示】
【発明が解決しようとする課題】
【０００８】
第一の従来技術では、符号化単位の領域の形が２種類に限定される。しかも、それらはともに正方形である。したがって、画像のシーン構造または画像の特徴に適応した符号化にはおのずと限界がある。例えば、動きの大きな被写体のみについて符号量を上げたい場合、できる限りその被写体と同じ形の領域を定義したいが、この従来技術では困難である。
【０００９】
第二の従来技術は、複数のサイズのブロックを準備する点で第一の従来技術よりも処理の柔軟性に富む。しかし、この装置でも結局は各領域は正方形に限られる。したがって、１０種類の大きさの正方形はあるとはいえ、やはり任意の形状の画像領域に対する適応性には改善の余地がある。
【００１０】
本発明はこうした課題に鑑みてなされたものであり、その目的は、いろいろな形状に分割された領域の符号化データを正しく復号する技術を提供することにある。
【課題を解決するための手段】
【００１１】
本発明の動画像復号装置は、符号化データに含まれる各領域の領域形状情報を復号し、前記各領域の頂点座標を特定する領域形状情報復号部と、前記領域形状情報復号部により特定される頂点座標に基づいて決定された前記各領域に対応する動きパラメータを復号する動き情報復号部と、前記動き情報復号部により復号された動きパラメータに基づいて動き補償予測を行い、参照画像から予測画像を生成する動き補償部と、を備えるものである。
【発明の効果】
【００１２】
本発明によれば、符号化装置でいろいろな形状の領域が生成されていても対応することができる。
【発明を実施するための最良の形態】
【００１３】
実施の形態１．
図１は本実施の形態に係る動画像符号化装置の構成を示すブロック図である。この装置は、例えばテレビ電話やテレビ会議等、画像通信用の携帯または据置型機器に利用できる。また、デジタルＶＴＲ、ビデオサーバーなどの画像蓄積および記録装置における動画像符号化装置として利用できる。さらに、この装置における処理の手順は、ソフトウエアまたはＤＳＰのファームウエアの形で実装される動画像符号化プログラムとしても利用できる。
【００１４】
図１において、１は入力画像、２は領域分割部、３は領域形状情報、４は領域画像信号、５は領域動き情報、６は領域属性情報、７は符号化部、８は局所復号画像、９はメモリ、１０は参照画像、１１は符号化ビットストリームである。図２は本装置の動作を示すフローチャートである。図１、図２をもとに、まず装置全体の動作を説明する。
【００１５】
入力画像１は領域分割部２に入力され（Ｓ１）、ここで複数の領域に分割される。領域分割部２は後述のごとく初期分割（Ｓ２）、近傍領域統合（Ｓ３）の２系統の処理を行う。領域分割部２は、分割の結果得られる各領域について形状情報３、画像信号４、動き情報５、各領域の符号化モードなどの属性情報６を符号化部７へ受け渡す。符号化部７では、これらの情報を所定の符号化方法に基づいてビットパターンに変換および多重化し、符号化ビットストリーム１１として出力する（Ｓ４、Ｓ５）。また、動き補償予測に基づく領域分割および符号化を行うために、符号化部７では領域ごとに局所復号画像８を生成し、これをメモリ９に蓄えておく。領域分割部２および符号化部７はメモリ９に蓄えられた局所復号画像を参照画像１０として取り出し、動き補償予測を行う。
【００１６】
図３は領域分割部２の詳細な構成図である。同図において、１２は分割処理部、１３は初期分割形状情報、１４は統合処理部である。
【００１７】
（１）初期分割
図２のＳ２に相当する初期分割は分割処理部１２において行う。初期分割とは、統合に進む前に行われる分割をいい、分割の合計回数は画像の状態、つまり画像の特徴または特性に依存する。
【００１８】
図４に分割処理部１２の内部構成を示す。同図において、１５は均等分割部、１６はアクティビティ算出部、１７はアクティビティ、１８は分割判定部、１９は分割状態指示信号である。アクティビティとは、画像の特徴または特性を判定するために、所定の性質に関して数値化されたデータである。ここではアクティビティとして、領域の動き補償予測に伴う予測誤差電力を採用する。
【００１９】
図１９はブロックマッチング法による動き補償予測の方法を示している。ブロックマッチング法では、つぎの式を与えるベクトルｖが被予測領域Ｓの動きベクトルとして求められる。
【数１】
2008263660.tif 000003
ただし、被予測領域Ｓの時刻ｔにおける（ｘ、ｙ）上の画素値をｆｓ（ｘ，ｙ，ｔ）、時刻ｔ−１における（ｘ、ｙ）上の画素値をｆｓ（ｘ，ｙ，ｔ−１）、位置（ｘ、ｙ、ｔ−１）をベクトルｖだけ変位させた位置の画素値をｆｓ（ｘ＋ｖx，ｙ＋ｖy，ｔ−１）とする。また、Ｒは動きベクトル探索範囲を表す。
【００２０】
この結果得られたベクトルによって、予測画像はｆｓ（ｘ＋ｖx，ｙ＋ｖy，ｔ−１）で与えられ、予測誤差電力、すなわちアクティビティはＤminとなる。この方法でアクティビティを定義することにより、画像の局所的な動きの複雑さに応じて領域分割を行うことができる。動きの激しい部分を密に、動きの少ない部分を粗く符号化するなどの制御が可能になる。なお、アフィン動きパラメータを求めるアフィン動き補償、３次元的な動きを検出する Perspective 動き補償などを利用してもよい。
【００２１】
図５は分割処理部１２の動作を示すフローチャートである。同図のごとく、まず均等分割部１５で無条件に均等ブロック分割を行う（Ｓ８）。この際、例えば図６のように１フレームを３２×３２画素のブロックに分割する。この分割処理を第０分割ステージとよぶ。第０分割ステージで生成されたブロック数をＮ0、各ブロックをＢ0n(1≦ｎ≦Ｎ0)と表記する。
【００２２】
つづいて、各Ｂ0nについてさらにブロック分割を行うかどうかを個別に判定する（Ｓ９）。このため、アクティビティ算出部１６において各Ｂ0nのアクティビティ１７を算出する。分割判定部１８は、あらかじめ設定した閾値ＴＨ０と各ブロックのアクティビティを比較し、アクティビティ１７がＴＨ０よりも大きい場合、そのＢ0nをさらに４分割する（Ｓ１０）。これが第１分割ステージである。  図７は第１分割ステージ終了時点の画像の分割状態である。新たに生成された１６×１６画素ブロックの数をＮ1、各ブロックをＢ1n(１≦ｎ≦Ｎ1)と表記する。この後、各Ｂ1nのアクティビティを算出し、閾値ＴＨ１を用いて第２分割ステージを行う。以降、第ｊ分割ステージで生成されたブロックＢjnに閾値ＴＨｊを適用し、第ｊ＋１分割ステージを実行する（Ｓ１３〜Ｓ１６）。このｊが所定の上限値に達したとき、初期分割を打ち切る。ここでは説明のために第２分割ステージで分割を打ち切るとする。この場合、最終的に図８に示すブロックが生成される。ブロックのサイズは８×８画素〜３２×３２画素である。初期分割終了時点でブロック数はＭ0とし、各ブロックを初期領域Ｓ0nと表記する。Ｓ0nの形状情報は初期分割形状情報１３として統合処理部１４に渡される。
【００２３】
（２）近傍領域の統合
ついで統合処理部１４において、各Ｓ0nについて近傍領域との統合を行う。統合処理部１４の内部構成図を図９に示す。同図において、２０はラベリング部、２１は近傍領域設定部、２２は暫定符号化部、２３は復号部、２４は符号化歪み算出部、２５は評価値算出部、２６は評価値算出に用いる定数、２７は統合判定部、２８は統合処理反復指示信号である。
【００２４】
図１０は統合処理部１４の動作を示すフローチャートである。同図のごとく、一定のルールに従い、まずラベリング部２０で初期領域Ｓ0nに番号、つまりラベルを付ける（Ｓ１７）。例えば、画像フレームを画素単位に左上隅から右下隅に向かって水平に走査しながら領域に順に番号を与えていく。図１１にラベル付けの簡単な例を示す。同図のごとく、走査線上に現れる順に、領域にラベル「１」「２」…を付していく。その際、領域の大きさは問わない。以下、領域Ｓknのラベル値をｌ(Ｓkn)と表記する。なお、このｋは後述の第ｋ統合ステージに対応し、初期状態ではｋ＝０である。
【００２５】
つぎに近傍領域設定部２１で各領域の「近傍領域」をラベルを利用して定義する（Ｓ１８）。図１２は近傍領域の例である。同図は図１１のラベルに基づいて領域Ｓ0nの近傍領域を示している。すなわち、対象となる領域Ａと辺で接し、かつ対象となる領域よりもラベル値が大きい領域Ｂ，Ｃ，Ｄを近傍領域と定義する。
【００２６】
つづいて、領域とその近傍領域の統合の可否を領域ごとに判定していく。このため、暫定符号化部２２、復号部２３、符号化歪み算出部２４、評価値算出部２５で統合のための評価値を算出する（Ｓ１９）。評価値は次式に示す符号量−歪みコストＬ(Ｓkn)である。
【００２７】
Ｌ(Ｓkn) = Ｄ(Ｓkn) + λＲ(Ｓkn)        （式１）
【００２８】
ここでＤ(Ｓkn)はＳknの符号化歪み、つまり二乗誤差総和、Ｒ(Ｓkn)はＳknの符号量、λは定数２６である。統合はＬ(Ｓkn)を小さくする方向に進める。Ｌ(Ｓkn)を小さくすることは、与えられた定数λのもとで、所定の符号量の範囲内で符号化歪みを小さくすることに相当する。フレーム内のＬ(Ｓkn)の総和を小さくすることにより、同一の符号量を用いたときの符号化歪みを低減することができる。
【００２９】
図１３はＳ１９の詳細なフローチャートである。まず暫定符号化部２２においてＳknを予備的に符号化する（Ｓ２２）。この符号化の目的は、符号量Ｒ(Ｓkn)の算出と、符号化歪みＤ(Ｓkn)導出の準備にある。本実施の形態では、暫定符号化部２２は参照画像１０を用いて動き補償予測を行う。符号化されるデータは、画像データ、つまり予測誤差信号または原信号、予測画像を特定するための動き情報、符号化モードなどの属性情報を含み、これらの符号量の総和がＲ(Ｓkn)である。予測誤差信号は領域Ｓknの原信号と予測画像の差として得られる。
【００３０】
一方、復号部２３では、暫定符号化部２２で得られた符号化データを用いてＳknの局所復号画像を生成する（Ｓ２３）。次いで、符号化歪み算出部２４で局所復号画像と原画像の歪みＤ(Ｓkn)を計算する（Ｓ２４）。評価値算出部２５はＲ(Ｓkn)とＤ(Ｓkn)をもとに符号量−歪みコストＬ(Ｓkn)を計算する（Ｓ２５）。
【００３１】
工程Ｓ１９では以上の評価値算出をすべての領域について、
１．各領域Ｓkn自身…Ｌ(Ｓkn)
２．Ｓknの近傍領域Ｎi[Ｓkn]…Ｌ(Ｎi[Ｓkn])
３．ＳknとＮi[Ｓkn]を仮に統合した領域…Ｌ(Ｓkn +Ｎi[Ｓkn])
の３種類について実施する。ここでＮi[Ｓkn]はＳknの近傍領域を示し、ｉは複数の近傍領域を区別する番号である。
【００３２】
次いで統合判定部２７において、画像フレーム内で、
ＤL＝Ｌ(Ｓkn )＋Ｌ(Ｎi[Ｓkn])−Ｌ(Ｓkn +Ｎi[Ｓkn])
が最大となる個所を探し、そのＳknとＮi[Ｓkn]を統合する（Ｓ２０）。これが第ｋ統合ステージである。この後、統合判定部２７はラベリング部２０に対して統合処理反復指示信号２８を介してラベルの更新を指示する。ラベリング部２０は、ラベルl(Ｎi[Ｓkn])をラベルｌ(Ｓkn)で置き換え、近傍領域設定部２１で近傍領域を再設定する。これで新しい領域Ｓk+1nと近傍領域Ｎi[Ｓk+1n]が得られ、Ｌ(Ｓk+1n)、 Ｌ(Ｎi[Ｓk+1n])、 Ｌ(Ｓk+1n +Ｎi[Ｓk+1n])が求まる。統合判定部２７は、ＤLの値が正になる組み合わせがなくなった時点でラベリング部２０への指示を停止し、統合処理を終了する（Ｓ２１）。
【００３３】
以上で領域の分割と統合に関する処理が終了し、最終的に入力画像１の領域分割状態を表す情報３、各領域の画像データ４、動き情報５、属性情報６が符号化部７に出力される。この後、所定の符号化手法で符号化が行われる。
【００３４】
本実施の形態では、単に分割だけではなく、統合も行った。このため最終的には、各領域がいろいろな大きさの正方形ブロックの集合で表現できる。例えば画像内で動きの大きな被写体を、その輪郭線に近い形のひとつの領域に統合することができる。この結果、被写体ごとに量子化パラメータを変えて符号量を制御する等、実際の画像の構造に柔軟に対応することができる。また、与えられた符号量の制約下で符号化歪みを最小化する最適な領域分割が実現される。そのため、従来一般的な動画像符号化装置に比べて、より高い画質をより少ない符号量で実現することが容易になる。
【００３５】
なお、本実施の形態では初期分割を第２分割ステージで打ち切ったが、これは当然別のステージで打ち切ってよい。例えば、画像全体の動きが小さい場合は第１ステージで打ち切り、逆の場合はステージ数を増やしてもよい。また、本実施の形態では、画像フレームを符号化の対象としたが、画像フレーム中の任意形状の被写体を外接四角形で囲んだ矩形画像データなどについても同様に適用が可能である。
【００３６】
本実施の形態では、符号化部７および暫定符号化部２２について、領域Ｓknの符号化をＤＣＴと線形量子化の組み合わせで行ったが、これは他の符号化方法、例えばベクトル量子化、サブバンド符号化、ウェーブレット符号化などを用いてもよい。符号化方法を複数用意し、最も符号化効率のよい方法を選択的に用いる構成にしてもよい。
【００３７】
本実施の形態ではアクティビティとして予測誤差電力を採用したが、それ以外の例として以下のものが考えられる。
【００３８】
第一の例は領域内の分散値である。分散値は領域の画素分布の複雑さを表しており、エッジなど画素値が急激に変化する画像を含む領域では分散値が大きくなる。領域Ｓ内の画素値をｆｓ（ｘ，ｙ，ｔ）とし、領域Ｓ内の画素値の平均値をμsとすると、分散値σsは次式で与えられる。
【数２】
2008263660.tif 000004
このアクティビティを採用すれば画像の局所的な構造の複雑さに応じて領域を分割することができ、画素値変化の激しい部分を密に、画素値変化の少ない部分を粗く符号化する制御も可能である。
【００３９】
第二の例は領域内のエッジ強度である。エッジ強度は例えば、G.Robinsonによる「Edge detection by compass gradient masks」(Journal of Computer Graphics and Image Processing, Vol.6, No.5, Oct.1977)に記載されるソーベル演算子（Sobel Operator）で求めたり、エッジ上に分布する画素数（エッジ分布面積）として求めることができる。この方法の場合、画像のエッジ構造に応じて領域を分割することができ、エッジが局在する部分を密に、エッジが存在しない部分を粗く符号化する制御も可能である。
【００４０】
第三の例として、領域の動き補償予測に基づく動きパラメータの大きさが挙げられる。動き補償予測の結果、動きパラメータが求められる。ブロックマッチング法の場合はベクトルｖがそれである。この方法によれば、画像の動きの度合いに応じて領域を分割することができ、被写体領域など局所的に大きい動きが生じる部分を密に、背景領域など動きがあまり生じない部分を粗く符号化する制御も可能である。
【００４１】
第四の例は、領域の動き補償予測に基づく動きパラメータの符号量と、予測誤差電力の線形和である。この場合の評価値を次式で定義する。
【００４２】
Ｌmc＝Ｄmc＋λＲmc              （式２）
【００４３】
ここでＤmcは動きパラメータ検出の過程で求まる予測誤差電力、λは定数、Ｒmcは動きパラメータの符号量である。Ｌmcを最小にする動きパラメータを求め、その時の評価値をアクティビティとする。この方法によれば、画像の動きの複雑さによる情報量と動きパラメータの情報量とを含めたトータルの符号化コストが小さくなるよう領域が分割され、少ない情報量で領域の符号化を行うことができる。
【００４４】
第五の例は、いままで述べたアクティビティの値の線形和である。各アクティビティ値に適度に重み付けを行うことにより、種々の画像への対応が可能となる。
【００４５】
本実施の形態では、領域分割部２の中に分割処理部１２を設け、ここで初期分割を行った。しかし、当然ながら、初期分割を装置の外で行うことも可能である。その場合、分割処理部１２を削除し、予め複数の領域に分割された画像を入力して統合処理すればよい。
【００４６】
実施の形態２．
本実施の形態は、実施の形態１の領域分割部２を一部変形した装置に関する。図１４は本実施の形態における領域分割部２の内部構成図である。同図のごとく、実施の形態２の領域分割部２は、図３の分割処理部１２を均等分割部１５に置き換えた形である。この構成において、図１５に示すごとく、初期分割処理ではアクティビティの閾値判定を行わず、無条件に領域の最小面積の正方ブロックに均等分割する。最小の領域面積は設定可能としてもよい。
【００４７】
本実施の形態では閾値の設定が不要であり、符号量−歪みコストのみを評価値として領域分割が行われる。したがって、閾値の設定に関連する手続が不要となるほか、アクティビティの算出、比較判定の処理が不要になる。このため、これらの処理に関する計算負荷の軽減を図る場合は実施の形態１にかえて本実施の形態を利用することができる。
【００４８】
実施の形態３．
本実施の形態の分割処理では、アクティビティだけでなく、領域の重要度を示す指標（以下、クラスという）も含めて分割の可否を判断する。重要度が高い領域ほど密に符号化されることが望ましく、領域面積は小さくする。重要度が低い領域はできるだけ大きくとり、画素あたりの符号量を削減する。
【００４９】
アクティビティは例えば領域内で閉じた局所的な統計量である。一方、本実施の形態のクラスは領域間にまたがる画像の特徴に基づく。本実施の形態では、領域を横断する被写体構造に起因して、人がどの程度その領域を見るか、つまり人の注視度をもとにクラスを定義する。例えば、ある領域のエッジ分布が広範囲にまたがり、近傍領域との連結が強い場合は、その領域はある被写体の境界に位置する可能性が高い。
【００５０】
図１６は本実施の形態における分割処理部１２の内部構成図である。それ以外の構成は実施の形態１と同様であり、実施の形態１と異なる部分を中心に説明する。同図において、２９はクラス識別部、３０はクラス、３１は分割判定部である。図１７は図１６に示す分割処理部１２の動作を示すフローチャートである。
【００５１】
図１７のごとく、まず均等分割（Ｓ２６）が行われる。この後、クラス識別部２９で各領域のクラス３０が決定される（Ｓ２７）。クラス識別部２９は、領域内分散の大きさα、領域内エッジ分布の状態β（エッジの方向、分布面積などを含む）、近傍領域とのエッジの連結性γを評価してクラスを決定する。例えば、領域内分散αが所定値よりも小さい領域をもっとも低いクラス（クラスＡ）とし、αが大きい領域についてはさらに領域内エッジ分布βを求める。βの定量化は、例えば前述のソーベル演算子（Sobel Operator）などでできる。βが所定値より小さい場合、その領域は被写体境界よりむしろ独立したエッジをもつ小領域とみなして中程度のクラス（クラスＢ）とする。βがある程度大きいときは連結性γを評価し、γが大きい場合は最重要クラス（クラスＣ）に分類する。
【００５２】
クラスへの分類の後、アクティビティ算出部１６においてアクティビティ１７が計算され、分割判定部３１でまずアクティビティに関する閾値判定が行われる（Ｓ２８）。ここで分割すべきと判定された領域については、次いでクラス３０に基づき、分割の許否が判定される（Ｓ２９）。このため、分割判定部３１は各クラスの領域をどの程度の大きさの領域まで分割してよいか、あらかじめ基準をもっている。クラスに関しても分割が許可されれば、その領域を分割する（Ｓ３０）。これをすべての領域について行い、さらに分割されて新たに生じた領域も同様の分割処理を行う（Ｓ３３〜Ｓ３８）。
【００５３】
本実施の形態によれば、複数の領域にまたがるような画像の特徴、とくに被写体の輪郭線を考慮して画像の符号化を行うことができる。注視度の低い領域は粗く符号化して情報量を削減し、その分、注視度の高い領域に情報量を充当するような制御が可能となる。
【００５４】
実施の形態４．
実施の形態３ではクラス決定に人の注視度を用いた。本実施の形態では画像の特徴量を用いる。本実施の形態では、ある既知の画像の特徴量を保持しておき、それと各領域から算出した特徴量との合致度をもとにクラスを決める。
【００５５】
例えば、人の顔の画像については、いままでに数多くの研究がなされており、顔の構造を特徴量で数値化するさまざまな手法が提案されている。この特徴量を保持しておけば、画像の中から人の顔（これは概して重要度が高い）を検出することができる。また、その他の被写体についても、輝度やテクスチャ情報をもとに特徴量で記述できる場合も多い。人の顔を鮮明に表現したければ、人の顔の特徴量に合致する特徴量をもつ領域を最重要クラスＡとし、それ以外の領域を通常の重要度のクラスＢなどとする。
【００５６】
図１８は本実施の形態におけるクラス識別部２９の構成図である。他の部分は実施の形態３同等である。図１８において、３２は特徴量メモリ、３３は特徴合致度算出部、３４はクラス決定部である。
【００５７】
特徴量メモリ３２には、被写体に関する特徴量をクラスに分類して被写体ごとに保持しておく。特徴合致度算出部３３は、入力画像１と、各クラスに分類された被写体の特徴量との合致度をそれぞれ算出する。合致度は例えば、入力画像１の特徴量と特徴量メモリ３２中の特徴量との誤差として求める。次いで、クラス決定部３４で最も合致度の高かった被写体を検出し、その被写体の属するクラスに当該領域を分類する。
【００５８】
以上、本実施の形態によれば、画像の特徴量によって、いわば被写体の認識または検出が可能になる。そのうえで必要な被写体については画質を高めることができる。被写体のクラス分けを人の注視度に関連する特徴量をもとに行ってもよく、その場合、画像に対する人の視覚特性を考慮した符号化を行うことができる。
【００５９】
実施の形態５．
実施の形態１では、統合処理の際に符号化歪みを考慮した。本実施の形態では、分割処理の段階で符号化歪みを考慮する。
【００６０】
図２０は本実施の形態における分割処理部１２の内部構成図である。同図において、３５は分割判定部、３６は分割処理反復指示信号である。図２１は図２０の分割処理部１２の動作を表すフローチャートである。
【００６１】
本実施の形態の分割処理部１２は、実施の形態１で導入した式１を用いる。この式の利用により、初期分割処理がフレーム内のＬ(Ｓkn)の総和を小さくする方向で行われ、同一の符号量を用いたときの符号化歪みを低減することができる。
【００６２】
図２１のごとく、まず均等分割部１５において、例えば図６の状態になるように均等ブロック分割を行う（Ｓ３９）。これが第０分割ステージに当たる。このとき得られたブロック数をＮ0、各ブロックをＢ0n(1≦ｎ≦Ｎ0)と表記する。各Ｂ0nについてさらにブロック分割を行うかどうかを判定する。Ｂ0nに関するＬ(Ｂ0n)と、 Ｂ0nを４分割して得られる各サブブロックＳＢ0n(ｉ)(１≦ｉ≦４)に関するＬ(ＳＢ0n(i))の総和が比較され、後者が小さければ分割を許可する。
【００６３】
符号量−歪みコストの算出にあたり、まず暫定符号化部２２においてＢ0nおよびＳＢ0n(i)の符号化を行う。次いで復号部２３において、暫定符号化部２２で得られた符号化データからＢ0nおよびＳＢ0n(ｉ)の局所復号画像を生成する。つぎに符号化歪み算出部２４で局所復号画像と原画像との間の歪みＤ(Ｂ0n) 、Ｄ(ＳＢ0n(ｉ))を計算する。評価値算出部２５は、符号量Ｒ(Ｂ0n)、 Ｒ(ＳＢ0n(ｉ))、符号化歪みＤ(Ｂ0n)、Ｄ(ＳＢ0n(ｉ))をもとにＬ(Ｂ0n)、Ｌ(ＳＢ0n(ｉ))を計算する（Ｓ４０、Ｓ４１）。
【００６４】
分割判定部３５は、Ｌ(Ｂ0n)と、４つのサブブロックのＬ(ＳＢ0n(ｉ))（ｉ＝１，２，３，４）の総和とを比較し（Ｓ４２）、後者の方が小さければＢ0nを４つのＳＢ0n(ｉ)に分割する（Ｓ４３）。これが第１分割ステージに当たる。ＳＢ0n(ｉ)として分割されたブロックを新たにＢ1n(１≦ｎ≦Ｎ1)と表記し、Ｂ1nに対して同様の分割判定を行う（Ｓ４６〜Ｓ５１）。以下、同様の分割処理が所定回数行われる。最終的に例えば図８に示す分割状態が実現する。
【００６５】
以上、本実施の形態ではアクティビティに関する演算を行わないため、演算量の低減を重視する場合、特に有益である。
【００６６】
実施の形態６．
実施の形態１の図９に示した統合処理部１４の別の例を説明する。図２２は本実施の形態における統合処理部１４の内部構成図である。同図において、３７は量子化パラメータ設定部、３８は量子化パラメータ、３９は暫定符号化部である。この統合処理部１４の動作は基本的に図１０と同じで、Ｓ１９のみが異なる。
【００６７】
図２３は、Ｓ１９に当たる評価値算出の処理を示すフローチャートである。評価値算出は、暫定符号化部３９、復号部２３、符号化歪み算出部２４、評価値算出部２５で行われる。
【００６８】
まず、量子化パラメータ設定部３７において初期パラメータ値が設定され、暫定符号化部３９に出力される（Ｓ５２）。次に、暫定符号化部３９において領域Ｓknの符号化を行う（Ｓ５３）。符号化の際、設定された量子化パラメータを用いて量子化が行われる。
【００６９】
復号部２３では、こうして得られた符号化データからＳknの局所復号画像を生成する（Ｓ５４）。次いで、符号化歪み算出部２４で局所復号画像と原画像との間の歪みＤ(Ｓkn)を計算する（Ｓ５５）。評価値算出部２５は、符号量Ｒ(Ｓkn)、符号化歪みＤ(Ｓkn)をもとにＬ(Ｓkn)を計算する（Ｓ５６）。最初の計算で得られたコストの値はＬminとして保持され、以降、量子化パラメータを変化させて同様のコスト計算を行う。量子化パラメータを変えることにより、符号量と歪みのバランスが変化するため、符号量−歪みコストが最小になるときのパラメータを採用し、最終的な領域Ｓknの符号量−歪みコストＬ(Ｓkn)とする（Ｓ５７〜Ｓ６０）。以下、実施の形態１同様である。
【００７０】
本実施の形態によれば、量子化パラメータを考慮した最適な統合処理が実現する。なお、量子化パラメータを加味する方法は、実施の形態５で述べた符号量−歪みコストに基づく分割処理にも適用できる。
【００７１】
実施の形態７．
本実施の形態では、実施の形態６のさらに別の例を説明する。図２４は本実施の形態の統合処理部１４の内部構成図である。同図において、４０は動き補償予測コスト算出部、４１は動き補償予測コスト、４２は暫定符号化部である。
【００７２】
暫定符号化部４２は動き補償予測に基づく符号化を用い、動きパラメータを決定する。この際、実施の形態１で述べた動き補償予測コスト（式２）を用いる。すなわち、暫定符号化時の動きパラメータの決定を、動き補償によるマッチング歪みと動きパラメータの符号量とのバランスをとって最もコストが小さくなるように行う。具体的には、暫定符号化部４２による符号化において、動き補償予測コスト算出部４０で算出されるコストの値をもとに動きパラメータを決定する。以下の処理は実施の形態６同様である。
【００７３】
本実施の形態によれば、与えられた定数λのもとで、動き補償から符号化に至るまで総合的に符号量−歪みコストを最小化しながら領域形状が決定できる。この結果、所定の符号量のもとで符号化歪みを低減することができる。
【００７４】
実施の形態８．
本実施の形態では、いままで述べたいろいろな動画像符号化装置によって生成される符号化ビットストリームを復号する動画像復号装置を説明する。図２５に復号装置の構成を示す。同図において、４３はビットストリーム解析部、４４は領域形状復号部、４５は属性情報復号部、４６は画像データ復号部、４７は動き情報復号部、４８は動きパラメータ、４９は動き補償部、５０は予測画像、５１は画像復元部、５２は外部メモリ、５３は再生画像である。
【００７５】
この復号装置は、画像フレームまたは画像フレーム中の部分画像（以下「画像フレーム等」という）に関して領域分割状態を表す領域形状情報、所定の方法により符号化された各領域の画像データ、各領域の属性情報、各領域の動き情報とからなる符号化ビットストリームを復号し、領域画像を復元し、画像フレーム等を再生する。
【００７６】
本実施の形態の場合、符号化の過程で正方形以外の領域が発生しているため、領域形状情報の記述方法は従来一般的なものと異なる。本実施の形態で採用される記述方法は、ｉ）各領域の頂点の座標の明示、ii）符号化の際に領域を分割および統合したときの処理過程の明示、などによる。ii）の方法の場合、例えば、任意のｉ，ｊについて第ｉ分割ステージにおいて分割された領域の番号、および第ｊ統合ステージにおいて統合された領域の番号を記述しておく。復号装置では符号化装置同様、まず図６のごとく第０分割ステージを行い、以降符号化装置とまったく同じ手順を辿ることで最終的な分割状態を復元することができる。ii）の方法の場合、座標データを直接記述するよりも一般にデータ量が少ない。
【００７７】
図２６はこの復号装置の動作を示すフローチャートである。符号化ビットストリーム１１は、まずビットストリーム解析部４３に入力され、ビット列から符号化データへの変換が行われる（Ｓ６１）。符号化データのうち、領域形状情報が領域形状復号部４４において復号され、上述の方法で画像フレーム等の領域分割状態が復元される（Ｓ６２）。領域が復元されたことにより、以降のビットストリーム中に符号化されている領域情報の符号化順序が特定される。各領域をＳnとする。
【００７８】
次いで、符号化順序に従って、ビットストリームから順次各領域のデータが復号される。まず領域Ｓnの属性情報が属性情報復号部４５で復号され、領域の符号化モード情報などが復号される（Ｓ６３）。ここで、インターモード（フレーム間符号化モード）、すなわち予測誤差信号が符号化されているモードであれば（Ｓ６４）、動き情報復号部４７において動きパラメータ４８が復号される（Ｓ６５）。動きパラメータ４８は動き補償部４９に送られる。動き補償部４９はこれに基づいて外部メモリ５２に蓄積される参照画像中の予測画像に相当するメモリアドレスを計算し、外部メモリ５２から予測画像５０を取り出す（Ｓ６６）。次いで、画像データ復号部４６において領域Ｓnの画像データが復号される（Ｓ６７）。インターモードの場合、復号された画像データと予測画像５０とを加算することによって最終的な領域Ｓnの再生画像が得られる。
【００７９】
一方、イントラモード（フレーム内符号化モード）の場合は、復号された画像データがそのまま最終的な領域Ｓnの再生画像５３となる。再生画像は以降の予測画像生成のための参照画像として利用されるため、外部メモリ５２に書き込まれる。これらの判断および再生画像の復元は画像復元部５１で行われる（Ｓ６８）。
【００８０】
一連の処理は、画像フレーム等に含まれる全領域について行われた時点で終了する。以降の他の画像フレーム等についても同様の処理を施せばよい。
【００８１】
実施の形態９．
本実施の形態では、実施の形態１で説明した符号化部７の具体的な一構成例を示すことにする。
【００８２】
図２９は、本実施の形態における符号化部７の内部構成を示したブロック構成図である。図２９において、２０１は領域形状情報符号化部、２０２は領域属性情報符号化部、２０３は領域画像信号符号化部、２０４は領域動き情報符号化部、２０５はモード選択情報である。図２９に示したように、符号化部７は、対応する領域毎の入力信号すなわち領域形状情報３、領域属性情報６、領域画像信号４及び領域動き情報５を符号化して、符号化処理後のデータを符号化データ１１の一部として出力する。本実施の形態では、領域画像信号符号化部２０３の構成のみ着目して説明することとし、その他の符号化部２０１，２０２，２０４については構成を限定しないものとする。なお、実施の形態１では、暫定符号化部２２においても領域データ（画像信号、動き情報、属性情報）の符号化を実施する。これは、領域分割の過程で行われる符号化処理であり、その結果は、符号化ビットストリームを出力するためでなく、統合処理のコストを計算するための符号量と符号化歪みの算出に用いられる。しかしながら、領域の画像信号に関しては領域画像信号符号化部２０３と全く同じ符号化処理を行うものとする。
【００８３】
図３０は、本実施の形態における領域画像信号符号化部２０３の内部構成を示したブロック構成図である。図３０において、２０６はスイッチ、２０７は第１の領域画像信号符号化部、２０８は第２の領域画像信号符号化部、２０９は第３の領域画像信号符号化部である。図３０に示したように、本実施の形態における領域画像信号符号化部２０３は、３通りの符号化手段を備え、これをモード選択情報２０５によって切り替える構成となっている。なお、モード選択情報２０５は、図１から明らかなように領域分割部２から送られてくる領域の属性情報６の一部の情報である。
【００８４】
図３１は、図３０における第１及び第２の領域画像信号符号化部２０７，２０８の内部構成を示した図である。図３１において、２１０は小領域生成部、２１１は平均値分離部、２１２は小領域の平均値、２１３は正規化部、２１４は正規化係数としての標準偏差、２１５は正規化ベクトル、２１６は平均値を量子化するスカラ量子化部、２１７は標準偏差を量子化するスカラ量子化部、２１８は正規化ベクトルを符号化するベクトル量子化部である。各符号化部２０７，２０８は、請求項に係る第２の領域画像信号符号化部に相当し、領域を均一な大きさの小領域に分割して、その小領域毎に含まれる全画素の画素値の平均値を分離して正規化を行ったデータに対してベクトル量子化を行い、その小領域毎に求めた平均値、正規化係数及びベクトル量子化による符号化データを符号化する。また、各符号化部２０７，２０８は、特公昭６３−４１２５３号公報（以下、「文献１」）に開示された平均値分離正規化ベクトル量子化の処理を行う手段である。各符号化部２０７，２０８の相違はただ一つで、第１の領域画像信号符号化部２０７は、４画素×４画素の正方ブロックを小領域として定義している点で、８画素×８画素の正方ブロックを小領域として定義している第２の領域画像信号符号化部２０８と異なっている。すなわち、第１の領域画像信号符号化部２０７は、領域画像信号をより細かく小領域に分割して符号化することになる。本実施の形態では、第２の領域画像信号符号化部としてそれぞれ４画素×４画素又は８画素×８画素の小領域に分割する２つの構成要素を設けたが、この構成要素の数及び分割単位はこれに限られたものではない。
【００８５】
次に、本実施の形態における第１及び第２の領域画像信号符号化部２０７，２０８の動作について説明するが、上記のように各符号化部２０７，２０８は、分割単位が異なるだけなので、図３２に示したフローチャートに基づき小領域をＮ×Ｎ画素のブロックとして一括して説明する。
【００８６】
まず、小領域生成部２１０は、入力領域画像信号４をＮ×Ｎ画素のブロックで定義される小領域に分割する（Ｓ１０１）。平均値分離部２１１は、分割して生成された各小領域の平均値の計算を行う。このとき、各小領域画像をＳ、各小領域画像に含まれる画素数をＫ（＝Ｎ×Ｎ）、小領域画像Ｓの各画素値をｓi（ｉ＝１，２，・・，Ｋ）とすると、平均値ｍは、式（３）で算出される。
【数３】
2008263660.tif 000005
そして、小領域画像の画素値ｓiから平均値ｍを減算することによって分離する（Ｓ１０２）。
【００８７】
次に、正規化部２１３は、式（３）によって平均値の分離をした後の信号から標準偏差σを次式（４）によって算出する（Ｓ１０３）。
【数４】
2008263660.tif 000006
また、正規化部２１３は、次式（５）によって正規化を行い、正規化ベクトルＸを得る（Ｓ１０４）。
【数５】
2008263660.tif 000007
このように各小領域画像を正規化した後、平均値ｍをスカラ量子化部２１６で、標準偏差σをスカラ量子化部２１７で、正規化ベクトルをベクトル量子化部２１８で、それぞれ量子化する（Ｓ１０５）。以上のＳ１０２〜Ｓ１０５の処理について領域内の全ての小領域に対して行う（Ｓ１０６）。この結果、各領域の画像信号の符号化データが出力されることになる。
【００８８】
図３３は、図３０における第３の領域画像信号符号化部２０９の内部構成を示した図である。図３３において、２１９は平均値分離部、２２０は領域の平均値、２２１は小領域生成部、２２２は正規化部、２２３は正規化係数としての標準偏差、２２４は正規化ベクトル、２２５は平均値を量子化するスカラ量子化部、２２６は標準偏差を量子化するスカラ量子化部、２２７は正規化ベクトルを符号化するベクトル量子化部である。第３の領域画像信号符号化部２０９は、請求項に係る第１の領域画像信号符号化部に相当し、領域内の全画素の画素値の平均値を算出し、その算出した平均値と、当該平均値に基づき当該領域を均一な大きさに分割した小領域毎に求めた正規化係数及びベクトル量子化とによる符号化データを符号化する。また、第３の領域画像信号符号化部２０９は、文献１に開示された平均値分離正規化ベクトル量子化の処理をベースとしながら平均値の分離を小領域の単位で行うのではなく領域の単位で行うことを特徴としている。これによって、領域のサイズが大きい場合、当該領域を小領域に分割し、小領域毎に算出した平均値により分離した後に符号化するのに比較して、どんなに領域が大きくても領域毎にただ一つの平均値のみを符号化すればよいので、符号量を削減した符号化を実現することができる。特に、例えば絵柄が平坦な領域内では、領域の平均値一つで小領域毎の平均値を代用してもほぼ十分な精度で領域画像を復元させることができるので非常に効果的である。
【００８９】
次に、本実施の形態における第３の領域画像信号符号化部２０９の動作について図３４に示したフローチャートに基づき説明する。
【００９０】
平均値分離部２１９は、領域の平均値の計算を行う。領域画像をＯ、領域画像Ｏに含まれる画素数をＫ、領域画像Ｏの各画素値をｏi（ｉ＝１，２，・・，Ｋ）とすると、平均値ｍは、式（６）で算出される。
【数６】
2008263660.tif 000008
そして、領域画像の画素値ｏiから平均値ｍを減算することによって分離する（Ｓ１０７）。
【００９１】
小領域生成部２２１は、平均値の分離がされた領域画像信号をＮ×Ｎ画素のブロックで定義される小領域に分割する（Ｓ１０８）。
【００９２】
正規化部２２２は、次式（７）によって小領域Ｓ毎に標準偏差σを算出する（Ｓ１０９）。
【数７】
2008263660.tif 000009
また、正規化部２２２は、次式（８）によって正規化を行い、正規化ベクトルＸを得る（Ｓ１１０）。
【数８】
2008263660.tif 000010
このように各小領域画像を正規化した後、平均値ｍをスカラ量子化部２２５で、小領域の標準偏差σをスカラ量子化部２２６で、小領域の正規化ベクトルをベクトル量子化部２２７で、それぞれ量子化する（Ｓ１１１）。以上のＳ１０９〜Ｓ１１１の処理について領域内の全ての小領域に対して行う（Ｓ１１２）。この結果、各領域の画像信号の符号化データが出力されることになる。
【００９３】
以上、本実施の形態における符号化部７によれば、３つの符号化モードを切り替えて符号化を実施することができ、領域の局所的な性質に合わせた符号化を行うことができる。例えば、領域内の絵柄が複雑な場合、動きが複雑で予測誤差画像の分散が大きい場合などには比較的細かい小領域を単位とした第１又は第２の領域画像信号符号化部２０７，２０８などを有効に作用させればよい。一方、絵柄が平坦な領域については、上述したように符号量を抑えることによって符号化効率の低下を抑止するために第３の領域画像信号符号化部２０９を有効に作用させればよい。本実施の形態によれば、領域画像信号の性質に応じて効率よく符号化をすることができる。
【００９４】
実施の形態１０．
本実施の形態では、実施の形態８で説明した画像復号装置における画像データ復号部の具体的な一構成例を示すことにする。
【００９５】
図３５は、本実施の形態における画像データ復号部４６の内部構成を示したブロック構成図である。図３５において、３０１は領域画像符号化データ、３０２はモード選択情報、３０３はスイッチ、３０４は第１の領域画像データ復号部、３０５は第２の領域画像データ復号部、３０６は第３の領域画像データ復号部、３０７は復号領域画像データである。図３５に示したように、本実施の形態における画像データ復号部４６は、３通りの復号手段を備え、これをモード選択情報３０２によって切り替える構成となっている。なお、モード選択情報３０２は、属性情報復号部４５から出力される属性情報に含まれる情報である。
【００９６】
図３６は、図３５における第１及び第２の領域画像信号復号部３０４，３０５の内部構成を示した図である。図３５において、３０８は量子化された小領域の平均値、３０９は量子化された標準偏差、３１０は量子化されたベクトル、３１１は小領域の平均値を逆量子化するスカラ逆量子化部（平均値復号部）、３１２は標準偏差を逆量子化するスカラ逆量子化部（正規化係数復号部）、３１３はベクトルを逆量子化するベクトル逆量子化部、３１４は乗算部、３１５は加算部、３１６は領域生成部である。各復号部３０４，３０５は、請求項に係る第２の領域画像信号復号部に相当し、個々の領域を均一な大きさに分割した各小領域に対応した平均値、正規化係数及びベクトル量子化による符号化データを復号するための手段である。また、文献１に開示された平均値分離正規化ベクトル量子化によって得られた領域画像符号化データを復号する。各復号部３０４，３０５の相違はただ一つで、第１の領域画像信号復号部３０４は、４画素×４画素の正方ブロックを小領域として定義している点で、８画素×８画素の正方ブロックを小領域として定義している第２の領域画像信号復号部３０５と異なっている。すなわち、第１の領域画像信号復号部３０４は、領域画像信号をより細かく等分割された小領域毎にベクトル量子化された符号化データを復号することになる。本実施の形態では、第２の領域画像信号復号部としてそれぞれ４画素×４画素又は８画素×８画素の小領域を扱う２つの構成要素を設けたが、この構成要素の数及び分割単位はこれに限られたものではなく、送られてくる符号化データに対応して設けられることになる。
【００９７】
次に、本実施の形態における第１及び第２の領域画像信号復号部３０４，３０５の動作について説明するが、上記のように各復号部３０４，３０５は、分割単位が異なるだけなので、図３７に示したフローチャートに基づき小領域画像の画素値をＳ、各小領域画像に含まれる画素数をＫ（＝Ｎ×Ｎ画素）として一括して説明する。
【００９８】
スカラ逆量子化部３１１は、小領域Ｓの平均値を逆量子化することで復号する（Ｓ２０１）。スカラ逆量子化部３１２は、小領域Ｓの標準偏差を逆量子化することで復号する（Ｓ２０２）。ベクトル逆量子化部３１３は、小領域Ｓのベクトルを逆量子化することで復号する（Ｓ２０３）。乗算部３１４は、ベクトル逆量子化部３１３により出力されたベクトルＸ（＝［ｘ1，ｘ2，・・・，ｘk］）に復号された標準偏差σを乗ずる（Ｓ２０４）。そして、加算部３１５は、乗算部３１４により出力されたベクトルσＸ（＝［σｘ1，σｘ2，・・・，σｘk］）に復号された小領域の平均値ｍを加算する（Ｓ２０５）。この結果、小領域Ｓの画像信号（＝［ｓ1，ｓ2，・・・，ｓk］）を復元する。以上のＳ２０１〜Ｓ２０５の処理を全ての小領域に対する復号が終了するまで繰り返し行う（Ｓ２０６）。領域生成部３１６は、復号された小領域を集めて復号領域画像データを生成する。
【００９９】
以上の処理により、領域画像信号を小領域に分割し、小領域毎に平均値を分離し、小領域の標準偏差により正規化したデータをベクトル量子化して得られた領域画像符号化データを復号することができる。
【０１００】
図３８は、図３５における第３の領域画像信号復号部３０６の内部構成を示した図である。図３８において、３１７は量子化された領域の平均値、３１８は量子化された標準偏差、３１９は量子化されたベクトル、３２０は領域の平均値を逆量子化するスカラ逆量子化部（平均値復号部）、３２１は標準偏差を逆量子化するスカラ逆量子化部（正規化係数復号部）、３２２はベクトルを逆量子化するベクトル逆量子化部、３２３は乗算部、３２４は加算部、３２５は領域生成部である。第３の領域画像信号復号部３０６は、請求項に係る第１の領域画像信号復号部に相当し、個々の領域毎に対応した平均値と、個々の領域を均一な大きさに分割した各小領域に対応した正規化係数及びベクトル量子化とによる符号化データを復号する。また、第３の領域画像信号復号部３０６は、文献１に開示された平均値分離正規化ベクトル量子化の処理をベースとして量子化されたベクトルを量子化する。なお、第３の領域画像信号復号部３０６の構成要素は、領域を分割した４画素×４画素又は８画素×８画素の小領域の平均値ではなく領域の平均値を逆量子化するスカラ逆量子化部３２０を除いて図３６に示した第１及び第２の領域画像信号復号部３０４，３０５と同じである。すなわち、第３の領域画像信号復号部３０６は、平均値の復号を小領域毎に行うのではなく領域毎に行うことを特徴としている。これによって、符号化側で平均値の分離を小領域の単位で行うのではなく領域の単位で行い、領域毎に一つの平均値を符号化した場合の領域画像を復号することができる。特に、例えば絵柄が平坦な領域内では、小領域毎の平均値を領域の平均値一つで代用することによってより少ない符号量で復元することができ、また、このようにしても十分な領域画像を得ることができる。
【０１０１】
次に、本実施の形態における第３の領域画像信号復号部３０６の動作について図３９に示したフローチャートに基づき説明する。
【０１０２】
スカラ逆量子化部３２０は、領域Ｏの平均値を逆量子化することで復号する（Ｓ２０７）。ここで復号された平均値ｍは、当該領域内の全ての小領域を復号する際に各小領域の平均値の代わりに用いられる。続いて、スカラ逆量子化部３２１は、量子化された小領域Ｓの標準偏差を逆量子化することで復号する（Ｓ２０８）。ベクトル逆量子化部３２２は、量子化された小領域Ｓのベクトルを逆量子化することで復号する（Ｓ２０９）。乗算部３２３は、ベクトル逆量子化部３２２により逆量子化されたベクトルＸ（＝［ｘ1，ｘ2，・・・，ｘk］）に復号された小領域Ｓの標準偏差σを乗ずる（Ｓ２１０）。そして、加算部３２４は、乗算部３２３により出力されたベクトルσＸ（＝［σｘ1，σｘ2，・・・，σｘk］）に領域０の平均値ｍを加算する（Ｓ２１１）。この結果、小領域Ｓの画像信号（＝［ｓ1，ｓ2，・・・，ｓk］）を復元する。以上のＳ２０８〜Ｓ２１１の処理を全ての小領域に対する復号が終了するまで繰り返し行う（Ｓ２１２）。領域生成部３２５は、復号された小領域を集めて復号領域画像データを生成する。以上のようにして各領域の復号領域画像データ３０７を得ることができる。
【０１０３】
本実施の形態における画像データ復号部４６によれば、３つの復号モードを切り替えて復号を実施することができ、領域の局所的な性質に合わせて符号化された領域画像を復号することができる。
【図面の簡単な説明】
【０１０４】
【図１】実施の形態に係る動画像符号化装置全般に共通な構成図である。
【図２】図１の符号化装置の動作を示すフローチャートである。
【図３】図１の領域分割部の内部構成図である。
【図４】図３の分割処理部の内部構成図である。
【図５】図４の分割処理部の動作を示すフローチャートである。
【図６】図４の分割処理部における均等分割結果の例を示す図である。
【図７】図４の分割処理部における初回の初期分割の結果を示す図である。
【図８】図４の分割処理部における初期分割の最終結果を示す図である。
【図９】図３の統合処理部の内部構成図である。
【図１０】図９の統合処理部の動作を示すフローチャートである。
【図１１】図９の統合処理部における領域のラベル付けの例を示す図である。
【図１２】図９の統合処理部における近傍領域の設定例を示す図である。
【図１３】図１０のＳ１９の手順を示すフローチャートである。
【図１４】図３の分割処理部の別の実施の形態の内部構成図である。
【図１５】図１４の分割処理部における初期分割の最終結果を示す図である。
【図１６】図３の分割処理部の別の実施の形態の内部構成図である。
【図１７】図１６の分割処理部の動作を示すフローチャートである。
【図１８】図１６のクラス識別部の別の実施の形態を示す図である。
【図１９】ブロックマッチングによる動き補償予測を示す図である。
【図２０】図３の分割処理部の別の実施の形態の内部構成図である。
【図２１】図２０の分割処理部の動作を示すフローチャートである。
【図２２】図３の統合処理部の別の実施の形態の内部構成図である。
【図２３】図２２の統合処理部の動作を示すフローチャートである。
【図２４】図３の統合処理部の別の実施の形態の内部構成図である。
【図２５】実施の形態に係る動画像復号装置の内部構成図である。
【図２６】図２２の復号装置の動作を示すフローチャートである。
【図２７】第一の従来技術に係る動画像符号化装置を示す図である。
【図２８】第二の従来技術に係る動画像符号化装置を示す図である。
【図２９】実施の形態９における符号化部の内部構成を示したブロック構成図である。
【図３０】実施の形態９における領域画像信号符号化部の内部構成を示したブロック構成図である。
【図３１】実施の形態９における第１及び第２の領域画像信号符号化部の内部構成を示した図である。
【図３２】実施の形態９における第１及び第２の領域画像信号符号化部の動作を示したフローチャートである。
【図３３】実施の形態９における第３の領域画像信号符号化部の内部構成を示した図である。
【図３４】実施の形態９における第３の領域画像信号符号化部の動作を示したフローチャートである。
【図３５】実施の形態１０における画像データ復号部の内部構成を示したブロック構成図である。
【図３６】実施の形態１０における第１及び第２の領域画像信号復号部の内部構成を示した図である。
【図３７】実施の形態１０における第１及び第２の領域画像信号復号部の動作を示したフローチャートである。
【図３８】実施の形態１０における第３の領域画像信号復号部の内部構成を示した図である。
【図３９】実施の形態１０における第３の領域画像信号復号部の動作を示したフローチャートである。
【符号の説明】
【０１０５】
１  入力画像、２  領域分割部、３  領域形状情報、４  領域画像信号、５  領域動き情報、６  領域属性情報、７  符号化部、８  局所復号画像、９  メモリ、１０  参照画像、１１  符号化ビットストリーム、１２  分割処理部、１３  初期分割形状情報、１４  統合処理部、１５  均等分割部、１６  アクティビティ算出部、１７  アクティビティ、１８  分割判定部、１９  分割状態指示信号、２０  ラベリング部、２１  近傍領域設定部、２２  暫定符号化部、２３  復号部、２４  符号化歪み算出部、２５  評価値算出部、２６  評価値算出に用いる定数、２７  統合判定部、２８  統合処理反復指示信号、２９  クラス識別部、３０  クラス識別子、３１  分割判定部、３２  特徴量メモリ、３３  特徴合致度算出部、３４  クラス決定部、３５  分割判定部、３６  分割処理反復指示信号、３７  量子化パラメータ設定部、３８  量子化パラメータ、３９  暫定符号化部、４０  動き補償予測コスト算出部、４１  動き補償予測コスト、４２  暫定符号化部、４３  ビットストリーム解析部、４４  領域形状復号部、４５  属性情報復号部、４６  画像データ復号部、４７  動き情報復号部、４８  動きパラメータ、４９  動き補償部、５０  予測画像、５１  画像復元部、５２  外部メモリ、５３  再生画像、１０１  差分器、１０２  予測信号、１０３  予測誤差信号、１０４  符号化部、１０５  符号化データ、１０６  復号部、１０７  復号された予測誤差信号、１０８  加算器、１０９  局所復号画像信号、１１０  メモリ、１１１  予測部、１１２  動きベクトル、１１３  領域分割部、１１４  予測部 、１１５  領域決定部 、１１６  符号化モード情報、１１７  動きベクトル、１１８  符号化部 、１１９  符号化データ、２０１  領域形状情報符号化部、２０２  領域属性情報符号化部、２０３  領域画像信号符号化部、２０４  領域動き情報符号化部、２０５  モード選択情報、２０６  スイッチ、２０７  第１の領域画像信号符号化部、２０８  第２の領域画像信号符号化部、２０９  第３の領域画像信号符号化部、２１０  小領域生成部、２１１  平均値分離部、２１２  小領域の平均値、２１３  正規化部、２１４  標準偏差、２１５  正規化ベクトル、２１６  スカラ量子化部、２１７  スカラ量子化部、２１８  ベクトル量子化部、２１９  平均値分離部、２２０  領域の平均値、２２１  小領域生成部、２２２  正規化部、２２３  標準偏差、２２４  正規化ベクトル、２２５  スカラ量子化部、２２６  スカラ量子化部、２２７  ベクトル量子化部、３０１  領域画像符号化データ、３０２  モード選択情報、３０３  スイッチ、３０４  第１の領域画像データ復号部、３０５  第２の領域画像データ復号部、３０６  第３の領域画像データ復号部、３０７  復号領域画像データ、３０８  小領域の平均値、３０９  標準偏差、３１０  ベクトル、３１１  スカラ逆量子化部（平均値復号部）、３１２  スカラ逆量子化部（正規化係数復号部）、３１３  ベクトル逆量子化部、３１４  乗算部、３１５  加算部、３１６  領域生成部、３１７  領域の平均値、３１８  標準偏差、３１９  ベクトル、３２０  スカラ逆量子化部（平均値復号部）、３２１  スカラ逆量子化部（正規化係数復号部）、３２２  ベクトル逆量子化部、３２３  乗算部、３２４  加算部、３２５  領域生成部。
【図１】
2008263660.tif 000011
【図２】
2008263660.tif 000012
【図３】
2008263660.tif 000013
【図４】
2008263660.tif 000014
【図５】
2008263660.tif 000015
【図６】
2008263660.tif 000016
【図７】
2008263660.tif 000017
【図８】
2008263660.tif 000018
【図９】
2008263660.tif 000019
【図１０】
2008263660.tif 000020
【図１１】
2008263660.tif 000021
【図１２】
2008263660.tif 000022
【図１３】
2008263660.tif 000023
【図１４】
2008263660.tif 000024
【図１５】
2008263660.tif 000025
【図１６】
2008263660.tif 000026
【図１７】
2008263660.tif 000027
【図１８】
2008263660.tif 000028
【図１９】
2008263660.tif 000029
【図２０】
2008263660.tif 000030
【図２１】
2008263660.tif 000031
【図２２】
2008263660.tif 000032
【図２３】
2008263660.tif 000033
【図２４】
2008263660.tif 000034
【図２５】
2008263660.tif 000035
【図２６】
2008263660.tif 000036
【図２７】
2008263660.tif 000037
【図２８】
2008263660.tif 000038
【図２９】
2008263660.tif 000039
【図３０】
2008263660.tif 000040
【図３１】
2008263660.tif 000041
【図３２】
2008263660.tif 000042
【図３３】
2008263660.tif 000043
【図３４】
2008263660.tif 000044
【図３５】
2008263660.tif 000045
【図３６】
2008263660.tif 000046
【図３７】
2008263660.tif 000047
【図３８】
2008263660.tif 000048
【図３９】
2008263660.tif 000049