(57)【要約】【課題】階層的画像符号化・復号において，画像の特性に応じた符号化を行い復号画像の主観的品質を向上することができる装置を提供する。【解決手段】階層的画像符号化装置１の第１の符号化器１１において原画像信号を符号化してベースレイヤ符号化データ１２を出力する。第１の復号器１３では，ベースレイヤ符号化データ１２を復号してベースレイヤ復号画像信号１４を生成し，減算器１５により原画像信号からベースレイヤ復号画像信号１４を減算して差分画像信号１６を生成する。第２の符号化器１７では，あらかじめ定められた基準に従って差分画像信号１６の各小領域をクラス分けし，クラス分けされた小領域に符号化優先度を付与し，符号化優先度に応じて符号化パラメータを決定して符号化を行い，エンハンスメントレイヤ符号化データ１８を出力する。【選択図】    図１
2004248124.tif 000002
【特許請求の範囲】
【請求項１】
原画像信号に対して，第１の符号化器において複数の小領域に分割し，該小領域ごとに符号化処理を行いベースレイヤ符号化データを生成し，該符号化データを復号したベースレイヤ復号画像信号と前記原画像信号とから差分画像信号を生成し，第２の符号化器において，前記差分画像信号を前記原画像信号の小領域に対応する複数の小領域に分割し，該差分画像信号の小領域ごとに符号化処理を行いエンハンスメントレイヤ符号化データとして生成する階層的画像符号化装置において，
前記第２の符号化器は，
あらかじめ定められた基準に従って前記差分画像信号の小領域のクラス分けを行い，各小領域のクラスを示すクラス識別番号を生成するクラス分類部と，
前記クラス分けされた各小領域に符号化優先度を付与する順位付け部と，
付与された符号化優先度に応じて符号化パラメータを決定する制御部とを備える
ことを特徴とする階層的画像符号化装置。
【請求項２】
請求項１記載の階層的画像符号化装置において，
前記クラス分類部は，前記原画像信号または前記差分画像信号の小領域における画素値分布の特徴を示すアクティビティに基づいてクラス分けを行う
ことを特徴とする階層的画像符号化装置。
【請求項３】
請求項２記載の階層的画像符号化装置において，
前記アクティビティは，前記原画像信号の小領域における画素値の変動具合を表す値，前記原画像信号の小領域における輝度値が所定の閾値より大きい画素の数，または前記差分画像信号の小領域における画素値の絶対値和である
ことを特徴とする階層的画像符号化装置。
【請求項４】
請求項１から請求項３までのいずれか１項に記載の階層的画像符号化装置において，
前記制御部は，前記各小領域に付与された符号化優先度に応じて，各小領域の符号化処理の有無，符号量の割り当て，量子化値，符号化パターンまたは符号化順序を決定する
ことを特徴とする階層的画像符号化装置。
【請求項５】
請求項１から請求項４までのいずれか１項に記載の階層的画像符号化装置により符号化されたベースレイヤ符号化データとエンハンスメントレイヤ符号化データとを入力し，該ベースレイヤ符号化データを復号することによりベースレイヤ復号画像を生成し，該エンハンスメントレイヤ符号化データを復号することにより差分画像信号を生成し，この２つを加算することで画像信号を生成していく階層的画像復号装置において，
前記第２の復号器において前記エンハンスメントレイヤ符号化データが得られた領域に対しては，復号処理を行い差分画像信号を生成し，
エンハンスメントレイヤ符号化データが得られなかった領域に対しては，ベースレイヤ復号画像信号の対応する領域のみを用いて，復号画像として生成する
ことを特徴とする階層的画像復号装置。
【請求項６】
請求項１から請求項４までのいずれか１項に記載の階層的画像符号化装置により符号化されたベースレイヤ符号化データとエンハンスメントレイヤ符号化データとを入力し，第１の復号器において前記ベースレイヤ符号化データを復号することによりベースレイヤ復号画像を生成し，第２の復号器において前記エンハンスメントレイヤ符号化データを復号することにより差分画像信号を生成し，この２つを加算することで画像信号を生成していく階層的画像復号装置において，
前記第２の復号器において前記エンハンスメントレイヤ符号化データが得られた領域に対しては，復号処理を行い差分画像信号を生成し，
エンハンスメントレイヤ符号化データが得られなかった領域に対しては，前フレームの差分画像信号の対応する領域を用いて，当該フレームの差分画像信号とする
ことを特徴とする階層的画像復号装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は，画像符号化技術および画像復号技術に関し，特に，簡単な構成で画像の特性に応じた符号化を行い，復号画像の主観的品質を向上することを目的とした階層的画像符号化装置および階層的画像復号装置に関するものである。
【０００２】
【従来の技術】
画像を効率的に符号化する方法として，階層的画像符号化方法がある。この方法は，第１の符号化器と第２の符号化器を用意し，第１の符号化器にて小領域ごとに生成された符号化データを復号することで，画像のベースレイヤ復号画像を得，また第１の符号化器で生成された符号化データと第２の符号化器で小領域ごとに生成された符号化データを両方用いることで，より画質の高い復号画像が得られるという方法である。
【０００３】
このような階層符号化を実現する方法として，原画像と第１の符号化の結果得られる符号化データの復号画像との差分を第２の符号化器で符号化する手法が考えられている。
【０００４】
このとき，従来の階層的画像符号化方式では，第２の符号化器において差分画像信号を符号化する際に，各小領域での発生符号量がほぼ一定になるように制御されているものが多い。この方式の構成例を図６に示す。
【０００５】
図６に示す階層的画像符号化装置７では，原画像信号を第１の符号化器７１において符号化し，ベースレイヤ符号化データ７２が生成される。また，第１の復号器７３においてベースレイヤ符号化データ７２を復号してベースレイヤ復号画像信号７４を生成し，減算器７５において原画像信号からベースレイヤ復号画像信号７４を減算して差分画像信号７６を生成する。この差分画像信号７６を第２の符号化器７７においてハフマン符号化などの可変長符号化を行うことにより，エンハンスメントレイヤ符号化データ７８が生成される。このとき，差分画像信号７６は，適当な大きさの小領域に分割されて各小領域ごとに割り当てられた符号量に達するまで符号化される。
【０００６】
以上のような階層的画像符号化方式に関して記載された文献としては，例えば下記の特許文献１がある。この特許文献１に記載の技術では，符号化データに階層性を持たせ，符号化データの一部から選択領域だけをいろいろな画質で再生したり，符号化データの一部から低画質の画像を再生したりすることを可能としている。
【０００７】
また，階層的画像符号化ではないが，画像の各領域ごとのクラス識別信号に応じて符号化制御パラメータを変更し，入力画像信号の符号化を行う画像符号化装置が，下記の特許文献２に記載されている。この技術では，入力画像のエッジ等を検出して領域分割し，各領域を所定の基準に従ってクラス分けし，各領域ごとにクラス識別信号を出力してクラス識別信号に応じた画像信号の符号化を行っている。しかし，この特許文献２の画像符号化装置は，各領域のクラス識別信号に応じて複数の符号化方法のいずれかを選択的に切り替えて符号化するものであり，第１の符号化器の出力を復号した復号画像信号と原画像信号との差分信号を，第２の符号化器で符号化するというような階層的画像符号化を行うものではない。すなわち，ベースレイヤ符号化データとエンハンスメントレイヤ符号化データとを階層的画像符号化の結果として出力するものではない。
【０００８】
なお，従来から画像符号化方式として用いられているＭＰＥＧ−４符号化方式については，以下の非特許文献１に記載されている。
【０００９】
【特許文献１】
特開２００２−４４６７１号公報
【特許文献２】
特開２００１−４５４９４号公報
【非特許文献１】
ＩＳＯ／ＩＥＣ  １４４９６−２  Ｃｏｄｉｎｇ  ｏｆ  Ａｕｄｉｏ−Ｖｉｓｕａｌ  Ｏｂｊｅｃｔｓ，Ｐａｒｔ−２
【００１０】
【発明が解決しようとする課題】
一般に，上記の階層的画像符号化における差分画像信号の情報量は，原画像信号が複雑な領域では多く，簡単な領域では少なくなるため，ある符号量で符号化できる差分画像信号は領域の性質に依存している。従来技術による方式では，原画像あるいはベースレイヤ復号画像領域の性質に応じた符号量の割り当てを行っていないため，主観的品質の向上のためには，エンハンスメントレイヤ符号化データにより多くの符号量が必要になる。
【００１１】
本発明は，上記従来の技術におけるエンハンスメントレイヤの必要符号量の増加に関する問題を，簡単な処理および構成により解決する階層的画像符号化・復号装置を提供することを課題とする。
【００１２】
【課題を解決するための手段】
本発明は，上記の課題を解決するため，以下に述べるような手段を採用している。その一手段は，ディジタル原画像信号に対して，第１の符号化器において複数の小領域に分割し，該小領域ごとに符号化処理を行いベースレイヤ符号化データを生成し，符号化データを復号したベースレイヤ復号画像信号と前記原画像信号とから差分画像信号を生成し，第２の符号化器において，差分画像信号を前記原画像信号小領域に対応する複数の小領域に分割し，差分画像信号小領域ごとに符号化処理を行いエンハンスメントレイヤ符号化データとして生成する階層的画像符号化装置において，前記第２の符号化器において，あらかじめ定められた基準に従って前記差分画像信号の小領域のクラス分けを行い，各小領域のクラスを示すクラス識別番号を生成するクラス分類部と，クラス分けされた各小領域に符号化優先度を付与する順位付け部と，付与された符号化優先度に応じて符号化パラメータを決定する制御部とを，備えることを特徴とする階層的画像符号化装置である。
【００１３】
この構成をとるときに，前述のクラス分類部は，原画像信号の小領域におけるアクティビティに基づいてクラス分けを行う機能を備えることがある。また，このクラス分類部は，差分画像信号の小領域におけるアクティビティに基づいてクラス分けを行う機能を備えることがある。アクティビティは，例えば前記原画像信号の小領域における画素値の変動具合を表す値，前記原画像信号の小領域における輝度値が所定の閾値より大きい画素の数，または前記差分画像信号の小領域における画素値の絶対値和である。
【００１４】
そして，前述の構成をとるときに，制御部は，前記各小領域に付与された符号化優先度に応じて，各小領域の符号化処理の有無，符号量の割り当て，量子化値，符号化パターンまたは符号化順序を決定する機能を備えることがある。
【００１５】
一方，本発明の階層的画像復号装置は，本発明による階層的画像符号化装置により生成された符号化データを処理対象として，ベースレイヤ符号化データを復号することによりベースレイヤ復号画像を生成し，エンハンスメントレイヤ符号化データを復号することにより差分画像信号を生成し，この２つを加算することで画像信号を生成していく階層的画像復号装置において，エンハンスメントレイヤ符号化データが得られた領域に対しては，復号処理を行い差分画像信号を生成することを特徴とする。
【００１６】
また，エンハンスメントレイヤ符号化データが得られなかった領域に対しては，ベースレイヤ復号画像信号の対応する領域のみを用いて，復号画像として生成する機能を備えることがある。
【００１７】
また，エンハンスメントレイヤ符号化データが得られなかった領域に対しては，前フレームの差分画像信号の対応する領域を用いて，当該フレームの差分画像信号とする機能を備えることがある。
【００１８】
【発明の実施の形態】
以下，図面により本発明の実施の形態を詳細に説明する。図１は，本発明の一実施形態の階層的画像符号化装置の概要を示すブロック図である。図示されているように，階層的画像符号化装置１は，第１の符号化器１１，第１の復号器１３，減算器１５，第２の符号化器１７から構成される。入力である原画像信号は第１の符号化器１１において符号化される。第１の符号化器１１は，原画像信号を符号化した結果のベースレイヤ符号化データ１２を出力する。第１の復号器１３は，ベースレイヤ符号化データ１２を復号し，ベースレイヤ復号画像信号１４を生成する。次いで減算器１５において原画像信号からベースレイヤ復号画像信号１４を減算し，差分画像信号１６を生成する。
【００１９】
第２の符号化器１７は，原画像信号と差分画像信号１６を入力とし，該差分画像信号１６を小領域に分割し，あらかじめ定められた基準に従って領域の識別番号と優先度を付与する。この優先度に応じて符号化パラメータを決定し符号化を行い，エンハンスメントレイヤ符号化データ１８を出力する。
【００２０】
図２は，本発明の一実施形態の階層的画像復号装置の概要を示すブロック図である。図示されているように，階層的画像復号装置２は，第１の復号器２１，第２の復号器２２，加算器２３から構成される。入力であるベースレイヤ符号化データ１２は，第１の復号器２１において復号される。第１の復号器２１は，復号した結果のベースレイヤ画像信号２４を出力する。エンハンスメントレイヤ符号化データ１８は，第２の復号器２２において復号される。第２の復号器２２は，エンハンスメントレイヤ符号化データ１８を復号した結果の差分画像信号２５を出力する。ベースレイヤ画像信号２４と差分画像信号２５は，加算器２３において加算され，エンハンスメント画像信号２６として出力される。
【００２１】
本実施の形態では，第２の復号器２２においてエンハンスメンメレイヤ符号化データ１８が得られない領域が存在することもある。この場合，第２の復号器２２は，エンハンスメントレイヤ符号化データ１８が得られた領域に対しては，復号処理を行い差分画像信号２５を生成するが，エンハンスメントレイヤ符号化データ１８が得られなかった領域に対しては，加算器２３の出力としてベースレイヤ画像信号２４の対応する領域のみを用いて，エンハンスメント画像信号２６を生成する。
【００２２】
また，他の方法として，第２の復号器２２は，エンハンスメントレイヤ符号化データ１８が得られた領域に対しては，復号処理を行い差分画像信号２５を生成し，エンハンスメントレイヤ符号化データ１８が得られなかった領域に対しては，前フレームの差分画像信号の対応する領域を用いて，当該フレームの差分画像信号２５とする実施も可能である。
【００２３】
次に本実施形態の構成を，より具体的に説明する。前記図１の階層的画像符号化装置１の第１の符号化器１１，第１の復号器１３としては，例えばＭＰＥＧ−４符号化方式を用いることができる。
【００２４】
図３は，ＭＰＥＧ−４符号化器の概要を示すブロック図である。図３のＭＰＥＧ−４符号化器３において，破線３ａで囲まれた減算器３０１，ＤＣＴ変換部３０２，量子化部３０３，可変長符号化部３０４，バッファ３０５，制御部３０６が，図１の第１の符号化器１１に相当する。また，符号化器にも復号器が必要となるため，図１の第１の復号器１３がすでにＭＰＥＧ−４符号化器３に含まれているといえ，破線３ｂで囲まれた逆量子化部３０９，逆ＤＣＴ変換部３１０，加算器３１１，動き補償予測部３１２，画像メモリ３１３が，前記第１の復号器１３に相当する。
【００２５】
ＭＰＥＧ−４符号化器３においては，原画像信号が入力されると，減算器３０１において，原画像信号から動き補償予測部３１２で生成された画像信号が減算される。そして，減算された結果の差分画像信号がＤＣＴ変換部３０２においてＤＣＴ変換され，量子化部３０３において量子化され，その結果の量子化ＤＣＴ係数３０８が可変長符号化部３０４において可変長符号化され，ベースレイヤ符号化データ１２としてバッファ３０５に蓄えられる。
【００２６】
制御部３０６では，符号化データのレートを一定に保つため，バッファ３０５に蓄えられた符号化データの発生符号量を調ベ，量子化部３０３における量子化の細かさ（量子化パラメータ）を制御する。本構成は，符号化パラメータ３０７として量子化パラメータを用いた場合の例である。量子化パラメータは，例えばマクロブロックと呼ばれる１６×１６画素に分割された符号化単位に定められる。
【００２７】
また，量子化ＤＣＴ係数３０８は，逆量子化部３０９において逆量子化され，逆ＤＣＴ変換部３１０において逆ＤＣＴ変換された後，加算器３１１において動き補償予測部３１２で生成された画像信号が加算され，画像メモリ３１３に蓄えられる。なお，ＭＰＥＧ−４符号化方式の詳細は，上記非特許文献１に記載されている。
【００２８】
図４は，前記第２の符号化器１７の一具体例である。クラス分類部４０２は，前記差分画像信号１６または原画像信号における小領域に対し，アクティビティと呼ばれる統計量を求める。このアクティビティに基づいて各小領域のクラス識別番号４０３を生成する。
【００２９】
順位付け部４０４では，クラス識別番号４０３に従って各小領域に符号化優先度４０５を付与する。制御部４０６と符号化部４０１では，この符号化優先度４０５に従って各小領域の符号化処理の有無や，符号量割り当てといった符号化パラメータ４０７を決定して差分画像信号１６の符号化を行い，エンハンスメントレイヤ符号化データ１８を出力する。符号化パラメータ４０７としては他に，量子化値，符号化パターンなどが挙げられる。
【００３０】
符号化部４０１における符号化の手段としては，差分画像信号１６をビットプレーン展開して上位層から可変長符号化を行い，符号化パラメータ４０７の一つである割り当て符号量まで出力する，あるいは差分画像信号１６を量子化して量子化代表値を可変長符号化するといったものがある。
【００３１】
次に，第２の符号化器１７におけるアクティビティの概念について説明する。一般にアクティビティとは，ある領域の画素値分布の特徴を示すものである。ユーザの意識は，表示された画像の中で人物の顔やテロップなど意味的に重要な部分に注目しやすい。また，人間の視覚特性によれば，変化の大きな領域での誤差は多少大きくても目立たず，逆に変化の緩やかな領域での誤差は小さくても非常に目立ちやすいことが分かっている。あるいは，画像の非可逆符号化により，物体の輪郭はぼけやすくなるため，残差信号を足しこんで輪郭をシャープにすると，主観的品質がより向上する。これらのことから，前記アクティビティの定義と求め方の例を以下に示す。
【００３２】
（ａ）原画像信号の小領域において，ある画素について隣接８画素との輝度差分絶対値の最大値を求める。その最大値がある閾値Ｔｈ１より大きい画素数を数えアクティビティＡとする。このとき，アクティビティＡは小領域の画素値の変動具合を表し，Ａの大きさによって図５に示すように領域をクラス分けする。ここで，図中のＴｈ２，Ｔｈ３は領域をクラス分けする閾値である。順位付け部４０４では，対応する差分画像信号１６の小領域に対して，エッジ領域，平坦領域，複雑領域の順に優先度を付与する。
【００３３】
（ｂ）原画像信号の小領域において，ある画素の輝度値が閾値Ｔｈ４より大きい画素数を数えアクティビティＡとする。アクティビティＡがある閾値Ｔｈ５より大きい領域は明領域とし，小さい領域を普通領域とクラス分けする。順位付け部４０４では，対応する差分画像信号１６の小領域に対して，明領域，普通領域の順に優先度を付与する。
【００３４】
（ｃ）差分画像信号１６の小領域において，画素値の絶対値和をアクティビティＡとし，ある閾値Ｔｈ６より小さい領域と，大きい領域とにクラス分けする。順位付け部４０４では，小さい領域，大きい領域の順に優先度を付与する。これは第一の符号化器１１において，原画像信号の複雑な領域は大きな量子化値により粗く量子化され，符号化残差信号も大きくなることが一般に言えるためである。
【００３５】
次に，制御部４０６での処理例を説明する。上記の処理により優先度が付与された小領域に対しては，優先度に応じて発生符号量の閾値を大きくし，量子化の細かさを調整したり，符号化対象となるビットプレーン数を増やす。あるいは，優先度の順に小領域を符号化し，エンハンスメントレイヤ符号化データ１８として出力する。符号量が多く割り当てられた小領域ではより多くの差分画像信号情報を符号化・送信することが可能となり，復号側で得られたエンハンスメント画像信号２６の画質が向上する。また，優先度順で小領域を符号化したデータは，データの末尾部分から落としていくことにより，送信側において通信路の容量にあわせたデータ量と品質の向上が制御できる。
【００３６】
【発明の効果】
以上述べたように，本発明は，原画像信号または差分画像信号のアクティビティを用いることにより，画像の特性に応じた符号化を行い，従来の技術に対して同程度の符号量でも主観的品質の向上が可能となる。
【図面の簡単な説明】
【図１】階層的画像符号化装置の概要を示すブロック図である。
【図２】階層的画像復号装置の概要を示すブロック図である。
【図３】ＭＰＥＧ−４符号化器の構成例を示すブロック図である。
【図４】第２の符号化器の具体的構成例を示すブロック図である。
【図５】アクティビティによる領域の分類の例を示す図である。
【図６】従来の階層的画像符号化装置の概要を示すブロック図である。
【符号の説明】
１，７  階層的画像符号化装置
２  階層的画像復号装置
３  ＭＰＥＧ−４符号化器
１１，７１  第１の符号化器
１２，７２  ベースレイヤ符号化データ
１３，２１，７３  第１の復号器
１４，７４  ベースレイヤ復号画像信号
１５，７５  減算器
１６，２５，７６  差分画像信号
１７，７７  第２の符号化器
１８，７８  エンハンスメントレイヤ符号化データ
２２  第２の復号器
２３  加算器
２４  ベースレイヤ画像信号
２６  エンハンスメント画像信号
３０１  減算器
３０２  ＤＣＴ変換部
３０３  量子化部
３０４  可変長符号化部
３０５  バッファ
３０６，４０６  制御部
３０７，４０７  符号化パラメータ
３０８  量子化ＤＣＴ係数
３０９  逆量子化部
３１０  逆ＤＣＴ変換部
３１１  加算器
３１２  動き補償予測部
３１３  画像メモリ
４０１  符号化部
４０２  クラス分類部
４０３  クラス識別番号
４０４  順位付け部
４０５  符号化優先度
【図１】
2004248124.tif 000003
【図２】
2004248124.tif 000004
【図３】
2004248124.tif 000005
【図４】
2004248124.tif 000006
【図５】
2004248124.tif 000007
【図６】
2004248124.tif 000008