(57)【要約】【課題】画像符号化の際の高い主観品質の実現，パケットロスや帯域変動に頑健なスケーラブル符号化の構築を可能とする。【解決手段】拡張レイヤを符号化する際に，減算部１８によって，基本レイヤの量子化前のＤＣＴ係数と，量子化部１３による量子化，逆量子化部１５による逆量子化後のＤＣＴ係数との差分ＤＣＴ係数を算出する。領域分割部２０１は，各ブロック毎に所定の閾値より小さい差分ＤＣＴ係数をカウントし，そのカウント値とローカルデコード画像とに基づいて画像を領域分割する。ビットプレーンシフト部２０２は，分割された領域のうち主観画質に大きく影響する特定の領域をビットプレーンシフトし，可変長符号化部２１は，その結果を可変長符号化する。【選択図】図１
2005079953.tif 000002
【特許請求の範囲】
【請求項１】
基本レイヤと拡張レイヤからなる階層符号化を行う階層画像符号化方法であって，
基本レイヤにおける量子化前のＤＣＴ係数と量子化および逆量子化後のＤＣＴ係数の差分である差分ＤＣＴ係数を算出するステップと，
前記算出された差分ＤＣＴ係数の特徴に基づいて，画像を主観画質への影響が異なる複数の領域に分割するステップと，
前記分割された領域のうち，主観画質に大きく寄与する特定の領域をビットプレーンシフトして優先的に階層符号化するステップとを有する
ことを特徴とする階層画像符号化方法。
【請求項２】
基本レイヤと拡張レイヤからなる階層符号化を行う階層画像符号化方法であって，
現画像と基本レイヤのローカルデコード画像との差分を離散コサイン変換した差分ＤＣＴ係数を算出するステップと，
前記算出された差分ＤＣＴ係数の特徴に基づいて，画像を主観画質への影響が異なる複数の領域に分割するステップと，
前記分割された領域のうち，主観画質に大きく寄与する特定の領域をビットプレーンシフトして優先的に階層符号化するステップとを有する
ことを特徴とする階層画像符号化方法。
【請求項３】
請求項１または請求項２に記載の階層画像符号化方法において，
前記画像を主観画質への影響が異なる複数の領域に分割するステップでは，所定の大きさのブロック毎に前記差分ＤＣＴ係数が所定の閾値より小さいものの数をカウントし，そのカウント値と基本レイヤのローカルデコード画像とに基づいて，少なくともブロックノイズもしくはモスキートノイズが出現する可能性が高いブロックと，それ以外のブロックとに分割する
ことを特徴とする階層画像符号化方法。
【請求項４】
基本レイヤと拡張レイヤからなる階層符号化を行う階層画像符号化装置であって，
基本レイヤにおける量子化前のＤＣＴ係数と量子化および逆量子化後のＤＣＴ係数の差分である差分ＤＣＴ係数を算出する手段と，
前記算出された差分ＤＣＴ係数の特徴に基づいて，画像を主観画質への影響が異なる複数の領域に分割する手段と，
前記分割された領域のうち，主観画質に大きく寄与する特定の領域をビットプレーンシフトして優先的に階層符号化する手段とを備える
ことを特徴とする階層画像符号化装置。
【請求項５】
基本レイヤと拡張レイヤからなる階層符号化を行う階層画像符号化装置であって，
現画像と基本レイヤのローカルデコード画像との差分を離散コサイン変換した差分ＤＣＴ係数を算出する手段と，
前記算出された差分ＤＣＴ係数の特徴に基づいて，画像を主観画質への影響が異なる複数の領域に分割する手段と，
前記分割された領域のうち，主観画質に大きく寄与する特定の領域をビットプレーンシフトして優先的に階層符号化する手段とを備える
ことを特徴とする階層画像符号化装置。
【請求項６】
請求項１，請求項２または請求項３に記載の階層画像符号化方法をコンピュータに実行させるための階層画像符号化プログラム。
【請求項７】
請求項１，請求項２または請求項３に記載の階層画像符号化方法をコンピュータに実行させるための階層画像符号化プログラムを記録した記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は，画像を符号化し，基本階層と拡張階層の２階層からなる符号化データを生成する符号化方式に関し，特に，インターネットやモバイル通信環境などのパケットロスや帯域変動が常時起こる通信環境にて，画像を階層的に符号化することで，上位階層が通信網の影響を受けたとしても，下位の階層を何らかの形で伝送することによって画像が途切れることなく復号，再生することができる階層画像符号化技術に関するものである。
【背景技術】
【０００２】
インターネットやモバイル環境での符号化方式として，ＭＰＥＧ−４ Simple profile （ＳＰ）ならびに Advanced Simple Profile（ＡＳＰ）がある（例えば，非特許文献１参照）。これらの符号化方式は，１Ｍｂｐｓ以下のビットレートにて，ＭＰＥＧ−１等の従来手法に比較して大きな圧縮効率を達成している。しかし，インターネットやモバイル通信環境の特徴であるパケットロスや帯域変動が起きた場合に適した符号化ではない。
【０００３】
一方，ＭＰＥＧ−４では，Fine Granularity Scalable(ＦＧＳ) 符号化（例えば，非特許文献２参照）において，スケーラブル符号化を装備している。スケーラブル符号化の目的は，伝送帯域の変動があった場合に，拡張レイヤを適応的にカットして，画像が途切れなくするための機能を実現することである。また，一つのソースにて複数のビットストリームを取り出せるという，One Source Multi-useを実現するものである。一方で，基本レイヤにて画像品質（ＳＮＲ）が十分でない部分を，拡張レイヤにて補うという応用も可能である。本発明ではこの１番目と３番目の特徴を生かして，高い主観品質を実現するスケーラブル符号化の構築を目的とする。
【０００４】
一般に，ＦＧＳ符号化は，拡張レイヤからは無限の細かさでビットレートを取り出すことができる。しかし，分割損があることも知られており，同程度の符号量では従来の符号化に比べてＰＳＮＲ(Peak Signal to Noise Ratio)および主観画質がともに悪化するという問題点があった。
【０００５】
ＦＧＳ符号化は，拡張レイヤにて原信号と基本レイヤの差分信号をＤＣＴ変換した値の差分ＤＣＴ係数をビットプレーン展開して可変長符号化する。高位のビットプレーンから順次送信するので，差分ＤＣＴ係数の大きいところ（＝原画像と基本レイヤの符号化画像のＰＳＮＲがより向上する部分）が優先的に送信される。しかし，ＰＳＮＲの低いところが必ずしも主観画質を悪化させるとは限らない。
【０００６】
ＦＧＳ符号化の枠組みにおいて，Selective Enhancement および，Frequency Weighting という優先順位を変更する手段がある。前者は選択されたマクロブロックを優先的に符号化する。また，後者はすべてのマクロブロックにおいて，ＤＣＴ係数の低周波を優先的に符号化する。
【０００７】
これらの適用方法は標準の対象外であり，達成できる主観品質の良し悪しは，その方法によるところが大きい。中嶋ら（例えば，非特許文献３参照）は，原画像の画素信号を用いて，Selective Enhancement を適用するマクロブロックを決定する方法の提案ならびにＦＧＳ符号化への適用を試みている。しかし，画素領域にて画像の特徴を判定するため，基本レイヤの画像品質を反映できない構成になっている。すなわち，基本レイヤが高い品質であっても低い品質であっても，同じ優先順位付けがなされる問題点があった。また，処理量が基本レイヤの約４倍，全符号化処理のほとんどを占めることも問題であった。
【０００８】
図９に，従来の一般的な階層画像符号化装置の例を示す。図９の例は，原画像とローカルデコード画像の差分のＤＣＴ係数を拡張レイヤで符号化する階層画像符号化装置の例である。
【０００９】
階層画像符号化装置３００は，符号化対象の原画像３０を入力し，減算部３１において原画像３０とローカルデコード部３７から得た参照画像（ローカルデコード画像）との差分を求める。ＤＣＴ部３２では，その差分画像を入力して離散コサイン変換を行い，量子化部３３では，その結果のＤＣＴ係数を量子化する。可変長符号化部３４は，量子化データを可変長符号化し，それを基本レイヤのビットストリーム（符号化データ）とする。
【００１０】
また，量子化部３３により量子化した量子化データを，逆ＤＣＴ部３６により逆量子化し，その結果のＤＣＴ係数を逆ＤＣＴ部３６により逆離散コサイン変換し，その結果にローカルデコード部３７によって元の参照画像を加算することにより，次に参照するローカルデコード画像を生成する。
【００１１】
拡張レイヤの符号化では，原画像３０とローカルデコード部３７で復号したローカルデコード画像との差分を減算部３８で求め，その差分をＤＣＴ部３９によって離散コサイン変換し，ビットプレーン展開部４０においてビットプレーンに展開する。選択的拡張処理部４１０を持つ階層画像符号化装置３００では，選択的拡張処理部４１０によって，可変長符号化する前のＤＣＴ係数の優先順位の変更を行うことができる。その優先順位に従ってＤＣＴ係数を可変長符号化部４２により可変長符号化したものを拡張レイヤの符号化データとする。
【００１２】
また，図１０に，従来の基本レイヤと拡張レイヤからなる階層画像符号化装置の他の例を示す。図９の階層画像符号化装置３００の場合，原画像とローカルデコード画像の差分のＤＣＴ係数を拡張レイヤで符号化していたのに対し，図１０の階層画像符号化装置１００では，基本レイヤの量子化前のＤＣＴ係数と量子化・逆量子化後のＤＣＴ係数との差分を拡張レイヤで符号化している（非特許文献４参照）。
【００１３】
図１０の階層画像符号化装置１００において，基本レイヤを符号化する場合の減算部１１，ＤＣＴ部１２，量子化部１３，可変長符号化部１４，逆量子化部１５，逆ＤＣＴ部１６，ローカルデコード部１７の動作は，図９で説明したものと同様である。
【００１４】
拡張レイヤの符号化では，逆量子化部１５により逆量子化した後のＤＣＴ係数と，量子化する前のＤＣＴ係数との差分（以下，差分ＤＣＴ係数という）を減算部１８により算出し，結果をビットプレーン展開部１９によってビットプレーンに展開する。選択的拡張処理部２００によって，可変長符号化する前の差分ＤＣＴ係数の優先順位を変更し，その優先順位に従って差分ＤＣＴ係数を可変長符号化部２１により可変長符号化する。その可変長符号化した結果を拡張レイヤの符号化データとする。
【００１５】
これらの従来の選択的拡張処理機能を有する階層画像符号化装置では，選択的拡張処理部において，符号化データから主観品質に大きく寄与する領域をどのようにして推定し，拡張レイヤの符号化において優先的に符号化する領域をどのように選択するかが問題であった。
【非特許文献１】"Information technology-Coding of audio-visual objects-Part2:Visual Amendment 1:Visual extensions ISO/IEC 14496-2.
【非特許文献２】"AMENDMENT 4:Streaming video profile,"ISO/IEC 14496-2:1999/FDAM4.
【非特許文献３】中嶋淳一，上倉一人，八島由幸，"MPEG-4 FGS レイヤにおける符号化マクロブロック選択に関する考察",情報処理学会第４０会ＡＶＭ研究会，pp1-6.
【非特許文献４】Weiping Li",Ovweview of fine granularity Scalability in ＭＰＥＧ−４ Video Standard,"IEEE TRans.on CSVT,Vol.11,No.3,March 2001.
【非特許文献５】宮林正樹，若宮直紀，村田正行，宮原秀夫,"ＴＣＰデータ通信との公平性を考慮した輻輳適応型レート制御によるMPEG-4動画像通信",信学会情報ネットワーク研究会２００１年３月．
【非特許文献６】市ケ谷敦郎，黒住正顕，杉本智彦，中州英輔,"ＤＣＴ係数確率密度分布を用いた符号化ＰＳＮＲ推定手法の検討",FIT2000,J-77,pp.355-356.
【非特許文献７】Hayder Radha,Yingwei Chen,Kavitha Parthasarathy,Robert Cohen,"Scalable Internet video using MPEG-4",Signal Processing:Image Communication 15pp.95-126,1999.
【非特許文献８】松尾賢治，高木幸一，小池淳，松本修一,"有意係数の分布に基づいたMFEG-4 FGSの bit-plane符号化効率改善法",映像情報メディア学会技術報告Vol.26,No.31,pp13-18,March 2002.
【発明の開示】
【発明が解決しようとする課題】
【００１６】
本発明は，上記従来技術の問題点を解決し，従来の符号化方式（例えば，非特許文献１）にない，スケーラブル性を実現し，また，通常，符号化効率において分割損があるが，主観品質においては同程度の品質を達成し，処理時間が基本レイヤも含めて実時間で処理可能である階層画像符号化技術を提供することを目的とする。
【課題を解決するための手段】
【００１７】
本発明は，上記課題を解決するため，主観品質を向上させ，高速処理を可能にするための，基本レイヤの量子化前のＤＣＴ係数と量子化・逆量子化後のＤＣＴ係数の差分（差分ＤＣＴ係数の）性質から，画像の主観品質を左右する２つの歪であるブロックノイズおよびモスキートノイズが出現するブロックを，所定値より小さい差分ＤＣＴ係数のカウント値およびローカルデコード画像の値を用いて推定する手段と，主観画質に大きく寄与するマクロブロックを優先的に階層符号化する階層符号化手段とを有することを特徴とする。ここで，優先的に階層符号化するとは，画像を領域分割した後に，特定の領域のみをビットプレーンシフトをして符号化することをいう。
【００１８】
本発明によれば，原画像の画素領域から一切の情報を必要とせず，すべて符号化データから主観品質に大きく寄与するマクロブロックを推定する作用がある。また，画像の主観品質を左右する２つの歪であるブロックノイズおよびモスキートノイズが出現するブロックを推定するという作用がある。また，推定されたブロックを優先的に符号化するという作用がある。
【発明の効果】
【００１９】
本発明によれば，原画像の画素領域から一切の情報を必要とせず，すべて符号化データから主観品質に大きく寄与するマクロブロックを推定する作用があり，高速に処理することができるという効果がある。
【００２０】
また，画像の主観品質を左右する２つの歪であるブロックノイズおよびモスキートノイズが出現するブロックを推定するため，主観品質に影響があるマクロブロックを優先することで，高い主観品質を実現するという効果がある。また，推定されたブロックを優先的に階層符号化することで，パケットロスや帯域変動に頑健なスケーラブル符号化を構築できるという効果がある。
【発明を実施するための最良の形態】
【００２１】
図１に，本発明の基本レイヤと拡張レイヤからなる階層画像符号化装置の構成例を示す。階層画像符号化装置としては，基本レイヤにＭＰＥＧ−４  ＳＰ(Simple Profile)もしくはＡＳＰ(Advanced Simple Profile) を用いる。また，拡張レイヤにはＭＰＥＧ−４  ＦＧＳ(Fine Granularity Scalable) を用いる。
【００２２】
図１において，１は階層画像符号化装置，１０は符号化対象の原画像，１１は原画像１０とローカルデコード画像との差分を計算する減算部，１２は原画像１０とローカルデコード画像との差分を離散コサイン変換するＤＣＴ部，１３はＤＣＴ部１２による離散コサイン変換後のＤＣＴ係数を量子化する量子化部，１４は量子化部１３が量子化したデータ可変長符号化する可変長符号化部，１５は量子化後のＤＣＴ係数を逆量子化する逆量子化部，１６は逆量子化後のＤＣＴ係数について逆離散コサイン変換する逆ＤＣＴ部，１７はＤＣＴ係数の逆離散コサイン変換結果をもとに復号画像を生成するローカルデコード部，１８は逆量子化部１５による逆量子化後のＤＣＴ係数と量子化部１３により量子化される前のＤＣＴ係数との差分である差分ＤＣＴ係数を求める減算部，１９は減算部１８が求めた差分ＤＣＴ係数をビットプレーンに展開するビットプレーン展開部，２０は拡張レイヤの符号化の際に優先的に符号化する領域を選択して符号化するための選択的拡張処理部，２１は差分ＤＣＴ係数を可変長符号化する可変長符号化部である。
【００２３】
また，選択的拡張処理部２０において，２０１は減算部１８により求められた差分ＤＣＴ係数とローカルデコード画像とに基づいて画像を領域分割する領域分割部，２０２は分割された領域のうち，特定の領域をビットプレーンシフトするビットプレーンシフト部である。
【００２４】
階層画像符号化装置１は，原画像１０とローカルデコード部１７から得た参照画像（ローカルデコード画像）との差分をＤＣＴ部１２に入力して離散コサイン変換を行い，その結果のＤＣＴ係数を量子化部１３により量子化し，可変長符号化部１４により可変長符号化したものを基本レイヤのビットストリーム（符号化データ）とする。
【００２５】
一方で，量子化部１３による量子化後のＤＣＴ係数を逆量子化部１５により逆量子化したＤＣＴ係数と，量子化する前のＤＣＴ係数の差分（これを差分ＤＣＴ係数という）を可変長符号化部２１により可変長符号化したものを拡張レイヤの符号化データとする。このときに，選択的拡張処理部２０によって，可変長符号化する前の差分ＤＣＴ係数の優先順位の変更を行う。
【００２６】
基本レイヤにて符号化された画像は，原画像との差分（画素値）をＤＣＴ変換するのがＦＧＳ符号化の基本であるが，本実施の形態では，量子化前のＤＣＴ係数と量子化・逆量子化後のＤＣＴ係数の差分をそのままビットプレーン展開し，可変長符号化することで，ＦＧＳ符号化シンタックスに則ったビットストリームを生成する方法を用いる。変換された係数は，ビットプレーン展開され，上位のプレーンから可変長符号化されて送信される。
【００２７】
上位のビットプレーンは，差分ＤＣＴ係数の振幅が大きいところに相当するので，画素信号的に差分の高いところほど最初に送信される。他の部分は振幅に応じて順次送信される。マクロブロック単位ではなくフレーム全体でビットプレーン展開されるので，フレームのＳＮＲが徐々に向上するイメージである。
【００２８】
図２に，選択的拡張処理(Selective Enhancement) の概念を示す。図２（Ａ）は Selective Enhancement無しの場合を，図２（Ｂ）は Selective Enhancement有りの場合を示している。図２において，横軸はマクロブロック番号，縦軸は差分ＤＣＴ係数の大きさを表している。本実施の形態では，各マクロブロックは，詳しくは後述するように，複雑領域，グラデーション領域（高輝度／低輝度），エッジ領域，平坦領域の４つの領域に分類される。
【００２９】
通常のＦＧＳ符号化の中にマクロブロック毎にビットプレーンシフトを加えることが可能である。このとき，どのフレームのどのマクロブロックをシフトするかは標準では規定されていない。この機能をSelective Enhancement という。
【００３０】
差分ＤＣＴ係数は，図２（Ａ）のようにビットプレーン展開される。基本的に差分ＤＣＴ係数の振幅の大きいものから順番に符号化される。小さな振幅を持つマクロブロックは，必然的に優先順位が低くなる。ここで，図２（Ｂ）のように，任意に優先したいマクロブロックのビットを何ビットかシフトする。こうすることで，そのマクロブロックが優先的に符号化されることになる。
【００３１】
ＦＧＳ符号化では，上位プレーンから順番に送信されていき，かつ，上位４プレーンまでしか送信することができない。よって，図２（Ａ）の例では，グラデーション領域やエッジ領域は主観品質上重要であっても，ビット値が上位プレーンには現れず，下位プレーンだけであるので送信されない。そこで本実施の形態では，このような場合に主観品質に大きく影響する領域を考慮し，図２（Ｂ）に示すように，値をビットシフトしてプレーンをより上位プレーンに上げることで，より優先的に送信することを実現する。
【００３２】
本発明は，以上のようなSelective Enhancement において優先的に符号化される領域を選択する方法に関するものである。本発明では，画像を以下の４つに分類する方式を提案する。画像の主観品質に対する影響を考慮した領域の分類を以下に示す。
・画像の劣化が主観画質に大きく寄与する領域
−エッジ領域
−グラデーション領域
・画像の劣化が主観画質にほとんど寄与しない領域
−複雑領域
−平坦領域
以下に，４つの領域の説明を記す。まず，エッジ領域は，十分な符号量が与えられない場合に，エッジの周辺にモスキートノイズが生じる領域である。主観画質に大きく影響を与えるブロックである。自身が複雑ブロックで周囲に平坦ブロックがある場合に，そのブロックがエッジを含むブロックである可能性が高い。よって，このようなブロックはエッジ領域に属すると判断する。
【００３３】
次に，グラデーション領域は，値の変化がなだらかな領域ではあるが，十分な符号量がない場合にブロックノイズが生じる領域である。これも主観画質に大きく影響を与えるブロックである。自身が平坦ブロックであり，かつ，周囲にも平坦ブロックがあり，その平均輝度値の差分が大きい場合にブロックノイズが生じる。よって，このようなブロックをグラデーション領域に属すると判断する。さらに，このグラデーション領域を輝度平均値と所定の閾値との大小比較によって，高輝度グラデーション領域と低輝度グラデーション領域とに分類することもできる。
【００３４】
次に，複雑領域であるが，これは自身も周囲も複雑な領域であるために，ノイズが目立ちにくいとされるブロックである。しかし，優先的に符号化するとＳＮＲの向上に大きく寄与するブロックである。このようなブロックを複雑領域に属すると判断する。
【００３５】
最後に，平坦領域であるが，上記の３種類以外のブロックを平坦領域と判断する。自身が平坦であり，周囲にも平坦なブロックがある場合，かつ，その輝度値にあまり変化がない場合に，平坦領域に属するものとする。符号量も少なく，主観画質にもほとんど影響を与えない領域である。
【００３６】
図３に，本発明の実施の形態における領域分割アルゴリズムを示す。選択的拡張処理部２０の領域分割部２０１は，減算部１８がＤＣＴ部１２の出力であるＤＣＴ係数と，それを量子化部１３により量子化し，逆量子化部１５により逆量子化したＤＣＴ係数との差分を計算し，ビットプレーン展開部１９によってビットプレーンに展開した差分ＤＣＴ係数を参照して，以下の処理を行う。
【００３７】
まず，各差分ＤＣＴ係数を所定の整数Ｎで除算し，商が“０”になった係数をカウントする（ステップＳ１）。このカウント値をマップ化したものをカウントマップと呼ぶ。この操作は，閾値Ｎよりも小さいＤＣＴ係数をカウントしたことに相当し，この数が６４（＝ＤＣＴ係数の数）に近ければ近いほど平坦なブロックである可能性が高い。カウントマップの任意の座標（ｘ，ｙ）において取り得るカウント値Ｖcount （ｘ，ｙ）の範囲は，０≦Ｖcount （ｘ，ｙ）≦６３である。このカウント値Ｖcount （ｘ，ｙ）を，ある閾値Ｔｈc で２値化し，より低い方の値を複雑ブロック，高い方の値を平坦ブロックと分類する（ステップＳ２）。
【００３８】
任意の着目ブロックが平坦ブロックでなく，複雑ブロックであった場合（ステップＳ３），着目ブロックの近傍に一つでも平坦ブロックがあるかどうかを調べ，一つでも平坦ブロックがある場合，このブロックをエッジ領域に属するとする。それ以外は複雑領域とする（ステップＳ４）。ここで，２値化閾値Ｔｈc ＝５０を標準的な値とする。
【００３９】
前の処理で決定された閾値Ｔｈc にて平坦ブロックと判定されたブロックにおいて，近傍のブロックに平坦ブロックがある場合にその周囲の平坦ブロックの輝度平均を各々算出し，平均輝度値の差分がある閾値Ｔｈdif を超えた場合に，その着目ブロックをグラデーション領域とする。またそれ以外を平坦領域とする（ステップＳ５）。ここで，ブロックにおける輝度平均は，基本レイヤにおけるローカルデコード画像の値を用いる。
【００４０】
グラデーション領域と判定されたブロックにおいて，輝度平均が，ある輝度閾値Ｔｈy を超える場合を高輝度グラデーション領域とする。また，それ以外を低輝度グラデーション領域とする（ステップＳ６）。このように分類することで，すべてのブロックがエッジ領域，高輝度グラデーション領域，低輝度グラデーション領域，複雑領域，平坦領域に分類されることになる（ステップＳ７）。
【００４１】
選択的拡張処理部２０は，優先的に符号化する領域の優先順を，
（１）エッジ領域
（２）グラデーション領域（高輝度）
（３）グラデーション領域（低輝度）
（４）複雑領域
（５）平坦領域
の順とする。なお，高輝度グラデーション領域と低輝度グラデーション領域とを区別しないで一つの領域として扱ってもよい。ビットプレーンシフト部２０２は，図２（Ｂ）の例のように，優先順位の高いエッジ領域やグラデーション領域について，差分ＤＣＴ係数をビットシフトし，優先的に符号化されるようにする。これによって，主観画質に大きく影響を与えるブロックが優先的に符号化されることになる。
【００４２】
本実施の形態におけるビットプレーンシフトの方法について，さらに詳しく説明する。ビットプレーンシフト部２０２における処理の自由度として，第１にどのマクロブロックを，第２に何ビットシフトするかという２つの自由度がある。そこで，シフトすべきマクロブロックと，シフトするビット量を次の方針で決定する。
【００４３】
実際の画像に対しての領域分割の実験から，一般にエッジ領域と複雑領域はビットプレーン数が多いことがわかっている。よって，この２つの領域をビットシフトすると，他の領域の優先度が必然的に下がることになる。また，ＦＧＳ符号化の規格上，上位４プレーンしか符号化されないので，振幅の大きいプレーンはビットシフトを行わないほうが望ましい。そこで，本実施の形態では，基本的にモスキートノイズの現れやすいエッジ領域と，ブロック歪の目立つ高輝度グラデーション領域を最大ビットプレーンに合わせる形でビットシフトする。
【００４４】
また，具体的なビットプレーンシフトのアルゴリズムとしては，次のようなアルゴリズムを用いるのも好適である。注視領域（ＲＯＩ：Region Of Interest）を考慮すると，画像中央の複雑領域がＲＯＩに相当する場合がある。複雑領域の画像全体に対する割合が小さい時はＲＯＩとみなし，優先されるべき領域であるが，もともと複雑領域はプレーン数が多いので，特にビットシフトの対象とはしない。一方で，複雑領域が画面全体に対して大きな割合を占める場合には，背景部分であると判断し，相対的に複雑領域がシフトダウンされる方式とする。
【００４５】
すなわち，拡張レイヤでは，拡張レイヤに与えられたビットレートから，１フレーム当たりのビット数を算出する。そのビット数に達するまで，ＦＧＳ符号におけるビットプレーンを符号化する。差分ＤＣＴ係数から，そのフレームにおける最大ビットプレーン値を算出する。また，領域分割結果から複雑領域の画面に対する割合ｐc を算出する。これがある閾値以下である場合には，複雑領域がＲＯＩに属するとして，エッジ領域および高輝度グラデーション領域を最大ビットプレーン値に合わせてビットプレーンシフトする。複雑領域が十分に大きい場合には，背景に相当すると判断し，エッジ領域および高輝度グラデーション領域を最大ビットプレーン数＋ｋ（本実施の形態ではｋ＝１を用いた）までビットシフトする。これにより，相対的に複雑領域，低輝度グラデーション領域，平坦領域の優先度が下がったことになる。
【００４６】
さらに単純化した方式として，一般にエッジ領域も複雑領域と同様に振幅の大きな差分ＤＣＴ係数が現れる領域であるので，エッジ領域に関しては既に優先されているものとし，ビットプレーンシフトは行わないで，高輝度グラデーション領域だけビットプレーンシフトを行うような実施も好適である。
【００４７】
本発明を実際に適用した実験例を説明する。図４は本発明の実験に用いた原画像の例（画像“Flower Garden ”）を示す。図３のステップＳ１で生成したカウントマップは，図５のとおりであった。図５のカウントマップでは，カウント値の大小を濃淡で表している。図５では，画像の「空」の部分に高い値が出現している。
【００４８】
図６に，選択的拡張処理部２０の領域分割部２０１によって図５のカウントマップに基づき領域分割した結果を示す。図６に示す領域は，輝度の低い（黒い）順に，エッジ領域，高輝度グラデーション領域，低輝度グラデーション領域，複雑領域，平坦領域となっている。図６からわかるように，画像“Flower Garden ”においては，「空」と他のテクスチャとの境界にエッジ領域が出現し，画像“Flower Garden ”の「花畑」の部分は複雑領域と判定されている。画素領域で一般的なエッジ検出フィルタをかけた結果と，本発明によって領域分割した結果とを比較すると，エッジ検出フィルタをかけた結果を指標とした場合には，「花畑」の部分もエッジが抽出されるので，「花畑」の部分がエッジ領域と判断されるが，本発明による領域分割では複雑領域と判定され，一般的なエッジ検出による領域分割の結果と異なる結果となる。
【００４９】
図７は，本発明による選択的拡張処理を行わないで（Selective Enhancement なしの場合）符号化したデータを復号した結果の画像と，本発明により選択的拡張処理を行って（Selective Enhancement ありの場合）符号化したデータを復号した結果の画像との比較を示している。図７（Ａ）がSelective Enhancement なしの場合，図７（Ｂ）は本発明によるSelective Enhancement ありの場合の復号画像である。この例では，基本レイヤのビットレートを２５０ｋｂｐｓ，拡張レイヤのビットレートも２５０ｋｂｐｓで符号化を行った。領域分割結果は，拡張レイヤの符号化時に，主観品質に影響を与えるエッジ領域と高グラデーション領域をビットプレーンシフトし，優先的に符号化されるようにした。
【００５０】
この実験から，本発明による方式のほうが，より低レートにてＳＮＲには反映されないが，モスキートノイズやブロックノイズの載りやすい領域を優先的に符号化することで，視覚的に良好な結果が得られることが確認できた。すなわち，トータルビットレートの低いところで，エッジ領域や高輝度グラデーション領域の画質改善が図られており，One Source Multi-useという利用に関して，低いレートでも画像品質の劣化を抑えることができることが確認された。非特許文献３に示されている従来方式と本発明による方式との処理時間を比較した場合，本発明による方式の処理時間は，従来方式の１／１０程度の時間であった。
【００５１】
図８は，本発明の階層画像符号化装置の他の構成例を示す。前述した図１の例では，基本レイヤの量子化前のＤＣＴ係数と量子化・逆量子化後のＤＣＴ係数との差分を拡張レイヤで符号化する階層画像符号化装置１に対して本発明を適用した例を示したが，原画像とローカルデコード画像の差分のＤＣＴ係数を拡張レイヤで符号化する階層画像符号化装置３に対しても，同様に本発明を適用した選択的拡張処理部４１を用いることができる。
【００５２】
図８における選択的拡張処理部４１の他の部分は，図９で説明した従来の階層画像符号化装置３００と同様である。階層画像符号化装置３による拡張レイヤの符号化では，ＤＣＴ部３９により原画像とローカルデコード画像との差分のＤＣＴ係数を求め，ビットプレーン展開部４０によって差分ＤＣＴ係数をビットプレーンに展開する。選択的拡張処理部４１では，ビットプレーン展開された差分ＤＣＴ係数の特徴から，領域分割部４１１が前述した領域分割アルゴリズムを用いて領域を分割し，画像の主観品質を左右する２つの歪であるブロックノイズおよびモスキートノイズが出現するブロックを差分ＤＣＴ係数およびローカルデコード画像から推定する。ビットプレーンシフト部４１２は，領域分割結果からエッジ領域や高輝度グラデーション領域などを抽出し，そのビットプレーンをシフトし，主観画質に大きく寄与する領域が優先的に符号化されるようにする。
【００５３】
以上の階層画像符号化の処理は，コンピュータとソフトウェアプログラムとによっても実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することも，ネットワークを通して提供することも可能である。
【図面の簡単な説明】
【００５４】
【図１】本発明の階層画像符号化装置の構成例を示す図である。
【図２】本発明の選択的拡張処理の概念を示す図である。
【図３】本発明の実施の形態における領域分割アルゴリズムを示す図である。
【図４】原画像の例を示す図である。
【図５】カウントマップの例を示す図である。
【図６】領域分割結果の例を示す図である。
【図７】選択的拡張処理を行わなかった場合と行った場合の実験結果の画像の比較を示す図である。
【図８】本発明の階層画像符号化装置の他の構成例を示す図である。
【図９】従来の階層画像符号化装置の例を示す図である。
【図１０】従来の階層画像符号化装置の例を示す図である。
【符号の説明】
【００５５】
１，３，１００，３００  階層画像符号化装置
１０，３０  原画像
１１，１８，３１，３８  減算部
１２，３２，３９  ＤＣＴ部
１３，３３  量子化部
１４，２１，３４，４２  可変長符号化部
１５，３５  逆量子化部
１６，３６  逆ＤＣＴ部
１７，３７  ローカルデコード部
１９，４０  ビットプレーン展開部
２０，４１，４１０  選択的拡張処理部
２０１，４１１  領域分割部
２０２，４１２  ビットプレーンシフト部
【図１】
2005079953.tif 000003
【図２】
2005079953.tif 000004
【図３】
2005079953.tif 000005
【図４】
2005079953.tif 000006
【図５】
2005079953.tif 000007
【図６】
2005079953.tif 000008
【図７】
2005079953.tif 000009
【図８】
2005079953.tif 000010
【図９】
2005079953.tif 000011
【図１０】
2005079953.tif 000012