(57)【要約】【課題】人間の視覚特性に応じた符号量の設定を行うことができるようにする。【解決手段】符号化対象画像の目標符号量を決定する目標符号量決定手段と、前記復号化手段から出力される復号画像信号を用いてブロック歪度合いを算出する算出手段と、前記算出手段により算出されたブロック歪度合いの大きさを判断し、前記ブロック歪度合いの大きさに応じて前記目標符号量を制御する目標符号量制御手段とを設け、ブロック歪度合いが大きいと判断した場合、前記符号化対象画像の目標符号量を増加させるようにし、その反対に前記ブロック歪度合いが小さいと判断した場合、前記符号化対象画像の目標符号量を減少させるようにして、画質の定量的な劣化具合や人間の視覚特性を考慮した符号量の設定を行うようにする。【選択図】図１
2007300557.tif 000002
【特許請求の範囲】
【請求項１】
符号化対象画像を符号化する符号化手段と、前記符号化手段で符号化された符号化データを局所的に復号化する復号化手段とを有する画像符号化装置であって、
前記符号化対象画像の目標符号量を決定する目標符号量決定手段と、
前記復号化手段から出力される復号画像信号を用いてブロック歪度合いを算出する算出手段と、
前記算出手段により算出されたブロック歪度合いの大きさを判断し、前記ブロック歪度合いの大きさに応じて前記目標符号量決定手段で決定する目標符号量を制御する目標符号量制御手段とを有することを特徴とする画像符号化装置。
【請求項２】
前記目標符号量制御手段は、前記ブロック歪度合いが大きいと判断した場合、前記符号化対象画像の目標符号量を増加させることを特徴とする請求項１に記載の画像符号化装置。
【請求項３】
前記目標符号量制御手段は、前記ブロック歪度合いが小さいと判断した場合、前記符号化対象画像の目標符号量を減少させることを特徴とする請求項１に記載の画像符号化装置。
【請求項４】
前記目標符号量制御手段は、前記ブロック歪度合いに応じてフィルタ強度を変化させるデブロッキングフィルタを有しており、前記デブロッキングフィルタ内にあるブロック歪度合い算出手段に従い前記目標符号量を制御することを特徴とする請求項１に記載の画像符号化装置。
【請求項５】
前記符号化手段及び前記復号化手段は、ＭＰＥＧ或いはＨ．２６４符号化方式に準拠した符号化方式であることを特徴とする請求項１〜４の何れか１項に記載の画像符号化装置。
【請求項６】
前記デブロッキングフィルタは、Ｈ．２６４符号化方式におけるループフィルタであることを特徴とする請求項４に記載の画像符号化装置。
【請求項７】
符号化対象画像を符号化する符号化工程と、前記符号化工程で符号化された符号化データを局所的に復号化する復号化工程とを有する画像符号化方法であって、
前記符号化対象画像の目標符号量を決定する目標符号量決定工程と、
前記復号化工程から出力される復号画像信号を用いてブロック歪度合いを算出する算出工程と、
前記算出工程により算出されたブロック歪度合いの大きさを判断し、前記ブロック歪度合いの大きさに応じて前記目標符号量決定手段で決定する目標符号量を制御する目標符号量制御工程とを有することを特徴とする画像符号化方法。
【請求項８】
符号化対象画像を符号化する符号化工程と、前記符号化工程で符号化された符号化データを局所的に復号化する復号化工程とを有する画像符号化方法をコンピュータに実行させるプログラムであって、
前記符号化対象画像の目標符号量を決定する目標符号量決定工程と、
前記復号化工程から出力される復号画像信号を用いてブロック歪度合いを算出する算出工程と、
前記算出工程により算出されたブロック歪度合いの大きさを判断し、前記ブロック歪度合いの大きさに応じて前記目標符号量決定手段で決定する目標符号量を制御する目標符号量制御工程とを有する画像符号化方法をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像符号化装置及び画像符号化方法に関し、特に、符号化手段で符号化された符号化データを局所的に復号する復号化手段を有する画像符号化装置に係り、人間の視覚特性を考慮した符号量制御を行うために用いて好適な技術に関する。
【背景技術】
【０００２】
従来、マルティメディアの発展に伴い様々な動画像圧縮符号化方式が提案されている。その代表的なものに、ＭＰＥＧ−１，２，４やＨ．２６Ｌといったものがある。これらの圧縮符号化の処理は、動画像に含まれる原画像（画像）をブロックと呼ばれる所定の領域に分割し、この分割したブロックを単位にして動き補償予測やＤＣＴ変換処理を施すものである。
【０００３】
また、動き補償予測を行う場合、既に符号化済みの画像データを局所復号化して得られた画像を参照画像としていることで、符号化を行う際にも復号化処理が必要となる。
また、ＭＰＥＧ方式に準拠して画像の圧縮、符号化を行う場合、その符号量は、画像自体の特性である空間周波数特性やシーン及び量子化スケール値に応じて大きく異なる場合が多い。このような符号化特性を有する符号化装置を実現する上で良好な画質の復号画像を得ることができるようにするための重要な技術が符号量制御である。
【０００４】
この符号量制御アルゴリズムの１つとして、ＴＭ５（Test Model 5）が一般的に使用されている。このＴＭ５による符号量制御アルゴリズムは、以下に説明する３つのステップから構成され、ＧＯＰ（Group Of Picture）毎にビットレートが一定になるように以下に挙げる３ステップで符号量が制御される。
【０００５】
第１ステップ（ＳＴＥＰ１）
今から符号化を行うピクチャの目標符号量を決定する。現在のＧＯＰにおいて利用可能な符号量であるＲgopが以下の（１）式により演算される。
Ｒgop = (ni+np+nb)*(bits＿rate/picture＿rate)   ・・・（１）式
ここで、ni,np,nbはそれぞれI、P、Bピクチャの現GOPにおける残りのピクチャ数であり、bits＿rateは目標ビットレート、picture＿rateはピクチャレートを表す。
【０００６】
更に、I、P、Bピクチャ毎に符号化結果からピクチャの複雑度を以下の（２―１）〜（２−３）式で求めている。
Ｘi  =  Ｒi*Ｑi           （２−１）式
Ｘp  =  Ｒp*Ｑp     ・・・（２−２）式
Ｘb  =  Ｒb*Ｑb           （２−３）式
【０００７】
ここで、Ｘi、Ｘｐ、Ｘｂはコンプレキシティ（Complexity）とも呼ばれ、Ｒi、Ｒp及びＲbはそれぞれＩ、Ｐ、Ｂピクチャを符号化した結果得られる符号量である。Ｑi、Ｑp及びＱbはそれぞれI、P、Bピクチャ内のすべてのマクロブロックにおけるＱスケールの平均値である。式(1)及び（２―１）〜（２−３）式から、I、P、Bピクチャそれぞれについての目標符号量Ｔi、Ｔp及びＴbは、以下の（３―１）〜（３−３）式で求めることができる。
【０００８】
Ｔi= max{(Ｒgop/(1+ ((Ｎp*Ｘp)/(Ｘi*Ｋp)) + ((Ｎb*Ｘb)/(Ｘi*Ｋb)))) , (bit＿rate/(8*picture＿rate))}・・・・・（３―１）式
Ｔp=max{(Ｒgop/(Ｎp+ (Ｎb*Ｋp*Ｘb)/(Ｋb*Ｘp))) , (bit＿rate/(8*picture＿rate))}・・・・・・（３―２）式
Ｔb=max{(Ｒgop/(Ｎb+ (Ｎp*Ｋb*Ｘp)/(Ｋp*Ｘb))) , (bit＿rate/(8*picture＿rate))}・・・・（３―３）式
ただし、Ｎp及びＮbは現GOP内のそれぞれP及びBピクチャの残りの枚数、また定数Ｋp=1.0及びＫb=1.4である。
【０００９】
第２ステップ（ＳＴＥＰ２）
P及びBピクチャ毎に３つの仮想バッファを使用し、前述した（３―１）〜（３−３）式で求めた目標符号量と発生符号量との差分を管理する。仮想バッファのデータ蓄積量をフィードバックし、そのデータ蓄積量に基づいて実際の発生符号量が目標符号量に近づくように、次にエンコードするマクロブロックについて、Ｑスケールの参照値が設定される。
【００１０】
例えば、現在のピクチャタイプがPピクチャの場合には、目標符号量と発生符号量との差分は、次の（４）式に従う演算処理により求めることができる。
ｄp,j = ｄp,0  +  Ｂp,j-1−((Ｔp*(j-1))/ＭＢ＿cnt) ・・・（４）式
【００１１】
ここで、添字jはピクチャ内のマクロブロックの番号であり、ｄp,0は仮想バッファの初期フルネスを示し、Ｂp，jはj番目のマクロブロックまでの総符号量、ＭＢ＿cntはピクチャ内のマクロブロック数を示す。
【００１２】
次に、dp,j(以後、「dj」と記載する。) を用いて、j番目のマクロブロックにおけるＱスケールの参照値を求めると、（５）式のようになる。
Ｑj  = (dj*31) / r       ・・・（５）式
ここで、r = 2*bits＿rate/picture＿rate       ・・・（６）式
である。
【００１３】
第３ステップ（ＳＴＥＰ３）
視覚特性、すなわち、復号画像の画質が良好になるように、エンコード対象のマクロブロックの空間アクティビティに基づいて、量子化スケールを最終的に決定する処理を実行する。
ACTj =  1+ min(vblk1, vblk2,……,vblk8)    ・・・（７）式
【００１４】
前記（７）式中において、vblk1〜vblk4はフレーム構造のマクロブロックにおける8ｘ8のサブブロックにおける空間アクティビティを示す。vblk5〜vblk8はフィールド構造のマクロブロックにおける8x8サブブロックの空間アクティビティを示す。ここで、空間アクティビチィの演算は次の（８）式、（９）式により求めることが可能である。
vblk = Σ(Ｐi−Ｐbar)2      ・・・（８）式
Pbar = (1/64 )* ΣＰi       ・・・（９）式
【００１５】
ここで、Ｐiはｉ番目のマクロブロックにおける画素値であり、（８）式、（９）式中のΣはi=1〜64の演算である。次に（７）式で求めたACTjを以下の（１０）式によって正規化を行う。
【００１６】
N＿ACTj = (2*ACTj +AVG＿ACT)/ (ACTj + AVG＿ACT)      ・・・（１０）式
ここで、AVG＿ACTは以前に符号化したピクチャにおけるACTjの参照値であり、最終的に量子化スケール（Ｑスケール値）MQUANTjは以下の（１１）式により求められる。
MQUANTj  =  Qj *  N＿ACTj              ・・・（１１）式
【００１７】
以上のTM5のアルゴリズムによれば、STEP1の処理によりIピクチャに対して多くの符号量を割り当てており、更にピクチャ内においては視覚的に劣化の目立ちやすい平坦部(空間アクティビティが低い)に符号量が多く配分されるようになる。
【００１８】
このようなＴＭ５方式を応用した符号化方式として、画像信号と局所復号画像のＳＮ比がある一定の値となるように目標符号量を決定する方式が特許文献１に紹介されている。この手法はＳＮ比を一定に保つような目標符号量を設定することですべてのピクチャに対する画質を安定させる効果がある。
【００１９】
また、特許文献１を改良した手法で、Ｉピクチャ，Ｐピクチャ，Ｂピクチャ各ピクチャの符号量を最適な値に設定する方式が特許文献２に紹介されている。この手法は、ＩピクチャのＳＮ比がＢピクチャのＳＮ比より大きくなるように、各フレーム（Ｉピクチャ・Ｐピクチャ・Ｂピクチャ）の符号量を配分制御する。つまり、Ｉピクチャの符号化誤差が、Ｂピクチャの符号化誤差より、小さくなる様に、各フレーム（Ｉピクチャ・Ｐピクチャ・Ｂピクチャ）の符号量を制御することでＧＯＰの原点となるＩピクチャの画質を向上させる効果がある。
【００２０】
【特許文献１】特開平０２−２１９３８８号公報
【特許文献２】特開平０８−０７０４５８号公報
【発明の開示】
【発明が解決しようとする課題】
【００２１】
しかしながら、前述のＴＭ５のアルゴリズムにおいては次のような課題があった。すなわち、最終的なMQUANTjを得るための判断情報として、（４）式における目標符号量と符号量との差分以外、式（５）における前ピクチャの符号化結果のＱスケール参照値（Ｑj）と、ＳＴＥＰ３の処理における空間アクティビティ（ACTj ）のみを使用している。
【００２２】
このため、画質の定量的な劣化具合や人間の視覚特性が、ＴＭ５における符号量制御では十分考慮されておらず、符号化状況に応じ人間の視覚特性に合致した符号量制御を行うことが困難であった。
【００２３】
また、特許文献１ならびに特許文献２の方式においては、以下の課題が存在していた。すなわち、特許文献１では各ピクチャでＳＮ比を一定に保つことで一定の画質を保つことは可能である。また、特許文献２ではＳＮ比と各ピクチャの符号配分を考慮することで特許文献１と同様に一定の画質を保つことは可能である。
【００２４】
しかしながら、これらの手法は何れもＳＮ比を目標符号量決定の判断情報としているため、画質の定量的な劣化具合や人間の視覚特性が十分に考慮されていない。つまり、ＳＮ比と画質の関係が必ずしも比例関係にならないことが考えられる。
【００２５】
例えば、芝生や空のような小振幅信号で構成される画像は画質劣化を受けてもＳＮ比の大幅な低下は起こりにくいが、ブロックノイズのような視覚的に目立ちやすいノイズは発生しやすい。
【００２６】
逆に、木やテクスチャ模様のような大振幅信号で構成される画像は少しの画質劣化でもＳＮ比が大きく現象することがあるが、ブロックノイズは目立ちにくい傾向にある。よって、ＳＮ比を基準に目標符号量を決定していた従来の手法では、人間の視覚特性に合致した符号量を設定することが困難である問題点があった。
【００２７】
本発明は前述の問題点にかんがみ、人間の視覚特性に応じた符号量の設定を行うことができるようにすることを目的としている。
【課題を解決するための手段】
【００２８】
本発明の画像符号化装置は、符号化対象画像を符号化する符号化手段と、前記符号化手段で符号化された符号化データを局所的に復号化する復号化手段とを有する画像符号化装置であって、前記符号化対象画像の目標符号量を決定する目標符号量決定手段と、前記復号化手段から出力される復号画像信号を用いてブロック歪度合いを算出する算出手段と、前記算出手段により算出されたブロック歪度合いの大きさを判断し、前記ブロック歪度合いの大きさに応じて前記目標符号量決定手段で決定する目標符号量を制御する目標符号量制御手段とを有することを特徴とする。
【００２９】
本発明の画像符号化方法は、符号化対象画像を符号化する符号化工程と、前記符号化工程で符号化された符号化データを局所的に復号化する復号化工程とを有する画像符号化方法であって、前記符号化対象画像の目標符号量を決定する目標符号量決定工程と、前記復号化工程から出力される復号画像信号を用いてブロック歪度合いを算出する算出工程と、前記算出工程により算出されたブロック歪度合いの大きさを判断し、前記ブロック歪度合いの大きさに応じて前記目標符号量決定手段で決定する目標符号量を制御する目標符号量制御工程とを有することを特徴とする。
【００３０】
本発明のプログラムは、符号化対象画像を符号化する符号化工程と、前記符号化工程で符号化された符号化データを局所的に復号化する復号化工程とを有する画像符号化方法をコンピュータに実行させるプログラムであって、前記符号化対象画像の目標符号量を決定する目標符号量決定工程と、前記復号化工程から出力される復号画像信号を用いてブロック歪度合いを算出する算出工程と、前記算出工程により算出されたブロック歪度合いの大きさを判断し、前記ブロック歪度合いの大きさに応じて前記目標符号量決定手段で決定する目標符号量を制御する目標符号量制御工程とを有する画像符号化方法をコンピュータに実行させることを特徴とする。
【発明の効果】
【００３１】
本発明によれば、算出されたブロック歪度合いに応じて目標符号量を制御するようにしたので、人間の視覚特性に応じた符号量の設定を行うことができ、良好な画質の復号画像を得ることができるようにすることができる。
【発明を実施するための最良の形態】
【００３２】
（第１の実施形態）
以下、本発明の第１の実施形態を図１〜図５に基づき説明する。
図１は、本発明にかかる第１の符号化方法を実現する符号化装置の構成を示すブロック図であり、前述のＴＭ５アルゴリズムを実行することが可能な構成になっている。
【００３３】
具体的には、ＭＰＥＧ-１、ＭＰＥＧ-２或いはＭＰＥＧ-４規格に対応するものである。図２は、図１の符号化装置の処理を説明するフローチャートである。図３はマクロブロックとブロック境界を明示化したものである。図４はブロック歪度合いに応じた目標符号量のオフセット量を示す図であり、図５はブロック歪度合いに応じた目標符号量の設定処理を説明するフローチャートである。
【００３４】
以下、図１〜図５を参照して、符号化処理ならびにブロック歪度合いに応じた目標符号量の設定方法の流れを具体的に説明する。
図１において、１００は例えばディジタルビデオカメラに具備されているＣＣＤならびにライン入力端子から送られる入力信号であり、１０１は直交変換回路であり、１０２は量子化回路であり、１０３は可変長符号化回路である。１０４は逆直交変換回路であり、１０５は逆量子化回路であり、１０６は逆可変長復号化回路であり、１０７は図示しない動き補償回路で使用する参照フレーム１０８、ならびに逆量子化回路ならびに逆直交変換回路１０４で局所復号化した画像信号であるローカルデコードフレーム１０９を保存するメモリである。
【００３５】
１１０はビットレートに応じて今から符号化するＧＯＰの目標ビットレートならびに、ピクチャの目標符号量を決定する符号量制御部であり、１１１は符号量制御部１１０で決定されたピクチャの目標符号量を基に、マクロブロックの量子化係数を決定する量子化制御部であり、量子化制御部１１１で決定した量子化パラメータ（量子化スケールとも呼ぶ）を用いて量子化回路１０２は量子化を行う。
【００３６】
量子化された画像信号は、可変長符号化回路１０３において符号化されて図示しない記録媒体や出力端子に出力信号１１２として出力されるのと同時に、逆量子化回路１０５ならびに逆直交変換回路１０４を経由して次ピクチャの符号化に利用する参照フレーム１０８を生成する。１１３はブロック歪度合い算出回路であり、入力信号ならびに局所復号画像であるローカルデコードフレームからブロック歪度合いを算出する。
【００３７】
次に、図２のフローチャートを参照しながら符号化装置の処理手順を説明する
まず、ステップＳ２０１において、前述のＴＭ５アルゴリズムのＳＴＥＰ１を利用するために、（３−１）〜（３−３）式に従ってピクチャタイプ（Ｉ、Ｐ、Ｂピクチャ）のそれぞれについての目標符号量Ｔｉ、Ｔｐ、Ｔｂの初期値を決定する。この際、初期値を決定するためのＸｉ、Ｘｐ、Ｘｂは存在しないので任意の値か、符号化前の画像情報から算出した値を用いて前記目標符号量Ｔｉ、Ｔｐ、Ｔｂの初期値を設定する。
【００３８】
次に、処理をステップＳ２０２に進め、符号化対象ピクチャの符号化を開始する。必要ならば、このステップＳ２０２で符号化装置内部のレジスタセットを行う。
次に、処理をステップ２０３に進め、ピクチャタイプがＩピクチャの場合図示しないブロック分割部でマクロブロックに分割された入力信号は直交変換回路１０１において直交変換を行う。また、量子化制御部１１１で決定された量子化スケールを用いて直交変換出力係数の量子化を行う。
【００３９】
また、ピクチャタイプがＰピクチャならびにＢピクチャの場合は、ブロック分割部でマクロブロックに分割された入力信号と参照フレーム１０８（マクロブロックデータ）を用いて図示しない動き予測ならびに動き補償を行う。そして、その結果の出力と入力信号の差分値に対して直交変換回路１０１において直交変換を行い、量子化制御部１１１で決定された量子化スケールを用いて直交変換出力係数の量子化を行う。なお、量子化パラメータである量子化スケールの算出はＴＭ５のステップ２に相当する処理を行うことで算出されるので、ここでの説明は省略する。
【００４０】
ここで、入力される符号化前のマクロブロックは、後に説明するブロック歪度合いの算出に利用するために、ブロック歪度合い算出回路１１３に入力される。ブロック歪度合い算出回路１１３における処理は、後に詳述する。
【００４１】
次に、ステップＳ２０４において、ステップＳ２０３の処理により生成された符号化データを逆量子化回路１０５、逆直交変換回路１０４により逆変換処理を行って復号データであるローカルデコードフレーム１０９を生成する。
【００４２】
次に、ステップＳ２０５において、ブロック歪度合い算出回路１１３により、符号化前のマクロブロックと、ローカルデコードフレーム１０９のデータのうち、符号化前のマクロブロックと同じ座標にあるマクロブロックとを比較する。次に、ＭＰＥＧ処理により生じた画像の歪みを評価するパラメータとして、ブロック歪度合いを演算する。ブロック歪度合いの計算方法としては、以下の方法が挙げられる。
【００４３】
符号化前及び復号化後の２つの画像に関し、それぞれを８×８のブロックとし、この８×８ブロックの境界の各画素について、（２１）式による差分和の計算を実行する。
図３は、マクロブロック（図３（a））と、これを構成する符号化前の８×８の画素ブロック（図３（b））と、符号化後の８×８の画素ブロック（図３（c））とを示す図である。
【００４４】
マクロブロックを構成する４つの８×８ブロックの境界画素各々について、入力画像の輝度成分（Ｐ0，Ｐ1、Ｐ2、Ｐ3・・・）と、ローカルデコードデータの輝度成分（Ｒ0、Ｒ1、Ｒ2、Ｒ3・・・）、として両者の差分絶対値和（diff＿sum）は、下記の（２１）式により求めることができる。
diff＿sum=Σabsolute(Ｐj−Ｒj)      ・・・（２１）式
ブロック歪み度度合い算出回路１１３は、前述の方法によりブロック歪度合いを演算することができる。
【００４５】
説明を図２のフローチャートに戻す。
ステップＳ２０５においてブロック歪度合いを演算したら、次に、ステップＳ２０６に進み、ステップＳ２０３からステップＳ２０５までの処理をピクチャ内の全てのマクロブロックに対して行ったか否かを判断する。その際に、各マクロブロックで使用する量子化パラメータは可変長符号化回路１０３で可変長符号化されたマクロブロックの符号量を用いて量子化制御部１１１で決定される。この判断の結果、全てのマクロブロックに対して行っていない場合にはステップＳ２０２に戻って前述した処理を繰り返し行う。また、全て終了した場合にはステップＳ２０７に進む。
【００４６】
次に、処理をステップＳ２０７においては、符号化対象ピクチャのすべてのマクロブロックに対して符号化を行った後に、符号量制御部１１０において、前述した（１）式を用いてＸｉ、Ｘｐ、Ｘｂの算出を行う。なお、Ｘｉ、Ｘｐ、Ｘｂは各ピクチャを符号化した結果得られる符号量とピクチャ内のすべてのマクロブロックにおけるＱスケールの平均値を乗算したものである。
【００４７】
次に、処理をステップＳ２０８に進み、符号量制御部１１０において、Ｘｉ、Ｘｐ、Ｘｂとブロック歪度合い算出回路１１３で算出されたブロック歪度合いとを用いて次の符号化対象ピクチャの目標符号量Ｔｉ、Ｔｐ、Ｔｂを決定する。
その後、ステップＳ２０９において、最終ピクチャか否かを判断し、最終ピクチャであった場合には処理を終了する。また、最終ピクチャではなかった場合にはステップＳ２０２に戻って前述した処理を繰り返し実行する。
【００４８】
この目標符号量算出過程を図４ならびに図５のフローチャート用いて説明する。
図４は、ブロック歪度合いに応じた目標符号量のオフセット量を示しており、このオフセット量はブロック歪度合いの関数になっている。α、β（α＞０、β＜０）は任意の定数であり符号化装置で自由に設定可能である。
【００４９】
まず、ステップＳ５０１において、（１）式を用いてＴpictype＿baseを算出する。ここで、Ｔpictype＿baseとは、Ｉ、Ｐ、Ｂ各ピクチャに対して（１）式を用いて暫定的に算出した仮の目標符号量である。そして、次フレームの符号化対象ピクチャがＩピクチャであればＴi＿baseを求めることになる（１枚のピクチャ符号化において毎回各ピクチャの目標符号量を算出しているわけではない）。これ以降は、説明の混乱を避けるために、次符号化対象ピクチャがＩピクチャの場合を想定して説明を行う。
【００５０】
次に、処理をステップＳ５０２に進め、ブロック歪度合い算出回路１１３で算出されたブロック歪度合いと閾値th1との比較を行う。この比較の結果、ブロック歪度合いが小さければステップＳ５０４へ処理を進めて次符号化対象ピクチャの目標符号量Ｔiを
Ti = Ｔi＿base＋β  （β＜０）    ・・・（２２）式
とする処理を行う。
【００５１】
一方、ステップＳ５０２の比較の結果において、ブロック歪度合いが閾値th1よりも大きければ、ステップＳ５０３へ処理を進める。
ステップＳ５０３において、ブロック歪度合いと閾値th2の比較を行う。この比較の結果、ブロック歪度合いが小さければステップＳ５０５へ処理を進めて、次符号化対象ピクチャの目標符号量Ｔiを
Ti = Ｔi＿base ((α-β)*(diff＿sum-th1)/(th2-th1))+β      ・・・（２３）式
とする処理を行う。
【００５２】
一方、ステップＳ５０３の比較の結果、ブロック歪度合いが閾値th2よりも大きければ、ステップＳ５０６へ処理を進めて、次符号化対象ピクチャの目標符号量Ｔiを
Ti = Ｔi＿base＋α  （α＞０）      ・・・（２４）式
とする処理を行う。
【００５３】
以上の処理を行うことにより、ＴＭ５アルゴリズムのステップ１に相当する処理では人間の視覚特性を考慮した目標符号量の設定が不可能であったが、このようにブロック歪度合いを考慮した目標符号量の設定を行うことで画質の向上を行うことができる。なお、ブロック歪度合い算出計算式は前記方法に限ったものではなく、いずれの形態でもブロック歪度合いが算出可能であれば構わない。
【００５４】
また、目標符号量の設定方法も同様に前記方法に限ったものではなく、ブロック歪度合いが目標符号量の設定に作用する形であれば構わない。さらに、ブロック歪度合いで目標符号量の制御を行わない場合はＴＭ５のステップ１相当の処理のみを行って目標符号量を決定することも可能である。
【００５５】
（第２の実施形態）
次に、本発明の第２の実施形態を図６〜図９に基づき説明する。
図６は、本発明にかかる第２の符号化方法を実現する装置の構成を示す符号化装置のブロック図であり、前述のＴＭ５アルゴリズムを実行することが可能な構成になっている。具体的には、ＭＰＥＧ-１、ＭＰＥＧ-２或いはＭＰＥＧ-４規格に対応するものである。図７〜図９は後述するデブロッキングフィルタを説明する図である。
【００５６】
また、基本的な処理の流れ、ならびにブロック歪度合いに応じた目標符号量の設定手法は第１の実施形態と同じであるので、図６ならびに図７〜図９を参照して符号化処理ならびにブロック歪度合いに応じた目標符号量の設定方法の流れを具体的に説明する。
【００５７】
図６において、６００は例えばディジタルビデオカメラに具備されているＣＣＤならびにライン入力端子からの映像信号であり、６０１は直交変換回路であり、６０２は量子化回路であり、６０３は可変長符号化回路である。
【００５８】
また、６０４は逆直交変換回路であり、６０５は逆量子化回路であり、６０６は逆可変長復号化回路である。６０７は図示しない動き補償回路で使用する参照フレーム６０８、ならびに逆量子化回路６０５及び逆直交変換回路６０４で局所復号化した画像信号であるローカルデコードフレーム６０９を保存するメモリである。
【００５９】
６１０はビットレートに応じて今から符号化するＧＯＰの目標ビットレートならびに、ピクチャの目標符号量を決定する符号量制御部である。６１１は符号量制御部６１０で決定されたピクチャの目標符号量を基に、マクロブロックの量子化係数を決定する量子化制御部であり、量子化制御部６１１で決定した量子化パラメータ（量子化スケールとも呼ぶ）を用いて量子化回路６０２は量子化を行う。
【００６０】
量子化された画像信号は、可変長符号化回路６０３において符号化されて図示しない記録媒体や出力端子に出力信号６１２として出力される。また、それと同時に、逆量子化回路６０５ならびに逆直交変換回路６０４を経由して次ピクチャの符号化に利用する参照フレーム６０８を生成する。
【００６１】
６１３はデブロッキングフィルタであり、復号時に出力信号のブロック境界を目立たなくさせるためのポストフィルタである。このデブロッキングフィルタ６１３は、符号化対象映像のビットレートが低い時や複雑な映像を符号化した場合に８×８画素ブロック（DCTブロック）、ならびにマクロブロック境界に発生するブロックノイズを除去するものである。これは、高画質な映像を提供するためにブロック単位で直交変換を伴う符号化復号化回路に搭載されていることが多い。
【００６２】
デブロッキングフィルタはMPEGの規格には特に規定されていないが、一例として図７〜図９を参照として以下の方法を挙げる。
図７は、マクロブロックを構成する４つの８×８画素ブロック（図７（a）、７０１〜７０４）と、８×８画素ブロック７０１と７０２の境界におけるデブロッキングフィルタ処理を示す図（図７（b））である。
【００６３】
７０１の輝度成分（Ｐ0，Ｐ1、Ｐ2、Ｐ3・・・）と、７０２の輝度成分（Ｒ0、Ｒ1、Ｒ2、Ｒ3・・・）として、各輝度値の差分絶対値和（diff＿sum）は（３１）式により求めることができる。
diff＿sum=Σabsolute(Ｐj−Ｒj)      ・・・（３１）式
【００６４】
また、マクロブロックは符号化時に量子化制御部で決定した量子化パラメータ（量子化スケール）で量子化を行っている。その量子化パラメータは復号時には逆可変長復号化回路６０６より各マクロブロックで算出されている。
【００６５】
次に、デブロッキングフィルタ６１３の処理について、図８のフローチャートと図９のフィルタ特性を用いて説明する。
まず、ステップＳ８０１において、（３１）式を用いて算出されたdiff＿sumが閾値th＿valよりも大きく量子化パラメータQjが閾値th＿qよりも大きいか否かを判断する。この判断の結果、大きい場合、ブロックノイズが発生していると判断して、処理をステップＳ８０２に進め、ブロック境界に対してフィルタ処理を行う。
【００６６】
この時、図９に示したフィルタ特性のうち９０２〜９０４のような帯域を落とすようなフィルタが用いられる。また、９０２〜９０４の選択はdiff＿sum値ならびにQjによって変動するものとする。一方、ステップＳ８０１の条件を満たさなかった場合、ブロックノイズが発生していないと判断して、処理をステップＳ８０３に進めフィルタ処理を行わない。この時のフィルタ特性は、図９に示した９０１のようになる。
【００６７】
ここで、デブロッキングフィルタ６１３内でフィルタ処理を行うか行わないか、ならびにフィルタ強度を選択する際のパラメータとして算出したdiff＿sum値は、第１の実施形態におけるブロック歪度合いに相当する。
【００６８】
デブロッキングフィルタ６１３はポストフィルタの役割を担うため、通常復号時には動作させて符号化時には動作させないことが一般的である。しかしながら、本実施形態では符号化時にもデブロッキングフィルタ６１３を動作させて第１の実施形態におけるブロック歪度合い算出回路１１３で算出するブロック歪度合いを算出するようにする。
【００６９】
ブロック歪度合いを用いて目標符号量を設定する方法は、第１の実施形態に述べた方法と全く同様の方法（図２のフローチャート）で行うことが可能であるため、ここでの説明は省略する。また、前記でブロッキングフィルタにおけるブロック歪度合い算出ならびにフィルタ特性に関しては前記方法に限ったものではない。
【００７０】
図６に示すように、デブロッキングフィルタへ入力信号６００とローカルデコードフレーム６０９を入力することにより、第１の実施形態と全く同じ処理を行うことも可能であり、ブロック歪度合いが算出可能であれば構わない。
【００７１】
また、目標符号量の設定方法も同様に前記方法に限ったものではなく、ブロック歪度合いが目標符号量の設定に作用する形であれば構わない。さらに、ブロック歪度合いで目標符号量の制御を行わない場合は、ＴＭ５のステップ１相当の処理のみを行って目標符号量を決定することも可能である。
【００７２】
（第３の実施形態）
次に、図１０を参照しながら第３の実施形態を説明する。
図１０は、本発明にかかる第３の符号化方法を実現する装置の構成を示す符号化装置のブロック図であり、前述のＴＭ５アルゴリズム相当の処理を実行することが可能な構成になっている。具体的には、Ｈ．２６４規格に対応するものであり、符号化処理内にループフィルタ（所謂デブロッキングフィルタ）を含む規格に対応するものである。
【００７３】
以下、図１０を参照して、符号化処理ならびにブロック歪度合いに応じた目標符号量の設定方法の流れを具体的に説明する。なお、本符号化装置ではＨ．２６４／ＭＰＥＧ４−ＡＶＣ（以下、Ｈ．２６４と称す）を例にしている。そして、Ｈ．２６４の符号化方式で使用されるイントラ予測やループフィルタの仕様を始めとした本発明の本質とは関係のないブロックの表示は行っておらず、本文中での説明も省略する。
【００７４】
図１０において、１０００は例えばディジタルビデオカメラに具備されているＣＣＤならびにライン入力端子からの映像信号であり、１００１は直交変換回路であり、１００２は量子化回路であり、１００３はエントロピー符号化回路である。１００４は逆量子化回路であり、１００５はエントロピー復号化回路であり、１００６は逆直交変換回路である。１００７は図示しない動き補償回路で使用する参照フレーム１００８、ならびに逆量子化回路ならびに逆直交変換回路１００４で局所復号化した画像信号であるローカルデコードフレーム１００９を保存するメモリである。
【００７５】
１０１０はビットレートに応じて今から符号化するＧＯＰの目標ビットレートならびに、ピクチャの目標符号量を決定する符号量制御部である。１０１１は符号量制御部１０１０で決定されたピクチャの目標符号量を基に、マクロブロックの量子化係数を決定する量子化制御部である。量子化回路１００２は、量子化制御部１０１１で決定した量子化パラメータ（量子化スケールとも呼ぶ）を用いて量子化を行う。
【００７６】
量子化された画像信号は、エントロピー符号化回路１００３において符号化されて図示しない記録媒体や出力端子に出力信号１０１２として出力される。これと同時に、逆量子化回路１００５ならびに逆直交変換回路１００４を経由して次ピクチャの符号化に利用する参照フレーム１００８を生成する。
【００７７】
１０１３はループフィルタであり、第２の実施形態に示したデブロッキングフィルタと同様の機能を果たす。Ｈ．２６４では、このループフィルタを符号化内部に取り込んで動き予測を行う際に、ループフィルタでブロックノイズを除去した参照フレームを用いることにより、符号化効率ならびに画質の向上を行っている。
【００７８】
このループフィルタ１０１３はブロック歪度合いの検出を行い、歪度合いに応じてフィルタ処理の係数を変化させる構成となっている。このブロック歪検出度合いをループフィルタ１０１３で算出した後は、第１の実施形態ならびに第２の実施形態と同様の処理で目標符号量の設定を行うことが可能であるため、ここでの説明は省略する。さらに、ブロック歪度合いで目標符号量の制御を行わない場合はＴＭ５のステップ１相当の処理のみを行って目標符号量を決定することも可能である。
【００７９】
（本発明に係る他の実施形態）
前述した本発明の実施形態における画像符号化装置を構成する各手段、並びに画像符号化方法の各ステップは、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。
【００８０】
また、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。
【００８１】
なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図２、５、８に示すフローチャートに対応したプログラム）を、システムあるいは装置に直接、あるいは遠隔から供給する。そして、そのシステムあるいは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
【００８２】
したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【００８３】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。
【００８４】
プログラムを供給するための記録媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷなどがある。また、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などもある。
【００８５】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。
【００８６】
また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
【００８７】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、ダウンロードした鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【００８８】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
【００８９】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。
【図面の簡単な説明】
【００９０】
【図１】本発明の第１の実施形態を示し、符号化装置の構成例を示すブロック図である。
【図２】本発明の第１の実施形態を示し、符号化処理の手順の一例を説明するためのフローチャートである。
【図３】本発明の第１の実施形態を示し、（ａ）はマクロブロック、（ｂ）は符号化前の８×８の画素ブロック、（ｃ）は符号化後の８×８の画素ブロックを示す図である。
【図４】本発明の第１の実施形態を示し、ブロック歪度合いに応じた目標符号量のオフセット量を示す図である。
【図５】本発明の第１の実施形態を示し、ブロック歪度合いに応じた目標符号量の設定処理を説明するフローチャートである。
【図６】本発明の第２の実施形態を示し、符号化装置の構成例を示すブロック図である。
【図７】本発明の第２の実施形態を示し、（ａ）はマクロブロックを構成する４つの８×８画素ブロックを示す図、（ｂ）は８×８画素ブロック７０１と７０２の境界におけるデブロッキングフィルタ処理を示す図である。
【図８】本発明の第２の実施形態を示し、デブロッキングフィルタの処理手順の一例を説明するフローチャートである。
【図９】本発明の第２の実施形態を示し、デブロッキングフィルタのフィルタ強度を説明する図である。
【図１０】本発明の第３の実施形態を示し、符号化装置の構成例を示すブロック図である。
【符号の説明】
【００９１】
１００  入力信号
１０１  直交変換回路
１０２  量子化回路
１０３  可変長符号化回路
１０４  逆直交変換回路
１０５  逆量子化回路
１０６  逆可変長復号化回路
１０７  メモリ
１０８  参照フレーム
１０９  ローカルデコードフレーム
１１０  符号量制御部
１１１  量子化制御部
１１２  出力信号
１１３  ブロック歪度合い算出回路
【図１】
2007300557.tif 000003
【図２】
2007300557.tif 000004
【図３】
2007300557.tif 000005
【図４】
2007300557.tif 000006
【図５】
2007300557.tif 000007
【図６】
2007300557.tif 000008
【図７】
2007300557.tif 000009
【図８】
2007300557.tif 000010
【図９】
2007300557.tif 000011
【図１０】
2007300557.tif 000012