(57)【要約】【課題】動画像符号化/復号化技術に関し、エッジに起因する周波数成分の変化を適切に予測可能とする。【解決手段】従来の予測画像作成器３０１に加えて、特長量抽出機器３０２及び調整器３０３とからなる第２の予測画像作成機能（３０５）を有し、それぞれの予測結果が加算器３０４にて加算されて予測画像ｄ１１とされる。これにより、高周波成分が集中するエッジ部分などの箇所において高い予測効率が実現される。【選択図】図３
2010093377.tif 000002
【特許請求の範囲】
【請求項１】
画像の符号化装置又は復号化装置に用いられ、マクロブロック毎に画像予測処理を行いながら画像の符号化又は復号化を行う画像予測装置であって、
前記画像予測処理の結果得られる予測画像データから特徴量画像データを抽出する特徴量画像抽出手段と、
前記予測画像データに応じて前記特徴量画像データを調整する特徴量画像調整手段と、
該特徴量画像調整手段から得られる調整された特徴量画像データと前記予測画像データとを合成し、該合成された予測画像を出力する予測画像合成手段と、
を含むことを特徴とする画像予測装置。
【請求項２】
前記特徴量画像抽出手段は、前記予測画像データに応じて、前記特徴量画像データの抽出法を切り替えながら、前記特徴量画像データを抽出する、
ことを特徴とする請求項１に記載の画像予測装置。
【請求項３】
前記特徴量画像抽出手段は、前記予測画像データからエッジ成分を含む前記特徴量画像データを抽出するハイパスフィルタ処理を実行し、前記予測画像データに応じて、複数の方向のエッジ成分をそれぞれ抽出するハイパスフィルタを切り替えながら、前記特徴量画像データを抽出する、
ことを特徴とする請求項２に記載の画像予測装置。
【請求項４】
前記特徴量画像データの抽出法を切り替える情報、前記特徴量画像データの強度を調整する情報、又は前記座標値のオフセット量を調整する情報は、前記画像のピクチャ単位又はマクロブロック単位で、前記画像の符号化装置又は復号化装置で送受信される符号化データに格納される、
ことを特徴とする請求項２乃至３の何れか１項に記載の画像予測装置。
【請求項５】
前記特徴量画像データの抽出法を切り替える情報、又は前記特徴量画像データの強度を調整する情報は、前記画像の符号化装置又は復号化装置において前記画像のピクチャ単位又はマクロブロック単位で処理される動きベクトルデータに基づいて決定される、
ことを特徴とする請求項２乃至３の何れか１項に記載の画像予測装置。
【請求項６】
マクロブロック毎に画像予測処理を行いその画像予測処理結果を用いて予測符号化を行う画像符号化装置であって、
前記画像予測処理の結果得られる予測画像データから特徴量画像データを抽出する特徴量画像抽出手段と、
前記予測画像データに応じて前記特徴量画像データを調整する特徴量画像調整手段と、
前記特徴量画像調整手段から得られる調整された特徴量画像データと前記予測画像データとを合成し、該合成された予測画像を出力する予測画像合成手段と、を備え、
前記予測画像合成手段にて合成された予測画像を用いて予測符号化を行うことを特徴とする画像符号化装置。
【請求項７】
マクロブロック毎に画像予測処理を行いその画像予測処理結果を用いて予測復号化を行う画像復号化装置であって、
前記画像予測処理の結果得られる予測画像データから特徴量画像データを抽出する特徴量画像抽出手段と、
前記予測画像データに応じて前記特徴量画像データを調整する特徴量画像調整手段と、
該特徴量画像調整手段から得られる調整された特徴量画像データと前記予測画像データとを合成し、該合成された予測画像を出力する予測画像合成手段と、を備え、
前記予測画像合成手段にて合成された予測画像を用いて予測復号化を行うことを特徴と
する画像復号化装置。
【請求項８】
画像の符号化方法又は復号化方法に用いられ、マクロブロック毎に画像予測処理を行いながら画像の符号化又は復号化を行う画像予測方法であって、
前記画像予測処理の結果得られる予測画像データから特徴量画像データを抽出する特徴量画像抽出ステップと、
前記予測画像データに応じて前記特徴量画像データを調整する特徴量画像調整ステップと、
該特徴量画像調整ステップにて得られる調整された特徴量画像データと前記予測画像データとを合成し、該合成された予測画像を出力する予測画像合成ステップと、
を含むことを特徴とする画像予測方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像符号化/復号化技術に関するものである。
【背景技術】
【０００２】
画像符号化では、画面間予測を用いて画面間の相関を除去することで符号化効率を向上する手法がしばしば用いられる。例えば、MPEG-1/2/4/4-AVC(h.264)などの動画像符号化方式では、画面間予測によって予測効率を向上させることが行われている。
【０００３】
図１１に、画面を分割したブロック単位で画面間予測を行う従来の動画像復号化装置の典型的な構成を示す。
まず復号化において、符号化ビット列ｄ１′がエントロピ復号化器１１０１によって復号され、動きベクトル情報ｄ２′と係数情報ｄ３′とが得られる。
【０００４】
予測器１１０２において、フレームメモリ１１０３からの符号化済み画像である参照画像ｄ４′と、上述の動きベクトルｄ２′とが入力され、予測画像ｄ５′が作成される。
一方、逆量子化/逆変換器１１０４において、係数情報ｄ３′から差分画像ｄ６′が得られる。
【０００５】
そして、加算器１１０５にて、予測画像ｄ５′と差分画像ｄ６′とが加算されて、復号画像ｄ７′が得られる。復号画像ｄ７′はフレームメモリ１１０３に格納され、以後の参照画像ｄ４′として利用される。
【０００６】
図１２に、図１１の動画像復号化装置に対応する従来の動画像符号化装置の典型的な構成を示す。
図１２に示される符号化においては、まず予測器１２０１において、動きベクトル情報ｄ２とフレームメモリ１２０２から読み出される参照画像ｄ４とから、予測画像ｄ５が作成される。
【０００７】
差分器１２０３から出力される予測画像ｄ５と原画像ｄ０との差分が、変換/量子化/逆量子化/逆変換器１２０４に入力され、差分画像ｄ６および係数情報ｄ３が作成される。
加算器１２０５にて差分画像ｄ６と予測画像ｄ５とが加算されることで、復号画像ｄ７が得られる。復号画像ｄ７はフレームメモリ１２０２へ格納され、以後の参照画像ｄ４として利用される。
【０００８】
一方、係数情報ｄ３は、動きベクトル情報ｄ２とともに、エントロピ符号化器１２０６に入力され、符号化ビット列ｄ１に符号化される。
【特許文献１】特開２００７−１８４８００号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
画像符号化における画面間予測は画面間の相関を除去することで符号化効率を向上させることができる。しかし、画面間予測では必ずしも完全に相関を除去できるわけではなく、高周波成分が集中するエッジ部分などの箇所において、撮影条件や被写体の移動、カメラの特性などの諸条件により予測残差が残りやすく、符号化効率を低下させる要因となっている。
【００１０】
例えば、図１３に示されるような現象が生じている場合の動画像符号化を考えてみる。
輪郭を持った被写体を撮影した画像の場合、被写体の輪郭がエッジとして現れる。しかし、エッジの持つ空間周波数成分は被写体の移動によるぶれや、撮影しているカメラ自身のぶれ、フォーカスなどの状態によって時間的に変化する。
【００１１】
図１３（ａ）に示される例では、今まで静止していた原画像が動いた結果、予測画像は、静止画像であり、エッジに起因する高周波数成分を含む。これに対して、原画像は、動きを含む画像となってエッジ部分がぼやけるため、エッジに起因する高周波数成分が減少する。
【００１２】
逆に、図１３（ｂ）に示される例では、今まで動いていた原画像が静止した結果、予測画像は、動きを含む画像でエッジ部分がぼやけているため、エッジに起因する高周波成分は少ないが、原画像は、静止画像となってエッジ部分が鮮明になるため、エッジに起因する高周波成分が増加する。
【００１３】
上記いずれの場合においても、予測画像と原画像との間で周波数成分が変化するため予測残差が増加するが、この予測残差は、従来のように固定的な周波数特性をもつローパスフィルタやsyncフィルタを用いて作成した予測画像では十分に除去することはできないという問題点を有していた。
【課題を解決するための手段】
【００１４】
本発明の課題は、エッジに起因する周波数成分の変化を適切に予測可能とすることにある。
本発明は、画像の符号化装置又は復号化装置に用いられ、マクロブロック毎に画像予測処理を行いながら画像の符号化又は復号化を行う画像予測装置又は方法、その装置を搭載した画像符号化装置又は画像復号化装置を前提とする。
【００１５】
特徴量画像抽出手段（３０２）は、画像予測処理の結果得られる予測画像データから特徴量画像データを抽出する。この特徴量画像抽出手段は例えば、予測画像データに応じて、特徴量画像データの抽出法を切り替えながら、特徴量画像データを抽出する。更に具体的には、この特徴量画像抽出手段は例えば、予測画像データからエッジ成分を含む特徴量画像データを抽出するハイパスフィルタ処理を実行し、予測画像データに応じて、複数の方向のエッジ成分をそれぞれ抽出するハイパスフィルタを切り替えながら、特徴量画像データを抽出する。
【００１６】
特徴量画像調整手段（３０３）は、予測画像データに応じて特徴量画像データを調整する。この特徴量画像調整手段は例えば、予測画像データに応じて特徴量画像データの強度（スケーリング値）を調整する。また、この特徴量画像調整手段は例えば、予測画像データに応じて、特徴量画像データが予測画像合成手段にて予測画像データに合成される際の座標値のオフセット量（オフセット値）を調整する。
【００１７】
予測画像合成手段（３０４）は、特徴量画像調整手段から得られる調整された特徴量画像データと予測画像データとを合成し、その合成された予測画像を出力する。
上述の発明の構成において、特徴量画像データの抽出法を切り替える情報、特徴量画像データの強度を調整する情報、又は座標値のオフセット量を調整する情報は例えば、画像のピクチャ単位又はマクロブロック単位で、画像の符号化装置又は復号化装置で送受信される符号化データに格納される。このとき、符号化データに格納される情報は例えば、特徴量画像データの抽出法、特徴量画像データの強度、又は座標値のオフセット量を指し示すインデックス情報である。
【００１８】
或いは、上述の発明の構成において、特徴量画像データの抽出法を切り替える情報、又
は特徴量画像データの強度を調整する情報は、画像の符号化装置又は復号化装置において画像のピクチャ単位又はマクロブロック単位で処理される動きベクトルデータの動きの方向や量に基づいて決定される。
【発明の効果】
【００１９】
本発明によれば、高周波成分が集中するエッジ部分などの箇所において高い予測効率が実現されることにより、高い符号化・復号化性能を達成することが可能になる。
【発明を実施するための最良の形態】
【００２０】
以下、図面を参照しながら、本発明を実施するための最良の形態を詳細に説明する。
図１は、本実施形態における復号化装置の構成図、図２は、本実施形態における符号化装置の構成図である。
【００２１】
図１の構成において、フレームメモリ１０３、逆量子化/逆変換器１０４、及び加算器１０５の各部の機能は、それぞれ図１１の従来技術の典型的な構成における１１０３、１１０４、及び１１０５の各部の機能と同じである。また、図２の構成において、フレームメモリ２０２、差分器２０３、変換/量子化/逆量子化/逆変換器２０４、及び加算器２０５の各部の機能は、それぞれ図１２の従来技術の典型的な構成における１２０２、１２０３、１２０４、及び１２０５の各部の機能と同じである。
【００２２】
図１及び図２の本実施形態の構成が図１１及び図１２の従来技術の典型的な構成と異なる点は、従来技術では、図１１の予測器１１０２及び図１２の予測器１２０１は、固定的なローパスフィルタやsyncフィルタを用いた予測画像作成器によって構成されているのに対し、本実施形態では、図１の予測器１０２及び図２の予測器２０１は、図３に示されるように、予測画像作成器３０１（従来技術の固定的な予測画像作成器に対応する）に加えて、特長量抽出機器３０２及び調整器３０３とからなる第２の予測画像作成機能（図３の破線部３０５）を有し、それぞれの予測結果が加算器３０４にて加算されて図１又は図２の予測画像ｄ１１（図２の符号化装置側）又はｄ１１′（図１の復号化装置側）とされることで、符号化効率の改善が図られている点である。
【００２３】
図３において、予測画像作成器３０１は従来の符号化方式で用いられてきた低域を通過させるフィルタを用いて、従来と同様の予測画像ｄ５（符号化装置側、図１２参照）又はｄ５′（復号化装置側、図１１参照）を作成する。
【００２４】
H4特徴量抽出器３０２は、調整値ｄ８（符号化装置側）又はｄ８′（復号化装置側）に基づいて、予測画像中の調整を施したい特徴量を含む画像である第１特徴量画像ｄ９（符号化装置側）又はｄ９′（復号化装置側）を作成する。
【００２５】
この第１特徴量画像ｄ９／ｄ９′は更に、調整値ｄ８／ｄ８′に基づいて、調整器３０３にて各種調整が加えられて、第２特徴量画像ｄ１０（符号化装置側）又はｄ１０′（復号化装置側）に変換される。
【００２６】
加算器３０４は、上述の第２特徴量画像ｄ１０／ｄ１０′を予測画像ｄ５／ｄ５′に加算し、予測画像ｄ１１（図２の符号化装置側）又はｄ１１′（図１の復号化装置側）を出力する。
【００２７】
この構成において、図１３に示したような例に対する画像の予測効率を改善することを考える。
特徴量抽出器３０２は、予測画像ｄ５／ｄ５′から高周波数成分を抽出し、高周波成分を多く含む第１特徴量画像ｄ９／ｄ９′を生成する。
【００２８】
第１特徴量画像ｄ９／ｄ９′は第２特徴量画像ｄ１０／ｄ１０′に変換され、これが加算器３０４にて予測画像ｄ５／ｄ５′と加算され最終的に予測画像ｄ１１／ｄ１１′が得られるが、このとき調整器３０３によって、より予測効率が高い予測画像ｄ１１／ｄ１１′が得られるように調整が加えられる。図１３の例では、以下のように調整が加えられればよい。
図１３（ａ）の場合：予測画像ｄ５／ｄ５′からエッジ成分が取り出され、
その成分が予測画像ｄ５／ｄ５′から差し引かれる。
図１３（ｂ）の場合：予測画像ｄ５／ｄ５′からエッジ成分が取り出され、
その成分が予測画像ｄ５／ｄ５′に加えられる
このように、エッジ近辺の高周波成分が調整されることで、エッジ周辺の予測精度を向上させることが期待できる。
【００２９】
図４は、図３に示される本実施形態における予測器の構成が図１の復号化装置の予測器１０２として構成される場合における本実施形態のより詳細な構成図であり、図５は、その制御動作を示す動作フローチャートである。
【００３０】
まず、予測画像作成器３０１において、予測画像ｄ５／ｄ５′が作成される（図５のステップＳ５０１）。
次に、図３の特徴量抽出器３０２を構成するハイパスフィルタ部４０１にて、ハイパスフィルタ種別Ｎが決定され（図５のステップＳ５０２）、その決定された種別Ｎのハイパスフィルタ処理が実行される（図５のステップＳ５０３）。これらの処理により、第１特徴量画像ｄ９／ｄ９′が作成される。
【００３１】
ハイパスフィルタ種別Ｎとしては、図４のＡとして示されるような、縦横斜め方向の各エッジを抽出する空間フィルタが設定される。
続いて、図３の調整器３０３を構成するオフセット処理部４０２にて、ｉ方向（画像内水平方向）及びｊ方向（画像内垂直方向）の各オフセット値ｌ、ｋが決定され（図５のステップＳ５０４）、ｉ方向及びｊ方向それぞれにおいて各オフセット値ｌ、ｋずつ画素値をずらすオフセット処理が実行される（図５のステップＳ５０５）。
【００３２】
更に続いて、図３の調整器３０３を構成する乗算器４０３にて、スケーリング値Ａが決定され（図５のステップＳ５０６）、その値Ａを乗算するスケーリング処理が実行される（図５のステップＳ５０７）。これらの処理により、第２特徴量画像ｄ１０／ｄ１０′が作成される。
【００３３】
最後に、加算器３０４にて、予測画像ｄ５／ｄ５′と第２特徴量画像ｄ１０／ｄ１０′とが加算されることで予測画像ｄ１１／ｄ１１′が作成される。
【００３４】
以上の一連の処理を定式化すると以下のようになる。
C (i,j)  =  A*C0(i+k, j+l)
P(i,j) = P0(i ,j)+C(k, j)                ・・・（１）
i,j:予測画像内の座標 
C0 : フィルタ種別N を用いて得られた第１特徴量画像d9/d9’
C (i,j)：第２特徴量画像d10/d10’
P0: 予測画像d5/d5’
P: 予測画像d11/d11’
A: 乗算器403/503におけるスケーリング値
k，l: オフセット処理部402/502におけるオフセット値（ｉ方向、j方向）
【００３５】
復号化装置側では、図５のステップＳ５０２で決定されるハイパスフィルタ種別Ｎ、図５のステップＳ５０４で決定されるオフセット値ｌ、ｋ、及び図５のステップＳ５０６で決定されるスケーリング値Ａは、エントロピ復号化器１０１が、受信した符号化ビット列ｄ１′（図１参照）から調整値ｄ８′（図１、図３参照）として抽出し、ハイパスフィルタ部４０１に与える。
【００３６】
図６は、図３に示される本実施形態における予測器の構成が図２の符号化装置の予測器２０１として構成される場合における本実施形態のより詳細な構成図である。
基本的な機能は、復号化装置側の図４に示される構成と同じであり、図６のハイパスフィルタ部６０１、オフセット処理部６０２、及び乗算器６０３の各部の機能は、図４の４０１、４０２、及び４０３の各部の機能と同じである。その制御動作も、図５の動作フローチャートと同じである。
【００３７】
符号化装置側では、図５のステップＳ５０２で決定されるハイパスフィルタ種別Ｎ、図５のステップＳ５０４で決定されるオフセット値ｌ、ｋ、及び図５のステップＳ５０６で決定されるスケーリング値Ａは、図２の調整値決定器２０７が調整値ｄ８として導出する。
【００３８】
図７は、調整値決定器２０７によって実行される、上記調整値ｄ８を導出するための制御アルゴリズムを示す動作フローチャートである。
このアルゴリズムでは、フィルタ種別Ｎ、スケーリング値Ａ、オフセット値ｋ、ｌがそれぞれの限界範囲内においてそれぞれ順次単位量ずつ変化させられながら、原画像Org(i,j)と予測画像P(i,j)のブロック内の画素の差分絶対値和が算出され、その差分絶対値和が最も少なくなる各値の組合せとして、フィルタ種別Ｎ、スケーリング値Ａ、オフセット値ｋ、ｌが算出される。
【００３９】
具体的には、まず、ステップＳ７０１にて初期設定が行われた後、ステップＳ７０２にてハイパスフィルタ種別Ｎ＝０にセットされ、ステップＳ７１８で種別値が０から３まで＋１ずつ増加させられながら（図４のＡを参照）、ステップＳ７０３にてＮの値が３より大きくなって全ての種別について処理が終了したと判定されるまで、以下のステップＳ７０４〜Ｓ７１７までの処理が繰り返し実行される。
【００４０】
ステップＳ７０４〜Ｓ７１７では、まず、ステップＳ７０４にて現在のハイパスフィルタ種別Ｎによるハイパスフィルタ処理が実行され、ステップＳ７０５にてスケーリング値Ａの値が下限限界値−ａにセットされ、ステップＳ７１７でＡの値が＋１ずつ増加させられながら、ステップＳ７０６にてＡの値が上限限界値＋ａより大きくなって全てのスケーリング値Ａについて処理が終了したと判定されるまで、以下のステップＳ７０７〜Ｓ７１６までの処理が繰り返し実行される。
【００４１】
ステップＳ７０７〜Ｓ７１６では、まず、ステップＳ７０７にてオフセット値ｌの値が下限限界値−Ｍにセットされ、ステップＳ７１６でｌの値が＋１ずつ増加させられながら、ステップＳ７０８にてｌの値が上限限界値＋Ｍより大きくなって全てのオフセット値ｌについて処理が終了したと判定されるまで、以下のステップＳ７０９〜Ｓ７１５までの処理が繰り返し実行される。
【００４２】
ステップＳ７０９〜Ｓ７１５では、まず、ステップＳ７０９にてオフセット値ｋの値が下限限界値−Ｍにセットされ、ステップＳ７１５でｌの値が＋１ずつ増加させられながら、ステップＳ７１０にてｋの値が上限限界値＋Ｍより大きくなって全てのオフセット値ｋについて処理が終了したと判定されるまで、以下のステップＳ７１１〜Ｓ７１４までの処理が繰り返し実行される。
【００４３】
ステップＳ７１１では、現在のオフセット値ｋ、ｌ、スケーリング値Ａを使って、前述の（１）式の予測演算処理が実行される。
ステップＳ７１２では、この結果得られる予測画像P(i,j)と原画像Org(i,j)の、現在の符号化対象ブロック内における差分絶対値和ＳＡＤが、下記（２）式によって演算される。
SAD = Σ|Org(i,j)−P(i,j)|      ・・・（２）
【００４４】
ステップＳ７１３では、現在までに得られている差分絶対値和の最小値ｍｉｎＳＡＤが上記差分絶対値和ＳＡＤよりも小さいか否かが判定される。
そして、ｍｉｎＳＡＤがＳＡＤ以上でありステップＳ７１３の判定がＮＯとなった場合には、ステップＳ７１４にて、最適フィルタ種別ｍｉｎＮ、最適スケール値ｍｉｎＡ、最適オフセットｌ値ｍｉｎｌ、最適オフセットｋ値ｍｉｎｋの各値が、現在選択されている各値Ｎ、Ａ、ｌ、ｋで置き換えられる。
【００４５】
ステップＳ７１４の処理の後、又はステップＳ７１３の判定がＹＥＳとなった場合には、ステップＳ７１５の処理に進み、次の各値Ｎ、Ａ、ｌ、ｋの組合せについて上記と同様の処理が繰り返し実行される。
【００４６】
以上の処理により、全ての各値Ｎ、Ａ、ｌ、ｋの組合せについて、差分絶対値和が最小となる最適フィルタ種別ｍｉｎＮ、最適スケール値ｍｉｎＡ、最適オフセットｌ値ｍｉｎｌ、最適オフセットｋ値ｍｉｎｋの組が、最終的に調整値ｄ８（図２参照）として得られる。
【００４７】
以上のようにして決定された調整値ｄ８は、図２のエントロピ符号化器２０６にて、符号化ビット列ｄ１に符号化される。
上述の実施形態では、ハイパスフィルタを特徴量画像抽出法として用いて、周波数成分の調整を行うことで符号化効率の向上を狙った構成となっている。また、ハイパスフィルタの種別を付加情報として指定可能な構成を有している。
【００４８】
フィルタ種別Ｎを付加情報として指定する第１の方法として、ピクチャに１回「フィルタ種別」を付加情報として指定し、ピクチャ内のマクロブロックすべてに対し常に同じ方法で特徴量抽出が行われるように指定する方式が適用できる。図８に、ITU(国際電気通信連合)によって勧告された動画圧縮符号化方式標準規格であるITU-T H.264に適合する符号化ビット列ｄ１の書き込みフォーマットを示す。ピクチャ毎にフィルタ種別が付加される場合、図８の〈１〉の位置に、フィルタ種別の付加情報が書き込まれる。
【００４９】
フィルタ種別Ｎを付加情報として指定する第２の方法として、マクロブロックごとに「フィルタ種別」を付加情報として指定する方式が適用できる。この場合には、図８の〈２〉の位置に、フィルタ種別の付加情報が書き込まれる。
【００５０】
フィルタ種別Ｎを付加情報として指定する第３の方法として、マクロブロックごとに「フィルタ種別」を付加情報として指定するが、直接フィルタ種別を指定せずに、図９に示されるように、付加情報をピクチャごとに用意されたテーブル９０１のインデックス値として指定する方式が適用できる。この場合も、図８の〈２〉の位置に、フィルタ種別の付加情報が書き込まれる。
【００５１】
以上のようにして符号化ビット列ｄ１に付加されたフィルタ種別Ｎは、復号化装置側では、図１のエントロピ復号化器１０１によって、上記符号化ビット列ｄ１に対応して受信された符号化ビット列ｄ１′から取り出され、図４のハイパスフィルタ部４０１に供給される。
【００５２】
次に、符号化装置側で決定されたスケーリング値Ａは、特徴量画像を予測画像に加算する場合の加算強度を表しているといえるが、このスケーリング値Ａを付加情報として指定する第１の方法として、ピクチャに１回「スケーリング値」を付加情報として指定し、ピクチャ内のマクロブロックすべてに対し常に同じ加算強度でスケーリングが行われるように指定する方式が適用できる。この場合には、図８の〈１〉の位置に、スケーリング値の付加情報が書き込まれる。
【００５３】
スケーリング値Ａを付加情報として指定する第２の方法として、マクロブロックごとに「スケーリング値」を付加情報として指定する方式が適用できる。この場合には、図８の〈２〉の位置に、スケーリング値の付加情報が書き込まれる。
【００５４】
スケーリング値Ａを付加情報として指定する第３の方法として、マクロブロックごとに「スケーリング値」を付加情報として指定するが、直接スケーリング値を指定せずに、図１０に示されるように、付加情報をピクチャごとに用意されたテーブル１００１のインデックス値として指定する方式が適用できる。この場合も、図８の〈２〉の位置に、スケーリング値の付加情報が書き込まれる。
【００５５】
以上のようにして符号化ビット列ｄ１に付加されたフィルタ種別情報は、復号化装置側では、図１のエントロピ復号化器１０１によって、上記符号化ビット列ｄ１に対応して受信された符号化ビット列ｄ１′から取り出され、図４のハイパスフィルタ部４０１に供給される。
【００５６】
以上のようにして符号化ビット列ｄ１に付加されたスケーリング値Ａは、復号化装置側では、図１のエントロピ復号化器１０１によって、上記符号化ビット列ｄ１に対応して受信された符号化ビット列ｄ１′から取り出され、図４の乗算器４０３に供給される。
【００５７】
次に、符号化装置側で決定されたオフセット値ｋ、ｌについてもスケーリング値Ａと同様に考えることができる。オフセット値ｋ、ｌの付加情報は、例えば図８の〈２〉の位置に書き込まれる。
【００５８】
前述のハイパスフィルタ種別は、図２の調整値決定器２０７が図７に示される動作フローチャートの制御動作に基づいて決定したが、この種別を付加情報なしで決定する手法として、以下のアルゴリズムに従って、マクロブロックに与えられた動きベクトル(x,y)から種別を決定することができる。
if(|x/(x*x+y*y)|>cos(22.5°))
種別＝0
elseif(|y/(x*x+y*y)|>sin(67.5°))
種別＝1
else if(x*y < 0)
種別＝2
else
種別＝3
【００５９】
また、前述のスケール値についても、図２の調整値決定器２０７が図７に示される動作フローチャートの制御動作に基づいて決定するのではなく、以下のアルゴリズムに従って、マクロブロックに与えられた動きベクトル(x,y)から決定することができる。
スケール値=(x*x+y*y)÷N
【００６０】
以上説明した実施形態では、画像中のエッジに着目した処理に関する実施形態について説明したが、本発明はこれに限られるものではなく、画像中の様々な特徴量について、特徴量画像を抽出しそれに変形を加えた上で予測画像に加算することにより、予測画像の予測精度を向上させることが可能である。
【００６１】
以上の実施形態に関して、更に以下の付記を開示する。
（付記１）
画像の符号化装置又は復号化装置に用いられ、マクロブロック毎に画像予測処理を行いながら画像の符号化又は復号化を行う画像予測装置であって、
前記画像予測処理の結果得られる予測画像データから特徴量画像データを抽出する特徴量画像抽出手段と、
前記予測画像データに応じて前記特徴量画像データを調整する特徴量画像調整手段と、
該特徴量画像調整手段から得られる調整された特徴量画像データと前記予測画像データとを合成し、該合成された予測画像を出力する予測画像合成手段と、
を含むことを特徴とする画像予測装置。
（付記２）
前記特徴量画像抽出手段は、前記予測画像データに応じて、前記特徴量画像データの抽出法を切り替えながら、前記特徴量画像データを抽出する、
ことを特徴とする付記１に記載の画像予測装置。
（付記３）
前記特徴量画像抽出手段は、前記予測画像データからエッジ成分を含む前記特徴量画像データを抽出するハイパスフィルタ処理を実行し、前記予測画像データに応じて、複数の方向のエッジ成分をそれぞれ抽出するハイパスフィルタを切り替えながら、前記特徴量画像データを抽出する、
ことを特徴とする付記２に記載の画像予測装置。
（付記４）
前記特徴量画像調整手段は、前記予測画像データに応じて前記特徴量画像データの強度を調整する、
ことを特徴とする付記１乃至３の何れか１項に記載の画像予測装置。
（付記５）
前記特徴量画像調整手段は、前記予測画像データに応じて、前記特徴量画像データが前記予測画像合成手段にて前記予測画像データに合成される際の座標値のオフセット量を調整する、
ことを特徴とする付記１乃至４の何れか１項に記載の画像予測装置。
（付記６）
前記特徴量画像データの抽出法を切り替える情報、前記特徴量画像データの強度を調整する情報、又は前記座標値のオフセット量を調整する情報は、前記画像のピクチャ単位又はマクロブロック単位で、前記画像の符号化装置又は復号化装置で送受信される符号化データに格納される、
ことを特徴とする付記２乃至５の何れか１項に記載の画像予測装置。
（付記７）
前記符号化データに格納される情報は、前記特徴量画像データの抽出法、前記特徴量画像データの強度、又は前記座標値のオフセット量を指し示すインデックス情報である、
ことを特徴とする付記６に記載の画像予測装置。
（付記８）
前記特徴量画像データの抽出法を切り替える情報、又は前記特徴量画像データの強度を調整する情報は、前記画像の符号化装置又は復号化装置において前記画像のピクチャ単位又はマクロブロック単位で処理される動きベクトルデータに基づいて決定される、
ことを特徴とする付記２乃至５の何れか１項に記載の画像予測装置。
（付記９）
前記特徴量画像データの抽出法を切り替える情報は、前記画像の符号化装置又は復号化装置において前記画像のピクチャ単位又はマクロブロック単位で処理される動きベクトルデータが示す動きの方向に基づいて決定される、
ことを特徴とする付記８に記載の画像予測装置。
（付記１０）
前記特徴量画像データの強度を調整する情報は、前記画像の符号化装置又は復号化装置において前記画像のピクチャ単位又はマクロブロック単位で処理される動きベクトルデータが示す動きの量に基づいて決定される、
ことを特徴とする付記８に記載の画像予測装置。
（付記１１）
マクロブロック毎に画像予測処理を行いその画像予測処理結果を用いて予測符号化を行う画像符号化装置であって、
前記画像予測処理の結果得られる予測画像データから特徴量画像データを抽出する特徴量画像抽出手段と、
前記予測画像データに応じて前記特徴量画像データを調整する特徴量画像調整手段と、
前記特徴量画像調整手段から得られる調整された特徴量画像データと前記予測画像データとを合成し、該合成された予測画像を出力する予測画像合成手段と、を備え、
前記予測画像合成手段にて合成された予測画像を用いて予測符号化することを特徴とする画像符号化装置。
（付記１２）
マクロブロック毎に画像予測処理を行いその画像予測処理結果を用いて予測復号化を行う画像復号化装置であって、
前記画像予測処理の結果得られる予測画像データから特徴量画像データを抽出する特徴量画像抽出手段と、
前記予測画像データに応じて前記特徴量画像データを調整する特徴量画像調整手段と、
該特徴量画像調整手段から得られる調整された特徴量画像データと前記予測画像データとを合成し、該合成された予測画像を出力する予測画像合成手段と、を備え、
前記予測画像合成手段にて合成された予測画像を用いて予測復号化することを特徴とする画像復号化装置。
（付記１３）
画像の符号化方法又は復号化方法に用いられ、マクロブロック毎に画像予測処理を行いながら画像の符号化又は復号化を行う画像予測方法であって、
前記画像予測処理の結果得られる予測画像データから特徴量画像データを抽出する特徴量画像抽出ステップと、
前記予測画像データに応じて前記特徴量画像データを調整する特徴量画像調整ステップと、
該特徴量画像調整ステップにて得られる調整された特徴量画像データと前記予測画像データとを合成し、該合成された予測画像を出力する予測画像合成ステップと、
を含むことを特徴とする画像予測方法。
【図面の簡単な説明】
【００６２】
【図１】本実施形態における復号化装置の構成図である。
【図２】本実施形態における符号化装置の構成図である。
【図３】本実施形態における予測器の原理構成図である。
【図４】復号化装置に適用される本実施形態における予測器の構成図である。
【図５】本実施形態における予測器の制御動作を示す動作フローチャートである。
【図６】符号化装置に適用される本実施形態における予測器の構成図である。
【図７】調整値決定器によって実行される、調整値を導出するための制御アルゴリズムを示す動作フローチャートである。
【図８】本実施形態における符号化ビット列のデータ構成例を示す図である。
【図９】本実施形態に係るフィルタ種別を切り替えるテーブルを示した図である。
【図１０】本実施形態に係るスケーリング値（加算強度）を切り替えるテーブルを示した図である。
【図１１】画面を分割したブロック単位で画面間予測を行う従来の動画像復号化装置の典型的な構成図である。
【図１２】画面を分割したブロック単位で画面間予測を行う従来の動画像符号化装置の典型的な構成図である。
【図１３】従来技術の問題点の説明図である。
【符号の説明】
【００６３】
１０１、１１０１      エントロピ復号化器
１０２、２０１、１１０２、１２０１      予測器
１０３、２０２、１１０３、１２０２      フレームメモリ
１０４、１１０４      逆量子化/逆変換器
１０５、２０５、３０４、１１０５、１２０５      加算器
２０３、１２０３      差分器
２０４、１２０４      変換/量子化/逆量子化/逆変換器
２０６、１２０６      エントロピ符号化器
２０７      調整値決定器
３０１      予測画像作成器
３０２      特徴量抽出器
３０３      調整器
４０１、６０１      ハイパスフィルタ部
４０２、６０２      オフセット処理部
４０３、６０３      乗算器
９０１      フィルタ種別テーブル
１００１      スケーリングテーブル
【図１】
2010093377.tif 000003
【図２】
2010093377.tif 000004
【図３】
2010093377.tif 000005
【図４】
2010093377.tif 000006
【図５】
2010093377.tif 000007
【図６】
2010093377.tif 000008
【図７】
2010093377.tif 000009
【図８】
2010093377.tif 000010
【図９】
2010093377.tif 000011
【図１０】
2010093377.tif 000012
【図１１】
2010093377.tif 000013
【図１２】
2010093377.tif 000014
【図１３】
2010093377.tif 000015