(57)【要約】【課題】本発明は、動画像圧縮処理を高速に行うことができる予測符号化装置を提供することを目的とする。【解決手段】原画像に対して第１の周波数変換を行うことにより、第１の周波数変換パターンを有する前記原画像を生成する原画像変換部と、予測画像に対して第１の周波数変換を行うことにより、第１の周波数変換パターンを有する予測画像を生成する予測画像変換部とを備える。【選択図】図１
2008219360.tif 000002
【特許請求の範囲】
【請求項１】
異なる複数の予測モードの中から選択された前記予測モードに基づいて、参照画像から予測画像を作成する予測画像作成部と、
原画像に対して第１の周波数変換を行うことにより、第１の周波数変換パターンを有する前記原画像を生成する原画像変換部と、
前記予測画像に対して前記第１の周波数変換を行うことにより、前記第１の周波数変換パターンを有する前記予測画像を生成する予測画像変換部と、
前記第１の周波数変換パターンを有する前記原画像と、前記第１の周波数変換パターンを有する前記予測画像との差分を算出することにより、前記第１の周波数変換パターンを有する残差画像を生成する第１の残差画像変換部と、
前記第１の周波数変換パターンを有する前記残差画像に基づいて、前記複数の予測モードの中から、符号量が小さくなる前記予測モードを判定するモード判定部と、
前記原画像と前記予測画像の残差画像に対して第２の周波数変換を行うことにより、第２の周波数変換パターンを有する前記残差画像を生成する第２の残差画像変換部と、
前記第２の周波数変換パターンを有する前記残差画像に対して画質調整を行う画質調整部と、
前記画質調整が行われた、前記第２の周波数変換パターンを有する前記残差画像に対して、前記第２の周波数変換の逆変換を行うことにより、実空間の前記残差画像を生成する残差画像逆変換部と、
前記残差画像と前記予測画像とを用いて前記参照画像を作成し、前記予測画像作成部に出力する参照画像作成部と
を備えることを特徴とする予測符号化装置。
【請求項２】
前記第１の周波数変換は、第１の直交変換であり、
前記第２の周波数変換は、前記第１の直交変換とは異なる変換行列を用いた第２の直交変換である
ことを特徴とする請求項１に記載の予測符号化装置。
【請求項３】
前記第１の周波数変換は、アダマール変換であり、
前記第２の周波数変換は、DCTである
ことを特徴とする請求項１に記載の予測符号化装置。
【請求項４】
前記予測モードは、０次元又は１次元に周波数変換可能な予測モードである
ことを特徴とする請求項１に記載の予測符号化装置。
【請求項５】
前記予測モードは、垂直予測モード、水平予測モード又はＤＣ予測モードのいずれかである
ことを特徴とする請求項１に記載の予測符号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、予測符号化装置に関する。
【背景技術】
【０００２】
近年、動画像圧縮技術の一つである予測符号化を行うことを目的として、種々の予測符号化装置が開発され、その代表的なものとして例えばH.264/AVCエンコーダが開発されている。しかし、かかる予測符号化装置では、最適な予測モードを判定する際に、アダマール変換などの直交変換を施した絶対値誤差和を求めた方が、予測性能が向上できるが、直交変換を施して予測モード判定を行うのには、必要とされる処理量が多く、高速処理を行うことが困難であるという問題があった。
【０００３】
以下、予測符号化装置に関する文献名を記載する。
【非特許文献１】T. Wiegand, G. J. Sullivan, G. Bjontegaard, and A. Luthra, “Overview of the H.264/AVC Video Coding Standard”, IEEE Trans. on Circuits and Systems for Video Technology, vol. 13, no. 7, pp. 560-576, July 2003
【非特許文献２】I. G. Richardson, H.264 and MPEG-4 Video Compression, Wiley, 2003
【非特許文献３】Joint Video Team (JVT) of ITU-T VCEG and ISO/IEC MPEG, Draft ITU-T Recommendation and Final Draft International Standard of Joint Video Specification, ITU-T Rec. H.264 and ISO/IEC 14496-10 AVC, May 2003
【発明の開示】
【発明が解決しようとする課題】
【０００４】
本発明は、動画像圧縮処理を高速に行うことができる予測符号化装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明の一態様による予測符号化装置は、
異なる複数の予測モードの中から選択された前記予測モードに基づいて、参照画像から予測画像を作成する予測画像作成部と、
原画像に対して第１の周波数変換を行うことにより、第１の周波数変換パターンを有する前記原画像を生成する原画像変換部と、
前記予測画像に対して前記第１の周波数変換を行うことにより、前記第１の周波数変換パターンを有する前記予測画像を生成する予測画像変換部と、
前記第１の周波数変換パターンを有する前記原画像と、前記第１の周波数変換パターンを有する前記予測画像との差分を算出することにより、前記第１の周波数変換パターンを有する残差画像を生成する第１の残差画像変換部と、
前記第１の周波数変換パターンを有する前記残差画像に基づいて、前記複数の予測モードの中から、符号量が小さくなる前記予測モードを判定するモード判定部と、
前記原画像と前記予測画像の残差画像に対して第２の周波数変換を行うことにより、第２の周波数変換パターンを有する前記残差画像を生成する第２の残差画像変換部と、
前記第２の周波数変換パターンを有する前記残差画像に対して画質調整を行う画質調整部と、
前記画質調整が行われた、前記第２の周波数変換パターンを有する前記残差画像に対して、前記第２の周波数変換の逆変換を行うことにより、実空間の前記残差画像を生成する残差画像逆変換部と、
前記残差画像と前記予測画像とを用いて前記参照画像を作成し、前記予測画像作成部に出力する参照画像作成部と
を備える。
【発明の効果】
【０００６】
本発明の予測符号化装置によれば、動画像圧縮処理を高速に行うことができる。
【発明を実施するための最良の形態】
【０００７】
以下、本発明の実施の形態について図面を参照して説明する。
【０００８】
図１に、本発明の実施の形態による予測符号化装置１０の構成を示す。予測画像作成部１４０は、参照画像作成部１５０から出力される参照画像と、モード選択部８０から出力される予測モードとに基づいて、周辺画素を用いて予測を行う画面内予測符号化を実行することにより、予測画像を作成し、これを予測画像アダマール変換部９０、残差画像作成部１００及び参照画像作成部１５０に出力する。
【０００９】
原画像変換部としての原画像アダマール変換部５０は、原画像に対して例えば2次元アダマール変換（第１の周波数変換）を行い、このアダマール変換された原画像（第１の周波数変換パターンを有する原画像）を残差画像アダマール変換部６０に出力する。例えば、4x4要素の任意の行列Xと、アダマール変換行列Tとが、次式
【数１】
2008219360.tif 000003
のように表されると、2次元アダマール変換は、
【数２】
2008219360.tif 000004
と表される。
【００１０】
予測画像変換部としての予測画像アダマール変換部９０は、予測画像に対して、例えば0、1または2次元アダマール変換（第１の周波数変換）を行い、このアダマール変換された予測画像（第１の周波数変換パターンを有する予測画像）を残差画像アダマール変換部６０に出力する。なお、アダマール変換の次元は、予測画像の性質、すなわち予測画像の実質的な次元数に応じて使い分ける。例えば予測画像が、図２（ａ）のように0次元的であれば0次元アダマール変換、図２（ｂ）のように1次元的であれば1次元アダマール変換、図２（ｃ）のように２次元的であれば２次元アダマール変換を使うといった具合である。
【００１１】
なお、第１の周波数変換としては、アダマール変換ではなく、他の種々の第１の直交変換を用いても良い。
【００１２】
第１の残差画像変換部としての残差画像アダマール変換部６０は、アダマール変換された原画像と、アダマール変換された予測画像との差分を算出することにより、残差画像のアダマール変換パターン（第１の周波数パターンを有する残差画像）を導出し、これをＳＡＴＤ計算部７０に出力する。
【００１３】
SATD（Sum of Absolute Transformed Difference）計算部７０は、アダマール変換されたデータの各要素の絶対値の総和を計算する。この総和、すなわちSATDが小さければ予測符号化によって発生する符号量が小さくなると予想されるため、予測モードの判定の指標として用いられる。
【００１４】
モード選択部８０は、SATDに基づいて、異なる複数の予測モードの中から、符号量が小さくなる最適な予測モードを選択し、これを予測画像作成部１４０に出力する。なお、ＳＡＴＤ計算部７０及びモード選択部８０は、モード判定部４０を形成する。
【００１５】
残差画像作成部１００は、原画像と予測画像との残差を計算し、得られた残差画像を残差画像ＤＣＴ部１１０に出力する。
【００１６】
残差画像DCT部１１０は、この残差画像に対して、例えばDCT（Discrete Cosine Transform）（第２の周波数変換）を行い、このＤＣＴされた残差画像（第２の周波数変換パターンを有する残差画像）を画質調整部１２０に出力する。例えば、4x4要素の任意の行列Xと、DCT変換行列Cとが、次式、
【数３】
2008219360.tif 000005
のように表されると、2次元DCTは、
【数４】
2008219360.tif 000006
と表される。
【００１７】
なお、第２の周波数変換としては、ＤＣＴではなく、第１の直交変換とは異なる変換行列を用いた他の種々の第２の直交変換を用いても良い。また、残差画像作成部１００及び残差画像ＤＣＴ部１１０は、第２の残差画像変換部を形成する。
【００１８】
画質調整部１２０は、周波数空間のパターンに変換された残差画像の画質および符号データ量を調整する。残差画像逆変換部としての残差画像IDCT部１３０は、IDCT（Inverse Discrete Csine Transform）によって、画質調整された周波数空間のパターンを実空間の残差画像に逆変換する。参照画像作成部１５０は、実空間に逆変換された残差画像と、最適な予測モードによる予測画像とを用いて、参照画像を作成し、これを予測画像作成部１４０に出力する。
【００１９】
このように本実施の形態によれば、異なる複数の予測モードに基づいて、最適モード判定を行うときに、原画像に対する変換処理と予測画像の変換処理とを別々に行うことにより、最適モード判定の処理量の削減を実現することができる。
【００２０】
ここで図３に、本実施の形態の比較例として、予測符号化装置２００の構成を示す。なお、図１に示された要素と同一のものには同一の符号を付して説明を省略する。この比較例の予測符号化蔵置２００の場合、残差画像作成部１００は、原画像と予測画像の残差を計算し、得られた残差画像を残差画像アダマール変換部２１０に出力する。残差画像アダマール変換部２１０は、残差画像に対して2次元アダマール変換を行う。
【００２１】
この比較例の予測符号化蔵置２００では、予測モードの選択のために2次元アダマール変換を複数回行うことになり、その結果、処理量が多く、高速処理を行うことが困難であった。
【００２２】
このように比較例の場合には、予測モードごとに残差画像を作成して2次元アダマール変換を行っていたのに対し、本実施の形態の場合には、原画像のアダマール変換と予測画像のアダマール変換とを別々に行っている。これにより、残差画像アダマール変換パターンを算出するための計算量を削減できる。
【００２３】
すなわち、予測画像が0次元的あるいは1次元的なものであれば、アダマール変換もそれぞれ0次元、1次元のものに置き換えることができるため処理量を削減できるわけである。ここで0次元的な予測画像と言っているのは、例えばH.264/AVCにおけるDC予測画像、1次元的な予測画像と言っているのは垂直予測画像、あるいは水平予測画像のことである。参考のためH.264/AVCにおける画面内予測モードの一例を図4に示す。
【００２４】
この図４（ａ）〜（ｃ）のうち、図４（ａ）はイントラ４×４垂直予測モードを示し、図４（ｂ）はイントラ４×４水平予測モードを示し、図４（ｃ）はイントラ４×４ＤＣ予測モードを示す。このように予測モードは、０次元又は１次元に周波数変換可能な予測モードである。
【００２５】
なお、上述の実施の形態は一例であって、本発明を限定するものではない。例えば、予測モードは、３つではなく、少なくとも２つの予測モードの中から選択されるものであれば良い。
【図面の簡単な説明】
【００２６】
【図１】本発明の実施の形態による予測符号化装置の構成を示すブロック図である。
【図２】予測画像の次元を示す説明図である。
【図３】比較例による予測符号化装置の構成を示すブロック図である。
【図４】H.264/AVCにおけるIntra 4x4予測モードを示す説明図である。
【符号の説明】
【００２７】
１０  予測符号化装置
５０  原画像アダマール変換部
６０  残差画像アダマール変換部
７０  ＳＡＴＤ計算部
８０  モード選択部
９０  予測画像アダマール変換部
１００  残差画像作成部
１１０  残差画像ＤＣＴ部
１２０  画質調整部
１３０  残差画像ＩＤＣＴ部
１４０  予測画像作成部
１５０  参照画像作成部
【図１】
2008219360.tif 000007
【図２】
2008219360.tif 000008
【図３】
2008219360.tif 000009
【図４】
2008219360.tif 000010