(57)【要約】【課題】処理負荷の増大を抑制しつつ符号化性能を向上できる動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラムを提供すること。【解決手段】動画像符号化装置ＡＡは、変換ブロックにおける動きベクトルを用いて動き補償参照ブロックを決定する動き探索・動き補償部１と、動き探索・動き補償部１により決定された動き補償参照ブロックのエッジ方向を１つ求め、求めたエッジ方向に基づいて、記憶されている複数の添字の中から１つを導出する添字導出部２と、添字導出部２により導出された添字に対応付けられた基底を、記憶されている複数の基底の中から選び出し、選び出した基底を用いて動き補償残差の変換を行う変換部３と、を備える。【選択図】図１
2012191492.tif 000002
【特許請求の範囲】
【請求項１】
予め定められた複数の基底と、当該複数の基底のそれぞれを識別可能に設けられた当該複数の基底と同数の添字と、を記憶する符号化側記憶手段と、
変換ブロックにおける動きベクトルを用いて動き補償参照ブロックを決定する符号化側ブロック決定手段と、
前記符号化側ブロック決定手段により決定された動き補償参照ブロックのエッジ方向を１つ求め、求めたエッジ方向に基づいて、前記符号化側記憶手段に記憶されている複数の添字の中から１つを導出する符号化側添字導出手段と、
前記符号化側添字導出手段により導出された添字に対応付けられた基底を前記符号化側記憶手段に記憶されている複数の基底の中から選び出し、当該選び出した基底を用いて動き補償残差の変換を行う変換手段と、を備えることを特徴とする動画像符号化装置。
【請求項２】
請求項１に記載の動画像符号化装置において、
前記複数の基底のうち少なくとも一部は、１次元ＤＣＴおよび置換行列で構成された基底であることを特徴とする動画像符号化装置。
【請求項３】
請求項１または２に記載の動画像符号化装置において、
前記符号化側添字導出手段は、
前記動き補償参照ブロックに対してイントラ予測を適用し、予め定められた評価関数による評価結果に基づいて、当該動き補償参照ブロックのエッジ方向を１つ求めるエッジ方向導出手段と、
前記複数の添字のそれぞれと、前記エッジ方向導出手段により求められ得る全てのエッジ方向のそれぞれと、を対応付けた対応情報を記憶する対応情報記憶手段と、を備えることを特徴とする動画像符号化装置。
【請求項４】
請求項１から３のいずれかに記載の動画像符号化装置において、
前記符号化側記憶手段は、前記複数の基底のうちの１つとして２次元ＤＣＴを含んでおり、
動き補償残差の変換に前記２次元ＤＣＴを用いるか否かを判定する判定手段を備えることを特徴とする動画像符号化装置。
【請求項５】
請求項４に記載の動画像符号化装置において、
前記判定手段による判定結果を含む符号化データ構造の符号化データを生成する符号化データ生成手段を備えることを特徴とする動画像符号化装置。
【請求項６】
請求項１から５のいずれかに記載の動画像符号化装置において生成された符号化データを復号する動画像復号装置であって、
予め定められた複数の基底と、当該複数の基底のそれぞれを識別可能に設けられた当該複数の基底と同数の添字と、を記憶する復号側記憶手段と、
変換ブロックにおける動きベクトルを用いて動き補償参照ブロックを決定する復号側ブロック決定手段と、
前記復号側ブロック決定手段により決定された動き補償参照ブロックのエッジ方向を１つ求め、求めたエッジ方向に基づいて、前記復号側記憶手段に記憶されている複数の添字の中から１つを導出する復号側添字導出手段と、
前記符号化側添字導出手段により導出された添字に対応付けられた基底を前記符号化側記憶手段に記憶されている複数の基底の中から選び出し、当該選び出した基底を用いて動き補償残差を生成する逆変換手段と、を備えることを特徴とする動画像復号装置。
【請求項７】
予め定められた複数の基底と、当該複数の基底のそれぞれを識別可能に設けられた当該複数の基底と同数の添字と、を記憶する第１のステップと、
変換ブロックにおける動きベクトルを用いて動き補償参照ブロックを決定する第２のステップと、
前記第２のステップにおいて決定した動き補償参照ブロックのエッジ方向を１つ求め、求めたエッジ方向に基づいて、前記第１のステップにおいて記憶した複数の添字の中から１つを導出する第３のステップと、
前記第３のステップにおいて導出した添字に対応付けられた基底を前記第１のステップにおいて記憶した複数の基底の中から選び出し、当該選び出した基底を用いて動き補償残差の変換を行う第４のステップと、を備えることを特徴とする動画像符号化方法。
【請求項８】
請求項７に記載の動画像符号化方法において生成された符号化データを復号する動画像復号方法であって、
予め定められた複数の基底と、当該複数の基底のそれぞれを識別可能に設けられた当該複数の基底と同数の添字と、を記憶する第５のステップと、
変換ブロックにおける動きベクトルを用いて動き補償参照ブロックを決定する第６のステップと、
前記第６のステップにおいて決定した動き補償参照ブロックのエッジ方向を１つ求め、求めたエッジ方向に基づいて、前記第５のステップにおいて記憶した複数の添字の中から１つを導出する第７のステップと、
前記第７のステップにおいて導出した添字に対応付けられた基底を前記第５のステップにおいて記憶した複数の基底の中から選び出し、当該選び出した基底を用いて動き補償残差を生成する第８のステップと、を備えることを特徴とする動画像復号方法。
【請求項９】
予め定められた複数の基底と、当該複数の基底のそれぞれを識別可能に設けられた当該複数の基底と同数の添字と、を記憶する第１のステップと、
変換ブロックにおける動きベクトルを用いて動き補償参照ブロックを決定する第２のステップと、
前記第２のステップにおいて決定した動き補償参照ブロックのエッジ方向を１つ求め、求めたエッジ方向に基づいて、前記第１のステップにおいて記憶した複数の添字の中から１つを導出する第３のステップと、
前記第３のステップにおいて導出した添字に対応付けられた基底を前記第１のステップにおいて記憶した複数の基底の中から選び出し、当該選び出した基底を用いて動き補償残差の変換を行う第４のステップと、をコンピュータに実行させるためのプログラム。
【請求項１０】
請求項９に記載のプログラムの実行により生成された符号化データを復号する動画像復号方法を、コンピュータに実行させるためのプログラムであって、
予め定められた複数の基底と、当該複数の基底のそれぞれを識別可能に設けられた当該複数の基底と同数の添字と、を記憶する第５のステップと、
変換ブロックにおける動きベクトルを用いて動き補償参照ブロックを決定する第６のステップと、
前記第６のステップにおいて決定した動き補償参照ブロックのエッジ方向を１つ求め、求めたエッジ方向に基づいて、前記第５のステップにおいて記憶した複数の添字の中から１つを導出する第７のステップと、
前記第７のステップにおいて導出した添字に対応付けられた基底を前記第５のステップにおいて記憶した複数の基底の中から選び出し、当該選び出した基底を用いて動き補償残差を生成する第８のステップと、をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラムに関する。
【背景技術】
【０００２】
非特許文献１には、動き補償残差に対する変換方式として、１次元ＤＣＴ（１次元離散コサイン変換）と、２次元ＤＣＴ（２次元離散コサイン変換）と、が示されている。そして、１次元ＤＣＴの概要として、以下の２つが示されている。
【０００３】
１つ目は、動き補償残差の自己相関についてである。動き補償残差には、オブジェクト境界などに起因するエッジ成分が多く含まれているため、残差信号は、エッジに沿った１次元の自己相関が高いとも言い得る。このため、エッジに沿って１次元ＤＣＴを適用した場合には、冗長度を削減できるが、エッジ方向に１次元ＤＣＴを適用した場合には、信号が分散して冗長度を増加させることとなる。
【０００４】
２つ目は、エッジに沿った１次元ＤＣＴを適用する手法についてである。エッジの方向は一般的には多岐にわたるものであるが、以降では、変換ブロック内で一方向にのみ存在するものと仮定する。例えば、図１１の（ａ）に示すようにエッジが画素ｂ１〜ｂ４に沿って存在しているものとすると、図１１の（ｂ）に示すように画素を並べ替えて、図１１の（ｂ）中縦方向に１次元ＤＣＴを適用する。ここで、上述の画素の並べ替えは、置換行列を用いることで実現できるため、置換行列を予め複数定義しておく。また、複数の置換行列のそれぞれに、固有の識別子として添字を付与しており、添字を１つ決めると、その添字に一意に対応した置換行列を１つ求めることができるようになっている。
【０００５】
また、非特許文献２には、イントラ予測方式が示されている。４×４ブロック予測には９種類のモードが定義されており、平均値モードを除くと８種類の予測モード、言い換えると予測方向がある。ビットストリームで採用される予測モードは、被予測ブロックの信号の性質と必ずしも対応しているわけではないが、エッジ方向を近似していることが多い。このため、予測モードを求めることで、エッジ方向を求めることができる。
【０００６】
一方、非特許文献３には、動き補償残差に対する変換方式として、ＫＬＴ基底およびＤＣＴ基底を併用する手法が示されている。ＫＬＴ基底については、符号化装置と復号装置とで、動き補償の参照ブロックを用いて同一のものを導出することも示されている。
【先行技術文献】
【非特許文献】
【０００７】
【非特許文献１】F.  Kamisli  and  J.  Lim,  "Transforms  for  the  motion  compensation  residual,"  ICASSP  2009.
【非特許文献２】ISO/IEC  14496-10  -  MPEG-4  Part  10,  Advanced  Video  Coding.
【非特許文献３】M.  Biswas,  M.  R.  Pickering,  M.  R.  Frater,  "Improved  H.264  based  Video  Coding  using  an  Adaptive  Transform,"  ICIP  2010.
【発明の概要】
【発明が解決しようとする課題】
【０００８】
非特許文献１によれば、符号化装置から復号装置に、変換ブロックごとに用いられた置換行列を示す添字を伝送する。このため、変換係数の削減符号量を添字の増加符号量で相殺してしまい、十分な性能向上は実現されていなかった。
【０００９】
一方、非特許文献３によれば、符号化装置から復号装置に、ＫＬＴ基底またはＤＣＴ基底のどちらを用いたのかを示すフラグを伝送する。このため、非特許文献３では、非特許文献１と比べて符号量を削減できる。ところが、符号化装置および復号装置の双方において、ＫＬＴ基底を変換ブロックごとに導出しなくてはならないため、処理量が大幅に増加してしまっていた。
【００１０】
そこで、本発明は、上述の課題に鑑みてなされたものであり、処理負荷の増大を抑制しつつ符号化性能を向上できる動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明は、上記の課題を解決するために、以下の事項を提案している。
【００１２】
（１）  本発明は、予め定められた複数の基底と、当該複数の基底のそれぞれを識別可能に設けられた当該複数の基底と同数の添字と、を記憶する符号化側記憶手段（例えば、後述の符号化側記憶部に相当）と、変換ブロックにおける動きベクトルを用いて動き補償参照ブロックを決定する符号化側ブロック決定手段（例えば、図１の動き探索・動き補償部１に相当）と、前記符号化側ブロック決定手段により決定された動き補償参照ブロックのエッジ方向を１つ求め、求めたエッジ方向に基づいて、前記符号化側記憶手段に記憶されている複数の添字の中から１つを導出する符号化側添字導出手段（例えば、図１の添字導出部２に相当）と、前記符号化側添字導出手段により導出された添字に対応付けられた基底を前記符号化側記憶手段に記憶されている複数の基底の中から選び出し、当該選び出した基底を用いて動き補償残差の変換を行う変換手段（例えば、図１の変換部３に相当）と、を備えることを特徴とする動画像符号化装置を提案している。
【００１３】
この発明によれば、動画像符号化装置に、符号化側記憶手段、符号化側ブロック決定手段、符号化側添字導出手段、および変換手段を設けた。そして、符号化側記憶手段により、予め定められた複数の基底と、これら複数の基底のそれぞれを識別可能に設けられた複数の基底と同数の添字と、を記憶することとした。また、符号化側ブロック決定手段により、変換ブロックにおける動きベクトルを用いて動き補償参照ブロックを決定することとした。また、符号化側添字導出手段により、符号化側ブロック決定手段により決定された動き補償参照ブロックのエッジ方向を１つ求め、求めたエッジ方向に基づいて、符号化側記憶手段に記憶されている複数の添字の中から１つを導出することとした。また、変換手段により、符号化側添字導出手段により導出された添字に対応付けられた基底を符号化側記憶手段に記憶されている複数の基底の中から選び出し、選び出した基底を用いて動き補償残差の変換を行うこととした。
【００１４】
このため、変換ブロックに適した基底を用いて動き補償残差の変換を行うことができ、ＫＬＴ基底の導出が不要であるため、処理量の増加を抑制できる。また、生成する符号化データに添字や基底を含めないことで、符号量を削減できる。以上によれば、処理負荷の増大を抑制しつつ、符号化性能を向上できる。
【００１５】
（２）  本発明は、（１）の動画像符号化装置について、前記複数の基底のうち少なくとも一部は、１次元ＤＣＴおよび置換行列で構成された基底であることを特徴とする動画像符号化装置を提案している。
【００１６】
この発明によれば、複数の基底のうち少なくとも一部を、１次元ＤＣＴおよび置換行列で構成された基底として、上述のように動き補償残差の変換を行うことができる。
【００１７】
（３）  本発明は、（１）または（２）の動画像符号化装置について、前記符号化側添字導出手段は、前記動き補償参照ブロックに対してイントラ予測を適用し、予め定められた評価関数による評価結果に基づいて、当該動き補償参照ブロックのエッジ方向を１つ求める（例えば、後述の第１手順に相当）エッジ方向導出手段と、前記複数の添字のそれぞれと、前記エッジ方向導出手段により求められ得る全てのエッジ方向のそれぞれと、を対応付けた対応情報を記憶する対応情報記憶手段と、を備えることを特徴とする動画像符号化装置を提案している。
【００１８】
この発明によれば、符号化側添字導出手段に、エッジ方向導出手段および対応情報記憶手段を設けた。そして、エッジ方向導出手段により、動き補償参照ブロックに対してイントラ予測を適用し、予め定められた評価関数による評価結果に基づいて、動き補償参照ブロックのエッジ方向を１つ求めることとした。また、対応情報記憶手段により、複数の添字のそれぞれと、エッジ方向導出手段により求められ得る全てのエッジ方向のそれぞれと、を対応付けた対応情報を記憶することとした。このため、対応情報を参照することで、動き補償参照ブロックのエッジ方向に対応した添字を求めることができる。なお、予め定められた評価関数による評価結果に基づいて動き補償参照ブロックのエッジ方向を１つ求めるとは、例えば、予め定められた評価関数が最小となる予測方向を１つ、動き補償参照ブロックのエッジ方向として求めるということである。
【００１９】
（４）  本発明は、（１）〜（３）のいずれかの動画像符号化装置について、前記符号化側記憶手段は、前記複数の基底のうちの１つとして２次元ＤＣＴを含んでおり、動き補償残差の変換に前記２次元ＤＣＴを用いるか否かを判定する判定手段を備えることを特徴とする動画像符号化装置を提案している。
【００２０】
この発明によれば、符号化側記憶手段において、複数の基底のうちの１つとして２次元ＤＣＴを含めた。そして、この符号化側記憶手段に、動き補償残差の変換に２次元ＤＣＴを用いるか否かを判定する判定手段を設けた。このため、動き補償残差の変換に、２次元ＤＣＴを用いることもできる。
【００２１】
（５）  本発明は、（４）の動画像符号化装置について、前記判定手段による判定結果を含む符号化データ構造の符号化データを生成する符号化データ生成手段（例えば、図６のエントロピー符号化部５Ａに相当）を備えることを特徴とする動画像符号化装置を提案している。
【００２２】
この発明によれば、判定手段による判定結果を含む符号化データ構造の符号化データを生成する符号化データ生成手段を設けた。このため、動き補償残差の変換に２次元ＤＣＴを用いたか否かを示す情報を、符号化データに含めることができる。
【００２３】
（６）  本発明は、（１）〜（５）のいずれかの動画像符号化装置において生成された符号化データを復号する動画像復号装置であって、予め定められた複数の基底と、当該複数の基底のそれぞれを識別可能に設けられた当該複数の基底と同数の添字と、を記憶する復号側記憶手段（例えば、後述の復号側記憶部に相当）と、変換ブロックにおける動きベクトルを用いて動き補償参照ブロックを決定する復号側ブロック決定手段（例えば、図４の動き補償部１０４に相当）と、前記復号側ブロック決定手段により決定された動き補償参照ブロックのエッジ方向を１つ求め、求めたエッジ方向に基づいて、前記復号側記憶手段に記憶されている複数の添字の中から１つを導出する復号側添字導出手段（例えば、図４の添字導出部１０３に相当）と、前記符号化側添字導出手段により導出された添字に対応付けられた基底を前記符号化側記憶手段に記憶されている複数の基底の中から選び出し、当該選び出した基底を用いて動き補償残差を生成する逆変換手段（例えば、図４の逆変換部１０２に相当）と、を備えることを特徴とする動画像復号装置を提案している。
【００２４】
この発明によれば、動画像復号装置に、復号側記憶手段、復号側ブロック決定手段、復号側添字導出手段、および逆変換手段を設けた。そして、復号側記憶手段により、予め定められた複数の基底と、これら複数の基底のそれぞれを識別可能に設けられた複数の基底と同数の添字と、を記憶することとした。また、復号側ブロック決定手段により、変換ブロックにおける動きベクトルを用いて動き補償参照ブロックを決定することとした。また、復号側添字導出手段により、復号側ブロック決定手段により決定された動き補償参照ブロックのエッジ方向を１つ求め、求めたエッジ方向に基づいて、復号側記憶手段に記憶されている複数の添字の中から１つを導出することとした。また、逆変換手段により、符号化側添字導出手段により導出された添字に対応付けられた基底を符号化側記憶手段に記憶されている複数の基底の中から選び出し、選び出した基底を用いて動き補償残差を生成することとした。
【００２５】
このため、動画像符号化装置で用いられた基底と同一の基底を用いてデコード画像を生成することができ、ＫＬＴ基底の導出が不要であるため、処理量の増加を抑制できる。また、動画像符号化装置で用いられた基底と同一の基底を求めることができるので、動画像符号化装置から伝送される符号化データに添字や基底を含める必要がなくなり、符号量を削減できる。以上によれば、処理負荷の増大を抑制しつつ、符号化性能を向上できる。
【００２６】
（７）  本発明は、予め定められた複数の基底と、当該複数の基底のそれぞれを識別可能に設けられた当該複数の基底と同数の添字と、を記憶する第１のステップ（例えば、後述の符号化側記憶部における処理に相当）と、変換ブロックにおける動きベクトルを用いて動き補償参照ブロックを決定する第２のステップ（例えば、図１の動き探索・動き補償部１における処理に相当）と、前記第２のステップにおいて決定した動き補償参照ブロックのエッジ方向を１つ求め、求めたエッジ方向に基づいて、前記第１のステップにおいて記憶した複数の添字の中から１つを導出する第３のステップ（例えば、図１の添字導出部２における処理に相当）と、前記第３のステップにおいて導出した添字に対応付けられた基底を前記第１のステップにおいて記憶した複数の基底の中から選び出し、当該選び出した基底を用いて動き補償残差の変換を行う第４のステップ（例えば、図１の変換部３における処理に相当）と、を備えることを特徴とする動画像符号化方法を提案している。
【００２７】
この発明によれば、まず、予め定められた複数の基底と、これら複数の基底のそれぞれを識別可能に設けられた複数の基底と同数の添字と、を記憶する。次に、変換ブロックにおける動きベクトルを用いて動き補償参照ブロックを決定する。次に、決定した動き補償参照ブロックのエッジ方向を１つ求め、求めたエッジ方向に基づいて、記憶した複数の添字の中から１つを導出する。次に、導出した添字に対応付けられた基底を、記憶した複数の基底の中から選び出し、選び出した基底を用いて動き補償残差の変換を行う。これによれば、上述した効果と同様の効果を奏することができる。
【００２８】
（８）  本発明は、（７）の動画像符号化方法において生成された符号化データを復号する動画像復号方法であって、予め定められた複数の基底と、当該複数の基底のそれぞれを識別可能に設けられた当該複数の基底と同数の添字と、を記憶する第５のステップ（例えば、後述の復号側記憶部における処理に相当）と、変換ブロックにおける動きベクトルを用いて動き補償参照ブロックを決定する第６のステップ（例えば、図４の動き補償部１０４における処理に相当）と、前記第６のステップにおいて決定した動き補償参照ブロックのエッジ方向を１つ求め、求めたエッジ方向に基づいて、前記第５のステップにおいて記憶した複数の添字の中から１つを導出する第７のステップ（例えば、図４の添字導出部１０３における処理に相当）と、前記第７のステップにおいて導出した添字に対応付けられた基底を前記第５のステップにおいて記憶した複数の基底の中から選び出し、当該選び出した基底を用いて動き補償残差を生成する第８のステップ（例えば、図４の逆変換部１０２における処理に相当）と、を備えることを特徴とする動画像復号方法を提案している。
【００２９】
この発明によれば、まず、予め定められた複数の基底と、これら複数の基底のそれぞれを識別可能に設けられた複数の基底と同数の添字と、を記憶する。次に、変換ブロックにおける動きベクトルを用いて動き補償参照ブロックを決定する。次に、決定した動き補償参照ブロックのエッジ方向を１つ求め、求めたエッジ方向に基づいて、記憶した複数の添字の中から１つを導出する。次に、導出した添字に対応付けられた基底を、記憶した複数の基底の中から選び出し、選び出した基底を用いて動き補償残差を生成する。これによれば、上述した効果と同様の効果を奏することができる。
【００３０】
（９）  本発明は、予め定められた複数の基底と、当該複数の基底のそれぞれを識別可能に設けられた当該複数の基底と同数の添字と、を記憶する第１のステップ（例えば、後述の符号化側記憶部における処理に相当）と、変換ブロックにおける動きベクトルを用いて動き補償参照ブロックを決定する第２のステップ（例えば、図１の動き探索・動き補償部１における処理に相当）と、前記第２のステップにおいて決定した動き補償参照ブロックのエッジ方向を１つ求め、求めたエッジ方向に基づいて、前記第１のステップにおいて記憶した複数の添字の中から１つを導出する第３のステップ（例えば、図１の添字導出部２における処理に相当）と、前記第３のステップにおいて導出した添字に対応付けられた基底を前記第１のステップにおいて記憶した複数の基底の中から選び出し、当該選び出した基底を用いて動き補償残差の変換を行う第４のステップ（例えば、図１の変換部３における処理に相当）と、をコンピュータに実行させるためのプログラムを提案している。
【００３１】
この発明によれば、コンピュータにプログラムを実行させることで、まず、予め定められた複数の基底と、これら複数の基底のそれぞれを識別可能に設けられた複数の基底と同数の添字と、を記憶する。次に、変換ブロックにおける動きベクトルを用いて動き補償参照ブロックを決定する。次に、決定した動き補償参照ブロックのエッジ方向を１つ求め、求めたエッジ方向に基づいて、記憶した複数の添字の中から１つを導出する。次に、導出した添字に対応付けられた基底を、記憶した複数の基底の中から選び出し、選び出した基底を用いて動き補償残差の変換を行う。これによれば、上述した効果と同様の効果を奏することができる。
【００３２】
（１０）  本発明は、（９）のプログラムの実行により生成された符号化データを復号する動画像復号方法を、コンピュータに実行させるためのプログラムであって、予め定められた複数の基底と、当該複数の基底のそれぞれを識別可能に設けられた当該複数の基底と同数の添字と、を記憶する第５のステップ（例えば、後述の復号側記憶部における処理に相当）と、変換ブロックにおける動きベクトルを用いて動き補償参照ブロックを決定する第６のステップ（例えば、図４の動き補償部１０４における処理に相当）と、前記第６のステップにおいて決定した動き補償参照ブロックのエッジ方向を１つ求め、求めたエッジ方向に基づいて、前記第５のステップにおいて記憶した複数の添字の中から１つを導出する第７のステップ（例えば、図４の添字導出部１０３における処理に相当）と、前記第７のステップにおいて導出した添字に対応付けられた基底を前記第５のステップにおいて記憶した複数の基底の中から選び出し、当該選び出した基底を用いて動き補償残差を生成する第８のステップ（例えば、図４の逆変換部１０２における処理に相当）と、をコンピュータに実行させるためのプログラムを提案している。
【００３３】
この発明によれば、コンピュータにプログラムを実行させることで、まず、予め定められた複数の基底と、これら複数の基底のそれぞれを識別可能に設けられた複数の基底と同数の添字と、を記憶する。次に、変換ブロックにおける動きベクトルを用いて動き補償参照ブロックを決定する。次に、決定した動き補償参照ブロックのエッジ方向を１つ求め、求めたエッジ方向に基づいて、記憶した複数の添字の中から１つを導出する。次に、導出した添字に対応付けられた基底を、記憶した複数の基底の中から選び出し、選び出した基底を用いて動き補償残差を生成する。これによれば、上述した効果と同様の効果を奏することができる。
【発明の効果】
【００３４】
本発明によれば、処理負荷の増大を抑制しつつ、符号化性能を向上できる。
【図面の簡単な説明】
【００３５】
【図１】本発明の第１実施形態に係る動画像符号化装置の構成を示すブロック図である。
【図２】前記動画像符号化装置が備える変換部の動作を説明するための図である。
【図３】前記動画像符号化装置が備える逆変換部の動作を説明するための図である。
【図４】本発明の第１実施形態に係る動画像復号装置の構成を示すブロック図である。
【図５】前記動画像復号装置が備える逆変換部の動作を説明するための図である。
【図６】本発明の第２実施形態に係る動画像符号化装置の構成を示すブロック図である。
【図７】前記動画像符号化装置が備える変換部の動作を説明するための図である。
【図８】前記動画像符号化装置が備える逆変換部の動作を説明するための図である。
【図９】本発明の第２実施形態に係る動画像復号装置の構成を示すブロック図である。
【図１０】前記動画像復号装置が備える逆変換部の動作を説明するための図である。
【図１１】画素並べ替えについて説明するための図である。
【発明を実施するための形態】
【００３６】
以下、本発明の実施の形態について図面を参照しながら説明する。なお、以下の実施形態における構成要素は適宜、既存の構成要素等との置き換えが可能であり、また、他の既存の構成要素との組合せを含む様々なバリエーションが可能である。したがって、以下の実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。
【００３７】
＜第１実施形態＞
［動画像符号化装置ＡＡの構成］
図１は、本発明の第１実施形態に係る動画像符号化装置ＡＡの構成を示すブロック図である。動画像符号化装置ＡＡは、動き探索・動き補償部１、添字導出部２、変換部３、逆変換部４、エントロピー符号化部５、および図示しない符号化側記憶部を備える。
【００３８】
符号化側記憶部は、予め定められた複数の基底と、これら複数の基底のそれぞれを識別可能に設けられた複数の添字と、を記憶している。ここで、複数の基底は、１次元ＤＣＴおよび置換行列で構成されている。また、変換ブロック内にエッジが一方向にのみ存在しているものとし、置換行列は、図１１を用いて上述したようにエッジに沿った画素を一列に並べ替えるために、変換ブロックサイズに応じて予め定められている。すなわち、置換行列は、変換ブロックに含まれるエッジ方向に対応している。また、１次元ＤＣＴは、変換ブロックサイズに応じて定められている。なお、１次元ＤＣＴは、変換ブロックの大きさ、すなわち係数の個数にのみ依存するため、置換行列が定まれば、これに応じて１次元ＤＣＴも定まることとなる。
【００３９】
動き探索・動き補償部１には、原画像およびローカルデコード画像が入力される。この動き探索・動き補償部１は、まず、これら入力に基づいて変換ブロックにおける動きベクトルを求め、求めた動きベクトルを用いて動き補償の参照ブロックを決定し、決定した参照ブロックを出力する。
【００４０】
添字導出部２には、動き探索・動き補償部１から出力された参照ブロックが入力される。この添字導出部２は、後述の第１手順および第２手順を行って、処理ブロックに適した添字を出力する。第１手順では、入力された参照ブロックに対してＨ．２６４で定義されるイントラ予測を適用し、予め定められた評価関数が最小となる予測方向を、エッジ方向とする。なお、予め定められた評価関数としては、例えば、以下の式（１）に示した関数を用いることができる。式（１）において、λは、予め定められた定数を示すものとする。
【００４１】
【数１】
2012191492.tif 000003
【００４２】
ここで、添字導出部２は、符号化側記憶部に記憶されている複数の添字のそれぞれと、第１手順で求められ得る全てのエッジ方向のそれぞれと、を対応付けた対応情報を記憶しており、この対応情報を参照することで、エッジ方向に対応した添字を求めることができる。そこで、第２手順では、上述の対応情報を参照して、第１手順で求めたエッジ方向に対応する添字を、上述の処理ブロックに適した添字として求める。なお、上述の対応情報は、符号化側記憶部に記憶されている複数の添字の数と、第１手順で求められ得る全てのエッジ方向の数と、が異なっていても、エッジ方向を１つ選ぶと必ず添字を１つ求めることができるように構成されているものとする。
【００４３】
変換部３には、添字導出部２から出力された添字が入力されるとともに、原画像と、動き探索・動き補償部１から出力された参照ブロックと、の差分が入力される。この変換部３は、処理ブロックに適した基底を用いて、原画像と参照ブロックとの差分に対して置換、変換、量子化（順方向変換）を適用して、変換係数として出力する。変換部３の具体的な動作については、図２を用いて以下に説明する。
【００４４】
図２では、Ｎ種類の基底（Ｎは、Ｎ≧１を満たす整数）が符号化側記憶部に記憶されている場合を示している。変換部３は、まず、添字導出部２から出力された添字に対応付けられた基底を、符号化側記憶部に記憶されている複数の基底の中から選び出す。次に、選び出した基底を用いて、原画像と参照ブロックとの差分に対して置換、変換、量子化（順方向変換）を適用して、変換係数として出力する。
【００４５】
図１に戻って、逆変換部４には、添字導出部２から出力された添字と、変換部３から出力された変換係数と、が入力される。この逆変換部４は、処理ブロックに適した基底を用いて、変換部３から出力された変換係数に対して逆量子化、逆変換、逆置換（逆方向変換）を適用して、出力する。逆変換部４からの出力と、動き探索・動き補償部１から出力された参照ブロックと、の和は、ローカルデコード画像として動き探索・動き補償部１に入力される。逆変換部４の具体的な動作については、図３を用いて以下に説明する。
【００４６】
図３では、図２と同様に、Ｎ種類の基底が符号化側記憶部に記憶されている場合を示している。逆変換部４は、まず、添字導出部２から出力された添字に対応付けられた基底を、符号化側記憶部に記憶されている複数の基底の中から選び出す。次に、選び出した基底を用いて、変換部３から出力された変換係数に対して逆量子化、逆変換、逆置換（逆方向変換）を適用する。
【００４７】
図１に戻って、エントロピー符号化部５には、変換部３から出力された変換係数が入力される。このエントロピー符号化部５は、変換部３から出力された変換係数を符号化して、符号化データとして出力する。
【００４８】
［動画像復号装置ＢＢの構成］
図４は、本発明の第１実施形態に係る動画像復号装置ＢＢの構成を示すブロック図である。動画像復号装置ＢＢは、エントロピー復号部１０１、逆変換部１０２、添字導出部１０３、動き補償部１０４、および図示しない復号側記憶部を備えており、動画像符号化装置ＡＡにおいて生成された符号化データを復号する。
【００４９】
復号側記憶部は、予め定められた複数の基底と、これら複数の基底のそれぞれを識別可能に設けられた複数の添字と、を記憶している。復号側記憶部に記憶されている複数の基底は、上述の符号化側記憶部に記憶されている複数の基底と、同一である。
【００５０】
エントロピー復号部１０１には、符号化データが入力される。このエントロピー復号部１０１は、入力された符号化データを復号して、出力する。
【００５１】
逆変換部１０２には、エントロピー復号部１０１からの出力と、添字導出部１０３から出力された添字と、が入力される。この逆変換部１０２は、処理ブロックに適した基底を用いて、エントロピー復号部１０１からの出力に対して逆量子化、逆変換、逆置換（逆方向変換）を適用して、動き補償残差として出力する。逆変換部１０２の具体的な動作については、図５を用いて以下に説明する。
【００５２】
図５では、Ｎ種類の基底が復号側記憶部に記憶されている場合を示している。逆変換部１０２は、まず、添字導出部１０３から出力された添字に対応付けられた基底を、復号側記憶部に記憶されている複数の基底の中から選び出す。次に、選び出した基底を用いて、エントロピー復号部１０１からの出力に対して逆量子化、逆変換、逆置換（逆方向変換）を適用して、動き補償残差として出力する。
【００５３】
図４に戻って、動き補償部１０４には、デコード画像が入力される。この動き補償部１０４は、入力されたデコード画像を用いて動き補償により参照ブロックを求め、出力する。動き補償部１０４から出力された参照ブロックと、逆変換部１０２から出力された動き補償残差と、の和は、デコード画像として動き補償部１０４に入力される。
【００５４】
添字導出部１０３には、動き補償部１０４から出力された参照ブロックが入力される。この添字導出部１０３は、添字導出部２と同様に、上述の第１手順および第２手順を行って、処理ブロックに適した添字を出力する。
【００５５】
以上の動画像符号化装置ＡＡおよび動画像復号装置ＢＢのそれぞれは、基底や添字を伝送し合うことなく、変換ブロックに適した基底を求めることができる。このため、符号量を削減できる。
【００５６】
また、動画像符号化装置ＡＡおよび動画像復号装置ＢＢのそれぞれは、変換ブロックに適した基底を用いて、符号化データおよびデコード画像のそれぞれを生成することができる。ここで、ＫＬＴ基底の導出は不要であり、かつ、変換ブロックに適した基底を求めるための処理量はＫＬＴ基底の導出のための処理量より少ない。このため、処理量の増加を抑制できる。
【００５７】
以上によれば、動画像符号化装置ＡＡおよび動画像復号装置ＢＢは、処理負荷の増大を抑制しつつ、符号化性能を向上できる。
【００５８】
＜第２実施形態＞
［動画像符号化装置ＣＣの構成］
図６は、本発明の第２実施形態に係る動画像符号化装置ＣＣの構成を示すブロック図である。動画像符号化装置ＣＣは、図１に示した本発明の第１実施形態に係る動画像符号化装置ＡＡとは、添字導出部２の代わりに添字導出部２Ａを備える点と、変換部３の代わりに変換部３Ａを備える点と、逆変換部４の代わりに逆変換部４Ａを備える点と、エントロピー符号化部５の代わりにエントロピー符号化部５Ａを備える点と、が異なる。なお、動画像符号化装置ＣＣにおいて、動画像符号化装置ＡＡと同一構成要件については、同一符号を付し、その説明を省略する。
【００５９】
添字導出部２Ａには、動き探索・動き補償部１から出力された参照ブロックが入力される。この添字導出部２Ａは、まず、添字導出部２Ａと同様に上述の第１手順および第２手順を行って、処理ブロックに適した添字を求める。次に、求めた添字に対応付けられた基底と、２次元ＤＣＴと、のうちどちらを用いるのかを予め定められた評価関数を用いて判定し、判定結果に応じた判定結果信号を出力する。具体的には、基底を用いると判定した場合には、処理ブロックに適した添字を判定結果信号として出力し、２次元ＤＣＴを用いると判定した場合には、２次元ＤＣＴを用いることを示す情報を判定結果信号として出力する。
【００６０】
変換部３Ａには、添字導出部２Ａから出力された判定結果信号が入力されるとともに、原画像と、動き探索・動き補償部１から出力された参照ブロックと、の差分が入力される。この変換部３Ａは、判定結果信号に基づいて、原画像と参照ブロックとの差分に対して置換、変換、量子化（順方向変換）を適用して、変換係数として出力する。変換部３Ａの具体的な動作については、図７を用いて以下に説明する。
【００６１】
図７では、Ｎ種類の基底が符号化側記憶部に記憶されている場合を示している。変換部３Ａは、判定結果信号として処理ブロックに適した添字が入力された場合には、この添字に対応付けられた基底を、符号化側記憶部に記憶されている複数の基底の中から選び出す。次に、選び出した基底を用いて、原画像と参照ブロックとの差分に対して置換、変換、量子化（順方向変換）を適用する。一方、判定結果信号として２次元ＤＣＴを用いることを示す情報が入力された場合には、２次元ＤＣＴを用いて、原画像と参照ブロックとの差分に対して２次元ＤＣＴ、量子化（順方向変換）を適用して、変換係数として出力する。
【００６２】
図６に戻って、逆変換部４Ａには、添字導出部２Ａから出力された判定結果信号と、変換部３Ａから出力された変換係数と、が入力される。この逆変換部４Ａは、判定結果信号に基づいて、変換部３Ａから出力された変換係数に対して逆量子化、逆変換、逆置換（逆方向変換）を適用して、出力する。逆変換部４Ａからの出力と、動き探索・動き補償部１から出力された参照ブロックと、の和は、ローカルデコード画像として動き探索・動き補償部１に入力される。逆変換部４Ａの具体的な動作については、図８を用いて以下に説明する。
【００６３】
図８では、図７と同様に、Ｎ種類の基底が符号化側記憶部に記憶されている場合を示している。逆変換部４Ａは、判定結果信号として処理ブロックに適した添字が入力された場合には、この添字に対応付けられた基底を、符号化側記憶部に記憶されている複数の基底の中から選び出す。次に、選び出した基底を用いて、変換部３Ａから出力された変換係数に対して逆量子化、逆変換、逆置換（逆方向変換）を適用する。一方、判定結果信号として２次元ＤＣＴを用いることを示す情報が入力された場合には、２次元ＤＣＴを用いて、変換部３Ａから出力された変換係数に対して逆量子化、逆変換、逆置換（逆方向変換）を適用する。
【００６４】
図６に戻って、エントロピー符号化部５Ａには、変換部３Ａから出力された変換係数に加えて、添字導出部２Ａから出力された判定結果信号も入力される。このエントロピー符号化部５Ａは、変換部３Ａから出力された変換係数と、判定結果信号と、を用いて符号化データを出力する。具体的には、判定結果信号に基づいて、添字導出部２Ａにおける判定結果を求める。そして、基底を用いると添字導出部２Ａにおいて判定された場合には、変換部３Ａから出力された変換係数と、添字導出結果を用いることを示す情報と、を符号化して、符号化データとして出力する。一方、２次元ＤＣＴを用いると添字導出部２Ａにおいて判定された場合には、変換部３Ａから出力された変換係数と、２次元ＤＣＴを用いることを示す情報と、を符号化して、符号化データとして出力する。
【００６５】
［動画像復号装置ＤＤの構成］
図９は、本発明の第２実施形態に係る動画像復号装置ＤＤの構成を示すブロック図である。動画像復号装置ＤＤは、動画像符号化装置ＣＣにおいて生成された符号化データを復号する。この動画像復号装置ＤＤは、図４に示した本発明の第１実施形態に係る動画像復号装置ＢＢとは、エントロピー復号部１０１の代わりにエントロピー復号部１０１Ａを備える点と、逆変換部１０２の代わりに逆変換部１０２Ａを備える点と、添字導出部１０３の代わりに添字導出部１０３Ａを備える点と、が異なる。なお、動画像復号装置ＤＤにおいて動画像復号装置ＢＢと同一構成要件については、同一符号を付し、その説明を省略する。
【００６６】
エントロピー復号部１０１Ａには、符号化データが入力される。このエントロピー復号部１０１Ａは、入力された符号化データを復号して、出力する。なお、エントロピー復号部１０１Ａからの出力には、動画像符号化装置ＣＣが２次元ＤＣＴを用いたか否かを示すフラグ情報も、含まれている。
【００６７】
添字導出部１０３Ａには、エントロピー復号部１０１Ａからの出力と、動き補償部１０４から出力された参照ブロックと、が入力される。この添字導出部１０３Ａは、エントロピー復号部１０１Ａからの出力に含まれるフラグ情報に基づいて、動画像符号化装置ＣＣが２次元ＤＣＴを用いたか否かを判別する。そして、用いたと判別した場合には、２次元ＤＣＴを用いることを示す情報を判定結果信号として出力する。一方、用いていないと判別した場合には、添字導出部２Ａと同様に、上述の第１手順および第２手順を行って、処理ブロックに適した添字を求め、この添字を判定結果信号として出力する。
【００６８】
逆変換部１０２Ａには、エントロピー復号部１０１Ａからの出力と、添字導出部１０３Ａから出力された判定結果信号と、が入力される。この逆変換部１０２Ａは、判定結果信号に基づいて、エントロピー復号部１０１Ａからの出力に対して逆量子化、逆変換、逆置換（逆方向変換）を適用して、動き補償残差として出力する。逆変換部１０２Ａの具体的な動作については、図１０を用いて以下に説明する。
【００６９】
図１０では、Ｎ種類の基底が復号側記憶部に記憶されている場合を示している。逆変換部１０２Ａは、判定結果信号として処理ブロックに適した添字が入力された場合には、この添字に対応付けられた基底を、復号側記憶部に記憶されている複数の基底の中から選び出す。次に、選び出した基底を用いて、エントロピー復号部１０１Ａからの出力に対して逆量子化、逆変換、逆置換（逆方向変換）を適用する。一方、判定結果信号として２次元ＤＣＴを用いることを示す情報が入力された場合には、２次元ＤＣＴを用いて、エントロピー復号部１０１からの出力に対して逆量子化、逆変換、逆置換（逆方向変換）を適用して、動き補償残差として出力する。
【００７０】
以上の動画像符号化装置ＣＣおよび動画像復号装置ＢＢによれば、複数の基底のうちの１つとして、２次元ＤＣＴを用いることができる。
【００７１】
なお、本発明の動画像符号化装置ＡＡ、ＣＣの処理や、動画像復号装置ＢＢ、ＤＤの処理を、コンピュータ読み取り可能な記録媒体に記憶し、記録媒体に記録されたプログラムを動画像符号化装置ＡＡ、ＣＣや動画像復号装置ＢＢ、ＤＤに読み込ませ、実行することによって、本発明を実現できる。
【００７２】
また、上述のプログラムは、このプログラムを記憶装置などに格納した動画像符号化装置ＡＡ、ＣＣや動画像復号装置ＢＢ、ＤＤから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネットなどのネットワーク（通信網）や電話回線などの通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
【００７３】
また、上述のプログラムは、上述の機能の一部を実現するためのものであってもよい。さらに、上述の機能を動画像符号化装置ＡＡ、ＣＣや動画像復号装置ＢＢ、ＤＤにすでに記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【００７４】
以上、この発明の実施形態につき、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計なども含まれる。
【００７５】
例えば、上述の各実施形態では、イントラ予測を利用して、参照ブロックのエッジ方向を１つ求めるものとしたが、これに限らない。例えば、イントラ予測の代わりに、ソベルフィルタおよびヒストグラムを利用してもよい。この場合、まず、参照ブロック内の全ての画素について、ソベルフィルタを適用してエッジ方向を算出するとともに、基底の方向数だけビンおよび代表方向を定義する。次に、定義した複数の代表方向の中から、ソベルフィルタを適用して算出したエッジ方向に最も近いものを求め、求めた代表方向に対応するビンに投票を行って、投票数の最も多いビンをその参照ブロックのエッジ方向とする。
【００７６】
また、上述の各実施形態では、第１手順において、入力された参照ブロックに対してＨ．２６４で定義されるイントラ予測を適用し、予め定められた評価関数が最小となる予測方向を、エッジ方向とした。しかし、評価関数の定義方法によっては、入力された参照ブロックに対してＨ．２６４で定義されるイントラ予測を適用し、予め定められた評価関数が最大となる予測方向を、エッジ方向とする場合もある。
【符号の説明】
【００７７】
ＡＡ、ＣＣ・・・動画像符号化装置
ＢＢ、ＤＤ・・・動画像復号装置
１・・・動き探索・動き補償部
２、２Ａ・・・添字導出部
３、３Ａ・・・変換部
４、４Ａ・・・逆変換部
５、５Ａ・・・エントロピー符号化部
１０１、１０１Ａ・・・エントロピー復号部
１０２、１０２Ａ・・・逆変換部
１０３、１０３Ａ・・・添字導出部
１０４・・・動き補償部
【図１】
2012191492.tif 000004
【図２】
2012191492.tif 000005
【図３】
2012191492.tif 000006
【図４】
2012191492.tif 000007
【図５】
2012191492.tif 000008
【図６】
2012191492.tif 000009
【図７】
2012191492.tif 000010
【図８】
2012191492.tif 000011
【図９】
2012191492.tif 000012
【図１０】
2012191492.tif 000013
【図１１】
2012191492.tif 000014