(57)【要約】【課題】予測ブロック内にある未処理領域の存在形態に拘わらず高い周波数変換効率を実現する。【解決手段】画面内予測を用いた画像データの復号に際して、処理対象ブロックに対する予測ブロックの方向と重なり度合に応じて、周波数変換結果の低域周波数成分の偏り位置が相違する複数の逆周波数変換方法例えばＩＤＣＴ，ＩＤＳＴの中から選択した方法を用いて逆周波数変換を行う。画像データの符号化に際しても同様に、処理対象ブロックに対する予測ブロックの方向と重なり度合に応じて、周波数変換結果の低域周波数成分の偏り位置が相違する複数の周波数変換方法例えばＤＣＴ，ＤＳＴの中から選択した方法を用いて周波数変換を行う。予測ブロックの方向と重なり度合は予測ベクトルと等価若しくは相関する。【選択図】図６
2015057871.tif 000002
【特許請求の範囲】
【請求項１】
画像ブロックと予測ブロックとの差分情報に対して周波数変換と量子化が行われた周波数変換情報と前記予測ブロックを特定するための情報が含まれているデータストリームを入力する処理と、
入力したデータストリームから抽出した前記予測ブロックを特定するための情報に基づいて予測ブロックの情報を取得する処理と、
入力したデータストリームから抽出した周波数変換情報に逆量子化と逆周波数変換とを行う変換処理と、
前記取得した予測ブロックの情報に逆量子化と逆周波数変換が行われた差分情報を加算して画像データを再生する処理と、を含む画像データの復号方法であって、
前記変換処理は、復号対象ブロックに対する予測ブロックの方向と重なり度合に応じて、周波数変換結果の低域周波数成分の偏り位置が相違する複数の逆周波数変換方法の中から選択された方法を用いて逆周波数変換を行う、画像データの復号方法。
【請求項２】
前記変換処理において、前記予測ブロックを特定するための情報のひとつである予測ベクトル情報及び予測ブロックサイズに基づいて予測ブロックの方向と重なり度合を判別する、請求項１記載の画像データの復号方法。
【請求項３】
前記変換処理で選択する逆周波数変換方法は、逆離散コサイン変換又は逆離散サイン変換である、請求項２記載の画像データの復号方法。
【請求項４】
前記逆周波数変換方法は、Ｘ方向とＹ方向の周波数変換情報の２次元分布に対して、Ｘ方向逆周波数変換を行い、そのＸ方向逆周波数変換の結果に対してＹ方向逆周波数変換を行うことによって、２次元分布に対する逆周波数変換を行う方法である、請求項３記載の画像データの復号方法。
【請求項５】
前記逆周波数変換方法は、前記予測ベクトルの向きが所定の象限を向き、且つ、前記予測ベクトルのＹ方向成分の大きさの絶対値とＸ方向成分の絶対値との夫々が対応する所定の閾値よりも大きい第１条件を満足するときは、Ｘ方向とＹ方向の双方で逆離散コサイン変換を行い、
前記第１条件を満足せず、且つ、前記予測ベクトルのＹ方向成分の大きさに対するＸ方向成分の絶対値の大きさの割合が所定の閾値よりも小さい第２条件を満足するときは、Ｘ方向で逆離散コサイン変換を行い、Ｙ方向で逆離散サイン変換を行い、
前記第１条件を満足せず、且つ、前記予測ベクトルのＹ方向成分の大きさに対するＸ方向成分の絶対値の大きさの割合が所定の閾値以上であるという第３条件を満足するときは、Ｘ方向で逆離散サイン変換を行い、Ｙ方向で逆離散コサイン変換を行い、
前記第１条件乃至第３条件の何れも満足しないときは、Ｘ方向とＹ方向の双方で逆離散サイン変換を行う方法である、請求項４記載の画像データの復号方法。
【請求項６】
前記逆周波数変換方法は、前記予測ベクトルの向きが所定の象限を向き、且つ、前記予測ベクトルのＹ方向成分の大きさの絶対値とＸ方向成分の絶対値との夫々が対応する所定の閾値よりも大きい第１条件を満足するときは、Ｘ方向とＹ方向の双方で逆離散コサイン変換を行い、
前記第１条件を満足しないとき、Ｘ方向とＹ方向の双方で逆離散サイン変換を行う方法である、請求項４記載の画像データの復号方法。
【請求項７】
画像ブロックと予測ブロックとの差分情報に対して周波数変換と量子化が行われた周波数変換情報と前記予測ブロックを特定するための情報とをデータストリームから抽出する抽出部と、
抽出された前記予測ブロックを特定するための情報に基づいて予測ブロックの情報を取得する予測情報生成部と、
復号対象ブロックに対する予測ブロックの方向と重なり度合に応じて、周波数変換結果の低域周波数成分の偏り位置が相違する複数の逆周波数変換方法の中から逆周波数変換に用いる逆周波数変換方法を選択する判定部と、
抽出された周波数変換情報を逆量子化し、前記判定部が選択した逆周波数変換方法によって逆周波数変換を行う変換部と、
前記取得された予測ブロックの情報に逆周波数変換された差分情報を加算して画像データを再生する加算部、を含む画像データの復号装置。
【請求項８】
前記判定部は、前記予測ブロックを特定するための情報のひとつである予測ベクトル情報に基づいて予測ブロックの方向と重なり度合を判別する、請求項７記載の画像データの復号装置。
【請求項９】
前記判定部が選択する逆周波数変換方法は、逆離散コサイン変換又は逆離散サイン変換である、請求項８記載の画像データの復号装置。
【請求項１０】
前記変換部は、Ｘ方向とＹ方向の周波数変換除法の２次元分布に対して、Ｘ方向逆周波数変換を行い、そのＸ方向逆周波数変換の結果に対してＹ方向逆周波数変換を行うことによって、２次元分布に対する逆周波数変換を行う、請求項９記載の画像データの復号装置。
【請求項１１】
前記判定部は、前記予測ベクトルの向きが所定の象限を向き、且つ、前記予測ベクトルのＹ方向成分の大きさの絶対値とＸ方向成分の絶対値との夫々が対応する所定の閾値よりも大きい第１条件を満足するときは、Ｘ方向とＹ方向の双方で逆離散コサイン変換を選択し、
前記第１条件を満足せず、且つ、前記予測ベクトルのＹ方向成分の大きさに対するＸ方向成分の絶対値の大きさの割合が所定の閾値よりも小さい第２条件を満足するときは、Ｘ方向で逆離散コサイン変換を行い、Ｙ方向で逆離散サイン変換を選択し、
前記第１条件を満足せず、且つ、前記予測ベクトルのＹ方向成分の大きさに対するＸ方向成分の絶対値の大きさの割合が所定の閾値以上であるという第３条件を満足するときは、Ｘ方向で逆離散サイン変換を行い、Ｙ方向で逆離散コサイン変換を選択し、
前記第１条件乃至第３条件の何れも満足しないときは、Ｘ方向とＹ方向の双方で逆離散サイン変換を選択する、請求項１０記載の画像データの復号装置。
【請求項１２】
前記判定部は、前記予測ベクトルの向きが所定の象限を向き、且つ、前記予測ベクトルのＹ方向成分の大きさの絶対値とＸ方向成分の絶対値との夫々が対応する所定の閾値よりも大きい第１条件を満足するときは、Ｘ方向とＹ方向の双方で逆離散コサイン変換を選択し、
前記第１条件を満足しないとき、Ｘ方向とＹ方向の双方で逆離散サイン変換を選択する、請求項１０記載の画像データの復号装置。
【請求項１３】
符号化対象ブロックに類似する予測ブロックを決めると共に符号化対象ブロックに対する予測ブロックを特定するための情報を生成する処理と、
符号化対象ブロックと予測ブロックとの差分情報に対して周波数変換と量子化を行って周波数変換情報を生成する変換処理と、
前記周波数変換情報と前記予測ブロックを特定するための情報が含まれているデータストリームを生成する処理と、を含む画像データの符号化方法であって、
前記変換処理は、符号化対象ブロックに対する予測ブロックの方向と重なり度合に応じて、周波数変換結果の低域周波数成分の偏り位置が相違する複数の波数変換方法の中から選択された方法を用いて周波数変換を行う、画像データの符号化方法。
【請求項１４】
前記変換処理において、前記予測ブロックを特定するための情報のひとつである予測ベクトル情報及び予測ブロックサイズに基づいて予測ブロックの方向と重なり度合を判別する、請求項１３記載の画像データの符号化方法。
【請求項１５】
前記変換処理で選択する周波数変換方法は、離散コサイン変換又は離散サイン変換である、請求項１４記載の画像データの符号化方法。
【請求項１６】
前記周波数変換方法は、Ｘ方向とＹ方向の画素の２次元分布に対して、Ｘ方向の画素分布に対するＸ方向周波数変換を行い、そのＸ方向周波数変換の結果に対してＹ方向周波数変換を行うことによって、２次元分布に対する周波数変換を行う、請求項１５記載の画像データの符号化方法。
【請求項１７】
前記周波数変換方法は、前記予測ベクトルの向きが所定の象限を向き、且つ、前記予測ベクトルのＹ方向成分の大きさの絶対値とＸ方向成分の絶対値との夫々が対応する所定の閾値よりも大きい第１条件を満足するときは、Ｘ方向とＹ方向の双方で離散コサイン変換を行い、
前記第１条件を満足せず、且つ、前記予測ベクトルのＹ方向成分の大きさに対するＸ方向成分の絶対値の大きさの割合が所定の閾値よりも小さい第２条件を満足するときは、Ｘ方向で離散コサイン変換を行い、Ｙ方向で離散サイン変換を行い、
前記第１条件を満足せず、且つ、前記予測ベクトルのＹ方向成分の大きさに対するＸ方向成分の絶対値の大きさの割合が所定の閾値以上であるという第３条件を満足するときは、Ｘ方向で離散サイン変換を行い、Ｙ方向で離散コサイン変換を行い、
前記第１条件乃至第３条件の何れも満足しないときは、Ｘ方向とＹ方向の双方で離散サイン変換を行う、請求項１６記載の画像データの符号化方法。
【請求項１８】
前記周波数変換方法は、前記予測ベクトルの向きが所定の象限を向き、且つ、前記予測ベクトルのＹ方向成分の大きさの絶対値とＸ方向成分の絶対値との夫々が対応する所定の閾値よりも大きい第１条件を満足するときは、Ｘ方向とＹ方向の双方で離散コサイン変換を行い、
前記第１条件を満足しないとき、Ｘ方向とＹ方向の双方で離散サイン変換を行う、請求項１６記載の画像データの符号化方法。
【請求項１９】
符号化対象ブロックに類似する予測ブロックを決めると共に符号化対象ブロックに対する予測ブロックを特定するための情報を生成する予測部と、
符号化対象ブロックに対する予測ブロックの方向と重なり度合に応じて、周波数変換結果の低域周波数成分の偏り位置が相違する複数の周波数変換方法の中から周波数変換に用いる周波数変換方法を選択する判定部と、
符号化対象ブロックと予測ブロックとの差分情報に対し、前記判定部が選択した周波数変換方法によって周波数変換を行うと共に量子化を行って周波数変換情報を生成する変換部と、
前記周波数変換情報と前記予測ブロックを特定するための情報が含まれているデータストリームを生成する合成部、を含む画像データの符号化装置。
【請求項２０】
前記判定部、前記予測ブロックを特定するための情報のひとつである予測ベクトル情報及び予測ブロックサイズに基づいて予測ブロックの方向と重なり度合を判別する、請求項１９記載の画像データの符号化装置。
【請求項２１】
前記判定部が選択する周波数変換方法は、離散コサイン変換又は離散サイン変換である、請求項２０記載の画像データの符号化装置。
【請求項２２】
前記変換部は、Ｘ方向とＹ方向の画素の２次元分布に対して、Ｘ方向の画素分布に対するＸ方向周波数変換を行い、そのＸ方向周波数変換の結果に対してＹ方向周波数変換を行うことによって、２次元分布に対する周波数変換を行う、請求項２１記載の画像データの符号化装置。
【請求項２３】
前記判定部は、前記予測ベクトルの向きが所定の象限を向き、且つ、前記予測ベクトルのＹ方向成分の大きさの絶対値とＸ方向成分の絶対値との夫々が対応する所定の閾値よりも大きい第１条件を満足するときは、Ｘ方向とＹ方向の双方で離散コサイン変換を選択し、
前記第１条件を満足せず、且つ、前記予測ベクトルのＹ方向成分の大きさに対するＸ方向成分の絶対値の大きさの割合が所定の閾値よりも小さい第２条件を満足するときは、Ｘ方向で離散コサイン変換を行い、Ｙ方向で離散サイン変換を選択し、
前記第１条件を満足せず、且つ、前記予測ベクトルのＹ方向成分の大きさに対するＸ方向成分の絶対値の大きさの割合が所定の閾値以上であるという第３条件を満足するときは、Ｘ方向で離散サイン変換を行い、Ｙ方向で離散コサイン変換を選択し、
前記第１条件乃至第３条件の何れも満足しないときは、Ｘ方向とＹ方向の双方で離散サイン変換を選択する、請求項２２記載の画像データの符号化装置。
【請求項２４】
前記判定部は、前記予測ベクトルの向きが所定の象限を向き、且つ、前記予測ベクトルのＹ方向成分の大きさの絶対値とＸ方向成分の絶対値との夫々が対応する所定の閾値よりも大きい第１条件を満足するときは、Ｘ方向とＹ方向の双方で離散コサイン変換を選択し、
前記第１条件を満足しないとき、Ｘ方向とＹ方向の双方で離散サイン変換を選択する、請求項２２記載の画像データの符号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画の画像データに対する復号方法、復号装置、符号化方法、及び符号化装置に係り、特に、画面内予測における周波数変換に関し、例えば、携帯電話、ナビゲーションシステム、DVD/HDD/BDレコーダ、デジタルビデオカメラ、デジタルカメラ、デジタルテレビ、電話会議システムなどの動画像符号化／復号を行うものに適用して有効な技術に関する。
【背景技術】
【０００２】
現在，動画像符号化復号分野の技術では、ＭＰＥＧ（Moving Picture Experts Group）、ＩＴＵ−Ｔ（International Telecommunication Union、Telecommunication  standardization sector）等が規格化したＨ．２６４規格に代表される符号化方式が広く使用されている。これらの符号化方式では、符号量を削減するために予測符号化が採用されている。符号化の際には、ある方法で予測した画像(予測画像)と元の画像の差分を符号化する。逆に、復号時には、予測画像に差分を加えることで復号画像を得る。予測画像の生成には、特許文献１で示される方法などがある。特許文献１の手法では、ベクトルによって同一画面内の参照位置を指定することで予測画像の生成を行う。また、参照範囲に含まれるまだ符号化／復号が終わってない領域（以降，未符号化／復号領域と呼称する）を予測ベクトルなどの逓倍のベクトルを用いて補間することで未処理領域（未符号化／復号領域）が多く含まれる範囲を参照した場合における符号化効率の低下を抑制している。
【０００３】
差分を符号化する際には、予測画像と原画像の差分をＮ画素×Ｎラインのブロック（Ｎは自然数）に分割し、ＤＣＴ (Discrete Cosine Transform：離散コサイン変換)やＤＳＴ(Discrete Sine Transform：離散サイン変換)等の周波数変換を行う。周波数変換は、Ｈ．２６４規格では、画像を４画素×４ラインに分割した単位、若しくは８画素×８ラインに分割した単位で、後段処理の量子化と組み合わせることで処理を簡略化した整数精度で行われている。予測画像と元画像の誤差は一様に分布している傾向があるため、ＤＣＴを行った場合には、演算結果の行列の左上（低周波）側にデータが集中する。そのため、左上のデータのみを復号側に伝送することで画質の劣化を抑制しつつ、少ないデータ量で画像を表現可能となる。復号側では、その逆変換を行うことで、画素領域のデータを復号することができる。
【０００４】
特許文献２には、水平及び垂直方向の周波数変換が必ずしも最適ではないことに鑑みて、予測モードの予測方向に依存しない変換と依存する変換とを切り換えるものとし、依存する場合には予測方向に沿った直交変換を行うものとする。予測方向が斜めであれば、当該斜め方向のブロック内の画素列に対して周波数変換の行列演算を行うようにするものである。
【０００５】
特許文献３には、内挿予測方向に応じてＤＣＴとＤＳＴを使い分ける発明が記載される。すなわち、予測ブロックの内挿予測方向に応じて、垂直方向に内挿予測されたブロックは垂直方向ではＤＳＴ、水平方向ではＤＣＴを用い、水平方向に内挿予測されたブロックは、水平方向ではＤＳＴ、垂直方向ではＤＣＴを用いて、符号化及び復号を行なうものとする。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】国際公開ＷＯ２０１０／０８２２３１パンフレット
【特許文献２】特開２００９−２７２７２７号公報
【特許文献３】特開平１１−０５５６７８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１で提案されている予測画像の作成方法を用いた場合、予測ブロックとして参照する位置に応じて予測ブロック内に未処理領域が存在することになればその部分には予測ベクトルの逓倍のベクトルで参照される繰り返しパタンが生じることになる。特に未処理領域が多く含まれるほど多くの繰り返しが生じる。画素が繰り返しコピーされるため、その部分で空間相関性が失われる。このような場合における予測画像と原画像の誤差の分布は、一様ではなく、空間相関性が失われるに従って、徐々に誤差が増加していく傾向にある。この差分に対してＤＣＴを行うと、低周波側にデータが集中せず、高周波側にもデータが分散する。そのため、低周波成分のみを復号側に送ると、画質の劣化が生じるということが問題となる。逆に，画質を維持するために全ての成分を復号側に送ると、データ量の増加が問題となる。
【０００８】
この問題点に対して、予測方向に沿った直交変換を行う特許文献２の技術を適用したのでは、未処理領域に対応してコピーされた繰り返し部分での高周波側へのデータ分散を解決することができない。
【０００９】
また、特許文献３の如く、内挿予測方向においてＤＳＴ、その直交方向においてＤＣＴを行って直交変換による周波数変換を行う技術が提供されていても、それをどう適用すれば、未処理領域に対応してコピーされた繰り返し部分での高周波側へのデータ分散を解決することができるかは明らかではない。
【００１０】
このように、上述の先行技術文献を参照しても、予測ブロック内に未符号化領域（復号の場合には未復号領域）が存在する場合には、それを補間したときその部分で顕在化する高周波側へのデータ分散を解決することができなかった。
【００１１】
本発明の目的は、予測ブロック内にある未処理領域の存在形態に拘わらず高い周波数変換効率を実現することにある。
【００１２】
本発明の前記並びにその他の目的と新規な特徴は本明細書の記述及び添付図面から明らかになるであろう。
【課題を解決するための手段】
【００１３】
本願において開示される発明のうち代表的なものの概要を簡単に説明すれば下記の通りである。
【００１４】
すなわち、画面内予測を用いた画像データの復号に際して、処理対象ブロックに対する予測ブロックの方向と重なり度合に応じて、周波数変換結果の低域周波数成分の偏り位置が相違する複数の逆周波数変換方法例えばＩＤＣＴ(Inverse Discrete Cosine Transform：逆離散コサイン変換)，ＩＤＳＴ(Inverse Discrete Sine Transform：逆離散サイン変換)の中から選択した方法を用いて逆周波数変換を行う。画像データの符号化に際しても同様に、処理対象ブロックに対する予測ブロックの方向と重なり度合に応じて、周波数変換結果の低域周波数成分の偏り位置が相違する複数の周波数変換方法例えばＤＣＴ，ＤＳＴの中から選択した方法を用いて周波数変換を行う。予測ブロックの方向と重なり度合は予測ベクトルと等価若しくは相関する。
【００１５】
処理対象ブロックと予測ブロックとの重なり部分は未復号領域／未符号化領域である。その部分はデータ補間されて差分情報が加算され或いは差分情報の生成に利用されるから、その部分の差分情報に対する逆周波数変換結果／周波数変換結果は高域周波数成分に分散することになる。この重なり部分の大きさによって周波数変換結果の高域への分散の程度が異なる。また、未処理部分の補間に用いるデータのコピー方向は予測ブロックの方向と相関すると考えられる。要するに、補間のための繰り返しパタンの有無や回数を、変換方法の判定に利用する、処理対象ブロックに対する予測ブロックの方向と重なり度合、即ち、予測ベクトルの向き及び大きさに依存する。したがって、処理対象ブロックに対する予測ブロックの方向と重なり度合に応じてダイナミックに変換方法を選択することによって、例えば、ＤＳＴにおいて周波数変換結果の高域への分散が大きくなる場合、ＤＣＴでは低域の値が大きく高域の値が小さくなる関係を得ることができる。逆に、ＤＣＴにおいて周波数変換結果の高域への分散が大きくなる場合、ＤＳＴでは低域の値が大きく高域の値が小さくなる関係を得ることができる。これにより、予測ブロック内にどのような形態で未処理領域が存在する場合にも周波数変換効率の向上を期待できるようになる。
【発明の効果】
【００１６】
本願において開示される発明のうち代表的なものによって得られる効果を簡単に説明すれば下記のとおりである。
【００１７】
すなわち、予測ブロック内にある未処理領域の存在形態に拘わらず高い周波数変換効率を実現することができる。
【図面の簡単な説明】
【００１８】
【図１】図１は１実施の形態に係る画像データの復号装置を例示するブロック図である。
【図２】図２は周波数変換判定部の一例を示すブロック図である。
【図３】図３は参照位置と予測ブロックとの位置関係の第１例を示す説明図である。
【図４】図４は参照位置と予測ブロックとの位置関係の第２例を示す説明図である。
【図５】図５は参照位置と予測ブロックとの位置関係の第３例を示す説明図である。
【図６】図６未処理領域の大きさと繰り返しパタンの向きとに応じた変換方式について例示する説明図である。
【図７】図７は別の実施の形態に係る画像データの符号化装置を例示するブロック図である。
【図８】図８は２次元ＤＣＴの変換行列と行列演算式を例示する説明図である。
【図９】図９は２次元ＤＳＴの変換行列と行列演算式を例示する説明図である。
【図１０】図１０は一次元における画素値の分布を例示する説明図である。
【図１１】図１１は図１０の分布に対して１次元ＤＣＴを行った結果を示した波形図である。
【図１２】図１２は図１０の分布に対して１次元ＤＳＴを行った結果を示した波形図である。
【発明を実施するための形態】
【００１９】
１．実施の形態の概要
先ず、本願において開示される発明の代表的な実施の形態について概要を説明する。代表的な実施の形態についての概要説明で括弧を付して参照する図面中の参照符号はそれが付された構成要素の概念に含まれるものを例示するに過ぎない。
【００２０】
〔１〕＜復号対象ブロックに対する予測ブロックの配置に応じて逆周波数変換方法を選択＞
代表的な実施の形態に係る画像データの復号方法は以下の処理を含む。画像ブロックと予測ブロックとの差分情報に対して周波数変換と量子化が行われた周波数変換情報と前記予測ブロックを特定するための情報が含まれているデータストリーム（１０）を入力する（１１）処理。入力したデータストリームから抽出した前記予測ブロックを特定するための情報に基づいて予測ブロックの情報を取得する（１３）処理。入力したデータストリームから抽出した周波数変換情報に逆量子化（１５）と逆周波数変換（１６）とを行う変換処理。前記取得した予測ブロックの情報に逆量子化と逆周波数変換が行われた差分情報を加算して（１７）画像データを再生する処理。前記変換処理は、復号対象ブロックに対する予測ブロックの方向と重なり度合に応じて、周波数変換結果の低域周波数成分の偏り位置が相違する複数の逆周波数変換方法の中から選択された（１４）方法を用いて逆周波数変換を行う。
【００２１】
復号対象ブロックと予測ブロックとの重なり部分は未復号領域である。その部分はデータ補間されて差分情報が加算されるから、その部分の差分情報に対するＤＣＴの結果は高域周波数成分に分散することになる。この重なり部分の大きさによってＤＣＴの結果の高域への分散の程度が異なる。また、未処理部分の補間に用いるデータのコピー方向は予測ブロックの方向と相関すると考えられる。要するに、補間のための繰り返しパタンの有無や回数を、変換方法の判定に利用する、復号対象ブロックに対する予測ブロックの方向と重なり度合、即ち、予測ベクトルの向き及び大きさに依存する。したがって、復号対象ブロックに対する予測ブロックの方向と重なり度合に応じてダイナミックに変換方法を選択することによって、例えば、ＤＳＴにおいて周波数変換結果の高域への分散が大きくなり、ＤＣＴでは低域の値が大きく高域の値が小さくなった場合には、ＤＣＴの逆周波数変換を行うことができる。逆に、ＤＣＴにおいて周波数変換結果の高域への分散が大きくなり、ＤＳＴでは低域の値が大きく高域の値が小さくなった場合には、ＤＳＴの逆周波数変換を行うことができる。これにより、予測ブロック内にどのような形態で未処理領域が存在する場合にも周波数変換効率の向上を期待できるようになる。
【００２２】
〔２〕＜予測ベクトル情報などに基づく予測ブロックの配置を判別＞
項１における前記変換処理において、前記予測ブロックを特定するための情報のひとつである予測ベクトル情報及び予測ブロックサイズに基づいて予測ブロックの方向と重なり度合を判別する。
【００２３】
未処理部分の補間に用いるデータのコピー方向は予測ブロックの方向と相関し、補間のための繰り返しパタンの有無や回数などは重なり度合に匹敵し、それを判別するのに予測ベクトル情報及び予測ブロックサイズを用いることが好適例である。
【００２４】
〔３〕＜ＩＤＳＴ又はＩＤＣＴ＞
項２において前記変換処理で選択する逆周波数変換方法は、逆離散コサイン変換又は逆離散サイン変換である。
【００２５】
周波数変換情報としてのＤＣＴ係数値とＤＳＴ係数値は同じ周波数成分であってその値の大小は相反する関係にあるから、周波数変換結果の低域周波数成分の偏り位置が相違する複数の逆周波数変換方法として、逆離散コサイン変換及び逆離散サイン変換は好適例である。
【００２６】
〔４〕＜Ｘ方向とＹ方向の＞
項３において、前記逆周波数変換方法は、Ｘ方向とＹ方向の周波数変換情報の２次元分布に対して、Ｘ方向逆周波数変換を行い、そのＸ方向逆周波数変換の結果に対してＹ方向逆周波数変換を行うことによって、２次元分布に対する逆周波数変換を行う方法である。
【００２７】
これによれば、逆周波数演算が容易である。
【００２８】
〔５〕＜Ｘ，Ｙ方向毎にＩＤＣＴ，ＩＤＳＴの４態様＞
項４において、前記逆周波数変換方法として以下の４通りから選択する方法を採用することができる。すなわち、前記予測ベクトルの向きが所定の象限を向き、且つ、前記予測ベクトルのＹ方向成分の大きさの絶対値とＸ方向成分の絶対値との夫々が対応する所定の閾値よりも大きい第１条件を満足するときは、Ｘ方向とＹ方向の双方で逆離散コサイン変換を行う。前記第１条件を満足せず、且つ、前記予測ベクトルのＹ方向成分の大きさに対するＸ方向成分の絶対値の大きさの割合が所定の閾値よりも小さい第２条件を満足するときは、Ｘ方向で逆離散コサイン変換を行い、Ｙ方向で逆離散サイン変換を行う。前記第１条件を満足せず、且つ、前記予測ベクトルのＹ方向成分の大きさに対するＸ方向成分の絶対値の大きさの割合が所定の閾値以上であるという第３条件を満足するときは、Ｘ方向で逆離散サイン変換を行い、Ｙ方向で逆離散コサイン変換を行う。前記第１条件乃至第３条件の何れも満足しないときは、Ｘ方向とＹ方向の双方で逆離散サイン変換を行う。
【００２９】
これによれば、Ｘ方向とＹ方向別に高域周波数成分の分散を抑えて逆周波数変換を行うことができる。更に、抑えるべき高周波成分をＸ方向とＹ方向の何れとするかは、予測ベクトルの大きさを閾値と比べて判別するから、その判別が容易になる。
【００３０】
〔６〕＜Ｘ，Ｙ方向毎にＩＤＣＴ，ＩＤＳＴの２態様＞
項４において、前記逆周波数変換方法として以下の２通りから選択する方法を採用することができる。すなわち、前記予測ベクトルの向きが所定の象限を向き、且つ、前記予測ベクトルのＹ方向成分の大きさの絶対値とＸ方向成分の絶対値との夫々が対応する所定の閾値よりも大きい第１条件を満足するときは、Ｘ方向とＹ方向の双方で逆離散コサイン変換を行う。前記第１条件を満足しないとき、Ｘ方向とＹ方向の双方で逆離散サイン変換を行う。
【００３１】
これによれば、項５よりも圧縮効率が落ちる場合はあるが処理の簡素化が促進される。
【００３２】
〔７〕＜復号対象ブロックに対する予測ブロックの配置に応じて逆周波数変換方法を選択＞
別の実施の形態に係る画像データの復号装置（１）は以下の構成を備える。画像ブロックと予測ブロックとの差分情報に対して周波数変換と量子化が行われた周波数変換情報と前記予測ブロックを特定するための情報とをデータストリーム（１０）から抽出する抽出部（１１）。抽出された前記予測ブロックを特定するための情報に基づいて予測ブロックの情報を取得する予測情報生成部（１３）。復号対象ブロックに対する予測ブロックの方向と重なり度合に応じて、周波数変換結果の低域周波数成分の偏り位置が相違する複数の逆周波数変換方法の中から逆周波数変換に用いる逆周波数変換方法を選択する判定部（１４）。抽出された周波数変換情報を逆量子化し、前記判定部が選択した逆周波数変換方法によって逆周波数変換を行う変換部（１５，１６）。前記取得された予測ブロックの情報に逆周波数変換された差分情報を加算して画像データを再生する加算部（１７）。
【００３３】
これによれば項１の方法を容易に実現することができる。
【００３４】
〔８〕＜予測ベクトル情報などに基づく予測ブロックの配置を判別＞
項７におきて、前記判定部は、前記予測ブロックを特定するための情報のひとつである予測ベクトル情報に基づいて予測ブロックの方向と重なり度合を判別する。
【００３５】
これによれば項２の方法を容易に実現することができる。
【００３６】
〔９〕＜ＩＤＳＴ又はＩＤＣＴ＞
項８において、前記判定部が選択する逆周波数変換方法は、逆離散コサイン変換又は逆離散サイン変換である。
【００３７】
これによれば項３の方法を容易に実現することができる。
【００３８】
〔１０〕＜Ｘ方向とＹ方向の＞
項９において、前記変換部は、Ｘ方向とＹ方向の周波数変換情報の２次元分布に対して、Ｘ方向逆周波数変換を行い、そのＸ方向逆周波数変換の結果に対してＹ方向逆周波数変換を行うことによって、２次元分布に対する逆周波数変換を行う。
【００３９】
これによれば項４の方法を容易に実現することができる。
【００４０】
〔１１〕＜Ｘ，Ｙ方向毎にＩＤＣＴ，ＩＤＳＴの４態様＞
項１０において、前記判定部は以下の選択を行う。すなわち、前記予測ベクトルの向きが所定の象限を向き、且つ、前記予測ベクトルのＹ方向成分の大きさの絶対値とＸ方向成分の絶対値との夫々が対応する所定の閾値よりも大きい第１条件を満足するときは、Ｘ方向とＹ方向の双方で逆離散コサイン変換を選択する。前記第１条件を満足せず、且つ、前記予測ベクトルのＹ方向成分の大きさに対するＸ方向成分の絶対値の大きさの割合が所定の閾値よりも小さい第２条件を満足するときは、Ｘ方向で逆離散コサイン変換を行い、Ｙ方向で逆離散サイン変換を選択する。前記第１条件を満足せず、且つ、前記予測ベクトルのＹ方向成分の大きさに対するＸ方向成分の絶対値の大きさの割合が所定の閾値以上であるという第３条件を満足するときは、Ｘ方向で逆離散サイン変換を行い、Ｙ方向で逆離散コサイン変換を選択する。前記第１条件乃至第３条件の何れも満足しないときは、Ｘ方向とＹ方向の双方で逆離散サイン変換を選択する。
【００４１】
これによれば項５の方法を容易に実現することができる。
【００４２】
〔１２〕＜Ｘ，Ｙ方向毎にＩＤＣＴ，ＩＤＳＴの２態様＞
項１０において、前記判定部は以下の選択を行う。すなわち、前記予測ベクトルの向きが所定の象限を向き、且つ、前記予測ベクトルのＹ方向成分の大きさの絶対値とＸ方向成分の絶対値との夫々が対応する所定の閾値よりも大きい第１条件を満足するときは、Ｘ方向とＹ方向の双方で逆離散コサイン変換を選択する。前記第１条件を満足しないとき、Ｘ方向とＹ方向の双方で逆離散サイン変換を選択する。
【００４３】
これによれば項６の方法を容易に実現することができる。
【００４４】
〔１３〕＜符号化対象ブロックに対する予測ブロックの配置に応じて周波数変換方法を選択＞
更に別の実施の形態に係る画像データの符号化方法は以下の処理を含む。符号化対象ブロックに類似する予測ブロックを決めると共に符号化対象ブロックに対する予測ブロックを特定するための情報を生成する（４８，４９）処理。符号化対象ブロックと予測ブロックとの差分情報に対して周波数変換（４１）と量子化（４２）を行って周波数変換情報を生成する変換処理。前記周波数変換情報と前記予測ブロックを特定するための情報が含まれているデータストリームを生成する（４３）処理。前記変換処理は、符号化対象ブロックに対する予測ブロックの方向と重なり度合に応じて、周波数変換結果の低域周波数成分の偏り位置が相違する複数の波数変換方法の中から選択された方法を用いて周波数変換を行う。
【００４５】
符号化対象ブロックと予測ブロックとの重なり部分は未符号化領域である。その部分はデータ補間されて差分情報が生成されるから、その部分の差分情報に対するＤＣＴの結果は高域周波数成分に分散することになる。この重なり部分の大きさによってＤＣＴの結果の高域への分散の程度が異なる。また、未処理部分の補間に用いるデータのコピー方向は予測ブロックの方向と相関すると考えられる。要するに、補間のための繰り返しパタンの有無や回数を、変換方法の判定に利用する、符号化対象ブロックに対する予測ブロックの方向と重なり度合、即ち、予測ベクトルの向き及び大きさに依存する。したがって、符号化対象ブロックに対する予測ブロックの方向と重なり度合に応じてダイナミックに変換方法を選択することによって、例えばＤＳＴにおいて周波数変換結果の高域への分散が大きくなる場合にＤＣＴでは低域の値が大きく高域の値が小さくなるように周波数変換を行うことができる。逆に、ＤＣＴにおいて周波数変換結果の高域への分散が大きくなる場合にＤＳＴでは低域の値が大きく高域の値が小さくなるように周波数変換を行うことができる。これにより、予測ブロック内にどのような形態で未処理領域が存在する場合にも周波数変換効率の向上を期待できるようになる。
【００４６】
〔１４〕＜予測ベクトル情報などに基づく予測ブロックの配置を判別＞
項１３の前記変換処理において、前記予測ブロックを特定するための情報のひとつである予測ベクトル情報及び予測ブロックサイズに基づいて予測ブロックの方向と重なり度合を判別する。
【００４７】
未処理部分の補間に用いるデータのコピー方向は予測ブロックの方向と相関し、補間のための繰り返しパタンの有無や回数などは重なり度合に匹敵し、それを判別するのに予測ベクトル情報及び予測ブロックサイズを用いることが好適例である。
【００４８】
〔１５〕＜ＤＳＴ又はＤＣＴ＞
項１４において、前記変換処理で選択する周波数変換方法は、離散コサイン変換又は離散サイン変換である。
【００４９】
周波数変換情報としてのＤＣＴ係数値とＤＳＴ係数値は同じ周波数成分であってその値の大小は相反する関係にあるから、周波数変換結果の低域周波数成分の偏り位置が相違する複数の周波数変換方法として、離散コサイン変換及び離散サイン変換は好適例である。
【００５０】
〔１６〕＜Ｘ方向とＹ方向の＞
項１５において、前記周波数変換方法は、Ｘ方向とＹ方向の画素の２次元分布に対して、Ｘ方向の画素分布に対するＸ方向周波数変換を行い、そのＸ方向周波数変換の結果に対してＹ方向周波数変換を行うことによって、２次元分布に対する周波数変換を行う。
【００５１】
これによれば、周波数演算が容易である。
【００５２】
〔１７〕＜Ｘ，Ｙ方向毎にＤＣＴ，ＤＳＴの４態様＞
項１６において前記周波数変換方法として以下の４通りから選択する方法を採用することができる。すなわち、前記予測ベクトルの向きが所定の象限を向き、且つ、前記予測ベクトルのＹ方向成分の大きさの絶対値とＸ方向成分の絶対値との夫々が対応する所定の閾値よりも大きい第１条件を満足するときは、Ｘ方向とＹ方向の双方で離散コサイン変換を行う。前記第１条件を満足せず、且つ、前記予測ベクトルのＹ方向成分の大きさに対するＸ方向成分の絶対値の大きさの割合が所定の閾値よりも小さい第２条件を満足するときは、Ｘ方向で離散コサイン変換を行い、Ｙ方向で離散サイン変換を行う。前記第１条件を満足せず、且つ、前記予測ベクトルのＹ方向成分の大きさに対するＸ方向成分の絶対値の大きさの割合が所定の閾値以上であるという第３条件を満足するときは、Ｘ方向で離散サイン変換を行い、Ｙ方向で離散コサイン変換を行う。前記第１条件乃至第３条件の何れも満足しないときは、Ｘ方向とＹ方向の双方で離散サイン変換を行う。
【００５３】
これによれば、Ｘ方向とＹ方向別に高域周波数成分の分散を抑えて周波数変換を行うことができる。更に、抑えるべき高周波成分をＸ方向とＹ方向の何れとするかは、予測ベクトルの大きさを閾値と比べて判別するから、その判別が容易になる。
【００５４】
〔１８〕＜Ｘ，Ｙ方向毎にＤＣＴ，ＤＳＴの２態様＞
項１６において、前記逆周波数変換方法として以下の２通りから選択する方法を採用することができる。すなわち、前記予測ベクトルの向きが所定の象限を向き、且つ、前記予測ベクトルのＹ方向成分の大きさの絶対値とＸ方向成分の絶対値との夫々が対応する所定の閾値よりも大きい第１条件を満足するときは、Ｘ方向とＹ方向の双方で離散コサイン変換を行う。前記第１条件を満足しないとき、Ｘ方向とＹ方向の双方で離散サイン変換を行う。
【００５５】
これによれば、項１７よりも圧縮効率が落ちる場合はあるが処理の簡素化が促進される。
【００５６】
〔１９〕＜符号化対象ブロックに対する予測ブロックの配置応じて周波数変換方法を選択＞
更に別の実施の形態に係る画像データの符号化装置は以下の構成を備える。符号化対象ブロックに類似する予測ブロックを決めると共に符号化対象ブロックに対する予測ブロックを特定するための情報を生成する予測部（４８，４９）。符号化対象ブロックに対する予測ブロックの方向と重なり度合に応じて、周波数変換結果の低域周波数成分の偏り位置が相違する複数の周波数変換方法の中から周波数変換に用いる周波数変換方法を選択する判定部（５０）。符号化対象ブロックと予測ブロックとの差分情報に対し、前記判定部が選択した周波数変換方法によって周波数変換を行うと共に量子化を行って周波数変換情報を生成する変換部（４１，４２）。前記周波数変換情報と前記予測ブロックを特定するための情報が含まれているデータストリームを生成する合成部（４３）。
【００５７】
これによれば項１３の方法を容易に実現することができる。
【００５８】
〔２０〕＜予測ベクトル情報などに基づく予測ブロックの配置を判別＞
項１９において、前記判定部、前記予測ブロックを特定するための情報のひとつである予測ベクトル情報及び予測ブロックサイズに基づいて予測ブロックの方向と重なり度合を判別する。
【００５９】
これによれば項１４の方法を容易に実現することができる。
【００６０】
〔２１〕＜ＤＳＴ又はＤＣＴ＞
項２０において、前記判定部が選択する周波数変換方法は、離散コサイン変換又は離散サイン変換である。
【００６１】
これによれば項１５の方法を容易に実現することができる。
【００６２】
〔２２〕＜Ｘ方向とＹ方向の＞
項２１において、前記変換部は、Ｘ方向とＹ方向の画素の２次元分布に対して、Ｘ方向の画素分布に対するＸ方向周波数変換を行い、そのＸ方向周波数変換の結果に対してＹ方向周波数変換を行うことによって、２次元分布に対する周波数変換を行う。
【００６３】
これによれば項１６の方法を容易に実現することができる。
【００６４】
〔２３〕＜Ｘ，Ｙ方向毎にＤＣＴ，ＤＳＴの４態様＞
項２２において前記判定部は以下の選択を行う。すなわち、前記予測ベクトルの向きが所定の象限を向き、且つ、前記予測ベクトルのＹ方向成分の大きさの絶対値とＸ方向成分の絶対値との夫々が対応する所定の閾値よりも大きい第１条件を満足するときは、Ｘ方向とＹ方向の双方で離散コサイン変換を選択する。前記第１条件を満足せず、且つ、前記予測ベクトルのＹ方向成分の大きさに対するＸ方向成分の絶対値の大きさの割合が所定の閾値よりも小さい第２条件を満足するときは、Ｘ方向で離散コサイン変換を行い、Ｙ方向で離散サイン変換を選択する。前記第１条件を満足せず、且つ、前記予測ベクトルのＹ方向成分の大きさに対するＸ方向成分の絶対値の大きさの割合が所定の閾値以上であるという第３条件を満足するときは、Ｘ方向で離散サイン変換を行い、Ｙ方向で離散コサイン変換を選択する。前記第１条件乃至第３条件の何れも満足しないときは、Ｘ方向とＹ方向の双方で離散サイン変換を選択する。
【００６５】
これによれば項１７の方法を容易に実現することができる。
【００６６】
〔２４〕＜Ｘ，Ｙ方向毎にＤＣＴ，ＤＳＴの２態様＞
項２２において、前記判定部は以下の選択を行う。すなわち、前記予測ベクトルの向きが所定の象限を向き、且つ、前記予測ベクトルのＹ方向成分の大きさの絶対値とＸ方向成分の絶対値との夫々が対応する所定の閾値よりも大きい第１条件を満足するときは、Ｘ方向とＹ方向の双方で離散コサイン変換を選択する。前記第１条件を満足しないとき、Ｘ方向とＹ方向の双方で離散サイン変換を選択する。
【００６７】
これによれば項１８の方法を容易に実現することができる。
【００６８】
２．実施の形態の詳細
実施の形態について更に詳述する。
【００６９】
≪周波数変換方法の選択的な切り換え≫
以下の実施の形態で説明する復号装置において採用される逆周波数変換方法及び符号化装置で採用される周波数変換方法について予め説明する。
【００７０】
ここでは、周波数変換結果の低域周波数成分の偏り位置が相違する複数の周波数変換方法として、例えばＤＣＴ又はＤＳＴを選択する。ＤＣＴに対応する逆周波数変換としてＩＤＣＴを、ＤＳＴに対応する逆周波数変換としてＩＤＳＴを採用する。
【００７１】
図８は４×４の場合における２次元ＤＣＴの変換行列と行列演算式が例示される。図９は４×４の場合における２次元ＤＳＴの変換行列と行列演算式が例示される。変換行列Ａ，Ｂに対してＡＴ，ＢＴは転置行列を意味する。２次元の画素ブロックにＤＣＴを行って行列Ｘを得るための演算は、例えば水平方向（例えばＸ方向）のＤＣＴ（水平方向ＤＣＴ）と垂直方向（例えばＹ方向）のＤＣＴ（垂直方向ＤＣＴ）とに分けて行われているものとする。更に詳しくは、例えば、４×４の２次元分布の画素のブロックを想定したとき、水平方向の４画素単位で画素データに対して変換行列Ａを用いたＤＣＴ（水平方向ＤＣＴ）を行い、その後に、水平方向ＤＣＴの変換結果に対して垂直方向の４画素単位で変換行列Ａを用いたＤＣＴ（垂直方向ＤＣＴ）を行う。水平垂直方向のＤＳＴの行列演算も同様にして行われる。水平垂直方向に分けてＤＣＴ（ＤＳＴ）が行われた周波数変換データに対する逆周波数変換も同様に水平方向ＩＤＣＴ、垂直方向ＩＤＣＴ（水平方向ＩＤＳＴ、垂直方向ＩＤＳＴ）が行われることになる。
【００７２】
図８及び図９の変換行列Ａ，Ｂから明らかなように、ＤＣＴとＤＳＴは三角関数の一次結合で表現される点では同様であるが、位相が異なるため、各周波数での係数の値が異なる。更に詳しく説明する。周波数変換では、隣接データ間の相関がきわめて高いパタン（例えば同じ色のプレーンパターン）は空間周波数が非常に低いパタンとして把握し、逆に隣接データ間の相関が低いパタン（例えば白と黒の千鳥格子パターン）は空間周波数が高いパタンとして把握する。自然風景のパタンなどのなだらかな変化のパタンについても空間周波数は比較的低い。周波数変換は画素データの相関を周波数の関係に変換する処理である。図８及び図９の変換行列の演算式からも明らかなように、周波数変換結果は低周波成分と高周波成分を持ち、ＤＣＴ、ＤＳＴでは水平方向左側ほど且つ垂直方向上側ほど低周波成分となる。自然画像などについては予測パタンと元画パタンの誤差が一様に分布している傾向があるため、ＤＣＴ、ＤＳＴを行うことで、演算結果の行列の左上（低周波）側にデータが集中する。そのため、左上のデータのみを復号側に伝送することで画質の劣化を抑制しつつ、少ないデータ量で画像を表現可能となる。復号側では、逆変換を行うことで、画素領域のデータを復号する。ＤＣＴとＤＳＴでは変換後のデータ分布が異なり、その違いを以下に例を挙げて説明する。対象の全画素が同一値を持つ場合、ＤＣＴを行った結果は全データが最も低周波の成分に集中するが、ＤＳＴを行った結果は高周波側にもデータが分散する。一方、画素領域にて、左側から右側，または上側から下側，または左上側から右下側に対して、段階的に変化するパタンに対してＤＣＴを行った場合、ＤＳＴと比較して低周波側にデータが集中せず、高周波側にデータが分散する。例えば、一次元上において画素の値の分布が図１０のように分布している場合に、この分布に対してＤＣＴおよびＤＳＴを行った結果は、それぞれ図１１、図１２のようになる。図１１、１２から明らかなように、ＤＣＴを行った結果に比べＤＳＴを行った結果の方が高周波成分の振幅が小さい。
【００７３】
符号化側では高周波成分を削除した低周波成分を符号化データに用いることによって符号化効率を向上させることができる。したがって、必要なデータ成分が高周波側に分散しているとき、そのまま高周波成分を削除してしまうと再生画像が劣化してしまう。以下で説明する実施の形態では、高周波側に分散する成分を低周波側に寄せるように周波数変換方法の選択を行う。特に、予測ブロックが未処理ブロックに重なっているとき重なり部分をその周囲パタンで補間するような場合に誤差成分が大きくなって周波数変換データの成分が高周波側に分散する場合に着目したとき、補間データを取得してくる方向及び補間する領域の大きさに基づいて、水平方向と垂直方向で周波数変換方法を選択しようとするものである。
【００７４】
例えば、図１１、１２の場合では、ＤＣＴを行った結果に比べＤＳＴを行った結果の方が高周波成分の振幅が小さい。つまり、ＤＣＴ、ＤＳＴを選択的に用いることで低周波成分が大きく、高周波成分が小さくなって、符号化効率が改善可能になる。
【００７５】
≪復号装置≫
図１には画像データの復号装置の一例が示される。同図に示される復号装置１は、特に制限されないが、Ｈ．２６４規格の符号化復号方式に準拠する、携帯電話やナビゲーションシステムなどの動画象符号化復号装置若しくは動画象復号装置に適用されるものであって、マイクロコンピュータに代表されるデータ処理用の半導体集積回路に搭載されて構成される。以下に説明する復号装置１は中央処理装置（ＣＰＵ）や画像処理用のアクセラレータが実行するソフトウェア及び所定のデータ処理に特化されたハードウェアによって実現される。図１では、復号装置の構成を機能実現手段としての機能ブロックによってその構成を例示する。
【００７６】
復号装置１は、画像ブロックと予測ブロックとの差分情報に対して周波数変換と量子化が行われた周波数変換情報と前記予測ブロックを特定するための情報とをデータストリーム１０から抽出する抽出部としてのビットストリーム復号部１１を有する。ビットストリーム復号部１１は例えばビットストリーム１０に対して可変長復号を行ってデータを抽出する。
【００７７】
抽出された前記予測ブロックを特定するための予測ベクトル情報などに基づいてフレームメモリ１２から復号済の画像データを参照して予測ブロックの情報を取得する予測情報生成部としての予測画像生成部１３を有する。
【００７８】
また、復号対象ブロックに対する予測ブロックの方向と重なり度合に応じて、周波数変換結果の低域周波数成分の偏り位置が相違する複数の逆周波数変換方法の中から逆周波数変換に用いる逆周波数変換方法を選択する判定部としての周波数変換判定部１４を有する。
【００７９】
前記ビットストリーム復号部１１で抽出された周波数変換情報は逆量子化部１５で逆量子化される。逆量子化された周波数変換情報は、前記周波数変換判定部１４が選択した逆周波数変換方法によって逆周波数変換部１６で逆周波数変換される。逆周波数変換された差分情報は加算回路１７で前記取得された予測ブロックの情報に加算され、当該復号対象ブロックのデータが再生される。ブロック単位の操作を繰り返してフレーム単位の画像データが再生される。
【００８０】
予測ブロックなどのブロックは４×４画素又は８×８画素などのサイズとされる。
【００８１】
前記周波数判定部１４において、復号対象ブロックに対する予測ブロックの方向と重なり度合の判定は、前記予測ブロックを特定するための情報のひとつである予測ベクトル情報及び予測ブロックサイズに基づいて行う。
【００８２】
処理対象ブロックに対する予測ブロックの方向と重なり度合についての代表的な態様は図３乃至図５に例示される。ここでは８×８のブロックサイズを一例としてあり、２０は復号対象ブロックなどの処理対象ブロック、２１は予測ブロック、２２は予測ベクトルである。
【００８３】
図３は重なりなしを例示する。
【００８４】
これに対して図４は小さな重なりを有する場合の例であり、復号対象ブロック２０の２０Ａは、予測ベクトル２２の逓倍の予測ベクトル２２Ａで指し示される部分からコピーして予測データが補間される。すなわち、図４において、２０Ａの領域は、領域番号０〜３、８〜１１、１６〜１９、２４〜２７のデータと同じデータの繰り返しによって補間される。したがって、逆周波数変換されるブロックには２回の繰り返し領域意が存在していることになる。
【００８５】
図５は大きな重なりを有する場合の例であり、復号対象ブロック２０の２０Ａは、予測ベクトル２２の逓倍の予測ベクトル２２Ａで指し示される部分からコピーして予測データが補間される。すなわち、図５において、２０Ａの領域は、領域番号０〜５、８〜１３、１６〜１７、２４〜２５、３２〜３３、４０〜４１のデータと同じデータの繰り返しによって予測データが補間される。復号対象ブロック２０の２０Ｂは、予測ベクトル２２の逓倍の予測ベクトル２２Ｂで指し示される部分からコピーして予測データが補間される。すなわち、図５において、２０Ｂの領域は、領域番号０〜３、８〜１１、１６〜１７、２４〜２５のデータと同じデータの繰り返しによって補間される。復号対象ブロック２０の２０Ｃは、予測ベクトル２２の逓倍の予測ベクトル２２Ｃで指し示される部分からコピーして予測データが補間される。すなわち、図５において、２０Ｃの領域は、領域番号０〜１、８〜９のデータと同じデータの繰り返しによって補間される。したがって、逆周波数変換されるブロックには４回の繰り返し領域が存在していることになる。補間による繰り返しパタンが多くなるほど隣接データとの相関が少なくなってパタンのなだらかな変化が失われる。要するに空間周波数は高域側に分散する度合が増す。
【００８６】
図６には復号対象ブロックに対する予測ブロックの方向と重なり度合に応じて選択可能な逆周波数変換方法の形態について例示される。
【００８７】
図６では前記逆周波数変換方法として以下の４通りから選択する。２２は予測ベクトル、２０は処理対象ブロック、２０Ａは未処理ブロックである。ここでは処理対象ブロック２０を復号対象ブロックとし、未処理ブロックを未復号ブロックとして説明する。
【００８８】
第１の態様は、前記予測ベクトル２２の向きが所定の象限を向き、且つ、前記予測ベクトルの垂直方向成分の大きさの絶対値と水平方向成分の絶対値との夫々が対応する所定の閾値よりも大きい第１条件を満足するとき、水平方向と垂直方向の双方で逆離散コサイン変換を行う。所定の象限とは、例えば垂直方向が未復号領域から復号領域に向き（垂直方向のベクトルが負の値）、水平方向が未復号領域から復号領域に向く（水平方向のベクトルが負の値）方向である。更に具体的に説明すれば、図６紙面の左上方向から右下方向に向けて処理対象ブロックを移動させながら画面内復号処理（画面内符号化処理）を進めていくとすると、紙面上で上方向及び左方向が所定象限に向く方向である。前記予測ベクトルの垂直方向成分の大きさの絶対値と水平方向成分の絶対値との夫々が対応する所定の閾値よりも大きいとは、少なくとも予測ブロックが処理対象ブロックに重ならないということである。第１条件を満足するときは復号対象領域には補間のための、繰り返し領域が含まれない。水平及び垂直方向共にＤＣＴを行えばよい。
【００８９】
第２態様は、前記第１条件を満足せず、且つ、前記予測ベクトルの垂直方向成分の大きさに対する水平方向成分の絶対値の大きさの割合が所定の閾値よりも小さい（すなわち、予測ベクトルは前記閾値規定される誤差の範囲で実質的に垂直方向である）第２条件を満足するときは、水平方向で逆離散コサイン変換を行い、垂直方向で逆離散サイン変換を行う。第２条件を満足する場合とは、予測ブロックが処理対象ブロックに重なり、且つ、予測ベクトルの水平方向成分に比べて垂直方向成分が前記閾値で規定される倍率分だけ大きいことに相当するものである。重なり部分に対する補間は、その時の予測ベクトルの逓倍のベクトルによって予測ブロックから参照されるデータによって行われる。このことは、補間による繰り返しパタンの向きも実質的に垂直方向であることを意味する。したがって、水平方向のＤＣＴでは変換値（ＤＣＴ係数）が高周波領域に分散しないが、垂直方向のＤＣＴでは変換値（ＤＣＴ係数）が高周波領域に分散しやすくなる。したがって、その場合には水平方向で離散コサイン変換を行い、垂直方向で離散サイン変換を行うことによって、圧縮効率を高くすることができる。それに合わせて復号処理では水平方向で逆離散コサイン変換を行い、垂直方向で逆離散サイン変換を行えばよい。
【００９０】
第３態様は、前記第１条件を満足せず、且つ、前記予測ベクトルの垂直方向成分の大きさに対する水平方向成分の絶対値の大きさの割合が所定の閾値よりも大きい（すなわち、予測ベクトルは前記閾値規定される誤差の範囲で実質的に水平方向である）第３条件を満足するときは、水平方向で逆離散サイン変換を行い、垂直方向で逆離散コサイン変換を行う。第３条件を満足する場合とは、予測ブロックが処理対象ブロックに重なり、且つ、予測ベクトルの垂直方向成分に比べて水平方向成分が前記閾値で規定される倍率分だけ大きいことに相当するものである。重なり部分に対する補間は、その時の予測ベクトルの逓倍のベクトルによって予測ブロックから参照されるデータによって行われる。このことは、補間による繰り返しパタンの向きも実質的に水平方向であることを意味する。したがって、垂直方向のＤＣＴでは変換値（ＤＣＴ係数）が高周波領域に分散しないが、水平方向のＤＣＴでは変換値（ＤＣＴ係数）が高周波領域に分散しやすくなる。したがって、その場合には垂直方向で離散コサイン変換を行い、水平方向で離散サイン変換を行うことによって、圧縮効率を高くすることができる。それに合わせて復号処理では垂直方向で逆離散コサイン変換を行い、水平方向で逆離散サイン変換を行えばよい。
【００９１】
第４態様は、前記第１条件乃至第３条件の何れも満足しないときは、水平方向と垂直方向の双方で逆離散サイン変換を行う。前記第１条件乃至第３条件の何れも満足しないときは、予測ブロックが処理対象ブロックに重なり、且つ、予測ベクトルの向きが第２態様のような実質的垂直でもなければ、第３態様のような実質的水平でもない場合である。更に、重なり部分に対する補間は、その時の予測ベクトルの逓倍のベクトルによって予測ブロックの水平及び垂直方向の双方から参照されるデータによって行われる。このことは、補間による繰り返しパタンの向きも実質的に水平方向及び垂直方向の双方であることを意味する。したがって、ＤＣＴでは水平方向及び垂直方向の何れにおいても変換値（ＤＣＴ係数）が高周波領域に分散しやすくなる。したがって、その場合には水平方向及び垂直方向の双方で離散サイン変換を行うことによって、圧縮効率を高くすることができる。それに合わせて復号処理では水平方向及び垂直方向の双方で逆離散サイン変換を行えばよい。
【００９２】
この４態様による逆周波数変換処理によれば、水平方向と垂直方向別に高域周波数成分の分散を抑えて逆周波数変換を行うことができる。更に、抑えるべき高周波成分を水平方向と垂直方向の何れとするかは、予測ベクトルの大きさを閾値と比べて判別するから、その判別が容易である。
【００９３】
前記逆周波数変換方法の選択形態は図６の４態様に限定されない。特に図示はしないが、水方及び垂直方向毎にＩＤＣＴ、ＩＤＳＴの２態様としてもよい。すなわち、前記予測ベクトルの向きが所定の象限を向き、且つ、前記予測ベクトルの垂直方向成分の大きさの絶対値と水平方向成分の絶対値との夫々が対応する所定の閾値よりも大きい第１条件を満足するときは、水平方向と垂直方向の双方で逆離散コサイン変換を行う。前記第１条件を満足しないとき、水平方向と垂直方向の双方で逆離散サイン変換を行う。これによれば、図６の選択態様に比べて圧縮効率が落ちる場合はあるが処理の簡素化を促進することができる。
【００９４】
図２には周波数変換判定部１４の具体例が示される。上記周波数変換方法を判定する周波数変換判定部１４は条件判定部３０、閾値生成部３１及び分布情報生成部３２を有する。閾値判定部３１は予測画像のサイズ及び位置情報などに基づいて前記方向と重なり度合の判定のための閾値を生成する。予測画像のサイズは８×８のような予測ブロックの画素サイズを意味する。位置情報は例えばフレームに対する予測ブロックの位置情報を意味する。この位置情報は例えば予測画像生成部１３が予測画像のデータをアクセスするためにフレームメモリ１２に与えるアドレス情報、そのアクセスのスタートアドレス及びエンドアドレスの情報から取得すればよい。条件判定部３０は予測ベクトルを入力し、その大きさと向きを前記閾値と比べて、例えば図６のどの変換方法を採用するかを判別する。判別結果は周波数変換方式として逆周波数変換部１６に与えられる。図２において分布情報生成部３２は後述する符号化装置の周波数変換判定部に採用される回路ブロックである。これは、元画像に対する予測画像の誤差の分布を判定する回路であり、誤差の分布情報を条件判定部３０に与える。条件判定部３０は、予測ベクトルだけでなく、誤差の分布情報も併用することによって、図６に代表される周波数変換形態の選択の適正化を図ることができる。
【００９５】
以上の説明から明らかなように、画像データの復号装置１が実行する復号方法は以下の通りである。すなわち、画像ブロックと予測ブロックとの差分情報に対して周波数変換と量子化が行われた周波数変換情報と前記予測ブロックを特定するための情報が含まれているデータストリームをビットストリーム復号部１１が入力する処理を行う。入力したデータストリームから抽出した前記予測ブロックを特定するための情報に基づいて予測ブロックの情報を取得する処理予測画像生成部１３が行う。入力したデータストリームから抽出した周波数変換情報に逆量子化と逆周波数変換とを行う変換処理を逆量子化部１５及び逆周波数変換部１６が行う。前記取得した予測ブロックの情報に逆量子化と逆周波数変換が行われた差分情報を加算して画像データを再生する処理を加算部１７が行う。前記変換処理は、周波数変換判定部１４が、復号対象ブロックに対する予測ブロックの方向と重なり度合に応じて、周波数変換結果の低域周波数成分の偏り位置が相違する複数の逆周波数変換方法の中から選択した方法を用いて行われる。
【００９６】
前述したように、この方法を採用することにより、復号対象ブロックに対する予測ブロックの方向と重なり度合に応じてダイナミックに変換方法を選択することによって、例えば、ＤＳＴにおいて周波数変換結果の高域への分散が大きくなり、ＤＣＴでは低域の値が大きく高域の値が小さくなった場合には、ＤＣＴの逆周波数変換を行うことができる。逆に、ＤＣＴにおいて周波数変換結果の高域への分散が大きくなり、ＤＳＴでは低域の値が大きく高域の値が小さくなった場合には、ＤＳＴの逆周波数変換を行うことができる。したがって、予測ブロック内にどのような形態で未処理領域が存在する場合にも周波数変換効率の向上を期待できるようになる。
【００９７】
≪符号化装置≫
図７には画像データの符号化装置の一例が示される。同図に示される符号化装置２は、特に制限されないが、Ｈ．２６４規格の符号化復号方式に準拠する、携帯電話やナビゲーションシステムなどの動画象符号化復号装置若しくは動画象符号化装置に適用されるものであって、マイクロコンピュータに代表されるデータ処理用の半導体集積回路に搭載されて構成される。以下に説明する符号化装置２は中央処理装置（ＣＰＵ）や画像処理用のアクセラレータが実行するソフトウェア及び所定のデータ処理に特化されたハードウェアによって実現される。図７では、符号化装置の構成を機能実現手段としての機能ブロックによってその構成を例示する。
【００９８】
元画像の画像データは符号化対象ブロックに分割され入力される。入力された画像信号は、差分回路４０で予測信号と画素毎に差分がとられ、その差分情報が周波数変換部４１で周波数変換され、変換された周波数変換情報意が量子化部４２で量子化される。量子化された周波数変換情報はビットストリーム符号化部４３で可変長符号化され、データストリームとして出力される。これと共に、量子化部４２で量子化された周波数変換情報は逆量子化部４４及び逆周波数変換部４５にて前記差分情報に逆変換される。逆変換された差分情報は加算部４６で前記予測信号と画素毎に加算され、復号装置１で得られるものと同一の画像信号（ローカルデコード画像）が得られる。ローカルデコード画像はフレームメモリ４７に書き込まれ、以降の予測信号の生成処理に用いる。
【００９９】
予測信号は予測ブロックの画像信号として予測画像生成部４８で生成される。その生成には予測情報生成部４９が元画像の画像信号に基づいて生成した予測情報を利用する。予測情報は例えば予測ベクトルであり、その生成方法については既に公知であり、ここではその詳細な説明は省略する。予測画像生成部４８は予測ベクトルに応じた予測ブロックの画素データをフレームメモリ４７内のローカルデコード画像のデータから取得して加算部４０及び減算部４６に与える。
【０１００】
上記予測画像生成部４８及び予測情報生成部４９は、符号化対象ブロックに類似する予測ブロックを決めると共に符号化対象ブロックに対する予測ブロックを特定するための情報を生成する予測部を構成する。
【０１０１】
周波数変換判定部５０は、符号化対象ブロックに対する予測ブロックの方向と重なり度合に応じて、周波数変換結果の低域周波数成分の偏り位置が相違する複数の周波数変換方法の中から周波数変換に用いる周波数変換方法を選択する判定部を構成する。この周波数変換判定部５０は図２及び図６などに基づいて先に説明した判定態様を判別する回路ブロックであり、復号装置１における周波数変換判定に１４と等価の回路である。前述の如く、周波数変換判定部５０は分布情報生成部３２を備える点が周波数変換判定部１４と相違される。周波数変換部４１は周波数変換判定部５０で判定された変換方法を用いて、例えば図６に例示される態様にしたがって、水平方向及び垂直方向別にＤＣＴ、ＤＳＴの周波数変換を行う。その具体的な態様については既に説明したからここではその詳細を重ねて説明することを省略する。
【０１０２】
ここでは特に、周波数変換判定部５０の判定結果をビットストリーム符号化部４３で符号化して復号装置に供給する構成を示している。この場合、復号装置は当該判定結果をそのまま利用して逆周波数変換方法を選択するようにしてもよい。但しその場合には周波数変換判定部５０の判定結果をビットストリームに含めなければならないからデータ圧縮効率は低下することになる。
【０１０３】
なお、周波数変換部４１及び量子化部４２は、符号化対象ブロックと予測ブロックとの差分情報に対し、前記周波数変換判定部５０が選択した周波数変換方法によって周波数変換を行うと共に量子化を行って周波数変換情報を生成する変換部の一例とされる。ビットストリーム符号化部４３は、前記周波数変換情報と前記予測ブロックを特定するための情報が含まれているデータストリームを生成する合成部の一例とされる。
【０１０４】
符号化装置２の説明から明らかなように、画像データの符号化装置２が実行する符号化方法は以下の通りである。すなわち、予測情報生成部４９及び予測画像生成部４８により、符号化対象ブロックに類似する予測ブロックを決めると共に符号化対象ブロックに対する予測ブロックを特定するための情報を生成する処理を行う。符号化対象ブロックと予測ブロックとの差分情報に対して周波数変換部４１で周波数変換を行い、量子化部４２で量子化を行って、周波数変換情報を生成する変換処理を行う。前記周波数変換情報と前記予測ブロックを特定するための情報が含まれているデータストリームをビットストリーム符号化部４３で生成する処理を行う。前記変換処理は、符号化対象ブロックに対する予測ブロックの方向と重なり度合に応じて、周波数変換結果の低域周波数成分の偏り位置が相違する複数の波数変換方法の中から周波数変換判定部５０が選択した方法を用いて周波数変換を行う。
【０１０５】
この方法によれば、符号化対象ブロックに対する予測ブロックの方向と重なり度合に応じてダイナミックに変換方法を選択することによって、例えばＤＳＴにおいて周波数変換結果の高域への分散が大きくなる場合にＤＣＴでは低域の値が大きく高域の値が小さくなるように周波数変換を行うことができる。逆に、ＤＣＴにおいて周波数変換結果の高域への分散が大きくなる場合にＤＳＴでは低域の値が大きく高域の値が小さくなるように周波数変換を行うことができる。これにより、予測ブロック内にどのような形態で未処理領域が存在する場合にも周波数変換効率の向上を期待できるようになる。
【０１０６】
以上本発明者によってなされた発明を実施形態に基づいて具体的に説明したが、本発明はそれに限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは言うまでもない。
【０１０７】
例えば、選択可能な周波数変換方法はＤＣＴとＤＳＴに限定されず、ＤＷＴ（Ｄiscrete Ｗavelet Ｔransform：離散ウェーブレット変換）などのその他の周波数変換方法であってもよい。
【０１０８】
また、未処理領域に対する補間方法は特許文献１に記載される予測ベクトルの逓倍ベクトルによって参照する手法に限定されない。その周囲から繰り返しコピーしてもよい。
【０１０９】
また、水平方向及び垂直方向毎にＤＣＴとＤＳＴを用いる場合にも周波数変換の選択形態として前記４態様又は２態様の変換方法に限定されず、適宜変更可能である。
【０１１０】
本発明は、上記復号装置１及び符号化装置２に限定されず、画面内予測における周波数変換に関し、例えば、携帯電話、ナビゲーションシステム、DVD/HDD/BDレコーダ、デジタルビデオカメラ、デジタルカメラ、デジタルテレビ、電話会議システムなどの動画像符号化／復号を行う装置や方法に広く適用することができる。
【符号の説明】
【０１１１】
１  復号装置
２  符号化装置
１０  データストリーム
１１  ビットストリーム復号部
１２  フレームメモリ
１３  予測画像生成部
１４  周波数変換判定部
１５  逆量子化部
１６  逆周波数変換部
１７  加算回路
２０  復号対象ブロックなどの処理対象ブロック
２１  予測ブロック
２２  予測ベクトル
３０  条件判定部
３１  閾値生成部
３２  分布情報生成部
４０  差分回路
４１  周波数変換部
４２  量子化部
４３  ビットストリーム符号化部
４４  逆量子化部
４５  逆周波数変換部
４６  加算部
４７  フレームメモリ
４８  予測画像生成部
４９  予測情報生成部
５０  周波数変換判定部
【図１】
2015057871.tif 000003
【図２】
2015057871.tif 000004
【図３】
2015057871.tif 000005
【図４】
2015057871.tif 000006
【図５】
2015057871.tif 000007
【図６】
2015057871.tif 000008
【図７】
2015057871.tif 000009
【図８】
2015057871.tif 000010
【図９】
2015057871.tif 000011
【図１０】
2015057871.tif 000012
【図１１】
2015057871.tif 000013
【図１２】
2015057871.tif 000014