(57)【要約】【課題】折り返しノイズの発生を抑制して縮小処理が簡単に行え、かつ縮小した画像を縮小前の画像との関係を適切に補正できる動画像復号装置を提供する。【解決手段】イントラピクチャ／インターピクチャの画像データは、可変長復号部２１による復号処理により直交変換係数値が直交変換係数補正部２２に送られ、この直交変換係数補正部２２は、水平及び垂直方向に１／２に縮小する場合には、直流成分を含む低周波側の４×４の直交変換係数のみを生成して、逆ＤＣＴ部により構成される直交変換部２３に送り、この直交変換部２３は、８×８のＤＣＴ基底における高周波側成分を捨てた４×４のＤＣＴ基底の場合に対応する逆ＤＣＴ基底で逆ＤＣＴ処理を行うことにより、縮小の最に発生する折り返しノイズの混入を防止して縮小画像を、少ない計算量で簡単に生成すると共に、動きベクトルを画像の縮小に対応した位置補正を行う。【選択図】図３
2007288446.tif 000002
【特許請求の範囲】
【請求項１】
動画像の各画面を構成する画像データに対して水平及び垂直方向にそれぞれ所定数Ｎの画素数ブロックに対して水平及び垂直方向に前記所定数Ｎで互いに異なる空間周波数を有するＮ×Ｎ個の２次元の直交変換基底を用いて直交変換処理後の符号化された画像データにおける前記符号化に対する復号化を行う復号化手段と、
水平及び垂直方向の縮小率Ｎｘ／Ｎ、Ｎｙ／Ｎ（Ｎｘ、Ｎｙは、それぞれＮ未満で１を除く自然数）に対応して、前記復号化手段により得られる前記符号化に対応する復号化データにおける直流成分から低周波側となるＮｘ×Ｎｙ個の復号化データを生成する復号化データ生成手段と、
前記復号化データ生成手段により生成されたＮｘ×Ｎｙ個の復号化データに対して、Ｎｘ×Ｎｙ個の低周波側に対応する２次元の逆直交変換基底を用いて逆直交変換処理による復号化を行う逆直交変換処理手段と、
前記逆直交変換処理手段により得られる縮小された画像データが異なるフレームに対する差分量の画像データである場合、その差分画像データの相対的な位置を表す動きベクトルの位置に対する縮小後の位置補正を行う位置補正手段と、
を具備したことを特徴とする動画像復号装置。
【請求項２】
前記位置補正手段は、前記縮小された画像データの水平及び垂直方向の中心位置が、縮小前の画像データにおける水平及び垂直方向の中心位置に近似するように前記縮小された画像データに対して位置補正する中心位置補正手段を有することを特徴とする請求項１に記載の動画像復号装置。
【請求項３】
前記位置補正手段は、前記動画像の画像データが異なる時刻の動画像との差分に対応する差分画像データの場合、前記差分データの２次元位置を示す位置データを前記縮小率で位置補正し、位置補正する際の丸め誤差の処理をフレーム単位若しくは処理する領域単位で変更することを特徴とする請求項１に記載の動画像復号装置。
【請求項４】
前記直交変換基底は、逆離散コサイン変換基底であることを特徴とする請求項１に記載の動画像復号装置。
【請求項５】
前記逆直交変換処理手段は、さらに前記縮小率Ｎｘ／Ｎ、Ｎｙ／Ｎに対応して逆直交変換処理した際のスケールの調整処理を行うことを特徴とする請求項１に記載の動画像復号装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像を縮小して復号する動画像復号装置に関する。
【背景技術】
【０００２】
圧縮された動画像を再生し、表示する表示装置にあわせて画像を縮小する場合、従来例の動画像復号装置は、圧縮された動画像を復号する復号処理と、復号済み画像データの縮小処理を別個に行っていた。この従来例の場合には、動画像の復号用の記憶領域と画像の縮小処理用の記憶領域とが必要になる。  
このため、例えば特許文献１においては、可変長符号化された符号化ストリームから所定の周波数以上の高周波成分を除外することにより画像データを縮小処理することを開示している。  
この特許文献１において、可変長復号部の縮小処理部は、可変長復号部により復号された量子化されたＤＣＴ（離散コサイン変換）係数から所定の周波数以上の周波数成分を除外する縮小処理を開示している。
【０００３】
しかし、上記特許文献１の従来例は、実際の画像を縮小する詳しい構成及び作用を開示していないのみならず、画像を縮小した場合に発生する折り返しノイズを除去する手段及び方法を示唆をしていない。  
なお、特許文献２は、トランスコーディング装置において、画像サイズを縮小する変換処理方法を上記特許文献１の場合よりも詳しく開示している。このトランスコーディング装置は、折り返しノイズを抑制して縮小処理する方法を開示しているが、処理方法が複雑になり、処理に時間がかかる。
【０００４】
また、この特許文献２の装置は、動きベクトルを用いて動き補償を伴う画像を縮小する場合、縮小する前の画像との位置関係を適切に補正していなかった。
【特許文献１】特開２００４−１２９１６０号公報
【特許文献２】特開２００１ー３５９１０４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明は、上述した点に鑑みてなされたもので、折り返しノイズの発生を抑制して縮小処理が簡単に行え、かつ縮小した画像を縮小前の画像との関係を適切に補正できる動画像復号装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の一実施の形態に係る動画像復号装置は、動画像の各画面を構成する画像データに対して水平及び垂直方向にそれぞれ所定数Ｎの画素数ブロックに対して水平及び垂直方向に前記所定数Ｎで互いに異なる空間周波数を有するＮ×Ｎ個の２次元の直交変換基底を用いて直交変換処理後の符号化された画像データにおける前記符号化に対する復号化を行う復号化手段と、水平及び垂直方向の縮小率Ｎｘ／Ｎ、Ｎｙ／Ｎ（Ｎｘ、Ｎｙは、それぞれＮ未満で１を除く自然数）に対応して、前記復号化手段により得られる前記符号化に対応する復号化データにおける直流成分から低周波側となるＮｘ×Ｎｙ個の復号化データを生成する復号化データ生成手段と、前記復号化データ生成手段により生成されたＮｘ×Ｎｙ個の復号化データに対して、Ｎｘ×Ｎｙ個の低周波側に対応する２次元の逆直交変換基底を用いて逆直交変換処理による復号化を行う逆直交変換処理手段と、前記逆直交変換処理手段により得られる縮小された画像データが異なるフレームに対する差分量の画像データである場合、その差分画像データの相対的な位置を表す動きベクトルの位置に対する縮小後の位置補正を行う位置補正手段と、を具備したことを特徴とする。
【発明の効果】
【０００７】
本発明によれば、折り返しノイズの発生を抑制して縮小処理が行えると共に、縮小する前の画像との位置関係を適切に補正できる。
【発明を実施するための最良の形態】
【０００８】
以下、図面を参照して本発明の実施例を説明する。  
（第１の実施の形態）
図１は本発明の第１の実施の形態に係る画像縮小機能を有する動画像復号装置１を備えた動画像生成表示装置２を示す。  
この動画像生成表示装置２は、圧縮及び符号化された動画像を生成する動画像圧縮装置３と、圧縮及び符号化された動画像の画像データに対して復号化の処理を行い、縮小された画像を表示する画像縮小機能を有する動画像復号装置１から構成される。  
動画像圧縮装置３は、例えば動画像を撮像する撮像部４と、撮像された動画像を圧縮して符号化する圧縮画像生成部５と、圧縮及び符号化された動画像データを記憶するハードディスク、ＤＶＤ−ＲＡＭ等の画像記録部６とから構成される。この圧縮画像生成部５は、例えば、ＭＰＥＧ−４で、動き補償を使い、動画像の圧縮及び符号化を行う。  
この圧縮画像生成部５により生成されたＭＰＥＧ−４で圧縮された画像は、表示サイズが通常の表示装置に接続された復号装置により、縮小することなく復号化でき、その復号化された画像を表示装置で表示することができる。
【０００９】
一方、例えば、撮像部４で撮像された画像を圧縮及び符号化した場合には、その画像をモニタで確認する場合には、例えば表示サイズ（表示の画素数）が小さな表示装置を使用する。  
第１の実施の形態に係る動画像復号装置１は、このように通常の表示サイズよりも表示の画素数が少ない表示装置で表示する場合に適する。本実施の形態においては、表示装置で表示する場合で説明するが、ビデオプリンタで画像を印刷するような場合にも適用できる。  
動画像復号装置１は、圧縮画像生成部５から出力される圧縮されて符号化された動画像の画像データが入力される圧縮画像縮小機能付き復号装置７と、この圧縮画像縮小機能付き復号装置７から出力される復号化された縮小画像が表示される表示装置８とから構成される。
【００１０】
なお、図１に示す構成において、動画像圧縮装置３側は、さらに圧縮画像生成部５で生成されたＭＰＥＧ−４の画像を変調して電波で送信する変調器を有し、かつ動画像復号装置１側は、復調器を有する構成にしても良い。そして、動画像復号装置１は、変調器で変調された信号を復調する携帯型の動画像復号装置の機能を持つ構成にしても良い。
【００１１】
以下の説明では、圧縮画像生成部５は、動画像を例えばＭＰＥＧ−４で圧縮する場合で説明する。また、縮小機能付き復号装置７は、表示装置８で水平方向及び垂直方向にそれぞれ１／２（画素数サイズでは１／４）に縮小して表示する場合で説明する。  
図２に示すように例えばビデカメラの撮像部４で撮像され、Ａ／Ｄ変換された動画像のビデオオブェクトプレーン（ＶＯＰと略記）と呼ばれる１画面の入力画像は、減算器１０をスルーして、画像圧縮の符号化を行う離散コサイン変換（ＤＣＴと略記）部１１に入力される。なお、撮像部４で撮像された画像は、Ａ／Ｄ変換される前に、ローパスフィルタ等により折り返しノイズの発生が抑制される。
【００１２】
ＤＣＴ部１１内において、１画面の画像データは、水平及び垂直方向に所定の画素数のブロックに区分けされる。そして、ＤＣＴ部１１は、各ブロックの水平及び垂直方向の画素数に対応した水平及び垂直方向に空間周波数の直交変換基底となるＤＣＴ基底を用いて２次元のＤＣＴ処理を行う。
【００１３】
このＤＣＴ部１１は、上記各ブロックにおける水平及び垂直方向の画素数をそれぞれＮ（＝８）とし、水平及び垂直方向の２次元座標(x,y)の画素の情報をf(x,y)とした場合、周波数軸上における座標(u,v)のＤＣＴ係数F(u,v)は、
F(u,v)=
2c(u)c(v)/(N)ΣxΣyf(x,y)cos((2x+1)uπ/(2N))cos((2y+1)vπ/(2N)) (1)
と表される。但し、
c(u),c(v)=1/2-1/2  u,v=0 の場合
c(u),c(v)=1 u=1,2,…,N-1 v=1,2,…,N-1  の場合
である。ここで、Σxは、x=0からx=N-1までの総和、Σyは、y=0からy=N-1までの総和を表している。
【００１４】
上記ＤＣＴ処理された符号化された画像データとしてのＤＣＴ係数F(u,v)データは、さらに量子化部１２にて量子化される。量子化されたＤＣＴ係数と量子化幅は、可変長符号化部１３に入力され、可変長符号化部１３により可変長の符号化される。この符号化は、イントラ符号化と呼ばれ、このイントラ符号化されたＶＯＰは、Ｉ−ＶＯＰ或いはイントラピクチャと呼ばれる。
【００１５】
また、量子化部１２により量子化された変換係数は、逆量子化／逆ＤＣＴ部１４により逆量子化及び逆ＤＣＴ処理される。逆量子化／逆ＤＣＴ部１４の出力と、後述する動き補償／動き検出部１７の出力とは加算器１５により加算されてメモリ１６に格納される。
【００１６】
動き補償／動き検出部１７は、入力される画像データと、メモリ１６に格納された参照画像とを比較して、参照画像からの相対的な位置ずれを示す動きベクトル検出を行い、得られた動きベクトルデータを可変長符号化部１３に出力する。
【００１７】
また、この動き補償／動き検出部１７は、動きベクトルの検出結果に応じて予測補償を行い、予測画像データを減算器１０に出力する。減算器１０は、入力画像と動き補償予測された予測画像との差分となる予測誤差画像がＤＣＴ部１１に入力され、ＤＣＴ部１１は、ＤＣＴ処理を行い、さらに量子化部１２は量子化する。可変長符号化部１３は、この量子化されたＤＣＴ係数を動きベクトルや量子化幅と共に可変長符号化する。この可変長符号化された画像データは、インター符号化されたインターピクチャと呼ばれる。
【００１８】
この圧縮画像生成部５から出力されるＭＰＥＧ-４で圧縮及び符号化された画像データは、動画像復号装置１を構成する、図３に示す画像縮小機能付き復号装置７に入力される。
【００１９】
まず、イントラピクチャの画像の場合には、図３の画像縮小機能付き復号装置７は、図４に示すようにその一部の構成要素が使用される。このため、図４を参照してイントラピクチャが入力される場合の構成及び処理を説明し、その後にインターピクチャの画像が入力される場合の構成及び処理を説明する。
【００２０】
イントラピクチャの画像データは、可変長符号復号部２１に入力され、この可変長符号復号部２１は、ＭＰＥＧ-４のデータを解釈し、復号処理を行う。可変長符号復号部２１は、復号処理の際に得られた直交変換係数値を直交変換係数補正部２２に送る。
【００２１】
この直交変換係数補正部２２は、逆周波数変換処理を行う際の直交変換係数を画像縮小に対応した係数となるように補正して、補正した直交変換係数値を直交変換部（逆ＤＣＴ部）２３に出力する。直交変換部２３は、上述した圧縮画像生成装置５で用いたＤＣＴ部１１に対応して、逆ＤＣＴ部により構成されている。
【００２２】
直交変換部２３は、画像縮小を行わない場合には、ＭＰＥＧ-４規格で定められた８x８の２次元逆ＤＣＴを行うことで復号後の画像もしくは動き予測誤差画像（差分画像）に変換する。
【００２３】
本実施の形態における縮小機能付き復号装置７は、水平及び垂直方向（縦横方向）にそれぞれ１／２となる縮小画像を生成する。このため、直交変換係数補正部２２は、係数行列８x８のうち、高周波成分を捨てた４x４の係数行列のみを生成して、その４x４の係数行列を直交変換部２３に送る。
【００２４】
直交変換部２３は、低周波側の４x４の逆ＤＣＴ基底により、２次元の逆ＤＣＴ処理を行う。この処理は、８x８の逆ＤＣＴ基底を用いて、２次元の逆ＤＣＴ変換を行った後に、カットオフ周波数を水平及び垂直方向の最大周波数となるＤＣＴ基底におけるその最大周波数の１/２としたローパスフィルタを通し、水平及び垂直方向にそれぞれ１/２に画像を縮小する処理を行うものと類似の結果になる。
【００２５】
しかし、本実施の形態は、高周波成分を捨てて４x４の係数行列のみで、かつ直交変換部２３も高周波成分を捨てた４x４の２次元の逆ＤＣＴ基底を用いて逆ＤＣＴ処理を行う。このような処理は、８x８の逆ＤＣＴ基底を用いた場合よりも、大幅に計算量を削減できると共に、折り返しノイズの発生を確実に防止できる。
【００２６】
また、本実施例は、４x４の２次元の低周波側のＤＣＴ基底に対応する４x４の２次元の逆ＤＣＴ基底を用いて逆ＤＣＴ処理を行うため、特許文献２における８×８から間引いて形成した４x４の逆ＤＣＴ基底を用いて逆ＤＣＴ処理を行う場合よりも、低周波側のエネルギ集中の特性を確保した逆ＤＣＴ処理結果を得ることができる。
【００２７】
この直交変換部２３により逆ＤＣＴ処理後の演算結果は、ゲイン調整部２４に送られる。逆ＤＣＴ処理後の係数は、縮小倍率が水平及び垂直方向にそれぞれ√２倍（２次元的には１／２）された値となる。従って、ゲイン調整部２４は、各係数を１/√２倍し、スケールを揃え、縮小画像を生成する。この縮小画像は、フレームバッファ部２５に格納される。
【００２８】
そして、このフレームバッファ部２５に格納された縮小画像は、イントラピクチャの場合には、表示装置８側に出力される。また、フレームバッファ部２５に格納されたイントラピクチャの画像は、インターピクチャを生成する参照画像として、後述する動き補償部２８で動き補償する際に利用される。
【００２９】
この場合、本実施の形態においては、以下に説明するように座標補正部２６は、動きベクトルの位置補正を行う。つまり、インターピクチャのように、（これとは異なるフレームの）イントラピクチャの縮小画像（参照画像）に差分となる縮小された予測誤差画像（差分画像）を、加算してインターピクチャの縮小画像を生成する場合、座標補正部２６は、位置ずれの少ない縮小画像を生成する。
【００３０】
次にインターピクチャの場合を図３或いは図５を参照して説明する。図５はインターピクチャが入力された場合における画像縮小機能付き復号装置７の処理を示す。
【００３１】
インターピクチャの画像は、可変長符号復号部２１に入力され、この可変長符号復号部２１から直交係数変換部２２，直交変換部２３，ゲイン変換部２４によりイントラピクチャの画像の場合と同様に処理される。この場合、ゲイン変換部２４から出力される縮小された予測誤差画像は、動き補償部２８に送られる。
【００３２】
また、可変長符号復号部２１は、入力される画像データから（縮小前の）予測誤差画像におけるイントラピクチャの画像からの相対的な位置ずれを示す動きベクトルのデータ部分を抽出して動きベクトル復号部２６に送る。このデータ部分は、後述するように動きベクトル（の終点）とマクロブロック番号とからなり、動きベクトルの始点は、各マクロブロックにおける左上の隅の位置として規定されている。
【００３３】
動きベクトル復号部２６は、入力された動きベクトル（及びマクロブロック番号）から動き補償処理で参照する画素の位置を計算する。
【００３４】
そして、動きベクトル復号部２６は、算出した位置の情報を座標補正部２７に送る。座標補正部２７は、送られてきた参照する画素位置を縮小後の座標系に補正する。そして、座標補正部２７は、補正した画素位置の動きベクトルの情報を動き補償部２８に送る。
【００３５】
動き補償部２８は、縮小画像に対応した動きベクトルとフレームバッファ部２５に保持されている縮小済み参照画像の座標系に合わせて、動きベクトルの位置を補正した画素位置において縮小された予測誤差画像を、縮小済み参照画像に加算する処理を行う。そして、動き補償部２８は、加算の処理により縮小後のインターピクチャの画像を生成してフレームバッファ部２５に格納する。そして、このフレームバッファ部２５から縮小されたインタピクチャの画像が表示装置８に出力される。
【００３６】
図６は、直交変換係数補正部２２により生成される４x４の係数行列を示す。直交変換係数補正部２２は、画像縮小を伴わない復号化の処理を行う場合には、図６に示すように、水平及び垂直方向に８x８の係数行列を用いるが、画像縮小を伴う復号化の処理を行うために本実施の形態においては、高周波成分を捨てた低周波側の４x４の係数行列（Ｆ００〜Ｆ３０、Ｆ０１〜Ｆ３１、Ｆ０２〜Ｆ３２、Ｆ０３〜Ｆ３３で示す部分）のみを用いる。
【００３７】
なお、図６には水平方向の最大の周波数成分に対応する一部の係数Ｆ７０、垂直方向の最大の周波数成分に対応する一部の係数Ｆ７０、水平及び垂直方向の最大の周波数成分に対応する係数Ｆ７７を示している。
【００３８】
そして、直交変換係数補正部２２は、上記４x４の係数行列を、直交変換部２３に送る。直交変換部２３は、この４x４の係数行列を用い、また低周波側の４x４のＤＣＴ変換基底に対応する４x４の逆ＤＣＴ基底のみを用いて逆ＤＣＴ処理を行う。この逆ＤＣＴ処理は、４x４のブロックにおける水平方向及び垂直方向の画素値をｆ（ｘ、ｙ）とすると、
ｆ(x,y)=
(1/2)ΣuΣvc(u)c(v)F(u,v)cos((2x+1)uπ/8)cos((2y+1)vπ/8)   (2)
と表される。但し、
c(u),c(v)=1/2-1/2  u,v=0 の場合
c(u),c(v)=1 u=1,2,…,3 v=1,2,…,3の場合
である。また、Σuは、u=0からx=3までの総和、Σvは、y=0からy=3までの総和を表している。なお、図６に示すＦ００等は、（２）式におけるF(0,0)等に対応するものである。
【００３９】
こうして、直交変換部２３による逆ＤＣＴ処理により、本来の８x８の画像から４x４に縮小された縮小画像を得ることができる。この場合、行列要素数がそれぞれ１／４に削減できるので、直交変換部２３による逆ＤＣＴ処理の演算量は、大幅に低減され、従って本実施の形態は、縮小画像を短時間に生成することができる。
【００４０】
また、本実施の形態においては、直交変換部２３は、低周波側の４x４の係数行列及びこれに対応した低周波側の４x４の逆ＤＣＴ基底を用いて逆ＤＣＴ処理を行う。このため、直交変換部２３は、低周波側の４x４の逆ＤＣＴ基底よりも高周波側の逆ＤＣＴ基底を用いて逆ＤＣＴ処理を行った場合に発生する可能性がある折り返しノイズを、簡単に除去する。
【００４１】
例えば８x８の係数行列を用いて逆ＤＣＴ処理を行い、その後に生成された画像を間引くことにより縮小画像を生成することもできるが、この場合には折り返しノイズが縮小画像に混入する可能性がある。また、画像縮小する際、その縮小率に対応しないで単に低周波側の係数行列を用いた場合には、やはり、折り返しノイズが縮小画像に混入して画質を劣化させる可能性がある。
【００４２】
本実施の形態は、水平方向及び垂直方向にそれぞれ画素数を１／２に縮小するのに対応して、縮小前のＤＣＴ基底における最大周波数のものからその１／２の周波数よりも高くなる周波数成分を用いないで、かつ直流成分から最大周波数の１／２になるＤＣＴ基底に対応する逆ＤＣＴ基底のみを用いているので、折り返しノイズが縮小画像に混入する可能性を確実に解消できる。
【００４３】
このようにして、４x４に縮小された縮小画像は、直交変換部２３からゲイン調整部２４に送られる。
【００４４】
逆ＤＣＴ処理後の係数は、縮小倍率が水平及び垂直方向にそれぞれ√２倍された値となるので、ゲイン調整部２４は、各係数を１/√２倍してスケールを揃え、輝度レベルを正しく復元した縮小画像を生成する。この縮小画像は、イントラピクチャの場合、動き補償を行わずにフレームバッファ部２５に送られる。
【００４５】
フレームバッファ部２５は、縮小済みの画像をインターピクチャの参照画像として使用するために画像データを保持し、また縮小済みの画像を表示装置８に出力する。そして、表示装置８には、画像縮小の際に、間引き等を行った際に発生する折り返しノイズが縮小画像に混入することを確実に防止した画質の良い縮小画像が表示される。
【００４６】
次にインターピクチャの場合を説明する。
【００４７】
可変長符号復号部２１は、動きベクトルを、動きベクトル復号部２６へ送り、動きベクトル復号部２６は、動きベクトルから動き補償処理で参照する画素の位置を計算し、算出した画素の位置を座標補正部２７に送る。
【００４８】
この場合、動きベクトル復号部２６には、動きベクトルとマクロブロック番号との２つのデータが入力される。
【００４９】
動きベクトルは、可変長符号復号部２１で復号された値で、x方向とy方向の２つの相対値で表現されている。また、マクロブロック番号は、復号処理を行っているマクロブロックの番号である。
【００５０】
このマクロブロック番号と、そのマクロブロックで示された動きベクトルとのデータから、復号される画素ブロック(８x８の６４画素)の絶対位置を求めることができる。この場合、動きベクトルは、各マクロブロックの左上隅が始点として、そのマクロブロックにおける終点位置（２次元位置）が示されたデータとなっている。
【００５１】
動きベクトル復号部２６は、このマクロブロック番号と、動きベクトルを使い、動き補償処理で利用する参照画素位置を計算する。例えば、画像の大きさが水平（横）１７６画素x縦（垂直）１４４画素の場合を考える。
【００５２】
１７６x１４４の画像は、マクロブロック単位で横１１×縦９となる。動きベクトル復号部２６に入力されるマクロブロック番号がラスタスキャン順に０から数えて１２であった場合、マクロブロックの左上画素位置は、ｘ＝１６×１＝１６，ｙ＝１６×１＝１６となり(１６,１６)と計算できる。
【００５３】
動きベクトル復号部２６は、この値(１６,１６)に、動きベクトルの値を加算して参照画素位置を求める。例えば、動きベクトルが(-２,-１)であれば、動きベクトル復号部２６は、参照画素位置として(１４,１５)として求める。ここで挙げた動きベクトル(-２,-１)等は、あくまで１例であり、理解しやすいように整数画素単位で表現した。
【００５４】
実際のデータでは、ハーフペル(１/２画素)単位かクォーターペル(１/４画素)単位で表現される。こうして計算された参照画素位置は、座標補正部２７で縮小画像に対応して処理される。
【００５５】
また、可変長符号復号部２１で得られた直交変換係数値は、直交変換係数補正部２２へ送られ、その直交変換係数値は、イントラピクチャの場合と同様に処理された後、直交変換部２３、ゲイン調整部２４を経て、予測誤差画像が生成される。
【００５６】
座標補正部２７は、動きベクトル復号部２６から送られてきた参照画素位置を縮小後の縮小座標系に補正して、動き補償部２８に出力する。動き補償部２８は、補正された動きベクトルとフレームバッファ部２５に保持されている縮小済み参照画像を使い、縮小後のインターピクチャを生成する。
【００５７】
そして、縮小されたインターピクチャの縮小画像はフレームバッファ部２５に送られる。そして、このフレームバッファ部２５から表示装置８にインターピクチャの縮小画像が出力され、表示装置８は、その縮小画像を表示する。
【００５８】
図７は縮小されていない画像５１の小領域５３が持つ動きベクトル５２を座標補正部２７が補正する概略図であり、座標補正部２７は、図７の下側に示す縮小された画像５４の小領域５６が持つ動きベクトル５５に補正する。
【００５９】
座標補正部２７は、フレームバッファ部２５に格納されている参照画像の縮小率に応じて、画像の中心位置のズレを考慮して、縮小されていない画像における動きベクトルの座標の値を変換する。今回の縮小例では、まず、座標補正部２７は、縮小前の動きベクトルの大きさを、水平及び垂直方向にそれぞれ１/２の大きさに補正する。
【００６０】
図８は縮小前の通常画像（元画像）を水平及び垂直方向に１/２に縮小した縮小画像系で動き補償処理で参照する画素位置の関係を表している。
【００６１】
また、図８の表示例は、クォーターペル位置まで表現している。この場合、破線は、縮小前の通常画像の通常座標系のグリッドを表している。一方、実線は、１／２縮小後の縮小座標系のグリッドを表している。画像を縮小することは、絵をサンプリングする間隔を（縮小しない場合に比較して相対的に）広く取ると考えることもできるので、縮小後のグリッド間隔は広くなる。
【００６２】
上述した画像の縮小処理を行うと、画素のサンプル中心点はズレる。そのズレを考慮すると通常画像の座標(０,０)の画素と、縮小画像の座標(０,０)の画素は、実空間の別の位置を指すことになる。
【００６３】
なぜならば、高周波側成分を省いて逆ＤＣＴ処理を施すことは、結果的に上述したようにローパスフィルタを通して画素を間引きする処理に相当するため、縮小座標系の画素位置は、中心方向に位置がずれることになる。そのため、単純に動きベクトルの値の大きさを水平及び垂直方向に１／２にスケール（縮小）するだけではなく、通常座標系での動きベクトルの画素位置を縮小後の縮小座標系に合わせるように、水平及び垂直方向に（０．２５，０．２５）だけ位置補正する。
【００６４】
本実施例は、このような位置補正を行うことにより、より厳密に参照画素位置に対応した補正を行う。そして本実施例は、このように位置補正することにより異なるフレーム間における画像の合成を位置ずれを少なく行うことができ、画質を向上する効果を持つ。以下、具体的に位置補正を説明する。
【００６５】
例えば、水平及び垂直方向にそれぞれ１/２に画像を縮小する場合において、座標補正部２７に入力された参照画素位置が(２,１)であるとする。
【００６６】
縮小画像の整数ペル座標軸は、通常座標系において、１/２シフトした位置になる。また、１/２縮小後の縮小座標系では通常座標系の整数ペルがハーフペル扱いになる。そのため、縮小座標系での参照画像位置は、(０.７５,０.２５)に変換される。同様に、参照画素位置が通常座標系で(３.５,３.７５)であるときを考えると、図８に示すように、縮小座標系で表現すると、同空間点は(１.３７５,１.１２５)となる。
【００６７】
従って、動きベクトルが示す通常座標系での画素位置Posを、１/２縮小する縮小座標系の場合で一般化して表すと、次式になる。
【００６８】
Pos'＝Pos／２−０．２５                      （３）
ここで、Posは、通常座標系での動きベクトルが指し示す画素位置であり、Pos'は縮小座標系での対応する動きベクトルの画素位置である。
【００６９】
また、参照画素位置に合わせて補正する場合、縮小後の縮小座標系で表現する画素位置は、通常座標系の値より２倍細かくなる。つまり、前の具体例では通常座標系で(３.５,３.７５)の位置は、縮小座標系では(１.３７５,１.１２５)の位置となる。
【００７０】
通常座標系においてハーフペル位置(１/２画素位置)を差す場合、縮小座標系ではその位置は、クォーターペル位置(１/４画素位置)を指すようになる。ＭＰＥＧ-４規格の場合、ハーフペルもしくはクォーターペル位置までしか、その規格上では表現できない。
【００７１】
この場合、１/８画素位置を動き補償部２８で生成することも考えられるが、新たなプログラムやハードウェアの追加が必要となるため、好ましいものにならない。そのため、動きベクトルの補正において丸め処理を行うことで、低コストに済ませることが可能になる。
【００７２】
丸め処理を単純に下方向丸めや若しくは上方向丸めを実施した場合、誤差が累積してしまう。このため、本実施の形態では、ピクチャ（フレーム）ごとに上方向丸めと下方向丸めを交互に切り替えて、誤差の累積を最小に抑制する。
【００７３】
つまり、ある番号ｍ（ｍは自然数）のピクチャで上記(１.３７５,１.１２５)の位置を下方向丸めの処理を行うと、(１.２５,１.００)となり、次の番号ｍ＋１のピクチャでは上方向の丸め処理を行うことにより、（１．５０，１．２５）の位置となる。本実施の形態では、動き補償部２８は、このようにピクチャ毎に上方向丸めと下方向丸めを交互に切り替える。
【００７４】
なお、この切り替えの単位は、ピクチャ毎、若しくは適宜の時間周期で切り替えてもよいし、マクロブロック毎等、適宜の処理領域単位毎に切り替えても良い。
【００７５】
本実施の形態ではこのように丸め処理をフレーム単位（適宜の時間周期でも良い）若しくは処理領域単位毎に適切に行うようにして、誤差の累積を抑制し、画質の良い縮小画像が得られるようにしている。
【００７６】
従って、本実施の形態によれば、画像の逆ＤＣＴ処理により、縮小処理を簡単かつ少ない演算量で縮小画像を得ることができると共に、画像縮小の際に折り返しノイズが混入することを防止できる。
【００７７】
また、インターピクチャの画像の場合には、動きベクトルを縮小画像に合わせて適切に位置補正でき、画質の良い縮小画像を得ることができる。また、逆ＤＣＴ処理により生成される縮小画像として、ＤＣＴ処理により低周波側にエネルギ集中する特性を保持した状態での縮小画像を得ることができる。
【００７８】
（第２の実施の形態）
次に図９を参照して本発明の第２の実施の形態に係る動画像復号装置を説明する。第１の実施の形態においては、通常画像を水平及び垂直方向にそれぞれ１／２に縮小する場合で説明した。これに対して本実施の形態は、例えばＭＰＥＧ-４の動画像を水平方向及び垂直方向にそれぞれNx/８,Ny/８に縮小画像にして復号及び表示する。ここで、Nx,Nyは、それぞれ８未満の自然数である。
【００７９】
本実施の形態に係る構成は、第１の実施の形態と類似している。例えば、第１の実施の形態に係る図１から図３に示したブロック構成は、本実施の形態と同じである。但し、図３における直交変換係数補正部２２、直交変換部２３、ゲイン調整部２４、動きベクトル復号部２６、座標補正部２７、動き補償部２８の処理が一部異なる。
【００８０】
このため、本実施の形態においては、第１の実施の形態と異なる部分のみ説明する。また、第１の実施の形態と同じ構成要素は、同じ符号を用いて説明する。
【００８１】
本実施の形態においては、可変長復号部２１は、実施例１と同様の処理を行う。そして、この可変長復号部２１は、復号の処理に得られた直交変換係数値を、直交変換係数補正部２２に送る。直交変換係数補正部２２は、Nx/８,Ny/８の縮小画像の生成に対応した係数となるように補正して、補正した直交変換係数値を直交変換部（逆ＤＣＴ部）２３に出力する。
【００８２】
水平方向及び垂直方向の直交変換する画素数をそれぞれNxo,Nyoとした場合には、一般に逆ＤＣＴ変換式は、
ｆ(x,y)=
2/(NxoNyo)-1/2ΣuΣvc(u)c(v)F(u,v)cos((2x+1)uπ/Nxo)cos((2y+1)vπ/Nyo)   (4)
と表される。但し、
c(u),c(v)=1/2-1/2  u,v=0 の場合
c(u),c(v)=1 u=1,2,…,Nxo-1 v=1,2,…,Nyo-1の場合
この場合、通常の画像縮小を行わない場合は、Nxo＝Nyo＝８である。
【００８３】
本実施例において、Nx/８,Ny/８の縮小画像を行う場合の係数行列は、低周波側のNx×Nyが採用され、高周波側の係数は採用されない。
【００８４】
例えば、水平方向に３／８、垂直方向に４／８に縮小する場合には、３×４の係数行列が採用される。これに対応して、逆ＤＣＴ基底も水平方向及び垂直方向に周波数の低いものに対応する３×４のものが採用される。
【００８５】
このように（４）式に示すような縮小倍率に対応した逆ＤＣＴ処理を行うことにより、簡単かつ少ない処理用で逆ＤＣＴ処理を行うことができると共に、画像を縮小する際の折り返しノイズの混入を防止できる。
【００８６】
つまり、本実施の形態では、採用する逆ＤＣＴ基底は、（ＤＣＴ変換における）ＤＣ成分となる最低の周波数のものからNx-1までのもの、垂直方向には周波数０（ＤＣ成分）となる最低の周波数のものからNy-1までのものに相当するものを採用し、これらよりも高周波側に相当する逆ＤＣＴ基底を用いない。このため、この逆ＤＣＴ処理は、画像を縮小する際の折り返しノイズの発生及び混入を防止する。
【００８７】
また、本実施の形態では、ゲイン調整部２４は画像の縮小率に対応したスケール補正を行う。
【００８８】
以下、ゲイン調整部２４での係数をスケールする定数の算出方法について説明する。
【００８９】
上記のように水平及び垂直方向にそれぞれNx/８,Ny/８に画像縮小した場合には、その縮小画像の画素数に設定すると、（４）式に示す定数項は、２／(（Nx/8)(Ny/8))1/2になる。つまり、８x８の逆ＤＣＴ処理を行う場合と比べて、定数項の比は２／（８×８）1/2÷２／(（Nx/8)(Ny/8))1/2=(NxNy)1/2となる。
【００９０】
つまり(NxNy)1/2倍になる。そのため、ゲイン調整部２４において、縦横のＤＣＴ基底の逆数の平方根の値でそれぞれスケールする。つまり、ゲイン調整部２４では逆変換後の定数値を(NxNy) 1/2で除算しスケーリングを実施する。
【００９１】
また、動きベクトル補償部２８は、動きベクトルを縮小倍率の(NxNy) 1/2/８倍し、大きさを縮小画像に合わせ、さらに位置補正されたもので縮小画像を生成する。このように動き補償部２８では、そうして補正した動きベクトルと、縮小済みの参照画像を用いて縮小後のインターピクチャを得る。
【００９２】
図９は通常画像を例えば、水平方向及び垂直方向に３/８に縮小した縮小画像の動き補償処理で参照する画像の画素位置の関係を表している。
【００９３】
水平方向及び垂直方向に１/２に縮小の場合と同様に、画素を表現する中心位置がずれるため、補正する必要がある。この図９の例では、通常座標系では、動きベクトルが例えば（３．５，１．５）の位置は、縮小座標系では（２．５，１）の位置になる。
【００９４】
また、通常座標系では、動きベクトルが例えば（２，４）の位置は、縮小座標系では（１．３７５，１．８７５）の位置になる。この場合には、あるフレーム番号ｍにおいては（２，４）の位置は、縮小座標系では下方向の丸め処理により（１．２５，１．７５）の位置になり、次のフレーム番号ｍ＋１においては上方向の丸め処理により（１．５０，２．００）の位置になる。
【００９５】
このようにＭＰＥＧ−４の規格内となるように丸め処理を行うと共に、丸め処理の誤差が蓄積しないように位置補正することにより、簡単な処理で、画質の良いインターピクチャの縮小画像を生成できる。
【００９６】
動き補償部２８で生成された縮小後のインターピクチャは次のインターピクチャ復号のため、フレームバッファ部２５に保持される。フレームバッファ部２５はイントラピクチャの場合と同様に、結果出力装置としての表示装置８に縮小後の画像を出力する。
【００９７】
図１０は、１/M縮小の場合の画素位置を示している。ただし、Mは正の整数である。１/Mに縮小する場合、縮小後の縮小座標系における画素間には、縮小前の通常画像の座標系(Ａ)の画素が間引かれてM-１画素が存在する。いいかえると、通常座標系(Ａ)における位置１は、縮小座標系においては、位置１/Mになる。通常座標系(Ａ)の位置３は、縮小座標系(Ｂ)で表現すると３/Mとなる。
【００９８】
式にして表すと、Pos”＝Pos／Ｍとなる。ここで、Posは通常座標系(Ａ)、Pos”は縮小座標系での位置である。
【００９９】
図９においては、３／８の場合であるが、１/Mに縮小する場合に適用すると、原点座標(０,０)は縮小後の縮小座標系と縮小前の通常画像とで位置がずれる。Mが奇数の場合、通常画像座標系で整数位置になり、偶数の場合、ハーフペル位置になる。なぜなら、通常画像におけるM画素の中心位置が縮小後の画像になるためである。よって、１/Mに縮小する場合、原点は、Pos'＝Pos／M−(M-1)/(2M)となる。縮小画像を生成する場合、逆ＤＣＴ係数ごとに行う。そのため、縮小倍率は、Nx/８、Ny/8に拘束される。例えばNx=Ny＝Nとして、上式(5)のMにN/8を代入すると、次式になる。
【０１００】
Pos'＝N・Pos／8−(8-N)/(16)                      （５）
このように本実施の形態によれば、実施の形態１と同様に縮小画像を生成する処理を簡単かつ少ない処理量で短時間に行えると共に、縮小画像に折り返しノイズが混入発生することを防止することができる。
【０１０１】
また、本実施例は、動きベクトルを縮小した場合、縮小前の動きベクトルの位置を精度良く近似した画質の良いインターピクチャの縮小画像を簡単な処理で生成できる。
【図面の簡単な説明】
【０１０２】
【図１】図 １は本発明の第１の実施の形態に係る画像縮小装置を示す構成図。
【図２】図 ２は図 １の画像縮小機能付き復号装置のイントラ画像の処理詳細を示す平面図。
【図３】図 ３は図 １の画像縮小機能付き復号装置のインター画像の処理詳細を示す平面図。
【図４】図 ４は図 ２および図 ３の変換係数補正部の処理詳細を示す図。
【図５】図 ５は図 ３の座標補正部の処理詳細を示す図。
【図６】図 ６は図 ５の座標補正部における元画像座標系と１/２縮小画像座標系の関係を示す図。
【図７】図 ７は図 ５の座標補正部における元画像座標系と３/８縮小画像座標系の関係を示す図。
【図８】図８は動きベクトル補正における縮小前の通常画像座標系と水平及び垂直方向に１／２に縮小した縮小画像座標系の関係を示す図。
【図９】図９は動きベクトル補正における縮小前の通常画像座標系と水平及び垂直方向に３／８に縮小した縮小画像座標系縮小した縮小画像座標系の関係を示す図。
【図１０】図１０は通常座標系における例えば水平方向の画素の位置と１／２，１／３、１／４に縮小した場合の画素の位置の関係を示す図。
【符号の説明】
【０１０３】
１…動画像復号装置
７…縮小機能付き復号装置
８…表示装置
２１…可変長復号部
２２…直交変換係数補正部
２３…直交変換部
２６…動きベクトル復号部
２７…座標補正部
２８…動き補償部
【図１】
2007288446.tif 000003
【図２】
2007288446.tif 000004
【図３】
2007288446.tif 000005
【図４】
2007288446.tif 000006
【図５】
2007288446.tif 000007
【図６】
2007288446.tif 000008
【図７】
2007288446.tif 000009
【図８】
2007288446.tif 000010
【図９】
2007288446.tif 000011
【図１０】
2007288446.tif 000012