(57)【要約】  【課題】  画像の復号においてエッジ付近でのリンギングを低減し、回路構成が簡単であり、回路規模が簡単になる画像復号装置と方法を提供する。  【解決手段】  画像復号装置１は、ＶＬＤブロック２０、ＩＱブロック３０、ＤＣＴ帯域フィルタ４０、ＩＤＣＴブロック５０、加算ブロック７０からなるＤＣＴブロック２００と並列にアップサンプル処理付・動き補償（ＭＣ）ブロック６０を設ける。ＤＣＴブロック２００の処理結果、すなわち、低解像度画像データをフレームメモリ９０に記憶させながら、アップサンプル処理付・ＭＣブロック６０がフレームメモリ９０に記憶された低解像度画像データをアップサンプルして動き補償した画像を加算ブロック７０に出力して合成する。ＤＣＴ帯域フィルタ４０のＤＣＴ係数は、低周波成分から高周波成分に向けて段階的にカットする係数とすることが望ましい。【選択図】    図４
2005303897.tif 000002
【特許請求の範囲】
【請求項１】
連続するフレーム画像について動きベクトルを検出し、離散コサイン（ＤＣＴ）変換し、量子化し、可変長符号化されて、各フレーム画像が、イントラ（Ｉ）ピクチャ、前方向予測（Ｐ）ピクチャ、双方向予測（Ｂ）ピクチャとして符号化された画像データを復号し、さらに復号画像を、水平方向および／または垂直方向について低解像度の画像に変換する画像復号装置において、
前記低解像度の画像に変換された画像を記憶するメモリ手段と、
前記符号化された画像から、離散コサイン係数、予測パラメータおよび動きベクトル（ＭＶ）を可変長復号する可変長復号手段と、
前記メモリ手段に記憶されている低解像度の画像をアップサンプリングして前記低解像度の画像に変換する前の前記復号画像に戻すアップサンプリング手段を有し、該アップサンプリング手段の結果と前記可変長復号手段からの動きベクトルおよび予測パラメータを参照して動き補償をした予測画像を生成する、アップサンプリングおよび動き補償（ＭＣ）手段と、
前記可変長復号手段において復号されたＤＣＴ係数を逆量子化する逆量子化（ＩＱ）手段と、
該逆量子化結果を離散コサイン帯域フィルタリングする離散コサイン（ＤＣＴ）帯域フィルタ手段と、
該離散コサイン帯域フィルタ手段を通過した結果を逆離散コサイン変換して画像を生成する逆離散コサイン変換（ＩＤＣＴ）手段と、
該生成された画像と前記アップサンプリングおよび動き補償手段で生成した予測画像とを加算して前記復号画像を生成する加算手段と、
該生成された復号画像を前記低解像度の画像に変換して前記メモリ手段に記憶するダウンサンプリング手段と
を具備し、
前記ＩＱ手段、前記ＤＣＴ帯域フィルタ手段、前記ＩＤＣＴ手段、前記加算手段および前記ダウンサンプリング手段の処理結果を前記メモリ手段に記憶させながら、前記アップサンプリングおよびＭＣ手段が前記メモリ手段に記憶された低解像度の画像をアップサンプリングして動き補償した画像を前記加算手段に出力することを特徴とする、
画像復号装置。
【請求項２】
前記ＤＣＴ帯域フィルタ手段は、水平方向および／または垂直方向に、低周波帯域から高周波帯域に向けて、カットしない係数、任意の値で段階的にカットする係数、および、カットする係数が配列されている、
請求項１に記載の画像復号装置。
【請求項３】
前記任意の値で段階的にカットする係数は、分母を２の巾乗で表され、分子が２の巾乗の加減算した結果で表される、
請求項２に記載の画像復号装置。
【請求項４】
前記ＤＣＴ帯域フィルタは、入力データをＮビット左にシフトするＮビット左シフタと、該Ｎビット左シフタの結果と入力データとの加減算を行う加減算器と、前記Ｎビット左シフタの結果または前記加減算器の結果のいずれかを選択して出力するセレクタと、該セレクタの出力をＮビット右にシフトするＮビット右シフタとで構成される、
請求項３に記載の画像復号装置。
【請求項５】
前記アップサンプリングおよびＭＣ手段は、
前記メモリ手段から低解像度の画像を読み出して前記復号画像の精度の画像に生成するアップサンプリング手段と、
前記予測パラメータを参照して前記メモリ手段に記憶されている低解像度の画像データを読み出す手段と、
該読みだされた画像データと、前記アップサンプリングした画像とについて前記動きベクトルを用いて半画素精度の動き補償をして、前記加算手段に出力する半画素精度動き補償手段と
を有する、
請求項１に記載の画像復号装置。
【請求項６】
前記アップサンプリングおよびＭＣ手段における前記アップサンプリング手段は、３次近似ＳＩＮＣ関数を用いて前記低解像度の画像を前記復号画像の精度にアップサンプリングする、
請求項５に記載の画像復号装置。
【請求項７】
前記アップサンプリングおよびＭＣ手段における前記アップサンプリング手段では、画素データが境界面（フレーム端）で、サンプリングすべき画素データが無いときには隣接画素のコピーを用いてフィルタリングを行い、画素補間演算を行う、
請求項５または６に記載の画像復号装置。
【請求項８】
前記符号化画像は、ＭＰＥＧ２方式で符号化された画像である、
請求項１〜７のいずれかに記載の画像復号装置。
【請求項９】
前記処理はマクロブロック単位で行う、
請求項８に記載の画像復号装置。
【請求項１０】
連続するフレーム画像について動きベクトルを検出し、離散コサイン（ＤＣＴ）変換し、量子化し、可変長符号化されて、各フレーム画像が、イントラ（Ｉ）ピクチャ、前方向予測（Ｐ）ピクチャ、双方向予測（Ｂ）ピクチャとして符号化された画像データを復号し、さらに復号画像を、水平方向および／または垂直方向について低解像度の画像に変換する画像復号方法であって、
前記符号化された画像から、離散コサイン係数、予測パラメータおよび動きベクトル（ＭＶ）を可変長復号する可変長復号工程と、
メモリに記憶されている低解像度の画像をアップサンプリングして前記低解像度に画像に変換する前の前記復号画像に戻すアップサンプリング処理を行い該アップサンプリング処理の結果と前記可変長復号工程で得られた動きベクトルおよび予測パラメータを参照して動き補償をした予測画像を生成する、アップサンプリングおよび動き補償（ＭＣ）工程と、
前記可変長復号工程において復号されたＤＣＴ係数を逆量子化する逆量子化（ＩＱ）工程と、
該逆量子化結果を離散コサイン帯域フィルタリングする離散コサイン（ＤＣＴ）帯域フィルタ工程と、
該離散コサイン帯域フィルタ処理した結果を逆離散コサイン変換して画像を生成する逆離散コサイン変換（ＩＤＣＴ）工程と、
該生成された画像と前記アップサンプリングおよび動き補償工程で生成した予測画像とを加算して前記復号画像を生成する加算工程と、
該生成された復号画像を前記低解像度の画像に変換して前記メモリに記憶するダウンサンプリング工程と
を具備し、
前記ＩＱ工程、前記ＤＣＴ帯域フィルタ工程、前記ＩＤＣＴ工程、前記加算工程および前記ダウンサンプリング工程の処理結果を前記メモリに記憶させながら、前記アップサンプリングおよびＭＣ工程が前記メモリに記憶された低解像度の画像をアップサンプリングして動き補償した画像を前記加算工程において合成させることを特徴とする、
画像復号方法。
【請求項１１】
前記ＤＣＴ）帯域フィルタ工程における係数は、水平方向および／または垂直方向に、低周波帯域から高周波帯域に向けて、カットしない係数、任意の値で段階的にカットする係数、および、カットする係数が配列されている、
請求項１０に記載の画像復号方法。
【請求項１２】
前記任意の値で段階的にカットする係数は、分母を２の巾乗で表され、分子が２の巾乗の加減算した結果で表される、
請求項１１に記載の画像復号方法。
【請求項１３】
前記ＤＣＴ帯域フィルタ工程における処理は、入力データをＮビット左にシフトし、該Ｎビット左シフタの結果と入力データとの加減算を行い、前記Ｎビット左シフトした結果または前記加減算結果のいずれかを選択し、該選択出力をＮビット右にシフトする、
請求項１２に記載の画像復号方法。
【請求項１４】
前記アップサンプリングおよびＭＣ工程は、
前記メモリ手段から低解像度の画像を読み出して前記復号画像の精度の画像に生成するアップサンプリング工程と、
前記予測パラメータを参照して前記メモリ手段に記憶されている低解像度の画像データを読み出す工程と、
該読みだされた画像データと、前記アップサンプリングした画像とについて前記動きベクトルを用いて半画素精度の動き補償をして、前記加算工程において合成のために出力する半画素精度動き補償工程と
を有する、
請求項１０に記載の画像復号方法。
【請求項１５】
前記アップサンプリングおよびＭＣ工程における前記アップサンプリング処理は、３次近似ＳＩＮＣ関数を用いて前記低解像度の画像を前記復号画像の精度にアップサンプリングする、
請求項１４に記載の画像復号方法。
【請求項１６】
前記アップサンプリングおよびＭＣ工程における前記アップサンプリング処理は、画素データが境界面（フレーム端）で、サンプリングすべき画素データが無いときには隣接画素のコピーを用いてフィルタリングを行い画素補間演算を行う、
請求項１４または１５に記載の画像復号方法。
【請求項１７】
前記符号化画像は、ＭＰＥＧ２方式で符号化された画像である、
請求項１０〜１６のいずれかに記載の画像復号方法。
【請求項１８】
連続するフレーム画像について動きベクトルを検出し、離散コサイン（ＤＣＴ）変換し、量子化し、可変長符号化されて所定の符号化された画像データを復号し、さらに復号画像を、水平方向および／または垂直方向について低解像度の画像に変換する画像復号方法であって、
前記符号化された画像から、離散コサイン係数、予測パラメータおよび動きベクトル（ＭＶ）を可変長復号する可変長復号工程と、
メモリに記憶されている低解像度の画像をアップサンプリングして前記低解像度に画像に変換する前の前記復号画像に戻すアップサンプリング処理を行い該アップサンプリング処理の結果と前記可変長復号工程で得られた動きベクトルおよび予測パラメータを参照して動き補償をした予測画像を生成する、アップサンプリングおよび動き補償（ＭＣ）工程と、
前記可変長復号工程において復号されたＤＣＴ係数を逆量子化する逆量子化（ＩＱ）工程と、
該逆量子化結果を離散コサイン帯域フィルタリングする離散コサイン（ＤＣＴ）帯域フィルタ工程と、
該離散コサイン帯域フィルタ処理した結果を逆離散コサイン変換して画像を生成する逆離散コサイン変換（ＩＤＣＴ）工程と、
該生成された画像と前記アップサンプリングおよび動き補償工程で生成した予測画像とを加算して前記復号画像を生成する加算工程と、
該生成された復号画像を前記低解像度の画像に変換して前記メモリに記憶するダウンサンプリング工程と
を具備し、
前記ＩＱ工程、前記ＤＣＴ帯域フィルタ工程、前記ＩＤＣＴ工程、前記加算工程および前記ダウンサンプリング工程の処理結果を前記メモリに記憶させながら、前記アップサンプリングおよびＭＣ工程が前記メモリに記憶された低解像度の画像をアップサンプリングして動き補償した画像を前記加算工程において合成させることを特徴とする、
画像復号方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は符号化画像情報の復号装置とその方法に関する。
本発明は特に、ＭＰＥＧで符号化された高品位の画像データを低解像度の画像データに復号する画像復号装置と画像復号方法に関する。
【背景技術】
【０００２】
近年、ディジタル衛星（ＢＳディジタル）放送や、ディジタルテレビジョン（地上波ディジタル）放送開始に伴い、画像データ符号化技術、たとえば、ＭＰＥＧ（Moving Pictures Experts Group）方式のディジタル圧縮技術を用いた高解像度画像の圧縮符号化データを複数復号化すると共に、復号化された複数の画像を表示装置に同時に表示するために、全ての画像データ、あるいは一部の画像データを縮小して表示することが求められている。
【０００３】
画像データ符号化技術、たとえば、ＭＰＥＧ２のＭＰ＠ＭＬ／ＭＰ＠ＨＬ規格に準拠したコーデック（ＣＯＤＥＣ）用大規模集積回路（ＬＳＩ）がすでに種々存在する中で、たとえば、水平方向１９２０×垂直方向１０８０画素の高品位テレビジョン（ＨＤＴＶ）用画像データなどを処理するために必要なコーデック用ＬＳＩを実現するため、画像データを縮小する演算処理部、ビデオメモリなどで構成される回路の規模は増大となっている。
そのため、回路規模の小型化を図ることが試みられており、そのような回路規模の小型化（縮小化）対策の１つとして、ＨＤＴＶ用画像データを低解像度画像データに変換する変換技術、すなわち、ダウンサイジング処理技術を用いる方法が知られている。
【０００４】
そのような低解像度画像への変換技術として、特開２００２−１１２２５９号公報（特許文献１）に開示された技術が提案されている。
【０００５】
一般的に画像の縮小化方法（低解像度画像化処理方法）としては、画素値の高周波成分を除去してから画素値を間引くことで行う。なお、高周波成分を除去せずに単に画素値だけを間引くと、画像中の高周波成分が低周波成分として現れ、折り返し雑音が生じる。そこで、そのような弊害を改善する方法が種々提案されている。
【０００６】
図１に、画像縮小化処理（ダウンサイジング処理）を行う画像復号装置の第１の従来技術の例示を図解する。
画像復号装置１００は、復号器１１０と、低解像度変換ブロック１２０と、フレームメモリ１３０とを有する。
低解像度画像への切り替え処理を行う装置は、図１に示すように、復号器１１０とは別に低解像度変換ブロック１２０を設ける構成が一般的である。
【０００７】
復号器１１０は、バッファ１１１と、可変長復号化ブロック１１２と、逆量子化ブロック１１３と、逆離散コサイン変換（ＩＤＣＴ）ブロック１１４と、動き補償（ＭＣ）ブロック１１５と、加算部１１６とを有する。
低解像度変換ブロック１２０は、ローパスフィルタ（低域通過フィルタ、ＬＰＦ）１２１と、ダウンサンプル処理部１２２と、アップサンプル処理部１２３とを有する。
【０００８】
バッファ１１１には、たとえば、ＭＰＥＧ２  ＭＰ＠ＭＬ／ＭＰ＠ＨＬ規格で符号化された画像データがビットストリームとして入力される符号化データをバッファリングする。
可変長復号化ブロック１１２はバッファ１１１から出力された入力符号化データを可変長復号化して各ブロック及びマクロブロックに対する離散コサイン変換（ＤＣＴ）係数を算出する。逆量子化ブロック１１３は可変長復号化ブロック１１２で算出したＤＣＴ係数を逆量子化し、逆離散コサイン変換（ＩＤＣＴ）ブロック１１４は逆量子化結果を逆離散コサイン変換して参照画素データを生成する。
【０００９】
フレームメモリ１３０には低解像度変換された画像データが記憶されているから、アップサンプル処理部１２３が元の符号化画像データと同じ分解能の画像データに戻して動き補償ブロック１１５に出力する。
動き補償ブロック１１５は、アップサンプル処理部１２３から出力された画像データと、可変長復号化ブロック１１２から出力される、ＭＰＥＧ２  ＭＰ＠ＭＬ／ＭＰ＠ＨＬ規格に基づいて得られた、動きベクトルＭＶおよび予測モードに基づいて予測画像データを生成する。予測モードとしては、イントラ（Ｉ）モード、前方向予測（Ｐ）モード、双方向予測（Ｂ）モードとがある。
加算部１１６はＩＤＣＴブロック１１４において得られた参照画素データと動き補償ブロック１１５で得られた予測画像データとを合成する。
【００１０】
加算部１１６において合成して得られた画素値がローパスフィルタ１２１において低周波成分を通過させられ、ダウンサンプル処理部１２２において、たとえば、１／２に、ダウンサンプリング処理して（縮小化処理して）して元の画像データの解像度の、たとえば、１／２の低解像度の画像データに変換する。
その結果が、フレームごとに、フレームメモリ１３０に格納される。
【００１１】
図２に、画像縮小化処理（ダウンサイジング処理）を行う画像復号装置の第２の従来技術の例示を示す。
画像復号装置１００Ａは、図１に図解した復号器１１０における逆量子化ブロック１１３と逆離散コサイン変換（ＩＤＣＴ）ブロック１１４との間にＤＣＴフィルタ１１７を挿入した復号器１１０Ａと、図１に図解した低解像度変換ブロック１２０におけるローパスフィルタ１２１を削除した低解像度変換ブロック１２０Ａと、フレームメモリ１３０とを有する。
画像復号装置１００Ａにおいても、低解像度画像への切り替え処理を行う低解像度変換ブロック１２０Ａは復号器１１０Ａとは別に設けられている。
【００１２】
バッファ１１１〜逆量子化ブロック１１３における処理、および、アップサンプル処理部１２３、動き補償ブロック１１５による予測画像データの生成処理は図１を参照して述べた第１の従来技術と同様である。
逆量子化ブロック１１３において各ブロックおよびマクロブロックに対するＤＣＴ係数を逆量子化した係数データに対して、ＤＣＴフィルタ１１７において図３に示す水平方向の高周波ＤＣＴ成分係数を切り捨てるフィルタ処理を施す。図３は、８×８のサイズのマクロブロックについて、半分の低周波成分はカット（遮断）しないで、残り半分の高周波成分をカットする係数を示すフィルタ係数を示す。
ＩＤＣＴブロック１１４で逆ＤＣＴ処理して参照画素データを生成し、加算部１１６において動き補償ブロック１１５からの予測画像データと参照画素データとを合成する。その結果をダウンサンプル処理部１２２においてダウンサンプリングして、フレームメモリ１３０に格納する。
【００１３】
図１および図２に図解したように、低解像度画像への切り替え処理を行う低解像度変換ブロック１２０、１２０Ａを、復号器１１０、１１０Ａとは別にも設けている画像復号装置におけるダウンサンプリング方式（低解像度画像化処理方法）は下記に列挙する不利益に遭遇している。
【００１４】
図１に図解した画像復号装置１００においては、空間的な画素値にローパスフィルタ１２１における低域フィルタ処理を施す。よって、ローパスフィルタ１２１としてたとえば、トラスンバーサルフィルタ、ＩＩＲフィルタなどで構成した場合、Ｎタップを有するフィルタであれば、Ｎタップと同数の追加の乗算回路及び加算回路が必要となり、必要とするハードウェア回路規模が大きくなる。
【００１５】
図２に図解した画像復号装置１００Ａにおいては、ＤＣＴフィルタ１１７において図３に示すように水平方向の高周波ＤＣＴ係数を直線的に切り捨てるので、スムーズなフィルタリングを実現できず、図１３を参照して後述するように、復号化画像においてエッジ付近に「リンギング現象」が発生する。
【００１６】
上述した不利益を克服するために、特表２００１−５０６０９９号公報（特許文献２）に開示されている「ＨＤＴＶ変換システム」においては、空間領域における低域通過フィルタに代えて、周波数領域においてＤＣＴ係数を処理するＤＣＴ領域フィルタを用いる技術が開示されている。このＤＣＴ領域低域通過フィルタは、空間領域におけるブロック反射フィルタに由来しており、フィルタ係数値は空間領域における数値分析によって最適化される。
水平方向のフィルタリング動作は、対応するＤＣＴフィルタ係数値で各列のＤＣＴ係数を重み付けすることで可能なので、乗算が１回増えるだけで対応できる。その結果、ハードウェアの実装としてはＤＣＴフィルタ係数値を格納しておくメモリ、たとえば、ＲＯＭと重み付けを行う乗算回路を必要とする。
【特許文献１】特開２００２−１１２２５９号公報
【特許文献２】特表２００１−５０６０９９号公報
【発明の開示】
【発明が解決しようとする課題】
【００１７】
特許文献２に開示されている技術では、「−２０４８」〜「０」〜「２０４７」の値をとる１２ビットの逆量子化後のＤＣＴ係数と１０ビットのＤＣＴフィルタ係数の乗算回路が必要になり、これも回路規模増加の要因となる。
【００１８】
上述したように、従来技術は、復号化画像においてエッジ付近に「リンギング現象」が発生する、回路構成が複雑になり、回路規模も大規模化するという問題に遭遇している。
【００１９】
本発明の目的は、復号化画像においてエッジ付近での「リンギング現象」を低減し、回路構成が簡単であり、回路規模が小型になる画像復号装置を提供することにある。
また本発明の目的は、復号化画像においてエッジ付近での「リンギング現象」を低減し、処理方法が簡単になる画像復号方法を提供することにある。
【課題を解決するための手段】
【００２０】
本発明の第１観点によれば、連続するフレーム画像について動きベクトルを検出し、離散コサイン（ＤＣＴ）変換し、量子化し、可変長符号化されて、各フレーム画像が、イントラ（Ｉ）ピクチャ、前方向予測（Ｐ）ピクチャ、双方向予測（Ｂ）ピクチャとして符号化された画像データを復号し、さらに復号画像を、水平方向および／または垂直方向について低解像度の画像に変換する画像復号装置であって、
前記低解像度の画像に変換された画像を記憶するメモリ手段と、
前記符号化された画像から、離散コサイン係数、予測パラメータおよび動きベクトル（ＭＶ）を可変長復号する可変長復号手段と、
前記メモリ手段に記憶されている低解像度の画像をアップサンプリングして前記低解像度に画像に変換する前の前記復号画像に戻すアップサンプリング手段を有し、該アップサンプリング手段の結果と前記可変長復号手段からの動きベクトルおよび予測パラメータを参照して動き補償をした予測画像を生成する、アップサンプリングおよび動き補償（ＭＣ）手段と、
前記可変長復号手段において復号されたＤＣＴ係数を逆量子化する逆量子化（ＩＱ）手段と、
該逆量子化結果を離散コサイン帯域フィルタリングする離散コサイン（ＤＣＴ）帯域フィルタ手段と、
該離散コサイン帯域フィルタ手段を通過した結果を逆離散コサイン変換して画像を生成する逆離散コサイン変換（ＩＤＣＴ）手段と、
該生成された画像と前記アップサンプリングおよび動き補償手段で生成した予測画像とを加算して前記復号画像を生成する加算手段と、
該生成された復号画像を前記低解像度の画像に変換して前記メモリ手段に記憶するダウンサンプリング手段と
を具備し、
前記ＩＱ手段、前記ＤＣＴ帯域フィルタ手段、前記ＩＤＣＴ手段、前記加算手段および前記ダウンサンプリング手段の処理結果を前記メモリ手段に記憶させながら、前記アップサンプリングおよびＭＣ手段が前記メモリ手段に記憶された低解像度の画像をアップサンプリングして動き補償した画像を前記加算手段に出力することを特徴とする、画像復号装置が提供される。
【００２１】
好ましくは、前記ＤＣＴ帯域フィルタ手段は、水平方向および／または垂直方向に、低周波帯域から高周波帯域に向けて、カットしない係数、任意の値で段階的にカットする係数、および、カットする係数が配列されている。
また好ましくは、前記任意の値で段階的にカットする係数は、分母を２の巾乗で表され、分子が２の巾乗の加減算した結果で表される。
好ましくは、前記ＤＣＴ帯域フィルタは、入力データをＮビット左にシフトするＮビット左シフタと、該Ｎビット左シフタの結果と入力データとの加減算を行う加減算器と、前記Ｎビット左シフタの結果または前記加減算器の結果のいずれかを選択して出力するセレクタと、該セレクタの出力をＮビット右にシフトするＮビット右シフタとで構成される。
【００２２】
好ましくは、前記アップサンプリングおよびＭＣ手段は、
前記メモリ手段から低解像度の画像を読み出して前記復号画像の精度の画像に生成するアップサンプリング手段と、
前記予測パラメータを参照して前記メモリ手段に記憶されている低解像度の画像データを読み出す手段と、
該読みだされた画像データと、前記アップサンプリングした画像とについて前記動きベクトルを用いて半画素精度の動き補償をして、前記加算手段に出力する半画素精度動き補償手段と
を有する。
【００２３】
好ましくは、前記アップサンプリングおよびＭＣ手段における前記アップサンプリング手段は、３次近似ＳＩＮＣ関数を用いて前記低解像度の画像を前記復号画像の精度にアップサンプリングする。
【００２４】
また好ましくは、前記アップサンプリングおよびＭＣ手段における前記アップサンプリング手段は、画素データが境界面（フレーム端）で、サンプリングすべき画素データが無いときには隣接画素のコピーを用いてフィルタリングを行い画素補間演算を行う。
【００２５】
本発明の第２観点によれば、連続するフレーム画像について動きベクトルを検出し、離散コサイン（ＤＣＴ）変換し、量子化し、可変長符号化されて、各フレーム画像が、イントラ（Ｉ）ピクチャ、前方向予測（Ｐ）ピクチャ、双方向予測（Ｂ）ピクチャとして符号化された画像データを復号し、さらに復号画像を、水平方向および／または垂直方向について低解像度の画像に変換する画像復号方法であって、
前記符号化された画像から、離散コサイン係数、予測パラメータおよび動きベクトル（ＭＶ）を可変長復号する可変長復号工程と、
メモリに記憶されている低解像度の画像をアップサンプリングして前記低解像度に画像に変換する前の前記復号画像に戻すアップサンプリング処理を行い該アップサンプリング処理の結果と前記可変長復号工程で得られた動きベクトルおよび予測パラメータを参照して動き補償をした予測画像を生成する、アップサンプリングおよび動き補償（ＭＣ）工程と、
前記可変長復号工程において復号されたＤＣＴ係数を逆量子化する逆量子化（ＩＱ）工程と、
該逆量子化結果を離散コサイン帯域フィルタリングする離散コサイン（ＤＣＴ）帯域フィルタ工程と、
該離散コサイン帯域フィルタ処理した結果を逆離散コサイン変換して画像を生成する逆離散コサイン変換（ＩＤＣＴ）工程と、
該生成された画像と前記アップサンプリングおよび動き補償工程で生成した予測画像とを加算して前記復号画像を生成する加算工程と、
該生成された復号画像を前記低解像度の画像に変換して前記メモリに記憶するダウンサンプリング工程と
を具備し、
前記ＩＱ工程、前記ＤＣＴ帯域フィルタ工程、前記ＩＤＣＴ工程、前記加算工程および前記ダウンサンプリング工程の処理結果を前記メモリに記憶させながら、前記アップサンプリングおよびＭＣ工程が前記メモリに記憶された低解像度の画像をアップサンプリングして動き補償した画像を前記加算工程において合成させることを特徴とする、画像復号方法が提供される。
【００２６】
本発明の第３観点によれば、連続するフレーム画像について動きベクトルを検出し、離散コサイン（ＤＣＴ）変換し、量子化し、可変長符号化されて所定の符号化された画像データを復号し、さらに復号画像を、水平方向および／または垂直方向について低解像度の画像に変換する画像復号方法であって、
前記符号化された画像から、離散コサイン係数、予測パラメータおよび動きベクトル（ＭＶ）を可変長復号する可変長復号工程と、
メモリに記憶されている低解像度の画像をアップサンプリングして前記低解像度に画像に変換する前の前記復号画像に戻すアップサンプリング処理を行い該アップサンプリング処理の結果と前記可変長復号工程で得られた動きベクトルおよび予測パラメータを参照して動き補償をした予測画像を生成する、アップサンプリングおよび動き補償（ＭＣ）工程と、
前記可変長復号工程において復号されたＤＣＴ係数を逆量子化する逆量子化（ＩＱ）工程と、
該逆量子化結果を離散コサイン帯域フィルタリングする離散コサイン（ＤＣＴ）帯域フィルタ工程と、
該離散コサイン帯域フィルタ処理した結果を逆離散コサイン変換して画像を生成する逆離散コサイン変換（ＩＤＣＴ）工程と、
該生成された画像と前記アップサンプリングおよび動き補償工程で生成した予測画像とを加算して前記復号画像を生成する加算工程と、
該生成された復号画像を前記低解像度の画像に変換して前記メモリに記憶するダウンサンプリング工程と
を具備し、
前記ＩＱ工程、前記ＤＣＴ帯域フィルタ工程、前記ＩＤＣＴ工程、前記加算工程および前記ダウンサンプリング工程の処理結果を前記メモリに記憶させながら、前記アップサンプリングおよびＭＣ工程が前記メモリに記憶された低解像度の画像をアップサンプリングして動き補償した画像を前記加算工程において合成させることを特徴とする、画像復号方法が提供される。
【発明の効果】
【００２７】
本発明によれば、復号処理中において、ダウンサンプル／アップサンプルにより低解像度画像に変換する構成を持つ。すなわち、ＤＣＴ処理手段が復号処理中にダウンサンプル処理手段においてダウンサンプル処理してメモリ手段にその結果、すなわち、低解像度画像データを記憶し、アップサンプル処理付ＭＣ手段がメモリ手段から読み出した低解像度解画像データをデコード処理中にアップサンプル処理して元の解像度画像に変換する。さらに本発明においては、適応フィルタリング可能な低解像度画像へのダウンコンバージョンを行う。
【００２８】
また、ＤＣＴ帯域フィルタ手段の周波数領域におけるＤＣＴ係数の高周波成分を、容易に実現可能な小規模なハードウェアを追加して段階的に除去可能なダウンコンバージョン手法をとる。この手法により、復号化画像におけるエッジ付近での「リンギング」を低減し、ダウンデコード時の解像度劣化を軽減することが可能となる。
【００２９】
本発明のアップサンプル処理付・動き補償（ＭＣ）手段において、低解像度画像の動き補償演算において、水平方向画素をアップサンプルする際に３次近似ＳＩＮＣ関数を用いたフィルタをかけ、画素の復元とともに水平方向方の画素補間演算処理も兼ねた処理を行う。
また、アップサンプル処理付・動き補償（ＭＣ）手段におけるアップサンプル処理において、マクロブロック境界面（フレーム外でサンプリングする画素が無い時）では隣接画素のコピーを用いてフィルタリングを行い、画素補間演算を行っている構成としている。これにより、比較的簡易な回路構成により、アップサンプル付きの動き補償回路を実現している。
【発明を実施するための最良の形態】
【００３０】
第１基本構成
図４は本発明の画像復号装置の実施の形態の画像復号装置の第１基本構成図である。
画像復号装置１は、バッファ１０と、可変長復号化（ＶＬＤ：Variable Length Decode）ブロック２０と、逆量子化（ＩＱ:Inversed Quantization) ブロック３０と、離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）帯域フィルタ４０と、逆離散コサイン変換（ＩＤＣＴ）ブロック５０と、アップサンプル処理付・動き補償（ＭＣ）ブロック６０と、加算ブロック７０と、ダウンサンプル処理ブロック８０と、フレームメモリ９０とを有する。
逆量子化（ＩＱ) ブロック３０、ＤＣＴ帯域フィルタ４０、逆離散コサイン変換（ＩＤＣＴ）ブロック５０、加算ブロック７０、ダウンサンプル処理ブロック８０を纏めて、離散コサイン変換（ＤＣＴ）ブロック２００と呼ぶ。
ＤＣＴブロック２００とアップサンプル処理付・動き補償（ＭＣ）ブロック６０とは並列に配置されている。
【００３１】
図４に図解した画像復号装置１の動作の概要を述べる。
画像復号装置１のバッファ１０には、符号化画像データとして、たとえば、水平方向１９２０×垂直方向１０８０画素の高品位テレビジョン（ＨＤＴＶ）用画像データが、たとえば、ＭＰＥＧ２  ＭＰ＠ＭＬ／ＭＰ＠ＨＬ規格で符号化されて入力される。
そのような符号化画像データは、図示しない画像符号化装置においてＭＰＥＧ２の規格に準じて、イントラ（Ｉ）ピクチャ、前方向予測（Ｐ）ピクチャ、双方向予測（Ｂ）ピクチャからなるＧＯＰ（Group Of Picture) について、たとえば、１６×１６画素のマクロブロック（ＭＢ）単位で、前フレームのマクロブロックの画像データとの変化分を動きベクトル（ＭＶ）として検出し、その変化分を、８×８のブロック単位で離散コサイン変換（ＤＣＴ）処理し、その結果を量子化し、量子化結果を可変長符号化する。
画像復号装置１は、ＶＬＤブロック２０、ＩＱブロック３０、ＤＣＴ帯域フィルタ４０、ＩＤＣＴブロック５０、アップサンプル処理付・ＭＣブロック６０および加算ブロック７０において、上記画像符号化装置の処理と逆の処理をして、符号化画像データを、符号化前の画像データと同じ解像度の画像に復元する。本実施の形態の画像復号装置１はさらにそのように復号した画像データを、さらに、ダウンサンプル処理ブロック８０で、水平方向、および／または、垂直方向に、低解像度に変換する。ただし、下記の記述においては、記述を簡単にするため、たとえば、水平方向に１／２に縮小化（ダウンサイジング）し、生成した低解像度画像データをフレームメモリ９０に記憶する場合について述べる。
このような画像復号装置１は、たとえば、コーデックＬＳＩに適した画像復号装置として使用される。
【００３２】
図１および図２に図解した画像復号装置と、図４に図解した画像復号装置１とを比較すると、図４におけるバッファ１０は図１および図２に図解したバッファ１１１に該当し、可変長復号化（ＶＬＤ）ブロック２０はＶＬＤ１１２に該当し、逆量子化（ＩＱ) ブロック３０はＩＱブロック１１３に該当し、逆離散コサイン変換（ＩＤＣＴ）ブロック５０はＩＤＣＴブロック１１４に該当し、加算ブロック７０は加算部１１６に該当し、ダウンサンプル処理ブロック８０はダウンサンプル処理部１２２に該当し、フレームメモリ９０はフレームメモリ１３０に該当する。
図４に図解した画像復号装置１には、単独のアップサンプル処理部１２３は設けられておらず、アップサンプル処理付・動き補償（ＭＣ）ブロック６０としてアップサンプル処理付ＭＣブロック６０に一体化されている。図１に図解したローパスフィルタ１２１は設けられていない。
図４のＤＣＴ帯域フィルタ４０は図２のＤＣＴフィルタ１１７に対応しているが、その詳細内容、特に、ＤＣＴ係数は後述するように異なる。
【００３３】
詳細構成例
図５は図４に図解した画像復号装置１の詳細構成例を図解した図である。
図５のバッファ１０および可変長復号化（ＶＬＤ）ブロック２０は図４のそれらと同じである。
図４に図解したように、逆量子化（ＩＱ) ブロック３０、ＤＣＴ帯域フィルタ４０、逆離散コサイン変換（ＩＤＣＴ）ブロック５０、加算ブロック７０、ダウンサンプル処理ブロック８０を離散コサイン変換（ＤＣＴ）ブロック２００を呼び、図５に図解したように、ＤＣＴブロック２００に、画像メモリ・インタフエース（Ｉ／Ｆ）部７と、ＤＣＴブロック制御部２２０を付加したものをＤＣＴブロック２００Ａと呼ぶ。
【００３４】
アップサンプル処理付ＭＣブロック６０は、内部ブロック動作制御部６２と、予測マクロブロック取得制御部６４と、アップサンプルブロック６８を有する半画素精度動き補償部６６と、画像メモリＩ／Ｆ部６９とを有する。
フレームメモリ９０は、低解像度画像データについて複数のフレーム分の記憶容量を持つ。フレームメモリ９０の各フレームについての低解像度画像データは、輝度信号Ｙ、第１色差信号Ｃｂ、第２色差信号Ｃｒの形態で表されている。
【００３５】
図４および図５に図解した画像復号装置１の動作を、本発明の実施の形態として特徴部分を中心に述べる。画像復号装置１の基本動作は、ＭＰＥＧ２の画像情報復号化方法に基づく。
バッファ１０には、たとえば、水平方向１９２０×垂直方向１０８０画素の高品位テレビジョン（ＨＤＴＶ）用画像データが、たとえば、ＭＰＥＧ２  ＭＰ＠ＭＬ／ＭＰ＠ＨＬ規格で符号化されて入力されている。
画像復号装置１は、一旦ＨＤＴＶ用画像データを復元し、さらに最終的には、たとえば、水平方向の画素を１／２、すなわち、９６０画素にダウンサイジング（縮小）した画像をフレームメモリ９０に記憶する。
【００３６】
可変長復号化（ＶＬＤ）ブロック
ＶＬＤブロック２０は、バッファ１０から出力された符号化データ（ビットストリーム）を可変長復号化し、各ブロックおよびマクロブロック（ＭＢ）に対するＤＣＴ係数を生成して、ＤＣＴブロック２００ＡのＩＱブロック３０に出力する。また、ＶＬＤブロック２０は、符号化動きベクトルＭＶとマクロブロック（ＭＢ）パラメータ（予測モード／マクロブロックアドレス）をアップサンプル処理付・ＭＣブロック６０に出力する。
マクロブロック（ＭＢ）の画像サイズとしては、本実施の形態においては、たとえば、１６×１６画素である。
【００３７】
アップサンプル処理付・動き補償（ＭＣ）ブロック
内部ブロック動作制御部６２は、ＶＬＤブロック２０から出力されるマクロブロック（ＭＢ）パラメータ（予測モード／マクロブロックアドレス）を入力し、各動作モードにおける所望のタイミングなどの制御信号を生成する。予測モードＭＯＤＥとしては、ＭＰＥＧにおける、イントラ（Ｉ）ピクチャモード、前方向予測（Ｐ）ピクチャモード、双方向予測（Ｂ）ピクチャモードとがある。
予測マクロブロック取得制御部６４は、ＶＬＤブロック２０から出力される復号化動きベクトルＭＶを参照して必要な予測マクロブロック位置を演算し、その演算結果に基づき、画像メモリＩ／Ｆ部６９を介してフレームメモリ９０に格納されている各フレームについての対応する低解像度画像データを読み出す制御を行う。
画像メモリＩ／Ｆ部６９は予測マクロブロック取得制御部６４で演算した予測マクロブロック（ＭＢ）データを保存するメモリ、たとえば、ＦＩＦＯ（First-In /First-Out ）メモリを有し、そのＦＩＦＯメモリへのデータの書き込み制御を行う。
【００３８】
半画素精度動き補償部６６は、画像メモリＩ／Ｆ部６９内のＦＩＦＯメモリに保存した予測マクロブロック（ＭＢ）画像データを読出しながら、動き補償演算（垂直・水平２画素補間／４画素補間）を、ＶＬＤブロック２０から出力される復号化動きベクトル情報ＭＶに基づき行い、予測マクロブロック（ＭＢ）画像データを生成する。この処理過程において、予測マクロブロック（ＭＢ）画像データがＤＣＴブロック２００Ａにおいてダウンサンプルされた画像データであればアップサンプルブロック６８においてアップサンプル処理を行いながら、動き補償演算を実施する。
なお、画像符号化装置における動き補償は、ＭＰＥＧ方式に従って、半画素位置ずらして行われており、半画素精度動き補償部６６において半画素精度の動き補償を行う。
【００３９】
図６は、図５に図解したアップサンプル処理付・ＭＣブロック６０のうち、半画素精度動き補償部６６の詳細ブロック図を示す。
半画素精度動き補償部６６は、フィールド単位で動き補償演算するトップ・フィールド処理部６６０と、ボトム・フィールド処理部６７０と、さらに動き補償演算結果を格納するＦＩＦＯメモリ６８０からなる。
トップ・フィールド処理部６６０について述べる。なお、ボトム・フィールド処理部６７０はトップ・フィールド処理部６６０と類似した構成（処理内容）となる。
トップ・フィールド処理部６６０は、予測方向毎に、フォワード処理部６６１、バックワード処理部６６２と、さらに双方向予測処理部６６３を有する。
フォワード処理部６６１は、予測マクロブロック（ＭＢ）画素データを垂直２ライン分の画素データを入力する為のラインメモリ６６１Ａを有し、ラインメモリ６６１Ａにその画素データ２ラインに対して垂直・水平の画素補間演算をする。画素補間演算はノーマル水平方向補間演算部６６１Ｂ、アップサンプル水平方向補間演算部６６１Ｃの２つ演算ブロックがあり、これらの演算ブロックの結果をセレクタ６６１Ｄにおいて、予測ＭＢの画像に合わせて、本実施の形態では、ソフトウェアの設定により切替えて使用する。
バックワード処理部６６２についても上記フォワード処理部６６１と同様に演算する。
フォワード処理部６６１およびバックワード処理部６６２で求められたフォワード／バックワード予測それぞれの画素補間演算結果を双方向予測処理部６６３に入力し、双方向予測処理部６６３において双方向の画素補間演算が行われる。
ただし、双方向予測モードのみ動作し、片方向予測モードでは使用する予測方向の結果のみスルーされる結果となる。
【００４０】
アップサンプル処理付・ＭＣブロック６０の半画素精度動き補償部６６は、このようにして双方向予測処理部６６３で得られた演算結果をＦＩＦＯメモリ６８０に格納しておくが、所定のタイミングでＤＣＴブロック２００ＡからＦＩＦＯメモリ６８０に記憶されている演算結果の読み出しが行われ、逆量子化（ＩＱ)
ブロック３０、ＤＣＴ帯域フィルタ４０、ＩＤＣＴブロック５０において処理され復号画像が生成される。
【００４１】
半画素精度動き補償部６６はアップサンプルブロック６８を有しており、アップサンプルブロック６８は、図７に示すようにダウンサンプルされてフレームメモリ９０に格納されている低解像度画像データ（奇数画素が間引かれている）に対し、復元する画素位置周辺の４画素からサンプリングを行い、それぞれの画素にフィルタ係数をかけ、足し合わせることで水平方向の画素のアップサンプルを行う。
このフィルタ係数には画像解像度変換に一般的に使用されている、図８に例示した３次近似したＳＩＮＣ関数を用いており、その演算例を図９（Ａ）〜（Ｅ）に示す。
【００４２】
図９（Ａ）〜（Ｅ）において、ｓ０の画素を求める場合、ｐ０、ｐ１、ｐ２、ｐ３の画素をサンプリングし、それぞれの位置からＳＩＮＣ関数により、係数をかけた画素ｐ０´、ｐ１´、ｐ２´、ｐ３´を求め、その画素の総和をｓ０とし、復元した画素としている。
このことから、サンプル位置と復元位置の関係により、係数のパターンは４パターンとなる。復元位置は水平方向動きベクトル情報によって決るので、水平方向に対する２画素補間演算も同時に行われこととなる。
サンプル位置と復元位置のパターンを図１０（Ａ）〜（Ｄ）に示し、これらの係数の値を図１１に示す。なお、本実施の形態の画像復号装置１において係数そのものは、２５６倍した値で使用している。
【００４３】
なお、アップサンプルブロック６８における低解像度画像のサンプリングにおいて、フレーム境界面などでサンプリングすべき画素が無い場合の処理について、本実施の形態においては、図１２（Ａ）、（Ｂ）に示すとおり、隣接画素（境界端画素）のコピーを用いてフィルタリングをかけ、画素補間演算を行っている。
【００４４】
フレームメモリ
フレームメモリ１４は、各フレームについて、輝度信号Ｙ、第１色差信号Ｃｂ、第２色差信号Ｃｒを記憶する部分が、Ｎフレーム分有する。
本実施の形態はマクロブロック単位で処理を行う例を述べており、各フレームは複数のマクロブロックから構成される。
【００４５】
ＤＣＴブロック２００Ａ
図５に図解したＤＣＴブロック２００Ａについて述べる。
逆量子化（ＩＱ) ブロック３０で可変長復号化（ＶＬＤ）ブロック２０で生成したＤＣＴ係数について逆量子化を行う。
【００４６】
逆量子化された係数データに対してＤＣＴ帯域フィルタ４０で高周波領域の係数データをフィルタリングする。その際、図３に示す水平方向の高周波ＤＣＴ係数を直線的に切り捨てるフィルタを施すのではなく、たとえば、図１３（Ａ）に示すような中域部分を段階的にカットするフィルタを施すことにより、図３のＤＣＴ係数を用いた従来よりもスムーズなフィルタリングができ、かつ、小規模なハードウェア追加で実現することが可能となる。
図１３（Ａ）の係数の説明は後述し、ＤＣＴ帯域フィルタ４０の構成例は図１８を参照して後述する。
【００４７】
逆離散コサイン変換（ＩＤＣＴ）ブロック５０において逆離散コサイン変換する。
その結果が、加算ブロック７０において、アップサンプル処理付・ＭＣブロック６０からの予測マクロブロック（ＭＢ）画像データと加算して合成することで、符号化される前の画像データと同じ解像度で符号化画像を復号する。
【００４８】
ダウンサンプル処理ブロック８０は、加算ブロック７０で復号化した画像データについて、水平方向の画素を、たとえば、１／２に間引き、低解像画像データに変換する。
ダウンサンプル処理ブロック８０において変換された低解像度画像データは画像メモリＩ／Ｆ部２１０からフレームメモリ９０の該当するフレームの該当するマクロブロックの位置に記憶される。
【００４９】
ダウンサンプル処理ブロック８０におけるダウンサンプリングの詳細について述べる。
ダウンサンプル処理における前段として、ＤＣＴ帯域フィルタ４０におけるフィルタリング（ＤＣＴ係数カット）の手法として、図１３（Ａ）に示すように、ブロックサイズ８×８画素のＤＣＴ係数を水平方向の低域成分はカットせずにそのままにし、中域成分を[a],[b],[c]で段階的にカットし、高域成分を”０”に置き換える。
すなわち、図１３（Ａ）に例示した係数は、低周波成分から高周波成分に向かって、２画素分カットしない係数とし、高周波成分側の３画素をカットする係数にして、これらの間の中域分を段階的にカットする係数としている。中域成分に設定する[a],[b],[c]の値としては、段階的になるように、たとえば、「（1, 7/8, 1/8）、（1, 1, 1/8）、（7/8, 7/8,1/8）」などとする。こうすることでフィルタ特性が破線ＣＶ２、ＣＶ３に示したように、図１４に示すように実線ＣＶ１で示した従来の（1, 1, 0）より滑らかになり、復号化画像のエッジ付近に発生する「リンギング現象」を抑えることができる。
【００５０】
原画像を符号化して作成したビットストリームを、上述のカット手法でダウンデコードした際の原画に対するＳＮＲ（シグナル／ノイズ比率）の比較を図１５〜図１７に示す。図１５〜図１７はそれぞれ輝度信号Ｙと、第１色差信号Ｃｂと、第２色差信号Ｃｒを表し、従来のカット手法より良いのは明らかである。
【００５１】
ＤＣＴ帯域フィルタ４０に設定するフィルタ係数を、たとえば、１／８、７／８等と、２のべき乗で規定される係数に設定することで、図１８に示すように、ＤＣＴ帯域フィルタ４０を、１／８、７／８の分子側の値を求めるＮビット左シフタ４１、加減算器４２、分子成分のセレクタ４３、１／８、７／８の分母成分の計算をするＮビット右シフタ４４で容易に構成できる。
【００５２】
たとえば、フィルタ係数が７／８の場合についてＤＣＴ領域フィルタ４の動作を説明する。Ｎビット左シフタ４１においてＮ＝３ビット左にシフトして、入力されたＤＣＴ係数の８倍の値を求める。次いで、加減算器４２において、Ｎビット左シフタ４１で８倍にした値から入力したＤＣＴ係数を減算して、７倍のＤＣＴ係数を求める。この７倍のＤＣＴ係数をセレクタ４３から出力する。Ｎビット右シフタ４４において、Ｎ＝３ビット右にシフトすると、７／８の係数が得られる。
【００５３】
フィルタ係数が１／８の場合は、セレクタ４３で入力されたＤＣＴ係数を出力し、Ｎビット右シフタ４４において、Ｎ＝３ビット右にシフトすると、１／８の係数が得られる。
【００５４】
このように、ＤＣＴ帯域フィルタ４０は非常に簡単な構成となる。
【００５５】
本発明の実施の形態におけるピクチャのシームレスな低解像度画像への切り替えについて説明する。
本発明の実施の形態の低解像度画像処理の構成についてはすでに述べているとおり、ＤＣＴブロック２００Ａによる、（高周波成分カット・画素間引き処理）＋（アップサンプル処理付・ＭＣブロック６０によるアップサンプル処理にて行っている。
ピクチャ毎の低解像度画像への切り替えを行うには予測方向の処理毎に、あるいはフィールド処理毎にアップサンプル動き補償／ノーマル動き補償の切り替えが必要となる。
本発明の実施の形態の復号装置におけるアップサンプル処理付・ＭＣブロック６０の半画素精度動き補償部６６では、フィールド単位でアップサンプル動き補償／ノーマル動き補償の処理をソフトウェアの設定により切替える構成としている。
【００５６】
第１実施の形態の変形態様
第１実施の形態の画像復号装置１、１Ａとして、水平方向の解像度を半分にする低解像度変換について述べているが、ダウンサンプルの間引き率に応じたＤＣＴ係数のフィルタリング、アップサンプルの補間率に応じたフィルタリングをすることで、水平方向の解像度を、ｎ／８（ｎ＜８）にする解像度変換が可能である。
【００５７】
また本実施の形態の復号装置におけるダウンサンプル処理ブロック８０におけるダウンサンプリング処理については水平方向の周波数成分について述べているが、これは限定されるものではなく垂直方向の周波数成分についても同様に適用できる。
たとえば、ＤＣＴ帯域フィルタ４０のＤＣＴ係数として、図１３（Ａ）、（Ｂ）に例示した水平方向に加えて、同様に垂直方向についても準備し、水平方向の処理の後、さらに垂直方向についてフィルタ処理を行い、その結果について上記同様の処理を行う。
【００５８】
本実施の形態の画像復号装置１によれば、下記の利点を有する。
（１）本実施の形態の画像復号装置１は、図１８に回路構成例を例示したようにＤＣＴ帯域フィルタ４０など小規模なハードウェア追加で従来よりもスムーズなフィルタリングができ、復号化画像におけるエッジ付近での「リンギング」を低減し、ダウンデコード時の解像度劣化を軽減できる。
【００５９】
また、図１３（Ｂ）に示すように、８×８画素についてのＤＣＴ係数の各列に対して[0],[1],[2],[3],[4],[5],[6],[7]でフィルタリング（カット）するようにすれば、図１３（Ａ）に例示したＤＣＴ係数を用いた場合より、よりスムーズなフィルタリングが可能になるのは明らかである。
とりわけ、たとえば、空間領域でのＤＣＴ帯域フィルタ４０のフィルタ係数を、周波数領域での低域通過フィルタ係数値に変換して、分母が２の累乗になる値で近似すれば、小規模なハードウェア追加で容易に実現できる。
【００６０】
第２実施の形態
図１９は本発明の画像復号装置の第２実施の形態としての画像復号装置１Ｂの構成図である。
図１９に図解した画像復号装置１Ｂは、図４に図解した画像復号装置１に対して、係数判定ブロック２５が付加されている。
係数判定ブロック２５は、可変長復号化（ＶＬＤ）ブロック２０で可変長復号化された各マクロブロック（ＭＢ）に対するＤＣＴ係数から、ＤＣＴブロック２００ＢにおけるＤＣＴ帯域フィルタ４０で使用するフィルタ係数を周波数成分に応じて適応的に選択する。
その結果、より適切なフィルタ処理が可能となり、リンギングを一層抑制することができる。したがって、図１４の曲線ＣＶ２、ＣＶ３の特性よりさらにスムーズなフィルタ処理結果を得ることができる。
【００６１】
第３実施の形態
アップサンプル処理付・動き補償（ＭＣ）ブロック６０について、上述した本発明の実施の形態の画像復号装置１の構成においてはＨＤＴＶ画像データビットストリームのマルチデコード処理内容に主眼を置き、アップサンプル処理付・動き補償（ＭＣ）ブロック６０の性能向上（処理サイクル向上）のため、フォワード処理部６６１とバックワード処理部６６２とが並列化された構成となっているが、図２０に示すように本発明の一部であるフィールド処理単位の動き演算回路を時分割で使用する構成にも適応できる。これにより回路規模を削減することが可能である。
【００６２】
第４実施の形態
本発明によれば、複数のＨＤＴＶ画像ビットストリームをデコードするマルチデコード処理において、低解像度への変換をシームレスに切替えられる事により、復号処理を軽減する事ができる。
たとえば、フレームメモリ９０へのアクセス処理（量）を軽減する事によりメモリバンド幅を他の処理に活用でき、高効率のパフォーマンスを実現することも可能になる。
【００６３】
また、処理量に応じて、適宜解像度を切替える事（ソフトウェアによる）で、複数ストリームのマルチデコードにも対応する事が可能になる。
【００６４】
第５実施の形態
画像情報復号化手法としての本発明の実施の形態について述べたが、本発明の画像復号装置は、符号化／復号化を行うコーデックＬＳＩに対しても有用な回路である。
【００６５】
以上述べた本実施の形態の画像復号装置１〜１Ｂは下記の特徴を有する。
（１）復号処理中において、ダウンサンプル／アップサンプルにより低解像度画像に変換する構成を持つ。すなわち、ＤＣＴ処理ブロックが復号処理中にダウンサンプル処理ブロック８０においてダウンサンプル処理してフレームメモリ９０にその結果、すなわち、低解像度画像データを記憶し、アップサンプル処理付ＭＣブロック６０がフレームメモリ９０から読み出した低解像度解画像データをデコード処理中にアップサンプル処理して元の解像度画像に変換する。
（２）適応フィルタリング可能な低解像度画像へのダウンコンバージョンを行う。すなわち、ＤＣＴ帯域フィルタ４０の周波数領域におけるＤＣＴ係数の高周波成分を、容易に実現可能な小規模なハードウェア追加で、段階的に除去可能なダウンコンバーション手法をとる。この手法により、復号化画像におけるエッジ付近での「リンギング」を低減し、ダウンデコード時の解像度劣化を軽減することが可能となる。
（３）アップサンプル込みの動き補償演算回路構成
アップサンプル処理付ＭＣブロック６０は、低解像度画像の動き補償演算において、水平方向画素をアップサンプルする際にＳＩＮＣ関数を用いたフィルタをかけ、画素の復元とともに水平方向方の画素補間演算処理も兼ねた処理を行う。また、アップサンプル処理付ＭＣブロック６０におけるアップサンプル処理において、マクロブロック境界面（フレーム外でサンプリングする画素が無い時）では隣接画素のコピーを用いてフィルタリングを行い、画素補間演算を行っている構成としている。これにより、比較的簡易な回路構成により、アップサンプル付きの動き補償回路を実現している。
【図面の簡単な説明】
【００６６】
【図１】図１は従来の第１の画像復号装置のブロック構成図である。
【図２】図２は従来の第２の画像復号装置のブロック構成図である。
【図３】図３は図２に図解した画像復号装置におけるＤＣＴフィルタの周波数帯域成分をカットするフィルタ係数の配置を示す図である。
【図４】図４は本発明の画像復号装置の第１基本構成図である。
【図５】図５は図４に図解した画像復号装置のより詳細な構成図である。
【図６】図６は図５に図解した画像復号装置におけるアップサンプル処理付・動き補償（ＭＣ）ブロックの回路構成図である。
【図７】図７は図６に図解したアップサンプル処理付・動き補償（ＭＣ）ブロック６０におけるアップサンプル方法を説明する図である。
【図８】図８は図７に図解したアップサンプル処理を行うために適用する３次近似ＳＩＮＣ関数を図解する図である。
【図９】図９（Ａ）〜（Ｅ）は本実施の形態の画像復号装置におけるアップサンプル処理方法を図解する図である。
【図１０】図１０（Ａ）〜（Ｄ）は本実施の形態の画像復号装置におけるアップサンプル処理時のサンプリングパターンを例示した図である。
【図１１】図１１は図１０（Ａ）〜（Ｄ）に図解した例示におけるフィルタ係数を示す図である。
【図１２】図１２（Ａ）、（Ｂ）は本実施の形態のアップサンプル処理における境界外処理を図解した図である。
【図１３】図１３（Ａ）、（Ｂ）は本発明の実施の形態の画像復号装置における周波数帯域成分（ＤＣＴ領域）をカットする第１例および第２例のフィルタ係数の配置を示す図である。
【図１４】図１４は図１３（Ａ）のフィルタ係数を用いた本実施の形態のＤＣＴ領域フィルタの特性と従来技術の特性を示すグラフである。
【図１５】図１５は輝度（Ｙ）についてＤＣＴ領域フィルタ係数を異ならせた時のＳＮＲの比較結果を図解するグラフである。
【図１６】図１６は第１色差（Ｃｂ）についてＤＣＴ領域フィルタの係数を異ならせた時のＳＮＲの比較結果を図解するグラフである。
【図１７】図１７は第２色差（Ｃｒ）についてＤＣＴ領域フィルタの係数を異ならせた時のＳＮＲの比較結果を図解するグラフである。
【図１８】図１８は図４に図解した本実施の形態の画像復号装置におけるＤＣＴ領域フィルタの回路図である。
【図１９】図１９は本発明の画像復号装置の第２基本構成図である。
【図２０】図２０は本発明の画像復号装置におけるアップサンプル処理付・動き補償（ＭＣ）ブロック６０の他の回路構成図である。
【符号の説明】
【００６７】
１…画像復号装置１
１０…バッファ
２０…可変長復号化（ＶＬＤ）ブロック
２００、２００…ＤＣＴブロック
３０…逆量子化（ＩＱ) ブロック
４０…ＤＣＴ帯域フィルタ
４１…Ｎビット左シフタ４１、４２…加減算器
４３・・セレクタ、４４…Ｎビット右シフタ
５０…逆離散コサイン変換（ＩＤＣＴ）ブロック
７０…加算ブロック
８０…ダウンサンプル処理ブロック
２１０…画像メモリＩ／Ｆ部、２２０…制御部
６０…アップサンプル処理付・動き補償（ＭＣ）ブロック
６２…内部ブロック動作制御部
６４…予測マクロブロック取得制御部
６６…半画素精度動き補償部
６６０…トップ・フィールド処理部
６６１…フォワード処理部
６６１Ａ…ラインメモリ
６６１Ｂ…ノーマル補間演算部
６６１Ｃ…アップサンプル補間演算部
６６１Ｄ…セレクタ
６６２…バックワード処理部
６６３…双方向予測処理部
６７０…ボトム・フィールド処理部
６８０…ＦＩＦＯメモリ
６８…アップサンプルブロック
６９…画像メモリＩ／Ｆ部
【図１】
2005303897.tif 000003
【図２】
2005303897.tif 000004
【図３】
2005303897.tif 000005
【図４】
2005303897.tif 000006
【図５】
2005303897.tif 000007
【図６】
2005303897.tif 000008
【図７】
2005303897.tif 000009
【図８】
2005303897.tif 000010
【図９】
2005303897.tif 000011
【図１０】
2005303897.tif 000012
【図１１】
2005303897.tif 000013
【図１２】
2005303897.tif 000014
【図１３】
2005303897.tif 000015
【図１４】
2005303897.tif 000016
【図１５】
2005303897.tif 000017
【図１６】
2005303897.tif 000018
【図１７】
2005303897.tif 000019
【図１８】
2005303897.tif 000020
【図１９】
2005303897.tif 000021
【図２０】
2005303897.tif 000022