(57)【要約】【課題】僅かな回路規模の追加で最も簡易なＧＭＣ情報を含んだ画像を再生することができる画像データ復号装置を提供することである。【解決手段】圧縮された画像データを復号処理する画像データ復号装置であって、画面全体の動き情報を保持する第１の保持回路１３と、所定の処理領域単位の動き情報を保持する第２の保持回路１４と、所定の処理領域単位で動き補償を行って、復号処理する動き補償復号部３０と、第１の保持回路１３で保持した画面全体の動き情報と第２の保持回路１４で保持した所定の処理領域単位の動き情報とを選択的に切り換えて、動き補償復号部３０に供給する選択回路４１とを備えたものである。【選択図】図１
2008042680.tif 000002
【特許請求の範囲】
【請求項１】
圧縮された画像データを復号処理する画像データ復号装置であって、
画面全体の動き情報を保持する第１の保持回路と、
所定の処理領域単位の動き情報を保持する第２の保持回路と、
前記所定の処理領域単位で動き補償を行って、復号処理する動き補償復号部と、
前記第１の保持回路で保持した画面全体の動き情報と前記第２の保持回路で保持した所定の処理領域単位の動き情報とを選択的に切り換えて、前記動き補償復号部に供給する選択回路と、
を具備したことを特徴とする画像データ復号装置。
【請求項２】
前記画面全体の動き情報を前記所定の処理領域単位で用いるか用いないかを示す情報を保持し、該情報にて前記選択回路の選択切換えを行うための第３の保持回路
を更に具備したことを特徴とする請求項１に記載の画像データ復号装置。
【請求項３】
前記画面全体の動き情報の最小単位が前記所定の処理領域単位の動き情報の最小単位より小さい場合、前記画面全体の動き情報の最小単位を前記所定の処理領域単位の動き情報の最小単位に丸めることを特徴とする請求項１又は２に記載の画像データ復号装置。
【請求項４】
画像データの色差成分の計算において１／４単位の内挿計算が必要な場合に、１／４単位を１／２単位に丸めてから、前記動き補償復号部で近似計算することを特徴とする請求項１乃至３のいずれか１つに記載の画像データ復号装置。
【請求項５】
クォーターピクセルの動き補償（Q-pel）モードの場合、前記画面全体の動き情報の値を１／２にしてから前記動き補償復号部に入力することを特徴とする請求項１乃至４のいずれか１つに記載の画像データの復号装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報量圧縮されたデジタル画像データ、特に画面全体の動き情報のほかに所定の処理領域単位の動き情報を含んだ画像データを復号処理する画像データ復号装置に関する。
【背景技術】
【０００２】
従来、画像信号を符号化または復号化する方式として、ISO/IEC 14496として規定されるＭＰＥＧ−４(Moving Picture Experts Group Phase-4)がある。ＭＰＥＧ−４は、動画像シーケンスを時間的及び空間的に任意の形状をとる動画像オブジェクトの集合体として扱い、各動画像オブジェクトを単位として符号化・復号化を行う方式である。
【０００３】
ＭＰＥＧ−４におけるデータ構造を説明すると、ＭＰＥＧ−４では時間軸を含めた動画像オブジェクトをＶＯ(Video Object)とし、このＶＯの構成要素をＶＯＬ(Video Object Layer)と呼び、ＶＯＬの構成要素をＧＯＶ(Group of Video Object Plane)とし、このＧＯＶの各時刻の状態を表し符号化の単位となる画像データをＶＯＰ(Video Object Plane)と呼ぶ。ＶＯは例えば、テレビ会議のシーンの中のそれぞれの人物や背景などに相当し、ＶＯＬはそれら人物や背景などの固有の時間・空間解像度をもつ単位であり、ＶＯＰはそれらＶＯＬの各時刻（＝フレームに相当）における画像データである。ＧＯＶはＶＯＰを複数集めた編集やランダムアクセスなどの単位として設けられているデータ構造で、符号化に必ずしも用いられなくてもよい。
【０００４】
ＭＰＥＧ−４におけるグローバル動き補償（Global Motion Compensation：以下ＧＭＣと略す）処理とは、画面全体の動き情報をフレーム単位で送信し、その情報を用いて過去の参照画像（参照フレーム）を補正して復号画像の再構成に用いるという処理である。ＧＭＣはＭＰＥＧ−４のＡＳＰ(MPEG-4 Advanced Simple Profile)に含まれる機能であり、規格書Part2の7.8節に定義されている。  
ＧＭＣとは、簡単に言うと、例えば図５のＧＭＣ概念図に示すように、カメラ自体が動いたことなどが原因で、図５(a)に示すように元々長方形だったものが、図５(a)の左右にある図５(b)，(c)に示すように遠近感をもって台形のように見えるような画面全体の動きを、元の長方形の画像に戻して復号処理に利用しようというものである。
【０００５】
ところが、このＧＭＣ処理をフルサポートするためには、アフィン変換や透視変換が必要なため回路規模の増加が著しいという問題がある。そのため、これまでに発表されたＬＳＩ(大規模集積回路)などではＧＭＣをサポート外としていることが多い。例えば、非特許文献１には、「MPEG-4 ASPの ビデオレコーディングに関して、グローバル動き補償（ＧＭＣ）についてはサポートしていない」の記載がなされている。
【０００６】
本発明者の調査においても、インターネット上に流通しているMPEG-4ストリームに、ＧＭＣフルサポートが必要なものは見つかっておらず、ごく僅かに１ポイント(以下、1-point)と呼ばれる最も簡単な場合のみ必要なストリームが存在しているのみである。しかも、ソフトウェアを用いて1-pointのストリームを生成している例のみである。1-pointは画面全体の動きが平行移動である場合に相当し、画面全体として１つの動きベクトルで表現できる。なお、画面全体が移動し回転している場合は2-point、アフィン変換は3-point、透視変換は4-pointと呼ばれ、図５(b)，(c)は4-pointに相当する。
【０００７】
図６(a)は画面全体が単に平行移動した状態（カメラが被写体に対して平行移動した状態に相当しており、１点のみの動きベクトルでよく1-pointである）を示している。この場合は、移動前後で画面全体に歪みが生じず、画面全体の内容が平行移動している。図６(b)は画面全体が移動によって台形に歪んだ状態（カメラが被写体に対して水平に回転した状態に相当しており、４点の動きベクトルを要し4-pointである）を示している。
【非特許文献１】米国シグマデザイン(SigmaDesign)社のチップEM8610Lのカタログ
【発明の開示】
【発明が解決しようとする課題】
【０００８】
そこで、本発明は、上記の問題に鑑み、僅かな回路規模の追加で最も簡易なＧＭＣ情報（例えば1-point）を含んだ画像を目視では正確な再生画像と区別できない程度の画質で再生することができる画像データ復号装置を提供することを目的とするものである。
【課題を解決するための手段】
【０００９】
本発明の一態様によれば、圧縮された画像データを復号処理する画像データ復号装置であって、画面全体の動き情報を保持する第１の保持回路と、所定の処理領域単位の動き情報を保持する第２の保持回路と、前記所定の処理領域単位で動き補償を行って、復号処理する動き補償復号部と、前記第１の保持回路で保持した画面全体の動き情報と前記第２の保持回路で保持した所定の処理領域単位の動き情報とを選択的に切り換えて、前記動き補償復号部に供給する選択回路と、を具備したことを特徴とする画像データ復号装置が提供される。
【発明の効果】
【００１０】
本発明によれば、僅かな回路規模の追加で最も簡易なＧＭＣ情報（例えば1-point）を含んだ画像を目視では正確な再生画像と区別できない程度の画質で再生することができる画像データ復号装置を提供することが可能となる。
【発明を実施するための最良の形態】
【００１１】
発明の実施の形態について図面を参照して説明する。  
ＭＰＥＧ−４に基づいて圧縮された画像データの復号処理において、ＧＭＣの特殊な場合、例えば1-pointの場合のみに着目し、1-pointのＧＭＣ処理が実質的には平行移動であることから、その処理内容を通常の１／２画素精度の動き補償回路で近似処理させることにより、僅かな回路規模の追加でＧＭＣを再生するものである。この処理方式はあくまで近似計算であることから、厳密に比較すると復号された画像には若干の誤差が存在するものの、目視上は正規の復号結果と区別できない程度であり、復号装置として充分な精度を保持することができる。
【００１２】
［第１の実施形態］
図１は本発明の第１の実施形態の画像データ復号装置を示すブロック図である。この図の実施形態は、ＭＰＥＧ−４のビデオデコーダ部の構成例を示している。
【００１３】
図１において、画像データ復号装置１は、可変長符号復号器（Variable-Length Decoder：以下ＶＬＤ部と略す）１０と、逆量子化・逆離散コサイン変換器（Inverse Quantization/Inverse Descrete Cosine Transform device：以下ＩＱ／ＩＤＣＴ部と略す）２０と、動き補償復号部（Motion Compensation Decoder：以下ＭＣ部と略す）３０と、選択回路であるセレクタ４１とを備えている。
【００１４】
ＶＬＤ部１０は、ビデオオブシェクトプレーンヘッダ復号回路（VOPヘッダ復号回路と略記する）１１と、マクロブロックヘッダ復号回路（以下MBヘッダ復号回路と略記する）１２と、画面全体の動き情報を保持する第１の保持回路であるＧＭＣレジスタ１３と、所定の処理領域単位（例えばマクロブロック単位）の動き情報（例えば動きベクトル）を保持する第２の保持回路であるＭＶレジスタ１４と、画面全体の動き情報を所定の処理領域単位で用いるか用いないかを示す情報を保持しこの情報でセレクタ４１の切換えを行うための第３の保持回路であるmcselレジスタ１５とを備えている。
【００１５】
ＶＬＤ部１０は、MPEG-4ストリームの可変長符号化データを入力して可変長符号復号するもので、入力データにＧＭＣ情報を含んでいることを検出することが可能である。
【００１６】
ＶＯＰヘッダ復号回路１１は、ＶＯＰタイプがＧＭＣ情報だった場合、これを検出してＧＭＣレジスタ１３に保持する。  
一方、ＶＯＰヘッダにＧＭＣ情報が含まれていても、入力データの各マクロブロック（以下、ＭＢと記す）単位でＧＭＣを使うか使わないかの選択をすることが可能である。マクロブロック（ＭＢ）は、所定の処理領域単位である所定数の画素の処理単位を表すが、MPEG-4では１６×１６の画素数の範囲（領域）の処理単位を表している。
【００１７】
ＭＢヘッダ復号回路１２は、ＭＢヘッダに含まれているＭＢ単位の通常の動きベクトル（以下ＭＶと記す）を検出してＭＶレジスタ１４に保持する一方、ＭＢヘッダに含まれていて各ＭＢ単位でＧＭＣを用いるか用いないかを示す情報（以下mcsel情報と記す）を検出してmcselレジスタ１５に保持する。換言すれば、mcsel情報はＧＭＣ情報の有り，無しを示す情報である。  
ＶＯＰヘッダにＧＭＣ情報が含まれている場合のみＭＢヘッダにmcsel情報が含まれているので、ＧＭＣレジスタ１３にＧＭＣ情報が保持されているときのみmcselレジスタ１５にmcsel情報が保持されることになる。
【００１８】
ＩＱ／ＩＤＣＴ部２０は、ＶＬＤ部１０で可変長符号復号化したデータを入力し、逆量子化・逆離散コサイン変換を行ってＭＣ部３０へ出力する。  
ＭＣ部３０は、ＩＱ／ＩＤＣＴ部２０で逆量子化及び逆離散コサイン変換したデータを入力し、後述するセレクタ４１からの選択的に出力される動きベクトルを用いて、ＭＢ単位で動き補償を行って復号処理を行う。
【００１９】
セレクタ４１は、ＧＭＣレジスタ１３で保持した画面（フレーム）単位の第１の動きベクトルとＭＶレジスタ１４で保持したＭＢ単位の第２の動きベクトルとを、mcselレジスタ１５からのmcsel情報のＧＭＣ情報の有り，無しによって選択的に切り換えて、ＭＣ部３０に供給する選択回路であって、mcsel情報が‘１’のとき即ちＧＭＣレジスタ１３からの画面単位の第１の動きベクトルをＭＢ単位で使う場合は、第１の動きベクトルをＭＣ部３０に供給し、mcsel情報が‘０’のとき即ち画面単位の第１の動きベクトルを使わなずＭＢ単位の第２の動きベクトルを使う場合は、ＭＶレジスタ１４からのＭＢ単位の第２の動きベクトルをＭＣ部３０に供給する。
【００２０】
上記の構成において扱うＧＭＣ情報は、１ポイント（平行移動）の場合のＧＭＣであるので、通常のＭＣの動きベクトルと同様な動きベクトルとしてＭＢ単位で使用可能である。従って、入力データとして１ポイントのＧＭＣ情報を含んだ圧縮データを入力した場合、そのＧＭＣ情報を用いて通常のＭＣ部３０で復号処理することが可能である。  
そこで、ＶＯＰヘッダ復号回路１１で検出したＧＭＣ情報のうち動きベクトルに関する情報をＭＣ部３０に転送する転送用バイパス回路としてのセレクタ４１を作成し、このセレクタ４１をmcsel情報のＧＭＣ情報有り‘１’又はＧＭＣ情報無し‘０’で切り替える構成としてある。
【００２１】
セレクタ４１は、mcsel情報が‘１’のとき、ＧＭＣレジスタ１３からの第１の動きベクトルをＭＣ部３０に供給し、mcsel情報が‘０’のとき、ＭＶレジスタ１４からの第２の動きベクトルをＭＣ部３０に供給する。  
ＭＣ部３０は、ＧＭＣ情報のうちの画面単位の動きベクトルであっても、通常のＭＢ単位の動きベクトルであっても、ＭＢ単位で動き補償を行って復号処理を行うことができる。
【００２２】
図２(a)は図１の装置を用いた再生画像の例を示し、図２(b)はＧＭＣは復号できない従来のチップにおいて、ＧＭＣせずに、回避処理として「直前の画像で代用する」処理を採用した場合の再生画像の例を示している。図２は映像信号が輝度信号で構成されている場合の例である。  
なお、ＧＭＣに対応していない従来の復号装置においては、このＧＭＣ情報とmcsel情報の２つのどちらかをＶＯＰヘッダ復号回路又はＭＢヘッダ復号回路で検出した場合、ＧＭＣ処理を実行できないので、通常処理でないことを示す何らかの回避処理を行う必要がある。回避処理をどうすべきかは規格では定められておらず、「エラーを表示して止まる」、「真っ黒にしておく」、「直前の画像で代用する」など、製品仕様により決定される事項である。
【００２３】
回避処理をしたもの（図２(b)）は画像が大きく歪んでいるのに対し、本実施形態を用いた再生画像（図２(a)）は目視ではノイズが判別できない程度の画質（精度）が得られている。このように復号結果の画像は目視では正規の復号画像と区別できない程度の品質であるにも関わらず、必要なハードウェア量を削減することが可能となる。  
ただし、このように良好な再生画像が得られるのはＧＭＣの中でも1-pointという簡単な場合のみであり、2-point, 3-point, 4-pointの場合には通常は歪みが残る。  
第１の実施形態によれば、ＧＭＣ専用のグローバル動き補償回路を用いなくても通常の動き補償回路を用いてＧＭＣの処理が可能になり、回路規模を削減することができる。
【００２４】
［第２の実施形態］
ＧＭＣ情報に含まれる動きベクトルは、その色差成分については１／４画素単位の内挿処理（後述するQ-pel処理とは異なる）を施されているのに対して、通常の動き補償を行うＭＣ部３０は通常の１／２画素単位の内挿処理にしか対応していない。つまり、通常の動きベクトルは１／２画素単位であるが、ＧＭＣ用の動きベクトルの場合は、輝度成分は１／２画素単位であるが、色差成分についてはそのまま演算すると１／４画素の情報が発生する。これは、通常、ＭＰＥＧでは、輝度信号Ｙと色差信号Ｃb，Ｃrの標本化密度（解像度）について、輝度信号Ｙに対して色差信号Ｃb，Ｃrは水平，垂直両方向ともに半分にした４：２：０フォーマットになっているためである。  
そこで、グローバル動き補償（ＧＭＣ）を行う場合は、ＧＭＣ情報の動きベクトルを通常の動き補償を行うＭＣ部３０に転送する前に、１／４画素単位の情報を１／２画素単位の値に丸める処理が必要となる。
【００２５】
図３は本発明の第２の実施形態の画像データ復号装置を示すブロック図である。この図の実施形態は、MPEG-4のビデオデコーダ部の構成例である。図１と同一部分には同一符号を付して説明する。  
図３の第２の実施形態の画像データ復号装置１Ａにおいて、図１の第１の実施形態と異なる点は、ＧＭＣレジスタ１３の出力端とセレクタ４１の一方の入力端との間に、丸め部４２を設けたことである。これにより、ＧＭＣレジスタ１３に保持したＧＭＣ情報の動きベクトルの最小単位（１／４画素単位）を、ＭＶレジスタ１４に保持した通常の動きベクトルの最小単位（１／２画素単位）と同じ１／２画素単位に丸めて出力することができる。
【００２６】
第２の実施形態によれば、ＧＭＣ専用の回路を用いなくても通常の動き補償回路においてＧＭＣの処理が可能になり、回路規模を削減することができる。画像データの色差成分について、１／４画素単位の内挿処理が必要な場合に、１／４単位の画素を１／２単位の画素に丸めて、通常の動き補償回路で動き補償処理を行うことが可能となる。従って、映像信号が輝度信号のほか色差信号を含んでいる場合に有用である。
【００２７】
［第３の実施形態］
MPEG-4のASPにはクォーターピクセル（1/4画素、Quarter-Pixel）の動き補償（以下Q-pelと記述する）が存在することから、前述の図３の第２の実施形態をQ-pelモードにも対応させるためには、第２の実施形態に対して追加のハードウエアが必要となる。具体的には、Q-pelモードの場合には、後続するＧＭＣ用の動きベクトル情報が通常の値の２倍の値を保持している。これは、Q-pelモードの場合は、色差成分については１／４画素が演算によって生じるが、輝度成分についても１／４画素単位の情報が発生する。１／４画素単位の情報と言っても、ＭＰＥＧでは整数値しか扱っていないので、エンコーダ側からデコーダ側へは４倍の値が送られてくることになる。ハーフピクセル（1/2画素、Ｈalf-Pixel）と呼ばれる１／２画素単位の場合は、２倍の値が送られてくる。動きベクトルについても、通常の動きベクトルは１／２画素単位であるが、Q-pelモードの場合は、１／４画素単位である。つまり、Q-pelモードの場合には、後続するＧＭＣ用の動きベクトル情報が通常の動きベクトル情報の値の２倍の値となっている。従って、Q-pelモードの場合、検出したＧＭＣ用の動きベクトル情報を半分にして後段のＭＣ部に伝える回路を付加する必要がある。
【００２８】
なお、図３の第２の実施形態における色差成分につていての１／４画素単位の内挿処理は、正確な定義通りに計算するのであれば補間画素を算出するのに隣接画素を単純に１：３に内挿演算するものであるが、本実施形態におけるQ-pel処理は、単純な１：３の内挿演算ではなく横，縦８タップのリサンプリングフィルタを用いて横，縦それぞれ８画素の値のフィルタ演算を行うことが必要である。
【００２９】
図４は本発明の第３の実施形態の画像データ復号装置を示すブロック図である。この図の実施形態は、MPEG-4のビデオデコーダ部の構成例である。図１と同一部分には同一符号を付して説明する。  
図４の第３の実施形態の画像データ復号装置１Ｂにおいて、図３の第２の実施形態と異なる点は、VOPヘッダ復号回路１１に代えてQ-pelモードを検出可能なVOLヘッダ復号回路とＧＭＣ情報を検出可能なVOPヘッダ復号回路とを一体化したVOL/VOPヘッダ復号回路１１ａを用いていることと、Q-pelモード情報を保持する第４の保持回路であるQ-pelレジスタ４３と、Q-pelモードの場合にＧＭＣ用の動きベクトル情報を１／２にする割り算器４４と、 Q-pelレジスタ４３にQ-pelモード情報が保持されている時は、ＧＭＣレジスタ１３に保持したＧＭＣ用の動きベクトル情報を割り算器４４で１／２に割り算した動きベクトルを選択して出力し、Q-pelレジスタ４３にQ-pelモード情報が保持されていない時は、ＧＭＣレジスタ１３に保持したＧＭＣ用の動きベクトル情報をそのまま選択して丸め部４２へ出力する選択回路であるセレクタ４５とを設けたことである。セレクタ４５については、Q-pelレジスタ４３にQ-pelモード情報が有り‘１’か、無し‘０’かに応じて、ＧＭＣレジスタ１３のＧＭＣ用の動きベクトル情報を１／２にして出力するか、そのまま出力するかを選択して丸め部４２へ供給する。その他の構成は、図３の第２の実施形態と同様である。なお、丸め部４２は、色差成分の１／４画素単位の情報を１/２画素単位の値に丸めるために存在することは図３の場合と同様である。
【００３０】
上記の構成においては、Q-pelモードの場合、検出したＧＭＣ用の動きベクトル情報を半分にして後段に伝える回路４３〜４５を付加している。そして、VOL/VOPヘッダ復号回路１１ａでQ-pelモード情報及びＧＭＣ情報を検出し、それらの検出したQ-pelモード情報及びＧＭＣ情報を用いて、ＧＭＣ情報の中の動きベクトル情報を半分にして、通常の動き補償処理回路による処理を行える。  
第３の実施形態によれば、Q-pelモードの場合であっても、ＧＭＣ専用の回路を用いずに通常の動き補償回路においてＧＭＣの処理が可能になり、回路規模を削減することができる。Q-pelモードの場合、画面全体の動き情報の値即ちＧＭＣ用の動きベクトルの値を１／２にしてから通常の動き補償回路で動き補償処理を行うことが可能となる。
【図面の簡単な説明】
【００３１】
【図１】本発明の第１の実施形態の画像データ復号装置を示すブロック図。
【図２】図１の装置による再生画像の例を示す図。
【図３】本発明の第２の実施形態の画像データ復号装置を示すブロック図。
【図４】本発明の第３の実施形態の画像データ復号装置を示すブロック図。
【図５】ＧＭＣを概念的に説明する説明図。
【図６】ＧＭＣの具体例に説明する説明図。
【符号の説明】
【００３２】
１，１Ａ，１Ｂ…画像データ復号装置
１３…ＧＭＣレジスタ（第１の保持回路）
１４…ＭＶレジスタ（第２の保持回路）
１５…mcselレジスタ（第３の保持回路）
３０…動き補償復号部（ＭＣ部）
４１，４５…セレクタ（選択回路）    
４２…丸め部
４３…Q-pelレジスタ（第４の保持回路）
４４…割り算器
【図１】
2008042680.tif 000003
【図２】
2008042680.tif 000004
【図３】
2008042680.tif 000005
【図４】
2008042680.tif 000006
【図５】
2008042680.tif 000007
【図６】
2008042680.tif 000008