(57)【特許請求の範囲】
【請求項１】
入力された画像信号を所定のブロック毎に分割し、前記ブロック毎に分割した画像信号を動き補償処理することなく直交変換するか動き補償処理した前記画像信号の残差信号を直交変換するかを示す選択情報及び動き補償処理を行なう場合に動きベクトルを表す付加情報の冗長部分を圧縮し、前記選択情報に基づいて選択された前記画像信号または前記画像信号の残差信号を前記ブロック毎に直交変換し、この直交変換係数の量子化処理、スキャン処理及び可変長符号化処理を行った後に、前記付加情報と前記直交変換係数を所定の方法で多重化して伝送する符号化方式により符号化された動画像信号を復号化する動画像復号化装置において、前記付加情報のうち選択情報を復号して、前記ブロック毎に分割した画像信号を動き補償処理することなく直交変換されたか動き補償処理した残差信号を直交変換されたかを決定し、動き補償処理を行なう場合には更に動きベクトルを含む付加情報の冗長部分の伸長を行なう論理演算素子で構成された処理手順決定手段と、前記直交変換係数の情報を復号する復号化手段と、この復号化手段で復号化した直交変換係数を逆スキャン処理する逆スキャン処理手段と、逆スキャン処理した直交変換係数を逆量子化する逆量子化する手段と、逆量子化した信号を逆直交変換する手段と、前記処理手順決定手段で冗長部分が伸長された前記付加情報に基づいて動き補償を行なう動き補償処理手段とを具備し、前記処理手順決定手段は、前記復号化手段が前記直交変換係数を復号するのと並行して、前記付加情報の冗長部分を伸長する処理を行なうことを特徴とする動画像復号化装置。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
本発明は、画像通信、伝送、蓄積のために可変長符号を用いて符号化されたビデオ信号等の画像信号を復号する動画像復号化装置に関し、特にＭＰＥＧ方式のようにＤＣＴ係数と付加情報を多重化して符号化された動画像信号の動画像復号化装置に関する。
【０００２】
【従来の技術】
Ｈ．２６１やＭＰＥＧ（Ｍｏｎｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔ  Ｇｒｏｕｐ）等の標準化委員会で作業が進められている動画像信号を符号化するためのブロック図の一例を図６に示す。これについて以下に説明する。入力端子１００１からマクロブロック毎に入力される画像は、そのまま動き補償判定回路１００２に入力されるものと、動き補償回路１００３に入力されるものに分けられる。動き補償回路１００３は、参照画像メモリ１００４の内容から動き予測を行い、動き補償の残差信号１００５と動きベクトル１００６と、参照画像信号１００７とを出力する。動き補償判定回路１００２には、原信号１００８と動き補償後の残差信号１００５とが入力され、動き補償を行うか行わないかを判定し、選択された方の信号１００９とどちらを選択したかを示すフラグ１０１０を出力する。ＤＣＴ回路１０１１では、入力される信号１００９を小ブロック毎に分割し、ＤＣＴ変換を行い、ＤＣＴ係数１０１２を出力する。逆量子化回路１０１３では、ＤＣＴ係数１０１２を量子化した値１０１４を、スキャン変換回路１０１５と逆量子化回路１０１６とに出力する。スキャン変換回路１０１５では、量子化されたＤＣＴ係数１０１４をジグザグスキャンし、可変長符号化回路１０１７に出力する。可変長符号化回路１０１７では、動き補償の判定フラグ１０１０と、動きベクトル１００６と、ジグザグスキャンの結果を符号化して多重化し、符号化出力１０１８を得る。
【０００３】
一方、逆量子化回路１０１６では、量子化されたＤＣＴ係数を逆量子化した結果を、逆ＤＣＴ回路１０１９に出力する。逆ＤＣＴ回路１０１９では、逆ＤＣＴの結果を局部復号信号作成回路１０２０に出力する。局部復号信号作成回路１０２０には、動き補償の判定フラグ１０１０と、参照画像信号１００７と、逆ＤＣＴの結果が入力され、動き補償を行っていた場合は、逆ＤＣＴの結果と参照画像信号を加算し、局部復号信号を作成する。また、動き補償が行われていない場合は、逆ＤＣＴの結果をそのまま局部復号信号とする。局部復号信号作成回路１０２０の出力は参照画像メモリに蓄えられる
動画像の標準化になる符号化に対応させた図６に示す方法で符号化された動画像信号を復号するための従来の動画像復号化装置を図７に示す。
【０００４】
符号化された画像信号は、入力端子１１０１から入力され、可変長符号復号回路１１０２で可変長符号の復号を行い、ＤＣＴ係数情報１１０３と付加情報１１０４とに分割される。ＤＣＴ係数情報１１０３はスキャン変換回路１１０５でスキャンを戻され、逆量子化回路１１０６で逆量子化され、逆ＤＣＴ回路１１０７で逆ＤＣＴを行われ、結果は復号信号作成回路１１０８に出力される。付加情報１１０４は付加情報冗長度伸長回路１１０９に入力され、動き補償の判定フラグ１１１０は動き補償回路１１１１と復号信号作成回路１１０８に出力され、動きベクトル情報１１１４は動き補償回路１１１１に出力される。動き補償回路１１１１では、動きベクトル情報をもとに、参照画像メモリ１１１２から参照画像を読み出して、復号信号作成回路１１０８に出力する。復号信号作成回路１１０８には、逆ＤＣＴの結果と、参照画像信号と、動き補償の判定フラグ１１１０が入力され、動き補償を行う場合は逆ＤＣＴの結果と参照画像信号を加えて復号信号１１１３を作成する。動き補償を行わないときは、逆ＤＣＴの結果を復号信号１１１３とする。復号信号１１１３は参照画像メモリ１１１２にも蓄えられ、次の画像の復号時に参照画像として用いられる。
【０００５】
ＤＣＴと動き補償を組み合わせて動画像符号化を行っている方式には、Ｈ．２６１方式、ＭＰＥＧ方式及びデジサイファー方式などが存在する。これらの方式は全て、それぞれ固有の規則（文法）に従って付加情報とＤＣＴ係数を多重化し、符号化がなされている。復号を行うには、ビットストリームの文法を逐次解釈しながら、復号を進めて行かなければならない。また、動きベクトルの付加情報は前のマクロブロックとの前値予測（ＤＰＣＭ）をとって伝送されてくるため、ＤＰＣＭを復元する必要がある。
【０００６】
従来から存在するＨ．２６１信号の復号化装置では、符号の復号後のシンボルレートが低いため、図７中の可変長符号復号化回路１１０２は、ビットシリアルで文法解釈を行いながら、可変長符号の復号を行うことにより、小さい回路規模で復号化装置を実現している。
【０００７】
しかし、この方法のようにビットシリアルに復号化をしているのでは、シンボルレートが高くなると、可変長符号復号化回路の動作が間に合わなくなる。単純計算では、最大符号長が１０ビットの可変長符号を復号後に２７ＭＨｚ／ｓｅｃのシンボルレートで復号するためのビットシリアル方式の可変長復号化回路では、２７（ＭＨｚ）×１０＝２７０（ＭＨｚ）のクロック周波数が必要になり、実現が困難になる。
【０００８】
そこで、シンボルレートが高い場合には、１シンボルを１クロックで復号できる可変長符号復号化回路が必要になる。そのような回路は、特願平３−２８６８５５に示された方法で実現可能であるが、回路規模が大きくなるという欠点がある。このため、低速ではあるが回路規模を小さくできる復号化回路と高速で大規模な復号化回路を組み合わせて回路規模の増加を抑えようという試みがなされている。
【０００９】
【発明が解決しようとする課題】
以上詳述してきたように、従来の動画像復号化装置では、シンボルレートが高い場合、回路規模が大きくなるため、回路規模の増加を抑える検討が試行錯誤で行われている現状である。特に、ＭＰＥＧ方式を用いたシステムとして、ＣＤカラオケやパソコン端末上での動画再生システムが考えられているが、これらは小型であることが望ましい。従って、動画像復号化回路の１チップ化を行い、小型化を行うことが必要である。
【００１０】
一方、ビットストリームの文法解釈をハードウェアシーケンサで行うと、一つの方式専用のチップとなる。また、ＭＰＥＧの文法の中には、ユーザが独自に定義できるデータを含むことを許している。従って、文法解釈部はプログラム可能であることが望まれ、ＡＬＵ等の論理演算素子を用いることが考えられる。ところが、ＡＬＵを文法解釈だけに用いたのでは利用効率が悪いため、利用効率を上げることにより、回路規模の縮小を図ることが必要になる。
【００１１】
本発明は、このような問題を解決すべくなされたもので、回路規模を縮小しつつ高速動作が可能な復号化回路と、ＡＬＵを用いてビットストリームの文法をプログラム可能にし、ＡＬＵを動画像復号化で必要な他の処理と共用することにより回路規模を縮小した動画像復号化装置を提供することを目的とする。
【００１２】
上記目的を達成するために本発明においては、入力された画像信号を所定のブロック毎に分割し、前記ブロック毎に分割した画像信号を動き補償処理することなく直交変換するか動き補償処理した前記画像信号の残差信号を直交変換するかを示す選択情報及び動き補償処理を行なう場合に動きベクトルを表す付加情報の冗長部分を圧縮し、前記選択情報に基づいて選択された前記画像信号または前記画像信号の残差信号を前記ブロック毎に直交変換し、この直交変換係数の量子化処理、スキャン処理及び可変長符号化処理を行った後に、前記付加情報と前記直交変換係数を所定の方法で多重化して伝送する符号化方式により符号化された動画像信号を復号化する動画像復号化装置において、前記付加情報のうち選択情報を復号して、前記ブロック毎に分割した画像信号を動き補償処理することなく直交変換されたか動き補償処理した残差信号を直交変換されたかを決定し、動き補償処理を行なう場合には更に動きベクトルを含む付加情報の冗長部分の伸長を行なう論理演算素子で構成された処理手順決定手段と、前記直交変換係数の情報を復号する復号化手段と、この復号化手段で復号化した直交変換係数を逆スキャン処理する逆スキャン処理手段と、逆スキャン処理した直交変換係数を逆量子化する逆量子化する手段と、逆量子化した信号を逆直交変換する手段と、前記処理手順決定手段で冗長部分が伸長された前記付加情報に基づいて動き補償を行なう動き補償処理手段とを具備し、前記処理手順決定手段は、前記復号化手段が前記直交変換係数を復号するのと並行して、前記付加情報の冗長部分を伸長する処理を行なうことを特徴とするものである。
【００１３】
【作用】
本発明の動画像復号化装置は、マクロブロックの先頭に記録されている選択情報を復号し、当該マクロブロックが動き補償を行なうものであるか否かを決定する。そして動き補償処理を行なうマクロブロックについては、復号化手段によって直交変換係数を復号している間に論理演算素子（ＡＬＵ）で構成された処理手順決定手段により動きベクトルを含む付加情報を伸長しているので、より高速動作が可能な動画像復号化装置を提供とすることができる。また画像信号の復号処理内容の決定を行なう論理演算と、動きベクトル情報等の付加情報の冗長度伸長を行なう算術演算を同一の論路演算素子（ＡＬＵ）で時分割で処理することができるため、回路規模の縮小化を図ることができる。
【００１４】
【実施例】
以下、図面を参照して本発明の一実施例を説明する。
図１は、本発明の動画像復号化装置の一実施例を示すブロック図である。
図１中の文法解釈・付加情報復号化・冗長度伸長回路４０２は、文法解釈を行いながら付加情報の可変長符号復号化を行い、復号化を行った付加情報の冗長度を伸長する回路であり、詳細なブロック図を図２に示す。図１中のＤＣＴ係数復号化回路４０３は、ＤＣＴ係数の可変長符号復号化を行う回路で、詳細なブロック図を図３に示す。
【００１５】
圧縮された動画像信号が入力端子４０１から入力される。文法解釈・付加情報復号化・冗長度伸長回路４０２は、入力された信号を先頭から復号し、動き補償の方法や動きベクトル情報などの付加情報の復号結果を内部のレジスタに蓄えることを、付加情報のおわりまで続ける。付加情報の復号が終了した時点で、付加情報終了信号４０４をＤＣＴ係数復号化回路４０３に出力し、付加情報の冗長度伸長状態に入り、付加情報の冗長度伸長が終了すると停止状態に入る。停止状態は、ＤＣＴ係数終了信号４０６を受けとった時点で解除される。ＤＣＴ係数復号化回路４０３では、付加情報終了信号４０４を受けとると、ＤＣＴ係数の復号化を開始し、復号結果はスキャン変更回路４０５へ送られる。ＤＣＴ係数の復号化が終了した時点で、ＤＣＴ係数終了信号４０６を文法解釈・付加情報復号化・冗長度伸長回路４０２へ出力し、停止状態へ入る。以下、同様に付加情報の復号とＤＣＴ係数の復号を繰り返す。文法解釈・付加情報復号化・冗長度伸長回路４０２からは動き補償の方法４０７及び動きベクトル情報４０８が出力される。動き補償回路４０９では、動き補償の方法４０７及び動きベクトル情報４０８をもとに、参照画像メモリ４１０から参照画像を読み出して、復号信号作成回路４１１に出力する。ＤＣＴ係数情報は逆ジグザグスキャン回路４０５でスキャンを戻され、逆量子化回路４１２で逆量子化され、逆ＤＣＴ回路４１３で逆ＤＣＴ変換され、復号信号作成回路４１１に出力される。復号信号作成回路４１１には、逆ＤＣＴの結果と、参照画像と、動き補償の方法が入力され、動き補償を行う場合は逆ＤＣＴの結果と参照画像信号を加えて復号信号４１４を作成する。動き補償を行わないときは、逆ＤＣＴの結果を復号信号４１４とする。
【００１６】
図２は文法解釈・付加情報復号化・冗長度伸長回路４０２の詳細なブロック図である。命令メモリ５１２には図４に示すように、あらかじめビットストリームの文法解釈の方法と付加情報の冗長度伸長の方法（例えばＡＬＵ５０８におけるＤＰＣＭの復元方法）を実行するためのプログラムがロードされていることとする。入力されるビットストリームの並びを図５に示したものとして、以下の説明を行う。ここで図４に示すプログラムの動作の流れの概略を説明する。入力されたビットストリームに含まれるマクロブロックの先頭に記録されている付加情報（特に画像新語の復号処理手順を決定するための選択情報）を復号し、このマクロブロックが動き補償を行なうものであるか否かを判定する（ステップ１）。動き補償を行なうマクロブロックの場合には、後続する付加情報（例えば動きベクトル情報）を復号する（ステップ２）。付加情報（動きベクトル情報）の復号が終了すると、終了信号を出力する（ステップ３）。終了信号が出力されると、ＤＣＴ係数復号回路４０３がこのマクロブロックのＤＣＴ係数の復号を開始する。このマクロブロックのＤＣＴ係数の復号が終了した時点で、ＤＣＴ係数復号回路の動作を停止する。次に動き補償を行なうマクロブックの場合、動きベクトルの冗長度を伸長する（ＤＰＣＭ復元、ステップ４）。その後停止状態に入り（ステップ５）、特定の間隔で、並行して動作するＤＣＴ係数復号化回路４０３がＤＣＴ係数の復号を終了したかどうか判定する（ステップ６）。
【００１７】
入力信号５０１は頭出し回路５０２に入力され、頭出しされたビットストリーム５０３が出力される。ＤＣＴ係数復号化回路からの終了信号は、ＤＣＴ係数終了信号入力端子５０４から入力される。
【００１８】
図５に図示されたビットストリームにおいては、左側の（先入力の）マクロブロックは動き補償を行なうマクロブロックである。一方、図５の右側の（後続の）マクロブロックは動き補償を行なわないマクロブロックである。可変長符号復号サイクルでは、まず文法解釈・付加情報復号化・冗長度伸長回路４０２は、処理すべきマクロブロックの動き補償の方法（動き補償の有無）を得るために動作する。すなわちセレクタ５０７はビットストリーム５０３を選択し、そのまま可変長符号復号テーブル５０９に入力し、復号結果をレジスタファイル５０５に保存する。復号結果として「動き補償を用いる」という結果が出ると、文法解釈・付加情報復号化・冗長度伸長回路４０２は、動きベクトル情報の復号を行なう。動き補償処理を行なうために必要な動きベクトル情報の復号を得るために、セレクタ５０７は頭出しされたビットストリーム５０３を選択し、可変長符号復号テーブル５０９に入力し、動きベクトル情報を命令メモリ５１２が指定したレジスタファイル５０５に保存する。
【００１９】
この時点で選択情報、動きベクトル情報等の付加情報の復号は終了するため、次のクロックで付加情報終了信号５１０が出力される。このとき、命令メモリからＤＰＣＭの復号サイクルの処理を記述したアドレスがプログラムカウンタ５１１にロードされ、文法解釈・付加情報復号化・冗長度伸長回路４０２は、動きベクトル情報のＤＰＣＭの復元サイクルに入る。ＤＰＣＭの復元サイクルでは、ＡＬＵ５０８は、命令メモリ５１２が指定したレジスタファイル５０５から読み出した動きベクトル情報と過去の動きベクトル情報の間で加減算などの演算を行なう。
【００２０】
動きベクトル情報のＤＰＣＭの復元が終了した時点で、停止状態を記述したアドレスがプログラムカウンタ５１１にロードされ、文法解釈・付加情報復号化・冗長度伸長回路４０２は、一旦停止状態に入る。ＤＣＴ係数終了信号入力端子５０４からの信号が入ると、停止状態が解除され、文法解釈・付加情報復号化・冗長度伸長回路４０２は、次のマクロブロック、すなわち図５に図示された右側の「動き補償を行なわない」マクロブロックの可変長符号復号サイクルを実行する。
【００２１】
可変長符号復号サイクルでは、文法解釈・付加情報復号化・冗長度伸長回路４０２は、画像信号の復号処理手順（マクロブロックの動き補償の方法）の情報を得るための処理を行なう。すなわち文法解釈・付加情報復号化・冗長度伸長回路４０２は、ビットストリーム５０３をそのまま可変長符号復号テーブル５０９に入力し、復号結果を命令メモリ５１２が指定したレジスタファイル５０５に保存する。次のクロックでは、当該マクロブロックについては「動き補償を用いない」という結果になり、付加情報終了信号５１０を出力する。
【００２２】
動き補償を行わないマクロブロックの場合、動きベクトル情報のＤＰＣＭを復元する必要がないため、文法解釈・付加情報復号化・冗長度伸長回路４０２は、すぐに停止状態に入る。但し、ＭＰＥＧのようにマクロブロックに含まれる画像信号の性質により選択的に動き補償を行わない場合は、ＤＣＴ係数のＤＣ成分をＤＰＣＭすることがあり、この場合は文法解釈・付加情報復号化・冗長度伸長回路４０２のＡＬＵ５０８を用いて当該マクロブロックのＤＣＴ計数のＤＣ成分のＤＰＣＭの復元を行い、終了した時点で停止状態に入るようにプログラムを構成することもできる。
【００２３】
ＤＣＴ係数終了信号入力端子５０４からの信号が入ると、停止状態が解除され、文法解釈・付加情報復号化・冗長度伸長回路４０２は、次のマクロブロックの可変長符号復号サイクルを実行する。以下、同様に付加情報の復号と冗長度伸長が行われる。
【００２４】
図３はＤＣＴ係数復号化回路１０３の詳細なブロック図である。
圧縮されたＤＣＴ係数がＮビット幅（Ｎは可変長符号の最大符号長より大きい値）で入力端子３０１から入力される。これを入力信号変換回路３００に入力し、２Ｎビット幅のビット列に変換する。シフタ３０２は過去のシフト情報３０７をもとにビット列をシフトすることにより、復号するビット列の頭出しを行い、Ｎビット幅のビット列を出力する。可変長符号テーブル３０３に入力されたビット列と一致したときの復号結果３０４と、符号長３０５と、ＤＣＴ係数が終了したかを示すフラグ３１１が出力される。符号長３０５と過去のシフト情報３０７は加算器３０６で加算され、加算結果がＮを越える場合は、新たなＮビットの入力の要求信号３１０を出力する。クロック３０９が入力されると、要求信号３１０が出力されている場合は、加算結果からＮを引いた値ラッチ３０８が保持し、入力信号変換回路３００は２Ｎビット幅のビット列から時間的に古い方のＮビットの捨て、新たに入力されるＮビットのビット列を加える。フラグ３１１が、ＤＣＴ係数が終了したことを示していた場合、そのフラグは状態保存ラッチ３１２に保存される。状態保存ラッチの内容３１４は各ラッチのクロックイネーブル端子に入力することにより、ＤＣＴ係数が終了した時点でＤＣＴ係数復号化回路１０３は停止状態になる。付加情報復号化回路１０２からの付加情報終了信号１０５は、入力端子３１３から入力され、状態保持ラッチ３１２のクリア端子に入り、停止状態の解除を行う。
【００２５】
【発明の効果】
以上詳述してきたように、本発明によれば、回路規模の縮小化が図れ、より高速動作が可能な動画像復号化装置を提供することができる。
また、様々な符号化方式に対応して、柔軟な復号化が行える。
【図面の簡単な説明】
【図１】  本発明の一実施例を示した図。
【図２】  本発明の一実施例に対する各構成を示した図。
【図３】  本発明の他の実施例を示した図。
【図４】  本発明の動作を示した流れ図。
【図５】  本発明の動画像信号の一構成を示した図。
【図６】  従来例を示した図。
【図７】  従来例を示した図。
【符号の説明】
４０２…文法解釈・付加情報復号化・冗長度伸長回路  ４０５…スキャン変換回路  ４１２…逆量子化回路  ４１３…逆ＤＣＴ回路
【図１】
0003642530.tif 000002
【図２】
0003642530.tif 000003
【図３】
0003642530.tif 000004
【図４】
0003642530.tif 000005
【図５】
0003642530.tif 000006
【図６】
0003642530.tif 000007
【図７】
0003642530.tif 000008