(57)【要約】【課題】エラー耐性があり、低遅延の伝送が可能な画像復号化装置とその方法を提供する。【解決手段】複数の符号化済データを含む画像データとフレーム内復号化済画像及びフレーム間復号化済画像との相関を取り、その相関に基いて決定された参照画像を示す識別情報とを含むビットストリームから識別情報に基いてフレーム内符号化済データとして識別された符号化済データをフレーム内復号化するフレーム内復号化手段と、フレーム内復号化手段の動作と並行して、フレーム内復号化手段により復号化された符号化済データを参照データとして、識別情報に基いてフレーム間符号化済データとして識別された符号化済データをフレーム間復号化するフレーム間復号化手段とを備えたテンプレート格納メモリ２４、フレーム遅延メモリ２３、ハフマン復号化器１１６、逆量子化器１０７、逆ＤＣＴ１０８及び多重動きベクトル復号化器２９、加算器１０９等としての画像復号化装置。【選択図】　図８
2004007736.tif 000002
【特許請求の範囲】
【請求項１】
画像を符号化して生成された複数の符号化済データを含む画像データと、前記フレーム内復号化済画像及びフレーム間復号化済画像との相関を取り、その相関に基いて決定された参照画像を示す識別情報とを含むビットストリームから、前記識別情報に基いてフレーム内符号化済データとして識別された符号化済データをフレーム内復号化するフレーム内復号化手段と、前記フレーム内復号化手段の動作と並行して、前記フレーム内復号化手段により復号化された符号化済データを参照データとして、前記識別情報に基いてフレーム間符号化済データとして識別された符号化済データを、フレーム間復号化するフレーム間復号化手段とを備えた画像復号化装置において、
前記フレーム内復号化手段が前記符号化済データの前記フレーム内復号化を終了するまでに、前記フレーム間復号化手段による、前記所定の符号化済データよりも表示順番が前のフレーム内符号化済データを前記参照データとしてフレーム間符号化されたフレーム内符号化済データの前記フレーム間復号化が終了しない場合、
前記フレーム内復号化手段のフレーム内符号化済データの復号化の動作よりも、前記フレーム間復号化手段の前記フレーム間復号化の動作が優先して実行されることを特徴とする画像復号化装置。
【請求項２】
画像を符号化して生成された複数の符号化済データを含む画像データと、前記画像と、フレーム内復号化済画像及びフレーム間復号化済画像との相関を取り、その相関に基いて決定された参照画像を示す識別情報とを含むビットストリームから、前記識別情報に基いてフレーム内符号化済データとして識別された符号化済データをフレーム内復号化するフレーム内復号化ステップと、前記フレーム内復号化ステップと並行して行われる、前記フレーム内復号化ステップにて復号化された符号化済データを参照データとして、前記識別情報に基いてフレーム間符号化済データとして識別された符号化済データをフレーム間復号化するフレーム間復号化ステップとを備えた画像復号化方法において、
前記符号化済データの前記フレーム内復号化ステップが終了するまでに、前記フレーム間復号化ステップにおいて前記符号化済データよりも表示順番が前のフレーム内符号化済データを前記参照データとしてフレーム間符号化されたフレーム内符号化済データの復号化ステップが終了しない場合、前記フレーム内復号化ステップよりも、前記フレーム間復号化ステップを優先して行うことを特徴とする画像復号化方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、例えばテレビ電話等における動画像データの符号化や復号化のために用いる画像の復号化装置とその方法に関するものである。
【０００２】
【従来の技術】
近年、テレビ電話やテレビ会議システムなどにおける動画像データを伝送、あるいは記録するために、画像圧縮の技術は、低ビットレート化に伴い、より以上の高圧縮率を実現する方法が要求されてきている。これらの技術として、ＩＳＯ／ＩＥＣにおけるＭＰＥＧ１／２、ＩＴＵ−ＴにおけるＨ．２６１、Ｈ．２６３等が標準化されている。
【０００３】
図１７は、従来の画像符号化装置のブロック図であり、又図１８はその符号化装置に対応する画像復号化装置のブロック図であり、ＩＴＵ−Ｔ標準のＨ．２６３を実現するものである。
【０００４】
図１７において、入力画像をフレーム内符号化する場合は、フレーム内・フレーム間符号化切り替えスイッチ１１が上側に切り替えられる。入力画像はＤＣＴ５により離散コサイン変換された後、量子化器６で量子化されて、更にハフマン符号化器１２で可変長符号化され、ＭＵＸ（マルチプレクサ、多重化部）１４で多重化されてビットストリームとして出力される。この時、量子化器６で量子化された信号の一部は逆量子化器７により逆量子化され、更に逆ＤＣＴ８で逆離散コサイン変換されて加算器９を通じてフレーム遅延メモリ３に参照画像として格納される。この例では、アドバンスド動き補償モード（Ａｄｖａｎｃｅｄ　Ｍｏｔｉｏｎ　Ｃｏｍｐｅｎｓａｔｉｏｎ　Ｍｏｄｅ）、すなわち符号化処理の単位は８×８のブロック単位である。
【０００５】
一方、入力画像をフレーム間符号化する場合は、フレーム内・フレーム間符号化切り替えスイッチ１１が下側に切り替えられる。入力画像は動き予測器１でフレーム遅延メモリ３に格納されている参照画像と比較されて各ブロック毎の動きベクトルが検出され、動きベクトルメモリ２に格納される。動き補償器４は、この動きベクトルに基づいて、各ブロック毎にそのブロックに対応する領域を参照画像中で探索することにより、参照画像から予測画像を生成する。すなわち、参照画像に対して動き補償を行う。このようにして生成された予測画像と入力画像との残差を減算器１０で求め、その残差信号をＤＣＴ５及び量子化器６を通して符号化し、更にハフマン符号化器１２で可変長符号化し、ＭＵＸ１４で多重化してビットストリームとして出力する。この時、量子化された信号は逆量子化器７により逆量子化され、更に逆ＤＣＴ８で逆離散コサイン変換され、更に加算器９により動き補償器４の出力である予測画像と加算されてフレーム遅延メモリ３に参照画像として格納される。又、動き予測器１で求められた動きベクトルは、動きベクトル符号化器１３によって符号化された後、ＭＵＸ１４でハフマン符号化器１２の出力である残差信号と多重化されて出力される。
【０００６】
次に、図１８において、前述の画像符号化装置により符号化されて出力されたビットストリームが画像復号装置に入力されると、ＤＭＵＸ（デマルチプレクサ、分離部）１５により画像信号と動きベクトルの各符号化信号に分離される。画像信号はハフマン復号化器１６で復号され、更に逆量子化器７、逆ＤＣＴ８によって復号される。この時、画像信号がフレーム内符号化であれば、フレーム内・フレーム間符号化切り替えスイッチ１８は上側に接続され、そのまま出力画像として出力される。又、この出力画像は参照画像としてフレーム遅延メモリ３に格納される。
【０００７】
一方、ＤＭＵＸ１５で分離された動きベクトルは、動きベクトル復号化器１７で復号されて動きベクトルメモリ２に格納される。更に、この動きベクトルに基づいて、動き補償器４でフレーム遅延メモリ３の参照画像から予測画像が生成され、この生成された予測画像は加算器９により逆ＤＣＴ８から出力された画像信号と加算される。この時に、画像信号がフレーム間符号化信号（つまり、残差信号である）であれば、フレーム内・フレーム間符号化切り替えスイッチ１８は下側に接続され、加算された信号が出力画像として出力される。
【０００８】
ここで、動き予測器１では、図１９（ａ）に示すように、入力画像を８×８のブロックに分割した各ブロックについて、その対象ブロックと最も相関の強い領域を参照画像中で探索し、その偏位を求めることにより動きベクトルを求める。この時、例えば図１９（ｂ）に示すように、あるブロックＣの周辺のブロックＴ，Ｂ，Ｌ，Ｒに対応する参照画像中の領域は、ブロックＣに対応する領域と一部重なったり、あるいは間隔をおいて離れたりすることが起こる。その結果それらの探索された各領域から予測画像を構成すると、画像に重なりや不連続な部分が生じて画質が劣化する。そこで、このような画質の劣化を防ぐために、対象ブロック周辺の画素を考慮に入れるために、対象ブロックの上下左右のブロックの動きベクトルを用いて予測画像を修正していた。すなわち、図１９（ｂ）に示すように、ブロックＣの予測値を得るために、そのブロックＣ及び、上下左右のブロックＴ，Ｂ，Ｌ，Ｒの動きベクトルからそれら５つのブロックに対応する参照画像中の領域をそれぞれ求め、その５つの領域から画素を読み出し、図２０に示す各ブロック毎に設定されている係数を乗じて加算し、最後に８で除して正規化する。各ブロックについても同様の処理を行い、それらを用いて予測画像を得る。図１７及び図１８における動きベクトルメモリ２の出力に示した近傍動きベクトルがそれを表している。
【０００９】
上記の方法により、画像に生じる不連続部分が緩和され画質が向上する。又、低いビットレートで、予測誤差（残差）を十分符号化できないときは動きベクトルだけが伝送され予測画像だけが伝送されることになるが、その場合でも、予測画像はオーバーラップして生成されるため、動きが均一な部分ではシャープな画像が得られ、不均一な部分では滑らかな画像が得られる。
【００１０】
【発明が解決しようとする課題】
しかしながら、上記のような従来の方法では、対象ブロック周囲の上下左右のブロックの動きベクトルを用いて予測画像を生成するので、同じ参照画像を用いなければ整合が取れず、参照する画像が前フレームに限定される等、拡張性に欠けるという課題がある。
【００１１】
また、例えばＭＰＥＧ１／２では、ＩＢＢＢＰＢＢＰＢＢＰ構造により、Ｐ画像データはＢ画像によらず独立して符号化することができる。ところがＭＰＥＧ１／２では、ビットストリームは多重化されて定義されておらず、シーケンシャルにやってくるため、ＣＰＵやＤＳＰで構成した場合、テンプレート（代表フレーム）のビットが巨大である時に所定の時間内にＩフレームの復号化が出来ない場合が生じる。
【００１２】
図２１は、従来の画像復号化装置における復号処理のタイミングを示す図である。図２１において、ｔ０，ｔ１はテンプレートを示し、ｐ０，ｐ１，・・・ｐ６は一般フレームを示す。上側の図では、テンプレートｔ０，ｔ１の復号処理に時間がかからず表示タイミングに間に合っているので、ｐ０から順次フレーム表示されている。一方、下側の図では、テンプレートｔ１（ｐ４）の復号処理に時間がかかりｐ４の表示タイミングに間に合わない。このとき、ｐ３，ｐ４の復号処理は当然ながらスキップ出来ないため、フレーム表示タイミングまでバッファにより余裕を設けて、予めｐ４の復号処理が遅延した場合は、ｐ５，ｐ６の復号処理をスキップして、次のテンプレートの復号処理を行うようにすれば、この問題に対処することが可能である。
【００１３】
しかしながら、上記のように単一ビットストリームで伝送する方法では、次のテンプレートのビットストリームがくるまでビットを一々解釈しなければならず、一般フレームの処理をスキップしても処理時間の短縮が十分に行えないという課題がある。
【００１４】
本発明は、従来の画像復号化におけるこのような課題を考慮し、エラー耐性、低遅延の画像伝送が行える画像復号化装置とその方法を提供することを目的とするものである。
【００１５】
【課題を解決するための手段】
上記の目的を達成するために、第１の本発明は、画像を符号化して生成された複数の符号化済データを含む画像データと、前記フレーム内復号化済画像及びフレーム間復号化済画像との相関を取り、その相関に基いて決定された参照画像を示す識別情報とを含むビットストリームから、前記識別情報に基いてフレーム内符号化済データとして識別された符号化済データをフレーム内復号化するフレーム内復号化手段と、前記フレーム内復号化手段の動作と並行して、前記フレーム内復号化手段により復号化された符号化済データを参照データとして、前記識別情報に基いてフレーム間符号化済データとして識別された符号化済データを、フレーム間復号化するフレーム間復号化手段とを備えた画像復号化装置において、前記フレーム内復号化手段が前記符号化済データの前記フレーム内復号化を終了するまでに、前記フレーム間復号化手段による、前記所定の符号化済データよりも表示順番が前のフレーム内符号化済データを前記参照データとしてフレーム間符号化されたフレーム内符号化済データの前記フレーム間復号化が終了しない場合、
前記フレーム内復号化手段のフレーム内符号化済データの復号化の動作よりも、前記フレーム間復号化手段の前記フレーム間復号化の動作が優先して実行されることを特徴とする画像復号化装置である。
【００１６】
また、第２の本発明は、画像を符号化して生成された複数の符号化済データを含む画像データと、前記画像と、フレーム内復号化済画像及びフレーム間復号化済画像との相関を取り、その相関に基いて決定された参照画像を示す識別情報とを含むビットストリームから、前記識別情報に基いてフレーム内符号化済データとして識別された符号化済データをフレーム内復号化するフレーム内復号化ステップと、
前記フレーム内復号化ステップと並行して行われる、前記フレーム内復号化ステップにて復号化された符号化済データを参照データとして、前記識別情報に基いてフレーム間符号化済データとして識別された符号化済データをフレーム間復号化するフレーム間復号化ステップとを備えた画像復号化方法において、
前記符号化済データの前記フレーム内復号化ステップが終了するまでに、前記フレーム間復号化ステップにおいて前記符号化済データよりも表示順番が前のフレーム内符号化済データを前記参照データとしてフレーム間符号化されたフレーム内符号化済データの復号化ステップが終了しない場合、前記フレーム内復号化ステップよりも、前記フレーム間復号化ステップを優先して行うことを特徴とする画像復号化方法である。
【００１７】
【発明の実施の形態】
以下に、本発明をその実施の形態を示す図面に基づいて説明する。
（実施の形態１）
図１は、本発明にかかる第１の実施の形態の画像符号化装置の構成を示すブロック図であり、又、図２は、その画像符号化装置に対応する画像復号化装置の構成を示すブロック図である。すなわち、その画像符号化装置には、参照画像を格納するフレーム遅延メモリ２３、その参照画像と入力画像に基づいて動きベクトルを検出する動き検出手段としての動き予測器２１ａ、その動きベクトルに基づき、参照画像から予測画像を生成する重み付き動き補償器２２ａが設けられ、又、参照画像としてテンプレート（代表フレーム）を格納するテンプレート格納メモリ２４、そのテンプレート（フレーム遅延メモリ２３の参照画像とは異なる参照画像）と入力画像に基づいて動きベクトルを検出する動き検出手段としての動き予測器２１ｂ、その動きベクトルに基づき、参照画像から予測画像を生成する重み付き動き補償器２２ｂが設けられている。
【００１８】
また、動き予測器２１ａ及び２１ｂで検出された動きベクトルを利用して、それら参照画像と入力画像との各相関度合を比較する相関比較器２６、その比較の結果、相関の高い方の参照画像の重み付き動き補償器を選択する切り換え手段としての参照画像切り替えスイッチ２７、その参照画像切り替えスイッチ２７を介して出力された予測画像を格納する予測画像メモリ２５、その予測画像メモリ２５の予測画像と入力画像との残差を取る減算器１０が設けられている。
【００１９】
また、入力画像がフレーム内符号化かフレーム間符号化かにより切り替えられるフレーム内・フレーム間符号化切り替えスイッチ１１、そのフレーム内・フレーム間符号化切り替えスイッチ１１からの画像信号を離散コサイン変換するＤＣＴ５、その離散コサイン変換された信号を量子化する量子化器６、その量子化された信号を可変長符号化するハフマン符号化器１２が設けられ、更に、相関比較器２６の出力、すなわち切換情報としての切り替え制御ビットと、動き予測器２１ａ及び２１ｂからの動きベクトルのうち、切り替え制御ビットにより選択された方の動きベクトルとを多重化して符号化する多重動きベクトル符号化器２８、その多重動きベクトル符号化器２８の出力とハフマン符号化器１２の出力とを多重化してビットストリームとして出力するＭＵＸ１４が設けられている。
【００２０】
更に、量子化器６の出力を逆量子化する逆量子化器７、その逆量子化された信号を逆離散コサイン変換する逆ＤＣＴ８、その逆離散コサイン変換された信号と予測画像メモリ２５に格納された予測画像とを加算して次の入力画像に対する参照画像を生成する加算器９、テンプレート格納メモリ２４の参照画像を更新するためのテンプレート更新スイッチ１９が設けられている。
【００２１】
ここで、減算器１０、ＤＣＴ５及び量子化器６等が符号化手段を構成し、逆量子化器７、逆ＤＣＴ８及び加算器９等が復号化手段を構成している。
【００２２】
一方、図２の画像復号装置には、図１の画像符号化装置から出力されたビットストリームを入力し、画像信号（通常は残差信号）と多重動きベクトルに分離するＤＭＵＸ１５、その分離された画像信号を復号するハフマン復号化器１６、その復号された信号を逆量子化する逆量子化器７、その逆量子化された信号を逆離散コサイン変換する逆ＤＣＴ８が設けられ、又、ＤＭＵＸ１５で分離された多重動きベクトルを復号化し、動きベクトルと切り替え制御ビットに分離する多重動きベクトル復号化器２９、その分離された動きベクトルに基づいて、参照画像から予測画像を生成する重み付き動き補償器２２ｃ、その生成された予測画像を格納する予測画像メモリ２５が設けられている。
【００２３】
また、予測画像メモリ２５の予測画像と逆ＤＣＴ８の出力とを加算して出力画像を生成する加算器９、出力画像がフレーム内符号化かフレーム間符号化かにより切り替えられるフレーム内・フレーム間符号化切り替えスイッチ１８、出力画像を参照画像として格納するフレーム遅延メモリ２３、出力画像のうちテンプレートを参照画像として格納するテンプレート格納メモリ２４が設けられ、更に、テンプレート格納メモリ２４の参照画像を更新するためのテンプレート更新スイッチ１９、参照画像を切り替え制御ビットによりフレーム遅延メモリ２３とテンプレート格納メモリ２４とで切り換える参照画像切り替えスイッチ２７が設けられている。
【００２４】
ここで、ハフマン復号化器１６、逆量子化器７、逆ＤＣＴ８及び多重動きベクトル復号化器３０等が復号化手段を構成し、加算器９等が画像生成手段を構成している。又ここでは、動きベクトルの検出を１６×１６のブロック単位、いわゆるマクロブロック単位で行っている。尚、請求項に言うブロックとは、所定サイズのブロックであり、８×８のブロックは勿論のこと、このマクロブロックも含んでおり、更にはそれ以外のサイズのブロックであっても良い。
【００２５】
次に、上記第１の実施の形態の画像符号化及び復号化装置の動作について、図面を参照しながら説明する。
【００２６】
まず、一般フレームと代表フレーム（テンプレート）との対応について説明する。図３は一般フレームとテンプレートとの対応関係を示している。図３において、ｐ０からｐ６は一般フレームを示し、ｔ０，ｔ１はテンプレートを示している。テンプレートｔ０は一般フレームｐ０からコピーされて作成され、一般フレームｐ２，ｐ３は、そのテンプレートｔ０を参照して作成される。また、テンプレートｔ１は一般フレームｐ４からコピーされて作成され、一般フレームｐ６は、そのテンプレートｔ１を参照して作成される。この一般フレームはフレーム遅延メモリ２３に格納され、テンプレートはテンプレート更新時にテンプレート格納メモリ２４に格納される。
【００２７】
いま既に、フレーム遅延メモリ２３には前フレームが参照画像として格納され、テンプレート格納メモリ２４にはテンプレートが参照画像として格納されているとする。ここで入力画像がやってくると、動き予測器２１ａは、その入力画像とフレーム遅延メモリ２３の参照画像から１６×１６のマクロブロック単位で動きベクトルを検出し、その検出結果を重み付き動き補償器２２ａ、相関比較器２６及び多重動きベクトル符号化器２８に出力する。同様に、動き予測器２１ｂは、入力画像とテンプレート格納メモリ２４の参照画像からマクロブロック単位で動きベクトルを検出し、その検出結果を重み付き動き補償器２２ｂ、相関比較器２６及び多重動きベクトル符号化器２８に出力する。
【００２８】
次に、重み付き動き補償器２２ａは、上記で検出した動きベクトルに基づいて、その対象とするマクロブロック毎に、最も相関の高い領域を参照画像中から探索し、その探索した領域の周囲を含めた２４×２４画素の、マクロブロックよりも広い領域を抽出し、更にその抽出した広い領域の画素に対して図５に示すような重み係数を掛けて、抽出した領域の画素を得る。同様に、重み付き動き補償器２２ｂは、テンプレートを参照画像として２４×２４画素の領域の画素を得る。ここで、図５の左側の重み係数は輝度信号に対するものであり、右側の重み係数は色差信号に対するものである。
【００２９】
一方、相関比較器２６は、動き予測器２１ａ，２１ｂの各出力を比較してどちらの参照画像と入力画像とがより相関が高いかを判定し、その結果に応じて参照画像切り替えスイッチ２７を切り替えて、どちらの重み付き動き補償器の出力を予測画像メモリ２５に接続するか選択する。この時、比較結果は切り替え制御ビットとして多重動きベクトル符号化器２８にも出力される。その結果重み付き動き補償器２２ａが選択されたとすると、図４に示すように、予測画像メモリ２５には、フレーム遅延メモリ２３に格納された前フレームから、重み付けされた広い領域（円で示す、点線の正方形がマクロブロックを示す）の画素が入力される。その後、相関比較器２６で入力画像とテンプレートとの相関が高いと判定され、重み付き動き補償器２２ｂが選択されると、図４に示すように、テンプレートから重み付けされた領域の画素が入力される。このようにして、全マクロブロックに対して処理が行われ、重ね合わされた画素を更に８で除して正規化することにより予測画像メモリ２５には、予測画像が生成される。この正規化は、具体的には予測画像メモリ２５からデータを３ビットシフトして読み出すことにより行われるため、特別なハードウェアは必要でない。このように、１つの予測画像について、対象ブロックの周囲の動きベクトルを用いる必要がないため、各ブロック毎に異なる参照画像を用いることが可能であり、参照画像が隣同士で異なっていても抽出した領域の重なる部分（この例では各４画素）の画素に対して重み付けできる。
【００３０】
この場合、動きベクトルの大きい動領域部分は、時間的に近い前フレームの領域から、動きベクトルの小さい静止画部分は、解像度の高いテンプレートから予測画像を生成することにより、ブロック境界を滑らかに連結して生成することが可能となる。
【００３１】
又、参照画像を背景画像と前フレームとして予測画像を生成することにより、背景部分と前の動物体との間で見え隠れする背景部分を滑らかに予測することができる。
【００３２】
又、参照画像を前後のフレームとした場合は、ＭＰＥＧ１／２で行われているＢフレーム構造に適用できる。
（実施の形態２）
図６及び図７は、本発明にかかる第２の実施の形態の画像符号化装置の構成を示すブロック図である。また、図８は、その画像符号化装置に対応する画像復号化装置の構成を示すブロック図である。本実施の形態が前述の第１の実施の形態と大きく異なる点は、一般フレームとテンプレートとを別々に処理し、データをパケット化して別々のビットストリームとする点であり、更に、一般フレームには誤り検出符号を付加し、テンプレートには誤り訂正符号を付加している点である。
【００３３】
図６において、その画像符号化装置には、図１の画像符号化装置に、更に一般フレームかテンプレートかで入力画像を切り替える入力切り替えスイッチ３０、一般フレーム用の出力バッファ３１、一般フレームのデータに誤り検出符号を付加し、パケット化を行うための誤り検出符号付パケット化器３２、一般フレームのパケットデータとテンプレートのパケットデータとを多重化して出力するＭＵＸ３３が付加されている。尚、図１のテンプレート更新スイッチ１９は除去されている。
【００３４】
また図７において、入力画像がテンプレートの場合に、それを符号化処理する部分であり、フレーム内・フレーム間符号化切り替えスイッチ４１、画像信号を離散コサイン変換するＤＣＴ４３、その離散コサイン変換された信号を量子化する量子化器４４、その量子化された信号を可変長符号化するハフマン符号化器４８、テンプレートを参照画像として格納するテンプレート格納メモリ２４が設けられ、又、入力画像とテンプレート格納メモリ２４に格納されたテンプレートにより動きベクトルを検出する動き予測器２１ｃ、その検出した動きベクトルに基づいて、テンプレートから予測画像を生成する動き補償器４、その予測画像と入力画像との残差を取る減算器４２、量子化器４４の出力を逆量子化する逆量子化器４５、その逆量子化された信号を逆離散コサイン変換する逆ＤＣＴ４６、その逆コサイン変換された信号と予測画像とを加算する加算器４７が設けられている。更に、動き予測器２１ｃで検出した動きベクトルを符号化する動きベクトル符号化器４９、その符号化された動きベクトルと可変長符号化された信号を多重化するＭＵＸ５０、テンプレート用の出力バッファ５１、テンプレートのデータに誤り訂正符号を付加し、パケット化を行うための誤り訂正符号付パケット化器５２が設けられている。
【００３５】
一方、図８において、その画像復号化装置には、上記画像符号化装置からのビットストリームを入力し、一般フレームのパケットとテンプレートのパケットに分離するＤＭＵＸ６０が設けられ、その一般フレームのパケットの処理に対しては、一般フレームのパケットを分解する誤り検出付パケット分解器６２、一般フレーム用の入力バッファ６１、図２とほぼ同様の画像復号化装置が設けられている。
【００３６】
また、テンプレートのパケットの処理に対しては、テンプレートのパケットを分解する誤り訂正付パケット分解器６３、テンプレート用の入力バッファ６４、入力バッファ６４からの信号を画像信号と動きベクトルに分離するＤＭＵＸ１１５、その分離された画像信号を復号するハフマン復号化器１１６及び逆量子化器１０７及び逆ＤＣＴ１０８、テンプレートを参照画像として格納するテンプレート格納メモリ２４、動きベクトルを復号する動きベクトル復号化器１７、その復号された動きベクトルを格納する動きベクトルメモリ２、その動きベクトルに基づいて、テンプレート格納メモリ２４のテンプレートから予測画像を生成する動き補償器４、その生成された予測画像と逆ＤＣＴ１０８の出力とを加算する加算器１０９、フレーム内・フレーム間符号化切り替えスイッチ１１８が設けられている。ここでは、このテンプレートの復号処理は、従来と同様の方法で行っている。
【００３７】
更に、多重動きベクトル復号化器２９から出力される切り替え制御ビットにより、参照画像としてフレーム遅延メモリ２３の一般フレームとテンプレートを切り替える参照画像切り替えスイッチ６５、及び誤り検出付パケット分解器６２で一般フレームにエラーが検出された場合に、出力画像を一般フレームからテンプレートに切り替える出力画像切り替えスイッチ６６が設けられている。
【００３８】
次に上記第２の実施の形態の画像符号化及び復号化装置の動作について、図面を参照しながら説明する。
【００３９】
まず、本実施の形態では、図９に示すように、一般フレームｐ０からｐ６と、ｐ０、ｐ４と同一のテンプレートｔ０、ｔ１とを別々のビットストリームとして処理する。又、データをパケット化するが、パケットの構成は図１１に示すように、先頭にテンプレートか一般フレームかを識別するための識別子を設け、次に再生タイミングを示すフレーム番号を設ける。次に、テンプレートでは、データ及びリードソロモン誤り訂正符号を設け、一般フレームでは、この一般フレームが参照するテンプレートのフレーム番号及びＣＲＣ誤り検出符号を設ける。ここで、テンプレートのみに誤り訂正符号を付け、一般フレームには誤り検出符号を付けているのは、誤り訂正符号のデータ量は誤り検出符号のデータ量よりも多いためである。
【００４０】
図６において、入力画像が一般フレームの場合は、入力切り替えスイッチ３０を上側に接続し、一般フレームに対して前述の第１の実施の形態と同様の符号化処理を行う。この時、量子化器６は出力バッファ３１，５１からの信号により制御を受ける。ここで、出力バッファは、ＦＩＦＯバッファであり、メモリ領域に対して書き込み先アドレスと読み出し先アドレスを巡回させるリングバッファとして実現される。バッファ余裕量は書き込み先アドレスと読み出し先アドレスの間の差として表現され、書き込み先アドレスが読み出し先アドレスを越えるとバッファはオーバーフローし（アドレスは巡回して動くため、単純なアドレスの大小ではない）、伝送画像情報の一部が欠落することになる。これを避けるためには、バッファ余裕量に応じて量子化ステップを変更すればよく、従って、出力バッファ３１，５１のバッファ余裕量により量子化器６，４４を制御すれば良い。この処理はレート制御と呼ばれる。ハフマン符号化器１２により可変長符号化された画像データと多重動きベクトル符号化器２８により多重符号化された動きベクトル及び切り替え制御ビットは、ＭＵＸ１４で多重化された後、出力バッファ３１に出力され、誤り検出符号付パケット化器３２で、前述した図１１に示すようなＣＲＣ誤り検出符号が付加されたパケットに作成される。
【００４１】
一方、入力画像がテンプレートの場合は、入力切り替えスイッチ３０が下側に接続され、図７に示すテンプレート用の符号化部で符号化処理される。この符号化部は、ここでは、従来の一般的な画像符号化装置と同様の符号化処理を行う。すなわち、テンプレートがフレーム内符号化の時は、フレーム内・フレーム間符号化切り替えスイッチ４１が上側に接続され、ＤＣＴ４３、量子化器４４、ハフマン符号化器４８により符号化される。テンプレートがフレーム間符号化の時は、フレーム内・フレーム間符号化切り替えスイッチ４１が下側に接続され、動き予測器２１ｃで、入力されたテンプレートとテンプレート格納メモリ２４の参照画像から動きベクトルを検出し、その検出した動きベクトルに基づいて、動き補償器４が、参照画像から予測画像を生成し、その予測画像と入力されたテンプレートとの残差を減算器４２で取り、その残差信号をＤＣＴ４３、量子化器４４、ハフマン符号化器４８により符号化する。又、検出された動きベクトルは動きベクトル符号化器４９により符号化される。
【００４２】
次に、ハフマン符号化器４８により可変長符号化されたテンプレートの画像データと動きベクトル符号化器４９により符号化された動きベクトルは、ＭＵＸ５０で多重化された後、出力バッファ５１に出力され、誤り訂正符号付パケット化器５２で、前述した図１１に示すようなリードソロモン誤り訂正符号が付加されたパケットに作成される。
【００４３】
以上のようにして別々のビットストリームとして作成された一般フレームの誤り検出符号付パケットとテンプレートの誤り訂正符号付パケットは、ＭＵＸ３３により時分割多重化されたビットストリームとして出力される。
【００４４】
次に、図８において、上記画像符号化装置からのビットストリームがＤＭＵＸ６０に入力され、一般フレームのパケットとテンプレートのパケットに分離される。この分離は、パケットの先頭に付けられた識別子により簡単に行うことができる。分離された一般フレームのパケットは、誤り検出付パケット分解器６２によって、パケットが分解されるとともに、誤り検出符号が解釈される。パケット分解後、入力バッファ６１に出力されて前述の第１の実施の形態と同様の復号処理が行われる。又、テンプレートのパケットは、誤り訂正付パケット分解器６３によって、パケットが分解されるとともに、誤り訂正符号が解釈される。パケット分解後、入力バッファ６４に出力される。その後、ＤＭＵＸ１１５により画像信号と動きベクトルに分離され、画像信号はハフマン復号化器１１６、逆量子化器１０７、逆ＤＣＴ１０８、加算器１０９により復号され、又、動きベクトルはテンプレート格納メモリ２４に格納された参照画像から予測画像を生成するために動きベクトルメモリ２を介して動き補償器４に入力される。
【００４５】
ここで、復号化はテンプレートの処理を優先して行う。例えば図１０に示すように、テンプレートが４フレーム毎に符号化される場合、テンプレートｔ１の復号化処理をテンプレートｔ０を参照する一般フレームｐ２やｐ３等より優先して行う（上側の図参照）。この時に下側の図に示すように、テンプレートｔ１の処理に時間がかかり一般フレームｐ３を復号化してもｐ３の表示が間に合わない場合は、ｐ３の復号化処理を途中で取りやめる。これにより一般フレームｐ４の表示タイミングまでにｔ１の復号処理を終了することが可能となる。
【００４６】
更に、本実施の形態では、一般フレームに対して誤り検出付パケット分解器６２で伝送エラーなどの誤りが検出された場合は、その一般フレームのデータを廃棄する。すなわち、図８の誤り検出付パケット分解器６２から出力画像切り替えスイッチ６６に対する制御信号が出力され、出力画像がテンプレートに切り替えられる。一方、テンプレートは伝送エラー等が生じてもパケットに付加された誤り訂正符号によりデータが誤り訂正される。誤りが生じて一般フレームが廃棄された場合は、テンプレートが一般フレームの代替フレームとして強制的に出力される。これによって、伝送路等にエラーがある場合でもテンプレートによる最低限の画質を維持することができ、伝送路等のエラーに対して耐性を持たせることが可能となる。
【００４７】
なお、上記実施の形態では、誤り訂正符号をリードソロモン誤り訂正符号、又、誤り検出符号をＣＲＣ誤り検出符号としたが、これに限らず、それ以外の誤り訂正符号、誤り検出符号であっても勿論よい。
（実施の形態３）
図１２は、本発明にかかる第３の実施の形態における処理画像とテンプレートの対応を示す模式図である。本実施の形態は、前述の第２の実施の形態を拡張したものであり、図１２に示すように、一般フレームｐ０からｐ６が１つのテンプレートｔ０を参照するようなテンプレートが一般フレームより大きなパノラマ画像等の場合、あるいは参照ブロックが参照画像中に予め特定できる場合に適用することを目的としている。図１３は、図１２に示す画像における処理タイミングを示す図であり、テンプレートｔ０の復号処理中に一般フレームがｐ０から順次復号処理が行われ、フレーム表示されていく様子を示している。
【００４８】
これを実現するために、例えば、一般フレームのパケットの先頭部に、参照するテンプレートの部分領域を含む左上マクロブロック位置と右下マクロブロック位置（図１４参照）を付加する。テンプレートのデコードに必要な部分画像が予めデコードされるように、テンプレートのパケットにも全体画像に対して伝送する部分画像の占める左上マクロブロック位置と右下マクロブロック位置を付加する。テンプレート画像をどのような部分画像に分解するかは符号化側に任されている。テンプレートの符号化、復号化は分解された部分画像について独立に行われ、全画面のマクロブロックの縦横数が既知であるとすると、テンプレート復号はフレーム番号とマクロブロックの左上、右下の情報により一意に再構成することができる。正しいタイミングでテンプレート中の参照領域が作られるかどうかも符号化側のビットストリーム作成に依存しているが、復号化側で、一般フレームの再生が可能であるかどうかは、一般フレームのパケットにある参照先テンプレートのフレーム番号、参照マクロブロック範囲により、パケットの先頭データより判定することができる。
【００４９】
図１５は、本発明にかかる第４の実施の形態の画像符号化装置の構成を示すブロック図である。また、図１６は、その画像符号化装置に対応する画像復号化装置の構成を示すブロック図である。本実施の形態における画像符号化装置は、従来例の画像符号化装置に、量子化のために用いる量子化ステップをブロック毎に変更するためのオフセット値を画像に対応するように配置したオフセットマップ７３と、そのオフセットマップ７３のデータを可変長符号化するＤＰＣＭハフマン符号化器７４を付加している。ここで、ＤＰＣＭハフマン符号化器７４の動作はＨ．２６１の動きベクトルの各方向成分の可変長符号が利用できる。又、量子化器７０及び逆量子化器７１は、そのオフセットマップ７３に応じて量子化及び逆量子化を行い、ＭＵＸ７２は、ハフマン符号化器１２、ＤＰＣＭハフマン符号化器７４、動きベクトル符号化器１３の各出力信号を多重化してビットストリームを伝送すべき生成する。
【００５０】
一方、本実施の形態における画像復号化装置は、ＤＭＵＸ８０が上記の符号化装置から入力されたビットストリームを、画像データ、動きベクトル、オフセットマップのデータに分離するものであり、前述した従来例の画像復号化装置に、ＤＭＵＸ８０で分離されたオフセットマップのデータを復号化するＤＰＣＭハフマン復号化器８１と、その出力のオフセットマップ値を格納するオフセットマップ８２を付加している。ここで、逆量子化器８３は、そのオフセットマップ８２に応じて量子化ステップを変更して逆量子化を行う。
【００５１】
ここで、例えばテレビ電話などの画像のように、周辺部のほとんど動きがなく重要でない背景領域は荒い画像を送り、中央部の人の顔の表情変化等の細かい動きが必要な領域は細かい画像を送りたい場合に、画像の中央部の量子化を細かくする必要がある。これを一般の量子化ステップに対して中央部は−２〜−３、周辺部は＋２〜＋３のオフセット値を加えることにより行う。量子化ステップをマクロブロック毎に送り、オフセットマップのデータを画像毎に送る。このオフセットは、Ｈ．２６３の改造として、ピクチャーヘッダーのＰＱＵＡＮＴの後に、例えば、ＬＱＯＭ（ロード量子化ステップオフセットマップ）と名付ける制御情報１ビットを付加し、その制御情報を用いて、例えばＩピクチャーでリセットし、Ｐ、Ｂピクチャー等それ以外では、０の場合は、前のオフセットマップをそのまま引き継ぐ。ここで、オフセットのデフォルトは全て０である（オフセットなし）。
【００５２】
なお、上記実施の形態では、いずれもブロックの所定のサイズを１６×１６とし、そのブロックのサイズより広い所定のサイズを２４×２４としたが、これに限らず、ブロックのサイズは前述したように、それ以外のサイズでも良く、又、広い所定のサイズもブロックのサイズより広ければどんなサイズでも良い。
【００５３】
また、上記実施の形態において、動き予測器等、専用のハードウェアにより構成した手段については、可能であれば、これに代えて、同様の機能をコンピュータを用いてソフトウェア的に実現しても良い。
【００５４】
なお、上記の実施の形態における本発明者による他の発明は、参照画像及び入力された画像から、所定サイズのブロック毎に動きベクトルを検出する動き検出手段と、その検出された動きベクトルに基づき、入力画像の各ブロックに対応するエリアを含む所定サイズよりも広い所定サイズのエリアを参照画像から抽出し、その広いエリアの各画素にそれぞれ予め設定された重み付けを行い、広いエリアの重み付けされた各画素を用いて、入力画像の予測画像を生成する重み付き動き補償手段と、その予測画像を格納する予測画像メモリと、その格納された予測画像と入力画像との残差をとり、その残差を符号化する符号化手段と、その符号化された画像データを復号して参照画像を得る復号化手段とを備えた画像符号化装置を含む。
【００５５】
また、発明は、画像符号化装置から入力された符号化データを復号する復号化手段と、参照画像を格納するフレームメモリと、復号化手段により復号された動きベクトルに基づき、予測画像の各ブロックに対応するエリアを含む所定サイズよりも広い所定サイズのエリアをフレームメモリに格納されている参照画像から抽出し、その広いエリアの各画素にそれぞれ予め設定された重み付けを行い、広いエリアの重み付けされた各画素を用いて、予測画像を生成する重み付き動き補償手段と、その予測画像と復号化手段により復号された残差信号とに基づいて出力画像を生成する画像生成手段とを備えた画像復号化装置を含む。
【００５６】
上記により、参照画像が前フレームに限定されず、例えば、予測画像を生成するのに異なる参照画像を用いることが可能である。
【００５７】
また、発明は、画像データを、代表となる代表フレームとその代表フレーム以外の一般フレームとに分け、代表フレーム及び一般フレームを、それらを識別するフレーム識別情報を付加して別々のビットストリームとして多重化し、伝送する画像符号化方法を含む。
【００５８】
また発明は、画像符号化装置から入力された符号化データからフレーム識別情報を検出し、その検出したフレーム識別情報に応じて、入力された符号化データを、代表フレーム及び一般フレームの画像データに分離し、その代表フレームから優先して復号し、その復号処理中に既に復号処理の終わった代表フレームを参照する一般フレームの復号処理が重なる場合は、その一般フレームの復号処理を取りやめる画像復号化方法を含む。
【００５９】
上記により、代表フレームの復号処理に時間がかかっても一般フレームの復号処理を簡単にスキップすることが可能となる。
【００６０】
また発明は、画像符号化装置から入力された符号化データの代表フレームから誤り訂正符号を抽出し、データに誤りが生じた場合はその代表フレームに対する訂正符号化を行い、入力された符号化データの一般フレームから誤り検出符号を抽出し、データに誤りが生じた場合はその一般フレームを廃棄し、その廃棄したフレームを代表フレームで代替する画像復号化方法を含む。
【００６１】
上記により、例えば伝送路のエラーに対して、代表フレーム用いて最低限の画質を維持することができる。
【００６２】
また発明は、伝送する画像の量子化のための量子化ステップを各ブロックで変更するために、量子化ステップのオフセット値が各画像毎に設定されたオフセットマップと、そのオフセットマップのデータを画像データの先頭に付加するオフセット付加手段とを備えた画像符号化装置を含む。
【００６３】
また発明は、画像符号化装置から入力された符号化データからオフセットマップを抽出するオフセット抽出手段と、その抽出されたオフセット値に基づいて、各画像における量子化ステップを変更し、その変更した量子化ステップにより入力された符号化データを逆量子化して復号する復号化手段とを備えた画像復号化装置を含む。
【００６４】
上記により、各ブロックにおける量子化ステップをオフセットマップのオフセット値に応じて容易に変更できる。
【００６５】
以上のような他の発明は、例えば、参照する画像が限定されず拡張性があるオーバーラップ動き補償の効果を得ることができるという長所を有する。
【００６６】
また、ＣＰＵ、ＤＳＰにより不定（可変）処理時間となる画像の復号化においても、ビットストリーム解釈が間に合わないことによる画像再生の破綻を免れることができるという利点がある。
【００６７】
また、代表フレームを別ビットストリームとすることによりエラー耐性、低遅延の画像伝送が行えるという利点がある。
【００６８】
【発明の効果】
以上述べたところから明らかなように本発明は、エラー耐性、低遅延の画像伝送が行えるという利点がある。
【図面の簡単な説明】
【図１】本発明にかかる第１の実施の形態の画像符号化装置の構成を示すブロック図である。
【図２】上記図１の画像符号化装置に対応する画像復号化装置の構成を示すブロック図である。
【図３】同第１の実施の形態における処理画像とテンプレートの対応を示す模式図である。
【図４】同第１の実施の形態における予測画像と参照画像との関係を説明する模式図である。
【図５】同第１の実施の形態における重み係数の一例を示す図である。
【図６】本発明にかかる第２の実施の形態の画像符号化装置の構成の一部を示すブロック図である。
【図７】図６につながる画像符号化装置の構成の残りの一部を示すブロック図である。
【図８】上記第２の実施の形態の画像符号化装置に対応する画像復号化装置の構成を示すブロック図である。
【図９】同第２の実施の形態における処理画像とテンプレートの対応を示す模式図である。
【図１０】上記第２の実施の形態の画像復号化装置における多重ビットストリームの復号処理タイミングを説明する図である。
【図１１】上記第２の実施の形態におけるパケットの構成を示す図である。
【図１２】本発明にかかる第３の実施の形態における処理画像とテンプレートの対応を示す模式図である。
【図１３】上記第３の実施の形態の画像復号化装置における復号処理タイミングを説明する図である。
【図１４】上記第３の実施の形態における参照領域を説明する図である。
【図１５】本発明にかかる第４の実施の形態の画像符号化装置の構成を示すブロック図である。
【図１６】上記図１５の画像符号化装置に対応する画像復号化装置の構成を示すブロック図である。
【図１７】従来の画像符号化装置の構成を示すブロック図である。
【図１８】上記図１７の画像符号化装置に対応する画像復号化装置の構成を示すブロック図である。
【図１９】同図（ａ）は、従来の画像符号化装置における動きベクトルの求め方を説明する図、同図（ｂ）は、予測画像の求め方を説明する図である。
【図２０】従来の画像符号化装置における予測画像の求め方を説明する図である。
【図２１】従来の画像復号化装置における単一ビットストリームの復号処理タイミングを説明する図である。
【符号の説明】
１　　　　動き予測器
３、２３　フレーム遅延メモリ
４　　　　動き補償器
５　　　　ＤＣＴ
６　　　　量子化器
７　　　　逆量子化器
８　　　　逆ＤＣＴ
２１ａ、２１ｂ　動き予測器
２２ａ、２２ｂ、２２ｃ　重み付き動き補償器
２４　　　　テンプレート格納メモリ
２６　　　　相関比較器
３２　　　　誤り検出符号付パケット化器
５２　　　　誤り訂正符号付パケット化器
６２　　　　誤り検出付パケット分解器
６３　　　　誤り訂正付パケット分解器
７３、８２　オフセットマップ
７４　　　　ＤＰＣＭハフマン符号化器
８１　　　　ＤＰＣＭハフマン復号化器
【図１】
2004007736.tif 000003
【図２】
2004007736.tif 000004
【図３】
2004007736.tif 000005
【図４】
2004007736.tif 000006
【図５】
2004007736.tif 000007
【図６】
2004007736.tif 000008
【図７】
2004007736.tif 000009
【図８】
2004007736.tif 000010
【図９】
2004007736.tif 000011
【図１０】
2004007736.tif 000012
【図１１】
2004007736.tif 000013
【図１２】
2004007736.tif 000014
【図１３】
2004007736.tif 000015
【図１４】
2004007736.tif 000016
【図１５】
2004007736.tif 000017
【図１６】
2004007736.tif 000018
【図１７】
2004007736.tif 000019
【図１８】
2004007736.tif 000020
【図１９】
2004007736.tif 000021
【図２０】
2004007736.tif 000022
【図２１】
2004007736.tif 000023